Bạn không cần một máy tính mạnh để chạy các mô hình mở lớn nhất nữa — nhờ vào Nvidia

Gần đây tôi đã rất hứng thú với các mô hình ngôn ngữ lớn (LLM) cục bộ, và tôi thậm chí đã tự xây dựng một máy chủ AI cục bộ. Vấn đề là đây là một sở thích cực kỳ tốn kém, và tôi không có hàng ngàn đô la tiền phần cứng để thỏa mãn sở thích đó một cách đúng đắn.

Nhưng tôi vẫn thấy mình muốn thử nghiệm những mẫu cân nặng mở lớn nhất, và tôi nghĩ mình đã tìm ra một giải pháp khá tốt cho điều đó.

Nvidia Build cho phép bạn chạy các mô hình trọng số mở mà phần cứng của bạn không thể

Suy luận miễn phí

Nvidia Build về cơ bản là nền tảng suy luận đám mây của Nvidia để chạy các LLM cục bộ. Không làm phức tạp quá mức, Nvidia Build về cơ bản lấy các mô hình trọng số mở, tối ưu hóa chúng để chạy trên phần cứng DGX Cloud của riêng họ và cung cấp cho bạn quyền truy cập API vào chúng.

Để bắt đầu, chỉ cần truy cập vào trang web Nvidia Build và tạo một tài khoản mới. Khi đã làm xong điều đó, tôi khuyên bạn nên xem qua danh mục và tìm các mô hình có cờ Free Endpoint. Đó là những mô hình bạn có thể sử dụng mà không phải trả bất kỳ khoản nào. Tôi không thể tìm thấy bất kỳ tài liệu chính thức nào về giới hạn token cho gói miễn phí, nhưng có giới hạn tốc độ là 40 yêu cầu mỗi phút, điều này có khả năng sẽ không gây phiền toái cho bạn khi sử dụng cá nhân.

Nếu bạn không chắc nên bắt đầu với mô hình nào, đặc biệt là đối với các nhiệm vụ lập trình, tôi gợi ý bạn thử MiniMax M2.7 trước. Bạn cũng có thể thử các mô hình khác, như GLM-4.7, mặc dù hãy nhớ rằng một số dòng mô hình chỉ có các phiên bản cũ hơn có sẵn trên gói miễn phí.

Điều quan trọng cần hiểu là đây không phải là các mô hình đồ chơi hay phiên bản demo bị rút gọn. MiniMax M2.7 là một mô hình với 230 tỷ tham số. Không có cách thực tế nào để chạy nó tại nhà trừ khi bạn có một máy chủ đa GPU với hàng trăm gigabyte VRAM. Nvidia đang lưu trữ toàn bộ mô hình này trên cơ sở hạ tầng của chính họ.

Khi bạn đã chọn được một mô hình, hãy nhấp vào biểu tượng hồ sơ ở góc trên bên phải, đi đến API Keys và tạo một cái. Khi đã có cái đó, bạn có thể bắt đầu làm một số việc thực sự thú vị với nó.

Bạn có thể làm rất nhiều thứ hay ho với nó

Không GPU cũng không sao

Tôi đã sử dụng Claude Code một thời gian bằng cách hướng nó tới các mô hình có trọng số mở, nhưng gần đây tôi đã thử chơi với OpenCode, nên tôi quyết định thử với Nvidia Build thay vào đó. Điều tốt là OpenCode đã tích hợp sẵn Nvidia, nên tôi chỉ cần chạy /connect, chọn NVIDIA, nhập khóa API của mình, và thế là xong. Chỉ trong 30 giây, tôi đã khởi động và chạy trên MiniMax M2.7, và điều đó thật sự ấn tượng, đặc biệt khi xem xét nó hoàn toàn miễn phí.

Nhưng đó chưa phải là tất cả những gì bạn có thể làm với nó. Mỗi mô hình trên Nvidia Build đều cung cấp một điểm cuối API tương thích với OpenAI, và điều đó quan trọng hơn so với vẻ bề ngoài. Định dạng API của OpenAI về cơ bản đã trở thành tiêu chuẩn phổ quát cho các công cụ AI vào lúc này. Các bộ công cụ lập trình như Cursor và Zed cũng hỗ trợ nó.

Ngay cả Claude Code cũng hoạt động, mặc dù nó cần cấu hình nhiều hơn một chút so với OpenCode vì nó sử dụng định dạng của Anthropic một cách tự nhiên thay vì của OpenAI. Nếu bạn muốn kích hoạt và chạy nó, Nvidia cũng có một trang hỗ trợ cho việc đó.

Nếu bạn chỉ muốn sử dụng một mô hình như một chatbot, các giao diện chat cục bộ như Open WebUI, cho phép bạn chạy giao diện kiểu ChatGPT trên máy của riêng bạn, cũng có thể được hướng tới nó một cách dễ dàng.

Đây là cách dễ nhất để thử các mô hình trọng lượng mở mà không tốn hàng nghìn đô la

Bộ nhớ? Trong nền kinh tế này sao?

Chạy các mô hình lớn trên máy cục bộ thực sự rất hấp dẫn. Bạn có toàn quyền kiểm soát, không giới hạn tần suất, không dữ liệu nào rời khỏi máy của bạn. Tôi hiểu tại sao mọi người lại muốn điều đó. Nhưng phần cứng cần thiết để làm điều đó đúng cách không rẻ, và các con số khiến nhiều người phải bất ngờ.

Để chạy một mô hình 70B một cách thoải mái trên một máy duy nhất, bạn sẽ cần một cái gì đó giống như Mac với 128GB bộ nhớ thống nhất, bắt đầu từ khoảng 5.000 đô la (mặc dù bạn cũng có thể đạt kết quả chấp nhận được với 64GB). Hoặc một thiết lập dual RTX 5090, sẽ tiêu tốn của bạn khoảng từ 9.000 đến 12.000 đô la khi tính cả phần còn lại của cấu hình.

Và ngay cả khi đó, một mô hình 70B cũng không phải là thứ lớn nhất trong Nvidia Build. MiniMax M2.7 là một mô hình với 230 tỷ tham số. Không có con đường phần cứng người tiêu dùng thực tế nào để chạy nó với độ chính xác đầy đủ tại nhà.

Vấn đề với việc nhảy thẳng vào việc mua phần cứng là bạn có thể làm điều đó trước khi thực sự biết mình cần gì. Chi tiêu một khoản tiền như vậy rồi nhận ra các mẫu phù hợp với máy của bạn lại không đủ tốt cho nhiệm vụ bạn dự định là một tình huống đau đớn. Hoặc ngược lại: bạn chi nhiều hơn mức cần thiết vì bạn không chắc yêu cầu của mình thực sự ở đâu.

Bạn có thể dành vài tuần sử dụng các mô hình có trọng số mở lớn nhất với độ chính xác đầy đủ, trên các nhiệm vụ thực sự mà bạn quan tâm, trước khi quyết định cam kết với bất cứ điều gì. Nếu bạn thấy rằng một mô hình 70B làm mọi thứ bạn cần, có lẽ một chiếc Mac với 128GB cũng đủ đáp ứng.

Nếu các mô hình nhỏ hơn thực sự đủ tốt, bạn có thể không cần chi tiêu nhiều đến mức đó. Và nếu bạn thấy mình thực sự cần một cái gì đó trong phạm vi 200 tỷ thường xuyên, thì bây giờ bạn cũng đã biết điều đó, trước khi bạn phải chi tiêu bất cứ thứ gì.

Nó không phải là một giải pháp lâu dài

Nvidia Build không phải là một sự thay thế cho việc chạy mô hình cục bộ. Bạn vẫn đang gửi dữ liệu của mình đến máy chủ của người khác; bạn vẫn bị giới hạn tốc độ, và bạn không có loại quyền kiểm soát khiến việc suy luận cục bộ đáng để thiết lập ngay từ đầu. Nhưng đó cũng không thực sự phải là vấn đề.

Hãy coi đó như một bãi thử nghiệm. Một cách để thực sự sử dụng các mô hình này cho các nhiệm vụ thực trước khi bạn cam kết bất cứ điều gì. Nvidia Build chỉ tình cờ là cách dễ dàng và rẻ nhất để có được thông tin đó ngay bây giờ.