Tôi đã ngừng sử dụng LM Studio khi tôi tìm thấy lựa chọn thay thế mã nguồn mở này

LM Studio đã là ứng dụng mà tôi thường sử dụng để chạy các LLM cục bộ kể từ khi tôi phát hiện ra nó. Nó dễ sử dụng, giao diện người dùng được hoàn thiện tốt, và bạn có thể khởi chạy bất kỳ mô hình AI nào chỉ trong vài cú nhấp — ngay cả khi bạn chưa bao giờ dùng terminal trong đời. Đây là một trong những công cụ tốt nhất nếu bạn muốn tận hưởng các lợi ích của một LLM cục bộ.

Nhưng trong khi LM Studio miễn phí để sử dụng, nó không phải là mã nguồn mở. Một số thành phần của nó, đặc biệt là công cụ dòng lệnh, có giấy phép mở, nhưng chính ứng dụng này là phần mềm độc quyền. Đối với một công cụ có thể dễ dàng trở thành trung tâm của quy trình AI cục bộ của bạn, việc phải chịu rủi ro thay đổi giấy phép bất cứ khi nào các công ty mẹ muốn là một rủi ro mà tôi không thoải mái, và rồi tôi đã tìm thấy Jan.

Tôi nghĩ tôi sẽ nhớ LM Studio. Nhưng tôi đã không

Tại sao Jan cảm thấy như một sự thay thế thực sự cho LM Studio

Lựa chọn mà cuối cùng đã thay thế LM Studio đối với tôi là Jan. Đây là một ứng dụng máy tính để bàn cho phép bạn chạy các LLM hoàn toàn ngoại tuyến — giống như LM Studio, nhưng không chỉ hoàn toàn miễn phí, mà còn là mã nguồn mở, với toàn bộ mã nguồn có sẵn trên GitHub. Không có bất ngờ về giấy phép, không bị khóa độc quyền, và không có điều khoản nhỏ nào bạn cần phải lo lắng.

Giao diện rất giống ChatGPT, điều này có thể là tốt hoặc xấu tùy theo sở thích của bạn. Tuy nhiên, nếu bạn mới làm quen với khái niệm LLM cục bộ, nó sẽ quen thuộc, gọn gàng và thân thiện. Jan được tạo ra để làm cho AI cục bộ trở nên dễ tiếp cận với mọi người, vì vậy việc thiết kế giao diện người dùng bắt chước ChatGPT không phải là ngẫu nhiên. Bạn sẽ có một cửa sổ chat, một trung tâm mô hình và một trang cài đặt mà không cần trình độ chuyên môn của nhà phát triển để hiểu.

Nếu bạn đang chuyển từ LM Studio, thư viện mô hình cũng sẽ khiến bạn cảm thấy quen thuộc. Bạn có thể duyệt và tải về các mô hình nguồn mở phổ biến như Llama, Gemma, Mistral, Qwen, DeepSeek và nhiều mô hình khác trực tiếp từ bên trong ứng dụng. Các mô hình cũng được gắn thẻ để cho bạn biết liệu chúng có chạy tốt trên phần cứng của bạn hay liệu chúng có thể quá tải một chút.

Jan cũng đi kèm với một máy chủ API tương thích với OpenAI. Điều này có nghĩa là bạn có thể trỏ các công cụ khác như Cursor, Open WebUI, các script tùy chỉnh, và bất cứ thứ gì khác mà bạn có thể đang xây dựng đến máy chủ cục bộ của Jan và để nó chạy giống như khi giao tiếp với API của OpenAI. Điều này rất tuyệt để thử nghiệm mã và nguyên mẫu trước khi bạn bắt đầu kết nối với API thực tế (và trả phí) của OpenAI. Máy chủ này cũng hỗ trợ CORS (Chia sẻ Tài nguyên Nguồn gốc Chéo) theo mặc định, điều này giúp kết nối với các dự án web trở nên khá dễ dàng.

Hiệu suất, mặc dù bị chi phối bởi mô hình mà bạn đang sử dụng, cũng khá giống với LM Studio. Việc sử dụng token cũng không khác biệt đáng kể so với LM Studio, và công cụ suy luận thô về cơ bản là giống nhau. Bạn cũng nhận được các tiện ích mở rộng tích hợp sẵn trong trường hợp bạn muốn mở rộng chức năng của ứng dụng.

Các lợi ích về quyền riêng tư thực sự có ý nghĩa

Mô hình cục bộ, không đám mây, không bất ngờ

Chạy AI cục bộ đã là lựa chọn bảo vệ quyền riêng tư; tuy nhiên, sử dụng Jan cho phép bạn tiến thêm một bước. Mọi thứ từ sở thích, lịch sử trò chuyện, tham số mô hình, và chính mô hình đều ở trên máy của bạn. Không cần tạo tài khoản, không có dữ liệu viễn thám cần lo lắng, và không phụ thuộc vào đám mây. Bạn có thể có trải nghiệm AI hoàn toàn cách ly nếu muốn.

Hai nhược điểm của phương pháp này là trước hết, bạn bị giới hạn vào các mô hình AI mà phần cứng của bạn có thể chạy, và thứ hai, các LLM mã nguồn mở mà bạn có thể tải xuống và chạy không phải lúc nào cũng tốt bằng các phiên bản trực tuyến của chúng. Có những nhiệm vụ mà bạn nên sử dụng LLM cục bộ, nhưng nó không thể làm mọi thứ.

Jan cho phép bạn khắc phục điều này bằng cách hỗ trợ các API từ xa như OpenAI, Anthropic, Claude và nhiều hơn nữa nếu bạn muốn truy cập đám mây vào các mô hình tương ứng của họ. Cách tiếp cận này không yêu cầu bạn phải chọn giữa hai phương án. Nó mặc định là cục bộ (và riêng tư), nhưng bạn luôn có tùy chọn chọn các mô hình dựa trên đám mây khi nhiệm vụ đang thực hiện cần đến.

Nó không hoàn hảo

Những cạnh thô bạn sẽ nhận thấy ngay lập tức

Nếu bạn đang chuyển từ LM Studio, bạn sẽ nhớ những chi tiết mà nó mang lại, đặc biệt là trong cấu hình lớp GPU, vốn trực quan và dễ tiếp cận hơn nhiều trong LM Studio. Ngoài ra, các tính năng như phân tích tài liệu cũng phát triển hơn. Jan đã và đang bắt kịp, nhưng nếu bạn muốn kiểm soát tinh chỉnh cho từng tham số suy luận, LM Studio là lựa chọn tốt hơn.

Nếu bạn thích làm việc trong terminal, Ollama vượt trội hơn cả LM Studio và Jan. Vì vậy, thời gian khởi động của cả hai chương trình LLM trực quan là tương đương nhau, nhưng chậm hơn Ollama. Jan nằm ở đâu đó giữa các đối thủ — minh bạch hơn LM Studio và thân thiện với người dùng hơn nhiều so với Ollama.

Nó âm thầm trở thành mặc định của tôi

Tại sao tôi hoàn toàn ngừng mở LM Studio

Không có nhiều điều ngăn cản bạn chuyển sang Jan từ LM Studio. Đường cong học tập gần như bằng phẳng, và hầu hết các mô hình và dữ liệu của bạn sẽ được chuyển sang một cách sạch sẽ. Sự khác biệt nằm ở quyền sở hữu chuỗi AI cục bộ của bạn. Với Jan, bạn hoàn toàn kiểm soát, và sẽ không có sự thay đổi bất ngờ về hướng đi hoặc cấp phép khiến bạn bị bất ngờ.

Trong thực tế sử dụng hàng ngày, Jan làm tất cả những gì LM studio làm, ngoại trừ việc nó đi kèm với sự yên tâm từ phần mềm mà bạn thực sự có thể kiểm toán. Bạn vẫn nhận được tất cả quyền kiểm soát và lợi thế bạn cần, chỉ là không có bất kỳ rắc rối tiềm ẩn nào.