Đừng mua NAS cho AI cục bộ, hãy lấy cái này thay vào đó

NAS là một bổ sung tuyệt vời cho bất kỳ thiết lập homelab nào. Nó có thể sao lưu ảnh và các tệp khác của bạn, chạy máy chủ Jellyfin hoặc Plex, và thay thế một vài dịch vụ đăng ký của bạn.

Thật hấp dẫn khi nghĩ rằng chúng cũng sẽ là một cách tốt để tiếp cận AI địa phương. Thật không may, phần cứng của chúng thực sự không đủ khả năng. Nếu bạn cần thứ gì đó nhỏ gọn và tiết kiệm năng lượng, có những lựa chọn khác tốt hơn và hiệu quả về chi phí hơn.

Một NAS không phải là câu trả lời cho AI cục bộ

Chúng tiện lợi nhưng không phải là tốt nhất

Các thiết bị NAS có sẵn dễ dàng, giá cả tương đối phải chăng và phổ biến, vì chúng có thể giúp bạn cắt giảm chi phí đăng ký. Ngày càng nhiều, chúng cũng được sử dụng để tự lưu trữ một số ứng dụng AI. Tuy nhiên, bạn không nên mua một thiết bị riêng cho AI.

Hầu hết các nhà sản xuất NAS lớn đều chế tạo thiết bị của họ với các CPU tiêu thụ điện năng thấp, nhằm mục đích phục vụ file mà không tiêu tốn nhiều điện năng, chứ không phải để xử lý các tác vụ AI. Ngay cả khi bạn có một thiết bị cao cấp với RAM 32GB hoặc hơn, bạn cũng chỉ được vài token mỗi giây. Bạn sẽ cảm thấy mình đang phải chờ một chiếc máy sinh văn bản chậm hơn tốc độ bạn gõ.

Nếu bạn đã có một NAS, chắc chắn không có hại gì khi sử dụng nó cho AI—chỉ cần đừng chi tiền để mua một cái với mục đích đó.

Các thiết lập NAS tự làm độc đáo và sáng tạo
Thử thách kiến thức

Từ những chiếc laptop cũ đến các bộ định tuyến đầy bụi — tìm hiểu xem bạn hiểu biết thế nào về thế giới hoang dã của lưu trữ mạng tự chế.

Ưu điểm lớn nào khiến một chiếc laptop cũ trở thành ứng cử viên đáng ngạc nhiên cho việc xây dựng NAS tự làm?

Phần mềm mã nguồn mở nào thường được cài đặt trên các bộ định tuyến tương thích để cho phép các tính năng chia sẻ lưu trữ USB giống NAS?

Hệ điều hành NAS nào được thiết kế đặc biệt để chạy tốt trên các máy tính đơn bo dựa trên ARM tiêu thụ ít điện năng như Raspberry Pi?

Khi xây dựng một NAS sử dụng Raspberry Pi, tắc nghẽn phổ biến nhất giới hạn tốc độ truyền tệp là gì?

Một 'Franken-NAS' thường được nhắc đến trong cộng đồng lưu trữ tự làm là gì?

Cấp độ RAID nào được khuyến nghị cho một NAS DIY nhỏ với 2 ổ đĩa ưu tiên sao lưu dữ liệu hơn tổng dung lượng lưu trữ?

Hầu hết những người xây dựng NAS tự làm cấu hình giao thức nào để cho phép các máy tính Windows trong mạng nội bộ duyệt các thư mục chia sẻ như một ổ đĩa mạng?

Nền tảng x86 tiêu thụ điện năng thấp nào trở nên cực kỳ phổ biến cho việc tự lắp NAS và máy chủ gia đình nhờ thiết kế không quạt và các bộ vi xử lý Intel Atom hoặc Celeron hiệu quả?

Điểm của bạn

Cảm ơn bạn đã chơi!

Điều quan trọng nhất đối với AI

Phần cứng NAS được tối ưu hóa cho các yếu tố như tiêu thụ điện năng và số lượng khay ổ đĩa—cả hai đều không thực sự giúp ích cho khối lượng công việc AI. Bạn cũng không nên quá chú ý đến quảng cáo NPU vào thời điểm này. Hầu hết các công cụ AI quan trọng, như Ollama, llama.cpp và LM Studio, hiện tại cũng không gửi khối lượng công việc AI tới NPU.

Lưu ý: Có thể trong tương lai phần mềm sẽ có khả năng sử dụng đồng thời GPU tích hợp và NPU.

Băng thông bộ nhớ cũng là một giới hạn đáng kể, đó là lý do tại sao phương pháp bộ nhớ thống nhất được sử dụng bởi các máy Mac hiện đại mang lại cho chúng lợi thế so với các máy tính mini khác sử dụng thanh RAM.

Mac Mini là một lựa chọn đáng ngạc nhiên tốt

Hiệu suất tuyệt vời cho tất cả các nhiệm vụ

Nếu bạn cần một thiết bị nhỏ gọn và tiết kiệm năng lượng để chạy các mô hình AI từ nhỏ đến trung bình, Mac Mini là một lựa chọn khá tốt. Mac Mini có thể được trang bị lên đến 64GB bộ nhớ hợp nhất với giá 2000 USD, cho phép nó dễ dàng chạy các mô hình có 30 tỷ (30B) tham số. Bạn có thể có thể nhét được một số mô hình đã lượng tử hóa với đến 70B tham số, nhưng bạn sẽ gặp phải một số nút thắt về hiệu suất.

Vì nó hoạt động ngay khi cắm với LM Studio và Ollama, bạn có thể dễ dàng chuyển đổi giữa việc sử dụng nó như PC hàng ngày, máy chủ tại nhà, hoặc hộp AI cục bộ chuyên dụng.

Mac Mini có một hạn chế

Nhược điểm thực sự duy nhất của Mac Mini là giới hạn bộ nhớ. Với mức tối đa 64GB trên M4 Pro, bạn sẽ không thể chạy các mô hình có hơn khoảng 70 tỷ tham số. Nếu bạn cần chạy các mô hình lớn hơn, bạn phải nâng cấp lên Mac Studio, mà đắt hơn đáng kể.

Một chiếc PC mini với chip AI AMD cũng tuyệt vời

Nhiều bộ nhớ đến mức bạn không biết phải làm gì với nó

Tuy Mac Mini có khả năng như thế nào đi nữa, chúng không phải là máy tính mini duy nhất có thể hoạt động như một máy chủ AI tại nhà. Nếu bạn đang tìm một lựa chọn hợp lý với chi phí thấp hơn Mac Mini, hãy bắt đầu với các máy tính mini có bộ xử lý AMD Ryzen AI 9 HX 370.

Một ví dụ, MINISFORUM sản xuất một máy tính mini với Ryzen AI 9 HX 370 và 32GB, 64GB, hoặc 96GB RAM với giá bắt đầu khoảng 1.100 đô la. Nhiều nhà sản xuất khác cũng sản xuất các mẫu với RAM lên đến 96GB, mặc dù những mẫu đó thường có giá khoảng 2.000 đô la.

Nếu bạn cần nhiều hiệu năng hơn nữa, tôi gợi ý xem xét các máy tính mini PC với Ryzen AI Max+ 395 hoặc AI Max+ 388. Chúng hỗ trợ lên tới 128GB bộ nhớ hợp nhất, và bạn có thể phân bổ tới 96GB làm VRAM. Điều này cho phép bạn thoải mái chạy các mô hình 70B+ mà sẽ không thể vừa trên Mac Mini.

Thật không may, các mini PC với bộ vi xử lý AI Max+ 395 và 128GB RAM khá đắt, mặc dù chúng thường rẻ hơn một chút so với Mac Studio với cùng lượng RAM. Khi AI Max+ 388 mới hơn trở nên phổ biến, nó có khả năng sẽ rẻ hơn một chút và có thể là một lựa chọn tốt nếu bạn đang muốn tiết kiệm tiền cho một PC AI.

ROCm mang lại lợi thế

ROCm của AMD đã trưởng thành khá nhiều, và bây giờ nó chạy được llama.cpp, Ollama và LM Studio mà không gặp quá nhiều vấn đề. Đây là một lựa chọn hợp lý nếu bạn thích Linux cho các máy chủ không có giao diện người dùng.

AMD tuyên bố rằng bạn có thể thấy thời gian đến token đầu tiên nhanh hơn tới 12,2 lần so với Intel Lunar Lake trên một số mẫu, tốc độ về lý thuyết là có thể đạt được. Thêm một tiện ích nữa, nếu bạn có một chiếc mini PC với các cổng OCuLink, bạn có khả năng thêm một GPU riêng sau này nếu muốn tăng hiệu năng.

Bạn không nên bỏ qua NAS

Chỉ vì một NAS không phù hợp để chạy các mô hình AI không có nghĩa là chúng không có giá trị gì. Chúng rất tuyệt cho những gì chúng vốn có: các thiết bị lưu trữ tiện lợi. Nếu bạn chưa có giải pháp sao lưu tại nhà nào, tôi thường khuyên nên mua một cái.

Nếu bạn muốn một thiết bị vừa là NAS vừa là máy chủ AI, lựa chọn tiết kiệm chi phí nhất là tự xây dựng từ các linh kiện đã được tân trang hoặc đã qua sử dụng. Bạn có thể thêm bao nhiêu RAM tùy thích, chọn một GPU với VRAM đủ để chạy các mô hình bạn muốn, và sau đó liên tục thêm ổ đĩa mới khi nhu cầu lưu trữ của bạn tăng lên. Một máy chủ gia đình như vậy cũng có khả năng tự lưu trữ hầu hết mọi dịch vụ khác mà bạn muốn, cho bạn tùy chọn cắt các gói đăng ký để chuyển sang các giải pháp thân thiện với quyền riêng tư hơn.