Raspberry Pi 5 có một bo mạch bổ sung mới để tăng hiệu suất

Raspberry Pi đã bán bo mạch AI HAT+ được hơn một năm nay, giúp các bo mạch Pi có khả năng chạy các mô hình học máy nhẹ để nhận diện đối tượng, gắn thẻ tập tin và các tác vụ khác. Giờ đây, có Raspberry Pi AI HAT+ 2, và nó đủ mạnh để chạy các mô hình ngôn ngữ lớn (LLM).

Raspberry Pi AI HAT+ 2 mới là một bo mạch bổ trợ cho Raspberry Pi 5, được trang bị chip Halio-10H và 8GB RAM chuyên dụng. Nó có thể cung cấp hiệu năng suy luận 40 TOPS (IN4), gần bằng 40-60 TOPS của các Đơn vị Xử lý Thần kinh (NPU) được tìm thấy trong các chip PC mới hơn từ Intel, AMD và Qualcomm.

Bạn sẽ có thể chạy các mô hình ngôn ngữ lớn như Llama 3.2 1B, DeepSeek-R1-Distill 1.5B, Qwen2.5-Coder 1.5B, Qwen2.5-Instruct 1.5B và Qwen2 1.5B, và Raspberry Pi cho biết các mô hình bổ sung với kích thước tham số lớn hơn đang được phát triển. RAM 8GB chưa đủ cho các mô hình như GPT-OSS hoặc DeepSeek phiên bản thường, nhưng việc hỗ trợ Gemma 3 1B hoặc các mô hình nhỏ hơn khác trong tương lai là điều khả thi.

Tuy nhiên, bo mạch này không chỉ dành cho LLM. Nó hoạt động với cùng phần mềm camera như AI HAT+ gốc, vì vậy bạn có thể thiết lập các mô hình dựa trên thị giác để nhận diện đối tượng, ước lượng tư thế, hoặc các quy trình máy học khác. Raspberry Pi cho biết hiệu suất đối với các mô hình thị giác như Yolo là "tương đương rộng rãi với phiên bản 26-TOPS trước đó, nhờ vào RAM tích hợp sẵn trên bo mạch."

Raspberry Pi cho biết trong một bài đăng trên blog: "Các mô hình ngôn ngữ lớn (LLM) dựa trên đám mây từ OpenAI, Meta và Anthropic có quy mô từ 500 tỷ đến 2 nghìn tỷ tham số; các LLM dựa trên thiết bị chạy trên Raspberry Pi AI HAT+ 2, được thiết kế để vừa với RAM tích hợp sẵn, thường chạy ở mức 1-7 tỷ tham số. Các LLM nhỏ hơn như thế này không được thiết kế để khớp với bộ kiến thức của các mô hình lớn hơn, mà thay vào đó để hoạt động trong một tập dữ liệu có giới hạn."

Nếu bạn đang thực hiện một dự án có thể tận dụng lợi ích từ học máy hoặc các mô hình AI sinh tạo, như một chiếc camera nhận diện những loài chim bay qua cửa sổ của bạn hoặc một công cụ chuyển văn bản thành giọng nói, Raspberry Pi 5 với AI HAT+ 2 có thể là một cách để thực hiện. Hy vọng rằng danh sách các mô hình có sẵn sẽ được mở rộng theo thời gian, để danh sách các khả năng tiếp tục phát triển.

Bạn có thể mua Raspberry Pi AI HAT+ 2 bắt đầu từ hôm nay với giá 130 USD tại các cửa hàng được ủy quyền. Giá này hơi cao hơn so với Raspberry Pi với 8GB RAM riêng lẻ, hiện có giá 95 USD.

Nguồn: Raspberry Pi