Cập nhật tháng 10/2026. Qwen ra phiên bản mới khá dày (3.5, 3.6, 3.8 chỉ trong năm 2026), nên tên phiên bản, kích thước và thẻ tải có thể đã thay đổi khi bạn đọc. Hãy đối chiếu lại trên trang mô hình chính thức.
Bài này dành cho ai: chủ doanh nghiệp nhỏ, trưởng phòng hành chính, kế toán, pháp chế hoặc người phụ trách IT muốn dùng AI để đọc hợp đồng, quy trình, hồ sơ nội bộ nhưng không muốn gửi những tài liệu đó lên dịch vụ đám mây.
Bạn sẽ nắm được gì: cách chọn kích thước mô hình theo RAM/VRAM; cài và chạy bằng Ollama hoặc LM Studio từng bước; 2 câu lệnh mẫu tiếng Việt; kiểm tra giấy phép; giới hạn so với mô hình đám mây và cách xử lý lỗi thiếu bộ nhớ.
Thời gian đọc: khoảng 13 phút, thực hành thêm 30–60 phút (phần lớn là thời gian tải mô hình).
Các bài trước trong chuyên mục đều dùng AI chạy trên máy chủ của nhà cung cấp, kể cả bài DeepSeek API cho tác vụ hàng loạt. Cách đó nhanh và rẻ, nhưng có một câu hỏi nhiều chủ doanh nghiệp vẫn băn khoăn: hợp đồng với đối tác, bảng lương, hồ sơ khách hàng có nên gửi ra ngoài không? Bài này đi theo hướng ngược lại: tải mô hình mở Qwen về và chạy ngay trên máy tính trong văn phòng.
1. Qwen là gì và khi nào nên chạy cục bộ
Qwen là họ mô hình ngôn ngữ của Alibaba. Điểm khác với ChatGPT hay Claude: phần lớn các phiên bản Qwen được công bố trọng số mở (open-weight) trên Hugging Face, nghĩa là bạn tải được toàn bộ mô hình về máy và chạy không cần internet. Tính đến tháng 10/2026, trang huggingface.co/Qwen có các dòng chính sau:
- Qwen3.5: nhiều kích thước từ 0,8B, 2B, 4B, 9B đến 27B, 35B-A3B và lớn hơn. Phù hợp máy văn phòng phổ thông.
- Qwen3.8-27B: bản mở mới nhất cỡ vừa, ra tháng 8/2026. Model card mô tả đây là mô hình gọn, dễ triển khai, hiểu cả ảnh và video, ngữ cảnh gốc 262.144 token.
Chữ “B” là tỷ tham số; số càng lớn càng thông minh nhưng càng cần nhiều bộ nhớ. Kiểu tên “35B-A3B” là mô hình hỗn hợp chuyên gia (MoE): tổng 35B tham số nhưng mỗi lần chỉ kích hoạt khoảng 3B, nên chạy nhanh hơn bản 27B dù tốn bộ nhớ tương đương.
Chạy cục bộ hợp khi: tài liệu nhạy cảm (hợp đồng, nhân sự, tài chính, hồ sơ bệnh nhân); công ty có quy định không đưa dữ liệu ra ngoài; hoặc muốn dùng không giới hạn mà không tính tiền theo token. Không hợp khi bạn cần câu trả lời tốt nhất có thể cho việc khó, hoặc cả công ty hàng trăm người dùng đồng thời mà chưa có máy chủ riêng.
2. Chọn kích thước mô hình theo cấu hình máy
Tài liệu Qwen không đưa bảng cấu hình tối thiểu. Bảng dưới là ước tính tham khảo dựa trên dung lượng tải bản nén 4-bit hiển thị trên thư viện Ollama, cộng thêm phần bộ nhớ cho hệ điều hành và ngữ cảnh:
Laptop 8 GB RAM
Qwen3.5 4B (khoảng 3–4 GB). Đủ tóm tắt email, trả lời câu hỏi ngắn; hay sai với văn bản dài.
Máy 16 GB RAM
Qwen3.5 9B (khoảng 7 GB). Điểm cân bằng cho văn phòng: tóm tắt tài liệu vài trang, viết nháp tiếng Việt khá ổn.
32 GB hoặc GPU 24 GB
Qwen3.8 27B hoặc Qwen3.6 27B (khoảng 18 GB). Phân tích hợp đồng, so sánh điều khoản tốt hơn rõ.
Mac chip M, 32 GB trở lên
Bộ nhớ dùng chung giữa CPU và GPU nên chạy được bản 27B hoặc 35B-A3B; có sẵn bản định dạng MLX.
Quy tắc dễ nhớ: dung lượng file mô hình nên nhỏ hơn khoảng hai phần ba bộ nhớ trống.
3. Cài đặt và chạy Qwen từng bước
Tài liệu chính thức của Qwen có hướng dẫn chạy cục bộ với Ollama, LM Studio, llama.cpp và MLX LM. Với người không chuyên kỹ thuật, Ollama (gõ lệnh) hoặc LM Studio (giao diện đồ hoạ) là dễ nhất.
Cài Ollama
Vào ollama.com/download, tải bản cho Windows, macOS hoặc Linux và cài như phần mềm thường. Mở Terminal (macOS) hoặc PowerShell (Windows), gõ ollama --version. Thấy số phiên bản là cài xong.
Tải và chạy mô hình
Gõ ollama run qwen3.5:9b (máy 16 GB) hoặc ollama run qwen3.8:27b (máy mạnh). Lần đầu Ollama tải vài GB, các lần sau mở ngay. Khi thấy dấu nhắc >>>, gõ câu hỏi tiếng Việt và Enter. Gõ /bye để thoát.
Kiểm tra thẻ phiên bản
Trang hướng dẫn Ollama của Qwen hiện vẫn lấy ví dụ bản cũ qwen2.5 và ghi chú sẽ cập nhật. Cú pháp giống nhau: ollama run qwen<phiên bản>:<kích thước>. Danh sách thẻ hiện có xem tại thư viện Ollama, ví dụ trang qwen3.8.
Hoặc dùng LM Studio nếu ngại dòng lệnh
Cài LM Studio, nhấn Ctrl/Cmd + Shift + M để mở ô tìm mô hình, gõ “Qwen”, chọn bản ứng dụng gợi ý vừa với máy rồi tải. Nhấn Ctrl/Cmd + L để nạp mô hình, sau đó trò chuyện như ChatGPT. Theo tài liệu Qwen, LM Studio tự chọn thông số nạp phù hợp phần cứng.
Ngắt mạng và thử lại
Tắt Wi-Fi rồi hỏi một câu. Mô hình vẫn trả lời nghĩa là mọi xử lý đang diễn ra trên máy bạn.
4. Hai câu lệnh mẫu cho tài liệu nội bộ
Với Ollama, bạn dán nội dung văn bản ngay sau câu lệnh. Văn bản dài vài chục trang nên chia thành từng phần.
Mẫu 1: Tóm tắt hợp đồng
1. Các bên, giá trị hợp đồng, thời hạn.
2. Nghĩa vụ chính của bên tôi (bên B) và mốc thời gian.
3. Điều khoản phạt, bồi thường, chấm dứt hợp đồng.
4. Ba điểm bất lợi hoặc mơ hồ cần luật sư xem lại.
Chỉ dựa vào nội dung hợp đồng, ghi rõ số điều khoản. Không chắc thì ghi “không thấy trong văn bản”.
—
[dán nội dung hợp đồng]
Mẫu 2: Hỏi đáp quy chế nội bộ
Trả lời câu hỏi của nhân viên chỉ dựa trên quy chế này, trích nguyên câu liên quan.
Nếu quy chế không nói đến, trả lời: “Quy chế chưa quy định, vui lòng hỏi phòng Nhân sự.”
Câu hỏi: Nhân viên thử việc có được nghỉ phép năm không?
—
[dán quy chế]
Mô hình nhỏ dễ “bịa” hơn mô hình đám mây, vì vậy cả hai mẫu đều buộc mô hình chỉ dựa vào văn bản và nói rõ khi không tìm thấy.
5. Ví dụ minh hoạ: văn phòng luật 6 người ở Cần Thơ
Đây là tình huống giả định để minh hoạ. Một văn phòng tư vấn luật nhận khoảng 20 hợp đồng mỗi tuần cần rà soát sơ bộ. Khách hàng yêu cầu bảo mật, nên văn phòng không muốn dán hợp đồng vào chatbot trên mạng.
- Thiết bị: một máy để bàn 32 GB RAM có card đồ hoạ 16 GB đặt ở phòng làm việc, chạy Qwen3.5 27B qua Ollama.
- Quy trình: chuyên viên dán hợp đồng, dùng mẫu 1 để có bản tóm tắt và danh sách điểm cần xem. Luật sư đọc bản tóm tắt trước, rồi mới đọc kỹ những điều khoản bị đánh dấu.
6. Giấy phép: kiểm tra trước khi dùng cho công việc
Các bản Qwen3.5, Qwen3.6 và Qwen3.8-27B trên Hugging Face đều ghi giấy phép Apache 2.0 trong model card, cho phép dùng thương mại, sửa đổi và phân phối lại, kèm điều kiện giữ thông báo bản quyền. Tuy vậy, không phải mọi bản Qwen đều giống nhau: một số mô hình ghi giấy phép khác (“other”), và các thế hệ cũ từng dùng giấy phép riêng của Qwen. Cách kiểm tra: mở trang mô hình, xem dòng License ở cột bên phải và mở file LICENSE trong thư mục mô hình, ví dụ LICENSE của Qwen3.5-9B.
7. Giới hạn so với mô hình đám mây
- Chất lượng: bản 4B–9B kém rõ so với mô hình lớn trên đám mây ở suy luận nhiều bước, văn bản rất dài và tiếng Việt chuyên ngành. Bản 27B tốt hơn nhiều nhưng vẫn nên kiểm tra kỹ.
- Tốc độ: máy không có GPU có thể chỉ ra vài chữ mỗi giây. Qwen3.8 bật chế độ suy nghĩ (thinking) mặc định nên câu trả lời đến chậm hơn; model card cho biết có thể tắt theo từng yêu cầu.
8. Lỗi thường gặp và cách khắc phục
Báo thiếu bộ nhớ (out of memory) hoặc máy treo khi nạp mô hình
Mô hình quá lớn so với RAM/VRAM. Chọn kích thước nhỏ hơn (27B xuống 9B), hoặc bản nén 4-bit thay vì 8-bit. Model card của Qwen cũng khuyên giảm cửa sổ ngữ cảnh khi gặp lỗi này. Đóng bớt phần mềm nặng trước khi chạy.
Chạy được nhưng rất chậm
Mô hình đang tràn từ VRAM sang RAM hoặc chạy bằng CPU. Chọn bản nhỏ hơn, vừa trọn trong bộ nhớ card đồ hoạ.
9. So sánh nhanh: Qwen cục bộ hay DeepSeek API
Qwen chạy cục bộ
Dữ liệu không rời máy, không tính phí theo token, chạy được khi mất mạng. Đổi lại cần máy đủ mạnh, chất lượng phụ thuộc kích thước mô hình, bạn tự bảo trì.
DeepSeek API
Không cần phần cứng, mô hình lớn, xử lý hàng nghìn dòng nhanh với chi phí thấp. Đổi lại dữ liệu đi qua máy chủ của nhà cung cấp, cần đọc kỹ điều khoản.
10. Bài tập thực hành
- Cài Ollama, chạy bản Qwen vừa với máy bạn theo bảng ở mục 2. Ngắt mạng và hỏi “Tóm tắt lợi ích của việc chạy AI trên máy tính cá nhân trong 3 ý”.
- Lấy một hợp đồng mẫu đã xoá thông tin thật, chạy mẫu 1. Đối chiếu với bản bạn tự đọc: mô hình bỏ sót hay hiểu sai điều khoản nào?
11. Thuật ngữ cần biết
- Open-weight (trọng số mở): mô hình được công bố file trọng số để ai cũng tải về chạy, kèm giấy phép quy định cách dùng. Nguồn: Qwen3.8-27B trên Hugging Face.
- Lượng tử hoá (quantization): nén trọng số xuống ít bit hơn (ví dụ 4-bit) để mô hình nhẹ và tốn ít bộ nhớ hơn, đổi lại giảm nhẹ chất lượng. Nguồn: Qwen docs: llama.cpp quantization.
- GGUF: định dạng file mô hình dùng bởi llama.cpp và các công cụ dựa trên nó như Ollama, LM Studio. Nguồn: Hugging Face: GGUF.
12. Tìm hiểu thêm
- Tài liệu chính thức Qwen: mục Run Locally có hướng dẫn Ollama, LM Studio, llama.cpp, MLX LM.
- QwenLM trên GitHub và qwen.ai: thông báo phiên bản mới.
- Toàn văn giấy phép Apache 2.0.
- Nền tảng về mô hình ngôn ngữ: Tìm hiểu về mô hình ngôn ngữ lớn (LLM).
13. Câu hỏi thường gặp
Chạy Qwen trên máy công ty có tốn phí không?
Ollama, LM Studio và các bản Qwen ghi giấy phép Apache 2.0 đều tải miễn phí. Chi phí thực tế là phần cứng và tiền điện. Vẫn nên đọc điều khoản của từng phần mềm khi dùng trong doanh nghiệp.
Dữ liệu có thật sự không bị gửi ra ngoài?
Khi mô hình đã tải về, việc xử lý diễn ra trên máy bạn; bước 5 (ngắt mạng vẫn chạy) là cách tự kiểm chứng. Phần mềm vẫn có thể kết nối mạng để kiểm tra cập nhật, nên bộ phận IT có thể chặn thêm bằng tường lửa nếu quy định khắt khe.
Đọc tiếp
- Bài trước (Công cụ AI): Manus cho người mới: giao AI agent tự nghiên cứu, làm bảng, báo cáo và trang web
- Nên đọc cùng: DeepSeek API cho doanh nghiệp nhỏ: xử lý hàng loạt phản hồi khách, tóm tắt và dữ liệu sản phẩm giá rẻ
- Bài sau trong chuyên mục Công cụ AI: CLAUDE.md và AGENTS.md cho dự án web: viết bộ nhớ dự án một lần, mọi AI agent làm đúng quy ước
PDL Digital đào tạo và triển khai AI cho đội ngũ doanh nghiệp, từ chọn mô hình chạy cục bộ hay đám mây, cài đặt máy chủ AI nội bộ đến xây quy trình duyệt kết quả an toàn. Xem trang đào tạo AI của PDL để được tư vấn lộ trình phù hợp.
