# Một tuần code chỉ với local AI model

[Adrian Twarog](https://homus.dev/speakers/adrian-twarog) · [Adrian Twarog](https://homus.dev/orgs/adrian-twarog)

> Bảy ngày chạy Qwen 3.8, Muse Glimmer, GLM trên mini PC 64 GB: tốc độ, VS Code, Claude Code, agent, và vì sao context là giới hạn.

Topics: Coding Agents, Dev Tools, Agents

Canonical: https://homus.dev/talks/i-tried-coding-with-local-ai-models-for-7-days

## 1. Câu hỏi mở đầu: benchmark nói local model đã gần bằng cloud

Video được ASUS tài trợ, và chiếc mini PC dùng suốt tuần thử nghiệm là máy ASUS cung cấp.

Adrian Twarog mở đầu bằng một biểu đồ. Ở trên cùng là Fable, một trong những cloud model online tốt nhất mà người ta có thể dùng vào lúc làm video (trên màn hình là Claude Fable 5 của Anthropic). Nhưng nhìn xuống thấp hơn một chút, anh chỉ ra Qwen 3.8, một lựa chọn open source mà lúc quay video đang chạy offline ngay trên bàn làm việc của anh.

![Biểu đồ Epoch Capabilities Index với hộp thông tin của Claude Fable 5](https://homus.dev/photos/XGuQLDIrTWw-0006.jpg)

Biểu đồ Epoch Capabilities Index mà Adrian dùng để mở đầu: hộp thông tin của Claude Fable 5 ghi Anthropic, ECI 162, khoảng tin cậy 90% là 159 đến 166, ngày phát hành 9/6/2026; xung quanh là Claude Opus 5, Grok 4.6 và GLM-5.

Theo các benchmark mà anh xem (tính đến lúc đăng video, 02/10/2026), khoảng cách giữa hai nhóm đang nhỏ đi một cách đáng ngạc nhiên. Điều đó dẫn tới một câu hỏi thú vị: nếu open source local AI model đã gần tới mức này so với các cloud model tốt nhất, liệu anh có thể dùng chúng thay thế được không?

Anh đặt mục tiêu dành trọn một tuần để đẩy local AI model đi xa nhất có thể: cho code, cho công việc thật, và để tìm ra điểm mà chúng thực sự gãy hoặc bắt đầu có vấn đề. Lý do là anh biết benchmark không phải lúc nào cũng kể hết câu chuyện. Anh hứa đến cuối video, người xem sẽ biết local AI có thực sự thay được thứ họ đang dùng hay không, nó vỡ ở đâu, và liệu cuối cùng nó đã đáng dùng chưa.

## 2. Ngày 1: chọn phần cứng consumer-grade

Hôm đó là thứ Hai, ngày đầu của thử nghiệm. Việc đầu tiên Adrian muốn làm là tìm một thiết bị dùng được cho cả tuần để chạy các local model. Anh nói rõ anh không muốn một cỗ máy cực khủng, mà muốn thứ ở mức consumer-grade, tức phần cứng người dùng phổ thông có thể mua.

Anh liên hệ ASUS và hãng gửi cho anh chiếc **ASUS NUC 16 Pro Mini PC**. Theo lời anh trong video (đăng ngày 02/10/2026), máy có 64 GB RAM, chip Intel Core Ultra X7 với 16 logical cores (anh nói thêm là có cả performance cores), và anh đánh giá máy làm rất tốt các tác vụ kiểu này. Anh định dùng nó cho toàn bộ tuần: dựng máy, cài vài local model và xem hiệu năng ra sao.

![Adrian Twarog nói trước camera, bên cạnh là logo ASUS NUC PRO Mini và các ô thông số](https://homus.dev/photos/XGuQLDIrTWw-0103.jpg)

Adrian giới thiệu chiếc mini PC. Các ô đồ họa bên phải (theo video đăng ngày 02/10/2026) liệt kê những điểm của dòng máy: tới Intel Core Ultra X9, GPU Intel Arc B390, tới 180 TOPS cho AI, RAM LPDDR5x, hai cổng LAN 2.5G, vỏ tháo không cần dụng cụ, chuẩn độ bền MIL-STD 810H, hai quạt và Intel vPro.

![Task Manager của Windows hiển thị Intel Core Ultra X7 358H](https://homus.dev/photos/XGuQLDIrTWw-0111.jpg)

Task Manager trên máy thử nghiệm ghi tên CPU là Intel(R) Core(TM) Ultra X7 358H.

## 3. Ollama, LM Studio và chọn model theo benchmark

Hai phần mềm Adrian dùng để chạy local model là **Ollama** và **LM Studio**. Anh nhận xét cả hai khá dễ cài, và (tính đến lúc làm video, 10/2026) chạy được trên Windows, Mac lẫn Linux.

Bước tiếp theo là quyết định sẽ chạy model nào. Anh vào arena.ai để xem bảng xếp hạng cho coding và cho mục đích dùng chung, đặc biệt là phần open source model. Anh nói thẳng là cá nhân anh không phải lúc nào cũng tin benchmark, nhưng chúng vẫn là một chỉ báo tốt cho thứ mình nên kỳ vọng.

![Bảng xếp hạng model với kimi-k3-max, qwen3.8-max, claude-opus-5-high và các model khác](https://homus.dev/photos/XGuQLDIrTWw-0143.jpg)

Bảng xếp hạng Adrian xem (theo video đăng ngày 02/10/2026): có kimi-k3-max, qwen3.8-max, claude-opus-5-high, hy4-preview, grok-4.6-high, claude-fable-5, qwen3.8-flash-next, gpt-5.8-sol-xhigh (codex-harness), glm-5.3-max, glm-5.3-flash và qwen3.8-27b ở cuối danh sách đang hiện.

Theo bảng xếp hạng lúc anh xem (video đăng ngày 02/10/2026), vài lựa chọn tốt nhất là Kimi K3, Qwen 3.8 Max, hay thậm chí GLM 5.2. Nhưng tất cả đều nằm ngoài tầm phần cứng consumer-grade, vì cần tới hàng trăm GB RAM chứ không phải thứ gì trong khoảng 64 GB.

Vì vậy anh quyết định chọn ba ứng viên vừa với máy của mình:

- **Qwen 3.8**, nhưng là bản 27 billion parameter (27B).

- **Muse Glimmer**, model mới của Meta vào thời điểm làm video.

- Model **GLM** tốt nhất mà anh có thể nhét vừa phần cứng một cách ổn định.

## 4. Tải model: GPU offloading và quantization

Chốt xong danh sách, Adrian quay lại LM Studio, mở model picker mới và chọn các kích cỡ để tải về. Anh lưu ý hai điều khi tải model.

Thứ nhất, nên chọn bản cho phép **GPU offloading**, tức đẩy phần tính toán sang GPU, vì nếu không hiệu năng sẽ khá tệ. Trên màn hình LM Studio, các bản như GLM 4.6V Flash Q4_K_M có nhãn "Full GPU Offload Possible" (có thể offload toàn bộ lên GPU), kèm dòng chú thích rằng model này có thể vừa trọn trong bộ nhớ GPU.

Thứ hai, anh muốn bản không bị nén quá mạnh. Mức nén này thể hiện qua **quantization**: bạn sẽ thấy các ký hiệu như Q8, Q6, Q4. Adrian giải thích đơn giản rằng chúng có nghĩa là model đã bị nén tới một mức làm mất đi một phần độ chính xác, nhưng đổi lại kích thước nhỏ hơn cho phép chạy trên phần cứng phổ thông. Giới hạn của anh lúc đó là 64 GB, nên miễn model vừa dưới mức đó là ổn.

![Cửa sổ tải xuống của LM Studio với ba model đang tải](https://homus.dev/photos/XGuQLDIrTWw-0256.jpg)

Ba model đang tải song song trong LM Studio: qwen/qwen3.8-27b (2,22 trên 17,74 GB, còn 3 giờ 28 phút), meta/muse-glimmer (2,57 trên 18,16 GB, còn 1 giờ 45 phút) và openai/gpt-oss-120b (2,46 trên 63,39 GB, còn 6 giờ 54 phút).

Đây là phần chậm nhất. Tải hàng trăm GB song song cho nhiều model sẽ mất khá lâu, nên Adrian quyết định dừng ngày đầu ở đó, để máy tải qua đêm, và hôm sau mới bắt đầu chạy các model.

## 5. Ngày 2: Qwen 3.8 27B trong chat của LM Studio

Sang ngày thứ hai, các model cuối cùng cũng tải xong. Hôm nay Adrian muốn xem ba điều: chúng nhanh tới đâu về hiệu năng, cảm giác dùng chúng trong chat ra sao, và liệu anh có kéo được chúng vào VS Code IDE không, vì đó là cách anh thích tương tác với model nhất.

Trong LM Studio, anh mở model picker và chọn model muốn dùng, đầu tiên là Qwen 3.8. LM Studio cho anh một ước tính về mức dùng GPU và bộ nhớ. Anh đặt context length ở mức mặc định khoảng 8.000 token rồi chạy bài thử của mình, một câu "hello world, please introduce yourself" (xin chào, hãy tự giới thiệu). Anh để reasoning ở mức thấp để nhận câu trả lời nhanh. Đoạn phát lại trong video là tốc độ thật, để người xem thấy câu trả lời chạy ra nhanh cỡ nào.

Để so với các model khác, anh mở phần debugging info và thấy model đang sinh ra khoảng 12 token mỗi giây (số anh đo trên máy này, video đăng ngày 02/10/2026).

![Phần Debug Info trong LM Studio với 12.38 tok/sec](https://homus.dev/photos/XGuQLDIrTWw-0347.jpg)

Dưới câu trả lời "How can I help you today?", LM Studio ghi 12.38 tok/sec, 114 tokens, 1.66s, lý do dừng là EOS Token Found và 58.8% draft tokens accepted.

## 6. Muse Glimmer: nghĩ nhiều về guideline, chạy chậm

Adrian unload Qwen và thử model kế tiếp là Muse Glimmer của Meta. Với model này, anh thấy vài điều khá kỳ lạ, nhất là lúc nó reasoning.

Khi anh xem kỹ nó thực sự đang nghĩ gì, rất nhiều phần suy nghĩ bị dùng hết vào việc đảm bảo rằng nó tuân thủ guideline, không làm gì vượt khuôn khổ, giữ thái độ thân thiện và không vi phạm policy. Anh nhận xét đó là quá nhiều suy nghĩ chỉ để trả lời một câu hello world, và điều này khiến anh thực sự lo khi nghĩ tới việc giao cho nó những chỉ dẫn đàng hoàng để làm task thật.

![Câu trả lời của Muse Glimmer trong LM Studio sau khi nghĩ 21,84 giây](https://homus.dev/photos/XGuQLDIrTWw-0423.jpg)

Muse Glimmer ghi "Thought for 21.84 seconds" rồi mới trả lời: "Hello! I'm an AI assistant built by Meta" và liệt kê những việc nó giúp được như viết, brainstorm, trả lời câu hỏi, coding và tóm tắt.

Model này cũng khá chậm: anh chỉ đo được khoảng 6 token mỗi giây (trên màn hình debug ghi 6.42 tok/sec, theo video đăng ngày 02/10/2026). Anh nói trong cả nhóm, anh không chắc mình có đủ kiên nhẫn chờ lâu như vậy chỉ để lấy output.

## 7. GLM 4.7 Flash, giá trị của 64 GB RAM và GPT-OSS 120B ngoài tầm

Model cuối cùng trong lượt thử là **GLM 4.7 Flash**. Model này vừa trọn trên GPU, nên Adrian kỳ vọng kết quả tốt. Anh chạy cùng bài thử để xem nó trả lời nhanh cỡ nào và trả lời gì. Lần này nhanh hơn hẳn: khi kiểm tra, nó chạy 22 token mỗi giây.

![Debug Info với 22.08 tok/sec cho GLM 4.7 Flash](https://homus.dev/photos/XGuQLDIrTWw-0448.jpg)

Kết quả của GLM 4.7 Flash trên cùng câu hỏi: 22.08 tok/sec, 80 tokens, 0.81s, dừng ở EOS Token Found.

Anh nhận xét chiếc mini PC của ASUS trụ khá tốt. Tất nhiên kết quả có thể khác tùy phần cứng của từng người, nhưng ít nhất người xem biết mình nên kỳ vọng gì (các con số trên là anh đo trên máy này, video đăng ngày 02/10/2026).

Anh còn nói một điều về việc có 64 GB RAM: với dung lượng đó, anh chạy được hai bản GLM 4.7 Flash song song. Đây là việc anh không làm được ngay cả trên PC riêng của mình. Máy đó về lý thuyết có thông số cao hơn, nhưng vì RAM ít hơn nên đơn giản là không gánh nổi kiểu local model này.

Còn một model anh muốn thử là model của OpenAI, bản OSS 120 billion parameter, nhưng nó vừa vặn nằm ngoài tầm. Đây là lúc anh nghĩ có lẽ mình nên lấy bản 96 GB RAM, nhưng với giá RAM thời điểm đó (video đăng ngày 02/10/2026), anh gọi đó vẫn là một giấc mơ xa vời.

![LM Studio báo không đủ tài nguyên để nạp GPT-OSS 120B](https://homus.dev/photos/XGuQLDIrTWw-0523.jpg)

LM Studio 0.4.21 báo lỗi màu đỏ khi nạp GPT-OSS 120B với thiết lập hiện tại: ước tính cần 1,74 GB GPU và tổng cộng 62,38 GB.

## 8. Đưa model local vào chat của VS Code

Xong phần thử tốc độ, Adrian mở VS Code vì anh muốn bắt đầu code với các model này, và lý tưởng nhất là chúng nằm ngay trong cửa sổ chat của anh. Bình thường, khi chọn chat, VS Code sẽ yêu cầu bạn đăng nhập thẳng vào GitHub (trên màn hình là hộp "Sign in to use GitHub Copilot"). Anh không làm vậy, mà muốn xem có chạy được model local trực tiếp không, bằng một extension hoặc bằng cách tự thêm model vào.

Anh kể rằng vào thời điểm làm video có vài extension tốt cho VS Code để nạp model của Ollama và LM Studio. Extension đầu tiên tên là **Continue**, và còn một extension của LM Studio để có chat trong Copilot.

Nhưng theo anh, VS Code đã tiến khá xa, và vào thời điểm làm video (10/2026) đã có cách làm native mà không cần thêm extension nào. Các bước anh làm:

- Lên thanh lệnh ở trên cùng và chọn **Manage Language Models**.

- Ở đó bạn có thể thêm model chạy trên cloud hoặc model local. Anh chọn dùng một **custom endpoint**.

- Cắm endpoint của LM Studio vào: thêm URL mà LM Studio đang host, cùng với tên model.

- Lặp lại nhiều lần để có đúng những model mình muốn thấy trong VS Code. Lúc này anh chỉ thêm Qwen và GLM.

Kết quả trên màn hình là file `chatLanguageModels.json` mà VS Code mở ra. Mục đầu tiên trong file:

```
[
{
"name": "LMStudio",
"vendor": "customendpoint",
"apiType": "chat-completions",
"models": [
{
"id": "qwen/qwen3.8-27b",
"name": "qwen/qwen3.8-27b",
"url": "http://127.0.0.1:1234/v1/chat/completions",
"toolCalling": true,
"vision": true,
"contextWindow": 8192
}
]
},
```

![VS Code mở file chatLanguageModels.json với cấu hình custom endpoint cho LM Studio](https://homus.dev/photos/XGuQLDIrTWw-0623.jpg)

File chatLanguageModels.json trong VS Code: provider "LMStudio" với vendor "customendpoint", model qwen/qwen3.8-27b trỏ tới endpoint chat completions của LM Studio ở cổng 1234 trên máy, contextWindow 8192. Bên dưới bắt đầu một mục thứ hai tên "LM Studio".

Tài liệu chính thức của VS Code mô tả cùng luồng này: mở Language Models editor bằng lệnh Chat: Manage Language Models, chọn Add Models rồi Custom Endpoint, sau đó VS Code mở file chatLanguageModels.json để bạn điền chi tiết model. Tài liệu cũng ghi rằng (tính đến 10/2026) có thể dùng model BYOK, kể cả model local, mà không cần gói Copilot và không cần đăng nhập GitHub.

Lúc này, ở khung chat bên phải, Adrian thấy được các model đang chạy local, dù anh chưa đăng nhập vào bất kỳ tài khoản cloud nào.

## 9. Vì sao chat trong VS Code bị lỗi, và cách sửa hai bước

Vẫn còn một vấn đề: khi anh thử chat với các model này, chúng liên tục báo lỗi. Adrian nghĩ anh đã tìm ra lý do. Các prompt tự thân đang đẩy đi một lượng context khổng lồ, vượt quá context window đang có của model.

![Khung chat VS Code báo lỗi request vượt quá context size](https://homus.dev/photos/XGuQLDIrTWw-0752.jpg)

Câu "hello world" gửi tới zai-org/glm-4.7-flash trong chat của VS Code thất bại: lỗi 400 ghi request dài 8606 token vượt quá context size hiện có là 8192 token (exceed_context_size_error).

Anh phát hiện ra điều này khi xem kỹ thứ thực sự được gửi đi: VS Code đính kèm rất nhiều tool call tới mức gần như dùng hết context, chẳng để lại gì cho chính cuộc chat. Giải pháp gồm hai phần:

- Bỏ chọn tất cả tool call.

- Mở rộng context cho chính model đó.

![Danh sách Built-In tools trong VS Code đang được bỏ chọn](https://homus.dev/photos/XGuQLDIrTWw-0709.jpg)

Hộp "Select tools for this chat session" của VS Code: Adrian đang bỏ chọn các tool Built-In như agent, browser, edit, execute, new; các tool read, search, todo, vscode và web vẫn còn được chọn ở thời điểm này.

Làm xong hai bước đó, model đã chạy được bên trong VS Code. Anh kết thúc ngày hai bằng một chữ: hoàn hảo.

## 10. Ngày 3: bài học đầu tiên là context

Sang ngày thứ ba, sau khoảng một ngày dùng các local model cho công việc production, Adrian có vài suy nghĩ và bài học.

Điều đầu tiên: **context quan trọng**. Các công ty như Anthropic và OpenAI hay nói model của họ có context lên tới 1 triệu token (tính đến lúc làm video, 10/2026). Anh thừa nhận trước đây chưa bao giờ để ý chuyện đó lắm, cho tới khi local model của anh bị giới hạn ở 8.000 token. Giới hạn ấy thực sự tác động lớn tới cách anh dùng chúng.

Anh dùng chúng trong chat dễ hơn nhiều so với trong VS Code, và phải rất kỷ luật về việc khi nào mở session mới. Nếu để một session chạy quá lâu, anh đơn giản là hết context và không đẩy nó đi thêm được nữa.

![Thiết lập Context Length của Qwen3.8 27B trong LM Studio](https://homus.dev/photos/XGuQLDIrTWw-0804.jpg)

Trong thiết lập nạp model của LM Studio cho Qwen3.8 27B (bản Q4_K_M, GGUF), dòng Context Length ghi model hỗ trợ tới 262144 token (lúc làm video); bên dưới là thanh GPU Offload và các tùy chọn như CPU Thread Pool Size, Evaluation Batch Size.

Anh có thể thử tăng context cho các model này, vì chúng có context window lớn hơn và có thể đẩy lên. Nhưng như vậy nghĩa là tốn thêm tài nguyên, thêm xử lý, và cuối cùng chúng bắt đầu mất rất lâu để sinh output. Với anh, điều đó đơn giản là không đáng.

## 11. Chạy Claude Code với model local

Hôm đó Adrian thử một hướng khác: xem các model này xoay xở ra sao với CLI, những thứ như Claude Code hay Qwen Code. Anh nói vào lúc làm video, tất cả các CLI này đã thành mainstream, rất nhiều người dùng chúng bên trong những công cụ như T3 Code, và chúng là những harness tốt. Câu hỏi là: có chạy được local model với context window nhỏ hơn trên chúng không?

Lúc làm video, Claude Code là CLI anh thích nhất, nên đó là cái anh muốn dựng lên trước. Để nó dùng local model, cần truyền vào một model cụ thể và đặt thiết lập để nó dùng URL của LM Studio. Trên màn hình, anh tạo một thư mục mới rồi chạy Claude Code với model local:

```
mkdir claude-code
cd .\claude-code\
claude --model google/gemma-4-26b-a4b-qat
```

![PowerShell: tạo thư mục claude-code và chạy claude với tham số model](https://homus.dev/photos/XGuQLDIrTWw-0830.jpg)

Trong PowerShell, Adrian tạo thư mục claude-code ở ổ C, chuyển vào đó và gõ lệnh claude --model kèm tên model google/gemma-4-26b-a4b-qat đang được LM Studio phục vụ.

Làm xong là Claude Code chạy trong terminal của anh. Màn hình chào ghi Claude Code v2.1.259 cùng tên model google/gemma-4-26b-a4b-qat, và anh gõ "Hello world".

Chỉ có một vấn đề: nó đã chạy hai phút mà anh vẫn chưa có câu trả lời. Mở LM Studio ra thì rõ ràng nó vẫn đang xử lý phản hồi, dù anh chỉ hỏi một câu hello world. Trên màn hình Developer của LM Studio, các dòng "PROCESSING PROMPT" chạy phần trăm dần lên.

![Phần JSON dài của system prompt và định nghĩa tool mà Claude Code gửi tới model](https://homus.dev/photos/XGuQLDIrTWw-0852.jpg)

Một phần của thứ Claude Code gửi cho model: hàng loạt định nghĩa tool dạng JSON schema, ví dụ các trường subject, description, activeForm và status với giá trị pending, in_progress, completed cho tool quản lý task.

Đào sâu hơn, anh tìm ra đây là prompt được giao cho model nhỏ bé này. Anh nói đó chính là ý anh khi bảo context quan trọng: lượng này là gánh quá nặng cho một model nhỏ. Vì vậy anh không nghĩ dùng harness hay CLI với local model là hiệu quả, ít nhất ở giai đoạn đó (video đăng ngày 02/10/2026). Cuối cùng, nó mất khoảng ba phút để trả lời câu Hello World, và câu trả lời chỉ là "how can I help you?" (tôi có thể giúp gì cho bạn?).

## 12. Ngày 4: AI agent với model local, thử OpenClaw

Ngày thứ tư, Adrian muốn thử xem local AI model làm việc với AI agent thế nào. Theo anh, vào thời điểm làm video, những agent như Hermes và OpenClaw cực kỳ phổ biến, nhưng chúng ngốn rất nhiều token, đặc biệt khi bạn dựng hàng chục loại cron job khác nhau lặp lại mỗi phút, mỗi giờ hoặc mỗi ngày.

Anh lập luận rằng đây thực tế là việc mà open local model có thể làm khá tốt, vì ta không quá lo chuyện chúng mất bao lâu, miễn là chúng thực hiện được hành động. Những việc đó có thể cũng không tốn nhiều token, vì model chỉ cần kiểm tra vài thứ như log hay email, rồi chuyển tiếp cho một agent thông minh hơn, lớn hơn xử lý từ đó.

Ý tưởng Adrian đặt ra cho ngày bốn: model local nhận những việc lặp lại, ít token, không gấp; khi cần suy nghĩ thật thì chuyển cho agent lớn hơn.

Anh dựng hai AI agent: đầu tiên là OpenClaw, sau đó là Hermes. OpenClaw là một trong những công cụ anh thích nhất. Vào thời điểm làm video, nó có ứng dụng Windows, nhưng anh vẫn thích chạy nó trong terminal hơn. Anh kết nối nó với Qwen 3.8, gửi "Hello World", rồi chờ, rồi chờ thêm nữa.

![Terminal OpenClaw đang chờ model qwen3.8 trả lời sau 1 phút 32 giây](https://homus.dev/photos/XGuQLDIrTWw-1021.jpg)

Giao diện terminal của OpenClaw với session agent:main:main: sau các tin "hello world", "Hello", "I'm adrian", thanh trạng thái báo "running, 1m 32s, local ready" với model qwen3.8:latest, kèm dòng "This response is taking longer than expected".

Nó mất khoảng hai đến ba phút chỉ để trả lời một tin nhắn này, và Adrian không nghĩ như vậy là dùng được.

## 13. Mô hình lai: cloud model điều phối, model local làm sub-agent

Vì vậy Adrian đổi cách: anh nối OpenClaw với một cloud model thật, và để Qwen 3.8 chạy như một sub-agent cho những việc như cron job.

Anh cũng dựng Hermes, vì anh thấy Hermes khá giỏi ở khả năng tự cải thiện (self-improvement). Một trong những thứ nó có thể tận dụng là dùng local model để làm lại memory của nó và tự nâng cấp.

![Hermes Agent với menu chọn model gồm các bản Kimi và model từ LM Studio](https://homus.dev/photos/XGuQLDIrTWw-1117.jpg)

Giao diện Hermes Agent với menu chọn model: phía trên là các bản Kimi K2 (Thinking Turbo, Turbo, 0905, K2.7 Code Highspeed), nhóm LM Studio bên dưới có Lfm2 24b A2b và Lfm2.5 8b A1b; model đang chọn ở thanh dưới là Kimi K3.

Lúc đó, cả hai AI agent đều dùng **Kimi K3** làm agent chính, điều phối mọi thứ. Agent cũng được kết nối với Telegram để anh nhận tin nhắn ngay lập tức. Còn các lượt chạy sub-agent thì anh để chạy nền, chúng cứ thong thả mất thời gian làm việc của mình.

## 14. Ngày 5: đẩy hiệu năng lên hơn 100 tokens mỗi giây

Adrian kể anh còn thức vài đêm để vắt được nhiều hiệu năng nhất có thể từ chiếc máy này, và đã đẩy được lên hơn 100 token mỗi giây. Anh làm được điều đó bằng cách chạy những model nhẹ hơn như LFM 2.5 (trên màn hình là Lfm2.5 8b A1b), và cho xem tốc độ đó theo thời gian thực. Anh nhận xét: khá là đã mắt.

![LM Studio Debug Info ghi 115.32 tok/sec](https://homus.dev/photos/XGuQLDIrTWw-1104.jpg)

Debug info trong LM Studio ở lượt chạy model nhẹ: 115.32 tok/sec, 128 tokens, thời gian tới token đầu 0.04s (số anh đo trên máy này, theo video đăng ngày 02/10/2026).

Về AI agent, anh tiếp tục dùng Hermes, chủ yếu với model Kimi K3, vì theo anh lúc đó nó hoàn toàn không đắt và cho kết quả tốt nhất trong những gì anh thử (video đăng ngày 02/10/2026). Anh thừa nhận ban đầu anh định để chiếc máy này chỉ dùng local model, nhưng giờ anh nghĩ vẫn cần trộn thêm vài online model để làm việc cùng chúng.

## 15. Ngày 6: một máy cho AI, một máy cho mình

Adrian còn cài Blender và kết nối ChatGPT 6 Astra, model mới vào thời điểm làm video, để nó tạo vài artwork 2D rồi biến thành 3D. Việc này có nghĩa là model phải điều khiển PC của anh trong lúc làm, và anh đánh giá kết quả khá ấn tượng. Anh làm tương tự với Claude: nhờ nó làm việc trên vài project của anh và điều khiển PC ở những chỗ cần.

![Blender hiển thị một vật thể 3D màu nâu được dựng từ artwork 2D](https://homus.dev/photos/XGuQLDIrTWw-1136.jpg)

Blender trên máy mini PC: một vật thể màu nâu kiểu hoạt hình, được AI điều khiển máy dựng từ artwork 2D sang 3D.

Anh biết có thể đây là một điều không hay, nhưng giờ anh có hai máy: một cho AI agent dùng và một cho chính mình. Nghĩa là anh có thể ra ngoài mua cà phê, và bất cứ lúc nào cũng mở app trên điện thoại để xem tiến độ, giao thêm task, hoặc mở một thread mới để làm việc khác hoàn toàn. Anh thấy điều này khá hay.

Nó cũng không ngăn anh dùng máy riêng của mình, vì giờ AI đã có workstation riêng. Anh nghĩ đây phần nào là hướng mà mọi người đang bắt đầu đi tới.

## 16. Ngày 7: kết luận về local AI

Ngày cuối của thử nghiệm, Adrian chốt lại vài suy nghĩ và kết luận.

Anh chắc chắn nghĩ local AI model sẽ là tương lai, và anh sẽ không ngạc nhiên nếu sau này phần lớn máy tính đều có dung lượng RAM rất lớn để đáp ứng việc này. Anh nói đây là chỗ chiếc máy ASUS phát huy khá tốt.

Về sử dụng thực tế, anh nghĩ những ví dụ tốt nhất ở thời điểm đó (video đăng ngày 02/10/2026) là dùng nó cho những thứ như OpenClaw và Hermes, nơi agent có thể dựng sub-agent, hoặc dùng local AI model cho những việc như cải thiện memory. Với một máy nhỏ gọn chạy OpenClaw 24/7, anh đánh giá gần như hoàn hảo.

Còn với những task dài hơi thật sự, khi anh chạy codebase hàng trăm, hàng nghìn dòng code, có lẽ ta chưa tới được đó. Anh nghĩ vẫn còn chỗ để phát triển, vì ta đang thấy những model ngày càng lớn đi kèm quantization ngày càng tốt hơn. Anh tin rằng không bao lâu nữa, chúng ta sẽ chạy local AI trên điện thoại, trên laptop, và cả trên máy tính ở nhà.

![Trang qwen3.8 trên Ollama với lệnh chạy và mục Applications](https://homus.dev/photos/XGuQLDIrTWw-1223.jpg)

Trang model qwen3.8 trên Ollama xuất hiện ở đoạn kết: thẻ vision, tools, thinking, 27b; lệnh ollama run qwen3.8; và mục Applications với lệnh khởi chạy Claude Code và OpenCode bằng qwen3.8.

Trên màn hình đoạn kết, trang Ollama của qwen3.8 ghi các lệnh sau (đây là nội dung trang, không phải lệnh Adrian nói đã chạy):

```
ollama run qwen3.8
ollama launch claude --model qwen3.8
ollama launch opencode --model qwen3.8
```

Cuối video, Adrian cảm ơn ASUS đã tài trợ, vì nếu không có phần cứng để chạy thì anh không thể thử nhiều loại local AI model như vậy, rồi cảm ơn người xem và hẹn gặp ở video sau.

## Nguồn và liên kết

- Tên gốc: I Tried Coding with Local AI Models for 7 Days
- Sự kiện: [YouTube](https://homus.dev/events/youtube)
- Video gốc: [https://www.youtube.com/watch?v=XGuQLDIrTWw](https://www.youtube.com/watch?v=XGuQLDIrTWw)

- Kênh YouTube Adrian Twarog (Adrian Twarog): [youtube.com/channel/UCvM5YYWwfLwpcQgbRr68JLQ](https://www.youtube.com/channel/UCvM5YYWwfLwpcQgbRr68JLQ)

- LM Studio, phần mềm chạy local model dùng suốt video: [lmstudio.ai](https://lmstudio.ai)

- LM Studio làm local API server (tài liệu về endpoint OpenAI-compatible và Anthropic-compatible): [lmstudio.ai/docs/developer/core/server](https://lmstudio.ai/docs/developer/core/server)

- Ollama: [ollama.com](https://ollama.com)

- Trang model qwen3.8 trên Ollama (lệnh run và lệnh launch cho Claude Code, OpenCode, Hermes Agent, OpenClaw): [ollama.com/library/qwen3.8](https://ollama.com/library/qwen3.8)

- Tài liệu VS Code về Manage Language Models và Custom Endpoint: [code.visualstudio.com/docs/agent-customization/language-models](https://code.visualstudio.com/docs/agent-customization/language-models)

- Continue, extension chạy model trong VS Code: [continue.dev](https://www.continue.dev)

- Epoch Capabilities Index, biểu đồ ở đầu video: [epoch.ai/eci](https://epoch.ai/eci)

- OpenClaw: [openclaw.ai](https://openclaw.ai)

- Hermes Agent: [hermes-agent.nousresearch.com](https://hermes-agent.nousresearch.com/)

Nguồn: https://homus.dev/talks/i-tried-coding-with-local-ai-models-for-7-days · cập nhật 2026-10-21