# Local AI năm 2026: chạy model trên máy của bạn

[Madeline Zhang](https://homus.dev/speakers/madeline-zhang) · [Maddy Zhang](https://homus.dev/orgs/maddy-zhang)

> Vì sao local AI đáng học năm 2026, quantization và bộ nhớ, chạy model với LM Studio hay Ollama, coding agent, fine-tune LoRA, khi nào dùng cloud.

Topics: Model Routing, Coding Agents, Dev Tools

Canonical: https://homus.dev/talks/everything-you-know-about-local-ai-is-outdated

## 1. Local AI có đáng để mất công không?

Madeline mở đầu bằng một câu hỏi thẳng: local AI có thật sự đáng để mất công không? Một bên là ChatGPT, Claude và Gemini, mở ra là dùng được ngay. Bên kia là các model chạy local, nơi bạn bỗng phải nghĩ tới RAM, VRAM, kích thước model, quantization, nên tải model nào, và thậm chí không biết mình nên dùng tool nào. Vậy tại sao lại có người chịu khó chạy AI trên chính máy của mình?

Theo cô, câu trả lời không chỉ là tiết kiệm tiền, dù đó có thể là một động lực tốt. Chạy AI local cho bạn nhiều quyền kiểm soát hơn với dữ liệu của mình, cho phép bạn làm việc mà không cần cloud, và thay đổi bài toán kinh tế khi build sản phẩm AI phải xử lý hàng nghìn, thậm chí hàng triệu request. Điều đáng mừng là, theo video đăng ngày 07/10/2026, việc này đã thực tế hơn nhiều so với trước đây.

![Madeline Zhang ngồi trước bàn làm việc, sau lưng là một dàn PC đèn xanh](https://homus.dev/photos/6hQL9dbnNqA-0039.jpg)

Madeline Zhang tự giới thiệu ở góc làm việc của mình; phía sau là bộ máy bàn cô dựng để chạy model local.

Cô tự giới thiệu: cô là Maddy, một senior software engineer, từng làm ở Google và thực tập ở các công ty công nghệ lớn khác như Amazon, IBM và Microsoft. Gần đây cô tự dựng một bộ máy để chạy AI local và đã đưa các model local vào workflow kỹ sư phần mềm hằng ngày của mình. Video sẽ đi qua bốn việc: local AI thực chất là gì, vì sao nó đang lên, bên dưới lớp vỏ có gì, và làm sao để chạy model đầu tiên trên máy của bạn.

## 2. Vì sao hiểu local AI là một kỹ năng nghề: chi phí và quyền riêng tư dữ liệu

Madeline bắt đầu bằng lý do vì sao, theo cô, biết local AI hoạt động thế nào giờ đã là một kỹ năng nghề (career skill). Trong mấy năm qua, dùng AI chỉ có một nghĩa: bạn gõ vào một ô, chữ của bạn bay sang server của người khác, một model khổng lồ mà bạn không sở hữu làm phần suy nghĩ, rồi câu trả lời quay về. Nhưng có những thứ workflow này không cho bạn kiểm soát.

**Thứ nhất là chi phí.** Mọi project nghiêm túc bạn build trên một cloud API đều có một đồng hồ tính tiền đang chạy. Mỗi token tốn tiền, mỗi request rời khỏi máy của bạn, và nếu nhà cung cấp thay đổi giá hay luật chơi, project của bạn cũng thay đổi theo.

![Slide Using a cloud API: khoảng 0,01 đô mỗi request, bảng chi phí theo số request](https://homus.dev/photos/6hQL9dbnNqA-0215.jpg)

Slide "Using a cloud API" lấy ví dụ khoảng 0,01 đô cho mỗi request (con số minh hoạ trong video đăng ngày 07/10/2026): 100 request là 1 đô, 10.000 request là 100 đô, 1.000.000 request là 10.000 đô, kèm cảnh báo rằng ở quy mô lớn chi phí API có thể nhanh chóng vượt sức chịu.

**Thứ hai là quyền riêng tư dữ liệu.** Trong các môi trường có quy định chặt như y tế, tài chính và luật, gửi dữ liệu nhạy cảm cho một model của bên thứ ba có thể kéo theo những yêu cầu lớn về quyền riêng tư, về nơi dữ liệu được lưu (data residency) và về tuân thủ (compliance). Cô lấy ví dụ một bệnh viện muốn dùng AI để tóm tắt ghi chú bệnh án. Ngay khi dữ liệu đó đi tới một nhà cung cấp bên ngoài, bệnh viện phải xử lý hợp đồng, kiểm toán và các quy định về nơi dữ liệu được phép nằm. Ngược lại, nếu chạy model ngay bên trong hạ tầng mà bệnh viện vốn đã kiểm soát, rất nhiều thứ trong số đó trở nên đơn giản hơn hẳn, vì dữ liệu không rời khỏi các server local đó.

Ví dụ bệnh viện của Madeline: gửi ghi chú bệnh án ra ngoài kéo theo cả một lớp hợp đồng và kiểm toán, còn chạy model trong hạ tầng sẵn có thì dữ liệu ở yên tại chỗ.

## 3. Startup và chi phí biên gần bằng không

Madeline nói đây không chỉ là chuyện của các tập đoàn lớn trong ngành bị quản lý chặt. Startup cũng quan tâm, vì hoá đơn API trông rất nhỏ trong một bản demo hay một pet project sẽ trở nên lớn tới mức đáng sợ khi lên quy mô. Khi bạn phục vụ hàng nghìn người dùng, một model có chi phí biên (marginal cost) cho mỗi request gần bằng không có thể là khác biệt giữa một sản phẩm sống được và một sản phẩm lỗ tiền trên từng lần gọi.

![Biểu đồ cột so sánh chi phí hằng tháng của cloud API và model tự host theo số người dùng](https://homus.dev/photos/6hQL9dbnNqA-0223.jpg)

Biểu đồ minh hoạ trong video (đăng ngày 07/10/2026): chi phí hằng tháng của một cloud API (ví dụ GPT-4) tăng từ 10 đô ở 1.000 người dùng lên 10.000 đô ở 1 triệu, trong khi model tự host chỉ từ 0,01 đô lên 10 đô. Dòng chữ bên phải nhắc lại ý: chi phí biên gần bằng không có thể quyết định sản phẩm sống hay chết.

Cô cũng nhắc rằng local AI không phải chuyện mới. Vậy điều gì đã thực sự thay đổi để nó trở thành thứ được săn đón như bây giờ (tính tới tháng 10/2026)? Cô chỉ ra ba thay đổi.

## 4. Điều gì đã thay đổi: model nhỏ mà giỏi, phần cứng bắt kịp, tool dễ dùng

**Một: model trở nên nhỏ và giỏi một cách đáng kinh ngạc.** Bản phát hành gpt-oss của OpenAI năm 2025 là một cột mốc quan trọng (trên màn hình là trang "Introducing gpt-oss" đề ngày 05/08/2025, giới thiệu gpt-oss-120b và gpt-oss-20b). Nhưng theo Madeline, xu hướng này còn tăng tốc hơn nữa trong năm 2026. Google ra mắt Gemma 4, một họ model được thiết kế riêng cho suy luận nâng cao (advanced reasoning) và workflow kiểu agent ngay trên laptop cá nhân. Cô nói model 12 tỉ tham số của họ này xử lý được văn bản, hình ảnh và âm thanh, và đủ nhỏ để chạy local trên laptop có khoảng 16 GB bộ nhớ GPU hoặc unified memory.

![SVG Art Gallery với mười ô, mỗi ô do một agent vẽ](https://homus.dev/photos/6hQL9dbnNqA-0255.jpg)

Một đoạn demo Gemma 4 trong video: "SVG Art Gallery" gồm mười hình SVG (vi mạch, cánh tay robot, bộ não phát sáng, drone, tủ server...), mỗi hình do một agent vẽ; chú thích ghi đây là 10 model Gemma 4 26B A4B chạy đồng thời trên một laptop. Các đoạn demo khác trong cùng phần cho thấy Gemma 4 E2B điều khiển một mô phỏng robot trong browser qua WebGPU và Gemma 4 26B A4B chạy local trong Android Studio.

**Hai: khả năng phần cứng đã bắt kịp.** Ví dụ, một chiếc MacBook Pro M5 Max cấu hình tối đa giờ có tới 128 GB unified memory (theo video đăng ngày 07/10/2026; trên màn hình là trang cấu hình MacBook Pro 16 inch M5 Max, dòng "128GB unified memory" được tô vàng). Dung lượng đó đủ để chạy local những model mà vài năm trước hoàn toàn không thực tế trên một chiếc laptop. Còn trên máy bàn, một GPU dành cho người dùng phổ thông như RTX 5090 cho bạn 32 GB VRAM riêng cùng phần cứng được build riêng cho workflow AI.

![Trang sản phẩm GeForce RTX 5090 với dòng 32 GB GDDR7 memory được tô vàng](https://homus.dev/photos/6hQL9dbnNqA-0323.jpg)

Trang GeForce RTX 5090 trong video: dòng "32 GB of super-fast GDDR7 memory" được tô vàng; trang ghi giá khởi điểm 1.999 đô (giá hiển thị tại thời điểm video đăng, 07/10/2026).

**Ba: tool đã dễ dùng hơn.** Hai năm trước, chạy một model local nghĩa là vật lộn với dependency Python và những lỗi khó hiểu. Còn hôm nay, theo cô, chỉ cần một lệnh hoặc một lần tải về, và cô hứa sẽ chỉ cách làm trong ít phút nữa. Nhưng trước khi build, cô muốn nói một chút về chuyện gì thực sự đang diễn ra khi người ta nói tới việc chạy AI local.

## 5. Bên dưới lớp vỏ: model, runner và quantization

Đầu tiên là **bản thân model**: một file duy nhất nằm trên ổ đĩa của bạn, chứa toàn bộ những pattern đã học được. Khi người ta nói "weights của một model", họ muốn nói tới chính những con số bên trong file đó. Mảnh thứ hai là **runner**: một chương trình nạp file đó vào bộ nhớ và làm phần tính toán khi bạn đặt câu hỏi.

Hai mảnh Madeline mô tả: file weights nằm trên ổ đĩa, và runner nạp nó vào bộ nhớ rồi làm phần tính toán.

Tiếp theo là **quantization**. Một model nguyên bản lưu các con số ở độ chính xác đầy đủ (full precision): rất chính xác nhưng to và cồng kềnh. Quantization thu nhỏ những con số đó lại; cô ví nó như nén một tấm ảnh. Kết quả là model chiếm ít bộ nhớ hơn hẳn. Và thường thì một model lớn hơn đã được quantize ở mức vừa phải sẽ cho kết quả tốt hơn một model nhỏ hơn ở full precision, khi cả hai chiếm lượng bộ nhớ tương đương.

![Slide so sánh model full precision khoảng 20 GB với model quantized khoảng 4 GB](https://homus.dev/photos/6hQL9dbnNqA-0423.jpg)

Slide quantization: model full precision (FP16/FP32) lưu số như 0.123456 và nặng khoảng 20 GB; sau quantization (8-bit/4-bit) số chỉ còn 0.12 và model khoảng 4 GB, nhỏ hơn nhiều nhưng kém chính xác một chút. Ô bên phải: ở cùng memory footprint, một model lớn hơn đã quantize thường vượt một model nhỏ hơn ở FP16.

Cô dặn thêm một điều cần nhớ: dung lượng bộ nhớ quyết định bạn có nhét vừa model hay không, còn compute và memory bandwidth quyết định nó chạy nhanh tới đâu. Vì thế câu hỏi đầu tiên luôn là: model này có load lên được không? Đó là câu hỏi về bộ nhớ. Tốc độ là chuyện riêng.

## 6. Chạy model đầu tiên: LM Studio và Ollama

Giờ tới phần chi tiết: làm sao thật sự chạy một model local. Nếu bạn chưa từng đụng vào terminal và chỉ muốn thấy nó chạy, hãy tải **LM Studio**. Đó là một app desktop bình thường. Bạn mở nó ra và duyệt model giống như duyệt một app store. Nó cho bạn biết model nào vừa với máy của bạn. Bạn bấm tải về và bắt đầu chat. Trên màn hình là trang tải LM Studio và màn hình chào "Local AI on your computer." của app.

Nếu bạn đã quen với terminal, bạn có thể dùng **Ollama**. Cài và chạy một model chỉ là gõ một lệnh kiểu như dưới đây; nó tải model về và thả bạn thẳng vào một phiên chat.

```
ollama run qwen3
```

![Terminal chạy ollama run qwen3, tải 5,2 GB rồi trả lời câu hỏi how does redis work](https://homus.dev/photos/6hQL9dbnNqA-0503.jpg)

Lệnh `ollama run qwen3` trong terminal: Ollama kéo manifest, tải 5,2 GB, kiểm sha256, báo success, rồi người dùng hỏi "how does redis work?" và model bắt đầu bằng một đoạn "Thinking..." giải thích Redis là kho dữ liệu key-value trong bộ nhớ.

Phía sau, Ollama còn dựng lên một server local tương thích với phần lớn OpenAI API, và theo Madeline đây mới là phần quan trọng khi build. Với nhiều app viết theo OpenAI client, bạn có thể chuyển sang model local chủ yếu bằng cách đổi base URL và tên model. Đoạn code cô cho xem trên màn hình:

```
from openai import OpenAI

# 1. Initialize the client targeting your local Ollama instance
client = OpenAI(
base_url="http://127.0.0.1:1234/v1",
api_key="ollama"
)

# 2. Call the chat completion endpoint using your downloaded model name
response = client.chat.completions.create(
model="llama3.1",                        # Match the exact tag from 'ollama list'
messages=[
{"role": "system", "content": "You are a local AI assistant."},
{"role": "user", "content": "Explain quantum computing in one sentence."}
]
)

print(response.choices[0].message.content)
```

![File sample.py trong editor dùng thư viện openai trỏ tới server local](https://homus.dev/photos/6hQL9dbnNqA-0512.jpg)

File `sample.py`: vẫn là thư viện `openai` quen thuộc, chỉ khác `base_url` trỏ về máy local và `model` là tên model đã tải. Trên màn hình base_url dùng cổng 1234; còn trang OpenAI compatibility trong tài liệu Ollama dùng địa chỉ mặc định `http://localhost:11434/v1/`.

## 7. Nên chạy model nào với bao nhiêu RAM

Vậy nên chạy model nào? Madeline chia theo bộ nhớ máy:

- **8 GB** (laptop khiêm tốn): bắt đầu với thứ thật nhỏ như một model Qwen hoặc Gemma cỡ nhỏ, chỉ để thấy nó chạy.

- **Khoảng 16 GB**: một model cỡ trung trong khoảng 12 đến 14 tỉ tham số là điểm cân bằng tốt (sweet spot), đủ tốt cho phần lớn việc thường ngày.

- **24 hoặc 32 GB**: bạn có thể bắt đầu thử các model lớn hơn đã quantize, cỡ khoảng 20 đến 30 tỉ tham số.

![Slide Which model should you pull với ba cột 8 GB, 16 GB và 24 đến 32 GB RAM](https://homus.dev/photos/6hQL9dbnNqA-0543.jpg)

Slide "Which model should you pull?": 8 GB thì bắt đầu nhỏ với Qwen hoặc Gemma bản nhỏ; 16 GB là sweet spot với Qwen hoặc Gemma 12B đến 14B; 24 đến 32 GB thì thử Qwen 20B đến 30B, kèm thẻ Qwen3-Coder 30B ghi "A strong local coding option right now" (tính tới video đăng ngày 07/10/2026).

Bạn giữ được bao nhiêu context và model chạy nhanh tới đâu sẽ phụ thuộc nhiều vào từng model cụ thể và runtime. Cô nêu một ví dụ: một lựa chọn coding local mạnh vào thời điểm video đăng (07/10/2026) là Qwen3-Coder 30B.

Cô cũng dặn hãy kiên nhẫn khi model local khởi động lần đầu. Lần nạp đầu tiên chậm vì nó phải đọc hàng gigabyte từ ổ đĩa vào bộ nhớ. Khi đã nạp xong, nó nhanh hơn nhiều.

Và đừng chỉ dừng ở việc chat với nó. Bạn có thể trỏ một trong các project sẵn có của mình vào endpoint local, rồi build lại chính feature bạn từng làm bằng cloud API, nhưng lần này chạy hoàn toàn offline. Có thể là một script nhỏ tóm tắt văn bản, phân loại một thứ gì đó, hoặc trả lời câu hỏi dựa trên ghi chú của chính bạn. Cô khuyên cứ làm cho nó chạy trọn từ đầu tới cuối khi đã tắt Wi-Fi.

## 8. Local coding agent: model là bộ não, harness là đôi tay

Phần tiếp theo là chạy một local coding agent với model local của bạn. Madeline mô tả cách cô nghĩ về hệ thống này: model là bộ não, nhưng bạn cần một **harness**, tức một tool cho phép model thực sự đọc file của bạn, ghi thay đổi và chạy lệnh trong editor. Trên slide, ô "Local model (brain)" ghi rằng model sinh ra chỉ dẫn, code và quyết định, ví dụ Qwen, Gemma, Llama chạy trên máy bạn.

Ba harness đáng biết theo cô:

- **Cline**, sống bên trong VS Code (trang của Cline trên màn hình ghi "Cline lives in your editor.").

- **Aider**, chạy trong terminal và biết làm việc với git (git-aware); trang của Aider ghi "AI pair programming in your terminal".

- **DeepSeek Harness**.

![Trang DeepSeek Harness developer preview với tiêu đề Everything is a plugin](https://homus.dev/photos/6hQL9dbnNqA-0642.jpg)

Trang DeepSeek Harness trong video: bản developer preview cho người build agent harness, kèm source code; mọi năng lực (model, tool, skill, session, sandbox, storage, loop, scheduling và UI) đều là một plugin có thể thay hoặc ghép lại.

Cách làm: bạn serve model bằng Ollama, rồi trỏ một trong các harness đó vào nó.

## 9. Fine-tuning với LoRA và QLoRA

Madeline chuyển sang mức tiếp theo: lúc đầu nghe có vẻ không dễ, nhưng thực ra dễ hơn nhiều so với bạn nghĩ. Đó là **fine-tuning**: bạn lấy một model mở và train thêm trên dữ liệu của chính bạn để nó hành xử đúng như bạn cần.

Cô lưu ý fine-tuning thường không phải công cụ đầu tiên cô dùng khi chỉ muốn cho model truy cập các tài liệu hay thay đổi. Việc đó thì retrieval làm tốt hơn: model tra cứu khi cần (trên màn hình là sơ đồ Retrieval (RAG): tài liệu của bạn được đánh index vào một vector database, model tìm thông tin liên quan ở đó khi được hỏi; slide ghi ưu điểm là dùng tài liệu mới nhất, không cần train lại, hợp với nội dung thay đổi thường xuyên). Fine-tuning tỏa sáng ở chỗ thay đổi hành vi: một giọng văn, một format, một cách trả lời, hoặc làm cho model nắm chắc một pattern ổn định của một lĩnh vực.

Để fine-tune, bạn có thể dùng **LoRA** hoặc người anh em nhẹ hơn của nó là **QLoRA**: đóng băng model lớn và chỉ train một nhóm nhỏ adapter layer đặt lên trên.

![Slide LoRA / QLoRA Fine-tuning bốn bước](https://homus.dev/photos/6hQL9dbnNqA-0720.jpg)

Slide LoRA/QLoRA bốn bước: bắt đầu từ model đã pre-train (đóng băng), thêm LoRA adapter (chỉ phần này được train), train trên dữ liệu của bạn, và có model đã fine-tune gồm model gốc cộng adapter. Ô dưới cùng: QLoRA làm điều tương tự nhưng dùng model gốc đã quantize 4-bit, nên còn nhẹ bộ nhớ hơn.

Các tool như Unsloth gói gọn quy trình này, nên việc fine-tune một model nhỏ hơn, trước đây cần cả một giá GPU, giờ vừa trên một card đồ hoạ phổ thông. Thậm chí còn có một phiên bản no-code chạy trong browser nếu bạn không muốn tự viết script train.

![Giao diện Unsloth so sánh base model và fine-tuned model cạnh nhau](https://homus.dev/photos/6hQL9dbnNqA-0741.jpg)

Giao diện Unsloth (beta) với chế độ Compare: cùng câu hỏi "Tell me about anarchism" được gửi cho cả base model và fine-tuned model để so hai câu trả lời cạnh nhau; menu bên trái có mục Train.

Thứ bạn nhận được là một adapter tương đối nhỏ, không phải một bản sao nguyên model, và bạn có thể gắn nó lên model gốc bất cứ khi nào cần hành vi tuỳ chỉnh đó.

## 10. Khi nào dùng local, khi nào dùng cloud

Madeline kết lại bằng một lời dặn: không nên lúc nào cũng mặc định với tay tới local AI. Dĩ nhiên dùng model qua API và model local đều có ưu và nhược. Đây là các nguyên tắc cô tự theo:

- Với những bài toán khó nhất, model bạn chạy ở nhà nhìn chung sẽ không bằng chất lượng của các frontier model tốt nhất trên cloud (nhận định của cô theo video đăng ngày 07/10/2026).

- Bộ nhớ của bạn sẽ đầy rất nhanh, và model càng lớn, càng thông minh thì chạy trên phần cứng của bạn càng chậm.

- Nếu một việc mất 20 phút với model local trong khi model cloud làm xong trong 20 giây, thì model "miễn phí" kia vừa lấy mất của bạn cả buổi chiều.

Tóm lại hai slide so sánh trong video: Local AI (Llama, Qwen, Gemma, Mistral chạy trên máy) và API/Cloud AI (GPT-5, Claude, Gemini), mỗi bên với các điểm cộng và điểm trừ cô liệt kê.

Vì vậy, theo Madeline, local AI rất hợp với dữ liệu riêng tư, làm việc offline, các script đơn giản, tool nhanh, và bất cứ thứ gì mà ở quy mô lớn bạn sẽ phải trả tiền theo từng token. Còn với một bài toán thật sự khó và trải rộng, bạn nên dùng một model trên cloud.

Kết luận của cô về local AI năm 2026: rào cản để thử và tự dựng model local cùng harness của riêng mình đã sụp đổ dần qua các năm, và giờ (tính tới tháng 10/2026) chỉ còn là một lần tải về hoặc một câu lệnh. Cô kết thúc video, mời người xem bấm like và subscribe nếu thấy hữu ích, và hẹn gặp lại ở video sau.

## Nguồn và liên kết

- Tên gốc: Everything You Know About Local AI is OUTDATED
- Sự kiện: [YouTube](https://homus.dev/events/youtube)
- Video gốc: [https://www.youtube.com/watch?v=6hQL9dbnNqA](https://www.youtube.com/watch?v=6hQL9dbnNqA)

- Kênh YouTube Maddy Zhang (Madeline Zhang): [youtube.com/channel/UCJKzyA7mf4L6CtdNuRFExTw](https://www.youtube.com/channel/UCJKzyA7mf4L6CtdNuRFExTw)

- LM Studio, app desktop để tải và chat với model local: [lmstudio.ai](https://lmstudio.ai)

- Ollama, chạy model local bằng một lệnh: [ollama.com](https://ollama.com); trang model Qwen3 trong thư viện Ollama: [ollama.com/library/qwen3](https://ollama.com/library/qwen3)

- Tài liệu OpenAI compatibility của Ollama (đổi base URL để dùng OpenAI client với model local): [docs.ollama.com/api/openai-compatibility](https://docs.ollama.com/api/openai-compatibility)

- Gemma 4 trên Google DeepMind: [deepmind.google/models/gemma/gemma-4](https://deepmind.google/models/gemma/gemma-4/)

- Repo Qwen3-Coder: [github.com/QwenLM/Qwen3-Coder](https://github.com/QwenLM/Qwen3-Coder)

- Cline, coding agent trong editor: [cline.bot](https://cline.bot)

- Aider, AI pair programming trong terminal: [aider.chat](https://aider.chat)

- DeepSeek Harness: [deepseek.com/harness](https://www.deepseek.com/harness); repo: [github.com/deepseek-ai/DeepSeek-Harness](https://github.com/deepseek-ai/DeepSeek-Harness)

- Tài liệu Unsloth về fine-tuning: [docs.unsloth.ai](https://docs.unsloth.ai)

Nguồn: https://homus.dev/talks/everything-you-know-about-local-ai-is-outdated · cập nhật 2026-10-20