Hermes Agent cho người mới: chạy AI agent local đầu tiên

Cài Hermes Agent, đi qua onboarding, cài llama.cpp và chọn model local vừa GPU, thử memory, rồi xem bản đồ tính năng nâng cao.

Đã duyệt độc lập · cập nhật 20/10/2026 · 20 min

1. AI riêng, miễn phí và riêng tư: vì sao đáng bỏ công

Video mở bằng kết quả cuối: Hermes đã được cài xong, một hộp thông báo nhỏ hiện lên nói rằng máy này chạy được một model ngay trên máy, model chạy miễn phí và các cuộc chat ở lại trên chính máy tính này.

Callum Lootsma (kênh Wanderloots) thừa nhận rằng với nhiều người, bắt đầu với AI local nghe rất ngợp. Có quá nhiều mảnh mới phải học, và nối chúng lại với nhau có thể thấy khá phức tạp. Nhưng theo anh, công sức đó đáng bỏ ra để có một AI của riêng mình vừa miễn phí vừa riêng tư, nhất là khi bạn đưa thêm memory vào, thứ memory càng dùng càng tốt lên.

Theo anh, bản cập nhật mới của Hermes Agent (tính tới video đăng ngày 17/10/2026) giúp việc bắt đầu dễ hơn bao giờ hết: bạn cài và chạy model local chỉ với một cú bấm, và thậm chí dùng chính Hermes để dạy bạn cách dùng Hermes. Hết video, bạn sẽ có một AI agent miễn phí, riêng tư, chạy trên máy của mình.

Callum ngồi nói trước micro trong phòng có cây xanh và đèn
Callum, người làm kênh Wanderloots, giới thiệu mục tiêu của video: dựng một AI agent local theo cách dễ nhất có thể.

Anh tự giới thiệu: tên anh là Callum, còn được biết tới với tên Wanderloots. Lộ trình của video gồm ba phần. Đầu tiên là cài Hermes và dùng phần onboarding của nó để hiểu nó chạy thế nào. Sau đó là vào chuyện model local và thử nghiệm bộ cài. Cuối cùng anh đưa ra một tấm bản đồ các tính năng và workflow nâng cao hơn mà anh đã làm trên kênh, để bạn tự chọn mình muốn thử gì tiếp. "Giờ thì cùng dựng agent của bạn nào."

2. Hermes Agent là gì: một agent lớn lên cùng bạn

Theo Callum, một điểm hút lớn của việc dùng Hermes làm agent là nó lớn lên cùng bạn. Ý anh là thế này: Hermes có persistent memory dựng sẵn, nên nó nhớ các project của bạn. Nó tự sinh ra skill riêng, workflow riêng, và một khi đã giải xong một vấn đề, nó sẽ nhớ mình đã giải thế nào để làm lại được lần sau.

Bạn có thể đưa automation vào, nối nó với đủ loại tool khác nhau (anh sẽ nói tới một chút ở phần sau), và còn dùng nó để duyệt web, làm research thay bạn. Đây là một trong những use case chính của anh. Ngoài ra, bạn còn có thể cô lập agent trong một sandbox riêng để bảo vệ phần còn lại của máy tính.

Trang hermes-agent.nousresearch.com với ba mục Tasks Multiplied, Browse the Web, Isolated Sandboxing
Trang chủ Hermes Agent giới thiệu ba khả năng: Tasks Multiplied (subagent cô lập, mỗi cái có cuộc hội thoại và terminal riêng), Browse the Web (web search, browser automation, vision, tạo ảnh, text-to-speech) và Isolated Sandboxing (năm backend: local, Docker, SSH, Singularity, Modal).

Phía trên cùng trang chủ, khẩu hiệu ghi "The Agent That Grows With You", với hai nút tải bản Windows và deploy lên cloud. Ở mục kế tiếp, trang liệt kê thêm Lives Everywhere (Telegram, Discord, Slack, WhatsApp, Signal, email, CLI: một agent, một memory, ở mọi nơi), Persistent Memory (nó học các project của bạn, tự sinh skill và không quên cách đã giải một vấn đề) và Focused Automation (lên lịch bằng ngôn ngữ tự nhiên cho báo cáo, backup và bản tin).

3. Nous Research và bước cài Hermes trên Windows

Hermes Agent là sản phẩm của Nous Research. Theo lời Callum, đây là một công ty đang làm cho phong trào open source: họ train model, build agent và phát triển hạ tầng để đẩy nhanh việc đón nhận "open intelligence" trên toàn cầu. Vì vậy, mọi thứ về cách Hermes vận hành đều hướng tới việc chạy model local và cho bạn một agent của riêng mình, thứ sẽ nối tool, skill, workflow và memory của bạn về một chỗ.

Nói xong phần đó, anh bắt tay vào cài. Anh cài cho Windows: trên trang chủ, bấm nút cài. Trình cài liệt kê toàn bộ các bước sắp diễn ra. Về cơ bản, nó sẽ cài agent vào chính máy tính, rồi cài desktop app, thứ cho phép bạn dùng agent đang chạy trên máy.

Cài agentchạy ngay trên máy Cài desktop appgiao diện để dùng agent Launchhỏi quyền mạng riêng máy của Callum: khoảng bốn, năm phút cho cả quá trình
Hình 3.1Hai phần trình cài Hermes đặt lên máy theo lời Callum: agent chạy trên máy, và desktop app để làm việc với agent đó.

Cài xong, anh cho biết cả quá trình mất khoảng bốn hay năm phút trên máy của anh. Rồi anh bấm Launch. Một hộp thoại bảo mật của Windows hiện ra (anh nói trên Mac có thể cũng gặp), hỏi có cho các mạng riêng (private networks) truy cập ứng dụng này không. Anh chọn cho phép, vì trong một video sau anh sẽ chỉ cách nối máy này với một máy khác.

4. Lần mở đầu tiên: onboarding chạy bằng model dùng thử

Ở lần mở đầu tiên, có thể thấy một phần mới của bản phát hành gần đây (theo video ngày 17/10/2026; thanh dưới ghi v0.22.2): Hermes có hệ thống onboarding. Bạn có thể đi qua quy trình này để dựng mọi thứ, hoặc tự bỏ qua. Điểm Callum thấy hay là phần onboarding chạy bằng một model dùng thử miễn phí dựng sẵn trong Hermes, chỉ để giúp bạn dựng máy trước khi nối nó với phần còn lại trong hệ thống của bạn.

Phiên Getting started: Hermes hỏi tên, accent color, layout rồi hỏi có kiểm tra app và developer tool đã cài không
Phiên "Getting started": Hermes chào "Let's set things up for you", hỏi lần lượt tên (Callum), accent color (Theme default, Nous blue), layout (Basic), rồi hỏi có muốn nó kiểm tra những app và developer tool đã cài để gợi ý kết nối hữu ích không. Callum trả lời "yes please". Thanh dưới cùng ghi phiên bản v0.22.2.

Câu hỏi đó là "Let's see what apps and developer tools are installed so it can suggest useful connections": Hermes sẽ xem máy đang có app và developer tool nào để gợi ý những kết nối có ích. Theo Callum, đây là tính năng mới Hermes dựng sẵn trong bản cập nhật gần đây (tính tới video ngày 17/10/2026), gọi là Nous Welcome: một bậc dùng giới hạn (limited tier) để giúp bạn dựng máy trước khi bắt đầu thêm model của riêng mình. Trên ô chọn model ở góc dưới, model đang dùng ghi là "Welcome".

Release notes của bản v0.22.0 trên GitHub mô tả đúng luồng này: mở desktop app trên một máy chưa từng dùng Hermes thì nó bắt đầu một cuộc chat dựng máy ngắn thay vì một màn hình settings; từng thẻ một, nó hỏi tên, màu nhấn, layout, app nào cần nối, plugin nào cần cài, rồi đưa một quick tour và đề xuất tối đa bốn việc đầu tiên. Nó chạy trên model dùng thử miễn phí nous/welcome nên không cần key.

5. Connectors, cách cài không qua Nous Portal và quick tour

Callum chen vào một lưu ý: còn những cách cài Hermes khác cho phép bạn bỏ qua kết nối tới Nous Portal. Nếu làm theo cách đó, Hermes trông như anh cho thấy trên màn hình: một khung chat trống với dòng chữ lớn HERMES AGENT, vì anh không nối với model Nous Welcome ngay từ đầu. Đó là một lựa chọn nếu bạn muốn chạy hoàn toàn local ngay từ đầu.

Nhưng nếu bạn mới chạy agent lần đầu, theo anh có lẽ đáng bắt đầu với model miễn phí được nối sẵn đó, vì nó làm quá trình dựng máy dễ hơn nhiều, và nó đưa ra một danh sách các kết nối mà bạn có thể tự cài.

Kết quả quét máy hiện ra trong khung chat: Hermes tìm thấy Git, Node.js, Python và VS Code, và gợi ý rằng với một workflow developer thì Linear, Slack và Notion có thể hữu ích. Callum để mục Apps là None, Plugins là None.

Anh bỏ qua phần kết nối lúc này, và chỉ ra rằng nếu muốn, bạn luôn có thể quay lại mục Capabilities, vào Connectors, và mở lại đúng danh sách đó.

Tiếp theo, Hermes đưa ba lựa chọn: một quick tour, cho xem tất cả, hoặc "let's just build something" (cứ build gì đó luôn). Anh chọn quick tour để xem nó làm gì. Tuỳ mức quen tay của bạn với các agent khác nhau, theo anh đây có thể là một cách hay để bắt đầu hiểu các mảnh ghép khớp với nhau thế nào. Anh nhận xét luồng onboarding này đã tốt lên rất nhiều so với lần đầu anh cài Hermes.

Quick tour chỉ cho bạn giao diện: bên cạnh là Sessions, nơi chứa các cuộc chat; ở giữa là ô nhập chat; và bên dưới là model picker. Ở model picker, dòng giải thích ghi rằng nó chọn model nào sẽ trả lời bạn, và rằng máy này chạy được một model local: vào Settings, Providers, rồi Local Models. Anh bấm Done.

Hermes bắt đầu đưa thêm gợi ý về hướng đi tiếp. Anh bấm vào "explain how Hermes works" (giải thích Hermes hoạt động thế nào) để xem nó đề xuất gì. Ở đây Callum chen một lời nhờ like và subscribe.

6. Nhờ Hermes giải thích Hermes: agent loop

Khi anh nhờ giải thích Hermes hoạt động thế nào, Hermes trả lời rằng nó sẽ build một bản hướng dẫn nhỏ có hoạt hình để cho anh xem. Nó nạp skill Hermes Agent của chính nó, nạp Claude Design (Callum thấy cái này hay), và nạp skill về cách dùng p5.js.

Các skill này nằm nhiều hơn ở mục Capabilities. Theo anh, skill về cơ bản chỉ là những workflow lặp lại đã được gom gọn lại. Anh mở ví dụ skill Claude Design, thứ cho agent hiểu cách giúp bạn tốt hơn. Skill cực kỳ quan trọng, và anh thấy hay là Hermes đã bắt đầu đưa chúng vào ngay từ trang chào mừng.

Rồi Hermes build xong bản hướng dẫn hoạt hình nhỏ, giải thích Hermes hoạt động thế nào để cho thấy những bộ phận chuyển động phía sau khung chat. Nó vẫn đang chỉnh thêm một chút, nhưng có thể thấy về cơ bản chuyện đang diễn ra là: có một model đang chạy qua từng bước, nó dùng lệnh terminal, lấy nội dung từ web, dùng skill, và tạo ra bản tour có giao diện đồ hoạ này; kết quả đó được trả về dưới dạng một tool result rồi đưa ngược lại vào cuộc hội thoại. Cái đó gọi là agent loop.

Bên trái là phiên chat với câu hỏi How does this look, bên phải là trang How Hermes works với mục A turn is a loop
Trang "A field guide · made for Callum: How Hermes works" mở ở khung preview bên phải: model đang dùng là nous/welcome, 51 skill được liệt kê, chưa có connection hay plugin, ba thẻ "The agent loop", "Learning", "Out in the world". Mục đầu là "A turn is a loop": model suy luận, tool làm việc, kết quả quay về cho bước kế. Bên trái, Hermes hỏi "How does this look?" với các lựa chọn Looks right, Change something, Take it further hoặc tự gõ.

Điều quan trọng, theo Callum, là bạn kiểm soát được model ở giữa vòng lặp đó là model nào. Phần còn lại chỉ là cách Hermes Agent vận hành bên trên model ấy. Lát nữa anh sẽ chỉ cách dựng một model local của riêng mình để chạy hoàn toàn miễn phí mà vẫn dùng được toàn bộ skill và tool Hermes cung cấp. Ở thanh dưới cùng, bạn thấy có bao nhiêu token đang được dùng để tạo ra hệ thống kiểu này (trên màn hình: 87,1k trên 1M).

Modelbạn chọn được lệnh terminallấy nội dung webskill tool result kết quả quay về cuộc hội thoại, model đi bước kế: agent loop
Hình 6.1Agent loop như Callum giải thích qua bản hướng dẫn Hermes tự build: model ở giữa là thứ bạn chọn được, phần còn lại là Hermes vận hành bên trên nó.

7. Field guide: memory, skills và các hệ thống phía sau

Bản hướng dẫn build xong. Giờ có một "field guide" làm riêng cho Callum về cách Hermes hoạt động. Một yếu tố then chốt của Hermes là nó có khả năng học: nó có memory dựng sẵn (anh sẽ chỉ thêm ở phần sau). Ý tưởng là Hermes đi kèm hai file memory, giúp lưu những gì bạn đang làm và cách bạn thích làm việc. Còn skill thì tự được nạp mỗi khi chúng trở nên hữu ích.

Mục 02 Learning: Know-how and memory, với hai thẻ Skills load when useful và Memory carries facts
Thẻ "02 / Learning: Know-how and memory": skill lưu quy trình, memory lưu sự thật và sở thích cho các phiên sau. Hermes có thể lưu một workflow lặp lại thành skill rồi nạp lại khi gặp việc tương tự; còn memory là ghi chú chọn lọc trong MEMORY.md và USER.md, mang sở thích, project và chi tiết môi trường sang các phiên sau. Phần "Loaded for this build" liệt kê hermes-agent, claude-design, p5js và humanizer.

Trong lần build này có ba skill được nạp: chính Hermes Agent (cách dùng nó), Claude Design và p5.js; rồi anh nhận ra còn cả Humanizer nữa. Sau đó, bản hướng dẫn bắt đầu đi vào những hệ thống phức tạp hơn mà anh sẽ nói thêm ở phần sau: ví dụ lên lịch các automation, nối với các tool khác, và nối với các hệ thống nhắn tin để bạn nhắn cho Hermes từ thiết bị khác.

Nhìn tổng thể, anh khá hài lòng. Về cơ bản đây chỉ là một file HTML mà Hermes đã code ra để tạo bản giải thích này, giúp anh hiểu Hermes hoạt động thế nào. Tới đây anh quay lại ô prompt, nơi Hermes hỏi: trông thế này đã đúng chưa? Bạn muốn đổi gì? Làm sâu thêm, hay gõ một lựa chọn khác?

Nếu có một phần cụ thể nào bạn muốn tìm hiểu kỹ hơn, bạn chỉ cần nhắn Hermes và nó sẽ cập nhật bản hướng dẫn này để giúp bạn hiểu. Callum thấy vậy là khá hay. Anh chọn "looks right" để xem chuyện gì xảy ra tiếp theo.

Vậy là xong quy trình onboarding. Từ giờ bạn chỉ cần nhắn Hermes nếu có thêm câu hỏi.

8. Hermes gợi ý model local, và ba kiểu provider

Ngay lúc đó, một thông báo bật lên: máy này chạy được một model local, và đây là model được gợi ý: Qwen3.6 35B-A3B (active parameter 3 tỷ), khoảng 22 GB (hộp thoại ghi 21,9 GB), chạy được trên phần cứng của anh. Bạn bật nó lên thì nó chạy miễn phí và các cuộc chat ở lại trên máy này.

Theo Callum, thế là rất tốt: sau khi phần onboarding chào mừng đã chạy xong bằng bậc miễn phí của Nous Research, nơi họ cung cấp model cho bạn, giờ Hermes gợi ý bạn chạy một model local. Nhưng anh muốn cho xem kỹ hơn chuyện này hoạt động thế nào thay vì chỉ cài luôn model được gợi ý. Nên anh tạm đóng hộp thoại.

Lúc đó Hermes đưa lựa chọn tiếp tục dùng Hermes trên Nous Research, nơi bạn có thể lập một tài khoản trả phí và dùng Nous Research để truy cập các model như Claude, ChatGPT, Gemini, tức tất cả các model lớn. Anh bấm "not now": anh không muốn đăng ký.

Từ đây anh cho thấy việc tự cài model local rất dễ. Anh vào Settings ở thanh bên, rồi kéo xuống Providers ở cột trái. Ở đây có ba hướng:

  • Cloud model: bạn có thể nối với một model trên cloud, ví dụ nối gói đăng ký ChatGPT hay Codex của bạn. Có đủ loại dịch vụ trả phí để nối vào.
  • Custom endpoints: chạy model trên một thiết bị khác hoặc trên chính máy này rồi nối thẳng tới nó qua endpoint đó, tức là dùng thứ gì đó như Ollama, LM Studio hay Lemonade (anh sẽ nói thêm ở phần sau).
  • Local Models: mục model local ngay trong Hermes.
Settings, Providers, Local Models: Qwen3.6 35B-A3B với hai nút Let me choose và Set up for me
Settings › Providers › Local Models: "One click sets everything up": engine local, Qwen3.6 35B-A3B (tải 21,9 GB) và đặt làm mặc định cho các chat mới; "Nothing leaves this computer". Hai nút: "Let me choose" và "Set up for me". Ở cột trái, dưới Providers có Accounts, API keys, Custom Endpoints và Local Models.

Một trong những cập nhật Callum thích nhất của Hermes thời gian gần đây (theo video ngày 17/10/2026) là họ làm cho việc dựng model local của riêng bạn trở nên cực kỳ dễ. Hermes đang gợi ý đúng model Qwen3.6 35B-A3B kia: đó là model mà Hermes, theo lời Callum, đánh giá là tốt nhất để chạy trên máy anh, với những giới hạn phần cứng cụ thể của anh. Nhưng anh cũng có thể bấm "Let me choose", và khi đó hiện ra một danh sách các model kèm gợi ý cái nào nó nghĩ vừa với máy này. Theo anh, hay ở chỗ nó làm toàn bộ phần phân tích này giúp bạn.

9. Inference engine: cài llama.cpp ngay trong Hermes

Nhưng tải model về mới chỉ là một phần. Bạn còn cần cài một local runtime, hay còn gọi là inference engine: thứ cho phép bạn thực sự bật model lên rồi nối Hermes vào nó.

Trước đây, như anh kể trong video về cách chạy agentic AI của riêng mình với Ollama, bạn phải tự dựng inference engine, tự tải model, rồi tự nối nó vào Hermes bằng tay. Giờ thì bạn chỉ cần bấm "Install runtime" là cài được llama.cpp thẳng vào Hermes để nối với nó.

Mục Local runtime với nút Install runtime, This machine 63,8 GB GPU memory và danh sách Models
Mục "Install the local runtime": tải inference engine llama.cpp (vài trăm MB); model tải về chạy hoàn toàn trên máy, không cần tài khoản, không gì rời máy. Bên dưới, "This machine" ghi 63,8 GB GPU memory, 63,8 GB RAM, unified memory; danh sách model có Qwen3.8 27B (16,2 GB) và Qwen3.6 35B-A3B (21,9 GB, Recommended), cả hai gắn "Fits your GPU" và "Full 256K context".

Anh bấm, và xong: màn hình báo đang chạy llama.cpp. Theo lời anh, việc cài chỉ mất chừng ba giây. Giờ có thể đi chọn model muốn cài.

Model local (Qwen, Gemma...) Inference engine: llama.cpp Phần cứng: GPU / CPU, RAM Hermes Agent nối vào
Hình 9.1Thứ tự Callum mô tả: phần cứng, rồi engine chạy model, rồi model; Hermes nối vào engine. Bản cập nhật gom cả engine lẫn model vào một trang settings.

Anh nói sẽ đi sâu hơn vào việc tuỳ biến các model local trong video kế: ở đó anh sẽ khám phá các bậc (tier) khác nhau, xem cái nào hợp lý nhất cho từng use case và từng loại máy. Anh cũng sẽ chỉ cách tuỳ biến chuyện đó qua các bot hoặc profile khác nhau trong Hermes, để bạn có model riêng cho từng loại việc hay từng use case, ví dụ một researcher hay một librarian.

10. Chọn model vừa GPU: RAM, quantization và Gemma 4

Điều then chốt lúc này, theo Callum, là model phải nằm vừa trong GPU. Ví dụ, nếu máy bạn có 16 GB RAM thì bạn sẽ không chạy được model Qwen kia, vì riêng nó đã lớn hơn RAM của bạn. Máy của anh (theo video ngày 17/10/2026) có 64 GB unified memory dùng chung giữa GPU và RAM.

Nếu thấy chuyện này phức tạp quá thì đừng lo. Mấu chốt chỉ là chọn một model nhỏ hơn con số đó, chừa thêm một chút khoảng trống (headroom) để nó còn nhớ được những gì hai bên đang nói khi context của nó đầy dần lên.

Vậy thay vì cài một trong những model lớn này (vì máy anh to hơn mức thường), anh tìm thứ gì đó như Gemma 4. Bạn có thể tìm bất kỳ model local nào mình muốn, và Hermes sẽ tự kéo nó về từ Hugging Face, nơi bạn đi lấy model local. Anh bấm Show trên một kết quả: đây là một trong những model phổ biến nhất, với 1,6 triệu lượt tải (trên màn hình ghi 1.640.046 lượt tải và 907 lượt thích, tính tới ngày quay video).

Kết quả tìm gemma4: unsloth/gemma-4-12b-it-GGUF với lưới các bản quantization, bản nào cũng gắn Fits your GPU
"Find more models": tìm trên toàn bộ Hugging Face, model tải về được tự đo cho vừa máy nhưng "not tested by us". Với từ khoá gemma4, kết quả unsloth/gemma-4-12b-it-GGUF hiện lưới các bản: BF16 22,2 GB, Q8_0 11,8 GB, Q6_K 9,1 GB, Q4_K_M 6,6 GB, xuống tới IQ3_XXS, bản nào cũng ghi "Fits your GPU" trên máy này.

Anh vừa được nguyên bản Gemma 4 12 tỷ parameter vào GPU, nhưng bản đó nặng 22 GB. Chữ Q ở đây là viết tắt của quantization, về cơ bản là một cách nén model xuống. Đây là chỗ có thể bạn không chạy nổi bản lớn nhất của Gemma 4 12B, nhưng có thể chạy bản kiểu Q6, chỉ khoảng 9 GB. Nên dù máy bạn có 16 GB RAM, bạn vẫn nên vừa được nó.

Còn rất nhiều lựa chọn khác. Một model phổ biến nữa là Gemma 4 26B A4B: model 26 tỷ parameter thay vì 12, và mỗi lần chỉ kích hoạt 4 tỷ parameter. Model này cũng khá phổ biến nhưng lớn hơn một chút. Anh bấm vào nó và thấy toàn bộ các bản cũng vừa máy anh.

Theo Callum, đây là chỗ bạn chỉ cần tự tìm hiểu một chút xem model nào hợp nhất với máy của bạn, với RAM của bạn, với GPU của bạn. Có quá nhiều model khác nhau để dùng. Anh bắt đầu tải một bản và chọn một bản nhỏ hơn, thứ có thể vừa máy 16 GB RAM. Trên màn hình, bản được thêm là gemma-4-26B-A4B-it-UD-IQ4_XS. Tải xong.

11. Bật engine và nói chuyện với model local

Có model Gemma 4 rồi, anh quay lên mục local runtime để chạy nó. Tóm lại chuyện đã xảy ra là: bạn đã cài engine, và đã cài model sẵn sàng chạy trên engine đó. Giờ bấm "Turn on" để khởi động engine, và có thể thấy nó đang chạy.

Tiếp theo, kéo xuống và bấm "Use" để bật model local vừa cài; giờ nó được đặt làm mặc định. Bạn có lựa chọn model local của mình ở đây, và còn chọn được mức reasoning muốn dùng.

Anh gõ "hi who are you". Lúc này Hermes đang nạp model vào bộ nhớ. Việc này có thể mất một lúc tuỳ kích thước model, nhưng một khi đã nạp xong thì nó có thể tiếp tục chạy nền. Ở thanh dưới, anh chỉ ra rằng tới lúc đó nó đã nạp được 11 GB của model vào RAM. Và đây là chỗ phải cẩn thận: nếu bạn nhồi quá tải RAM, máy sẽ chậm đi kinh khủng.

Câu trả lời tới: "I am Hermes Agent, built by Nous Research." Vậy là anh nói chuyện được với agent này, và nó chạy 100% local, hoàn toàn trên model anh vừa tự cài.

Model local trả lời câu what are you able to do bằng danh sách sáu nhóm khả năng
Câu hỏi "what are you able to do?" trả lời bằng model local Gemma 4 26B A4B IT (tooltip ghi llamacpp: gemma-4-26B-A4B-it-UD-IQ4_XS): Software Development, Research & Information, Browser Automation, Productivity & Data, Media & Design, Task Orchestration. Thanh dưới ghi 13 t/s và RAM 12G/64G.

Đúng là có khả năng nó sẽ chậm hơn một chút, hoặc chậm hơn nhiều, tuỳ model, so với một frontier model như Claude Code hay ChatGPT. Nhưng thật lòng, theo Callum, nó chạy khá nhanh: ở thanh dưới, tốc độ trung bình là 13 token mỗi giây (con số đo trên máy anh, theo video ngày 17/10/2026). Đây là chỗ tuỳ model: model nhỏ hơn có thể chạy nhanh hơn, có các mức quantization khác nhau, và có đủ thứ bạn có thể đào sâu làm thay đổi tốc độ model chạy và độ mạnh của nó.

Anh hỏi tiếp và nhận về danh sách tất cả những gì Hermes làm được. Vậy là đã chạy.

12. Local thì dùng vào việc gì, và giới hạn của chữ "local"

Giờ thì tuỳ bạn quyết định use case mình muốn chạy model local là gì. Có thể bạn muốn nó giúp trả lời câu hỏi về các ghi chú riêng tư của mình. Có thể bạn muốn nó phân tích dữ liệu nhạy cảm của công ty. Tất cả những việc đó có thể diễn ra ngay trên máy tính của bạn, nên bạn không gửi thông tin đó đi đâu khác.

Tất nhiên, Callum nhắc, nếu bạn dùng trình duyệt hoặc nối với tool bên ngoài thì vẫn có thông tin đi vào và đi ra khỏi máy. Nên việc bạn muốn cấu trúc workflow ra sao khi làm việc với agent local là do bạn quyết định.

trên máy của bạn Hermes + model local ghi chú riêng tưdữ liệu nhạy cảm trình duyệttool bên ngoài thông tin ra/vào máy
Hình 12.1Ranh giới Callum nêu: model local giữ ghi chú và dữ liệu trên máy, nhưng hễ dùng trình duyệt hay tool bên ngoài thì vẫn có thông tin đi ra, đi vào.

13. Self-learning với memory

Trước khi nói tới vài use case nâng cao hơn và vài settings thật sự quan trọng, Callum muốn cho xem nhanh hệ thống memory hoạt động thế nào. Anh gõ một đoạn kiểu: tôi muốn bạn nhớ vài điều về tôi và cách tôi thích làm việc. Anh đang làm một loạt video hướng dẫn trên YouTube (đây là project cụ thể anh đang làm), và anh thích câu trả lời ngắn, gọn, thực dụng. Trên màn hình, đoạn anh gõ là:

i want you to please remember some things about me and how i like to work:
I am working on a tutorial youtube series teaching people how agents work
I prefer short, concise, pragmatic responses
please remember these

Ngay lập tức, nó báo sẽ lưu cái này vào memory. Đây là chỗ hệ thống self-learning của Hermes bắt đầu vào cuộc, chỗ Hermes thật sự bắt đầu lớn lên cùng bạn, vì có thể thấy Hermes nhớ được mọi thứ trong lúc làm. Khi anh làm các project khác nhau, khi anh nghĩ ra những cách giao tiếp khác nhau với nó, nó sẽ lưu tất cả vào memory.

Phiên Remember user preferences: Memory write noted, Saved to memory 1 entry, và câu trả lời Saved
Phiên "Remember user preferences": các dòng "Memory write noted" rồi "Saved to memory · 1 entry", và câu trả lời gọn "Saved. I'll keep responses short and keep your YouTube series in mind." Model đang chọn ở ô dưới là Qwen3.6 35B A3B.

Theo Callum, điều này rất quan trọng, vì bạn có thể lấy những model kém mạnh hơn và làm cho chúng hiệu quả hơn với use case cụ thể của mình theo thời gian, nhờ thêm ngày càng nhiều memory tích luỹ lại. Bạn thực sự đang tạo ra một phần mở rộng của chính mình, lưu trong một memory riêng mà bạn cắm được vào bất kỳ model nào mình muốn.

Rồi anh mở một session mới và hỏi kiểu "what project am I working on" (tôi đang làm project gì). Nó trả lời: dựa trên profile memory của bạn, bạn đang làm một loạt video hướng dẫn trên YouTube dạy mọi người AI agent hoạt động thế nào.

Anh nhấn mạnh đây là một ví dụ rất đơn giản, nhưng theo thời gian nó sẽ lưu được ngày càng nhiều memory, và đó mới chỉ là với hệ thống memory dựng sẵn. Còn có thể đi tới những workflow nâng cao hơn nữa.

14. Settings nên xem: memory provider và terminal execution backend

Quay lại Settings một chút, Callum nói có khá nhiều thứ quan trọng anh rất khuyên bạn xem qua.

Một là Memory & Context. Bạn nên chắc chắn rằng persistent memory và user profile đang được bật. Ngoài ra bạn còn có thể nối với các memory provider tuỳ chỉnh nếu muốn; theo anh, phần này hình như đã được chuyển sang mục plugins. Ví dụ, vào Browse rồi tìm kiểu "hindsight", bạn cài được Hindsight làm memory provider. Một cái khác anh sẽ nói tới lát nữa là Honcho. Bạn cài các memory provider này thẳng vào agent, và điều đó cho agent thêm năng lực về lâu dài. Theo anh, đây thực sự là một mảnh rất quan trọng trong kiến trúc agent của bạn.

Capabilities, Plugins: plugin catalog tìm honcho, ra các thẻ honcho, hermes-memory-ui, hermes-honcho-plugin
Capabilities › Plugins (bên cạnh 51 skill và 23 tool): "A plugin can extend this app, the agent, or both". Plugin catalog tìm "honcho" ra ba thẻ: honcho (memory infrastructure cho agent có trạng thái), hermes-memory-ui (dashboard chỉ đọc để xem các memory như Mnemosyne, Hindsight, ByteRover) và hermes-honcho-plugin. Số sao trên thẻ là con số lúc quay video.

Một setting rất quan trọng khác: vào mục Advanced, bạn sẽ thấy có lựa chọn đặt cái gọi là terminal execution backend. Về cơ bản, đây là nơi agent của bạn chạy code. Bạn có thể chạy nó trong thứ gì đó như Docker nếu muốn, và điều đó giúp bảo vệ phần còn lại của máy tính nếu agent của bạn chẳng may "nổi loạn" (go rogue) hay bị hack.

15. Cloud, messaging gateway, profiles và bot mode

Còn rất nhiều thứ nữa có thể đi sâu với Hermes. Callum điểm qua:

  • Nối với cloud model để chuyển qua lại giữa local và cloud.
  • Messaging gateway: nối với Telegram, Discord, Slack hay bất kỳ cách nào bạn muốn để nói chuyện với agent. Agent chạy trên máy bạn, còn bạn chat với nó từ chỗ khác.
  • Profiles: dựng những bản tuỳ biến riêng, ví dụ một agent researcher có cấu hình và settings tách biệt với profile mặc định của bạn.
  • Bot mode: rất giống profiles; bot mode về cơ bản là một cách để nhiều bot khác nhau nói chuyện với nhau.
Hermes trên máy model localmodel cloud Telegram · Discord · Slackprofiles / bots researcher, librarian...
Hình 15.1Những hướng mở rộng Callum kể: chuyển qua lại local và cloud, chat với agent qua messaging gateway từ nơi khác, và tách việc ra nhiều profile hay bot nói chuyện được với nhau.

Theo anh, có rất nhiều thứ làm được với Hermes, và với agentic AI nói chung. Nhiều người hỏi anh đâu là setup lý tưởng, và câu trả lời là: tuỳ. Mỗi người sẽ có use case khác nhau. Mỗi người có context, tool và những kết nối mình quan tâm khác nhau. Anh đã làm nhiều video về các tính năng này trên kênh, nên anh nghĩ sẽ có ích nếu đưa ra một tấm bản đồ các tính năng và workflow anh thích nhất, và cách chúng khớp với nhau, để bạn chọn những cái quan trọng với mình.

16. Bản đồ tính năng: từ cài đặt tới đội agent

Video này chỉ là phần tổng quan ngắn về cách dựng Hermes. Tấm bản đồ của Callum chia các tính năng thành bốn nhóm, và anh đi qua từng nhóm theo thứ tự.

Bản đồ bốn nhóm: Use and connect, Access and safety, Context and knowledge, Specialists and teamwork, bên cạnh Callum
Tấm bản đồ bốn nhóm: Use & connect (messaging: Telegram, Discord, Slack; model runtimes: Ollama, LM Studio, Lemonade), Access & safety (Docker, execution backend, giới hạn quyền truy cập của agent), Context & knowledge (Obsidian, LLM Wiki, librarian/review; built-in memory, advanced providers, shared-agent memory) và Specialists & teamwork (profiles, bots, orchestration, Kanban).

Use & connect

Nếu muốn hiểu kỹ hơn các mảnh cốt lõi, anh có một workflow trọn vẹn về cách dùng Hermes và cách nối nó với Telegram để chạy một bản tin tóm tắt hằng ngày cho riêng bạn. Nếu muốn chạy model của mình qua thứ gì đó như Ollama để dễ kiểm soát các biến thể model hơn, bạn có thể chạy agentic AI của riêng mình bằng Ollama rồi nối vào Hermes; trong video kế, anh sẽ chỉ cách làm vậy với các tool khác nữa.

Access & safety

Như đã nói, một tính năng cực kỳ quan trọng là cô lập agent trong một container hay sandbox để bảo vệ phần còn lại của máy khỏi lỗi hay hành vi độc hại. Đó là việc của Docker: trong sơ đồ "The Hermes Ecosystem" anh chiếu, Hermes Desktop nối với Hermes Agent, agent chạy code trong một Docker sandbox chỉ thấy thư mục /workspace (map từ Hermes Workspace trên máy), còn thư mục cá nhân thì bị chặn; gọi cloud model thì dữ liệu rời máy.

Context & knowledge

Tiếp theo là các cách cung cấp context cho agent. Theo Callum, context là thứ giúp cá nhân hoá agent theo thời gian, và là chìa khoá để agent thực sự làm điều bạn muốn. Việc này có thể làm qua thứ như Obsidian với một LLM wiki, nơi agent dựng kiến thức về thế giới. Và nếu chạy model local, bạn có thể chắc rằng khi chat với ghi chú của mình, mọi thứ vẫn ở trên máy trừ khi bạn tự gửi nó đi.

Còn có những cách khác để nối Hermes với Obsidian, vì bạn có thể giới hạn quyền truy cập của agent vào ghi chú và các file khác; điều đó quan trọng, và cũng dựa vào Docker. Bạn thậm chí có thể đưa con người vào vòng lặp (human in the loop) với thứ như Agentic Librarian, tuỳ biến sao cho agent đưa bạn một trang review trước khi bất cứ thứ gì được thêm vào wiki, vào thư viện của bạn.

Muốn đi vào những hệ thống phức tạp hơn, bạn có thể thêm một memory provider tuỳ chỉnh như Mnemosyne, Hindsight hay Honcho. Những thứ này tạo thành các hệ thống memory vận hành (operational memory), cho phép agent rút ra thông tin then chốt từ các cuộc chat của bạn. Gộp Obsidian, lịch sử chat và memory provider lại, bạn có một "stack" context. Bạn còn có thể nối cùng hệ thống memory đó với nhiều agent: Claude Code, Codex, Antigravity, Cursor, bất kỳ coding tool nào bạn muốn, để mọi agent dùng chung một memory. Theo anh, cái này khá mạnh.

Specialists & teamwork

Khi hệ thống context đã dựng xong, bạn có thể đi vào tuỳ biến skill, tool và context trong các profile, hay còn gọi là bot: một cách khác để cấu trúc profile sao cho chúng nói chuyện được với nhau. Bạn có thể nâng cấp từng bot riêng nếu muốn; anh lấy ví dụ một researcher và cho nó quyền dùng thêm tool.

Rồi khi đội của bạn đã đủ người, bạn có thể cấu trúc họ thành workflow, nơi chúng giao tiếp với sub-agent và với nhau. Ở đó anh đưa vào thứ gọi là Kanban, và bắt đầu điều phối (orchestrate) các agent thành những graph có thể giao tiếp với nhau.

17. Bước tiếp theo

Tổng kết lại: giờ bạn có một model local cấp năng lượng cho Hermes Agent, kèm một hệ thống memory dựng sẵn càng dùng càng tốt lên. Callum mời mọi người để lại bình luận nếu có điều gì muốn xem thêm hay có câu hỏi, vì nó giúp anh quyết định làm video gì tiếp và làm video tốt hơn.

Thứ anh háo hức khám phá tiếp theo là các bậc model local khác nhau, xem chúng khớp với những workflow cụ thể ra sao và cần phần cứng thế nào để chạy. Trong đó có làm việc với Obsidian, nối với các workflow memory nâng cao hơn, và cấu trúc các bot, các profile khác nhau tận dụng tất cả những tool này, tất cả đều chạy bằng model local. Anh hẹn gặp lại trong video tới với những lần khám phá tiếp theo về model local và agentic AI, và cảm ơn mọi người đã xem.

Nguồn và liên kết 14 nguồn

  1. Tên gốc: Hermes Agent For Beginners 🧠 Run Your First Local AI Agent (Easily)
  2. Sự kiện: YouTube
  3. Video gốc: https://www.youtube.com/watch?v=aUVC9BwoLPg youtube.com
  4. Kênh YouTube Wanderloots (Callum Lootsma): youtube.com/channel/UCFiU1vIpPD3lQltke_18m3A youtube.com
  5. Trang chủ Hermes Agent của Nous Research (tải bản desktop, giới thiệu tính năng): hermes-agent.nousresearch.com hermes-agent.nousresearch.com
  6. Docs Hermes Agent: hermes-agent.nousresearch.com/docs hermes-agent.nousresearch.com
  7. Repo Hermes Agent, open source: github.com/NousResearch/hermes-agent github.com
  8. Release notes v0.22.0 (onboarding chạy trên model dùng thử nous/welcome, trang Connectors, local models một cú bấm với llama.cpp): github.com/NousResearch/hermes-agent/releases/tag/v0.22.0 github.com
  9. Nous Research: nousresearch.com nousresearch.com
  10. llama.cpp, inference engine Hermes cài sẵn: github.com/ggml-org/llama.cpp github.com
  11. Bản Gemma 4 12B dạng GGUF trong demo, trên Hugging Face: huggingface.co/unsloth/gemma-4-12b-it-GGUF huggingface.co
  12. Honcho, memory library cho agent có trạng thái: github.com/plastic-labs/honcho github.com
  13. Docker: docker.com docker.com
  14. Obsidian: obsidian.md obsidian.md