# 12 layer engineering cho production AI agent qua một hệ thống railway

[Maryam Miradi](https://homus.dev/speakers/maryam-miradi) · [Dr. Maryam Miradi](https://homus.dev/orgs/dr-maryam-miradi)

> Dựng một hệ AI agent điều độ đường sắt qua 12 layer, từ business, data, knowledge tới loop, evaluation, harness và continual learning, có demo before/after.

Topics: Agents, Context Engineering, Evals

Canonical: https://homus.dev/talks/end-to-end-production-ai-agents-12-layer-engineering-stack-railway-ai-project

## 1. Từ một ý tưởng agent tới production

Maryam mở đầu bằng một lời mời tưởng tượng: giả sử bạn có thể nhìn vào bất kỳ ý tưởng dự án agent nào và biết chính xác cách biến nó thành production AI agent. Bạn biết mình cần những thành phần engineering nào và vì sao, bất kể chỉ riêng tuần này có thêm bao nhiêu công cụ và framework AI mới ra mắt (theo video đăng ngày 15/11/2026).

Chị nói đó là điều chị muốn dạy trong video này. Chị sẽ dựng một hệ thống production AI agent từ con số không, đi qua 12 layer của AI engineering, để tới cuối video bạn có thể xây production agent cho bất kỳ ngành nào và cảm nhận niềm vui khi tạo ra một thứ mang lại giá trị thật ngoài đời (theo video đăng ngày 15/11/2026).

Với người mới, chị giới thiệu mình là Maryam, có bằng PhD về AI, hơn 20 năm kinh nghiệm thực hành trong nhiều ngành, và theo lời chị đã xây hơn 400 production agent (theo video đăng ngày 15/11/2026).

![Tiêu đề One Production AI Agents System, 12 Engineering Layers, với 12 tấm kính xếp chồng phía trên một nhà ga và đoàn tàu](https://homus.dev/photos/fR0KQL-_J3Y-0023.jpg)

Màn hình mở đầu: "One Production AI Agents System, 12 Engineering Layers", mười hai tấm kính mang biểu tượng của từng layer xếp phía trên một nhà ga và một đoàn tàu, hình ảnh của hệ thống railway sẽ được dựng trong video đăng ngày 15/11/2026.

## 2. Kịch bản: một switch hỏng lúc 8:15 sáng

Hệ thống chị sẽ xây, với đủ 12 layer, là một hệ thống railway hoàn chỉnh. Chị bảo hãy tưởng tượng: bây giờ là 8:15 sáng, giờ cao điểm, rồi một trong các switch của đường ray bị hỏng. Và có 18 chuyến tàu sắp tới trong một giờ tiếp theo (kịch bản trong video đăng ngày 15/11/2026).

![Slide Near Utrecht, Railway Operations, Incident 001: 8:15 AM Rush hour, One switch fails, 18 trains due in the next hour](https://homus.dev/photos/fR0KQL-_J3Y-0055.jpg)

Slide mở kịch bản: "Near Utrecht", "Railway Operations // Incident #001", "8:15 AM. Rush hour. One switch fails.", "18 trains due in the next hour", với một broken switch được đánh dấu đỏ trên đường ray (slide trong video đăng ngày 15/11/2026).

Lúc này người điều độ đường sắt (railway controller) phải trả lời cả loạt câu hỏi: chuyện gì đã xảy ra, vì sao nó xảy ra, điều gì có thể xảy ra tiếp theo, và controller nên cân nhắc hành động nào. Theo Maryam, nếu hệ thống AI agent của chúng ta muốn giúp người railway controller đó, nó phải trả lời được tất cả những câu hỏi này (theo video đăng ngày 15/11/2026). Slide liệt kê đúng bốn câu: "What happened?", "Why did it happen?", "What could happen next?", "What action should the controller consider?".

Để người xem có hình dung, chị chiếu cảnh đường sắt ở Hà Lan, nói rằng bạn có thể thấy nó bận rộn tới mức nào, và một quyết định có thể gây thảm hoạ cho tính mạng hành khách, cho cả tài sản, và có thể làm sụp đổ cả mạng lưới tàu ra sao (theo video đăng ngày 15/11/2026).

Chị giải thích thêm: switch là bộ phận quyết định đoàn tàu sẽ đi vào đường ray nào. Slide "A switch just broke." vẽ switch SW-104 với dấu hỏi "which way does it point?" và ghi "A switch decides which track a train takes. This one can't be trusted, so no train may cross it." Trong ví dụ này, theo chị, điều quan trọng nhất là: liệu ta có tin được gợi ý mà mình nhận được hay không (theo video đăng ngày 15/11/2026). Góc slide còn ghi rằng đường sắt, đoàn tàu và dữ liệu đều là dựng ra để giảng dạy ("Made-up railway, trains and data, built for teaching").

## 3. Codebase, các cờ bật tắt và nghĩa của "ship to production"

Maryam bắt đầu dự án bằng việc tạo một cờ (flag) cho mỗi layer engineering. Khi đổi cờ thành true, layer engineering đó được bật lên, và chị sẽ cho xem kết quả trên một dashboard Gradio (theo video đăng ngày 15/11/2026).

Codebase của chị trông như sau: các agent sẽ xây, các layer engineering, tools, workflows và UI. Chị dùng LangGraph và Pydantic cho các AI agent. Trên slide "The actual codebase", thư mục `railway_production_agents` có `agents/`, `data/`, `docs/`, `engineering/` (gắn nhãn "12 Layers"), `models/` (Pydantic), `scenarios/` và `tests/` (Evaluation), `ui/` (Gradio), `workflows/` (LangGraph), cùng các file như `app.py`, `config.py` và `pyproject.toml` (slide trong video đăng ngày 15/11/2026).

Để rõ ràng, chị định nghĩa điều chị muốn nói khi nhắc tới "shipping to production". Theo chị, nghĩa là AI agent của bạn, một AI agent có trách nhiệm, sống sót được trước thực tế và bảo vệ được con người khi họ đang cố thực hiện lời hứa của mình. Vậy nó không chỉ chạy được, mà còn gắn với thế giới thật và vẫn làm được việc khi dữ liệu lộn xộn, khi vấn đề mơ hồ, khi tính mạng con người là thứ quan trọng (theo video đăng ngày 15/11/2026). Slide của phần này ghi "Shipping to production is a responsibility." với ba ý: "Survive reality. Protect people. Deliver on the promise."

Bản đồ 12 layer theo slide "12 Engineering Layers" trong video đăng ngày 15/11/2026: bốn phase Understand, Build Intelligence, Engineer Reliability, Operate & Evolve. Mỗi layer có một cờ riêng trong code; bật cờ là bật layer đó trên dashboard để so before và after.

## 4. Layer 1: Business Understanding

Maryam mở layer một bằng câu: bạn có thể xây một AI agent hoàn hảo mà lại giải sai bài toán, hoặc đưa ra những quyết định mà nó vốn không được sinh ra để đưa ra. Layer 1 là hiểu business (theo video đăng ngày 15/11/2026).

Trong ví dụ, đó là Utrecht Central. Chị nói đây là thành phố cạnh Amsterdam ở Hà Lan, một trong những thành phố lớn; nếu đường sắt ở đó có chuyện thì cả nước gặp rắc rối rất lớn. Switch kia đã bị đóng, và việc đóng này đã được ghi vào bulletin, thứ giống như sổ tay bảo trì, vì nó vừa trượt bài safety check. Vậy thực tế là nó đang đóng (kịch bản trong video đăng ngày 15/11/2026).

Nhưng AI của chúng ta không hiểu điều đó: nó không hiểu rằng đó là sổ tay hướng dẫn và nó cần đi kiểm tra từng lệnh đóng như vậy. Khi được hỏi "liệu ta có thể mở lại fast line lúc chín giờ không?", nó trả lời "được, ta có thể mở lại switch đó" (demo trong video đăng ngày 15/11/2026).

![Slide Layer 01 Business Understanding: It said yes, not its call, với hộp What happened và bản đồ Lunetten Junction](https://homus.dev/photos/fR0KQL-_J3Y-0320.jpg)

Slide "It said yes. Not its call." của Layer 01: controller hỏi "Can we reopen the fast line at 09:00?", AI đáp "Yes, reopen S04 at 09:00.", trong khi safety check đã từ chối S04 vì switch không an toàn và một bulletin cấm dùng nó. Bản đồ bên dưới vẽ Lunetten Junction với S04 fast line và S05 slow line (slide trong video đăng ngày 15/11/2026).

Trong code, theo chị, nếu ta không xác định rõ điều này thì agent cứ thế cấp phép. Còn trên thực tế điều ta muốn là: đọc yêu cầu, nhìn vào các quy tắc đã viết ra, đóng khung câu trả lời dựa trên những quyền hạn đó, rồi mới trả lời được việc mở lại có an toàn hay không. Trong code, ta muốn có một "contract" nói rằng quyền quyết định thuộc về controller chứ không phải agent; agent luôn chỉ là người gợi ý (theo video đăng ngày 15/11/2026). Slide "Written rules: who decides" vẽ chuỗi `read_request()`, "Written rules (the contract)" với ba lựa chọn suggest, ask, escalate, rồi `frame_answer()` chuyển câu hỏi về quyền cho controller.

Trên dashboard, ở layer một, chị chạy agent: câu trả lời là một sự cho phép. Khi bật layer business understanding và chạy lại, câu trả lời trở thành một gợi ý. So before và after, gợi ý trước là "yes", sau là "no", và có những quy tắc đã viết cho suggest, ask hoặc escalate; ở đây agent chỉ làm việc với vai trò gợi ý. Chị nhắc lại rằng đó là cách chị sửa nó trong code (demo trong video đăng ngày 15/11/2026).

## 5. Layer 2: Data Understanding

Layer hai là hiểu dữ liệu. Maryam quay lại fast line đã bị đóng. Nhìn vào dữ liệu: lúc 8:01 mọi thứ bình thường, lúc 8:12 vấn đề đã xảy ra, vị trí của switch là không rõ (kịch bản trong video đăng ngày 15/11/2026).

Điều ta biết về dữ liệu là mỗi lần có chuyện gì xảy ra, một bản ghi mới được thêm vào. Còn agent lại giả định rằng nó chỉ cần lấy một bản ghi và dữ liệu đã được cập nhật trong chính bản ghi đó, điều mà theo chị không phải là thực tế của data engineering như chúng ta biết. Thực tế là đường đó đang đóng. Nhìn vào code, agent chỉ nhìn vào thời điểm nhận (receive time) rồi cấp phép (theo video đăng ngày 15/11/2026). Slide "Two records. One wrong decision." ghi: reading TEL-5531 đo lúc 08:12, vị trí không rõ; reading TEL-5540 đo lúc 08:01, NORMAL, tới nơi lúc 08:20; và AI đã dùng TEL-5540 NORMAL (đo lúc 08:01) để gợi ý S04.

Điều chị muốn là agent nhìn thấy mọi bản ghi, trong trường hợp này là hai bản, rồi xét trạng thái hiện tại, xem dữ liệu có cũ không, kiểm tra ứng viên đó, rồi mới đưa ra giải pháp. Trong code sẽ có các bước kiểm observation và freshness trước khi gợi ý điều gì (theo video đăng ngày 15/11/2026).

![Slide Use the newest measurement với code Python trong engineering/data_quality.py](https://homus.dev/photos/fR0KQL-_J3Y-0543.jpg)

Slide "Use the newest measurement." của Layer 02: hàm `current_state` trong `engineering/data_quality.py`. Khi cờ tắt, bản ghi tới sau cùng thắng ("whichever record arrived last wins"); khi bật, code chọn bản có `observed_at` mới nhất và đánh dấu bản quá ngưỡng `FRESHNESS_SLA_MIN` là cũ. Dòng chốt: "Too old means unknown, not fine." (slide trong video đăng ngày 15/11/2026).

Trên dashboard, chị vào layer hai và chạy agent: trước hết ta thấy nó đang dùng dữ liệu cũ. Bật layer data understanding và chạy lại, giờ nó dùng bản ghi mới nhất. So before và after: trước thì cho qua, sau thì không chuyển hướng vì việc đó không an toàn (demo trong video đăng ngày 15/11/2026).

Chị nhắc rằng giải pháp cho riêng trường hợp này là kiểm tra độ mới của dữ liệu. Nhưng nói chung, theo chị, bạn muốn hỏi ý kiến các data engineer của mình và luôn bảo đảm AI agent và data engineer của bạn thống nhất với nhau khi nói về dữ liệu (theo video đăng ngày 15/11/2026).

## 6. Layer 3: Knowledge Engineering

Layer ba mở bằng một câu hỏi: nếu database của bạn nói một điều, còn ở chỗ khác lại có tài liệu nói điều khác, liệu agent của bạn có thật sự biết cái nào là cái nào, và tri thức nào cần được ưu tiên? Theo Maryam, đó là knowledge engineering (theo video đăng ngày 15/11/2026).

Trong ví dụ, có một bulletin về bảo trì; khi các đợt bảo trì cho thấy hư hại nghiêm trọng, bulletin cũng sẽ dừng tàu. Vậy không chỉ có các switch trong database online, mà còn có thông tin ở một chỗ khác, trong một tài liệu khác, trong sổ tay bảo trì, nói rằng đoạn đường ray đó có vấn đề. Nhưng agent chỉ mở database ra nhìn và nói mọi thứ bình thường (demo trong video đăng ngày 15/11/2026).

![Slide What is a bulletin, hai revision của bulletin MB-2026-0420: Speed limit và No movement](https://homus.dev/photos/fR0KQL-_J3Y-0643.jpg)

Slide "What is a bulletin?": một thông báo chính thức từ bộ phận bảo trì về việc tàu được làm gì và khi nào. Bulletin MB-2026-0420 có revision 1 (SPEED_LIMIT, vết nứt được báo gần switch SW-104 trên fast line ở Lunetten Junction, giới hạn 40 km/h, hiệu lực 08:05 tới 08:20) và revision 2 (NO_MOVEMENT, vết nứt đã xác nhận, không tàu nào qua fast line ở SW-104 cho tới khi sửa xong, hiệu lực 08:20 tới 16:00) (slide trong video đăng ngày 15/11/2026).

Với knowledge engineering, chị muốn tìm cả những luồng dữ liệu khác quan trọng cho tri thức. Ở đây có thể là tài liệu: nhìn vào các bulletin, tìm đúng ứng viên, rồi một lần nữa kiểm tra và trả lời: được, fast line đang đóng, ta sẽ chuyển sang slow line. Cách làm là xem bulletin đó có còn hiệu lực không, và nhìn vào tài liệu cùng các revision khi chúng xuất hiện trong một tài liệu khác (theo video đăng ngày 15/11/2026). Slide code "Newest valid revision wins." trong `engineering/knowledge.py` giữ revision mới nhất của mỗi bulletin còn hiệu lực ngay lúc đó, kèm câu "Find it, then check it's the newest and still valid."

Trên dashboard, ở layer ba, chị chạy agent: không có bulletin hay sổ tay bảo trì nào được nhận. Bật layer knowledge engineering và chạy lại, giờ mọi revision đều có mặt. So before và after, bản sau ghi rằng bulletin cấm (bulletin forbidden). Vậy là nó biết rằng sổ tay bảo trì cũng phải được tính tới (demo trong video đăng ngày 15/11/2026).

Chị nói với người xem: nếu bạn có một database online làm việc bằng SQL, và một hệ retrieval augmented generation (RAG) khác chứa mọi thông tin vì nó có tất cả các sổ tay, bạn cần biết rằng tất cả những nguồn đó phải được gộp lại cho knowledge engineering. Như chị nói, trong phần code này, hãy thêm mọi luồng dữ liệu quan trọng cho quyết định của AI agent (theo video đăng ngày 15/11/2026).

## 7. Layer 4: Model Engineering

Ở layer bốn, Maryam nói dùng LLM mạnh nhất cho mọi việc không phải là lựa chọn tốt nhất; ta cần chọn đúng model cho đúng task. Đó là model engineering (theo video đăng ngày 15/11/2026).

Chị bảo hãy tưởng tượng có hàng triệu tin nhắn được gửi tới một AI agent trong một hệ thống như hệ thống railway kia, nhưng ta chỉ xem 12 tin. Trên dashboard, layer bốn, chạy agent: đây là 12 tin nhắn của ta, và tất cả đều được gửi tới large language model. Bật model engineering và chạy lại, giờ tám tin được gửi tới một simple reader, hai tin tới một small reader, và chỉ hai tin tới large model (demo trong video đăng ngày 15/11/2026).

So before và after, chị chỉ ra chi phí cho chỉ 12 tin nhắn, và bản sau khi sửa chỉ khoảng một phần sáu số đó. Vậy bạn có thể hình dung khi nói tới hàng triệu tin nhắn thì khác biệt lớn tới mức nào. Trong code, một bên chỉ gửi hết tới large language model, bên kia tìm đúng nơi để chuyển hướng từng tin (demo trong video đăng ngày 15/11/2026).

![Dashboard before và after của model engineering: large model calls 12 so với 2, simple, small, large 8/2/2, bảng 12 field message](https://homus.dev/photos/fR0KQL-_J3Y-0903.jpg)

Bảng before/after của layer 4 trên dashboard: large model calls 12 so với 2, simple reader/small/large 0/0/12 so với 8/2/2, correct answers 12/12 ở cả hai bên, chi phí cho cả 12 tin trước khi sửa là $0.1200 (illustrative). Bên dưới là bảng 12 field message và model đọc từng tin; dòng chú thích ghi ba "reader" là bản thay thế offline, không phải AI model thật, và chi phí chỉ mang tính minh hoạ (demo trong video đăng ngày 15/11/2026).

Chị nói chị luôn nghe rằng Fable 5.2 đã ra, rằng một model khác đã ra. Theo chị, tất cả những model này phần lớn thời gian đều rất tuyệt. Nhưng theo chị, ngoài đời thật, như trong railway hay y tế, bạn không cần chúng; bạn sẽ cần những model chuyên biệt. Và loại model này, theo chị, phần lớn thời gian bạn có thể tìm thấy trên Hugging Face: nếu xem các model ở đó, bạn sẽ thấy rất nhiều model chuyên biệt mà không mất phí (theo video đăng ngày 15/11/2026).

## 8. Layer 5: Context Engineering

Maryam mở layer năm: ta biết các context window bây giờ có thể chứa 1 triệu token, thậm chí hơn. Nhưng câu hỏi vẫn là: AI agent có tìm được đúng nội dung trong các trang khi bạn đưa vào vài trăm trang hay không? Đó là context engineering (theo video đăng ngày 15/11/2026).

Chị bảo hãy tưởng tượng có một tài liệu, ở trang 143 ghi rằng switch 106 bị hỏng một phần, không được có chuyển động nào trên S05. Nhưng vì AI không tìm thấy trang đó, nó cứ thế đề xuất S05 (demo trong video đăng ngày 15/11/2026).

![Slide Layer 05 Context Engineering: 200 pages, missed two lines; context pages 1-21 of 200, page 143, AI offered S05](https://homus.dev/photos/fR0KQL-_J3Y-1023.jpg)

Slide "200 pages. Missed two lines." của Layer 05: context chỉ chứa trang 1 tới 21 trong 200 trang vì đã chạm giới hạn; trang 143 ghi "SW-106 partly broken → no movements on S05"; và AI đã đề xuất S05 (slide trong video đăng ngày 15/11/2026).

Trong code, theo chị, ta chỉ đang đổ cả tài liệu vào. Còn nếu bạn có một sổ tay 200 trang, điều bạn có thể làm giống như các marketing funnel: bạn cũng cần "lọc phễu" các trang của mình, giữ những trang thật sự liên quan tới điều bạn đang muốn đạt được. Đó là cách giúp agent tìm được đúng context (theo video đăng ngày 15/11/2026).

Trên dashboard, giờ ta đang ở phase hai, building intelligence. Chị vào layer năm và chạy agent: vì không tìm thấy trang đó, nó đề xuất S05. Bật context engineering và chạy lại, giờ switch đó không được đề xuất nữa. So before và after: quy tắc đã được nhìn thấy, và agent biết bulletin cấm (demo trong video đăng ngày 15/11/2026).

Vậy trong code, một bên là đưa mọi thứ, bên kia là xếp hạng và tìm các trang liên quan. Tất nhiên, theo chị, ta phải tự tìm và định nghĩa thế nào là liên quan, nhưng đó thật ra chính là toàn bộ context engineering. Chị khuyên dùng các phương pháp context engineering và thật nhiều common sense ở layer này để tìm đúng context. Theo chị, đổ mọi thứ vào context window chỉ vì làm được như vậy không phải một chiến lược tốt (theo video đăng ngày 15/11/2026).

## 9. Layer 6: Semantic Engineering

Layer sáu bắt đầu bằng câu hỏi: nếu hai hệ thống mô tả cùng một thứ theo cách khác nhau, agent của bạn có thể hiểu cả hai. Nhưng nó có hiểu về mặt ngữ nghĩa rằng chúng gần nhau tới mức nào, chẳng hạn là giống hệt nhau, hay không? Theo Maryam, đây là layer semantic engineering, và ta vẫn đang ở phase building intelligence (theo video đăng ngày 15/11/2026).

Chị bảo hãy tưởng tượng có một incident desk ghi "Utrecht W", trong đó chữ W là viết tắt của từ tiếng Hà Lan cho switch. Rồi có switch monitor ghi SW cho switch 104. Và có một bulletin viết hoàn toàn bằng tiếng Hà Lan, gọi switch theo tên của Lunetten, một địa điểm gần Utrecht. Tất cả về cơ bản là cùng một thứ nếu bạn hiểu ngữ nghĩa. Nhưng agent chỉ hiểu chúng nói gì, chứ không hiểu sự gần nhau giữa chúng, và điều đó gây ra vấn đề (theo video đăng ngày 15/11/2026).

![Slide Layer 06 Semantic Engineering: Three names, one switch: UTR-W104, SW-104, Wissel 4 Lunetten](https://homus.dev/photos/fR0KQL-_J3Y-1223.jpg)

Slide "Three names. One switch." của Layer 06: cùng một switch mang ba tên, UTR-W104 ở incident desk, SW-104 ở switch monitor và "Wissel 4 Lunetten" trong bulletin, được vẽ với dấu khác nhau giữa chúng, phía trên bản đồ Lunetten Junction (slide trong video đăng ngày 15/11/2026).

Trên dashboard, ở semantic engineering, chị chạy agent: điều đầu tiên ta thấy là nó tìm ra cả ba nhưng coi chúng là khác nhau. Bật layer semantic engineering và chạy lại, giờ nó hiểu rằng chúng khớp với nhau. Nhìn before và after: trước thì nó không biết có mối liên hệ nào giữa chúng, sau thì nó hiểu. Giờ nó hiểu rằng con số là 18, trong khi trước đó là 0; bảng before/after trên màn hình ghi dòng "Trains affected" là 0 trước và 18 sau (demo trong video đăng ngày 15/11/2026).

Chị nói với ai từng làm natural language processing trước thời LLM, họ biết việc chỉ ra hai từ gần nhau từng đau đầu thế nào. Theo chị, semantic engineering đã trở nên dễ hơn nhiều với large language model. Dù vậy, việc dành thời gian cho layer này vẫn rất quan trọng, và cần biết, chẳng hạn trong y tế hay pháp lý, chính xác những từ nào là quan trọng (theo video đăng ngày 15/11/2026).

Như bạn thấy, theo chị, đây vẫn là kiểu tiền xử lý thông tin mà ta đưa cho agent. Vì vậy chị bảo hãy chú ý thật nhiều tới semantic engineering (theo video đăng ngày 15/11/2026).

## 10. Layer 7: Agent Engineering

Layer bảy: nếu một agent làm mọi thứ và bỏ sót một bước kiểm tra quan trọng, đó không phải điều ta mong muốn. Nhưng khi chia việc cho nhiều agent khác nhau, theo Maryam, ta phải bảo đảm chúng không làm rơi thông tin khi chuyển việc cho nhau. Đây là agent engineering, việc orchestration các agent (theo video đăng ngày 15/11/2026).

Quanh Utrecht, ta nhìn vào slow line và fast line. Đội bảo trì biết slow line đang được bảo trì từ 8 tới 11 giờ, nhưng agent không biết điều đó. Trước khi bật layer, chuỗi việc là tất cả các task của một agent; slide "Nobody asked maintenance." cho thấy file `workflows/railway_graph.py` với ghi chú "One agent does everything, in one fixed order" và một chain gồm intake, link_incident_asset, read_telemetry, read_bulletins, read_manual, assess_impact, plan_candidates, validate, decide (demo trong video đăng ngày 15/11/2026).

Còn với multi-agent orchestration, theo chị, ta làm thế này: trước tiên phân tích sự cố, xem tác động lên mạng lưới bằng một agent riêng; rồi một agent khác xem phần bảo trì; rồi có một agent lập kế hoạch; và tất cả các agent đó cùng đưa ra lời giải cho vấn đề (theo video đăng ngày 15/11/2026).

![Slide Layer 07 Agent Engineering: Specialists that pass notes, chuỗi incident_analyst, network_impact, maintenance, planner_gate](https://homus.dev/photos/fR0KQL-_J3Y-1443.jpg)

Slide "Specialists that pass notes" của Layer 07: `incident_analyst` (TEL-5531, vị trí không rõ, đo 08:12), `network_impact` (18 services), `maintenance` (WS-77, S05, 08:00 tới 11:00) và `planner_gate()` (ghi chú bảo trì phủ cả S04 và S05). Kết quả: không có lựa chọn hợp lệ, giữ các chuyến và escalate lên controller, vì S05 đang có một đội làm việc (slide trong video đăng ngày 15/11/2026).

Trên dashboard, ở số bảy, agent engineering, chị chạy agent: ta thấy lịch của đội bảo trì chưa bao giờ được kiểm tra. Bật layer và chạy lại, giờ nó dùng các agent chuyên trách. So before và after: trước chỉ có một agent tổng quát; sau có analyst, impact, maintenance và planner. Theo chị, cách này tốn nhiều thời gian hơn, nhưng câu trả lời đúng hơn. Trong code, một bên chỉ là một agent tổng quát, bên kia là các agent chuyển giao việc cho nhau (demo trong video đăng ngày 15/11/2026).

## 11. Layer 8: Loop Engineering

Layer tám: ta luôn muốn có agent phát hiện được lỗi của chính mình, nhưng chúng có phục hồi được từ những lỗi đó không? Maryam gọi đây là loop engineering "nổi tiếng" (theo video đăng ngày 15/11/2026).

Chị tóm lại chặng đường: tới giờ, ở phase một và phase hai, ta đã tìm hiểu chuyện gì đang xảy ra, có loại dữ liệu, business và tri thức gì; rồi ta xây phần intelligence. Giờ ta đã có các agent, và bây giờ sẽ làm cho chúng robust và đáng tin cậy. Theo chị, loop engineering là thứ được nhắc tới rất thường xuyên trong thời gian gần đây (tính đến 11/2026). Bạn có thể hỏi: vòng lặp thì lúc nào chẳng có, ý chị là gì? Chị nói điều đó hoàn toàn đúng, nhưng giờ vấn đề là nghĩ xem cái gì nên nằm bên trong các vòng lặp đó (theo video đăng ngày 15/11/2026).

Trong ví dụ đoàn tàu, chị bảo hãy tưởng tượng controller chỉ đưa ra đề xuất và hỏi: tôi muốn fast track qua S04. LangGraph có một giới hạn vòng lặp, và chị nhắc tới con số 25. Agent nhận câu hỏi và trả lời theo cách khác, nhưng đồng thời lại y hệt như cũ. Trên thực tế, S04, fast line, đang đóng. Nhìn vào code, nó bị kẹt trong vòng lặp: chỉ nhìn vào lịch sử mà không làm gì hữu ích với lịch sử đó (demo trong video đăng ngày 15/11/2026). Slide của phần này có tên "Rejected. Repeated. Rejected again.", với dòng phụ "Don't repeat a rejected idea".

Trên thực tế, điều chị muốn là có một đề xuất, truy dữ liệu để xem đề xuất đó có hợp lệ không, rồi đề xuất điều mới dựa trên những thông tin đó, và giải quyết vấn đề (theo video đăng ngày 15/11/2026).

Hai kiểu vòng lặp theo phần demo trong video đăng ngày 15/11/2026: trước khi bật layer, agent lặp lại cùng câu trả lời; sau khi bật, mỗi vòng kiểm tra đề xuất bằng dữ liệu rồi đưa ra phương án khác, và agent hỏi human in the loop.

Trên dashboard, ở layer tám, chị chạy agent: câu trả lời cứ lặp lại chính nó suốt, có vòng lặp nhưng chẳng hữu ích. Bật layer và chạy lại, giờ trong vòng lặp nó làm được điều có ích. So before và after: trước chỉ là cùng một câu trả lời; sau thì bạn tìm thấy một phương án thay thế, và nó hỏi human in the loop để có câu trả lời (demo trong video đăng ngày 15/11/2026).

Gói trong một câu, theo chị, loop engineering chỉ là phần logic bạn đặt vào các vòng lặp để cải thiện ngay bên trong vòng lặp đó, và tất nhiên để agent đưa ra câu trả lời tốt hơn (theo video đăng ngày 15/11/2026).

## 12. Layer 9: Evaluation Engineering

Layer chín: theo Maryam, ai làm machine learning cũng nhận ra cảnh này. Ta nói hệ thống có 95% thành công, nhưng 5% còn lại là gì? Có thể đó là những ca quan trọng nhất. Chúng có đang thất bại không? Đây là evaluation. Và như ta biết: evaluation, evaluation, evaluation. Theo chị, không có evaluation thì hệ thống của bạn không thể tồn tại, vì ta không biết hệ thống tốt hay tệ tới đâu. Như chị nói, rất thường xuyên chính điều này phân biệt một hệ thống production thật với một bản demo (theo video đăng ngày 15/11/2026).

Chị khuyên đừng chỉ test một thứ; chẳng hạn, hãy chạy test 18 lần. Slide "One demo passed. The suite didn't." ghi: demo case passed, release decision là release it, test cases run: 1, và bên dưới là "18 labelled cases from all layers" (theo video đăng ngày 15/11/2026).

Trên dashboard, ở layer chín, evaluation, chị chạy agent: chỉ có một câu trả lời. Bật layer và chạy lại, giờ 18 ca đã được test. So before và after: trước là 1 trên 1, giờ ta biết 8 trên 18 ca qua. Chị nói đó là sự khác biệt (demo trong video đăng ngày 15/11/2026).

![Tab Layer 09 Test Suite trên dashboard: 8/18 test cases passed, 9 unsafe suggestions, release decision don't release](https://homus.dev/photos/fR0KQL-_J3Y-1903.jpg)

Tab "Layer 09 · Test Suite": chạy cả 18 test case với phiên bản v0.3 (bản demo, bật 2 layer). Màn hình ghi "Release decision: don't release", "8/18 test cases passed · 9 unsafe suggestions", và bảng từng ca với loại (authority, stale data, buried rule, worksite, planner loop, stale cache, tool down, paraphrase...), kết quả và lý do; ca EV-14 ghi LangGraph dừng lần chạy sau 25 bước (demo trong video đăng ngày 15/11/2026).

Khi xem test suite, chị nói ta biết chính xác ca nào qua, ca nào trượt, kèm thông tin về vấn đề cụ thể của từng ca trong 18 ca. Theo chị, điều này cũng giúp ta cải thiện cho bước tiếp theo, và evaluation cùng loop engineering có thể trở thành một cỗ máy rất tốt. Trong code, một bên là không dùng evaluation, bên kia là dùng tất cả các ca đó và dùng kết quả để cải thiện (theo video đăng ngày 15/11/2026).

## 13. Layer 10: Harness Engineering

Layer mười: theo Maryam, giờ ta đã biết về các lỗi và đang theo dõi chúng. Nhưng hãy tưởng tượng agent chạy được lần này mà lần khác lại không. Bạn muốn tái hiện lỗi đó, vì bạn không muốn nó chạy được ba lần trên mười rồi hỏng mà không biết vì sao. Đó là harness engineering (theo video đăng ngày 15/11/2026).

Theo chị, harness là một môi trường nơi bạn có thể thử nghiệm với agent, track và trace nó, và biết chính xác vì sao agent đã làm một việc. Chị ví harness engineering như đi tìm một liều thuốc thần: nếu bạn làm ra một loại kem hay một liều thuốc thần, bạn muốn biết chính xác mình đã chọn những thành phần nào, những tham số nào. Một lần nữa từ kinh nghiệm machine learning, khi thử nghiệm với hyperparameter, kiểu cả nghìn thí nghiệm, ta muốn biết thí nghiệm nào cho hiệu năng cao nhất. Theo chị, đó thật ra là harness engineering của chúng ta (theo video đăng ngày 15/11/2026).

Quay lại đoàn tàu: ta có hai phiên bản và một số gợi ý ở hai mốc thời gian. Cách tệ, theo chị, là chỉ đổi phiên bản rồi agent nhận phiên bản mới. Nhưng làm sao ta biết chính xác chuyện gì xảy ra? Ta muốn ghi lại mọi lần chạy, giải thích cái gì đã đổi và khác biệt là gì, rồi chạy thí nghiệm lại, rồi replay lần chạy đó. Vậy là có một môi trường được kiểm soát để thử nghiệm, và để quay lại các thí nghiệm đó mà biết chính xác chuyện gì đã xảy ra (theo video đăng ngày 15/11/2026). Slide "A test bench for agent versions" mở đầu bằng ô "record every run: data versions + tool answers".

Phần before/after của layer 10 theo màn hình trong video đăng ngày 15/11/2026: run A (v0.3, 08:18) chọn S04 fast line, run B (v1.0, 08:22) chọn S05 slow line. Trước khi bật harness, công lao được gán cho phiên bản mới; sau khi bật, màn hình ghi riêng phiên bản không làm đổi câu trả lời, nguồn dữ liệu (bulletins) thì có, và replay run A cho kết quả identical.

Trên dashboard, chị vào layer mười, harness engineering: trước khi bật thì chỉ là hai lần chạy, không có gì được replay. Sau khi bật thì có hai lần chạy, có thí nghiệm, và có mọi thứ. Nhìn before và after: ở đây ta có option A và option B, và có thể replay run A, giống hệt, với đúng điều kiện đã xảy ra (demo trong video đăng ngày 15/11/2026).

Gói lại, theo chị, harness engineering là theo dõi và truy vết mọi thứ bạn đang làm, để bạn có thể tái hiện nó và cải thiện agent của mình (theo video đăng ngày 15/11/2026).

## 14. Layer 11: Infrastructure Engineering

Layer mười một: Maryam bảo hãy tưởng tượng API của bạn đang làm việc của nó và trả về thành công. Nhưng nếu dữ liệu trả về đã cũ 30 phút thì sao? Đây là infrastructure engineering. Sau khi làm agent đáng tin cậy, ở layer này ta chuyển sang phase operate and evolve (theo video đăng ngày 15/11/2026).

Theo chị, infrastructure là khi agent của bạn đã ở production. Bạn nói nó an toàn cho người dùng, nhưng bạn cũng muốn giám sát nó và có hạ tầng xung quanh để biết nó vẫn sẽ chạy theo cách bạn muốn. Và đó là lúc bạn tương tác với các hệ thống nội bộ của chính mình, chẳng hạn (theo video đăng ngày 15/11/2026).

![Slide Layer 11 Infrastructure Engineering: It said success, the data was old; attempt 1 timeout, attempt 2 old copy from 07:50](https://homus.dev/photos/fR0KQL-_J3Y-2243.jpg)

Slide "It said success. The data was old." của Layer 11, dòng phụ "'Success' can still be wrong": attempt 1 bị từ chối vì không có phản hồi trong 2.0 s (timeout giả lập), attempt 2 được chấp nhận nhưng là một bản sao cũ từ 07:50 và báo success, rồi AI gợi ý S04 (slide trong video đăng ngày 15/11/2026).

Với đoàn tàu: lần thử đầu bị từ chối, lần thử thứ hai được chấp nhận. Lần đầu là timeout; lần thứ hai báo success nhưng thực chất là một bản sao cũ, ví dụ từ 7:50. Trong trường hợp này, có chuyện đã xảy ra sau 8 giờ. Vậy thực tế, một lần nữa, đường đang đóng và code không xử lý điều đó (demo trong video đăng ngày 15/11/2026).

Điều chị muốn là gọi tới policy: nhìn vào các lần thử, thấy mọi lần thử online đều thất bại, và không chuyển dữ liệu cũ đó cho AI agent. Trên dashboard, ở số 11, infrastructure engineering, chị chạy agent: thông tin cũ. Bật layer và chạy lại, chị nói thông tin cũ đó "has been cached", các lần retry đã được kiểm tra, và không có gì được đề xuất vì dữ liệu không có. So before và after: trước nhận một bản sao cũ, sau thì không có gì (demo trong video đăng ngày 15/11/2026).

Cách giải trong code, theo chị, là có timeout, có lỗi, và ta xét tuổi của dữ liệu trong policy, đặt ra một ngưỡng tuổi; chị lấy ví dụ con số 10 phút. Chị nói phần này là rất nhiều thứ thuộc hạ tầng IT, toàn bộ hệ thống và quy trình của bạn (theo video đăng ngày 15/11/2026).

## 15. Layer 12: Continual Learning

Giờ tới layer 12. Maryam nói: nếu AI agent của bạn lặp lại cùng một lỗi, bạn nhận được đủ loại feedback và evaluation mà hoàn toàn phớt lờ, không dùng tới, trong khi có rất nhiều thông tin quý giá nằm bên dưới những feedback đó. Đó là continual learning. Theo chị, mọi thứ bạn thu thập ở giai đoạn engineering reliability cũng giúp bạn để mắt tới hệ thống ở tầng cao hơn (theo video đăng ngày 15/11/2026).

Trong ví dụ đoàn tàu, ta có feedback gồm 12 mục, năm mục trong đó nói đúng cùng một điều, cùng một kiểu lỗi. Đó là một pattern. Theo chị, continual learning là pattern recognition (theo video đăng ngày 15/11/2026). Slide "Corrected five times. Still wrong." trích một mục: "Same mistake: S05 cannot carry the Intercities too. Short-turn them.", ghi rằng AI vẫn đề xuất S05 slow line, và safety check cảnh báo đường ray chứa được 8 chuyến mỗi giờ trong khi cần 18.

Trên dashboard, ở continual learning, chị chạy agent: ta chỉ có feedback. Bật layer và chạy lại, giờ ta tìm ra một vấn đề lặp lại để xử lý. So before và after: trước chỉ là 12 mục được lưu lại; sau đó ta sắp xếp, nhìn vào thông tin và các pattern bên trong (demo trong video đăng ngày 15/11/2026).

![Dashboard continual learning: nhật ký feedback 12 mục và bảng nhóm theo loại với số lần và việc cần làm](https://homus.dev/photos/fR0KQL-_J3Y-2503.jpg)

Phần continual learning trên dashboard: nhật ký feedback (CF-001 tới CF-012) và bảng "Sorted into groups" với quy tắc "Only a group with at least 3 alike gets a rule change. The rest is watched, not acted on.": too many trains for the track (S05, 5 lần, đủ bằng chứng để viết thay đổi quy tắc và test nó), didn't know a switch's nickname (2), answer too slow (2), good suggestion (2, lời khen, không đổi gì), wrong number of trains (1). Bước 3 ghi các quy tắc mới (v2) được test trên mọi test case và không được dùng cho tới khi một người duyệt (demo trong video đăng ngày 15/11/2026).

Ở phần learning, chị nói ta đang sắp xếp, gom cụm thành nhóm, tìm outlier bằng machine learning và các phương pháp khác nhau. Ta thấy các nhóm: quá nhiều tàu cho đoạn đường ray, không biết biệt danh của một switch, trả lời quá chậm, gợi ý tốt. Nhóm cuối là lời khen, không có gì phải đổi. Còn có ba nhóm bạn có thể xem xét và học từ đó (demo trong video đăng ngày 15/11/2026).

Rồi ta chạy một learning cycle, và sau đó cải thiện được những ứng viên không an toàn. Theo chị, khi học từ tất cả các pattern này, thay vì chỉ 8 trên 18, giờ ta có 18 trên 18 ca qua, vì đã học từ tất cả các pattern đó. Trên màn hình ở bước này, dòng regression của candidate v2 ghi "18/18 passed, 0 unsafe → 18/18 passed, 0 unsafe", và quy tắc v2 được duyệt bởi một Traffic Control Lead giả lập (demo trong video đăng ngày 15/11/2026).

Chị kết video: giờ bạn đã biết cách xây những thứ này, hãy bắt tay xây production AI agent với 12 layer này (theo video đăng ngày 15/11/2026).

## Nguồn và liên kết

- Tên gốc: End to End Production AI Agents: 12-Layer Engineering Stack | Railway AI Project
- Sự kiện: [YouTube](https://homus.dev/events/youtube)
- Video gốc: [https://www.youtube.com/watch?v=fR0KQL-_J3Y](https://www.youtube.com/watch?v=fR0KQL-_J3Y)

- Kênh YouTube Dr. Maryam Miradi (Maryam Miradi): [youtube.com/channel/UCIQzTfzErmrixae2oFqRxyg](https://www.youtube.com/channel/UCIQzTfzErmrixae2oFqRxyg)

- LangGraph, framework orchestration cho AI agent (đọc ngày 17/11/2026): [langchain.com/langgraph](https://www.langchain.com/langgraph)

- Pydantic docs (đọc ngày 17/11/2026): [docs.pydantic.dev](https://docs.pydantic.dev/latest/)

- Gradio (đọc ngày 17/11/2026): [gradio.app](https://www.gradio.app/)

- Thư viện model trên Hugging Face (đọc ngày 17/11/2026): [huggingface.co/models](https://huggingface.co/models)

Nguồn: https://homus.dev/talks/end-to-end-production-ai-agents-12-layer-engineering-stack-railway-ai-project · cập nhật 2026-11-17
