# LLM Internals

Topic · 6 talks. Bên trong model: attention, KV cache, MoE và các lựa chọn kiến trúc ảnh hưởng tới production.

Canonical: https://homus.dev/topics/llm-internals

- [Coding agent đệ quy](https://homus.dev/talks/recursive-coding-agents.md): Raymond Weitekamp, OpenProse. Áp nguyên lý recursive language model (RLM) vào coding agent: rubric RLM, Y-Pi, Claude Code dynamic workflows và OpenProse để agent đáng tin cậy hơn.
- [Agent của bạn hỏng trên prod. Chúc may mắn khi tái hiện lỗi](https://homus.dev/talks/your-agent-failed-in-prod-good-luck-reproducing-it.md): Tisha Chawla & Susheem Koul, Microsoft. Vì sao temperature 0 không làm agent deterministic, và cách record ở boundary để replay một lỗi prod, stub LLM rồi biến trace thành test case.
- [Kết quả cỡ frontier, chạy ngay trên thiết bị](https://homus.dev/talks/frontier-results-on-device.md): RL Nabors, Arize. Thay lời gọi frontier model bằng SLM chạy local: golden dataset, capability eval với Phoenix, chọn SAGE model, prompt few-shot và post-processing.
- [Deception monitor cho LLM đang hỏng, và cách sửa nằm ở training data](https://homus.dev/talks/your-llm-deception-monitor-is-broken-the-fix-is-in-the-training-data.md): Sachin Kumar, LexisNexis. Vì sao eval và behavioral monitor mù trước sleeper agent, và cách bắt backdoor bằng Diff-SAE trên activation delta giữa base và fine-tune.
- [Hiểu kiến trúc LLM: bên trong thiết kế của các model hiện đại](https://homus.dev/talks/understanding-llm-architectures-inside-the-design-of-modern-models.md): Jofia Jose Prakash, Humanity + AI. Đọc LLM hiện đại theo component (GQA, MLA, local attention, MoE, Gated DeltaNet) và biết phải đo gì khi swap model trong production.
- [Giải phẫu một AI request: latency và cost thật sự sinh ra ở đâu](https://homus.dev/talks/anatomy-of-an-ai-request-where-latency-and-cost-are-really-born.md): Dan Fu, Together AI. Sáu stage một AI request đi qua (routing tới decode) và sáu lever giảm latency, cost: kernels, disaggregation, parallelism, routing, speculative decoding, quantization.

Nguồn: https://homus.dev/topics/llm-internals · cập nhật 2026-10-02