Topics / LLM Internals

6 talks

Coding agent đệ quy

Raymond Weitekamp · OpenProse · 24 min

Áp nguyên lý recursive language model (RLM) vào coding agent: rubric RLM, Y-Pi, Claude Code dynamic workflows và OpenProse để agent đáng tin cậy hơn.

Agent của bạn hỏng trên prod. Chúc may mắn khi tái hiện lỗi

Tisha Chawla & Susheem Koul · Microsoft · 14 min

Vì sao temperature 0 không làm agent deterministic, và cách record ở boundary để replay một lỗi prod, stub LLM rồi biến trace thành test case.

Kết quả cỡ frontier, chạy ngay trên thiết bị

RL Nabors · Arize · 31 min

Thay lời gọi frontier model bằng SLM chạy local: golden dataset, capability eval với Phoenix, chọn SAGE model, prompt few-shot và post-processing.

Deception monitor cho LLM đang hỏng, và cách sửa nằm ở training data

Sachin Kumar · LexisNexis · 14 min

Vì sao eval và behavioral monitor mù trước sleeper agent, và cách bắt backdoor bằng Diff-SAE trên activation delta giữa base và fine-tune.

Hiểu kiến trúc LLM: bên trong thiết kế của các model hiện đại

Jofia Jose Prakash · Humanity + AI · 30 min

Đọc LLM hiện đại theo component (GQA, MLA, local attention, MoE, Gated DeltaNet) và biết phải đo gì khi swap model trong production.

Giải phẫu một AI request: latency và cost thật sự sinh ra ở đâu

Dan Fu · Together AI · 35 min

Sáu stage một AI request đi qua (routing tới decode) và sáu lever giảm latency, cost: kernels, disaggregation, parallelism, routing, speculative decoding, quantization.