Methodology
Homus biến một buổi talk thành tài liệu đọc lại được. Trang này mô tả cách làm, cách đo và những gì phương pháp này chưa làm được, để người đọc tự đánh giá độ tin cậy.
Version 1.0 · 27/09/2026 · áp dụng cho 19 talk của WeAreDevelopers World Congress North America 2026
1. Objective
Câu hỏi Homus trả lời: có thể biến một talk chuyên sâu thành tài liệu viết đầy đủ, trung thành với lời speaker, mà gần như không cần làm tay hay không, và đo độ trung thành đó bằng cách nào?
"Đầy đủ" ở đây nghĩa là không tóm tắt: mọi ý, ví dụ, con số và câu chuyện của speaker đều có mặt, theo đúng trình tự. "Trung thành" nghĩa là không thêm điều speaker không nói; phần bổ sung (link nguồn, giải thích ngắn) được đánh dấu rõ là bổ sung.
2. Data
| Nguồn | Mô tả | Số lượng |
|---|---|---|
| Transcript | Ghi âm tại hội trường, chuyển thành văn bản tự động | 19 talk · 84.505 từ |
| Ảnh slide | Chụp bằng điện thoại trong buổi talk, có giờ chụp (EXIF) | 234 ảnh · 193 dùng · 41 loại |
| Agenda chính thức | Trang session của sự kiện: tên talk, speaker, chức danh, công ty, stage | 19/19 talk đối chiếu được |
| Nguồn bổ sung | Docs, repo, bài viết chính chủ của tool và số liệu speaker nhắc tới | 321 link |
Ảnh bị loại gồm: ảnh trùng hoặc mờ hơn bản khác, ảnh của talk khác, ảnh chụp màn hình cá nhân, ảnh không liên quan tới nội dung.
3. Pipeline
- Collect. Lấy transcript từng talk và ảnh slide của cả sự kiện.
- Verify identity. Đối chiếu giờ và nội dung với agenda chính thức để lấy đúng tên talk, speaker, chức danh, công ty và link session. Nhận dạng giọng nói tự động hay nghe nhầm tên riêng; không tên nào được đoán.
- Segment. Chia transcript thành các đoạn 420 từ (T01, T02…). Mỗi section của tài liệu khai báo nó phủ những đoạn nào.
- Align figures. Gán ảnh vào đoạn theo giờ chụp, rồi mở từng ảnh để đặt đúng section theo nội dung slide.
- Write. Mỗi talk do một agent viết riêng, theo cùng một bộ luật: viết lại đầy đủ theo trình tự, tiếng Việt giữ thuật ngữ tiếng Anh, sửa tên riêng theo slide và agenda, prompt trên slide thành khối copy được, đoạn không có slide thì vẽ sơ đồ.
- Research lightly. Chỉ thêm link chính chủ (docs, repo, trang sản phẩm, paper). Không tìm được nguồn thì ghi rõ "chưa tìm được nguồn".
- Independent review. Một agent khác, không tham gia viết, đọc lại toàn bộ transcript và tài liệu, liệt kê ý thiếu, ý sai, lỗi luật, sửa trực tiếp và kết luận bằng một dòng
VERDICT: ĐẠT | CHƯA ĐẠT. Chỉ talk ĐẠT mới được đăng. - Privacy check. Quét bản sẽ đăng để tìm thông tin cá nhân; mở các ảnh có màn hình hoặc dashboard để tìm email, tên người không phải speaker.
- Build and publish. Sinh trang web tĩnh, bản Markdown cho từng talk, sitemap, llms.txt; kiểm link và ảnh trước khi đưa lên.
4. Metrics
Mỗi tài liệu được đo tự động bằng năm chỉ số trước khi vào bước duyệt:
| Chỉ số | Đo gì | Ngưỡng | Kết quả (19 talk) |
|---|---|---|---|
| E1 · Coverage | Số từ tài liệu / số từ transcript. Tiếng Việt dài hơn tiếng Anh cùng nội dung, nên dưới 1,0 là dấu hiệu đang tóm tắt | ≥ 1,0 | min 1,02 · median 1,23 · max 2,61 |
| E2 · Chunk coverage | Tỉ lệ đoạn transcript có section trỏ tới | 100% | 100% ở cả 19 talk |
| E3 · Figures | Tỉ lệ section có ảnh slide hoặc sơ đồ | ≥ 60% | 79% tới 100% |
| E4 · Links | Link nguồn trả về hợp lệ | 100% | 100% |
| E5 · Style | Lỗi trình bày cấm (em-dash, dịch mất thuật ngữ) | 0 | 0 |
Talk có E1 = 2,61 là một bản ghi chỉ bắt đầu từ giữa talk (940 từ), nên phần giải thích chiếm tỉ trọng lớn hơn bình thường.
5. Validation
15/15 talk của ngày 24 và 25/09 đạt ở vòng duyệt độc lập đầu tiên, sau khi agent duyệt sửa khoảng 20 chỗ. Các loại lỗi tìm thấy:
- Tên riêng nghe nhầm chưa sửa hết, hoặc sửa theo suy đoán thay vì theo slide.
- Gán lời sai người: thông tin lấy từ nguồn ngoài nhưng viết như thể speaker nói. Cách sửa: ghi rõ nguồn ("theo phỏng vấn với…").
- Số liệu không có nguồn: giữ đúng như speaker nói, ghi rõ là số của speaker, không trình bày như sự thật đã kiểm.
- Chi tiết nhỏ bị bỏ sót (ví dụ một thông số kỹ thuật) và câu ghi chú của người viết lọt vào nội dung.
6. Privacy and ethics
- Không đăng ảnh chụp màn hình cá nhân; ảnh có email hoặc tên người không phải speaker được làm mờ.
- Ghi chú riêng của người ghi âm không bao giờ lên bản công khai.
- Không đăng transcript nguyên văn; tài liệu là bản viết lại, dẫn về trang session chính thức.
- Nội dung thuộc về speaker và đơn vị tổ chức; speaker có thể yêu cầu chỉnh sửa hoặc gỡ bài.
7. Limitations
- Transcript tự động có lỗi, nhất là tên riêng và thuật ngữ mới; phần hỏi đáp khó xác định ai hỏi ai trả lời.
- Ghi âm có thể bắt đầu muộn hoặc kết thúc sớm; khi đó tài liệu chỉ phủ phần có dữ liệu.
- Không phải slide nào cũng được chụp; sơ đồ vẽ lại là cách hiểu của người viết, không phải slide gốc.
- Nội dung do AI viết và duyệt; tỉ lệ lỗi thấp nhưng không bằng không. Khi có video chính thức, đối chiếu lại với video là cách kiểm tốt nhất.
- Hiện chỉ có tiếng Việt.
8. Reproducibility
Toàn bộ quy trình được đóng gói thành skill event-review cho coding agent: bộ luật cho agent viết, bộ luật cho agent duyệt, script đo E1–E5 và script gán ảnh theo giờ chụp. Skill đã public tại github.com/sonpiaz/event-review để bất kỳ ai cũng chạy lại được quy trình này trên sự kiện của mình.
9. Changelog
- 1.0 · 27/09/2026: 19 talk WeAreDevelopers NA 2026; thêm duyệt độc lập cho mọi talk; bỏ ghi chú quy trình khỏi nội dung; rút gọn phần chào hỏi mở đầu.