# Vector database còn cần không? RAG, AI agent và tìm kiếm

[Martin Keen](https://homus.dev/speakers/martin-keen) · [IBM Technology](https://homus.dev/orgs/ibm-technology)

> Kim tự tháp retrieval bốn bậc: khi nào đủ long context hay grep với agent, khi nào cần vector index, khi nào cần vector database chuyên dụng.

Topics: Retrieval, Agents, Context Engineering

Canonical: https://homus.dev/talks/are-vector-databases-still-needed-rag-ai-agents-search

## 1. Vì sao lại hỏi: GREP, một công cụ từ năm 1973

Martin Keen (thẻ tên trong video đăng ngày 05/11/2026 ghi Master Inventor, IBM) mở đầu bằng chính câu hỏi trong tựa đề: vector database có còn cần nữa không? Anh hỏi vậy vì, theo anh (video đăng ngày 05/11/2026), trên mạng đang có khá nhiều thảo luận về chuyện người ta thay vector database bằng một công cụ tìm kiếm văn bản ra đời từ năm 1973 tên là GREP.

Theo Martin (video đăng ngày 05/11/2026), những người này nói rằng mình đang có kết quả tốt hơn, vì giải pháp dùng GREP đơn giản hơn khá nhiều, lại không cần một index riêng, mà index thì có thể bị cũ (go stale) theo thời gian. Vậy ta có cần một vector database không? Trước hết, anh muốn làm rõ nó là gì.

![Martin Keen đứng trước lightboard, phía trên ghi Are vector databases still needed?](https://homus.dev/photos/rXFV1ivDe6c-0003.jpg)

Martin Keen trước lightboard, dòng tiêu đề viết tay phía trên là "Are vector databases still needed?"; thẻ tên góc trái ghi Martin Keen, Master Inventor, IBM (video đăng ngày 05/11/2026).

## 2. Vector database là gì: embeddings và semantic search

Theo Martin (video đăng ngày 05/11/2026), về bản chất vector database cũng giống mọi database khác ở chỗ nó lưu nội dung. Điểm khác là nó lưu nội dung dưới dạng embeddings. Embeddings là một chuỗi các con số, mỗi chuỗi chỉ là một điểm trong một không gian nhiều chiều (high dimensional space), và chúng được sắp xếp sao cho những thứ có ý nghĩa giống nhau thì nằm gần nhau.

Đến lúc retrieval, theo anh (video đăng ngày 05/11/2026), vector database sẽ trả về những mục được đánh giá là giống về mặt ngữ nghĩa (semantically similar) với thứ đang được tìm. Nó thường được dùng trong những kịch bản như retrieval augmented generation (RAG): tra cứu thông tin để đưa vào một prompt, rồi prompt đó được gửi tới một LLM.

![Hình trụ ghi Vector DB với hai mũi tên ra vào và một chuỗi số trong ngoặc vuông, bên trên là chữ GREP khoanh tròn](https://homus.dev/photos/rXFV1ivDe6c-0103.jpg)

Góc trái bảng: chữ GREP được khoanh tròn, bên dưới là hình trụ ghi "Vector DB" có mũi tên vào và ra, và một chuỗi số trong ngoặc vuông (video đăng ngày 05/11/2026).

## 3. Kim tự tháp retrieval bốn bậc

Tiếp theo, Martin bày ra bốn bậc retrieval dưới dạng một kim tự tháp (video đăng ngày 05/11/2026). Bậc dưới cùng là không retrieval gì cả (no retrieval): mọi thứ cứ thế được dán thẳng vào prompt của LLM. Trên đỉnh là một vector database chuyên dụng.

Quy tắc anh đặt ra (video đăng ngày 05/11/2026): ta chỉ đi lên kim tự tháp khi workload thực sự đòi hỏi điều đó. Theo anh, chẳng có lý do gì để hối hả trèo lên đỉnh chỉ cho có, rồi ngã một cú không cần thiết.

![Kim tự tháp bốn tầng, đáy ghi No retrieval, đỉnh ghi Vector DB, có một hình người nhỏ đang trèo gần đỉnh](https://homus.dev/photos/rXFV1ivDe6c-0143.jpg)

Kim tự tháp bốn tầng bên phải bảng: đáy ghi "No retrieval", đỉnh ghi "Vector DB", hai tầng giữa còn trống, và một hình người nhỏ đang trèo gần đỉnh. Bên trái, cạnh hình trụ Vector DB có thêm chữ "RAG" trên mũi tên đi vào (video đăng ngày 05/11/2026).

## 4. Lý do thứ nhất: agentic search thay cho vector search

Vậy vì sao lại bỏ vector database, không dùng nó nữa? Martin đề xuất ba lý do khác nhau (video đăng ngày 05/11/2026). Lý do thứ nhất: có thể bạn chỉ muốn làm một thứ gọi là agentic search thay vào đó.

Theo Martin (video đăng ngày 05/11/2026), lựa chọn thay thế cho semantic search của vector database chính là keyword search kiểu cũ: dùng từ khoá để tìm thông tin. Cách này chỉ khớp những từ có thật trong câu truy vấn (literal words). Và keyword search chính xác là việc GREP đang làm: GREP là một tiện ích dòng lệnh (command line utility) để tìm trong văn bản những dòng khớp với một regular expression.

Theo anh (video đăng ngày 05/11/2026), trong nhiều trường hợp keyword search có thể là một công cụ hơi "ngốc". Nhưng một AI agent tự hành (autonomous) dùng keyword search thì không phải làm retrieval đúng ngay lần đầu, trong một lượt (one shot). Nó có thể chạy một lượt tìm, đọc những gì trả về, rồi có thể tinh chỉnh lại câu tìm, và cứ thế tiếp tục, lặp đi lặp lại. Đó là một phần của agentic loop.

Như vậy, theo Martin (video đăng ngày 05/11/2026), keyword search, dù có mất vài lần thử, vẫn có thể tốt ngang vector search mà không dính một vài nhược điểm của nó.

![Bảng ghi Agentic search có mũi tên vòng, bên dưới là Keyword search và mũi tên từ GREP](https://homus.dev/photos/rXFV1ivDe6c-0303.jpg)

Trên bảng: "Agentic search" kèm một mũi tên cong vòng lại, bên dưới là "Keyword search" với mũi tên đi lên từ "GREP"; kim tự tháp vẫn đứng bên phải (video đăng ngày 05/11/2026).

## 5. Lý do thứ hai: một context window rất lớn

Lý do khác khiến vector database có thể không cần đến, theo Martin (video đăng ngày 05/11/2026), là ta có thể cân nhắc dùng một context window rất lớn, tức long context. Anh nói rằng một frontier model ngày nay (tính đến 11/2026) có thể nhận vào lượng văn bản nhiều hơn khoảng một nghìn lần so với vài năm trước.

Thế thì, theo anh (video đăng ngày 05/11/2026), cần gì phải retrieval nữa: cứ ném hết những thông tin cần thiết vào context window.

Lý do thứ hai theo Martin (video đăng ngày 05/11/2026): nếu context window đủ lớn, cứ đưa hết thông tin cần thiết vào thẳng prompt thay vì retrieval.

## 6. Lý do thứ ba: chi phí embedding

Lý do thứ ba, theo Martin (video đăng ngày 05/11/2026), thực ra quy về chi phí, cụ thể là chi phí tạo ra các embedding (embedding cost). Với semantic search, mỗi lần ta lấy một tài liệu, nó phải được chia nhỏ (chunk) rồi embed, tức biến thành một chuỗi số, và việc đó phải diễn ra trên đường đi vào database.

Theo anh (video đăng ngày 05/11/2026), mỗi lần ta gửi một truy vấn, ta cũng phải embed truy vấn đó, vì câu hỏi phải trở thành một điểm trong không gian thì mới tìm được các điểm lân cận của nó. Và nếu bạn đổi embedding model, thì mọi tài liệu lại phải được embed lại từ đầu. Anh nói có thể workload của bạn đơn giản là không đáng để làm tất cả những việc đó.

![Bảng ghi Embedding cost với tài liệu biến thành chuỗi số, một dấu hỏi và một hình trụ database, bên dưới là Agentic search, Keyword search, GREP và Long context](https://homus.dev/photos/rXFV1ivDe6c-0443.jpg)

Ba lý do đã nằm đủ trên bảng: "Embedding cost" (một tài liệu biến thành chuỗi số trong ngoặc vuông, mũi tên kèm dấu hỏi chỉ vào chuỗi số, bên dưới là hình trụ database), "Agentic search" với keyword search và GREP, và "Long context" (video đăng ngày 05/11/2026).

## 7. Vector search ngay trong database đang chạy, và ba lý do trên kim tự tháp

Nhưng ngay cả khi vậy, theo Martin (video đăng ngày 05/11/2026), có thể vẫn không cần một hệ thống chuyên dụng cho tất cả những việc này, vì hầu như mọi database phổ biến (mainstream) bây giờ đều hỗ trợ vector search ngay trong database thông thường. Rốt cuộc thì một embedding chỉ là thêm một cột số nằm cạnh dòng mà nó mô tả, và đánh index cho cột chính là việc database vẫn làm.

Lập luận ở đây, theo anh (video đăng ngày 05/11/2026), là: nếu cần semantic search, cứ làm nó trong chính database đang chạy. Đó là các lý lẽ chống lại vector database.

Martin nói ba lý do này khớp khá gọn với kim tự tháp của anh (video đăng ngày 05/11/2026). Ở bậc dưới cùng, long context thực chất được coi là no retrieval. Bậc kế tiếp phía trên là keyword search, việc mà một agentic supervisor có thể thực hiện, nên agentic search ứng với bậc này, vì nó có thể làm tất cả mà không cần embedding nào. Còn chi phí embedding thì khớp với bậc kế tiếp nữa: thay vì có một vector database, ta có một vector index nằm trong một database sẵn có.

![Kim tự tháp đã ghi đủ bốn tầng No retrieval, Keyword search, Vector index, Vector DB, với các mũi tên nối sang Long context, Keyword search và Embedding cost](https://homus.dev/photos/rXFV1ivDe6c-0525.jpg)

Kim tự tháp đã đủ bốn tầng từ dưới lên: "No retrieval", "Keyword search", "Vector index", "Vector DB". Mũi tên nối "No retrieval" với "Long context", "Keyword search" với nhóm agentic search, và "Vector index" với "Embedding cost" (video đăng ngày 05/11/2026).

Nhưng liệu có còn lý do để leo tiếp lên tận đỉnh kim tự tháp không? Martin nghĩ là có (video đăng ngày 05/11/2026).

## 8. Giới hạn của bậc no retrieval: context bloat và độ chính xác

Bậc dưới cùng, theo Martin (video đăng ngày 05/11/2026), về cơ bản là nói: dán hết mọi thứ bạn sẽ cần vào một context window. Có thể ta lấy mọi tài liệu liên quan cần dùng và đặt thẳng chúng vào context window sẽ gửi tới LLM.

Theo anh (video đăng ngày 05/11/2026), một context window lớn hơn đúng là đồng nghĩa với chi phí xử lý token cao hơn, nhưng anh nghĩ vấn đề lớn hơn có thể nằm ở độ chính xác (accuracy) khi bạn thật sự lấp đầy một context window như vậy. Context bloat có thể khiến một AI model hoạt động kém đi so với việc chỉ retrieval những đoạn liên quan từ một kho tri thức (knowledge store) khi cần đến.

Thế nên, theo Martin (video đăng ngày 05/11/2026), anh nghĩ no retrieval ổn khi tập dữ liệu (corpus) nhỏ, nhưng khi nó trở nên đặc biệt lớn, có thể bạn sẽ muốn bước lên một bậc của kim tự tháp, tới keyword search. Có điều keyword search cũng có những vấn đề riêng.

![Ba tài liệu trong một khung lớn ghi Accuracy, mũi tên từ bậc No retrieval chỉ vào khung](https://homus.dev/photos/rXFV1ivDe6c-0623.jpg)

Cạnh bậc "No retrieval", ba tài liệu được vẽ trong một khung, bên dưới ghi "Accuracy"; một mũi tên từ bậc "Keyword search" chỉ chéo lên phía trái (video đăng ngày 05/11/2026).

## 9. Semantic gap: khi keyword search không tìm ra

Martin lấy một ví dụ (video đăng ngày 05/11/2026): giả sử workload là một trợ lý hỗ trợ nội bộ (internal support assistant), và một người dùng gõ "how do I reset my password?". Hoá ra đã có sẵn một ticket được tạo ra để trả lời đúng câu hỏi đó, và trên bảng ticket ấy tên là "Credential loop after update".

Theo anh (video đăng ngày 05/11/2026), keyword search thuần tuý (strict keyword search) sẽ không tìm ra ticket này, vì hai câu kia không có chung lấy một từ. Nên một công cụ như grep sẽ không trả về gì cả. Nhưng trong không gian embedding, hai câu này lại là hàng xóm gần nhau.

Đây là thứ được gọi là semantic gap, theo Martin (video đăng ngày 05/11/2026): người dùng và ticket đang mô tả cùng một vấn đề bằng những từ hoàn toàn khác nhau, và đó là việc mà semantic search được tạo ra để giải quyết. "Vậy là hoan hô embeddings!", anh nói. Có thể ta đang có một workload rốt cuộc sẽ được lợi từ semantic search.

![Câu how do I reset my password và ô Credential loop after update được nối bằng một ngoặc lớn ghi Semantic gap](https://homus.dev/photos/rXFV1ivDe6c-0723.jpg)

Ví dụ trên bảng: câu hỏi "how do I reset my password?" và ticket "Credential loop after update" được gom bởi một ngoặc dọc ghi "Semantic gap"; mũi tên từ bậc "Keyword search" chỉ vào ví dụ (video đăng ngày 05/11/2026).

## 10. Từ vector index lên vector database: hàng triệu vector

Vậy là ta đi lên kim tự tháp, tới một vector index. Theo Martin (video đăng ngày 05/11/2026), bản thân một vector database là một giải pháp tốt, cho tới một điểm nào đó. Nhưng chuyện gì xảy ra nếu ta có rất nhiều vector khác nhau, rất nhiều embedding khác nhau?

Theo anh (video đăng ngày 05/11/2026), khi ta có một database chỉ có một index các vector và đổ vào đó các embedding, thì từng embedding riêng lẻ không chiếm nhiều chỗ, có lẽ vài kilobyte bộ nhớ, và index làm cho việc tìm kiếm nhanh. Nhưng nếu ta phải giữ tất cả những thứ này trong bộ nhớ vì có quá nhiều, có thể ta có hàng triệu và hàng triệu vector như vậy, thì một database đa năng (general purpose) có thể bắt đầu lộ ra dấu hiệu quá tải.

Đó là điểm, theo Martin (video đăng ngày 05/11/2026), mà có lẽ một vector database chuyên dụng là lựa chọn phù hợp hơn, vì vector database được xây dựng để chứa hàng tỷ vector và vẫn trả lời trong vài mili giây.

![Phía trên bảng có hình trụ database cạnh chuỗi số trong ngoặc vuông ghi x millions, mũi tên từ bậc Vector index chỉ lên](https://homus.dev/photos/rXFV1ivDe6c-0816.jpg)

Phía trên bảng: một hình trụ database cạnh chuỗi số trong ngoặc vuông với ghi chú "x millions", và mũi tên từ bậc "Vector index" chỉ lên hình đó (video đăng ngày 05/11/2026).

## 11. Hai câu hỏi, và chọn bậc nào cho workload của bạn

Vậy vector database còn cần nữa không? Martin nghĩ chuyện này thực ra quy về hai câu hỏi (video đăng ngày 05/11/2026). Câu thứ nhất: vector search còn cần không? Nếu câu trả lời là có, thì câu thứ hai: một vector database chuyên dụng còn cần không?

Theo anh (video đăng ngày 05/11/2026), bản thân vector search đã có mặt trong gần như mọi database dưới dạng một tính năng. Nên với một số workload, câu trả lời đơn giản là tìm trong vector index đi kèm sẵn với database đang chạy.

Còn với những workload có hàng trăm hoặc hàng triệu vector, những vector bị truy vấn liên tục và cần trả kết quả nhanh, thì theo Martin (video đăng ngày 05/11/2026), có lẽ một vector database chuyên dụng mới là chỗ phù hợp.

![Bảng ghi hai câu hỏi Is vector search still needed? và Is a vector DB still needed?, cạnh kim tự tháp có mũi tên chỉ vào từng tầng](https://homus.dev/photos/rXFV1ivDe6c-0943.jpg)

Hai câu hỏi trên bảng, "Is vector search still needed?" và "Is a vector DB still needed?", cạnh kim tự tháp có mũi tên chỉ vào từng tầng khi Martin tổng kết lựa chọn cho mỗi bậc (video đăng ngày 05/11/2026).

Martin tóm lại lựa chọn cho từng bậc (video đăng ngày 05/11/2026):

- Nếu thông tin vừa thoải mái trong context window, thì có lẽ cứ quên hẳn vector database, RAG và tất cả những thứ đó đi, và dùng nguyên pipeline no retrieval (video đăng ngày 05/11/2026).

- Nếu một lượt keyword search bằng grep làm được việc retrieval, đó là một lựa chọn gọn nhẹ hay, và AI agent có thể gọi grep nhiều lần tuỳ theo nhu cầu (video đăng ngày 05/11/2026).

- Nhưng nếu semantic gap, tức khoảng cách giữa từ khoá tìm kiếm và thông tin bạn đang cố tìm, có thể thành vấn đề, thì tạo một vector index là ý hay (video đăng ngày 05/11/2026).

- Và một vector database chuyên dụng đầy đủ sẽ hợp lý khi số vector lên tới nhiều triệu (video đăng ngày 05/11/2026).

## Nguồn và liên kết

- Tên gốc: Are Vector Databases Still Needed? RAG, AI Agents & Search
- Sự kiện: [YouTube](https://homus.dev/events/youtube)
- Video gốc: [https://www.youtube.com/watch?v=rXFV1ivDe6c](https://www.youtube.com/watch?v=rXFV1ivDe6c)

- Kênh YouTube IBM Technology (Martin Keen): [youtube.com/channel/UCKWaEZ-_VweaEx1j62do_vQ](https://www.youtube.com/channel/UCKWaEZ-_VweaEx1j62do_vQ)

Nguồn: https://homus.dev/talks/are-vector-databases-still-needed-rag-ai-agents-search · cập nhật 2026-11-14
