Mở khoá 48GB VRAM cho Local AI trên laptop

1. Con AI gần 40GB: nạp được mà không dùng được

Video có sự đồng hành của ASUS.

Thanh Trần mở đầu bằng một con AI đang chạy trên màn hình, và nói luôn con số: nó nặng gần 40GB. Chiếc máy gánh được thật, model nạp lên được thật, nhưng tốc độ nó viết ra chữ lại chậm hơn cả tốc độ người xem đọc. Trên màn hình là cửa sổ LM Studio, một khung chú thích ghi "Đang chạy: Llama 3.3 70B, dung lượng 39,60 GB", và model đang trả lời một câu hỏi bằng tiếng Việt về chuyện vì sao chạy AI trên máy cá nhân lại cần nhiều bộ nhớ.

Anh giới thiệu mình là Thanh Trần, founder của kênh 5 Phút AI. Đây là tập 2 của khoá học Local AI anh làm cùng ASUS Việt Nam, chạy trên chiếc ASUS TUF Gaming A14 anh đang dùng. Hôm nay anh sẽ chỉ cho người xem một cái nút chỉnh có sẵn ở trong máy, không cần cài thêm bất cứ thứ gì. Chỉnh xong, anh chạy lại đúng con AI vừa rồi và đưa ra số liệu thật mà máy báo. Kết quả đẹp hay không đẹp, anh đều cho xem hết.

Anh nhắc lại: ở tập 1, người xem đã chạy được con AI thứ nhất trên máy của mình. Tập này anh sẽ đẩy chiếc máy đó tới giới hạn của nó, rồi tiếp tục đẩy cái giới hạn ấy ra xa hơn. Mọi con số tốc độ và bộ nhớ trong bài là số anh đo trên chính chiếc máy trong video, tại thời điểm quay (video đăng ngày 25/09/2026); máy khác cấu hình khác thì số sẽ khác, và model cũng không trả lời y hệt nhau giữa các lần chạy.

2. Sau video này bạn làm được gì

Anh liệt kê những gì người xem sẽ biết sau tập này. Thứ nhất, VRAM là gì và vì sao model AI lại cần nó. Anh nối tiếp luôn ví dụ cái bàn học của tập 1, nên không ai phải học lại từ đầu. Thứ hai, chiếc máy này chia bộ nhớ khác những chiếc laptop thông thường như thế nào, và vì sao cái khác đó lại quan trọng với người chạy AI. Thứ ba là thao tác chỉnh: mở Armoury Crate, đổi một ô, rồi khởi động lại. Anh nhấn mạnh là có đúng ba việc thôi.

Và điều thứ tư, cái anh nghĩ là có giá trị nhất: người xem sẽ thấy số đo thật của 5 model AI chạy trên chính chiếc máy này. Trong đó có một con làm máy đuối hẳn, và anh cho xem luôn chỗ máy gãy, chứ không chỉ khoe chỗ máy khoẻ.

3. VRAM là gì, nối lại ví dụ cái bàn học

Theo anh, chữ VRAM nghe thì to tát nhưng thực ra rất đơn giản. Anh nhắc lại ví dụ cái bàn học ở tập 1: RAM chính là cái bàn, còn model AI là chồng sách, phải bày hết lên bàn thì mới dùng được. Giờ anh thêm một chi tiết vào cái bàn đó.

Trong máy tính có hai "thằng" cùng làm việc. Thằng thứ nhất là CPU. Thằng thứ hai là GPU, tức là phần đồ hoạ, thứ vốn được sinh ra để dựng hình cho game, nhưng hoá ra lại là thằng chạy AI giỏi nhất. Vậy model AI phải nằm ở đâu để GPU chạy nhanh nhất? Câu trả lời là nó phải nằm trên phần bàn của chính GPU. Phần bàn riêng đó có tên là VRAM; chữ V ở đây là video, tức là bộ nhớ dành cho đồ hoạ.

Đây là chỗ khá đau của rất nhiều laptop. Trên máy có card đồ hoạ rời, VRAM là một thanh nhớ riêng được hàn cứng vào card, nhà sản xuất cho bao nhiêu thì người dùng có bấy nhiêu, không thêm được, không bớt được. Ví dụ máy có 8GB VRAM thì cả đời nó là 8. Có nhét thêm RAM thường vào máy cũng không giúp gì được cho phần đó.

Nói theo ví dụ cái bàn, nó giống một cái bàn nhỏ đóng chết vào tường. Muốn rộng hơn thì chỉ có cách mua cái bàn khác, tức là mua cái máy khác. Với chuyện chạy AI, cái bàn đóng chết đó chính là thứ quyết định bạn chạy được model nào. Không phải là máy chặn model lại, mà là model không bày lên cái bàn ấy được, nên ta không mở nổi nó ra.

4. Máy này khác: một hồ 64GB, bạn tự kẻ vạch

Chiếc máy anh đang dùng làm theo cách khác. Con chip trong máy tên đầy đủ là AMD Ryzen AI Max+ 392, và phần đồ hoạ nằm luôn trong con chip đó, chứ không phải một card riêng cắm thêm. Chính vì nằm chung một chỗ, nó dùng chung một hồ bộ nhớ với cả máy: 64GB, chung một hồ. Người ta gọi kiến trúc này là bộ nhớ hợp nhất.

Quay lại ví dụ cái bàn: ở đây không còn hai cái bàn nữa, mà chỉ có một cái bàn rất rộng, và ta vẽ được vạch chia trên đó. Muốn chừa bao nhiêu chỗ cho phần đồ hoạ để chạy những model to thì kéo vạch sang. Cần chỗ cho Windows hay cho mấy chục tab trình duyệt thì kéo vạch về. Cùng một chiếc máy, cùng một bộ nhớ, nhưng chia lại được theo việc bạn đang làm. Khi đó màn hình vẽ một thanh ngang, phần màu cam là "phần cắt cứng cho đồ hoạ", phần xám là "Windows và mọi ứng dụng", kèm câu: kéo vạch sang thì chạy được model to hơn, kéo về thì Windows thoải mái hơn.

Chỗ để kéo cái vạch đó nằm trong Armoury Crate, một phần mềm ASUS cài sẵn cho máy. Anh nói rõ: không phải trong BIOS, cũng không phải trong phần mềm của AMD. Lát nữa anh sẽ dẫn vào tận nơi.

Tới đây nghe có vẻ ổn. Nhưng trước khi chỉnh, anh muốn người xem thấy một chuyện. Thật ra anh đã định vào thẳng phần chỉnh, rồi lại thử đo máy nguyên trạng trước, và chính số đo đó bắt anh kể lại câu chuyện theo một cách khác.

5. Đo máy nguyên trạng: bốn model nhẹ hơn

Anh gọi đây là phần anh thích nhất của tập này. Chiếc máy lúc mới lấy về có phần cắt cứng cho đồ hoạ được nhà máy đặt sẵn là 16GB. Anh chưa chỉnh gì hết, máy vẫn nguyên trạng. Anh lấy 5 model từ nhẹ đến nặng, hỏi cùng một câu, và để chính LM Studio báo số. Con số này là số phần mềm tự đếm, ai mở máy của mình lên cũng sẽ thấy đúng chỗ đó: dưới mỗi câu trả lời, LM Studio hiện một dòng nhỏ gồm tốc độ (tok/sec), số token, thời gian chờ chữ thứ nhất và lý do dừng.

Câu hỏi anh dùng cho mọi model, đọc được trên màn hình LM Studio (dòng thứ nhất bị khuất một phần ở mép trên khung chat):

Giải thích trong đúng 3 câu, viết liền thành một đoạn văn, không gạch đầu dòng, không đánh số, không dùng biểu tượng cảm xúc: vì sao chạy AI trên máy cá nhân lại cần nhiều bộ nhớ?

Anh nhắc lại cái mốc của tập 1: người đọc bình thường đọc khoảng 5 đến 8 token mỗi giây. Với tốc độ trên 10, máy viết nhanh hơn bạn đọc. Trên màn hình, khung "Mốc để so" ghi đúng hai dòng đó, kèm một chú thích nhỏ rằng mốc tốc độ đọc là ước lượng phổ thông để dễ hình dung, không phải số tự đo.

Số đo ở mức nhà máy 16GB, theo video ngày 25/09/2026:

• Con thứ nhất là Qwen 8B, model đã chạy ở tập 1 (trên bảng ghi Qwen3 VL 8B). Máy ghi 5,76GB, nhẹ nhất bảng. Kết quả: 39,7 token mỗi giây.
• Con thứ hai nặng 11,28GB, gấp đôi con vừa rồi. Kết quả: 61,4 token mỗi giây. Nặng gấp đôi mà lại nhanh hơn hẳn.
• Con thứ ba nặng 14,56GB, chạy 55,3 token mỗi giây.
• Con thứ tư nặng 20,55GB, gấp gần 4 lần con thứ nhất. Kết quả: 62,3 token mỗi giây, nhanh nhất cả bảng.

6. File nặng không có nghĩa là chạy chậm

Anh hỏi người xem có vừa thấy chuyện gì xảy ra không. Con nhẹ nhất bảng lại là con chạy chậm nhất trong bốn con này, còn con nặng gấp 4 lần thì chạy nhanh nhất.

Chỗ này quan trọng nên anh nói chậm lại: dung lượng file không quyết định tốc độ. Có những model mà mỗi lượt trả lời chỉ đánh thức một phần nhỏ bộ não, phần còn lại nằm im; file nhìn thì to, nhưng phần thật sự chạy lại nhỏ. Ba con nhanh nhất trong bảng này đều thuộc loại đó, còn con 8B thì không.

Tập 3 anh sẽ dành nguyên một tập để đọc tên model, cho người xem biết con nào thuộc loại nào. Còn ở tập 2 này, anh chỉ cần mọi người nhớ một câu: file nhẹ không có nghĩa là chạy nhanh, và ngược lại, file nặng không có nghĩa là chạy chậm.

7. Chỗ ngược hẳn với điều định nói

Đây là chỗ anh phải nói ngược lại điều mình định nói. Lúc lên dàn ý cho tập này, anh đoán rằng nếu để nguyên mức mặc định thì máy sẽ đuối sớm, nên anh chỉnh một phát là nó khoẻ hẳn lên. Câu chuyện tưởng như rất đẹp, nhưng đo xong thì không phải như vậy.

Chiếc máy khi chưa chỉnh gì đã nuốt gọn con 20GB: nạp trong 14 giây, chạy ra 62 token mỗi giây, tức là nhanh gần gấp 10 lần tốc độ người đọc (số đo theo video ngày 25/09/2026). Cho nên bức tường nằm xa hơn anh tưởng. Nhưng bức tường đó có thật.

8. Con thứ 5: chỗ máy gãy

Bức tường nằm ngay ở con thứ 5. Anh thử Llama 3.3 bản 70B, file 39,6GB. Trên màn hình, anh tìm "Llama 3.3" trong danh sách model của LM Studio; dòng kết quả ghi Llama 3.3 70B, bản Q4_K_M, của meta, định dạng GGUF, 39.60 GB. Nạp mất hơn 70 giây; anh ngồi nhìn thanh tiến trình chạy hơn một phút.

Kết quả: 2,25 token mỗi giây. Anh nhắc lại cho rõ: 2,25. Trong khi tốc độ đọc là 5 đến 8, nghĩa là model viết ra còn chậm hơn bạn đọc, và bạn sẽ phải ngồi đợi từng chữ một. Chưa hết: bộ nhớ trống của cả máy tụt còn 0,48GB, tức là chưa tới nửa GB. Máy hết chỗ thở; chỉ cần mở thêm một tab trình duyệt là bắt đầu giật (số đo theo video ngày 25/09/2026).

Anh nói gọn lại một câu: ở con này thì nạp được nhưng không dùng được. Không phải máy không chạy nổi; máy vẫn chạy, nhưng người dùng thì không dùng nổi.

9. Vì sao cắt cứng 16GB mà vẫn nạp nổi model 40GB

Anh đoán người xem đang thắc mắc một câu: phần cắt cứng cho đồ hoạ chỉ có 16GB, vậy mà model gần 40GB vẫn nạp được, lạ vậy? Đó là vì chiếc máy này cho mượn thêm. Ngoài phần cắt cứng, phần đồ hoạ còn được mượn tạm bộ nhớ chung của hệ thống khi cần.

Nói theo cái bàn: ngoài phần bàn kê riêng cho bạn, lúc bí bạn có thể lấn sang bàn chung. Lấn được thì vẫn ngồi học được, chỉ hơi chật một chút vì phải chia với người khác. Màn hình đặt tên cho hai tầng này bằng đúng nhãn trong phần cài đặt: Dedicated Graphics Memory là phần bàn kê riêng, cắt cứng cho GPU; Shared Memory Allocation là phần bàn chung, lúc bí thì lấn sang.

Anh nói người xem chỉ cần biết đúng như vậy, không phải nhớ gì thêm, vì trong cả tập này chỉ cần đụng vào đúng một ô.

10. Con số 24 nhìn nhầm

Trước khi làm, anh kể một chuyện, vì đó là cái bẫy người xem sắp gặp. Trên màn hình chỉnh có hai ô: ô trên là phần cắt cứng, ô dưới là phần mượn thêm. Lúc mới mở ra, anh thấy con số 24GB ở ô dưới và đinh ninh đó là mức tối đa máy cấp. Ban đầu anh còn viết phần hướng dẫn cho tập này theo con số ấy.

Nhưng thực ra như vậy là sai. Con số 24 chỉ là giá trị đang đặt của ô cho mượn thêm, chứ không phải mức tối đa của ô cắt cứng. Ô cắt cứng, tức là ô bạn thực sự cần chỉnh, cho chọn tới 48GB, gấp đôi con số anh tưởng.

Anh kể chuyện này để mọi người nhìn kỹ và nhìn đúng ô. Lát nữa vào tới màn hình đó, anh sẽ chỉ ô nào là ô nào.

11. Bước 1: ba chỗ đừng tìm, và chỗ đúng

Bước thứ nhất là đi tìm cái nút. Anh nói trước có ba chỗ đừng mất công tìm, vì chính anh đã tìm nhầm đủ cả ba: nút này không nằm trong BIOS, không nằm trong phần mềm của AMD, và cũng không nằm ở bánh răng Settings dưới cùng của Armoury Crate. Màn hình khi đó là cảnh anh ngồi trước máy, khung chữ "Ba chỗ đừng tìm: nút này không nằm ở đây" liệt kê đúng ba chỗ đó.

Chỗ đúng thì làm theo từng bước:

1. Mở Armoury Crate lên.
2. Ở cột bên trái, bấm biểu tượng thứ hai từ trên xuống, ngay dưới hình ngôi nhà; nó tên là Devices.
3. Vào rồi sẽ thấy đúng một cái máy, chính là máy của bạn; máy của anh ghi là FA401EA. Bấm vào máy đó.
4. Khi đó mới tới trang tên là System Settings. Trên đầu trang có 4 tab (System Configuration, Memory, Lighting, Resource Monitor); chọn tab thứ hai, Memory.

Khung tóm tắt cuối video ghi đường đi này thành một dòng:

Armoury Crate, Devices, máy của bạn, System Settings, tab Memory

Trong mục Memory Allocation, đúng như anh vừa kể, có hai ô. Ô phía trên tên là Dedicated Graphics Memory: đây là ô của bạn. Ô dưới tên là Shared Memory Allocation: chỗ này để yên, đừng đụng vào. Dòng giải thích của ô trên ghi rằng mặc định hệ thống tự cấp bộ nhớ chung cho GPU tích hợp, nhưng có thể đặt cứng một mức VRAM cố định để xử lý tốt hơn các ứng dụng nặng về đồ hoạ.

Nhìn xuống dưới một chút là chỗ hai chấm màu. Chấm vàng ghi Dedicated Graphics Memory 16GB. Chấm đỏ ghi Shared Memory Allocation xấp xỉ 24GB. Đó chính là con số 24 anh nhìn nhầm lúc nãy: nó nằm ở chấm đỏ, chứ không phải chấm vàng.

12. Bước 2: chọn mức mới và bấm Apply

Bấm vào ô trên, một danh sách sổ ra: Recommended, rồi 0,5, 1, 2, 4, 8, 16, 32 và 48GB, tổng cộng 9 mức. Máy của anh đang để ở 16GB, dòng đó đang sáng lên. Đây là mức nhà máy đặt sẵn, không phải anh chỉnh.

Anh chỉ ra một chuyện thú vị: máy ghi 64GB RAM, nhưng Windows chỉ báo 47,65GB. Vậy 16GB kia đi đâu? Nó nằm chính trong ô này: đã bị cắt ra giao cho phần đồ hoạ từ trước khi máy nằm trong hộp.

Sang bước hai, đổi mức. Phần này nhanh, chỉ cần đúng ba động tác. Thứ nhất, chọn mức mới trong ô Dedicated Graphics Memory; ở đây anh chọn 48G. Thứ hai, bấm Apply. Anh dặn dừng lại ngay chỗ này: trước khi bấm Apply, hai dòng chú giải ghi Dedicated 16GB và Shared khoảng 24GB. Khi chọn 48GB, dòng Dedicated đã đổi thành 48GB, còn Shared chỉ còn khoảng 8GB. Hai tầng đó ăn chung một hồ: kéo tầng trên lên thì tầng dưới tụt xuống. Theo lời anh, không có bữa trưa nào miễn phí.

13. Bước 3: khởi động lại và kiểm chứng

Động tác thứ ba là chỗ nhiều người bỏ qua rồi tưởng máy hỏng: phải khởi động lại máy. Bấm Apply xong thì thay đổi chưa ăn ngay, và chính máy cũng nhắc điều đó. Ngay sau khi bấm Apply, một hộp thoại tên là Reboot hiện ra, ghi đúng một câu: khởi động lại máy để áp dụng thay đổi. Có hai nút, Reboot và Cancel; anh bấm Reboot. Màn hình lúc đó ghi thêm: chưa khởi động lại thì RAM vẫn đúng 47,65 GB, tức là bấm Apply mà chưa khởi động lại thì mức mới chưa ăn, đo được trong chính buổi quay.

Khởi động lại xong, anh quay về đúng màn hình Memory Allocation để kiểm chứng. Ô phía trên giờ ghi 48G. Số RAM Windows báo cũng đổi theo: từ 47,65GB xuống còn 15,65GB. Nghĩa là vạch chia đã được kéo thật, không phải chỉnh cho vui.

14. Chạy lại đúng con AI đầu video

Giờ anh làm lại y hệt đầu video: cùng chiếc máy, cùng Llama 3.3 bản 70B, cùng file 39,6GB, hỏi cùng một câu. Chỉ khác đúng một thứ là ô vừa chỉnh. Anh mở LM Studio, chọn model, nạp, gửi câu hỏi. Số máy báo: 3,4 token mỗi giây. Bộ nhớ trống của máy sau khi nạp là 0,27GB. Dòng số dưới câu trả lời trên màn hình ghi 3.40 tok/sec, 144 tokens, 1.96s, lý do dừng EOS Token Found.

Anh đọc thẳng cả ba con số (theo video ngày 25/09/2026). Thời gian nạp từ 71 giây xuống còn 32 giây, nhanh hơn gấp đôi; cái này thấy rõ, không phải ngồi chờ lâu như lúc trước nữa. Thời gian chờ chữ thứ nhất hiện ra từ 4 giây xuống dưới 2 giây. Tốc độ viết từ 2,25 lên 3,4 token mỗi giây, tức là tăng khoảng 50%. Bảng so sánh trên màn hình ghi chính xác: thời gian nạp 71,8 s so với 32,2 s; chờ chữ thứ nhất 4,06 s so với 1,96 s; tốc độ 2,25 tok/s so với 3,40 tok/s.

Nhưng anh phải nói thẳng luôn, vì nếu không nói thì người xem sẽ hiểu sai: 3,4 vẫn chậm hơn tốc độ đọc. Mốc đọc là 5 đến 8. Nghĩa là model này có khá lên thật, khá lên nhiều, nhưng vẫn chưa tới mức dùng hằng ngày được. Cái nút này đã đẩy bức tường ra xa, nhưng chưa phá được bức tường.

15. Nói thẳng: thắng dung lượng, không thắng tốc độ

Tới đây anh nói thẳng hai chuyện, vì nếu không nói thì tập này thành tập quảng cáo cho cái máy, và người xem sẽ kỳ vọng sai.

Chuyện thứ nhất: cấp thêm VRAM giúp chạy được model to hơn, chứ không biến chiếc máy này thành nhanh hơn những máy có card đồ hoạ rời. Vì sao? Anh lấy ví dụ con đường. Bộ nhớ giống như một con đường nối từ kho tới công trường. Cấp thêm VRAM là xây thêm kho; kho chứa được nhiều hàng hơn, nhưng con đường vẫn là con đường cũ, rộng chỉ bấy nhiêu, xe chạy chỉ được bấy nhiêu chuyến mỗi giờ. Loại bộ nhớ trong máy này chở hàng chậm hơn loại bộ nhớ chuyên dụng gắn trên card rời. Theo anh, đó là sự thật không giấu được.

Anh có số để chứng minh, không phải nói suông. Nhớ lại con Qwen 8B nhẹ nhất bảng: lúc để máy ở mức nhà máy 16GB, nó chạy 39,7 token mỗi giây. Anh vừa cấp thêm cho phần đồ hoạ 32GB nữa; đoán xem nó lên bao nhiêu? 41,8, gần như y nguyên (số đo theo video ngày 25/09/2026). Cấp thêm tận 32GB mà model nhỏ không nhanh lên, vì nó chưa bao giờ thiếu chỗ. Nó thiếu đường, mà đường thì ta không xây thêm được.

Anh coi đây là câu quan trọng nhất của tập: chiếc máy này có thể thắng ở dung lượng model chạy được, chứ không thắng ở tốc độ thô. Cái nó cho bạn là quyền chạy những model mà nhiều máy khác không mở nổi, chứ không phải chạy nhanh nhất.

16. Cái giá phải trả, và nên để mức nào

Chuyện thứ hai ảnh hưởng trực tiếp tới người dùng. Hồ nhớ chỉ có 64GB; cắt cho phần đồ hoạ bao nhiêu thì phần Windows mất đi bấy nhiêu. Anh vừa cắt 48GB, và Windows chỉ còn đúng 15,6GB. Thật ra 16GB không phải là ít, nhưng cũng không nhiều nếu bạn phải mở 30 tab, chạy phần mềm dựng video hay mở máy ảo. Cho nên kéo hết cỡ không phải lúc nào cũng tốt. Nó là một vạch chia, và chia thì phải chia theo việc bạn làm, chứ không phải cứ kéo tối đa là ngon.

Vậy nên để mức nào? Anh trả lời bằng số đo chứ không đoán bừa (số đo theo video ngày 25/09/2026). Nếu bạn dùng model cỡ dưới 20GB, tức là gần hết những model phổ biến lúc quay video, thì để nguyên mức nhà máy. Anh vừa cho xem: ở mức 16GB, máy chạy ngon con 20,55GB ở 62 token mỗi giây, không cần chỉnh gì. Anh nói rõ câu này vì sẽ có nhiều người vào chỉnh luôn trước khi thử.

Còn nếu muốn chạy model cỡ 40GB, đó mới là lúc cái nút này có ý nghĩa. Mức anh đang dùng thử là 48GB, mức cao nhất máy này cho. Nhưng anh khuyên thật: ở 48GB, con 70B nạp nhanh hơn gấp đôi và chạy nhanh hơn khoảng 50%. Nghe có vẻ đáng, nhưng vẫn dưới tốc độ đọc, đồng thời Windows chỉ còn dưới 16GB để làm việc. Nên anh nói thẳng: 48GB là mức để mở được model cỡ đó ra xem nó làm được gì, chứ chưa phải mức để ngồi làm việc với nó cả ngày. Nếu chỉnh xong thấy máy có vẻ chật chội thì cứ hạ về; chỉ mất đúng một lần khởi động lại. Còn nếu hỏi mức nào cho đời sống hằng ngày, anh trả lời: cứ 16GB.

Anh dặn thêm một câu rất quan trọng cho ai không dùng chiếc máy này: danh sách mức trên máy bạn có thể khác máy anh, dung lượng RAM cũng khác. Nguyên tắc chung là đừng cấp quá một nửa RAM của máy nếu bạn còn dùng máy cho những việc khác. Máy 16GB RAM mà cấp 8 cho đồ hoạ là Windows bắt đầu khó thở. Còn nếu cấp xong thấy máy ì ạch, cứ vào đúng chỗ đó hạ xuống một chút rồi khởi động lại là xong. Hoàn tác được, không mất gì cả.

17. Tóm tắt, bài tập và tập sau

Anh tóm tắt nhanh bốn điều. Một: chiếc máy dùng cho khoá này dùng bộ nhớ hợp nhất, một hồ 64GB, và bạn tự kẻ vạch chia cho phần đồ hoạ. Hai: chỗ kẻ vạch nằm trong Armoury Crate, System Settings, tab Memory, ô Dedicated Graphics Memory; chọn mức, bấm Apply, khởi động lại máy. Ba: ở mức nhà máy, tức là mức cài đặt gốc, máy đã chạy tốt model nặng tới 20GB, mà chạy rất nhanh; cái nút này chỉ dành cho lúc bạn muốn đi xa hơn thế. Bốn: thắng ở dung lượng không đồng nghĩa với thắng ở tốc độ thô, và cắt cho đồ hoạ bao nhiêu thì Windows mất đi bấy nhiêu.

Bài tập hôm nay anh muốn người xem làm trong khoảng nửa tiếng:

1. Mở Armoury Crate, ghi lại hai con số: mức đang đặt ở ô Dedicated Graphics Memory, và RAM Windows đang báo.
2. Mở LM Studio, nạp đúng model đã tải ở tập 1, hỏi một câu bất kỳ, ghi lại tốc độ token mỗi giây.
3. Đổi mức Dedicated lên hoặc xuống một nấc, khởi động lại, rồi đo lại với đúng model đó và đúng câu hỏi đó; ghi tốc độ token mỗi giây lần thứ hai.
4. Comment hai con số xuống dưới video. Anh muốn xem trên máy mỗi người nó đổi bao nhiêu, vì mỗi máy một khác.

Nếu máy của bạn không có mục Memory Allocation thì cũng bình thường, vì đa số máy không có. Khi đó chỉ cần làm phần thứ nhất: ghi lại dung lượng RAM dán trên máy và dung lượng Windows báo, rồi comment con số chênh lệch giữa hai cái. Độ chênh đó chính là phần đã bị cắt cứng cho đồ hoạ, chỉ là máy của bạn không cho điều chỉnh.

Qua hai tập, người xem đã chạy được AI trên máy và biết cách chia bộ nhớ cho nó. Còn một câu chưa trả lời: giữa hàng nghìn model ngoài kia, nên tải con nào? Tập sau anh sẽ hướng dẫn đọc những cái tên loằng ngoằng như 7B, 13B, 30B nghĩa là gì, chữ Q với mấy con số phía sau nghĩa là gì, và vì sao con 15GB trong bảng hôm nay lại chạy nhanh hơn con 6GB. Anh mời người xem theo dõi kênh để không bỏ lỡ tập 3.