Kaoutar El Maghraoui

Memory wall: vì sao LLM và AI accelerator bị nghẽn ở bộ nhớ

Kaoutar El Maghraoui · IBM Technology · 12 min

Memory wall, arithmetic intensity và roofline model: tính ridge point của B200, vì sao decode bị memory bound còn prefill compute bound, và batching giúp ra sao.