Speakers / Grace Ableidinger

Grace Ableidinger

Speaker · IBM Technology · 1 talk

AI model chạy vượt khỏi một GPU như thế nào

Grace Ableidinger · IBM Technology · 9 min

Distributed inference: data, pipeline, tensor, expert parallelism, tách prefill/decode và cách ghép chúng để phục vụ LLM quá lớn cho một GPU.