Together AI

Cloud cho inference và training model open-source. · 1 talks

Giải phẫu một AI request: latency và cost thật sự sinh ra ở đâu

Dan Fu · Together AI · 35 min

Sáu stage một AI request đi qua (routing tới decode) và sáu lever giảm latency, cost: kernels, disaggregation, parallelism, routing, speculative decoding, quantization.