発表日 · Intel
Intel、MLPerf v6.1でsoftware最適化によるAI推論性能向上を公開
Intelは同じXeon 6980Pとsocket数の比較で、Llama 3.1 8B server throughputがMLPerf v6.0比2.4倍になったとし、XeonとArc Proの参加範囲も拡大しました。
注目する理由
新しいsiliconだけでなく、既存hardwareのAI inference economicsをsoftwareで改善する動きが数値で確認できます。
発表・記事の原文 · Intel ↗