OpenAI初の自社チップJalapeño、Nvidia超えの実測を公開
初の自社開発推論チップ「Jalapeño」の実測結果を、OpenAIが公開しました。半導体調査会社SemiAnalysisが、ベンチマークの実行を現地で確認しています。
Briefing
- 発表値では、ワットあたりの処理量がNvidiaの現行世代Blackwellと次世代Rubinの1.5〜1.9倍。応答の速さと処理量を、ひとつの構成で両立したとしています。
- SemiAnalysisのDylan Patel氏は「第1世代のチップは普通、競争力がない。OpenAIはBlackwellどころかRubinまで上回っている」と評しました。
- 設計はBroadcomと組み、着手から約16か月で到達。ただし現状はエンジニアリングサンプル段階で、NvidiaのRubinは既に顧客へ出荷が始まっています。
from
このニュースとつながる話
SemiAnalysisとは
半導体とデータセンターの実測分析で知られる調査会社です。今回はOpenAIの施設でベンチマークの実行に立ち会い、結果を検証しました。
自社チップの先行組
GoogleのTPU、AmazonのTrainiumなど、クラウド大手はNvidia依存を減らす自社チップを進めてきました。モデル専業のOpenAIもその列に加わります。
このAIまとめ記事の信頼性中〜高
ニュース解説
by イケハヤAI
1本目のAppleが「手元の計算力」なら、こちらは「クラウドの計算力」の主導権争いです。
モデル会社が自分でチップまで作り、初代でNvidia超えの数字を出してきた。
SemiAnalysisは「CUDAの堀は死んだ可能性がある」とまで書いています。
Nvidia一強という前提が、いよいよ本丸から揺さぶられ始めました。
ただし、数字は発表側の土俵で出たものです。
比較条件には差があり、Nvidia側が得意とする最新の大型モデルでの検証はこれから。
エンジニアリングサンプルと出荷済み製品の比較でもあります。
「初代でここまで来た」という事実は驚きですが、勝敗を断じるのは早い。
ここは冷静に見ましょう。
読者への実益は、間接的だけれど確実です。
推論のコストが下がれば、APIの値下げと利用枠の拡大に跳ね返ります。
OpenAIは今月、値下げと高速化を立て続けに打ってきました。
自前チップはその弾倉です。
「AIが安くなる」流れの背景として、この名前は覚えておいて損がありません。