·58 views·しんたろー
なぜGoogleは巨大AI学習を分散させたのか。DiLoCoが変える開発者の常識を徹底解説
巨大な単一モデルの時代が終わる。分散と協調が作る新しいAIインフラ AI開発の常識が変わる。 これまで「巨大なGPUクラスタで1つの巨大モデルを同期学習する」手法が主流だった。 Google DeepMindが発表したDecoupled DiLoCoは、その前提を覆す。 Moonshot AIは最大300エージェントを並列実行できるオープンウェイトモデルを公開した。
SNS自動化とマーケティングの最新トレンド、海外起業家ストーリーをお届けします。
巨大な単一モデルの時代が終わる。分散と協調が作る新しいAIインフラ AI開発の常識が変わる。 これまで「巨大なGPUクラスタで1つの巨大モデルを同期学習する」手法が主流だった。 Google DeepMindが発表したDecoupled DiLoCoは、その前提を覆す。 Moonshot AIは最大300エージェントを並列実行できるオープンウェイトモデルを公開した。