·9分·しんたろー
OpenAIのWebSocket導入でなぜエージェント開発は変わるのか。Claude Code実践者が読み解く高速化の理由
推論速度1000 TPSの時代が到来した。 エージェントのボトルネックは、AIモデルの推論速度からAPIの通信速度へと移行した。 OpenAIはWebSocketによる持続的接続を導入し、エージェントループ全体で40%の高速化を実現した。 これはインフラ層のアップデートであり、開発者のコードの書き方やAIとの向き合い方に影響を与える。
SNS自動化とマーケティングの最新トレンド、海外起業家ストーリーをお届けします。
推論速度1000 TPSの時代が到来した。 エージェントのボトルネックは、AIモデルの推論速度からAPIの通信速度へと移行した。 OpenAIはWebSocketによる持続的接続を導入し、エージェントループ全体で40%の高速化を実現した。 これはインフラ層のアップデートであり、開発者のコードの書き方やAIとの向き合い方に影響を与える。
AIコスト最適化の主戦場が、モデルの賢さから「設計」に移った プロンプトキャッシュの1時間TTL対応。MCPによるツール自律探索。バッチ処理設計の標準化。 この3つが同時に動き始めている。 モデルの性能を上げるより、APIをどう叩くかの設計でコストが10倍変わる。Claude Codeの最新アップデートがそれを象徴している。
人気AIプロキシの特定バージョンにマルウェアが混入した。SSHキーやKubernetes設定が根こそぎ盗まれる事態が発生している。 一方で、ローカル完結型のキャッシュツール「llm-devproxy」がv0.2.0へアップデートされた。384次元のベクトルを用いたセマンティックキャッシュを、外部APIに依存せずローカルで処理する。