なぜAIが突然ゴブリンと呼ぶのか。OpenAI公式発表から学ぶペルソナ調整の仕組み

突然のゴブリン増殖。175%という数字が示すモデルの癖

GPT-5.1のリリース後、AIの回答にゴブリンやグレムリンという言葉が混ざり始めた。

特定のモデルバージョンで、ゴブリンの出現率は175%増加し、グレムリンも52%増加した。

これはモデルの性格調整に伴う副産物だ。

AIのペルソナ設定が、モデルの語彙選択に影響を与えている。

報酬モデルの偏り。Nerdyペルソナが招いた言語の歪み

最新モデルのパーソナリティカスタマイズ機能が発端だ。

開発チームは「Nerdy（オタク的）」な性格をAIに持たせるため、RLHFを実施した。

調査の結果、学習プロセスにおいて「クリーチャーを用いた比喩」に高い報酬が与えられていた。

NerdyペルソナはChatGPTの全回答の2.5%を占めるが、ゴブリン言及の66.7%がこのペルソナに集中していた。

この傾向は、Nerdyペルソナを選択していないユーザーの回答にも波及した。

一度報酬が与えられると、そのスタイルがモデル全体へ学習データを通じて拡散する。

しんたろー：
OpenAIの報酬設計でも、特定の単語への固執は発生する。
175%増という数字を見ると、会話の端々にゴブリンが潜んでいる状態だ。
開発者として、特定の語彙が強化される仕組みが気になる。

開発者目線の解説。学習データの循環が引き起こす「スタイルの罠」

性格設定によるモデルの歪みは、学習のフィードバックループで拡大する。

報酬が与えられたスタイルは、モデルが生成した回答がSFT（教師あり微調整）のデータとして再利用されることで定着する。

調査では、ゴブリンやグレムリン以外にも、ラクーン、トロール、オーガ、ピジョンといった生物の名称が学習データに含まれていた。

これらは特定のスタイルを強化する過程で、意図せずモデルの語彙として取り込まれたものだ。

モデルの重み空間は、報酬信号に対して最短距離で最適化される。

性格付けという「スタイル」の調整が、モデルの推論プロセス全体に影響を及ぼしている。

しんたろー：
プロンプト一つでエージェントの挙動が変わる感覚がある。
スタイル調整が知識の保持に影響を与える可能性を考えると、慎重になる。
癖のないモデルを維持する難しさを感じる。

実務への影響。AIの癖を制御するための調査手法

この問題は、APIを利用してペルソナを構築する開発者にも共通する課題だ。

システムプロンプトによる指示は、モデルにとっての報酬信号として機能する。

OpenAIは、モデルの挙動を調査するために新しい監査ツールを開発した。

特定の語彙が不自然に繰り返される場合、それはペルソナ設定がモデルの推論をハックしているサインだ。

開発者は、モデルの出力パターンを定期的に監査する仕組みを持つ必要がある。

問題が発生した際は、学習データや報酬信号のフィルタリングが有効な解決策となる。

しんたろー：
「遊び心」を報酬に組み込むと、モデルが特定の言葉に依存する。
開発者として、モデルの挙動を根底から調査する重要性を再確認する。
癖のない素直なモデルの設計が、結局は安定につながる。

FAQ

Q1: AIが特定の言葉を連呼するようになった場合、どう対処すべきですか？

モデルが特定の報酬信号やペルソナ指示に過剰適合している状態です。システムプロンプトの比喩に関する指示を緩和してください。ファインチューニングのデータセットから該当する表現を排除し、再学習を行うことで改善が見込めます。

Q2: モデルの語彙の偏りを防ぐにはどうすればよいですか？

学習データに含まれる特定の語彙や、報酬モデルが過大評価しているパターンを監査してください。モデルが生成した回答をSFTデータとして再利用する際は、不自然な語彙が含まれていないかを確認するプロセスが有効です。

Q3: ペルソナ設定がモデルの推論能力に与える影響をどう評価しますか？

ペルソナ設定はモデルのスタイルを決定しますが、報酬信号が強すぎると推論能力に影響を及ぼす可能性があります。性格付けとタスク実行の指示を分離し、モデルの挙動を定期的に監査することで、推論能力を維持したままペルソナを適用できます。

ゴブリンを追い出し、モデルの純度を取り戻す

OpenAIの事例は、AIの性格付けがモデルの重みに与える影響を浮き彫りにした。

175%の異常増殖は、ペルソナ設定がモデルの推論を歪める警告だ。

開発者が行うべきは、モデルの本来の推論能力をノイズなしで引き出すことだ。

技術的負債を溜めない設計と、モデルの挙動を根底から調査する姿勢が求められる。

ゴブリンは、AIの脳の中に住んでいるのではない。

過剰な期待が生み出した、モデルの学習結果の反映に過ぎない。

👉 ThreadPostでSNS運用を自動化する