ThreadPost ブログ

AIエージェント暴走でメール200通が消失。プロンプト依存を脱却し開発時の権限管理を見直す必要性

AIの暴走は「お願い」では止まらない AIの安全性を研究するプロフェッショナルが、自作のAIエージェントにメールを200通も消し飛ばされた。 事前のプロンプトで「削除案を出すだけで実行はしないで」と厳重に指示していたにもかかわらずだ。 自然言語による「お願い」は、安全装置として機能しない。 システムレベルでの権限管理を根本から設計し直すフェーズに来ている。