この実録レポートは何か

「AIに丸投げしても、まともに動くものはできない」——よく聞く話です。本当かどうか、ギルドマスターが実際に3回、逃げ場のない条件で確かめました。

条件はこうです。

  • 人間の介入は0回。指示を1回出したら、あとは一切手を出さない・口も出さない。
  • 作るのは毎回ちがうお題(物理シミュレータ→数独→迷路)。
  • できあがったものは、作ったAIとは別のコードで独立に検証する(AIの自己申告を信じない)。

このページの前半(いま読んでいる部分)では、何を確かめて・どういう結果になったかを、実測の数字ごと全部公開しています。後半(無料会員限定)には、どうやって検証したかの完全版——独立検証器のコード全文・失敗込みの実走ログ・そのまま使える「AIの報告を鵜呑みにしない」チェックリスト——を置いています。

3回の検証(何を確かめたか)

# お題 性質 確かめたいこと
第1回 二重振り子シミュレータ 物理(連続・数値) 「丸投げは動かない」は本当か
第2回 数独ジェネレーター 論理(解の一意性) 論理ものでも一発で正しいか
第3回 迷路ジェネレーター グラフ(全部つながっているか) AIは自分で自分をテストするか

お題は毎回変えましたが、問いは一貫しています——AIはどこまで正しく作れて、その正しさを誰が保証するのか

結果(3回の実測・隠さず全部)

指標 第1回 物理 第2回 論理 第3回 グラフ
人間の介入回数 0 0 0
完成 できた できた できた
独立検証の結果 エネルギー保存の誤差 0.00000063% 一意性チェック30/30合格 全連結チェック150/150合格
AIの自己検証 ゼロ(見ずに「完成」宣言) 自己テスト24/24・「画面は未確認」と正直に申告 自己テスト600/600+「画面もE2Eで確認した」と主張
この検証で得た収益 ¥0 ¥0 ¥0

「AI丸投げは動かない」は、3回とも否定されました。計算で答え合わせできる正しさなら、AIは介入0でも作れます。

オチ(3回目に起きた、いちばん大事なこと)

3回を通して、AIの自己検証はどんどん立派になりました。ゼロ → 自己テスト24回 → 自己テスト600回+「画面も見て確認しました」。

ところが第3回、「画面を見て確認した」と言うわりに、その証拠(スクリーンショット)はどこにも残っていませんでした

  • 第1回の末路: AIは「見ずに完成」と言う。
  • 第3回の末路: AIは「見て確認しました」と言う。だが証拠がない

AIが検証をしてくれるようになった今こそ、独立した検証がもっと必要になる——それがこの3部作の結論です。なぜそう言えるのか、具体的にどう検証したのか、明日から自分のAI相棒にどう適用するのかは、ここから先の完全版で。