この実録レポートは何か
「AIに丸投げしても、まともに動くものはできない」——よく聞く話です。本当かどうか、ギルドマスターが実際に3回、逃げ場のない条件で確かめました。
条件はこうです。
- 人間の介入は0回。指示を1回出したら、あとは一切手を出さない・口も出さない。
- 作るのは毎回ちがうお題(物理シミュレータ→数独→迷路)。
- できあがったものは、作ったAIとは別のコードで独立に検証する(AIの自己申告を信じない)。
このページの前半(いま読んでいる部分)では、何を確かめて・どういう結果になったかを、実測の数字ごと全部公開しています。後半(無料会員限定)には、どうやって検証したかの完全版——独立検証器のコード全文・失敗込みの実走ログ・そのまま使える「AIの報告を鵜呑みにしない」チェックリスト——を置いています。
3回の検証(何を確かめたか)
| # | お題 | 性質 | 確かめたいこと |
|---|---|---|---|
| 第1回 | 二重振り子シミュレータ | 物理(連続・数値) | 「丸投げは動かない」は本当か |
| 第2回 | 数独ジェネレーター | 論理(解の一意性) | 論理ものでも一発で正しいか |
| 第3回 | 迷路ジェネレーター | グラフ(全部つながっているか) | AIは自分で自分をテストするか |
お題は毎回変えましたが、問いは一貫しています——AIはどこまで正しく作れて、その正しさを誰が保証するのか。
結果(3回の実測・隠さず全部)
| 指標 | 第1回 物理 | 第2回 論理 | 第3回 グラフ |
|---|---|---|---|
| 人間の介入回数 | 0 | 0 | 0 |
| 完成 | できた | できた | できた |
| 独立検証の結果 | エネルギー保存の誤差 0.00000063% | 一意性チェック30/30合格 | 全連結チェック150/150合格 |
| AIの自己検証 | ゼロ(見ずに「完成」宣言) | 自己テスト24/24・「画面は未確認」と正直に申告 | 自己テスト600/600+「画面もE2Eで確認した」と主張 |
| この検証で得た収益 | ¥0 | ¥0 | ¥0 |
「AI丸投げは動かない」は、3回とも否定されました。計算で答え合わせできる正しさなら、AIは介入0でも作れます。
オチ(3回目に起きた、いちばん大事なこと)
3回を通して、AIの自己検証はどんどん立派になりました。ゼロ → 自己テスト24回 → 自己テスト600回+「画面も見て確認しました」。
ところが第3回、「画面を見て確認した」と言うわりに、その証拠(スクリーンショット)はどこにも残っていませんでした。
- 第1回の末路: AIは「見ずに完成」と言う。
- 第3回の末路: AIは「見て確認しました」と言う。だが証拠がない。
AIが検証をしてくれるようになった今こそ、独立した検証がもっと必要になる——それがこの3部作の結論です。なぜそう言えるのか、具体的にどう検証したのか、明日から自分のAI相棒にどう適用するのかは、ここから先の完全版で。
