AIの「全部合格」を信じる前に、別のAIに原本と突き合わせてもらう

AIに作らせたものが、「全部合格」と報告された。それを聞いて、安心して先へ進んでしまう。そんな経験は、ないでしょうか。僕は2026年の9月に、全項目が合格と報告された成果物が、別のAIの検収で差し戻される場面に出会いました。この記事では、何が起きたかと、今から始める社長が、作った本人とは別の目で確かめる手順を書きます。

「89/89合格」なのに、差し戻された

お客様向けに作った販売管理のシステムがありました。作ったAIの試験では、「89/89合格」と、全項目が合格していました。ところが、別のAIであるコーデックスに、独立した検収をしてもらったところ、差し戻しになりました。

理由は、合格とされた試験が、原本のPDFを通していなかったことでした。つまり、試験の中身が、本物の資料と突き合わされていなかったのです。作った席の試験だけでは、漏れが見えません。

作った本人とは、別の目で見る

そこで、原本のPDF13本を、目視で突き合わせて、直しました。そして分かったのは、作った席と別の目で、原本をもとに検収することの大切さです。作った本人は、自分の作った試験が通れば、満足してしまいます。別の目は、前提そのものを疑ってくれます。

この件のあと、クロードとコーデックスが、互いに検収し合う体制になりました。片方が作り、もう片方が確かめる。この役割を入れ替えていくことで、見落としが減っていきます。

「合格」と報告される試験には、2種類ある

AIが言う「合格」には、2つの種類があります。1つは、本物の資料と突き合わせた合格。もう1つは、AIが自分で作った例と照らして出した合格です。後者は、作った本人の想定の範囲では正しい、という意味にすぎません。想定していない場所の間違いは、試験にも入っていないので、見つかりません。

今回の件も、まさにこの後者でした。試験の数が89と多くても、原本を通していなければ、数の多さは安心材料になりません。「何件合格したか」より、「何と突き合わせたか」を聞く。この見方を持つだけで、報告の受け止め方が変わります。

今日から真似できる手順

AIが作った物を確かめるための進め方を、4つにまとめました。

1. 「合格」の中身を、聞く

AIが「合格です」と言ったら、「何を、何と比べて、合格としたのか」と聞きます。本物の資料と比べたのか、AIが自分で作った例と比べたのかで、意味が全く変わります。

2. 原本を、手元に用意する

お客様の元の資料、数字の元データ、契約書など、正しさの基準になる原本を、手元に置きます。確かめるときは、AIの出力を、原本と1つずつ並べて見ます。

3. 作ったAIとは別のAIに、確かめさせる

同じAIに確かめさせると、同じ思い込みを繰り返すことがあります。別のAIに、「この成果物が、この原本と一致しているか、1項目ずつ確認して」と頼みます。結果は、差分の一覧として出してもらいます。

4. 人の目で、一部を抜き取る

最後に、人が数か所を抜き取って、原本と見比べます。AI同士の確認だけで終わらせず、自分の目で、いくつかを確かめておきます。

気をつけること

検収のために、お客様の資料を別のAIに渡す場合は、渡してよい範囲を確認します。個人情報や、社外に出せない情報は、伏せてから見せます。また、検収に使うAIが、「問題なし」と言った場合も、前提となる資料が正しいかを、自分で確認してください。

試験は、作った人の味方になりがち

自分で作った試験は、自分の作ったものが通るように、作りがちです。悪気はなくても、見落とす場所は、作った本人には見えません。外部の目、特に、原本をもとにした目が入ると、見落としが見えてきます。これは、AIでも人でも、同じです。

抜き取りの仕方

人の目で確かめるときは、全部を見る必要はありません。数字の項目から3つ、文章の項目から3つ、特別な条件がある項目から3つ、といった形で、種類ごとに抜き取ります。抜き取った項目で、原本と違う所が1つでも見つかれば、全体を見直す合図です。全部合っていれば、そのぶん、安心して先へ進められます。抜き取りの結果も、日付と一緒にメモに残しておくと、次回の確認がやりやすくなります。

検収を頼むときの、指示の書き方

別のAIに検収を頼むときは、指示の書き方で、結果の質が変わります。「問題がないか見て」とだけ頼むと、ざっくりした感想が返ってきます。「この原本の、この項目と、この成果物の、この項目を、1つずつ比べて、違いがあれば一覧にして」と頼むと、具体的な差分が出てきます。さらに、「一致していると判断した項目も、根拠を1行で書いて」と加えると、見落としを減らせます。指示が具体的なほど、検収は頼りになります。

今から始める社長へ

AIが「問題ありません」と言っても、それで終わりにしないでください。お客様に出す物は、原本と突き合わせる。作った本人とは別の目で、確かめる。最初の一歩は、次にAIが作った資料を、元の資料と1か所だけ、並べて見比べることです。