社内向けのサポートAIは、48問で試してから使う。間違えた所を直して全問正解

お客様や社内からの問い合わせに、AIが答えてくれたら、とても助かります。でも、AIの答えが正しいかどうか、どうやって確かめたらよいのでしょうか。僕は、2026年の10月に、会計のシステムにつなげたサポートAIを、48問の試験で確かめました。この記事では、そのときの経緯と、社長が真似できる、試験の作り方を書きます。

会計データを、AIに直接読ませた

会計のシステムの問い合わせ対応を、AIにさせたいと考えていました。そこで、システムのデータベースに、読み取り専用のAPIをつなぎ、さらにMCPを通して、サポート用のAIから使えるようにしました。AIが会計のデータを直接読んで、答える形です。

ここで大事にしたのは、AIの答えを、信じる前に試すことでした。そこで、48問の質問を用意し、AIに答えさせて、正解と見比べました。結果は、決算整理期の扱いで、誤答が出ました。決算の時期に特有の数え方を、AIが取り違えたのです。

その誤答を直して、もう一度試験をしたところ、48問が全問正解になりました。その結果、社内向けのサポートAIは、実用に使える水準になりました。

試験があると、直せる

ここで分かったのは、試験問題を用意しておくと、間違いの場所が見えて、直せることです。何となく使っていたら、決算整理期の誤りに気づかないまま、使い続けていたかもしれません。

今日から真似できる手順

特定の道具に頼らず、考え方を書きます。

1. よく来る質問を、集める

過去の問い合わせの記録から、よく来る質問を、数十個集めます。実際に来たものを使うと、現場に近い試験になります。

2. 正解を、人が決めておく

それぞれの質問に、正しい答えを、人が先に書いておきます。正解は、AIに作らせず、元の資料や、詳しい人の確認で決めます。

3. AIに答えさせて、見比べる

全問をAIに答えさせて、正解と見比べます。合っていたもの、間違えたものを、一覧にします。

4. 間違えた所を直して、全部やり直す

間違えた質問の原因を調べて、AIへの説明や、読ませる資料を直します。直したら、間違えた問題だけでなく、全問をやり直します。直した結果、別の問題が崩れていないかを、確かめるためです。

間違いの原因を、見分ける

間違えた原因は、大きく3つあります。AIが資料を読み違えた、資料そのものに情報が足りなかった、質問の意味を取り違えた、です。僕の場合は、決算整理期という特別な時期の扱いが、AIに十分伝わっていませんでした。原因が分かれば、直し方が決まります。資料を足す、説明を足す、質問の書き方に合わせた指示を足す、のいずれかです。原因を調べずに、答えだけを直すと、似た質問で、また間違えます。

試験を、使い続ける

試験は、1回やって終わりではありません。資料を更新したときや、AIの設定を変えたときに、毎回この試験をやり直します。全問正解が続いていれば、安心して使えます。間違いが出たら、新しい質問を試験に足していきます。試験の問題が増えるほど、サポートAIは、強くなっていきます。

答えられない質問への、備え

サポートAIは、知らないことでも、答えてしまいがちです。そこで、「資料にないことは、分からないと答える」という指示を入れます。試験にも、わざと資料にない質問を数問混ぜて、正直に「分からない」と答えるかを確かめます。分からないと答えたときの、次の動き（担当者につなぐ、など）も決めておくと、お客様を待たせません。

試験の問題の、増やし方

実際に使い始めたら、AIが答えに詰まった質問や、人が直した答えを、試験問題に足していきます。毎週5問ずつ足せば、半年で100問を超えます。問題が増えるほど、直す場所が見つけやすくなり、サポートAIの信頼が積み上がります。

小さく始める、サポートAI

最初から、全部の問い合わせに答えさせる必要はありません。よく来る質問の上位10個だけに絞って始め、全問正解になったら、範囲を広げます。範囲が狭いうちは、間違えたときの影響も、小さく済みます。

人の確認を、残す場所

サポートAIの答えが、お客様にそのまま届く場合は、答えの種類によって、人の確認を入れる場所を決めます。たとえば、手順の説明は自動で答え、金額や期日に関わる答えは、人が確認してから返す、といった分け方です。

気をつけること

試験が全問正解でも、試験にない質問では間違えることがあります。答えが分からない質問には、「分からない」と答えるよう、AIに指示しておきます。また、会計のようなお金に関わる答えは、お客様に出す前に、人が確かめる段階を残してください。

今から始める社長へ

AIに答えさせる前に、試験問題を作る。これが、サポートAIを安心して使うための、いちばん確かな方法です。最初は10問でも構いません。間違えた所を直して、増やしていきましょう。まずは、直近で来た問い合わせを5つ選んで、正解を書いてみてください。