AIに作業を頼むと、たいてい「できました」と返ってきます。中身を読むと、合っています。
ただ、合っているかどうかを確かめた場所が違っていると、合っているように見えるだけ、ということが起こります。KK CONNECTでは2026年10月2日に、それが実際に起きました。この記事は、そのときの記録です。出てくるのは、うちの中の話だけです。
先にお伝えしておきます。この記事を公開している時点で、問題のページは直してあります。 直したあと、公開されているURLを実際に開いて、表示されることを確認しました。
AIの嘘には、2種類ある
うちで見てきた範囲では、ひとつは、中身をつくってしまう嘘です。あるはずのない数字や、誰も言っていないことが、もっともらしい文章の中に混ざる。この中身の嘘のほうは、ハルシネーションと呼ばれることもあります。対策もよく知られていて、出典を書かせる、元の資料と照らす、人が最後に読む、といった形になります。
もうひとつが、今回のものです。中身は1文字もつくっていないのに、見ている場所が違う。 作業の結果を聞くと「できています」と返ってくる。文章としては正しい。ただ、見ていたのは手元のファイルで、お客様が見る画面ではありませんでした。
この2つ目は、出典を聞いても防げません。出典のほうは、ちゃんとあるからです。
「公開ずみ」と報告されたページが、404だった
KK CONNECTでは、AIに渡す指示文を、そのままコピーして使えるページとしてホームページに置いています。その1枚が、404（お探しのページが見つかりません、という表示のことです）を返していました。
理由は単純でした。ファイルは手元に出来ていたのに、公開されている側へ送る操作が、一度も行われていなかったからです。手元にはある。本番には無い。それだけです。
AIは、このとき嘘をついていません。手元のファイルを見て、正直に「あります」と答えています。
問題は、ここから先でした。この404を案内する合言葉が、LINE公式アカウントに5つ登録してありました。前日の10月1日に登録したものです。あらかじめ決めた言葉を送ると、決めておいた文が自動で返る仕組みで、その返事に書いてある行き先が404でした。10月1日に公開した記事を読んで合言葉を送ると、そこで行き止まりになる状態でした。1か所の食い違いが、その先の5か所まで届いていたことになります。
もうひとつ、正直に書いておきます。 ページが公開されているかどうかを点検するために、自前の仕組みも使っていました。その仕組みは「公開されています」と報告していました。見ていたのは、やはり手元のファイルです。報告する側と、点検する側が、同じ場所を見ていました。これでは、何回確かめても結果は変わりません。
13枚なのか、14枚なのか
同じ日に、似た食い違いが、別の場所でも1件出ました。
配布用のページが13枚なのか14枚なのかを、1日のうちに4回言い間違えました。14と数えたときは、説明書きのファイルを1枚として数えていました。嘘ではなく、何を1枚と数えるかが決まっていなかっただけです。
どちらも、形は同じでした。中身は正しい。見ていた場所か、数える対象のほうが違う。
この種類は、指示の出し方では防げない
「嘘をつかせないプロンプト（AIに渡す指示文のことです）」は、中身の嘘にはよく効きます。今回のものには効きません。AIは指示どおりに、見える範囲を正直に報告しているからです。
うちがこれから変えるのは、次の3つです。
①本番の画面を開いて確かめる、を手順に入れる。 報告を読むのではなく、お客様が見るのと同じURLを開いて、表示を見る。今回の404も、この操作で出てきました。
②控えではなく、本番から取り出して数える。 数も同じです。手元の一覧は、作った時点のものです。数える前に、いま動いている側から落としてくる。
③「何を1つと数えるか」を先に言葉にしておく。 13枚か14枚かは、説明書きを含めるかどうかで決まります。先に決めてあれば、数え直すたびに答えが変わることはありません。
よく挙がる「出典を聞く」は、中身の嘘には有効です。ただ、今回の種類には効きません。出典を聞いても、返ってくるのは手元のファイルの場所だからです。
この3つは、AIを使っていない会社でも同じだと思います。「やっておきました」という報告と、実際にお客様の目に入っているものは、別々に確かめないとそろいません。
AIの報告は、たいてい合っています。今回のように外れるときも、AIが話をつくっているわけではありません。見ている場所が、お客様の見ている場所と違うだけです。だから直すのは、指示の出し方ではなく、確かめる場所のほうになります。
AIに任せた作業を、どこで、誰が確かめるか。業務の形や、使っている道具によって、その置き場所は変わります。うちがAI社員に何を任せ、どこを人が見ているかは、AI社員のご紹介にまとめています。
無料相談は30分・オンラインです。いま任せている作業の確かめ方を整理するところからでも大丈夫です。