トップ / コラム / AIチャットの線引き

住民向けAIチャットで、どこから窓口につなぐかを決める|答える範囲を、言葉ではなく資料そのもので決める

住民からの問い合わせにAIが答える仕組みを入れるとき、話は「どこまで答えさせるか」で必ず止まります。全部答えさせれば窓口の電話は減りますが、間違った案内をしたときの責任が残ります。逆に慎重にしすぎると、何を聞いても「窓口にお問い合わせください」としか出てこない仕組みになります。

この線引きは、画面を作りはじめてから決められるものではありません。どこで止めてどこへつなぐかが決まっていないと、回答文も、ログに残す項目も、担当課との引き継ぎの形も決まらないからです。

この記事では、自治体が公開している調達仕様書と利用案内、そしてpegが官公庁向けに作った予防接種のLINE AIチャットで実際に決めたことをもとに、線引きの決め方を整理します。導入の進め方そのものは自治体のAIチャットボット導入で押さえる5つのポイントに分けて書いています。

目次(8項目)を開く
  1. 線引きを先に決めないと、作り直しになる
  2. 答える範囲は、言葉ではなく資料で決める
  3. 個人の事情は、AIに答えさせない
  4. 体調や安全に関わる話は、その場で止める
  5. 夜間や休日で切り替えない
  6. 答えを誰が承認するかを、先に決める
  7. 線引きは、あとから直せる形にしておく
  8. よくあるご質問

線引きを先に決めないと、作り直しになる

住民向けのAIチャットで起きやすいのは、次のようなつまずきです。どれも、技術の問題ではなく、決めていなかったことが原因で起きます。

  • 自分の手続きが済んでいるかを聞かれたのに、一般的な説明が返ってしまう
  • 体調の相談が来たのに、AIが一般論で答えてしまい、受診が遅れる心配が残る
  • 答えの出どころが分からず、間違いが見つかったときにどこを直せばよいか分からない
  • 夜間だけ別の文面を出す作りにしたせいで、同じ質問に昼と夜で違う答えが返る
  • 公開してから担当課に見せたところ、所管の範囲を超えた言い切りが混ざっていて作り直しになる

この5つは、公開前に線引きを文章にしておけば、どれも起こりません。線引きとは「AIが答えること」「AIが答えずに案内だけすること」「AIがその場で止めること」の3つに、質問を仕分ける決まりのことです。

木のカウンターと鉢植えの木が置かれた、窓のある受付

答える範囲は、言葉ではなく資料で決める

「制度の一般的な説明までは答えてよい」という決め方は、言葉としては通りますが、作る側は困ります。どこからが一般的でないのかが、人によって違うからです。

公開されている自治体の資料は、範囲を言葉ではなく、資料そのもので決めています。真岡市の生成AIチャットボットの仕様書は、対象を「発注者が指定する真岡市公式ホームページ内のページ(外部サイト除く)」と書いています(5(1))。板橋区は、実証実験の案内で、AIは区の公式ホームページに掲載されている情報をもとに回答を作成するものだと説明しています。千葉県の福祉相談AIチャットの仕様書は、さらに踏み込んで「FAQ に登録した相談支援機関窓口以外は案内しないこと。」「福祉相談と無関係な質問に対応しないこと。」と書いています(第3章1(3)ア)。

pegが官公庁向けに作った予防接種のLINE AIチャットでも、同じ決め方をしました。先生方から文献をいただき、それを読み込ませたうえで、その文献からの回答に限定しています。「ここまでは答えてよい」と言葉で線を引くのではなく、渡した資料の中だけ、という形にしています。

公開資料が決めていることシステムでの受け止め方
対象は指定したホームページ内のページに限る(真岡市 5(1))参照先の一覧を設定として持ち、そこにない情報からは答えを作らせない
登録した窓口以外は案内しない(千葉県 第3章1(3)ア)案内先を自由文で生成させず、登録済みの連絡先から選ばせる
対象外の分野の質問には対応しない(千葉県 第3章1(3)ア)分野の判定を回答の前段に置き、外れたら定型の案内に切り替える
回答できない場合は問い合わせ先の提示など代替手段を表示する(山口市 6(2)ア(ク))「答えられない」を失敗ではなく、正しい出口のひとつとして画面に用意する
想定していない内容が入力されたら聞き返す(山口市 6(2)ア(カ))いきなり窓口へ回さず、1回だけ言い直してもらう段を挟む

資料で範囲を決めておくと、答えの出どころをたどれます。間違いが見つかったときに直すのは、プログラムではなく渡した資料のほうになります。運用に入ってからの手間が、ここで大きく変わります。

個人の事情は、AIに答えさせない

住民からの問い合わせでいちばん多いのは、制度の説明ではなく「自分の場合はどうなるのか」です。自分の接種が済んでいるか、予約が取れるか、自分の世帯は対象になるか。ここは、住民本人を特定しないと答えられません。

自治体の利用案内は、この入口をはっきり閉じています。沖縄県のAIチャットボット利用ガイドは「氏名、住所、電話番号、マイナンバーなどの個人情報は絶対に…入力しないでください。」と書いています。板橋区は、個人的な事情に関する相談は直接担当窓口に問い合わせるか、ホームページの問い合わせフォームを使うよう案内しています。千葉県の仕様書は「匿名相談を原則とし、取得する個人情報は適切な相談支援機関窓口を案内できる必要最小限とすること。」としたうえで、「相談者から入力された個人情報を AI 学習に利用しないようにすること。」と書いています(第3章1(3)ア)。

pegの予防接種LINE AIチャットでも、自分の接種歴や予約が取れるかどうかを聞かれたときは、AIには答えさせず、市の電話番号を出す形にしました。「分かりません」で終わらせず、次に取るべき行動が画面に出ているかどうかが、住民から見た使い勝手の差になります。

この線引きは、入力されてしまった個人情報をどう扱うかとは別の話です。入力させない設計と、入力されたときの扱いの両方を決めておく必要があります。委託する側・される側の備えは個人情報を扱う業務を外部に委託するときの確認事項にまとめています。

体調や安全に関わる話は、その場で止める

範囲の外だから答えない、というだけでは足りない質問があります。体調の相談です。一般的な説明を返すこと自体が、受診を遅らせる方向に働くことがあるからです。

pegの予防接種LINE AIチャットでは、副反応や体調の相談が来たら、その場で回答を止めて「かかりつけ医か市の相談窓口へ」と出すように決めました。制度の説明を足さず、会話をそこで終えます。これは「答えられないから案内する」のではなく、「答えてはいけないから止める」という扱いで、仕組みの作り方が変わります。前者は回答を探して見つからなかったときの出口ですが、後者は回答を探す前の判定になります。

質問の種類仕組みの中での扱い画面に出すもの
制度・手続きの一般的な説明渡した資料の中から答える答えと、出どころのページへのリンク
対象外の分野の質問資料を探す前に分野で判定して外す所管の窓口の案内
本人の事情にかかわる質問答えを作らせず、案内に切り替える担当課の電話番号・受付時間
体調・副反応の相談回答を探す前に止めるかかりつけ医と相談窓口の案内
資料にない質問1回聞き返したうえで案内に切り替える問い合わせ先と、質問を残す導線

この表のうち、上から2つと5つ目は「答えが見つからなかった」ときの出口で、3つ目と4つ目は「答えを探さない」と決めた入口です。この2つを同じ仕組みで作ると、止めたい質問が運よく資料に当たってしまったときに、答えが返ってしまいます。

夜間や休日で切り替えない

「時間外は有人対応に回せない」という前提から、夜間や休日だけ別の文面を出す作りを考えることがあります。ただ、公開されている仕様書を見ると、自治体側は時間で分けることを想定していません。

  • 真岡市は「24時間365日の利用を前提として提供し」と書いています(10(1))
  • 山口市は「システムの稼働は 24 時間 365 日とし、99.9%以上の稼働率を確保すること。」としています(6(1)ア(エ))
  • 千葉県の福祉相談AIチャットは「県民の福祉相談に 24 時間 365 日自動応答し」としています(第1章2)
  • 板橋区は、閉庁している夜間や休日も含めて質問できることを案内しています

いずれも、職員からの問い合わせを受ける時間は平日の日中に限ると別に書いています。つまり、住民向けの応答と職員向けの保守は別物として扱われていて、住民向けのほうに時間の切り替えは置かれていません。

pegの予防接種LINE AIチャットでも、時間による切り替えは設けませんでした。夜間や休日でも、体調の相談は同じように「窓口に相談してください」という案内になります。窓口が開いていない時間に「明日おかけ直しください」と出すより、相談先の名前と連絡先をその場で出しておくほうが、受け取る側は動けます。切り替えを作らないこと自体が、ひとつの判断です。

答えを誰が承認するかを、先に決める

範囲を資料で決めると、次に決まっていないと進まないのが「その資料と回答を誰が承認するか」です。公開してから担当課に見せる形にすると、言い回しの修正が最後にまとめて出ます。

山口市の仕様書は、この順番を仕様として書いています。受託者が用意したQAデータについて「本市が確認(加筆や修正等を行ったもの)した QA データについて、システムに適用」すること(6(2)ウ(オ))、そして「本サービスの外部公開の前に、本市職員限定での確認期間を設けること。」(6(1)ウ(ア))。確認するのは発注者側で、確認する期間を公開前に取る、という2点がはっきりしています。

pegの予防接種LINE AIチャットでは、読み込ませる文献を先生方からいただいたうえで、提携する大学の公衆衛生の専門家に承認をもらう形にしました。内容の正しさを開発側が判断しないという点が、この案件でいちばん大事なところでした。資料で範囲を決める作り方は、承認する人が決まっていてはじめて成り立ちます。

  1. 答えの元になる資料を集め、誰が出したものかを一覧にする
  2. その資料の内容を承認する人・部署を決める
  3. 承認済みの資料だけを読み込ませる
  4. 公開前に、職員や関係者だけが触れる確認の期間を取る
  5. 公開後に資料を足すときも、同じ承認を通す

線引きは、あとから直せる形にしておく

線引きは、最初から全部は決まりません。公開してはじめて、想定していなかった聞き方が出てきます。大事なのは、そのときに直す場所が1か所に決まっていることです。

真岡市の仕様書は、受託者に対して「生成 AI チャットボットで解決できなかった内容を分析して」月次で情報を提供し、精度の向上を支援することを求めています(10(8))。千葉県の仕様書は、改善について「運用改善案を作成し、発注者の承認の上、運用改善を実施する。」と書いています(第4章1(3))。どちらも、直すこと自体を契約の中に入れています。

  • 答えられなかった質問を、文面ごと残す(個人を特定できる記述は残さない形で)
  • 止めた質問と案内した質問を、それぞれ別に数える
  • どの資料から答えたかを、回答1件ごとに記録する
  • 資料を差し替えたときに、どの回答が変わるかを事前に確かめられるようにする
  • 直した内容を誰が承認したかを残す

この5つがあると、月に一度の見直しが「気になったところを直す」から「数字を見て直す」に変わります。止めた質問の数が増えているなら、線引きが厳しすぎるのかもしれませんし、窓口へ回す案内の文面が分かりにくいのかもしれません。どちらなのかは、記録が残っていないと分かりません。

よくあるご質問

線引きは、仕様書のどこに書けばよいですか

機能の一覧ではなく、回答の要件として書くのが分かりやすいです。山口市の仕様書は「回答できない場合、問い合わせ先の提示など代替手段を表示できること。」(6(2)ア(ク))のように、画面の動きとして1行ずつ書いています。千葉県のように「FAQ に登録した相談支援機関窓口以外は案内しないこと。」と禁止の形で書く方法もあります。どちらでも、提案する側が読んだときに作るものが一つに決まる書き方になっていれば十分です。

生成AIを使う場合と、あらかじめ用意したFAQから返す場合で、線引きの決め方は変わりますか

決めることは同じですが、守らせ方が変わります。FAQから返す形は、登録していない質問には答えようがないので、範囲が仕組みとして守られます。生成AIを使う場合は、読み込ませる資料を限ることと、資料に当たらなかったときの動きを決めることの両方が必要です。pegの案件では、渡した文献からの回答に限定するという形にしました。

答えられない質問が多いと、住民に不便だと言われませんか

「答えられません」とだけ出る場合は、そう言われます。山口市の仕様書が代替手段の表示を求めているのは、そのためだと読めます。止めるときに、所管の窓口の名前・電話番号・受付時間までを一緒に出しておくと、受け取る側は次に動けます。止める判断と、案内の中身は、別々に作り込んでください。

窓口につないだあと、職員の側で前の会話を見られるようにすべきですか

そこまで作るかどうかは、相談の内容によります。匿名で使える前提のチャットでは、会話を職員に引き渡す仕組みを作ると、匿名という前提が崩れます。千葉県の仕様書は「匿名相談を原則とし、取得する個人情報は適切な相談支援機関窓口を案内できる必要最小限とすること。」としています。まず匿名で成り立つ形を作り、引き渡しが要るかどうかは運用を見てから決めるほうが安全です。

線引きを決めるのに、どれくらい時間がかかりますか

答えの元になる資料がそろっているかで変わります。資料が決まっていれば、仕分けの表を作るところは一度の打ち合わせで形になります。時間がかかるのは、その資料を誰が承認するかを決めるところです。所管が複数にまたがる場合は、ここを先に動かしておくと、あとの工程が詰まりません。

まずは話すところから

社内に分かる人がいない状態でも、手元にある材料から整理できます。何から話せばよいか決まっていなくてもかまいません。ご相談は無料です。