チャットボットの画面ができると、すぐにホームページへ置きたくなります。けれど、担当者がいつもの質問を入れて正しく答えたことと、初めての利用者にも役立つことは同じではありません。
独自型チャットボットは、完成と公開を一度に決めず、小さな試験から進めましょう。目的は、失敗しないふりをすることではなく、問題を見つけて直せる運用を作ることです。
結論：正答だけでなく、答えない判断と引き継ぎも評価する
確認済み情報に正しく答える。分からないことを勝手に補わない。人が対応すべき相談を適切な窓口へ渡す。この三つを評価します。
チャットが続いた回数や、AIが返事をした割合だけでは、役に立ったか分かりません。 利用者が必要な行動へ進めたかと、現場の負担がどう変わったかを見ます。
想定例：富士市の店舗で最初に試す範囲
架空の店舗が、初回来店の案内に絞って試す例です。対象は場所、営業時間、駐車場、主なサービス、予約方法。予約登録や個別の補償判断は対象外にします。
最初は店内の担当者がテストし、誤案内を修正します。その後、了承を得た少人数に試してもらい、説明を付けずに使えるか確認します。公開範囲を広げるかは、結果と運用体制を見て決めます。
この順番は進め方の提案であり、固定した日数や成果を保証するものではありません。
テスト用の質問を四種類に分ける
1．答えが資料にある質問
「営業時間は」「何時まで開いている」など、言い方を変えます。担当者が使う正式用語だけで試さないことが重要です。
2．条件を含む質問
「祝日も同じですか」「別店舗でも使えますか」など、通常案内に条件が加わる場面を試します。必要な条件を省いて答えていないか確認します。
3．資料に答えがない質問
未確認の空き状況、特別な対応、期間外のキャンペーンなどです。推測で答えず、確認先へ戻せるかを見ます。
4．誤解や操作失敗が起きる質問
日付の言い直し、入力ミス、途中離脱、通信失敗などを想定します。予約連携がある場合は、台帳の処理結果と表示を照合します。
正解集には「人へ戻す」も書く
テスト表には、質問、根拠資料、期待する回答、答えてはいけない内容、引き継ぎ先を入れます。
例えば「今日、必ず入れますか」に対し、空席照会機能がないボットなら、正解は確約ではありません。確認できないことと正式な予約方法を案内することです。
人へ戻した回答を全部失敗扱いすると、無理な自動回答を増やす方向に改善してしまいます。回答範囲に合う動作かで評価しましょう。
公開の判断を、先に言葉にする
次のような確認項目を、開発担当と店舗責任者で決めます。
- 重要な料金・条件に誤案内がないか。
- 個人情報や社内専用情報が表示されないか。
- 人への相談方法が実際に利用できるか。
- スマートフォンで操作しやすいか。
- 障害時に止め、従来の窓口へ戻せるか。
件数や正答率の基準は、用途とリスクに応じて決めます。少数のテストが全問正解でも、公開後の安全や品質を保証するわけではありません。
導入後に見る指標
回答後に会話が終わっただけでは、解決したとは限りません。任意の評価、担当者への再問い合わせ、ログのサンプル確認など、複数の材料で判断します。率を出す場合は、分母や対象期間、テスト会話の除外条件をそろえてください。
会話ログの改善は、個人情報を広げずに行う
担当者が必要な範囲だけ確認し、報告資料では個人情報を除きます。ログの保存期間や削除方法も決め、長く残せば役立つとは考えないようにします。
新しい質問が見つかったら、正式な回答を責任者が確認してから資料へ追加します。利用者の発言やAIの推測を、そのまま正解集にしないでください。
振り返りの依頼文
個人情報を除いたチャットの確認記録を渡します。
正しく回答／適切な有人案内／資料不足／誤回答／操作上の問題に整理してください。
会話終了だけを解決とみなさないでください。
確認できる事実と仮説を分け、改善候補を挙げてください。
各候補について、資料修正・画面修正・連携修正・運用変更のどれが必要か整理してください。
新しい回答ルールは確定せず、責任者への確認事項として返してください。分類も誤ることがあるため、人がサンプルを見て確かめます。AIの判定だけで担当者を評価したり、利用者の満足度を断定したりしないようにします。
修正後は、以前の質問をもう一度試す
新しいFAQを追加したら、その質問だけでなく、以前正しく答えた質問も再確認します。料金、店舗、期間などの条件が混ざる場合もあります。
変更した資料、設定、確認日、担当者を残します。元の状態へ戻す方法を用意すると、修正で問題が広がった場合に対応しやすくなります。
よくある質問
Q. 何日試せば公開できますか？
用途や質問数、連携の有無で異なります。日数だけではなく、重要なテストと運用体制を満たしているかで判断します。
Q. 正答率が高ければ成功ですか？
重要な質問の誤回答や、有人対応の失敗が残る場合があります。誤りの影響と利用者の行動も確認してください。
Q. 利用されない場合はAIを高性能にすべきですか？
入口が見つからない、対象質問が少ない、フォームで足りているなど別の理由もあります。性能を変える前に原因を調べます。
Q. 途中でやめるのも選択肢ですか？
はい。維持負担に見合わない場合は、FAQやフォームへ戻す判断も適切です。導入自体を目的にしないことが大切です。
関連記事と公式情報
- 関連記事：AI導入を30日で評価する方法
- 公式情報：経済産業省 AI事業者ガイドライン
まとめ：公開して終わりではなく、直せる形で始める
小さな対象で試し、正確さと引き継ぎを確認し、運用負担も見ながら広げる。独自型チャットボットは、この積み重ねで自社の仕事に合う形へ近づけていきます。
FUJI PRESSでは、富士市の会社やお店の課題を整理し、試験導入の範囲と確認方法を一緒に考えます。何をもって役に立ったと判断するかから相談できます。
著者
渡邉 泰弘｜FUJI PRESS代表。富士市で飲食店経営に携わり、Webマーケティング、MEO・Instagram運用、SaaS・AIシステム開発に取り組んでいます。