AIの評価では、期待する回答が返るかに目が向きやすくなります。一方、業務では資料が足りない、依頼が曖昧、参照先が更新されていないといった状況も起こります。このノートでは、答えられないときの振る舞いを考えます。
確認したいのは、不足している情報を伝えられるか、根拠のない内容を補っていないか、人に引き継ぐ判断ができるかという点です。通常の入力に加え、想定する例外を評価用のケースに含めます。
回答を止めるだけで業務が止まらないよう、追加確認の依頼や担当者への引き継ぎも設計します。モデルの評価と画面・運用の評価をつなげることで、困ったときにも次の行動を選べる仕組みを目指します。