視点 / AIの信頼性
実行が完了したと判断できるのはいつでしょうか?
回答の生成、業務の遂行、結果の検証の関係。
中心となる考え
実行の完了を示す証拠は、タスクと受入基準の中で定義する必要があります。
回答、実行、結果は別々の段階です。
正しい回答を生成できても、業務を実行できていない場合があります。ツール呼び出しも、期待する結果が実現したことを示すものではありません。完了は正式なシステム上の結果で評価すべきです。
検証を設計に組み込みます。
タスクの期待結果を最初に定義する必要があります。変更する記録、実施する確認、例外時の判断者を明確にしなければなりません。
証拠から学ぶ。
検証された結果、失敗、例外は、次のシステム改善の土台になります。成功例だけの評価では実際の限界が見えなくなります。
タスクの前に完了基準を定義します。
記録の更新、レポートの作成、業務の調整では、それぞれ異なる証拠が必要です。何を証拠とするかは、タスク完了後に解釈で決めるべきではありません。
まず期待する出力、元のシステム、確認方法、受入責任者を明らかにします。これにより、実行と成功の間に測定可能なつながりを作ります。
例:記録更新の完了。
ツール呼び出しの成功応答は最初の兆候です。しかし、それだけでは対象記録の正しい項目が、正しい値と適切な権限で変更されたことを証明できません。
この概念シナリオでは、結果を対象システムの記録と再比較します。期待する変更が起きていなければタスクを完了扱いにせず、例外対応を開始する必要があります。
否定的な結果もシステムについての知識です。
検証は肯定的な兆候を示すためだけのものではありません。一部のみの完了、記録の矛盾、予期しない動作などを明らかにする必要があります。
これらの記録は、次の評価セット、アーキテクチャの変更、運用ルールの参考になります。限界を文書化することで、システムが担える業務をよりよく理解できます。


ご相談ください