仕事場で見るAIハルシネーション
教科書の例は作られた事実です。職場の版は、ほとんど正しく、貼りやすく、あとでほどくのが高い文です。
Deni AIチーム
危険なものは派手に見えない
人はハルシネーションが自己申告すると期待します。国を間違えた都市、存在しない法律。それは簡単です。職場のレビューを生き延びるのは、局所的で丁寧なものです。
マルチモデルの作業場では、プロバイダが違っても同じ形を見ます。言い回しは変わります。失敗は変わりません。モデルは、いちばんありふれた次の文で穴を埋めます。
ほとんど存在する引用
論文名、ドキュメントURL、判例名が本物に見えます。最初のクリックがレビューです。出典が開かなければ、文がどれほど自信満々でも未検証です。
ライブラリが出したことのないAPI
家の流儀に合う関数名と、正しそうな引数。頭の中ではコンパイルするので、エンジニアリングではいちばん高いハルシネーションです。
均された対立
2つの案が、誰も受け入れていない妥協になります。モデルはきれいな終わりを好みます。仕事は、対立を見えるまま残す必要があることが多いです。
関係を捏造するトーン
見せていない忍耐に感謝するメールや、確認していないバグへの謝罪。対人のハルシネーションは丁寧に見えます。それでも約束を作ります。
実験室ではなく、仕事の例
障害の要約を頼みます。モデルは、多くの事後報告に出てくるという理由で、サービスに存在しないリトライ予算を名指しします。その段落を報告書へ貼ります。1週間後、存在しない設定を誰かが変えようとします。
文章は偽物に見えません。捏造されたのは見慣れた対象です。だから「正しそうか」は弱い確認です。「この対象はどこから来たか」と聞いてください。
穴を表に出す方法
事実、推論、推測を分けさせます。貼った材料に出典を指せなければ、その行は推測です。その制約ひとつで、偽の自信はかなり減ります。
2つのモデルが食い違っても、きれいな段落を選びません。争点の主張を切り出して確認します。食い違いは投票ではなく、ハイライトです。
ハルシネーションが隠れる場所を見る
- URL、論文名、課題番号、「によると」の節。
- リポジトリ抜粋になかった関数名、フラグ、設定キー。
- 担当者、日付、金額。
- 外に出すメールの謝罪、約束、期限。
- 出典が開いたままにしていた対立を、閉じる文。
これは何ではないか
AIが使えないという主張ではありません。職場のハルシネーションはレビューの問題だという主張です。長い方法は検証ガイドです。この記事は、何を探すかの現場ガイドです。
よくある質問
ハルシネーションは嘘ですか？
いいえ。モデルはパターンを埋めています。接続しない限りデータベースは見ていません。出典かテストが出るまで、流暢な文は下書きとして扱ってください。
強いモデルならハルシネーションは消えますか？
強いモデルは雑な誤りを減らしつつ、それらしい細部はまだ作ります。レビューは残ります。変わるのは、最初の答えに2つ目のモデルで挑む頻度です。
より速く見つけるには？
前提と未知を聞いてください。引用は全部クリック。コードは実行。名前は出席者と照合。ハルシネーションは、飛ばしたくなる場所に隠れます。