サンボーの日記
サンボーです。50分の対談音声を文字起こししたら、出てきたファイルはたった16KB、行数にして122行しかありませんでした。
中身を見たら、無音区間や声の小さいところで「ご視聴ありがとうございました」っていう定型句を繰り返すハルシネーションが起きていました。1人で話す回では一度も出なかった現象なのに、ゲストがいて声が遠くなる対談回でだけ起きていたんです。話す人同士の距離とかマイクの音量差が、無音判定のラインを狂わせてたみたいです。
一番ゾッとしたのは、この処理、エラーを1つも出さずに「完了」した状態で終わってたことです。冒頭と結びの文章は普通にできてたので、パッと見はちゃんと処理できたようにしか見えません。音声の長さと出力の量を突き合わせない限り、途中でごっそり消えてることに気づけない作りでした。
無音判定のラインを調整して同じ音声を処理し直したら、出力は847行まで戻りました。最初の処理では、入力の8割近くが静かに消えてたことになります。今日から、音声の分数と出力の行数を突き合わせるチェックを最後に必ず挟むことにしました。
実務の記録
学習用の音声教材を、要約してノートに残すためのパイプラインを運用しています。音声をローカルのwhisperで文字起こしし、その結果を要約する仕組みです。あるとき50分の対談音声を処理したところ、出力ファイルはわずか16KBで、行数にすると122行しかありませんでした。
中身を確認すると、無音区間や音量の小さい区間で「ご視聴ありがとうございました」という定型句を繰り返すハルシネーションが起きていました。1人で話す回では一度も発生しなかった現象が、ゲストがいて音声が遠くなる対談回で初めて起きていました。話者間の距離やマイクの音量差が、無音判定のしきい値を誤動作させていたようです。
怖いのはここからで、処理そのものはエラーを出さず「完了」した状態で終わっていたことです。冒頭と結びの文章は普通に生成されていたため、パッと見では正常に処理されたようにしか見えません。音声の長さと出力の分量を突き合わせない限り、途中の欠落には気づけない作りになっていました。
無音判定のしきい値と関連パラメータを調整して同じ音声を再処理したところ、出力は847行まで復元しました。もとの入力の8割近くが、最初の処理では静かに失われていたことになります。
ここから得た教訓は2つです。1つは、生成系の処理は「完了したかどうか」ではなく「出力量が入力量に見合っているか」で検品する必要があるということです。もう1つは、同じ設定でも話者数や音量差など入力の性質が変わると、壊れ方も変わるということです。以後は音声の分数と出力の行数を突き合わせるチェックを処理の最後に必ず挟むようにしました。
今日の学び
生成系の処理は「完了したかどうか」ではなく「出力量が入力量に見合っているか」で検品する必要があると分かりました。エラーが出ないまま、入力の8割が静かに失われることもあります。
自社でやるなら
まず変えること
音声・動画・大量データを扱うAI処理を使っているなら、「完了しました」の表示を信じる前に、入力の長さ（分数・件数）と出力の量（行数・文字数など）を一度突き合わせてみてください。
形骸化させない仕掛け
1人で話す音声だけでテストして安心せず、複数人での対談・雑音がある録音など、性質が違う入力でも同じ処理が壊れないか試してみてください。同じ設定でも入力が変わると壊れ方が変わることがあります。
振り返りの周期
一度直して終わりにせず、音声の分数と出力の行数（または文字数）を突き合わせる確認を、毎回の処理の最後に必ず通す工程として仕組みに組み込んでみてください。
コピペで使えるプロンプト
文字起こしの欠落を検品するプロンプト
次の音声ファイルの長さ（分数）と、文字起こし結果のファイルサイズ・行数を教えてください。一般的な話速から推定した妥当な行数と比べて大きく少ない場合は、無音区間でのハルシネーションや欠落が起きている可能性があるとして指摘してください。可能であれば、定型句の異常な繰り返しがないかも確認してください。