カスハラの録音は、AIの文字起こしで事実が残る?合成音声54本を、話す速さと雑音を変えて測った
カスハラの録音をAIで文字起こし(音声認識)したとき、落ち着いた合成音声で雑音が少ない条件なら、事実項目の8〜9割が文字に残りました。雑音が声と同じ大きさでは25.6%です。架空の申し出6本の合成音声54本を faster-whisper で測り、「9時半」が「6時半」になる取り違えも起きました。(2026年10月時点)
全体の流れと費用はカスハラ対策の義務化ガイドのページにまとめています。
要点
- 落ち着いた合成音声で雑音が少なければ事実項目の8〜9割が残り、声と同じ大きさの雑音では25.6%でした。
- 架空の申し出の合成音声54本では、faster-whisper medium で雑音なしなら90項目中81(90.0%)が残り、SN比0dBでは23(25.6%)でした。
- 金額は medium で雑音なしとSN比10dBの36本すべてに残った一方、「9時半」が「6時半」になる数字の取り違えが雑音なしでも起きました。
- 文字起こしは下書きとして使い、日時・数字・脅しの言葉は録音を聞き直して確かめ、元の録音も消さずに残します。
目次
カスハラの録音をAIで文字起こしすると、事実はどこまで残りますか?
落ち着いた合成音声で雑音が少ない条件なら8〜9割の事実が残りましたが、全部は残りません。実際の録音は、この条件より聞き取りにくいと考えてください。納品する文字起こしは有料のAPIなど別のエンジンを使うので、同じ数字が出るとは限りません。本番のエンジンでは、納品の前に御社の録音で測ります。カスハラ報告ラインが合成音声54本で測りました。faster-whisperのmediumは雑音なしで事実項目の90.0%、雑音が声と同じ大きさ(SN比0dB)では25.6%でした。
事実項目は、1本の申し出につき日時・場所・金額・要求・脅しの言葉の5つです。申し出6本を3つの速さで読ませたので、雑音の条件1つで18本・90項目です。文字誤り率は、正しい文に対する文字の抜け・入れ違い・余分の割合です。
雑音の条件ごとに2つのモデルを並べると、次のとおりです。雑音が増えると、smallとmediumの差は縮まりました。
| 雑音 | small 事実項目(90項目) | small 文字誤り率 | medium 事実項目(90項目) | medium 文字誤り率 |
|---|---|---|---|---|
| なし | 74(82.2%) | 9.6% | 81(90.0%) | 5.6% |
| SN比10dB | 58(64.4%) | 15.8% | 74(82.2%) | 9.1% |
| SN比0dB | 23(25.6%) | 56.5% | 23(25.6%) | 45.1% |
試した音声と条件
架空の申し出6本をWindowsの音声合成で読ませ、雑音を混ぜてfaster-whisperに文字起こしさせました。faster-whisperは、社内のPCで動く公開の音声認識ソフトで、音声を社外に送りません。
申し出はスーパー・コールセンター・介護・飲食・ホテル・保育の場面の1本ずつで、すべて架空です。読み上げはMicrosoft Haruka Desktopの速さ0・+3・+6で、1秒あたり4.8字・6.7字・9.3字になりました。雑音はffmpegで作ったピンクノイズ(種を42に固定)で、なし・SN比10dB・SN比0dBの3段階です。SN比0dBは、声と雑音の大きさが同じという意味です。
採点では、句読点と空白を除き、「5,000円」「五千円」を「5000円」にそろえてから比べました。事実項目は、決めた語(「10月3日」と「7時」など)が全部あれば残ったと数えます。コードの要点は次の数行で、条件は本文のとおりです。
y = x + n * (rms(x) / rms(n) / 10 ** (snr / 20)) # 声に対して決めたSN比で雑音を足す
model = WhisperModel('medium', device='cpu', compute_type='int8')
segs, _ = model.transcribe(path, language='ja', beam_size=5)
hyp = ''.join(s.text for s in segs)
cer = lev(norm(ref), norm(hyp)) / len(norm(ref)) # 文字誤り率音声は1本8.4〜20.4秒です。ノートPCのCPU(Ryzen 7 7735U)で、1本にsmallは平均13.3秒、mediumは平均40.3秒かかりました。ほかの処理と同時に動かしたので、時間は目安です。
文字起こしで残りにくい事実項目
いちばん残ったのは金額で、残りにくかったのは脅しの言葉です。mediumでは、金額が雑音なしとSN比10dBの36本すべてに残りました。脅しの言葉は雑音なしでも18本中12本でした。
5つの項目ごとに、雑音なしとSN比10dBの18本ずつで数えると、次のとおりです。
| 項目 | small 雑音なし(18本) | small SN比10dB(18本) | medium 雑音なし(18本) | medium SN比10dB(18本) |
|---|---|---|---|---|
| 日時 | 15 | 12 | 17 | 17 |
| 場所 | 14 | 8 | 18 | 16 |
| 金額 | 18 | 17 | 18 | 18 |
| 要求 | 15 | 10 | 16 | 15 |
| 脅しの言葉 | 12 | 11 | 12 | 8 |
脅しの言葉が欠けた理由は、多くが書き違いでした。mediumは「全部言いふらすぞ」を3つの速さすべてで「全部インフラすぞ」と書き、「週刊誌」を「週刊紙」と書きました。要求の「謝りに来させろ」も「誤りに来たさせろ」になっています。言葉どおりに記録へ残すなら、どれも直す必要があります。
話す速さの影響は、雑音があるときに出ました。雑音なしのmediumは、速さ3段階で30項目中27・26・28とほぼ同じです。SN比10dBの速い読み上げでは21に下がりました。
文字起こしで、数字はどう間違えましたか?
数字が、別のもっともらしい数字に変わる誤りがありました。雑音なしとSN比10dBの条件で、日時・部屋番号・金額が別の数字になったのはsmallで8件、mediumで2件です。
「9時半」が「6時半」になったのは雑音なしの音声で、smallとmediumの両方で起きました。欠けた項目は空欄で目に付きますが、置き換わった数字は文として自然に読めてしまいます。
事案の記録に使うときに人が直す所
日時・場所・金額の数字と、言われた言葉は、録音を聞き直して直します。元の録音は消さずに残し、記録には録音の置き場所を書きます。
厚生労働省のマニュアル(令和8年度改訂版)p.33は、本社・本部への報告で共有する内容の例に6項目を挙げます。対応日時・場所、対応従業員、顧客等からの要望の内容、顧客等の情報、現場監督者の指示、対応結果です。文字起こしで埋めやすいのは要望の内容で、指示や結果は録音に入らないことが多くあります(カスハラの記録の項目の記事)。
録音を事実の確認に使うなら、利用目的をできる限り特定し、通知か公表をします(厚労省の解釈事項問9)。その場で録音を伝える義務までは必ずしも含まないとされます。本人が気づけない形で録るときの扱いは、問10を原文で確かめてください。自社の運用に当てはめるときは、弁護士に確かめるのが確実です。
私が仕組みを作るときは、文字起こしの中の数字と、脅しや要求に当たりそうな語へ印を付けます。印の所から録音のその秒数へ飛べるようにします。報告した本人が聞き直して直し、それから台帳へ入れる流れです。
この実験の数字は、実際のカスハラの録音にも当てはまりますか?
そのままは当てはまりません。この実験の音声は落ち着いた合成音声で、実際の録音より条件がよいからです。
実際の録音との違いは、主に次の4つです。
- 怒鳴り声、声の重なり、言いよどみ、方言が入っていない
- 雑音はピンクノイズで、店内のざわめき(人の声)や電話の音質ではない
- 申し出は6本、各1回の文字起こしで、項目の数も90と少ない
- 「週刊紙」のような同じ読みの書き違いも、欠けとして数えた
1〜3は実際の録音で数字が下がる方向の違い、4は厳しめに数えた方向の違いです。 クラウドの文字起こしサービスや、より大きなlargeのモデルは試していません。自社の録音で確かめるなら、数本を選び、同じ5項目で残り方を数えるのが早い方法です。全体の流れはカスハラ対策の義務化の柱ページにあります。
このサイトで相談するには?
録音の文字起こしを報告と記録の流れにどう組み込むかは、カスハラ報告ラインの無料で相談するからお尋ねください。何をどう頼むか決まっていなくても大丈夫です。準備は要りません。録音をお見せいただかなくても、御社のやり方に合わせて進め方を一緒に考えます。
よくある質問
- 録音を社外のクラウドに送らずに、文字起こしできますか?
- できます。この実験は faster-whisper をノートPCのCPUだけで動かし、音声を社外に送っていません。平均13.5秒の音声1本に、medium で平均40秒ほどかかりました。
- 文字起こしした文を、そのまま事案の記録にしてよいですか?
- そのままにはしません。雑音なしでも medium で90項目中9項目が欠けたり書き違えたりしたので、日時・数字・言われた言葉は録音を聞いて直します。
- small と medium のどちらを選べばよいですか?
- 事実項目の残り方を重く見るなら medium です。雑音なしで small は82.2%、medium は90.0%でした。ただし medium は small の約3倍の時間がかかりました。
- 怒鳴り声や早口の録音でも、同じくらい読めますか?
- この実験では分かりません。合成音声は落ち着いた読み上げで、怒鳴り声・声の重なり・言いよどみは入っていません。実際の録音ではこれより下がりえます。
出典と数字の作り方
- カスハラ報告ラインの実験(2026年10月16日)。架空の申し出6本を Microsoft Haruka Desktop で合成し、話す速さ3段階×ピンクノイズ3段階の54本を faster-whisper 1.2.1(small・medium、CPU・int8)で文字起こしして、文字誤り率と事実項目の再現率を数えた。条件は本文のとおり(2026年10月16日確認)
- 厚生労働省「カスタマーハラスメント対策企業マニュアル(令和8年度改訂版)」2026年9月8日更新。p.33 本社・本部まで報告・相談する際に共有すべき内容例(2026年10月16日確認)
- 厚生労働省 雇用環境・均等局「ハラスメント防止措置義務規定等における解釈事項について」(令和8年9月30日改訂)問9・問10(2026年10月16日確認)