JP6933397B2 - 音声認識装置、管理システム、管理プログラム及び音声認識方法 - Google Patents

Description

本発明は、音声認識装置、管理システム、管理プログラム及び音声認識方法に関する。より詳しくは、音声データをテキスト化して発言データを生成し、予め定められた禁止ワードデータと比較することで会話から生ずるトラブルを予防及び把握可能な装置、システム、プログラム及び方法に関する。

労働現場、特に生活者と直接接触する現場などでは、会話からトラブルが生ずることがある。不適切な発言がハラスメント行為となるトラブルや、契約内容等に関する発言の有無や内容の子細が後になって争われるトラブルがしばしばある。会話によるトラブルの中には、言動による脅迫行為や、犯罪の示唆、教唆といった深刻なケースもある。

労働現場に限らず、日常生活においても、会話から生じるトラブルは重要な問題である。こうしたトラブルにおいて、会話を収音して分析することは、トラブルの予防及び事後処理に役立ち重要である。従来より、航空機のコクピットには乗務員の会話を収音して録音するボイスレコーダーが備え付けられている。万が一のインシデント及び事故において、このボイスレコーダーに録音された音声は再生され分析され、インシデント及び事故の原因の究明に役立つ。コールセンターのオペレーターにおいては、オペレーターの顧客に対する応対をマイク装置が収音して記録した音声データを、管理者が再生し分析してトラブル対応に役立てる管理方法が、しばしば採用されている。

一方、小型のマイク装置と録音装置とを組み合わせて携帯可能としたボイスレコーダーが考案され、利用されている（特許文献１）。特許文献１に記載の発明によると、従業員による外出先での業務中の会話がボイスレコーダーに収音して録音されるため、管理者は、事後処理のために、当該ボイスレコーダーに録音された会話を再生して分析できる。

特開２００７−３２５３９２号公報

しかしながら、特許文献１に記載の管理方法においては、ボイスレコーダーへの録音時間が膨大となる。そして、この録音時間は、対象者の数が増えるにつれて、増大する。また、この録音時間は、管理の対象とする時間が増えるにつれても、増大する。したがって、管理者は、録音された音声データからトラブルの発生を示す目的の音声データを探し出すにあたって、多大な労力と時間とを要する。また、管理者は、録音された会話を活用したトラブル対応を行うにあたって、録音された音声データを回収し、発生したトラブルに対応する音声データを探し出し、さらに、探し出された音声データを再生して音声データの内容を検査するという手順を踏む必要がある。そのため、管理者は、トラブルの発生から対応までに時間を要する。したがって、こうしたボイスレコーダー等により対象者の会話を録音する管理は、管理者が、会話によるトラブルに対して早期の対応を行うという点において、また、分析に要する時間と労力の点において、不十分な点があった。

管理者が、対象者の会話によるトラブルに対して早期の対応を行うためには、「金を出せ」「殺すぞ」などといったトラブルの発生を直接的に示す発言を、会話から探し出すことが重要である。さらに、トラブルの疑いがある発言について、管理者が、その頻度を把握することも重要である。例えば「お母さん」という発言は、それ単独でトラブルの発生を明示するものではない。しかし、管理者が、「お母さん」という発言の頻度を把握できれば、管理者は、「お母さんに言うぞ」「お母さんに知られてもいいのか」などの言い回しを繰り返す脅迫が行われている状況を把握できる。したがって、管理者は、早期の対応を行える。

収音し録音された対象者の会話を用いた管理において、管理者は、録音された音声データの大部分を再生して音声データの内容を確認する作業を通じて発言の頻度を把握する。管理者が、その担当する多数の対象者に対して逐一こうした確認作業を行うことには、労力と時間の両方において、大きな困難が伴う。したがって、対象者の会話を収音して分析する管理方法において、収音された会話を録音して管理者が内容を確認する従来の方式には、なお一層の改善の余地がある。

本発明は、このような考えに基づいてなされたものであり、マイク装置から受信した音声データをテキスト化し、予め定められた禁止ワードデータと比較し、一致又は類似する頻度を集計して表示することで、管理者が対象者の音声を逐一確認することなく対象者の発言を管理可能な音声認識装置、管理システム、管理プログラム及び音声認識方法を提供することを目的とする。

本発明者らは、上記課題を解決するために鋭意検討した結果、マイク装置から受信した音声データをテキスト化し、予め定められた禁止ワードデータと比較し、一致又は類似する頻度を集計して表示することで、上記の目的を達成できることを見出し、本発明を完成させるに至った。具体的に、本発明は以下のものを提供する。

第１の発明に係る特徴は、対象者の音声を音声データに変換可能なマイク装置と接続され、前記マイク装置から受信した前記音声データをテキスト化可能な音声認識装置であって、前記マイク装置から受信した前記音声データをテキスト化し、前記対象者の発言データを生成する発言データ生成部と、前記発言データと予め定められた禁止ワードデータとを比較し、一致又は類似する頻度を集計する集計部と、前記集計部による集計の結果を管理者に表示する表示部とを有する、音声認識装置である。

第１の特徴に係る発明によれば、対象者の音声に含まれる禁止ワードの頻度が、自動的に集計され、表示部に表示される。例えば、管理者が「殺すぞ」などのトラブルの発生を示すフレーズを禁止ワードに定めることで、対象者がそうしたフレーズを含む発言を行った頻度が集計され、表示部を通じて管理者に表示される。管理者は、表示部の表示を通じて、対象者による禁止ワードを含む発言の頻度を把握する。管理者は、表示された禁止ワードを含む発言の頻度を用いて対象者周辺でのトラブルの発生を把握し、対象者への警告や警察への通報などの管理を行う。管理者は、対象者の音声を逐一確認することなく、対象者の発言に関するこの一連の管理を行える。

よって、第１の特徴にかかる発明によると、管理者が対象者の音声を逐一確認することなく対象者の発言を管理可能な音声認識装置を提供できる。

第２の特徴に係る発明は、第１の特徴の発明に係る発明であって、前記集計部による集計の結果、前記発言データと前記禁止ワードデータとが一致又は類似する頻度が所定の頻度以上である場合に、前記管理者に警告する警告部をさらに有する、音声認識装置を提供する。

第２の特徴に係る発明によれば、発言データと禁止ワードデータとが一致又は類似する頻度が所定の頻度以上である場合に、警告部が管理者に警告する。警告部が警告を行うため、管理者は、いち早くトラブルに対応できる。また、所定の頻度以上である場合に警告部による警告が行われることで、いたずらな警告や、発音が良く似たワードを一致又は類似するものとして集計したことによる誤警告が防がれる。したがって、発言管理装置は、必要とされる警告を、誤警告に紛れることなく、管理者のもとにいち早く届けられる。管理者は、より適切かつ迅速に、トラブルの発生を示す発言を把握し、管理できる。

第３の特徴に係る発明は、第２の特徴の発明に係る発明であって、前記音声データと予め記憶された声紋データとを比較し、前記音声データの発信元が前記声紋データの発声元であるか否かを判別する発信元判別部をさらに有し、前記警告部は、前記音声データの発信元が前記声紋データの発声元であるとき前記管理者に警告する、音声認識装置を提供する。

第３の特徴に係る発明によれば、発信元判別部が音声データの発声元を判別することで、予め記憶された声紋データと一致する音声データである場合にのみ、警告部が管理者に警告する動作が行われる。例えば、管理者が、対象者の声紋と「絶対に儲かる」などの不当な勧誘を示す禁止ワードとを登録しておくことにより、対象者による不当な勧誘行為があったことが管理者に警告される。これにより、対象者以外の発話者の音声、特に、対象者との会話に参加していない対象者の周囲に居合わせた第三者の音声、に含まれる禁止ワードが集計され、管理者に警告される誤警告を避けられる。

第４の特徴に係る発明は、第１から第３のいずれかの特徴に係る発明であって、前記発言データ生成部により生成された発言データを前記音声データの発信元ごとに分類して蓄積して保存する発言データ保存部をさらに有する、音声認識装置を提供する。

第４の特徴に係る発明によれば、生成された発言データが発信元ごとに分類され蓄積され保存される。これにより、管理者は、保存された発言データを読み出して、その内容を精査できる。不正行為が疑われる場合などで、当事者間で発言の有無や発言の内容についての説明が食い違うことがしばしばある。こうした当事者間で発言の有無や発言の内容についての説明が食い違う状況において、管理者は、保存された発言データという証拠を精査することで、状況を客観的に把握できる。また、対象者が当事者である労働審判において、管理者は、保存された発言データを証拠として提示できる。

また、第４の特徴に係る発明によれば、発言データが保存されることにより、管理者は、保存された発言データをビッグデータとして解析し、利用できる。管理者は、このような解析により、対象者の発言傾向を分析したり、トラブルの発生前に出現しやすいワードを発見して禁止ワードに加えたりできる。

第５の特徴に係る発明は、第４の特徴に係る発明であって、前記表示部は、前記発言データ保存部に保存された複数の発言データの中から特定の発信元の発言データを抽出して表示可能である、音声認識装置を提供する。

第５の特徴に係る発明によれば、表示部は、特定の発信元の発言データを抽出して表示できる。これにより、管理者は、営業成績が良いなど管理者にとって好ましい特徴を有する発信元の発言傾向を分析して利用できる。あるいは、管理者は、営業成績が悪い、クレームが多いなど、管理者にとって好ましくない特徴を有する発信元の発言傾向を分析して利用できる。

第６の特徴に係る発明は、第１から第５のいずれかの特徴に係る発明であって、前記集計部は、予め定められ、前記音声データの発信元が属する属性において頻繁に用いられる特定音声データと前記音声データとを比較し、前記特定音声データとは異なる前記音声データについて前記集計を行う、音声認識装置を提供する。

第６の特徴に係る発明によれば、管理者は、対象者が属する属性において、しばしば発生する大きな音を、特定音声データとして定められる。これにより、その大きな音は、集計部で処理されなくなる。例えば、対象者が水道工事作業員であり、周辺で頻繁に工具の音が鳴る場合に、管理者は、工具の音を特定音声データとして登録する。これにより、しばしば発生する工具の音が集計部で処理されなくなる。したがって、集計部の負荷が軽減される。

第７の特徴に係る発明は、対象者の音声を音声データに変換可能なマイク装置と、上記の音声認識装置とを備え、前記マイク装置は、前記音声データに含まれる音の音量を計測する音量計測部と、前記音量が所定量以上である音声データを前記音声認識装置に送信する送信部とを有する、管理システムを提供する。

第７の特徴に係る発明によれば、音量計測部が音声データに含まれる音の音量を計測することで、音量が所定量以上である音声データが音声認識装置に送信される。これにより、音量が小さく、したがって、テキスト化され比較され集計される発言が含まれない音声データが、発言データ生成部及び集計部で処理されることが避けられる。したがって、発言データ生成部及び集計部における処理量が減り、管理システムの負荷が軽減される。

第８の特徴に係る発明は、対象者の音声を音声データに変換可能なマイク装置と、上記の音声認識装置とを備え、前記マイク装置は、該マイク装置の現在位置を測位する測位部を有し、前記禁止ワードデータは、前記マイク装置の存在位置に応じて予め定められており、前記集計部は、前記マイク装置から受信した前記現在位置に基づいて前記発言データと前記禁止ワードデータとを比較し、一致又は類似する頻度を集計する、管理システムを提供する。

第８の特徴に係る発明によれば、集計部は、マイク装置の存在位置に応じた禁止ワードデータを参照するため、その存在位置を含む施設に応じた不適切な発言が行われた頻度を集計できる。この施設に応じた不適切な発言は、例えば、駅などの人が多い公共の場所において社外秘の情報を発言すること等を含む。また、集計部は、その存在位置を含む施設に応じた適切な発言が行われた頻度も、集計できる。例えば、管理者が、対象者の業務に関連する単語を禁止ワードとして登録する。そして、管理システムが、対象者が業務を行う場所から離れた場所にいるときに、業務に関係する単語を含む発言を行っている頻度を集計し表示する。これにより、管理者は、対象者が、業務の一部として業務を行う場所から離れたのか、あるいは単に業務を放棄して業務を行う場所から離れたのかを、業務に関連する単語を含む発言の多寡を指標に用いて判断できる。

第９及び第１０の特徴に係る発明は、第１の特徴に係る発明のカテゴリ違いである。

本発明によれば、マイク装置から受信した音声データをテキスト化し、予め定められた禁止ワードデータと比較し、一致又は類似する頻度を集計して表示することで、管理者が対象者の音声を逐一確認することなく対象者の発言を管理できる音声認識装置を提供できる。

図１は、本実施形態における音声認識装置２０を用いた管理システム１のハードウェア構成とソフトウェア構成を概略的に示すブロック図である。 図２は、本実施形態における管理システム１を使用した管理の流れを示すフローチャート図である。 図３は、本実施形態における禁止ワードリスト２２１の一例を示す図である。 図４は、本実施形態における集計リスト２２２の一例を示す図である。 図５は、本実施形態における発言保存リスト２２３の一例を示す図である。 図６は、本実施形態における管理システム１を使用して表示部２４に集計結果等を示す管理画面を表示したときの一例を示す図である。 図７は、変形例２における特定音声リスト２２５の一例を示す図である。 図８は、変形例２において、特定音声リスト２２５を参照し、マイク装置１０が収音した音声データから、しばしば発生する大きな音の音声データを外して集計する処理の一例を示す概念図である。

以下、本発明を実施するための好適な形態の一例について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

＜管理システム１＞
図１は、本実施形態における音声認識装置２０を用いた管理システム１のハードウェア構成とソフトウェア構成を概略的に示すブロック図である。

管理システム１は、対象者の音声を音声データに変換可能なマイク装置１０と、マイク装置１０と接続され、管理システム１を運用するためにデータ管理やデータ処理、画面表示や管理者への警告等を行う音声認識装置２０と、を含んで構成される。

〔マイク装置１０〕
マイク装置１０は、マイク装置１０の動作を制御する制御部１１と、制御部１１のマイクロコンピューターで実行される制御プログラム等が記憶される記憶部１２と、音声認識装置２０その他の機器と通信を行う通信部１３と、マイク装置１０の現在位置を測位する測位部１５とを備える。

必須ではないが、マイク装置１０が固有の識別情報を持ち、この識別情報を音声認識装置２０に送信することが好ましい。固有の識別情報が送信されれば、音声認識装置２０は、この識別情報を受信して利用することで、マイク装置１０と発信元とを容易に紐付けられる。それによって、音声認識装置２０は、発信元を速やかに特定できる。この固有の識別情報として、例えば、マイク装置１０のＩＰｖ６アドレスや、マイク装置１０が備えるネットワークカードのＭＡＣアドレスなどが利用可能である。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

記憶部１２は、データやファイルが記憶される装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を有する。記憶部１２には、制御部１１のマイクロコンピューターで実行される制御プログラム等が記憶されている。

通信部１３は、マイク装置１０その他の機器と通信可能にするためのデバイス、例えばイーサネット（登録商標）規格に対応したネットワークカード、携帯電話ネットワークに対応した無線装置等を有する。

測位部１５の構成は、特に限定されない。測位部１５として、例えば、ＧＰＳ衛星からの信号を受信して測位するＧＰＳ受信機を用いた測位システムや、携帯電話の基地局からの情報を用いて測位するシステム等が挙げられる。

〔音声認識装置２０〕
音声認識装置２０は、音声認識装置２０の動作を制御する制御部２１と、制御部２１のマイクロコンピューターで実行される制御プログラム等や、発言データの処理に用いられる各種データ等や、発言データを処理して生成されるデータ等が格納される記憶部２２と、マイク装置１０との通信を行う通信部２３と、集計結果等を表示する表示部２４とを備える。発言データの処理に用いられるデータには、禁止ワードデータ等を含む。発言データを処理して生成されるデータには、禁止ワードと一致又は類似する発言を集計した結果等が含まれる。

表示部２４の種類は、特に限定されない。表示部２４として、例えば、モニタ、タッチパネル等が挙げられる。

制御部２１は、所定のプログラムを読み込み、必要に応じて記憶部２２及び／又は通信部２３と協働することで、管理システム１におけるソフトウェア構成の要素である発言データ生成部２１１、集計部２１２、警告部２１３、発言データ保存部２１４等を実現する。

制御部２１、記憶部２２、通信部２３のハードウェア構成は、それぞれ制御部１１、記憶部１２、通信部１３のハードウェア構成と同様である。また、記憶部２２には、禁止ワードデータを列挙した禁止ワードリスト２２１、禁止ワードと一致あるいは類似する発言データの頻度を集計した集計リスト２２２等が記憶されている。加えて、記憶部２２は、マイク装置１０から受信した対象者の音声データをセット可能に構成されている。

＜管理システム１を使用した管理の手順＞
図２は、音声認識装置２０を用いた管理システム１を使用して対象者の発言を管理する手順を示すフローチャートの一例である。以下では、図２を参照しながら、管理システム１の好ましいソフトウェア構成についてより詳しく説明する。

〔ステップＳ１０：音声の変換〕
まず、マイク装置１０は、対象者の音声を収音する。そして、マイク装置１０の制御部１１は、記憶部１２と協働して、この収音された音声を音声データに変換する。

この音声データの形式には、ＷＡＶ形式やＭＰ３形式、ＦＬＡＣ形式など、周知の形式が用いられる。通信帯域の消費を抑えるために、ＭＰ３形式等の不可逆圧縮を用いた形式が用いられることが好ましい。

〔ステップＳ１１：音量の計測〕
続いて、制御部１１は、記憶部１２と協働して、音量計測部１１１を実行し、この音声データの音量を計測する。

〔ステップＳ１２：音量が所定量以上か判定〕
ステップＳ１１で計測された音量が所定量以上なら、ステップＳ１３へ進む。音量が所定量未満なら、処理を終了し、音声の入力を待つ待機状態に戻る。

本実施形態に係る管理システム１によると、ステップＳ１１及びステップＳ１２に係る段階を経ることで、音量が所定量以上である場合にのみ音声データを音声認識装置２０に送信できる。

〔ステップＳ１３：現在位置の測位〕
制御部１１は、測位部１５と協働してマイク装置１０の現在位置を測位し、現在位置データとして記憶部１２に記憶する。

必須の態様ではないが、予めスケジュールされたタイミングで測位部１５が測位した現在位置を、現在位置データとして記憶部１２に記憶し、この現在位置データを読み出すことで、このステップにおける現在位置の測位に代えることも好ましい。これにより、音声を変換するたびに現在位置を測位し、測位処理の完了を待つことを避けられる。

〔ステップＳ１４：音声データ送信〕
制御部１１は、記憶部１２及び通信部１３と協働して、送信部１１２を実行し、音声データ及び現在位置データを音声認識装置２０に送信する。

本実施形態に係る管理システム１によると、ステップＳ１０からステップＳ１４に係る段階を経ることで、音声データを音声認識装置２０に送信する。また、本実施形態に係る管理システム１によると、ステップＳ１３からステップＳ１４に係る段階を経ることで、現在位置を音声認識装置２０に送信できる。

〔ステップＳ２０：音声データ受信〕
ステップＳ１４で音声データ及び現在位置データが送信されると、音声認識装置２０の通信部２３が、それを受信する。受信された音声データ及び現在位置データは、記憶部２２に記憶される。

〔ステップＳ２１：発言データ生成〕
ステップＳ２０で音声データが受信されると、制御部２１は、記憶部２２と協働して発言データ生成部２１１を実行し、受信された音声データをテキスト化し、発言データを生成する。生成された発言データは記憶部２２に記憶される。音声データのテキスト化には、統計モデルを用いた音声認識等、周知の音声認識技術が用いられる。

〔ステップＳ２３：禁止ワードとの比較〕
ステップＳ２１で発言データが生成されると、制御部２１は、記憶部２２と協働して集計部２１２を実行し、発言データと、禁止ワードリスト２２１に記憶された禁止ワードのそれぞれとを比較する。発言データと禁止ワードとが一致するならば、ステップＳ２４へ進む。発言データと禁止ワードとが一致しないならば、ステップＳ２６へ進む。

図３は、本実施形態における禁止ワードリスト２２１の一例を示す図である。図３に「発信元」と「禁止ワード」とで示されるように、禁止ワードリスト２２１には、発信元と、発信元に紐付けられた禁止ワードとからなる組が、ＩＤとともに列挙されている。例示する図３のＩＤ：１は、対象者である発信元の「田中太郎」について、「お母さん」というフレーズを禁止ワードに定めたことを示している。

発信元と禁止ワードとが紐付けられることにより、管理者は、発信元ごとに禁止ワードを設定できる。これにより、発信元に応じた内容の不適切な発言を、きめ細かく管理できる。例えば、「髪がきれい」というフレーズは、セクシュアル・ハラスメントにつながりうる発言であるから、禁止ワードに定めて集計を行うが、発信元が美容師である場合には発信元の業務に付随する通常の発言であり、禁止ワードに定めず、集計もしない、等の管理を行える。

必須ではないが、禁止ワードリスト２２１は、図３に「エリア」で示されるように、禁止ワードと紐付けられたエリア情報を含むことも好ましい。禁止ワードリスト２２１がエリアを含むことにより、集計部２１２は、このエリアと現在位置データとを比較して、現在位置に応じた禁止ワードを参照することが可能となる。これにより、現在位置に応じた、よりきめ細かな禁止ワードの集計が可能となる。

例示する図３のＩＤ：１〜３及び１０１〜１０４を用いて現在位置に応じた禁止ワードについて説明する。この例では、水道工事に従事する「田中太郎」について、７組の禁止ワードとエリアとの組を定めている。ＩＤ：１及び１０１では、対象者である発信元の「田中太郎」について、「駅」と「住宅地」の２つのエリアについて、「お母さん」というフレーズを禁止ワードに定めている。「お母さん」というフレーズは、発言が行われたエリアによらず、脅迫等のトラブルを示すため、両方のエリアに定められている。ＩＤ：２では、「駅」のエリアについて、「水道代」というフレーズを禁止ワードに定めている。水道工事に従事する田中太郎において、駅は通常の業務を行う場所ではない。しかし、「水道代」は業務に関連するフレーズであるため、駅において「水道代」を含む発言を繰り返していれば、管理者は、田中太郎が業務を行うために駅を訪れたと判断できる。ＩＤ：１０２〜１０４は、「住宅地」のエリアについて、「美人」「童顔」「髪がきれい」という、容姿に言及するフレーズを禁止ワードに定めている。田中太郎が業務を行う住宅地において容姿に言及することは、田中太郎によるセクシュアル・ハラスメントの可能性を示す。管理者は、田中太郎が住宅地においてこれらの禁止ワードを含む発言を行った頻度から、田中太郎によるセクシュアル・ハラスメントを発見できる。

必須ではないが、禁止ワードリスト２２１は、図３に「属性」で示されるように、複数の発信元を束ねた属性情報を含むことも好ましい。禁止ワードリスト２２１が複数の発信元を束ねた属性情報を持つことにより、管理者は、属性を利用して複数の発信元の禁止ワードを一括で変更する等の、より効率的な管理を行える。

〔ステップＳ２４：集計処理〕
図２に戻る。ステップＳ２３が禁止ワードと発言データとの一致を検出すると、制御部２１は、記憶部２２と協働して集計リスト２２２に保存された禁止ワードに対応する頻度を増分する。

図４は、本実施形態における集計リスト２２２の一例を示す図である。図４に示すように、集計リスト２２２には、発信元と、禁止ワードと、頻度とが紐付けられてＩＤとともに保存される。図４のＩＤ：１に、発信元「田中太郎」が、禁止ワード「お母さん」を含む発言を行っていないことが保存されている。図４のＩＤ：２に、発信元の「田中太郎」が、禁止ワード「水道代」を含む発言を８８６回行ったことが保存されている。

発信元と、禁止ワードと、頻度とが紐付けられることにより、表示部２４は、発信元ごとに禁止ワードを含む発言を行った頻度を、管理者に表示できる。この表示により、管理者は、発信元ごとにトラブルの発生や、トラブルの前兆をきめ細かく判断できる。

必須ではないが、集計リスト２２２には、現在位置データ及び／又は現在位置データを含むエリアが保存されることも好ましい。集計リスト２２２に現在位置データやエリアが保存されることにより、表示部２４は、保存された現在位置を含むエリアごとの禁止ワードを含む発言の頻度を、管理者に表示できる。この表示により、管理者は、対象者が、エリアごとに定められた不適切な発言を行った頻度を、管理できる。

〔ステップＳ２６：発言データの保存〕
図２に戻る。制御部２１は、記憶部２２と協働して発言データ保存部２１４を実行し、発言保存リスト２２３に発言データを保存する。

図５は、本実施形態における発言保存リスト２２３の一例を示す図である。図５に「発信元」「発言データ」「音声データ」でそれぞれ示されるように、発言保存リスト２２３には、発信元と、テキスト化された発言データと、音声データとが紐付けられて、ＩＤとともに保存される。図５のＩＤ：１には、発信元「田中太郎」が、東京都千代田区で、２０１８年１２月１６日の１２時ちょうどに、「今月の水道代が・・・」という発言を行ったことと、その際の音声データ［ｓｏｕｎｄ１］とが、保存されている。

発信元と発言データとが紐付けられることにより、管理者は、発信元ごとに発言データを管理できる。また、発言データと音声データとが紐付けられることにより、管理者は、音声データを再生して、対象者の語調や声の大きさと言った、発言に関するより詳しい情報を得られる。

必須ではないが、発言が行われた時点での対象者の現在位置を示す位置情報と、発言データとが紐付けられて発言保存リスト２２３に保存されることもまた好ましい。位置情報が保存されることにより、管理者は、発言が行われた場所を把握できる。これにより、管理者は、発言が行われた位置周辺での聞き込み等、追加の調査を行える。

必須ではないが、発言が行われた日時を示す時間情報が発言データと紐付けられて発言保存リスト２２３に保存されることもまた好ましい。時間情報が保存されることにより、管理者は、発言が行われた日時を把握できる。これにより、管理者は、特定の日時に生じたトラブルと、発言データとが互いに関連するものかどうかを判断できる。また、管理者は、この時間情報を用いて発言データを検索し、特定の日時に生じたトラブルに関連する発言データを効率よく探し出せる。さらに、管理者は、発言が行われた日時を用いて聞き込みを行うなどの、追加の調査を行える。

〔ステップＳ２７：所定の頻度との比較〕
図２に戻る。制御部２１は、記憶部２２と協働して警告部２１３を実行し、禁止ワードを含む発言の頻度と所定の頻度とを比較する。発言の頻度が所定の頻度以上ならば、ステップＳ２８へ進む。発言の頻度が所定の頻度未満ならば、ステップＳ２９へ進む。

〔ステップＳ２８：警告処理〕
ステップＳ２７において、発言の頻度が所定の頻度以上であれば、制御部２１は、記憶部２２と協働して、管理者に警告する。この警告は、発言の頻度が所定の頻度以上となったことを表示部２４に表示するものであることが好ましい。

発言の頻度が所定の頻度以上となったことが警告されることにより、管理者は、いち早くトラブルの発生又はその前兆に気づける。これにより、管理者は、対象者への警告や警察への通報等をいち早く行える。また、所定の頻度以上である場合に警告が行われることで、いたずらな警告や、発音が良く似たワードを一致又は類似するものとして集計することによる誤警告が防がれる。

必須ではないが、この警告は、発信元を含むことも好ましい。警告が、発信元を含むことで、管理者は、どの対象者に対してトラブル対応を行うべきかをいち早く判断できる。

必須ではないが、この警告は、発言データを含むことも好ましい。警告が、発言データを含むことで、管理者は、対応する発言データを探すことなく、どのようなトラブル対応を行うべきかを判断できる。

必須の態様ではないが、制御部２１が記憶部２２及び通信部２３と協働して管理者にメール及び／又はインスタントメッセージを送信することで、管理者に、警告する態様もまた好ましい。管理者にメール及び／又はインスタントメッセージが送信されることで、管理者が音声認識装置２０から離れた場所にいる場合であっても、管理者は、警告を受け取れる。これにより、管理者は、いち早く禁止ワードの頻度が所定の頻度以上となったことを知り、トラブルに対応できる。

また、必須の態様ではないが、制御部２１が記憶部２２及び通信部２３と協働して、警告音や電話による呼び出し等の音声を用いた追加の警告を行う態様もまた好ましい。警告音や電話による呼び出し等の音声を用いることで、管理者は、表示部２４を常時監視すること無く、警告を受け取れる。

〔ステップＳ２９：表示処理〕
制御部２１は、記憶部２２と協働して、集計の結果を表示部２４に表示する。表示される集計の結果は、発信元と、禁止ワードと、禁止ワードを含む発言の頻度とを含む。

発信元と、禁止ワードと、禁止ワードを含む発言の頻度とが表示部２４に表示されることにより、管理者は、発信元による禁止ワードを含む発言の頻度を把握する。管理者は、表示された禁止ワードを含む発言の頻度を用いて発信元周辺でのトラブルの発生を把握し、対象者への警告や警察への通報などの管理を行う。管理者は、発信元の音声を逐一確認することなく、発信元の発言に関するこの一連の管理を行える。

必須ではないが、発言データ保存部２１４が保存した直近の発言データについて、発信元、日時、場所、会話データ及び／又は音声データへのアクセス手段を含む一組の概要を、予め定められた数だけ組を列挙して、表示部２４に表示することも可能である。直近の発言データの概要が表示されることにより、管理者は、現在発言している対象者を把握できる。概要に会話データ及び／又は音声データへのアクセス手段が含まれるため、管理者は、現在発言している対象者の発言データや音声データ等を速やかに確認できる。

＜管理システム１の使用例＞
続いて、本実施形態における音声認識装置２０を用いた管理システム１の使用例を説明する。

まず、管理者は、マイク装置１０と音声認識装置２０とを接続する。この接続は、例えば、管理者が、マイク装置１０の記憶部１２に音声認識装置２０を示すＩＰｖ６アドレスを登録し、さらに、音声認識装置２０の記憶部２２にマイク装置１０を示すＩＰｖ６アドレスを登録し、互いにインターネットを介した通信を行えるよう構成すること等によって行われる。

続いて、管理者は、対象者にマイク装置１０を携帯させる、マイク装置１０を対象者のデスクに据え付ける等して、対象者の音声を音声データに変換可能な状態にする。変換された音声データの音量が計測され、音量が所定以上のとき、マイク装置１０は、音声認識装置２０に音声データを送信する。

音声認識装置２０は、マイク装置１０から音声データを受信し、音声データをテキスト化して発言データを生成し、予め定められた禁止ワードと比較し、一致又は類似する発言の頻度を集計して表示部２４に表示する一連の動作を行う。また、音声認識装置２０は、生成された発言データを、発信元ごとに分類し、発言保存リスト２２３に保存できる。

図６は、表示部２４に表示される集計の結果の表示例である。「キーワード検出数（田中太郎）」の下に、禁止ワードそれぞれについて、禁止ワードと、禁止ワードと一致又は類似する発言の頻度とからなる一組の情報が、予め定められた数だけ表示される。図６の「（田中太郎）」は、「発信元：田中太郎」について、禁止ワード及び発言の頻度が表示されていることを示す。管理者は、発信元を指定することで、任意の発信元について、禁止ワードと発言の頻度とを、同様に表示させられる。管理者は、「さらに見る」を操作することで、より多くの禁止ワードと発言の頻度との組を表示させられる。

図６に示すように、発言の頻度に応じた大きさの棒グラフを表示することも可能である。発言の頻度に応じた大きさの棒グラフを表示することにより、管理者は、より直観的に禁止ワードと一致又は類似する発言の頻度を把握できる。

図６に「最新利用状況一覧」とその下の表として示すように、保存された直近の発言データについて、対象者の発信元、日時、場所、発言データ及び／又は音声データへのアクセス手段を含む一組の概要を、予め定められた数だけ組を列挙して表示することも可能である。直近の発言データの概要が表示されることにより、管理者は、現在発言している対象者を把握できる。概要が表示されることにより、管理者は、現在発言している対象者の発言データや音声データ等を速やかに確認できる。管理者は、「会話内容（テキスト）」の列の「詳細」を操作することで、保存された発言データにアクセスできる。また、管理者は、「会話内容（音声）」の列の「詳細」を操作することで、保存された音声データにアクセスできる。管理者は、「さらに見る」を操作することで、より多くの概要を表示させられる。

管理者は、表示部２４に表示された集計の結果を見て、発言の頻度からトラブルの発生の有無又はトラブルの予兆の有無を判断する。そして、トラブルが発生している、あるいは、トラブルの予兆があると判断した対象者について、対象者に警告する、警察へ通報するなどのトラブル対応を含む管理を行う。また、管理者は、表示された音声データに紐付けられた現在位置を参照して、トラブルが発生している現場に向かう、トラブルが発生している現場近くの担当者に連絡する等のトラブル対応を含む管理を行う。

また、音声認識装置２０は、禁止ワードと一致又は類似する発言の頻度が所定の頻度以上である場合に、表示部２４等を通じて管理者に警告を行える。警告を受けた管理者は、上記と同様のトラブル対応を含む管理を行える。

管理システム１のこの一連の動作は、管理者が対象者の音声を逐一確認することなく、自動的に行われる。したがって、本実施形態における管理システム１により、管理者は、対象者の音声を逐一確認することなく対象者の発言を管理できる。これにより、管理者は、対象者の発言の管理を、より少ない労力で行える。より少ない労力で発言の管理を行えることにより、管理者は、発言の管理に要する労力を増やすことなく、より多くの対象者の発言を同時に管理できる。また、警告が行われることにより、管理者は、より迅速に対象者の周囲で生じたトラブルに対応できる。

＜管理プログラムとして提供可能であること＞
これまで、本発明を管理システム１として提供することについて説明したが、これに限るものではない。本実施形態に記載の発明は、コンピュータに実行させることの可能な管理プログラムとしても提供可能である。当該管理プログラムは、発言データ生成部２１１が、マイク装置１０から受信した音声データをテキスト化し、対象者の発言データを生成する、発言データ生成ステップと、集計部２１２が、発言データと予め定められた禁止ワードデータとを比較し、一致又は類似する頻度を集計する、集計ステップと、表示部２４が、集計部２１２による集計の結果を管理者に表示する表示ステップとを実行させる。

＜変形例＞
以下、本実施形態に記載の発明における種々の変形例を例示する。

〔変形例１〕 発信元の判別
記憶部２２は、声紋データを予め記憶する声紋データリスト２２４を備え、さらに、制御部２１は、音声データと声紋データリスト２２４に記憶された声紋データとを比較し、音声データの発信元が声紋データの発声元であるか否かを判別する発信元判別部２１５を備えることも好ましい。このとき、発言データは、発信元ごとに分類されて、発言保存リスト２２３に保存されることが好ましい。さらに、警告部２１３は、音声データの発信元が声紋データの発信元であるとき、管理者に警告しても良い。

対象者の声紋データを声紋データリスト２２４に記憶し、発信元判別部２１５が発信元を判別することで、音声認識装置２０は、対象者本人の発言のみを集計し、管理者に警告できる。すなわち、対象者以外の第三者の音声、特に、対象者との会話に参加していない対象者の周囲に居合わせた第三者の音声、に含まれる禁止ワードが、集計され、管理者に警告されることがなくなる。管理者は、必要とされる禁止ワードの頻度の、より正確な集計結果を、得られる。

さらに、この発信元の判別により、発言データ保存部２１４は、発言データを発信元とより適切に対応付け、分類し、発言保存リスト２２３に保存できる。これにより、管理者は、発信元を指定して、指定された発信元に対応する保存された発言データを読み出して、発信元による発言データの内容を精査できる。当事者間で発言の有無や発言の内容についての説明が食い違う状況において、管理者は、保存された発信元による発言データという証拠を精査することで、状況を客観的に把握できる。また、対象者が当事者である労働審判において、管理者は、保存された発信元による発言データを証拠として提示できる。

さらに、発言データが発信元とより適切に対応付けられて保存されることにより、管理者は、より効果的に、保存された発言データをビッグデータとして解析し、利用できる。管理者は、このような解析により、発信元を指定して、その発信元の発言傾向を分析したり、トラブルの発生前に出現しやすいワードを発見して、禁止ワードリスト２２１に加えたりできる。

〔変形例２〕 特定音声データを用いた負荷の軽減
記憶部２２は、対象者の属性に応じて定められた特定音声データを記憶する、特定音声リスト２２５を備えることも好ましい。特定音声リスト２２５を備えることにより、集計部２１２は、特定音声リスト２２５に記憶されている対象者の属性に応じた特定音声データと音声データとを比較し、特定音声データと異なる音声データについて集計を行える。

図７は、特定音声リスト２２５の一例である。特定音声リスト２２５には、発信元の属性と属性に対応する特定音声データとが紐づけられて保存される。図７は、水道工事という属性について、音声データ［ｎｏｉｓｅ１］（「ガンガン」というノック音）が特定音声データとして定められていることを示す。必須ではないが、図７に「備考」として示すように、特定音声リスト２２５は、特定音声データと紐づけられた特定音声データの説明その他をテキストとして含むことができる。特定音声リスト２２５が説明その他をテキストとして含むことにより、管理者は、特定音声データを逐一再生することなく、定められた特定音声データを把握し、容易に管理できる。

図８の概念図を用いた例示により、この特定音声データを用いた集計について説明する。この例では、対象者は水道工事に従事する作業員であり、対象者の近くで頻繁に「ガンガン」という水道のノック音が発生する。

最上段のａ）音声データは、マイク装置１０から送信された例示する音声データが、集計の対象となりうる発言（図８に「この水道」「濡れてる」「まずい」で示されている）に加えて、水道のノック音（図８に「ガンガン」で示されている）を含んでいる様子を示している。

二段目のｂ）特定音声データは、図７の特定音声リスト２２５に特定音声データとして記憶された、水道工事の属性と対応する「ガンガン」というノック音を示している。

図８に戻る。三段目のｃ）処理は、制御部２１が集計部２１２を実行し、ｂ）に示した特定音声データと例示する音声データとを比較する様子を示している。ｃ）において、音声データの背景の色を変えている部分が、この比較の結果、特定音声データと一致した部分である。

この比較の結果、最下段のｄ）処理後が示すように、例示する音声データから特定音声データと一致する部分が取り除かれ、「この水道」「濡れてる」「まずい」で示された対象者による発言の内容のみが発言データとして集計される。このように、特定音声データと異なる部分のみが集計されることにより、集計部２１２の実行による処理負荷が軽減される。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したものに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

また、上述した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。

また、上記の各構成、機能、処理部は、それらの一部又は全部を、ハードウェア（例えば、集積回路）で実現してもよい。また、上記の各構成、機能、処理部は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１ 管理システム
１０ マイク装置
１１ 制御部
１１１ 音量計測部
１１２ 送信部
１２ 記憶部
１３ 通信部
１５ 測位部
２０ 音声認識装置
２１ 制御部
２１１ 発言データ生成部
２１２ 集計部
２１３ 警告部
２１４ 発言データ保存部
２１５ 発信元判別部
２２ 記憶部
２２１ 禁止ワードリスト
２２２ 集計リスト
２２３ 発言保存リスト
２２４ 声紋データリスト
２２５ 特定音声リスト
２３ 通信部
２４ 表示部

Claims (8)

1. 対象者の音声を音声データに変換可能なマイク装置と接続され、前記マイク装置から受信した前記音声データをテキスト化可能な音声認識装置であって、
   前記マイク装置から受信した前記音声データをテキスト化し、前記対象者の発言データを生成する発言データ生成部と、
   前記発言データと予め定められた禁止ワードデータとを比較し、一致又は類似する頻度を集計する集計部と、
   前記集計部による集計の結果を管理者に表示する表示部と、
   前記集計部による集計の結果、前記発言データと前記禁止ワードデータとが一致又は類似する頻度が所定の頻度以上である場合に、前記管理者に警告する警告部と、
   前記音声データと予め記憶された声紋データとを比較し、前記音声データの発信元が前記声紋データの発声元であるか否かを判別する発信元判別部と、
   を有し、
   前記警告部は、前記音声データの発信元が前記声紋データの発声元であるとき前記管理者に警告する、音声認識装置。
2. 前記発言データ生成部により生成された発言データを前記音声データの発信元ごとに分類して蓄積して保存する発言データ保存部をさらに有する、請求項１に記載の音声認識装置。
3. 前記表示部は、前記発言データ保存部に保存された複数の発言データの中から特定の発信元の発言データを抽出して表示可能である、請求項２に記載の音声認識装置。
4. 前記集計部は、予め定められ、前記音声データの発信元が属する属性において頻繁に用いられる特定音声データと前記音声データとを比較し、前記特定音声データとは異なる前記音声データについて前記集計を行う、請求項１から３のいずれか１項に記載の音声認識装置。
5. 対象者の音声を音声データに変換可能なマイク装置と、前記マイク装置と接続された、請求項１から４のいずれかに記載の音声認識装置と、
   を備え、
   前記マイク装置は、
   前記音声データに含まれる音の音量を計測する音量計測部と、
   前記音量が所定量以上である音声データを前記音声認識装置に送信する送信部と、
   を有する、管理システム。
6. 請求項１から４のいずれかに記載のマイク装置と、
   前記マイク装置と接続された、請求項１から４のいずれかに記載の音声認識装置と、
   を備え、
   前記マイク装置は、前記マイク装置の現在位置を測位する測位部を有し、
   前記禁止ワードデータは、前記マイク装置の現在位置に応じて予め定められており、
   前記集計部は、前記マイク装置から受信した前記現在位置に基づいて前記発言データと前記禁止ワードデータとを比較し、一致又は類似する頻度を集計する、管理システム。
7. 発言データ生成部と、集計部と、表示部と、警告部と、発信元判別部と、を有し、対象者の音声を音声データに変換可能なマイク装置と接続され、前記マイク装置から受信した前記音声データをテキスト化可能である音声認識装置のコンピュータに実行させる管理プログラムであって、
   前記発言データ生成部が、前記マイク装置から受信した前記音声データをテキスト化し、前記対象者の発言データを生成する、発言データ生成ステップと、
   前記集計部が、前記発言データと予め定められた禁止ワードデータとを比較し、一致又は類似する頻度を集計する、集計ステップと、
   前記表示部が、前記集計部による集計の結果を管理者に表示する表示ステップと、
   前記警告部が、前記集計部による集計の結果、前記発言データと前記禁止ワードデータとが一致又は類似する頻度が所定の頻度以上である場合に前記管理者に警告するステップと、
   前記発信元判別部が、前記音声データと予め記憶された声紋データとを比較し、前記音声データの発信元が前記声紋データの発声元であるか否かを判別するステップと、
   前記音声データの発信元が前記声紋データの発声元であるとき前記管理者に警告するステップと、
   を前記コンピュータに実行させる、管理プログラム。
8. 発言データ生成部と、集計部と、表示部と、警告部と、発信元判別部と、を有し、かつ、対象者の音声を音声データに変換可能なマイク装置と接続され、かつ、前記マイク装置から受信した前記音声データをテキスト化可能な音声認識装置における音声認識方法であって、
   前記発言データ生成部が、前記マイク装置から受信した前記音声データをテキスト化し、前記対象者の発言データを生成する、発言データ生成ステップと、
   前記集計部が、前記発言データと予め定められた禁止ワードデータとを比較し、一致又は類似する頻度を集計する、集計ステップと、
   前記表示部が、前記集計部による集計の結果を管理者に表示する表示ステップと、
   前記警告部が、前記集計部による集計の結果、前記発言データと前記禁止ワードデータとが一致又は類似する頻度が所定の頻度以上である場合に前記管理者に警告するステップと、
   前記発信元判別部が、前記音声データと予め記憶された声紋データとを比較し、前記音声データの発信元が前記声紋データの発声元であるか否かを判別するステップと、
   前記音声データの発信元が前記声紋データの発声元であるとき前記管理者に警告するステップと、
   を有する、音声認識方法。

Images