JP6731609B2 - データ処理装置、データ処理システム、データ処理方法及びデータ処理プログラム - Google Patents

Description

本発明は、音声データをテキスト化するデータ処理装置、データ処理システム、データ処理方法及びデータ処理プログラムに関する。

企業等の組織において、会議での話者の発言内容が記載される議事録を作成する場合、通常は書記を１名もしくは複数名割り当て、書記が聞いた内容を手動でテキスト化する方法がとられている。しかし、この方法ではコストがかかる、正確性に欠けるという問題から、音声認識装置を用い、自動で議事録を作成するシステムが提案されている（特許文献１参照）。この技術では、音声認識処理を各会議参加者が所有する情報処理端末で実施する。

特開平１１−２７２６６３号公報

ところで、会議議事録等の話し言葉全体を十分な精度で音声認識・テキスト化するためには外部サーバ等の高い計算能力並びにそこに格納される十分に蓄積された学習データが必要である。したがって、会議議事録を十分な精度で音声認識・テキスト化するためには、外部サーバに会議参加者の発話音声データを送信し、音声認識・テキスト化する必要がある。しかしながら、発話内容に機密情報が含まれる場合、外部の音声認識サーバに発話音声データを送信すると機密情報が外部に漏洩する可能性がある。

本発明の目的は、音声認識サーバに発話音声データを送信する際の機密情報の外部への漏洩の可能性を低減し、かつ十分な精度で音声認識・テキスト化することが可能であり、内部の情報処理端末が行う音声認識・テキスト化の処理の負荷の軽減と、処理スピードの確保をすることが可能なデータ処理装置、データ処理システム、データ処理方法及びデータ処理プログラムを提供することである。

本開示のデータ処理装置は、
収音音声データの認識結果を出力するデータ処理装置であって、
前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出部と、
前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフト部と、
前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換部と、
前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信部と、
前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換部と、
を備え、
前記音声データシフト部は、前記置換部音声データの発話時間が前記特定部音声データの発話時間以下の場合、前記置換部音声データの発話終了時刻が前記特定部音声データの発話終了時刻となるよう、前記置換部音声データの発話開始時刻をシフトする。

本開示のデータ処理システムは、
収音音声データの認識結果を出力するデータ処理システムであって、
前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出部と、
前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフト部と、
前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換部と、
前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信部と、
前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データ
に対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換部と、
を備え、
前記音声データシフト部は、前記特定部音声データと同じ長さを有する前記置換部音声データを生成する。

本開示のデータ処理方法は、
収音音声データの認識結果を出力するデータ処理方法であって、
前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出ステップと、
前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフトステップと、
前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換ステップと、
前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信ステップと、
前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換ステップと、
を備え、
前記音声データシフトステップは、前記置換部音声データの発話時間が前記特定部音声データの発話時間以下の場合、前記置換部音声データの発話終了時刻が前記特定部音声データの発話終了時刻となるよう、前記置換部音声データの発話開始時刻をシフトする。

本開示のデータ処理プログラムは、
収音音声データの認識結果を出力するデータ処理装置において実行されるデータ処理プログラムであって、
前記データ処理装置のコンピュータに対して、
前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する処理と、
前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする処理と、
前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力させる処理と、
前記変換用音声データを音声認識サーバへ送信させ、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信させる処理と、
前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出させ、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力させる処理と、
を実行させ、
前記音声データをシフトする処理において、前記置換部音声データの発話時間が前記特定部音声データの発話時間以下の場合、前記置換部音声データの発話終了時刻が前記特定部音声データの発話終了時刻となるよう、前記置換部音声データの発話開始時刻をシフトする。

本発明によれば、音声認識サーバに発話音声データを送信する際の機密情報の外部への漏洩の可能性を低減し、かつ十分な精度で音声認識・テキスト化することができる。なおかつ、本開示は、内部の情報処理端末が行う音声認識・テキスト化の処理の負荷を軽減することができ、処理スピードを確保することができる。

本第１実施形態の音声処理システムが設置された場所のイメージの一例を示す図 本第１実施形態の音声処理システムのシステム構成を示すブロック図 本第１実施形態の音声処理システムの音声データ置換に関する動作手順を説明するフローチャート 本第１実施形態の音声処理システムの音声認識サーバに関する動作手順の一例を説明するフローチャート 本第１実施形態の音声処理システムのテキストデータ逆置換に関する動作手順を示すフローチャート 本第１実施形態において音声入力処理部が実施する音声入力処理の例を示す図 本第１実施形態において発話区間検出部が実施する発話区間検出処理の例を示す図 本第１実施形態における組み合わせ表の例を示す図 本第１実施形態における特定音声データ検出処理の処理例を示す図 本第１実施形態における特定情報発話時刻表の例を示す図 本第１実施形態における置換音声データ表の例と置換音声合成処理の処理例を示す図 本第１実施形態における音声データシフト処理の処理例を示す図 本第１実施形態における音声データ置換処理の処理例を示す図 本第１実施形態における置換履歴表の例を示す図 本第１実施形態における変換用音声データ送信処理と変換用音声データ受信処理と音声データ変換処理とテキストデータ送信処理の処理例を示す図 本第１実施形態におけるテキストデータ逆置換処理と認識結果出力処理の処理例を示す図 本第２実施形態における置換音声データ表と置換音声合成処理の例を示す図 本第２実施形態における音声データシフト処理の処理例を示す図 本第２実施形態における音声データ置換処理の処理例を示す図 本第３実施形態における置換音声データ表と置換音声合成処理の例を示す図 本第３実施形態における音声データシフト処理の処理例を示す図 本第３実施形態における音声データ置換処理の処理例を示す図

以下、本発明に係る音声処理システムを具体的に示した実施形態（以下、「本実施形態」という）について、図面を参照して説明する。

（第１実施形態）
図１は、本第１実施形態の音声処理システムが設置された場所のイメージの一例を示す図である。図２は、本第１実施形態の音声処理システム１のシステム構成を示すブロック図である。図３は、本第１実施形態の音声処理システム１の音声データ置換に関する動作手順を説明するフローチャートである。図４は、本第１実施形態の音声処理システム１の音声認識サーバ１０に関する動作手順の一例を説明するフローチャートである。図５は、音声処理システム１のテキストデータ逆置換に関する動作手順を示すフローチャートである。

図１〜図５に示す音声処理システム１は、音声認識が行われる場所２（例えば会議室、銀行カウンター、事務所）に設置された、音声入力処理部３（無指向性マイク、指向性マイク、ヘッドセットなど）を介して発話者が発話する音声を収音し、認識結果を表示部４に出力する。２人の会議参加者の内、１人が音声認識発話者５となり、音声入力処理部３が音声認識発話者５の発話音声６を収音している。発話音声６は、データ処理装置７によって変換用音声データ８に置換され、ネットワーク９を介して音声認識サーバ１０に送信される。ネットワーク９は、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良い。音声認識サーバ１０は変換用音声データ８に対応するテキストデータ１１をデータ処理装置７に送信する。データ処理装置７は、音声認識サーバ１０より受信したテキストデータ１１を、発話音声６に対応するテキストデータに逆置換して、その逆置換したテキストデータを、発話音声６の認識結果として表示部４に出力する。更に、データ処理装置７には、操作を行う操作部１２が設置されてもよい。

音声入力処理部３は、音声認識発話者５が発話した発話音声６を収音し、収音音声データ１３として発話区間検出部１４に出力する（音声入力処理Ｓ１）。

発話区間検出部１４は、入力された収音音声データ１３から音声認識発話者５の発話区間前後の雑音部分を取り除いた、発話区間音声データ１５を特定音声データ検出部１６に出力する（発話区間検出処理Ｓ２）。

特定音声データ検出部１６は、入力された発話区間音声データ１５と、組み合わせ記憶部１８に記憶されている組み合わせ表１９とを基に、発話された特定部音声データ２０を生成し、発話時刻検出部１７に出力する（特定音声データ検出処理Ｓ３）。発話時刻検出部１７は、特定部音声データ２０の発話開始時刻と、発話終了時刻とが記載された、特定情報発話時刻表２１を生成し置換音声合成部２２に出力する。（発話時刻検出処理Ｓ４）。

置換音声合成部２２は、入力された特定情報発話時刻表２１を基に、置換部音声データ２３を含む置換音声データ表２４を生成し音声データシフト部２５に出力する（置換音声合成処理Ｓ５）。

音声データシフト部２５は、入力された発話区間音声データ１５と置換音声データ表２４とを基に、シフト発話区間音声データ２７を生成し音声データ置換部２６に出力する（音声データシフト処理Ｓ６）。音声データシフト処理Ｓ６により、置換後の音声データを含む変換用音声データ８が置換前と同様に自然な形で生成されるので、音声認識・テキスト化の精度を確保することができる。

音声データ置換部２６は、入力されたシフト発話区間音声データ２７と置換音声データ表２４とを基に生成した置換履歴表２８を置換履歴記憶部２９に記憶し、変換用音声データ８を通信部３０に出力する（音声データ置換処理Ｓ７）。置換履歴記憶部２９を備えることにより、テキストデータから置換前テキストデータを作成する際の処理が容易になる。

通信部３０は、入力された変換用音声データ８を、ネットワーク９を介して、音声認識サーバ１０に送信する（変換用音声データ送信処理Ｓ８）。

音声認識サーバ１０は、ネットワーク９を介して変換用音声データ８を受信し（変換用音声データ受信処理Ｓ１１）、受信した変換用音声データ８をテキストデータ１１に変換し（音声データ変換処理Ｓ１２）、変換したテキストデータ１１を、ネットワーク９に送信する（テキストデータ送信処理Ｓ１３）。データ処理装置７の通信部３０は、ネットワーク９を介して受信したテキストデータ１１を、テキストデータ逆置換部３１に出力する（テキストデータ受信処理Ｓ２１）。

テキストデータ逆置換部３１は、入力されたテキストデータ１１と、置換履歴記憶部２９に記憶されている置換履歴表２８とを基に、本来得られるべき認識結果を生成し（テキストデータ逆置換処理Ｓ２２）、その認識結果を表示部４に出力する（認識結果出力処理Ｓ２３）。なお、操作部１２が備わっている場合は、ユーザは操作部１２を介して組み合わせ記憶部１８に記憶されている組み合わせ表１９を編集することで、置き換えたい特定音声をテキストにより適宜指定し、置き換え後の言葉を容易に指定することができる。操作部１２は例えば、マウスやキーボードなどである。

図６は、本第１実施形態において音声入力処理部３が実施する音声入力処理Ｓ１の例である。音声入力処理部３は例えば、無指向性マイク、指向性マイク、ヘッドセットなどの収音可能な装置を備え、周囲の環境雑音音声や、音声認識発話者５の発話音声６を収音する。音声入力処理部３は、収音した音声をアナログ電気信号に変換し、更に前記アナログ電気信号をデジタル音声データに変換（パルス符号変調（ＰＣＭ）など）し、収音音声データ１３として出力する。

図７は、本第１実施形態において発話区間検出部１４が実施する発話区間検出処理Ｓ２の例である。音声入力処理部３が出力した収音音声データ１３は発話区間検出部１４に入力される。音声認識発話者５が発話している時間帯前後の音声データには、環境雑音音声のみが含まれる。環境雑音音声部分は音声認識を行う必要がないため、発話区間検出部１４は収音音声データ１３の特徴（波形振幅、周波数帯域など）から収音音声データ１３の内、音声認識発話者５が発話した区間の音声データを発話区間音声データ１５として切り出し、それを出力する。

図８は、本第１実施形態における組み合わせ表１９の例を示す図である。組み合わせ表１９は、組み合わせＩＤ列、置換前テキストデータ列および置換後テキストデータ列から構成される。組み合わせＩＤ列には、組み合わせを一意に識別するための識別番号が記載される。置換前テキストデータ列には、発話区間音声データ１５内の特定部音声データ２０を検出するために、特定音声データ検出部１６が検出する短い語又はフレーズが記載される。置換後テキストデータ列には、置換音声合成部２２が置換部音声データ２３を生成するために参照する置換音声データ表２４を作成するための情報が記載される。

組み合わせ表１９に記載される組み合わせすべてにおいて、置換前テキストデータ列と置換後テキストデータ列には、音声データ置換部２６が収音音声データ１３から変換用音声データ８を出力する場合に、変換用音声データ８内の文章の文脈が不自然にならないよう、記載する必要がある。例えば、「福岡支店」を「サウジアラビア支店」に置換した変換用音声データ８の文章は自然であるが、「福岡支店」を「１０００支店」に置換した変換用音声データ８の文章は不自然である。変換用音声データ８の文脈が不自然な場合、音声認識サーバ１０の処理にて一部の不自然な文脈が、音声認識サーバ１０が出力するテキストデータ１１全体に影響する可能性がある。

例えば組み合わせ表１９の置換前テキストデータ列に、「［福岡］支店」と記載され、置換後テキストデータ列に、「サウジアラビア」と記載されている場合、その記載は、「福岡支店」という発話に対応する特定部音声データ２０を「サウジアラビア支店」という発話に対応する置換部音声データ２３に置換する、ということを意味する。また、例えば置換前音声テキストデータ列に「売り上げは［＊］円」と記載され、置換後テキストデータ列に、「ランダム値（１、１００００）」と記載されている場合、その記載は、「売り上げは１億円」や「売り上げは５０００万円」等の発話に対応する特定部音声データ２０を「売り上げは１０００円」等の発話に対応する置換部音声データ２３に置換される、ということを意味する。ここで、「［＊］」は任意の発話内容を意味し、「ランダム値（１、１００００）」は１から１００００までの間の整数がランダムに選択されることを意味する。

図９は、本第１実施形態における特定音声データ検出処理Ｓ３の処理例を示す図である。特定音声データ検出処理Ｓ３では、特定部音声データ２０を含む発話区間音声データ１５と組み合わせ表１９とが、特定音声データ検出部１６および発話時刻検出部１７に入力される。特定音声データ検出部１６は、発話区間音声データ１５から特定部音声データ２０を検出する。発話時刻検出部１７は、算出した発話開始時刻と発話終了時刻、組み合わせ表１９の組み合わせＩＤ、置換前テキストデータおよび置換後テキストデータを含む特定情報発話時刻表２１を出力する。

図１０は、本第１実施形態における特定情報発話時刻表２１の例を示す図である。
特定情報発話時刻表２１は、組み合わせＩＤ列、置換前テキストデータ列、置換後テキストデータ列、発話開始時刻列および発話終了時刻列から構成される。

図１０に示す特定情報発話時刻表２１は、「２０１５年度の業績、福岡支店の売り上げは１億円という結果になった」という発話と対応する発話区間音声データ１５を基に作成されたものである。特定情報発話時刻表２１の組み合わせＩＤ「４」は、図８に示す組み合わせ表１９の組み合わせＩＤ「４」に対応する。図１０に示す特定情報発話時刻表２１のＩＤ「４」が記載されている行の「置換前テキストデータ」列には、組み合わせ表１９の置換前テキストデータ列に記載されている「［福岡］支店」の代わりに、その［ ］内に記載されている「福岡」のみが記載され、「置換後テキストデータ」列には「サウジアラビア」が記載される。そして、組み合わせＩＤ「４」が記載されている行の「発話開始時刻」および「発話終了時刻」の各列欄には、算出した「福岡」の発話開始時刻「２．０」と発話終了時刻「２．３」が、それぞれ記載される。このようにして、特定情報発話時刻表２１のＩＤ「４」が記載されている行は生成される。

組み合わせＩＤ「４」と同様に、図１０に示す特定情報発話時刻表２１の組み合わせＩＤ「１」は、図８に示す組み合わせ表１９の組み合わせＩＤ「１」に対応する。図１０に示す特定情報発話時刻表２１のＩＤ「１」が記載されている行の「置換前テキストデータ」列には、組み合わせ表１９の置換前テキストデータ列に記載されている「売り上げは［＊］円」（ここでは＊＝１億と検知）の代わりに、その［ ］内で検知した「１億」のみが記載される。そして、図１０に示す特定情報発話時刻表２１の「置換後テキストデータ」列の欄には、組み合わせ表１９の置換前テキストデータ列に記載されている「ランダム値（１、１００００）」の代わりに、ランダム値として選ばれた「１０００」が記載される。組み合わせＩＤ「１」が記載されている行の「発話開始時刻」および「発話終了時刻」の各列欄には、算出した「１億」の発話開始時刻「３．５」、発話終了時刻「３．７」が、それぞれ記載される。このようにして、特定情報発話時刻表２１のＩＤ「１」が記載されている行は生成される。

図１１は、本第１実施形態における置換音声データ表２４と置換音声合成処理Ｓ５の処理例を示す図である。置換音声合成部２２は、入力された特定情報発話時刻表２１を基に、置換音声データ表２４を生成し、出力する。置換音声データ表２４の生成については後ほど説明する。生成された置換音声データ表２４は、「置換部ＩＤ」列、「置換部音声データ内容」列、「発話開始時刻」列、「発話終了時刻」列、「置換部音声データ長」列、「シフト量」列、「置換部音声データ」列から構成される。「置換部ＩＤ」列には、置換部音声データ２３を一意に識別するための識別番号が記載される。「置換部音声データ内容」列には、置換部音声データ２３の発話内容が記載される。「発話開始時刻」列には、置換部音声データ２３をシフト発話区間音声データ２７に置換する際の置換開始位置が記載される。「発話終了時刻」列には、置換部音声データ２３をシフト発話区間音声データ２７に置換する際の置換終了位置が記載される。「置換部音声データ長」列には、置換部音声データ２３の発話長が記載される。「シフト量」列には、音声データシフト処理Ｓ６にて、音声データをどれだけシフトするかを示す数値が記載される。「置換部音声データ」列には置換部音声データ２３が格納される。

次に、置換音声データ表２４の生成について、いくつかを例にとって説明する。
図１１において、特定情報発話時刻表２１が置換音声合成部２２に入力されると、置換音声合成部２２は、入力された特定情報発話時刻表２１の１行目、すなわち、組み合わせＩＤ「４」行にある置換前テキストデータおよび置換後テキストデータに関する項目を、置換音声データ表２４の１行目、すなわち、置換部ＩＤ「１」行にある各列に、それぞれ記載する。特定情報発話時刻表２１の組み合わせＩＤ「４」行にある「置換後テキストデータ」列の「サウジアラビア」は、置換音声データ表２４の置換部ＩＤ「１」行にある「置換部音声データ内容」列に記載される。特定情報発話時刻表２１の組み合わせＩＤ「４」行の「発話開始時刻」列にある「２．０」は、置換音声データ表２４の置換部ＩＤ「１」行にある「発話開始時刻」列に記載される。特定情報発話時刻表２１の組み合わせＩＤ「４」行の「発話終了時刻」列にある「２．３」は、置換音声データ表２４の置換部ＩＤ「１」行にある「発話終了時刻」列に記載される。置換部ＩＤ「１」行の「置換部音声データ」列には、「置換部音声データ内容」列に記載された「サウジアラビア」を、自然な話し速度で発話する音声の音データが、置換部音声データ２３として格納される。そして、置換部ＩＤ「１」行の「置換部音声データ長」列には、その「サウジアラビア」の音データの長さである「０．５」が記入される。さらに、置換部ＩＤ「１」行の「シフト量」列には、所定の式、例えば置換部音声データ長−（発話終了時刻−発話開始時刻）から算出される値「０．２」が記入される。

１行目と同様に、置換音声合成部２２は、入力された特定情報発話時刻表２１の２行目、すなわち、組み合わせＩＤ「１」行にある置換前テキストデータおよび置換後テキストデータに関する項目を、置換音声データ表２４の２行目、すなわち、置換部ＩＤ「２」行にある各列に、それぞれ記載する。特定情報発話時刻表２１の組み合わせＩＤ「１」行にある「置換部テキストデータ」列の「１０００」は、置換音声データ表２４の置換部ＩＤ「２」行にある「置換部音声データ内容」列に記載される。ただし、置換音声データ表２４の置換部ＩＤ「２」行にある「発話開始時刻」列には、特定情報発話時刻表２１の組み合わせＩＤ「１」行の「発話開始時刻」列にある「３．５」に、置換部ＩＤ「１」行の「シフト量」列に記載された値「０．２」が加算された値「３．７」が記載される。これと同様に、置換音声データ表２４の置換部ＩＤ「２」行にある「発話終了時刻」列には、特定情報発話時刻表２１の組み合わせＩＤ「１」行の「発話終了時刻」列にある「３．７」に、置換部ＩＤ「１」行の「シフト量」列に記載された値「０．２」が加算された値「３．９」が記載される。置換部ＩＤ「２」行の「置換部音声データ」列には、「置換部音声データ内容」列に記載された「１０００」を、自然な話し速度で発話する音声の音データが、置換部音声データ２３として格納される。そして、置換部ＩＤ「２」行の「置換部音声データ長」列には、その「１０００」の音データの長さである「０．１」が記入される。さらに、置換部ＩＤ「２」行の「シフト量」列には、所定の式、例えば置換部音声データ長−（発話終了時刻−発話開始時刻）から算出される値「−０．１」が記入される。

図１２は、本第１実施形態における音声データシフト処理Ｓ６の処理例を示す図である。音声データシフト部２５は、入力された発話区間音声データ１５と置換音声データ表２４を基に、シフト発話区間音声データ２７を生成し出力する。音声データシフト部２５に入力された置換音声データ表２４の１行目の発話終了時刻には「２．３」が記載され、シフト量列には「０．２」が記載されていることから、音声データシフト部２５は、入力された発話区間音声データ１５の２．３秒以降の音声データをすべて、正の方向に（すなわち後ろに）０．２秒シフトする。更に、音声データシフト部２５に入力された置換音声データ表２４の２行目の発話終了時刻には「３．９」が記載され、シフト量列には「−０．１」が記載されていることから、音声データシフト部２５は入力された発話区間音声データ１５の３．９秒以降の音声データをすべて、負の方向に（すなわち前に）０．１秒シフトする。こうして音声データシフト部２５は、前記音声データシフト処理Ｓ６が終了した後の音声データを、シフト発話区間音声データ２７として出力する。

これにより置換後の音声データを含む交換用音声データ８が、置換前と同様に自然な形で生成されるので、音声認識・テキスト化の精度を確保することができる。

図１３は、本第１実施形態における音声データ置換処理Ｓ７の処理例を示す図である。音声データ置換部２６は、入力されたシフト発話区間音声データ２７と置換音声データ表２４とを基に、置換履歴表２８と変換用音声データ８を生成し、出力する。置換音声データ表第１行の発話開始時刻列には「２．０」が、置換部音声データ長列には「０．５」が記載されているため、シフト発話区間音声データ２７の内、２．０秒から２．５秒の音声データを、置換音声データ表２４の第１行の置換部音声データ列に格納されている置換部音声データ２３の音声データに置換する。置換音声データ表２４第２行についても同様の処理を行い、置換後の音声データを変換用音声データ８として出力する。

図１４は、本第１実施形態における置換履歴表２８の例を示す図である。置換履歴表２８は「置換前」列と「置換後」列から構成される。例えば、置換履歴表２８の第１行の「置換前」列に「福岡」が、「置換後」列に「サウジアラビア」が記載され、置換履歴表２８の第２行の「置換前」列に「１億」が、「置換後」列に「１０００」が記載されている場合、シフト発話区間音声データ２７の「福岡」に対応する特定部音声データ２０が「サウジアラビア」に対応する置換部音声データ２３に置換され、シフト発話区間音声データの２７「１億」に対応する特定部音声データ２０が「１０００」に対応する置換部音声データ２３に置換された変換用音声データ８が生成されたことを意味する。

図１５は、本第１実施形態における変換用音声データ送信処理Ｓ８と変換用音声データ受信処理Ｓ１１と音声データ変換処理Ｓ１２とテキストデータ送信処理Ｓ１３の処理例を示す図である。図１５において、通信部３０は、入力された変換用音声データ８をデータ処理装置７の外部（例えば音声認識サーバ１０）に送信する。変換用音声データ８を受信した音声認識サーバ１０は、変換用音声データ８を対応するテキストデータ１１に変換し、通信部３０に出力する。例えば、「２０１５年度の業績、サウジアラビア支店の売り上げは１０００円という結果になった」という変換用音声データ８が入力された場合、「２０１５年度の業績、サウジアラビア支店の売り上げは１０００円という結果になった」という、変換されたテキストデータ１１を通信部３０に出力する。通信部３０は、入力されたテキストデータ１１をデータ処理装置７に送信する。通信部３０と音声認識サーバ１０の間の送受信経路として、Ethernet、USB、RC232（シリアル通信）などが挙げられる。

図１６は、本第１実施形態におけるテキストデータ逆置換処理Ｓ２２と認識結果出力処理Ｓ２３の処理例を示す図である。テキストデータ逆置換部３１は、入力されたテキストデータ１１と置換履歴表２８とを基に、本来得られるべき認識結果３２を出力する。入力されたテキストデータ１１が「２０１５年度の業績、サウジアラビア支店の売り上げは１０００円という結果になった」であり、置換履歴表２８の１行目の「置換前」列に「福岡」が、「置換後」列に「サウジアラビア」が、２行目の「置換前」列に「１億」が、「置換後」列に「１０００」が記載されている場合、テキストデータ逆置換部３１は、入力されたテキストデータ１１に含まれる「サウジアラビア」を「福岡」に、「１０００」を「１億」に逆置換し、「２０１５年度の業績、福岡支店の売り上げは１億円という結果になった」という、本来得られるべき認識結果３２を生成し、表示部４に出力する。表示部４は例えば、ディスプレイ機器や、プリンタ機器などである。

なお、ユーザは、操作部１２を介して、組み合わせ表１９の編集もしくは、新規作成を行うことで、使用状況に応じた組み合わせ表１９を作成することができる。これによりユーザは、置き換えたい特定部音声データ２０をテキストにより適宜指定し、置き換え後の言葉を容易に指定することができる。

以上のように、本第１実施形態によれば、音声認識サーバに発話音声データを送信する際の機密情報の外部への漏洩の可能性を低減し、かつ十分な精度で音声認識・テキスト化することができる。なおかつ、内部の情報処理端末が行う音声認識・テキスト化の処理の負荷を軽減することができ、処理スピードを確保することができる。

（第２実施形態）
本第２実施形態については、第１実施形態と異なる部分のみを説明する。それ以外の点については、第１実施形態と同様である。

図１７は、本第２実施形態における置換音声データ表２４と置換音声合成処理Ｓ５の例を示す図である。図１７において、本第２実施形態が第１実施形態と異なる点は、置換部音声データ長の算出方法と置換部音声データ２３の音声データの生成方法である。置換音声合成部２２は、入力された特定情報発話時刻表２１を基に置換データ表を生成し出力するが、その際、第１実施形態の図１１、図１２とは異なり、置換音声データ表２４の各行について、発話終了時刻から発話開始時刻を差し引いた値を、置換部音声データ長として記載する。具体的には、置換音声合成部２２は、置換部ＩＤ「１」の行にある「置換部音声データ内容」列「サウジアラビア」の「発話終了時刻」列の値「２．３」から「発話開始時刻」列の値「２．０」を差し引いた値「０．３」を、置換部音声データ長列に格納する。そして、置換音声合成部２２は、「０．３」秒間かけて「サウジアラビア」と発話される音声に対応する音声データを、置換部音声データ２３として生成し、「置換部音声データ」列に格納する。置換音声データ表２４の第２行についても、第１行と同様の処理を行う。

なお、本第２実施形態の「シフト量」列には、第１行、第２行とも、所定の式（置換部音声データ長−（発話終了時刻−発話開始時刻））から算出される値「０」が記入されるので、シフト処理が行われないこととなる。図１８は、本第２実施形態における音声データシフト処理Ｓ６の処理例を示す図であり、図１９は、本第２実施形態における音声データ置換処理Ｓ７の処理例を示す図である。図１８、図１９に示すように、「福岡」に代わる「サウジアラビア」、「１億」に代わる「１０００」の置換部音声データ２３が、それぞれ、「福岡」「１億」の各発話開始時刻、発話終了時刻を変えないよう、シフト処理を行わずに同じ長さで生成される。

以上のように第２実施形態によれば、置き換えたい音声以外の部分の音声データに対する処理が不要となり、音声データの置換処理を簡略化することができる。

（第３実施形態）
本第３実施形態については、第１実施形態又は第２実施形態と異なる部分のみを説明する。それ以外の点については、第１実施形態又は第２実施形態と同様である。

図２０は、本第３実施形態における置換音声データ表２４と置換音声合成処理Ｓ５の例を示す図である。図２０は、第１実施形態及び第２実施形態での「福岡」を「サウジアラビア」に置き換える場合とは異なり、「福岡」を「タイ」に置き換える例である。置換音声合成部２２は、入力された特定情報発話時刻表２１を基に置換音声データ表２４を生成し出力する点では、第１実施形態及び第２実施形態と同様である。そして、置換音声合成部２２が、特定情報発話時刻表２１の「置換前テキストデータ」列にある「福岡」の「発話開始時刻」列に記載されている値「２．０」及びその「発話終了時刻」列に記載されている値「２．３」を、それぞれ、置換音声データ表２４の「発話開始時刻」列及び「発話終了時刻」列に、それぞれ記入する点についても、第１実施形態及び第２実施形態と同様である。

ただし、本第３実施形態の置換音声合成部２２は、第２実施の形態の図１７、図１８とは異なり、特定情報発話時刻表２１の「組み合わせＩＤ」列「１０」が記載されている１行目の「置換後テキストデータ」列にある記載項目「タイ」を、置換音声データ表２４の「置換部ＩＤ」列「１」が記載されている１行目の「置換部音声データ内容」列に記入する。そして、本第３実施形態の置換音声合成部２２は、「置換後テキストデータ」列にある記載項目「タイ」が自然な話し速度で発話される音声に対応する置換部音声データ２３を生成して「置換部音声データ」列に格納し、その発話長さである値「０．１」を「置換部音声データ長」列に記入する。

図２１は、本第３実施形態における音声データシフト処理Ｓ６の処理例を示す図である。音声データシフト部２５は、入力された発話区間音声データ１５と置換音声データ表２４とを基に、シフト発話区間音声データ２７を生成し、出力する。置換音声データ表２４の１行目の発話終了時刻には「２．３」が記載され、シフト量列には「０．０」が記載されていることから、音声データシフト部２５は入力された発話区間音声データ１５の２．３秒以降の音声データをすべて、正の方向に０．０秒シフトする。

図２２は、本第３実施形態における音声データ置換処理Ｓ７の処理例を示す図である。音声データ置換部２６は、入力されたシフト発話区間音声データ２７と置換音声データ表２４とを基に、置換履歴表２８と変換用音声データ８を生成し、出力する。置換音声データ表第１行の「発話終了時刻」列には「２．３」が、「置換部音声データ長」列には「０．１」が記載されているため、シフト発話区間音声データ２７の内、２．０秒から２．２秒の音声データを、無音と対応する音声データに置換し、更に２．２秒から２．３秒の音声データを、置換音声データ表第１行の「置換部音声データ」列に格納される置換部音声データ２３「タイ」に置換する。

以上のように本第３実施形態によれば、置き換えたい音声以外の部分の音声データに対する処理が不要となり、音声データの置換処理を簡略化することができる。

以上に述べたように、本開示によれば、音声認識サーバに発話音声データを送信する際の機密情報の外部への漏洩の可能性を低減し、かつ十分な精度で音声認識・テキスト化することができる。なおかつ、本開示は、内部の情報処理端末が行う音声認識・テキスト化の処理の負荷を軽減することができ、処理スピードを確保することができる。

本開示は、音声データをテキスト化する際に、音声認識サーバに発話音声データを送信する際の機密情報の外部への漏洩の可能性を低減し、かつ十分な精度で音声認識・テキスト化することができ、なおかつ、内部の情報処理端末が行う音声認識・テキスト化の処理の負荷を軽減することができ、処理スピードを確保することができるデータ処理装置、データ処理システム、データ処理方法及びデータ処理プログラムとして有用である。

１ 音声処理システム
２ 音声認識が行われる場所
３ 音声入力処理部
４ 表示部
５ 音声認識発話者
６ 発話音声
７ データ処理装置
８ 変換用音声データ
９ ネットワーク
１０ 音声認識サーバ
１１ テキストデータ
１２ 操作部
１３ 収音音声データ
１４ 発話区間検出部
１５ 発話区間音声データ
１６ 特定音声データ検出部
１７ 発話時刻検出部
１８ 組み合わせ記憶部
１９ 組み合わせ表
２０ 特定部音声データ
２１ 特定情報発話時刻表
２２ 置換音声合成部
２３ 置換部音声データ
２４ 置換音声データ表
２５ 音声データシフト部
２６ 音声データ置換部
２７ シフト発話区間音声データ
２８ 置換履歴表
２９ 置換履歴記憶部
３０ 通信部
３１ テキストデータ逆置換部
３２ 認識結果

Claims (14)

1. 収音音声データの認識結果を出力するデータ処理装置であって、
   前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出部と、
   前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフト部と、
   前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換部と、
   前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信部と、
   前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換部と、
   を備え、
   前記音声データシフト部は、前記置換部音声データの発話時間が前記特定部音声データの発話時間以下の場合、前記置換部音声データの発話終了時刻が前記特定部音声データの発話終了時刻となるよう、前記置換部音声データの発話開始時刻をシフトする、
   データ処理装置。
2. 収音音声データの認識結果を出力するデータ処理装置であって、
   前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出部と、
   前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフト部と、
   前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換部と、
   前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信部と、
   前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換部と、
   を備え、
   前記音声データシフト部は、前記特定部音声データと同じ長さを有する前記置換部音声データを生成する、
   データ処理装置。
3. 前記特定部音声データに対応する置換前テキストデータと、前記置換後テキストデータとの組み合わせを記憶させる組み合わせ記憶部と、
   前記置換後テキストデータから前記置換部音声データを音声合成して前記音声データ置換部に出力する置換音声合成部と、
   をさらに備える、
   請求項１または２に記載のデータ処理装置。
4. 前記特定部音声データに対応する置換前テキストデータと、前記置換後テキストデータとの組み合わせを編集する操作部をさらに備える、
   請求項１または２に記載のデータ処理装置。
5. 前記音声データ置換部が前記特定部音声データを前記置換部音声データに置換した履歴を記憶する置換履歴記憶部をさらに備える、
   請求項１または３に記載のデータ処理装置。
6. 収音音声データの認識結果を出力するデータ処理システムであって、
   前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出部と、
   前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフト部と、
   前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換部と、
   前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信部と、
   前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換部と、
   を備え、
   前記音声データシフト部は、前記置換部音声データの発話時間が前記特定部音声データの発話時間以下の場合、前記置換部音声データの発話終了時刻が前記特定部音声データの発話終了時刻となるよう、前記置換部音声データの発話開始時刻をシフトする、
   データ処理システム。
7. 収音音声データの認識結果を出力するデータ処理システムであって、
   前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出部と、
   前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフト部と、
   前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換部と、
   前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信部と、
   前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データ
   に対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換部と、
   を備え、
   前記音声データシフト部は、前記特定部音声データと同じ長さを有する前記置換部音声データを生成する、
   データ処理システム。
8. 収音音声データの認識結果を出力するデータ処理方法であって、
   前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出ステップと、
   前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフトステップと、
   前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換ステップと、
   前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信ステップと、
   前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換ステップと、
   を備え、
   前記音声データシフトステップは、前記置換部音声データの発話時間が前記特定部音声データの発話時間以下の場合、前記置換部音声データの発話終了時刻が前記特定部音声データの発話終了時刻となるよう、前記置換部音声データの発話開始時刻をシフトする、
   データ処理方法。
9. 収音音声データの認識結果を出力するデータ処理方法であって、
   前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する発話時刻検出ステップと、
   前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする音声データシフトステップと、
   前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力する音声データ置換ステップと、
   前記変換用音声データを音声認識サーバへ送信し、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信する通信ステップと、
   前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出し、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力するテキストデータ逆置換ステップと、
   を備え、
   前記音声データシフトステップは、前記特定部音声データと同じ長さを有する前記置換部音声データを生成する、
   データ処理方法。
10. 前記特定部音声データに対応する置換前テキストデータと、前記置換後テキストデータとの組み合わせを記憶させる組み合わせ記憶ステップと、
    前記置換後テキストデータから前記置換部音声データを音声合成して音声データ置換部に出力する置換音声合成ステップと、
    をさらに備える、
    請求項８または９に記載のデータ処理方法。
11. 前記特定部音声データに対応する置換前テキストデータと、前記置換後テキストデータとの組み合わせを編集する操作ステップをさらに備える、
    請求項８または９に記載のデータ処理方法。
12. 前記音声データ置換ステップにおいて、前記特定部音声データを前記置換部音声データに置換した履歴を記憶する置換履歴記憶ステップをさらに備える、
    請求項８または９に記載のデータ処理方法。
13. 収音音声データの認識結果を出力するデータ処理装置において実行されるデータ処理プログラムであって、
    前記データ処理装置のコンピュータに対して、
    前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する処理と、
    前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする処理と、
    前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力させる処理と、
    前記変換用音声データを音声認識サーバへ送信させ、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信させる処理と、
    前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出させ、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力させる処理と、
    を実行させ、
    前記音声データをシフトする処理において、前記置換部音声データの発話時間が前記特定部音声データの発話時間以下の場合、前記置換部音声データの発話終了時刻が前記特定部音声データの発話終了時刻となるよう、前記置換部音声データの発話開始時刻をシフトする、
    データ処理プログラム。
14. 収音音声データの認識結果を出力するデータ処理装置において実行されるデータ処理プログラムであって、
    前記データ処理装置のコンピュータに対して、
    前記収音音声データに含まれる特定部音声データの発話開始時刻及び発話終了時刻を検出する処理と、
    前記特定部音声データとは異なる置換部音声データの発話時間に応じて、前記発話終了時刻と、前記発話終了時刻後の音声データをシフトする処理と、
    前記特定部音声データを前記置換部音声データに置換し、変換用音声データとして出力させる処理と、
    前記変換用音声データを音声認識サーバへ送信させ、前記変換用音声データから変換されたテキストデータを前記音声認識サーバから受信させる処理と、
    前記音声認識サーバから入力された前記テキストデータのうち、前記置換部音声データに対応する置換後テキストデータを抽出させ、前記特定部音声データに対応する置換前テキストデータへ前記置換後テキストデータを置き換えて、前記収音音声データの認識結果として出力させる処理と、
    を実行させ、
    前記音声データをシフトする処理において、前記特定部音声データと同じ長さを有する前記置換部音声データを生成する、
    データ処理プログラム。

Images