JP4237713B2 - 音声処理装置 - Google Patents

Description

本発明は、音声認識及び話者認識が可能であり、各種の機器を音声により制御するために利用される音声処理装置に関するものである。

一般に、音声認識及び話者認識をするための音声処理においては、目的の音声の他に周辺の環境音を拾うことで誤認識を起すという問題を抱えている。このような不都合を解消するために、特許文献１には、利用者が目的の言葉を発声する前に音声操作ボタンを用いる技術が開示されている。この技術を一般にプッシュツートークと云う。また、特許文献２には、特許文献１で開示された音声操作ボタンの代わりに、特定のキーワードを発声することで解決する技術が開示されている。この技術は、キーワードとなる一つの単語を待ち続け、その単語を認識した後の情報を得るようにしたものであり、マジックワード方式と称する。このように目的の言葉を発声する前の特定操作、すなわち、音声操作ボタンの操作あるいはキーワードの発声を、以下、前方トリガーと表記する。

特開平８−３２８５８４号公報 特開２０００−３２２０７８号公報 近代科学社刊 古井貞煕著 「音響・音声光学」

前方トリガーを利用者に強いることは、その操作あるいは発声を意図的に行わなければならないため、利用者にとっては負担である。また、前方トリガーの操作を行った後は、確実で正確な発声が求められる。しかしながら、音声操作ボタンの操作、キーワードの発声等の前方トリガー後の目的とする言葉の発声は、前述のように正確な発声を要求されるため、それを意識することで話者が緊張し、言い淀みや言い間違えが起こる可能性が高い。そのため、利用者の発声に起因する誤認識を避けることは難しい。

利用者の音声を含む音が音声入力部から入力された音が音声か非音声かを判別する音声・非音声判別部と、予めキーワードを保存できるキーワード辞書と、音声認識を行うための音声認識用辞書と、前記音声認識用辞書を元に音声認識する音声認識部と、前記音声・非音声判別部で音声と判断された音が予め前記キーワード辞書に登録された単語であるか否かを検知する音声キーワード検知部と、音声入力部から入力された音が前記キーワード辞書に登録された単語を含むものであると検知された時点で入力された音を音声認識する指示を前記音声認識部に出す認識指示部とを具備し、利用者が目的の言葉を発声した後の特定の発声（キーワード）を引き金に音声認識を行うものである。

発声前の前方トリガーを利用者に強いることなく、自然な発声で音声認識をすることができる。すなわち、マジックワード方式と違って、「目的の言葉」の後に特定の発声（キーワード）がなされるので、キーワード発声の際に、既に、目的の言葉が話されていることから緊張感がなく、これにより、キーワードの言い淀みや言い間違えが起こる可能性が低く、自然な発声で確実な音声認識を行うことができる。

本発明の第一の実施の形態を図１乃至図７に基づいて説明する。図１は、音声処理装置１の全体構成を示すブロック図である。この音声処理装置１は、話者２が発声する音声を含む音声が入力可能な音声入力部３を有する。この音声入力部３には、前記音声入力部３から入力された音をデジタル信号に変換するＡＤ変換部４と、前記ＡＤ変換部４から入力された音が音声か非音声かを判別する音声・非音声判別部５と、前記音声・非音声判別部５で音声と判断された音を録音データ記憶部６に録音させる音声録音部７と、前記録音データ記憶部６に録音された音を後段の音声認識部８に渡す機能を有する認識指示部９とがシリーズに接続されている。そして、前記音声・非音声判別部５で音声と判断された音が予めキーワード辞書１０に登録された単語であるか否かを検知する音声キーワード検知部１１が前記音声・非音声判別部５から前記認識指示部９との間に接続され、前記キーワード辞書１０にはキーワード変更部１２が接続されている。また、前記音声録音部７と前記音声認識部８との間には、前記録音データ記憶部６が接続されている。さらに、前記音声認識部８には、音声認識を行うための音声認識用辞書１３が接続されている。

しかして、前記音声入力部３は、入力された音声を電気的アナログ音に変換する変換部であり、マイクロフォンなどで代表される。前記ＡＤ変換部４は、入力されたアナログ信号を所定のサンプリング周波数、量子化ビット数でデジタル信号に変換する変換部である。これらの音声入力部３とＡＤ変換部４とにより音を入力するための入力手段が構成されている。

また、前記音声・非音声判別部５は、入力された音声が人間の声かどうかを判別する機能を備えている。代表的なものとして音源情報の構造によるものを次に示すが、これに限られるものではない。音声は、声帯の振動が声道を通ることで変化し、５０音として表現されるものと考えられる。声帯振動を音源情報、声道の変化を声道特性と言い、特に、音源情報が音声・非音声を特徴付けると考えられる。音源情報の抽出手法としては、線形予測残差によるものが代表として挙げられる。デジタル化された入力音声の時間系列ｘ(ｎ)に対し、過去ｐ個分の標本ｘ(ｎ−ｐ)…ｘ(ｎ−１)の線形結合はｘ~(ｎ)＝α１＊ｘ(ｎ−１)＋α２＊ｘ(ｎ−２)…αｐ＊ｘ(ｎ−ｐ)で、現在の標本値ｘ(ｎ)を予測する線形予測分析において、ｘ(ｎ)×ｘ~(ｎ)を線形予測残差と呼び、音源情報に相当する特徴量である。詳しくは、非特許文献１の第１２４頁以降に掲載されている。

音声の音源情報を図２に、非音声の音源情報を図３に示す。それぞれ横軸は周波数、縦軸は音量（音声パワー）を示している。この２つの図を比較すると、図２の音声の音源情報は、０ｋＨｚ〜２．５ｋＨｚで周期性を示しており、図３の非音声の音源情報は、非周期的である。この周期の有無を判定する手法としては、自己相関法が有名である。自己相関法とは、系列｛ｙ(１)〜ｙ(ｎ)｝に対して、ｃ(ｊ)＝Σｙ(ｉ)＊(ｉ＋ｊ)で計算される相関特徴量である。図４に相関特徴量の最大値ヒストグラムを示す。この図４から、横軸に相関特徴量０．３辺りで分離できることがわかる。この違いを用いて音声・非音声判別部５は構成される。

音声・非音声判別部５で、非音声の場合は、以後の動作は行わない。つまり、音声と判別された場合のみ、入力信号は音声録音部７、音声キーワード検知部１１に送られる。音声録音部７は、音声と判別された入力音を録音データ記憶部６に記録する機能を果たす。記憶媒体は、ＨＤＤ、メモリなどの記憶領域であれば何でも良い。

音声キーワード検知部１１は、キーワード辞書１０に登録された認識語句のみを受理するものである。図５は、音声キーワード検知部１１の詳細図である。音響分析部１４は、音声・非音声判別部５から収録されてデジタルデータを受け取り、ＦＦＴ（高速フーリエ変換）などの処理による周波数分析などを行って入力音声の所定区間（例えば、音素単位あるいは単語単位など）毎に、各区間についての音声認識のために必要な特徴情報（例えばスペクトルなど）を時系列に出力するようになっている。

音響照合部１５は、音響分析部１４から出力された特徴情報を受け取り、キーワード辞書１０に登録されている単語を参照して照合を行い、入力音声区間（例えば、音素あるいは音節あるいはアクセント句などの音素列単位、あるいは単語単位などの文字列単位など）の認識候補との類似度を計算して、キーワード辞書１０に登録されている単語かどうかを判別する。なお、音響照合部１５での上記処理は、ＨＭＭ（隠れマルコフモデル）やＤＰ（ダイナミックプログラミング）、あるいは、ＮＮ（ニューラルネットワーク）など、従来の照合技術にキーワード辞書１０を加えて実現することができる。音響照合部１５で、キーワード辞書１０に登録された単語かどうかが判別されると、その結果は、認識指示部９に渡される。図６の点線枠は、認識指示部９の動作の詳細を示したものである。認識指示部９は、キーワード辞書１０の単語を検知した場合のみ、録音データ記憶部６にあるデータを音声認識させる指示を行う。この機能は、ソフトウェアによる分岐命令（ｉｆなど）で実現することが可能である。

具体的な事例として、利用者、すなわち、話者２が「鮭定食調理完了（さけていしょくちょうりかんりょう）」と話したものとする。ここで、キーワード辞書１０にキーワードとして「調理完了（ちょうりかんりょう）」と登録されているものと仮定する。話者２が「さけ…」と発生した瞬間、音声・非音声判別部５が「音声」と判別し、この音声は音声録音部７で録音が開始され、録音データ記憶部６に保存される。発声が持続し、「ちょうりかんりょう」まで発話が到達すると、音声キーワード検知部１１はキーワード辞書１０に登録された認識語句とマッチするため、「キーワードを検知」した旨、認識指示部９に通知される。

キーワードを検知した通知を受け取った認識指示部９は、図６の流れ図の通り、録音を停止し、録音データ記憶部６で録音している音声が、図６の１〜ｎの順に音声認識部８に渡される。

音声認識部８は、予め音声認識用辞書１３に登録された認識語句を元に、音声認識を始める。音声認識部８は、図５の音声キーワード検知部１１のように、音響分析部と音響照合部の機能を設けることで実現可能である。

音声認識用辞書１３に登録された認識語句が「鮭定食（さけていしょく）」である場合、前述のように、音声録音部７に録音された区間「さけていしょくちょうりかんりょう」における「さけていしょく」にマッチするため、音声認識部８は、正解結果、「鮭定食」を出力する。

図７に示すものは、本実施の形態の動作を模式的に図示したものであり、横軸に発声の時間経過を示すとともに、縦軸方向は装置の動作順序を示している。まず、話者２は、非音声の状態において、「鮭定食、調理完了」と発声する。このときの発声の音の振幅は、「鮭定食、調理完了」の順序に従って、「非音声」、「鮭定食」、「調理完了」と順次、図示の波形を示す。一方、装置側では、音声・非音声判別部５が「非音声」のタイミングでは音声を検知せず、「鮭定食」のタイミングで音声を検知する。この音声・非音声判別部５で音声が検知されると、音声録音部７が録音を開始し、音声キーワード検知部１１においては、検知した音声が「鮭定食」であるため、キーワード検知はしない。そして、「調理完了」と発声されたタイミングで、音声キーワード検知部１１は、キーワード検知を行う。これにより、認識指示部９では認識指示を行い、音声認識部８は、正解結果、「鮭定食」を出力する。

このような手法により、話者２が発声するだけで、従来のキーボード入力と同等の音声認識が可能になる。つまり、キーボード入力の入力確定操作である「リターンキー」の代替として、音声キーワード検知部１１が働くことになる。この場合、仮に、話者２が「さ、さけて、しょく」と言い淀んでしまった場合、もしくは、「あゆていしょく」と誤って発声したことに気付いた場合でも、「ちょうりかんりょう」の発声をしない限り、本実施の形態においては、音声認識を実行しない。このことにより、音声の誤認識による誤動作を大幅に減らすことが可能となる。

もし、本実施の形態の音声処理装置１を別な場面で用いたい場合、「調理完了」というキーワードが不適当な場合も想定される。このような場合には、キーワード変更部１２を用いてキーワードを場面に適合した語句に登録することも可能である。

つぎに、図８及び図９に基づいて本発明の第二の実施の形態を説明する。図１〜図７について説明した部分と同一部分は同一符号を用い、説明も省略する。本実施の形態における音声処理装置１６は、つぎの構成においては、前述の音声処理装置１と同様である。すなわち、話者２が発声する音声を含む音声が入力可能な音声入力部３を有する。この音声入力部３には、前記音声入力部３から入力された音をデジタル信号に変換するＡＤ変換部４と、前記ＡＤ変換部４から入力された音が音声か非音声かを判別する音声・非音声判別部５と、前記音声・非音声判別部５で音声と判断された音を録音データ記憶部６に録音させる音声録音部７と、前記録音データ記憶部６に録音された音を後段の音声認識部８に渡す機能を有する認識指示部９とがシリーズに接続されている。そして、前記音声・非音声判別部５で音声と判断された音が予めキーワード辞書１０に登録された単語であるか否かを検知する音声キーワード検知部１１が前記音声・非音声判別部５から前記認識指示部９との間に接続されている。また、前記音声認識部８には、音声認識を行うための音声認識用辞書１３が接続されている。しかして、本実施の形態における特徴は、前記音声・非音声判別部５には、話者２の音声情報からその話者２を特定する情報が記録された話者認識用辞書１７が接続された話者認識部１８が接続され、この話者認識部１８には、キーワード選択部１９が接続され、このキーワード選択部１９には、前記キーワード辞書１０が接続されている。

つぎに、本実施の形態で新たに追加された話者認識部１８の役割について以下説明する。話者認識は、話者２の音声情報（特定の単語情報ではなく、話者２の音声に含まれる音声上の特徴である）から話者２の個人を特定する技術であり、主に、セキュリティ用途に用いられている。予め、話者認識用辞書１７に話者の音声情報を登録しておくことにより、話者２を判定することが可能である。話者認識部１８は、図５に見られるように、音響分析部１４と音響照合部１５とで構成される。音声・非音声判別部５から出力されたデジタルデータを受け取り、ＦＦＴ（高速フーリエ変換）などの処理による周波数分析などを行って、入力音声の所定区間（例えば、音素単位あるいは単語単位など）毎に、各区間についての話者認識のために必要な特徴情報（例えばスペクトルなど）を時系列に出力するようになっている。

音響照合部１５は、音響分析部１４から出力された特徴情報を受け取り、話者認識用辞書１７に登録されている話者２の音声情報を参照して照合を行い、入力音声区間の話者の候補との類似度を計算して話者２を同定する。なお、音響照合部１５での上記処理は、ＨＭＭ（隠れマルコフモデル）や、固有値展開法、あるいは、ＶＱ（ベクトル量子化）など、従来の照合技術にキーワード辞書１０を加えて実現することができる。

話者２の音声は、話者認識部１８で話者個人が特定され、個人名がキーワード選択部１９に送られる。図９にキーワード選択部１９の一例を示す。いま、話者２が「山田太郎入室」と発声するものとする。話者２が「山田太郎」本人である場合、キーワード選択部１９は、リストに従って「入室」をキーワードと考え、キーワード辞書１０に登録する。具体的に、話者が「やまだ…」と発声した瞬間、音声・非音声判別部５が「音声」と判別し、話者認識部１８で「山田太郎」本人だと認識し、キーワード選択部１９でキーワード「入室」を選択した後、キーワード辞書１０に「入室（にゅうしつ）」が登録される。前記第一の実施の形態と同様、音声・非音声判別部５で「音声」と判別された時点から、この音声は音声録音部７で録音が開始される。発声が持続し、「にゅうしつ」まで発声が到達すると、キーワード辞書１０に登録された認識語句とマッチするため、音声キーワード検知部１１は、「キーワードを検知」した旨、認識指示部９に通知し、録音を停止する。この後の動作は、前述の第一の実施の形態と同様である。

本実施の形態においては、前述の実施の形態と同等の効果が生まれるばかりか、利用者毎に入力確定操作の発声を暗黙の内に変更可能となる。すなわち、「山田太郎入室」、「福沢次郎出社」、「鈴木花子ロック解除」というように、利用者毎に「山田太郎」、「福沢次郎」、「鈴木花子」という話者認識に基づき、「入室」、「出社」、「ロック解除」なるキーワードに変更される。また、利用者が福沢次郎であるにも係わらず、山田次郎を詐称するため、「やまだじろう、入室」と発声しても、話者認識部１８により「山田太郎」と認識されず、しかも、福沢次郎の入力確定操作である「出社」とマッチしないため、動作しない。これにより、話者認識のセキュリティ強化にも繋がることになる。

つぎに、図１０に基づいて本発明の第三の実施の形態を説明する。図１〜図７について説明した部分と同一部分は同一符号を用い、説明も省略する。まず、音声処理装置２０の音声入力部３から音声・非音声判別部５までは、第一の実施の形態と同じ構成であるが、録音データ記憶部６を備えていない。音声・非音声判別部５で非音声の場合は、以後の動作は行わない。つまり、音声と判別された場合のみ入力信号は音声認識部８、音声キーワード検知部１１に送られる。音声キーワード検知部１１は、キーワード辞書１０に登録された認識語句のみを受理するものである。この機能を備えた音声キーワード検知部１１の実現方法については、第一の実施の形態の通りである。

具体的な事例として、利用者、すなわち、話者２が「鮭定食調理完了（さけていしょくちょうりかんりょう）」と話したものとする。ここで、キーワード辞書１０に「調理完了（ちょうりかんりょう）」が登録されているとすると、話者２が「さけ…」と発声した瞬間、音声・非音声判別部５が「音声」と判別し、この音声は、音声認識部８に渡される。この時点で、音声認識部８は、予め音声認識用辞書１３に登録された認識語句を元に、音声認識を始める。第一の実施の形態においては、録音データ記憶部６で記憶させる手法を用いたが、本実施の形態においては、先行して音声認識を始めることで、早く認識結果を返すことができる。音声認識用辞書１３に登録された認識語句が「鮭定食（さけていしょく）」である場合、音声キーワード検知部１１でキーワードを検知するまでの区間、「さけていしょく、ちょうりかんりょう」における「さけていしょく」を音声認識部８は認識し、正解結果「鮭定食」を得ている。発声が持続し、「ちょうりかんりょう」まで発声が到達すると、キーワード辞書１０に登録された認識語句とマッチするため、音声キーワード検知部１１は、「キーワードを検知」した旨、認識結果判定部２１に通知する。認識結果判定部２１がこの通知を受け取って初めて、音声認識部８から出力された正解結果「鮭定食」を音声処理装置２０の結果として出力する。

本実施の形態においては、第一の実施の形態と同等の効果を得ることができるばかりか、それに較べて、録音データの記録を不要とするため、認識速度の点で優位性を発揮する。例えば、「辛子ソース付き味噌煮込みハンバーク定食、調理完了」との発声を利用者が行った場合、第一の実施の形態においては、「辛子ソース付き味噌煮込みハンバーク定食」分の音声認識速度だけ遅延して、結果を出力することになるが、本実施の形態においては、遅延なく結果を出力することができる。

もし、本実施の形態の音声処理装置２０を別な場面で用いたい場合、「調理完了」というキーワードが不適当な場合も想定される。この場合は、キーワード変更部１２を用いてキーワードを場面に合った語句に登録することも可能である。

つぎに、図１１に基づいて本発明の第四の実施の形態を説明する。本実施の形態における音声処理装置２２は、第三の実施の形態に対して、第二の実施の形態と同様に、話者認識用辞書１７と話者認識部１８とキーワード選択部１９を付加したものである。そのため、具体的な説明は省略するが、第二の実施の形態に対して、第三の実施の形態の特徴を付加することができ、処理の高速化を実現することができるものである。

本発明においては、音声・非音声判別部で音声と検知された音を話者認識する話者認識部と、話者認識用辞書とを持ち、認識指示部は、話者認識用辞書に登録された話者であることとキーワード辞書に登録された単語であると音声キーワード検知部で検知された時点で初めて録音データ記憶部に録音された音を音声認識する指示を音声認識部に出すようにしたので、使用者の特定を行う機能を備えてセキュリティ機能を強化することができる。

また、話者認識部と話者認識辞書とで特定された話者に応じたキーワードをキーワード辞書に登録するようにしたので、利用者毎に入力確定操作の発声を暗黙の内に変更可能となる。

さらに、キーワード辞書の登録内容を変更することも容易にできる。

さらにまた、キーワード辞書は、複数のキーワードを保存でき、多様な用途に対応することができる。

ついで、利用者の音声を含む音が入力可能な音声入力部と、音声入力部から入力された音をデジタル信号に変換するＡＤ変換部と、ＡＤ変換部から入力された音が音声か非音声かを判別する音声・非音声判別部と、予め１語のキーワードのみ保存できるキーワード辞書と、音声・非音声判別部で音声と判断された音が予めキーワード辞書に登録された単語であるか否かを検知する音声キーワード検知部と、音声認識を行うための音声認識用辞書と、音声・非音声判別部で音声と判断された音を音声認識用辞書を元に音声認識する音声認識部とを有する音声処理装置において、音声キーワード検知部でキーワード辞書に登録された単語であると検知された時点で音声認識部の結果を受理する機能を有する認識結果判定部を持つようにすることにより、高速処理が可能となるものである。

また、話者認識部と話者認識辞書とで特定された話者に応じたキーワードをキーワード辞書に登録するようにすることにより、多様な使用状態に対応させることができる。

本発明の第一の実施の形態を示す音声処理装置のブロック図である。 音声の音源情報の波形図である。 非音声の音源情報の波形図である。 音声と非音声とのスペクトル相関特徴量の最大値と頻度との関係を示す関係図である。 音声キーワード検知部の模式図である。 音声キーワード検知部から音声認識部までの動作を示すフローチャートである。 音声発声の時間経過と各部の動作の変位との関係を示す説明図である。 本発明の第二の実施の形態を示す音声処理装置のブロック図である。 利用者とキーワードとの関係を示す説明図である。 本発明の第三の実施の形態を示す音声処理装置のブロック図である。 本発明の第四の実施の形態を示す音声処理装置のブロック図である。

符号の説明

３ 音声入力部
５ 音声・非音声判別部
８ 音声認識部
９ 認識指示部
１０ キーワード辞書
１１ 音声キーワード検知部
１３ 音声認識用辞書

Claims (9)

1. 利用者の音声を含む音が入力可能な音声入力部と、
   前記音声入力部から入力された音をデジタル信号に変換するＡＤ変換部と、
   前記ＡＤ変換部から入力された音が音声か非音声かを判別する音声・非音声判別部と、
   前記音声・非音声判別部で音声と判断された音を録音データ記憶部に録音させる音声録音部と、
   予め１語のキーワードのみ保存できるキーワード辞書と、
   前記音声・非音声判別部で音声と判断された音が予め前記キーワード辞書に登録された単語であるか否かを検知する音声キーワード検知部と、
   前記録音データ記憶部に録音された音を音声認識部に渡す機能を有する認識指示部と、
   音声認識を行うための音声認識用辞書と、
   前記音声認識用辞書を元に前記認識指示部の指示に従って音声認識する音声認識部と、
   を有する音声処理装置において、
   前記認識指示部は、前記キーワード辞書に登録された単語であると前記音声キーワード検知部で検知された時点で初めて前記録音データ記憶部に録音された音を音声認識する指示を前記音声認識部に出すことを特徴とする音声処理装置。
2. 前記音声・非音声判別部で音声と検知された音を話者認識する話者認識部と、話者認識用辞書とを持ち、前記認識指示部は、前記話者認識用辞書に登録された話者であり、かつ、前記キーワード辞書に登録された単語であると前記音声キーワード検知部で検知された時点で初めて前記録音データ記憶部に録音された音を音声認識する指示を前記音声認識部に出すことを特徴とする請求項１記載の音声処理装置。
3. 前記話者認識部と前記話者認識辞書とで特定された話者に応じたキーワードを前記キーワード辞書に登録出来ることを特徴とする請求項２記載の音声処理装置。
4. キーワード辞書の登録内容を変更することができるようにしたことを特徴とする請求項２記載の音声処理装置。
5. 前記キーワード辞書は、複数のキーワードを保存できることを特徴とする請求項１、２、３及び４記載の音声処理装置。
6. 利用者の音声を含む音が入力可能な音声入力部と、
   前記音声入力部から入力された音をデジタル信号に変換するＡＤ変換部と、
   前記ＡＤ変換部から入力された音が音声か非音声かを判別する音声・非音声判別部と、
   予め１語のキーワードのみ保存できるキーワード辞書と、
   前記音声・非音声判別部で音声と判断された音が予め前記キーワード辞書に登録された単語であるか否かを検知する音声キーワード検知部と、
   音声認識を行うための音声認識用辞書と、
   前記音声・非音声判別部で音声と判断された音を前記音声認識用辞書を元に音声認識する音声認識部と、
   を有する音声処理装置において、
   前記音声キーワード検知部でキーワード辞書に登録された単語であると検知された時点で前記音声認識部の結果を受理する機能を有する認識結果判定部を持つことを特徴とする音声処理装置。
7. 前記音声・非音声判別部で音声と検知された音を話者認識する話者認識部と、話者認識用辞書とを持ち、前記認識指示部は、前記話者認識用辞書に登録された話者であり、かつ、前記キーワード辞書に登録された単語であると前記音声キーワード検知部で検知された時点で初めて前記音声認識部の結果を受理する機能を有する認識結果判定部を持つことを特徴とする請求項６記載の音声処理装置。
8. 前記話者認識部と前記話者認識辞書とで特定された話者に応じたキーワードを前記キーワード辞書に登録出来ることを特徴とする請求項７記載の音声処理装置。
9. キーワード辞書の登録内容を変更することができるようにしたことを特徴とする請求項７記載の音声処理装置。

Images