JP4581789B2 - 音声認識装置および方法 - Google Patents

Description

本発明は、雑音環境下において人の発話音声を正しく認識する装置および方法に関する。

複数の異なる背景雑音の下で雑音適応させた複数の音響モデルを備え、音声認識に先立って雑音の性質を検出し、検出した雑音の性質に対応する音響モデルを選択し、入力した発話者の音声を音響モデルと照合して音声認識を行うようにした音声認識装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００３−２４１７８８号公報

しかしながら、従来の音声認識装置では、予め設定した背景雑音以外の雑音環境で使用すると、その雑音環境に対応する音響モデルを記憶していないので認識不能や誤認識が多くなり、認識性能が低下するという問題がある。

人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクロフォンと、人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクロフォンとを用い、
予め設定した各雑音パターンに対応づけて非接触型マイクロフォン用の音響モデルを記憶しておくとともに、接触型マイクロフォン用の音響モデルを記憶しておき、予め設定した種々の雑音パターンの中から現在の雑音のパターンを判別して、非接触型マイクロフォンで集音した音声を現在の雑音パターンに対応する非接触型マイクロフォン用音響モデルを用いて認識するとともに、接触型マイクロフォンで集音した音声を接触型マイクロフォン用音響モデルを用いて認識する音声認識方法であって、
現在の雑音パターンが予め設定した種々の雑音パターンの中に存在しない新しい雑音パターンであると判別された場合には、非接触型マイクロフォンと接触型マイクロフォンで発話音声を集音し直し、接触型マイクロフォンで集音した音声を認識するとともに、その認識結果に基づいて非接触型マイクロフォンで集音した音声のラベリングを行い、新しい雑音パターンに対応する非接触型マイクロフォン用音響モデルを生成して記憶する。

本発明によれば、あらゆる雑音環境下において人の発話音声の認識率と認識精度を向上させることができる。

本願発明の音声認識装置を車両に搭載して、乗員、特に運転者の発話音声を認識する一実施の形態を説明する。なお、本願発明の音声認識装置は車両用に限定されず、あらゆる用途に適したものである。

図１は一実施の形態の構成を示す図である。非接触型マイクロフォン（以下、単に非接触型マイクと呼ぶ）１は、乗員の発話音声の空気伝導音を集音して電気信号に変換するマイクであり、乗員の人体に接触させることなく発話音声を集音する。非接触型マイク１には、エレクトレットコンデンサマイク（ＥＣＭ）などの一般的な形式のマイクを用いることができる。

この一実施の形態では、図２に示すように、非接触型マイク１を車室天井に設置されたマップランプ１２の近傍に設置する。なお、非接触型マイク１の設置場所はこの一実施の形態の設置場所に限定されず、例えばステアリングホイールやインストルメントパネルなど、乗員の発話音声を集音可能な場所であればどこでもよい。

接触型マイクロフォン（以下、単に接触型マイクと呼ぶ）２は、乗員の皮膚に直接、あるいは衣服を介して接触させ、乗員の発話による体内伝導音を集音して電気信号に変換するマイクである。接触型マイク２には骨伝導型マイクやＮＡＭ（Non-Audible Murmur）マイクを用いることができるが、この一実施の形態ではＮＡＭマイクを用いた例を示す。

なお、骨伝導型マイクは、発話による頭蓋骨の振動を集音するとともに、頭蓋骨に振動を与えて聴覚神経に直接、音声を伝えるマイクである。近年、携帯型電話機などに送受話用として実用化されている。

ＮＡＭマイクは、人体の皮膚に直接、接触させるか、または比較的薄い衣服を介して皮膚に接触させ、乗員の発話音声の体内伝導音を集音するマイクであり、日本音響学会講演論文集、２００４年３月、pp４５２〜４５３などに紹介されている。ＮＡＭマイクは、人間の皮膚と音響インピーダンスがよく似たシリコーンなどの材料でエレクトレット膜をコーティングして形成され、特に１０００Ｈｚ以下の周波数領域におけるＳ／Ｎ特性が一般的な非接触型マイクよりも優れ、人間の非可聴な“つぶやき”や“独り言”を集音することができるという特徴を有している。

この一実施の形態では、図３に示すように、接触型マイク２をステアリングホイール１３のスポーク部に設置する。この位置は、乗員が運転中に左手をステアリングホイール１３から離すことなく、左手親指を接触可能な位置である。

接触型マイク２の設置場所はこの一実施の形態に限定されず、乗員が運転中に容易に接触可能な位置であればどこでもよい。また、この一実施の形態では乗員の手の指を接触させる接触型マイクを例に上げて説明するが、乗員の体内伝導音を集音しやすい部位、例えば、肩、背中上部、胸部に接触させるために、シートバック上部、ヘッドレスト、シートベルトなどに接触型マイクを設置してもよい。

ＰＴＴ（Push to talk）スイッチ３は音声認識を開始するときに乗員が操作するスイッチである。このＰＴＴスイッチ３がオンすると、音声認識装置は発話音声を集音して音声認識処理を行う。また、入力取消スイッチ４は、音声認識のために入力した音声を取り消すために乗員が操作するスイッチである。音声認識装置による音声認識結果はスピーカー１１により放送されるが、放送された認識結果が乗員の発話した内容と異なる場合は、この入力取消スイッチ４を操作して入力音声を取り消すことができる。

この一実施の形態では、図３に示すように、ＰＴＴスイッチ３と入力取消スイッチ４をステアリングホイール１３のスポーク部に設置する例を示すが、これらのスイッチの設置場所はこの一実施の形態に限定されず、乗員が運転中に容易に操作可能な位置であればどこでもよい。

車速センサー５は車両の走行速度を検出する。ワイパースイッチ６はワイパーを作動させ、払拭速度を選択するための操作スイッチである。また、ファンスイッチ７は送風用ファンを作動させ、送風量を選択するための操作スイッチである。

車速とワイパーおよび送風用ファンの作動状態は車室内で発生する雑音の要因となるものであり、車速が低いか高いか、ワイパーの払拭速度、送風用ファンによる送風量に応じて車室内の雑音の周波数分布とレベル、すなわち雑音パターンが変化する。そこで、この一実施の形態では、車速センサー５、ワイパースイッチ６およびファンスイッチ７により車両の状態を検出し、種々の車両状態ごとに予め設定した雑音パターンの中から、検出した車両状態に対応する車室内の雑音パターンを判別する。

なお、車両の状態は、この一実施の形態の検出手段で検出された状態に限定されるものではなく、例えば、ナビゲーション装置により市街地走行と郊外での走行を検出したり、車速とブレーキスイッチにより渋滞時の走行を検出し、種々の走行環境下における車両の状態とそれに対応する車室内の雑音パターンを加えてもよい。

非接触型マイク用音響モデル記憶装置８は、乗員と非接触型マイク１との間の音声の空間伝達特性を反映した音響モデル、すなわち種々の車室内の雑音パターン下で発話した音素パターンをモデル化し、雑音パターンに対応づけて非接触型マイク用音響モデルを記憶している。この非接触型マイク用音響モデルと後述する言語辞書は、非接触型マイク１により集音した音声を認識するために用いられる。

接触型マイク用音響モデル記憶装置９は、乗員と接触型マイク２との間の音声の体内伝達特性を反映した音響モデル、すなわち車室内の種々の雑音パターンの影響の少ない音素パターンをモデル化した接触型マイク用音響モデルを記憶している。この接触型マイク用音響モデルと後述する言語辞書は、接触型マイク２により集音した音声を認識するために用いられる。

言語辞書記憶装置１０は、音声による車両操作用、あるいは音声による車両制御用の言葉と、その言葉に対応する操作機能や制御機能を記憶している。乗員が発話した音声を、まず音響モデルの音素パターンと照合して例えば“ら”、“い”、“と”などの音素単位で認識し、次に複数の音素のつながりを言語辞書の例えば“ライト”などの言葉と照合して発話音声を言葉として認識する。

この一実施の形態では、音響モデルと言語辞書を用いて公知のＨＭＭ(Hidden Markov Model；隠れマルコフモデル）に基づく音声認識手法により音声認識を行う。なお、音声認識手法は一実施の形態の手法に限定されず、種々の手法を用いることができる。

スピーカー１１は音声認識のための案内放送を行うためのもので、乗員の発話音声を認識した結果を放送して乗員に確認するためにも用いる。

音響モデル学習用記憶装置１２は、車両の状態に応じて予め設定された雑音パターンを記憶するとともに、新しい雑音パターン下における非接触型マイク１の音響モデルを学習する際に、新しい雑音パターンと音響モデルとを対応づけて一時的に記憶するための記憶装置である。なお、車両の状態や走行環境ごとに類別して記憶することによって、検索処理を容易にすることができる。

処理装置１５はＣＰＵ１５ａ、ＲＯＭ１５ｂ、ＲＡＭ１５ｃ、増幅器１５ｄ、Ａ／Ｄコンバーター１５ｅなどから構成され、後述する音声認識プログラムを実行して非接触型マイク１と接触型マイク２により集音された乗員の発話音声を認識する。なお、増幅器１５ｄは非接触型マイク１および接触型マイク２から出力される音声信号を増幅し、Ａ／Ｄコンバーター１５ｅは音声信号をデジタル信号に変換する。

図４は一実施の形態の音声認識処理プログラムを示すフローチャートである。処理装置１５はＰＴＴスイッチ３がオンされるとこの処理プログラムの実行を開始する。ステップ１において非接触型マイク１で発話音声を集音する。

続くステップ２において雑音パターンを判別する。上述したように、車速センサー５、ワイパースイッチ６およびファンスイッチ７により車両の状態を検出し、種々の車両状態ごとに予め設定した雑音パターンの中から、検出した車両状態に対応する車室内の現在の雑音パターンを判別する。

ステップ３で予め設定した雑音パターンの中に現在の車両状態に対応する雑音パターンが存在するか否かを判別する。現在の車両状態に対応する雑音パターンが存在する場合にはステップ４へ進み、新しい雑音パターンである場合はステップ８へ進む。雑音パターンに応じた音響モデルを用いて音声認識処理を行わないと、誤認識や認識不能になる可能性が高く、音声認識性能が著しく低下してしまう。したがって、現在の雑音パターンが予め設定された雑音パターンであれば、その音響モデルが記憶されているが、新しい雑音パターンであれば音響モデルを新たに生成する必要がある。

まず、予め設定した雑音パターンの中に現在の車両状態に対応する雑音パターンが存在する場合について説明する。ステップ４において、記憶装置８に記憶されている非接触型マイク用音響モデルの中から現在の雑音パターンに対応する音響モデルを選択する。続くステップ５で非接触型マイク用音響モデルと言語辞書を用いて音声認識処理を実行する。続くステップ６では認識結果の言葉を放送して乗員に確認する。

ステップ７において入力取消スイッチ４がオンしているか否か、つまり乗員が音声入力を取り消す操作をしたか否かを確認し、音声入力の取消操作があればステップ１へ戻って上述した処理を繰り返す。音声入力の取消操作がなければステップ１０へ進み、音響モデルの学習処理を行う。音響モデルの学習処理については後述する。

次に、予め設定した雑音パターンの中に現在の車両状態に対応する雑音パターンがなく、新しい雑音パターンである場合について説明する。ステップ８において「接触型マイクを利用してもう一度お話しください」という案内放送を行い、接触型マイク２を用いた発話を促す。そして、続くステップ９で非接触型マイク１と接触型マイク２で乗員の発話音声を集音し、音素パターンをモデル化して音響モデルを生成し、雑音パターンに対応づけて音響モデル学習用記憶装置１２へ記憶する。

ステップ５で接触型マイク２で集音した音声に対して認識処理を行い、ステップ６で認識結果の言葉を放送して乗員に確認する。ステップ７において乗員が音声入力の取消操作をしたか否かを確認し、取消操作があればステップ１へ戻って上述した処理を繰り返し、取消操作がなければステップ１０へ進む。

ステップ１０において、音響モデル学習用記憶装置１２に記憶されている音響モデルの中で、同一の雑音パターンに対する音響モデルのデータ量が所定量以上、蓄積されたか否かを確認する。少ない蓄積データに基づいて新しい音響モデルを生成しても、雑音パターンに対する正確な音響モデルを生成することは難しいため、同一の雑音パターンに対する音響モデルのデータ量が正確な音響モデルを生成可能な量に達してから、音響モデルの学習処理を行う。

ステップ１１において図５に示す学習処理サブルーチンを実行する。図５のステップ２１において新しい雑音パターンに対する非接触型マイク用音響モデルの学習処理を行う。まず、音響モデル学習用記憶装置１２に記憶されている新しい雑音パターンに対する非接触型マイク用音響モデルの中で、データ量が所定量を超えた音響モデルのデータを読み出す。次に、接触型マイク２で集音したＳ／Ｎの高い音声の波形と音素データとの関係に基づいて、非接触型マイク１で集音したＳ／Ｎの低い音声の波形と音素データとを関連づける、いわゆる“ラベリング”を行って音素パターンを生成する。ステップ２２ではこの音素パターンを新しい雑音パターンに対する非接触型マイク用音響モデルとして記憶装置８に記憶し、登録する。

このように、一実施の形態では、人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクと、人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクとを用い、予め設定した各雑音パターンに対応づけて非接触型マイク用の音響モデルを記憶しておくとともに、接触型マイク用の音響モデルを記憶しておき、予め設定した種々の雑音パターンの中から現在の雑音のパターンを判別して、非接触型マイクで集音した音声を現在の雑音パターンに対応する非接触型マイク用音響モデルを用いて認識するとともに、接触型マイクで集音した音声を接触型マイク用音響モデルを用いて認識する場合に、現在の雑音パターンが予め設定した種々の雑音パターンの中に存在しない新しい雑音パターンであると判別された場合には、非接触型マイクと接触型マイクで発話音声を集音し直し、接触型マイクで集音した音声を認識するとともに、その認識結果に基づいて非接触型マイクで集音した音声のラベリングを行い、新しい雑音パターンに対応する非接触型マイク用音響モデルを生成して記憶するようにした。これにより、あらゆる雑音環境下において人の発話音声の認識率と認識精度を向上させることができる。

また、一実施の形態によれば、音声認識装置を車両に搭載し、非接触型マイクを車室内の乗員の発話音声を集音可能な場所に設置するとともに、接触型マイクを車室内の乗員が接触可能な場所に設置するようにしたので、あらゆる走行環境下で乗員の運転操作の妨げにならずに乗員の発話音声の認識性能を向上させることができる。

一実施の形態によれば、現在の車両の状態を検出し、予め設定した車両状態ごとの雑音パターンの中から現在の車両状態に対応する雑音パターンを判別するようにしたので、車両状態に応じた現在の雑音パターンを正確に特定して現在の雑音パターンに応じた音響モデルを正しく選択することができ、音声認識性能を向上させることができる。

一実施の形態によれば、接触型マイクにＮＡＭマイクを用いるようにしたので、車両走行時の雑音レベルが高い１０００Ｈｚ以下の周波数帯域におけるＳ／Ｎ特性を改善することができ、車両に最適な音声認識装置とすることができる。
また、骨伝導型マイクは頭部の頭蓋骨に当接する部位に押し当てる必要があるが、ＮＡＭマイクは頭蓋骨に当接する部位に限定されず、顔、首、胸部、背中上部などに接触させて人の発話音声を集音できるため、骨伝導マイクと比べて接触部位の制約が少ない。したがって、車両運転者の音声操作に用いても、運転者を拘束して運転操作に影響を与えることがない。

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、処理装置５が雑音パターン判別手段および認識処理手段を、記憶装置８が非接触型マイクロフォン用音響モデル記憶手段を、記憶装置９が接触型マイクロフォン用音響モデル記憶手段を、音響モデル学習用記憶装置１２が雑音パターン記憶手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する際、上記の実施の形態の記載事項と特許請求の範囲の記載事項との対応関係になんら限定も拘束もされない。

上述した一実施の形態では、車両の状態や走行環境を検出し、予め設定した雑音パターンの中から車両状態や走行環境に基づいて現在の雑音パターンを判別する例を示したが、予め想定される種々の雑音パターンを収録して記憶しておき、ＰＴＴスイッチ３のオン直後に非接触型マイク１で集音した人の声を含まない音、すなわち雑音パターンを記憶されている雑音パターンと照合して現在の雑音パターンを判別するようにしてもよい。これにより、現在の雑音パターンを正確に特定して現在の雑音パターンに応じた音響モデルを正しく選択することができ、音声認識性能を向上させることができる。

一実施の形態の構成を示す図である。 非接触型マイクの設置場所を示す図である。 接触型マイクの設置場所を示す図である。 一実施の形態の音声認識処理を示すフローチャートである。 一実施の形態の音響モデル学習処理を示すフローチャートである。

符号の説明

１ 非接触型マイク
２ 接触型マイク
３ ＰＴＴスイッチ
４ 入力取消スイッチ
５ 車速センサー
６ ワイパースイッチ
７ ファンスイッチ
８ 非接触型マイク用音響モデル記憶装置
９ 接触型マイク用音響モデル記憶装置。
１０ 言語辞書
１１ スピーカー
１２ 音響モデル学習用記憶装置
１５ 処理装置

Claims (7)

1. 人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクロフォンと、
   人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクロフォンと、
   予め設定した種々の雑音パターンの中から現在の雑音のパターンを判別する雑音パターン判別手段と、
   前記予め設定した各雑音パターンに対応づけて前記非接触型マイクロフォン用の音響モデルを記憶する非接触型マイクロフォン用音響モデル記憶手段と、
   前記接触型マイクロフォン用の音響モデルを記憶する接触型マイクロフォン用音響モデル記憶手段と、
   前記非接触型マイクロフォンで集音した音声を現在の雑音パターンに対応する前記非接触型マイクロフォン用音響モデルを用いて認識するとともに、前記接触型マイクロフォンで集音した音声を前記接触型マイクロフォン用音響モデルを用いて認識する認識処理手段とを備えた音声認識装置であって、
   前記認識処理手段は、前記雑音パターン判別手段により現在の雑音パターンが前記予め設定した種々の雑音パターンの中に存在しない新しい雑音パターンであると判別された場合には、前記非接触型マイクロフォンと前記接触型マイクロフォンで発話音声を集音し直し、前記接触型マイクロフォンで集音した音声を認識するとともに、その認識結果に基づいて前記非接触型マイクロフォンで集音した音声のラベリングを行い、新しい雑音パターンに対応する非接触型マイクロフォン用音響モデルを生成して前記非接触型マイクロフォン用音響モデル記憶手段に記憶することを特徴とする音声認識装置。
2. 請求項１に記載の音声認識装置において、
   前記認識処理手段は、新しい雑音パターン下で前記非接触型マイクロフォンにより集音した音声のデータ量が所定量を超えたら、前記接触型マイクロフォンで集音した音声の認識結果に基づいて前記非接触型マイクロフォンで集音した音声のラベリングを行い、新しい雑音パターンに対応する非接触型マイクロフォン用音響モデルを生成して前記非接触型マイクロフォン用音響モデル記憶手段に記憶することを特徴とする音声認識装置。
3. 請求項１または請求項２に記載の音声認識装置において、
   前記雑音パターン判別手段は、予め種々の雑音パターンを記憶する雑音パターン記憶手段を有し、前記非接触型マイクロフォンで集音した雑音を前記雑音パターン記憶手段に記憶されている雑音パターンと照合して現在の雑音パターンを判別することを特徴とする音声認識装置。
4. 請求項１または請求項２に記載の音声認識装置を車両に搭載し、
   前記非接触型マイクロフォンを車室内の乗員の発話音声を集音可能な場所に設置するとともに、前記接触型マイクロフォンを車室内の乗員が接触可能な場所に設置することを特徴とする音声認識装置。
5. 請求項４に記載の音声認識装置において、
   前記雑音パターン判別手段は、現在の車両の状態を検出し、予め設定した車両状態ごとの雑音パターンの中から車両状態に対応する雑音パターンを判別することを特徴とする音声認識装置。
6. 請求項１〜５のいずれかの項に記載の音声認識装置において、
   前記接触型マイクロフォンにＮＡＭ（Non-Audible Murmur）マイクを用いることを特徴とする音声認識装置。
7. 人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクロフォンと、人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクロフォンとを用い、
   予め設定した各雑音パターンに対応づけて前記非接触型マイクロフォン用の音響モデルを記憶しておくとともに、前記接触型マイクロフォン用の音響モデルを記憶しておき、予め設定した種々の雑音パターンの中から現在の雑音のパターンを判別して、前記非接触型マイクロフォンで集音した音声を現在の雑音パターンに対応する前記非接触型マイクロフォン用音響モデルを用いて認識するとともに、前記接触型マイクロフォンで集音した音声を前記接触型マイクロフォン用音響モデルを用いて認識する音声認識方法であって、
   現在の雑音パターンが前記予め設定した種々の雑音パターンの中に存在しない新しい雑音パターンであると判別された場合には、前記非接触型マイクロフォンと前記接触型マイクロフォンで発話音声を集音し直し、前記接触型マイクロフォンで集音した音声を認識するとともに、その認識結果に基づいて前記非接触型マイクロフォンで集音した音声のラベリングを行い、新しい雑音パターンに対応する非接触型マイクロフォン用音響モデルを生成して記憶することを特徴とする音声認識方法。

Images