JP3729179B2 - 音声入力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声入力装置に関し、特に、音声認識装置などの装置に安定した音声信号を供給する音声入力装置に関する。
【０００２】
【従来の技術】
音声認識装置に音声を入力する場合、音声入力装置として、ほとんどの場合マイクロフォンが使用される。マイクロフォンの種類としては、手持ち型、卓上型、ネクタイピン型、接話型（電話交換手などによって使用される頭に固定するタイプのもの）、受話器型などがある。これらのマイクロフォンのうち、接話型又は受話器型のマイクロフォンを使用した場合には、比較的良好な音声認識性能が得られる。接話型又は受話器型のマイクロフォンは、口とマイクロフォンとの間の距離が近いからである。
【０００３】
また、他の音声入力装置として、マイクロフォンとテレビカメラとを用いて、音声と口唇部分の画像あるいは顔画像とを取り込む装置が知られている（特開昭６０−１８８９９８号公報、特開昭６２−２３９２３１号公報など）。これらの装置は、口唇部分の画像を用いることにより、音声認識性能をさらに向上させることを狙ったものである。
【０００４】
図５は、音声認識装置用の従来の音声入力装置の構成を示す。図５において、話者が発声した音声は、マイクロフォンなどの音声入力部１１０によって音声−電気変換され、その電気信号は音声認識装置に出力される。また、話者の顔画像は、画像入力部１２０によって画像信号に変換される。口唇画像抽出部１３０は、この画像信号から口唇部分に対応する信号を抽出して、口唇部分に対応する信号のみを音声認識装置に出力する。
【０００５】
【発明が解決しようとする課題】
従来の音声入力装置は、話者の口唇部分とマイクロフォンとの間の距離が一定に保たれないため、安定した音声信号を音声認識装置に供給することができないという問題点があった。このため、音声認識装置において、話者の口唇部分とマイクロフォンとの間の距離のばらつきを考慮して入力音声信号を補正する必要があった。また、従来の音声入力装置では、話者の顔画像から口唇部分の画像を抽出する必要があった。しかし、特に、話者の顔が移動する場合には、かかる抽出を高い精度で実現することは困難であるという問題点があった。
【０００６】
本発明は、（１）安定した音声信号を音声認識装置に供給する音声入力装置を提供すること、（２）話者の顔画像から口唇部分の画像を抽出する処理が不要な音声入力装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の音声入力装置は、一端に、話者によって発声された入力音声を電気信号に変換して、当該電気信号を出力する音声入力手段と、前記音声入力手段近傍に配されて、前記音声入力手段に音声を入力する際の前記話者の口唇部分の画像を入力する画像入力手段とを有する受話器型の音声入力装置であって、前記画像入力手段から出力される話者の口唇部分の画像に基づいて話者の口唇部分の位置を特定する位置特定手段と、前記音声入力手段の位置に関連して設定される所定の位置と、前記位置特定手段によって特定された話者の口唇部分の位置とを比較し、当該比較結果を出力する位置比較手段と、前記位置比較手段による比較結果に基づいて話者の口唇部分の位置と前記所定の位置との間の空間的なずれを表示する表示手段とを備え、前記位置特定手段により特定された位置が、前記所定の位置と略一致した場合、話者の口唇部分の位置と音声入力手段との距離が略一定に保たれるように構成されている。
【０００８】
【発明の実施の形態】
話者によって発声された入力音声を電気信号に変換して、該電気信号を出力する音声入力手段と、該話者の口唇部分の位置と所定の位置との間の空間的なずれを示す情報を表示する表示手段とを備えており、これにより、上記目的が達成される。
前記音声入力装置は、前記話者の口唇部分の入力画像を電気信号に変換して、該電気信号を出力する画像入力手段をさらに備えていてもよい。
【０００９】
前記表示手段は前記話者の口唇部分を映すための鏡面を有し、該鏡面は前記所定の位置を規定するための印を有していてもよい。
【００１０】
前記所定の位置は、前記音声入力手段の位置に関連して決定されることが好ましい。
【００１１】
前記音声入力装置は、前記話者の口唇部分の入力画像を電気信号に変換して、該電気信号を出力する画像入力手段と、該画像入力手段から出力される電気信号に基づいて、該話者の口唇部分の位置を特定する位置特定手段と、該位置特定手段によって特定された該話者の口唇部分の位置と前記所定の位置とを比較し、比較結果を出力する位置比較手段とをさらに備えており、前記表示手段は、該位置比較手段による該比較結果に基づいて、該話者の口唇部分の位置と該所定の位置との間の空間的なずれを示す情報を表示してもよい。
【００１２】
前記所定の位置は、前記音声入力手段の位置及び前記画像入力手段の位置に関連して決定されることが好ましい。
【００１３】
前記音声入力装置は、音声処理装置に接続され、該音声処理装置は、前記話者の口唇部分の入力画像を電気信号に変換して、該電気信号を出力する画像入力手段を備えており、該音声処理装置は、該音声入力装置の該画像入力手段から出力される該電気信号に基づいて、該話者の口唇部分の位置を特定する位置特定手段と、該位置特定手段によって特定された該話者の口唇部分の位置と前記所定の位置とを比較し、比較結果を出力する位置比較手段とを備えており、該音声入力装置の前記表示手段は、該音声処理装置の該位置比較手段による該比較結果に基づいて、該話者の口唇部分の位置と該所定の位置との間の空間的なずれを示す情報を表示してもよい。
【００１４】
前記所定の位置は、前記音声入力手段の位置及び前記画像入力手段の位置に関連して決定されることが好ましい。
【００１５】
以下、本発明を実施例について説明する。
【００１６】
（第１の実施例）
図１（ａ）は、本発明の第１の実施例の音声入力装置の構成を示す。音声入力装置は、音声入力部１及び表示部２を有している。音声入力部１は、入力された音声を電気信号に変換して、その電気信号を外部装置（不図示）に出力する。音声入力部１としては、例えば、マイクロフォンが使用される。外部装置としては、例えば、音声処理装置や音声認識装置が考えられる。表示部２は、話者の口唇部分の位置と所定の位置との間の空間的なずれを表示する。その所定の位置は、話者の口唇部分の位置がその所定の位置に一致した場合に、音声入力部１に入力される音声が最も安定して得られるように予め決められる。例えば、表示部２は、話者の口唇部分を少なくとも映すための鏡などの鏡面を有し、その鏡面は所定の位置を規定するための印を有する。その印の形状は、話者が自分の口唇部分を一致させるべき所定の位置を認識できるものであればいかなる形状であってもよい。例えば、その印の形状は、十字形、楕円形、台形などとされる。話者は、鏡面に映った自分の口唇部分の位置が鏡面上の印に一致するように自分の口唇部分の位置を保ちつつ、発声する。このようにして、話者は自分の口唇部分の位置を音声入力部１に対して常に適切な位置に保つことができる。その結果、音声入力部１には常に安定した音声が供給されることとなる。
【００１７】
図１（ｂ）に示されるように、音声入力装置は、入力された画像を電気信号に変換して、その電気信号を外部装置（不図示）に出力する画像入力部３をさらに有していてもよい。画像入力部３としては、例えば、テレビカメラやＣＣＤ素子が使用される。入力された画像は、話者の口唇部分の画像を少なくとも含む。音声入力装置が音声認識装置などの外部装置に接続される場合において、話者の口唇部分の画像は、例えば、音声入力部１から出力される音声信号に基づいて、音声が存在する区間を検出するために利用される。これにより、ノイズ環境の下で、特に音楽や人声などによって騒音レベルが非定常である環境の下で、話者の周囲の騒音を音声であると誤認識する確率が低減される。音声入力装置が画像入力部３を有する場合には、音声入力装置は話者の口唇部分を少なくとも照射する光源部４をさらに有していることが好ましい。これは、話者の口唇部分の画像を正確に得るために十分な照度を確保するためである。
【００１８】
図２は、本発明の第１の実施例の音声入力装置の具体的な構成例を示す。この音声入力装置は、マイクロフォン６及び鏡９を含む筐体５を有している。マイクロフォン６には、話者によって発声された音声が入力される。鏡９は、話者が鏡９に映る自分の口唇部分の中心を鏡９の印１０に一致させた状態で発声した場合に、話者の口唇部分とマイクロフォン６との間の距離がほぼ一定に保たれるように配置される。話者の口唇部分とマイクロフォン６との間の適切な距離は、話者によらずほぼ一定の値であることが実験により確認されている。ただし、話者に応じて話者の口唇部分とマイクロフォン６との間の距離を微調整するために、鏡９の位置及び／又は角度を変更できるようにしてもよい。
【００１９】
この例では、筐体５には、話者の口唇部分を照射する発光ダイオード７、話者の口唇部分の画像を少なくとも入力するための受光部８がさらに設けられている。
【００２０】
次に、上述の構成を有する音声入力装置に音声を入力する方法を説明する。話者は、自分の口唇部分が鏡９に映り、かつ、その口唇部分の中心が鏡９上の印１０に一致するように、自分の口唇部分と筐体５との位置関係を調整する。話者が筐体５を手で自然に持った場合に、話者の口唇部分と筐体５との位置関係がほぼ一意に決定されるような形状を筐体５が有していることが好ましい。話者の口唇部分の位置と所定の位置との間の空間的なずれの自由度を一定以下に抑えるためである。例えば、通常の電話機の受話器に近似した形状は、上述した筐体５の好ましい形状に該当する。その後、話者は、鏡９に映る自分の口唇部分の中心が鏡９上の印１０に一致するように筐体５を保持しつつ、発声する。その発声の際、話者の口唇部分は発光ダイオード７によって照射され、受光部８がその話者の口唇部分の画像を得るのに十分な照度が確保される。
【００２１】
本発明の第１の実施例の音声入力装置によれば、話者の口唇部分と音声入力部１との間の距離を常にほぼ一定に保つことができるので、話者は自分の口唇部分の位置を音声入力部１に対して常に適切な位置に保つことができる。その結果、音声入力部１から常に安定した音声信号が出力されることとなる。これにより、音声入力装置が音声認識装置などの外部装置に接続される場合に、その外部装置は、話者の口唇部分と音声入力装置１との間の距離のばらつきを考慮して入力音声信号を補正する必要がない。
【００２２】
（第２の実施例）
図３は、本発明の第２の実施例の音声入力装置の構成を示す。音声入力装置は、音声入力部１、画像入力部３及び表示部２を有している。音声入力部１は、入力された音声を電気信号に変換して、その電気信号を外部装置（不図示）に出力する。画像入力部３は、入力された口唇部分の画像を電気信号に変換して、その電気信号を外部装置（不図示）に出力する。表示部２は、話者の口唇部分の位置と所定の位置との間の空間的なずれを表示する。その所定の位置は、話者の口唇部分の位置がその所定の位置に一致した場合に、音声入力部１から出力される音声信号が最も安定して得られ、かつ、画像入力部３に口唇部分の画像のみが入力されるように予め決められる。表示部２としては、例えば、液晶表示ディスプレイやＣＲＴが使用される。また、第１の実施例と同様にして、話者の口唇部分の画像を正確に得るために十分な照度を確保するために、音声入力装置は、話者の口唇部分を照射する光源部４をさらに有していていることが好ましい。
【００２３】
本発明の第２の実施例の音声入力装置では、画像入力部３には話者の口唇部分の画像のみが入力されるので、画像入力部３は、例えば、マトリクス状に配列された３２×３２個の光電変換素子を有していれば足りる。従来、話者の顔全体の画像を入力する場合には、通常、５１２×５１２個の光電変換素子が使用されていた。従って、話者の口唇部分の画像のみを画像入力部３に入力するようにしたことにより、光電変換素子の数を大幅に低減することができる。さらに重要なことは、光電変換素子の数を大幅に低減したことにより、音声入力部１から出力される音声信号の周波数帯域と画像入力部３から出力される画像信号の周波数帯域とがほぼ同一となることである。例えば、３２×３２画素を１００ｍ秒／１フレームで駆動する場合、１秒につき約１００００画素を駆動することになる。この場合、画像信号の周波数帯域は約１０ｋＨｚとなる。これにより、音声入力装置に接続される音声認識装置など外部装置において、音声信号と画像信号とを同一のプロセッサで処理することが可能になる。
【００２４】
音声入力装置は、位置特定部１１及び位置比較部１２をさらに有している。これらは、話者の口唇部分の位置と所定の位置との間の空間的なずれを表示部２上に表示するために使用される。
【００２５】
位置特定部１１は、画像入力部３から出力される話者の口唇部分の画像を表す電気信号に基づいて、その話者の口唇部分の位置を特定する。位置特定部１１において、話者の口唇部分の位置を特定する方法としては、パターンマッチングによる方法が簡便かつ効果的である。例えば、位置特定部１１は、唇の形状は楕円に近似するという知識を用いて、入力画像の濃淡情報から口唇部分の位置を特定する。より詳しくいうと、位置特定部１１は、図４に示すように口唇部分の外枠にほぼ一致する楕円関数を推定し、その推定された楕円関数の位置を口唇部分の位置として特定する。また、図５に示されるように、楕円関数を使用する代わりに台形関数を使用してもよい。
【００２６】
位置比較部１２は、位置特定部１１によって特定された口唇部分の位置と所定の位置とを比較し、比較結果を出力する。その所定の位置は、位置特定部１１によって特定された口唇部分の位置がその所定の位置に一致した場合に、話者の口唇部分と音声入力部１との間の距離がほぼ一定に保たれ、かつ、話者の口唇部分と画像入力部３との間の距離がほぼ一定に保たれるように位置比較部１２の中に予め記憶される。位置比較部１２によって得られる比較結果は、表示部２に供給される。表示部２は、その比較結果に基づいて、話者の口唇部分の位置と所定の位置との間の空間的なずれを表示する。
【００２７】
次に、表示部２において、話者の口唇部分の位置と所定の位置との間の空間的なずれを表示する態様を説明する。空間的なずれを表示するためには、一般的には、そのずれを３次元的に表示することが必要である。しかし、実際には、口唇部分が接する平面に垂直な方向における口唇部分の座標位置は実質的に一定であるとみなすことができるので、その空間的なずれは、２次元的に又は１次元的に示されれば十分である。
【００２８】
図６（ａ）〜（ｅ）は、話者の口唇部分の位置と所定の位置との間の空間的なずれを表示する態様の例を示す。図６（ａ）は、空間的なずれを単一のインジケータを用いて１次元的に表示する例を示す。例えば、空間的なずれが小さい場合には、インジケータの度数が増大し、空間的なずれが大きい場合には、インジケータの度数が減少するように表示すればよい。また、図６（ｂ）に示されるように、空間的なずれの方向性を示すために、複数のインジケータを用いて空間的なずれを表示してもよい。図６（ｃ）は、空間的なずれを２つの円の重なり度合を用いて２次元的に表示する例を示す。この例では、話者の口唇部分の位置は実線、所定の位置は破線で表示される。図６（ｄ）は、空間的なずれをそのずれの方向を示す矢印を用いて２次元的に表示する例を示す。この例では、上、下、右、左、右上、左上、右下、左下の８方向のうち、いずれかの方向を示す矢印が表示される。例えば、話者の口唇部分の位置が所定の位置に対し上方向にずれている場合には、下方向を示す矢印が表示される。図６（ｅ）は、画像入力部３によって入力された口唇部分の画像と所定の位置を示す印を表示することにより、両者の間の空間的なずれを２次元的に表示する例である。当業者であれば、上述のようにして空間的なずれを表示する代わりに、又は、それを表示することに加えて、空間的なずれを示す警告音を発生させることによっても同様の効果が得られることを理解するだろう。
【００２９】
図７は、本発明の第２の実施例の音声入力装置の具体的な構成例を示す。この音声入力装置は、マイクロフォン６、発光ダイオード７、受光部８を含む筐体５を有している。液晶表示ディスプレイ１３は、筐体５上に設けられてもよいが、話者が空間的なずれを容易に視認できるように筐体５とは分離されていることが好ましい。位置特定部１１及び位置比較部１２は、筐体５の内部に収納されているため、図７には示されていない。
【００３０】
次に、上述の構成を有する音声入力装置に音声を入力する方法を説明する。話者は、発声する前に、液晶表示ディスプレイ１３に表示される自分の口唇部分の位置と所定の位置との間の空間的なずれが実質的にゼロとなるように、自分の口唇部分と筐体５との位置関係を調整する。その後、話者は、液晶表示ディスプレイ１３に表示される自分の口唇部分の位置と所定の位置との間の空間的なずれが実質的にゼロとなるように筐体５を保持しつつ、発声する。その発声の際、話者の口唇部分は発光ダイオード７によって照射され、受光部８がその話者の口唇部分の画像を得るのに十分な照度が確保される。
【００３１】
本発明の第２の実施例の音声入力装置によれば、話者の口唇部分と音声入力部１との間の距離を常にほぼ一定に保つことができ、かつ、話者の口唇部分と画像入力部３との間の距離を常にほぼ一定に保つことができるので、話者は自分の口唇部分の位置を音声入力部１及び画像入力部３に対して常に適切な位置に保つことができる。その結果、音声入力部１から常に安定した音声信号が出力され、画像入力部３から常に安定した画像信号が出力されることとなる。また、画像入力部３には、口唇部分の画像のみが入力されるので、音声入力装置において、顔画像から口唇部分の画像を抽出する必要がない。これにより、精度の高い口唇部分の画像が得られる。
【００３２】
さらに、音声入力装置が音声認識装置などの外部装置に接続される場合に、その外部装置は、話者の口唇部分と音声入力部１との間の距離のばらつきを考慮して入力音声信号を補正する必要がない。また、その外部装置には口唇部分に対応する画像信号が供給されるので、外部装置において、口唇部分の画像を切り出す処理を行う必要がない。さらに、音声入力部１から出力される音声信号の周波数帯域と画像入力部３から出力される画像信号の周波数帯域とがほぼ同一とされるので、外部装置において、音声信号と画像信号とを同一のプロセッサで処理することが可能となる。
【００３３】
上述したように、本発明の第２の実施例の音声入力装置は、位置特定部１１及び位置比較部１２を有している。しかし、位置特定部１１及び位置比較部１２は必ずしも音声入力装置に含まれている必要はない。むしろ、位置特定部１１及び位置比較部１２は、音声認識装置などの外部装置に含まれることが好ましい。その理由は、そのような外部装置は、音声信号や画像信号を処理するためのプロセッサを有していることが通常であるので、そのプロセッサにより位置特定部１１及び位置比較部１２の処理を行うことが可能だからである。
【００３４】
図８は、位置特定部１１及び位置比較部１２が外部装置に含まれる場合の音声入力装置の構成を示す。図８に示される各部の機能及び動作は、第２の実施例と同様であるので、説明を省略する。
本発明によれば、話者の口唇部分と音声入力部１との間の距離を常にほぼ一定に保つことができるので、話者は自分の口唇部分の位置を音声入力部１に対して常に適切な位置に保つことができる。その結果、音声入力部１から常に安定した音声信号が出力される。
【００３５】
さらに、第２の実施例の音声入力装置によれば、話者の口唇部分と画像入力部３との間の距離をも常にほぼ一定に保つことができるので、話者は自分の口唇部分の位置を画像入力部３に対して常に適切な位置に保つことができる。その結果、画像入力部３から常に安定した画像信号が出力される。また、画像入力部３には、口唇部分の画像のみが入力されるので、画像入力部３において、顔画像から口唇部分の画像を抽出する必要がない。これにより、精度の高い口唇部分の画像を得ることができる。さらに、音声入力部１から出力される音声信号の周波数帯域と画像入力部３から出力される画像信号の周波数帯域とがほぼ同一とされるので、音声認識装置などの外部装置において、音声信号と画像信号とを同一のプロセッサで処理することが可能となる。
【００３６】
【発明の効果】
本発明によれば、話者の口唇部分と音声入力手段との間の距離を常にほぼ一定に保つことができるので、話者は自分の口唇部分の位置を音声入力部に対して常に適切な位置に保つことができ、その結果、音声入力部から安定した音声信号が出力することができる。
【図面の簡単な説明】
【図１】（ａ）は本発明の第１の実施例の音声入力装置の構成を示すブロック図
（ｂ）は本発明の第１の実施例の音声入力装置の構成を示すブロック図
【図２】本発明の第１の実施例の音声入力装置の具体的な構成例を示す図
【図３】本発明の第２の実施例の音声入力装置の構成を示すブロック図
【図４】話者の口唇部分の位置を特定する方法を説明する図
【図５】話者の口唇部分の位置を特定する方法を説明する図
【図６】（ａ）は話者の口唇部分の位置と所定の位置との間の空間的なずれの表示態様の例を示す図
（ｂ）は話者の口唇部分の位置と所定の位置との間の空間的なずれの表示態様の例を示す図
（ｃ）は話者の口唇部分の位置と所定の位置との間の空間的なずれの表示態様の例を示す図
（ｄ）は話者の口唇部分の位置と所定の位置との間の空間的なずれの表示態様の例を示す図
（ｅ）は話者の口唇部分の位置と所定の位置との間の空間的なずれの表示態様の例を示す図
【図７】本発明の第２の実施例の音声入力装置の具体的な構成例を示す図
【図８】本発明の第２の実施例の他の音声入力装置の構成を示すブロック図
【図９】従来の音声入力装置の構成を示すブロック図
【符号の説明】
１ 音声入力部
２ 表示部
３ 画像入力部
４ 光源部
１１ 位置特定部
１２ 位置比較部

Claims (3)

1. 一端に、話者によって発声された入力音声を電気信号に変換して、当該電気信号を出力する音声入力手段と、前記音声入力手段近傍に配されて、前記音声入力手段に音声を入力する際の前記話者の口唇部分の画像を入力する画像入力手段とを有する受話器型の音声入力装置であって、
   前記画像入力手段から出力される話者の口唇部分の画像に基づいて話者の口唇部分の位置を特定する位置特定手段と、
   前記音声入力手段の位置に関連して設定される所定の位置と、前記位置特定手段によって特定された話者の口唇部分の位置とを比較し、当該比較結果を出力する位置比較手段と、
   前記位置比較手段による比較結果に基づいて話者の口唇部分の位置と前記所定の位置との間の空間的なずれを表示する表示手段とを備え、
   前記位置特定手段により特定された位置が、前記所定の位置と略一致した場合、話者の口唇部分の位置と音声入力手段との距離が略一定に保たれるように構成されている音声入力装置。
2. 前記表示手段は、空間的なずれ量又は方向性の少なくとも1つを示す請求項１に記載の音声入力装置。
3. 前記表示手段は前記空間的なずれを規定するための印を有する請求項１に記載の音声入力装置。

Images