JPH0764595A - 音声認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、ハンドフリーマイクを用いても周
囲の雑音で装置が誤動作しないようにして、装置の操作
性を向上させ音声認識装置を提供することを目的として
いる。 【構成】 本発明において、話者監視部３は反射式セン
サ部１が検出した話者５０の位置がハンドフリーマイク
２に対して適切な位置になると、音声信号認識部４の音
声認識結果を有効とする指示をワークステーション６に
出す。ワークステーション６は認識結果有効指示が入力
されると、音声信号認識部４から入力される音声認識結
果に基づいた処理を行う。これにより、話者５０がハン
ドフリーマイク２に対して適切な位置にない場合で、ハ
ンドフリーマイク２により拾われた周囲雑音の認識結果
はワークステーション６により処理されないため、話者
５０にとって操作性のよいハンドフリーマイク２を用い
ても、装置が誤動作することがなくなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はハンドフリー型のマイク
ロフォン（マイクと略称する）を音声入力手段として備
えた音声認識装置に係わり、雑音が多い環境においても
高い音声認識性能を保持する構成に関する。

【０００２】

【従来の技術】従来、この種の音声認識装置は雑音が多
い環境で使用する場合に、前記雑音による装置の誤動作
を防止するために、話者の音声のみを拾って前記雑音を
拾いにくくしたハンドセットに埋め込んだマイクや、話
者の口に近接して用いる接話マイク等から音声信号を入
力する構成を有している。従って、話者はハンドセット
を持ったり、或いは説話マイクを装着しなければならな
いため、音声を入力する場合に不便さや不快感を感じて
しまうことがあり、装置の操作性が悪いという欠点があ
った。

【０００３】

【発明が解決しようとする課題】従来の音声認識装置で
は、雑音による装置の誤動作を防ぐため、ハンドセット
に埋め込んだマイクや接話マイク等を使用して話者から
の音声を入力していた。このため、話者はハンドセット
を持ったり、或いは接話マイクを装着しなければならな
いため、音声を入力する場合に不便さや不快感を感じて
しまうことがあり、装置の操作性が悪いという欠点があ
った。

【０００４】そこで本発明は上記の欠点を除去し、ハン
ドフリーマイクを用いても周囲の雑音で装置が誤動作し
ないようにして、装置の操作性を向上させた音声認識装
置を提供することを目的としている。

【０００５】

【課題を解決するための手段】本発明の音声認識装置
は、話者が喋る音声を収音して音声信号を得る音声入力
手段と、この音声入力手段より入力された音声信号を認
識する音声認識手段と、話者の位置を検出する位置検出
手段と、この位置検出手段により検出された話者の位置
から話者の位置が音声入力手段に対して適切な位置にな
ったか否かを判定する話者監視手段と、この話者監視手
段により前記話者が音声入力手段に対して適切な位置に
あると判定されると、前記音声認識手段を動作させる制
御手段とを具備した構成を有する。

【０００６】

【作用】本発明の音声認識装置は、音声入力手段は話者
が喋る音声を収音して音声信号を得る。音声認識手段は
前記音声入力手段より入力された音声信号を認識する。
位置検出手段は話者の位置を検出する。話者監視手段は
前記位置検出手段により検出された話者の位置から話者
の位置が音声入力手段に対して適切な位置になったか否
かを判定する。制御手段は前記話者監視手段により前記
話者が音声入力手段に対して適切な位置にあると判定さ
れると、前記音声認識手段を動作させる。これにより、
話者の位置が適切でなく、音声認識手段に話者の声でな
く周囲雑音が入力されている時、音声認識手段が動作し
ないため、フリーハンドマイクを用いても雑音による装
置の誤動作を防止することができる。

【０００７】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。図１は本発明の音声認識装置の一実施例を示し
たブロック図である。１は話者５０の位置を検出するセ
ンサ１０１を複数個配置して成る反射式センサ部、２は
話者５０から発生された音声を収音するハンドフリーマ
イク（単にマイクと称する）、３は話者５０の位置を監
視する話者監視部、４はマイク２から入力される音声信
号を音声認識する音声信号認識部、５はマイク２から入
力される音声信号のレベルを検出する音声パワー検出
部、６は音声認識部の認識結果に基づいて各種処理を行
うワークステーション、７は話者５０に対する指示など
を表示するディスプレイ、８は音声メッセージなどを出
力するスピーカである。

【０００８】次に本実施例の動作について説明する。一
般的に、話者５０はハンドフリーマンク２に向かって音
声を発生しようとした際に、無意識にマイク２に口を近
付ける傾向にある。一方、反射式センサ部１は発光部と
受光部が一体となった反射式センサ１０１を複数個配列
してなり、この反射式センサ１０１はその下側に話者５
０がいない時といる時とで受光部により受光される反射
光のレベルが異なるため、これを利用して話者５０の位
置を検出するものである。反射式センサ部１１１により
検出された話者５０の位置情報は話者監視部３に入力さ
れ、話者監視部３は話者５０がマイク２に対して適切な
位置まで近付いたか否かを監視し、近付いた場合にワー
クステーション６に対して音声信号認識部４から入力さ
れる音声認識結果が有効であることを知らせる。話者５
０はマイク２に近付くと所定の音声情報をハンドフリー
マイク２に向かって喋るため、マイク２はこの音声情報
を収音して音声信号認識部４と音声パワー検出部５に出
力する。音声信号認識部４は入力される音声信号を認識
して、認識結果をワークステーション６に出力する。

【０００９】ワークステーション６は入力された認識結
果に基づいて各種処理を行う。この時、音声パワー検出
部５はハンドフリーマイク２から出力される音声信号の
レベルを検出し、このレベルが適正値よりも大きいか、
又は小さい場合に、この情報をワークステーション６に
知らせる。ワークステーション６は音声パワー検出部５
から音声信号のレベルが低いと知らされた場合、話者５
０にもっと大きな声で喋るように指示する情報をディス
プレイ７に表示する。又、ワークステーション６は入力
音声信号のレベルが高すぎることを音声パワー検出部５
から知らされると、話者５０にもっと小さな声で喋るよ
うに指示するメッセージをディスプレイ７に表示する。
話者５０はディスプレイ７の表示を見て、その発声音の
レベルを調整する。ワークステーション６は、話者監視
部３が話者５０のマイク２に対する近接情報を知らせて
こない場合、ワークステーション６はスピーカ８から話
者５０にもっとマイク２に近付くように指示する音声メ
ッセージを出力すると共に、話者５０にマイク２にもっ
と近付くよう指示するメッセージをディスプレイ７に表
示する。

【００１０】図２は上記装置の動作を説明するフローチ
ャートである。ステップ２０１にて話者監視部３は反射
式センサ部１からの情報に基づいて、話者５０がマイク
２に近付いたか否かを判定し、近付かない場合はステッ
プ２０４にて話者５０にマイク２に近付くように指示す
る表示をワークステーション６よりディスプレイ７に出
してステップ２０１に戻る。話者５０がマイク２に近付
いた場合、ステップ２０２に進んで、話者監視部３は音
声信号認識部４の認識結果が有効であることをワークス
テーション６に知らせる。この際、ステップ２０３に
て、音声パワー検出部５は入力音声信号のレベルが適切
であるか否かを検出し、適切である場合はステップ２０
２に戻り、適切でない場合はワークステーション６より
話者５０に対して発生音のレベルを大きくするか又は小
さくするかを指示する表示をディスプレイ７に出して、
ステップ２０３へ戻る。尚、ステップ２０２にて、音声
信号認識部４を起動することにして、その代わり、ワー
クステーション６は音声信号認識部４から入力される認
識結果を常に有効とする構成を得ることもできる。或い
はステップ２０２にて音声信号認識部４を起動すると共
に、この音声信号認識部４の認識結果が有効であること
をワークステーション６に知らせる構成とすることもで
きる。

【００１１】本実施例によれば、話者５０がマイク２に
近接して、マイク２が話者５０が喋る音声信号のみを拾
える状態になるまで、ワークステーション６により音声
信号認識部４の音声認識結果を処理しないため、話者５
０がマイク２に近接していない状態でマイク２が周囲の
雑音を拾っていても、この時、ワークステーション６は
処理を行っていないので、ハンドフリーマイク２を用い
ても周囲の雑音によって装置が誤動作することを防止で
きる。しかも、話者５０の音声を収音するのにハンドフ
リーマイク２が用いられているため、話者５０はハンド
セットを持ったり、或いは接話マイクを装着する必要が
なくなるため装置の操作性を向上させることができる。

【００１２】尚、図２のところで説明したように話者５
０がハンドフリーマイク２に近接するまで音声信号認識
部４を起動しない構成としても同様の効果がある。又、
スピーカ８を省略して、ディスプレイ７だけで全ての情
報を表示してもよく、或いはディスプレイ７を省略し
て、スピーカ８にて全ての情報を音声出力してもよい。
更に、話者５０はディスプレイ７やスピーカ８からのメ
ッセージを見たり聞いたりすることにより、どの位置か
らとの程度の音量で音声を発生すればよいかを自然に学
習でき、経験を重ねるごとに音声認識の成績を向上させ
ることができる。

【００１３】図３は本発明の他の実施例を示した図であ
る。本例では、話者５０の位置を検出するセンサ部とし
て、赤外線発光器１０２と、赤外線受光器１０３を話者
５０の両サイドに近接して複数配列した方式のセンサを
使用している。このセンサは、片側が赤外線発光器１０
２を列状に複数配列してなる発光側センサ部１−１と、
もう一方側が赤外線受光器１０３を列状に複数配列して
なる受光側センサ部１−２とから構成されている。赤外
線発光器１０２と赤外線受光器１０３の間に、話者５０
が立っていると、赤外線発光器１０２から照射された赤
外線は前記話者に遮られて対向配置されている赤外線受
光器１０３に届かないため、列状に配置された赤外線受
光器１０３のどの位置に話者が立っているかを検出する
ことができる。

【００１４】話者５０はハンドフリーマイク２に音声情
報を入力しようと思うと、まず、発光側センサ部１−１
と受光側センサ部１−２の間に立つ。これにより、ａの
位置にある赤外線受光器１０３が遮光されるため、装置
本体９内の話者監視部は話者５０がａの位置まできてい
ると判定する。更に、話者５０が音声入力しようとし
て、ハンドフリーマイク２に顔を近付けた時、話者５０
の顔がｂの位置にある赤外線受光器１０３まで動いたと
すると、この受光器１０３が遮光されるため、装置本体
９内の話者監視部は話者５０が位置ｂのところまで近付
いたと判定する。装置本体９内の話者監視部は上記のよ
うに話者５０が更にｂの位置まで近付いたと判定する
と、話者５０は音声入力の意思があると判定して、装置
本体９内の音声信号認識部を起動したり、或いは認識さ
れた音声が有効であることを装置本体９内のワークステ
ーションに知らせて、音声認識結果に基づいた処理を行
う。これにより、前実施例と同様に、ハンドフリーマイ
ク２を用いても周囲の雑音などで装置が誤動作すること
を防止できる。尚、装置本体９は図１に示した話者監視
部、音声信号認識部、音声パワー検出部、ワークステー
ションなどを内蔵しており、前実施例と同様の構成を有
している。

【００１５】図４は本発明の他の実施例を示したブロッ
ク図である。本例では話者５０の位置を検出するセンサ
の代わりにビデオカメラ１１を取り付け、このビデオカ
メラ１１により得られた画像から話者監視部３が話者と
マイク間の距離を測定し、この測定情報に基づいて音声
信号認識部４を起動したり、或いはワークステーション
６に音声認識結果の有効指示などを出力するようになっ
ている。

【００１６】ここで、前記ビデオカメラ１１により得ら
れた画像から話者５０とハンドフリーマイク２間の測定
法について説明しておく。図４のビデオカメラ１１から
得られる画像は図５に示すようなものであるとする。ま
ず、予め装置の前に誰も人物がいない時の画像をとって
おき、これを２値化して話者監視部３内に記憶してお
く。その上で装置が動作している間は一定時間おきにビ
デオカメラ１１から画像をとって２値化する。そして、
この一定時間ごとに得られた２値化画像と記憶しておい
た２値化画像との差分を計算することによって、ハンド
フリーマイク２の前に話者が立っていた場合には、この
話者程度の大きさの物体が前記差分として検出される。
この検出された物体の位置を人物の初期位置ａとして話
者監視部３内に記憶しておく。その後、この物体の位置
がハンドフリーマイク２に近付く方向に動作して、位置
ｂに来た時、話者監視部３は話者がハンドフリーマイク
２に対して近付いたと判断し、前実施例と同様に音声認
識部４の音声認識結果が有効であることをワークステー
ション６に知らせて、音声認識結果に基づいた処理を行
わせる。従って、本例も前実施例と同様の効果がある。
尚、上記した画像認識方法は最も簡単な例を説明した
が、これ以外の方法によるものでも同様の効果がある。

【００１７】図６は本発明の更に他の実施例を示したブ
ロック図である。本例はビデオカメラ１１によって話者
５０の口元の映像をとり、得られた映像信号を話者監視
部３に出力するようになっている。これにより、話者５
０の口が動いていることを検出して、話者５０から音声
が発声されているか否かを判断して、装置の制御を行っ
ている。即ち、ビデオカメラ１１を話者５０の顔が写せ
るように配置し、話者５０の後部に青色の板１２を設け
る。ビデオカメラ１１から得られたＲＧＢ信号によりＢ
（青）の成分のみを除去すると、話者５０の背景が除去
された画像が話者監視部３に取り入れられる。この画像
データの例は図７に示すようになっている。話者監視部
３では水平方向の走査線毎に輝度の積分値を計算する。
これにより、画像の上部から話者の毛髪までの間ａは一
定の輝度が検出され、話者の毛髪部分ｂで輝度が暗くな
る。その後額部分ｃで輝度が明るくなり、眉ｄで暗く、
眼球ｆで暗くなると輝度の曲線が図７の右側に示すごと
く描かれ、口の部分ｈを検出することができる。これに
より、口がどこにあるのかを検出してその部分のみの画
像を原画像から切り取り、一定時間おきに得られる同様
な処理を施した口の部分の画像との差分を取って、口が
動いていることを検出する。このような処理によって、
話者の口の動きを話者監視部３で検出すると、話者監視
部３は音声を発声していると判断し、前実施例のように
音声信号認識部４の認識結果を有効とする情報をワーク
ステーション６に出力する。以降の動作は図１に示した
実施例と同様で同様の効果がある。

【００１８】図８は本発明の更に他の実施例を示したブ
ロック図である。本例ではハンドフリーマイク２を複数
本設けてあり、装置本体９内にある話者監視部より得ら
れた話者と装置との距離や位置関係によって、最も雑音
を拾わず話者の音声だけを拾う最適なマイク２を選択
し、このマイクから得られた音声信号を装置本体９内の
音声信号認識部により認識するようにしてある。図９は
ハンドフリーマイク２の配置図で、５本のハンドフリー
マイク２−１〜２−５が図のように配置されている。と
ころで、１つのマイク２だけでは良い音声が得られない
ような場合、例えば周囲の雑音が大きい場合などで、話
者５０の音声を本方式によって選択されたマイク２より
入力し、その他のマイク２からは周囲の雑音を入力し、
この雑音を反転して、話者の前記選択されたマイク２か
ら入力される音声信号と足し合わせることによるアクテ
ィブノイズキャンセル方式に応用することが可能であ
る。

【００１９】図９に示すように、複数のマイク群を装置
の周囲に配置し、前記話者監視部によって話者５０がど
の位置にいるかを検出し、どの位置に置かれたマイクか
ら話者５０の音声を入力したらよいかを判断し、最も良
い位置にあるマイクからの音声信号を前記音声信号認識
部に入力する。例えば、ハンドフリーマイク２からの音
声信号を音声信号入力部に入力し、ハンドフリーマイク
２−２、２−３からの音声信号は雑音収集用として用い
ることによって、アクティブノイズキャンセル処理を行
い、雑音のない音声信号を音声認識部により音声認識し
て、これを装置本体９内のワークステーションに送るこ
とができる。尚、この場合も話者５０が選択されたマイ
ク２に近付いたところで、前記ワークステーション６に
音声認識結果が有効であることを知らせる前実施例の方
式を併用することもでき、雑音による装置の誤動作を更
に完全に防止することができる。

【００２０】尚、図１、図３、図４、図６、図８に示し
た各実施例の構成を状況により適当に組み合わせて、話
者５０の音声のみを入力して、雑音による装置の誤動作
をより信頼性高く防止することができる。

【００２１】

【発明の効果】以上記述した如く本発明の音声認識装置
によれば、ハンドフリーマイクを用いても周囲の雑音で
装置が誤動作しないようにして、装置の操作性を向上さ
せことができる。

【図面の簡単な説明】

【図１】本発明の音声認識装置の一実施例を示したブロ
ック図。

【図２】図１に示した装置の動作を説明するフローチャ
ート。

【図３】本発明の他の実施例を示した図。

【図４】本発明の更に他の実施例を示したブロック図。

【図５】図３に示した装置に対する話者の動きを示した
図。

【図６】本発明の更に他の実施例を示したブロック図。

【図７】図６に示したビデオカメラにより撮影した画像
から話者の口の動きを検出する際の原理を説明する図。

【図８】本発明の更に他の実施例を示したブロック図。

【図９】図８に示したハンドフリーマイクの配置例を示
した図。

【符号の説明】

１…反射式センサ部 ２…ハンドフリ
ーマイク ３…話者監視部 ４…音声信号認
識部 ５…音声パワー検出部 ６…ワークステ
ーション ７…ディスプレイ ８…スピーカ １１…ビデオカメラ ５０…話者

Claims (9)

【特許請求の範囲】
1. 【請求項１】 話者が喋る音声を収音して音声信号を得
   る音声入力手段と、この音声入力手段より入力された音
   声信号を認識する音声認識手段と、話者の位置を検出す
   る位置検出手段と、この位置検出手段により検出された
   話者の位置から話者の位置が音声入力手段に対して適切
   な位置になったか否かを判定する話者監視手段と、この
   話者監視手段により前記話者が音声入力手段に対して適
   切な位置にあると判定されると、前記音声認識手段を動
   作させる制御手段とを具備したことを特徴とする音声認
   識装置。
2. 【請求項２】 話者が喋る音声を収音して音声信号を得
   る音声入力手段と、音声入力手段より入力された音声信
   号を認識する音声認識手段と、この音声認識手段により
   音声認識された結果を入力して各種処理を行う情報処理
   手段と、話者の位置を検出する位置検出手段と、この位
   置検出手段により検出された話者の位置から話者の位置
   が音声入力手段に対して適切な位置になったか否かを判
   定する話者監視手段と、この話者監視手段により前記話
   者が音声入力手段に対して適切な位置にあると判定され
   ると、前記音声認識手段の音声認識結果が有効であるこ
   とを前記情報処理手段に知らせることにより、この情報
   処理手段により前記音声認識結果を処理させる制御手段
   とを具備したことを特徴とする音声認識装置。
3. 【請求項３】 話者が喋る音声を収音して音声信号を得
   る音声入力手段と、この音声入力手段より入力された音
   声信号を認識する音声認識手段と、話者の口腔が動いて
   いることを検出する口腔検出手段と、この口腔検出手段
   により話者の口が動いていると検出されると、前記音声
   認識手段を動作させる制御手段とを具備したことを特徴
   とする音声認識装置。
4. 【請求項４】 話者が喋る音声を収音して音声信号を得
   る音声入力手段と、音声入力手段により入力された音声
   信号を認識する音声認識手段と、この音声認識手段によ
   り音声認識された結果を入力して各種処理を行う情報処
   理手段と、話者の口腔が動いていることを検出する口腔
   検出手段と、この口腔検出手段により話者の口が動いて
   いると検出されると、前記情報処理手段に前記音声認識
   手段の音声認識結果が有効であることを知らせて音声認
   識結果を処理させる制御手段とを具備したことを特徴と
   する音声認識装置。
5. 【請求項５】 前記話者監視手段により話者の位置が音
   声入力手段に対して適切でないと判定され場合に、話者
   にその位置を調整するように勧告する報知手段を具備し
   たことを特徴とする請求項１又は２記載の音声認識装
   置。
6. 【請求項６】 前記音声入力手段から入力される音声レ
   ベルを検出するレベル検出手段と、このレベル検出手段
   により前記音声入力手段から入力される音声信号のレベ
   ルが適切でない場合に、話者が喋る音声の大きさを調整
   することを話者に勧告する情報を報知する報知手段とを
   具備したこと特徴とする請求項１又は２記載の音声認識
   装置。
7. 【請求項７】 前記位置検出手段は話者を撮像する撮像
   手段を有し、この撮像手段により得られた話者の画像を
   処理することによって前記話者の位置を検出する画像処
   理手段とを具備したことを特徴とする請求項１又は２記
   載の音声認識装置。
8. 【請求項８】 前記音声入力手段は適切に配置された複
   数のマイクロフォンを有し、前記検出手段により検出さ
   れた話者の位置に基づいて前記複数のマイクロフォンの
   中の１つのマイクロフォンから得られた音声信号を音声
   認識手段に入力する選択手段とを具備したことを特徴と
   する請求項１又は２記載の音声認識装置。
9. 【請求項９】 前記音声入力手段は適切に配置された複
   数のマイクロフォンを有し、前記検出手段により検出さ
   れた話者の位置に基づいて前記複数のマイクロフォンの
   中の１つのマイクロフォンから得られた音声信号を音声
   認識手段に入力する選択手段と、この選択手段により選
   択されたマイクロフォン以外のマイクロフォンから入力
   された音声信号を用いて前記選択されたマイクロフォン
   に混入する雑音を除去する雑音除去手段とを具備したこ
   とを特徴とする請求項１又は２記載の音声認識装置。