JPH11352987A

JPH11352987A - 音声認識装置

Info

Publication number: JPH11352987A
Application number: JP10155500A
Authority: JP
Inventors: Ryuji Yamaguchi; 竜司山口; Tokukazu Endo; 徳和遠藤; Masaaki Ichihara; 雅明市原
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1998-06-04
Filing date: 1998-06-04
Publication date: 1999-12-24

Abstract

(57)【要約】【課題】音声認識装置における手動のトークスイッチ
を不要とする。【解決手段】カメラ１６は発話者２４を撮影する。画
像処理ＥＣＵ１８は、撮影画像を処理して、発話者２４
の外観面の状態から、発声の有無を判定する。例えば、
顔の向き、唇の動き、視線の向きといった外観状態から
発声の有無が分かる。発声中と判断されたときに、音声
認識ＥＣＵ１４が、マイクロホン１２からの入力信号を
対象として音声認識処理を行う。発話者２４の外観状態
を利用することで、発話者２４が煩わしいスイッチ操作
を行わなくとも、発声の有無が分かり、音声認識機能を
備える機器の操作性が向上する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識装置に関
し、特に、手動のトークスイッチが不要な音声認識装置
に関する。

【０００２】

【従来の技術】音声認識装置は、電子機器などの操作性
を向上する装置として周知である。例えば、車載ナビゲ
ーション装置に備え付ける音声認識ユニットが実用化さ
れている。運転者が発した音声コマンドは、マイクロホ
ンに入力される。入力音声が音声認識処理部で解析さ
れ、運転者が何を話したのかが認識される。そして、認
識結果に従ってナビゲーション装置が動作する。

【０００３】従来、この種の音声認識装置には、音声入
力の際に運転者に操作されるトークスイッチが設けられ
ている。トークスイッチには、発話開始スイッチとプレ
ストークスイッチがある。運転者は、発声の直前に発話
開始スイッチを押す。スイッチ操作後にマイクロホンに
入力された信号に対して認識処理が行われる。特開平１
−２９７３３３号公報には、トークスイッチを車室内の
コンソールボックスに取り付けることが提案されてい
る。一方、プレストークスイッチの場合は、運転者は、
発声の開始から終了までスイッチを押し続ける。

【０００４】

【発明が解決しようとする課題】従来技術では、運転者
は発声の度に毎回トークスイッチを操作しなければなら
ず、このようなスイッチ操作は煩わしいものである。特
に、運転操作中にトークスイッチを操作するのは煩雑な
作業である。本来は、何らの手動操作を行うことなく、
音声を発するだけで、その音声が認識されることが好ま
しい。そのためには、いわゆる常時認識を行うこと、す
なわち、マイクロホンの入力信号を監視して、入力信号
に音声が含まれているか否かを常時検出することが考え
られる。しかしながら、車内では、同乗者の会話、カー
ステレオからの音楽、ロードノイズ、風切り音、エンジ
ン音を含む各種の雑音がある。このような環境の下で
は、現実問題として常時認識を行うことは難しい。この
ような事情から、従来の音声認識装置では、トークスイ
ッチを設けることが必要であった。

【０００５】なお、ここでは音声認識装置が車両に備え
られる場合を取り上げて従来技術を説明したが、車両用
に限られず、その他の環境で使われる音声認識装置にも
同様の問題がある。

【０００６】本発明は上記課題に鑑みてなされたもので
あり、その目的は、スイッチの手動操作がなくとも、発
話者が発声したことを検出できる音声認識装置を提供す
ることにある。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、発話者が発した音声を認識する音声認識
装置において、発話者の外観状態を検出する状態検出手
段と、検出された外観状態に基づいて、発話者が音声を
発したか否かを判定する判定手段と、を含み、前記判定
手段により発話者が音声を発したと判定されたときに音
声認識を行うことを特徴とする。

【０００８】本発明によれば、発話者の外観状態に基づ
いて、発声の有無が検出される。例えば、発話者の顔が
マイクの方を向いたり、発話者の唇が動いたり、発話者
の視線がマイクを見るといったような外観状態は、発話
者が発声したことを示す。このような外観状態が検出さ
れたときに、音声認識が行われる。従って、本発明によ
れば、発話者の外観状態を利用することで、運転者がス
イッチ等の手動操作を何ら行わなくとも、発声の有無を
判定することができる。その結果、音声認識装置が備え
られる機器の操作性をさらに向上できる。

【０００９】好ましくは、前記状態検出手段は、発話者
を撮影する撮像手段を含み、前記判定手段は、前記撮像
手段により得られた発話者の画像に基づいて発声の有無
を判定する。画像処理技術を利用して、発話者を撮影し
た画像から、顔の向き、目や唇の動きといったような外
観状態の判定に必要な情報を引き出すことができる。

【００１０】

【発明の実施の形態】以下、本発明の好適な実施の形態
（以下、実施形態という）について、図面を参照し説明
する。本実施形態では、本発明の音声認識装置が車両用
のナビゲーション装置に備えられる。

【００１１】図１を参照すると、本実施形態の音声認識
装置１０は、入力手段としてのマイクロホン１２と、認
識手段としての音声認識ＥＣＵ１４を有する。運転者す
なわち発話者２４が音声コマンド（例えば走行目的地を
指定するためのコマンド）を発すると、音声はマイクロ
ホン１２に入力され、電気的な信号に変換されて音声認
識ＥＣＵ１４に送られる。音声認識ＥＣＵ１４は、ＤＳ
Ｐ（デジタルシグナルプロセッサ）を有し、音声データ
を解析し、発話者２４が何を言ったのかを認識する。周
知の認識処理が行われればよく、ダイナミックプログラ
ミング法（動的計画法、ＤＰ法）や、ヒドンマルコフモ
デル（隠れマルコフモデル、ＨＭＭ）を使った確率手法
などが適用可能である。概略的には、例えば、入力信号
に対して窓関数処理、フーリエ変換処理などが行われ、
音声データのケプストラムが求められる（音響処理）。
音響処理後の信号と、予め用意された単語テンプレート
（認識対象単語の標準データ）とのパターンマッチング
が行われる。マッチング結果のよい単語が、発声された
単語であると決定される。認識結果はナビゲーション装
置２０に出力され、ナビゲーション装置２０は、発話者
の発した音声コマンドに従って動作する。

【００１２】さらに図１の音声認識装置１０は、本実施
形態の特徴として、カメラ１６および画像処理ＥＣＵ１
８を含む。カメラ１６は、発話者の外観状態を検出する
状態検出手段の一形態であり、画像処理ＥＣＵ１８は、
外観状態に基づいて発話者２４が発声を行ったか否かを
判定する判定手段として機能する。

【００１３】図２には、カメラ１６とマイクロホン１２
の設置位置が示されている。本実施形態では、カメラ１
６とマイクロホン１２は、室内バックミラー２６上に隣
接して設けられている。カメラ１６は、小型のＣＣＤ
（固体撮像素子）カメラである。

【００１４】図２の位置設定は、運転者がマイクロホン
１２の方を向いて音声を発声したときに運転者の顔を正
面から撮影しやすい、という点で好適である。運転者の
顔の向きや、目や口の状態を捉えやすいからである。た
だし、カメラ１６およびマイクロホン１２の設置位置
は、図２の形態には限定されず、他の位置でもよい。ミ
ラーのほか、天井、マップランプ、フロントガラス、コ
ラムカバー、フロントピラーなどの設置位置が好適であ
る。カメラ１６とマイクロホン１２が離れていてもよ
い。

【００１５】カメラ１６は、他の目的で運転者等の監視
用に設けられるカメラと兼用されている。従来より、運
転者の居眠りや意識低下状態を検出するために監視カメ
ラを備えることが提案されている。この種の監視カメラ
を利用することにより、本発明の音声認識装置を低コス
トで提供できる。

【００１６】図１に戻り、カメラ１６は、発話者２４た
る運転者を常時撮影し、電気的な画像信号を画像処理Ｅ
ＣＵ１８に送る。画像処理ＥＣＵ１８は、画像処理を行
って運転者の状態を外観面から判断する。ここでは、運
転者が居眠りしているか否かが判定される。例えば、撮
影画像から運転者の顔が切り出され、顔の動きに基づい
て運転者の意識状態が判定される。判定結果は、居眠り
検知システム２２に送られる。カメラ１６および画像処
理ＥＣＵ１８が他のシステムのために使われてもよいこ
とはもちろんである。

【００１７】画像処理ＥＣＵ１８は、上記の居眠り検知
と並行して、本実施形態の音声認識のために、発話者の
発声の有無を検出する。撮影画像から運転者の顔が切り
出され、以下の特徴的な外観状態が発生しているか否か
が判定される。

【００１８】（１）顔がマイクロホンの方向を向いてい
る（２）唇が動いている（３）視線がマイクロホンの方向を向いている一般に発話者には、発声の際にマイクロホンの方を向く
習性がある。従って、（１）や（３）の外観状態は、発
声状態を示しているといえる。また、（２）の外観状態
も、発話者が発声していることを示しているといえる。
そこで、画像処理ＥＣＵ１８は、（１）〜（３）の条件
を総合的に判断して、発声の有無を決定する。

【００１９】（ａ）例えば、少なくとも一つの条件が満
たされた場合に発声有りと判定してもよい。（ｂ）ま
た、確実な判定のため、すべての条件が満たされた場合
に発声有りと判定してもよい。（ｃ）各条件の判定結果
に得点（ランクでもよい）をつけ、総合得点が所定しき
い値以上の場合に発声有りと判定する。例えば、顔の角
度に応じて得点をつけ、顔が真っ直ぐマイクを向いてい
るときの得点を最高とする。各条件の判定結果に重み付
けを行ってもよい。総合判断の具体的な方法としては、
種々のものが採用可能である。

【００２０】なお、顔や視線の向き、唇の動きを検出す
る画像処理には、周知の画像処理技術を適用すればよ
く、ここでの詳細な説明は省略する。この種の関連技術
は、例えば特開平３−２５５７９３号公報、特開平６−
２６２９５９号公報、特開昭６０−１７８５９６号公報
に記載されている。上述の居眠り検出のための画像処理
技術や、いわゆる読唇を行うために開発されている画像
処理技術は、上記の処理に好適に応用できる。

【００２１】画像処理ＥＣＵ１８は、発声についての判
定結果を音声認識ＥＣＵ１４に送る。ここでは、発声が
始まったと判定されたときに、「認識開始トリガー信
号」が送られ、発声が終了したと判定されたときに、
「認識終了トリガー信号」が送られる。

【００２２】音声認識ＥＣＵ１４は、認識開始トリガー
信号の入力から認識終了トリガー信号の入力までの間、
マイクロホン１２からの入力信号に対して音声認識処理
を行う。認識結果は、ナビゲーション装置２０に出力さ
れる。

【００２３】ただし、実際に発声が始まってから、画像
処理ＥＣＵ１８で発声状態が検出されるまでの間には、
ある程度の画像処理時間（判断遅れ時間）を要すること
がある。この遅れ時間の間の音声も認識する必要があ
る。そこで、音声認識ＥＣＵ１４には、上記の判断遅れ
時間またはそれ以上の時間（数秒程度）の音声信号を記
録するＦＩＦＯタイプのバッファメモリが設けられてい
る。音声認識ＥＣＵ１４は、認識開始トリガー信号が入
力されたとき、バッファメモリから音声信号を読み出し
て、その音声信号を対象として認識処理を行う。これに
より、判断遅れ時間の間の音声を検出できないといった
事態を回避できる。

【００２４】もちろん、実際の発声開始の直後に発声有
無の判断が完了する場合には、上記のバッファメモリは
設けなくてもよい。この場合、音声認識ＥＣＵ１４はマ
イクロホン１２を制御し、発声中のみ音声信号を取り込
んでもよい。

【００２５】図３は、本実施形態の音声認識装置１０の
動作を示している。図３の処理は繰り返して行われる。
画像処理ＥＣＵ１８が、カメラ１６の撮影画像を基に、
発話者２４の外観状態の検出を行う（Ｓ１０）。前述の
ように、（１）顔の向き、（２）唇の動き、（３）視線
の向き、が検出される。状態検出結果に基づいて、発声
中か否かの総合判断が行われる（Ｓ１２）。

【００２６】前述のように、Ｓ１２の総合判断は画像処
理ＥＣＵ１８で行われる。しかし、この判断は、音声認
識ＥＣＵ１４で行われてもよい。この場合、画像処理Ｅ
ＣＵ１８は、検出した情報（顔の向きなど）を音声認識
ＥＣＵ１４へ送る。

【００２７】さらに、音声認識ＥＣＵ１４は、音声入力
状態からも発声の有無を判定し、音声面からの判定結果
と外観面からの判定結果の両方に基づいて、最終的に発
声の有無を決定してもよい。この場合、マイクロホン１
２からの入力信号に音声が含まれているか否かが判定さ
れる。例えば雑音以上のレベルの入力信号が存在すると
きに、音声入力有りと判定される。音声入力があり、か
つ、画像処理結果からも発声中と判定されるとき、Ｓ１
２では「発声中」と決定される。これにより、外観面か
らは発声中と考えられても実際には音声を発していなか
ったような場合の誤判断が低減し、さらに確実な判定が
行われる。

【００２８】Ｓ１２で「発声中」と判断されたとき、発
話検出が行われ、すなわち、入力音声を対象とする音声
認識処理が行われ、認識結果が出力される（Ｓ１４）。
Ｓ１２で「非発声中」と判断されたときは、処理が終了
する。

【００２９】以上、本発明の好適な実施形態を説明し
た。本実施形態によれば、トークスイッチがなくとも発
声の有無が判定できる。トークスイッチが不要となり、
発話者は、煩わしいスイッチ操作を行わなくともよくな
る。従って、音声認識装置の便利さ、すなわち認識装置
が備えられる機器の操作性が向上する。

【００３０】本発明のシステムは、常時認識タイプの好
適な音声認識装置としても位置づけられる。前述のよう
に、従来の常時認識タイプの装置は、マイクロホンから
の入力信号を監視して、入力信号に音声が含まれるか否
かを検出していた。しかし、車両のような環境では、常
時認識タイプの適用は困難であった。本発明によれば、
発話者の外観面の情報を利用することで、発話者が何ら
のスイッチ操作をしなくとも、発声の有無を判断でき
る。

【００３１】なお、発話者の頭にヘッドセット（イヤホ
ンまたはヘッドホンとマイクとのセット）が取り付けら
れる場合には、上記の常時認識も比較的容易に実現でき
る。しかしヘッドセットは、それ自体が発話者にとって
煩わしいものである。ヘッドセットが不要であるという
点も本実施形態の利点のひとつである。

【００３２】上記の実施形態では、顔と視線の向き、唇
の動きに基づいた判断が行われた。しかし、これらのす
べてが判断に使われなくてもよい。また、外観面の他の
特徴的な事象に基づいて、発声の有無が判断されてもよ
い。そのような他の特徴的事象と上記の３つの事象が適
当に併用されてもよいことはもちろんである。

【００３３】また、上記の実施形態では、発声時に発話
者がマイクロホンの方を向くという習性が利用された。
しかし、この習性を必ずしも利用する必要はない。例え
ば、適当な目印（シール、他の特徴物などでもよい）を
所定の場所に設定しておく。発話者には、その目印を見
ながら発声するように指示を与えておく。これにより、
目印を見ているか否かで、発声の有無を判断できる。

【００３４】本実施形態では、車両用ナビゲーション装
置に本発明の音声認識装置が備えられていた。しかし、
本発明の適用範囲が車両用ナビゲーション装置に限定さ
れないことはもちろんである。本発明は、他の車載機器
に備えられる認識装置にも、また、車両以外の環境で使
われる音声認識装置にも同様に適用可能である。

【図面の簡単な説明】

【図１】本発明の実施形態の音声認識装置の構成を示
すブロック図である。

【図２】図１の装置のカメラおよびマイクロホンの設
置場所を示す車室内の図である。

【図３】図１の装置の動作を示すフローチャートであ
る。

【符号の説明】

１０音声認識装置、１２マイクロホン、１４音声
認識ＥＣＵ、１６カメラ、１８画像処理ＥＣＵ、２
０ナビゲーションＥＣＵ、２４発話者。

Claims

【特許請求の範囲】

【請求項１】発話者が発した音声を認識する音声認識
装置において、発話者の外観状態を検出する状態検出手段と、検出された外観状態に基づいて、発話者が音声を発した
か否かを判定する判定手段と、を含み、前記判定手段により発話者が音声を発したと判
定されたときに音声認識を行うことを特徴とする音声認
識装置。
【請求項２】請求項１に記載の装置において、前記状態検出手段は、発話者を撮影する撮像手段を含
み、前記判定手段は、前記撮像手段により得られた発話者の
画像に基づいて発声の有無を判定することを特徴とする
音声認識装置。