JPWO2016051519A1 - 音声認識システム - Google Patents

Abstract

ユーザが発話した音声を常時認識し、認識結果に基づいてナビゲーションシステムを制御する音声認識システム１０において、認識した発話についてユーザがナビゲーションシステムを操作する意図が有るか無いかを判断する音声操作意図判断部１４と、音声操作意図判断部１４において操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して、ナビゲーションシステムの制御の態様をユーザに意識させない方向に変更する制御態様変更部１５とを備える。

Description

この発明は、ユーザの発話を認識する音声認識システムに関するものである。

従来、ユーザの発話を常時認識し、認識結果に対応する処理を実行する音声認識システムが知られている（例えば、特許文献１参照）。このような音声認識システムは、ユーザがシステムに対する音声操作を意図して発話したのか、ただ単にユーザ同士の会話における発話であるかを判断することなく認識処理を行い、認識結果に対応する処理を実行していた。

例えば、ユーザ同士で「スーパーとコンビニどっちがいい？」「コンビニがいいかな」という会話がなされた場合、ユーザは音声操作を意図して発話した訳ではないが、音声認識システムは、ユーザの発話を常時認識しているため「スーパー」および「コンビニ」といった単語を認識してしまい、これらの認識結果に対応する処理を実行する。

また、音声認識システムは、ユーザ発話の認識に失敗した場合、認識に失敗したことおよび認識に失敗した原因等を音声出力しユーザに報知する必要がある。そのため、上述のようなユーザ同士の会話を認識しようとして失敗した場合も、認識失敗の旨の音声を出力する。

特開２００８−１４８１８号公報

従来の音声認識システムは以上のように構成されているので、ユーザが音声操作を意図せずに発話したにもかかわらず、勝手に認識結果に対応する処理が実行され表示中の画面と大きく異なる画面が表示されたり、認識失敗の旨の音声が出力されたりする。これは、ユーザにとっては鬱陶しいと感じられ、不快感を増長させる。
一方で、ユーザが音声操作を意図して発話した場合、音声認識システムは認識結果に対応する処理を実行しなければならないし、認識に失敗した場合はその旨をユーザに報知する必要がある。

この発明は、上記のような課題を解決するためになされたものであり、ユーザの発話を常時認識する音声認識システムにおいて、ユーザの不快感を低減させることを目的とする。

この発明に係る音声認識システムは、ユーザが発話した音声を常時認識し、認識結果に基づいて被制御装置を制御する音声認識システムであって、認識した発話について、ユーザが被制御装置を操作する意図が有るか無いかを判断する音声操作意図判断部と、音声操作意図判断部において操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して、被制御装置の制御の態様をユーザに意識させない方向に変更する制御態様変更部とを備えるものである。

この発明によれば、ユーザに操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して、被制御装置の制御の態様をユーザに意識させない方向に変更するようにしたので、ユーザの不快感を低減させることができる。

この発明の実施の形態１に係る音声認識システムを適用したナビゲーションシステムの一例を示すブロック図である。 音声操作意図の判断項目と信頼度の一例を示す図である。 制御態様の例を示す図である。 制御態様の別の例を示す図である。 「音声操作意図有り」の信頼度に応じて異なる制御態様が定義されている例を示す図である。 「音声操作意図有り」の信頼度に応じて異なる制御態様が定義されている別の例を示す図である。 制御態様に基づいてナビゲーション部が処理を実行した例を示す図である。 実施の形態１に係る音声認識システムの動作を説明するフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
なお、以下の実施の形態では、この発明に係る音声認識システムを車両等の移動体用のナビゲーションシステム（被制御装置）に適用した場合を例に挙げて説明するが、音声操作機能を有するシステムであれば、どのようなシステムに適用してもよい。

実施の形態１．
図１は、この発明の実施の形態１による音声認識システム１０を適用したナビゲーションシステムの一例を示すブロック図である。このナビゲーションシステムは、ナビゲーション部１、指示入力部２、ディスプレイ３、スピーカ４、マイク５、カメラ６、音声取得部１１、音声認識部１２、音声認識辞書１３、音声操作意図判断部１４、制御態様変更部１５、制御態様記憶部１６、音声解析部１７、状態取得部１８、および視線検出部１９を備えている。なお、ナビゲーションシステムの構成要件は、ネットワーク上のサーバ、スマートフォン等の携帯端末、車載器に分散されていてもよい。

音声取得部１１、音声認識部１２、音声認識辞書１３、音声操作意図判断部１４、制御態様変更部１５、制御態様記憶部１６、音声解析部１７、状態取得部１８、および視線検出部１９が、音声認識システム１０を構成する。
この音声認識システム１０は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成されており、このＣＰＵが所定のプログラムを実行することによって、音声取得部１１、音声認識部１２、音声認識辞書１３、音声操作意図判断部１４、制御態様変更部１５、制御態様記憶部１６、音声解析部１７、状態取得部１８、および視線検出部１９としての機能を実現する。

ナビゲーション部１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機等から取得した移動体の現在位置情報および地図データベースに格納されている情報を用いて、ディスプレイ３に表示すべき描画情報を生成する。地図データベースには、例えば、道路に関する「道路情報」（道路の位置等）、施設に関する「施設情報」（施設の種別、名称、位置等）、「各種文字情報」（地名、施設名、交差点名、道路名等）、ならびに、施設および道路番号などを表す「各種アイコン情報」等が含まれる。

また、ナビゲーション部１は、指示入力部２からの指示または後述する制御態様変更部１５から指示に応じて、移動経路等の検索、ディスプレイ３への表示指示および画面遷移、スピーカ４への音声出力指示等の種々の制御を行う。
例えば、ナビゲーション部１は、指示入力部２に対する操作または音声認識システム１０に対する音声操作によりユーザが設定した施設または地点と、移動体の現在位置および地図データベースの情報等とを用いて、現在位置からユーザにより設定された施設等までの経路を計算する。そして、ナビゲーション部１は、当該経路に沿って移動体を案内するための誘導案内図および誘導案内メッセージを生成し、ディスプレイ３およびスピーカ４に対して当該生成した情報を出力するよう指示する。

指示入力部２は、ユーザの手動による指示の入力を受け付けるものである。例えば、ハードウエアのスイッチ、ディスプレイ３に組み込まれているタッチセンサ、あるいはハンドル等に設置されたリモコンもしくは別体のリモコンを介したユーザの指示を認識する認識装置が挙げられる。

ディスプレイ３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）、またはインストルメントパネル等であり、ナビゲーション部１の指示に基づき画面上に描画を行う。
スピーカ４は、ナビゲーション部１の指示に基づき音声を出力する。

マイク５は、ユーザが発話した音声を取得（集音）する。マイク５には、例えば、全指向性のマイク、複数の全指向性のマイクをアレイ状に配列して指向特性を調整可能としたアレイマイク、あるいは一方向のみに指向性を有しており指向特性を調整できない単一指向性マイク等を用いる。

カメラ６は、ユーザを撮像する。カメラ６の画像情報は、後述する視線検出部１９において、ユーザの視線を検出するために使用される。

音声取得部１１は、マイク５により取得されたユーザ発話、すなわち、入力された音声を取り込み、例えばＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）によりＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換する。また、音声取得部１１は、デジタル化した音声信号から、ユーザが発話した内容に該当する音声区間を検出する。

音声認識部１２は、音声取得部１１により検出された音声区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書１３を用いて認識処理を行い、認識結果を出力する。認識処理としては、例えばＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）法のような一般的な方法を用いて行えばよい。
なお、認識結果には認識結果文字列とともに、尤度を表すスコアが含まれていてもよい。

ところで、カーナビゲーションシステム等に搭載されている音声認識機能においては、ユーザが発話の開始をシステムに対して明示（指示）するのが一般的である。そのために、音声認識開始を指示するボタン（以下、「音声認識開始指示部」と呼ぶ）が、タッチパネルに表示されたりハンドルに設置されたりしている。そして、ユーザにより音声認識開始指示部が押下された後に発話された音声を認識する。すなわち、音声認識開始指示部は音声認識開始信号を出力し、音声認識部は当該信号を受けると、当該信号を受けた後に音声取得部により取得された音声データから、ユーザが発話した内容に該当する音声区間を検出し、上述した認識処理を行う。

しかし、この実施の形態１における音声認識部１２は、上述したようなユーザによる音声認識開始指示がなくても、常に、ユーザが発話した内容を認識する。すなわち、音声認識部１２は、音声認識開始信号を受けなくても、常時、音声取得部１１により検出された音声区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書１３を用いて認識処理を行い、音声認識結果を出力する処理を繰り返し行う。

音声操作意図判断部１４は、ユーザがシステムに対して音声操作を行う意図をもって発話したか否かを判断し、当該判断結果を出力する。以降においては、ユーザが音声操作を行う意図をもって発話したと音声操作意図判断部１４が判断した場合「音声操作意図有り」、そうでない場合は、「音声操作意図無し」として説明する。音声操作意図の有無の判断項目については後述する。

制御態様記憶部１６は、音声認識部１２における認識対象語毎に、「音声操作意図有り」の場合にナビゲーション部１に対して指示する制御態様と、「音声操作意図無し」の場合にナビゲーション部１に対して指示する制御態様とを、認識対象語に対応付けて記憶している。
また、制御態様記憶部１６は、音声認識部１２が音声認識に失敗した際に、ナビゲーション部１に対して指示する制御態様を、「音声操作意図有り」の場合と「音声操作意図無し」の場合について定義して記憶している。

制御態様とは、本実施の形態１に係る音声認識システム１０を適用する被制御装置の種々の動作である。例えば、ナビゲーションシステムにおいては、画面遷移、応答音声および報知音の出力内容、システムが有する目的地設定等の各機能の実行等の種々の動作である。
「音声操作意図無し」の場合の制御態様は、「音声操作意図有り」の場合の制御態様に比べて、ユーザの邪魔にならないように、すなわち、ユーザがナビゲーションシステムを意識する程度が小さくなるように、定義されている。
「音声操作意図無し」の場合、「音声操作意図有り」の場合に比べて、例えば、音声出力の音量を小さくしたり、音声出力内容または表示内容の情報量を少なくしたり、音声出力を止めたり等、ユーザにナビゲーションシステムを意識させないような制御態様にする。
制御態様の具体例については後述する。

制御態様変更部１５は、制御態様記憶部１６を参照して、音声認識部１２により出力された認識結果と音声操作意図判断部１４により出力された判断結果に基づいて制御態様を決定し、当該決定した制御態様をナビゲーション部１に対して出力する。

次に、音声操作意図判断部１４による音声操作意図の有無の判断項目と、当該判断の際に用いる情報を取得したり生成したりする構成要素について説明する。

（１）ユーザが発話した音声の音量、ピッチ、明瞭度、ユーザの発話速度、および音声の発声源の方向のうちの少なくとも一つに基づく音声操作意図の有無の判断
（１）の場合、音声認識システム１０は、音声解析部１７を備える。
音声解析部１７は、音声取得部１１により出力された音声データを解析し、ユーザが発話した音声の音量、ピッチ、明瞭度、ユーザの発話速度、音声の発声源の方向のうち、少なくとも一つを算出する。
なお、音量、ピッチ、明瞭度、ユーザの発話速度および発声源の方向の算出方法については、公知の技術を用いればよいため説明を省略する。

ここで、まず、明瞭度を例にして説明する。
音声操作意図判断部１４は、音声解析部１７により算出された明瞭度を取得し、当該明瞭度の大きさが予め定められた閾値以上（または、閾値より大きい）か否か判定する。当該明瞭度が、予め定められた閾値以上である場合、音声操作意図判断部１４は「音声操作意図有り」と判断する。一方、当該明瞭度が、予め定められた閾値より小さい場合、音声操作意図判断部１４は「音声操作意図無し」と判断する。
または、音声操作意図判断部１４は、音声解析部１７から取得した明瞭度が、過去複数回取得した明瞭度の平均値以上（または、平均値より大きい）か否か判定する。当該明瞭度が、当該平均値以上の場合、音声操作意図判断部１４は「音声操作意図有り」と判断する。一方、当該明瞭度が、当該平均値より小さい場合、音声操作意図判断部１４は「音声操作意図無し」と判断する。

音声操作意図判断部１４は、明瞭度を用いた音声操作意図の有無の判断と同様の方法で、ユーザが発話した音声の音量またはピッチを用いて、音声操作意図の有無を判断する。
例えば、発話音声の音量を用いる場合、音声操作意図判断部１４は、音声解析部１７から取得した発話音声の音量が、過去複数回の発話音声の音量の平均値以上（または、平均値より大きい）の場合に「音声操作意図有り」と判断する。
例えば、発話音声のピッチを用いる場合、音声操作意図判断部１４は、音声解析部１７から取得した発話音声のピッチが、過去複数回の発話音声のピッチの平均値以上（または、平均値より大きい）の場合に「音声操作意図有り」と判断する。

次に、発話速度を例にして説明する。
音声操作意図判断部１４は、音声解析部１７により算出された発話速度を取得し、当該発話速度が、予め定められた閾値より小さいか（または、平均値以下であるか）否か判定する。当該発話速度が、予め定められた閾値より小さい場合、音声操作意図判断部１４は「音声操作意図有り」と判断する。一方、当該発話速度が、予め定められた閾値以上である場合、音声操作意図判断部１４は「音声操作意図無し」と判断する。
または、音声操作意図判断部１４は、音声解析部１７から取得した発話速度が、過去複数回取得した発話速度の平均値より小さい（または、閾値以下の）場合、「音声操作意図有り」と判断し、そうでない場合は、「音声操作意図無し」と判断する。
なお、明瞭度等を過去の平均値と比較して音声操作意図の有無を判断するにあたり、音声解析部１７で明瞭度等を算出する際の誤差を考慮して、平均値に予め設定された値を加える（または減じる）ようにしてもよい。平均値に加える（または減じる）値は、誤差と有意な差がある値とする。

次に、音声の発声源の方向を例にして説明する。
音声操作意図判断部１４は、音声解析部１７により算出された音声の発声源の方向を取得する。音声操作意図判断部１４は、複数の方向に発声源がある場合、ユーザが他のユーザと会話しているものとして、「音声操作意図無し」と判断する。一方、発声源が一つである場合、音声操作意図判断部１４は「音声操作意図有り」と判断する。

（２）認識結果の種別に基づく音声操作意図の有無の判断
（２）の場合、上述した（１）の音声解析部１７は不要である。
音声操作意図判断部１４は、音声認識部１２により出力された認識結果を取得する。そして、音声操作意図判断部１４は、当該認識結果が、本音声認識システム１０を適用した被制御装置（本実施の形態１においてはナビゲーションシステム）を操作するためのコマンドであるか否か判定し、当該コマンドである場合は、「音声操作意図有り」と判断する。そうでない場合は、「音声操作意図無し」と判断する。

（３）認識履歴に基づく音声操作意図の有無の判断
（３）の場合、上述した（１）の音声解析部１７は不要である。
音声操作意図判断部１４は、音声認識部１２により出力された認識結果を取得する。
また、音声操作意図判断部１４は、音声認識部１２から取得した認識結果を認識履歴として少なくとも一つ以上記憶する。
そして、音声操作意図判断部１４は、認識履歴に基づいて、認識結果に含まれる認識スコアが予め定められた閾値以下になった場合（すなわち、音声認識部１２による認識処理に成功しているが尤度が低い場合）、または、音声認識部１２による認識処理に失敗した場合が２回以上連続して生じたときに、「音声操作意図有り」と判断する。音声操作意図判断部１４は、認識スコアが予め定められた閾値以下になった場合と認識処理に失敗した場合とを区別してカウントしてもよいし、区別せずにカウントしてもよい。
なお、音声操作意図判断部１４は、２回以上連続して、認識結果に含まれる認識スコアが予め定められた閾値以下であり、かつ各認識結果文字列が同一である場合、「音声操作意図有り」と判断するとしてもよい。

車内騒音が大きい等の状況において、ユーザが発話した音声の認識スコアが低かったり認識に失敗したりした場合、ナビゲーション部１はユーザが意図した動作を行わないので、ユーザは操作意図があればもう一度発話を繰り返す可能性が高い。そこで、（３）では、ユーザが発話を繰り返したら音声操作の意図有りとみなし、１度限りの発話であれば音声操作の意図無しとみなしている。例えば、ユーザが２回続けて「コンビニ」と発話し、音声認識部１２が２回連続して認識処理に失敗したとき、音声操作意図判断部１４は「音声操作意図有り」と判断するので、ユーザの３回目の発話が認識処理に成功した場合には当該３回目の発話の認識結果が「音声操作意図有り」になる。
なお、ユーザが「コンビニ」と発話してその認識スコアが閾値以下だった場合、２回目の発話では「コンビニエンスストア」等に言い換える可能性があるため、各発話の認識結果文字列が同一であっても異なっていても構わない。

（４）音声認識システム１０が適用されているシステム等の動作状態に基づく音声操作意図の有無の判断
（４）の場合、音声認識システム１０は、状態取得部１８を備える。上述した（１）の音声解析部１７は不要である。
状態取得部１８は、ナビゲーション部１からナビゲーションシステムの動作状態を取得する。
音声操作意図判断部１４は、例えば、ユーザによる所定の操作後の結果表示中（例えば、施設検索結果のリスト表示中等）およびユーザによるキー押下等の操作中等、ユーザがナビゲーションシステムを操作しようとしている、または操作中であると推測されるシステムの動作状態を予め定義している。
音声操作意図判断部１４は、状態取得部１８により取得されたナビゲーションシステムの動作状態が、予め定義された動作状態と一致する場合は、「音声操作意図有り」と判断し、予め定義された動作状態と一致しない場合は、「音声操作意図無し」と判断する。
例えば、施設検索結果リストの表示中、ユーザは、リストから一つの施設を選択する等、ナビゲーションシステムに対する操作を意図した動作を行う可能性が高いため、音声操作意図判断部１４は、ナビゲーションシステムの動作状態がリスト表示中の場合、「音声操作意図有り」と判断する。

または、音声操作意図判断部１４は、ナビゲーションシステムの動作状態ごとに「音声操作意図有り」か「音声操作意図無し」かを予め定義してもよい。
例えば、ユーザは、施設検索結果リスト等のリストの中から項目を選択する場合には音声操作を行い、施設検索条件設定等のボタンを押して階層メニューを下っていく場合には指示入力部２を介して手動操作を行う傾向がある。そのため、ナビゲーションシステムの動作状態がリスト表示中の場合を「音声操作意図有り」と定義し、階層メニュー表示中の場合を「音声操作意図無し」と定義する。音声操作意図判断部１４は、状態取得部１８により取得されたナビゲーションシステムの動作状態に一致する定義を検索し、その定義に従って「音声操作意図有り」か「音声操作意図無し」かを判断する。
また例えば、ユーザが手動操作中に音声操作に切り替える可能性は低いので、ナビゲーションシステムの動作状態が手動操作中の場合を「音声操作意図無し」と定義してもよい。具体的には、状態取得部１８がナビゲーション部１を介して指示入力部２に対するユーザの操作状態を取得し、音声操作意図判断部１４が、当該操作状態に基づいて、表示中のリスト等に対してユーザが手動操作を行っていると判断した場合には、手動操作中の定義に従って「音声操作意図無し」と判断する。

（５）発話中または発話前の視線に基づく音声操作意図の有無の判断
（５）の場合、音声認識システム１０は、視線検出部１９を備える。上述した（１）の音声解析部１７および（４）の状態取得部１８は不要である。
視線検出部１９は、カメラ６により取得された画像情報を解析して、ユーザの視線を検出する。音声操作意図判断部１４は、視線検出部１９により検出された視線情報に基づいて、ユーザが、例えば、ディスプレイ３等のナビゲーションシステムの構成要素またはディスプレイ３に表示されているエージェント等の画像を見ているか否か判定する。
なお、視線検出方法および視線情報に基づいて特定の対象を見ているか否かを判定する方法については、公知の技術を用いればよいため説明を省略する。

また、音声操作意図判断部１４は、音声取得部１１に対して音声区間の音声データを要求する。そして、音声操作意図判断部１４は、音声取得部１１から音声データを取得できたとき（すなわち、ユーザが発話しているとき）、かつユーザがディスプレイ３等を見ていると判断した場合、「音声操作意図有り」と判断する。一方、音声操作意図判断部１４は、ユーザがディスプレイ３等を見ていないと判断した場合は、「音声操作意図無し」と判断する。
ここで、音声操作意図判断部１４は、音声取得部１１から音声データを取得できたとき、かつ少なくとも所定期間以前（例えば、発話する０．５秒前）にユーザがディスプレイ３等を見ていると判断していた場合に、「音声操作意図有り」と判断するとしてもよい。あるいは、音声操作意図判断部１４は、ユーザがディスプレイ３等を見ながら発話した場合に「音声操作意図有り」と判断してもよい。

音声操作意図判断部１４は、上述した（１）〜（５）のうちの少なくとも一つの方法によって音声操作意図の有無を判断すればよく、音声解析部１７、状態取得部１８および視線検出部１９は必須の構成要素ではない。

なお、音声操作意図判断部１４は、「音声操作意図有り」と判断した場合、当該判断結果とともに、当該判断結果の信頼度（以降の説明において、「信頼度」と記載する。）を出力するとしてもよい。
「信頼度」は、実際にユーザがシステムに対して音声操作を意図して発話した可能性の高さを示すものである。すなわち、音声操作意図判断部１４は、低い「信頼度」が定義されている判断項目を用いて「音声操作意図有り」と判断した場合に比べて、高い「信頼度」が定義されている判断項目を用いて「音声操作意図有り」と判断した場合の方が、実際にユーザがシステムに対して音声操作を意図して発話した可能性が高いと判断することとする。

図２に音声操作意図の判断項目と信頼度の一例を示す。この例では、信頼度は「高」と「低」の２値で表され、「高」は信頼度が高いことを示し、「低」は信頼度が低いことを示すこととしているが、例えば、信頼度が「高」「中」「低」のように多段階の値を取ったり、「１〜１００」のように連続的な値を取ったりしてもよい。

図３〜図６に、制御態様記憶部１６が記憶している制御態様の例を示す。
図３（ａ）は、認識対象語に対する「音声操作意図有り」および「音声操作意図無し」の制御態様の一例を示したものである。
認識対象語「コンビニ」に対して、「音声操作意図有り」の場合の制御態様として「自車周辺のコンビニを検索し検索結果のリストを表示」が定義されている。一方、「音声操作意図無し」の場合の制御態様として「何もしない」が定義されている。
認識対象語「ミスターチャイルド」に対して、「音声操作意図有り」の場合の制御態様として「ミスターチャイルドのアルバムリストを表示」が定義されている。一方、「音声操作意図無し」の場合の制御態様として「何もしない」が定義されている。この「ミスターチャイルド」はアーティスト名を想定している。
なお、ここでは機能の実行と画面表示の例を示したが、音声出力を含むものとしてもよい。例えば、検索を実行する旨および検索結果をリスト表示する旨等の音声出力をするとしてもよい。

また、図３（ｂ）は音声認識に失敗したときの制御態様を示したものであり、「音声操作意図有り」の場合の制御態様として、認識に失敗した旨を報知する動作、例えば「「認識できませんでした。もう一度発話してください」と音声出力」が定義されている。一方、「音声操作意図無し」の場合の制御態様として「何もしない」が定義されている。
なお、ここでは音声出力の例のみを示したが、画面表示を含むものとしてもよい。例えば、「音声操作意図有り」の場合に、認識に失敗した旨のテロップを画面に表示するとしてもよい。

図４（ａ）は、認識対象語に対する「音声操作意図有り」および「音声操作意図無し」の制御態様の別の一例を示したものである。図３の例においては、「音声操作意図無し」の場合の制御態様を「何もしない」とすることで、「音声操作意図有り」の場合の制御態様に比べて、ナビゲーションシステムに対してユーザの意識が向かないようにした。それに対して、図４の例においては、「音声操作意図無し」の場合であっても、何らかの動作をするが、その動作によってユーザにナビゲーションシステムを意識させる度合いが、「音声操作意図有り」の場合に比べ小さくなるようにしたものである。

例えば、図４（ａ）において、認識対象語「コンビニ」に対して、「音声操作意図無し」の場合の制御態様が、「何もしない」ではなく、「自車周辺のコンビニ検索を実行するためのボタンを生成して表示」と定義されている。
ここで、図７に、制御態様に基づいて処理を実行した例を示す。図７（ａ）は、図４（ａ）の「自車周辺のコンビニを検索し検索結果のリストを表示」した場合の、ディスプレイ３の画面表示例である。画面上に大きく検索結果のリストが表示されており、ユーザにナビゲーションシステムを意識させやすい。一方、図７（ｂ）は、図４（ｂ）の「自車周辺のコンビニ検索を実行するためのボタンを生成して表示」した場合の、ディスプレイ３の画面表示例である。地図画面上に「コンビニ」というボタンが表示されるのみであり、ユーザにナビゲーションシステムを意識させる度合が、図７（ａ）の場合に比べて小さい。
なお、検索を実行する旨等の音声出力をする場合に、「音声操作意図有り」の場合に比べて、「音声操作意図無し」の場合の方が、音量が小さくなるように、制御態様を定義してもよい。

また、図４（ｂ）において、音声認識に失敗したときの制御態様として、「音声操作意図有り」の場合、「「認識できませんでした。もう一度発話してください」と音声出力」が定義され、「音声操作意図無し」の場合、「報知音を出力」が定義されている。
このように、「音声操作意図無し」の場合に「ポーン」等の報知音のみ出力することにより、「音声操作意図有り」の場合に比べて、ユーザにナビゲーションシステムを意識させないようにしている。

また、図４（ｃ）に示すように、音声認識に失敗したときの制御態様として、「音声操作意図有り」の場合、「「認識できませんでした。もう一度発話してください」の音声を音量８で出力」と定義され、「音声操作意図無し」の場合、「「認識できませんでした。もう一度発話してください」の音声を音量３で出力」と定義されている。
このように、「音声操作意図無し」の場合にユーザに報知する音声の音量を小さくすることにより、「音声操作意図有り」の場合に比べて、ユーザにナビゲーションシステムを意識させないようにしている。

次に、図５を用いて、「音声操作意図有り」の信頼度に応じて異なる制御態様が定義されている例について説明する。
図５（ａ）は、認識対象語に対する「音声操作意図有り」の信頼度「高」、「音声操作意図有り」の信頼度「低」、および「音声操作意図無し」の制御態様の一例を示したものである。
例えば、認識対象語「コンビニ」に対して、「音声操作意図有り」かつ信頼度「高」の場合の制御態様として「自車周辺のコンビニを検索し自車位置から最も近いコンビニの情報を表示」が定義されている。一方、「音声操作意図有り」かつ信頼度「低」の場合の制御態様として「自車周辺のコンビニを検索し検索結果のリストを表示」が定義されている。そして、「音声操作意図無し」の場合の制御態様として「自車周辺のコンビニ検索を実行するためのボタンを生成」と定義されている。

また、図５（ｂ）において、音声認識に失敗したときの制御態様として、「音声操作意図有り」かつ信頼度「高」の場合「「認識できませんでした。もう一度発話してください」と音声出力」と定義され、「音声操作意図有り」かつ信頼度「低」の場合「報知音のみを出力」と定義され、「音声操作意図無し」の場合「何もしない」と定義されている。
なお、信頼度が高い場合に音量を大きくし、信頼度が低い場合に音量を小さくするとしてもよい。

なお、「音声操作意図有り」の信頼度が予め定められた基準値以下（または、基準値より小さい）であるか、当該基準値より大きい（または、基準値以上）であるかで制御態様を定義してもよい。すなわち、「音声操作意図有り」であっても、信頼度が予め定められた基準値以下である場合は、「音声操作意図無し」と判断するとしてもよい。
一例を図６（ａ）（ｂ）に示す。図６（ａ）の例では、認識対象語に対する「音声操作意図有り」の信頼度が「低」の場合、「音声操作意図無し」の場合と同じ制御態様が定義されている。図６（ｂ）の例では、音声認識に失敗し、かつ「音声操作意図有り」の信頼度が「低」の場合、「音声操作意図無し」の場合と同じ制御態様が定義されている。

次に、図８に示すフローチャートを用いて、実施の形態１の音声認識システム１０の動作を説明する。
まず、音声取得部１１は、マイク５により取得されたユーザ発話、すなわち、入力された音声を取り込み、例えばＰＣＭによりＡ／Ｄ変換し、音声区間を検出する（ステップＳＴ０１）。
次に、音声認識部１２は、音声取得部１１により検出された音声区間の音声データを認識し、認識結果を出力する（ステップＳＴ０２）。
続いて、音声操作意図判断部１４は、音声操作意図の有無を判断するための情報を取得し（ステップＳＴ０３）、音声操作意図の有無を判断して、判断結果を出力する（ステップＳＴ０４）。
そして、制御態様変更部１５は、制御態様記憶部１６を参照して、音声認識部１２により出力された認識結果と音声操作意図判断部１４により出力された判断結果に基づいて制御態様を決定し、当該決定した制御態様をナビゲーション部１に対して出力する（ステップＳＴ０５）。
最後に、ナビゲーション部１は、制御態様変更部１５により指示された制御態様に基づいて処理を実行する（ステップＳＴ０６）。

次に、具体例を用いて説明する。
まず、ユーザ発話の音声認識に成功した場合の例を説明する。
ここでは、ユーザＡとユーザＢが同乗しているものとする。また、音声解析部１７はユーザ発話の明瞭度のみを算出するものとし、制御態様記憶部１６には図４（ａ）（ｂ）に示す内容が格納されているものとする。さらに、明瞭度の範囲は「０〜１００」であり、予め定められた閾値を「５０」とする。

ユーザＡがユーザＢに対して「どのコンビニのおにぎりが一番好き？」と発話したとする。この発話が、マイク５により集音され、音声取得部１１は、マイク５により取得された音声を取り込みＡ／Ｄ変換する（ステップＳＴ０１）。音声認識部１２は、前述したように常時、音声取得部１１により取得された音声データに対して認識処理を行っているので、音声取得部１１によりデジタル化されたユーザＡの発話を認識し、認識結果として「コンビニ」を出力する（ステップＳＴ０２）。
次に、音声解析部１７は、音声取得部１１により取得された音声データを解析し、ユーザＡの発話の明瞭度を算出し、音声操作意図判断部１４は、当該明瞭度を取得する（ステップＳＴ０３）。

ここで、算出された明瞭度は「４０」であったとする。
音声操作意図判断部１４は、音声解析部１７により算出された明瞭度が予め定められた閾値「５０」より小さいため、ユーザが、システムに対して音声操作することを意図して発話したのではないとして、「音声操作意図無し」と判断する（ステップＳＴ０４）。
その後、制御態様変更部１５は、制御態様記憶部１６の図４（ａ）の内容を参照して、認識対象語が「コンビニ」かつ「音声操作意図無し」の場合の制御態様を決定する。この例では、「自車周辺のコンビニ検索を実行するためのボタンを生成して表示」に決定する（ステップＳＴ０５）。
最後に、ナビゲーション部１は、制御態様変更部１５により決定された制御態様に基づいて、処理を実行する。その結果、図７（ｂ）に示すように、自車周辺のコンビニ検索を実行するためのボタンがディスプレイ３に表示される（ステップＳＴ０６）。

一方、車内騒音が大きい等の状況のため、ステップＳＴ０２にて音声認識部１２により出力された認識結果に含まれる認識スコアが所定の閾値以下であった、または音声認識処理に失敗したとする。
この場合、ステップＳＴ０５にて、制御態様変更部１５は、制御態様記憶部１６の図４（ｂ）の内容を参照して、「認識結果が失敗」かつ「音声操作意図無し」の場合の制御態様を決定する。この例では、「報知音を出力」に決定する。
その結果、スピーカ４から例えば「ポーン」のような報知音が出力される（ステップＳＴ０６）。

次にユーザＡがナビゲーションシステムに対して「コンビニに行きたい」と発話した場合の動作を説明する。
図８のステップＳＴ０１、ステップＳＴ０２の処理は前述の場合と同様であるため説明を省略する。音声解析部１７により明瞭度が「７０」と算出されたものとし、音声操作意図判断部１４は、当該明瞭度を取得する（ステップＳＴ０３）。
音声操作意図判断部１４は、音声解析部１７により算出された明瞭度「７０」が、予め定められた閾値「５０」以上であるため、ユーザがシステムに対して音声操作することを意図して発話したとして、「音声操作意図有り」と判断する（ステップＳＴ０４）。
その後、制御態様変更部１５は、制御態様記憶部１６の図４（ａ）の内容を参照して、認識対象語が「コンビニ」かつ「音声操作意図有り」の場合の制御態様を決定する。この例では、「自車周辺のコンビニを検索し検索結果のリストを表示」に決定する（ステップＳＴ０５）。
最後に、ナビゲーション部１は、制御態様変更部１５により決定された制御態様に基づいて、処理を実行する。その結果、図７（ａ）に示すように、自車周辺のコンビニ検索を実行した結果のリストがディスプレイ３に表示される（ステップＳＴ０６）。

一方、車内騒音が大きく、ステップＳＴ０２にて音声認識部１２により出力された認識結果に含まれる認識スコアが所定の閾値以下であった、または音声認識処理に失敗したとする。
この場合、ステップＳＴ０５にて、制御態様変更部１５は、制御態様記憶部１６の図４（ｂ）の内容を参照して、「認識結果が失敗」かつ「音声操作意図有り」の場合の制御態様を決定する。この例では、「「認識できませんでした。もう一度発話してください」と音量出力」に決定する。
その結果、スピーカ４から「認識できませんでした。もう一度発話してください」と音声出力される（ステップＳＴ０６）。

以上のように、実施の形態１によれば、ユーザが発話した音声を常時認識し、認識結果に基づいてナビゲーションシステムを制御する音声認識システム１０において、認識した発話についてユーザがナビゲーションシステムを操作する意図が有るか無いかを判断する音声操作意図判断部１４と、音声操作意図判断部１４において操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して、ナビゲーションシステムの制御の態様をユーザに意識させない方向に変更する制御態様変更部１５とを備える構成にした。ユーザが音声操作を意図して発話したと判断した場合に比べ、音声操作を意図していない発話と判断した場合の認識結果に対応する制御態様を、ユーザに意識させないような態様に変更するため、ユーザの不快感および鬱陶しさを低減させることができる。

また、実施の形態１によれば、音声操作意図判断部１４は、操作の意図が有ると判断した場合に、当該操作の意図がどの程度有るかを示す信頼度を判断し、制御態様変更部１５は、音声操作意図判断部１４において判断された信頼度が低い場合、信頼度が高い場合に比してナビゲーションシステムの制御の態様をユーザに意識させない方向に変更するようにした。そのため、実際にユーザが音声操作を意図して発話した可能性の高さに応じて制御態様を変更でき、ユーザの不快感および鬱陶しさをさらに低減させることができる。また、ユーザ同士の自然な会話を認識し、ユーザが所望していそうな動作をユーザ同士の会話を阻害することなく提示することができる。

また、実施の形態１によれば、制御態様変更部１５は、ユーザが発話した音声の認識に失敗した場合にナビゲーションシステムを制御してユーザに対し認識失敗を報知させ、当該報知の態様を、発話について操作の意図の信頼度が低い場合、信頼度が高い場合に比してユーザに意識させない方向に変更するようにした。
また、音声によって認識失敗を報知する場合、制御態様変更部１５は、発話について操作の意図の信頼度が低い場合、信頼度が高い場合に比して当該音声の音量を小さくするようにした。
そのため、認識失敗をユーザに報知する際の不快感および鬱陶しさを低減させることができる。

また、実施の形態１によれば、音声操作意図判断部１４は、発話が複数の方向からあった場合、操作の意図が無いと判断するようにした。そのため、ユーザ同士の会話を阻害することがなく、不快感および鬱陶しさを低減させることができる。

また、実施の形態１によれば、制御態様変更部１５は、ユーザが発話した音声の認識に失敗した場合に被制御装置を制御してユーザに対し認識失敗を報知させ、当該報知の態様を、発話について操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比してユーザに意識させない方向に変更するようにした。そのため、認識失敗をユーザに報知する際の不快感および鬱陶しさを低減させることができる。

なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。

この発明に係る音声認識システムは、ユーザが音声操作を意図して発話したか否かに応じて、認識結果に対応する制御態様を切り替えるようにしたので、ユーザの発話を常時認識する音声認識システムなどに用いるのに適している。

１ ナビゲーション部、２ 指示入力部、３ ディスプレイ、４ スピーカ、５ マイク、６ カメラ、１０ 音声認識システム、１１ 音声取得部、１２ 音声認識部、１３ 音声認識辞書、１４ 音声操作意図判断部、１５ 制御態様変更部、１６ 制御態様記憶部、１７ 音声解析部、１８ 状態取得部、１９ 視線検出部。

この発明に係る音声認識システムは、ユーザが発話した音声を常時認識し、認識結果に基づいて被制御装置が常時応答するように制御する音声認識システムであって、認識した発話について、ユーザが被制御装置を操作する意図が有るか無いかを判断する音声操作意図判断部と、音声操作意図判断部において操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して、被制御装置の制御の態様をユーザに意識させない方向に変更して前記被制御装置を動作させる制御態様変更部とを備えるものである。

Claims (6)

1. ユーザが発話した音声を常時認識し、認識結果に基づいて被制御装置を制御する音声認識システムであって、
   認識した発話について、前記ユーザが前記被制御装置を操作する意図が有るか無いかを判断する音声操作意図判断部と、
   前記音声操作意図判断部において操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して、前記被制御装置の制御の態様を前記ユーザに意識させない方向に変更する制御態様変更部とを備えることを特徴とする音声認識システム。
2. 前記音声操作意図判断部は、操作の意図が有ると判断した場合に、当該操作の意図がどの程度有るかを示す信頼度を判断し、
   前記制御態様変更部は、前記音声操作意図判断部において判断された信頼度が低い場合、信頼度が高い場合に比して前記被制御装置の制御の態様を前記ユーザに意識させない方向に変更することを特徴とする請求項１記載の音声認識システム。
3. 前記制御態様変更部は、前記ユーザが発話した音声の認識に失敗した場合に前記被制御装置を制御して前記ユーザに対し認識失敗を報知させ、当該報知の態様を、前記発話について操作の意図の信頼度が低い場合、信頼度が高い場合に比して前記ユーザに意識させない方向に変更することを特徴とする請求項２記載の音声認識システム。
4. 前記制御態様変更部は、前記ユーザが発話した音声の認識に失敗した場合に前記被制御装置を制御して音声によって前記ユーザに対し認識失敗を報知させ、前記発話について操作の意図の信頼度が低い場合、信頼度が高い場合に比して前記音声の音量を小さくすることを特徴とする請求項２記載の音声認識システム。
5. 前記音声操作意図判断部は、発話が複数の方向からあった場合、操作の意図が無いと判断することを特徴とする請求項１記載の音声認識システム。
6. 前記制御態様変更部は、前記ユーザが発話した音声の認識に失敗した場合に前記被制御装置を制御して前記ユーザに対し認識失敗を報知させ、当該報知の態様を、前記発話について操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して前記ユーザに意識させない方向に変更することを特徴とする請求項１記載の音声認識システム。

Images