JP5137853B2 - 車載用音声認識装置 - Google Patents

Description

この発明は、ユーザの認識語彙理解度に応じて音声ガイタンスやテロップの案内を変更することのできる、車載用音声認識装置に関するものである。

音声認識技術の進歩に伴い、音声認識装置がカーナビゲーションシステムにも取り入れられようになった。これにより、車両走行中でも、例えば、住所を発話するだけで、全国で数万件もある施設をピンポイントで、かつ、安全に検索することができるようになった。また、目的地誘導等、ユーザが行なうシステム操作に対する音声案内も可能となり、双方向での会話が可能になった。

上記した音声認識装置において、従来、ユーザへの案内回数やユーザの反応時間から操作に対する慣れの程度を判定し、システム操作に対する慣れの程度が所定のレベルより高い場合に音声案内の速度を早くし、案内の情報を簡略化するものが知られている（例えば、特許文献１参照）。
また、ユーザに対する運転負荷の大きさとして車速情報、ハンドルの操舵角情報、車両の進退を判定し、判定した運転負荷レベルに基づいて、ユーザに対する自動音声案内を変更する車載用音声認識装置も知られている（例えば、特許文献２参照）。

特開２００１−２２３７０号公報 特開２００４−３４８６５７号公報

上記した特許文献１に開示された技術によれば、ユーザのシステム操作の慣れに応じて音声案内を自動的に変更できるが、認識語彙を理解していないユーザに対して適した音声案内ができないといった問題があった。
また、特許文献２に開示された技術によれば、ユーザの運転負荷レベルに基づいて音声自動応答の方法を変更することが出来るが、ユーザ毎の認識語彙理解度を判定していないため、例えば、ユーザが案内を聞き取れていない（聞いていない）ために発話可能な語彙が理解できない状況にあっては、そのユーザに適した音声案内ができないといった問題があった。

この発明は上記した課題を解決するためになされたものであり、ユーザが案内を聞き取れていない、あるいは聞いていないために発話可能な語彙が理解できない状況にあっても案内内容を変化させることにより聞き取りやすくし、または聞き取れるようにし、ユーザが発話可能な語彙を把握できるようにした、車載用音声認識装置を得ることを目的とする。

この発明に係る車載用音声認識装置は、入力音声を取得する音声入力部と、取得した入力音声を音声認識する音声認識部と、音声認識の結果に基づきユーザに発話を促す案内を提示する案内情報出力部と、音声認識部による音声認識中に監視されるユーザ操作に対するタイムアウト回数、または訂正回数、またはタイムアウト回数と訂正回数の両方を取得し、その回数が多くなるにつれて案内に対する理解が低いことを示す認識語彙理解度を判定する認識語彙理解度判定部と、案内情報出力部が提示する案内を、認識語彙理解度判定部で判定された認識語彙理解度に応じて、その認識語彙理解度のユーザが把握できる内容または提示形態の案内に変更する案内内容決定部と、キー操作による訂正入力時のキー押圧力を判定するキー押下判定部と、センサによって検知される車両の現在位置、加速度、車速または操舵角を示す信号に基づき車両の走行状況を判定する走行状況判定部とを備え、認識語彙理解度判定部は、キー押下判定部から出力されるキー押圧力に応じて前記訂正回数に重み付けしてカウントし、当該重み付けした訂正回数と、前記走行状況判定部から出力される車両の走行状況とを前記認識語彙理解度の判定に反映させることを特徴とするものである。
また、この発明に係る車載用音声認識装置は、入力音声を取得する音声入力部と、取得した入力音声を音声認識する音声認識部と、音声認識の結果に基づきユーザに発話を促す案内を提示する案内情報出力部と、音声認識部による音声認識中に監視されるユーザ操作に対するタイムアウト回数、または訂正回数、またはタイムアウト回数と訂正回数の両方を取得し、その回数が多くなるにつれて案内に対する理解が低いことを示す認識語彙理解度を判定する認識語彙理解度判定部と、案内情報出力部が提示する案内を、認識語彙理解度判定部で判定された認識語彙理解度に応じて、その認識語彙理解度のユーザが把握できる内容または提示形態の案内に変更する案内内容決定部と、キー操作による訂正入力時のキー押圧力を判定するキー押下判定部と、センサによって検知される車両のリバース情報やハンドルの操舵角に関する情報を示す信号に基づき車両の運転操作状態を判定する運転操作状態判定部とを備え、認識語彙理解度判定部は、キー押下判定部から出力されるキー押圧力に応じて訂正回数に重み付けしてカウントし、当該重み付けした訂正回数と、前記運転操作状態判定部から出力される車両の運転操作状態とを認識語彙理解度の判定に反映させることを特徴とするものである。
また、この発明に係る車載用音声認識装置は、入力音声を取得する音声入力部と、取得した入力音声を音声認識する音声認識部と、音声認識の結果に基づきユーザに発話を促す案内を提示する案内情報出力部と、音声認識部による音声認識中に監視されるユーザ操作に対するタイムアウト回数、または訂正回数、またはタイムアウト回数と訂正回数の両方を取得し、その回数が多くなるにつれて案内に対する理解が低いことを示す認識語彙理解度を判定する認識語彙理解度判定部と、案内情報出力部が提示する案内を、認識語彙理解度判定部で判定された認識語彙理解度に応じて、その認識語彙理解度のユーザが把握できる内容または提示形態の案内に変更する案内内容決定部と、キー操作による訂正入力時のキー押圧力を判定するキー押下判定部と、センサによって検知されるユーザの発汗、心拍数、視線、あるいは音声入力時の口調を示す信号に基づきユーザの心理状態を判定するユーザ状態判定部とを備え、認識語彙理解度判定部は、キー押下判定部から出力されるキー押圧力に応じて訂正回数に重み付けしてカウントし、当該重み付けした訂正回数と、前記ユーザ状態判定部から出力されるユーザの心理状態を認識語彙理解度の判定に反映させることを特徴とするものである。

この発明によれば、上記のように案内の内容または提示形態を変更するよう構成したことにより、例えばユーザが案内を聞き取れていない、あるいは聞いていないために発話可能な語彙が理解できない状況にあっても案内を変化させることにより聞き取りやすくし、あるいは聞き取れるようにし、ユーザが発話可能な語彙を把握できるようにすることができる。

この発明の実施の形態１に係る車載用音声認識装置の構成を示すブロック図である。 この発明の実施の形態１に係る車載用音声認識装置の基本動作を説明するために引用したフローチャートである。 この発明の実施の形態２に係る車載用音声認識装置の動作を説明するために引用したフローチャートである。 この発明の実施の形態３に係る車載用音声認識装置の動作を説明するために引用したフローチャートである。 この発明の実施の形態４に係る車載用音声認識装置の動作を説明するために引用したフローチャートである。 この発明の実施の形態５に係る車載用音声認識装置の動作を説明するために引用したフローチャートである。 この発明の実施の形態１、２に係る車載用音声認識装置が使用するデータテーブルの一例を示す図である。 この発明の実施の形態３に係る車載用音声認識装置が使用するデータテーブルの一例を示す図である。 この発明の実施の形態４に係る車載用音声認識装置が使用するデータテーブルの一例を示す図である。 この発明の実施の形態５に係る車載用音声認識装置が使用するデータテーブルの一例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る車載用音声認識装置の構成を示すブロック図である。
図１において、この発明の実施の形態１に係る車載用音声認識装置１には、手動で操作してコマンド等データを入力するリモコンやタッチパネル等２と、音声入力のためにユーザの発話内容を集音するマイク３と、画像やテロップを表示する表示モニタ４と、音声出力を行なうスピーカ５と、各種センサ類（ここでは、車両の現在地を測位するＧＰＳ（Global Positioning System）６と、加速度を測定するＧセンサ７と、外部センサから車両速度やハンドル操舵角などの情報を取得する車内ＬＡＮ（Local Area Network）８が接続されている。

また、車載用音声認識装置１は、制御部１１を制御中枢として備え、キー入力部９と、音声入力部１０と、音声認識部１２と、音声出力部１３と、画面出力部１４と、タイムアウト回数カウント部１５と、訂正操作回数カウント部１６と、走行状況判定部１７と、運転操作状態判定部１８と、ユーザ状態判定部１９と、認識語彙理解度判定部２０と、案内内容決定部２１と、キー押下判定部２２とによって構成される。

キー入力部９は、リモコンやタッチパネル２から入力されたコマンドを受付けて制御部１１へ供給する。音声入力部１０は、マイク３により集音されたコマンドを受付けて制御部１１へ供給する。音声認識部１２は、音声認識を行い、認識結果を制御部１１へ引き渡す。音声認識部１２による音声認識結果は、音声出力部１３により音声で、あるいは画面出力部１４により画像でユーザに提示される。
タイムアウト回数カウント部１５は、音声操作中のタイムアウト回数をカウントし、また、訂正操作回数カウント部１６は、音声操作中の訂正操作回数をカウントしてそれぞれ制御部１１へ供給する。走行状況判定部１７は、車両が現在停車中か運転中かの走行状況を判定し、また、運転状態判定部１８は、車の進退・ハンドルの操舵等の運転状況を取得してそれぞれ制御部１１へ供給する。

また、ユーザ状態判定部１９は、例えば、ハンドルに取り付けられたセンサにより取得されるユーザの発汗・心拍数・視線・口調などの情報からユーザの心理状態を判定して制御部１１へ供給する。
認識語彙理解度判定部２０は、制御部１１による制御の下、タイムアウト回数カウント部１５、訂正操作回数カウント部１６、走行状況判定部１７、運転操作状態判定部１８、ユーザ状態判定部１９のそれぞれから情報を取得して、ユーザが音声認識可能な語彙をどの程度理解しているかを示す認識語彙理解度を判定して制御部１１へ供給する。また、案内内容決定部２１は、制御部１１による制御の下、認識語彙理解度判定部２０により出力されるユーザの認識語彙理解度に基づきユーザに対して出力する音声ガイダンス、あるいはテロップ等による案内を変更する。

なお、キー押下判定部２２は、ユーザがリモコン２のキーを押下したときの押圧力、もしくはキー押下時間を判定して制御部１１へ供給する。
制御部１１は、例えば、マイコンによって構成され、キー入力部９や音声入力部１０から受付けたコマンドに対応する処理を行うために上記した各制御ブロック１２〜２１へ命令を出力する。なお、ここでは、音声出力部１３と画面出力部１４を総称して案内情報出力部という。

図２は、この発明の実施の形態１に係る車載用音声認識装置の基本動作を説明するために引用したフローチャートである。
以下、図２に示すフローチャートを参照しながら、図１に示す実施の形態１に係る車載用音声認識装置の動作について詳細に説明する。

制御部１１は、常に、キー入力部９からのキー入力を監視しており、まず、手動操作による発話キーの押下があるか否かを判定する（ステップＳＴ２０１）。発話キーの押下があった場合は（ステップＳＴ２０１“Ｙｅｓ”）、以下に説明する決められた手順にしたがい音声認識処理を実行するものとする。
ここでは、発話キーの押下があったことを契機に音声認識処理を開始するため、制御部１１が発話キーの押下を監視しているが、音声入力開始が別の操作で定義されている場合はその操作を監視することになる。発話キーが押下された場合は、タイムアウト回数カウント部１５がタイムアウト回数を０（初期化）に設定し（ステップＳＴ２０２）、かつ、訂正操作回数カウント部１６が訂正操作回数を０（初期化）に設定する（ステップＳＴ２０３）。

続いて、制御部１１の制御の下、認識語彙理解度判定部２０では、ユーザの認識語彙に対する理解度を判定する。具体的に、認識語彙理解度判定部２０は、例えば、図７に示した認識語彙理解度判定情報をテーブルデータとして内蔵しており、当該テーブルデータを参照することにより、ユーザの認識語彙に対する理解度を、タイムアウト回数と訂正回数とから判定する（ステップＳＴ２０４）。なお、ここでは、認識語彙理解度判定部２０が、タイムアウト回数と訂正回数からユーザの認識語彙に対する理解度を判定することとするが、タイムアウト回数と訂正回数のいずれか１つにより判定してもよい。
すなわち、ステップＳＴ２０２とステップＳＴ２０３でタイムアウト回数および訂正操作回数がともに「０」となっているため、図６に示すテーブルデータから理解度は「１０」と判定され、当該判定されたユーザの認識語彙理解度に基づき案内内容決定部２１で案内の内容を決定する（ステップＳＴ２０５）。続いて、案内内容決定部２１は、音声出力部１３または画面出力部１４を起動して音声ガイダンス、あるいはテロップを表示させることによって案内をユーザに提示する（ステッブＳＴ２０６）。ここで、提示される案内の内容については後述する。

続いて、案内に対して入力された音声を音声認識部１２が音声認識処理を行うが（ステップＳＴ２０７）、所定の時間内にユーザによる音声入力がなされずタイムアウトが検出された場合は（ステップＳＴ２０８“Ｙｅｓ”）、タイムアウト回数カウント部１５がタイムアウト回数を＋１更新して（ステップＳＴ２０９）、認識語彙理解度判定情報からユーザの認識語彙判定を行うステップＳＴ２０４の処理に戻る。図６に示されるように、タイムアウト回数と訂正操作回数が多くなるにつれて認識語彙理解度は低い値になる。
なお、タイムアウトが検出されなかった場合（ステップＳＴ２０８“Ｎｏ”）、制御部１１は、音声出力部１３もしくは画面出力部１４を起動して音声認識部１２による音声認識結果をユーザに提示する（ステップＳＴ２１０）。

制御部１１は、認識結果提示後にキー入力部９によるキー入力を監視し、訂正キーが押下されたか否かを判定する（ステップＳＴ２１１）。訂正キーが押下された場合は（ステップＳＴ２１１“Ｙｅｓ”）、訂正操作回数カウント部１６が訂正操作回数を＋１更新して（ステップＳＴ２１２）、ユーザの認識語彙理解度判定を行うステップＳＴ２０４の処理に戻る。訂正キーが操作されなかった場合は（ステップＳＴ２１１“Ｎｏ”）、制御部１１は案内の続きを提示しなければならないか否かを判定する（ステップＳＴ２１３）。なお、ここでは訂正操作がキー押下により行われるものとして説明したが、訂正操作が別の方法で定義されている場合は制御部１１がその操作を監視するものとする。
案内の続きがある場合（ステップＳＴ２１３“Ｙｅｓ”）、車載用音声認識装置１はタイムウト回数を初期化するステップＳＴ２０２に戻る。案内の続きがなければ（ステップＳＴ２１３“Ｎｏ”）、音声認識処理を終了する。

上記した実施の形態１によれば、音声認識処理中のタイムアウト回数または訂正回数、またはその両方に基づいてユーザの認識語彙理解度を判定し案内を変更することにより、ユーザが音声認識可能な語彙を理解できるような案内を提示することができる。

実施の形態２．
上記した実施の形態１では、音声認識処理中のタイムアウト回数と訂正回数、またはその両方に基づいてユーザの認識語彙理解度を判定したが、以下に説明する実施の形態２では、キー押下判定部２２がリモコンキー押下時の押圧力、または押下時間またはその両方を監視し、その押圧力、または押下時間、またはその両方に応じて訂正回数のカウントに重み付けを付し、認識語彙理解度の判定に反映させるようにしたものである。
例えば、キー押下判定部２２が、ユーザがキーを強く押した場合は理解度が低いと判定されるように重み付けし、認識語彙理解度判定部２０がその重みを考慮して理解度を判定して案内の方法を変更することとした。押下時間についても同様である。このとき、認識語彙理解度判定部２０は、実施の形態１同様、図７に示した認識語彙理解度判定情報が記憶されたデータテーブルを参照するものとする。以下、図２に示す基本動作、および図３に示すフローチャートを参照しながら実施の形態２に係る車載用音声認識装置の動作について詳細に説明する。

図２に示す基本動作のステップＳＴ２０１からステップＳＴ２１１の処理は、実施の形態１と同様である。車載用音声認識装置１は、ステップＳＴ２１１の処理において、訂正キーが押下したと判定された場合（ステップＳＴ２１１“Ｙｅｓ”）、図３に示すステップＳＴ２１４以降の処理を実行する。
図３のフローチャートにおいて、ステップＳＴ２１４では、キー押下判定部２２は、ユーザがリモコン／タッチパネル２に割り付けられた訂正キーを押したときの押下圧（強さ）を判定する。押下圧は、訂正キーの下に実装される例えば、圧電センサから取得することができる。ここで、訂正キーが強く押されたと判定された場合、訂正操作回数カウント部１６が、例えば、訂正操作回数＋２、弱く押されていた場合は訂正操作回数＋１とするように、キー押下の強さによって訂正操作回数に重み付けしてカウントし（ステップＳＴ２１５）、認識語彙理解度判定処理を行う図２に示す基本動作のステップＳＴ２０４の処理に戻る。なお、キー押下の強弱の判定は、キー押下判定部２２が、標準押下圧と比較することにより判定するものとする。

上記した実施の形態２によれば、認識語彙理解度判定部２０は、キー押下判定部２２から出力されるキー押圧力を案内に対するユーザの認識語彙理解度の判定に反映させることより、ユーザに適した案内を提示することができる。

実施の形態３．
上記した実施の形態１、２では、認識語彙理解度判定部２０は、音声認識時のタイムアウト回数と訂正回数または、その両方に基づいてユーザの認識語彙理解度を判定したが、以下に説明する実施の形態３では、更に、走行状況判定部１７により判定される車両の走行状況も考慮してユーザの認識語彙理解度判定を行い、ユーザに適した案内を提示することとした。
例えば、停車中にタイムアウトした場合には、認識語彙理解度判定部２０は、停車中は走行中に比べ、騒音が少なく、案内が聞き取りやすいにもかかわらずタイムアウトしたことからユーザが認識可能な語彙を理解していないと判定し、それによって、案内を変更させる。走行状況の判定は、ＧＰＳ６やＧセンサ７によってそれぞれ取得される車両の現在位置、加速度情報、あるいは車内ＬＡＮ８を介して取得される車速、操舵角等の情報を用いることとする。

以下、図２に示す基本動作および図４に示すフローチャートを参照しながら実施の形態３に係る車載用音声認識装置の動作について詳細に説明する。
図２に基本動作として示すステップＳＴ２０１からＳＴ２０６の処理は、上記した実施の形態１、２と同様である。車載用音声認識装置１は、ステップＳＴ２０６でユーザに案内を提示した後、図４のフローチャートに示すステップＳＴ２１６の処理に進む。ステップＳＴ２１６において、走行状況判定部１７は、ＧＰＳ６やＧセンサ７などの情報を監視して車両が走行中か停車中かを判定して制御部１１に供給し、図２に示す音声認識処理を実行する基本動作ステップＳＴ２０７の処理に戻る。

ここで、認識語彙理解度判定部２０は、例えば、図８に示した認識語彙理解度判定情報をテーブルデータとして内蔵している。このため、認識語彙理解度判定部２０は、タイムアウトや訂正操作後にユーザに案内を行う場合、上記したデータテーブルを参照することにより、タイムアウト回数または訂正操作回数またはその両方と、走行状況とからユーザの認識語彙理解度を判定する（ステップＳＴ２０４）。
例えば、タイムアウト回数が１回、訂正操作回数が０回、走行状況が停車中であった場合は、図８に示したデータテーブルから理解度は「４」となる。ここでは、停車中であったにもかかわらずユーザは発話できなかったものと考え、ユーザの認識語彙の理解度は低く設定される。ステップＳＴ２０５では、ステップＳＴ２０４で判定した理解度に基づき案内内容決定部２１が案内の内容をユーザの理解度に合わせて変更する。ここでは、ステップＳＴ２０４で判定した認識語彙理解度が比較的低いため、案内をわかりやすく提示するように案内内容が変更される。案内内容については後述する。

上記した実施の形態３によれば、認識語彙理解度判定部２０は、走行状況判定部１７から出力される車両の走行状況を音声案内に対するユーザの認識語彙理解度の判定に反映させることにより、走行状態に適した案内を提示することができる。

実施の形態４．
以下に説明する実施の形態４では、ユーザの運転状態を判定する運転操作状態判定部１８を備え、音声認識時にタイムアウトや訂正操作された場合に、認識語彙理解度判定部２０が運転状況を考慮して認識語彙理解度判定を行う構成とした。
例えば、車両を後退（リバース）させていたためにタイムアウトした場合には、認識語彙理解度判定部２０は、後退運転の際の発話が困難なことを考慮して、ユーザの理解度を普通（低くはない）と設定し、案内を行うものである。以下、図２に示す基本動作および図５に示すフローチャートを参照しながら実施の形態４に係る車載用音声認識装置の動作について詳細に説明する。

図２に基本動作として示すステップＳＴ２０１からＳＴ２０６の処理は、上記した実施の形態１、２、３と同様である。車載用音声認識装置１は、ステップＳＴ２０６でユーザに案内を提示した後、図５に示すステップＳＴ２１７の処理に進む。
ステップＳＴ２１７では、運転操作状態判定部１８が、運転の操作状態として車両のリバース情報（車を後退させているか否か）やハンドルの操舵角に関する情報等を取得する。なお、運転操作状態は、車内ＬＡＮ８等を介して取得可能な車速などの情報を利用するものとする。運転操作状態判定部１８は、ステップＳＴ２１７で運転操作状態を取得後、図２に示す基本動作のステップＳＴ２０７の処理に戻る。

ここでは、認識語彙理解度判定部２０は、例えば、図９に示す認識語彙理解度判定情報をデータテーブルとして内蔵する。そして、タイムアウトや訂正操作後にユーザに案内を行う場合、ステップＳＴ２０４で、認識語彙理解度判定手段２０が、タイムアウト回数または訂正操作回数またはその両方と、運転操作状態とからユーザの認識語彙理解度を判定する。例えば、タイムアウト回数が１回、訂正操作回数が０回、運転操作状態がリバースを示し、ハンドルを大きく回している（操舵角が大）場合は、図９に示すデータテーブルから認識語彙理解度は「１０」になる。ここでは、タイムアウトはしたが、ユーザは車を後退させ、ハンドルを回す操作に集中していることを考慮して、理解度が比較的高いものと設定されている。
ステップＳＴ２０５では、ステップＳＴ２０４で判定した認識語彙理解度に基づき、案内内容決定部２１が案内の内容をユーザの認識語彙理解度に合わせて変更する。例えば、ステップＳＴ２０４で判定した理解度が比較的高いため、案内をわかりやすくする処理は行わないようにする。

上記した実施の形態４によれば、認識語彙理解度判定部２０は、運転操作状態判定部１８から出力される車両の運転操作状態を案内に対するユーザの認識語彙理解度の判定に反映させることにより、運転操作状態に適した案内を行なうことができる。

実施の形態５．
以下に説明する実施の形態５では、例えば、ハンドル等に設置されたセンサ類によって検知される信号によりユーザの心理状態を判定するユーザ状態判定部１９を更に備え、音声認識時にタイムアウトや訂正操作された場合に、認識語彙理解度判定部２０がユーザの状態を考慮して理解度を判定する構成とした。
認識語彙理解度判定部２０は、例えば、心拍数があがっていた場合は音声操作に慣れていない等の判定を行い、ユーザの認識語彙理解度が低いとして、案内を変更させるものである。ここで、ユーザの状態は、発汗、心拍数、視線をセンシングし、あるいはユーザの音声入力時の口調を利用することが考えられる。以下、図２に示す基本動作および図６に示すフローチャートを参照しながら実施の形態５に係る車載用音声認識装置の動作について詳細に説明する。

図２に基本動作として示すステップＳＴ２０１からＳＴ２０６の処理は、上記した実施の形態１、２と同様である。車載用音声認識装置１は、ステップＳＴ２０６でユーザに案内を提示した後、図６に示すステップＳＴ２１８の処理に進む。
ステップＳＴ２１８では、ユーザ状態判定部１９が、ユーザの発汗や心拍数や視線をセンシングすることでユーザの心理状態を取得する。そして、ステップＳＴ２１９で案内に対して入力された音声を音声認識処理部１２が認識処理し、ステップＳＴ２２０の処理へ進む。ステップＳＴ２２０では、ユーザ状態判定部１９が、ユーザが音声入力するときの口調を取得し、図２の基本動作ステップＳＴ２０８の処理に戻る。

ここで、認識語彙理解度判定部２０は、図１０に示す認識語彙理解度判定情報をデータテーブルとして内蔵する。そして、タイムアウトや訂正操作後にユーザに案内を行う場合、ステップＳＴ２０４で、認識語彙理解度判定手段２０がタイムアウト回数または訂正操作回数またはその両方と、ユーザ状態とからユーザの認識語彙理解度を判定する。
例えば、タイムアウト回数が１回、訂正操作回数が０回、ユーザ状態として発汗あり、心拍数が高い・視線が定まらない・口調が弱いと判定されていた場合は、上記したデータテーブルを参照することにより、理解度は「１」となる。ここでは、タイムアウトは１回であるが、ユーザは発話語彙がわからず戸惑っている状態であると考え、理解度が低く設定されている。ステップＳＴ２０５では、ステップＳＴ２０４で判定された認識語彙理解度に基づき、案内内容決定部２１が案内の内容をユーザの理解度に合わせて変更する。個々では、ステップＳＴ２０４で判定した理解度が比較的低いため、案内をわかりやすく提示するように案内内容が変更される。案内のバリエーションについては後述する。

上記した実施の形態５によれば、認識語彙理解度判定部２０は、ユーザ状態判定部１９から出力されるユーザの心理状態に関する情報を案内に対するユーザの認識語彙理解度の判定に反映させることにより、ユーザの心理状態に適した案内を行なうことができる。

以下、上記した実施の形態１〜５における案内の変更方法について説明する。案内内容の変更は、案内内容決定部２１が、認識語彙理解度判定部２０によって出力されるユーザの認識語彙理解度に基づいて判定する。変更された案内内容は、制御部１１を経由して、音声出力部１３（スピーカ５）あるいは画面出力部１４（表示モニタ４）により音声もしくは画像で出力される。
案内内容決定部２１は、ユーザの認識語彙理解度が低い場合には、案内を詳しく設定して発話語彙をユーザに把握させることができる。詳しい案内については、あらかじめメッセージを複数用意しておいて切り替えるか、または動的に生成するなどの方法を用いる。変更方法の例として、例えば、図２に示す基本動作のステップＳＴ２０６で、音声出力部１３あるいは画面出力部１４が「続きの住所をお話しください」と提示したが、タイムアウトや訂正操作によりステップＳＴ２０４の処理に戻り、ステップＳＴ２０４で、ユーザの理解度が低いと判定された場合、その案内は、「市区町村または住所番号をお話しください」のように変更される。さらに、タイムアウトや誤認識による訂正操作により、再びステップＳＴ２０４の処理に戻り、ステップＳＴ２０４でユーザの理解度が低いと判定された場合、音声出力部１３あるいは画面出力部１４が「三田市三輪２丁目などとお話しください」と提示することが考えられる。

また、ユーザの認識語彙理解度が低い場合には、案内内容決定部２１が案内のスピードを比較的ゆっくりしたレベルに設定して発話語彙をユーザに把握させることも考えられる。この場合、案内内容決定部２１は、あらかじめ案内のスピードのレベルを設定しておき、図２の基本動作のステップＳＴ２０５で、理解度が低いと判定された場合には、案内内容決定部２１がスピードのレベルを設定し直す必要がある。
更に、ユーザの認識語彙理解度が低い場合には、案内開始時に音または画像またはその両方により注意を促し、ユーザが案内に注意が向くように仕向けることにより、その案内内容から発話語彙をユーザに把握させることができる。これは、案内内容決定部２１があらかじめ案内開始時に鳴らす音（ビープ音）等を用意しておき、図２に示す基本動作のステップＳＴ２０５で、音を鳴らす場合のみ設定を行う。このとき、案内開始時に鳴らす音は複数種類用意しておき、認識語彙理解度によって使い分けても良い。

また、ユーザの理解度が低い場合には、案内内容の中の発話可能な語彙を示す部分の音量を大きくして、発話語彙をユーザに把握させることも考えられる。この場合、案内内容決定部２１は、あらかじめ、案内内容の発話語彙を示す部分であることを情報として持っておき、また、音量のレベルを設定できるようにしておく。
図２に示す基本動作のステップＳＴ２０５で、案内内容決定部２１によって、案内の中で発話可能な部分の音声のレベルを設定し直す必要がある（音量を大きくするように設定するまたは、発話可能な語彙の音量はそのままで、それ以外の部分の音量を下げる。）

また、ユーザの認識語彙理解度が低い場合には、画面表示による案内の表示形態を変更してもよい。例えば、案内の中で発話可能な語彙を示す部分の文字を大きくする、太字にする、色を変える、強調表示する等である。画面出力部１４がこのように画面表示を見易く制御することにより発話語彙をユーザに把握させる。また、画面出力部１４があらかじめ表示形態の変更後の文字列を用意しておくか、または動的に文字列を生成しても良い。
変更方法の例として、図２に示す基本動作のステップＳＴ２０６で、「住所または施設とお話しください」と画面に表示したが、タイムアウトや訂正操作によりステップＳＴ２０４の処理に戻り、ステップＳＴ２０４でユーザの理解度が低いと判定された場合、画面出力部１４が案内の表示を「住所または施設とお話しください」と強調表示することが考えられる。

また、ユーザの理解度が低い場合には、上記した案内変更方法を組み合わせることにより、発話語彙をユーザに把握させることも可能である。変更方法の例として、図２の基本動作のステップＳＴ２０６で、「ピッと鳴ったらお話しください」と提示したが、タイムアウトや訂正操作によりステップＳＴ２０４の処理に戻り、ステップＳＴ２０４でユーザの理解度が低いと判定された場合、音声での案内をビープ音＋「住所または施設とお話しください」とする。また、画面表示を「住所または施設とお話しください」のように変更するようにしてもよい。

以上説明のように、この発明の実施の形態１〜５に係る車載用音声認識装置１は、認識語彙理解度判定部２０が、音声認識部１２による音声認識処理中に監視される、少なくとも、ユーザ操作に対するタイムアウト回数または訂正回数、またはその両方により、案内に対するユーザの認識語彙理解度を判定し、案内内容決定部２１を制御して案内情報出力部（音声出力部１３もしくは画面出力部１４）による案内を変更するものであり、このとき、ユーザの認識語彙理解度によって、音声あるいは画面表示による案内を変更し、あるいは案内音声のスピードを変更し、あるいは案内の表示形態を変更することにより、ユーザに適切な案内を行なうことができる。
また、案内開始時にビープ音を報知することにより、あるいは、車載用音声認識装置１からの案内に含まれる発話語彙を示す部分の音量を大きくすることにより、案内を聞いていないまたは聞き取れていないために認識語彙理解度が低いユーザに対して車載用音声認識装置１からの案内に対して注意を喚起することが可能となり、かつ、適切な案内をおこなうことができる。

なお、上記した車載用音声認識装置１を構成する各ブロック９〜２１がそれぞれ持つ機能は、車載用音声認識装置１が内蔵する不図示のメモリに記憶されるそれぞれのプログラムを制御部１１が読み出し実行することにより達成されるものであって、制御部１１内において実体的に他のブロックと区分され内蔵されるもののみを指すのではなく、あくまで説明の簡略化のために各処理部を分けて表現したものである。また、上記した各ブロックの機能は、全てをソフトウェアによって実現しても、あるいはその少なくとも一部をハードウエアで実現してもよい。なお、このとき、図６〜図１０に示したデータテーブルは、上記した不図示のメモリに割当てられあらかじめ登録されてあるものとする。

以上のように、この発明に係る車載用音声認識装置は、音声案内内容を変化させることで、ユーザが案内を聞き取りやすくなり、発話可能な語彙を把握することのできる車載用音声認識装置としたので、カーナビゲーションシステムなどに用いるのに適している。

Claims (8)

1. 入力音声を取得する音声入力部と、
   前記取得した入力音声を音声認識する音声認識部と、
   前記音声認識の結果に基づきユーザに発話を促す案内を提示する案内情報出力部と、
   前記音声認識部による音声認識中に監視されるユーザ操作に対するタイムアウト回数、または訂正回数、またはタイムアウト回数と訂正回数の両方を取得し、その回数が多くなるにつれて前記案内に対する理解が低いことを示す認識語彙理解度を判定する認識語彙理解度判定部と、
   前記案内情報出力部が提示する案内を、前記認識語彙理解度判定部で判定された認識語彙理解度に応じて、その認識語彙理解度のユーザが把握できる内容または提示形態の案内に変更する案内内容決定部と、
   キー操作による訂正入力時のキー押圧力を判定するキー押下判定部と、
   センサによって検知される車両の現在位置、加速度、車速または操舵角を示す信号に基づき車両の走行状況を判定する走行状況判定部と
   を備え、
   前記認識語彙理解度判定部は、前記キー押下判定部から出力されるキー押圧力に応じて前記訂正回数に重み付けしてカウントし、当該重み付けした訂正回数と、前記走行状況判定部から出力される車両の走行状況とを前記認識語彙理解度の判定に反映させることを特徴とする車載用音声認識装置。
2. 入力音声を取得する音声入力部と、
   前記取得した入力音声を音声認識する音声認識部と、
   前記音声認識の結果に基づきユーザに発話を促す案内を提示する案内情報出力部と、
   前記音声認識部による音声認識中に監視されるユーザ操作に対するタイムアウト回数、または訂正回数、またはタイムアウト回数と訂正回数の両方を取得し、その回数が多くなるにつれて前記案内に対する理解が低いことを示す認識語彙理解度を判定する認識語彙理解度判定部と、
   前記案内情報出力部が提示する案内を、前記認識語彙理解度判定部で判定された認識語彙理解度に応じて、その認識語彙理解度のユーザが把握できる内容または提示形態の案内に変更する案内内容決定部と、
   キー操作による訂正入力時のキー押圧力を判定するキー押下判定部と、
   センサによって検知される車両のリバース情報やハンドルの操舵角に関する情報を示す信号に基づき車両の運転操作状態を判定する運転操作状態判定部と
   を備え、
   前記認識語彙理解度判定部は、前記キー押下判定部から出力されるキー押圧力に応じて前記訂正回数に重み付けしてカウントし、当該重み付けした訂正回数と、前記運転操作状態判定部から出力される車両の運転操作状態とを前記認識語彙理解度の判定に反映させることを特徴とする車載用音声認識装置。
3. 入力音声を取得する音声入力部と、
   前記取得した入力音声を音声認識する音声認識部と、
   前記音声認識の結果に基づきユーザに発話を促す案内を提示する案内情報出力部と、
   前記音声認識部による音声認識中に監視されるユーザ操作に対するタイムアウト回数、または訂正回数、またはタイムアウト回数と訂正回数の両方を取得し、その回数が多くなるにつれて前記案内に対する理解が低いことを示す認識語彙理解度を判定する認識語彙理解度判定部と、
   前記案内情報出力部が提示する案内を、前記認識語彙理解度判定部で判定された認識語彙理解度に応じて、その認識語彙理解度のユーザが把握できる内容または提示形態の案内に変更する案内内容決定部と、
   キー操作による訂正入力時のキー押圧力を判定するキー押下判定部と、
   センサによって検知されるユーザの発汗、心拍数、視線、あるいは音声入力時の口調を示す信号に基づきユーザの心理状態を判定するユーザ状態判定部と
   を備え、
   前記認識語彙理解度判定部は、前記キー押下判定部から出力されるキー押圧力に応じて前記訂正回数に重み付けしてカウントし、当該重み付けした訂正回数と、前記ユーザ状態判定部から出力されるユーザの心理状態とを前記認識語彙理解度の判定に反映させることを特徴とする車載用音声認識装置。
4. 前記案内情報出力部は、
   前記認識語彙理解度判定部により判定されるユーザの認識語彙理解度が低くなるにしたがって前記案内を詳細な内容に変更することを特徴とする請求項１から請求項３のうちのいずれか１項記載の車載用音声認識装置。
5. 前記案内情報出力部は、
   前記認識語彙理解度判定部により判定されるユーザの認識語彙理解度が低くなるにしたがって前記案内の速度を低速度とすることを特徴とする請求項１から請求項４のうちのいずれか１項記載の車載用音声認識装置。
6. 前記案内情報出力部は、
   前記認識語彙理解度判定部により判定されるユーザの認識語彙理解度が低くなると前記案内開始時に音または表示、もしくは音と表示により報知することを特徴とする請求項１から請求項５のうちのいずれか１項記載の車載用音声認識装置。
7. 前記案内情報出力部は、
   前記認識語彙理解度判定部により判定されるユーザの認識語彙理解度が低くなると前記案内に含まれる発話語彙を示す箇所の音量を他の箇所の音量に比べ相対的に大きくなるよう設定することを特徴とする請求項１から請求項６のうちのいずれか１項記載の車載用音声認識装置。
8. 前記案内情報出力部は、
   前記認識語彙理解度判定部により判定されるユーザの認識語彙理解度に基づき画面への表示形態を変化させることを特徴とする請求項１から請求項７のうちのいずれか１項記載の車載用音声認識装置。

Images