JP4942814B2 - 車両用操作装置 - Google Patents

Description

この発明は、車両または車載機器を操作するための車両用操作装置に関し、特に操作性を向上させる技術に関する。

従来、車両を運転中に負荷なく車両または車載機器を操作する方法として、声だけで操作を行う音声操作が知られている。この音声操作を用いれば、周辺検索または楽曲検索などといった操作が可能になる。例えば、「近くのレストラン」などのような発話を行うことにより、近くのレストランが検索され、検索結果が候補として出力されるので、ユーザは候補の中から所望のレストランを選ぶという操作が可能となっている。

ところが、検索結果として得られた候補の中から所望の１つを選ぶ操作を音声操作で行うためには、候補を１つずつ確認し、決定する操作をする必要がある。したがって、何度も発話操作が必要であったり、直感的な操作ができなかったりするため、煩わしいという問題があった。また、音声操作では、音声認識の結果は、例えばナビゲーション装置のモニタに表示されるので、操作者はモニタを見て確認する必要がある。したがって、視線移動が発生するので、運転中には使い勝手が悪いという問題があった。

また、音声操作の煩わしさを低減するために、リモートコントローラ（以下、「リモコン」という）による操作またはタッチパネルによる操作を併用できるようにしたマルチモーダルが行われるようになってきているが、リモコンの場合は、決められた数のキーの中で可能となる操作数には限りが生じ、また、キーの数が多いと操作が難しくなり、各キーに割り当てられている操作がわかりにくく、直感的な操作ができないという問題があった。また、タッチパネルの場合は、モニタに触れる操作であることから必然的にモニタを見る必要が生じ、視線移動が発生するため、運転中の操作としては使い勝手が悪いという問題があった。

このような問題を解消するための、特許文献１は、音声操作に代わり、空間操作を用いることによって、運転姿勢を維持したままで車載用機器を操作可能にした情報入力装置を開示している。この情報入力装置において、ドライバは、仮想空間の範囲に入るように手を挙げ、閉じた状態から手を開いた状態とする。この手の動きはカメラで撮像され、その画像と位置が所定のものに該当するときは、入力可能なスタンバイ状態となる。続いてドライバは、仮想空間内の複数のメニュー空間のうちのいずれか選択したいものを手で掴む。この動作は同様にカメラで撮像され、手の動きや位置が認識され、手がいずれのメニュー空間を掴んだかが判定される。判定結果はナビゲーション装置に供給される。また、判定結果は、音声でドライバにコールバックされる。

また、特許文献２は、音声認識と空間操作の組合せにより機器の操作を可能にした車載機器用インタフェースを開示している。この車載機器用インタフェースは、操作者の発話に基づく入力音声と、音声辞書に登録された指示代名詞とで特徴データが一致し、且つ、予め設定された許容時間内に、操作者のジェスチャ（手の形状）が、手辞書に登録された登録パターンと一致したことが確認されると、一致した登録パターンに対応づけられた車載機器を対象機器として特定すると共に、その対象機器の動作状態を取得する。そして、取得した動作状態を、他の動作状態に切り替えるための制御コマンドを作成し、その制御コマンドを対象機器に送信する。つまり、動作状態を切り替えるべき対象機器を、音声（指示代名詞）とジェスチャ（指差し）との組み合わせによって特定する。

特開２０００−７５９９１号公報 特開２００５−１７８４７３号公報

しかしながら、上述した特許文献１に開示された技術では、空間操作のためのメニューはナビゲーション装置のモニタに表示されており、操作者は、実際には何も存在しない空間内で仮想的にメニューがあるという想定のもと、音声コールバックを頼りに操作しなければならず、直感的な操作ができない。また、操作者がメニュー表示を確認するためには、ナビゲーション装置のモニタを見る必要があるので視線移動が発生し、走行中の操作としては問題がある。また、この技術では、音声操作は用いず、空間操作だけで全てを操作するため、検索のような階層が深い操作の場合には空間操作で選択する手順が数多く発生するという問題がある。

また、特許文献２に開示された技術では、音声操作は、「これ」などの指示代名詞の発話を単に空間操作のトリガとして使用するだけであり、検索などのような様々な語彙を認識するものではない。また、この技術では、空間操作で機器を指差すことにより操作対象機器を特定して操作し、モニタなどの表示部も備えていないため、指差しした機器のＯＮ／ＯＦＦのような単純操作しかできない。

この発明は、上述した問題を解消するためになされたものであり、その課題は、運転中でも運転姿勢を崩さず、視線移動を生じずに、直感的で負荷がなく使い勝手の良い操作を可能とする車両用操作装置を提供することにある。

この発明に係る車両用操作装置は、上記課題を解決するために、発話された音声を認識して認識結果を出力する音声操作部と、空間でなされた動作を認識して認識結果を出力する空間操作部と、音声操作部から送られてくる認識結果および空間操作部から送られてくる認識結果に応じた処理を実行するメイン処理部と、メイン処理部からの指示に応じて生成した画像を、フロントガラスを介して見える実景に重畳して表示する表示部と、個人を認証する個人認証処理部を備え、メイン処理部は、音声操作部から送られてくる認識結果に応じたメニューを表示部に表示させ、該メニューから１つの項目を選択するように空間でなされた動作を認識した空間操作部から送られてくる認識結果に応じた処理を実行し、空間操作部は、個人認証処理部によって認証された個人に対して設定されている認識モードを取得し、表示部に表示された項目を選択する場合に、認識モードが相対モードである場合は、空間でなされた動作を相対位置で認識し、絶対モードである場合は、絶対位置で認識することを特徴とする。

この発明に係る車両用操作装置によれば、音声操作または空間操作に応じた画像を表示部に表示し、さらに、音声操作または空間操作を用いて車両用操作装置を操作できるように構成したので、例えば、音声操作だけでは煩わしい操作になる場合であっても、フロントガラスへの重畳表示と空間操作を併用することにより、運転中でも運転姿勢を崩さず、視線移動することなく、直感的で負荷がなく使い勝手の良い操作が可能となる。また、操作者は自分の好みに応じて、より使いやすい操作を行うことができる。

この発明の実施の形態１に係る車両用操作装置の構成を示すブロック図である。 この発明の実施の形態１に係る車両用操作装置の動作を示すフローチャートである。 この発明の実施の形態１に係る車両用操作装置において、フロントガラスに重畳表示される画像の例を示す図である。 この発明の実施の形態２に係る車両用操作装置の動作を示すフローチャートである。 この発明の実施の形態３に係る車両用操作装置の動作を示すフローチャートである。 この発明の実施の形態３に係る車両用操作装置において使用される対応テーブルを示す図である。 この発明の実施の形態６に係る車両用操作装置において使用される対応テーブルを示す図である。 この発明の実施の形態７に係る車両用操作装置のメイン処理部の構成を示すブロック図である。 この発明の実施の形態７に係る車両用操作装置の動作を示すフローチャートである。 この発明の実施の形態８に係る車両用操作装置において使用されるメニューアイテムの例を示す図である。 この発明の実施の形態１０に係る車両用操作装置のメイン処理部の構成を示すブロック図である。 この発明の実施の形態１０に係る車両用操作装置の動作を示すフローチャートである。 この発明の実施の形態１１に係る車両用操作装置のメイン処理部の構成を示すブロック図である。 この発明の実施の形態１１に係る車両用操作装置の動作を示すフローチャートである。 この発明の実施の形態１２に係る車両用操作装置の動作を示すフローチャートである。 この発明の実施の形態１３に係る車両用操作装置の動作を示すフローチャートである。 この発明の実施の形態１４に係る車両用操作装置において使用される対応テーブルを示す図である。 この発明の実施の形態１４に係る車両用操作装置の動作を示すフローチャートである。

以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１に、この発明の実施の形態１に係る車両用操作装置の構成を示すブロック図である。この車両用操作装置は、空間操作部２、音声操作部３、メイン処理部４、表示部５および音声処理部６を備えている。

空間操作部２は、空間操作を実現するために使用される。この空間操作部２は、画像入力部２１、画像検出部２２、動作位置判定部２３および画像認識部２４を備えている。画像入力部２１は、例えば操作者が行った空間操作のための動作を撮影するカメラから構成されている。この画像入力部２１としてのカメラは、操作者の手元の動作を撮影し易い位置、例えばフロントパネルの下部またはフロントガラスの上部などに設置されている。この画像入力部２１で撮影することにより得られた画像は、画像検出部２２および動作位置判定部２３に送られる。

画像検出部２２は、画像入力部２１から送られてくる画像から、認識に必要な画像部分を検出して抽出する。例えば、画像検出部２２は、手の形状または色を検出することによって手の認識に必要な部分と判断し、画像入力部２１から送られてくる画像から、手の画像部分のみを抽出する。この画像検出部２２で抽出された画像は、画像認識部２４に送られる。

動作位置判定部２３は、誤認識を避けるために、空間内での動作位置を判定する。具体的には、動作位置判定部２３は、例えば赤外線センサなどを備えており、この赤外線センサによって、動かされた手などの画像の位置を判定する。この動作位置判定部２３で判定された動作位置は、画像認識部２４に送られる。

画像認識部２４は、画像検出部２２から送られてくる画像と動作位置判定部２３から送られてくる動作位置とに基づき、動作内容を認識する。例えば、画像認識部２４は、画像検出部２２から送られてくる画像を分析し、手の形状、動き、傾き、または、位置などにより、どのような動作が行われたかを認識し、この認識した結果をメイン処理部４に送る。

音声操作部３は、音声操作を実現するために使用される。この音声操作部３は、音声入力部３１、音声認識辞書３２および音声認識部３３を備えている。音声入力部３１は、例えば操作者が音声操作のために発話した音声を入力するマイクロフォン（以下、「マイク」と略する）から構成されている。この音声入力部３１としてのマイクは、操作者が発話した音声を取り込み易い位置に設置されている。この音声入力部３１から入力された音声データは、音声認識部３３に送られる。

音声認識辞書３２は、音声操作において認識対象とする語彙を保持する。すなわち、音声認識辞書３２は、音声認識の対象とする語彙を保持したデータベースであり、複数の語彙を、例えば施設名、住所、曲名などに分類して格納した複数の辞書から構成されている。音声認識の際には、音声認識辞書３２の中の１つの認識辞書をアクティブにすることにより、利用者が認識対象とする語彙を指定することができる。この音声認識辞書３２に記憶されている語彙は、音声認識部３３によって読み出される。

音声認識部３３は、音声入力部３１から入力された音声データを分析し、この分析した結果と音声認識辞書３２の中のアクティブにされている認識辞書に格納されている語彙および文法とのマッチング処理を行うことにより、１つの語彙を導き出す。この音声認識部３３で導き出された語彙は、認識結果として、メイン処理部４に送られる。

表示部５は、フロントガラスを介して見える実景に、メイン処理部４からの指示に応じて生成した画像を重畳して表示する。この表示部５は、表示生成部５１、表示投影部５２および重畳表示部５３を備えている。表示生成部５１は、メイン処理部４からの指示に応答して、表示投影部５２において投影するための映像信号を生成する。この表示生成部５１で生成された映像信号は、表示投影部５２に送られる。表示投影部５２は、例えばプロジェクタから構成されており、表示生成部５１から送られてくる映像信号に基づき画像を生成し、重畳表示部５３に投影する。

重畳表示部５３は、例えば、フロントガラスから見える実景に、画像を重畳して表示することを可能にするためのスクリーンから構成されている。この重畳表示部５３としてのスクリーンは、ガラスに透明フィルムを貼ったり、ガラスにフィルムまたは樹脂などを挟んだりする方法などにより構成することができる。なお、スクリーンを構成する方法として、上記以外の方法を用いることもできる。

音声処理部６は、音声ガイダンスを出力するために使用される。この音声処理部６は、音声生成部６１および音声出力部６２を備えている。音声生成部６１は、メイン処理部４からの指示に応じて、音声信号を生成する。この音声生成部６１で生成された音声信号は、音声出力部６２に送られる。音声出力部６２は、例えばスピーカから構成されており、音声生成部６１から送られてくる音声信号にしたがって音声を発生する。

メイン処理部４は、車両用操作装置の全体を制御する。このメイン処理部４は、制御部４１、状態管理部４２、検索処理部４３およびデータベース４４を備えている。制御部４１は、画像認識部２４から送られてくる空間操作の認識結果、音声認識部３３から送られてくる音声操作の認識結果を受け取り、車両用操作装置の全体を制御する。例えば、制御部４１は、音声認識部３３から送られてくる音声操作の認識結果にしたがって車両用操作装置を操作するためのメニューを表示部３に表示し、画像認識部２４から送られてくる空間操作の認識結果にしたがって該メニューから選択された項目の処理（例えば、検索処理）を実行する。

状態管理部４２は、操作手順における状態遷移を管理する。制御部４１は、この状態管理部４２で操作手順毎に管理されているデータを読み出し、この読み出したデータにしたがって状態を遷移させながら処理を進める。検索処理部４３は、制御部４１からの指示に応答して、例えばナビゲーション装置に保持されている車載情報で用いられる施設または音楽などをデータベース４４から検索する。この検索処理部４３で検索された施設または音楽などのデータは、制御部４１に送られる。データベース４４は、検索で用いられる施設または音楽などのデータを格納している。このデータベース４４は、上述したように、検索処理部４３によってアクセスされる。

次に、上記のように構成される、この発明の実施の形態１に係る車両用操作装置の動作を、音声操作および空間操作を実現する操作処理を中心に、図２に示すフローチャートを参照しながら説明する。この操作処理は、発話スイッチ（図示しない）の押下をトリガとして開始される。

操作処理においては、まず、音声認識開始処理が行われる（ステップＳＴ１１）。すなわち、制御部４１は、音声認識部３３に対して音声認識開始命令を送る。これにより、音声認識処理が開始され、車両用操作装置は、操作者の発話による音声入力の待ち状態となる。次いで、所定時間内に音声入力があったか否かが調べられる（ステップＳＴ１２）。すなわち、音声認識部３３は、所定時間内に音声入力部３１から音声データが送られてきたかどうかを調べる。このステップＳＴ１２において、所定時間内に音声入力がないことが判断されると、操作処理は終了する。

一方、ステップＳＴ１２において、所定時間内に音声入力があったことが判断されると、次いで、音声認識処理が行われる（ステップＳＴ１３）。すなわち、音声認識部３３は、音声入力部３１から入力された音声データを分析し、分析結果と音声認識辞書３２に格納されている語彙とのマッチング処理を実行することにより１つの語彙を導き出し、制御部４１に送る。例えば、操作者が「近くのレストラン」と発話すると、発話された音声が音声入力部３１を構成するマイクから入力され、音声認識辞書３２に格納されている語彙および文法とのマッチング処理が行われる。これにより、認識結果として、１つの語彙が得られる。この認識結果として得られた語彙は、メイン処理部４の制御部４１に送られる。

次いで、結果処理が行われる（ステップＳＴ１４）。すなわち、制御部４１は、音声認識部３３から受け取った音声操作の認識結果に応じた処理を行う。例えば、音声操作の認識結果が検索を指示する内容であれば、制御部４１は、その指示内容を検索処理部４３に渡して検索を指示する。検索処理部４３は、制御部４１からの指示に応答して、データベース４４を検索し、この検索により得られた情報を制御部４１に渡す。例えば、「近くのレストラン」という検索が指示された場合は、データベース４４に含まれる施設データベースから現在地周辺のレストラン情報が検索され、制御部４１に渡される。

次いで、表示出力処理が行われる（ステップＳＴ１５）。すなわち、制御部４１は、音声操作の認識結果に応じて、状態管理部４２から遷移すべき状態を取得し、表示する内容の生成を表示生成部５１に指示する。表示生成部５１は、この制御部４１からの指示に応じて表示する内容を表す映像信号を生成し、表示投影部５２に送る。表示投影部５２は、表示生成部５１から送られてくる映像信号に基づき画像を生成し、重畳表示部５３に投影する。これにより、例えば図３に示すような情報がフロントガラスに、実景に重畳して表示される。

次いで、音声出力処理が行われる（ステップＳＴ１６）。すなわち、音声生成部６１は、制御部４１からの指示に応じて、音声出力するための音声ガイダンスを生成し、音声出力部６２に送る。これにより、音声出力部６２から音声ガイダンスが出力される。例えば、「近くのレストラン」を検索した場合であれば、表示生成部５１において、検索されたレストランの候補を３件ずつ生成してフロントガラス上に投影するとともに、検索されたレストランの候補の音声ガイダンスが行われる。

次いで、操作完了であるかどうかが調べられる（ステップＳＴ１７）。すなわち、制御部４１は、状態管理部４２から遷移すべき状態を取得し、この遷移すべき状態が終了であるかどうかを調べる。このステップＳＴ１７において、操作完了であることが判断されると、操作処理は終了する。一方、ステップＳＴ１７において操作完了でないことが判断されると、画像入力待ち状態になる（ステップＳＴ１８）。すなわち、制御部４１は、画像認識部２４に対して画像認識開始命令送る。これにより、画像認識部２４は、画像入力部２１から画像が入力されるのを待つ「画像入力待ち状態」に入る。

次いで、所定時間内に画像入力があったかどうかが調べられる（ステップＳＴ１９）。すなわち、画像認識部２４は、所定時間内に、画像入力部２１から操作者が動作した画像が入力され、動作位置判定部２３において動作の位置が判定されたかどうかを調べる。このステップＳＴ１９において、所定時間内に画像入力がないことが判断されると、操作処理は終了する。

上記ステップＳＴ１９において、所定時間内に画像入力があったことが判断されると、次いで、画像検出処理が行われる（ステップＳＴ２０）。すなわち、画像検出部２２は、画像入力部２１から送られてくる画像から、認識に必要な手の画像部分を検出して抽出し、画像認識部２４に送る。次いで、画像認識処理が行われる（ステップＳＴ２１）。すなわち、画像認識部２４は、画像検出部２２から送られてくる画像と図示しない記憶部にあらかじめ格納されている認識パターンとのマッチング処理を行うことにより、どのような動作が行われたかを認識し、認識結果を制御部４１に送る。

次いで、結果処理が行われる（ステップＳＴ２２）。すなわち、制御部４１は、画像認識部２４から認識結果を受け取り、この受け取った認識結果に応じた処理を実行する。次いで、表示出力処理が行われる（ステップＳＴ２３）。すなわち、制御部４１は、認識結果に応じて、状態管理部４２から遷移すべき状態を取得し、表示する内容の生成を表示生成部５１に指示する。表示生成部５１は、この制御部４１からの指示に応じて表示する内容を表す映像信号を生成し、表示投影部５２に送る。表示投影部５２は、表示生成部５１から送られてくる映像信号に基づき画像を生成し、重畳表示部５３に投影する。これにより、認識結果が、例えば選択メニューのスクロール操作を行う動作であれば、フロントガラスに重畳して表示されている表示メニューをスクロール表示させる。

次いで、音声出力処理が行われる（ステップＳＴ２４）。すなわち、音声生成部６１は、制御部４１からの指示に応じて、音声出力するための音声ガイダンスを生成し、音声出力部６２に送る。これにより、音声出力部６２から選択されたアイテムに対応する音声ガイダンスが出力される。

次いで、操作完了かどうかが調べられる（ステップＳＴ２５）。すなわち、制御部４１は、状態管理部４２から遷移すべき状態を取得し、この遷移すべき状態が終了であるかどうかを調べる。このステップＳＴ２５において、操作完了であることが判断されると、操作処理は終了する。一方、ステップＳＴ２５において操作完了でないことが判断されると、シーケンスはステップＳＴ１８に戻って画像入力待ち状態になり、以下、上述した処理が繰り返される。

以上説明したように、この発明の実施の形態１に係る車両用操作装置によれば、音声操作だけでは煩わしい操作になる場合であっても、フロントガラスへの重畳表示と空間操作を用いることにより、運転中でも運転姿勢を崩さず視線移動することなく、使いやすく直感的な操作を行うことが可能となる。

なお、画像認識部２４において、認識される動作としては、例えば手を左右に傾ける動作でメニューのスクロール操作とみなしたり、指を曲げる動作で決定操作とみなす等があるが、これらは一例であり、これに限定されるものではない。また、手以外（例えば、顔、目、口など）を使用して操作するように構成することもできる。また、図３に示した表示例は一例であり、表示場所、表示形状または表示内容などは任意に決定することができる。

実施の形態２．
上述した実施の形態１に係る車両用操作装置においては、音声操作により空間操作の認識を開始させるように構成したのに対し、この発明の実施の形態２に係る車両用操作装置は、空間の特定位置で動作がなされたことを検出して空間操作の認識を開始するようにしたものである。この実施の形態２に係る車両用操作装置の構成は、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。

次に、実施の形態２に係る車両用操作装置の動作を、空間操作を実現する操作処理を中心に、図４に示すフローチャートを参照しながら説明する。

この車両用操作装置は、電源が投入されると、常に画像入力待ち状態になる（ステップＳＴ３１）。すなわち、画像認識部２４は、画像入力部２１から画像が入力されるのを待つ「画像入力待ち状態」に入る。次いで、所定空間内で動作があったかどうかが調べられる（ステップＳＴ３２）。すなわち、画像認識部２４は、動作位置判定部２３において、特定空間内で画像が入力され動作が行われたかどうかを調べる。このステップＳＴ３２において、所定空間内で動作がないことが判断されると、シーケンスはステップＳＴ３１に戻って画像入力待ち状態を継続する。

一方、ステップＳＴ３２において、所定空間内で動作があることが判断されると、これをトリガとして、画像検出処理（ステップＳＴ３３）、画像認識処理（ステップＳＴ３４）、結果処理（ステップＳＴ３５）、表示出力処理（ステップＳＴ３６）および音声出力処理（ステップＳＴ３７）が順次実行される。これらステップＳＴ３３〜ＳＴ３７の処理は、図２のフローチャートに示すステップＳＴ２０〜ＳＴ２４の処理と同じである。次いで、操作完了かどうかが調べられる（ステップＳＴ３８）。すなわち、制御部４１は、状態管理部４２から遷移すべき状態を取得し、この遷移すべき状態が終了であるかどうかを調べる。このステップＳＴ３８において、操作完了であることが判断されると、操作処理は終了する。一方、ステップＳＴ３８において操作完了でないことが判断されると、シーケンスはステップＳＴ３１に戻って画像入力待ち状態になり、以下、上述した処理が繰り返される。

以上説明したように、この発明の実施の形態２に係る車両用操作装置によれば、操作者が特定空間内で動作を行うことにより空間認識処理を開始するように構成したので、操作者が空間操作の開始を任意の時に明示的に指示することができ、操作者が意図しない時に空間認識処理が開始されるという誤動作を防ぐことができる。

なお、操作処理を開始する時の状態は、電源投入直後でなくても、例えば音声認識操作後など、ある操作の続行状態であってもよく、どのような状態であっても操作者が任意の時に操作処理を開始させることができる。

また、空間認識処理が誤って開始されることをさらに防ぐために、ステップＳＴ３２の判定処理において、例えば、ある特定空間内で一定時間動作しているという条件を付加するように構成することもできる、ある特定空間内である特定の形状で動作するという条件を付加するように構成することもできる。

実施の形態３．
この発明の実施の形態２に係る車両用操作装置は、空間でなされる動作を３次元的に認識することにより空間操作を認識するようにしたものである。この実施の形態３に係る車両用操作装置の構成は、動作位置判定部２３の機能を除き、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。動作位置判定部２３は、空間内における手の２次元位置のみならず３次元位置（奥行き）をも判定し、判定結果を画像認識部２４に送る。

次に、実施の形態３に係る車両用操作装置の動作を、図５に示すフローチャートを参照しながら説明する。なお、図５に示すフローチャートにおいては、空間操作を認識する空間操作認識処理の部分のみを示している。

空間操作認識処理においては、まず、奥行き検出処理が行われる（ステップＳＴ４１）。すなわち、動作位置判定部２３は、画像入力部２１から受け取った画像から空間内での手の３次元位置、つまり奥行き方向の位置を検出し、画像認識部２４に送る。次いで、画像検出処理が行われる（ステップＳＴ４２）。すなわち、画像検出部２２は、画像入力部２１から送られてくる画像から、認識に必要な手の画像部分を色または形状などに基づいて検出して抽出し、画像認識部２４に送る。

次いで、画像認識処理が行われる（ステップＳＴ４３）。すなわち、画像認識部２４は、画像検出部２２から送られてくる画像と図示しない記憶部にあらかじめ格納されている認識パターンとのマッチング処理を行うことにより、どのような動作が行われたかを認識し、この認識結果に奥行き方向の情報を含めて制御部４１に送る。次いで、結果処理が行われる（ステップＳＴ４４）。すなわち、制御部４１は、画像認識部２４から認識結果を受け取り、この受け取った認識結果に応じた処理であって、且つ奥行き方向の情報を反映した処理を実行する。

例えば、制御部４１は、奥行き方向の情報に応じて、例えばナビゲーション装置の地図画面を拡大または縮小したり、再生中の音楽のボリュームを変更したり、階層的な構造で検索を行う場合において奥行き位置により階層を示したりする処理を実行する。なお、ステップＳＴ４１における奥行き検出処理においては、画像から奥行きを検出するのみならず、赤外反射またはステレオ視カメラなどを用いて奥行きを検出するように構成することもできる。

以上説明したように、この発明の実施の形態３に係る車両用操作装置によれば、奥行き方向を認識することにより奥行き方向を使った操作を行うことができ、また、平面方向の動作と奥行き方向の動作を合わせた複合的な操作が可能となる。

実施の形態４．
この発明の実施の形態４に係る車両用操作装置は、音声操作部３で操作対象となる語彙の発話を認識し、空間操作部２で操作内容の詳細を指示するようにしたものである。この実施の形態４に係る車両用操作装置の構成は、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。

次に、実施の形態４に係る車両用操作装置の動作を説明する。なお、この実施の形態４に係る車両用操作装置は、音声操作部３で操作対象を指示し、空間操作部２で操作内容の詳細を指示するように限定した点を除けば、実施の形態１に係る車両用操作装置の動作と同じであるので、図２に示すフローチャートを参照しながら説明するが、実施の形態４に係る部分を中心に説明し、実施の形態１に係る部分の説明は省略または簡略化する。以下においては、ボリューム変更操作を行う場合について説明する。

操作処理においては、まず、音声認識開始処理が行われる（ステップＳＴ１１）。これにより、音声認識処理が開始され、車両用操作装置は、操作者の発話による音声入力の待ち状態となる。次いで、所定時間内に音声入力があったか否かが調べられる（ステップＳＴ１２）。このステップＳＴ１２において、所定時間内に音声入力がないことが判断されると、操作処理は終了する。一方、ステップＳＴ１２において、所定時間内に音声入力があったことが判断されると、次いで、音声認識処理が行われる（ステップＳＴ１３）。例えば、音声入力の待ち状態で、操作者が「ボリューム変更」といった操作の指示命令を発話すると、その音声が音声認識部３３において認識され、認識結果が制御部４１に渡される。

次いで、結果処理が行われる（ステップＳＴ１４）。すなわち、制御部４１は状態管理部４２からボリューム変更命令の後に、詳細情報を受け付け状態であることを取得し、画面表示や音声ガイダンスによって空間操作でのボリューム詳細操作の受付状態であることを示す（ステップＳＴ１５およびＳＴ１６）。次いで、操作完了であるかどうかが調べられる（ステップＳＴ１７）。このステップＳＴ１７において、操作完了であることが判断されると、操作処理は終了し、操作完了でないことが判断されると、画像入力待ち状態になる（ステップＳＴ１８）。

次いで、所定時間内に画像入力があったかどうかが調べられる（ステップＳＴ１９）。このステップＳＴ１９において、所定時間内に画像入力がないことが判断されると、操作処理は終了する。一方、ステップＳＴ１９において、所定時間内に画像入力があったことが判断されると、次いで、画像検出処理が行われる（ステップＳＴ２０）。すなわち、操作者は空間操作を用いて、手の位置、角度または形状などにより、その操作に対する処理の詳細（度合い）を指示する。例えば、手の位置を上方にしてボリュームを大きくし、下方にしてボリュームを小さくしたり、手を倒す角度を大きくしてボリュームを大きくし、角度を小さくしてボリュームを小さくしたり、手の指の立てた数によりボリュームを設定する。画像検出部２２は、画像入力部２１から送られてくる画像から、上述した手の画像部分を検出して抽出し、画像認識部２４に送る。

次いで、画像認識処理が行われる（ステップＳＴ２１）。すなわち、手の位置、角度または形状などを認識することにより、その操作に対する処理の詳細（度合い）が指示される。次いで、結果処理が行われる（ステップＳＴ２２）。すなわち、制御部４１は、画像認識部２４から認識結果を受け取り、この受け取った認識結果に応じた処理、つまり空間操作の認識結果に応じたボリューム変更処理を実行する。次いで、処理結果に応じた画面表示（ステップＳＴ２３）および音声ガイダンスを行う（ステップＳＴ２４）。次いで、操作完了かどうかが調べられる（ステップＳＴ２５）。この場合、ボリューム変更操作として操作が完了したので、操作処理は終了する。

以上説明したように、この発明の実施の形態４に係る車両用操作装置によれば、音声操作だけでは面倒で指示しにくかったボリューム変更または地図スクロールなどの連続的またはアナログ的な操作を、空間操作により直感的に且つ簡単に指示することが可能になる。

実施の形態５．
この発明の実施の形態５に係る車両用操作装置は、表示部５に表示する画像を、空間操作部２で認識される操作方法と合致させるようにしたものである。この実施の形態５に係る車両用操作装置の構成は、表示生成部５１の機能を除けば、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。表示生成部５１は、図６に示すような「認識パターン」、「メニュー表示形状」および「メニュー表示画像」を対応させた対応テーブルを記憶しており、画像認識部２４で認識された認識パターンに応じた画像で構成されたメニューを重畳表示部５３に表示させる。

次に、実施の形態５に係る車両用操作装置の動作を説明する。なお、この実施の形態５に係る車両用操作装置は、表示部５に表示されるメニューの画像を除けば、実施の形態１に係る車両用操作装置の動作と同じであるので、図２に示すフローチャートを参照しながら、実施の形態５に係る部分のみを説明する。以下においては、ボリューム変更操作を行う場合について説明する。

図２に示すフローチャートのステップＳＴ１５およびステップＳＴ２２において実行される表示出力処理においては、表示生成部５１は、フロントガラスに重畳して表示するメニューを生成するが、この時のメニューの画像として、空間操作の操作方法と合致する画像を生成する。すなわち、制御部４１は、画像認識部２４において認識された認識パターンを表示生成部に送る。表示生成部５１は、図６に示す対応テーブルから認識パターンに対応するメニュー表示画像を取得して、表示投影部５２に送る。これにより、重畳表示部５３に、認識パターンに応じた画像のメニューが表示される。

例えば、フロントガラス入力重畳して表示されている複数のメニュー候補から選ぶ操作を空間操作により行う場合に、メニュー候補を掴むような空間操作により認識されるように規定した場合には、表示生成部５１において生成されるメニュー表示の形状はボール形状とすることで、操作者が自然に掴む動作をするように促すようにする。また、メニュー候補を押すような空間操作により認識されるように規定した場合には、表示生成部５１において生成されるメニュー表示の形状はボタン形状とすることで、操作者が自然に押下する動作をするように促すようにする。なお、図６に示す認識パターン、メニュー表示形状、メニュー表示画像およびそれらの対応付けは、一例であり、これらは必要に応じて任意で定めることができる。

以上説明したように、この発明の実施の形態５に係る車両用操作装置によれば、例えば、ボタン型のメニュー表示であれば押下する空間操作、ボール型のメニュー表示であれば掴む空間操作などといったメニュー表示により、操作者が直感的に空間操作の操作方法を理解でき、わかりやすい操作が可能となる。

実施の形態６．
この発明の実施の形態６に係る車両用操作装置は、空間操作部において認識可能な空間操作を表す画像によってアイコンを表示するようにしたものである。この実施の形態６に係る車両用操作装置の構成は、表示生成部５１の機能を除けば、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。表示生成部５１は、図７に示すような「認識パターン」と「アイコン表示画像」とを対応させた対応テーブルを記憶しており、画像認識部２４で認識された認識パターンに応じたアイコンで構成されたメニューを重畳表示部５３に表示させる。

次に、実施の形態６に係る車両用操作装置の動作を説明する。なお、この実施の形態６に係る車両用操作装置は、画像認識時に表示部５にアイコンが表示される点を除けば、実施の形態１に係る車両用操作装置の動作と同じであるので、図２に示すフローチャートを参照しながら、実施の形態６に係る部分のみを説明する。以下においては、ボリューム変更操作を行う場合について説明する。

図２に示すフローチャートのステップＳＴ２１において、画像認識処理が実行される際、制御部４１は、画像認識部２４において認識された認識パターンを表示生成部に送る。表示生成部５１は、図７に示す対応テーブルから認識パターンに対応するアイコン表示画像を取得して、表示投影部５２に送る。これにより、重畳表示部５３に、画像認識部２４で認識された認識パターンに応じたアイコンがフロントガラスに、実景に重畳して表示される。

例えば、手で左右に払うような空間操作を認識可能である場合、手を左右に振る動画アイコンを表示することにより、現在、認識可能な空間操作が操作者に示される。なお、複数の空間操作が可能である場合は、複数のアイコンを同時に表示するように構成することもできる。

以上説明したように、この実施の形態６に係る車両用操作装置によれば、空間操作部２で認識可能な空間操作の操作方法が状況により変わる場合であっても、操作者はアイコンを見ることにより、現在受け付け可能な空間操作の操作方法を理解でき、わかりやすい操作が可能となる。

実施の形態７．
この発明の実施の形態７に係る車両用操作装置は、個人認証により認証された人に応じた空間操作の位置で空間操作を認識するようにしたものである。この実施の形態７に係る車両用操作装置の構成は、メイン処理部４の構成を除き、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。メイン処理部４は、図８に示すように、実施の形態１に係るメイン処理部に個人認証処理部４５が追加されるとともに、データベース４４に個人認証用の情報が格納されて構成されている。

個人認証処理部４５は、操作者となる個人を認証する。個人認証処理部４５で行われる個人認証の方法としては、例えばモニタ画面のＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）により個人を選択する方法、ＩＣカードによる認証する方法、指紋認証または顔認識などにより認証する方法などといった周知の種々の方法を用いることができる。この個人認証処理部４５における認証結果は、制御部４１に送られる。

次に、上記のように構成される実施の形態７に係る車両用操作装置の動作を、空間操作を実現する操作処理を中心に、図９に示すフローチャートを参照しながら説明する。

操作処理においては、まず、個人認証が行われる（ステップＳＴ５１）。すなわち、個人認証処理部４５は、データベース４４を参照して操作者となる人の個人認証を行い、認証結果を制御部４１に送る。次いで、設定されている認識モードが取得される（ステップＳＴ５２）。すなわち、制御部４１は、ステップＳＴ５１において個人認証を行った結果、その個人が設定している認識モード（相対モードまたは絶対モード）を取得する。認識モードは、個人毎に設定および変更が可能である。認識モードは、データベース４４に個人毎に保存されている個人情報から取り出すように構成できる。なお、認識モードは、個人認証処理部４５がＩＣカード等から直接取得するように構成することもできる。

次いで、認識待ち状態になる（ステップＳＴ５３）。このステップＳＴ５３の処理は、図２のフローチャートに示すステップＳＴ１８の処理と同じである。次いで、所定時間内に画像入力があったかどうかが調べられる（ステップＳＴ５４）。このステップＳＴ５４の処理は、図２のフローチャートに示すステップＳＴ１９の処理と同じである。このステップＳＴ５４において、所定時間内に画像入力がないことが判断されると、操作処理は終了する。

一方、ステップＳＴ５４において、所定時間内に画像入力があったことが判断されると、次いで、動作位置判定処理が行われる（ステップＳＴ５５）。すなわち、動作位置判定部２３は、空間内での手の動作位置を判定し、判定結果を画像認識部２４に送る。次いで、画像検出処理（ステップＳＴ５６）、画像認識処理（ステップＳＴ５７）および結果処理（ステップＳＴ５８）が順次行われる（ステップＳＴ５７）。これらステップＳＴ５６〜ＳＴ５８の処理は、図２のフローチャートに示すステップＳＴ２０〜ＳＴ２２の処理とそれぞれ同じである。

次いで、選択位置決定が行われる（ステップＳＴ５９）。このステップＳＴ５９においては、ステップＳＴ５２において取得した認識モードが相対モードである場合は、ステップＳＴ５５で判定された動作位置に依存せず、常に決まった場所が選択開始位置として決定される。例えば、操作位置が右の方であっても左の方であっても、メニューの中央のアイテムが常に選択される。操作が完了せず継続する場合は、最初の空間位置を基本位置とし、そこからの相対的な位置の移動により、選択されるメニューが変更される。一方、ステップＳＴ５２において取得した認識モードが絶対モードである場合は、ステップＳＴ４５で判定された動作位置に基づいて、選択開始位置が決定される。例えば、操作位置が右の方であれば、右端のアイテムを選択した状態として開始し、操作位置が左の方であれば、左端のアイテムを選択した状態として開始する。

次いで、表示出力処理（ステップＳＴ６０）および音声出力処理（ステップＳＴ６１）。が順次実行される。これらステップＳＴ６０およびＳＴ６１の処理は、図２のフローチャートに示すステップＳＴ２３およびＳＴ２４の処理とそれぞれ同じである。次いで、操作完了かどうかが調べられる（ステップＳＴ６２）。すなわち、制御部４１は、状態管理部４２から遷移すべき状態を取得し、この遷移すべき状態が終了であるかどうかを調べる。このステップＳＴ６２において、操作完了であることが判断されると、操作処理は終了する。一方、ステップＳＴ６２において操作完了でないことが判断されると、シーケンスはステップＳＴ５４に戻って画像入力待ち状態になり、以下、上述した処理が繰り返される。

以上説明したように、この発明の実施の形態７に係る車両用操作装置によれば、相対モードでの認識を可能とすることにより、操作者の個々の着座位置の違いまたは利き腕の違いなどに影響を受けずに操作をすることができる。一方、絶対モードでの認識を可能とすることにより、操作者は固定の位置による直感的な操作をすることが可能となる。

また、相対モードと絶対モードを操作者が選択できるようにすることにより、操作者が自分の好みに応じて、より使いやすい操作を行うことができる。

なお、絶対モードの場合に空間でなされた動作を認識する位置を個人により変更を可能とするように構成できる。この構成により、操作者の着座位置や、手の長さなどが異なっていても、操作者に最善の位置で設定することにより、誤認識なく、また快適な姿勢で操作をすることが可能となる。

実施の形態８．
この発明の実施の形態８に係る車両用操作装置は、操作者がメニュー項目の選択操作をした際に、そのメニュー項目に該当する音声ガイダンスを行うようにしたものである。この実施の形態８に係る車両用操作装置の構成は、データベース４４にメニューアイテムが格納されている点を除けば、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。データベース４４に格納されるメニューアイテムには、図１０に示すような、名称、地点、住所または詳細情報などの様々な情報が付随している。

次に、実施の形態８に係る車両用操作装置の動作を説明する。なお、この実施の形態８に係る車両用操作装置は、音声ガイダンスの内容を具体化した点を除けば、実施の形態１に係る車両用操作装置の動作と同じであるので、図２に示すフローチャートを参照しながら、この実施の形態８に係る部分のみを説明する。

画像入力待ち状態（ステップＳＴ１８）において、操作者が空間操作によりメニューから１つの項目を選択する操作を行い、ステップＳＴ１９において、その旨が判断されると、画像検出処理（ステップＳＴ２０）および画像認識処理（ステップＳＴ２１）が順次行われ、該当メニューが選択されたという結果が得られる（ステップＳＴ２２）。メニューが選択された状態になると、該当メニューアイテムに対する情報がデータベース４４から取得され、音声出力処理（ステップＳＴ２４）において、音声で読み上げられる。ここで、読み上げられる内容としては、名称または地点の情報だけであってもよいし、施設の詳細情報を説明するガイダンスが追加されてもよい。

以上説明したように、この発明の実施の形態８に係る車両用操作装置によれば、メニューの項目が選択された際に、音声ガイダンスによるフィードバックが行われるので、操作者は、表示を見なくとも操作したことを把握することができる。また、選択した項目の詳細情報を音声にて知ることが可能となる。

実施の形態９．
この発明の実施の形態９に係る車両用操作装置は、操作者が特定の空間操作をした際に、その空間操作に対応した音声ガイダンスを行うようにしたものである。

この実施の形態９に係る車両用操作装置の構成は、画像認識部２４の機能を除き、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。画像認識部２４においては、認識可能な空間操作に対応する認識パターンとして、音声ガイダンス読上げの動作が規定されている。

次に、実施の形態９に係る車両用操作装置の動作を説明する。なお、この実施の形態９に係る車両用操作装置は、音声ガイダンスの内容を具体化した点を除けば、実施の形態１に係る車両用操作装置の動作と同じであるので、図２に示すフローチャートを参照しながら、この実施の形態９に係る部分のみを説明する。

画像入力待ち状態（ステップＳＴ１８）において、操作者が空間操作により音声ガイダンスの読み上げを指示する動作を行い、ステップＳＴ１９において、その旨が判断されると、画像検出処理（ステップＳＴ２０）が行われ、その後、画像認識処理が行われる（ステップＳＴ２１）。この画像認識処理においては、画像認識部２４は、音声ガイダンス読上げの動作であることを認識すると、音声ガイダンス読上げ要求を制御部４１に送る。制御部４１は、音声ガイダンス読上げ要求を受け取ると、結果処理を実行する（ステップＳＴ２２）。すなわち、制御部４１は、現在の状態および選択中のアイテムを状態管理部４２から取得し、選択中のアイテムに対応する情報をデータベース４４から取得して、音声生成部６１に渡す。その後、表示出力処理（ステップＳＴ２４）が行われた後に、音声出力処理が実行される（ステップＳＴ２４）。この音声出力処理において、データベース４４から取得された情報が音声ガイダンスとして出力される。

以上説明したように、この発明の実施の形態９に係る車両用操作装置によれば、操作者が詳細情報を知りたい場合に、特定の空間操作をすることにより、いつでも音声ガイダンスを聞くことができる。

実施の形態１０．
この発明の実施の形態１０に係る車両用操作装置は、表示部５に表示する表示アイテム数およびや表示内容は、運転状況に応じて変更するようにしたものである。この実施の形態１０に係る車両用操作装置の構成は、メイン処理部４の構成を除き、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。メイン処理部４は、図１１に示すように、実施の形態１に係るメイン処理部に車両情報取得部４６が追加されて構成されている。車両情報取得部４６は、ナビゲーション装置から車両情報を取得する。車両情報には、現在地または目的地などといった地点情報、走行先の道路情報、車両制御部から取得されるハンドルまたはワイパーなどの動作情報などが含まれる。

次に、上記のように構成される実施の形態１０に係る車両用操作装置の動作を、図１２に示すフローチャートを参照しながら説明する。なお、図１２に示すフローチャートにおいては、空間操作を認識する空間操作認識処理の部分のみを示している。

空間操作認識処理においては、画像検出処理（ステップＳＴ７１）、画像認識処理（ステップＳＴ７２）および結果処理（ステップＳＴ７３）が順次実行される。これらステップＳＴ７１〜ＳＴ７３の処理は、図２のフローチャートに示すステップＳＴ２０〜ＳＴ２２の処理と同じである。次いで、車両情報が取得される（ステップＳＴ７４）。すなわち、制御部４１は、車両情報取得部４６から車両情報を取得する。

次いで、表示出力処理が行われる（ステップＳＴ７５）。すなわち、制御部４１は、認識結果に応じて、状態管理部４２から遷移すべき状態を取得し、表示する内容の生成を表示生成部５１に指示する。この際、制御部４１は、ステップＳＴ７４で取得した車両情報が、操作者の運転負荷が高いと見なされるような特定の条件を示していれば、表示内容を簡易にする、例えば表示アイテム数を減らしたり、表示内容を見やすくシンプルにしたりするように表示生成部５１に指示する。操作者の運転負荷を判定する条件の例としては、走行地点から交差点付近を走行している場合、走行ルート先にカーブが存在する場合、ハンドルをきっている状態である場合、ワイパーを作動させている状態である場合などを挙げることができる。表示生成部５１は、この制御部４１からの指示に応じて表示する内容を表す映像信号を生成し、表示投影部５２に送る。表示投影部５２は、表示生成部５１から送られてくる映像信号に基づき画像を生成し、重畳表示部５３に投影する。その後、音声出力処理が行われる（ステップＳＴ７６）。

以上説明したように、この発明の実施の形態１０に係る車両用操作装置によれば、運転の負荷が高い状況の場合には、表示アイテム数を減らしたり、表示内容をシンプルに見やすくするので、操作者の操作負荷を低減することができる。

実施の形態１１．
この発明の実施の形態１１に係る車両用操作装置は、空間操作の操作方法または表示部５に表示する内容を、操作者の空間操作の習熟度に応じて変化させるようにしたものである。この実施の形態１１に係る車両用操作装置の構成は、メイン処理部４の構成を除き、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。メイン処理部４は、図１３に示すように、実施の形態７に係るメイン処理部（図８参照）に、習熟度判定部４７および習熟度管理部４８が追加されて構成されている。

習熟度判定部４７は、操作者の空間操作の習熟度を判定する。習熟度は、使用回数、使用時間、誤認識または誤操作の回数などに基づき判定される。この習熟度判定部４７による判定結果は、制御部４１に送られる。習熟度管理部４８は、複数の操作者の習熟度と、習熟度に応じた操作レベルを管理する。習熟度管理部４８の内容は、制御部４１によってアクセスされる。

次に、上記のように構成される実施の形態１１に係る車両用操作装置の動作を、図１４に示すフローチャートを参照しながら説明する。なお、図１４に示すフローチャートにおいては、習熟度を処理する習熟度処理の部分のみを示している。この習熟度処理は、例えば、電源投入直後、その他の任意のタイミングで実行することができる。

習熟度処理においては、まず、個人認証が行われる（ステップＳＴ８１）。このステップＳＴ８１の処理は、図９のフローチャートに示したステップＳＴ５１の処理と同じである。このステップＳＴ８１の処理により操作者が特定される。次いで、習熟度レベルが取得される（ステップＳＴ８２）。制御部４１は、ステップＳＴ８１で特定された操作者の習熟度レベルを習熟度管理部４８から取得する。

次いで、習熟度変更条件を満たすかどうかが調べられる（ステップＳＴ８３）。すなわち、制御部４１は、習熟度判定部４７から、操作者毎の習熟度の判定結果を取得し、習熟度をアップする条件を満たすかどうかを調べる。このステップＳＴ８３において、習熟度変更条件を満たすことが判断されると、習熟度レベルが変更される（ステップＳＴ８４）。すなわち、制御部４１は、習熟度管理部４８で管理されている各操作者の習熟度レベルをアップさせるといった習熟度の自動設定を行う。その後、シーケンスはステップＳＴ８５に進む。なお、操作者が自ら習熟度管理部４８に対して好みの習熟度を設定するように構成することもできる。上記ステップＳＴ８３において、習熟度変更条件を満たさないことが判断されると、シーケンスはステップＳＴ８５に進む。

ステップＳＴ８５においては、操作方法が設定される。習熟度管理部４８は、設定された習熟度レベルに対応して、その習熟度に応じた操作方法を保持しており、操作者が操作可能な操作を変更する。例えば、習熟度レベルが「１」であれば、メニューを二者択一とし、習熟度レベルが「２」であれば、メニューを三者択一に増やし、習熟度レベルが「３」であれば、ボリューム変更などの機器操作も可能にする。なお、操作方法の変更のみならず、表示部５に表示させる内容を習熟度に応じて変更するように構成することもできる。以上により、習熟度処理は終了する。

以上説明したように、この発明の実施の形態１１に係る車両用操作装置によれば、例えば、操作者が空間操作に慣れていない場合は簡単な操作方法や表示とし、習熟に応じて操作方法のレベルを上げるなどといった、操作者の空間操作の習熟度レベルに応じて操作方法または表示を変更することが可能になるので、初心者から熟練者まで誰でも適した操作をすることが可能となる。

また、個人認証を行い個人毎の習熟度レベルを管理することにより、複数の操作者が利用する場合であっても、その操作者に適した操作レベルを提供することができる。

実施の形態１２．
この発明の実施の形態１２に係る車両用操作装置は、空間操作により音声操作を開始させるようにしたものである。この実施の形態１２に係る車両用操作装置の構成は、画像認識部２４の機能を除き、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。画像認識部２４には、認識可能な空間操作に対応する認識パターンとして、音声操作開始の動作が規定されている。

次に、上記のように構成される、この発明の実施の形態１２に係る車両用操作装置の動作を、図１５に示すフローチャートを参照しながら説明する。

この車両用操作装置は、電源が投入されると、常に画像入力待ち状態になる（ステップＳＴ９１）。このステップＳＴ９１において、次いで、所定空間内で動作があったかどうかが調べられる（ステップＳＴ９２）。このステップＳＴ９２において、所定空間内で動作がないことが判断されると、シーケンスはステップＳＴ９１に戻って画像入力待ち状態を継続する。一方、ステップＳＴ９２において、所定空間内で動作があることが判断されると、これをトリガとして、画像検出処理（ステップＳＴ９３）、画像認識処理（ステップＳＴ９４）および結果処理（ステップＳＴ９５）が順次実行される。これらステップＳＴ９１〜ＳＴ９５の処理は、図２のフローチャートに示すステップＳＴ１８〜ＳＴ２２の処理と同じである。

次いで、音声操作開始の操作であるかどうかが調べられる（ステップＳＴ９６）。すなわち、制御部４１は、画像認識部２４から認識結果を受け取り、これが音声操作開始の動作であるかどうかを調べる。このステップＳＴ９６において、音声操作開始の操作であることが判断されると、音声認識が開始される（ステップＳＴ９７）。すなわち、制御部４１は、音声認識部３３に対して音声操作開始を要求し、音声入力部３１は音声入力待ち状態になる。一方、ステップＳＴ９６において、音声操作開始の操作でないことが判断されると、その他の結果処理が行われる（ステップＳＴ９８）。

以上説明したように、この発明の実施の形態１２に係る車両用操作装置によれば、空間操作によって音声操作のための発話開始を指示するように構成したので、音声認識操作用に発話開始を指示するためのスイッチを設ける必要がなくなる。

実施の形態１３．
この発明の実施の形態１３に係る車両用操作装置は、操作者の手が動作している場合に音声認識を継続させるようにしたものである。この実施の形態１３に係る車両用操作装置の構成は、画像認識部２４の機能を除き、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。画像認識部２４には、上述した実施の形態１２に係る車両用操作装置と同様に、認識可能な空間操作に対応する認識パターンとして、音声操作開始の動作が規定されている。

次に、上記のように構成される、この発明の実施の形態１３に係る車両用操作装置の動作を説明する。この車両用操作装置の動作の概要は以下の通りである。すなわち、画像検出部２２および動作位置判定部２３において、特定の空間内で動作が存続することを画像認識部２４が認識した場合は、音声認識処理を行い、特定の空間内で動作が存続しなくなった場合に音声認識処理を終了する。以下、図１６に示すフローチャートを参照しながら具体的に説明する。

この車両用操作装置は、電源が投入されると、画像入力待ち状態になる（ステップＳＴ１０１）。このステップＳＴ１０１において、画像入力がないことが判断されると、ステップＳＴ１０１において画像入力待ち状態を継続する。一方、ステップＳＴ１０１において、画像入力があると、これをトリガとして、画像検出処理（ステップＳＴ１０２）および画像認識処理（ステップＳＴ１０３）が順次実行される。これらステップＳＴ１０２およびＳＴ１０３の処理は、図２のフローチャートに示すステップＳＴ２０およびＳＴ２１の処理とそれぞれ同じである。

次いで、音声操作開始の指示であるかどうかが調べられる（ステップＳＴ１０４）。このステップＳＴ１０４において、音声操作開始の指示であることが判断されると、音声認識が開始される（ステップＳＴ１０５）。すなわち、制御部４１は、音声認識部３３に対して音声操作開始を要求する。次いで、音声入力が開始される（ステップＳＴ１０６）。すなわち、音声入力部３１は、音声認識部３３からの音声操作開始の要求に応答して、音声入力待ち状態になる。

次いで、画像入力が継続されているかどうかが調べられる（ステップＳＴ１０７）。すなわち、画像認識部２４は画像入力が継続されているかどうかを判定する。このステップＳＴ１０７において、画像入力が継続されていることが判断されると、このステップＳＴ１０７が繰り返し実行される。これにより、画像が継続して入力されている間は、音声認識部３３においては音声入力が継続される。

このステップＳＴ１０７において、画像入力が継続されなくなったことが判断されるとし、音声認識処理が実行される（ステップＳＴ１０８）。すなわち、音声認識部３３は、音声入力を終了して認識処理を行う。次いで、ステップＳＴ１０８における認識結果に対する処理が行われる（ステップＳＴ１０９）。次いで、表示出力処理（ステップＳＴ１１０）および音声出力処理（ステップＳＴ１１１）が順次行われ、その後、処理は終了する。上記ステップＳＴ１０４において、音声操作開始の指示でないことが判断されると、結果処理が行われ（ステップＳＴ１１２）、その後、処理は終了する。

以上説明したように、この発明の実施の形態１３に係る車両用操作装置によれば、発話開始から発話終了までの発話中である区間を操作者が明示できるため、騒音下中でも発話音声を抽出しやすくなり、誤認識を減らすことができる。

実施の形態１４．
この発明の実施の形態１４に係る車両用操作装置は、操作者の空間操作に応じて音声認識辞書を切り換えるようにしたものである。まず、音声認識の一般的な仕組みとして、音声認識で用いる音声認識辞書３２を語彙の種類ごとに複数に分割し、音声認識を動作させるたびに、使用する辞書を切替えることにより、認識可能となる語彙を変更できるようになっている。例えば、住所検索を行う場合には、音声認識辞書３２の中の住所辞書をアクティブにさせて音声認識を行うことにより、住所の語彙のみが認識され、他の語彙を認識しないようになるので、誤認識を減らすことができる。

ところが、音声認識辞書を切替えるためには、音声操作を階層構造で行う必要がある。例えば、まず「住所検索」と発話すると住所辞書がアクティブになり住所の語彙のみ認識可能となるため、一度の発話で操作を達成できず面倒である。そこで、実施の形態１４に係る車両用操作装置においては、操作者が発話時に空間操作を用いることにより、一度の発話で認識辞書を指定できるようにしている。例えば、手を右方に向けた状態で空間操作したら住所辞書をアクティブ化し、手を左方に向けた状態で空間操作したら音楽辞書をアクティブ化する。

この実施の形態１３に係る車両用操作装置の構成は、画像認識部２４の機能を除き、図１に示した実施の形態１に係る車両用操作装置の構成と同じである。画像認識部２４は、図１７に示すような、画像認識結果に対応する音声認識辞書を規定した対応テーブルを保持している。

次に、上記のように構成される、この発明の実施の形態１４に係る車両用操作装置の動作を、図１８に示すフローチャートを参照しながら説明する。

まず、音声入力開始処理が行われる（ステップＳＴ１２１）。すなわち、音声認識部３３は、例えば発話ボタン押下などといった何らかのトリガが入力されると、音声認識を開始し、引き続いて、音声入力待ち状態になる（ステップＳＴ１２２）とともに、画像入力待ち状態になる（ステップＳＴ１２７）。すなわち、制御部４１は、音声認識部３３に対し音声入力開始要求を出し、音声認識部３３は、音声入力部３１からの音声入力待ち状態になる。また、制御部４１は画像認識部２４に対し画像認識開始要求を出し、画像認識部２４は画像入力部２１からの画像を入力待ち状態になる。

ステップＳＴ１２７における画像入力待ち状態において、空間操作の画像が入力されると、画像検出処理（ステップＳＴ１２８）および画像認識処理（ステップＳＴ１２９）が順次実行される。これらステップＳＴ１２８およびＳＴ１２９の処理は、図２のフローチャートに示したステップＳＴ２０およびＳＴ２１の処理とそれぞれ同じである。

次いで、認識辞書切替処理が行われる（ステップＳＴ１３０）。すなわち、画像認識部２４は、認識結果に対応する音声認識辞書を図１７に示す対応テーブルから取得し、制御部４１に送る。制御部４１は、画像入力部２４から受け取った音声認識辞書を指定して、音声認識部３３に対して、使用する認識辞書を切り替えるように要求し、音声認識部３３は、この要求に応答して使用する認識辞書を切り替える。以後、切り替えられた認識辞書が音声認識に使用される。

ステップＳＴ１２２における音声入力待ち状態において、音声が入力されると、音声認識処理が行われる（ステップＳＴ１２４）。すなわち、音声認識部３３は、切り替えた認識辞書を用いて、入力された音声の認識処理を行う。次いで、音声認識の結果に応じた結果処理（ステップＳＴ１２４）、表示出力処理（ステップＳＴ１２５）および音声出力処理（ステップＳＴ１２６）が順次行われる。

なお、図１７に示す空間操作の認識結果と音声認識辞書との対応テーブルは一例であり、任意に組み合わせて作成することができる。また、認識辞書を指定する空間操作の操作方法は任意であり、位置により指定する方法、指の本数で指定する方法などを用いることができる。

以上説明したように、この発明の実施の形態１４に係る車両用操作装置によれば、空間操作により音声認識辞書を切り替えることができるので、一度の発話と空間操作で、操作者が意図する語彙を音声認識させることが可能となり、誤認識が減少して操作性が向上する。

Claims (4)

1. 発話された音声を認識して認識結果を出力する音声操作部と、
   空間でなされた動作を認識して認識結果を出力する空間操作部と、
   前記音声操作部から送られてくる認識結果および前記空間操作部から送られてくる認識結果に応じた処理を実行するメイン処理部と、
   前記メイン処理部からの指示に応じて生成した画像を、フロントガラスを介して見える実景に重畳して表示する表示部と、
   個人を認証する個人認証処理部を備え、
   前記メイン処理部は、
   前記音声操作部から送られてくる認識結果に応じたメニューを前記表示部に表示させ、該メニューから１つの項目を選択するように空間でなされた動作を認識した前記空間操作部から送られてくる認識結果に応じた処理を実行し、
   前記空間操作部は、前記個人認証処理部によって認証された個人に対して設定されている認識モードを取得し、前記表示部に表示された項目を選択する場合に、認識モードが相対モードである場合は、空間でなされた動作を相対位置で認識し、絶対モードである場合は、絶対位置で認識する
   ことを特徴とする車両用操作装置。
2. 空間操作部は、絶対モードの場合に、個人認証処理部で認識される個人によって、空間でなされた動作を認識する位置を変更する
   ことを特徴とする請求項１記載の車両用操作装置。
3. 発話された音声を認識して認識結果を出力する音声操作部と、
   空間でなされた動作を認識して認識結果を出力する空間操作部と、
   前記音声操作部から送られてくる認識結果および前記空間操作部から送られてくる認識結果に応じた処理を実行するメイン処理部と、
   前記メイン処理部からの指示に応じて生成した画像を、フロントガラスを介して見える実景に重畳して表示する表示部とを備え、
   前記メイン処理部は、空間操作の習熟度を判定する習熟度判定部を備え、該習熟度判定部で判定された習熟度に応じて前記空間操作部で認識する空間操作の方法または前記表示部に表示させる内容を変更する
   ことを特徴とする車両用操作装置。
4. 個人を認証する個人認証処理部と、
   前記個人認証処理部で認証された個人毎に、習熟度判定部で判定された習熟度を管理する習熟度管理部とを備え、
   メイン処理部は、前記個人認証処理部で認証された個人の習熟度を前記習熟度管理部から取得し、該取得した習熟度に応じて空間操作部で認識する空間操作の方法または表示部に表示させる内容を変更する
   ことを特徴とする請求項３記載の車両用操作装置。

Images