JP6515028B2 - 車両用操作装置 - Google Patents

Description

この発明は、車両の操作入力として乗員のジェスチャを認識する車両用操作装置に関する。

特許文献１には、車両に搭載されるカーナビゲーション装置の画面の正面で乗員の手の動きを検知し、この手の動きに基づいてカーナビゲーション装置の一部の機能の操作を行う所謂ジェスチャ操作が開示されている。

特許文献２には、ステアリングホイールのパッド部分にバーチャルキーボード画像を投影し、乗員が触れた位置を検知することでキーボード入力を可能とする装置が開示されている。

特開２０１０−１８４６００号公報 特開２００５−３２１９４８号公報

特許文献１の装置では、操作対象（スイッチ操作部）がカーナビゲーション装置の画面に表示される。特許文献２の装置では、操作対象（バーチャルキーボード画像）がステアリングホイールのパッド部分に表示される。カーナビゲーション装置の画面やステアリングホイールのパッド部分は表面積が狭いため、ジェスチャによる操作領域が狭く操作しづらい。このため、乗員はジェスチャ操作に集中しなければならないうえ、誤操作も生じやすいという問題がある。更に、特許文献２の装置では、バーチャルキーボード画像の表示位置に直接触れて操作を行う必要があるため、主に操作を行う運転者から離れた位置に配置すると操作性が著しく低下するという問題がある。

本発明はこのような課題を考慮してなされたものであり、ジェスチャ操作でも誤操作が生じにくく、且つ、操作性のよい車両用操作装置を提供することを目的とする。

本発明は、車両の内装部材に設けられて乗員による操作の対象となる操作画像を表示する表示部と、前記操作画像に対する操作入力として前記乗員のジェスチャを認識するジェスチャ認識部と、前記操作画像に対する前記操作入力に応じて所定の制御を行う制御部と、を備える車両用操作装置であって、前記表示部は、前記車両の内装部材である助手席側のダッシュボード上に配置され、前記ジェスチャ認識部は、前記車両の車幅方向における運転席と助手席との間の位置で行われる前記乗員の身体の動きを前記ジェスチャとして認識することを特徴とする。

助手席側のダッシュボードには計器等が配置されない。たとえメータの表示領域拡大等で多少計器が配置されたとしてもその他に運転操作に必要な操作手段は配置されない。したがって、一般に助手席側のダッシュボードには広い領域が空いている。本発明によれば、助手席側のダッシュボードに操作画像を表示する。このため、操作画像の表示領域を広く確保することができ、ジェスチャ操作でも誤操作が生じにくいＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成することが可能となる。また、運転席と助手席との間でジェスチャを認識する。このため、運転席に着座した乗員からでも助手席側の操作画像に対する操作が可能となり、操作性を確保することができる。

本発明において、前記操作画像は、選択対象として定位置に表示される固定画像と、前記ジェスチャ認識部により認識された前記ジェスチャに対応して前記操作画像の中を移動することで前記固定画像を選択可能に表示されるポインタ画像とを含んで構成されてもよい。ジェスチャ操作によりポインタ画像を操作可能にすると、操作画像はより操作しやすくなり、誤操作の少ないＧＵＩを構成できる。また、操作画像が操作しやすくなると、乗員がジェスチャ操作に気をとられることがなくなる。

本発明において、前記制御部は、前記ポインタ画像が前記固定画像の領域に接触又は所定距離以下に接近したときに前記固定画像を選択し、前記固定画像の機能に応じた前記所定の制御を行うようにしてもよい。本発明によれば、ポインタ画像で固定画像を選択するのみで機能が実行されるため、より操作性をよくすることができる。また、操作性がよくなると、乗員がジェスチャ操作に気をとられることがなくなる。

本発明において、前記表示部は、前記操作画像を投影するプロジェクタを備え、前記ダッシュボードの表面に、凹形状となる凹部と、該凹部に対して凸形状となる凸部とが形成されており、前記プロジェクタは、前記操作画像を投影する際に、前記操作画像を構成する画像のうち所定の領域を区画する境界線である画像境界線を、前記凹部と前記凸部との境界線である凹凸境界線と一致させることも可能である。本発明によれば、操作画像上の領域とダッシュボードの凹凸とが対応するようにプロジェクションマッピングを行うため、乗員にとって操作画像の領域がより認識しやすくなり、より操作性をよくすることができる。また、操作性がよくなると、乗員がジェスチャ操作に気をとられることがなくなる。

本発明において、前記操作画像を構成する画像のうち、選択対象として定位置に表示される前記固定画像と、前記固定画像とは異なるその他の画像の領域とを区画する境界線が、前記画像境界線として設定されてもよい。本発明によれば、ポインタ画像による選択対象である固定画像とその他の画像との区画と、ダッシュボード上の凹凸とを対応させるため、乗員にとって固定画像の領域が認識しやすくなる。また、固定画像の領域が認識しやすくなると、乗員がジェスチャ操作に気をとられることがなくなる。

本発明において、前記凹部は、前記ダッシュボードの一般面として形成され、前記凸部は、前記一般面に対して車両室内側に凸となるように形成され、前記凸部は、前記ダッシュボードに対する取り付け及び前記ダッシュボードからの取り外しが可能としてもよい。本発明によれば、凸部を着脱可能に構成することで、ＧＵＩの変更やジェスチャ操作を用いない場合の汎用性が高まる。

本発明において、前記車両の天井には、後席用ルーフコンソールが備えられ、前記プロジェクタは、前記後席用ルーフコンソールに一体に設けられてもよい。

本発明によれば、操作画像を投影するプロジェクション方式を用いる場合でも乗員に遮られる可能性が低い。また、助手席側ダッシュボードから運転席側インストルメントパネルにかけて表示部を拡大した場合でも対応可能である。

本発明において、前記ジェスチャ認識部は、認識した前記ジェスチャが前記運転席側の乗員によるものか前記助手席側の乗員によるものかを判別し、前記制御部は、前記ジェスチャ認識部による前記判別の結果に応じて異なる制御を行うようにしてもよい。本発明によれば、運転席側からの操作と助手席側からの操作を判別することにより利便性が向上する。例えば、煩雑な操作に関しては、運転席側からは禁止する一方で、助手席側からは許容する等の対応をすることができる。

本発明において、前記ジェスチャ認識部は、前記車両室内の所定箇所に設けられて前記乗員の手腕を撮像するカメラを備え、前記カメラの撮像情報により前記ジェスチャを認識するとともに、前記カメラの撮像範囲に対する前記手腕の進入位置又は進入角度により前記判別を行うようにしてもよい。本発明によれば、運転席側からの操作と助手席側からの操作との判別を、特別な構成を追加することなく画像解析のみで容易に行うことができる。

本発明において、前記車両には、加減速操作及び操舵操作を前記乗員の操作により行う手動運転モードと、前記車両の加減速操作及び操舵操作のうち少なくとも一方を前記車両が自律的に行う運転支援モードとが切替可能に設定され、前記表示部は、前記運転支援モードの間に表示する前記操作画像を、前記手動運転モードの間に表示する前記操作画像よりも拡大してもよい。本発明によれば、操作画像の表示時点での運転モードに応じて自動的に表示領域を変更することで、適切なコンテンツを表示することができ、利便性が向上する。

本発明によれば、操作画像の表示領域を広く確保することができ、ジェスチャ操作でも誤操作が生じにくいＧＵＩを構成することが可能となる。また、運転席に着座した乗員からでも助手席側の操作画像に対する操作が可能となり、操作性を確保することができる。

図１は車両の内装を簡略化した模式図である。 図２Ａはダッシュボードの正面図であり、図２Ｂはダッシュボードの断面図である。 図３は本実施形態に係る車両用操作装置のブロック図である。 図４は第１操作画像を模式化した模式図である。 図５は第１操作画像を模式化した模式図である。 図６は第１操作画像を模式化した模式図である。 図７は第２操作画像を模式化した模式図である。 図８は第２操作画像を模式化した模式図である。 図９は第２操作画像を模式化した模式図である。 図１０は車両用操作装置の動作１のフローチャートである。 図１１は車両用操作装置の動作２のフローチャートである。 図１２は車両用操作装置の動作３のフローチャートである。 図１３は車両用操作装置の動作４のフローチャートである。 図１４は本実施形態の関連技術に関する車両の外観図である。 図１５は本実施形態に係る車両用操作装置の変形例のブロック図である。

以下、本発明に係る車両用操作装置４０について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。

［１．車両１０の内装］
図１を用いて車両１０の内装について説明する。図１では説明の容易化のため、車両１０の内装をデフォルメして示している。車両１０の車室１２内には正面に向けて運転席１４と助手席１６とが設けられる。運転席１４と助手席１６の正面にはダッシュボード１８が設けられる。ダッシュボード１８の上方にはフロントウインドウ２０が設けられ、フロントウインドウ２０の上部中央にはルームミラー２２が設けられる。ルームミラー２２の近傍のルーフ２４にはカメラ２６が設けられる。また、ルーフ２４において、車幅方向の略中央であり、且つ、運転席１４及び助手席１６の上方又は後方には、後席用ルーフコンソール２８が設けられる。後席用ルーフコンソール２８には、モニタやルームランプの他に、プロジェクタ３０が一体に設けられる。

カメラ２６は、予め定められた空間、例えば、車両１０の車幅方向における運転席１４と助手席１６との間であってダッシュボード１８に近い空間に向けて配置されており、この空間内で乗員が行うジェスチャ操作を撮影する。カメラ２６は２次元又は３次元の位置検出用センサを備えており、例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラやＣＣＤカメラ等を使用可能である。カメラ２６がモーションセンサを備えていてもよい。この場合、乗員がジェスチャによる入力操作を行うときに撮像を開始できる。カメラ２６は、撮像情報を後述する操作装置ＥＣＵ４２に有線又は無線にて送信する。

プロジェクタ３０は、主に助手席１６側のダッシュボード１８に向けて配置される。プロジェクタ３０は、後述する操作装置ＥＣＵ４２により制御され、車両１０を操作するための操作画像（動画又は静止画）をダッシュボード１８に投影する。すなわち、プロジェクタ３０の投影面３０ａがダッシュボード１８の表面に配置される。本実施形態では操作装置ＥＣＵ４２の制御部４６がプロジェクタ３０の投影位置及び操作画像等を制御する所謂プロジェクションマッピングが行われる。

［２．ダッシュボード１８］
図２Ａ、図２Ｂを用いてダッシュボード１８について説明する。ダッシュボード１８の表面はプロジェクタ３０の投影面３０ａ（図１参照）となる。ダッシュボード１８の表面は、操作画像が鮮明に投影されるように表面加工が施される。例えば、特殊な塗料が塗布される。また、ダッシュボード１８には、プロジェクタ３０により投影される操作画像の中の立体表示物を実際の立体物に似せるために、車室１２内に凸形状の立体物が設けられる。

具体的には、図２Ａで示すように、ダッシュボード１８の表面の所定位置には正面視で略円形の第１凸部３４が設けられる。第１凸部３４の車幅方向両側には正面視で略円形の第２凸部３６、第３凸部３８が設けられる。本明細書では、ダッシュボード１８の表面のうち、第１凸部３４、第２凸部３６、第３凸部３８以外の部分を一般面３２と称する。図２Ａで示す実施形態では、ダッシュボード１８の表面のうち、第１凸部３４、第２凸部３６、第３凸部３８と一般面３２とを比較すると、一般面３２の方が広い。一般面３２に対して第１凸部３４、第２凸部３６、第３凸部３８は凸形状となる。言い換えると、第１凸部３４、第２凸部３６、第３凸部３８に対して一般面３２は凹形状の凹部となる。

第１凸部３４、第２凸部３６、第３凸部３８はダッシュボード１８に固定されていてもよいし、ダッシュボード１８の本体に取り付けることが可能であり且つダッシュボード１８の本体から取り外すことが可能であってもよい。例えば、図２Ｂで示すように、第１凸部３４の裏側には雄部３４ａが形成され、ダッシュボード１８の本体表面には雌部１８ａが形成される。雄部３４ａが雌部１８ａに嵌められることにより、第１凸部３４がダッシュボード１８の本体に取り付けられる。第１凸部３４は、正面視で中心部の高さ（表面３２に対する垂直方向の高さ）が最も高く、中心部から放射方向に向かって徐々に高さが低くなる。なお、第２凸部３６、第３凸部３８は第１凸部３４よりも小径であることを除いて、同じ形状、構造である。

なお、第１凸部３４、第２凸部３６、第３凸部３８の大きさ、形状及び配置は図２Ａ、図２Ｂで示す実施形態に限られない。雌部１８ａが複数の箇所に形成され、且つ、様々な形状の凸部が用意されていれば、ダッシュボード１８の表面に様々なパターンの凹凸形状を形成することが可能となる。

［３．車両用操作装置４０の構成］
図３を用いて車両用操作装置４０の構成について説明する。本実施形態に係る車両用操作装置４０は、乗員の手腕を撮像するカメラ２６と、各種処理を行う操作装置ＥＣＵ４２と、操作画像が表示されるダッシュボード１８と、ダッシュボード１８に操作画像を投影するプロジェクタ３０と、プロジェクタ３０により投影される操作画像の情報を記憶する記憶装置４８とを有する。カメラ２６とプロジェクタ３０に関しては図１を用いて既に説明している。また、ダッシュボード１８に関しては図２Ａ、図２Ｂを用いて既に説明している。

操作装置ＥＣＵ４２は、カメラ２６で撮像された画像情報に基づいて所定の制御行う制御回路である。操作装置ＥＣＵ４２は、マイクロコンピュータを含む計算機であり、ＣＰＵ（中央処理装置）、ＲＯＭ（ＥＥＰＲＯＭも含む。）、ＲＡＭ（ランダムアクセスメモリ）、その他、Ａ／Ｄ変換器、Ｄ／Ａ変換器等の入出力装置等を有する。操作装置ＥＣＵ４２は、ＣＰＵがＲＯＭに記録されているプログラムを読み出し実行することで各種機能実現部として機能する。本実施形態において、操作装置ＥＣＵ４２は、プログラムを実行することにより、認識部４４、制御部４６として機能する。操作装置ＥＣＵ４２は複数に分割されていてもよく、又は、他のＥＣＵと統合されてもよい。なお、操作装置ＥＣＵ４２は、他のハードウエアにより実現することも可能である。

認識部６６は、カメラ２６で撮像された画像情報から乗員の手腕を認識するとともに、手腕により行われるジェスチャ操作を認識するように構成される。制御部４６は、操作画像（図４〜図６で示される第１操作画像６２及び図７〜図９で示される第２操作画像８０）の情報を読み込み、その操作画像をプロジェクタ３０に投影させるように構成される。また、制御部４６は、認識部４４により認識されたジェスチャ操作に応じて、操作画像内の表示物を動作させるように構成される。更に、制御部４６は、操作画像内で行われる操作に応じて、各種制御、例えばプロジェクタ３０の画像遷移や車載ネットワーク上の他の機器の制御を行うように構成される。制御部４６はダッシュボード１８の各部の位置と操作画像の内容に基づいて、プロジェクタ３０の投影面３１の位置を制御する。

記憶装置４８は、１以上の操作画像を記憶する。記憶装置４８は、操作装置ＥＣＵ４２から画像要求を入力し、要求に応じた操作画像の情報を操作装置ＥＣＵ４２に出力する。記憶装置４８に記憶される操作画像の情報は、磁気ディスク、光学ディスク、フラッシュメモリのような記憶媒体、又は、通信等により更新可能である。

操作装置ＥＣＵ４２はバス５０に接続される。バス５０には他に運転支援ＥＣＵ５２、メータＥＣＵ５４、エアコンＥＣＵ５６、オーディオ装置５８、カーナビゲーション装置６０等が接続される。運転支援ＥＣＵ５２、操作装置ＥＣＵ４２、メータＥＣＵ５４、エアコンＥＣＵ５６、オーディオ装置５８、カーナビゲーション装置６０等により車載ネットワーク（例えばＣＡＮ）が構成される。操作装置ＥＣＵ４２、メータＥＣＵ５４、エアコンＥＣＵ５６、オーディオ装置５８、カーナビゲーション装置６０等はバス５０を介して情報通信できる。

運転支援ＥＣＵ５２は、乗員のスイッチ操作により自動運転モード又は半自動運転モードが選択されているときに、駆動支援、制動支援、操舵支援の制御を行う。メータＥＣＵ５４は、メータの表示の制御を行う。エアコンＥＣＵ５６はエアコンの制御を行う。

［４．第１操作画像６２］
図４〜図６を用いてダッシュボード１８の表面に投影される第１操作画像６２について説明する。操作装置ＥＣＵ４２の制御部４６は、記憶装置４８から図４で示すような第１操作画像６２の情報を読み込んで、プロジェクタ３０に対して表示指示を出力する。プロジェクタ３０は表示指示を受けて、ダッシュボード１８の表面に第１操作画像６２を投影する。なお、図４で示す第１操作画像６２は本実施形態で行われる画像遷移のうちの初期画像である。勿論、第１操作画像６２は図４で示されるようなコンテンツに限らず、様々なコンテンツが可能である。

第１操作画像６２はＣＧ画像であって、車速のイメージを示す速度画像６４と、レーダ探知のイメージを示すレーダ画像６６と、燃料の残量のイメージを示す燃料画像６８と、その他の画像７０とを含む。

速度画像６４は、車速に応じて動作する円形の表示物６４ａを有する。表示物６４ａは、速度画像６４の中心から出現して放射方向に拡がり、縁部で消失する動作を繰り返す。表示物６４ａは、メータＥＣＵ５４（図３参照）から出力される速度情報又は車速センサ（図示せず）から出力される速度情報に基づいて動作する。プロジェクタ３０は、速度画像６４を第１凸部３４の表面に投影する。この際、速度画像６４とその周囲の画像とを区画する境界線である画像境界線６４ｂを、一般面（凹部）３２と第１凸部３４との境界線である凹凸境界線３４ｂと一致させる。

レーダ画像６６は、車載レーダ（図示せず）の検知方向を示す表示物６６ａを有する。表示物６６ａは、一定周期でレーダ画像６６の中心の回りを一方向に回転する。車載レーダが障害物を検知した場合、障害物の位置は、レーダ画像６６の中で車両１０を中心とする相対的な位置で示される。プロジェクタ３０は、レーダ画像６６を第２凸部３６の表面に投影する。この際、レーダ画像６６とその周囲の画像とを区画する境界線である画像境界線６６ｂを、一般面（凹部）３２と第２凸部３６との境界線である凹凸境界線３６ｂと一致させる。

燃料画像６８は、燃料タンク内における燃料の増減に応じて動作する表示物６８ａを有する。表示物６８ａは、メータＥＣＵ５４（図３参照）から出力される燃料情報又は燃料の残量を計測するセンサ、例えばサーミスタ（図示せず）等から出力される残量情報に基づいて動作する。プロジェクタ３０は、燃料画像６８を第３凸部３８の表面に投影する。この際、燃料画像６８とその周囲の画像とを区画する境界線である画像境界線６８ｂを、一般面（凹部）３２と第３凸部３８との境界線である凹凸境界線３８ｂと一致させる。

ここで、ダッシュボード１８の表面に図４で示す第１操作画像６２が投影された状態で、カメラ２６により乗員の手腕が撮像されたとする。このとき、第１操作画像６２内の所定位置、ここでは右側に、図５で示すような領域画像７４が表示される。更に、領域画像７４からポインタ画像７６が出現する。制御部４６は、ポインタ画像７６が出現した時点で、撮像空間内の乗員の手の位置とポインタ画像７６の位置とを対応付ける。このようにすることで、乗員が手を移動させるジェスチャ操作を行うと、ポインタ画像７６は第１操作画像６２の中を移動する。

図６で示すように、乗員の手の動作に連動して、ポインタ画像７６が第１操作画像６２内の定位置近傍、ここでは下側近傍に移動したとする。このとき、移動先の定位置に第１固定画像７８が表示される。第１固定画像７８は、次画像への遷移を行うためのスイッチに相当する。ポインタ画像７６が第１固定画像７８に接触、又は、所定距離以下に接近すると、第１固定画像７８に対応付けられた機能が選択される。本実施形態で、第１固定画像７８に対応付けられた機能は、第１操作画像６２から図７で示す第２操作画像８０への遷移である。制御部４６は、投影する画像を第１操作画像６２から第２操作画像８０に遷移させる。

［５．第２操作画像８０］
図７〜図９を用いて第１操作画像６２から遷移する第２操作画像８０について説明する。操作装置ＥＣＵ４２の制御部４６は、記憶装置４８から図７で示すような第２操作画像８０の情報を読み込んで、プロジェクタ３０に対して表示指示を出力する。プロジェクタ３０は表示指示を受けて、ダッシュボード１８の表面に第２操作画像８０を投影する。なお、図７で示す第２操作画像８０は本実施形態で行われる画像遷移のうちの初期画像の次の階層の画像である。第１操作画像６２と同様に、第２操作画像８０も図５で示されるようなコンテンツに限らず、様々なコンテンツが可能である。

第２操作画像８０はＣＧ画像であって、メータのイメージを示すメータ画像８２と、オーディオ装置５８のイメージを示すオーディオ画像８４と、カーナビゲーション装置６０のイメージを示すナビ画像８６と、エアコンのイメージを示すエアコン画像８８とを含む。メータ画像８２とオーディオ画像８４とナビ画像８６とエアコン画像８８は、各機器の表示画像又は操作画像への遷移を行うためのスイッチに相当する。更に、第２操作画像８０は、メータ画像８２とオーディオ画像８４とナビ画像８６とエアコン画像８８の中心に第２固定画像９０を有し、第２固定画像９０を巡る軌道画像９２を有する。

プロジェクタ３０は、第２固定画像９０を第１凸部３４の表面に投影する。この際、第２固定画像９０とその周囲の画像とを区画する境界線である画像境界線９０ｂを、一般面（凹部）３２と第１凸部３４との境界線である凹凸境界線３４ｂと一致させる。

乗員が予め定められた第１ジェスチャ操作、例えば掌を回転させる第１ジェスチャ操作を行うと、図８で示すように、メータ画像８２とオーディオ画像８４とナビ画像８６とエアコン画像８８は、軌道９２に沿って回転する。また、メータ画像８２とオーディオ画像８４とナビ画像８６とエアコン画像８８のいずれかが第２固定画像９０の正面に配置されているときに、乗員が予め定められた第２ジェスチャ操作、例えば手首を跳ね上げる第２ジェスチャ操作を行うと、図９で示すように、メータ画像８２とオーディオ画像８４とナビ画像８６とエアコン画像８８は、第２固定画像９０の内部に移動する。すると、移動した画像８２、８４、８６、８８に対応付けられた機能が選択される。

乗員がメータ画像８２を第２固定画像９０の内部に移動させた場合、制御部４６は、ダッシュボード１８の表面の画像を第２操作画像８０からメータパネルの表示画面の画像（図示なし）に遷移させる。このとき、メータＥＣＵ５４から車速等の表示値の情報を入力し、メータパネルの表示画面の画像に表示させる。更に、ダッシュボード１８の表面にメータパネルの表示画面が投影されている状態で行われるジェスチャ操作に応じて、メータパネルに対して表示切り替え等の操作指示を出力する。

乗員がオーディオ画像８４を第２固定画像９０の内部に移動させた場合、制御部４６は、ダッシュボード１８の表面の画像を第２操作画像８０からオーディオ装置５８の操作画面の画像（図示なし）に遷移させる。このとき、オーディオ装置５８から各種情報を入力し、オーディオ装置５８の操作画面の画像に表示させる。更に、ダッシュボード１８の表面にオーディオ装置５８の操作画面が投影されている状態で行われるジェスチャ操作に応じて、オーディオ装置５８に対してオーディオ操作の操作指示を出力する。

乗員がナビ画像８６を第２固定画像９０の内部に移動させた場合、制御部４６は、ダッシュボード１８の表面の画像を第２操作画像８０からカーナビゲーション装置６０の表示画面の画像（図示なし）に遷移させる。このとき、カーナビゲーション装置６０から各種情報を入力し、カーナビゲーション装置６０の表示画面の画像に表示させる。更に、ダッシュボード１８の表面にカーナビゲーション装置６０の表示画面が投影されている状態で行われるジェスチャ操作に応じて、カーナビゲーション装置６０に対してナビ操作の操作指示を出力する。

乗員がエアコン画像８８を第２固定画像９０の内部に移動させた場合、制御部４６は、ダッシュボード１８の表面の画像を第２操作画像８０からエアコンの操作画面の画像（図示なし）に遷移させる。このとき、エアコンＥＣＵ５６から設定温度等の設定値の情報を入力し、エアコンの操作画面を画像に表示させる。更に、ダッシュボード１８にエアコンの操作画面が投影されている状態で行われるジェスチャ操作に応じて、エアコンＥＣＵ５６に対してエアコン操作の操作指示を出力する。

［６．車両用操作装置４０の動作］
［６−１．動作１］
図１０を用いて車両用操作装置４０の動作１について説明する。以下の処理は所定のタイミング、例えば車両用操作装置４０の電源が投入された時点で開始される。以下の処理では、ダッシュボード１８の表面に、図４〜図６で示す第１操作画像６２が投影されるものとする。

ステップＳ１にて、プロジェクタ３０による第１操作画像６２の投影と、カメラ２６によるジェスチャ操作空間の撮像とが行われる。また、制御部４６から投影指示を受けたプロジェクタ３０はダッシュボード１８の表面に第１操作画像６２を投影する。また、カメラ２６は運転席１４と助手席１６の間の空間を撮像する。操作装置ＥＣＵ４２の認識部４４はカメラ２６により撮像された撮像情報を入力して認識処理を行う。前述したように、カメラ２６による撮像はモーションセンサの検知結果に応じて行われてもよいし、常時行われてもよい。また、動作が所定時間撮像されない場合にカメラ２６による撮像を停止してもよい。

ステップＳ２にて、カメラ２６の撮像情報から乗員の手が認識されたか否かが判定される。乗員がジェスチャ操作空間に手をかざすと、カメラ２６により手が撮像され、認識部４４により乗員の手が認識される。認識部４４により乗員の手が認識された場合（ステップＳ２：ＹＥＳ）、ステップＳ３の処理に移行する。一方、認識部４４により乗員の手が認識されない場合（ステップＳ２：ＮＯ）、ステップＳ２の処理が繰り返し実行される。

ステップＳ３にて、第１操作画像６２においてポインタ画像７６が表示される。制御部４６はプロジェクタ３０に対して表示指示を出力する。プロジェクタ３０は表示指示にしたがって第１操作画像６２を投影する。このとき、図５で示すように、第１操作画像６２内には領域画像７４が表示され、次いで領域画像７４からポインタ画像７６が出現する。

ステップＳ４にて、ポインタ画像７６と乗員の手の対応付けが行われる。制御部４６は、ポインタ画像７６が出現した時点で、撮像空間内の乗員の手の位置とポインタ画像７６の位置とを対応付ける。乗員が手を移動させた場合、認識部４４で認識される手の移動量及び移動方向をポインタ画像７６の移動量及び移動方向に変換する。そして、第１操作画像６２の情報、及び、第１操作画像６２の中で移動するポインタ画像７６の情報をプロジェクタ３０に出力する。このとき、手の所定部位、例えば指先の位置をポインタ画像７６の位置と対応付けてもよいし、掌の位置をポインタ画像７６の位置と対応付けてもよい。

ステップＳ５にて、ポインタ画像７６による指示があるか否かが判定される。乗員の手腕の動作に連動してポインタ画像７６は移動する。図６で示すように、ポインタ画像７６が第１固定画像７８に接触、又は、所定距離以下に接近した場合（ステップＳ５：ＹＥＳ）、ステップＳ６の処理に移行する。一方、ポインタ画像７６が第１固定画像７８に接触、又は、所定距離以下に接近していない場合（ステップＳ５：ＮＯ）、ステップＳ７の処理に移行する。

ステップＳ６にて、ジェスチャ操作により指示された処理が実行される。ポインタ画像７６が接触した第１固定画像７８に対応付けられた機能は、第１操作画像６２から図７で示す第２操作画像８０への遷移である。制御部４６は、ダッシュボード１８の表面に投影する画像を第１操作画像６２から第２操作画像８０に遷移させる。

ステップＳ７にて、カメラ２６の撮像情報から乗員の手が認識されたか否かが判定される。認識部４４により乗員の手が認識された場合（ステップＳ７：ＹＥＳ）、ステップＳ５の処理に移行する。ここでは乗員によるポインタ画像７６の操作が継続される。一方、認識部４４により乗員の手が認識されない場合（ステップＳ７：ＮＯ）、ステップＳ８の処理に移行する。

ステップＳ８にて、第１操作画像６２においてポインタ画像７６が非表示とされる。このとき、既に乗員の手腕がカメラ２６により撮像されていないものと推定されるため、ポインタ画像７６は非表示とされる。

［６−２．動作２］
図１１を用いて車両用操作装置４０の動作２について説明する。以下の処理は図１０のステップＳ６処理の一例である。以下の処理では、ダッシュボード１８の表面に、図７〜図９で示す第２操作画像８０が投影されるものとする。

ステップＳ１１にて、プロジェクタ３０による第２操作画像８０の投影と、カメラ２６によるジェスチャ操作空間の撮像とが行われる。制御部４６から投影指示を受けたプロジェクタ３０はダッシュボード１８の表面に第２操作画像８０を投影する。また、カメラ２６は運転席１４と助手席１６の間の空間を撮像する。操作装置ＥＣＵ４２の認識部４４はカメラ２６により撮像された撮像情報を入力して認識処理を行う。

ステップＳ１２にて、カメラ２６の撮像情報から乗員の手が認識されたか否かが判定される。乗員がジェスチャ操作空間に手をかざすと、カメラ２６により手が撮像され、認識部４４により乗員の手が認識される。認識部４４により乗員の手が認識された場合（ステップＳ１２：ＹＥＳ）、ステップＳ１３の処理に移行する。一方、認識部４４により乗員の手が認識されない場合（ステップＳ１２：ＮＯ）、ステップＳ１２の処理が繰り返し実行される。

ステップＳ１３にて、カメラ２６の撮像情報から乗員のジェスチャ操作による指示があるか否かが判定される。乗員が掌を回転させる第１ジェスチャを行うと、図８で示すように、メータ画像８２とオーディオ画像８４とナビ画像８６とエアコン画像８８は、軌道９２に沿って回転する。また、メータ画像８２とオーディオ画像８４とナビ画像８６とエアコン画像８８のいずれかが第２固定画像９０の正面に配置されているときに、乗員が予め定められた第２ジェスチャ操作、例えば手首を跳ね上げる第２ジェスチャ操作を行うと、図９で示すように、メータ画像８２とオーディオ画像８４とナビ画像８６とエアコン画像８８のいずれかは、第２固定画像９０の内部に移動する。すると、移動した画像８２、８４、８６、８８に対応付けられた機能が選択される。

ステップＳ１４にて、ジェスチャ操作により指示された処理が実行される。制御部４６は、ダッシュボード１８の表面に投影する画像を、第１操作画像６２から、第２固定画像９０に動かされた画像８２、８４、８６、８８に対応する操作画像又は表示画像に遷移させる。更に、ダッシュボード１８の表面にその操作画像又は表示画像が投影された状態で行われるジェスチャ操作に応じて、メータパネル、エアコン、オーディオ装置５８、カーナビゲーション装置６０に操作指示を出力する。

［６−３．動作３］
図１２を用いて車両用操作装置４０の動作３について説明する。図１２で示すステップＳ２１〜ステップＳ２４の処理は、図１０で示すステップＳ１〜ステップＳ４の処理と一致する。また、図１２で示すステップＳ２７〜ステップＳ３０の処理は、図１０で示すステップＳ５〜ステップＳ８の処理と一致する。つまり、動作３は図１０を用いて説明した動作１にステップＳ２５及びステップＳ２６の処理を付加したものである。以下では図１０を用いて説明した動作１と同じ処理の説明を省略し、付加した処理のみを説明する。

ステップＳ２４にて、ポインタ画像７６と乗員の手の対応付けが行われた後、ステップＳ２５にて、手腕の進入方向が判定される。認識部４４は認識している手及び／又は腕が撮像領域に対して運転席側から進入するか、助手席側から進入するかを判別する。進入方向は、手腕の進入位置又は進入角度により判定可能である。運転席側から進入する場合（ステップＳ２５：運転席側）、ステップＳ２６の処理に移行する。一方、助手席側から進入する場合（ステップＳ２５：助手席側）、ステップＳ２７の処理に移行する。

ステップＳ２６にて、一部操作が規制される。この処理は、ジェスチャ操作を行っている乗員が運転者である可能性が高い場合に行われる。制御部４６は一部の操作、例えば、図７〜図９で示すナビ画像８６を選択できなくしたり、オーディオ装置５８の一部操作をできなくする。

［６−４．動作４］
図１３を用いて車両用操作装置４０の動作４について説明する。図１０で示すステップＳ１、図１２で示すステップＳ２１の各処理で第１操作画像６２を投影する際、及び／又は、図１１で示すステップＳ１１の処理で第２操作画像８０を投影する際に図１３で示すステップＳ４１〜Ｓ４３の処理が行われてもよい。

ステップＳ４１にて、運転モードが判定される。制御部４６は運転支援ＥＣＵ５２から出力される運転モード情報に基づいて運転モードを判定する。車両１０が自動運転（半自動運転を含む）モードである場合（ステップＳ４１：自動運転モード）、ステップＳ４２の処理に移行する。一方、車両１０が手動運転モードである場合（ステップＳ４１：手動運転モード）、ステップＳ４３の処理に移行する。

ステップＳ４２にて、プロジェクタ３０は操作画像（第１操作画像６２、第２操作画像８０）の表示範囲を拡大して投影する。このとき、制御部４６はプロジェクタ３０に対して表示領域の拡大を指示し、プロジェクタ３０は指示に応じて操作画像を投影する。

ステップＳ４３にて、プロジェクタ３０は操作画像（第１操作画像６２、第２操作画像８０）の表示範囲を拡大せずに投影する。このとき、制御部４６はプロジェクタ３０に対して通常の表示領域を指示し、プロジェクタ３０は指示に応じて操作画像を投影する。

［６−５．他の動作］
なお、ダッシュボード１８には第１凸部３４、第２凸部３６、第３凸部３８が設けられていなくてもよい。そのような場合は、投影面３０ａをずらしてもよい。例えば、次のような本実施形態では他の動作が行われてもよい。

カメラ２６が３次元の位置を検知できる場合、例えばＴＯＦカメラである場合、ジェスチャ操作を行う手腕の高さに応じて、第１操作画像６２、第２操作画像８０の投影高さを変えることも可能である。認識部４４で認識される手の位置が高い場合、ジェスチャ操作している乗員が高身長である可能性が高い。この場合、第１操作画像６２、第２操作画像８０はダッシュボード１８の上部に投影されることが好ましい。このため、制御部４６はプロジェクタ３０に対して表示領域をダッシュボード１８の上部にするように指示し、プロジェクタ３０は指示に応じて操作画像を投影する。一方、認識部４４で認識される手の位置が低い場合、ジェスチャ操作している乗員が低身長である可能性が高い。この場合、第１操作画像６２、第２操作画像８０はダッシュボード１８の下部に投影されることが好ましい。このため、制御部４６はプロジェクタ３０に対して表示領域をダッシュボード１８の下部にするように指示し、プロジェクタ３０は指示に応じて操作画像を投影する。

［７．関連技術］
本実施形態は次の構成を備えていてもよい。図１４で示すように、車両１０のルーフ１００の側端にはカメラ１０２が設けられる。カメラ１０２は車両１０の側方に向けて配置される。車室１２内にはプロジェクタ１０４が設けられる。プロジェクタ１０４は後部スライドドア１０６のウインドウ１０８に向けて配置される。サイドミラー１１０にはプロジェクタ１１２が設けられる。プロジェクタ１１２は下方に向けて配置される。

この実施形態は次のように動作する。車両１０に乗員が近づくと、カメラ１０２は乗員を撮像する。図示しないＥＣＵは、カメラ１０２の撮像情報に基づいて画像認識処理を行う。乗員であると同定された場合、更に乗員の位置を判定する。乗員の位置が後部スライドドア１０６周辺である場合、プロジェクタ１０４がウインドウ１０８に対して出迎え画像１１４を投影する。乗員の位置が前部ドア１１８周辺である場合、プロジェクタ１１２が地面に対して出迎え画像１１８を投影する。プロジェクタ１０４、１１２の投影等の制御主体はＥＣＵである。
なお、画像認識により乗員を認識する代わりに、運転者が携帯するキーと車両１０との間の通信により乗員（運転者）を認識してもよい。

［８．変形例］
図３で示す車両用操作装置４０は表示部としてプロジェクタ３０を備えているが、図１５で示す車両用操作装置４０´のように表示部としてディスプレイ１２０を備えることも可能である。を備える。この場合、ダッシュボード１８にディスプレイ１２０が埋め込まれる。また、ダッシュボード１８の表面にディスプレイ１２０が取り付けられてもよい。ディスプレイ１２０は液晶パネルでもよいし有機ＥＬでもよい。

［９．本実施形態のまとめ］
本実施形態に係る車両用操作装置４０、４０´は、車両１０の内装部材に設けられて乗員による操作の対象となる操作画像（第１操作画像６２、第２操作画像８０、以下、操作画像６２、８０ともいう。）を表示する表示部（プロジェクタ３０、投影面３０ａ、ディスプレイ１２０、以下、表示部３０、３０ａ、１２０ともいう。）と、操作画像６２、８０に対する操作入力として乗員のジェスチャを認識するジェスチャ認識部（カメラ２６、認識部４４、以下ジェスチャ認識部２６、４４ともいう。）と、操作画像６２、８０に対する操作入力に応じて所定の制御を行う制御部４６と、を備える。表示部３０ａ、１２０は、車両１０の内装部材である助手席１６側のダッシュボード１８上に配置される。ジェスチャ認識部２６、４４は、車両１０の車幅方向における運転席１４と助手席１６との間の位置で行われる乗員の身体の動きをジェスチャとして認識する。

助手席１６側のダッシュボード１８には計器等が配置されない。たとえメータの表示領域拡大等で多少計器が配置されたとしてもその他に運転操作に必要な操作手段は配置されない。したがって、一般に助手席１６側のダッシュボード１８には広い領域が空いている。本実施形態によれば、助手席１６側のダッシュボード１８に操作画像６２、８０を表示する。このため、操作画像６２、８０の表示領域を広く確保することができ、ジェスチャ操作でも誤操作が生じにくいＧＵＩを構成することが可能となる。また、運転席１４と助手席１６との間でジェスチャを認識する。このため、運転席１４に着座した乗員からでも助手席１６側の操作画像６２、８０に対する操作が可能となり、操作性を確保することができる。

操作画像６２は、選択対象として定位置に表示される固定画像（第１固定画像７８、以下、固定画像７８ともいう。）と、ジェスチャ認識部２６、４４により認識されたジェスチャに対応して操作画像６２の中を移動することで固定画像７８を選択可能に表示されるポインタ画像７６とを含んで構成される。ジェスチャ操作によりポインタ画像７６を操作可能にすると、操作画像２６はより操作しやすくなり、誤操作の少ないＧＵＩを構成できる。また、操作画像が操作しやすくなると、乗員がジェスチャ操作に気をとられることがなくなる。

制御部４６は、ポインタ画像７６が固定画像７８の領域に接触又は所定距離以下に接近したときに固定画像７８を選択し、固定画像７８の機能に応じた所定の制御を行う。このようにすることにより、ポインタ画像７６で固定画像７８を選択するのみで機能が実行されるため、より操作性をよくすることができる。また、操作性がよくなると、乗員がジェスチャ操作に気をとられることがなくなる。

表示部３０は、操作画像６２、８０を投影するプロジェクタ３０を備える。ダッシュボード１８の表面には、凹形状となる凹部（一般面３２、以下、凹部３２ともいう。）と、凹部３２に対して凸形状となる凸部（第１凸部３４、第２凸部３６、第３凸部３８、以下、凸部３４、３６、３８ともいう。）とが形成されている。プロジェクタ３０は、操作画像６２、８０を投影する際に、操作画像６２、８０を構成する画像のうち所定の領域を区画する境界線である画像境界線６４ｂ、６６ｂ、６８ｂ、９０ｂを、凹部３２と凸部３４、３６、３８との境界線である凹凸境界線３４ｂ、３６ｂ、３８ｂと一致させる。このように、操作画像６２、８０上の領域とダッシュボード１８の凹凸とが対応するようにプロジェクションマッピングを行うため、乗員にとって操作画像６２、８０の領域がより認識しやすくなり、より操作性をよくすることができる。また、操作性がよくなると、乗員がジェスチャ操作に気をとられることがなくなる。

操作画像６２、８０を構成する画像のうち、選択対象として定位置に表示される固定画像（第２固定画像９０、以下、固定画像９０という。）と、固定画像９０とは異なるその他の画像の領域とを区画する境界線が、画像境界線９０ｂとして設定される。このように、固定画像９０とその他の画像との区画と、ダッシュボード１８上の凹凸とを対応させるため、乗員にとって固定画像９０の領域が認識しやすくなる。また、固定画像９０の領域が認識しやすくなると、乗員がジェスチャ操作に気をとられることがなくなる。

凹部３２は、ダッシュボード１８の一般面３２として形成される。また、凸部３４、３６、３８は、一般面３２に対して車室１２内側に凸となるように形成される。そして、凸部３４、３６、３８は、ダッシュボード１８に対する取り付け及びダッシュボード１８からの取り外しが可能である。このように凸部３４、３６、３８を着脱可能に構成することで、ＧＵＩの変更やジェスチャ操作を用いない場合の汎用性が高まる。

車両１０の天井（ルーフ２４）には、後席用ルーフコンソール２８が備えられる。プロジェクタ３０は、後席用ルーフコンソール２８に一体に設けられる。このようにすることにより、操作画像６２、８０を投影するプロジェクション方式を用いる場合でも乗員に遮られる可能性が低い。また、助手席１６側のダッシュボード１８から運転席１４側のインストルメントパネルにかけて表示部３０ａ、１２０を拡大した場合でも対応可能である。

ジェスチャ認識部２６、４４は、認識したジェスチャが運転席１４側の乗員によるものか助手席１６側の乗員によるものかを判別する。制御部４６は、ジェスチャ認識部２６、４４による判別の結果に応じて異なる制御を行う。運転席１４側からの操作と助手席１６側からの操作を判別することにより利便性が向上する。例えば、煩雑な操作（例えばカーナビゲーション装置６０の操作）に関しては、運転席１４側からは禁止する一方で、助手席１６側からは許容する等の対応をすることができる。

ジェスチャ認識部２６、４４は、車室１２内の所定箇所に設けられて乗員の手腕を撮像するカメラ２６を備え、カメラ２６の撮像情報によりジェスチャを認識するし、カメラ２６の撮像範囲に対する手腕の進入位置又は進入角度により判別を行う。このようにすることで、運転席１４側からの操作と助手席１６側からの操作との判別を、特別な構成を追加することなく画像解析のみで容易に行うことができる。

車両１０には、加減速操作及び操舵操作を乗員の操作により行う手動運転モードと、車両１０の加減速操作及び操舵操作のうち少なくとも一方を車両１０が自律的に行う運転支援モードとが切替可能に設定される。表示部３０ａ、１２０は、運転支援モードの間に表示する操作画像６２、８０を、手動運転モードの間に表示する操作画像６２、８０よりも拡大する。操作画像６２、８０の表示時点での運転モードに応じて自動的に表示領域を変更することで、適切なコンテンツを表示することができ、利便性が向上する。

１０…車両 １２…車室
１４…運転席 １６…助手席
２６…カメラ ２８…後席用ルーフコンソール
３０…プロジェクタ ３０ａ…投影面
３２…一般面（凹部） ３４…第１凸部
３６…第２凸部 ３８…第３凸部
３４ｂ、３６ｂ、３８ｂ…凹凸境界線 ４０、４０´…車両用操作装置
４２…操作装置ＥＣＵ ４４…認識部
４６…制御部 ６２…第１操作画像
６４ｂ、６６ｂ、６８ｂ、９０ｂ…画像境界線
７８…第１固定画像 ８０…第２操作画像
９０…第２固定画像 １２０…ディスプレイ

Claims (9)

1. 車両の内装部材に設けられて乗員による操作の対象となる操作画像を表示する表示部と、
   前記操作画像に対する操作入力として前記乗員のジェスチャを認識するジェスチャ認識部と、
   前記操作画像に対する前記操作入力に応じて所定の制御を行う制御部と、を備える車両用操作装置であって、
   前記表示部は、前記車両の内装部材である助手席側のダッシュボード上に配置され、
   前記ジェスチャ認識部は、前記車両の車幅方向における運転席と助手席との間の位置で行われる前記乗員の身体の動きを前記ジェスチャとして認識するとともに、
   前記表示部は、前記操作画像を投影するプロジェクタを備え、前記ダッシュボードの一般面に、該一般面に対して凸形状となる凸部が形成されており、
   前記プロジェクタは、前記操作画像を投影する際に、前記操作画像を構成する画像のうち所定の領域を区画する境界線である画像境界線を、前記凸部と前記一般面との境界線に一致させること
   を特徴とする車両用操作装置。
2. 請求項１に記載の車両用操作装置において、
   前記操作画像は、選択対象として定位置に表示される固定画像と、前記ジェスチャ認識部により認識された前記ジェスチャに対応して前記操作画像の中を移動することで前記固定画像を選択可能に表示されるポインタ画像とを含んで構成されること
   を特徴とする車両用操作装置。
3. 請求項２に記載の車両用操作装置において、
   前記制御部は、前記ポインタ画像が前記固定画像の領域に接触又は所定距離以下に接近したときに前記固定画像を選択し、前記固定画像の機能に応じた前記所定の制御を行うこと
   を特徴とする車両用操作装置。
4. 請求項２または３に記載の車両用操作装置において、
   前記操作画像を構成する画像のうち、選択対象として定位置に表示される前記固定画像と、前記固定画像とは異なるその他の画像の領域とを区画する境界線が、前記画像境界線として設定されること
   を特徴とする車両用操作装置。
5. 請求項１〜４のいずれか１項に記載の車両用操作装置において、
   前記凸部は、前記ダッシュボードの前記一般面に対して車両室内側に凸形状となるように形成され、
   前記凸部は、前記ダッシュボードに対する取り付け及び前記ダッシュボードからの取り外しが可能であること
   を特徴とする車両用操作装置。
6. 請求項１〜５のいずれか１項に記載の車両用操作装置において、
   前記車両の天井には、後席用ルーフコンソールが備えられ、
   前記プロジェクタは、前記後席用ルーフコンソールに一体に設けられること
   を特徴とする車両用操作装置。
7. 請求項１〜６のいずれか１項に記載の車両用操作装置において、
   前記ジェスチャ認識部は、認識した前記ジェスチャが前記運転席側の乗員によるものか前記助手席側の乗員によるものかを判別し、
   前記制御部は、前記ジェスチャ認識部による前記判別の結果に応じて異なる制御を行うこと
   を特徴とする車両用操作装置。
8. 請求項７に記載の車両用操作装置において、
   前記ジェスチャ認識部は、前記車両の室内の所定箇所に設けられて前記乗員の手腕を撮像するカメラを備え、前記カメラの撮像情報により前記ジェスチャを認識するとともに、前記カメラの撮像範囲に対する前記手腕の進入位置又は進入角度により前記判別を行うこと
   を特徴とする車両用操作装置。
9. 請求項１〜８のいずれか１項に記載の車両用操作装置において、
   前記車両には、加減速操作及び操舵操作を前記乗員の操作により行う手動運転モードと、前記車両の加減速操作及び操舵操作のうち少なくとも一方を前記車両が自律的に行う運転支援モードとが切替可能に設定され、
   前記表示部は、前記運転支援モードの間に表示する前記操作画像を、前記手動運転モードの間に表示する前記操作画像よりも拡大すること
   を特徴とする車両用操作装置。

Images