JP4692937B2

JP4692937B2 - 車載用電子機器操作装置

Info

Publication number: JP4692937B2
Application number: JP2008251783A
Authority: JP
Inventors: 毅川島; 正広伊藤
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2008-09-29
Filing date: 2008-09-29
Publication date: 2011-06-01
Anticipated expiration: 2028-09-29
Also published as: JP2010083206A

Description

本発明は車載用電子機器操作装置に関する。

特開２０００−３３５３３０号公報特開２０００− ６６８７号公報

従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のスイッチパネルを操作する手の様子を撮影し、撮影した手とスイッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献２には、車両のルーフに配置されたビデオカメラを用いてドライバの手を撮影して輪郭抽出し、表示器上のソフトボタンにその輪郭画像を重畳表示する構成が開示されている。

上記従来の操作システムにおいては、カメラによる手の撮影情報が、操作位置を示す手輪郭画像の画面上への重畳表示に利用されるに留まり、画像情報自体が入力情報として有効に利用されているとはいい難かった。

本発明の課題は、操作入力部と手撮影手段との双方を備えた車載用電子機器操作装置において、撮影取得される画像情報を入力情報としても有効利用できるようにし、ひいては入力利用形態の大幅な拡張を図ることにある。

課題を解決する手段及び発明の効果

車両の座席に着座した乗員により操作可能な位置に設けられ、一定面積の操作入力領域を有した操作入力部と、
操作入力領域を見込む一定の撮影範囲にて、該操作入力部に接近する乗員の手を含む画像を撮影する手撮影手段と、
撮影された画像上にて乗員の手像領域を特定する手像領域特定手段と、
特定された手像領域の操作入力領域に対する面積率を手像面積率として算出する手像面積率算出手段と、
操作入力部への操作状態と算出された手像面積率とに基づいて、車載用電子機器に対する操作入力情報を生成し出力する操作入力情報生成出力手段と、
を備えた車載用電子機器操作装置が公知である。

上記の構成によると、操作入力部と手撮影手段との双方を備えた車載用電子機器操作装置において、操作入力部への操作状態と算出された手像面積率とに基づいて、車載用電子機器に対する操作入力情報を生成し出力するようにしたので、操作入力部からの入力情報に加え、撮影取得される画像情報を入力情報としても有効利用できるので、操作装置の入力利用形態の大幅な拡張を図ることができる。

操作入力情報生成出力手段は、手像面積率の値と生成すべき操作入力情報の内容との間に一義的な関係が定めておくことにより、その算出された手像面積率の値に対応する操作入力情報を関係に基づいて特定し、出力するものとして構成できる。手像面積率の値に応じて操作入力情報の内容を予め決定しておくことで、出力すべき操作入力情報を簡便に特定することができる。

操作入力情報生成出力手段は、算出された手像面積率の値が予め定められた閾面積率を超えた場合に、操作入力情報として、車載用電子機器の特定機能を起動要求するための特定機能起動要求情報を出力するものとして構成することができる。これにより、手像面積率が閾面積率以上となる特徴的な入力動作を、車載用電子機器の特定機能の呼び出し操作として定めることができ、該特定機能を簡便な操作で直感的に起動することが可能となる。例えば、閾面積率を、単なる指によるタッチ操作など、操作入力に普通に使用する汎用入力動作とは操作上明確に区別できる程度に高く設定しておくと、望まざるタイミングで特定機能を起動してしまう誤操作を起こしにくくすることができる。一例として、操作入力情報生成出力手段は、手像面積率が、６０％以上の所定値に定められた閾面積率（望ましくは７０％以上：例えば、８０％）を超える、操作入力領域に対する手塞ぎ状態が特定された場合に、特定機能起動要求情報を出力するように構成することができる。

また、操作入力情報生成出力手段は、車載用電子機器にて上記特定機能が起動後に操作入力部に対して予め定められた操作入力が加えられた場合に、車載用電子機器における特定機能の作動状態を変更するための作動変更要求情報を出力するように構成することができる。手像面積率による撮影画像に基づいて起動した特定機能を、操作入力部からの入力に基づき作動状態を変更できるので、該特定機能の動作に係る制御上のバリエーションをより高めることができる。

例えば、操作入力情報生成出力手段は、上記操作入力が加えられた場合に、車載用電子機器における特定機能の作動を中断し、該特定機能の起動前状態に復帰させる作動復帰要求情報を出力するように構成することができる。手像面積率により起動された上記特定機能の作動を、操作入力部への操作入力をトリガとしてスムーズかつ簡単に中断することができる。

また、本発明の車載用電子機器操作装置には、手像面積率算出手段による手像面積率の、操作入力領域上での予め定められた入力手動作に対応する一連の時間変化挙動を特定する手像面積率時間変化挙動特定手段を設けることができる。この場合、操作入力情報生成出力手段は、特定された手像面積率の時間変化挙動が、予め定められた変化挙動に合致した場合に、対応する操作入力情報を生成し出力するように構成することができる。手像面積率時間変化挙動を特定し、その特定内容が予め定められた変化挙動に合致した場合に、対応する操作入力情報を生成するように構成することで、より特徴的な入力手動作を操作入力情報と対応付けることができ、より直感的な入力操作が可能となる。特に、手像領域の重心位置の時間的変化も合わせて特定し、上記面積率の時間的変化と重心位置の時間的変化との双方が、予め定められた変化挙動に合致した場合に、対応する操作入力情報を生成するように構成することで、特定の入力操作として定義された手の動きをより精密に特定することが可能となる。また、汎用入力動作との識別性も高く、望まざるタイミングで特定機能を起動してしまう誤操作を起こしにくくすることができる。

他方、操作入力領域は、予め定められた副領域に分割することができ、手像面積率算出手段はそれら副領域毎に手像領域の面積率を算出するように構成できる。この場合、手像面積率時間変化挙動特定手段は、各副領域にて手像面積率の一連の時間変化挙動を特定するものとして構成することができる。複数の副領域毎に手像面積率の一連の時間変化挙動を特定することで、前述の入力手動作を、よりきめ細かく特定することが可能となる。

また、手像面積率時間変化挙動特定手段は、手像領域の面積率が閾値を超える副領域の操作入力領域内での個数又は位置の遷移挙動を特定するものとして構成することもできる。この場合、操作入力情報生成出力手段は、特定された遷移挙動が、予め定められた遷移挙動と合致した場合に、対応する操作入力情報を生成し出力するものとして構成できる。この構成によると、手像領域の重心変化を特定せずとも、操作入力領域上で移動する操作者の手の動きを、手像領域の面積率が閾値を超える副領域の個数又は位置の遷移挙動により特定することができ、操作入力に関連した手の動きを、よりきめ細かく、かつ簡単に特定することが可能となる。

具体例として、操作入力領域は、該操作入力領域上の予め定められた方向に互いに隣接して配列する複数の副領域に分割することができる。そして、手像領域の面積率が閾値を超える副領域を第一状態副領域とし、閾値未満となる副領域を第二状態副領域として、副領域手像面積率時間変化挙動特定手段は、該第一状態副領域と第二状態副領域との操作入力領域上での分布状態に係る時間変化挙動を副領域状態分布遷移挙動として特定するものであり、操作入力情報生成出力手段は、特定された副領域状態分布遷移挙動が予め定められた挙動と合致した場合に、対応する操作入力情報を生成し出力するように構成できる。副領域の状態を手像領域の面積率が閾値を超えるか否かでコーディングすることで、副領域の状態分布状態を、各副領域を単位とするマクロなビットマップ情報により簡略に表現できる。

この場合、手像面積率時間変化挙動特定手段は、操作入力領域上での第一状態副領域又は第二状態副領域の出現位置の時間的変化を副領域状態分布遷移挙動として特定するように構成できる。第一状態副領域又は第二状態副領域の出現位置の時間的変化を特定することにより、ユーザーの入力手動作を簡便に特定することができる。この場合、複数の副領域に占める第一状態副領域又は第二状態副領域の個数の時間的変化を副領域状態分布遷移挙動として特定するように構成すれば、ユーザーの入力手動作をさらにきめ細かく特定することができる。例えば、手像面積率時間変化挙動特定手段は、予め定められた方向にて操作入力領域を第一端縁側から第二端縁側へ横切る入力手動作に対応する副領域状態分布遷移挙動として、操作入力領域上にて該入力手動作の対応方向に配列形成された副領域群において、第一状態副領域の出現位置の該副領域配列方向への移動挙動を特定するように構成できる。この方式によれば、操作入力領域を横切る入力手動作を二状態副領域の出現位置の該副領域配列方向への移動挙動により簡単に特定できる。

操作入力部は、一方の板面が操作入力領域として定められるとともに、操作者の指先によるタッチ操作を該操作入力領域側にて支持しつつ受け付ける透明入力支持板を有し、画面領域に対応した入力座標系が該透明入力支持板の板面に沿って設定されるとともに、タッチ操作による入力位置を検出してその座標情報を出力する位置入力装置として構成することができる。手撮影手段は、透明入力支持板の他方の板面側から該透明入力支持板上の手を含む画像を撮影するものとして構成できる。さらに、位置入力装置による入力操作を行なう際に参照するための入力画面を表示する表示装置と、該入力画面の画面領域に対し、手撮影手段が撮影する画像の手像領域に対応する位置に、手像領域の画像情報に基づく指示体画像を重畳表示する指示体画像表示手段とを設けることができる。

これにより、操作者は、画面上の指示体画像により操作入力面上の指位置を把握でき、画面表示内容に従った入力操作を的確に実施できる。特に、表示装置の画面領域（画面）が操作者に対し、該操作者が操作入力面上の指を直視する向きから外れて配置されている構成（例えば、カーナビゲーションシステム等の車載用電子機器の操作装置の場合、操作者の着座する座席の左右脇（ないしその斜め前方）に操作入力面が配置され、表示装置の画面が該操作入力面よりも上方にて、操作者の前方ないし斜め前方に対向配置される構成）では、操作を行なう手元と画面との双方を同時に直視できないので、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源として活用できる。

この場合、透明入力支持板の他方の板面側から手の撮像側表面に照明光を投射する照明手段を設けることができる。手撮影手段は、該照明光の手による反射光に基づいて手像を撮影するものとして構成できる。この発明においては、手像領域の操作入力領域に対する面積率に基づいて、撮影取得される画像情報を入力情報としても利用する。そして、上記のように照明手段を設けることで、透明入力支持板に手が比較的接近している場合は、手撮影手段に到達する反射光量が増大し、手像を有効に検出できるが、透明入力支持板から手が離間すると反射光量が減少し、一定距離以上離間した手については手像として認識されなくなる。従って、例えば操作装置近傍の別の操作部（例えばシフトレバーなど）を操作しようとして、透明入力支持板の上方を手が横切った場合等は、手から透明入力支持板までの距離が十分大きければ有効な面積率で手像が検出されななくなり、誤入力を生じにくくなる。

上記の表示装置は、その表示制御手段とともに車載用電子機器（例えばカーナビゲーションシステム）の一つとして定めることができ、操作入力情報生成出力手段は、算出された手像面積率に応じて表示制御手段に対し、表示装置に対する画面表示内容の変更を指令する画面表示内容変更指令情報を、操作入力情報として出力するものとして構成できる。これにより、撮影画像に基づき算出される手像面積率に応じた画面表示内容の変更制御が可能となり、画面表示変更制御形態の自由度を大幅に高めることができる。

一例として、操作入力情報生成出力手段は、手像面積率が予め定められた閾値未満となる状態から該閾値を超えた状態へ遷移した場合に、該遷移前に表示されていた第一画面を、該第一画面と異なる第二画面に切り替える画面切替指令情報を画面表示内容変更指令情報として出力するように構成できる。これにより、特定画面への切替操作を、手像面積率に応じた特徴的な操作形態により実施でき、直感的でわかりやすい画面切替操作（ひいてはこれと連動した他の電子機器（例えばオーディオ装置やエアコンなど）の動作切替操作）が可能となるほか、また、単純なタッチ操作等の汎用入力動作との識別性も高く、望まざるタイミングで画面切替（つまり、特定機能の起動）を起こしてしまう誤操作を起こしにくくすることができる。一方、操作入力情報生成出力手段は、表示装置が第二画面に切り替わった状態にて、位置入力装置に対するタッチ操作が発生した場合に、表示装置の表示画面を第一画面に復帰させる画面復帰要求情報を操作入力情報として出力するように構成することもできる。これにより、位置入力装置に対する簡単なタッチ操作をトリガとして、特定機能として一時的に起動した第二画面を再び第一画面に簡単に復帰させることができる。

以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の車載用電子機器操作装置（以下、単に操作装置ともいう）の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置などの車載電子機器の機能操作を行なうためのものである（また、モニタ１５自体も車載電子機器の一部をなすものである）。

操作部１２は、操作入力面（操作入力領域）が上向きとなるように取り付けられている。該操作入力面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。

図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、操作入力面１０２ａ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ１２ｂが収容されており、画像データ取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、操作入力面１０２ａ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。

撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの画像データを撮影取得する。

プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。

また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、操作入力面１０２ａの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。また、タッチパネル１２ａに手が比較的接近している場合は、手撮影カメラ１２ｂに到達する反射光量が増大し、手像を有効に検出できるが、タッチパネル１２ａから手が離間すると反射光量が減少し、一定距離以上離間した手については手像として認識されなくなる。従って、例えば操作装置近傍の別の操作部（例えばシフトレバーなど）を操作しようとして、タッチパネル１２ａの上方を手が横切った場合等は、手からタッチパネル１２ａまでの距離が十分大きければ有効な面積率で手像が検出されなくなり、手像認識を用いた後述の情報入力処理において、誤動作を生じにくくなる。

タッチパネル１２の操作入力面１０２ａは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、図４に示すように、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが操作入力面１０２ａ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、操作入力面１０２ａの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。また、手Ｈの掌部分を操作入力面１０２ａにかぶせれば、図５のＡに示すように、操作入力面１０２ａの６０％〜１００％（例えば８０％）を塞ぐ手塞ぎ状態を作ることが可能である。

図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、グラフィックコントローラ１１０、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。グラフィックコントローラ１１０には表示用ビデオＲＡＭ１１１及びモニタ１５が、ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂが、タッチパネルインターフェース１１４にはタッチパネル１２ａが、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置の制御を司るナビＥＣＵ２００と相互通信可能とされている。

ビデオインターフェース１１２には、手撮影カメラ１２ｂが撮影取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。

グラフィックコントローラ１１０は、通信インターフェース１１６を介してナビＥＣＵ２００から入力画面画像フレームデータを取得するとともに、ＣＰＵ１０１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータを取得し、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。

タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、操作入力面１０２ａへのタッチ操作による入力位置を検出し、その検出結果を位置入力座標情報として出力する。

なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより撮影取得される画像データ）、タッチパネル１２ａの操作入力面（操作入力領域）、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。

また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。これにより、ＣＰＵ１０１は、手像領域特定手段、手像面積率算出手段及び操作入力情報生成出力手段として機能する。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４から入力位置座標を取得し、入力画面画像フレームデータとともにナビＥＣＵ２００から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該入力位置座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ２００に対して対応する操作コマンドの実行指令出力を行なう。

・表示制御ソフトウェア１０３ｂ：グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により指示体画像フレームデータを作成し、さらにこれをグラフィックコントローラ１１０へ転送する。
・手像面積率演算ソフトウェア１０３ｃ：図４Ｂに示すように撮影された画像上にて操作者の手像領域ＦＩを特定し、特定された手像領域ＦＩの、タッチパネル１２ａの操作入力領域に対する面積率を手像面積率として算出する。手像面積率は、具体的には、操作入力領域の全面積（対応する画面の全画素数で代用できる）をＳ０とし、手像領域ＦＩの面積（手像領域ＦＩ内の画素数で代用できる）をＳとしたとき、Ｓ／Ｓ０として計算できるが、手像領域ＦＩを表示する画面領域の画素数が一定の前提であれば、手像領域ＦＩの面積（画素数）自体が手像面積率を反映した値となるので、これを手像面積率として使用することももちろん可能である。

・操作入力情報作成ソフトウェア１０３ｄ：タッチパネル制御ソフトウェア１０３ａと協働し、タッチパネル１２ａへの操作状態と算出された手像面積率とに基づいて、車載用電子機器に対する操作入力情報を生成し出力する。操作入力情報として、以下のようなものを例示できる。
（１）手像面積率の値と生成すべき操作入力情報の内容との間には一義的な関係を定められており、算出された手像面積率の値に対応する操作入力情報を該関係に基づいて特定する。具体的には、算出された手像面積率の値が予め定められた閾面積率を超えた場合（特に、手像面積率が８０％を超える、操作入力領域に対する手塞ぎ状態が特定された場合）に、操作入力情報として、車載用電子機器の特定機能を起動要求するための特定機能起動要求情報を出力する。この場合の「車載用電子機器の特定機能」とは、例えば、図５のＢに示すように、算出された手像面積率の値が閾面積率未満の状態でモニタ１５に第一画面３０１が表示されていたとき、手像面積率の値が閾面積率を超えるに伴い、第一画面３０１を切り替える形で、図５のＣ２示す第二画面３０２を表示する機能である。つまり、手像面積率が予め定められた閾値未満となる状態から該閾値を超えた状態へ遷移した場合に、該遷移前に前に表示されていた第一画面を、該第一画面と異なる第二画面に切り替える画面切替指令情報が、画面表示内容変更指令情報として出力される。

（２）車載用電子機器にて上記特定機能が起動後にタッチパネル１２ａに対して予め定められた操作入力が加えられた場合に、車載用電子機器における特定機能の作動状態を変更するための作動変更要求情報を出力する。例えば、操作入力が加えられた場合に、車載用電子機器における特定機能の作動を中断し、該特定機能の起動前状態に復帰させる作動復帰要求情報を出力する。具体例としてモニタの画面が、図５Ｃに示す第二画面３０２に切り替わった状態にて、タッチパネル１２ａに対するタッチ操作が発生した場合に、モニタ１５の表示画面を第一画面３０１に復帰させる画面復帰要求情報を操作入力情報として出力する。

以下、操作装置１の動作について説明する。
モニタ１５の画面（領域）には、先行するコマンド入力（例えば別画面でのタッチ入力操作に基づく）により、例えば図４のＣに示すような入力画面（ただし、この段階では指示体画像ＳＦは表示されていない）が表示されているものとする。なお、図４に示すのはキーボード入力であるが、図５のＢに示すような地図画面など、他の入力画面であってもよい。この状態で、図２に示すように、タッチパネル１２ａの操作入力面１０２ａに手Ｈを近づけると、図４のＡに示すように、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図４のＢに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を手像領域（図中黒で表している）ＦＩ、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。

画像分離された手像領域は輪郭線が抽出され、該輪郭線部分と輪郭内側の部分とが視覚的に識別できるように各部分の画素が互いに異なる値に設定されて、手像形状に対応した指示体画像ＳＦが撮影対応位置に貼り込まれた指示体画像フレームが作成される。指示体画像フレームはグラフィックコントローラ１１０に転送され、別途取得されている入力画面画像フレームデータと合成され、モニタ１５に表示される。入力画面画像フレームデータと指示体画像フレームデータとを合成する方法としては、指示体画像ＳＦのデータ形態により次のような手法を採用することができる。
（１）指示体画像データが、上記のように、はじめからビットマップデータにより記述されている場合は、対応する画素同士のアルファブレンディング処理により、指示体画像を入力画面上に透かし形態で重ね表示することができる。
（２）指示体画像データの輪郭線をベクトルアウトラインデータに変換することで、そのハンドリング点をフレーム上にマッピングした指示体画像フレームを利用することも可能である。この場合、グラフィックコントローラ１１０は、フレーム上で該データを用いて指示体画像の輪郭線を生成し、さらにその内部をラスタライジングしてビットマップ化し、その後は（１）と同様のアルファブレンディング処理を行なう。
（３）（２）と同様に、指示体画像データをなすベクトルアウトラインデータを用いて入力画面画像フレーム上に輪郭線を描画し、その内部に位置する入力画面画像の画素を抽出するとともに、該抽出された画素の設定値を一律にシフトさせる。

（１）〜（３）のいずれにおいても、指示体画像データの輪郭線を形成する画素については、指示体画像データ側のブレンド比を高めることで、輪郭線の強調された指示体画像を重畳表示できる。また、指示体画像データを、ビットマップデータもしくはベクトルアウトラインデータで記述された輪郭線のみの画像データとし、輪郭線のみを重ね表示することも可能である。

図１４に示すように、座席のユーザーは、図４Ｃ（あるいは図５Ｂ）に示すようなモニタ１５上の入力画面（以下、画面１５とも記す）を見ながら、例えば該画面１５上に表示されているソフトボタンＳＢへの仮想的な指操作入力をタッチパネル１２ａ上で行なう。図２に示すように、タッチパネル１２ａ上に手Ｈを伸ばすと、これが手撮影カメラ１２ｂにより撮影され、上記説明した画像処理により、画面１５上の対応する位置に指示体画像（手画像）ＳＦが重畳表示される。従って、画面１５上のソフトボタンＳＢと指示体画像ＳＦとの位置関係により、タッチパネル１２ａ上に設定されたソフトボタン領域と実際の手の位置関係を把握することができ、ソフトボタンＳＢへの操作入力が支援される。

上記の処理では、ユーザーによる操作入力情報はタッチパネル１２ａ単独で生成され、手撮影カメラ１２ｂの撮影情報は操作入力情報の生成に関与していない。しかし、この発明の本実施形態では、手撮影カメラ１２ｂの撮影情報が関与する入力情報の生成処理が、手像面積率演算ソフトウェア１０３ｃ及び操作入力情報作成ソフトウェア１０３ｄにより、図６に示すフローチャートに従い、並列に実行される。

Ｓ１では、前述した方法に従い、図４Ｂに示す手像領域ＦＩの、タッチパネル１２ａの操作入力面１０２ａに対する面積率（あるいは面積の絶対値Ｓないし対応する画素数）を手像面積率として算出する。Ｓ２では、その手像面積率を閾値（例えば、８０％：あるいは、操作入力領域上での絶対面積閾値Ｓ_ｔｈ（ないし画素数）と比較する。閾値未満の場合はＳ１へ戻り、手像面積率の監視状態に戻る。例えば、図４Ｂでは手像面積率は４０％未満であり、図４Ｃに示すように、入力画面を参照した通常のタッチ入力処理が行なわれる。

一方、図５Ａに示すように、手像面積率が８０％を超える状態は前述の手塞ぎ状態として認識される。このとき、図５Ｂに示す入力画面が第一画面３０１として表示されている場合は、図５Ｃに示すように第二画面３０２に切り替える画面表示内容変更指令情報（特定機能起動要求情報）が表示制御ソフトウェア１０３ｂ側に転送される。表示制御ソフトウェア１０３ｂはこれを受け、画面切替処理を行なう（Ｓ３）。

このとき、第二画面３０２への画面切替とともに、別の車載用電子機器の特定機能として、次のような随伴機能を発動することができる（ただし、これらに限定されるものではない）。
（１）オーディオ装置の消音（ミュート）、減音、ないし一時的な機能停止など。
（２）カーエアコン装置の風量切替（例えば、一時的な風量アップなど）。
このとき、第二画面３０２の切替自体が、これら特定機能の起動を示す視覚的報知情報として活用されることになる。第二画面３０２は単純なブラックアウト画面（画面オフ）とすることもできるが、上記随伴機能の内容を示す情報３０２ａを合わせて表示するとより便利である。

図６に戻り、この状態で、手像面積率が閾値未満の状態に戻っても（つまり、手塞ぎ操作が解除されても）、第二画面３０２の表示状態（及び随伴機能の作動状態）は継続される。他方、Ｓ４／Ｓ５で、タッチパネル１２ａに対して予め定められた操作入力、具体的にはタッチ操作が加えられると、モニタ１５の表示画面は、図５Ｂの第一画面３０１に復帰させる画面復帰要求情報が操作入力情報として出力される。表示制御ソフトウェア１０３ｂはこれを受け、画面切替処理を行なう（Ｓ６）。また、随伴機能の発動状態も解消され、発動前の作動状態（オーディオ装置の消音（ミュート）、減音、ないし機能停止解除／カーエアコン装置の風量設定復帰など）。

以下、種々の変形態様について説明する。
操作入力情報作成ソフトウェア１０３ｄは、手像面積率の一連の時間変化挙動を特定し、特定された手像面積率の時間変化挙動が、予め定められた変化挙動に合致した場合に、対応する操作入力情報を生成し出力するように構成できる。手像面積率の時間変化挙動を特定し、その特定内容が予め定められた変化挙動に合致した場合に、対応する操作入力情報を生成するように構成することで、より特徴的な入力手動作を操作入力情報と対応付けることができ、より直感的な入力操作が可能となる。

図７には、モニタ１５に周知のブックビューアＢＶを表示した状態を示している。該ブックビューアＢＶの情報表示領域は、左ページＬＰと右ページＲＰとの見開き画面領域を構成しており、ページめくりコマンドの実行により左右のいずれかのページ（ここでは、左ページＬＰ）側から他方のページ（ここでは、右ページＲＰ）側へのページめくりアニメーションを動画表示しつつ、そのめくり側の裏にあるページＲＰ’と、該めくり側の下にあるページＬＰ’とが次の見開きページの情報として表示切り替えされる。

これに、本発明を例えば次のように適用できる。すなわち、このページめくり模倣したユーザーの入力手動作を手撮影カメラ１２ｂにより動画的に撮影し、それによって得られる手像領域の形状変化シーケンスを手像面積率の時間変化挙動として検出し、これが、予め定められた変化挙動と合致した場合に上記ページめくりコマンドを操作入力情報として出力するように構成する。これにより、使用者は、タッチパネル１２ａの上方でページめくりの入力手動作を行なうことで、画面に表示されたブックビューアでありながら、リアルなページめくり動作を体感できる。図８に示すように、ページめくり入力手動作では、（ａ）のように、入力操作面１０２ａのめくり側ページに対応する領域に掌ＦＩをかぶせるように置き、（ｂ）（ｃ）のように、入力操作面１０２ａ上で掌ＦＩを立てるように返しながら、（ｄ）のように掌ＦＩを裏返す一連の動作となる。

図９の上は、このときの手像領域の面積変化を示すものであり、（ａ）→（ｂ）→（ｃ）と面積が減じた後、（ｄ）へ向けて面積が再び増加する。従って、手像面積（率）の時間変化挙動プロファイルは、途中で面積が極小化する下に凸な形状となる。そこで、時間−面積平面上にて該形状に対応した、面積軸方向に一定の許容幅を有した判定ウィンドウを設定し、撮影画像から実際に測定された手像面積の時間変化挙動プロファイルがこの判定ウィンドウ内に入ればページめくりコマンドを出力するように処理する。

この場合、手像領域ＦＩの重心位置の時間的変化も合わせて特定し、上記面積率の時間的変化と重心位置の時間的変化との双方が、予め定められた変化挙動に合致した場合にページめくりコマンドを生成するように構成すれば、ページめくり入力手動作をより精密に特定することが可能となる。入力操作面１０２ａの面積が比較的小さく、手首位置をＸ方向に動かさずに掌をその場で返す動作になるので、掌の重心位置自体はそれほど大きく変化しない。従ってＸ，Ｙの各座標値に対し時間−重心座標平面上にて座標軸方向に一定の許容幅を有した判定ウィンドウを設定し、撮影画像から実際に測定された重心座標の時間変化挙動プロファイルがこの判定ウィンドウ内に入れば、ページめくりコマンドを出力するように処理する。

なお、別の方法としては、図１０に示すように、操作入力領域１０２ａを、予め定められた副領域Ａ_１，Ａ_２，Ａ_３に分割し、それら副領域Ａ_１，Ａ_２，Ａ_３毎に手像領域ＦＩの面積率を算出するように構成できる。この場合、各副領域Ａ_１，Ａ_２，Ａ_３にて手像面積率の一連の時間変化挙動を特定するとともに、手像領域ＦＩの面積率が閾値を超える副領域の操作入力領域内での位置又は個数に係る時間的な遷移挙動を把握することで、所期の入力手動作を特定することができる。例えば、手像領域の面積率が閾値（例えば８０％）を超える副領域を第一状態副領域とし、閾値未満となる副領域を第二状態副領域として、第一状態副領域と第二状態副領域との操作入力領域１０２ａ上での分布状態に係る時間変化挙動を副領域状態分布遷移挙動として特定する。そして、特定された副領域状態分布遷移挙動が予め定められた挙動と合致した場合に、対応する操作入力情報を生成し出力するように構成できる。

具体的には、タッチパネル１２ａ上に右方向から手を近づけ、左方向へ手を浮かせたままで移動させる手動作を考える（図１０（ａ）→（ｂ）→（ｃ）の順）。
該手動作は、例えば、カーオーディオ装置の操作モード（及び入力画面）において、次のアルバムを選択（あるいは再生開始）する機能を呼び出すコマンドとして利用できるが、これに限定されるものではない。具体的には、操作入力領域１０２ａ上での第一状態副領域（以下、符号「１」でコーディングする）及び第二状態副領域（以下、符号「０」でコーディングする）の出現位置及び出現個数の時間的変化を特定する。ページめくりの場合、図１０に示すように、左右方向（Ｘ方向）にて操作入力領域１０２ａを第一端縁（図では右端縁）側から第二端縁（図では左端縁）側へ横切る入力手動作が行なわれる。これに対応して、操作入力領域１０２ａは、それぞれ長方形状の副領域Ａ_１，Ａ_２，Ａ_３が、操作入力領域１０２ａ上にて該入力手動作に対応してＸ方向に配列形成されている。図１０では、該副領域Ａ_１，Ａ_２，Ａ_３配列方向における第一状態副領域の出現位置（及び個数）の移動挙動が特定される。

手をタッチパネル１２ａに近づけていない状態では、各副領域Ａ_１，Ａ_２，Ａ_３はいずれも第二状態となる。次に、タッチパネル１２ａに手を右側から近づけてゆくと、領域Ａ_１に対する手像面積率が増加し、やがて副領域Ａ_１が第一状態、残りの２つＡ_２，Ａ_３が第二状態となる（以下、各副領域Ａ_１，Ａ_２，Ａ_３の状態分布を、上記のコーディングの定義に従い、｛Ａ_１，Ａ_２，Ａ_３｝＝｛１，０，０｝等と表す）。さらに、図１０（ｂ）、（ｃ）に示すように、手を右から左へ移動させていくに従い｛Ａ_１，Ａ_２，Ａ_３｝＝｛０，１，１｝となり、｛１，１，１｝→｛１，１，０｝を経て、図１０（ｃ）では｛Ａ_１，Ａ_２，Ａ_３｝＝｛１，０，０｝となり、最終的には、｛０，０，０｝となる。このように、｛Ａ_１，Ａ_２，Ａ_３｝の変化を観測することにより、手が右から左への移動を検出することができる。

なお、手を左から右へ移動させる動作は、｛Ａ_１，Ａ_２，Ａ_３｝の変化が上記とは逆順に検出されることで同様に特定できる。以上の手動作の検出により、手を浮かせたままでの左右移動と、タッチパネル１２ａにタッチしながら（＝指をタッチパネル１２ａに接触あるいは押下しながら）手指を移動させる操作とを、区別して検出することが可能となる。例えばカーオーディオ装置の操作モード（及び入力画面）においては、指をタッチさせながら左右に操作させた場合は、次の曲（または前の曲）を選択するコマンドに対応させておき、手を浮かせたまま左右に操作させた場合は、次のアルバム（または前のアルバム）を選択するコマンドに対応させるなど、直感的で自然な操作方式が実現する。

なお、各副領域の形状は四辺形（長方形あるいは正方形）に限定されるものではなく、四辺形以外の多角形（例えば三角形状）や、その他の任意形状のものを採用することも可能である。例えば、図１３には、左右の２つの副領域Ａ_１，Ａ_３を三角形状に形成する例を一点鎖線で示している。図１３では、図１０（ａ）の左右２つの副領域Ａ_１、Ａ_３に対応させた形で三角形状の副領域Ａ_１’、Ａ_３’を設定している。図１０（ａ）の左右２つの副領域Ａ_１、Ａ_３は長方形状であるが図１３では、それら副領域Ａ_１、Ａ_３を、それぞれ中央の副領域Ａ_２に隣接する側の上方の頂点と、反対側の下方の頂点とを結ぶ対角線により２つの三角形に分割し、そのうちの副領域Ａ_２に隣接する三角形領域のみを副領域Ａ_１’、Ａ_３’として採用する（残余の三角形領域は、手像面積率の検出には寄与しない）。例えば、手を浮かせたまま左右に操作する場合、実際には図に示したＯｒのように円弧状の手の軌跡を描くことが考えられる。上記の副領域Ａ_１’、Ａ_３’は該手動作により掃引される領域に対応し、上記のように三角形状に副領域Ａ_１’、Ａ_３’を設定しておくことによって、上記残余の三角形領域の部分を手像面積率から排除される結果、軌跡Ｏｒのような手の移動であっても、手前方向の領域面積が広いため、手前方向から進入する手指を検出しやすくなる利点が生ずる。

また、図１１は、別の実施形態として、図３に示すＣＤ／ＤＶＤドライブ２０１（ナビＥＣＵ２００に接続されている）へのディスクイジェクトコマンドを、操作入力情報として出力する場合の入力手動作の例を示す。手像領域の変化は、（ａ）→（ｂ）→（ｃ）→（ｄ）の順で、手像ＦＩが画面中央から手前（Ｙ方向）に引っ込むようにパンアウトする形となる。従って、手像面積（率）の時間変化挙動プロファイルは（ａ）→（ｂ）→（ｃ）→（ｄ）の順で単調に減少する。そこで、時間−面積平面上にて該形状に対応した、面積軸方向に一定の許容幅を有した判定ウィンドウを設定し、撮影画像から実際に測定された手像面積の時間変化挙動プロファイルがこの判定ウィンドウ内に入ればディスクイジェクトコマンドを出力するように処理する。

この場合、手像領域ＦＩの重心位置Ｇは、Ｘ方向にはあまり変化しないが、Ｙ方向に顕著に変化する。従って、重心座標の時間変化挙動プロファイルが図１２の下に示すような判定ウィンドウ内に入ればディスクイジェクトコマンドを出力するように処理する。

本発明の適用対象となる車載用電子機器操作装置の車内取付形態の一例を示す斜視図。操作部の内部構造の一例を示す断面模式図。図１の車載用電子機器操作装置の電気的構成の一例を示すブロック図。指画像と操作入力面との位置関係、及び該指画像を重畳した従来の画面表示例を示す図。本発明の特徴部に係る第一の実施形態を示す模式図。図５に対応する処理流れを示すフローチャート。本発明の特徴部に係る第二の実施形態を示す模式図。図７に実施形態にて採用可能な入力手動作の第一例に対応した手像の時間的変化を示す模式図。図８の手像の面積及び重心座標の時間的変化を示す図。図７の実施形態にて採用可能な入力手動作の第二例を副領域分割の例とともに示す図。図７の実施形態にて採用可能な入力手動作の第三例に対応した手像の時間的変化を示す模式図。図１１の手像の面積及び重心座標の時間的変化を示す図。図７の実施形態にて採用可能な入力手動作の第四例に対応した手像の時間的変。

符号の説明

１車載電子機器用操作装置（画像表示装置）
１０操作ＥＣＵ
１２入力部
１２ａタッチパネル（位置入力装置）
１０２ａ操作入力面（操作入力領域）
１２ｂ手撮影カメラ（手撮影手段）
１５モニタ（表示装置）
１０１ＣＰＵ（手像領域特定手段、手像面積率算出手段及び操作入力情報生成出力手段）
ＳＦ指示体画像

Claims

車両の座席に着座した乗員により操作可能な位置に設けられ、一定面積の操作入力領域を有した操作入力部と、
前記操作入力領域を見込む一定の撮影範囲にて、該操作入力部に接近する前記乗員の手を含む画像を撮影する手撮影手段と、
撮影された画像上にて前記乗員の手像領域を特定する手像領域特定手段と、
特定された前記手像領域の前記操作入力領域に対する面積率を手像面積率として算出する手像面積率算出手段と、
算出された前記手像面積率の値が予め定められた閾面積率である６０％以上の所定値を超えて、前記操作入力領域に対する手塞ぎ状態が特定された場合に、車載用電子機器に対する操作入力情報として、前記車載用電子機器の特定機能を起動要求するための特定機能起動要求情報を出力する操作入力情報生成出力手段と、
を備えたことを特徴とする車載用電子機器操作装置。
前記操作入力情報生成出力手段は、前記車載用電子機器にて前記特定機能が起動後に前記操作入力部に対して予め定められた操作入力が加えられた場合に、前記車載用電子機器における前記特定機能の作動状態を変更するための作動変更要求情報を出力するものである請求項１記載の車載用電子機器操作装置。
前記操作入力情報生成出力手段は、前記操作入力が加えられた場合に、前記車載用電子機器における前記特定機能の作動を中断し、該特定機能の起動前状態に復帰させる作動復帰要求情報を出力するものである請求項２記載の車載用電子機器操作装置。
車両の座席に着座した乗員により操作可能な位置に設けられ、一定面積の操作入力領域を有した操作入力部と、
前記操作入力領域を見込む一定の撮影範囲にて、該操作入力部に接近する前記乗員の手を含む画像を撮影する手撮影手段と、
撮影された画像上にて前記乗員の手像領域を特定する手像領域特定手段と、
特定された前記手像領域の前記操作入力領域に対する面積率を手像面積率として算出する手像面積率算出手段と、
前記操作入力部への操作状態と算出された前記手像面積率とに基づいて、車載用電子機器に対する操作入力情報を生成し出力する操作入力情報生成出力手段と、
前記手像面積率算出手段による前記手像面積率の、前記操作入力領域上での予め定められた入力手動作に対応する一連の時間変化挙動を特定する手像面積率時間変化挙動特定手段と、を備え、
前記操作入力情報生成出力手段は、特定された前記手像面積率の時間変化挙動が、予め定められた変化挙動に合致した場合に、対応する操作入力情報を生成し出力することを特徴とする車載用電子機器操作装置。
前記操作入力領域が複数の副領域に分割されるとともに、前記手像面積率算出手段はそれら副領域毎に前記手像領域の面積率を算出するものであり、前記手像面積率時間変化挙動特定手段は、各副領域にて前記手像面積率の一連の時間変化挙動を特定するものである請求項４記載の車載用電子機器操作装置。
前記手像面積率時間変化挙動特定手段は、前記手像領域の面積率が閾値を超える前記副領域の前記操作入力領域内での個数又は位置の遷移挙動を特定するものであり、前記操作入力情報生成出力手段は、特定された前記遷移挙動が、予め定められた遷移挙動と合致した場合に、対応する操作入力情報を生成し出力するものである請求項５記載の車載用電子機器操作装置。
前記操作入力領域は、該操作入力領域上の予め定められた方向に互いに隣接して配列する複数の前記副領域に分割されるとともに、前記手像領域の面積率が閾値を超える副領域を第一状態副領域とし、閾値未満となる副領域を第二状態副領域として、前記手像面積率時間変化挙動特定手段は、該第一状態副領域と第二状態副領域との前記操作入力領域上での分布状態に係る時間変化挙動を副領域状態分布遷移挙動として特定するものであり、前記操作入力情報生成出力手段は、特定された前記副領域状態分布遷移挙動が予め定められた挙動と合致した場合に、対応する操作入力情報を生成し出力するものである請求項６記載の車載用電子機器操作装置。
前記手像面積率時間変化挙動特定手段は、前記操作入力領域上での前記第一状態副領域又は前記第二状態副領域の出現位置の時間的変化を前記副領域状態分布遷移挙動として特定するものである請求項７記載の車載用電子機器操作装置。
前記手像面積率時間変化挙動特定手段は、複数の前記副領域に占める前記第一状態副領域又は前記第二状態副領域の個数の時間的変化を前記副領域状態分布遷移挙動として特定するものである請求項７又は請求項８に記載の車載用電子機器操作装置。
前記手像面積率時間変化挙動特定手段は、予め定められた方向にて前記操作入力領域を第一端縁側から第二端縁側へ横切る入力手動作に対応する前記副領域状態分布遷移挙動として、前記操作入力領域上にて該入力手動作の対応方向に配列形成された副領域群において、前記第一状態副領域の出現位置の該副領域配列方向への移動挙動を特定するものである請求項９記載の車載用電子機器操作装置。
前記操作入力部は、一方の板面が前記操作入力領域として定められるとともに、乗員の指先によるタッチ操作を該操作入力領域側にて支持しつつ受け付ける透明入力支持板を有し、その画面領域に対応した入力座標系が該透明入力支持板の前記板面に沿って設定されるとともに、前記タッチ操作による入力位置を検出してその座標情報を出力する位置入力装置として構成され、
前記手撮影手段は、前記透明入力支持板の他方の板面側から該透明入力支持板上の前記乗員の手を含む画像を撮影するものであり、
さらに、前記位置入力装置による入力操作を行なう際に参照するための入力画面を表示する表示装置が設けられ、
前記入力画面の画面領域に対し、前記手撮影手段が撮影する画像の前記手像領域に対応する位置に、前記手像領域の画像情報に基づく指示体画像を重畳表示する指示体画像表示手段が設けられている請求項１ないし請求項１０のいずれか１項に記載の車載用電子機器操作装置。
前記透明入力支持板の前記他方の板面側から前記手の撮像側表面に照明光を投射する照明手段が設けられ、前記手撮影手段は、前記照明光の手による反射光に基づいて手像を撮影するものである請求項１１記載の車載用電子機器操作装置。
前記表示装置がその表示制御手段とともに前記車載用電子機器の一つとして定められ、前記操作入力情報生成出力手段は、算出された前記手像面積率に応じて前記表示制御手段に対し、前記表示装置に対する画面表示内容の変更を指令する画面表示内容変更指令情報を、前記操作入力情報として出力するものである請求項１２記載の車載用電子機器操作装置。
前記操作入力情報生成出力手段は、前記手像面積率が予め定められた閾値未満となる状態から該閾値を超えた状態へ遷移した場合に、該遷移前に表示されていた第一画面を、該第一画面と異なる第二画面に切り替える画面切替指令情報を前記画面表示内容変更指令情報として出力するものである請求項１３記載の車載用電子機器操作装置。
前記操作入力情報生成出力手段は、前記表示装置が前記第二画面に切り替わった状態にて、前記位置入力装置に対するタッチ操作が発生した場合に、前記表示装置の表示画面を前記第一画面に復帰させる画面復帰要求情報を前記操作入力情報として出力するものである請求項１４記載の車載用電子機器操作装置。