JP5077774B2 - 車両用操作入力装置 - Google Patents

Description

本発明は車両用操作入力装置に関する。

近年では、操作入力装置（特許文献１）として遠隔的に機器操作を行う操作入力装置が開発されている。このような操作入力装置は、操作画面（メイン画面）を表示する表示装置とは別に、操作者の手元に遠隔操作部を設け、さらに、その遠隔操作部を操作する手を撮影・抽出し、得られた手画像および手操作を表示装置の操作画面（メイン画面）に反映して、あたかも操作画面を直接タッチ操作しているかのように表示制御するものである。また、このような操作入力装置のうち、車両に設けられるものについては、その操作性を増すために、遠隔操作部が座席に着座したユーザーの手元に設けられる。そして、その遠隔操作部は、タッチ操作面を有してなるタッチ操作式の操作部として構成されることが多い。

特開２０００−６６８７号公報

上記のような操作入力装置では、ユーザーの手元に遠隔操作部が設けられるので、意図しないで操作部に触れてしまい、誤った操作入力がされることが問題となる。特に、タッチパネル等のタッチ操作式の操作部であれば、何かのはずみで接触しただけでも入力がされてしまうことがある。

さらにいえば、上記のような操作入力装置において、遠隔操作部を操作する手を実際に操作画面上に表示すると、手が遠隔操作部に近い場合には、図４〜図７の（ｃ）に示すように、指のみが表示された状態となる。ところが、ユーザーの中には、より早く入力するために、片手の５本の指でタッチ操作入力を行う人もいる。この場合、操作画面上では、多数本の指が同時に並んで表示されるので、表示された指と、実際に操作者が位置指示に使いたい指との対応関係がわからなくなり、誤操作を招く可能性があった。特に、車両運転中の運転者は操作画面を凝視できないので運転しながらでの多数本の指での操作入力は難しく、誤操作を生じやすかった。

本発明の課題は、遠隔操作部において誤操作がされ難い車両用操作入力装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するために、本発明の車両用操作入力装置は、
車両が備える機器の操作などを行うための表示画面を有した表示手段と、表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付手段と、遠隔操作面に対向する手の画像を撮影する手画像撮影手段と、当該手により位置指示された表示画面上の位置に、撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示手段と、を備える車両用操作入力装置であって、
遠隔操作面に対向する手の指状態が、予め定められた簡易操作用指状態であるか否かを特定する簡易操作用指状態特定手段と、
位置指示画像表示手段に対し設定される表示モードを、簡易操作用指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、簡易操作用指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定する表示モード切替制御を実行する表示モード設定手段と、
を備えることを特徴とする。

上記本発明の構成によれば、遠隔操作部に対する操作として、５本の指を使った難易度の高い指状態による操作がなされる場合にその操作表示（遠隔操作部での操作状態を表示装置の操作画面上で位置指示画像により表示すること）を規制することで、より単純で操作し易い指状態（簡易操作用指状態）による操作入力をユーザーに促すことができる。これにより、意図無くなされるような遠隔操作部への誤操作を防止できるし、表示された指と、実際に操作者が遠隔操作部への位置指示に使いたい指との対応関係がわからなくなるようなことも無くなる。

また、本発明において、車両の車速を検出する車速検出手段を設けることができる。この場合、表示モード設定手段は、車両が予め定められた車速レベルを上回る車両走行状態にある場合には、表示モード切替制御を実行し、車両走行状態にない場合には、表示モードとして表示許可モードを設定するように構成することができる。この構成によると、例えば車両停車時においては、遠隔操作部に対する操作として難易度の高い指状態による操作入力が許可されるので、各々のやりやすい形での操作入力が可能となる。一方、一定速度以上の車両走行中においては、操作表示が規制されるから、遠隔操作部に対する操作としてより単純で操作し易い特定の指状態での操作が強いられ、特に運転者による誤操作が生じ難くなる。また、表示される指と実際に使う指との対応関係が分からなくなるようなことも無い。

また、本発明において、遠隔操作面の操作者が、運転者であるか否かを特定する操作者特定手段を設けることができる。この場合、表示モード設定手段は、遠隔操作面の操作者として運転者が特定されている場合には、表示モード切替制御を実行し、遠隔操作面の操作者として前記運転者が特定されていない場合には、表示モードとして表示許可モードを設定するように構成することができる。この構成によると、例えば遠隔操作面の操作者が助手席搭乗者等の運転者以外の者であれば、遠隔操作部に対する操作として難易度の高い指状態による操作入力が許可されるので、各々のやりやすい形での操作入力が可能となる。一方、遠隔操作面の操作者が運転者である場合は、操作表示が規制されるから、遠隔操作部に対する操作としてより単純で操作し易い特定の指状態での操作が強いられ、運転者による誤操作が生じ難くなる。表示される指と実際に使う指との対応関係が分からなくなるようなことも無い。

本発明においては、表示モード設定手段により、表示許可モードが設定されている場合には、入力受付手段による入力の受け付けを許可し、表示禁止モードが設定されている場合には、入力受付手段による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御手段を備えて構成することができる。本発明の操作入力装置においては、操作表示がされていないと、遠隔操作部からの位置指示操作が極めて困難となるので、上記構成のように、位置指示画像が表示される表示許可モードにおいてのみ入力の受け付けを許可するようにすることで、遠隔操作部への誤操作を確実に防止することができる。逆にいえば、遠隔操作部への入力の受け付けが可能な場合にのみ位置指示画像が表示可能となるので、無駄な位置指示画像の表示を減じ、省電力化にも効果があるといえる。

また、本発明においては、簡易操作用指状態特定手段により、簡易操作用指状態が特定されている場合には、入力受付手段による入力の受け付けを許可し、簡易操作用指状態が特定されていない場合には、入力受付手段による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御手段を備えて構成することができる。この構成によると、表示モードに関らず、簡易操作用指状態が特定されている場合にのみ遠隔操作部への入力の受け付けが許可されるので、遠隔操作部への誤操作を確実に防止することができる。

また、本発明における簡易操作用指状態特定手段は、手画像撮影手段により撮影された手の画像に基づいて、簡易操作用指状態を特定するように構成できる。具体的にいえば、本発明における簡易操作用指状態特定手段は、手画像撮影手段により撮影された手の画像に基づいて、遠隔操作面に対向する手の指形状を認識する指形状認識手段を備え、認識された指形状が予め定められた簡易操作用の指形状であった場合を簡易操作用指状態として特定するように構成できる。この構成によると、手画像撮影手段により撮影された手画像を、指示位置表示に用いるだけでなく、簡易操作用指状態の特定にも用いることができる。つまり、撮影手段が兼用化された構成となるので、無駄な追加構成を排除することができ、低コスト化を実現できる。

本発明における簡易操作用指状態特定手段は、指形状認識手段により遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の本数を特定する指本数特定手段を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の本数が予め定められた簡易操作用の数であった場合を簡易操作用指状態として特定するものとできる。伸びた状態の指をカウントすることは画像解析により容易に実施可能であり、カウントの誤りが少ない。また、指が伸びた状態は、そのまま操作に利用できる指状態であるから、操作者はその簡易操作用指状態のまま操作を開始できるため、操作性にも優れる。

本発明における簡易操作用指状態特定手段は、予め定められた期間の間に入力受付手段が受け付けた、前記遠隔操作面の異なる位置になされた押圧操作による入力の数を特定する操作数特定手段を備え、当該期間内に特定された入力数が予め定められた簡易操作用の数であった場合を簡易操作用指状態として特定することができる。この構成によると、ユーザーによる所定数のタッチ操作から、簡易操作用指状態を容易に特定することができる。

上記簡易操作用の数は１本とすることができる。手操作が表示される本発明の操作入力装置においては、遠隔操作部を操作する場合、位置指示に使用する指の本数が少ないほど操作難易度が低くなる。従って、最も指の本数が少ない一本指状態が最も単純で分かり易い操作用指状態となる。また、一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。

上記簡易操作用の数は４本、さらに望ましくは３本、さらに望ましくは２本とすることができる。二本指状態も比較的シンプルな手形状であるから、簡易操作用指状態を特定する処理は容易なものとなる。３本、４本も比較的シンプルな指状態である。また、これらの指状態は、ユーザーが偶然に形成するような手形状でもないので、誤操作の防止も確実に実施できる。

本発明における簡易操作用指状態特定手段は、指形状認識手段により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の種別を特定する指種別特定手段を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の種別が予め定められた簡易操作用の指種別のもののみであった場合を前記簡易操作用指状態として特定する構成とすることもできる。特定の指のみがのびた手形状は、ユーザーが偶然に形成するような手形状でもないので、誤操作の防止も確実に実施できる。また、指が伸びた状態は、そのまま操作に利用できる指状態であるから、操作者はその簡易操作用指状態のまま操作を開始できるため、操作性にも優れる。

上記簡易操作用の指種別は人差し指のみとすることができる。人差し指の一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。また、操作にも多く利用される指であるから、そのまま操作を開始するにも都合がいい。

上記簡易操作用の指種別は中指のみとすることができる。中指の一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。また、最長の指という特徴も有しているため、種別認識も容易である。また、操作にも利用される指であるから、そのまま操作を開始するにも都合がいい。

上記簡易操作用の指種別は人差し指と中指の二本のみとすることができる。人差し指と中指の二本指状態は非常にシンプルな手形状であるから、該二本指状態を特定する処理を容易化できる。また、最長の指である中指が含まれるから、指の種別認識も容易である。また、双方の指とも操作にも利用される指であるから、そのまま操作を開始するにも都合がいい。

本発明における位置指示画像表示手段は、手画像撮影手段により撮影された手の画像に基づいて当該手の指の輪郭が少なくとも特定可能となる実指画像を生成し、生成された実指画像を前記位置指示画像として表示するものとできる。画面上で、手の輪郭から手の位置を把握できるので、位置を認識しやすく、操作性がより容易となる。

本発明における位置指示画像表示手段は、指の延びる方向と指先位置が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを位置指示画像として表示するものとできる。位置指示画像として、指の指示位置が分かる程度に簡略された画像を用いることで処理負担を軽減できる。

本発明の表示モード設定手段が、車両が予め定められた車速レベル（車速閾値）を上回る車両走行状態にある場合に表示モード切替制御を実行し、車両走行状態にない場合に表示モードとして表示許可モードを設定する上述の構成において、予め定められた車速レベルは、０ｋｍ／ｈと定めることができる。車両停止時においては、運転者は操作に集中することができるから操作制限を設ける必要は無い。上記構成によれば、車両停止時においては、位置指示画像が常に表示されるようになるから、操作者は自由に操作をすることができる。

また、本発明の表示モード設定手段が、車両が予め定められた車速レベル（車速閾値）を上回る車両走行状態にある場合に表示モード切替制御を実行し、車両走行状態にない場合に表示モードとして表示許可モードを設定する上述の構成において、予め定められた車速レベルを、０ｋｍ／ｈよりも速く５ｋｍ／ｈよりも遅い車速範囲内（徐行状態）に定める、あるいは、５ｋｍ／ｈ以上１０ｋｍ／ｈ未満の車速範囲内（徐行状態）に定めることができる。また、予め定められた車速レベルを、１０ｋｍ／ｈ以上３０ｋｍ／ｈ未満の車速範囲内（低速走行状態）に定めることもできるし、３０ｋｍ／ｈ以上６０ｋｍ／ｈ未満の車速範囲内（中側走行状態）に定めることもできるし、６０ｋｍ／ｈ以上の車速範囲内（高速走行状態）に定めることもできる。これらの設定は、画面上に切替表示される各操作画面のそれぞれの操作難易度（操作負担レベル）に応じて適切な車速閾値を設定するようにすればよい。

本発明においては、遠隔操作面への押圧操作による入力が入力受付手段により受け付けられる複数の操作画面を、表示画面上に切り替える形で表示する操作画面表示手段と、複数の操作画面のうち表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を予め記憶する表示モード実行可否情報記憶手段と、を備えて構成できる。この場合、表示モード設定手段は、当該表示モード実行可否情報に基づいて、操作画面表示手段により表示される操作画面が表示モード切替制御の実行対象であるか否かを特定し、表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて表示モード切替制御を実行するように構成できる。この構成によると、予め定められた操作画面が表示されている場合にのみ表示モード切替制御が実行されるから、例えば走行中であっても操作が容易な操作画面においては、表示モード切替制御を設定せずに表示許可モードを固定設定するようにできるし、逆に走行中に操作が困難な操作画面においては表示モード切替制御を設定せずに表示禁止モードを固定設定するようにできるから、無駄な表示モード切替制御を省略することができる。

表示モード実行可否情報は、操作画面のうち、前記入力受付手段により入力が受け付けられる遠隔操作面への押圧操作が、予め定められた操作負担レベルを上回る操作を含む複雑操作画面を前記表示モード切替制御の実行対象と定め、予め定められた操作負担レベルを上回らない操作のみである簡易操作画面を表示許可モードの固定設定対象と定めることができる。この構成によると、簡易操作画面において表示許可モードが固定設定されるから、表示モード切替制御を省略することができる。

なお、簡易操作画面には、少なくともメニュー選択画面と、音量調整画面と、風量調整画面とのうちいずれか１以上が含まれるようにできる。メニュー画面は、画面上に表示される操作入力画像（操作アイコン）の数も比較的少なく、隣接する操作入力画像間の距離もある程度の幅があるから、操作は比較的容易である。音量調整や風量調整のようなボリューム調整画面も、比較的単純な操作画面にて表示される。従って、これらの操作画面は簡易操作画面と定めるのに適する。一方で、複雑操作画面には、少なくとも文字入力画面が含まれるようにできる。５０音の文字入力などは、画面上に表示される操作入力画像の数が多く、その結果として隣接する操作入力画像間の距離が近いことが多いので、意図する操作入力画像を操作することが難しい。従って、このような操作画面は複雑操作画面と定めるのに適する。

本発明のタッチ式操作入力装置の一例である車両用操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図。 車両用操作入力装置の概要を説明するための車室内の要部斜視図。 操作情報入力部の第一の構成を示す断面図。 本発明の第一実施形態において操作パネルに対向する手の撮影及び表示を説明する第一の図。 本発明の第一実施形態において操作パネルに対向する手の撮影及び表示を説明する第二の図。 本発明の第一実施形態において操作パネルに対向する手の撮影及び表示を説明する第三の図。 本発明の第一実施形態において操作パネルに対向する手の撮影及び表示を説明する第四の図。 操作者を特定するために撮影された画像の一例を示す図。 本発明の第一実施形態における位置指示画像表示処理を示すフローチャート。 本発明の第一実施形態におけるタッチ操作入力処理を示すフローチャート。 本発明の第二実施形態の位置指示画像表示処理を示すフローチャート。 本発明の第三実施形態の位置指示画像表示処理を示すフローチャート。 本発明の第四実施形態の位置指示画像表示処理を示すフローチャート。 本発明の第五実施形態におけるタッチ操作入力処理を示すフローチャート。 図２とは異なる車両用操作入力装置の概要（第六実施形態）を説明するための車室内の要部斜視図。 第二実施形態ないし第四実施形態における車速閾値の設定例。 本発明の第七実施形態の位置指示画像表示処理を示すフローチャート。 本発明において設定可能な表示許可期間の一例を示す図。 本発明の第七実施形態における表示許可期間を示す図。 本発明の第八実施形態における表示許可期間を示す図。 本発明の第九実施形態における位置指示画像の強調表示処理の流れを示すフローチャート。 本発明における操作画面の一例。 本発明における操作画面の一例。 本発明における操作画面の一例。 本発明の第十実施形態における位置指示画像の強調表示処理の流れを示すフローチャート。 本発明の第十実施形態における操作対象指の特定処理の第一例を示すフローチャート。 本発明の第十実施形態において操作パネルに対向する手の撮影及び表示を説明する第一の図。 本発明の第十実施形態において操作パネルに対向する手の撮影及び表示を説明する第二の図。 指先の特定方法を説明する図。 図２６の実施形態において操作対象指を特定する方法の第一例を説明する図。 図２６の実施形態において操作対象指を特定する方法の第二例を説明する図。 図２６の実施形態において操作対象指を特定する方法の第三例を説明する図。 本発明の第十実施形態における位置指示画像の強調表示の時間変化の一例を示す図。 本発明の第十実施形態における操作対象指の特定処理の第二例を示すフローチャート。 本発明の第十実施形態の第二例において操作対象指を特定する方法の第一例を説明する図。 本発明の第十実施形態の第二例において操作対象指を特定する方法の第二例を説明する図。 本発明の第十実施形態における操作対象指の特定処理の第三例を示すフローチャート。 本発明の第十実施形態の第三例において操作対象指を特定する方法の一例を説明する図。 本発明の第十実施形態における操作対象指の特定処理の第四例を示すフローチャート。 本発明の第十実施形態における操作対象指の特定処理の第五例を示すフローチャート。 本発明の第十実施形態の第五例において操作対象指を特定する方法の一例を説明する図。 本発明の第十実施形態における操作対象指の特定処理の第六例を示すフローチャート。 本発明の第十実施形態の第六例において操作対象指を特定する方法の一例を説明する図。 本発明の第十実施形態における操作対象指の特定処理の第七例を示すフローチャート。 本発明の第十実施形態の第七例において操作対象指を特定する方法を説明する第一の図。 本発明の第十実施形態の第七例において操作対象指を特定する方法を説明する第二の図。 本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。 本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。 本発明の第十実施形態の第十一例においてつまみ操作を前提とする操作部を簡略的に示す斜視図。 図４９に示すｘ方向、ｙ方向、ｚ方向からの撮影画像の一例。 図５０に基づく表示画像の一例。 図５１とは異なる、図５０に基づく表示画像の一例。 本発明の第十実施形態の第十一例において操作対象指を特定する方法の一例を説明する図。 指追跡処理の流れを示すフローチャート。 図５４に続くフローチャート。 指先位置を予測する制御回路に記憶される追跡情報を説明する図。 動画像フレーム間で指先を追跡する基本アルゴリズムを説明する図。 指先（指）の出現予測位置の算出方法を示す図。 前フレームにて新規出現した指先の次フレームでの出現予測位置の算出方法を説明する図。 指先の新規出現及び指先のロストを説明する図。 本発明の第十実施形態における位置指示画像の強調表示の時間変化の一例を示す図。 本発明の第十実施形態における位置指示画像の強調表示の時間変化の一例を示す図。 本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。 本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。 本発明の第十実施形態における位置指示画像の強調表示の一表示例を示す図。 本発明における位置指示画像を擬似指画像にて表示した一表示例を示す図。 本発明における位置指示画像を指先位置画像にて表示した一表示例を示す図。 簡易操作用指状態の第二例を説明する図。 図２及び図１５とは異なる車両用操作入力装置の概要（第六実施形態）を説明するための車室内の要部斜視図。 簡易操作用指状態の第三例を説明する図。 簡易操作用指状態の第四を説明する図。 簡易操作用指状態の第五例を説明する図。 表示モード切替制御の実施対象となる画面条件の例を示す図。

以下、本発明の操作入力装置の第一実施形態を、図面を参照して説明する。

図１は、本発明の操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図である。本実施形態においては、操作入力装置１として、表示画面上にタッチ操作用のスイッチ画像（操作アイコン）等の操作入力用画像を表示可能な表示装置１５と、それら表示画面へのタッチ操作を遠隔的に行うための操作パネル１２ａとが別位置に設けられてなる操作入力装置を採用している。なお、本実施形態のタッチ式操作入力装置の操作対象は、ナビゲーション機能のみに限られず、車内ＬＡＮ５０を介して接続するＥＣＵ１００が制御する他の車載電子機器の機器機能（オーディオ、エアコン、パワーウィンドウ、シート調整機能等）も含むことができる。

ナビゲーション装置１０は、車両の現在位置を検出する位置検出器１１と、運転者等の操作者からの各種指示を入力するための操作情報入力部１２と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器１４と、地図表示画面やＴＶ（Television）画面等の各種表示を行うための表示装置１５と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置１６と、車両情報等の各種のデータを記憶するためのハードディスク記憶装置１７と、車両情報の授受を行うための車両Ｉ／Ｆ（Interface）部１９と、他の通信装置１３ａと近距離無線通信を行うための無線通信機１３と、これら１１〜１９と接続する制御回路１８とを備えている。また、制御回路１８は、カメラ２０，４０及び車速センサ３０に接続することもできる。本実施形態においては、図６９のように、カメラを後述するカメラ１２ｂのみとして構成してもよい。

位置検出器１１は、ＧＰＳ（Global Positioning System）用の人工衛星からの送信電波をＧＰＳアンテナを介して受信し、車両の位置，方位，速度等を検出するＧＰＳ受信機１１ａと、車両に加えられる回転運動の大きさを検出するジャイロスコープ１１ｂと、車両の前後方向の加速度等から走行した距離を検出する距離センサ１１ｃと、地磁気から進行方位を検出する地磁気センサ１１ｄとを備えている。そして、これら各センサ等１１ａ〜１１ｄは、各々が性質の異なる誤差を有しているため、互いに補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部のセンサで構成してもよく、また、ステアリングの回転センサや各転動輪の車輪センサ等（図示せず）を用いてもよい。

操作情報入力部１２は、図３に示すように、予め定められた波長帯の光を照射する光源１２ｃと、該光源１２ｃからの照射光が表面１２ａ２側から表面１２ａ１側に向けて透過するよう配置された透光性を有する操作パネル１２ａと、該操作パネル１２ａを撮影範囲に含む形で該操作パネル１２ａの裏面１２ａ２側から撮影するカメラ（接近対象物撮影手段）１２ｂと、を備えている。

なお、本実施形態の操作情報入力部１２は、図２に示すように、車両のセンターコンソール部Ｃのような、車両のフロントガラス下縁よりも下側で、かつ隣接する左右両座席から操作可能な位置に設置されている。さらに言えば、表示装置１５よりも下側で、かつ隣接する左右両座席の両座部の間の前側に配置されている。なお、本実施形態における隣接する左右両座席とは、図２の運転席２Ｄ及び助手席２Ｐのことであるが、例えば後列の左右の座席であってもよい。さらに、左右両座席から操作可能な位置に限らず、例えば、ステアリング部やドア部など、操作者が操作しやすい位置に設置されていてもよい。

操作パネル１２ａは、少なくとも光源１２ｃから照射される光に対して透光性を有したパネルからなる。本実施形態においては縦方向透明電極と横方向透明電極とを備えた周知の抵抗膜方式のタッチパネルとして構成されており、その出力が制御回路１８に入力される。

図３に示すように、操作パネル１２ａは、中空の筐体１２ｆの前端開口に嵌め込まれており、表面１２ａ１がタッチ操作面（遠隔操作面）とされている。前端開口を形成する筐体前端部１２１ｅの外縁からは、後方に向けて筒状の壁部１２２ｅが設けられており、その後端部が回路基板１２ｋに固定されている。この筐体１２ｆは、車室内の所定位置の固定配置されており、内部には、カメラ１２ｂ及び光源１２ｃが配置されている。

光源１２ｃは、図３に示すように、操作パネル１２ａを裏面１２ａ２から表面１２ａ１に透過させる形で光を照射する。光源１２ｃからの光（照射光）は、タッチ操作面１２ａ１を被うように位置する接近対象物（例えば手等）が存在しない限り、該タッチ操作面１２ａ１から外に通過していくが、該タッチ操作面１２ａ１に対向する形で接近した接近対象物Ｈが存在する場合には、当該接近対象物Ｈに反射して、その光（反射光）の一部は裏面１２ａ２側に戻り、カメラ１２ｂに捉えられる。

カメラ１２ｂは、光源１２ｃから照射された光が接近対象物Ｈにて反射した反射光を捉える形で、当該接近対象物Ｈを操作パネル１２ａの裏面１２ａ２側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。具体的にいえば、当該撮影範囲をカメラ１２ｂにより撮影できるように反射部材１２ｒが設けられ、カメラ１２ｂはその反射画像を撮影している。反射部材１２ｒが無い場合は、当該撮影範囲をカメラ１２ｂにより直接撮影する形となるから、撮影後の画像に左右反転処理を施す必要がある。

本実施形態において、光源１２ｃは赤外光光源であり、カメラ１２ｂは、暗所での撮影にも適した赤外線カメラ（可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う）である。赤外光光源１２ｃから照射された光（赤外線）が接近対象物Ｈにて反射した反射光をカメラ１２ｂが捉える形で撮影がなされる。カメラ１２ｂは、車体側に固定された基板上に固定配置されており、撮影範囲として、タッチ操作面１２ａ１が含まれる範囲が設定されている。また、赤外光光源１２は、操作パネル１２ａの裏面側後方に位置するＬＥＤである。また、本実施形態における操作パネル１２ａは、光源１２ｃの光に対してのみ透光性を有した材料にて構成されているので、カメラ１２ｂ内の赤外線フィルタを不要とすることができ、かつ、筐体１２ｆの内部が外部から視認できないようになっている。

なお、本実施形態におけるカメラ１２ｂは、撮影手段として機能するものである。このカメラ１２ｂは、操作パネル１２ａに対向する形で接近する接近対象物を撮影する接近対象物撮影手段として機能するものであり、接近対象物に手が含まれることを考慮すれば、その手の画像を撮影する手画像撮影手段、さらには手の指の画像を撮影する指画像撮影手段として機能しているともいえる。

図４〜図７は、操作パネル１２ａに対向する手（指）Ｈの撮影を説明する図である。各図の（ａ）は、操作パネル１２ａと、その表面１２ａ１に対向する手の状態（指の状態）を示しており、各図の（ｂ）は、（ａ）の状態の手をカメラ１２ｂにて撮影した映像１５０であり、操作パネル１２ａ全体を撮影領域として撮影された画像である。ただし、本実施形態における（ｂ）の映像１５０は、撮影後にその映像を２値化したものである。（ｂ）において、符号１５０Ｈは接近対象物Ｈが映った領域、符号１５０Ｂは何も映らなかった領域である。符号１５０Ｂの領域は本来、操作パネル１２ａが映る領域であるが、該操作パネル１２ａが光源１２ｃの光に対し透光性を有するので映らない。また、それであっても、その操作パネル１２ａ越しに背景（本実施形態でいえば車両の天井面等）が映っていてもおかしくないが、そうした背景は除去されている。背景除去に関しては、特開２００７−２７２５９６号公報に記載されているように、異なる照明条件の画像を使用することで可能となる。ちなみに、各図の（ｃ）は、（ｂ）の映像１５０が撮影されているときの、表示装置１５における画面表示の一例である。ただし、図４（ｃ）は、従来のプロンプター方式操作入力装置における画面表示の一例であり、本実施形態においては、図４（ｂ）のような映像１５０がされているときには、図５（ｃ）に示すような画面表示となる。

図１に戻り、表示装置１５は、図２の運転席２Ｄの車両前方側で、運転者により視認可能に設置されたカラー表示装置であり、表示画面がタッチ操作面１２ａ１よりも運転者から遠い位置に設けられている。表示装置１５としては、液晶ディスプレイ，プラズマディスプレイ，有機ＥＬディスプレイ等のいずれを用いてもよい。表示装置１５の表示画面は、位置検出器１１にて検出した車両の現在位置と地図データ入力器１４より入力された地図データとから特定した現在地を示すマーク，目的地までの誘導経路，名称，目印，各種施設のマーク等の付加データとを重ねて表示することができる。また、施設のガイド等も表示できる。なお、表示装置１５が本発明の表示手段に相当する。

また、表示装置１５は、車両が備える機器の操作などを行うための表示画面を有するものであり、本実施形態においては、表示画面上にタッチパネル１５ａを備えている。既に述べた操作情報入力部１２のタッチパネル１２ａは、当該タッチパネル１５ａの操作を、それよりも運転者や助手席搭乗者に近い位置から遠隔的に操作できるよう設けられた遠隔操作部である。当該タッチ操作面１２ａ１になされたタッチ操作に基づいて、そのタッチ操作位置に対応した、表示装置１５の画面位置（タッチパネル１５ａのタッチ操作面位置）への入力が受け付けられる。具体的にいえば、表示装置１５の表示画面上に定められる二次元座標系（タッチパネル１５ａのタッチ操作面上に定められる二次元座標系）と、該操作パネル１２ａのタッチ操作面１２ａ１上に定められる二次元座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされており、タッチ操作面１２ａ１にタッチ操作があった場合には、その対応関係に基づいて、当該タッチ操作がなされた位置座標に対応する、表示装置１５の表示画面上の位置座標への操作入力が受け付けられる。

つまり、タッチ操作面１２ａ１にタッチ操作があった場合には、制御回路１８が、そのタッチ操作がなされたタッチ操作面１２ａ１上の位置座標を特定し、さらに、特定したタッチ操作面１２ａ１上の位置座標に対応する、表示装置１５の表示画面上の位置座標を特定して、その上で、特定された当該表示画面上の位置座標に対応する制御内容を実行する制御信号を出力する。例えば、表示装置１５の表示画面にスイッチ画像（操作アイコン等）２００Ｉが表示された場合には、タッチ操作面１２ａ１上において、当該スイッチ画像２００Ｉに対応する位置にタッチ操作をすれば、制御回路１８では、当該スイッチ画像２００Ｉへのタッチ操作があったとして入力が受け付けられ、これに伴い当該スイッチ画像２００Ｉに対応する制御内容が実行される。表示装置１５の表示画面にて表示送り可能な地図画面（地図操作用画像）が表示された場合には、タッチ操作面１２ａ１上において、該地図上の位置にタッチ操作をすれば、制御回路１８では、当該タッチ操作位置への入力が受け付けられ、これに伴い該タッチ操作位置を新たな画面中心として地図を表示する表示送り制御が実行される。

なお、表示装置１５としては、図２に示すようなセンターコンソールＣ内に配置されるものに限られず、例えばフロントガラスＦＧ下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスＦＧに、上述の画像・データを表示するヘッドアップディスプレイ（ＨＵＤ）や、ステアリングホイールの奥に位置するメーター表示装置等を例示できる。

図１に戻り、地図データ入力器１４は、ネットワークデータとしての道路データ，位置特定の精度向上のためのいわゆるマップマッチング用データ等の地図データ，施設を示すマークデータ，案内用の画像や音声データ等を含む各種のデータを入力するための装置である。これらのデータの記録媒体としては、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスク，メモリ，メモリカード等を用いることができる。

音声入出力装置１６は、地図データ入力器１４より入力した施設のガイドや各種案内の音声や、Ｉ／Ｆ１９を介して取得した情報の読み上げ音声を出力することができる。また、音声入出力装置１６は、図示しないマイクおよび周知の音声認識ユニットを含み、運転者等の操作者の音声をコマンド等として制御回路１８に入力することができる。

無線通信機１３は、他の通信装置１３ａと狭帯域通信を行うためのものであり、例えばＤＳＲＣ（Dedicated Short Range Communications），Ｂｌｕｅｔｏｏｔｈ（登録商標），無線ＬＡＮ（Local Area Network），ＵＷＢ（Ultra Wideband）などが使用されている。

ＬＡＮ Ｉ／Ｆ１９は、車内ＬＡＮ５０を介して他の車載電子機器やセンサとのデータの遣り取りを行うためのインターフェース回路である。また、ＬＡＮ Ｉ／Ｆ１９を介して、例えば他のＥＣＵ（図１のＥＣＵ１００等）からのデータ取り込みを行ってもよい。

カメラ２０は、車両前方上部のバックミラー周辺部に設けられ、操作パネル１２ａのタッチ操作面１２ａを含むその周辺領域を撮影するものである。具体的に言えば、例えば図８に示すような撮影画像３００を撮影するものであり、撮影範囲が、操作パネル１２ａの操作者の手だけでなく、その手から続く腕まで映るように定められており、撮影される操作パネル周辺画像を取得する制御回路１８では、画像処理部１８ａにて手からのびる腕の方向を特定して、操作者が運転者であるか否かを特定する。図８の撮影画像３００においては、符号３００Ｈが手画像、符号３００Ａが手から続く腕の画像、符号３１２ａが操作パネル１２ａの映った領域であり、操作パネル１２ａの操作者の腕は撮影画像の右側から、即ち運転席側から延びているので、当該操作者が運転者であると特定される。本実施形態においては、このカメラ２０が、制御回路１８（画像処理部１８ａ）とともに操作者特定手段として機能している。なお、操作パネル１２ａの操作者が運転者であるか否かを特定する方法は、他の方法であってもよい。例えば、タッチ操作面１２ａの車両左右両側にそれぞれ接近物を検知する接近物検知部（例えば赤外反射センサ等の反射式光学センサ）を設け、これにより操作者を特定してもよい。

車速センサ３０は、周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御回路１８に送るものである。制御回路１８では、その車輪の回転数を車両の速度（車速）に換算する他に、車両の現在位置から所定の場所までの予想到達時間を算出したり、車両の走行区間毎の平均車速を算出したりする。本実施形態においては、この車速センサ２３が車速検出手段であり、制御回路１８はその検出結果を受けて車両の走行状態が所定の低速走行状態であるか否かを特定する走行状態特定手段として機能する。

制御回路１８は、図示しない周知のＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ（Input/Output）およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、位置検出器１１からの各検出信号に基づき座標および進行方向の組として車両の現在位置を算出し、地図データ入力器１４を介して読み込んだ現在位置付近の地図や、操作情報入力部１２の操作によって指示された範囲の地図等を、図７に示すようなメイン画像（動画・静止画を含む）２００Ｂとして表示装置１５に画面表示する地図表示処理や、地図データ入力器１４に格納された地点データに基づき、操作情報入力部１２の操作に従って目的地となる施設を選択し、現在位置から目的地までの最適な経路を自動的に求める経路計算を行って経路案内を行う経路案内処理等を行う。このように自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。

また、制御回路１８は、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、スイッチ画像（操作アイコン）２００Ｉ、操作情報入力部１２から取得した接近対象物画像１５０Ｈに基づく加工画像２００Ｈ等をサブ画像とし、これらをメイン画像２００Ｂ（地図操作用画像等）に合成して表示する、あるいは重ね表示するための画像処理部１８ａを有している。本実施形態においては、接近対象物画像１５０Ｈが指等の映った手の画像である場合、撮影された手の画像１５０Ｈに基づいて生成された加工画像２００Ｈを位置指示画像として、その手により位置指示された表示画面上の位置に重ね表示する。つまり、該加工画像２００Ｈを、その手の指により位置指示された表示画面上の位置を指示する位置指示画像２００Ｈとして重ね表示する。

なお、接近対象物画像１５０Ｈに基づく加工画像２００Ｈとは、本実施形態においては、当該接近対象物画像１５０Ｈの少なくとも外形形状（輪郭）が反映されるよう加工・生成された接近対象物外形反映画像２００Ｈである。そして、この画像２００Ｈがメイン画像２００Ｂに重畳表示される。重畳表示ではなく、画像２００Ｈをメイン画像２００Ｂに合成して表示してもよい。これにより、運転者等の操作者が、例えば手の指等を、操作パネル１２ａのタッチ操作面１２ａ１に対面させる形で移動させると、これに併せて、表示装置１５の表示画面上には手形状（指形状）を反映した加工画像２００Ｈが移動して表示され、あたかも表示装置１５の表示画面に操作パネル１２ａが存在しているかのような感覚で操作を行うことができる。

また、位置指示画像２００Ｈは、必ずしも撮影された手形状・指形状の輪郭を反映していなくともよく、少なくとも撮影された手の指が指し示す位置を指示する画像であればよく、例えば手の指部分だけであったり、指先だけであったり、あるいはポインタ画像等のシンボル画像であってもよい。また、位置指示画像２００Ｈとして、カメラ１２ｂにより撮影された手の画像（ないし指の画像）１５０Ｈを加工せずにそのまま表示（重畳表示や合成表示）しても問題はないが、これと重なる位置に表示されるはずのメイン画像２００Ｂの一部分が見えなくなること等を考慮すると、より操作がし易くなるような加工（例えば半透過合成）を施しておいた方がより望ましい。

また、制御回路１８のＲＯＭ等の記憶部には、スイッチ画像２００Ｉを表示するためのスイッチ画像データが記憶されており、スイッチ画像２００Ｉの重ね表示ないし合成表示に用いられている。一方で、制御回路１８のＲＯＭ等の記憶部には、各スイッチ画像２００Ｉに対応付けた形で、各々への操作入力（対応するタッチ操作面１２ａ１上の領域へのタッチ入力）により実施される制御内容も記憶されている。制御回路１８により、表示画面に表示されたメイン画像２００Ｂ上にスイッチ画像２００Ｉが重なった画像２００が表示されると、タッチパネル１２ａ，１５ａの双方のタッチ操作面には、スイッチ画像２００Ｉの表示位置に対応する領域に操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定手段）。また、表示画面に、メイン画像２００Ｂとして表示送り可能な地図画面（地図操作用画像）２００Ｂ２が表示されると、表示されている地図領域全体に操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定手段）。

また、制御回路１８は、自身のタイマ１８ｂを起動し、カウンタ１８ｃをカウントアップする形で時間計時を行うことができる。後述する処理において時間計時を行う場合にはこれらが用いられる。

なお、この制御回路１８は、本発明の入力受付手段、位置指示画像表示手段、操作者特定手段、走行状態特定手段、簡易操作用指状態特定手段、操作入力制御手段として機能する。なお、画像処理部１８ａも位置指示画像表示手段、操作者特定手段としての機能の一部を担っている。

次に、表示装置１５の表示される位置指示画像の表示処理について、図９を用いて説明する。なお、当該処理は、制御回路１８の記憶部に格納されたプログラムをＣＰＵが実行する形で実施される。

Ｓ１では、制御回路１８が、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。カメラ１２ｂは、操作パネル１２ａの裏面１２ａ２側から該操作パネル１２ａを介してタッチ操作面（表面）１２ａ１側に接近する接近対象物（例えば運転者等の操作者の手）Ｈを常時撮影しており（撮影ステップ）、その撮影画像は常に制御回路１８の画像処理部１８ａに入力されている。タッチ操作面１２ａ１と対面する位置に接近対象物Ｈが進入してくると、当然その接近対象物Ｈを含む撮影画像１５０が画像処理部１８ａに入力される。入力された撮影画像１５０は、画像処理部１８ａにて公知の画像解析手法によって解析され、色の相違等に基づいて接近対象物画像１５０Ｈが抽出される。そして、抽出された接近対象物画像１５０Ｈの形状から、当該画像１５０Ｈが人の手の画像であるか否かを判定する。判定結果は制御回路１８に出力され、手の画像が認識されたと判定された場合にはＳ２に進み、判定されなければ本処理を終了する。

なお、本実施形態においては、光源１２ｃが配置されており、カメラ１２ｂは、当該光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施形態ではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図４〜図７の（ｂ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手の画像を特定するために、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部に記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手の画像として認識する（手画像認識手段：手形状認識手段）。

Ｓ２では、取得した手の画像に基づいて、その手の状態が予め定められた簡易操作用指状態であるか否かを特定する（簡易操作用指状態特定手段）。簡易操作用指状態とは、例えば、操作対象となりうる指、即ちタッチ操作面１２ａに略沿ってのびた状態の指が、１本ないし２本程度の少数である状態等である。付言するならば、入力を早くするために５本の指を使う操作は難易度の高い指状態であり、ここでいう簡易操作用指状態はこうした指状態とは異なるものである。本実施形態においては、取得した手の画像にて、タッチ操作面１２ａの面方向（面の広がる方向）側にのびた状態の指が１本だけ表れている一本指操作状態にある場合のみを簡易操作用指状態として特定する。具体的にいえば、Ｓ１にて、手の画像を抽出した画像処理部１８ａが、その手画像の全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して、当該棒状の画像パターンがあった場合に、これを指画像１５０Ｆとして認識・特定する（指特定手段）。特定された結果は制御回路１８に出力され、制御回路１８は、該指画像１５０Ｆの数を特定し（指本数特定手段：手形状認識手段）、その数が１つである場合を予め定められた簡易操作用指状態（簡易操作用指形状）であると特定する。

続くＳ３では、その出力結果に基づいて、現在の指状態が簡易操作用指状態であるか否かを判定し、簡易操作用指状態であると判定された場合にＳ４に進む。Ｓ４では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定し、Ｓ５に進む。なお、設定された表示モードは、制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）には記憶される。Ｓ４では、当該記憶領域に表示許可モードを記憶する。

Ｓ５では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。つまり、撮影された手の画像Ｈが、表示画面上のどの位置に対向しているかを特定する。本実施形態においては、カメラ１２ｂによって撮影された撮影画像上に、タッチ操作面１２ａが位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面１２ａの操作座標系を設定し、その上で、撮影された手画像Ｈの位置を、設定された該操作座標系上で特定する。そして、表示装置１５の表示画面上に定められた表示座標系において、当該操作座標系上で特定された該手画像Ｈの位置に対応する位置を特定する。本実施形態においては、図５〜図７の（ｂ）に示す撮影画像（２値化画像）１５０が、タッチ操作面１２ａ１の全体を撮影した操作パネル画像領域となっている。

さらにＳ６では、図６及び図７の（ｃ）に示すように、表示装置１５の表示画面の、上記操作パネル画像領域上にて特定された該手画像Ｈに対応する位置に、位置指示画像２００Ｈを表示する（位置指示画像表示手段）。本実施形態においては、手画像１５０Ｈの外形形状が明確に表示され、かつ輪郭内部が半透過状態とされた加工画像２００Ｈが生成され、表示装置１５の画面上において、表示されているメイン画像２００Ｂの対応する座標位置に重ね表示される。

他方、Ｓ３にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ７に進む。Ｓ７では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定する。これにより、Ｓ５及びＳ６にて実施される位置指示画像の表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。なお、設定された表示禁止モードは、制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶される。

Ｓ６及びＳ７の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル１２ａに対向する簡易操作用指状態の手が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像（加工画像）２００Ｈの表示位置も移動する。

この位置指示画像の表示処理においては、図１８に示すように、表示許可期間として、簡易操作用指状態が非特定となるまでの期間が定められた形となっている。つまり、簡易操作用指状態が特定されている場合には表示許可モードを設定し、簡易操作用指状態が特定されていない場合には表示禁止モードを設定するような処理となっている。なお、制御回路１８は、この位置指示画像の表示処理を実行することにより、本発明の表示モード設定手段として機能する。

最後に、操作情報入力部１２の操作パネル１２ａへのタッチ操作入力処理について、図１０を用いて説明する。なお、当該処理も、制御回路１８の記憶部に格納されたプログラムをＣＰＵが実行する形で実施される。

ここでのタッチ操作入力処理では、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けを許可（制御回路１８が入力許可モードを設定）し、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けを禁止（制御回路１８が入力禁止モードを設定）する操作入力受付制御が含まれた処理である。制御回路１８は、このタッチ操作入力処理を実行することにより本発明の操作入力制御手段として機能する。

Ｓ１０１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力されるので、その入力の有無に基づいて判定する。操作パネル１２ａへのタッチ操作があった場合はＳ１０２に進み、タッチ操作が無かった場合は本処理を終了する。

Ｓ１０２では、制御回路１８が、現在の表示モードが表示許可モードであるか否かを判定する。現在の表示モードは、制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶されているので、記憶されている表示モード情報に基づいて判定する。現在の表示モードが表示許可モードであると判定された場合はＳ１０３に進み、表示許可モードでないと判定された場合、即ち表示禁止モードであると判定された場合は本処理を終了する。

Ｓ１０３では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１上へのタッチ操作位置を特定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力される。そして、その操作信号には、タッチ操作位置が操作面１２ａ１に定められる操作座標系上の座標情報として反映されているので、制御回路１８が、この操作信号に基づいて、タッチ操作位置を特定する。

続くＳ１０４では、制御回路１８が、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。具体的にいえば、操作パネル１２ａのタッチ操作面１２ａ１上の各位置は、表示画面１５の表示画面上の位置と対応しているので、Ｓ１０３にて特定されたタッチ操作面１２ａ１上の位置に対応する、表示画面１５の表示画面上の位置に定められた制御内容を実施する。具体的には、制御回路１８が、当該制御内容を実施するための制御信号を出力する。例えばＳ１０３にて特定されたタッチ操作面１２ａ１上の位置が、表示画面１５の表示画面に表示されたスイッチ画像２００Ｉに位置に対応していれば、制御回路１８は、当該スイッチ画像に割り当てられた制御内容を実行するための制御信号を出力する。

Ｓ１０４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、制御回路１８は、そのときどきにタッチ操作された位置に応じた制御内容を実施する、あるいは他の制御部（例えばＥＣＵ１００等）にて実施させる。

このタッチ操作入力処理においては、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けが許可され（入力許可モード）、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けが禁止される（入力禁止モード）。ただし、図９の位置指示画像表示処理においては、簡易操作用指状態が特定されている場合に表示許可モードが設定され、簡易操作用指状態が特定されていない場合に表示禁止モードが設定されるので、結果として、ユーザーの指状態が簡易操作用指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられないようになっている。上記実施形態においては、ユーザーの指状態が簡易操作用指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられないようになっている。

以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。以下、上記実施形態を第一実施形態とし、それとは異なる実施形態を説明する。なお、共通する構成については、同符号を用いることで説明を略する。

以下、本発明の第二実施形態について説明する。

上記第一実施形態においては、簡易操作用指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、簡易操作用指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、車両が所定の走行状態である場合に実施し、所定の走行状態ではない場合には、表示モードとして表示許可モードを設定するように構成することができる。この場合、車両の走行状態を検出する車両走行状態検出手段を備えた構成となる。図１１は、こうした処理の一例であり、ここでは、車両の車速を検出する車速センサ（車速検出手段）３０が制御回路１８に接続する構成を有し、該制御回路１８が、車両が予め定められた車速レベル（車速閾値）を上回る車両走行状態にある場合には表示モード切替制御を実行し、当該車両走行状態にない場合には、指状態に関らず、表示モードとして表示許可モードを設定するようになっている。

具体的には、Ｓ２１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図９のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ２２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。

Ｓ２２では、車両の現在の走行状態を特定する。即ち、車両が予め定められた車速レベルを上回る走行状態にあるか否かを判定する。制御回路１８は、ＲＯＭ等の所定の記憶部に車速閾値を予め記憶させておき、車速センサ３０が検出した車速が当該車速閾値を上回るかを判定し、上回る場合を車両走行状態と特定し、上回らない場合を低速走行状態（停車状態を含む）と特定する。ここでは、上記車速閾値として５ｋｍ／ｈ等を固定的に定めるものとする。そして、Ｓ２３では、現在の車両が上記の車両走行状態にあるか否かを判定して、車両走行状態にあると判定された場合にはＳ２４に進む。他方、Ｓ２３にて、車両走行状態にないと判定された場合（停車状態を含む低速走行状態が特定された場合）にはＳ２６に進む。

Ｓ２４では、操作者の手（操作手）が、簡易操作用指状態であるか否かを特定する。簡易操作用指状態の特定は、図９のＳ２の処理と同様の処理で行われる。続くＳ２５にて、現在の指状態が簡易操作用指状態であると判定された場合はＳ２６に進み、簡易操作用指状態でないと判定された場合はＳ２９に進む。

Ｓ２６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶される。続くＳ２７では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。この処理は、図９のＳ５の処理と同様である。続くＳ２８では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段）。この処理は、図９のＳ６と同様である。

具体的にいえば、Ｓ２３にて、現在の車両が所定の車両走行状態にないと判定された場合（停車状態を含む低速走行状態が特定された場合）には、Ｓ２７及びＳ２８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図６、図７の（ｃ）参照）、Ｓ２２にて、車両走行状態にあると判定され、かつＳ２５にて現在の操作者の指状態が簡易操作用指状態であると判定された場合には、Ｓ２７及びＳ２８の処理により、操作者が行っている簡易操作用指状態に基づく位置指示画像２００Ｈが表示される（図６及び図７の（ｃ）参照）。

他方、Ｓ２５にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ２９に進む。Ｓ２９では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路１８の所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ２７及びＳ２８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

Ｓ２８及びＳ２９の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。

なお、本実施形態においては、上記の予め定められた車速レベル（車速閾値）が５ｋｍ／ｈと定められており、当該車速レベルを上回らない車両の徐行走行状態においては、常に表示許可モードが設定されるようになっている。ただし、この車速レベルは、図１６に示すように、０ｋｍ／ｈより速く５ｋｍより遅い車速範囲内、あるいは５ｋｍ／ｈ以上１０ｋｍ／ｈ未満の車速範囲内（車両の徐行走行状態）において設定されるようにしてもよいし、０ｋｍ／ｈと設定して、車両停車状態において常に表示許可モードが設定されるようにしてもよい。また、この車速レベルは、１０ｋｍ／以上３０ｋｍ未満の車速範囲内（車両の低速走行状態）に設定されるようにしてもよいし、３０ｋｍ／ｈ以上６０ｋｍ／ｈ未満の車速範囲内（車両の中速走行状態）に設定されるようにしてもよいし、６０ｋｍ／ｈ以上の車速範囲内（車両の高速走行状態）に設定されるようにしてもよい。

また、図１１の処理においては、所定の車両走行状態である場合（車速閾値よりも高速側）に上記表示モード切替制御が実施され、所定の車両走行状態にない場合（車速閾値よりも低速側）に表示許可モードが固定的に設定される実施形態であったが、所定の車両走行状態である場合（車速閾値よりも高速側）に表示禁止モードが固定的に設定され、所定の車両走行状態にない場合（車速閾値よりも低速側）に上記表示モード切替制御が実施される実施形態としてもよい。

以下、本発明の第三実施形態について説明する。

上記実施形態においては、簡易操作用指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、簡易操作用指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、タッチ操作面１２ａ１の操作者として運転者が特定されている場合には、表示モード切替制御を実行し、車両走行状態にない場合には、指状態に関らず、表示モードとして表示許可モードを設定するように構成することができる。第三実施形態では、上記第一実施形態における図９の位置指示画像表示処理に代わり、図１２に示す位置指示画像表示処理を実施するように構成されている。以下、その具体的な処理の流れを、図１２を用いて説明する。

Ｓ３１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図９のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ３２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。

Ｓ３２では、操作パネル１２ａに手を対向させるようにしている操作者が運転者であるか否かを特定する（操作者特定手段）。操作者の特定は、例えば、図２に示すカメラ２０の撮影画像（図８）に基づいて行うことができる。具体的にいえば、当該カメラ２０の撮影画像から、腕がのびてくる方向を特定して、その方向が運転席２Ｄ側からのびてきたものであるか否かを判定することにより、操作者が運転者であるか否かを特定する。Ｓ３３では、操作パネル１２ａの操作者が運転者であるか否かを判定して、運転者であると判定された場合にはＳ３４に進む。他方、Ｓ３３にて、操作パネル１２ａの操作者が運転者以外の者であると判定された場合にはＳ３６に進む。

Ｓ３４では、操作者である運転者の手（操作手）が、簡易操作用指状態であるか否かを特定する。簡易操作用指状態の特定は、図９のＳ２の処理と同様の処理で行われる。続くＳ３５では、現在の指状態が簡易操作用指状態であるか否かが判定され、簡易操作用指状態であると判定された場合はＳ３６に進み、簡易操作用指状態でないと判定された場合はＳ３９に進む。

Ｓ３６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶される。続くＳ３７では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。この処理は、図９のＳ５の処理と同様である。続くＳ３８では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段）。この処理は、図９のＳ６と同様である。

具体的にいえば、Ｓ３３にて、操作パネル１２ａの操作者として運転者とは異なる者が特定された場合には、Ｓ３７及びＳ３８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図６、図７の（ｃ）参照）、Ｓ３２にて、操作パネル１２ａの操作者として運転者が特定され、かつＳ３５にてその指状態が簡易操作用指状態であると判定された場合には、Ｓ３７及びＳ３８の処理により、運転者が行っている簡易操作用指状態に基づく位置指示画像２００Ｈが表示される（図６及び図７の（ｃ）参照）。

他方、Ｓ３５にて、現在の指状態が簡易操作用指状態であると判定された場合はＳ３９に進む。Ｓ３９では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路１８の所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ３７及びＳ３８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

Ｓ３８及びＳ３９の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。

以下、本発明の第四実施形態について説明する。

第四実施形態は、図９に示した位置指示画像の表示処理を、図１１及び図１２の双方を組み合わせた形の処理として実施するものである。即ち、車両の走行状態（例えば車両の車速）を検出し、さらに、遠隔タッチ操作面１２ａの操作者が運転者であるか否かを特定して、車両が所定の走行状態（例えば停車状態を含む予め定められた車速レベルを下回る低速走行状態にない走行状態）であり、かつ特定された遠隔タッチ操作面１２ａの操作者が運転者である場合には、簡易操作用指状態が特定されている場合に限り位置指示画像２００Ｈの表示を許可するが、簡易操作用指状態が特定されていない場合には位置指示画像２００Ｈの表示を禁止するようにする。そして、車両が上記所定の走行状態にない場合、あるいは特定された遠隔タッチ操作面１２ａの操作者が運転者ではない場合、あるいはそれら双方が同時に生じている場合には、特定された指状態に関らず、位置指示画像２００Ｈの表示を許可するような処理とすることができる。具体的には、上記した図９のタッチ操作入力処理を、図１３に示すような処理とすることで実現できる。

即ち、Ｓ４１にて、遠隔タッチ操作面１２ａの操作者の手画像が取得されると（図９のＳ１と同様の処理）、Ｓ４２及びＳ４３で車両が車両速走行状態であるか否かを判定し（図１１のＳ２２、Ｓ２３と同様の処理）、車両速走行状態であればＳ４４及びＳ４５に進み、遠隔タッチ操作面１２ａの操作者が運転者であるか否かを判定する（図１２のＳ３２、Ｓ３３と同様の処理）。

Ｓ４２〜Ｓ４５にて、車両が車両速走行状態であり、かつ遠隔タッチ操作面１２ａの操作者が運転者であるとされた場合にはＳ４６及びＳ４７に進み、操作者の手（操作手）が簡易操作用指状態であるか否かを特定し（図９のＳ２及びＳ３と同様の処理）、現在の指状態が簡易操作用指状態であると判定された場合はＳ４８に進み、簡易操作用指状態でないと判定された場合はＳ５１に進む。

Ｓ４８では、表示モードとして表示許可モードに設定し、これを所定記憶領域（表示モード記憶部）に記憶する。続くＳ４９では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定し、さらにＳ５０では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段）。これらの処理は、図９のＳ４〜Ｓ６の処理と同様である。

具体的にいえば、Ｓ４２にて車両が車両走行状態ではないとされた場合、Ｓ４４にて、操作パネル１２ａの操作者として運転者とは異なる者が特定された場合には、Ｓ４８〜Ｓ５０の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される（図４、図６、図７の（ｃ）参照）。一方、Ｓ４２にて車両が車両走行状態であるとされ、かつＳ４４にて操作パネル１２ａの操作者として運転者が特定され、その上で、Ｓ４６にて簡易操作用指状態が特定された場合には、Ｓ４８〜Ｓ５０の処理により、運転者が行っている簡易操作用指状態に基づく位置指示画像２００Ｈが表示される（図６及び図７の（ｃ）参照）。

他方、Ｓ４７にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ５１に進む。Ｓ５１では、表示モードとして表示禁止モードに設定し、これを所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ４９及びＳ５０にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

Ｓ５０及びＳ５１の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。

なお、図１３の処理においては、車両が所定の車両走行状態（車速閾値よりも高速側）であり、なおかつ操作者が運転者である場合に上記表示モード切替制御が実施され、それ以外の場合（所定の車両走行状態にない場合（車速閾値よりも低速側）や操作者が運転者でない場合）に表示許可モードが固定的に設定される実施形態であったが、車両が所定の車両走行状態であり、なおかつ操作者が運転者である場合に表示禁止モードが固定的に設定され、車両が所定の車両走行状態ではなく、なおかつ操作者が運転者である場合に上記表示モード切替制御が実施され、それ以外の場合（操作者が運転者でない場合）には、表示許可モードが固定的に設定される実施形態としてもよい。

以下、本発明の第五実施形態について説明する。

上記実施形態では、図１０に示すタッチ操作入力処理において、表示許可モードが設定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容を実行する、即ち対応する制御内容の実行が許可され、表示禁止モードが設定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容を実行しない、即ち、対応する制御内容の実行が禁止されていた。ところが、表示許可モードが設定されている場合ではなく簡易操作用指状態が特定されている場合に、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容の実行が許可され、表示禁止モードが設定されている場合ではなく簡易操作用指状態が特定されていない場合に、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容の実行を禁止するように構成することができる。

具体的にいえば、簡易操作用指状態が特定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力の受け付けを許可し、簡易操作用指状態が特定されていない場合には、遠隔タッチ操作面１２ａへのタッチ操作入力の受け付けを禁止する操作入力受付制御を実行するように構成することができる。以下、その具体的な処理の流れについて、その一例を、図１４を用いて説明する。

Ｓ１１１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。Ｓ１１１の処理は図１０のＳ１０１と同様である。Ｓ１１２では、制御回路１８が、現在の指状態が簡易操作用指状態であるか否かを判定する。本実施形態においては、図９のＳ２、図１１のＳ２４、図１２のＳ３４、あるいは図１３のＳ４６の処理として、簡易操作用指状態であるか否を特定する処理だけでなく、現在の指状態が特定されるに伴い、特定された現在の指状態を制御回路１８の記憶部に設けられた所定記憶領域（指状態記憶部）に記憶する処理を行う。

そして、Ｓ１１２では、この記憶領域（指状態記憶部）に記憶された指状態情報に基づいて、現在の指状態が簡易操作用指状態であるか否かを判定する。簡易操作用指状態であると判定された場合にＳ１１３に進み、簡易操作用指状態でないと判定された場合に本処理を終了する。

Ｓ１１３では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１へのタッチ操作位置を特定する（図１０のＳ１０３と同様の処理）。続くＳ１１４では、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する（図９のＳ１１４と同様の処理）。Ｓ１１４の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。

なお、図１４に示すタッチ操作入力処理を実行する実施形態における位置指示画像表示処理は、既に述べた位置指示画像表示処理、さらには後述する位置指示画像表示処理のいずれのものであってもよい。

以下、本発明の第六実施形態について説明する。

上記実施形態においては、手画像撮影手段をなすカメラ１２ｂは、タッチパネル１２ａのタッチ操作面（表面）１２ａ１と対向する車室内の固定領域を撮影するカメラであって、上記実施形態のように、タッチパネル１２ａの裏面１２ａ２側から撮影する構成を有している。ところが、本発明は、このような構成に限られるものではない。例えば、図１５に示すように、車両のセンターコンソール部Ｃにタッチパネル１２ａのタッチ操作面１２ａ１を斜め上側から撮影するように取り付けて、当該タッチ操作面１２ａ１に接近する接近物を、タッチ操作面１２ａ１側から撮影するように構成してもよい。この場合、上記した実施形態とは異なり、撮影画像内の特定の画像（例えば手画像）を抽出して表示部１５に表示する際には、画像を左右反転する処理を省略できる。また、手画像撮影手段をなすカメラ１２ｂは、操作パネル１２ａのタッチ操作面１２ａ１を含むその周辺領域を撮影するカメラ２０に兼用させてもよい。

以下、本発明の第七実施形態について説明する。

上記実施形態においては、表示許可期間として、図１８に示すように、簡易操作用指状態が非特定となるまでの期間が定められた形となっているが、この表示許可期間として、図１９に示すように、予め決められた時間を定めることができる。つまり、表示許可モードに切り替わってから予め定められた時間（禁止モード復帰時間）が経過するまでの期間を表示許可期間と定め、当該禁止モード復帰時間が経過するに伴い表示禁止モードに復帰させるように構成することができる。ただし、タッチ操作入力処理を図１０の処理とする。この構成によれば、ユーザーが特定の指状態を示したことをきっかけに位置指示画像が表示可能な期間（表示許可モード）が始まって、該位置指示画像を見ながらのタッチ操作面１２ａ１への位置指示入力（タッチ操作）が可能となる一方で、ユーザーが特定の指状態を示さなければ位置指示画像は表示されず、位置指示入力を行うためのタッチ操作をスムーズに行えない。つまり、ユーザーが位置指示入力を行うという明確な意思を表示した場合にのみ位置指示画像の表示が許可されるようになっており、その意思表示をユーザーの指状態の特定により確認する構成となっている。なお、ここでは、表示許可モードが設定されている場合に、図４（ｃ）のような画像表示も可能となる。具体的にいえば、上記実施形態の位置指示画像の表示処理（図８）を、図１７に示すような処理とすることで実現できる。

Ｓ１０では、制御回路１８が、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。この処理は図８のＳ１の処理と同様である。

Ｓ１１では、制御回路１８が、現在の表示モードが表示許可モードであるか否かを判定する。現在の表示モードは、制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶されているので、記憶されている表示モード情報に基づいて判定する。現在の表示モードが表示禁止モードであると判定された場合はＳ１２に進み、表示許可モードでないと判定された場合、即ち表示禁止モードであると判定された場合はＳ１９に進む。

Ｓ１２では、取得した手の画像に基づいて、その手の状態が予め定められた簡易操作用指状態であるか否かを特定する（簡易操作用指状態特定手段）。この処理は図８のＳ２の処理と同様である。続くＳ１３にて、現在の指状態が簡易操作用指状態であると判定された場合はＳ１４に進む。

Ｓ１４では、表示モードを、位置指示画像の表示が許可される表示許可モードに設定し、Ｓ１５に進む。なお、設定された表示許可モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶される。

続くＳ１５では、制御回路１８に設けられたタイマー１８ｂを起動し、時間カウントを開始してＳ１６に進む。時間はカウンタ１８ｃにおいてカウントアップされる形で記憶される。タイマー起動前にはカウンタ１８ｃのカウント値がリセットされる。

Ｓ１６では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。このＳ１６の処理は、図８のＳ５と同様の処理である。続くＳ１７では、図６及び図７の（ｃ）に示すように、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段）。このＳ１７の処理は、図８のＳ６と同様の処理である。ただし、第二実施携帯においては、Ｓ１６及びＳ１７において、図４（ｃ）のような位置指示画像２００Ｈも表示される。つまり、第二実施形態においては、表示許可モードが設定されている限り、手画像（指画像）の重ね表示（あるいは合成表示）が許可されており、少なくとも手画像に基づく指の指示位置を示す画像であればどのような形で位置指示画像２００Ｈを表示してもよい。従って、表示許可モードが設定されている場合には、図４の（ｃ）に示すような多本数の指形状の重ね表示もありうる。

他方、Ｓ１３にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ１８に進む。Ｓ１８では表示禁止モードが設定され、それが制御回路１８の記憶部に設けられた所定記憶領域（表示モード記憶部）に記憶される。

Ｓ１７及びＳ１８の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施され、手画像が取得され、かつ表示許可モードが継続する限り、Ｓ１６及びＳ１７による位置指示画像の表示許可状態が継続する。つまり、この間は、指状態が簡易操作用指状態でなくても、位置指示画像が表示される。ところが、表示許可モードは、Ｓ１９にて、Ｓ１５にて起動したタイマー１８ｂにより所定時間が経過したと判定された場合に、Ｓ２０にて、強制的に表示禁止モードが設定され、本処理が終了となる。なお、Ｓ２０の処理はＳ１８の処理と同様である。

この第二実施形態においては、ユーザーが操作の意思を手形状（簡易操作用指状態）により示し、それが示された場合には、一定時間の間だけ表示許可モードが設定される構成となっている。この場合、簡易操作用指状態は、一本指状態（例えば図６及び図７参照）のような状態に限らず、二本の指をのばした二本指状態（図７０参照）、三本の指を伸ばした三本指状態（図７１参照）、４本の指を伸ばした四本指状態（図７２参照）等と様々に定めることができる。また、一本指状態であっても、その指が人差し指である場合（図６及び図７参照）のみを簡易操作用指状態としてもよいし、中指である場合（図６８参照）のみを簡易操作用指状態としてもよい。また、二本指状態においても、それらの指が人差し指と中指である場合（図７０参照）のみ、簡易操作用指状態としてもよい。また、これらのうちのいずれか又は複数を簡易操作用指状態として定めてもよい。処理の観点からすれば、より識別しやすい手状態（指状態）を定めることが望ましい。

以下、本発明の第八実施形態について説明する。

なお、図９のＳ２における簡易操作用指状態の特定は、上記のように撮影画像に基づいて実施されるものでなくともよい。例えば、制御回路１８が、予め定められた期間の間にタッチ操作面１２ａ１（遠隔操作面）になされたタッチ操作による入力のうち、タッチ操作面１２ａ１の異なる位置になされたタッチ操作による入力の数を特定し（操作数特定手段）、当該期間内に特定された入力数が予め定められた簡易操作用の数であった場合を簡易操作用指状態として特定するようにしてもよい。この場合、例えば１秒以内の間に３回のタッチ操作がそれぞれ異なる位置になされた場合に（同時でもよい）、３本の指があると特定され、簡易操作用の本数が３本と定められている場合には、これをもって簡易操作用指状態として特定するようにできる。具体的には、図２０に示すように、表示禁止モード（さらには入力禁止モード）が設定されている状態にて、タッチ操作面１２ａ１へのタッチ操作があった場合に、制御回路１８が、自身のタイマー１８ｂを起動し、カウンタ１８ｃをカウントアップする形で時間計時を開始し、所定期間ｔ０内に、時間計時開始時のタッチ操作を含めたタッチ操作による入力数をカウントする。ただし、タッチ操作面１２ａ１にタッチ操作がなされる際に、タッチ位置情報（例えばタッチ操作面１２ａ１内における位置座標）を取得して、タッチ操作面１２ａ１内の同一位置への再タッチ操作に関しては、その入力をカウントしないようにする。そして、所定期間ｔ０が経過した際の当該入力数が、簡易操作用指状態を定める指の数と同数であった場合には、現在の操作者の手の指状態が簡易操作用指状態であると特定し、特定された時から予め定められた表示許可期間の間だけ表示許可モード（さらには入力許可モード）を設定する。表示許可期間が終了すると、再び表示禁止モード（さらには入力禁止モード）が設定される。

以下、本発明の第九実施形態について説明する。

上記実施形態においては、表示装置１５に表示されるあらゆる操作画面において、上記のような表示モード切替制御を実行するような構成であったが、予め定められた操作画面においてのみ実行し、それ以外の操作画面では、表示許可モード、あるいは表示禁止モードに固定的に設定されるようにしてもよい。

表示装置１５は、制御回路１８からの制御指令に基づいて、タッチ操作面１２ａ１への押圧操作による入力が受け付けられる複数の操作画面２００を、表示画面上において切り替えることができる（操作画面表示手段）。例えば、図２２に示すようなメニュー選択画面２００３や図２３に示すようなカーエアコンの風量設定画面２００４、図２４に示すようなカーオーディオのボリューム設定画面２００５、さらには、既に述べたカーナビゲーションの地図表示画面２００２（図７（ｃ））や文字入力画面２００１（図６（ｃ））等を、様々な入力に応じて切り替えて表示することができる。これら複数の操作画面のうち上記表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を、制御回路１８の所定の記憶領域（表示モード実行可否情報記憶手段）に予め記憶しておき、制御回路１８は、位置指示画像表示処理を実施するに際して、表示モード実行可否情報を参照し、これに基づいて、表示装置１５により表示される操作画面が上記のような表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて該表示モード切替制御を実行するように構成する。以下、その具体的な処理の流れを、図２１を用いて説明する。

Ｓ６１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図９のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ６２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。

Ｓ６２では、制御回路１８が、現在表示中の操作画面２００の種別を特定し、予め定められた、表示モード切替制御の実行対象であるか否かを特定する。ここでは、制御回路１８の所定記憶領域に記憶される上記表示モード実行可否情報にて、操作画面のうち、タッチ操作面１２ａ１への押圧操作が予め定められた操作負担レベルを上回る操作を含む複雑操作画面が表示モード切替制御の実行対象と定められ、タッチ操作面１２ａ１への押圧操作が当該操作負担レベルを上回らない操作のみからなる簡易操作画面が表示許可モードの固定設定対象と定められている。制御回路１８が当該表示モード実行可否情報を参照することにより、現在表示されている操作画面２００が表示モード切替制御の実行対象であるか否かを特定する。

なお、表示モード実行可否情報は、以下のように画面種別を分類した情報として記憶することができる。即ち、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像（あるいは当該操作入力画像（操作アイコン）２００Ｉに対応してタッチ操作面１２ａ１上に定められる全ての押圧操作領域）の、画面全体（あるいは該タッチ操作面１２ａ１の全領域）に対し占める割合ＳＩ／ＳＡが、予め定められた割合Ｓ０を上回る操作画面を定め、上回らない操作画面を簡易操作画面として定めることができる（図７３の例１）。また、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像（あるいは当該操作入力画像に対応してタッチ操作面１２ａ１上に定められる押圧操作領域）２００Ｉの数ＫＩが予め定められた数Ｋ０を上回る操作画面を定め、上回らないものを簡易操作画面として定めることもできる（図７３の例２）。また、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像２００Ｉ間の間隔（あるいは当該操作入力画像に対応してタッチ操作面１２ａ１上に定められる隣接する押圧操作領域間の間隔）ＬＩが、予め定められた間隔Ｌ０よりも狭い操作画面を定め、上回らない操作画面を簡易操作画面として定めることもできる（図７３の例３）。ここでは、図２２〜図２４、さらには図７（ｃ）に示すような画面２００２，２００３，３００４，２００５が簡易操作画面、図６（ｃ）に示すような文字入力画面２００１（例えば目的地名称入力画面等）が複雑操作画面として定められている。

Ｓ６４にて、制御回路１８が、上記複雑操作画面及び簡易操作画面を特定可能な表示モード実行可否情報を参照して、現在表示されている操作画面２００が表示モード切替制御の実行対象（ここでは複雑操作画面）であるか否かを特定するとＳ６３に進む。Ｓ６３にて、現在表示中の操作画面２００が表示モード切替制御の実行対象であると判定された場合にはＳ６９に進み、表示モード切替制御の実行対象でないと判定された場合にはＳ６６に進む。

Ｓ６４では、操作者の手（操作手）が、簡易操作用指状態であるか否かを特定する（図９のＳ２と同様の処理）。続くＳ６５にて、現在の指状態が簡易操作用指状態であると判定された場合はＳ６６に進み、簡易操作用指状態でないと判定された場合はＳ６９に進む。

Ｓ６６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶される。続くＳ６７では、制御回路１８が、表示装置１５の表示画面２００と、撮影された手との位置関係を特定する（図９のＳ５と同様）。続くＳ６８では、表示装置１５の表示画面２００において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示手段：図９のＳ６と同様）。

具体的にいえば、Ｓ６２にて、現在表示中の操作画面２００が表示モード切替制御の実行対象でないと判定された場合（ここでは簡易操作画面であると特定された場合）には、Ｓ６７及びＳ６８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図６、図７の（ｃ）参照）、Ｓ６２にて、現在表示中の操作画面２００が表示モード切替制御の実行対象であると判定された場合（ここでは複雑操作画面であると特定された場合）には、Ｓ６７及びＳ６８の処理により、操作者が行っている簡易操作用指状態に基づく位置指示画像２００Ｈが表示される（図６及び図７の（ｃ）参照）。

他方、Ｓ６５にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ６９に進む。Ｓ６９では、表示モードを、位置指示画像２００Ｈの表示が禁止される表示禁止モードに設定し、これを制御回路１８の所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ６７及びＳ６８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面２００には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

Ｓ６８及びＳ６９の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。

なお、図２１の処理においては、複雑操作画面において上記表示モード切替制御が実施され、簡易操作画面において表示許可モードが固定的に設定される実施形態であったが、複雑操作画面において表示禁止モードが固定的に設定され、簡易操作画面において上記表示モード切替制御が実施される実施形態としてもよい。

以下、本発明の第十実施形態について説明する。

（第十実施形態の第一例）
また、上記実施形態のような操作入力装置において、その表示装置では、遠隔操作部（タッチパネル１２ａ）を操作する手を実際に操作画面上に表示すると、手が遠隔操作部に近い場合には、図４（ｃ）に示すように、指のみが表示された状態となる。ところが、多数本の指が同時に並んで表示されていると、どの指で操作してよいかの迷いが生じるし、表示された指と、実際に操作者が位置指示に使いたい指との対応関係がわからなくなって、誤操作を招く可能性もある。特に、上記操作入力装置が車両用のものである場合、車両運転中の運転者は操作画面を凝視できないので、運転しながらの多数本指での操作入力は難しく、誤操作を生じやすい。

このような課題を解決するべく、位置指示に使用する実際の指を容易に特定できるよう位置指示画像表示処理を、遠隔操作部（タッチパネル１２ａ）の手前側で対向する手において指を特定する指特定ステップと、特定された指から遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定ステップと、表示画面上の背景画像２００Ｂに合成ないしは重畳する形で、特定された指の指示位置を示す位置指示画像２００Ｈを表示する表示ステップであって表示される位置指示画像２００Ｈのうち、指定された操作対象指に対応する位置指示画像２００Ｐを、当該操作対象指とは異なる指に対応する位置指示画像２００Ｒよりも相対的に強調する強調表示にて行う位置指示画像強調表示ステップと、を有するようにして実施することができる。これにより、図２７や図２８に示すように、指定された操作対象指（ここでは人差し指１本）が残余の指に対し強調して表示され、操作性が向上する。なお、制御回路１８は、これら各ステップを実施することにより、指特定手段、操作対象指指定手段、位置指示画像強調表示手段として機能する。

具体的には、上述した各実施形態において、図８のＳ６に対応する処理を、図２５のような処理として実施することでなされる。Ｔ１では、制御回路１８が、タッチ操作面（遠隔操作面）１２ａ１の手前側（ここではカメラ１２ｂの逆側）にて、当該タッチ操作面１２ａ１に対向する手の指を特定する（指特定ステップ）。ここでは、図８のＳ１と同様、カメラ１２ｂによって撮影された撮影画像１５０Ｈに基づいて、操作者の手指の画像を取得したか否かを判定する。判定結果は制御回路１８に出力され、手指の画像が認識されたと判定された場合にはＴ２に進み、判定されなければ本処理を終了する。

Ｔ２では、制御回路１８が、取得した指画像１５０Ｆから指先を検出する。指先の検出は、特定された指画像１５０Ｆから指先Ｑを特定する形で行う（指先特定ステップ）。本実施形態における指先Ｑの特定は、図２９に示すような形で行われる。即ち、図２９（ａ）に示すように指画像１５０Ｆが特定されると、画像処理部１８ａが、特定された指画像１５０Ｆを含む手画像１５０Ｈと、当該手画像１５０Ｈをその指画像１５０Ｆの指長さ方向に所定量だけずらした移動手画像１６０Ｈとを互いに重ね合わせて、互いの指画像１５０Ｈ，１６０Ｈが重ならない非重畳領域１７０を特定し、当該非重畳領域１７０の重心位置を算出する。そして、当該重心位置を指先（指先位置）Ｑと特定する。なお、指先Ｑの特定方法は他の方法であってもよく、例えば湾曲して表れる指先の輪郭を抽出・平滑化した上でその曲率中心として定めてもよい。また、指先Ｑの特定方法は、上記のように指の一点として特定するのではなく、指の第一関節までの領域を指先（指先領域）Ｑとして特定するものであってもよい。

なお、Ｔ１とＴ２は、それぞれ指特定処理と指先特定処理を行うステップであるが、これらを同時に実行してもよい。即ち、指画像から指先を特定するのではなく、カメラ１２ｂによって撮影された撮影画像から直接指先を特定し、指先の特定によって指を特定するという処理としてもよい。これにより処理が簡略化される。

続くＴ３では、制御回路１８が、遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指（位置指示用の指）Ｐを指定する（操作対象指指定ステップ）。具体的には、特定された指先Ｑ同士の、タッチ操作面方向（タッチ操作面１２ａ１の広がる方向、即ち該タッチ操作面１２ａ１の法線に対し垂直をなす方向）における位置関係を反映した位置関係情報を指定指情報として取得し（指定指情報取得ステップ）、その上で、取得された該位置関係情報に基づいて、Ｔ１により特定された指のうち、当該位置関係に関する予め定められた選定条件に最も適する位置関係情報を有した指を優先して操作対象指Ｐとして指定する。

なお、操作対象指Ｐとして、複数本の指を指定することができるが、接触式操作部１２ａへの操作が分かり易くなるように位置指示するという観点からすると、１本又は２本といった比較的少数の指を指定するものとすることが望ましい。本実施形態においては１本である。さらに、指定対象となる指の種類としては、位置指示において好適とされる人差し指（図２７及び図２８の（ｃ）を参照）、中指（図４７参照）、あるいは人差し指及び中指の２本（図４８参照）を想定することが望ましく、本実施形態においては人差し指を想定している。

本実施形態のＴ３の処理は、図２６のフローチャートに示す処理として実行される。即ち、Ｔ１１にて、図２９（ｃ）のように特定された指先Ｑを仮想的な二次元座標系の面１８０上にて特定し、その面１８０上に定められた１本の軸Ｘにより、上記二次元座標系内に別の一次元座標系を定める。ここでは、特定された指先Ｑをタッチ操作面１２ａ１に向けて（遠隔操作部との対向方向に）投影し、その投影面を上記の面１８０とし、該投影面上の予め定められた位置に１本の軸Ｘを設定して一次元座標系を定める。Ｔ１２では、面１８０上にて特定された指先Ｑの当該一次元座標系における位置座標（座標値）ＸＱを特定し、その位置座標ＸＱを反映した軸座標情報を、位置関係情報として取得する。その上で、Ｔ１３にて、取得された該軸座標情報に基づいて、図２５のＴ１にて特定された指のうち、当該軸座標情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する。

また、本実施形態においては、助手席搭乗者の右手による操作が想定されており、さらに、操作対象指Ｐとしてその操作者の人差し指が指定されるように軸Ｘが設定されている。このため、Ｔ１１では、図３０に示す位置に軸Ｘが設定されている。Ｔ１２では、設定されたこの軸Ｘに向けて指先Ｑを投影し、投影された各位置の座標値Ｘ１〜Ｘ３を算出するとともに、Ｔ１３では、取得した座標値Ｘ１〜Ｘ３のうち座標値が最も大きい指先Ｑを特定して、この指先Ｑを有する指が人差し指であると推定し、この指を操作対象指Ｐとして指定している。

また、本実施形態における軸Ｘは、図３０に示すように、右手の人差し指が位置しにくい撮影画像の右下から、右手の人差し指が位置しやすい左上に向かうように決められているが、例えば、図３１や図３２のような設定であってもよい。図３１の場合は、最も座標値が大きいものを中指として推定することに適しており、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定することもできる。図３２の場合は、操作手が左右のいずれであるか推定ないし特定できれば、左右いずれかの最も端にある指を人差し指として推定することに好適であり、それに隣接する指を中指として推定できる。

なお、本実施形態において、カメラ１２ｂによって撮影された撮影画像は、指先Ｑをタッチ操作面１２ａ１に向けて投影した投影面１８０ということができる。従って、カメラ１２ｂによって撮影された撮影画像におけるタッチ操作面１２ａが位置する操作パネル画像領域（タッチ操作面１２ａが映る領域：ここでは撮影画像１５０の全領域）と、上記投影面１８０とは、同一の座標系を有する二次元平面として認識することができ、操作パネル画像領域上の指先Ｑの座標位置を、そのまま投影面１８０における投影された指先Ｑの座標位置として使用することができる。Ｔ３では、この仮想的に定められる投影面１８０における座標系上での計算により操作対象指Ｐを指定しており、画像処理を要することはない。つまり、操作対象指Ｐの指定処理に画像データを使用しないため演算コスト（演算量・メモリ量）を低減することができる。

図２５に戻る。Ｔ４では、制御回路１８が、図３３（ｃ）に示すように、表示装置１５の表示画面上の背景画像２００Ｂに合成ないしは重畳する形で、特定された指先Ｑに対応する該表示画面上の位置に、位置指示用の画像２００Ｈを表示する。ただし、この表示は、表示される位置指示画像２００Ｈのうち、指定された操作対象指Ｐに対応する位置指示画像２００Ｈの表示領域２００Ｐを、当該操作対象指Ｐとは異なる残余の指Ｒに対応する位置指示画像２００Ｈの表示領域２００Ｒよりも相対的に強調して表示する強調表示の形でなされる。これにより、操作対象指Ｐの視認性が向上し、操作すべき指がユーザーに伝わりやすく、また、操作性も向上する。

本実施形態においては、制御回路１８が、まず、表示装置１５の表示画面と撮影された手指との位置関係を特定する。つまり、撮影された指が、表示画面上のどの位置に対向するのかを特定する。本実施形態においては、カメラ１２ｂによって撮影された撮影画像１５０上に、タッチ操作面１２ａが位置する操作パネル画像領域（タッチ操作面１２ａが映る領域：ここでは撮影画像１５０の全領域）を特定するとともに、当該操作パネル画像領域上に二次元の操作座標系を設定して、撮影された指の位置を当該操作座標系上で特定する。そして、該操作座標系上で特定された指の位置に対応する、表示装置１５の表示画面上における位置を、当該表示画面上に定められた二次元の表示座標系において特定する。

その上で、表示装置１５の表示画面上にて特定された位置に、図３３（ａ）に示すように、位置指示画像２００Ｈをメイン画像２００Ｂの対応する位置座標に重ね表示される。そして、上記した位置指示画像２００Ｈ（２００Ｐ，２００Ｒ）の強調表示を、図６１に示すように、所定時間ｔ１をかけて段階的に強調レベル（強調度合い）を変化させる形で行う。つまり、強調表示変化の過程において、図３３（ｂ）に示すような変化途中状態を有し、このような強調変化途中状態を経て、図３３（ｃ）のような強調変化が完了するようにする。強調表示によって特定されていない指を見えにくくした場合、いきなりそれらの指を見えにくくしてはどの指が強調されているのか認識しづらくなる可能性がある。このため、最初は図３３（ａ）のようにすべての指を同じように表示し、その上で、段階的に強調レベルを変化させれば、ユーザーにとって画面上に表示された指と自分の指との対応づけが容易になる。

また、強調表示は、位置指示画像２００Ｈの指表示領域２００Ｐないし２００Ｒの全体、輪郭、輪郭内部のみに対し、色の変化（図６３参照）、濃淡の変化（図６３参照：なお、操作対象指以外の指を消してもよい）、形状変化（図６４：ここでは一例として操作対象指Ｐを相対的に太くしている）、別画像への切り替え、透過度の変化（図２７参照）、点滅（図６５参照）、あるいはそれらの組み合わせにより行う。本実施形態においては、位置指示画像２００Ｈをなす加工画像の輪郭内部の透過度を変化する形で実行する。また、ここでの強調表示は、操作対象指Ｐに対応する位置指示画像２００Ｈの表示領域２００Ｐの強調状態を一定に保持し、残余の指Ｒに対応する位置指示画像２００Ｈの表示領域２００Ｒの強調レベルを減じる形で行われている。残余の指Ｒに対応する位置指示画像領域２００Ｒは消去されてもよいが、操作性を考慮すれば、消去時よりも強調レベルは低くなるものの比較的容易に視認できる状態であるとよい。

また、Ｔ４における強調表示は、図６１に示すように、Ｔ３において操作対象指Ｐが指定されるに伴いすぐに開始されるようにしてもよいし、図６２に示すように、Ｔ３にて操作対象指Ｐが指定されてから所定時間経過した後に開始されるようにしてもよい。特に、強調表示が段階的になされないような構成の場合は、後者が選択されることが望ましい。

Ｔ４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル１２ａに対向する手が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像２００Ｈの表示位置も移動する。強調変化途中で手が動いた場合は、強調変化を継続しながら位置指示画像２００Ｈ（２００Ｐ及び２００Ｒ）の表示位置が移動し、強調変化が完了している状態で手が動いた場合には、当該強調状態を保持したまま位置指示画像２００Ｈ（２００Ｐ及び２００Ｒ）の表示位置が移動する。

なお、この位置指示画像の表示処理には、指特定ステップ、指先特定ステップ、操作対象指指定ステップ、位置指示画像強調表示ステップ、指定指情報取得ステップが含まれており、制御回路１８は、ＣＰＵにより当該処理を実行することで、これら各ステップを実行する手段（指特定手段、指先特定手段、操作対象指指定手段、位置指示画像強調表示手段、指定指情報取得手段）として機能する。

（第十実施形態の第二例）
操作対象指Ｐの指定方法は、図３４〜図３６に示すようにすることもできる。ここでは、図３４のフローチャートに示すように、Ｔ２１にて、図２５のＴ２にて特定された指先Ｑをタッチ操作面１２ａ１に向けて投影し、その投影面１８０上の予め定められた領域に基準領域Ｙを設定し（図３５又は図３６参照）、Ｔ２２にて、設定された基準領域Ｙと投影された指先Ｑとの間の距離を反映した距離情報を位置関係情報として取得し（指定指情報取得ステップ）、Ｔ２３にて、取得された該距離情報に基づいて、図２５のＴ１にて特定された指のうち、当該距離に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する（操作対象指指定ステップ）。

なお、本実施形態においても、上記実施形態と同様に仮想的に定められた面１８０上に指先Ｑを特定し、さらに上記基準領域Ｙを定める（Ｔ２１）。その上で、上記各距離を算出し（Ｔ２２）、それに基づいて操作対象指Ｐを指定する（Ｔ２３）。ここでは、操作対象指Ｐとして操作者の中指が想定されており、上規格距離の最も長い指が操作対象指Ｐとして指定される。なお、基準領域Ｙは面積を持つ領域として定めてもよいし、面積を持たない点や線として定めてもよい。

また、基準領域Ｙは、例えば図３５のように、カメラ１２ｂにて指が撮影される状態において手の甲が位置すると推定される予め決められた位置に配置することができる。この場合の距離情報は、Ｔ１にて特定された指の長さを直接反映はしないもののそれに関連する情報であり、その距離の長さから、特定の指を指定できる。例えば、当該距離が最も長い指を中指と推定できるし、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定できる。また、操作対象指Ｐとして人差し指等を想定する場合には、２番目に長い指を人差し指と推定し、指定してもよい。

また、基準領域Ｙは、例えば図３６のように、カメラ１２ｂにて指が撮影される状態において操作対象指Ｐとして想定する指の指先が最も位置しやすい位置に配置することができる。この場合、基準領域Ｙとの距離が最も短い指先Ｑを有する指を操作対象指Ｐとして指定することができる。図３６の場合は、操作手が右手である場合を想定しており、最も左上に位置している。

（第十実施形態の第三例）
操作対象指Ｐの指定方法は、図３７及び図３８に示すようにすることができる。ここでは、図３７のフローチャートに示すように、Ｔ３１にて、図２５のＴ１にて特定された各指の形状に係る指形状情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ３２にて、取得された該指形状情報に基づいて、Ｔ１にて特定された指のうち、当該指の形状に関する予め定められた選定条件に最も適する接近距離情報を有した指を優先して操作対象指として指定する（操作対象指指定ステップ）。

指形状情報としては、図２５のＴ１にて特定された指同士の、タッチ操作面方向における長さ関係に係る指長情報を定めることができる。具体的にいえば、図２５のＴ２において特定された指先Ｑから、撮影画像１５０上に表れる指端縁の線分の中点に相当する位置までの長さｄ１〜ｄ３（図３８参照）を算出し、これらを上記指長情報とすることができる。この場合、指長情報は、Ｔ１にて特定される指の長さが反映された情報であるから、その長さから特定の指を指定できる。例えば、当該距離が最も長い指を中指と推定できるし、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定できる。また、操作対象指Ｐとして人差し指等を想定する場合には、２番目に長い指を人差し指と推定し、指定してもよい。この構成によると、操作に使用する意図が無いような中途半端にのびた指が位置指示用に指定される可能性を確実に排除することができる。なお、指長情報ｄ１〜ｄ３は、少なくとも各指の長さを反映した情報であればよく、例えば、湾曲する指先の先端位置から、撮影画像１５０上に表れる指端縁までの指の長さ方向に沿った距離としてもよい。

また、指形状情報としては、図２５のＴ１にて特定された指同士の、タッチ操作面方向における幅の関係に係る指幅情報を定めることもできる。具体的にいえば、図２５のＴ２において特定された指先Ｑを通り、その指の長さ方向に垂直な幅方向の長さｗ１〜ｗ３（図３８参照）を、上記指幅情報とすることができる。この場合、指幅情報は、指がタッチ操作面１２ａ１に接近しているほど大きく表れるから、当該タッチ操作面１２ａ１への接近距離関係を反映した接近距離情報ともいうことができ、最も指幅の大きい指を操作対象指Ｐとして指定することができる。なお、指幅情報ｗ１〜ｗ３は、少なくとも各指の幅を反映した情報であればよく、上記とは別の位置にて算出された指幅であってもよい。

（第十実施形態の第四例）
操作対象指Ｐの指定方法は、図３９に示すようにすることができる。Ｔ４１にて、図２５のＴ１にて特定された指によりタッチ操作面１２ａ１へのタッチ操作位置Ｔを検出して、Ｔ４２にて、検出されたの初回のタッチ操作を行った指を操作対象指Ｐとして指定する（操作対象指指定ステップ）。つまり、タッチ操作面１２ａ１へのタッチ操作位置Ｔを指定指情報として取得し、これに基づいて操作対象指Ｐを指定する。この構成によると、強調表示の開始トリガーが、ユーザーのタッチ操作として定められているので、強調表示による表示変化を見逃すことが無くなる。なお、この場合、指定された操作対象指Ｐは、手操作により移動する際に追跡され、当該指Ｐが画面から消失するまで、あるいは新たなタッチ操作がなされるまで指定され続ける。あるいは、画面から消失した後、再び画面上に現れた際にも同じ指が操作対象指Ｐとされるように、他の指Ｒとの位置関係情報や当該指Ｐの指形状情報等の条件を、制御回路１８内の記憶部に記憶して、これに基づいて操作対象指Ｐを指定するようにしてもよい。

（第十実施形態の第五例）
操作対象指Ｐの指定方法は、図４０及び図４１に示すようにすることができる。ここでは、図４０のフローチャートに示すように、Ｔ５１にて、図２５のＴ１にて特定された指によりタッチ操作面１２ａ１へのタッチ操作位置Ｔを検出し、該タッチ操作位置Ｔが検出されるに伴いＴ５２にて、図４１に示すように、検出されたのタッチ操作位置Ｔに最も近い指を操作対象指Ｐとして指定する（操作対象指指定ステップ）。なお、この場合、図２５のＴ４における強調表示は、タッチ操作面１２ａ１へのタッチ操作がなされるに伴い（すぐに）開始されるようにしてもよいし、タッチ操作面１２ａ１へのタッチ操作がなされてから所定時間経過した後に開始されるようにしてもよい。特に、強調表示が段階的になされないような構成の場合は、後者が選択されることが望ましい。

なお、上記第十実施形態の第四例及び第五例において、誤ってタッチ操作面１２ａ１に触れてタッチ操作をしてしまった場合に、強調表示が開始されないようにすることができる。具体的にいえば、Ｔ４１又はＴ５１におけるタッチ操作として、通常のタッチ操作（操作入力が有効となるタッチ操作）よりも操作負担が大となるタッチ操作を強調表示開始操作として定めることができる。例えば、強調表示開始用のタッチ操作（強調表示開始操作）として、通常のタッチ操作よりも入力が有効となるまでの押圧操作継続時間が長いタッチ操作を定めたり、通常のタッチ操作よりも強い押圧操作力によるタッチ操作を定めたりすることができる。この場合、Ｔ４１又はＴ５１において、定められた強調表示開始操作があった場合に限りＴ４２又はＴ５２にて進み、強調表示開始操作がない場合は、当該強調表示開始操作があるまで強調表示を開始しない待機状態とするようできる。

（第十実施形態の第六例）
操作対象指Ｐの指定方法は、図４２及び図４３に示すようにすることができる。ここでは、図４２のフローチャートに示すように、Ｔ６１にて、撮影された指の画像の輝度情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ６２にて、取得された輝度情報に基づいて、撮影された指の画像のうち、当該輝度情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する（操作対象指指定ステップ）。カメラ１２ｂは、タッチ操作面１２ａ１を操作する手の反射光を捉える形で撮影を行うので、該タッチ操作面１２ａ１に最も近い指先ほど高輝度に表れる。つまり、輝度情報とは、既に述べた接近距離情報（指定指情報）であるといえる。一方で、タッチ操作面１２ａ１を操作する指先は、当該タッチ操作面１２ａ１に近い指ほど位置指示の可能性が高いから、例えば、輝度の最も高い指を優先して操作対象指Ｐとして指定するように構成することができる。

カメラ１２ｂは、図３に示すように、光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施形態ではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図２９の（ａ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手・指の画像を特定するために、まずは、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部に記憶された手や指の形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手指の画像として認識する。本実施形態においては、手や指の画像を特定するための上記階調閾値を第一の階調閾値とし、さらに、それよりも高い第二の階調閾値を定め、当該第二の階調閾値を越える領域Ｌ１（図４３参照）を有する指先の指を、操作対象指Ｐとして指定することができる。また別の方法として、指先Ｑの輝度または、指先Ｑを基準にする予め決められた領域の平均（または最大／最小）輝度の比較により操作対象指Ｐを指定してもよい。なお、図４３の領域Ｌ１〜Ｌ３は、撮影映像１５０において輝度の異なる領域を示すものであり、Ｌ１，Ｌ２，Ｌ３の順で輝度が低くなっている。

つまり、ここでは、図２５のＴ１が、カメラ１２ｂにより撮影された画像の輝度に基づいて指画像を特定して、当該指画像により指を特定するステップであり、図２５のＴ２が、カメラ１２ｂにより撮影された手の画像を用いて指先を特定するステップである。さらに、図２５のＴ３は、同じくカメラ１２ｂにより撮影された手の画像の輝度に基づいて、操作対象指Ｐを特定するステップである。従って、本実施形態においては、カメラ１２ｂの撮影画像から、指の特定、指先の特定、さらには操作対象指Ｐの指定までもが可能となっている。

また、ここでは、指全体ではなく指先部分の画像情報を使用して、操作対象指Ｐを指定する処理とする。これにより、操作対象指Ｐの指定処理の対象となるデータを限定することが可能となり演算コスト（演算量・メモリ量）を低減することができる。具体的にいえば、図４３に示すように、Ｔ２で特定された指先Ｑを中心に、指先全体が含まれる所定形状（ここでは四角）の領域Ｓを設定し、Ｔ１で特定された全ての指に関し、Ｔ６１にて当該領域Ｓにおける輝度情報を特定・取得し、Ｔ６２にて、取得した輝度情報のうち最も高輝度である領域Ｓの指を優先して操作対象指Ｐとして指定するようにしている。

（第十実施形態の第七例）
操作対象指Ｐの指定方法は、図４４〜図４６に示すようにすることができる。ここでは、図４４のフローチャートに示すように、Ｔ６１にて、図２５のＴ１にて特定された指先の、タッチ操作面１２ａ１への接近距離関係を反映した接近距離情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ６２にて、取得された接近距離情報に基づいて、指特定ステップにより特定された指のうち、当該接近距離に関する予め定められた選定条件に対し適する指を優先して操作対象指として指定する（操作対象指指定ステップ）。ただし、この構成の場合、タッチ操作面１２ａ１と操作手の指先との距離を検出する手段が必要となる。上記第十実施形態の第五例のように輝度を接近距離情報として取得することもできるが、例えば図４５に示すように、カメラ（撮影手段）４０を、接近距離情報を取得するための手段とすることができる。カメラ４０は、タッチ操作面１２ａ１と操作手の指先との距離が映るように配置され、その撮影画像（例えば図４６）から、制御回路１８が、タッチ操作面１２ａ１に対する操作手の各指の指先との距離ｄ１〜ｄ４を算出して、例えば最も距離の近い指先の指を操作対象指Ｐとして指定することができる。図４６は、図４５のカメラ４０による撮影映像の一例である。

（第十実施形態の第八例）
なお、上記した位置関係情報、指形状情報等の複数種の指定指情報を組み合わせる形で、操作対象指を指定してもよい。これにより、人差し指や中指といった決められた種類の指をより正確に特定することが可能となる。

（第十実施形態の第九例）
手画像撮影手段をなすカメラ１２ｂは、タッチパネル１２ａの裏面１２ａ２側から撮影するものではなく、例えば、図１２のように取り付ける構成としてもよい。また、手画像撮影手段をなすカメラ１２ｂは、図１２のカメラ２０に兼用させてもよい。

図１２のカメラ２０のように、撮影範囲が、操作パネル１２ａの操作者の手だけでなく、その手から続く腕まで映るように定められている場合は（例えば図１３の撮影画像３００）、撮影される操作パネル周辺画像を取得する制御回路１８では、画像処理部１８ａにて、手からのびる腕の方向を特定して、操作者が左右いずれの搭乗者であるかを特定できる。これにより、タッチ操作面１２ａ１の操作者が、該タッチ操作面１２ａ１の左側に位置する者であれば、その操作手を右手と特定することができるし、該タッチ操作面１２ａ１の右側に位置する者であれば、その操作手を左手と特定することができる。

そして、制御回路１８は、その操作手の特定結果に基づいて、操作対象指Ｐの指定条件を切り替えるようにすることができる。具体的にいえば、操作対象指Ｐとして人差し指を特定する場合には、操作手が左手の場合は、最も右に出現する指として特定したり、最も長く表れる中指の右に隣接する指として特定することができ、他方、操作手が右手の場合は、最も左に出現する指として特定したり、最も長く表れる中指の左に隣接する指として特定することができる。従って、操作対象指Ｐを指定する際に、操作手が左手であるか右手であるかに応じて選定条件が切り替わる場合は、当該操作手の特定結果に基づいて、その切り替えを行うようにすることができる。また、操作手が運転者の手と特定された場合に、操作ができないよう表示を行わないようにしてもよい。こうすると、左側の助手席搭乗者のみを操作者として指定できるから、操作手として絶えず右手を定めることができ、ひいては、これを操作対象指Ｐの選定条件に予め反映しておくことができる。

この場合、このカメラ２０が、制御回路１８（画像処理部１８ａ）とともに操作者特定手段として機能している。なお、操作パネル１２ａの操作者が運転者であるか否かを特定する方法は、他の方法であってもよい。例えば、タッチ操作面１２ａの車両左右両側にそれぞれ接近物を検知する接近物検知部（例えば赤外反射センサ等の反射式光学センサ）を設け、これにより操作者を特定してもよい。

（第十実施形態の第十例）
上記した全ての第十実施形態において、上記のような強調表示を、２以上の指が特定された場合にのみ実施するようにしてもよい。指特定手段として機能する制御回路１８は、指の本数を特定することが可能であるから、特定された指本数が２以上である場合に上記第十実施形態に係る位置指示画像表示処理を実行し、１本の場合には、その指に対応する位置指示画像のみを表示するシンプルな表示処理を実行するように構成するようにできる。

（第十実施形態の第十一例）
上記した全ての第十実施形態において、遠隔操作部は接触操作（プッシュ操作やタッチ操作）を前提としているため、１本の指を位置指示用に指定している。さらに、場合によっては図４８に示すように２本の指を位置指示用に指定するように構成できることも述べられている。ところが、遠隔操作部は、ダイアル操作部等のような、操作ノブをつまむ形での操作が前提となる操作部であってもよく、この場合は、２本あるいは３本といった本数の指を操作対象指Ｐとして指定することもできる。なお、つまむ形での操作における指の特定ないしは指先の特定は、上記した接近距離情報（遠隔操作面への接近距離関係を反映した情報）を用いて行うことができる。

例えば、図４９に示すように、本発明の遠隔操作部としてダイアル操作部１２ａ’（ダイアルノブ周辺の筐体前端部１２１ｅもダイアル操作部１２ａ’の一部とする）を設け、これを操作するために接近する手をカメラ４１，４２（制御回路１８に接続する形で構成する）にて撮影するように構成する。カメラ４１，４２は、撮影範囲が異なっており、双方の撮影方向がダイアル操作部１２ａ’の回転軸線に対し垂直な平面上にて直交するように定められている。これらカメラ４１，４２の撮影画像（図２７及び図２８の（ｂ）と同様の２値化後の画像）１５０ａ，１５０ｂの一例が、図５０（ａ）、（ｂ）に示されている。一方で、操作情報入力部１２の内部にも図３に示す形でカメラ１２ｂが設置されている（図１２のように外部にあってもよい）。カメラ１２ｂの撮影画像（図２７及び図２８の（ｂ）と同様の２値化後の画像）１５０ｃの一例が、図５０（ｃ）に示されている。なお、これらの画像１５０ａ，１５０ｂ，１５０ｃの画像領域１５０Ｓは、操作部１２ａ’の映った領域である。

ここで、この構成において実施される上記のような強調表示について、その処理の流れを説明する。

まずは、図５０（ａ）、（ｂ）の画像１５０ａ，１５０ｂを取得し（図２５のＴ１に相当する処理）、画像１５０ａ，１５０ｂから抽出される手画像１５０Ｈから指先Ｑを特定する。その上で、指先Ｑの具体的な位置を特定する（図２５のＴ２に相当する処理）。ここでは、図４９に示すようなｘ軸、ｙ軸、ｚ軸を有する三次元座標系（車室内座標系）を車室内に定めて、当該座標系における位置座標として特定する。具体的には、画像１５０ａ，１５０ｂにｘ−ｚ座標系、ｙ−ｚ座標系を定めて、これらから筐体前端部１２１ｅ側に延出する突出画像１５０Ｆの先端領域に既に述べたいずれかの方法により指先Ｑを特定するとともに、当該指先Ｑの位置座標を特定して、これらから上記車室内座標系における三次元位置座標を特定する。

続いて、操作対象指Ｐを特定する。ここでは、各指先Ｑから筐体前端部１２１ｅの前端面間までの距離を算出して、筐体前端部１２１ｅの前端面に最も近い位置にある指先Ｑと、それに次いで近い位置にあるＱとの双方を、操作対象指Ｐとして特定する。なお、ここでの距離の算出は、画像１５０ａ，１５０ｂに筐体前端部１２１ｅの前端面が映るので（符号１５０Ｅ）、これを用いて算出してもよいし、画像１５０ｃの輝度から算出してもよい。

そして、特定された操作対象指Ｐの指先Ｑに対応する位置指示画像２００Ｈの位置指示領域２００Ｑ（２００Ｐ）を、他の指先Ｑに対応する位置指示画像２００Ｈの位置指示領域２００Ｑ（２００Ｒ）よりも強調する形で、図５１に示すような形で背景画像２００Ｂに重ねて表示する、あるいは合成して表示する。なお、図５１における背景画像２００Ｂ（２００Ｂ３）は、スイッチ画像２００Ｉとして、ダイアルスイッチ画像が表示されており、遠隔操作部をなすダイアル操作部１２ａ’の回転操作に応じた回転表示がなされ、回転位置に応じた制御内容が実施される。

なお、ここでの操作対象指Ｐの指定方法は、既に述べた第十実施形態の第二例のように、特定された指先Ｑを、遠隔操作部をなすダイアル操作部１２ａ’に向けて（ダイアル操作部１２ａ’との対向方向に）投影し、その投影面１８０上の予め定められた領域に設定される基準領域Ｙと投影された指先Ｑとの間の距離を反映した距離情報を位置関係情報として取得して、取得された該距離情報を用いて、当該距離に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する。なお、ここで設定される基準領域Ｙは、図５３に示すように、ダイアル操作部１２ａ’を投影面１８０に投影した投影領域１２０の中心位置として設定することができる。

また、ここでの操作対象指Ｐの指定方法は、少なくとも親指が含まれるように定められるような方法であるとよい。具体的には、他の指との太さの違い、他の指との位置関係の違い、指の延出方向の違い等、様々な要素から特定できる。また、操作対象指Ｐが２本である場合は、残り１本の指は、親指以外で最も筐体前端部１２１ｅの前端面に近い指とすることができる。ただし、つまみ操作のしやすさから人差し指又は中指が指定されることが望ましく、例えば親指を基準として（たとえば親指からの位置関係により）指定することができる。また、上記のようなつまみ操作を前提とするような遠隔操作部の場合は、図５２のように、３本の指の指先を強調してもよい。この場合は、望ましくは、親指、人差し指、中指が操作対象指Ｐに指定されるとよい。

また、この実施形態では、位置指示画像２００Ｈにおける指先領域２００Ｑを位置指示領域としているが、既に述べた他の実施形態のように、位置指示画像２００Ｈに含まれる指全体を位置指示領域としてもよい。逆に、既に述べた他の実施形態において、位置指示画像２００Ｈにおける指先領域２００Ｑを位置指示領域としてもよい。

（指ないし指先の追跡処理）
上記した全ての実施形態において適用可能な処理について説明する。
上記した第十実施形態においては、撮影映像のフレーム毎に操作対象指Ｐが特定される構成となっているが、この場合、操作パネル１２ａ（１２ａ’）と操作する手の位置関係が変わった際に、操作対象指Ｐが自動的に別の指に切り替わってしまう可能性がある。特に、第十実施形態の第四例や第五例のように、遠隔操作部への接触位置（ユーザー操作）に基づいて操作対象指Ｐが特定される場合には、タッチ操作が基準となって操作対象指Ｐが特定されるため、手や指の位置が移動したからといって簡単に別の指が操作対象指Ｐとされることは望ましくない。また、第十実施形態以外においても、簡易操作用指状態として、予め定められた簡易操作用の指の種別が特定される状態が定められているような場合（例えば人差し指や中指のいずれか又は双方が特定される指状態）も、当該種別の指が特定された後に、手や指の位置が移動したからといって、簡単に別の指が簡易操作用の種別の指として特定されてしまうことは望ましくない。このため、操作対象指Ｐ等の指が指定ないし特定された後、指定ないし特定された指の移動を追跡する処理を追加し、その追跡結果に基づいて、同一の指を継続的に指定ないし特定し続けることで、上記の問題を解決することができる。

図５４及び図５５は、図２５のＴ１で特定される全ての指を追跡するための処理、さらにいえばＴ２で特定される全ての指先を追跡する処理、あるいは、図８のＳ２（及びＳ２に相当する処理）で特定される全ての指（さらには指先）を追跡するための処理である。ここでは、遠隔操作部をなす操作パネル１２ａ（１２ａ’）を操作するために当該操作パネル１２ａ（１２ａ’）の手前側にて対向した手（指）を、撮影手段であるカメラ１２ｂにより撮影される動画像に基づいて特定するよう構成されている。この場合、操作パネル１２ａ（１２ａ’）の手前側にて対向する手（指）の指特定可能範囲（指先特定可能範囲）は、固定配置されたカメラ１２ｂの撮影範囲である。カメラ１２ｂは、当該範囲の動画像を撮影し、制御回路１８は所定時間間隔おきに順次撮影された動画像フレームを取得する。

図５４及び図５５の指追跡処理（指追跡ステップ）では、順次取得される動画像フレームから特定される各指先の当該フレーム内での位置を算出して、算出された位置情報を追跡情報として、制御回路１８のＲＯＭ等の設けられた所定の追跡情報記憶部に記憶・蓄積することで、順次取得される動画像フレームから特定される各指先を識別しながら、それぞれの移動を追跡する。

追跡情報は、図５６の符号５００に示すような形で記憶される。図５６に示す追跡情報５００には、取得した動画像フレームにて特定された各指先に指先ＩＤ（識別情報）を付与し、当該指先ＩＤに対応付けた形で、各指先の前回の動画像フレーム（以下、前フレーム称する）及び前々回の動画像フレーム（以下、前々フレームと称する）内での位置を示す位置情報を記憶可能としている。なお、ここでの位置情報は、動画像フレーム内に定められる所定の二次元座標系上での各指先の位置座標である。図５６の上図は、当該二次元座標系が定められた動画像フレーム（指特定可能範囲ともいえる）を図示したものであり、図５６の追跡情報５００として記憶されている、前フレームにて特定された指先の位置座標P_i(-1)及び前々フレームにて特定された指先の位置座標P_i(-2)、さらに現フレームにて特定された指先のR_j(0)が表示されている。図５６に示すように、新たな動画像フレームが取得されるに伴い各指先の位置座標が順次記憶・更新されていく。なお、記憶保持される位置座標は、ここでは前フレーム及び前々フレームの位置座標であって、前々フレームよりも以前のフレームの位置座標は順次消去される。

また、追跡情報５００には、最新の動画像フレーム（以下、現フレームと称する）から特定される各指先の当該フレーム上での位置を示す位置情報が含まれており、追跡情報記憶部には、当該位置情報が指先ＩＤごとに記憶される。さらに、追跡情報には、現フレームにおいて各指先が位置するであろう予測位置（次回位置）が含まれており、追跡情報記憶部には、当該予測位置を示す予測位置情報が記憶される。さらに、現フレームにおける指先の位置情報と、現フレームに関し予測された指先の予測位置情報との対応関係を特定し、その対応結果から、指先ＩＤごとに、現フレーム取得時における対応する指先の追跡状況が特定され、これも追跡情報として追跡情報記憶部に記憶される。追跡状況としては、指先の追跡が前フレーム時から現フレームにかけて継続している追跡継続状態（追跡中）と、前フレームまでは追跡されていた指先を現フレームにてロスト（消滅）した追跡不可状態（ロスト）と、前フレームまでは追跡されていなかった指先が新規に出現した新規出現状態（新規出現）との少なくとも３状態を有している。

指先の予測位置の算出方法としては、例えば以下のような算出方法を例示できる。即ち、過去複数回の動画像フレーム上の各指先の位置を示す位置情報に基づいて算出する方法である。ここでは、各指の追跡情報として、前フレーム回及び前々フレーム上の各指先の位置情報が含まれているから、それら位置情報に基づいて、各指先の移動を推定し、次フレーム上の各指先の推定移動先を上記予測位置として算出する。具体例としては、図５８（ａ）に示すように、各動画像フレーム上に共通に定められる動画像フレーム４００上の二次元座標系において、前々フレーム上に特定される指の位置座標P_i(-2)から、前フレーム上に特定される位置座標P_i(-1)に移動した際の、当該位置座標P_i(-1)における指の速度ベクトルV_i(-1)を、当該移動の移動方向及び移動距離に基づいて算出する。そして次フレームでは、位置座標P_i(-1)に位置する指が速度ベクトルV_i(-1)だけ移動すると推定し、その推定移動先の位置座標Q_i(-0)を算出する（Q_i(-0)＝P_i(-1)＋V_i(-1)）。算出された位置座標Q_i(-0)が予測位置情報であり、追跡情報の一つとして制御回路１８の追跡情報記憶部に記憶される。

ただし、前フレームにおいて新規に出現した指先に対し、次フレームでの出現を予測することは、上記のように前フレームと前々フレームとの双方を用いた予測方法では実施できない。こうした場合、ここでは、前フレーム上にて特定された指先の位置情報に基づいて、当該指先の前々フレームにおける位置を仮位置として定め、この仮位置を示す位置情報と、前フレームの位置情報とに基づいて、当該指先の次フレーム上での出現位置を特定する。この仮位置の決定方法は以下の通りである。即ち、図５９に示すように、動画像フレーム（指先特定可能範囲）４００内の領域を、各縁部（ここでは上下左右の縁部）に対応付けた形で予め区画して（区画線は破線で図示）、各縁部４０１（４０１ａ〜４０１ｄ）に対応する縁部対応領域４１０を設定しておき、その上で、まずは、前フレーム上にて特定された指先位置P_i(-1)が存在する縁部対応領域４１０（４０１Ａ〜４０１Ｄ）を特定する。P_i(-1)が存在する縁部対応領域４１０が特定された場合には、当該P_i(-1)に最近接する当該縁部対応領域４１０の縁部４０１上の位置を、前々フレームの仮位置として決定する。つまり、前フレーム上にて特定された指先位置P_i(-1)を通過し、当該指先位置P_i(-1)が存在する縁部対応領域４１０の縁部４０１に向かう垂線と、当該縁部４０１との交点を仮位置P_i'(-2)と定める。

なお、上記の指先の予測位置の算出方法は、前フレーム回及び前々フレーム上の各指先の位置情報に基づいて算出する方法であったが、より高い精度で算出するために、図５８（ｂ）に示すように算出する。即ち、各動画像フレーム上に共通に定められる動画像フレーム４００上の二次元座標系において、現フレームから１回前フレーム上に特定される位置座標P_i(-1)上における指の速度ベクトルV_i(-1)と加速ベクトルA_i(-1)をそれぞれ算出し、次フレームでは、当該位置座標P_i(-1)に位置する指がこれら速度ベクトルV_i(-1)と加速ベクトルA_i(-1)の分に相当する移動が生ずると推定して、その推定移動先の位置座標Q_i(-0)を算出する（Q_i(-0)＝P_i(-1)＋V_i(0)＝P_i(-1)＋V_i(-1)＋A_i(-1)）。まずは、現フレームから３回前のフレーム上に特定される指の位置座標P_i(-3)から、現フレームから２回前フレーム上に特定される位置座標P_i(-2)に移動した際の移動方向及び移動距離に基づいて、位置座標P_i(-2)における当該指の速度ベクトルV_i(-2)を算出する。その上でこの指を、動画像フレーム４００上の位置座標P_i(-2)から速度ベクトルV_i(-2)だけ移動した先の位置座標から、現フレームから１回前フレーム上に特定される位置座標P_i(-1)に移動した際の移動方向及び移動距離に基づいて、加速ベクトルA_i(-1)を算出する（A_i(-1)＝V_i(-1)−V_i(-2)＝P_i(-1)−P_i(-2)−V_i(-2)）。また、速度ベクトルV_i(-1)は、現フレームから２回前フレーム上に特定される位置座標P_i(-2)から、現フレームから１回前フレーム上に特定される位置座標P_i(-1)に移動した際の、移動方向及び移動距離に基づいて算出する。

指先の追跡状況の特定方法としては、例えば以下のような特定方法を例示できる。即ち、現フレーム上に特定された指先の位置情報と、当該指先の現フレーム上での予測位置情報とを比較し、これらの位置関係が予め定められた基準条件を満たすか否かに基づいて特定する方法である。例えば、図５６に示すように、現フレームに関して算出された各予測位置情報が示す指先の位置座標Q₁(-0)、Q₂(-0)、Q₃(-0)と、現フレームにおいて実際に特定された全ての指先の位置座標R_a(0)、R_b(0)、R_c(0)、…との中から、動画像フレーム内において最も位置が近接するペアを対応するペアを、基準条件を満たすペアとして認識するようにする。ただし、ペアをなす両位置間の距離が予め定められた基準距離を下回らないような、一定以上離れた位置関係にある場合については、当該ペアを対応するペアとして認識しないようにする。対応するペアについては、現フレームにて実際に特定された指先と、予測位置情報を算出するための根拠となった前フレームの位置情報に対応する指先とが同一の指先であると判定し、当該指先の追跡が前フレーム時から現フレームにかけて継続している追跡継続状態（追跡中）と特定する。現フレームにて実際に特定された指先のうち、対応するペアが見つからなかった指先は、新規出現状態（新規出現）として特定する。現フレームに関して算出された予測位置情報に対応する指先（前フレームにて追跡中と特定された指先）のうち、対応するペアが見つからなかった指先は、追跡不可状態（ロスト）として特定する。特定された各指先の追跡状況は、各指先ＩＤに対応付けた形で制御回路１８の追跡情報記憶部に記憶される。

なお、追跡状況として追跡不可状態（ロスト）が特定された場合には、この追跡不可状態（追跡状況）や、この追跡不可状態が特定される直前のフレーム上での当該指先の位置情報と共に、他の追跡不可状態の指との追跡不可特定時期の前後関係が特定可能となる追跡不可認識順序が、追跡復帰判断情報として追跡情報記憶部（追跡復帰判断情報記憶部）に記憶される。なお、ここではこの追跡復帰判断情報も追跡情報の一つとして取り扱うこととする。

ここで、図５４及び図５５に示す指追跡処理（指追跡ステップ）の流れを説明する。この指追跡処理は、制御回路１８が、カメラ１２ｂから動画像フレームを取得するたびに実行する処理であり、これにより当該制御回路１８が指追跡手段として機能する。

まずＲ２０１（図５４）では、制御回路１８が、カメラ１２ｂによる動画撮影により取得した新たな動画像フレーム（現フレーム）内に、指先が特定されるか否かを判定し、指先が特定された場合にはＲ２０２に進み、指先が特定されなかった場合にはＲ２１５に進む。なお、指先の特定方法については、図２５のＴ１及びＴ２と同様である。

Ｒ２０２では、制御回路１８が、現フレーム上に特定される各指先と、前フレーム上に特定される各指先との対応関係を特定する。ここでは、現フレームにおける指先の位置情報と、現フレームに関し予測された指先の予測位置情報との対応関係を特定し、その対応結果から、現フレーム取得時における各指先の追跡状況が、追跡継続状態（追跡中）・追跡不可状態（ロスト）・新規出現状態（新規出現）・未特定（未出現）のいずれの状況にあるかを、指先ＩＤごとに特定する。特定された追跡状況は、図５６の符号５００に示すような形で、対応する指先ＩＤごとに制御回路１８の追跡情報記憶部に記憶する。ここでは、前フレーム上に特定された指先と上記基準条件を満たす、現フレーム上に特定された指先が存在する場合を、追跡継続状態（追跡中）と認識し、前フレーム上に特定された指先のいずれとも上記基準条件を満たさない、現フレーム上に特定された指先が存在する場合を、新規出現状態（新規出現）と認識し、現フレーム上に特定されたいずれの指先とも上記基準条件を満たさない、前フレーム上に特定された指先が存在する場合を、追跡不可状態（ロスト）と認識する。

Ｒ２０３では、前フレーム上に特定された指先と現フレーム上に特定された指先とにおいて同一の指が存在するか否か、言い換えれば、現フレーム上に追跡継続状態（追跡中）の指先が存在するか否かを判定する。追跡継続状態（追跡中）の指先が存在する場合にはＲ２０４に進み、追跡継続状態（追跡中）の指先が存在しない場合は図５５のＲ２０５に進む。

Ｒ２０４では、追跡継続状態（追跡中）の指先の指先ＩＤに対応する追跡情報を更新する。追跡継続状態（追跡中）の指先とは前フレーム取得時に追跡情報の更新を行った指先であり、当該指先の指先ＩＤに対応する現フレームの位置情報を、当該指先の現フレームにおける位置を示す位置情報により更新する。さらに、これまで記憶されていた現フレームの位置情報を前フレームの位置情報として更新し、これまで記憶されていた前フレームの位置情報を前々フレームの位置情報として更新する。

Ｒ２０５では、前フレーム上に特定された指先のうち、現フレーム上に特定されなかった指先が存在するか否か、言い換えれば、図６０に示すP₁(0)ような、現フレームにて追跡不可となった指先が存在するか否かを判定する。追跡不可状態（追跡中）の指先が存在する場合にはＲ２０６に進み、追跡継続状態（追跡中）の指先が存在しない場合はＲ２０７に進む。

Ｒ２０６では、追跡不可状態（ロスト）の指先の指先ＩＤに対応付ける形で、追跡不可と認識されたときの当該指に係る情報を追跡復帰判断情報として記憶する。この追跡復帰判断情報は、後に取得される動画像フレームにおいて追跡中でない新たな指先が出現した時に、その指がここで追跡不可と認識された指であるか否かを判定するために使用される情報である。これにより、一度フレームから外れた指先が再度フレーム内に進入した場合に、両者を同じ指として認識することができ、改めてその指の追跡を行うことが可能となる。ここでは、追跡不可状態となった指先の指先ＩＤを消去することなく記憶保持し、当該指先ＩＤに対応付ける形で、当該指先ＩＤに対応する前フレームの位置情報（消滅直前位置）と共に、他の追跡不可の指との追跡不可認識時期の前後関係が特定可能となる追跡不可認識順序（消滅順）を追跡復帰判断情報として記憶する。図５６の場合、指先ＩＤ「２」に消滅順として「１」が付されており、後に取得される動画像フレームにて新たの指先が追跡不可となった場合には、その指先ＩＤには消滅順として「２」が付されることになり、付された番号の大きいものほど、追跡不可認識時期が新しいと判断できる。

Ｒ２０７では、現フレーム上に特定された指先のうち、前フレーム上に特定されなかった指先が存在するか否か、言い換えれば、現フレームにて新規出現した指先が存在するか否かを判定する。新規出現状態（新規出現）の指先が存在する場合にはＲ２０８に進み、追跡継続状態の指先が存在しない場合はＲ２０９に進む。

Ｒ２０８では、Ｒ２０７にて新規出現状態（新規出現）の指先が存在すると特定された段階で、現在、追跡不可状態（ロスト）を継続している指先が存在するか否かを判定する。この判定は、図５６に示す追跡情報において、追跡復帰判断情報が記憶されている指先ＩＤが存在するか否かに基づいて行う。この段階で、追跡不可状態（ロスト）を継続している指先が存在しないと判定された場合にはＲ２１３に進み、Ｒ２０７にて特定された新規出現状態の指先に、これまで付されていない新たな指先ＩＤを付与し、当該指先ＩＤに対応付ける形で、当該新規出現状態の指先の現フレーム上にて特定された位置を示す位置情報を記憶する。さらに、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１３を終了すると、本処理は終了となる。他方、Ｒ２０８にて、追跡不可状態（ロスト）を継続している指先が存在すると判定された場合にはＲ２０９に進む。

Ｒ２０９では、新規出現の指先のうち、現在、追跡不可状態（ロスト）を継続している指先と同一の指があるか否かを特定する。具体的には、Ｒ２０７にて実際に特定された新規出現の指先の現フレームにおける位置情報と、追跡情報５００に含まれる追跡不可状態の指先の最後の位置を示す位置情報（追跡復帰判断情報）とに基づいて、追跡不可状態となっている指先のうち、実際に特定された新規出現の指先の位置に対し、一定範囲内にて最も近接するものが存在するか否かを判定する。ここでは、現フレームにて実際に特定された各指先の指先位置と、追跡不可状態となっている各指先の指先位置との間の距離を算出し、それらの距離のうち、最も距離が短く、なおかつ予め定められた基準距離よりを下回る距離を特定して、当該距離に対応するする現フレームにて実際に特定された各指先と追跡不可状態となっている各指先とを同一の指先と判定する。ただし、一定範囲内に存在する追跡不可状態となっている指先が複数存在する場合には、追跡不可認識順序（追跡復帰判断情報）に基づいて、最も最近に追跡不可状態となった指先を、現フレームにおいて新規出願と特定された指先と同一と特定する。

続くＲ２１０では、Ｒ２０９の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一のものが存在するか否かを判定して、存在する場合にはＲ２１１に進み、存在しない場合にはＲ２１３に進む。

Ｒ２１１では、Ｒ２０９の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一と判定された指先が複数あるか否かを判定する。複数ではなく１つであると判定されている場合にはＲ２１２に進む。Ｒ２１２では、当該１つの指先の追跡不可状態（ロスト）における指先ＩＤに対応付ける形で、当該指先と同一と判定された、現フレーム上で特定された新規出願の指先の位置情報を記憶し、当該指先ＩＤの追跡情報を更新する。これにより、追跡不可状態の指先の位置追跡が再開される。なお、このとき、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１２を終了すると、本処理は終了となる。

他方、Ｒ２１１にて、Ｒ２０９の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一と判定された指先が複数あると判定された場合にはＲ２１４に進む。Ｒ２１４では、それら複数の指先のうち、追跡不可認識順序（追跡復帰判断情報）に基づいて、最も最近に追跡不可状態となった指先を特定し、特定された指先の指先ＩＤに対応付ける形で、当該指先と同一と判定された、現フレーム上で特定された新規出願の指先の位置情報を記憶し、当該指先ＩＤの追跡情報を更新する。これにより、追跡不可状態の指先の位置追跡が再開される。なお、このとき、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１４を終了すると、本処理は終了となる。

なお、Ｒ２０１において、取得した新たな動画像フレーム内に指先が特定されなかった場合には、図５６に示すような追跡情報５００はリセットされ、各ＩＤに対応する情報は消去されるものとする。

このように、カメラ１２ｂが撮影する動画像から特定される全ての指先を、フレームアウト時も考慮して継続的に追跡することにより、操作対象指Ｐを同じ指に固定して定めることができる。具体的には、操作対象指Ｐを特定する処理によって操作対象指Ｐが指定された際に、図５６に示すように、操作対象指Ｐを示す操作対象指情報を指先ＩＤに対応付ける形で記憶しておくことで、これを参照することにより、どのタイミングにおいても操作対象指Ｐを特定することができる。即ち、図５４及び図５５のような指追跡処理を追加することにより、所定周期で繰り返し実施される図２５の処理において、Ｔ３による操作対象指Ｐの特定処理は別途実施するものとし、Ｔ３では、指先ＩＤに対応付けて記憶されている操作対象指情報に基づいて、操作対象指Ｐを特定すればよい。

また、この指先追跡処理の適用は、図３９の第十実施形態の第四例や図４０の第十実施形態の第五例のように、ユーザーによりなされる操作対象指指定操作の操作内容に基づいて、操作対象指Ｐが指定される実施形態にとって好適となる。図３９の第十実施形態の第四例や図４０の第十実施形態の第五例では、タッチパネル１２ａへのタッチ操作が操作対象指指定操作であり、当該タッチ操作の操作内容に基づいて、操作対象指Ｐが指定される。つまり、ユーザーによる操作対象指指定操作がなされない限り操作対象指Ｐが変更されない実施形態であれば、動画像フレームを取得するたびに操作対象指Ｐを特定する演算をする必要が無くなり、各指の追跡情報から指定すべき指をピックアップするだけで、容易に操作対象指Ｐを特定することができる。

また、第十実施形態における操作対象指Ｐを、既に述べた簡易操作指状態において特定される指と一致するように構成してもよい。

以下、他の実施形態の実施形態について説明する。

また、上記した実施形態においては、位置指示画像２００Ｈとして、撮影された指の輪郭形状をそのまま反映させた加工画像（実指画像）２００Ｈを表示しているが、撮影された指の指先Ｑ（即ち撮影された指の指示位置）を指し示す指先位置画像（ポインタ等：図６７参照）２００Ｈ２のように、指形状とは全く異なる画像を表示してもよい。強調表示を行うのであれば、指先Ｑを含む指先領域（例えば、指の第一関節までや、指先位置Ｑを中心とする所定半径内領域等）だけを強調して表示してもよい。この場合は、撮影された指の指先Ｑが、表示画面上のどの位置に対向するのかを特定して、特定された画面位置にポインタ等の所定の位置指示画像を表示する。また、位置指示画像２００Ｈとして、撮影された指の長さ方向Ｆ及び指先Ｑを簡略的に示す擬似指画像（ここでは棒状の画像：図６６参照）２００Ｈ１等を表示してもよい。

また、第十実施形態における操作対象指Ｐを、既に述べた簡易操作指状態として特定される指と一致するように構成してもよい。

また、上記実施形態においては、本発明の遠隔操作部としてタッチパネルを設けて構成しているが、プッシュスイッチやシーソースイッチ等の押圧操作を伴うスイッチを備える操作部であってもよい。また、上記実施形態においては、操作パネル１２ａとして抵抗膜式のタッチパネルを用いているが、他の方式のタッチパネルを用いてもよい。

また、操作パネル１２ａとして、タッチ操作の位置検出を、カメラ等の撮影手段により撮影された撮影画像への画像処理により行うものを、タッチパネルに代わって採用してもよい。具体的にいえば、操作パネル１２ａを、表面１２ａ１がタッチ操作面をなす透光性を有したパネルとし、この操作パネル１２ａにタッチ操作面１２ａ１側から接近する接近対象物に予め定められた波長帯の光を、当該操作パネル１２ａを介して照射する光源１２ｃを設ける。そして、手画像撮影手段をなすカメラ１２ｂを、少なくともその光源１２ｃから照射された光が接近対象物にて反射した反射光を捉える形で、当該接近対象物を操作パネル１２ａ１の裏面１２ａ２側から撮影する撮影手段とする。さらに、制御回路１８を、このカメラ１２ｂにより撮影された画像上において、反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定手段として機能させるとともに、特定されたこの光反射領域（座標情報）に基づいて、当該光反射領域へのタッチ入力を受け付ける入力受付手段としても機能させるように構成する。

この構成によると、カメラ１２ｂの撮影画像に予め定められた閾強度を上回る光反射領域が特定された場合に、その特定された領域にタッチ操作入力があったと判定して、入力が受け付けられる。つまり、カメラ１２ｂの撮影画像は、上記した実施形態と同様に位置指示画像の表示に利用されるだけでなく、光反射領域の特定にも利用されるように構成されている。また、この場合、特定された前記光反射領域の面積が予め定められた閾面積を上回った場合に、当該光反射領域へのタッチ操作入力を受け付けるようにすることもできる。

なお、上記した各実施形態について、各要素を組み合わせて実施することももちろん可能である。

１０ 車両用ナビゲーション装置
１２ 操作情報入力部（遠隔操作部）
１２ａ 操作パネル
１２ｂ カメラ（手画像撮影手段）
１２ｃ 光源
１５ 表示装置（表示手段）
１５ａ タッチパネル
１８ 制御回路（入力受付手段、位置指示画像表示手段、簡易操作用指状態特定手段、操作入力制御手段、表示モード設定手段、操作者特定手段、走行状態特定手段、位置指示画像強調表示手段、指特定手段、操作対象指指定手段、指先特定手段、指定指情報取得手段）
１８ａ 画像処理部
２０ カメラ
３０ 車速センサ
４０ カメラ
４１，４２ カメラ
５０ 車両内ＬＡＮ
１００ ＥＣＵ
１５０ 撮影画像
２００Ｂ メイン画像
２００Ｉ スイッチ画像（操作アイコン）
２００Ｈ 位置指示画像（手画像）
Ｈ 接近対象物（手・指）

Claims (28)

1. 車両が備える機器の操作などを行うための表示画面を有した表示手段と、前記表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、前記遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付手段と、前記遠隔操作面に対向する手の画像を撮影する手画像撮影手段と、当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示手段と、を備える車両用操作入力装置であって、
   前記遠隔操作面に対向する手の指状態が、予め定められた簡易操作用指状態であるか否かを特定する簡易操作用指状態特定手段と、
   前記位置指示画像表示手段に対し設定される表示モードを、前記簡易操作用指状態が特定されている場合に前記位置指示画像の表示を許可する表示許可モードに設定し、前記簡易操作用指状態が特定されていない場合には前記位置指示画像の表示を禁止する表示禁止モードに設定する表示モード切替制御を実行する表示モード設定手段と、
   を備えることを特徴とする車両用操作入力装置。
2. 車両の車速を検出する車速検出手段を備え、
   前記表示モード設定手段は、前記車両が予め定められた車速レベルを上回る車両走行状態にある場合には、前記表示モード切替制御を実行し、前記車両走行状態にない場合には、前記表示モードとして前記表示許可モードを設定するものである請求項１記載の車両用操作入力装置。
3. 前記遠隔操作面の操作者が、運転者であるか否かを特定する操作者特定手段を備え、
   前記表示モード設定手段は、前記遠隔操作面の操作者として前記運転者が特定されている場合には、前記表示モード切替制御を実行し、前記遠隔操作面の操作者として前記運転者が特定されていない場合には、前記表示モードとして前記表示許可モードを設定するものである請求項１又は請求項２記載の車両用操作入力装置。
4. 前記表示モード設定手段により、前記表示許可モードが設定されている場合には、前記入力受付手段による入力の受け付けを許可し、前記表示禁止モードが設定されている場合には、前記入力受付手段による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御手段を備える請求項１ないし請求項３のいずれか１項に記載の車両用操作入力装置。
5. 前記簡易操作用指状態特定手段により、前記簡易操作用指状態が特定されている場合には、前記入力受付手段による入力の受け付けを許可し、前記簡易操作用指状態が特定されていない場合には、前記入力受付手段による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御手段を備える請求項１ないし請求項３のいずれか１項に記載の車両用操作入力装置。
6. 前記簡易操作用指状態特定手段は、前記手画像撮影手段により撮影された前記手の画像に基づいて、前記遠隔操作面に対向する手の指形状を認識する指形状認識手段を備え、認識された指形状が予め定められた簡易操作用の指形状であった場合を前記簡易操作用指状態として特定するものである請求項１ないし請求項５のいずれか１項に記載の車両用操作入力装置。
7. 前記簡易操作用指状態特定手段は、前記指形状認識手段により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の本数を特定する指本数特定手段を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の本数が予め定められた簡易操作用の数であった場合を前記簡易操作用指状態として特定するものである請求項６記載の車両用操作入力装置。
8. 前記簡易操作用指状態特定手段は、予め定められた期間の間に前記入力受付手段が受け付けた、前記遠隔操作面の異なる位置になされた押圧操作による入力の数を特定する操作数特定手段を備え、当該期間内に特定された入力数が予め定められた簡易操作用の数であった場合を前記簡易操作用指状態として特定するものである請求項１ないし請求項５のいずれか１項に記載の車両用操作入力装置。
9. 前記簡易操作用の数が１本である請求項７又は請求項８に記載の車両用操作入力装置。
10. 前記簡易操作用の数が２本である請求項７又は請求項８に記載の車両用操作入力装置。
11. 前記簡易操作用の数が３本である請求項７又は請求項８に記載の車両用操作入力装置。
12. 前記簡易操作用の数が４本である請求項７又は請求項８に記載の車両用操作入力装置。
13. 前記簡易操作用指状態特定手段は、前記指形状認識手段により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の種別を特定する指種別特定手段を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の種別が予め定められた簡易操作用の指種別のもののみであった場合を前記簡易操作用指状態として特定するものである請求項６記載の車両用操作入力装置。
14. 前記簡易操作用の指種別が人差し指である請求項１３記載の車両用操作入力装置。
15. 前記簡易操作用の指種別が中指である請求項１３記載の車両用操作入力装置。
16. 前記簡易操作用の指種別が人差し指と中指の双方である請求項１３記載の車両用操作入力装置。
17. 前記位置指示画像表示手段は、前記手画像撮影手段により撮影された手の画像に基づいて当該手の指の輪郭が少なくとも特定可能となる実指画像を生成し、生成された実指画像を前記位置指示画像として表示するものである請求項１ないし請求項１６のいずれか１項に記載の車両用操作入力装置。
18. 前記位置指示画像表示手段は、指の延びる方向と指先位置が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを前記位置指示画像として表示するものである請求項１ないし請求項１６のいずれか１項に記載の車両用操作入力装置。
19. 請求項２記載の要件を備え、
    前記予め定められた車速レベルは、０ｋｍ／ｈと定められている請求項１ないし請求項１８のいずれか１項に記載の車両用操作入力装置。
20. 請求項２記載の要件を備え、
    前記予め定められた車速レベルは、０ｋｍ／ｈよりも速く５ｋｍ／ｈよりも遅い車速範囲内に定められている請求項１ないし請求項１８のいずれか１項に記載の車両用操作入力装置。
21. 請求項２記載の要件を備え、
    前記予め定められた車速レベルは、５ｋｍ／ｈ以上１０ｋｍ／ｈ未満の車速範囲内に定められている請求項１ないし請求項１８のいずれか１項に記載の車両用操作入力装置。
22. 請求項２記載の要件を備え、
    前記予め定められた車速レベルは、１０ｋｍ／ｈ以上３０ｋｍ／ｈ未満の車速範囲内に定められている請求項１ないし請求項１８のいずれか１項に記載の車両用操作入力装置。
23. 請求項２記載の要件を備え、
    前記予め定められた車速レベルは、３０ｋｍ／ｈ以上６０ｋｍ／ｈ未満の車速範囲内に定められている請求項１ないし請求項１８のいずれか１項に記載の車両用操作入力装置。
24. 請求項２記載の要件を備え、
    前記予め定められた車速レベルは、６０ｋｍ／ｈ以上の車速範囲内に定められている請求項１ないし請求項１８のいずれか１項に記載の車両用操作入力装置。
25. 前記遠隔操作面への押圧操作による入力が前記入力受付手段により受け付けられる複数の操作画面を、前記表示画面上に切り替える形で表示する操作画面表示手段と、
    前記複数の操作画面のうち前記表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を予め記憶する表示モード実行可否情報記憶手段と、
    を備え、前記表示モード設定手段は、前記表示モード実行可否情報に基づいて、前記操作画面表示手段により表示される前記操作画面が前記表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて前記表示モード切替制御を実行する請求項１ないし請求項２４のいずれか１項に記載の車両用操作入力装置。
26. 前記表示モード実行可否情報は、前記操作画面のうち、前記入力受付手段により入力が受け付けられる前記遠隔操作面への押圧操作が、予め定められた操作負担レベルを上回る操作を含む複雑操作画面を前記表示モード切替制御の実行対象と定め、予め定められた操作負担レベルを上回らない操作のみである簡易操作画面を前記表示許可モードの固定設定対象と定めている請求項２５記載の車両用操作入力装置。
27. 前記簡易操作画面には、少なくともメニュー選択画面と、音量調整画面と、風両調整画面とのうちいずれか又は１以上が含まれている請求項２６記載の車両用操作入力装置。
28. 前記複雑操作画面には、少なくとも文字入力画面が含まれている請求項２６又は請求項２７に記載の車両用操作入力装置。

Images