WO2009116285A1

WO2009116285A1 - 車両用操作入力装置

Info

Publication number: WO2009116285A1
Application number: PCT/JP2009/001213
Authority: WO
Inventors: 青木隆; 赤堀一郎; 丹羽伸二; 伊藤正広; 川島毅; 長田岳史
Original assignee: 株式会社デンソー
Priority date: 2008-03-19
Filing date: 2009-03-18
Publication date: 2009-09-24
Also published as: EP2258587A4; KR101267378B1; CN101977796B; EP2258587A1; CN101977796A; CN103076949A; KR20100120705A; EP2700528A3; KR101297144B1; CN103076949B; US20110029185A1; KR20120132561A; EP2700528A2

Abstract

　操作パネル（１２ａ）と、該操作パネル（１２ａ）上の指示位置を表示するための位置指示画像（２００Ｈ）を表示する表示装置（１５）とを備える車両用操作入力装置であって、操作パネル（１２ａ）に対向する手の指状態が、操作意思表示用指状態であるか否かを特定し、車両が走行状態にある場合に、当該指状態が特定されると位置指示画像（２００Ｈ）の表示が許可され、当該指状態が特定されないと位置指示画像（２００Ｈ）の表示が禁止される。

Description

車両用操作入力装置

関連出願の相互参照

　本出願は、
２００８年３月１９日に出願された日本特許出願２００８－７１４６７、
２００８年３月１９日に出願された日本特許出願２００８－７１４６８、
２００８年３月１９日に出願された日本特許出願２００８－７１４７０、
２００８年１１月１４日に出願された日本特許出願２００８－２９１５９２、
２００９年１月３０日に出願された日本特許出願２００９－２１００３、
２００９年１月３０日に出願された日本特許出願２００９－２１００４、および
２００９年１月３０日に出願された日本特許出願２００９－２１００５、
を基にしており、そして、それらを参照することによって、それらの開示内容を本出願に組み込む。

　本発明は車両用操作入力装置に関する。

特開２０００－６６８７号公報　近年では、操作入力装置（特許文献１）としてプロンプター方式等の遠隔的に機器操作を行う操作入力装置が開発されている。このような操作入力装置は、操作画面（メイン画面）を表示する表示装置とは別に、操作者の手元に遠隔操作部を設け、さらに、その遠隔操作部を操作する手を撮影・抽出し、得られた手画像および手操作を表示装置の操作画面（メイン画面）に反映して、あたかも操作画面を直接タッチ操作しているかのように表示制御するものである。また、このような操作入力装置のうち、車両に設けられるものについては、その操作性を増すために、遠隔操作部が座席に着座したユーザーの手元に設けられる。そして、その遠隔操作部は、タッチ操作面を有してなるタッチ操作式の操作部として構成されることが多い。

　上記のような操作入力装置では、ユーザーの手元に遠隔操作部が設けられるので、意図しないで操作部に触れてしまい、誤った操作入力がされることが問題となる。特に、タッチパネル等のタッチ操作式の操作部であれば、何かのはずみで接触しただけでも入力がされてしまうことがある。

　さらにいえば、上記のような操作入力装置において、遠隔操作部を操作する手を実際に操作画面上に表示すると、手が遠隔操作部に近い場合には、指のみが表示された状態となる。ところが、ユーザーの中には、より早く入力するために、片手の５本の指でタッチ操作入力を行う人もいる。この場合、操作画面上では、多数本の指が同時に並んで表示されるので、表示された指と、実際に操作者が位置指示に使いたい指との対応関係がわからなくなり、誤操作を招く可能性があった。特に、車両運転中の運転者は操作画面を凝視できないので運転しながらでの多数本の指での操作入力は難しく、誤操作を生じやすかった。

本発明の課題は、遠隔操作部において誤操作がされ難い車両用操作入力装置を提供することにある。

　さらに、本発明の課題は、手指に対応する位置指示画像を別の画像に重畳ないし合成する表示において、位置指示に使用する実際の指を容易に特定できるような位置指先画像の表示方法、該表示方法を採用する表示装置、及び該表示装置を備える操作入力装置を提供することにある。

　本発明の例として、車両用操作入力装置は次のように提供される。　車両が備える機器の操作などを行うための表示画面を有した表示部と、前記表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、前記遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付部と、前記遠隔操作面に対向する手の画像を撮影する手画像撮影部と、当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示部と、前記遠隔操作面に対向する手の指状態が、予め定められた所定指状態であるか否かを特定する所定指状態特定部と、前記位置指示画像表示部に対し設定される表示モードを、前記所定指状態が特定されている場合に前記位置指示画像の表示を許可する表示許可モードに設定し、前記所定指状態が特定されていない場合には前記位置指示画像の表示を禁止する表示禁止モードに設定する表示モード切替制御を実行する表示モード設定部と、を備えている。

　本発明の例として、表示方法は、次のように提供される。　表示画面を有した表示部と、前記表示画面への操作を遠隔的に行うための遠隔操作面を有した遠隔操作部とを備える表示装置において、前記遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する前記表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示する表示方法であって、前記遠隔操作面に対向する手の指状態が、予め定められた指状態であるか否かを特定する所定指状態特定ステップと、前記所定指状態が特定されている場合に前記位置指示画像の表示を許可する表示許可モードに設定するステップと、前記所定指状態が特定されていない場合には前記位置指示画像の表示を禁止する表示禁止モードに設定するするステップと、を有する。

　本発明のさらに別の例として、表示方法は、次のように提供される。　表示画面を有した表示部と、前記表示画面への操作を遠隔的に行うための遠隔操作面を有した遠隔操作部とを備える表示装置において、前記遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する前記表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示する表示方法であって、前記遠隔操作部の手前側で対向する手において指を特定する指特定ステップと、特定された前記指から前記遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定ステップと、前記表示画面上の背景画像に合成ないしは重畳する形で、特定された前記指の指示位置を示す前記位置指示画像を表示する表示ステップであって、表示される前記位置指示画像のうち、指定された前記操作対象指に対応する位置指示画像を、当該操作対象指とは異なる指に対応する位置指示画像よりも相対的に強調する強調表示にて行う位置指示画像強調表示ステップとを有する。

　本発明における上記あるいは他の目的、構成、利点は、下記の図面を参照しながら、以下の詳細説明から、より明白となる。図面において、
本発明の、第一実施形態のタッチ式操作入力装置の一例である車両用操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図。車両用操作入力装置の概要を説明するための車室内の要部斜視図。操作情報入力部の第一の構成を示す断面図。第一実施形態の第一実施例において操作パネルに対向する手の撮影及び表示を説明する第一の図。第一実施形態の第一実施例において操作パネルに対向する手の撮影及び表示を説明する第二の図。第一実施形態の第一実施例において操作パネルに対向する手の撮影及び表示を説明する第三の図。第一実施形態の第一実施例において操作パネルに対向する手の撮影及び表示を説明する第四の図。操作者を特定するために撮影された画像の一例を示す図。第一実施形態の第一実施例における位置指示画像表示処理を示すフローチャート。第一実施形態の第一実施例におけるタッチ操作入力処理を示すフローチャート。第一実施形態の第二実施例の位置指示画像表示処理を示すフローチャート。第一実施形態の第三実施例の位置指示画像表示処理を示すフローチャート。第一実施形態の第四実施例の位置指示画像表示処理を示すフローチャート。第一実施形態の第五実施例におけるタッチ操作入力処理を示すフローチャート。図２とは異なる車両用操作入力装置の概要（第六実施例）を説明するための車室内の要部斜視図。第二実施例ないし第四実施例における車速閾値の設定例。第一実施形態の第七実施例の位置指示画像表示処理を示すフローチャート。第一実施形態において設定可能な表示許可期間の一例を示す図。第一実施形態の第七実施例における表示許可期間を示す図。第一実施形態の第八実施例における表示許可期間を示す図。第一実施形態の第九実施例における位置指示画像の強調表示処理の流れを示すフローチャート。第一実施形態における操作画面の一例。第一実施形態における操作画面の一例。第一実施形態における操作画面の一例。第一実施形態の第十実施例における位置指示画像の強調表示処理の流れを示すフローチャート。第一実施形態の第十実施例における操作対象指の特定処理の第一変形を示すフローチャート。第一実施形態の第十実施例において操作パネルに対向する手の撮影及び表示を説明する第一の図。第一実施形態の第十実施例において操作パネルに対向する手の撮影及び表示を説明する第二の図。指先の特定方法を説明する図。図２６の実施例において操作対象指を特定する方法の第一例を説明する図。図２６の実施例において操作対象指を特定する方法の第二例を説明する図。図２６の実施例において操作対象指を特定する方法の第三例を説明する図。第一実施形態の第十実施例における位置指示画像の強調表示の時間変化の一例を示す図。第一実施形態の第十実施例における操作対象指の特定処理の第二変形を示すフローチャート。第一実施形態の第十実施例の第二変形において操作対象指を特定する方法の第一例を説明する図。第一実施形態の第十実施例の第二変形において操作対象指を特定する方法の第二例を説明する図。第一実施形態の第十実施例における操作対象指の特定処理の第三変形を示すフローチャート。第一実施形態の第十実施例の第三変形において操作対象指を特定する方法の一例を説明する図。第一実施形態の第十実施例における操作対象指の特定処理の第四変形を示すフローチャート。第一実施形態の第十実施例における操作対象指の特定処理の第五変形を示すフローチャート。第一実施形態の第十実施例の第五変形において操作対象指を特定する方法の一例を説明する図。第一実施形態の第十実施例における操作対象指の特定処理の第六変形を示すフローチャート。第一実施形態の第十実施例の第六変形において操作対象指を特定する方法の一例を説明する図。第一実施形態の第十実施例における操作対象指の特定処理の第七変形を示すフローチャート。第一実施形態の第十実施例の第七変形において操作対象指を特定する方法を説明する第一の図。第一実施形態の第十実施例の第七変形において操作対象指を特定する方法を説明する第二の図。第一実施形態の第十実施例における位置指示画像の強調表示の一表示例を示す図。第一実施形態の第十実施例における位置指示画像の強調表示の一表示例を示す図。第一実施形態の第十実施例の第十一変形においてつまみ操作を前提とする操作部を簡略的に示す斜視図。図４９に示すｘ方向、ｙ方向、ｚ方向からの撮影画像の一例。図５０に基づく表示画像の一例。図５１とは異なる、図５０に基づく表示画像の一例。第一実施形態の第十実施例の第十一変形において操作対象指を特定する方法の一例を説明する図。指追跡処理の流れを示すフローチャート。図５４に続くフローチャート。指先位置を予測する制御回路に記憶される追跡情報を説明する図。動画像フレーム間で指先を追跡する基本アルゴリズムを説明する図。指先（指）の出現予測位置の算出方法を示す図。前フレームにて新規出現した指先の次フレームでの出現予測位置の算出方法を説明する図。指先の新規出現及び指先のロストを説明する図。第一実施形態の第十実施例における位置指示画像の強調表示の時間変化の一例を示す図。第一実施形態の第十実施例における位置指示画像の強調表示の時間変化の一例を示す図。第一実施形態の第十実施例における位置指示画像の強調表示の一表示例を示す図。第一実施形態の第十実施例における位置指示画像の強調表示の一表示例を示す図。第一実施形態の第十実施例における位置指示画像の強調表示の一表示例を示す図。第一実施形態における位置指示画像を擬似指画像にて表示した一表示例を示す図。第一実施形態における位置指示画像を指先位置画像にて表示した一表示例を示す図。所定指状態の第二例を説明する図。図２及び図１５とは異なる車両用操作入力装置の概要（第六実施例）を説明するための車室内の要部斜視図。所定指状態の第三例を説明する図。所定指状態の第四例を説明する図。所定指状態の第五例を説明する図。表示モード切替制御の実施対象となる画面条件の例を示す図。タッチ操作入力処理の流れを示すフローチャート。所定指状態の例示。

　１．　第1実施形態
　１．１　第一実施例
　以下、本発明の第一実施形態の操作入力装置の第一実施例を、図面を参照して説明する。

　(構成)
　図１は、本実施形態の操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図である。本実施例においては、操作入力装置１として、表示画面上にタッチ操作用のスイッチ画像（操作アイコン）等の操作入力用画像を表示可能な表示装置１５と、それら表示画面へのタッチ操作を遠隔的に行うための操作パネル１２ａとが別位置に設けられてなる操作入力装置を採用している。なお、本実施例のタッチ式操作入力装置の操作対象は、ナビゲーション機能のみに限られず、車内ＬＡＮ５０を介して接続するＥＣＵ１００が制御する他の車載電子機器の機器機能（オーディオ、エアコン、パワーウィンドウ、シート調整機能等）も含むことができる。

　ナビゲーション装置１０は、車両の現在位置を検出する位置検出器１１と、運転者等の操作者からの各種指示を入力するための操作情報入力部１２と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器１４と、地図表示画面やＴＶ（Television）画面等の各種表示を行うための表示装置１５と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置１６と、車両情報等の各種のデータを記憶するためのハードディスク記憶装置１７と、車両情報の授受を行うための車両Ｉ／Ｆ（Interface）部１９と、他の通信装置１３ａと近距離無線通信を行うための無線通信機１３と、これら１１～１９と接続する制御回路１８とを備えている。また、制御回路１８は、カメラ２０，４０及び車速センサ３０に接続することもできる。本実施例においては、図６９のように、カメラを後述するカメラ１２ｂのみとして構成してもよい。

　位置検出器１１は、ＧＰＳ（Global　Positioning　System）用の人工衛星からの送信電波をＧＰＳアンテナを介して受信し、車両の位置，方位，速度等を検出するＧＰＳ受信機１１ａと、車両に加えられる回転運動の大きさを検出するジャイロスコープ１１ｂと、車両の前後方向の加速度等から走行した距離を検出する距離センサ１１ｃと、地磁気から進行方位を検出する地磁気センサ１１ｄとを備えている。そして、これら各センサ等１１ａ～１１ｄは、各々が性質の異なる誤差を有しているため、互いに補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部のセンサで構成してもよく、また、ステアリングの回転センサや各転動輪の車輪センサ等（図示せず）を用いてもよい。

　操作情報入力部１２は、図３に示すように、予め定められた波長帯の光を照射する光源１２ｃと、該光源１２ｃからの照射光が表面１２ａ２側から表面１２ａ１側に向けて透過するよう配置された透光性を有する操作パネル１２ａと、該操作パネル１２ａを撮影範囲に含む形で該操作パネル１２ａの裏面１２ａ２側から撮影するカメラ（接近対象物撮影部あるいは手段）１２ｂと、を備えている。

　なお、本実施例の操作情報入力部１２は、図２に示すように、車両のセンターコンソール部Ｃのような、車両のフロントガラス下縁よりも下側で、かつ隣接する左右両座席から操作可能な位置に設置されている。さらに言えば、表示装置１５よりも下側で、かつ隣接する左右両座席の両座部の間の前側に配置されている。なお、本実施例における隣接する左右両座席とは、図２の運転席２Ｄ及び助手席２Ｐのことであるが、例えば後列の左右の座席であってもよい。さらに、左右両座席から操作可能な位置に限らず、例えば、ステアリング部やドア部など、操作者が操作しやすい位置に設置されていてもよい。

　操作パネル１２ａは、少なくとも光源１２ｃから照射される光に対して透光性を有したパネルからなる。本実施例においては縦方向透明電極と横方向透明電極とを備えた周知の抵抗膜方式のタッチパネルとして構成されており、その出力が制御回路１８に入力される。

　図３に示すように、操作パネル１２ａは、中空の筐体１２ｆの前端開口に嵌め込まれており、表面１２ａ１がタッチ操作面（遠隔操作面）とされている。前端開口を形成する筐体前端部１２１ｅの外縁からは、後方に向けて筒状の壁部１２２ｅが設けられており、その後端部が回路基板１２ｋに固定されている。この筐体１２ｆは、車室内の所定位置の固定配置されており、内部には、カメラ１２ｂ及び光源１２ｃが配置されている。

　光源１２ｃは、図３に示すように、操作パネル１２ａを裏面１２ａ２から表面１２ａ１に透過させる形で光を照射する。光源１２ｃからの光（照射光）は、タッチ操作面１２ａ１を被うように位置する接近対象物（例えば手等）が存在しない限り、該タッチ操作面１２ａ１から外に通過していくが、該タッチ操作面１２ａ１に対向する形で接近した接近対象物Ｈが存在する場合には、当該接近対象物Ｈに反射して、その光（反射光）の一部は裏面１２ａ２側に戻り、カメラ１２ｂに捉えられる。

　カメラ１２ｂは、光源１２ｃから照射された光が接近対象物Ｈにて反射した反射光を捉える形で、当該接近対象物Ｈを操作パネル１２ａの裏面１２ａ２側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。具体的にいえば、当該撮影範囲をカメラ１２ｂにより撮影できるように反射部材１２ｒが設けられ、カメラ１２ｂはその反射画像を撮影している。反射部材１２ｒが無い場合は、当該撮影範囲をカメラ１２ｂにより直接撮影する形となるから、撮影後の画像に左右反転処理を施す必要がある。

　本実施例において、光源１２ｃは赤外光光源であり、カメラ１２ｂは、暗所での撮影にも適した赤外線カメラ（可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う）である。赤外光光源１２ｃから照射された光（赤外線）が接近対象物Ｈにて反射した反射光をカメラ１２ｂが捉える形で撮影がなされる。カメラ１２ｂは、車体側に固定された基板上に固定配置されており、撮影範囲として、タッチ操作面１２ａ１が含まれる範囲が設定されている。また、赤外光光源１２ｃは、操作パネル１２ａの裏面側後方に位置するＬＥＤである。また、本実施例における操作パネル１２ａは、光源１２ｃの光に対してのみ透光性を有した材料にて構成されているので、カメラ１２ｂ内の赤外線フィルタを不要とすることができ、かつ、筐体１２ｆの内部が外部から視認できないようになっている。

　なお、本実施例におけるカメラ１２ｂは、撮影部あるいは手段として機能するものである。このカメラ１２ｂは、操作パネル１２ａに対向する形で接近する接近対象物を撮影する接近対象物撮影部あるいは手段として機能するものであり、接近対象物に手が含まれることを考慮すれば、その手の画像を撮影する手画像撮影部あるいは手段、さらには手の指の画像を撮影する指画像撮影部あるいは手段として機能しているともいえる。

　図４～図７は、操作パネル１２ａに対向する手（指）Ｈの撮影を説明する図である。各図の（ａ）は、操作パネル１２ａと、その表面１２ａ１に対向する手の状態（指の状態）を示しており、各図の（ｂ）は、（ａ）の状態の手をカメラ１２ｂにて撮影した映像１５０であり、操作パネル１２ａ全体を撮影領域として撮影された画像である。ただし、本実施例における（ｂ）の映像１５０は、撮影後にその映像を２値化したものである。（ｂ）において、符号１５０Ｈは接近対象物Ｈが映った領域、符号１５０Ｂは何も映らなかった領域である。符号１５０Ｂの領域は本来、操作パネル１２ａが映る領域であるが、該操作パネル１２ａが光源１２ｃの光に対し透光性を有するので映らない。また、それであっても、その操作パネル１２ａ越しに背景（本実施例でいえば車両の天井面等）が映っていてもおかしくないが、そうした背景は除去されている。背景除去に関しては、特開２００７－２７２５９６号公報に記載されているように、異なる照明条件の画像を使用することで可能となる。ちなみに、各図の（ｃ）は、（ｂ）の映像１５０が撮影されているときの、表示装置１５における画面表示の一例である。ただし、図４（ｃ）は、従来のプロンプター方式操作入力装置における画面表示の一例であり、本実施例においては、図４（ｂ）のような映像１５０がされているときには、図５（ｃ）に示すような画面表示となる。

　図１に戻り、表示装置１５は、図２の運転席２Ｄの車両前方側で、運転者により視認可能に設置されたカラー表示装置であり、表示画面がタッチ操作面１２ａ１よりも運転者から遠い位置に設けられている。表示装置１５としては、液晶ディスプレイ，プラズマディスプレイ，有機ＥＬディスプレイ等のいずれを用いてもよい。表示装置１５の表示画面は、位置検出器１１にて検出した車両の現在位置と地図データ入力器１４より入力された地図データとから特定した現在地を示すマーク，目的地までの誘導経路，名称，目印，各種施設のマーク等の付加データとを重ねて表示することができる。また、施設のガイド等も表示できる。なお、表示装置１５の表示部あるいは手段の例として機能する。

　また、表示装置１５は、車両が備える機器の操作などを行うための表示画面を有するものであり、本実施例においては、表示画面上にタッチパネル１５ａを備えている。既に述べた操作情報入力部１２のタッチパネル１２ａは、当該タッチパネル１５ａの操作を、それよりも運転者や助手席搭乗者に近い位置から遠隔的に操作できるよう設けられた遠隔操作部である。当該タッチ操作面１２ａ１になされたタッチ操作に基づいて、そのタッチ操作位置に対応した、表示装置１５の画面位置（タッチパネル１５ａのタッチ操作面位置）への入力が受け付けられる。具体的にいえば、表示装置１５の表示画面上に定められる二次元座標系（タッチパネル１５ａのタッチ操作面上に定められる二次元座標系）と、該操作パネル１２ａのタッチ操作面１２ａ１上に定められる二次元座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされており、タッチ操作面１２ａ１にタッチ操作があった場合には、その対応関係に基づいて、当該タッチ操作がなされた位置座標に対応する、表示装置１５の表示画面上の位置座標への操作入力が受け付けられる。

　つまり、タッチ操作面１２ａ１にタッチ操作があった場合には、制御回路１８が、そのタッチ操作がなされたタッチ操作面１２ａ１上の位置座標を特定し、さらに、特定したタッチ操作面１２ａ１上の位置座標に対応する、表示装置１５の表示画面上の位置座標を特定して、その上で、特定された当該表示画面上の位置座標に対応する制御内容を実行する制御信号を出力する。例えば、表示装置１５の表示画面にスイッチ画像（操作アイコン等）２００Ｉが表示された場合には、タッチ操作面１２ａ１上において、当該スイッチ画像２００Ｉに対応する位置にタッチ操作をすれば、制御回路１８では、当該スイッチ画像２００Ｉへのタッチ操作があったとして入力が受け付けられ、これに伴い当該スイッチ画像２００Ｉに対応する制御内容が実行される。表示装置１５の表示画面にて表示送り可能な地図画面（地図操作用画像）が表示された場合には、タッチ操作面１２ａ１上において、該地図上の位置にタッチ操作をすれば、制御回路１８では、当該タッチ操作位置への入力が受け付けられ、これに伴い該タッチ操作位置を新たな画面中心として地図を表示する表示送り制御が実行される。

　なお、表示装置１５としては、図２に示すようなセンターコンソールＣ内に配置されるものに限られず、例えばフロントガラスＦＧ下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスＦＧに、上述の画像・データを表示するヘッドアップディスプレイ（ＨＵＤ）や、ステアリングホイールの奥に位置するメーター表示装置等を例示できる。

　図１に戻り、地図データ入力器１４は、ネットワークデータとしての道路データ，位置特定の精度向上のためのいわゆるマップマッチング用データ等の地図データ，施設を示すマークデータ，案内用の画像や音声データ等を含む各種のデータを入力するための装置である。これらのデータの記録媒体としては、ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ，ハードディスク，メモリ，メモリカード等を用いることができる。

　音声入出力装置１６は、地図データ入力器１４より入力した施設のガイドや各種案内の音声や、Ｉ／Ｆ１９を介して取得した情報の読み上げ音声を出力することができる。また、音声入出力装置１６は、図示しないマイクおよび周知の音声認識ユニットを含み、運転者等の操作者の音声をコマンド等として制御回路１８に入力することができる。

　無線通信機１３は、他の通信装置１３ａと狭帯域通信を行うためのものであり、例えばＤＳＲＣ（Dedicated　Short　Range　Communications），Ｂｌｕｅｔｏｏｔｈ（登録商標），無線ＬＡＮ（Local　Area　Network），ＵＷＢ（Ultra　Wideband）などが使用されている。

　ＬＡＮ　Ｉ／Ｆ１９は、車内ＬＡＮ５０を介して他の車載電子機器やセンサとのデータの遣り取りを行うためのインターフェース回路である。また、ＬＡＮ　Ｉ／Ｆ１９を介して、例えば他のＥＣＵ（図１のＥＣＵ１００等）からのデータ取り込みを行ってもよい。

　カメラ２０は、車両前方上部のバックミラー周辺部に設けられ、操作パネル１２ａのタッチ操作面１２ａを含むその周辺領域を撮影するものである。具体的に言えば、例えば図８に示すような撮影画像３００を撮影するものであり、撮影範囲が、操作パネル１２ａの操作者の手だけでなく、その手から続く腕まで映るように定められており、撮影される操作パネル周辺画像を取得する制御回路１８では、画像処理部１８ａにて手からのびる腕の方向を特定して、操作者が運転者であるか否かを特定する。図８の撮影画像３００においては、符号３００Ｈが手画像、符号３００Ａが手から続く腕の画像、符号３１２ａが操作パネル１２ａの映った領域であり、操作パネル１２ａの操作者の腕は撮影画像の右側から、即ち運転席側から延びているので、当該操作者が運転者であると特定される。本実施例においては、このカメラ２０が、制御回路１８（画像処理部１８ａ）とともに操作者特定部あるいは手段として機能している。なお、操作パネル１２ａの操作者が運転者であるか否かを特定する方法は、他の方法であってもよい。例えば、タッチ操作面１２ａの車両左右両側にそれぞれ接近物を検知する接近物検知部（例えば赤外反射センサ等の反射式光学センサ）を設け、これにより操作者を特定してもよい。

　車速センサ３０は、周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御回路１８に送るものである。制御回路１８では、その車輪の回転数を車両の速度（車速）に換算する他に、車両の現在位置から所定の場所までの予想到達時間を算出したり、車両の走行区間毎の平均車速を算出したりする。本実施例においては、この車速センサ３０が車速検出部あるいは手段であり、制御回路１８はその検出結果を受けて車両の走行状態が所定の低速走行状態であるか否かを特定する走行状態特定部あるいは手段として機能する。

　制御回路１８は、図示しない周知のＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ（Input/Output）およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ等の記憶部１８ｄに記憶されたプログラムに基づいて、位置検出器１１からの各検出信号に基づき座標および進行方向の組として車両の現在位置を算出し、地図データ入力器１４を介して読み込んだ現在位置付近の地図や、操作情報入力部１２の操作によって指示された範囲の地図等を、図７に示すようなメイン画像（動画・静止画を含む）２００Ｂとして表示装置１５に画面表示する地図表示処理や、地図データ入力器１４に格納された地点データに基づき、操作情報入力部１２の操作に従って目的地となる施設を選択し、現在位置から目的地までの最適な経路を自動的に求める経路計算を行って経路案内を行う経路案内処理等を行う。このように自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。

　また、制御回路１８は、ＲＯＭ等の記憶部１８ｄに記憶されたプログラムに基づいて、スイッチ画像（操作アイコン）２００Ｉ、操作情報入力部１２から取得した接近対象物画像１５０Ｈに基づく加工画像２００Ｈ等をサブ画像とし、これらをメイン画像２００Ｂ（地図操作用画像等）に合成して表示する、あるいは重ね表示するための画像処理部１８ａを有している。本実施例においては、接近対象物画像１５０Ｈが指等の映った手の画像である場合、撮影された手の画像１５０Ｈに基づいて生成された加工画像２００Ｈを位置指示画像として、その手により位置指示された表示画面上の位置に重ね表示する。つまり、該加工画像２００Ｈを、その手の指により位置指示された表示画面上の位置を指示する位置指示画像２００Ｈとして重ね表示する。

　なお、接近対象物画像１５０Ｈに基づく加工画像２００Ｈとは、本実施例においては、当該接近対象物画像１５０Ｈの少なくとも外形形状（輪郭）が反映されるよう加工・生成された接近対象物外形反映画像２００Ｈである。そして、この画像２００Ｈがメイン画像２００Ｂに重畳表示される。重畳表示ではなく、画像２００Ｈをメイン画像２００Ｂに合成して表示してもよい。これにより、運転者等の操作者が、例えば手の指等を、操作パネル１２ａのタッチ操作面１２ａ１に対面させる形で移動させると、これに併せて、表示装置１５の表示画面上には手形状（指形状）を反映した加工画像２００Ｈが移動して表示され、あたかも表示装置１５の表示画面に操作パネル１２ａが存在しているかのような感覚で操作を行うことができる。

　また、位置指示画像２００Ｈは、必ずしも撮影された手形状・指形状の輪郭を反映していなくともよく、少なくとも撮影された手の指が指し示す位置を指示する画像であればよく、例えば手の指部分だけであったり、指先だけであったり、あるいはポインタ画像等のシンボル画像であってもよい。また、位置指示画像２００Ｈとして、カメラ１２ｂにより撮影された手の画像（ないし指の画像）１５０Ｈを加工せずにそのまま表示（重畳表示や合成表示）しても問題はないが、これと重なる位置に表示されるはずのメイン画像２００Ｂの一部分が見えなくなること等を考慮すると、より操作がし易くなるような加工（例えば半透過合成）を施しておいた方がより望ましい。あるいは、実際の指の画像よりも細い擬似指画像に加工してもよい。

　また、制御回路１８のＲＯＭ等の記憶部１８ｄには、スイッチ画像２００Ｉを表示するためのスイッチ画像データが記憶されており、スイッチ画像２００Ｉの重ね表示ないし合成表示に用いられている。一方で、制御回路１８のＲＯＭ等の記憶部１８ｄには、各スイッチ画像２００Ｉに対応付けた形で、各々への操作入力（対応するタッチ操作面１２ａ１上の領域へのタッチ入力）により実施される制御内容も記憶されている。制御回路１８により、表示画面に表示されたメイン画像２００Ｂ上にスイッチ画像２００Ｉが重なった画像２００が表示されると、タッチパネル１２ａ，１５ａの双方のタッチ操作面には、スイッチ画像２００Ｉの表示位置に対応する領域に操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定部あるいは手段）。また、表示画面に、メイン画像２００Ｂとして表示送り可能な地図画面（地図操作用画像）２００Ｂ２が表示されると、表示されている地図領域全体に操作入力受付範囲（操作入力位置）が設定される（操作入力位置設定部あるいは手段）。

　また、制御回路１８は、自身のタイマ１８ｂを起動し、カウンタ１８ｃをカウントアップする形で時間計時を行うことができる。後述する処理において時間計時を行う場合にはこれらが用いられる。

　なお、この制御回路１８は、入力受付、位置指示画像表示、操作者特定、走行状態特定、所定指状態特定、簡易操作用指状態特定、操作意思表示用指状態特定、表示モード設定、操作入力制御の各々の部あるいは手段の例として機能する。なお、画像処理部１８ａも位置指示画像表示、操作者特定の各々の部あるいは手段の一部の例として機能する。

　(位置指示画像の表示処理)
　次に、表示装置１５の表示される位置指示画像の表示処理について、図９を用いて説明する。なお、当該処理は、制御回路１８の記憶部１８ｄに格納されたプログラムをＣＰＵが実行する形で実施される。

　Ｓ１では、制御回路１８が、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。カメラ１２ｂは、操作パネル１２ａの裏面１２ａ２側から該操作パネル１２ａを介してタッチ操作面（表面）１２ａ１側に接近する接近対象物（例えば運転者等の操作者の手）Ｈを常時撮影しており（撮影ステップ）、その撮影画像は常に制御回路１８の画像処理部１８ａに入力されている。タッチ操作面１２ａ１と対面する位置に接近対象物Ｈが進入してくると、当然その接近対象物Ｈを含む撮影画像１５０が画像処理部１８ａに入力される。入力された撮影画像１５０は、画像処理部１８ａにて公知の画像解析手法によって解析され、色の相違等に基づいて接近対象物画像１５０Ｈが抽出される。そして、抽出された接近対象物画像１５０Ｈの形状から、当該画像１５０Ｈが人の手の画像であるか否かを判定する。判定結果は制御回路１８に出力され、手の画像が認識されたと判定された場合にはＳ２に進み、判定されなければ本処理を終了する。

　なお、本実施例においては、光源１２ｃが配置されており、カメラ１２ｂは、当該光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施例のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施例ではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図４～図７の（ｂ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手の画像を特定するために、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部１８ｄに記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手の画像として認識する（手画像認識部あるいは手段：手形状認識部あるいは手段）。

　Ｓ２では、取得した手の画像に基づいて、その手の状態が予め定められた所定指状態であるがか否かを特定する(所定指状態特定部あるいは手段)。この実施形態あるいはこの実施例では、図７５で示すが、所定指状態として、その例２として包含される簡易操作用指状態を採用する。よって、具体的には、簡易操作用指状態であるか否かを特定する（簡易操作用指状態特定部あるいは手段）。簡易操作用指状態とは、例えば、操作対象となりうる指、即ちタッチ操作面１２ａに略沿ってのびた状態の指が、１本ないし２本程度の少数である状態等である。付言するならば、入力を早くするために５本の指を使う操作は難易度の高い指状態であり、ここでいう簡易操作用指状態はこうした指状態とは異なるものである。本実施例においては、取得した手の画像にて、タッチ操作面１２ａの面方向（面の広がる方向）側にのびた状態の指が１本だけ表れている一本指操作状態にある場合のみを簡易操作用指状態として特定する。具体的にいえば、Ｓ１にて、手の画像を抽出した画像処理部１８ａが、その手画像の全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して、当該棒状の画像パターンがあった場合に、これを指画像１５０Ｆとして認識・特定する（指特定部あるいは手段）。特定された結果は制御回路１８に出力され、制御回路１８は、該指画像１５０Ｆの数を特定し（指本数特定部あるいは手段：手形状認識部あるいは手段）、その数が１つである場合を予め定められた簡易操作用指状態（簡易操作用指形状）であると特定する。

　続くＳ３では、その出力結果に基づいて、現在の指状態が簡易操作用指状態であるか否かを判定し、簡易操作用指状態であると判定された場合にＳ４に進む。Ｓ４では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定し、Ｓ５に進む。なお、設定された表示モードは、制御回路１８の記憶部１８ｄに設けられた所定記憶領域（表示モード記憶部）には記憶される。Ｓ４では、当該記憶領域に表示許可モードを記憶する。

　Ｓ５では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。つまり、撮影された手の画像Ｈ（図３参照）が、表示画面上のどの位置に対向しているかを特定する。本実施例においては、カメラ１２ｂによって撮影された撮影画像上に、タッチ操作面１２ａが位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面１２ａの操作座標系を設定し、その上で、撮影された手画像Ｈの位置を、設定された該操作座標系上で特定する。そして、表示装置１５の表示画面上に定められた表示座標系において、当該操作座標系上で特定された該手画像Ｈの位置に対応する位置を特定する。本実施例においては、図５～図７の（ｂ）に示す撮影画像（２値化画像）１５０が、タッチ操作面１２ａ１の全体を撮影した操作パネル画像領域となっている。

　さらにＳ６では、図６及び図７の（ｃ）に示すように、表示装置１５の表示画面の、上記操作パネル画像領域上にて特定された該手画像Ｈに対応する位置に、位置指示画像２００Ｈを表示する（位置指示画像表示部あるいは手段）。本実施例においては、手画像１５０Ｈの外形形状が明確に表示され、かつ輪郭内部が半透過状態とされた加工画像２００Ｈが生成され、表示装置１５の画面上において、表示されているメイン画像２００Ｂの対応する座標位置に重ね表示される。

　他方、Ｓ３にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ７に進む。Ｓ７では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定する。これにより、Ｓ５及びＳ６にて実施される位置指示画像の表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。なお、設定された表示禁止モードは、制御回路１８の記憶部１８ｄに設けられた所定記憶領域（表示モード記憶部）に記憶される。

　Ｓ６及びＳ７の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル１２ａに対向する簡易操作用指状態の手が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像（加工画像）２００Ｈの表示位置も移動する。

　この位置指示画像の表示処理においては、図１８に示すように、表示許可期間として、所定指形状状態（本実施形態では簡易操作用指状態）が非特定となるまでの期間が定められた形となっている。つまり、簡易操作用指状態が特定されている場合には表示許可モードを設定し、簡易操作用指状態が特定されていない場合には表示禁止モードを設定するような処理となっている。なお、制御回路１８は、この位置指示画像の表示処理を実行することにより、表示モード設定の部あるいは手段の一例として機能する。

　(タッチ操作入力処理)
　最後に、操作情報入力部１２の操作パネル１２ａへのタッチ操作入力処理について、図１０を用いて説明する。なお、当該処理も、制御回路１８の記憶部１８ｄに格納されたプログラムをＣＰＵが実行する形で実施される。

　ここでのタッチ操作入力処理では、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けを許可（制御回路１８が入力許可モードを設定）し、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けを禁止（制御回路１８が入力禁止モードを設定）する操作入力受付制御が含まれた処理である。制御回路１８は、このタッチ操作入力処理を実行することにより操作入力制御部あるいは手段の一例として機能する。

　Ｓ１０１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力されるので、その入力の有無に基づいて判定する。操作パネル１２ａへのタッチ操作があった場合はＳ１０２に進み、タッチ操作が無かった場合は本処理を終了する。

　Ｓ１０２では、制御回路１８が、現在の表示モードが表示許可モードであるか否かを判定する。現在の表示モードは、制御回路１８の記憶部１８ｄに設けられた所定記憶領域（表示モード記憶部）に記憶されているので、記憶されている表示モード情報に基づいて判定する。現在の表示モードが表示許可モードであると判定された場合はＳ１０３に進み、表示許可モードでないと判定された場合、即ち表示禁止モードであると判定された場合は本処理を終了する。

　Ｓ１０３では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１上へのタッチ操作位置を特定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力される。そして、その操作信号には、タッチ操作位置が操作面１２ａ１に定められる操作座標系上の座標情報として反映されているので、制御回路１８が、この操作信号に基づいて、タッチ操作位置を特定する。

　続くＳ１０４では、制御回路１８が、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。具体的にいえば、操作パネル１２ａのタッチ操作面１２ａ１上の各位置は、表示画面１５の表示画面上の位置と対応しているので、Ｓ１０３にて特定されたタッチ操作面１２ａ１上の位置に対応する、表示画面１５の表示画面上の位置に定められた制御内容を実施する。具体的には、制御回路１８が、当該制御内容を実施するための制御信号を出力する。例えばＳ１０３にて特定されたタッチ操作面１２ａ１上の位置が、表示画面１５の表示画面に表示されたスイッチ画像２００Ｉに位置に対応していれば、制御回路１８は、当該スイッチ画像に割り当てられた制御内容を実行するための制御信号を出力する。

　Ｓ１０４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、制御回路１８は、そのときどきにタッチ操作された位置に応じた制御内容を実施する、あるいは他の制御部（例えばＥＣＵ１００等）にて実施させる。

　このタッチ操作入力処理においては、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けが許可され（入力許可モード）、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けが禁止される（入力禁止モード）。ただし、図９の位置指示画像表示処理においては、所定指状態（本実施形態では、簡易操作用指状態）が特定されている場合に表示許可モードが設定され、所定指状態が特定されていない場合に表示禁止モードが設定されるので、結果として、ユーザーの指状態が所定指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられないようになっている。上記実施例においては、ユーザーの指状態が簡易操作用指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられないようになっている。

　以上、本実施形態の一実施例を説明したが、これはあくまでも例示にすぎず、本実施形態はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。以下、上記実施例を第一実施例とし、それとは異なる実施例を説明する。なお、共通する構成については、同符号を用いることで説明を略する。

　１．２　第２実施例
　以下、本実施形態の第二実施例について説明する。

　上記第一実施例においては、所定指状態としての簡易操作用指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、その簡易操作用指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、車両が所定の走行状態である場合に実施し、所定の走行状態ではない場合には、表示モードとして表示許可モードを設定するように構成することができる。この場合、車両の走行状態を検出する車両走行状態検出部あるいは手段を備えた構成となる。図１１は、こうした処理の一例であり、ここでは、車両の車速を検出する車速センサ（車速検出部あるいは手段）３０が制御回路１８に接続する構成を有し、該制御回路１８が、車両が予め定められた車速レベル（車速閾値）を上回る車両走行状態にある場合には表示モード切替制御を実行し、当該車両走行状態にない場合には、指状態に関らず、表示モードとして表示許可モードを設定するようになっている。

　具体的には、Ｓ２１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図９のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ２２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。

　Ｓ２２では、車両の現在の走行状態を特定する。即ち、車両が予め定められた車速レベルを上回る走行状態にあるか否かを判定する。制御回路１８は、ＲＯＭ等の所定の記憶部１８ｄに車速閾値を予め記憶させておき、車速センサ３０が検出した車速が当該車速閾値を上回るかを判定し、上回る場合を車両走行状態と特定し、上回らない場合を低速走行状態（停車状態を含む）と特定する。ここでは、上記車速閾値として５ｋｍ／ｈ等を固定的に定めるものとする。そして、Ｓ２３では、現在の車両が上記の車両走行状態にあるか否かを判定して、車両走行状態にあると判定された場合にはＳ２４に進む。他方、Ｓ２３にて、車両走行状態にないと判定された場合（停車状態を含む低速走行状態が特定された場合）にはＳ２６に進む。

　Ｓ２４では、操作者の手（操作手）が、所定指状態（本実施形態では、簡易操作用指状態）であるか否かを特定する。所定指状態の特定は、図９のＳ２の処理と同様の処理で行われる。続くＳ２５にて、現在の指状態が所定指状態であると判定された場合はＳ２６に進み、所定指状態でないと判定された場合はＳ２９に進む。

　Ｓ２６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶される。続くＳ２７では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。この処理は、図９のＳ５の処理と同様である。続くＳ２８では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示部あるいは手段）。この処理は、図９のＳ６と同様である。

　具体的にいえば、Ｓ２３にて、現在の車両が所定の車両走行状態にないと判定された場合（停車状態を含む低速走行状態が特定された場合）には、Ｓ２７及びＳ２８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図６、図７の（ｃ）参照）、Ｓ２２にて、車両走行状態にあると判定され、かつＳ２５にて現在の操作者の指状態が所定指状態（すなわち、簡易操作用指状態）であると判定された場合には、Ｓ２７及びＳ２８の処理により、操作者が行っている簡易操作用指状態に基づく位置指示画像２００Ｈが表示される（図６及び図７の（ｃ）参照）。

　他方、Ｓ２５にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ２９に進む。Ｓ２９では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ２７及びＳ２８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

　Ｓ２８及びＳ２９の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。

　なお、本実施例においては、上記の予め定められた車速レベル（車速閾値）が５ｋｍ／ｈと定められており、当該車速レベルを上回らない車両の徐行走行状態においては、常に表示許可モードが設定されるようになっている。ただし、この車速レベルは、図１６に示すように、０ｋｍ／ｈより速く５ｋｍより遅い車速範囲内、あるいは５ｋｍ／ｈ以上１０ｋｍ／ｈ未満の車速範囲内（車両の徐行走行状態）において設定されるようにしてもよいし、０ｋｍ／ｈと設定して、車両停車状態において常に表示許可モードが設定されるようにしてもよい。また、この車速レベルは、１０ｋｍ／以上３０ｋｍ未満の車速範囲内（車両の低速走行状態）に設定されるようにしてもよいし、３０ｋｍ／ｈ以上６０ｋｍ／ｈ未満の車速範囲内（車両の中速走行状態）に設定されるようにしてもよいし、６０ｋｍ／ｈ以上の車速範囲内（車両の高速走行状態）に設定されるようにしてもよい。

　また、図１１の処理においては、所定の車両走行状態である場合（車速閾値よりも高速側）に上記表示モード切替制御が実施され、所定の車両走行状態にない場合（車速閾値よりも低速側）に表示許可モードが固定的に設定される実施例であったが、所定の車両走行状態である場合（車速閾値よりも高速側）に表示禁止モードが固定的に設定され、所定の車両走行状態にない場合（車速閾値よりも低速側）に上記表示モード切替制御が実施される実施例としてもよい。

　１．３　第三実施例
　以下、本実施形態の第三実施例について説明する。

　上記実施例においては、簡易操作用指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、簡易操作用指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、タッチ操作面１２ａ１の操作者として運転者が特定されている場合には、表示モード切替制御を実行し、運転者が特定されていない場合には、指状態に関らず、表示モードとして表示許可モードを設定するように構成することができる。第三実施例では、上記第一実施例における図９の位置指示画像表示処理に代わり、図１２に示す位置指示画像表示処理を実施するように構成されている。以下、その具体的な処理の流れを、図１２を用いて説明する。

　Ｓ３１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図９のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ３２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。

　Ｓ３２では、操作パネル１２ａに手を対向させるようにしている操作者が運転者であるか否かを特定する（操作者特定部あるいは手段）。操作者の特定は、例えば、図２に示すカメラ２０の撮影画像（図８）に基づいて行うことができる。具体的にいえば、当該カメラ２０の撮影画像から、腕がのびてくる方向を特定して、その方向が運転席２Ｄ側からのびてきたものであるか否かを判定することにより、操作者が運転者であるか否かを特定する。Ｓ３３では、操作パネル１２ａの操作者が運転者であるか否かを判定して、運転者であると判定された場合にはＳ３４に進む。他方、Ｓ３３にて、操作パネル１２ａの操作者が運転者以外の者であると判定された場合にはＳ３６に進む。

　Ｓ３４では、操作者である運転者の手（操作手）が、所定指状態、即ち、本実施形態では簡易操作用指状態であるか否かを特定する。簡易操作用指状態の特定は、図９のＳ２の処理と同様の処理で行われる。続くＳ３５では、現在の指状態が簡易操作用指状態であるか否かが判定され、簡易操作用指状態であると判定された場合はＳ３６に進み、簡易操作用指状態でないと判定された場合はＳ３９に進む。

　Ｓ３６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶される。続くＳ３７では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。この処理は、図９のＳ５の処理と同様である。続くＳ３８では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示部あるいは手段）。この処理は、図９のＳ６と同様である。

　具体的にいえば、Ｓ３３にて、操作パネル１２ａの操作者として運転者とは異なる者が特定された場合には、Ｓ３７及びＳ３８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図６、図７の（ｃ）参照）、Ｓ３２にて、操作パネル１２ａの操作者として運転者が特定され、かつＳ３５にてその指状態が簡易操作用指状態であると判定された場合には、Ｓ３７及びＳ３８の処理により、運転者が行っている簡易操作用指状態に基づく位置指示画像２００Ｈが表示される（図６及び図７の（ｃ）参照）。

　他方、Ｓ３５にて、現在の指状態が簡易操作用指状態であると判定された場合はＳ３９に進む。Ｓ３９では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ３７及びＳ３８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

　Ｓ３８及びＳ３９の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。

　１．４　第四実施例
　以下、本実施形態の第四実施例について説明する。

　第四実施例は、図９に示した位置指示画像の表示処理を、図１１及び図１２の双方を組み合わせた形の処理として実施するものである。即ち、車両の走行状態（例えば車両の車速）を検出し、さらに、遠隔タッチ操作面１２ａの操作者が運転者であるか否かを特定して、車両が所定の走行状態（例えば停車状態を含む予め定められた車速レベルを下回る低速走行状態にない走行状態）であり、かつ特定された遠隔タッチ操作面１２ａの操作者が運転者である場合には、簡易操作用指状態が特定されている場合に限り位置指示画像２００Ｈの表示を許可するが、簡易操作用指状態が特定されていない場合には位置指示画像２００Ｈの表示を禁止するようにする。そして、車両が上記所定の走行状態にない場合、あるいは特定された遠隔タッチ操作面１２ａの操作者が運転者ではない場合、あるいはそれら双方が同時に生じている場合には、特定された指状態に関らず、位置指示画像２００Ｈの表示を許可するような処理とすることができる。具体的には、上記した図９のタッチ操作入力処理を、図１３に示すような処理とすることで実現できる。

　即ち、Ｓ４１にて、遠隔タッチ操作面１２ａの操作者の手画像が取得されると（図９のＳ１と同様の処理）、Ｓ４２及びＳ４３で車両が車両速走行状態であるか否かを判定し（図１１のＳ２２、Ｓ２３と同様の処理）、車両速走行状態であればＳ４４及びＳ４５に進み、遠隔タッチ操作面１２ａの操作者が運転者であるか否かを判定する（図１２のＳ３２、Ｓ３３と同様の処理）。

　Ｓ４２～Ｓ４５にて、車両が車両速走行状態であり、かつ遠隔タッチ操作面１２ａの操作者が運転者であるとされた場合にはＳ４６及びＳ４７に進み、操作者の手（操作手）が所定指状態、即ち、本実施形態では、簡易操作用指状態であるか否かを特定し（図９のＳ２及びＳ３と同様の処理）、現在の指状態が簡易操作用指状態であると判定された場合はＳ４８に進み、簡易操作用指状態でないと判定された場合はＳ５１に進む。

　Ｓ４８では、表示モードとして表示許可モードに設定し、これを記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。続くＳ４９では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定し、さらにＳ５０では、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示部あるいは手段）。これらの処理は、図９のＳ４～Ｓ６の処理と同様である。

　具体的にいえば、Ｓ４２にて車両が車両走行状態ではないとされた場合、Ｓ４４にて、操作パネル１２ａの操作者として運転者とは異なる者が特定された場合には、Ｓ４８～Ｓ５０の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される（図４、図６、図７の（ｃ）参照）。一方、Ｓ４２にて車両が車両走行状態であるとされ、かつＳ４４にて操作パネル１２ａの操作者として運転者が特定され、その上で、Ｓ４６にて簡易操作用指状態が特定された場合には、Ｓ４８～Ｓ５０の処理により、運転者が行っている簡易操作用指状態に基づく位置指示画像２００Ｈが表示される（図６及び図７の（ｃ）参照）。

　他方、Ｓ４７にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ５１に進む。Ｓ５１では、表示モードとして表示禁止モードに設定し、これを記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ４９及びＳ５０にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

　Ｓ５０及びＳ５１の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。

　なお、図１３の処理においては、車両が所定の車両走行状態（車速閾値よりも高速側）であり、なおかつ操作者が運転者である場合に上記表示モード切替制御が実施され、それ以外の場合（所定の車両走行状態にない場合（車速閾値よりも低速側）や操作者が運転者でない場合）に表示許可モードが固定的に設定される実施例であったが、車両が所定の車両走行状態であり、なおかつ操作者が運転者である場合に表示禁止モードが固定的に設定され、車両が所定の車両走行状態ではなく、なおかつ操作者が運転者である場合に上記表示モード切替制御が実施され、それ以外の場合（操作者が運転者でない場合）には、表示許可モードが固定的に設定される実施例としてもよい。

　１．５　第五実施例
　以下、本実施形態の第五実施例について説明する。

　上記実施例では、図１０に示すタッチ操作入力処理において、表示許可モードが設定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容を実行する、即ち対応する制御内容の実行が許可され、表示禁止モードが設定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容を実行しない、即ち、対応する制御内容の実行が禁止されていた。ところが、表示許可モードが設定されている場合ではなく簡易操作用指状態が特定されている場合に、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容の実行が許可され、表示禁止モードが設定されている場合ではなく所定指状態、第一実施形態では、簡易操作用指状態が特定されていない場合に、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容の実行を禁止するように構成することができる。

　具体的にいえば、簡易操作用指状態が特定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力の受け付けを許可し、簡易操作用指状態が特定されていない場合には、遠隔タッチ操作面１２ａへのタッチ操作入力の受け付けを禁止する操作入力受付制御を実行するように構成することができる。以下、その具体的な処理の流れについて、その一例を、図１４を用いて説明する。

　Ｓ１１１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。Ｓ１１１の処理は図１０のＳ１０１と同様である。Ｓ１１２では、制御回路１８が、現在の指状態が所定指状態、即ち、この第一実施形態では、簡易操作用指状態であるか否かを判定する。本実施例においては、図９のＳ２、図１１のＳ２４、図１２のＳ３４、図１３のＳ４６、あるいは図１７のＳ１２の処理として、所定指状態としての簡易操作用指状態であるか否を特定する処理だけでなく、現在の指状態が特定されるに伴い、特定された現在の指状態を制御回路１８の記憶部１８ｄに設けられた所定記憶領域（指状態記憶部）に記憶する処理を行う。

　そして、Ｓ１１２では、この記憶領域（指状態記憶部）に記憶された指状態情報に基づいて、現在の指状態が所定指状態としての簡易操作用指状態であるか否かを判定する。簡易操作用指状態であると判定された場合にＳ１１３に進み、簡易操作用指状態でないと判定された場合に本処理を終了する。

　Ｓ１１３では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１へのタッチ操作位置を特定する（図１０のＳ１０３と同様の処理）。続くＳ１１４では、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する（図１０のＳ１０４と同様の処理）。Ｓ１１４の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。

　なお、図１４に示すタッチ操作入力処理を実行する実施例における位置指示画像表示処理は、既に述べた位置指示画像表示処理、さらには後述する位置指示画像表示処理のいずれのものであってもよい。

　１．６　第六実施例
　以下、本実施形態の第六実施例について説明する。

　上記実施例においては、手画像撮影部あるいは手段をなすカメラ１２ｂは、タッチパネル１２ａのタッチ操作面（表面）１２ａ１と対向する車室内の固定領域を撮影するカメラであって、上記実施例のように、タッチパネル１２ａの裏面１２ａ２側から撮影する構成を有している。ところが、本実施形態は、このような構成に限られるものではない。例えば、図１５に示すように、車両のセンターコンソール部Ｃにタッチパネル１２ａのタッチ操作面１２ａ１を斜め上側から撮影するように取り付けて、当該タッチ操作面１２ａ１に接近する接近物を、タッチ操作面１２ａ１側から撮影するように構成してもよい。この場合、上記した実施例とは異なり、撮影画像内の特定の画像（例えば手画像）を抽出して表示装置１５に表示する際には、画像を左右反転する処理を省略できる。また、手画像撮影部あるいは手段をなすカメラ１２ｂは、操作パネル１２ａのタッチ操作面１２ａ１を含むその周辺領域を撮影するカメラ２０に兼用させてもよい。

　１．７　第七実施例
　以下、本実施形態の第七実施例について説明する。

　上記実施例においては、表示許可期間として、図１８に示すように、所定指状態としての簡易操作用指状態が非特定となるまでの期間が定められた形となっているが、この表示許可期間として、図１９に示すように、予め決められた時間を定めることができる。つまり、表示許可モードに切り替わってから予め定められた時間（禁止モード復帰時間）が経過するまでの期間を表示許可期間と定め、当該禁止モード復帰時間が経過するに伴い表示禁止モードに復帰させるように構成することができる。ただし、タッチ操作入力処理を図１０の処理とする。この構成によれば、ユーザーが特定の指状態を示したことをきっかけに位置指示画像が表示可能な期間（表示許可モード）が始まって、該位置指示画像を見ながらのタッチ操作面１２ａ１への位置指示入力（タッチ操作）が可能となる一方で、ユーザーが特定の指状態を示さなければ位置指示画像は表示されず、位置指示入力を行うためのタッチ操作をスムーズに行えない。つまり、ユーザーが位置指示入力を行うという明確な意思を表示した場合にのみ位置指示画像の表示が許可されるようになっており、その意思表示をユーザーの指状態の特定により確認する構成となっている。なお、ここでは、表示許可モードが設定されている場合に、図４（ｃ）のような画像表示も可能となる。具体的にいえば、上記実施例の位置指示画像の表示処理（図９）を、図１７に示すような処理とすることで実現できる。

　Ｓ１０では、制御回路１８が、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。この処理は図９のＳ１の処理と同様である。

　Ｓ１１では、制御回路１８が、現在の表示モードが表示許可モードであるか否かを判定する。現在の表示モードは、制御回路１８の記憶部１８ｄに設けられた所定記憶領域（表示モード記憶部）に記憶されているので、記憶されている表示モード情報に基づいて判定する。現在の表示モードが表示禁止モードであると判定された場合はＳ１２に進み、表示許可モードでないと判定された場合、即ち表示禁止モードであると判定された場合はＳ１９に進む。

　Ｓ１２では、取得した手の画像に基づいて、その手の状態が予め定められた所定指状態、この第一実施形態では、簡易操作用指状態であるか否かを特定する（簡易操作用指状態特定部あるいは手段）。この処理は図９のＳ２の処理と同様である。続くＳ１３にて、現在の指状態が簡易操作用指状態であると判定された場合はＳ１４に進む。

　Ｓ１４では、表示モードを、位置指示画像の表示が許可される表示許可モードに設定し、Ｓ１５に進む。なお、設定された表示許可モードは、制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶される。

　続くＳ１５では、制御回路１８に設けられたタイマー１８ｂを起動し、時間カウントを開始してＳ１６に進む。時間はカウンタ１８ｃにおいてカウントアップされる形で記憶される。タイマー起動前にはカウンタ１８ｃのカウント値がリセットされる。

　Ｓ１６では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。このＳ１６の処理は、図９のＳ５と同様の処理である。続くＳ１７では、図６及び図７の（ｃ）に示すように、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示部あるいは手段）。このＳ１７の処理は、図９のＳ６と同様の処理である。ただし、第七実施例においては、Ｓ１６及びＳ１７において、図４（ｃ）のような位置指示画像２００Ｈも表示される。つまり、第七実施例においては、表示許可モードが設定されている限り、手画像（指画像）の重ね表示（あるいは合成表示）が許可されており、少なくとも手画像に基づく指の指示位置を示す画像であればどのような形で位置指示画像２００Ｈを表示してもよい。従って、表示許可モードが設定されている場合には、図４の（ｃ）に示すような多本数の指形状の重ね表示もありうる。

　他方、Ｓ１３にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ１８に進む。Ｓ１８では表示禁止モードが設定され、それが制御回路１８の記憶部１８ｄに設けられた所定記憶領域（表示モード記憶部）に記憶される。

　Ｓ１７及びＳ１８の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施され、手画像が取得され、かつ表示許可モードが継続する限り、Ｓ１６及びＳ１７による位置指示画像の表示許可状態が継続する。つまり、この間は、指状態が簡易操作用指状態でなくても、位置指示画像が表示される。ところが、表示許可モードは、Ｓ１９にて、Ｓ１５にて起動したタイマー１８ｂにより所定時間が経過したと判定された場合に、Ｓ２０にて、強制的に表示禁止モードが設定され、本処理が終了となる。なお、Ｓ２０の処理はＳ１８の処理と同様である。

　この第七実施例においては、ユーザーが操作の意思を手形状（簡易操作用指状態）により示し、それが示された場合には、一定時間の間だけ表示許可モードが設定される構成となっている。この場合、簡易操作用指状態は、一本指状態（例えば図６及び図７参照）のような状態に限らず、二本の指をのばした二本指状態（図７０参照）、三本の指を伸ばした三本指状態（図７１参照）、４本の指を伸ばした四本指状態（図７２参照）等と様々に定めることができる。また、一本指状態であっても、その指が人差し指である場合（図６及び図７参照）のみを簡易操作用指状態としてもよいし、中指である場合（図６８参照）のみを簡易操作用指状態としてもよい。また、二本指状態においても、それらの指が人差し指と中指である場合（図７０参照）のみ、簡易操作用指状態としてもよい。また、これらのうちのいずれか又は複数を簡易操作用指状態として定めてもよい。処理の観点からすれば、より識別しやすい手状態（指状態）を定めることが望ましい。

　１．８　第八実施例
　以下、本実施形態の第八実施例について説明する。

　なお、図９のＳ２における所定指状態としての簡易操作用指状態の特定は、上記のように撮影画像に基づいて実施されるものでなくともよい。例えば、制御回路１８が、予め定められた期間の間にタッチ操作面１２ａ１（遠隔操作面）になされたタッチ操作による入力のうち、タッチ操作面１２ａ１の異なる位置になされたタッチ操作による入力の数を特定し（操作数特定部あるいは手段）、当該期間内に特定された入力数が予め定められた簡易操作用の数であった場合を簡易操作用指状態として特定するようにしてもよい。この場合、例えば１秒以内の間に３回のタッチ操作がそれぞれ異なる位置になされた場合に（同時でもよい）、３本の指があると特定され、簡易操作用の本数が３本と定められている場合には、これをもって所定指状態としての簡易操作用指状態として特定するようにできる。具体的には、図２０に示すように、表示禁止モード（さらには入力禁止モード）が設定されている状態にて、タッチ操作面１２ａ１へのタッチ操作があった場合に、制御回路１８が、自身のタイマー１８ｂを起動し、カウンタ１８ｃをカウントアップする形で時間計時を開始し、所定期間ｔ０内に、時間計時開始時のタッチ操作を含めたタッチ操作による入力数をカウントする。ただし、タッチ操作面１２ａ１にタッチ操作がなされる際に、タッチ位置情報（例えばタッチ操作面１２ａ１内における位置座標）を取得して、タッチ操作面１２ａ１内の同一位置への再タッチ操作に関しては、その入力をカウントしないようにする。そして、所定期間ｔ０が経過した際の当該入力数が、簡易操作用指状態を定める指の数と同数であった場合には、現在の操作者の手の指状態が簡易操作用指状態であると特定し、特定された時から予め定められた表示許可期間の間だけ表示許可モード（さらには入力許可モード）を設定する。表示許可期間が終了すると、再び表示禁止モード（さらには入力禁止モード）が設定される。

　１．９　第九実施例
　以下、本実施形態の第九実施例について説明する。

　上記実施例においては、表示装置１５に表示されるあらゆる操作画面において、上記のような表示モード切替制御を実行するような構成であったが、予め定められた操作画面においてのみ実行し、それ以外の操作画面では、表示許可モード、あるいは表示禁止モードに固定的に設定されるようにしてもよい。

　表示装置１５は、制御回路１８からの制御指令に基づいて、タッチ操作面１２ａ１への押圧操作による入力が受け付けられる複数の操作画面２００を、表示画面上において切り替えることができる（操作画面表示部あるいは手段）。例えば、図２２に示すようなメニュー選択画面２００３や図２３に示すようなカーエアコンの風量設定画面２００４、図２４に示すようなカーオーディオのボリューム設定画面２００５、さらには、既に述べたカーナビゲーションの地図表示画面２００２（図７（ｃ））や文字入力画面２００１（図６（ｃ））等を、様々な入力に応じて切り替えて表示することができる。これら複数の操作画面のうち上記表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を、制御回路１８の所定の記憶領域（表示モード実行可否情報記憶部あるいは手段）に予め記憶しておき、制御回路１８は、位置指示画像表示処理を実施するに際して、表示モード実行可否情報を参照し、これに基づいて、表示装置１５により表示される操作画面が上記のような表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて該表示モード切替制御を実行するように構成する。以下、その具体的な処理の流れを、図２１を用いて説明する。

　Ｓ６１では、制御回路１８が、操作者の手の画像を取得したか否かを判定する。これは図９のＳ１の処理と同様である。操作者の手の画像が取得された場合はＳ６２に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。

　Ｓ６２では、制御回路１８が、現在表示中の操作画面２００の種別を特定し、予め定められた、表示モード切替制御の実行対象であるか否かを特定する。ここでは、制御回路１８の記憶部１８ｄの所定記憶領域に記憶される上記表示モード実行可否情報にて、操作画面のうち、タッチ操作面１２ａ１への押圧操作が予め定められた操作負担レベルを上回る操作を含む複雑操作画面が表示モード切替制御の実行対象と定められ、タッチ操作面１２ａ１への押圧操作が当該操作負担レベルを上回らない操作のみからなる簡易操作画面が表示許可モードの固定設定対象と定められている。制御回路１８が当該表示モード実行可否情報を参照することにより、現在表示されている操作画面２００が表示モード切替制御の実行対象であるか否かを特定する。

　なお、表示モード実行可否情報は、以下のように画面種別を分類した情報として記憶することができる。即ち、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像（あるいは当該操作入力画像（操作アイコン）２００Ｉに対応してタッチ操作面１２ａ１上に定められる全ての押圧操作領域）の、画面全体（あるいは該タッチ操作面１２ａ１の全領域）に対し占める割合ＳＩ／ＳＡが、予め定められた割合Ｓ０を上回る操作画面を定め、上回らない操作画面を簡易操作画面として定めることができる（図７３の例１）。また、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像（あるいは当該操作入力画像に対応してタッチ操作面１２ａ１上に定められる押圧操作領域）２００Ｉの数ＫＩが予め定められた数Ｋ０を上回る操作画面を定め、上回らないものを簡易操作画面として定めることもできる（図７３の例２）。また、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像２００Ｉ間の間隔（あるいは当該操作入力画像に対応してタッチ操作面１２ａ１上に定められる隣接する押圧操作領域間の間隔）ＬＩが、予め定められた間隔Ｌ０よりも狭い操作画面を定め、上回らない操作画面を簡易操作画面として定めることもできる（図７３の例３）。ここでは、図２２～図２４、さらには図７（ｃ）に示すような画面２００２，２００３，３００４，２００５が簡易操作画面、図６（ｃ）に示すような文字入力画面２００１（例えば目的地名称入力画面等）が複雑操作画面として定められている。

　Ｓ６４にて、制御回路１８が、上記複雑操作画面及び簡易操作画面を特定可能な表示モード実行可否情報を参照して、現在表示されている操作画面２００が表示モード切替制御の実行対象（ここでは複雑操作画面）であるか否かを特定するとＳ６３に進む。Ｓ６３にて、現在表示中の操作画面２００が表示モード切替制御の実行対象であると判定された場合にはＳ６９に進み、表示モード切替制御の実行対象でないと判定された場合にはＳ６６に進む。

　Ｓ６４では、操作者の手（操作手）が、所定指状態、この第一実施形態では、簡易操作用指状態であるか否かを特定する（図９のＳ２と同様の処理）。続くＳ６５にて、現在の指状態が簡易操作用指状態であると判定された場合はＳ６６に進み、簡易操作用指状態でないと判定された場合はＳ６９に進む。

　Ｓ６６では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶される。続くＳ６７では、制御回路１８が、表示装置１５の表示画面２００と、撮影された手との位置関係を特定する（図９のＳ５と同様）。続くＳ６８では、表示装置１５の表示画面２００において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像表示部あるいは手段：図９のＳ６と同様）。

　具体的にいえば、Ｓ６２にて、現在表示中の操作画面２００が表示モード切替制御の実行対象でないと判定された場合（ここでは簡易操作画面であると特定された場合）には、Ｓ６７及びＳ６８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図４、図６、図７の（ｃ）参照）、Ｓ６２にて、現在表示中の操作画面２００が表示モード切替制御の実行対象であると判定された場合（ここでは複雑操作画面であると特定された場合）には、Ｓ６７及びＳ６８の処理により、操作者が行っている簡易操作用指状態に基づく位置指示画像２００Ｈが表示される（図６及び図７の（ｃ）参照）。

　他方、Ｓ６５にて、現在の指状態が簡易操作用指状態でないと判定された場合はＳ６９に進む。Ｓ６９では、表示モードを、位置指示画像２００Ｈの表示が禁止される表示禁止モードに設定し、これを制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ６７及びＳ６８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面２００には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

　Ｓ６８及びＳ６９の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。

　なお、図２１の処理においては、複雑操作画面において上記表示モード切替制御が実施され、簡易操作画面において表示許可モードが固定的に設定される実施例であったが、複雑操作画面において表示禁止モードが固定的に設定され、簡易操作画面において上記表示モード切替制御が実施される実施例としてもよい。

　１．１０　第十実施例
　以下、本実施形態の第十実施例について説明する。

　また、上記実施例のような操作入力装置において、その表示装置では、遠隔操作部（タッチパネル１２ａ）を操作する手を実際に操作画面上に表示すると、手が遠隔操作部に近い場合には、図４（ｃ）に示すように、指のみが表示された状態となる。ところが、多数本の指が同時に並んで表示されていると、どの指で操作してよいかの迷いが生じるし、表示された指と、実際に操作者が位置指示に使いたい指との対応関係がわからなくなって、誤操作を招く可能性もある。特に、上記操作入力装置が車両用のものである場合、車両運転中の運転者は操作画面を凝視できないので、運転しながらの多数本指での操作入力は難しく、誤操作を生じやすい。

　このような課題を解決するべく、位置指示に使用する実際の指を容易に特定できるよう位置指示画像表示処理を、遠隔操作部（タッチパネル１２ａ）の手前側で対向する手において指を特定する指特定ステップと、特定された指から遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定ステップと、表示画面上の背景画像２００Ｂに合成ないしは重畳する形で、特定された指の指示位置を示す位置指示画像２００Ｈを表示する表示ステップであって表示される位置指示画像２００Ｈのうち、指定された操作対象指に対応する位置指示画像２００Ｐを、当該操作対象指とは異なる指に対応する位置指示画像２００Ｒよりも相対的に強調する強調表示にて行う位置指示画像強調表示ステップと、を有するようにして実施することができる。これにより、図２７や図２８に示すように、指定された操作対象指（ここでは人差し指１本）が残余の指に対し強調して表示され、操作性が向上する。なお、制御回路１８は、これら各ステップを実施することにより、指特定部あるいは手段、操作対象指指定部あるいは手段、位置指示画像強調表示部あるいは手段として機能する。

　具体的には、上述した各実施例において、図９のＳ６に対応する処理を、図２５のような処理として実施することでなされる。

　１．１０．１　第十実施例の第一変形
　図２５において、Ｔ１では、制御回路１８が、タッチ操作面（遠隔操作面）１２ａ１の手前側（ここではカメラ１２ｂの逆側）にて、当該タッチ操作面１２ａ１に対向する手の指を特定する（指特定ステップ）。ここでは、図９のＳ１と同様、カメラ１２ｂによって撮影された撮影画像１５０Ｈに基づいて、操作者の手指の画像を取得したか否かを判定する。判定結果は制御回路１８に出力され、手指の画像が認識されたと判定された場合にはＴ２に進み、判定されなければ本処理を終了する。

　Ｔ２では、制御回路１８が、取得した指画像１５０Ｆから指先を検出する。指先の検出は、特定された指画像１５０Ｆから指先Ｑを特定する形で行う（指先特定ステップ）。本実施例における指先Ｑの特定は、図２９に示すような形で行われる。即ち、図２９（ａ）に示すように指画像１５０Ｆが特定されると、画像処理部１８ａが、特定された指画像１５０Ｆを含む手画像１５０Ｈと、当該手画像１５０Ｈをその指画像１５０Ｆの指長さ方向に所定量だけずらした移動手画像１６０Ｈとを互いに重ね合わせて、互いの指画像１５０Ｈ，１６０Ｈが重ならない非重畳領域１７０を特定し、当該非重畳領域１７０の重心位置を算出する。そして、当該重心位置を指先（指先位置）Ｑと特定する。なお、指先Ｑの特定方法は他の方法であってもよく、例えば湾曲して表れる指先の輪郭を抽出・平滑化した上でその曲率中心として定めてもよい。また、指先Ｑの特定方法は、上記のように指の一点として特定するのではなく、指の第一関節までの領域を指先（指先領域）Ｑとして特定するものであってもよい。

　なお、Ｔ１とＴ２は、それぞれ指特定処理と指先特定処理を行うステップであるが、これらを同時に実行してもよい。即ち、指画像から指先を特定するのではなく、カメラ１２ｂによって撮影された撮影画像から直接指先を特定し、指先の特定によって指を特定するという処理としてもよい。これにより処理が簡略化される。

　続くＴ３では、制御回路１８が、遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指（位置指示用の指）Ｐを指定する（操作対象指指定ステップ）。具体的には、特定された指先Ｑ同士の、タッチ操作面方向（タッチ操作面１２ａ１の広がる方向、即ち該タッチ操作面１２ａ１の法線に対し垂直をなす方向）における位置関係を反映した位置関係情報を指定指情報として取得し（指定指情報取得ステップ）、その上で、取得された該位置関係情報に基づいて、Ｔ１により特定された指のうち、当該位置関係に関する予め定められた選定条件に最も適する位置関係情報を有した指を優先して操作対象指Ｐとして指定する。

　なお、操作対象指Ｐとして、複数本の指を指定することができるが、接触式操作部１２ａへの操作が分かり易くなるように位置指示するという観点からすると、１本又は２本といった比較的少数の指を指定するものとすることが望ましい。本実施例においては１本である。さらに、指定対象となる指の種類としては、位置指示において好適とされる人差し指（図２７及び図２８の（ｃ）を参照）、中指（図４７参照）、あるいは人差し指及び中指の２本（図４８参照）を想定することが望ましく、本実施例においては人差し指を想定している。

　本実施例のＴ３の処理は、図２６のフローチャートに示す処理として実行される。即ち、Ｔ１１にて、図２９（ｃ）のように特定された指先Ｑを仮想的な二次元座標系の面１８０上にて特定し、その面１８０上に定められた１本の軸Ｘにより、上記二次元座標系内に別の一次元座標系を定める。ここでは、特定された指先Ｑをタッチ操作面１２ａ１に向けて（遠隔操作部との対向方向に）投影し、その投影面を上記の面１８０とし、該投影面上の予め定められた位置に１本の軸Ｘを設定して一次元座標系を定める。Ｔ１２では、面１８０上にて特定された指先Ｑの当該一次元座標系における位置座標（座標値）ＸＱを特定し、その位置座標ＸＱを反映した軸座標情報を、位置関係情報として取得する。その上で、Ｔ１３にて、取得された該軸座標情報に基づいて、図２５のＴ１にて特定された指のうち、当該軸座標情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する。

　また、本実施例においては、右ハンドルの車両を前提として、助手席搭乗者の右手による操作が想定されており、さらに、操作対象指Ｐとしてその操作者の人差し指が指定されるように軸Ｘが設定されている。このため、Ｔ１１では、図３０に示す位置に軸Ｘが設定されている。Ｔ１２では、設定されたこの軸Ｘに向けて指先Ｑを投影し、投影された各位置の座標値Ｘ１～Ｘ３を算出するとともに、Ｔ１３では、取得した座標値Ｘ１～Ｘ３のうち座標値が最も大きい指先Ｑを特定して、この指先Ｑを有する指が人差し指であると推定し、この指を操作対象指Ｐとして指定している。

　また、本実施例における軸Ｘは、図３０に示すように、右手の人差し指が位置しにくい撮影画像の右下から、右手の人差し指が位置しやすい左上に向かうように決められているが、例えば、図３１や図３２のような設定であってもよい。図３１の場合は、最も座標値が大きいものを中指として推定することに適しており、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定することもできる。図３２の場合は、操作手が左右のいずれであるか推定ないし特定できれば、左右いずれかの最も端にある指を人差し指として推定することに好適であり、それに隣接する指を中指として推定できる。

　なお、本実施例において、カメラ１２ｂによって撮影された撮影画像は、指先Ｑをタッチ操作面１２ａ１に向けて投影した投影面１８０ということができる。従って、カメラ１２ｂによって撮影された撮影画像におけるタッチ操作面１２ａが位置する操作パネル画像領域（タッチ操作面１２ａが映る領域：ここでは撮影画像１５０の全領域）と、上記投影面１８０とは、同一の座標系を有する二次元平面として認識することができ、操作パネル画像領域上の指先Ｑの座標位置を、そのまま投影面１８０における投影された指先Ｑの座標位置として使用することができる。Ｔ３では、この仮想的に定められる投影面１８０における座標系上での計算により操作対象指Ｐを指定しており、画像処理を要することはない。つまり、操作対象指Ｐの指定処理に画像データを使用しないため演算コスト（演算量・メモリ量）を低減することができる。

　図２５に戻る。Ｔ４では、制御回路１８が、図３３（ｃ）に示すように、表示装置１５の表示画面上の背景画像２００Ｂに合成ないしは重畳する形で、特定された指先Ｑに対応する該表示画面上の位置に、位置指示用の画像２００Ｈを表示する。ただし、この表示は、表示される位置指示画像２００Ｈのうち、指定された操作対象指Ｐに対応する位置指示画像２００Ｈの表示領域２００Ｐを、当該操作対象指Ｐとは異なる残余の指Ｒに対応する位置指示画像２００Ｈの表示領域２００Ｒよりも相対的に強調して表示する強調表示の形でなされる。これにより、操作対象指Ｐの視認性が向上し、操作すべき指がユーザーに伝わりやすく、また、操作性も向上する。

　本実施例においては、制御回路１８が、まず、表示装置１５の表示画面と撮影された手指との位置関係を特定する。つまり、撮影された指が、表示画面上のどの位置に対向するのかを特定する。本実施例においては、カメラ１２ｂによって撮影された撮影画像１５０上に、タッチ操作面１２ａが位置する操作パネル画像領域（タッチ操作面１２ａが映る領域：ここでは撮影画像１５０の全領域）を特定するとともに、当該操作パネル画像領域上に二次元の操作座標系を設定して、撮影された指の位置を当該操作座標系上で特定する。そして、該操作座標系上で特定された指の位置に対応する、表示装置１５の表示画面上における位置を、当該表示画面上に定められた二次元の表示座標系において特定する。

　その上で、表示装置１５の表示画面上にて特定された位置に、図３３（ａ）に示すように、位置指示画像２００Ｈをメイン画像２００Ｂの対応する位置座標に重ね表示される。そして、上記した位置指示画像２００Ｈ（２００Ｐ，２００Ｒ）の強調表示を、図６１に示すように、所定時間ｔ１をかけて段階的に強調レベル（強調度合い）を変化させる形で行う。つまり、強調表示変化の過程において、図３３（ｂ）に示すような変化途中状態を有し、このような強調変化途中状態を経て、図３３（ｃ）のような強調変化が完了するようにする。強調表示によって特定されていない指を見えにくくした場合、いきなりそれらの指を見えにくくしてはどの指が強調されているのか認識しづらくなる可能性がある。このため、最初は図３３（ａ）のようにすべての指を同じように表示し、その上で、段階的に強調レベルを変化させれば、ユーザーにとって画面上に表示された指と自分の指との対応づけが容易になる。

　また、強調表示は、位置指示画像２００Ｈの指表示領域２００Ｐないし２００Ｒの全体、輪郭、輪郭内部のみに対し、色の変化（図６３参照）、濃淡の変化（図６３参照：なお、操作対象指以外の指を消してもよい）、形状変化（図６４：ここでは一例として操作対象指Ｐを相対的に太くしている）、別画像への切り替え、透過度の変化（図２７参照）、点滅（図６５参照）、あるいはそれらの組み合わせにより行う。本実施例においては、位置指示画像２００Ｈをなす加工画像の輪郭内部の透過度を変化する形で実行する。また、ここでの強調表示は、操作対象指Ｐに対応する位置指示画像２００Ｈの表示領域２００Ｐの強調状態を一定に保持し、残余の指Ｒに対応する位置指示画像２００Ｈの表示領域２００Ｒの強調レベルを減じる形で行われている。残余の指Ｒに対応する位置指示画像領域２００Ｒは消去されてもよいが、操作性を考慮すれば、消去時よりも強調レベルは低くなるものの比較的容易に視認できる状態であるとよい。

　また、Ｔ４における強調表示は、図６１に示すように、Ｔ３において操作対象指Ｐが指定されるに伴いすぐに開始されるようにしてもよいし、図６２に示すように、Ｔ３にて操作対象指Ｐが指定されてから所定時間経過した後に開始されるようにしてもよい。特に、強調表示が段階的になされないような構成の場合は、後者が選択されることが望ましい。

　Ｔ４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル１２ａに対向する手が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像２００Ｈの表示位置も移動する。強調変化途中で手が動いた場合は、強調変化を継続しながら位置指示画像２００Ｈ（２００Ｐ及び２００Ｒ）の表示位置が移動し、強調変化が完了している状態で手が動いた場合には、当該強調状態を保持したまま位置指示画像２００Ｈ（２００Ｐ及び２００Ｒ）の表示位置が移動する。

　なお、この位置指示画像の表示処理には、指特定ステップ、指先特定ステップ、操作対象指指定ステップ、位置指示画像強調表示ステップ、指定指情報取得ステップが含まれており、制御回路１８は、ＣＰＵにより当該処理を実行することで、これら各ステップを実行する部あるいは手段（指特定部あるいは手段、指先特定部あるいは手段、操作対象指指定部あるいは手段、位置指示画像強調表示部あるいは手段、指定指情報取得部あるいは手段）として機能する。

　１．１０．２　第十実施例の第二変形
　操作対象指Ｐの指定方法は、図３４～図３６に示すようにすることもできる。ここでは、図３４のフローチャートに示すように、Ｔ２１にて、図２５のＴ２にて特定された指先Ｑをタッチ操作面１２ａ１に向けて投影し、その投影面１８０上の予め定められた領域に基準領域Ｙを設定し（図３５又は図３６参照）、Ｔ２２にて、設定された基準領域Ｙと投影された指先Ｑとの間の距離を反映した距離情報を位置関係情報として取得し（指定指情報取得ステップ）、Ｔ２３にて、取得された該距離情報に基づいて、図２５のＴ１にて特定された指のうち、当該距離に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する（操作対象指指定ステップ）。

　なお、本実施例においても、上記実施例と同様に仮想的に定められた面１８０上に指先Ｑを特定し、さらに上記基準領域Ｙを定める（Ｔ２１）。その上で、上記各距離を算出し（Ｔ２２）、それに基づいて操作対象指Ｐを指定する（Ｔ２３）。ここでは、操作対象指Ｐとして操作者の中指が想定されており、上規格距離の最も長い指が操作対象指Ｐとして指定される。なお、基準領域Ｙは面積を持つ領域として定めてもよいし、面積を持たない点や線として定めてもよい。

　また、基準領域Ｙは、例えば図３５のように、カメラ１２ｂにて指が撮影される状態において手の甲が位置すると推定される予め決められた位置に配置することができる。この場合の距離情報は、Ｔ１にて特定された指の長さを直接反映はしないもののそれに関連する情報であり、その距離の長さから、特定の指を指定できる。例えば、当該距離が最も長い指を中指と推定できるし、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定できる。また、操作対象指Ｐとして人差し指等を想定する場合には、２番目に長い指を人差し指と推定し、指定してもよい。

　また、基準領域Ｙは、例えば図３６のように、カメラ１２ｂにて指が撮影される状態において操作対象指Ｐとして想定する指の指先が最も位置しやすい位置に配置することができる。この場合、基準領域Ｙとの距離が最も短い指先Ｑを有する指を操作対象指Ｐとして指定することができる。図３６の場合は、操作手が右手である場合を想定しており、最も左上に位置している。

　１．１０．３　第十実施例の第三変形
　操作対象指Ｐの指定方法は、図３７及び図３８に示すようにすることができる。ここでは、図３７のフローチャートに示すように、Ｔ３１にて、図２５のＴ１にて特定された各指の形状に係る指形状情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ３２にて、取得された該指形状情報に基づいて、Ｔ１にて特定された指のうち、当該指の形状に関する予め定められた選定条件に最も適する接近距離情報を有した指を優先して操作対象指として指定する（操作対象指指定ステップ）。

　指形状情報としては、図２５のＴ１にて特定された指同士の、タッチ操作面方向における長さ関係に係る指長情報を定めることができる。具体的にいえば、図２５のＴ２において特定された指先Ｑから、撮影画像１５０上に表れる指端縁の線分の中点に相当する位置までの長さｄ１～ｄ３（図３８参照）を算出し、これらを上記指長情報とすることができる。この場合、指長情報は、Ｔ１にて特定される指の長さが反映された情報であるから、その長さから特定の指を指定できる。例えば、当該距離が最も長い指を中指と推定できるし、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定できる。また、操作対象指Ｐとして人差し指等を想定する場合には、２番目に長い指を人差し指と推定し、指定してもよい。この構成によると、操作に使用する意図が無いような中途半端にのびた指が位置指示用に指定される可能性を確実に排除することができる。なお、指長情報ｄ１～ｄ３は、少なくとも各指の長さを反映した情報であればよく、例えば、湾曲する指先の先端位置から、撮影画像１５０上に表れる指端縁までの指の長さ方向に沿った距離としてもよい。

　また、指形状情報としては、図２５のＴ１にて特定された指同士の、タッチ操作面方向における幅の関係に係る指幅情報を定めることもできる。具体的にいえば、図２５のＴ２において特定された指先Ｑを通り、その指の長さ方向に垂直な幅方向の長さｗ１～ｗ３（図３８参照）を、上記指幅情報とすることができる。この場合、指幅情報は、指がタッチ操作面１２ａ１に接近しているほど大きく表れるから、当該タッチ操作面１２ａ１への接近距離関係を反映した接近距離情報ともいうことができ、最も指幅の大きい指を操作対象指Ｐとして指定することができる。なお、指幅情報ｗ１～ｗ３は、少なくとも各指の幅を反映した情報であればよく、上記とは別の位置にて算出された指幅であってもよい。

　１．１０．４　第十実施例の第四変形
　操作対象指Ｐの指定方法は、図３９に示すようにすることができる。Ｔ４１にて、図２５のＴ１にて特定された指によりタッチ操作面１２ａ１へのタッチ操作位置Ｔを検出して、Ｔ４２にて、検出されたの初回のタッチ操作を行った指を操作対象指Ｐとして指定する（操作対象指指定ステップ）。つまり、タッチ操作面１２ａ１へのタッチ操作位置Ｔを指定指情報として取得し、これに基づいて操作対象指Ｐを指定する。この構成によると、強調表示の開始トリガーが、ユーザーのタッチ操作として定められているので、強調表示による表示変化を見逃すことが無くなる。なお、この場合、指定された操作対象指Ｐは、手操作により移動する際に追跡され、当該指Ｐが画面から消失するまで、あるいは新たなタッチ操作がなされるまで指定され続ける。あるいは、画面から消失した後、再び画面上に現れた際にも同じ指が操作対象指Ｐとされるように、他の指Ｒとの位置関係情報や当該指Ｐの指形状情報等の条件を、制御回路１８内の記憶部１８ｄに記憶して、これに基づいて操作対象指Ｐを指定するようにしてもよい。

　１．１０．５　第十実施例の第五変形
　操作対象指Ｐの指定方法は、図４０及び図４１に示すようにすることができる。ここでは、図４０のフローチャートに示すように、Ｔ５１にて、図２５のＴ１にて特定された指によりタッチ操作面１２ａ１へのタッチ操作位置Ｔを検出し、該タッチ操作位置Ｔが検出されるに伴いＴ５２にて、図４１に示すように、検出されたタッチ操作位置Ｔに最も近い指を操作対象指Ｐとして指定する（操作対象指指定ステップ）。なお、この場合、図２５のＴ４における強調表示は、タッチ操作面１２ａ１へのタッチ操作がなされるに伴い（すぐに）開始されるようにしてもよいし、タッチ操作面１２ａ１へのタッチ操作がなされてから所定時間経過した後に開始されるようにしてもよい。特に、強調表示が段階的になされないような構成の場合は、後者が選択されることが望ましい。

　なお、上記第十実施例の第四変形及び第五変形において、誤ってタッチ操作面１２ａ１に触れてタッチ操作をしてしまった場合に、強調表示が開始されないようにすることができる。具体的にいえば、Ｔ４１又はＴ５１におけるタッチ操作として、通常のタッチ操作（操作入力が有効となるタッチ操作）よりも操作負担が大となるタッチ操作を強調表示開始操作として定めることができる。例えば、強調表示開始用のタッチ操作（強調表示開始操作）として、通常のタッチ操作よりも入力が有効となるまでの押圧操作継続時間が長いタッチ操作を定めたり、通常のタッチ操作よりも強い押圧操作力によるタッチ操作を定めたりすることができる。この場合、Ｔ４１又はＴ５１において、定められた強調表示開始操作があった場合に限りＴ４２又はＴ５２にて進み、強調表示開始操作がない場合は、当該強調表示開始操作があるまで強調表示を開始しない待機状態とするようできる。

　１．１０．６　第十実施例の第六変形
　操作対象指Ｐの指定方法は、図４２及び図４３に示すようにすることができる。ここでは、図４２のフローチャートに示すように、Ｔ６１にて、撮影された指の画像の輝度情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ６２にて、取得された輝度情報に基づいて、撮影された指の画像のうち、当該輝度情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する（操作対象指指定ステップ）。カメラ１２ｂは、タッチ操作面１２ａ１を操作する手の反射光を捉える形で撮影を行うので、該タッチ操作面１２ａ１に最も近い指先ほど高輝度に表れる。つまり、輝度情報とは、既に述べた接近距離情報（指定指情報）であるといえる。一方で、タッチ操作面１２ａ１を操作する指先は、当該タッチ操作面１２ａ１に近い指ほど位置指示の可能性が高いから、例えば、輝度の最も高い指を優先して操作対象指Ｐとして指定するように構成することができる。

　カメラ１２ｂは、図３に示すように、光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施例のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施例ではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図２９の（ａ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手・指の画像を特定するために、まずは、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部１８ｄに記憶された手や指の形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手指の画像として認識する。本実施例においては、手や指の画像を特定するための上記階調閾値を第一の階調閾値とし、さらに、それよりも高い第二の階調閾値を定め、当該第二の階調閾値を越える領域Ｌ１（図４３参照）を有する指先の指を、操作対象指Ｐとして指定することができる。また別の方法として、指先Ｑの輝度または、指先Ｑを基準にする予め決められた領域の平均（または最大／最小）輝度の比較により操作対象指Ｐを指定してもよい。なお、図４３の領域Ｌ１～Ｌ３は、撮影映像１５０において輝度の異なる領域を示すものであり、Ｌ１，Ｌ２，Ｌ３の順で輝度が低くなっている。

　つまり、ここでは、図２５のＴ１が、カメラ１２ｂにより撮影された画像の輝度に基づいて指画像を特定して、当該指画像により指を特定するステップであり、図２５のＴ２が、カメラ１２ｂにより撮影された手の画像を用いて指先を特定するステップである。さらに、図２５のＴ３は、同じくカメラ１２ｂにより撮影された手の画像の輝度に基づいて、操作対象指Ｐを特定するステップである。従って、本実施例においては、カメラ１２ｂの撮影画像から、指の特定、指先の特定、さらには操作対象指Ｐの指定までもが可能となっている。

　また、ここでは、指全体ではなく指先部分の画像情報を使用して、操作対象指Ｐを指定する処理とする。これにより、操作対象指Ｐの指定処理の対象となるデータを限定することが可能となり演算コスト（演算量・メモリ量）を低減することができる。具体的にいえば、図４３に示すように、Ｔ２で特定された指先Ｑを中心に、指先全体が含まれる所定形状（ここでは四角）の領域Ｓを設定し、Ｔ１で特定された全ての指に関し、Ｔ６１にて当該領域Ｓにおける輝度情報を特定・取得し、Ｔ６２にて、取得した輝度情報のうち最も高輝度である領域Ｓの指を優先して操作対象指Ｐとして指定するようにしている。

　１．１０．７　第十実施例の第七変形
　操作対象指Ｐの指定方法は、図４４～図４６に示すようにすることができる。ここでは、図４４のフローチャートに示すように、Ｔ６１にて、図２５のＴ１にて特定された指先の、タッチ操作面１２ａ１への接近距離関係を反映した接近距離情報を指定指情報として取得し（指定指情報取得ステップ）、Ｔ６２にて、取得された接近距離情報に基づいて、指特定ステップにより特定された指のうち、当該接近距離に関する予め定められた選定条件に対し適する指を優先して操作対象指として指定する（操作対象指指定ステップ）。ただし、この構成の場合、タッチ操作面１２ａ１と操作手の指先との距離を検出する手段が必要となる。上記第十実施例の第五変形のように輝度を接近距離情報として取得することもできるが、例えば図４５に示すように、カメラ（撮影部あるいは手段）４０を、接近距離情報を取得するための部あるいは手段とすることができる。カメラ４０は、タッチ操作面１２ａ１と操作手の指先との距離が映るように配置され、その撮影画像（例えば図４６）から、制御回路１８が、タッチ操作面１２ａ１に対する操作手の各指の指先との距離ｄ１～ｄ４を算出して、例えば最も距離の近い指先の指を操作対象指Ｐとして指定することができる。図４６は、図４５のカメラ４０による撮影映像の一例である。

　１．１０．８　第十実施例の第八変形
　なお、上記した位置関係情報、指形状情報等の複数種の指定指情報を組み合わせる形で、操作対象指を指定してもよい。これにより、人差し指や中指といった決められた種類の指をより正確に特定することが可能となる。

　１．１０．９　第十実施例の第九変形
　手画像撮影部あるいは手段をなすカメラ１２ｂは、タッチパネル１２ａの裏面１２ａ２側から撮影するものではなく、例えば、図１５のように取り付ける構成としてもよい。また、手画像撮影部あるいは手段をなすカメラ１２ｂは、図１５のカメラ２０に兼用させてもよい。

　図１５のカメラ２０のように、撮影範囲が、操作パネル１２ａの操作者の手だけでなく、その手から続く腕まで映るように定められている場合は（例えば図８の撮影画像３００）、撮影される操作パネル周辺画像を取得する制御回路１８では、画像処理部１８ａにて、手からのびる腕の方向を特定して、操作者が左右いずれの搭乗者であるかを特定できる。これにより、タッチ操作面１２ａ１の操作者が、該タッチ操作面１２ａ１の左側に位置する者であれば、その操作手を右手と特定することができるし、該タッチ操作面１２ａ１の右側に位置する者であれば、その操作手を左手と特定することができる。

　そして、制御回路１８は、その操作手の特定結果に基づいて、操作対象指Ｐの指定条件を切り替えるようにすることができる。具体的にいえば、操作対象指Ｐとして人差し指を特定する場合には、操作手が左手の場合は、最も右に出現する指として特定したり、最も長く表れる中指の右に隣接する指として特定することができ、他方、操作手が右手の場合は、最も左に出現する指として特定したり、最も長く表れる中指の左に隣接する指として特定することができる。従って、操作対象指Ｐを指定する際に、操作手が左手であるか右手であるかに応じて選定条件が切り替わる場合は、当該操作手の特定結果に基づいて、その切り替えを行うようにすることができる。また、操作手が運転者の手と特定された場合に、操作ができないよう表示を行わないようにしてもよい。こうすると、左側の助手席搭乗者のみを操作者として指定できるから、操作手として絶えず右手を定めることができ、ひいては、これを操作対象指Ｐの選定条件に予め反映しておくことができる。

　図８の撮影画像３００においては、符号３００Ｈが手画像、符号３００Ａが手から続く腕の画像、符号３１２ａが操作パネル１２ａの映った領域であり、操作パネル１２ａの操作者の腕は撮影画像の右側から、即ち運転席側から延びているので、当該操作者が運転者であると特定される。

　この場合、このカメラ２０が、制御回路１８（画像処理部１８ａ）とともに操作者特定部あるいは手段として機能している。なお、操作パネル１２ａの操作者が運転者であるか否かを特定する方法は、他の方法であってもよい。例えば、タッチ操作面１２ａの車両左右両側にそれぞれ接近物を検知する接近物検知部（例えば赤外反射センサ等の反射式光学センサ）を設け、これにより操作者を特定してもよい。

　１．１０．１０　第十実施例の第十変形
　上記した全ての第十実施例において、上記のような強調表示を、２以上の指が特定された場合にのみ実施するようにしてもよい。指特定部あるいは手段として機能する制御回路１８は、指の本数を特定することが可能であるから、特定された指本数が２以上である場合に上記第十実施例に係る位置指示画像表示処理を実行し、１本の場合には、その指に対応する位置指示画像のみを表示するシンプルな表示処理を実行するように構成するようにできる。

　１．１０．１１　第十実施例の第十一変形
　上記した全ての第十実施例において、遠隔操作部は接触操作（プッシュ操作やタッチ操作）を前提としているため、１本の指を位置指示用に指定している。さらに、場合によっては図４８に示すように２本の指を位置指示用に指定するように構成できることも述べられている。ところが、遠隔操作部は、ダイアル操作部等のような、操作ノブをつまむ形での操作が前提となる操作部であってもよく、この場合は、２本あるいは３本といった本数の指を操作対象指Ｐとして指定することもできる。なお、つまむ形での操作における指の特定ないしは指先の特定は、上記した接近距離情報（遠隔操作面への接近距離関係を反映した情報）を用いて行うことができる。

　例えば、図４９に示すように、本実施形態の遠隔操作部としてダイアル操作部１２ａ’（ダイアルノブ周辺の筐体前端部１２１ｅもダイアル操作部１２ａ’の一部とする）を設け、これを操作するために接近する手をカメラ４１，４２（制御回路１８に接続する形で構成する）にて撮影するように構成する。カメラ４１，４２は、撮影範囲が異なっており、双方の撮影方向がダイアル操作部１２ａ’の回転軸線に対し垂直な平面上にて直交するように定められている。これらカメラ４１，４２の撮影画像（図２７及び図２８の（ｂ）と同様の２値化後の画像）１５０ａ，１５０ｂの一例が、図５０（ａ）、（ｂ）に示されている。一方で、操作情報入力部１２の内部にも図３に示す形でカメラ１２ｂが設置されている（図１５のように外部にあってもよい）。カメラ１２ｂの撮影画像（図２７及び図２８の（ｂ）と同様の２値化後の画像）１５０ｃの一例が、図５０（ｃ）に示されている。なお、これらの画像１５０ａ，１５０ｂ，１５０ｃの画像領域１５０Ｓは、操作部１２ａ’の映った領域である。

　ここで、この構成において実施される上記のような強調表示について、その処理の流れを説明する。

　まずは、図５０（ａ）、（ｂ）の画像１５０ａ，１５０ｂを取得し（図２５のＴ１に相当する処理）、画像１５０ａ，１５０ｂから抽出される手画像１５０Ｈから指先Ｑを特定する。その上で、指先Ｑの具体的な位置を特定する（図２５のＴ２に相当する処理）。ここでは、図４９に示すようなｘ軸、ｙ軸、ｚ軸を有する三次元座標系（車室内座標系）を車室内に定めて、当該座標系における位置座標として特定する。具体的には、画像１５０ａ，１５０ｂにｘ－ｚ座標系、ｙ－ｚ座標系を定めて、これらから筐体前端部１２１ｅ側に延出する突出画像１５０Ｆの先端領域に既に述べたいずれかの方法により指先Ｑを特定するとともに、当該指先Ｑの位置座標を特定して、これらから上記車室内座標系における三次元位置座標を特定する。

　続いて、操作対象指Ｐを特定する。ここでは、各指先Ｑから筐体前端部１２１ｅの前端面間までの距離を算出して、筐体前端部１２１ｅの前端面に最も近い位置にある指先Ｑと、それに次いで近い位置にあるＱとの双方を、操作対象指Ｐとして特定する。なお、ここでの距離の算出は、画像１５０ａ，１５０ｂに筐体前端部１２１ｅの前端面が映るので（符号１５０Ｅ）、これを用いて算出してもよいし、画像１５０ｃの輝度から算出してもよい。

　そして、特定された操作対象指Ｐの指先Ｑに対応する位置指示画像２００Ｈの位置指示領域２００Ｑ（２００Ｐ）を、他の指先Ｑに対応する位置指示画像２００Ｈの位置指示領域２００Ｑ（２００Ｒ）よりも強調する形で、図５１に示すような形で背景画像２００Ｂに重ねて表示する、あるいは合成して表示する。なお、図５１における背景画像２００Ｂ（２００Ｂ３）は、スイッチ画像２００Ｉとして、ダイアルスイッチ画像が表示されており、遠隔操作部をなすダイアル操作部１２ａ’の回転操作に応じた回転表示がなされ、回転位置に応じた制御内容が実施される。

　なお、ここでの操作対象指Ｐの指定方法は、既に述べた第十実施例の第二変形のように、特定された指先Ｑを、遠隔操作部をなすダイアル操作部１２ａ’に向けて（ダイアル操作部１２ａ’との対向方向に）投影し、その投影面１８０上の予め定められた領域に設定される基準領域Ｙと投影された指先Ｑとの間の距離を反映した距離情報を位置関係情報として取得して、取得された該距離情報を用いて、当該距離に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する。なお、ここで設定される基準領域Ｙは、図５３に示すように、ダイアル操作部１２ａ’を投影面１８０に投影した投影領域１２０の中心位置として設定することができる。

　また、ここでの操作対象指Ｐの指定方法は、少なくとも親指が含まれるように定められるような方法であるとよい。具体的には、他の指との太さの違い、他の指との位置関係の違い、指の延出方向の違い等、様々な要素から特定できる。また、操作対象指Ｐが２本である場合は、残り１本の指は、親指以外で最も筐体前端部１２１ｅの前端面に近い指とすることができる。ただし、つまみ操作のしやすさから人差し指又は中指が指定されることが望ましく、例えば親指を基準として（たとえば親指からの位置関係により）指定することができる。また、上記のようなつまみ操作を前提とするような遠隔操作部の場合は、図５２のように、３本の指の指先を強調してもよい。この場合は、望ましくは、親指、人差し指、中指が操作対象指Ｐに指定されるとよい。

　また、この実施例では、位置指示画像２００Ｈにおける指先領域２００Ｑを位置指示領域としているが、既に述べた他の実施例のように、位置指示画像２００Ｈに含まれる指全体を位置指示領域としてもよい。逆に、既に述べた他の実施例において、位置指示画像２００Ｈにおける指先領域２００Ｑを位置指示領域としてもよい。
１．１０．１２　第十実施例の第十二変形
　（指ないし指先の追跡処理）
　上記した全ての実施例において適用可能な処理について、第十実施例の第十二変形として説明する。　上記した第十実施例においては、撮影映像のフレーム毎に操作対象指Ｐが特定される構成となっているが、この場合、操作パネル１２ａ（１２ａ’）と操作する手の位置関係が変わった際に、操作対象指Ｐが自動的に別の指に切り替わってしまう可能性がある。特に、第十実施例の第四変形や第五変形のように、遠隔操作部への接触位置（ユーザー操作）に基づいて操作対象指Ｐが特定される場合には、タッチ操作が基準となって操作対象指Ｐが特定されるため、手や指の位置が移動したからといって簡単に別の指が操作対象指Ｐとされることは望ましくない。また、第十実施例以外においても、簡易操作用指状態として、予め定められた簡易操作用の指の種別が特定される状態が定められているような場合（例えば人差し指や中指のいずれか又は双方が特定される指状態）も、当該種別の指が特定された後に、手や指の位置が移動したからといって、簡単に別の指が簡易操作用の種別の指として特定されてしまうことは望ましくない。このため、操作対象指Ｐ等の指が指定ないし特定された後、指定ないし特定された指の移動を追跡する処理を追加し、その追跡結果に基づいて、同一の指を継続的に指定ないし特定し続けることで、上記の問題を解決することができる。

　図５４及び図５５は、図２５のＴ１で特定される全ての指を追跡するための処理、さらにいえばＴ２で特定される全ての指先を追跡する処理、あるいは、図９のＳ２（及びＳ２に相当する処理）で特定される全ての指（さらには指先）を追跡するための処理である。ここでは、遠隔操作部をなす操作パネル１２ａ（１２ａ’）を操作するために当該操作パネル１２ａ（１２ａ’）の手前側にて対向した手（指）を、撮影部あるいは手段であるカメラ１２ｂにより撮影される動画像に基づいて特定するよう構成されている。この場合、操作パネル１２ａ（１２ａ’）の手前側にて対向する手（指）の指特定可能範囲（指先特定可能範囲）は、固定配置されたカメラ１２ｂの撮影範囲である。カメラ１２ｂは、当該範囲の動画像を撮影し、制御回路１８は所定時間間隔おきに順次撮影された動画像フレームを取得する。

　図５４及び図５５の指追跡処理（指追跡ステップ）では、順次取得される動画像フレームから特定される各指先の当該フレーム内での位置を算出して、算出された位置情報を追跡情報として、制御回路１８のＲＯＭ等の記憶部１８ｄに設けられた所定の追跡情報記憶部に記憶・蓄積することで、順次取得される動画像フレームから特定される各指先を識別しながら、それぞれの移動を追跡する。

　追跡情報は、図５６の符号５００に示すような形で記憶される。図５６に示す追跡情報５００には、取得した動画像フレームにて特定された各指先に指先ＩＤ（識別情報）を付与し、当該指先ＩＤに対応付けた形で、各指先の前回の動画像フレーム（以下、前フレーム称する）及び前々回の動画像フレーム（以下、前々フレームと称する）内での位置を示す位置情報を記憶可能としている。なお、ここでの位置情報は、動画像フレーム内に定められる所定の二次元座標系上での各指先の位置座標である。図５６の上図は、当該二次元座標系が定められた動画像フレーム（指特定可能範囲ともいえる）を図示したものであり、図５６の追跡情報５００として記憶されている、前フレームにて特定された指先の位置座標P_i(-1)及び前々フレームにて特定された指先の位置座標P_i(-2)、さらに現フレームにて特定された指先のR_j(0)が表示されている。図５６に示すように、新たな動画像フレームが取得されるに伴い各指先の位置座標が順次記憶・更新されていく。なお、記憶保持される位置座標は、ここでは前フレーム及び前々フレームの位置座標であって、前々フレームよりも以前のフレームの位置座標は順次消去される。

　また、追跡情報５００には、最新の動画像フレーム（以下、現フレームと称する）から特定される各指先の当該フレーム上での位置を示す位置情報が含まれており、追跡情報記憶部には、当該位置情報が指先ＩＤごとに記憶される。さらに、追跡情報には、現フレームにおいて各指先が位置するであろう予測位置（次回位置）が含まれており、追跡情報記憶部には、当該予測位置を示す予測位置情報が記憶される。さらに、現フレームにおける指先の位置情報と、現フレームに関し予測された指先の予測位置情報との対応関係を特定し、その対応結果から、指先ＩＤごとに、現フレーム取得時における対応する指先の追跡状況が特定され、これも追跡情報として追跡情報記憶部に記憶される。追跡状況としては、指先の追跡が前フレーム時から現フレームにかけて継続している追跡継続状態（追跡中）と、前フレームまでは追跡されていた指先を現フレームにてロスト（消滅）した追跡不可状態（ロスト）と、前フレームまでは追跡されていなかった指先が新規に出現した新規出現状態（新規出現）との少なくとも３状態を有している。

　指先の予測位置の算出方法としては、例えば以下のような算出方法を例示できる。即ち、過去複数回の動画像フレーム上の各指先の位置を示す位置情報に基づいて算出する方法である。ここでは、各指の追跡情報として、前フレーム回及び前々フレーム上の各指先の位置情報が含まれているから、それら位置情報に基づいて、各指先の移動を推定し、次フレーム上の各指先の推定移動先を上記予測位置として算出する(図５７参照)。具体例としては、図５８（ａ）に示すように、各動画像フレーム上に共通に定められる動画像フレーム４００上の二次元座標系において、前々フレーム上に特定される指の位置座標P_i(-2)から、前フレーム上に特定される位置座標P_i(-1)に移動した際の、当該位置座標P_i(-1)における指の速度ベクトルV_i(-1)を、当該移動の移動方向及び移動距離に基づいて算出する。そして次フレームでは、位置座標P_i(-1)に位置する指が速度ベクトルV_i(-1)だけ移動すると推定し、その推定移動先の位置座標Q_i(-0)を算出する（Q_i(-0)＝P_i(-1)＋V_i(-1)）。算出された位置座標Q_i(-0)が予測位置情報であり、追跡情報の一つとして制御回路１８の記憶部１８ｄの所定の追跡情報記憶部に記憶される。

　ただし、前フレームにおいて新規に出現した指先に対し、次フレームでの出現を予測することは、上記のように前フレームと前々フレームとの双方を用いた予測方法では実施できない。こうした場合、ここでは、前フレーム上にて特定された指先の位置情報に基づいて、当該指先の前々フレームにおける位置を仮位置として定め、この仮位置を示す位置情報と、前フレームの位置情報とに基づいて、当該指先の次フレーム上での出現位置を特定する。この仮位置の決定方法は以下の通りである。即ち、図５９に示すように、動画像フレーム（指先特定可能範囲）４００内の領域を、各縁部（ここでは上下左右の縁部）に対応付けた形で予め区画して（区画線は破線で図示）、各縁部４０１（４０１ａ～４０１ｄ）に対応する縁部対応領域４１０を設定しておき、その上で、まずは、前フレーム上にて特定された指先位置P_i(-1)が存在する縁部対応領域４１０（４０１Ａ～４０１Ｄ）を特定する。P_i(-1)が存在する縁部対応領域４１０が特定された場合には、当該P_i(-1)に最近接する当該縁部対応領域４１０の縁部４０１上の位置を、前々フレームの仮位置として決定する。つまり、前フレーム上にて特定された指先位置P_i(-1)を通過し、当該指先位置P_i(-1)が存在する縁部対応領域４１０の縁部４０１に向かう垂線と、当該縁部４０１との交点を仮位置P_i'(-2)と定める。

　なお、上記の指先の予測位置の算出方法は、前フレーム回及び前々フレーム上の各指先の位置情報に基づいて算出する方法であったが、より高い精度で算出するために、図５８（ｂ）に示すように算出する。即ち、各動画像フレーム上に共通に定められる動画像フレーム４００上の二次元座標系において、現フレームから１回前フレーム上に特定される位置座標P_i(-1)上における指の速度ベクトルV_i(-1)と加速ベクトルA_i(-1)をそれぞれ算出し、次フレームでは、当該位置座標P_i(-1)に位置する指がこれら速度ベクトルV_i(-1)と加速ベクトルA_i(-1)の分に相当する移動が生ずると推定して、その推定移動先の位置座標Q_i(-0)を算出する（Q_i(-0)＝P_i(-1)＋V_i(0)＝P_i(-1)＋V_i(-1)＋A_i(-1)）。まずは、現フレームから３回前のフレーム上に特定される指の位置座標P_i(-3)から、現フレームから２回前フレーム上に特定される位置座標P_i(-2)に移動した際の移動方向及び移動距離に基づいて、位置座標P_i(-2)における当該指の速度ベクトルV_i(-2)を算出する。その上でこの指を、動画像フレーム４００上の位置座標P_i(-2)から速度ベクトルV_i(-2)だけ移動した先の位置座標から、現フレームから１回前フレーム上に特定される位置座標P_i(-1)に移動した際の移動方向及び移動距離に基づいて、加速ベクトルA_i(-1)を算出する（A_i(-1)＝V_i(-1)－V_i(-2)＝P_i(-1)－P_i(-2)－V_i(-2)）。また、速度ベクトルV_i(-1)は、現フレームから２回前フレーム上に特定される位置座標P_i(-2)から、現フレームから１回前フレーム上に特定される位置座標P_i(-1)に移動した際の、移動方向及び移動距離に基づいて算出する。

　指先の追跡状況の特定方法としては、例えば以下のような特定方法を例示できる。即ち、現フレーム上に特定された指先の位置情報と、当該指先の現フレーム上での予測位置情報とを比較し、これらの位置関係が予め定められた基準条件を満たすか否かに基づいて特定する方法である。例えば、図５６に示すように、現フレームに関して算出された各予測位置情報が示す指先の位置座標Q₁(-0)、Q₂(-0)、Q₃(-0)と、現フレームにおいて実際に特定された全ての指先の位置座標R_a(0)、R_b(0)、R_c(0)、…との中から、動画像フレーム内において最も位置が近接するペアを対応するペアを、基準条件を満たすペアとして認識するようにする。ただし、ペアをなす両位置間の距離が予め定められた基準距離を下回らないような、一定以上離れた位置関係にある場合については、当該ペアを対応するペアとして認識しないようにする。対応するペアについては、現フレームにて実際に特定された指先と、予測位置情報を算出するための根拠となった前フレームの位置情報に対応する指先とが同一の指先であると判定し、当該指先の追跡が前フレーム時から現フレームにかけて継続している追跡継続状態（追跡中）と特定する。現フレームにて実際に特定された指先のうち、対応するペアが見つからなかった指先は、新規出現状態（新規出現）として特定する。現フレームに関して算出された予測位置情報に対応する指先（前フレームにて追跡中と特定された指先）のうち、対応するペアが見つからなかった指先は、追跡不可状態（ロスト）として特定する。特定された各指先の追跡状況は、各指先ＩＤに対応付けた形で制御回路１８の記憶部１８ｄの所定の追跡情報記憶部に記憶される。

　なお、追跡状況として追跡不可状態（ロスト）が特定された場合には、この追跡不可状態（追跡状況）や、この追跡不可状態が特定される直前のフレーム上での当該指先の位置情報と共に、他の追跡不可状態の指との追跡不可特定時期の前後関係が特定可能となる追跡不可認識順序が、追跡復帰判断情報として追跡情報記憶部（追跡復帰判断情報記憶部）に記憶される。なお、ここではこの追跡復帰判断情報も追跡情報の一つとして取り扱うこととする。

　ここで、図５４及び図５５に示す指追跡処理（指追跡ステップ）の流れを説明する。この指追跡処理は、制御回路１８が、カメラ１２ｂから動画像フレームを取得するたびに実行する処理であり、これにより当該制御回路１８が指追跡部あるいは手段として機能する。

　まずＲ２０１（図５４）では、制御回路１８が、カメラ１２ｂによる動画撮影により取得した新たな動画像フレーム（現フレーム）内に、指先が特定されるか否かを判定し、指先が特定された場合にはＲ２０２に進み、指先が特定されなかった場合にはＲ２１５に進む。なお、指先の特定方法については、図２５のＴ１及びＴ２と同様である。

　Ｒ２０２では、制御回路１８が、現フレーム上に特定される各指先と、前フレーム上に特定される各指先との対応関係を特定する。ここでは、現フレームにおける指先の位置情報と、現フレームに関し予測された指先の予測位置情報との対応関係を特定し、その対応結果から、現フレーム取得時における各指先の追跡状況が、追跡継続状態（追跡中）・追跡不可状態（ロスト）・新規出現状態（新規出現）・未特定（未出現）のいずれの状況にあるかを、指先ＩＤごとに特定する。特定された追跡状況は、図５６の符号５００に示すような形で、対応する指先ＩＤごとに制御回路１８の記憶部１８ｄの所定の追跡情報記憶部に記憶する。ここでは、前フレーム上に特定された指先と上記基準条件を満たす、現フレーム上に特定された指先が存在する場合を、追跡継続状態（追跡中）と認識し、前フレーム上に特定された指先のいずれとも上記基準条件を満たさない、現フレーム上に特定された指先が存在する場合を、新規出現状態（新規出現）と認識し、現フレーム上に特定されたいずれの指先とも上記基準条件を満たさない、前フレーム上に特定された指先が存在する場合を、追跡不可状態（ロスト）と認識する。

　Ｒ２０３では、前フレーム上に特定された指先と現フレーム上に特定された指先とにおいて同一の指が存在するか否か、言い換えれば、現フレーム上に追跡継続状態（追跡中）の指先が存在するか否かを判定する。追跡継続状態（追跡中）の指先が存在する場合にはＲ２０４に進み、追跡継続状態（追跡中）の指先が存在しない場合は図５５のＲ２０５に進む。

　Ｒ２０４では、追跡継続状態（追跡中）の指先の指先ＩＤに対応する追跡情報を更新する。追跡継続状態（追跡中）の指先とは前フレーム取得時に追跡情報の更新を行った指先であり、当該指先の指先ＩＤに対応する現フレームの位置情報を、当該指先の現フレームにおける位置を示す位置情報により更新する。さらに、これまで記憶されていた現フレームの位置情報を前フレームの位置情報として更新し、これまで記憶されていた前フレームの位置情報を前々フレームの位置情報として更新する。

　Ｒ２０５では、前フレーム上に特定された指先のうち、現フレーム上に特定されなかった指先が存在するか否か、言い換えれば、図６０に示すP₁(0)ような、現フレームにて追跡不可となった指先が存在するか否かを判定する。追跡不可状態（追跡中）の指先が存在する場合にはＲ２０６に進み、追跡継続状態（追跡中）の指先が存在しない場合はＲ２０７に進む。

　Ｒ２０６では、追跡不可状態（ロスト）の指先の指先ＩＤに対応付ける形で、追跡不可と認識されたときの当該指に係る情報を追跡復帰判断情報として記憶する。この追跡復帰判断情報は、後に取得される動画像フレームにおいて追跡中でない新たな指先が出現した時に、その指がここで追跡不可と認識された指であるか否かを判定するために使用される情報である。これにより、一度フレームから外れた指先が再度フレーム内に進入した場合に、両者を同じ指として認識することができ、改めてその指の追跡を行うことが可能となる。ここでは、追跡不可状態となった指先の指先ＩＤを消去することなく記憶保持し、当該指先ＩＤに対応付ける形で、当該指先ＩＤに対応する前フレームの位置情報（消滅直前位置）と共に、他の追跡不可の指との追跡不可認識時期の前後関係が特定可能となる追跡不可認識順序（消滅順）を追跡復帰判断情報として記憶する。図５６の場合、指先ＩＤ「２」に消滅順として「１」が付されており、後に取得される動画像フレームにて新たの指先が追跡不可となった場合には、その指先ＩＤには消滅順として「２」が付されることになり、付された番号の大きいものほど、追跡不可認識時期が新しいと判断できる。

　Ｒ２０７では、現フレーム上に特定された指先のうち、前フレーム上に特定されなかった指先が存在するか否か、言い換えれば、現フレームにて新規出現した指先が存在するか否かを判定する。新規出現状態（新規出現）の指先が存在する場合にはＲ２０８に進み、追跡継続状態の指先が存在しない場合はＲ２０９に進む。

　Ｒ２０８では、Ｒ２０７にて新規出現状態（新規出現）の指先が存在すると特定された段階で、現在、追跡不可状態（ロスト）を継続している指先が存在するか否かを判定する。この判定は、図５６に示す追跡情報において、追跡復帰判断情報が記憶されている指先ＩＤが存在するか否かに基づいて行う。この段階で、追跡不可状態（ロスト）を継続している指先が存在しないと判定された場合にはＲ２１３に進み、Ｒ２０７にて特定された新規出現状態の指先に、これまで付されていない新たな指先ＩＤを付与し、当該指先ＩＤに対応付ける形で、当該新規出現状態の指先の現フレーム上にて特定された位置を示す位置情報を記憶する。さらに、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１３を終了すると、本処理は終了となる。他方、Ｒ２０８にて、追跡不可状態（ロスト）を継続している指先が存在すると判定された場合にはＲ２０９に進む。

　Ｒ２０９では、新規出現の指先のうち、現在、追跡不可状態（ロスト）を継続している指先と同一の指があるか否かを特定する。具体的には、Ｒ２０７にて実際に特定された新規出現の指先の現フレームにおける位置情報と、追跡情報５００に含まれる追跡不可状態の指先の最後の位置を示す位置情報（追跡復帰判断情報）とに基づいて、追跡不可状態となっている指先のうち、実際に特定された新規出現の指先の位置に対し、一定範囲内にて最も近接するものが存在するか否かを判定する。ここでは、現フレームにて実際に特定された各指先の指先位置と、追跡不可状態となっている各指先の指先位置との間の距離を算出し、それらの距離のうち、最も距離が短く、なおかつ予め定められた基準距離よりを下回る距離を特定して、当該距離に対応するする現フレームにて実際に特定された各指先と追跡不可状態となっている各指先とを同一の指先と判定する。ただし、一定範囲内に存在する追跡不可状態となっている指先が複数存在する場合には、追跡不可認識順序（追跡復帰判断情報）に基づいて、最も最近に追跡不可状態となった指先を、現フレームにおいて新規出現と特定された指先と同一と特定する。

　続くＲ２１０では、Ｒ２０９の結果に基づいて、現フレームにおいて新規出現と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一のものが存在するか否かを判定して、存在する場合にはＲ２１１に進み、存在しない場合にはＲ２１３に進む。

　Ｒ２１１では、Ｒ２０９の結果に基づいて、現フレームにおいて新規出現と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一と判定された指先が複数あるか否かを判定する。複数ではなく１つであると判定されている場合にはＲ２１２に進む。Ｒ２１２では、当該１つの指先の追跡不可状態（ロスト）における指先ＩＤに対応付ける形で、当該指先と同一と判定された、現フレーム上で特定された新規出現の指先の位置情報を記憶し、当該指先ＩＤの追跡情報を更新する。これにより、追跡不可状態の指先の位置追跡が再開される。なお、このとき、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１２を終了すると、本処理は終了となる。

　他方、Ｒ２１１にて、Ｒ２０９の結果に基づいて、現フレームにおいて新規出現と特定された指先のうち、追跡不可状態（ロスト）を継続している指先と同一と判定された指先が複数あると判定された場合にはＲ２１４に進む。Ｒ２１４では、それら複数の指先のうち、追跡不可認識順序（追跡復帰判断情報）に基づいて、最も最近に追跡不可状態となった指先を特定し、特定された指先の指先ＩＤに対応付ける形で、当該指先と同一と判定された、現フレーム上で特定された新規出現の指先の位置情報を記憶し、当該指先ＩＤの追跡情報を更新する。これにより、追跡不可状態の指先の位置追跡が再開される。なお、このとき、当該指先ＩＤに対応する追跡状況を追跡不可状態から追跡継続状態（追跡再開）に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。Ｒ２１４を終了すると、本処理は終了となる。

　なお、Ｒ２０１において、取得した新たな動画像フレーム内に指先が特定されなかった場合には、図５６に示すような追跡情報５００はリセットされ、各ＩＤに対応する情報は消去されるものとする。

　このように、カメラ１２ｂが撮影する動画像から特定される全ての指先を、フレームアウト時も考慮して継続的に追跡することにより、操作対象指Ｐを同じ指に固定して定めることができる。具体的には、操作対象指Ｐを特定する処理によって操作対象指Ｐが指定された際に、図５６に示すように、操作対象指Ｐを示す操作対象指情報を指先ＩＤに対応付ける形で記憶しておくことで、これを参照することにより、どのタイミングにおいても操作対象指Ｐを特定することができる。即ち、図５４及び図５５のような指追跡処理を追加することにより、所定周期で繰り返し実施される図２５の処理において、Ｔ３による操作対象指Ｐの特定処理は別途実施するものとし、Ｔ３では、指先ＩＤに対応付けて記憶されている操作対象指情報に基づいて、操作対象指Ｐを特定すればよい。

　また、この指先追跡処理の適用は、図３９の第十実施例の第四変形や図４０の第十実施例の第五変形のように、ユーザーによりなされる操作対象指指定操作の操作内容に基づいて、操作対象指Ｐが指定される実施例にとって好適となる。図３９の第十実施例の第四変形や図４０の第十実施例の第五変形では、タッチパネル１２ａへのタッチ操作が操作対象指指定操作であり、当該タッチ操作の操作内容に基づいて、操作対象指Ｐが指定される。つまり、ユーザーによる操作対象指指定操作がなされない限り操作対象指Ｐが変更されない実施例であれば、動画像フレームを取得するたびに操作対象指Ｐを特定する演算をする必要が無くなり、各指の追跡情報から指定すべき指をピックアップするだけで、容易に操作対象指Ｐを特定することができる。

　また、第十実施例における操作対象指Ｐを、既に述べた簡易操作指状態において特定される指と一致するように構成してもよい。

　１．１１　他の実施例
　以下、他の実施例について説明する。

　また、上記した実施例においては、位置指示画像２００Ｈとして、撮影された指の輪郭形状をそのまま反映させた加工画像（実指画像）２００Ｈを表示しているが、撮影された指の指先Ｑ（即ち撮影された指の指示位置）を指し示す指先位置画像（ポインタ等：図６７参照）２００Ｈ２のように、指形状とは全く異なる画像を表示してもよい。強調表示を行うのであれば、指先Ｑを含む指先領域（例えば、指の第一関節までや、指先位置Ｑを中心とする所定半径内領域等）だけを強調して表示してもよい。この場合は、撮影された指の指先Ｑが、表示画面上のどの位置に対向するのかを特定して、特定された画面位置にポインタ等の所定の位置指示画像を表示する。また、位置指示画像２００Ｈとして、撮影された指の長さ方向Ｆ及び指先Ｑを簡略的に示す擬似指画像（ここでは棒状の画像：図６６参照）２００Ｈ１等を表示してもよい。

　また、第十実施例における操作対象指Ｐを、既に述べた簡易操作指状態として特定される指と一致するように構成してもよい。

　また、上記実施例においては、本実施形態の遠隔操作部としてタッチパネルを設けて構成しているが、プッシュスイッチやシーソースイッチ等の押圧操作を伴うスイッチを備える操作部であってもよい。また、上記実施例においては、操作パネル１２ａとして抵抗膜式のタッチパネルを用いているが、他の方式のタッチパネルを用いてもよい。

　また、操作パネル１２ａとして、タッチ操作の位置検出を、カメラ等の撮影部あるいは手段により撮影された撮影画像への画像処理により行うものを、タッチパネルに代わって採用してもよい。具体的にいえば、操作パネル１２ａを、表面１２ａ１がタッチ操作面をなす透光性を有したパネルとし、この操作パネル１２ａにタッチ操作面１２ａ１側から接近する接近対象物に予め定められた波長帯の光を、当該操作パネル１２ａを介して照射する光源１２ｃを設ける。そして、手画像撮影部あるいは手段をなすカメラ１２ｂを、少なくともその光源１２ｃから照射された光が接近対象物にて反射した反射光を捉える形で、当該接近対象物を操作パネル１２ａ１の裏面１２ａ２側から撮影する撮影部あるいは手段とする。さらに、制御回路１８を、このカメラ１２ｂにより撮影された画像上において、反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定部あるいは手段として機能させるとともに、特定されたこの光反射領域（座標情報）に基づいて、当該光反射領域へのタッチ入力を受け付ける入力受付部あるいは手段としても機能させるように構成する。

　この構成によると、カメラ１２ｂの撮影画像に予め定められた閾強度を上回る光反射領域が特定された場合に、その特定された領域にタッチ操作入力があったと判定して、入力が受け付けられる。つまり、カメラ１２ｂの撮影画像は、上記した実施例と同様に位置指示画像の表示に利用されるだけでなく、光反射領域の特定にも利用されるように構成されている。また、この場合、特定された前記光反射領域の面積が予め定められた閾面積を上回った場合に、当該光反射領域へのタッチ操作入力を受け付けるようにすることもできる。
操作情報入力部１２はいわゆるセンターコンソールの平面部に配置されているが（例えば、図２参照）、特にこれに限定されるものはなく、例えば次のような位置に配置されていてもよい。
例えば、計器類が収められたインストルメントパネルのうち、ステアリングホイールの側方に近接した位置（ステアリングホイールの右側、左側）に上記入力部１２を配置してもよいし、ステアリングホイールの周りのうち該ステアリングホイールの操作の妨げとならない位置に補助パネルを設置し、該補助パネルに上記入力部１２を配置してもよい。これにより、入力部１２がステアリングホイールの側方に近接するから、ステアリングホイールから手を離して操作する際の負荷が軽減することになる。

　表示装置１５も上記インストルメントパネルの中央部分に配置する必要はなく、例えばインストルメントパネルのうちステアリングホイールによって視界が遮られない領域に配置することも可能であるし、あるいは車両のフロントガラスに画像を投射するヘッドアップディスプレイを表示装置１５としてもよいことは勿論である。

　なお、上記した各実施例について、各要素を組み合わせて実施することももちろん可能である。

　さらに、上記に説明した、各々の工程、ステップ、あるいは手段は、ソフトウエアの部分（例えば、サブルーチン）あるいは、及びハードウエアの部分（例えば、回路あるいは集積回路）として、関連する機器の機能を含みあるいは含まずに、達成できる。さらに、ハードウエアの部分はマイクロコンピュータの内部に形成されることもできる。さらに、ソフトウエアの部分あるいは、複数のソフトウエアの部分の組み合わせはソフトウエアプログラムに含めることも可能である。このソフトウエアプログラムはコンピュータで読み取り可能な媒体に含めることが出来る一方、通信ネットワークを介して、ダウンロードされコンピュータにインストールすることもできる。

　２．第２実施形態
　２．１　第一実施例
　以下、本発明の第２実施形態の操作入力装置の第一実施例を、図面を参照して説明する。第二実施形態の説明においては、第一実施形態と同一の箇所の説明は、省き、差異を中心に説明する。

　(構成)
　第二実施形態の操作入力装置を用いた車両用ナビゲーション装置の構成は、主に第一実施形態の図１、図３、および、図６９に示される。即ち、図６９では、図２にあるカメラ２０は無い。
その他は、ほぼ、同一である。

　図４～図７の、操作パネル１２ａに対向する手（指）Ｈの撮影を説明する図において、第一実施形態では、図４（ｃ）のような画面表示は行われないが、第二実施形態では、図４（ｃ）のような画面表示を表示する場合もある。

　(位置指示画像の表示処理)
　表示装置１５の表示される位置指示画像の表示処理についても、第一実施形態とほぼ同一であある。差は、所定指状態あるいは所定指形状について存在する。例えば、Ｓ２では、取得した手の画像に基づいて、その手の状態が予め定められた所定指状態であるがか否かを特定する。この場合、第一実施形態では、図７５で示すが、所定指状態として、その例２として包含される簡易操作用指状態を採用している。一方、第二実施形態では、その例１の操作意思表示用指状態を採用している。よって、図９のＳ２，Ｓ３、図１１のＳ２４，Ｓ２５、図１２のＳ３４，Ｓ３５，図１３のＳ４６，Ｓ４７、図１４のＳ１１２,図１７のＳ１２，Ｓ１３，図２１のＳ６４，Ｓ６５において、各々の所定指形状は、操作意思表示用指状態を意味する。また、また、同様に、図１８、図１９においても、各々の所定指形状は、操作意思表示用指形状を意味する。

　さらに、操作意思表示用指状態とは、本実施例においては簡易操作用指状態であり、例えば、操作対象となりうる指、即ちタッチ操作面１２ａに略沿ってのびた状態の指が、１本ないし２本程度の少数である状態等である。付言するならば、入力を早くするために５本の指を使う操作は難易度の高い指状態であり、ここでいう簡易操作用指状態はこうした指状態とは異なるものである。本実施例においては、取得した手の画像にて、タッチ操作面１２ａの面方向（面の広がる方向）側にのびた状態の指が１本だけ表れている一本指操作状態にある場合のみを操作意思表示用指状態として特定する。その意味で、所定指形状は第一実施形態と同様とも言える。

　（タッチ操作入力処理)
　操作情報入力部１２の操作パネル（遠隔操作部）１２ａへのタッチ操作入力処理についても、第一実施形態とほぼ同一である。差は、上記の表示処理での説明に示したと同様に、所定指状態について存在する。第一実施形態では、図７５で示すように、所定指状態として、その例２として包含される簡易操作用指状態を採用しているが、一方、第二実施形態では、その例１の操作意思表示用指状態を採用している。

　第一実施形態でも説明したように、このタッチ操作入力処理においては、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けが許可され（入力許可モード）、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けが禁止される（入力禁止モード）。ただし、図９の位置指示画像表示処理においては、操作意思表示用指状態が特定されている場合に表示許可モードが設定され、操作意思表示用指状態が特定されていない場合に表示禁止モードが設定されるので、結果として、ユーザーの指状態が操作意思表示用指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられないようになっている。なお、上記実施例においては、一本指状態という簡易操作用指状態が操作意思表示用指状態とされている。

　ところで、従来の方式の操作入力装置では、遠隔操作する手を実際に操作画面上に表示すると、手がタッチパネル１２ａ（遠隔操作部）に近い場合には、図４に示すように、指のみが表示された状態となる。ユーザーの中には、早く入力するために、片手の５本の指でタッチ操作入力を行う人もおり、この場合、操作画面上では、多数本の指が同時に並んで表示されるので、表示された指と、実際に操作者が指示に使いたい指との対応関係がわからなくなり、誤操作を招き易いという課題があった。これに対し、上記実施例においては、操作意思表示用指状態としての簡易操作用指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられない構成となっているので、上記のような課題を解消することができる。

　２．２　その他実施例
　第２実施形態でのその他の実施例は、同じく、第一実施形態の第２実施例以下の他の実施形態と同等である。差は、上記の表示処理での説明に示したと同様に、所定指状態について存在する。第一実施形態では、図７５で示すように、所定指状態として、その例２として包含される簡易操作用指状態を採用しているが、一方、第二実施形態では、その例１の操作意思表示用指状態を採用している。よって、簡易操作指状態を操作意思表示用指状態と置き換えることで、その他の実施例の説明が可能である。また、その他、第二実施形態では、図６９のように、カメラ２０を含まない構成を基本としたが、第一実施形態と同様に、カメラ２０を図２のように含む構成とすることで、同等なものとなる。

　また、操作意思表示用指状態としては、誤操作防止の観点からすれば、日頃ユーザーが行わないような手状態（指状態）を定めることが望ましい。また、処理の観点からすれば、より識別しやすい手状態（指状態）を定めることが望ましい。

　　３．第３実施形態
　３．１　第一実施例
　以下、本発明の第３実施形態の操作入力装置の一実施例を、図面を参照して説明する。第三実施形態の説明においては、第一実施形態と同一の箇所の説明は、省き、差異を中心に説明する。また、図は、ほぼ同一であり、第一実施形態で説明した図を参照しながら説明する。

　　(構成)
　第３実施形態の操作入力装置を用いた車両用ナビゲーション装置の構成は、主に第一実施形態の図１、図３、および、図６９に示される。即ち、図６９では、図２にあるカメラ２０は無い。その他は、ほぼ、同一である。

　操作パネル１２ａに対向する手（指）の撮影をに関しては、第一実施形態とは異なり、この第三実施形態では、図２７、図７、及び図６はを用いて説明する。第一実施形態との差は、操作パネル１２ａに複数の指が対向している場合には、図２７（ｃ）に示すように、特定の指に対応する位置指示画像２００Ｈの表示領域が残余の指に対応する位置指示画像２００Ｈの表示領域よりも相対的に強調された形で、背景画像２００Ｂに対し合成ないし重畳されて表示される点である。

　（位置指示画像の表示処理)
　次に、表示装置１５の表示される位置指示画像の表示処理について、図２５を用いて説明する。なお、当該処理は、制御回路１８の記憶部１８ｄに格納されたプログラムをＣＰＵが実行する形で実施される。

　Ｔ１では、制御回路１８が、タッチ操作面（遠隔操作面）１２ａ１の手前側（ここではカメラ１２ｂの逆側）にて、当該タッチ操作面１２ａ１に対向する手の指を特定する（指特定ステップ）。ここでは、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手指の画像を取得したか否かを判定する。カメラ１２ｂは、操作パネル１２ａの裏面１２ａ２側から該操作パネル１２ａを介してタッチ操作面（表面）１２ａ１側に接近する接近対象物（例えば運転者等の操作者の手）Ｈを常時撮影しており（撮影ステップ）、その撮影画像は常に制御回路１８の画像処理部１８ａに入力される。タッチ操作面１２ａ１と対面する位置に接近対象物Ｈが進入してくると、当然その接近対象物Ｈを含む撮影画像１５０が画像処理部１８ａに入力される。入力された撮影画像１５０は、画像処理部１８ａにて公知の画像解析手法によって解析され、色の相違等に基づいて接近対象物画像１５０Ｈが抽出される。そして、抽出された接近対象物画像１５０Ｈの形状に基づいて、当該画像１５０Ｈに、人の手指の画像１５０Ｆが含まれるか否かを判定する。なお、手指の画像の認識は、抽出された手画像１５０Ｈの全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して、当該棒状の画像パターンがあった場合に、これを指画像１５０Ｆとして認識する。判定結果は制御回路１８に出力され、手指の画像が認識されたと判定された場合にはＴ２に進み、判定されなければ本処理を終了する。

　なお、操作対象指Ｐとして、複数本の指を指定することができるが、接触式操作部１２ａへの操作が分かり易くなるように位置指示するという観点からすると、１本又は２本といった比較的少数の指を指定するものとすることが望ましい。本実施例においては１本である。さらに、指定対象となる指の種類としては、位置指示において好適とされる人差し指（図２７の（ｃ）を参照）、中指（図４７参照）、あるいは人差し指及び中指の２本（図４８参照）を想定することが望ましく、本実施例においては人差し指を想定している。

　本実施例のＴ３の処理は、図２６のフローチャートに示す処理として実行される。即ち、Ｔ１１にて、図２９（ｃ）のように特定された指先Ｑを仮想的な二次元座標系の面１８０上にて特定し、その面１８０上（図３０参照）に定められた１本の軸Ｘにより、上記二次元座標系内に別の一次元座標系を定める。ここでは、特定された指先Ｑをタッチ操作面１２ａ１に向けて（遠隔操作部との対向方向に）投影し、その投影面を上記の面１８０とし、該投影面上の予め定められた位置に１本の軸Ｘを設定して一次元座標系を定める。Ｔ１２では、面１８０上にて特定された指先Ｑの当該一次元座標系における位置座標（座標値）ＸＱを特定し、その位置座標ＸＱを反映した軸座標情報を、位置関係情報として取得する。その上で、Ｔ１３にて、取得された該軸座標情報に基づいて、図２５のＴ１にて特定された指のうち、当該軸座標情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Ｐとして指定する。

　また、本実施例においては、助手席搭乗者の右手による操作が想定されており、さらに、操作対象指Ｐとしてその操作者の人差し指が指定されるように軸Ｘが設定されている。このため、Ｔ１１では、図３０に示す位置に軸Ｘが設定されている。Ｔ１２では、設定されたこの軸Ｘに向けて指先Ｑを投影し、投影された各位置の座標値Ｘ１～Ｘ３を算出するとともに、Ｔ１３では、取得した座標値Ｘ１～Ｘ３のうち座標値が最も大きい指先Ｑを特定して、この指先Ｑを有する指が人差し指であると推定し、この指を操作対象指Ｐとして指定している。

　なお、この位置指示画像の表示処理には、指特定ステップ、指先特定ステップ、操作対象指指定ステップ、位置指示画像強調表示ステップ、指定指情報取得ステップが含まれており、制御回路１８は、ＣＰＵにより当該処理を実行することで、これら各ステップを実行する手段（指特定部あるいは手段、指先特定部あるいは手段、操作対象指指定部あるいは手段、位置指示画像強調表示部あるいは手段、指定指情報取得部あるいは手段）として機能する。

　（タッチ操作入力処理）
　最後に、操作情報入力部１２の操作パネル１２ａへのタッチ操作入力処理について、図７４を用いて説明する。なお、当該処理も、制御回路１８の記憶部１８ｄに格納されたプログラムをＣＰＵが実行する形で実施される。

　Ｔ１０１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力されるから、その入力の有無に基づいて判定する。操作パネル１２ａへのタッチ操作があった場合はＴ１０２に進み、タッチ操作が無かった場合は本処理を終了する。

　続くＴ１０２では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１上へのタッチ操作位置を特定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力される。そして、その操作信号には、タッチ操作位置が操作面１２ａ１に定められる操作座標系上の座標情報として反映されているので、制御回路１８が、この操作信号に基づいて、タッチ操作位置を特定する。

　続くＴ１０３では、制御回路１８が、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。具体的にいえば、操作パネル１２ａのタッチ操作面１２ａ１上の各位置は、表示画面１５の表示画面上の位置と対応しているので、Ｔ１０３にて特定されたタッチ操作面１２ａ１上の位置に対応する、表示画面１５の表示画面上の位置に定められた制御内容を実施する。具体的には、制御回路１８が、当該制御内容を実施するための制御信号を出力する。例えばＴ１０３にて特定されたタッチ操作面１２ａ１上の位置が、表示画面１５の表示画面に表示されたスイッチ画像２００Ｉに位置に対応していれば、制御回路１８は、当該スイッチ画像に割り当てられた制御内容を実行するための制御信号を出力する。

　Ｔ１０３の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、制御回路１８は、そのときどきにタッチ操作された位置に応じた制御内容を実施する、あるいは他の制御部（例えばＥＣＵ１００等）にて実施させる。

　なお、制御回路１８は、ＣＰＵにより当該タッチ操作入力処理を実行することで、入力受付部あるいは手段、操作入力制御部あるいは手段として機能する。

　以上、本第三実施形態の一実施例を説明したが、これはあくまでも例示にすぎず、本第三実施形態はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

　例えば、上記実施例においては、本第三実施形態の表示方法を車両用操作入力装置により実現した構成となっているが、操作入力装置は車両用に限られるものではなく、例えば一般の家電機器の操作入力装置であってもよい。さらにいえば、機器動作を行うための操作入力装置ではなく、画面表示をメイン機能とする一般の表示装置であってもよい。

　以下、上記実施例を第一実施例とし、それとは異なる実施例を説明する。なお、共通する構成については、同符号を用いることで説明を略する。

　３．１．１　第一実施例の各種の変形
　第一実施例は、各種の変形が可能である。各々の変形は、第一実施形態における第十実施例の第二変形から第十二変形と同等であり、よって説明を省く。

　３．２　第二実施例
　以下、本第三実施形態の第二実施例について説明する。

　上記実施例においては、ユーザーの手元に遠隔操作部が設けられるので、意図しないで操作部に触れてしまい、誤った操作入力がされることが課題となる。特に、タッチ操作式の操作部であれば、何かのはずみで接触しただけでも入力がされてしまうことがある。この課題を解決するために、操作者の指状態として予め定められた所定指状態を特定した場合に、予め定められた表示許可期間の間だけ上記第一実施例における位置指示画像２００Ｈの強調表示を実施する一方で、それ以外の場合には、図５のように、手がタッチ操作面１２ａ１に対向した状態にあっても位置指示画像２００Ｈの表示をしないように構成することができる。具体的には、図９に示すような位置指示画像表示処理を実施する。なお、当該処理も、制御回路１８の記憶部１８ｄに格納されたプログラムをＣＰＵが実行する形で実施される。

　なお、本実施例においては、光源１２ｃが配置されており、カメラ１２ｂは、当該光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施例のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施例ではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図２７、図７、図６、図５の（ｂ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手の画像を特定するために、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部１８ｄに記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手の画像として認識する（手画像認識部あるいは手段）。

　Ｓ２では、取得した手の画像に基づいて、その手の状態が予め定められた所定指状態であるか否かを特定する（所定指状態特定部あるいは手段）。ここでは、予め定められた操作意思表示用指状態であるか否かを特定する（操作意思表示用指状態特定部あるいは手段）。操作意思表示用指状態とは、本実施例においては簡易操作用指状態であり、例えば、操作対象となりうる指、即ちタッチ操作面１２ａに略沿ってのびた状態の指が、１本ないし２本程度の少数である状態等である。付言するならば、入力を早くするために５本の指を使う操作は難易度の高い指状態であり、ここでいう簡易操作用指状態はこうした指状態とは異なるものである。本実施例においては、取得した手の画像にて、タッチ操作面１２ａの面方向（面の広がる方向）側にのびた状態の指が１本だけ表れている一本指操作状態にある場合のみを操作意思表示用指状態として特定する。具体的にいえば、Ｓ１にて、手の画像を抽出した画像処理部１８ａが、その手画像の全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して、当該棒状の画像パターンがあった場合に、これを指画像１５０Ｆとして認識・特定する（指特定部あるいは手段）。特定された結果は制御回路１８に出力され、制御回路１８は、該指画像１５０Ｆの数を特定し（指本数特定部あるいは手段：手形状認識部あるいは手段）、その数が１つである場合を予め定められた操作意思表示用指状態（操作意思表示用指形状）であると特定する。

　続くＳ３では、その出力結果に基づいて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを判定し、予め定められた所定指状態であると判定された場合にＳ４に進む。Ｓ４では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定し、Ｓ５に進む。なお、設定された表示モードは、制御回路１８の記憶部１８ｄに設けられた所定記憶領域（表示モード記憶部）に記憶される。Ｓ４では、当該記憶領域に表示許可モードを記憶する。

　Ｓ５では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。つまり、撮影された手の画像Ｈが、表示画面上のどの位置に対向しているかを特定する。本実施例においては、カメラ１２ｂによって撮影された撮影画像上に、タッチ操作面１２ａが位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面１２ａの操作座標系を設定し、その上で、撮影された手画像Ｈの位置を、設定された該操作座標系上で特定する。そして、表示装置１５の表示画面上に定められた表示座標系において、当該操作座標系上で特定された該手画像Ｈの位置に対応する位置を特定する。本実施例においては、図２７、図７、図６、図５の（ｂ）に示す撮影画像（２値化画像）１５０が、タッチ操作面１２ａ１の全体を撮影した操作パネル画像領域となっている。

　さらにＳ６では、図７、図６の（ｃ）に示すように、表示装置１５の表示画面の、上記操作パネル画像領域上にて特定された該手画像Ｈに対応する位置に、位置指示画像２００Ｈを表示する（位置指示画像表示部あるいは手段）。本実施例においては、手画像１５０Ｈの外形形状が明確に表示され、かつ輪郭内部が半透過状態とされた加工画像２００Ｈが生成され、表示装置１５の画面上において、表示されているメイン画像２００Ｂの対応する座標位置に重ね表示される。さらに、Ｓ６では、第一実施例における位置指示画像の強調表示処理（図２５）が実施されて、操作対象指Ｐとして特定された指の位置指示画像２００Ｈが残余の指に対し相対的に強調して表示される。

　なお、ここでは、強調される操作対象指Ｐは人差し指と定められているものとする。従って、一本指状態であっても、そのときのびている指が人差し指ではないのであれば、この指に対応する位置指示画像は非強調状態にて表示される。他方、一本指状態が人差し指であれば、図７、図６の（ｃ）に示すように、人差し指が強調状態にて表示されるが、非強調状態の指は表示されない。

　他方、Ｓ３にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）でないと判定された場合はＳ７に進む。Ｓ７では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定する。これにより、Ｓ５及びＳ６での位置指示画像２００Ｈの表示がされず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されないままとなる。なお、設定された表示禁止モードは、制御回路１８の記憶部１８ｄに設けられた所定記憶領域（表示モード記憶部）に記憶される。

　Ｓ６及びＳ７の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル１２ａに対向する予め定められた所定指状態の手が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像（加工画像）２００Ｈの表示位置も移動する。

　この位置指示画像の表示処理においては、図１８に示すように、表示許可期間として、予め定められた所定指状態が非特定となるまでの期間が定められた形となっている。つまり、予め定められた所定指状態が特定されている場合には表示許可モードを設定し、予め定められた所定指状態が特定されていない場合には表示禁止モードを設定するような処理となっている。なお、制御回路１８は、この位置指示画像の表示処理を実行することにより、表示モード設定部あるいは手段として機能する。

　従来の方式の操作入力装置では、遠隔操作する手を実際に操作画面上に表示すると、手がタッチパネル１２ａ（遠隔操作部）に近い場合には、指のみが表示された状態となる。ユーザーの中には、早く入力するために、片手の５本の指でタッチ操作入力を行う人もおり、この場合、操作画面上では、多数本の指が同時に並んで表示されるので、表示された指と、実際に操作者が指示に使いたい指との対応関係がわからなくなり、誤操作を招き易いという課題があった。これに対し、上記実施例においては、予め定められた所定指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられない構成となっているので、上記のような課題を解消することができる。

　３．３　第三実施例
　以下、本第三実施形態の第三実施例について説明する。

　上記した第二実施例において、操作情報入力部１２の操作パネル（遠隔操作部）１２ａへのタッチ操作入力処理は、図７４のような処理ではなく、図１０のような処理とすることができる。なお、当該処理も、制御回路１８の記憶部１８ｄに格納されたプログラムをＣＰＵが実行する形で実施される。

　図１０のタッチ操作入力処理では、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けを許可（制御回路１８が入力許可モードを設定）し、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けを禁止（制御回路１８が入力禁止モードを設定）する操作入力受付制御が含まれた処理である。制御回路１８は、このタッチ操作入力処理を実行することにより操作入力制御部あるいは手段として機能する。

　このタッチ操作入力処理においては、表示許可モードが設定されている場合には、操作パネル１２ａへのタッチ操作入力の受け付けが許可され（入力許可モード）、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けが禁止される（入力禁止モード）。ただし、図９の位置指示画像表示処理においては、予め定められた所定指状態が特定されている場合に表示許可モードが設定され、予め定められた所定指状態が特定されていない場合に表示禁止モードが設定されるので、結果として、ユーザーの指状態が予め定められた所定指状態でないと、操作パネル１２ａへのタッチ操作入力が受け付けられないようになっている。ここでは、一本指状態という簡易操作用指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）とされている。

　３．４　第四実施例
　以下、本第三実施形態の第四実施例について説明する。

　上記第二及び第三実施例においては、表示許可期間として、図１８に示すように、予め定められた所定指状態が非特定となるまでの期間が定められた形となっているが、この表示許可期間として、図１９に示すように、予め決められた時間を定めることができる。つまり、表示許可モードに切り替わってから予め定められた時間（禁止モード復帰時間）が経過するまでの期間を表示許可期間と定め、当該禁止モード復帰時間が経過するに伴い表示禁止モードに復帰させるように構成することができる。この構成によれば、ユーザーが特定の指状態を示したことをきっかけに位置指示画像が表示可能な期間（表示許可モード）が始まって、該位置指示画像を見ながらのタッチ操作面１２ａ１への位置指示入力（タッチ操作）が可能となる一方で、ユーザーが特定の指状態を示さなければ位置指示画像は表示されず、位置指示入力を行うためのタッチ操作をスムーズに行えない。つまり、ユーザーが位置指示入力を行うという明確な意思を表示した場合にのみ位置指示画像の表示が許可されるようになっており、その意思表示をユーザーの指状態の特定により確認する構成となっている。なお、ここでは、表示許可モードが設定されている場合に、予め定められた所定指状態とは異なる指状態の画像も表示可能となる。具体的にいえば、図９に示す位置指示画像表示処理を、図１７に示すような処理とすることで実現できる。

　Ｓ１２では、取得した手の画像に基づいて、その手の状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定する（所定指状態特定部あるいは手段：操作意思表示用指状態特定部あるいは手段）。この処理は図９のＳ２の処理と同様である。続くＳ１３にて、現在の指状態が予め定められた所定指状態であると判定された場合はＳ１４に進む。

　Ｓ１６では、制御回路１８が、表示装置１５の表示画面と、撮影された手との位置関係を特定する。このＳ１６の処理は、図９のＳ５と同様の処理である。続くＳ１７では、図２７、図７、及び図６の（ｃ）に示すように、表示装置１５の表示画面において表示されているメイン画像２００Ｂ上に、位置指示画像２００Ｈを重ね表示する（位置指示画像強調表示部あるいは手段）。このＳ１７の処理は、図９のＳ６と同様、図２５に示す位置指示画像の強調表示処理である。ただし、第二実施携帯においては、Ｓ１６及びＳ１７において、図２７（ｃ）のような位置指示画像２００Ｈも表示される。つまり、第四実施例においては、表示許可モードが設定されている限り、手画像（指画像）の重ね表示（あるいは合成表示）が許可されており、少なくとも手画像に基づく指の指示位置を示す画像であればどのような形で位置指示画像２００Ｈを表示してもよい。従って、表示許可モードが設定されている場合には、図２７（ｃ）に示すような多本数の指形状の重ね表示もありうる。ただし、操作対象指Ｐが残余の指よりも強調されて表示される。

　他方、Ｓ１３にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）でないと判定された場合はＳ１８に進む。Ｓ１８では表示禁止モードが設定され、それが制御回路１８の記憶部１８ｄに設けられた所定記憶領域（表示モード記憶部）に記憶される。

　Ｓ１７及びＳ１８の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施され、手画像が取得され、かつ表示許可モードが継続する限り、Ｓ１６及びＳ１７による位置指示画像の表示許可状態が継続する。つまり、この間は、指状態が予め定められた所定指状態でなくても、その時の指状態に基いて位置指示画像が表示される。ところが、表示許可モードは、Ｓ１９にて、Ｓ１５にて起動したタイマー１８ｂにより所定時間が経過したと判定された場合に、Ｓ２０にて、強制的に表示禁止モードが設定され、本処理が終了となる。なお、Ｓ２０の処理はＳ１８の処理と同様である。

　この実施例においては、ユーザーが操作の意思を手形状（操作意思表示用指状態）により示し、それが示された場合には、一定時間の間だけ表示許可モードが設定される構成となっている。この場合、操作意思表示用指状態は、一本指状態（例えば図７及び図６参照）のような簡易操作用指状態に限らず、二本の指をのばした状態（図７０参照）、三本の指を伸ばした状態（図７１参照）、４本の指を伸ばした状態（図７２参照）等と様々に定めることができる。また、一本指状態であっても、その指が人差し指である場合（図７及び図６参照）のみを操作意思表示用指状態としてもよいし、中指である場合（図６８参照）のみを操作意思表示用指状態としてもよい。また、二本指状態においても、それらの指が人差し指と中指である場合（図７０参照）のみ、操作意思表示用指状態としてもよい。また、これらのうちのいずれか又は複数を操作意思表示用指状態として定めてもよい。誤操作防止の観点からすれば、日頃ユーザーが行わないような手状態（指状態）を操作意思表示用指状態として定めることが望ましい。また、処理の観点からすれば、より識別しやすい手状態（指状態）を定めることが望ましい。

　３．５　第五実施例
　以下、本第三実施形態の第五実施例について説明する。

　なお、図９のＳ２における操作意思表示用指状態及び簡易操作用指状態等の所定指状態の特定は、上記のように撮影画像に基づいて実施されるものでなくともよい。例えば、制御回路１８が、予め定められた期間の間にタッチ操作面１２ａ１（遠隔操作面）になされたタッチ操作による入力のうち、タッチ操作面１２ａ１の異なる位置になされたタッチ操作による入力の数を特定し（操作数特定部あるいは手段）、当該期間内に特定された入力数が予め定められた数（簡易操作用の数や操作意思表示用の数）であった場合を所定指状態として特定するようにしてもよい。この場合、例えば１秒以内の間に３回のタッチ操作がそれぞれ異なる位置になされた場合に（同時でもよい）、３本の指があると特定され、予め定められた指の本数が３本と定められている場合には、これをもって所定指状態として特定するようにできる。具体的には、図２０に示すように、表示禁止モード（さらには入力禁止モード）が設定されている状態にて、タッチ操作面１２ａ１へのタッチ操作があった場合に、制御回路１８が、自身のタイマー１８ｂを起動し、カウンタ１８ｃをカウントアップする形で時間計時を開始し、所定期間ｔ０内に、時間計時開始時のタッチ操作を含めたタッチ操作による入力数をカウントする。ただし、タッチ操作面１２ａ１にタッチ操作がなされる際に、タッチ位置情報（例えばタッチ操作面１２ａ１内における位置座標）を取得して、タッチ操作面１２ａ１内の同一位置への再タッチ操作に関しては、その入力をカウントしないようにする。そして、所定期間ｔ０が経過した際の当該入力数が、所定指状態を定める予め定められた指の数と同数であった場合には、現在の操作者の手の指状態が所定指状態であると特定し、特定された時から予め定められた表示許可期間の間だけ表示許可モード（さらには入力許可モード）を設定する。表示許可期間が終了すると、再び表示禁止モード（さらには入力禁止モード）が設定される。

　３．６　第六実施例
　以下、本第三実施形態の第六実施例について説明する。

　図１０に示すタッチ操作入力処理において、表示許可モードが設定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容を実行する、即ち対応する制御内容の実行が許可され、表示禁止モードが設定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容を実行しない、即ち、対応する制御内容の実行が禁止されていた。ところが、表示許可モードが設定されている場合ではなく予め定められた所定指状態（ここでは操作意思表示用指状態）が特定されている場合に、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容の実行が許可され、表示禁止モードが設定されている場合ではなく予め定められた所定指状態が特定されていない場合に、遠隔タッチ操作面１２ａへのタッチ操作入力に対応する制御内容の実行を禁止するように構成することができる。

　具体的にいえば、予め定められた所定指状態（ここでは操作意思表示用指状態）が特定されている場合には、遠隔タッチ操作面１２ａへのタッチ操作入力の受け付けを許可し、予め定められた所定指状態が特定されていない場合には、遠隔タッチ操作面１２ａへのタッチ操作入力の受け付けを禁止する操作入力受付制御を実行するように構成することができる。以下、その具体的な処理の流れについて、その一例を、図１４を用いて説明する。

　Ｓ１１１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。Ｓ１１１の処理は図１０のＳ１０１と同様である。Ｓ１１２では、制御回路１８が、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを判定する。本実施例においては、図９のＳ２あるいは図１７のＳ１２等の処理と同様、予め定められた所定指状態であるか否を特定する処理だけでなく、現在の指状態が特定されるに伴い、特定された指状態を制御回路１８の記憶部１８ｄに設けられた所定記憶領域（指状態記憶部）に記憶する処理を行う。そして、Ｓ１１２では、この記憶領域（指状態記憶部）に記憶された指状態情報に基づいて、現在の指状態が予め定められた所定指状態であるか否かを判定する。予め定められた所定指状態であると判定された場合にＳ１１３に進み、予め定められた所定指状態でないと判定された場合に本処理を終了する。

　Ｓ１１３では、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１へのタッチ操作位置を特定する。この処理は、図１０のＳ１０３と同様の処理である。続くＳ１１４では、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。この処理は、図１０のＳ１０４と同様の処理である。Ｓ１１４の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。

　なお、図１４に示すタッチ操作入力処理を実行する実施例における位置指示画像表示処理は、図９及び図１７、さらには後述する位置指示画像表示処理のいずれのものであってもよい。

　３．７　第七実施例
　以下、本第三実施形態の第七実施例について説明する。

　上記実施例においては、予め定められた所定指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、予め定められた所定指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、車両が所定の走行状態である場合に実施し、所定の走行状態ではない場合には、表示モードとして表示許可モードを設定するように構成することができる。この場合、車両の走行状態を検出する車両走行状態検出部あるいは手段を備えた構成となる。図１１は、こうした処理の一例であり、ここでは、車両の車速を検出する車速センサ（車速検出部あるいは手段）３０が制御回路１８に接続する構成を有し、該制御回路１８が、車両が予め定められた車速レベル（車速閾値）を上回る車両走行状態にある場合には表示モード切替制御を実行し、当該車両走行状態にない場合には、指状態に関らず、表示モードとして表示許可モードを設定するようになっている。

　Ｓ２４では、操作者の手（操作手）が、予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定する。所定指状態の特定は、図９のＳ２の処理と同様の処理で行われる。続くＳ２５にて、現在の指状態が予め定められた所定指状態であると判定された場合はＳ２６に進み、予め定められた所定指状態でないと判定された場合はＳ２９に進む。

　具体的にいえば、Ｓ２３にて、現在の車両が所定の車両走行状態にないと判定された場合（停車状態を含む低速走行状態が特定された場合）には、Ｓ２７及びＳ２８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図２７、図７、図６の（ｃ）参照）、Ｓ２２にて、車両走行状態にあると判定され、かつＳ２５にて現在の操作者の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であると判定された場合には、Ｓ２７及びＳ２８の処理により、操作者が行っている予め定められた所定指状態に基づく位置指示画像２００Ｈが表示される（図７及び図６の（ｃ）参照）。

　他方、Ｓ２５にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）でないと判定された場合はＳ２９に進む。Ｓ２９では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ２７及びＳ２８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

　３．８　第八実施例
　以下、本第三実施形態の第八実施例について説明する。

　上記実施例においては、予め定められた所定指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、予め定められた所定指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、タッチ操作面１２ａ１の操作者として運転者が特定されている場合には、表示モード切替制御を実行し、車両走行状態にない場合には、指状態に関らず、表示モードとして表示許可モードを設定するように構成することができる。以下、その具体的な処理の流れを、図１２を用いて説明する。

　Ｓ３２では、操作パネル１２ａに手を対向させるようにしている操作者が運転者であるか否かを特定する（操作者特定部あるいは手段）。操作者の特定は、例えば、図１５に示すカメラ２０の撮影画像（図８）に基づいて行うことができる。具体的にいえば、当該カメラ２０の撮影画像から、腕がのびてくる方向を特定して、その方向が運転席２Ｄ側からのびてきたものであるか否かを判定することにより、操作者が運転者であるか否かを特定する。Ｓ３３では、操作パネル１２ａの操作者が運転者であるか否かを判定して、運転者であると判定された場合にはＳ３４に進む。他方、Ｓ３３にて、操作パネル１２ａの操作者が運転者以外の者であると判定された場合にはＳ３６に進む。

　Ｓ３４では、操作者である運転者の手（操作手）が、予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定する。所定指状態の特定は、図９のＳ２の処理と同様の処理で行われる。続くＳ３５では、現在の指状態が予め定められた所定指状態であるか否かが判定され、予め定められた所定指状態であると判定された場合はＳ３６に進み、予め定められた所定指状態でないと判定された場合はＳ３９に進む。

　具体的にいえば、Ｓ３３にて、操作パネル１２ａの操作者として運転者とは異なる者が特定された場合には、Ｓ３７及びＳ３８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図２７、図７、図６の（ｃ）参照）、Ｓ３２にて、操作パネル１２ａの操作者として運転者が特定され、かつＳ３５にてその指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であると判定された場合には、Ｓ３７及びＳ３８の処理により、運転者が行っている所定指状態に基づく位置指示画像２００Ｈが表示される（図７及び図６の（ｃ）参照）。

　他方、Ｓ３５にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）であると判定された場合はＳ３９に進む。Ｓ３９では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ３７及びＳ３８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

　３．９　第九実施例
　以下、本第三実施形態の第九実施例について説明する。

　本実施例は、既に述べた位置指示画像表示処理を、図１１及び図１２の双方を組み合わせた形の処理として実施するものである。即ち、車両の走行状態（例えば車両の車速）を検出し、さらに、遠隔タッチ操作面１２ａの操作者が運転者であるか否かを特定して、車両が所定の走行状態（例えば停車状態を含む予め定められた車速レベルを下回る低速走行状態にない走行状態）であり、かつ特定された遠隔タッチ操作面１２ａの操作者が運転者である場合には、予め定められた所定指状態が特定されている場合に限り位置指示画像２００Ｈの表示を許可するが、予め定められた所定指状態が特定されていない場合には位置指示画像２００Ｈの表示を禁止するようにする。そして、車両が上記所定の走行状態にない場合、あるいは特定された遠隔タッチ操作面１２ａの操作者が運転者ではない場合、あるいはそれら双方が同時に生じている場合には、特定された指状態に関らず、位置指示画像２００Ｈの表示を許可するような処理とすることができる。以下、その具体的な処理の流れを、図１３を用いて説明する。

　Ｓ４２～Ｓ４５にて、車両が車両速走行状態であり、かつ遠隔タッチ操作面１２ａの操作者が運転者であるとされた場合にはＳ４６及びＳ４７に進み、操作者の手（操作手）が予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定し（図９のＳ２及びＳ３と同様の処理）、現在の指状態が予め定められた所定指状態であると判定された場合はＳ４８に進み、予め定められた所定指状態でないと判定された場合はＳ５１に進む。

　具体的にいえば、Ｓ４２にて車両が車両走行状態ではないとされた場合、Ｓ４４にて、操作パネル１２ａの操作者として運転者とは異なる者が特定された場合には、Ｓ４８～Ｓ５０の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される（図２７、図７、図６の（ｃ）参照）。一方、Ｓ４２にて車両が車両走行状態であるとされ、かつＳ４４にて操作パネル１２ａの操作者として運転者が特定され、その上で、Ｓ４６にて予め定められた所定指状態（ここでは操作意思表示用指状態）が特定された場合には、Ｓ４８～Ｓ５０の処理により、運転者が行っている所定指状態に基づく位置指示画像２００Ｈが表示される（図７及び図６の（ｃ）参照）。

　他方、Ｓ４７にて、現在の指状態が予め定められた所定指状態（ここでは操作意思表示用指状態）でないと判定された場合はＳ５１に進む。Ｓ５１では、表示モードとして表示禁止モードに設定し、これを記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ４９及びＳ５０にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

　３．１０　第十実施例
　以下、本第三実施形態の第十実施例について説明する。

　上記実施例においては、手画像撮影部あるいは手段をなすカメラ１２ｂは、タッチパネル１２ａのタッチ操作面（表面）１２ａ１と対向する車室内の固定領域を撮影するカメラであって、上記実施例のように、タッチパネル１２ａの裏面１２ａ２側から撮影する構成を有している。ところが、本第三実施形態は、このような構成に限られるものではない。例えば、図１５に示すように、車両のセンターコンソール部Ｃにタッチパネル１２ａのタッチ操作面１２ａ１を斜め上側から撮影するように取り付けて、当該タッチ操作面１２ａ１に接近する接近物を、タッチ操作面１２ａ１側から撮影するように構成してもよい。この場合、上記した実施例とは異なり、撮影画像内の特定の画像（例えば手画像）を抽出して表示部１５に表示する際には、画像を左右反転する処理を省略できる。また、手画像撮影部あるいは手段をなすカメラ１２ｂは、操作パネル１２ａのタッチ操作面１２ａ１を含むその周辺領域を撮影するカメラ２０に兼用させてもよい。

　３．１１　第十一実施例
　以下、本第三実施形態の第十一実施例について説明する。

　上記実施例のうち、表示装置１５に表示されるあらゆる操作画面において、上記のような表示モード切替制御を実行する構成のものについては、予め定められた操作画面においてのみ表示モード切替制御を実行し、それ以外の操作画面では、表示許可モード、あるいは表示禁止モードに固定的に設定されるようにしてもよい。

　表示装置１５は、制御回路１８からの制御指令に基づいて、タッチ操作面１２ａ１への押圧操作による入力が受け付けられる複数の操作画面２００を、表示画面上において切り替えることができる（操作画面表示部あるいは手段）。例えば、図２２に示すようなメニュー選択画面２００３や図２３に示すようなカーエアコンの風量設定画面２００４、図２４に示すようなカーオーディオのボリューム設定画面２００５、さらには、既に述べたカーナビゲーションの地図表示画面２００２（図７（ｃ））や文字入力画面２００１（図２７（ｃ））等を、様々な入力に応じて切り替えて表示することができる。これら複数の操作画面のうち上記表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を、制御回路１８の所定の記憶領域（表示モード実行可否情報記憶部あるいは手段）に予め記憶しておき、制御回路１８は、位置指示画像表示処理を実施するに際して、表示モード実行可否情報を参照し、これに基づいて、表示装置１５により表示される操作画面が上記のような表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて該表示モード切替制御を実行するように構成する。以下、その具体的な処理の流れを、図２１を用いて説明する。

　なお、表示モード実行可否情報は、以下のように画面種別を分類した情報として記憶することができる。即ち、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像（あるいは当該操作入力画像（操作アイコン）２００Ｉに対応してタッチ操作面１２ａ１上に定められる全ての押圧操作領域）の、画面全体（あるいは該タッチ操作面１２ａ１の全領域）に対し占める割合ＳＩ／ＳＡが、予め定められた割合Ｓ０を上回る操作画面を定め、上回らない操作画面を簡易操作画面として定めることができる（図７３の例１）。また、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像（あるいは当該操作入力画像に対応してタッチ操作面１２ａ１上に定められる押圧操作領域）２００Ｉの数ＫＩが予め定められた数Ｋ０を上回る操作画面を定め、上回らないものを簡易操作画面として定めることもできる（図７３の例２）。また、複雑操作画面として、表示装置１５に画面表示される１以上の操作入力画像２００Ｉ間の間隔（あるいは当該操作入力画像に対応してタッチ操作面１２ａ１上に定められる隣接する押圧操作領域間の間隔）ＬＩが、予め定められた間隔Ｌ０よりも狭い操作画面を定め、上回らない操作画面を簡易操作画面として定めることもできる（図７３の例３）。ここでは、図２２～図２４、さらには図７（ｃ）に示すような画面２００１，２００３，３００４，２００５が簡易操作画面、図２７（ｃ）に示すような文字入力画面２００２（例えば目的地名称入力画面等）が複雑操作画面として定められている。

　Ｓ６４では、操作者の手（操作手）が、予め定められた所定指状態（ここでは操作意思表示用指状態）であるか否かを特定する（図９のＳ２と同様の処理）。続くＳ６５にて、現在の指状態が予め定められた所定指状態であると判定された場合はＳ６６に進み、予め定められた所定指状態でないと判定された場合はＳ６９に進む。

　具体的にいえば、Ｓ６２にて、現在表示中の操作画面２００が表示モード切替制御の実行対象でないと判定された場合（ここでは簡易操作画面であると特定された場合）には、Ｓ６７及びＳ６８の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像２００Ｈが表示される一方で（図２７、図７、図６の（ｃ）参照）、Ｓ６２にて、現在表示中の操作画面２００が表示モード切替制御の実行対象であると判定された場合（ここでは複雑操作画面であると特定された場合）には、Ｓ６７及びＳ６８の処理により、操作者が行っている操作意思表示用指状態に基づく位置指示画像２００Ｈが表示される（図７及び図６の（ｃ）参照）。

　他方、Ｓ６５にて、現在の指状態が予め定められた所定指状態でないと判定された場合はＳ６９に進む。Ｓ６９では、表示モードを、位置指示画像２００Ｈの表示が禁止される表示禁止モードに設定し、これを制御回路１８の記憶部１８ｄの所定記憶領域（表示モード記憶部）に記憶する。これにより、Ｓ６７及びＳ６８にて実施される位置指示画像２００Ｈの表示が実行されず、表示装置１５の表示画面２００には、例えば図５（ｃ）に示すように、位置指示画像２００Ｈが表示されない。

　３．１２　第十二実施例
　以下、本第三実施形態の第十二実施例について説明する。

　上記第二ないし第十一実施例においては、操作者の指状態として予め定められた所定指状態を特定した場合に、予め定められた表示許可期間の間だけ上記第一実施例における位置指示画像２００Ｈの強調表示を実施する一方で、それ以外の場合には、位置指示画像２００Ｈの表示をしないような構成とされており、その所定指状態として操作意思表示用指状態が定められていたが（図７５の例１）、他の特徴的な指状態でもよいし、簡易操作用指状態（操作を簡易に行うことができる指状態（特定の数又は種別の指が伸びた状態）：図７５例２）であってもよい。

　３．１３　他の実施例
　以下、第三実施形態の他の実施例については、第一実施形態の１．１１　他の実施例の記載の内容と同一のものが採用可能であり、それらの説明はここでは省略する。

　４．開示の観点
　上記に記載された開示の各種の観点は、次のように表現される。

　開示の第一の観点として、車両用操作入力装置は次のように提供される。　車両が備える機器の操作などを行うための表示画面を有した表示部と、表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付部と、遠隔操作面に対向する手の画像を撮影する手画像撮影部と、当該手により位置指示された表示画面上の位置に、撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示部と、を備える車両用操作入力装置であって、　遠隔操作面に対向する手の指状態が、予め定められた簡易操作用指状態であるか否かを特定する簡易操作用指状態特定部と、　位置指示画像表示部に対し設定される表示モードを、簡易操作用指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、簡易操作用指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定する表示モード切替制御を実行する表示モード設定部と、　を備える。

　上記構成によれば、遠隔操作部に対する操作として、５本の指を使った難易度の高い指状態による操作がなされる場合にその操作表示（遠隔操作部での操作状態を表示装置の操作画面上で位置指示画像により表示すること）を規制することで、より単純で操作し易い指状態（簡易操作用指状態）による操作入力をユーザーに促すことができる。これにより、意図無くなされるような遠隔操作部への誤操作を防止できるし、表示された指と、実際に操作者が遠隔操作部への位置指示に使いたい指との対応関係がわからなくなるようなことも無くなる。

　また、車両の車速を検出する車速検出部を設けることができる。この場合、表示モード設定部は、車両が予め定められた車速レベルを上回る車両走行状態にある場合には、表示モード切替制御を実行し、車両走行状態にない場合には、表示モードとして表示許可モードを設定するように構成することができる。この構成によると、例えば車両停車時においては、遠隔操作部に対する操作として難易度の高い指状態による操作入力が許可されるので、各々のやりやすい形での操作入力が可能となる。一方、一定速度以上の車両走行中においては、操作表示が規制されるから、遠隔操作部に対する操作としてより単純で操作し易い特定の指状態での操作が強いられ、特に運転者による誤操作が生じ難くなる。また、表示される指と実際に使う指との対応関係が分からなくなるようなことも無い。

　また、遠隔操作面の操作者が、運転者であるか否かを特定する操作者特定部を設けることができる。この場合、表示モード設定部は、遠隔操作面の操作者として運転者が特定されている場合には、表示モード切替制御を実行し、遠隔操作面の操作者として前記運転者が特定されていない場合には、表示モードとして表示許可モードを設定するように構成することができる。この構成によると、例えば遠隔操作面の操作者が助手席搭乗者等の運転者以外の者であれば、遠隔操作部に対する操作として難易度の高い指状態による操作入力が許可されるので、各々のやりやすい形での操作入力が可能となる。一方、遠隔操作面の操作者が運転者である場合は、操作表示が規制されるから、遠隔操作部に対する操作としてより単純で操作し易い特定の指状態での操作が強いられ、運転者による誤操作が生じ難くなる。表示される指と実際に使う指との対応関係が分からなくなるようなことも無い。

　表示モード設定部により、表示許可モードが設定されている場合には、入力受付部による入力の受け付けを許可し、表示禁止モードが設定されている場合には、入力受付部による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御部を備えて構成することができる。操作入力装置においては、操作表示がされていないと、遠隔操作部からの位置指示操作が極めて困難となるので、上記構成のように、位置指示画像が表示される表示許可モードにおいてのみ入力の受け付けを許可するようにすることで、遠隔操作部への誤操作を確実に防止することができる。逆にいえば、遠隔操作部への入力の受け付けが可能な場合にのみ位置指示画像が表示可能となるので、無駄な位置指示画像の表示を減じ、省電力化にも効果があるといえる。

　また、簡易操作用指状態特定部により、簡易操作用指状態が特定されている場合には、入力受付部による入力の受け付けを許可し、簡易操作用指状態が特定されていない場合には、入力受付部による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御部を備えて構成することができる。この構成によると、表示モードに関らず、簡易操作用指状態が特定されている場合にのみ遠隔操作部への入力の受け付けが許可されるので、遠隔操作部への誤操作を確実に防止することができる。

　また、簡易操作用指状態特定部は、手画像撮影部により撮影された手の画像に基づいて、簡易操作用指状態を特定するように構成できる。具体的にいえば、簡易操作用指状態特定部は、手画像撮影部により撮影された手の画像に基づいて、遠隔操作面に対向する手の指形状を認識する指形状認識部を備え、認識された指形状が予め定められた簡易操作用の指形状であった場合を簡易操作用指状態として特定するように構成できる。この構成によると、手画像撮影部により撮影された手画像を、指示位置表示に用いるだけでなく、簡易操作用指状態の特定にも用いることができる。つまり、撮影部が兼用化された構成となるので、無駄な追加構成を排除することができ、低コスト化を実現できる。

　簡易操作用指状態特定部は、指形状認識部により遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の本数を特定する指本数特定部を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の本数が予め定められた簡易操作用の数であった場合を簡易操作用指状態として特定するものとできる。伸びた状態の指をカウントすることは画像解析により容易に実施可能であり、カウントの誤りが少ない。また、指が伸びた状態は、そのまま操作に利用できる指状態であるから、操作者はその簡易操作用指状態のまま操作を開始できるため、操作性にも優れる。

　簡易操作用指状態特定部は、予め定められた期間の間に入力受付部が受け付けた、前記遠隔操作面の異なる位置になされた押圧操作による入力の数を特定する操作数特定部を備え、当該期間内に特定された入力数が予め定められた簡易操作用の数であった場合を簡易操作用指状態として特定することができる。この構成によると、ユーザーによる所定数のタッチ操作から、簡易操作用指状態を容易に特定することができる。

　上記簡易操作用の数は１本とすることができる。手操作が表示される操作入力装置においては、遠隔操作部を操作する場合、位置指示に使用する指の本数が少ないほど操作難易度が低くなる。従って、最も指の本数が少ない一本指状態が最も単純で分かり易い操作用指状態となる。また、一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。

　上記簡易操作用の数は４本、さらに望ましくは３本、さらに望ましくは２本とすることができる。二本指状態も比較的シンプルな手形状であるから、簡易操作用指状態を特定する処理は容易なものとなる。３本、４本も比較的シンプルな指状態である。また、これらの指状態は、ユーザーが偶然に形成するような手形状でもないので、誤操作の防止も確実に実施できる。

　簡易操作用指状態特定部は、指形状認識部により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の種別を特定する指種別特定部を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の種別が予め定められた簡易操作用の指種別のもののみであった場合を前記簡易操作用指状態として特定する構成とすることもできる。特定の指のみがのびた手形状は、ユーザーが偶然に形成するような手形状でもないので、誤操作の防止も確実に実施できる。また、指が伸びた状態は、そのまま操作に利用できる指状態であるから、操作者はその簡易操作用指状態のまま操作を開始できるため、操作性にも優れる。

　上記簡易操作用の指種別は人差し指のみとすることができる。人差し指の一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。また、操作にも多く利用される指であるから、そのまま操作を開始するにも都合がいい。

　上記簡易操作用の指種別は中指のみとすることができる。中指の一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。また、最長の指という特徴も有しているため、種別認識も容易である。また、操作にも利用される指であるから、そのまま操作を開始するにも都合がいい。

　上記簡易操作用の指種別は人差し指と中指の二本のみとすることができる。人差し指と中指の二本指状態は非常にシンプルな手形状であるから、該二本指状態を特定する処理を容易化できる。また、最長の指である中指が含まれるから、指の種別認識も容易である。また、双方の指とも操作にも利用される指であるから、そのまま操作を開始するにも都合がいい。

　位置指示画像表示部は、手画像撮影部により撮影された手の画像に基づいて当該手の指の輪郭が少なくとも特定可能となる実指画像を生成し、生成された実指画像を前記位置指示画像として表示するものとできる。画面上で、手の輪郭から手の位置を把握できるので、位置を認識しやすく、操作性がより容易となる。

　位置指示画像表示部は、指の延びる方向と指先位置が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを位置指示画像として表示するものとできる。位置指示画像として、指の指示位置が分かる程度に簡略された画像を用いることで処理負担を軽減できる。

　表示モード設定部が、車両が予め定められた車速レベル（車速閾値）を上回る車両走行状態にある場合に表示モード切替制御を実行し、車両走行状態にない場合に表示モードとして表示許可モードを設定する上述の構成において、予め定められた車速レベルは、０ｋｍ／ｈと定めることができる。車両停止時においては、運転者は操作に集中することができるから操作制限を設ける必要は無い。上記構成によれば、車両停止時においては、位置指示画像が常に表示されるようになるから、操作者は自由に操作をすることができる。

　また、表示モード設定部が、車両が予め定められた車速レベル（車速閾値）を上回る車両走行状態にある場合に表示モード切替制御を実行し、車両走行状態にない場合に表示モードとして表示許可モードを設定する上述の構成において、予め定められた車速レベルを、０ｋｍ／ｈよりも速く５ｋｍ／ｈよりも遅い車速範囲内（徐行状態）に定める、あるいは、５ｋｍ／ｈ以上１０ｋｍ／ｈ未満の車速範囲内（徐行状態）に定めることができる。また、予め定められた車速レベルを、１０ｋｍ／ｈ以上３０ｋｍ／ｈ未満の車速範囲内（低速走行状態）に定めることもできるし、３０ｋｍ／ｈ以上６０ｋｍ／ｈ未満の車速範囲内（中側走行状態）に定めることもできるし、６０ｋｍ／ｈ以上の車速範囲内（高速走行状態）に定めることもできる。これらの設定は、画面上に切替表示される各操作画面のそれぞれの操作難易度（操作負担レベル）に応じて適切な車速閾値を設定するようにすればよい。

　遠隔操作面への押圧操作による入力が入力受付部により受け付けられる複数の操作画面を、表示画面上に切り替える形で表示する操作画面表示部と、複数の操作画面のうち表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を予め記憶する表示モード実行可否情報記憶部と、を備えて構成できる。この場合、表示モード設定部は、当該表示モード実行可否情報に基づいて、操作画面表示部により表示される操作画面が表示モード切替制御の実行対象であるか否かを特定し、表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて表示モード切替制御を実行するように構成できる。この構成によると、予め定められた操作画面が表示されている場合にのみ表示モード切替制御が実行されるから、例えば走行中であっても操作が容易な操作画面においては、表示モード切替制御を設定せずに表示許可モードを固定設定するようにできるし、逆に走行中に操作が困難な操作画面においては表示モード切替制御を設定せずに表示禁止モードを固定設定するようにできるから、無駄な表示モード切替制御を省略することができる。

　表示モード実行可否情報は、操作画面のうち、前記入力受付部により入力が受け付けられる遠隔操作面への押圧操作が、予め定められた操作負担レベルを上回る操作を含む複雑操作画面を前記表示モード切替制御の実行対象と定め、予め定められた操作負担レベルを上回らない操作のみである簡易操作画面を表示許可モードの固定設定対象と定めることができる。この構成によると、簡易操作画面において表示許可モードが固定設定されるから、表示モード切替制御を省略することができる。

　なお、簡易操作画面には、少なくともメニュー選択画面と、音量調整画面と、風量調整画面とのうちいずれか１以上が含まれるようにできる。メニュー画面は、画面上に表示される操作入力画像（操作アイコン）の数も比較的少なく、隣接する操作入力画像間の距離もある程度の幅があるから、操作は比較的容易である。音量調整や風量調整のようなボリューム調整画面も、比較的単純な操作画面にて表示される。従って、これらの操作画面は簡易操作画面と定めるのに適する。一方で、複雑操作画面には、少なくとも文字入力画面が含まれるようにできる。５０音の文字入力などは、画面上に表示される操作入力画像の数が多く、その結果として隣接する操作入力画像間の距離が近いことが多いので、意図する操作入力画像を操作することが難しい。従って、このような操作画面は複雑操作画面と定めるのに適する。

　開示の第ニの観点として、車両用操作入力装置は、　車両が備える機器の操作などを行うための表示画面を有した表示部と、表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付部と、遠隔操作面に対向する手の画像を撮影する手画像撮影部と、当該手により位置指示された表示画面上の位置に、撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示部と、を備える車両用操作入力装置であって、　遠隔操作面に対向する手の指状態が、予め定められた操作意思表示用指状態であるか否かを特定する操作意思表示用指状態特定部と、　位置指示画像表示部に設定される表示モードを、位置指示画像の表示を禁止した表示禁止モードに設定するとともに、操作意思表示用指状態が特定されるに伴い予め定められた表示許可期間の間だけ位置指示画像の表示を許可する表示許可モードに切り替える表示モード設定部と、　を備える。

　上記構成によれば、ユーザーが操作する意図を持って特定の指状態を作らなければ遠隔操作部の操作ができないように制限されているので、意図無くなされるような遠隔操作部への誤操作を効果的に防止できる。

　表示モード設定部は、表示許可期間として、表示許可モードに切り替わってから予め定められた禁止モード復帰時間が経過するまでの期間を定めており、当該禁止モード復帰時間が経過するに伴い表示禁止モードに復帰させるように構成できる。この構成によると、表示許可モードから表示禁止モードへの復帰を簡易な処理で行うことができる。

　一方で、表示モード設定部は、表示許可期間として、操作意思表示用指状態が非特定となるまでの期間を定めており、操作意思表示用指状態が特定されている場合には表示許可モードを設定し、操作意思表示用指状態が特定されていない場合には表示禁止モードを設定するように構成することもできる。この構成によると、操作意思表示用指状態が特定されるか否かの判定により、表示許可モードと表示禁止モードとの切り替えを簡易に行うことができる。

　また、表示許可モードが設定されている場合には、入力受付部による入力の受け付けを許可し、表示禁止モードが設定されている場合には、入力受付部による入力の受け付けを禁止する操作入力受付制御部を備えて構成することもできる。プロンプター方式の操作入力装置においては、遠隔操作部での操作状態が位置指示画像により表示されていないと、位置指示操作が極めて困難となるので、上記構成のように、位置指示画像が表示される表示許可モードにおいてのみ入力の受け付けを許可するようにすることで、遠隔操作部への誤操作を確実に防止することができる。逆にいえば、遠隔操作部への入力の受け付けが可能な場合にのみ位置指示画像が表示可能となるので、無駄な位置指示画像の表示を減じ、省電力化にも効果があるといえる。

　なお、操作意思表示用指状態が特定されている場合には、入力受付部による入力の受け付けを許可し、操作意思表示用指状態が特定されていない場合には、入力受付部による入力の受け付けを禁止する操作入力受付制御部を備えて構成することができる。この構成によると、表示モードに関らず、操作意思表示用指状態が特定されている場合にのみ遠隔操作部への入力の受け付けが許可されるので、誤操作を確実に防止することができる。

　操作意思表示用指状態特定部は、手画像撮影部により撮影された手の画像に基づいて、遠隔操作面に対向する手の指形状を認識する指形状認識部を備え、認識された指形状が予め定められた操作意思表示用の指形状であった場合を操作意思表示用指状態として特定するように構成できる。この構成によると、手画像撮影部により撮影された手画像を、指示位置表示に用いるだけでなく、操作意思表示用指状態の特定にも用いることができる。つまり、撮影部が兼用化された構成となるので、無駄な追加構成を排除することができ、低コスト化を実現できる。

　操作意思表示用指状態特定部は、指形状認識部により遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の本数を特定する指本数特定部を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の本数が予め定められた操作意思表示用の数であった場合を操作意思表示用指状態として特定するものとできる。伸びた状態の指をカウントすることは画像解析により容易に実施可能であり、カウントの誤りが少ない。また、指が伸びた状態は、そのまま操作に利用できる指状態であるから、操作者はその操作意思表示用指状態のまま操作を開始できるため、操作性にも優れる。

　操作意思表示用指状態特定部は、予め定められた期間の間に入力受付部が受け付けた、前記遠隔操作面の異なる位置になされた押圧操作による入力の数を特定する操作数特定部を備え、当該期間内に特定された入力数が予め定められた操作意思表示用の数であった場合を操作意思表示用指状態として特定することができる。この構成によると、ユーザーによる所定数のタッチ操作から、操作意思表示用指状態を容易に特定することができる。

　上記操作意思表示用の数は１本とすることができる。一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。また、操作意思表示用指状態が特定された場合にのみ遠隔操作部への入力を許可するように構成されている場合、即ち、操作意思表示用指状態の指状態でなければ遠隔操作部への入力ができない構成の場合は、最も単純で分かり易い指状態を操作意思表示用指状態と定めることが望ましい。よって、この場合も、最も指の本数が少ない一本指状態を操作意思表示用指状態として定めるとよい。

　上記操作意思表示用の数は４本、さらに望ましくは３本、さらに望ましくは２本とすることができる。二本指状態も比較的シンプルな手形状であるから、操作意思表示用指状態を特定する処理は容易なものとなる。３本、４本も比較的シンプルな指状態である。また、これらの指状態は、ユーザーが偶然に形成するような手形状でもないので、誤操作の防止も確実に実施できる。

　操作意思表示用指状態特定部は、指形状認識部により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の種別を特定する指種別特定部を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の種別が予め定められた操作意思表示用の指種別のもののみであった場合を前記操作意思表示用指状態として特定する構成とすることもできる。特定の指のみがのびた手形状は、ユーザーが偶然に形成するような手形状でもないので、誤操作の防止も確実に実施できる。また、指が伸びた状態は、そのまま操作に利用できる指状態であるから、操作者はその操作意思表示用指状態のまま操作を開始できるため、操作性にも優れる。

　上記操作意思表示用の指種別は人差し指のみとすることができる。人差し指の一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。また、操作にも多く利用される指であるから、そのまま操作を開始するにも都合がいい。

　上記操作意思表示用の指種別は中指のみとすることができる。中指の一本指状態は非常にシンプルな手形状であるから、該一本指状態を特定する処理を容易化できる。また、最長の指という特徴も有しているため、種別認識も容易である。また、操作にも利用される指であるから、そのまま操作を開始するにも都合がいい。

　上記操作意思表示用の指種別は人差し指と中指の二本のみとすることができる。人差し指と中指の二本指状態は非常にシンプルな手形状であるから、該二本指状態を特定する処理を容易化できる。また、最長の指である中指が含まれるから、指の種別認識も容易である。また、双方の指とも操作にも利用される指であるから、そのまま操作を開始するにも都合がいい。

　位置指示画像表示部は、指の延びる方向と指先位置が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを位置指示画像として表示するものとできる。位置指示画像として、指の指示位置が分かる程度に簡略された画像を用いることで処理負担を軽減できる。

　開示の第三の観点として、表示方法は、　表示画面を有した表示部と、表示画面への操作を遠隔的に行うための遠隔操作面を有した遠隔操作部とを備える表示装置において、遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示する表示方法であって、　遠隔操作部の手前側で対向する手において指を特定する指特定ステップと、　特定された指から遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定ステップと、　表示画面上の背景画像に合成ないしは重畳する形で、特定された指の指示位置を示す位置指示画像を表示する表示ステップであって、表示される位置指示画像のうち、指定された操作対象指に対応する位置指示画像を、当該位置指示用指とは異なる指に対応する位置指示画像よりも相対的に強調する強調表示にて行う位置指示画像強調表示ステップと、　を有する。

　上記によれば、多数本の指が遠隔操作面に対向し、それら全てが画面表示された場合でも、予め定められた方法、予め定められたルールに従い操作対象指の位置に対応する位置指示画像が特定され、その位置指示画像が他の指よりも相対的に強調してなされる。これにより、ユーザーは、どの指で操作を行うべきかを画面上から容易に認識することができる。また、表示されている指と実際の指との対応関係は、操作対象指の決められ方さえユーザーが把握しておけば容易に認識できる。従って、遠隔位置指示に適した位置指示画像の表示が可能となる。

　また、遠隔操作面に対向する手において指先を特定する指先特定ステップを設けることができる。具体的にいえば、上記指特定ステップは、遠隔操作面に対向する手から指先を特定する指先特定ステップであり、当該指先を特定する形で前記指を特定するステップとすることができる。そして、この場合、位置指示画像強調表示ステップは、表示画面上の背景画像に合成ないしは重畳する形で、特定された指先に対応する位置に位置指示画像の表示を行うことを前提とする表示ステップとして、上記強調表示を実施するようにするものとできる。

　なお、指先とは、指の先端側の予め定められた領域（例えば第一間接まで等）や、その中に含まれる特定の位置（例えば指先端から第一間接までの領域の重心位置等）として定められるものとする。

　また、操作対象指指定ステップは、操作対象指として１本の指を指定するものとすることができる。特に１本としておけば、操作対象指を明確認識し易く、特にプッシュ操作を含む接触操作がなされる遠隔操作部への適用に好適である。また、一本指状態は非常にシンプルな手形状であるから各処理を容易化できる。

　また、操作対象指指定ステップは、操作対象指として２本又は３本の指を指定するものとすることができる。２本又は３本としておけば、プル操作や回転操作等を行う遠隔操作部への適用に好適である。

　また、位置指示画像強調表示ステップにおいて、前記操作対象指とは異なる指に対応する位置指示画像を非表示としないことができる。これにより、表示されている操作対象指と、実際の操作対象指との対応関係を、それ以外の指の表示状態も参照にしながら把握できるようになる。

　また、指特定ステップにより特定された指の形状に係る指形状情報を指定指情報として取得する指定指情報取得ステップを設けることができる。この場合、上記の操作対象指指定ステップは、取得された指形状情報に基づいて、指特定ステップにより特定された指のうち、当該指の形状に係る予め定められた選定条件に最も適する指形状情報を有した指を優先して操作対象指として指定するステップとすることができる。操作対象指が一本だけ特定される場合には、選定条件に最も適した指を操作対象指として指定することができる。

　この構成によれば、例えば指の形状に係る情報から予め決められた種類の指を特定ないし推定して、その指を操作対象指として指定することも可能となる。各指にはそれぞれ種類毎に形状の違いがあるので、これらから指を特定ないし推定することができるから、位置指示に使用しやすい人差し指や中指を特定ないし推定することも可能となる。

　具体的にいえば、指定指情報取得ステップは、指特定ステップにより特定された指同士の、遠隔操作面方向における長さ関係を反映した指長情報を指形状情報として取得するステップとすることができ、この場合、上記の操作対象指指定ステップは、取得された指長情報に基づいて、指特定ステップにより特定された指のうち、当該指長情報に係る予め定められた選定条件に適する指を優先して操作対象指として指定するステップとすることができる。この構成によれば、指の長さ関係が明らかになるので、この長さの比較から予め決められた種類の指を特定ないし推定して、その指を操作対象指として指定することができる。例えば、位置指示に使用しやすい中指であれば、最も長いと特定される（あるいは推定される）指として特定できる。人差し指であれば、操作手が左右いずれの手であるかさえ分かれば、最も長いと特定されるあるいは推定される指に隣接する一方側の指として特定できる。また、この構成によれば、最も長く表れる指は操作に使用される可能性が一般的には高いから、その逆の、操作に使用する意図が無いような中途半端にのびた指は確実に排除することが可能となる。

　また、指定指情報取得ステップは、指特定ステップにより特定された指同士の、遠隔操作面方向における幅の関係を反映した指幅情報を指形状情報として取得するものであり、ステップとすることもでき、この場合、上記の操作対象指指定ステップは、取得された指幅情報に基づいて、指特定ステップにより特定された指のうち、当該指幅情報に係る予め定められた選定条件に適する指を優先して操作対象指として指定するステップとすることができる。この構成によれば、指の幅（太さ）の関係が明らかになるので、この幅の比較から予め決められた種類の指を特定ないし推定し、その指を操作対象指として指定することもできる。

　また、指特定ステップにより特定された指同士の、遠隔操作面方向（遠隔操作面の広がる方向、即ち該遠隔操作面の法線に対し垂直をなす方向）における位置関係に係る位置関係情報を指定指情報として取得する指定指情報取得ステップを設けることができ、上記の操作対象指指定ステップは、取得された該位置関係情報に基づいて、指特定ステップにより特定された指のうち、当該位置関係に係る予め定められた選定条件に最も適する位置関係情報を有した指を優先して操作対象指として指定するステップとすることができる。操作対象指が一本だけ特定される場合には、選定条件に最も適した指を操作対象指として指定することができる。

　この構成によれば、例えば特定された複数本の指の遠隔操作面方向における位置関係から予め決められた種類の指を特定ないし推定して、その指を操作対象指として指定することも可能となる。各指はその種類毎に位置関係が決められているから、これを用いて指を特定することができる。例えば、位置指示に最も使用しやすい人差し指であれば、指形状等から親指を排除した上で、操作する手が左手の場合は最も右に位置する指として特定でき、操作する手が右手の場合は最も左の指として特定できる。人差し指を特定できるならば、それに隣接する指を中指として特定することもできる。また、この構成では、指の位置関係によって操作対象指を選定するので、ユーザーにとってどの指が選定されるか分かりやすくなる。

　具体的にいえば、指定指情報取得ステップは、指先特定ステップにより特定された指先を遠隔操作部との対向方向に投影し、その投影面上の予め定められた位置に１本の軸を設定して一次元の座標系を定め、投影された該指先の当該座標系における座標値を特定し、当該座標値を反映した軸座標情報を位置関係情報として取得するステップであり、この場合、上記の操作対象指指定ステップは、取得された該軸座標情報に基づいて、指特定ステップにより特定された指のうち、当該軸座標情報に係る予め定められた選定条件に対し適する指を優先して操作対象指として指定するステップとすることができる。この構成によると、上記位置次元座標系における各指先の位置する座標のみで、操作対象指を簡易に特定できる。なお、この場合の軸線は、例えば、遠隔操作面において操作対象指が最も位置し易い領域から位置し難い領域に向かう、あるいはその逆の直線として定めることができる。

　また、指定指情報取得ステップは、指先特定ステップにより特定された指先を遠隔操作部との対向方向に投影し、その投影面上の予め定められた領域に設定される基準領域と投影された指先との間の距離を反映した距離情報を位置関係情報として取得するステップとすることができ、この場合、上記の操作対象指指定ステップは、取得された該距離情報に基づいて、指特定ステップにより特定された指のうち、当該距離情報に係る予め定められた選定条件に対し適する指を優先して操作対象指として指定するステップとすることができる。この構成によると、基準領域との距離演算のみで、操作対象指を簡易に特定できる。この場合の基準領域は、例えば、遠隔操作面において操作対象指が最も位置し易い領域、あるいはその逆の領域として定めることができる。

　また、指特定ステップにより特定された指同士の、遠隔操作面への接近距離関係を反映した接近距離情報を指定指情報として取得する指定指情報取得ステップを設けることができ、この場合、上記の操作対象指指定ステップは、当該接近距離に関する予め定められた選定条件に対し適する指を優先して操作対象指として指定するステップとすることができる。この構成によれば、例えば特定された複数本の指の遠隔操作面への接近方向における位置関係から操作対象指を特定することが可能となる。なお、遠隔操作面への操作は手の指先による接触を伴うものであるから、この指先が遠隔操作面に最も近い指ほど位置指示の可能性が高い指である。従って、操作対象指指定ステップを、取得された該接近距離情報に基づいて、指特定ステップにより特定された指のうち、遠隔操作面に対し近い指先の指ほど優先して操作対象指として指定するステップとすれば、位置指示に最も適した指を操作対象指に指定できる。

　また、指定指情報取得ステップは、撮影部により撮影された手の画像の輝度を接近距離情報として取得するステップとすることができる。この場合、上記の操作対象指指定ステップは、当該輝度に関する予め定められた選定条件に対し適する指を優先して操作対象指として指定するステップとすることができる。なお、これを実現するために、遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を遠隔操作面の裏側から撮影部により撮影する撮影ステップが必要となる。撮影部は、遠隔操作面を操作する手の反射光を捉える形で撮影を行うので、遠隔操作面に最も近い指先ほど高輝度に表れるから、輝度を用いて接近距離情報を容易に得ることができ、実際に接近距離を測るような部・処理を省略できる。また、指先が遠隔操作面に最も近い指ほど、位置指示の可能性が高い指であるから、ここでの操作対象指指定ステップは、指特定ステップにより特定された指のうち、指先特定部により特定された指先の輝度が最も高い指ほど優先して操作対象指として指定するステップとすることができる。

　ところで、上記の全ての指定指情報取得ステップは、撮影ステップによる撮影画像に基づいて指定指情報を取得するステップとすることができる。この構成によると、撮影画像から得られる情報を使って容易に指指定情報を得ることができる。なお、これを実現するためには、撮影ステップとして、遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を遠隔操作面の裏側から撮影部により撮影するステップが必要となる。

　なお、遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を遠隔操作面の裏側から撮影部により撮影する撮影ステップを設けることができるが、この場合、指特定ステップは、撮影された手の画像から指を特定するステップとすることができる。さらにいえば、上記指先特定ステップは、撮影された手の画像から指先を特定するステップとすることができる。さらには、位置指示画像を表示する表示ステップを、撮影された手の画像に基づいて生成された位置指示画像を表示するステップとすることもできる。これらの構成によれば、カメラ等の１つの撮影部の撮影画像により、指の特定、指先の特定、さらには操作対象指の特定や位置指示表示も可能となるので、これらの部を個別に設けた構成と比べて、構成を単純化できる。

　ところで、遠隔操作部は、例えばタッチパネル等のように、遠隔操作面がタッチ操作面をなすとともに当該タッチ操作面へのタッチ操作の有無及びタッチ位置を検出するタッチ操作部として構成することができる。この場合、操作対象指指定ステップは、指特定ステップにより特定された指のうち、タッチ操作面へのタッチ操作を行った指を操作対象指として指定するステップとすることができる。この構成によると、実際に位置指示がなされた後、その位置指示に使用された指が操作対象指として特定される。一般的な操作者は、操作対象指を固定して使用する傾向にあるので、正確に操作対象指を定め、これを強調した表示を行うことができる。また、タッチ操作をした指が強調表示されることにより、このタッチ操作をきっかけにして、画面表示された多数本の指と実際の指との対応関係を明確に認識できるようになる。

　なお、誤って遠隔操作部に触れてタッチ操作をしてしまった場合に、その操作が入力に反映されないようにし、さらには強調表示に繁栄されないようにすることができる。具体的にいえば、操作対象指指定ステップを、タッチ操作が予め定められた押圧操作時間を上回るタッチ操作であった場合に、当該タッチ操作を行った指を操作対象指として指定するステップとすればよい。また、操作対象指指定ステップを、初回のタッチ操作が予め定められた押圧操作力を上回るタッチ操作であった場合に、当該タッチ操作を行った指を操作対象指として指定するステップとしてもよい。これらの構成によれば、一定以上の負荷を伴う操作でなれば、タッチ操作として有効とならないので、誤操作を防止できる。

　ところで、位置指示画像強調表示ステップは、強調表示を、所定時間をかけて段階的に強調レベルを変化させる形で行うステップとすることができる。つまり、強調表示において、強調表示を開始してから強調表示が完了するまでの間に、強調開始前及び強調完了後の双方の状態とは異なる１以上の変化途中状態を経るような表示とすることができる。この構成によると、強調表示変化の過程が表示されるので、その過程を見ることで、表示されている指（特に操作対象指）と、実際の指との対応関係を認識しやすい。

　また、この位置指示画像強調表示ステップは、強調表示として、該強調表示の開始時においては、操作対象指に対応する位置指示画像と、該位置指示用指とは異なる指に対応する位置指示画像とが強調レベル（強調度合い）が同じ状態でなされるとともに、該強調表示の開始から時間が経過するに従い操作対象指に対応する位置指示画像の相対的な強調レベルが段階的に増すように変化する表示を実行するステップとすることもできる。この場合によると、操作対象指に対応する位置指示画像の強調レベルが（相対的に）徐々に増していく構成となる。いきなり強調完了状態となると、その直後、強調表示されている操作対象指が実際にどの指に当たるのかを認識するのに戸惑いを感じてしまうが、徐々に強調表示が進むようにすることにより、そうした戸惑いを無くすことができる。

　このように、強調表示前の状態を表示する重要性を考慮するならば、位置指示画像強調表示ステップを、操作対象指指定ステップにより操作対象指が指定されてから所定時間経過した後に、相対強調表示を開始するステップとすることがよい。ただし、上記のような強調レベルが徐々に増す構成においては、その変化の過程を時間をかけて視認できるので、位置指示画像強調表示ステップを、操作対象指指定ステップにより操作対象指が指定されるに伴い相対強調表示を開始するようにしてもよい。

　遠隔操作面に対向する手の画像を撮影する手画像撮影ステップを備えて構成することができる。この場合、指特定ステップは、撮影された手の画像に基づいて、遠隔操作面に対向する手の指を特定するものとすることができる。さらに、この場合、位置指示画像強調表示ステップは、特定された手の指の輪郭が少なくとも特定可能となる実指画像を、撮影された手の画像に基づいて生成し、生成された実指画像を位置指示画像として表示するものとできる。操作画面上に実際の手の輪郭が表示されるため、その輪郭から手の位置を把握することができる。実際の手の輪郭であることから位置を認識しやすく、操作がより容易となる。

　また、位置指示画像強調表示ステップは、指の延びる方向が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを前記位置指示画像として表示するように構成することもできる。位置指示画像として、指の指示位置が分かる程度に簡略された画像を用いることで処理負担を軽減できる。

　ところで、強調表示は、位置指示画像の輪郭線に対してなされるものとできる。輪郭線が強調されることで、特定の指の指示位置がより分かり易くなる。

　また、強調表示は、位置指示画像の表示色の濃淡を変える、位置指示画像の形状を変える、位置指示画像の透過度を変える、位置指示画像を点滅表示する形でなされるものであってもよい。これら単純な画像処理により強調表示を実施することで、処理負担を軽減できる。また、これらの強調表示でも十分に、特定の指を強調することができる。

　ところで、遠隔操作部への操作に使用する、あるいは使用すると推定される指を操作対象指として指定し、指定された操作対象指に対応して表示される位置指示画像を、他の指に対応して表示される位置指示画像よりも相対的に強調して表示することを特徴としている。この場合、常に一定の指が操作対象指として指定される方が操作性の観点で優れる。つまり、操作対象指として同一の指が継続して指定されることが望ましい。

　そのための構成として、表示方法は、操作対象指指定ステップにて前記操作対象指が指定された後、当該操作対象指に指定された指の移動を追跡する操作対象指追跡ステップを有し、操作対象指指定ステップは、前記操作対象指追跡ステップによる追跡結果に基づいて、前記操作対象指に指定された指と同一の指を継続的に前記操作対象指として指定するものとすることができる。この構成によれば、操作対象指に指定された指の移動が追跡されるから、常に同一の指を操作対象指として指定することができる。指の移動に伴い操作対象指が変化する場合と比較して、操作しやすい。

　また、指特定ステップは、前記遠隔操作部の手前側にて予め定められている指特定可能範囲内に存在する手の指を、所定時間間隔にて順次特定とするものとできる。例えば、指特定ステップが撮影部により動画撮影される手の画像から指を特定するものである場合、撮影により所定時間間隔おきに順次取得される動画像フレーム毎に、フレーム内に映る手画像から指を特定することになる。こうした場合、指特定ステップにより順次特定される指ごとの位置情報を取得し、当該位置情報を追跡情報として予め定められた追跡情報記憶部に記憶することにより、前記指特定ステップにより順次特定される指の移動を指ごとに追跡する指追跡ステップを設けることにより、操作対象指追跡ステップは、前記指追跡ステップにより記憶される指ごとの追跡情報のうち前記操作対象指の追跡情報に基づいて、当該操作対象指に指定された指の移動を追跡することができる。この構成によると、指特定ステップにより特定される全ての指の移動が追跡されるから、どの指が操作対象指に指定されても対応できる。また、操作対象指の移動は他の指と連動して生ずるから、操作対象指だけでなく他の指の追跡情報も収集しておけば、これを操作対象指の追跡に利用することで、より正確な追跡も可能となる。

　また、指追跡ステップは、指特定ステップ毎に前記追跡情報を記憶している追跡中の各指が、次回の前記指特定ステップにて位置すると推定される次回位置を、対応する前記追跡情報に基づいて算出する次回位置推定ステップを有するものとできる。この場合、指追跡ステップは、当該次回位置推定ステップにて算出される前記追跡中の各指の前記次回位置と、次回の前記指特定ステップにて実際に特定される各指の実位置との位置関係が、予め定められた基準条件を満たすペアを特定するとともに、当該ペアの一方である前記追跡中の指と前記指特定ステップにて実際に特定された指とは互いを同一の指と判断し、当該追跡中の指が同一と判断された実際に特定された指の位置に移動したものとして、当該指の移動追跡を継続するものとできる。具体的に言えば、同一と認識された当該実際に特定された指の位置情報を、当該追跡中の指の最新の位置情報として前記追跡情報記憶部に記憶する形で当該追跡情報記憶部に記憶されている前記追跡情報を更新することにより、当該指の移動追跡を継続するものとできる。この構成によると、追跡情報が記憶されることで、過去の追跡情報から追跡中の指の次回の移動先を推定できる。さらに、その推定された位置と実際に指が特定された位置との位置関係を比較して、双方が例えば所定レベル以上近接した位置関係にある場合には、追跡中の指が推定どおりに移動したものと判断できる。つまり、追跡中の移動先の推定を、過去の追跡情報を用いることで高い精度で行うことができ、さらに指の移動追跡は、その推定結果を用いてなされるから、高い追跡精度が得られる。

　上記追跡情報は、複数回の前記指特定ステップにより特定された対応する前記追跡中の指の各位置情報を含むことを可能とできる。この場合、次回位置推定ステップは、当該各位置情報に基づいて、対応する追跡中の指の前記次回位置を算出するものとできる。この構成によると、追跡中の指の過去複数回の位置から次回の位置が推定されるので、高い推定精度を得ることができる。

　また、次回位置推定ステップは、前記追跡情報に、前回及び前々回の前記指特定ステップにより特定された対応する前記追跡中の指の各位置情報が含まれる場合には、それら双方の位置情報に基づいて、当該追跡中の指の前記次回位置を算出することができる一方で、前記追跡情報に、前回の前記指特定ステップにより特定された対応する前記追跡中の指の位置情報が含まれ、前々回の前記指特定ステップにより特定された対応する前記追跡中の指の位置情報が含まれていない場合には、前回の前記指特定ステップにより特定された際の前記位置情報と、当該位置情報が示す位置に近接する前記指特定可能範囲の縁部の位置とに基づいて、当該追跡中の指の前記次回位置を算出することができる。追跡中の指の前回及び前々回の位置が分かる場合には、それら双方を用いて、次回の位置を高い精度で推定することができるが、追跡中の指の位置が前回の分だけしか分からない場合、即ち追跡中の指が前回新規に出現した指である場合には、１つの位置しか分からないためそれだけでは高い精度で次回の位置を推定できない。ところが、上記構成によれば、前々回の位置の代わりに、前回の位置に近接する指特定可能範囲の縁部の位置を用いる。この場合、前回新規に出現したばかりの指は、指特定可能範囲の最も近接する縁部から出現した可能性が高いから、当該縁部を前々回の位置として利用することで、前々回の位置がなくても、次の位置を十分な精度で推定できる。

　指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に実際に特定された指とは前記基準条件を満たさなかった前記追跡中の指がある場合には、当該追跡中の指を追跡不可の指として認識を切り替えるとともに、追跡不可と認識されたときの当該指に係る情報を追跡復帰判断情報として、予め定められた追跡復帰判断情報記憶部に記憶するものとできる。この場合、前記指追跡ステップはさらに、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指がある場合には、前記追跡復帰判断情報記憶部に記憶されている前記追跡復帰判断情報に基づいて、実際に特定された当該指が過去に追跡不可とされた指と同一であるか否かを判断し、同一であると判断された場合には、当該追跡復帰判断情報に対応する追跡不可とされていた指が、実際に特定された当該指の位置に再出現したと認識して、当該指の移動追跡を再開する一方で、同一ではないと判断された場合には、実際に特定された当該指が新規出現した指であると認識して、当該指の移動追跡を新たに開始するものとできる。具体的に言えば、同一であると判断された場合には、実際に特定された指の位置情報を、同一と認識された追跡不可とされていた当該指の最新の位置情報として前記追跡情報記憶部に記憶する形で、当該追跡情報記憶部に記憶されている前記追跡情報を更新することにより、当該指の移動追跡を再開する一方で、同一でないと判断された場合には、新規出現の指の位置情報を前記追跡情報として前記追跡情報記憶部に記憶することにより、当該指の移動追跡を新たに開始するものとできる。操作対象指は、指特定ステップにおいて特定可能な範囲外に移動した際には特定されなくなるが、特定されなくなったからといって、その指以外の指を操作対象指とすることは得策であるとはいい難い。例えば、人差し指が操作対象指とされていた状態で、この人差し指が特定範囲外に移動した場合に、薬指が特定されているからといって、この薬指を操作対象指に変更することはあまり望ましいことではなく、再び人差し指が特定されるまでは、操作対象指を指定しないほうがよい。つまり、一定の指が常に操作対象指として指定される方が、操作しやすいのである。上記構成によれば、追跡中の指をロスト（追跡不可）した場合には、ロスト時の状況が追跡復帰判断情報として記憶され、追跡されていなかった指が新たに特定された場合には、蓄積された追跡復帰判断情報を根拠に、その指が過去にロストした指であるか否かが判断されるから、一度ロストした指が再出現した場合には、これを同じ指と認識することができる。ロストした指が操作対象指である場合には、再出現した際に再び操作対象指として直ちに指定することができ、そのまま移動追跡を再開できる。

　この場合の追跡情報は、少なくとも前記指特定ステップにより特定された指の最新の位置情報を含むものとすることができ、前記追跡復帰判断情報も、対応する指が追跡不可と認識される前の最後の位置情報を含むものとできる。この構成によると、指追跡ステップにて、ロスト（追跡不可）する直前の位置と、再出現の位置とを比較し、互いが近い位置関係にあるペアを同一の指と判断できる。つまり、ロスト時に直前の位置を記憶し、再出現時に位置の比較するだけで、新たに特定された指が再出現した指であるか否かを容易に判断可能となる。

　指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されており、なおかつ追跡復帰判断情報記憶部に、複数の指の追跡復帰判断情報が記憶されている場合には、実際に特定された当該指の位置情報と、それら前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とに基づいて、実際に特定された当該指に最も近い位置を示す前記位置情報を含む前記追跡復帰判断情報に対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定するものとできる。この構成によると、ロスト（追跡不可）した指が複数存在する場合であっても、それらロスト中の指の最終特定位置と新たに特定された指の位置とを比較し、最も近いかったロスト中の指を、新たに特定された指と同一と判断される。ロストした指は、ロストした箇所と同じ位置から出現する可能性が高いから、これを利用することで、新たに特定された指が新規に出現したものかロストしていた指が再出現したものかを正確に特定できる。

　指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されている場合に、実際に特定された当該指の位置情報と、前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とが示すそれぞれの位置間の距離が、予め定められた基準距離を下回る場合には、実際に特定された当該指と当該追跡復帰判断情報に対応する追跡不可とされている指とを同一と認識することを許可する一方で、前記基準距離を下回らない場合には、実際に特定された当該指と当該追跡復帰判断情報に対応する追跡不可とされている指とを同一と認識することを禁止するものとできる。ロスト（追跡不可）中の指の最終特定位置と新たに特定された指の位置とを比較したときに、両者の距離があまりにかけ離れた位置にある場合には、両指は異なる指である可能性が高い。上記構成とすることで、新たに特定された指が新規に出現したものかロストしていた指が再出現したものかをより正確に特定できる。

　指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に実際に特定された指とは前記基準条件を満たさなかった前記追跡中の指があり、当該追跡中の指が追跡不可と認識された場合には、追跡不可と認識されたときの当該指に係る情報と共に、他の追跡不可の指との追跡不可認識時期の前後関係が特定可能となる追跡不可認識順序を、追跡復帰判断情報として前記追跡復帰判断情報記憶部に記憶するものとできる。この場合、前記指追跡ステップはさらに、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されており、なおかつ前記追跡復帰判断情報記憶部には、複数の指の追跡復帰判断情報が記憶されている場合には、実際に特定された当該指の位置情報と、それら前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とに基づいて、実際に特定された当該指に最も近い位置を示す前記位置情報を含む前記追跡復帰判断情報を特定することができる。ただし、実際に特定された当該指に最も近い位置を示す前記位置情報を含む追跡復帰判断情報が１つ特定されている場合には、当該追跡復帰判断情報に対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定する一方で、実際に特定された当該指に最も近い位置を示す前記位置情報を含む追跡復帰判断情報が２以上特定される場合には（つまり、複数の前記追跡復帰判断情報に含まれる位置情報が示す位置が予め定められた近接条件を満たす位置関係にある場合には）、それら追跡復帰判断情報に含まれる前記追跡不可認識順序を参照して、それら追跡復帰判断情報のうち追跡不可認識時期が最も新しいものに対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定するものとできる。人間の手における指の並びからすると、複数の指がほぼ同じ位置を最後にロスト（追跡不可）した場合には、それらが再び出現する時には、最後にロストした指から順に出現する可能性が高い。上記構成とすることで、ロスト中の指が複数あったとしても、新たに特定された指がロスト中のどの指と同一であるかを正確に特定できる。

　なお、追跡復帰判断情報は、対応する指が追跡不可と認識される際に、追跡情報記憶部に記憶されていた当該指の前記追跡情報とすることができる。この構成によると、追跡中の指をロスト（追跡不可）した際に、追跡情報記憶部に記憶されていた当該指の追跡情報をそのまま追跡復帰判断情報に記憶するだけでよい。追跡情報記憶部と追跡復帰判断情報記憶部とが同じとするならば、記憶されている追跡情報をそのまま残しておくだけでよい。

　指追跡ステップは、前記指特定ステップにより指が特定され、なおかつ特定された当該指が新規出現の指として認識した際には、当該新規の指に対し新たな識別情報を付与するとともに、当該識別情報に対応付けた形で、各指の前記追跡情報を前記追跡情報記憶部に記憶するものとできる。これにより、指特定ステップにより特定された指には識別情報が付されるので、指に対応する情報管理が容易となる。

　また、追跡復帰判断情報記憶部を有した構成において、指追跡ステップは、前記識別情報が付与されている前記追跡中の指を追跡不可の指として認識した際には、当該指の前記識別情報に前記追跡復帰判断情報を対応付けた形で前記追跡復帰判断情報記憶部に記憶するものとできる。この場合、追跡中の指をロスト（追跡不可）してもその指の識別情報はそのまま残されるから、ロスト後もその指に対応する情報を容易に管理できる。

　指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に、追跡情報記憶部に記憶された追跡情報と、さらには追跡復帰判断情報記憶部に記憶された追跡復帰判断情報とに基づいて、当該指特定ステップにより実際に特定された指が前記追跡中の指であるか否か、さらには追跡不可の指であるか否かを、前記識別情報が付された指ごとに判定し、その判定結果を追跡状況として前記識別情報に対応付けた形で、予め定められた追跡状況記憶部に記憶するものとできる。この構成によると、識別情報が付された指の追跡状況（追跡中、ロスト等）を容易に特定することができる。

　指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に、指が特定されなかった場合には、前記識別情報及び当該識別情報に対応付けて記憶される各種情報を消去し、初期化するものとできる。順次特定される指の各種情報が識別情報に対応付けて記憶更新されていく中で、指が特定されなかったタイミングで一度全ての情報の初期化を図ることができる。

　また、表示装置は、上記した表示方法における各ステップ（指特定ステップ、操作対象指指定ステップ、指先特定ステップ、位置指示画像強調表示ステップ、指定指情報取得ステップ）を実現する部（指特定部、操作対象指指定部、指先特定部、位置指示画像強調表示部、指定指情報取得部）を備えて構成することができる。これにより、表示装置において上記効果を実現できる。

　また、操作入力装置は、上記表示装置を備えて構成することができる。具体的にいえば、表示画面は、機器の操作などを行うための画面として構成し、遠隔操作面は、表示画面とは異なる位置に設けられて当該表示画面における操作入力を遠隔的に行うための操作面として構成するとともに、上記表示画面を有した表示部と、上記遠隔操作面を有した遠隔操作部と、遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付部と、遠隔操作面に対向する手の画像を撮影する手画像撮影部と、当該手により位置指示された表示画面上の位置に撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像強調表示部と、を備えて構成することができる。これにより、上記表示方法の効果を有した遠隔操作用の操作入力装置を実現できる。

　また、操作入力装置は車両用操作入力装置とすることができる。具体的にいえば、上記機器は車載搭載機器であり、表示画面は運転者よりも車両前方側にて該運転者により視認可能に配置され、遠隔操作面は、表示画面よりも運転者に近い位置に設けることができる。操作対象指が分かり易い表示がなされるので、操作が容易となる。特に運転者の操作の簡易化に貢献できる。

　また、第一の観点と第二の観点は、上位の概念として提供されことができる。即ち、車両用操作入力装置は次のように提供される。　車両が備える機器の操作などを行うための表示画面を有した表示部と、前記表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、前記遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付部と、前記遠隔操作面に対向する手の画像を撮影する手画像撮影部と、当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示部と、を備える車両用操作入力装置であり、前記遠隔操作面に対向する手の指状態が、予め定められた所定指状態であるか否かを特定する所定指状態特定部と、前記位置指示画像表示部に対し設定される表示モードを、前記所定指状態が特定されている場合に前記位置指示画像の表示を許可する表示許可モードに設定し、前記所定指状態が特定されていない場合には前記位置指示画像の表示を禁止する表示禁止モードに設定する表示モード切替制御を実行する表示モード設定部と、を備えている。

　また、上記は、開示の別の観点として、次のような表示方法として提供することができる。即ち、表示画面を有した表示部と、前記表示画面への操作を遠隔的に行うための遠隔操作面を有した遠隔操作部とを備える表示装置において、前記遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する前記表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示する表示方法であって、前記遠隔操作面に対向する手の指状態が、予め定められた指状態であるか否かを特定する所定指状態特定ステップと、前記所定指状態が特定されている場合に前記位置指示画像の表示を許可する表示許可モードに設定するステップと、前記所定指状態が特定されていない場合には前記位置指示画像の表示を禁止する表示禁止モードに設定するするステップと、を有する。

　この発明の個々の実施形態が上記に記載されているが、これは、発明を個々に記載の形態に限定する意図で記載されていると理解されるのではなく、反対に、その発明は、請求項によって規定されるようにその発明の範囲に入る全ての修正物、同等物、及び代替物を含めるものと理解されるものである。

符号の説明

　1操作入力装置　１０　車両用ナビゲーション装置　１２　操作情報入力部（遠隔操作部）　１２ａ　操作パネル　１２ｂ　カメラ（手画像撮影部または手段）　１２ｃ　光源　１５　表示装置（表示部または手段、操作画面表示部あるいは手段）　１５ａ　タッチパネル　１８　制御回路（入力受付部または手段、位置指示画像表示部または手段、所定指状態特定部または手段、、操作意思表示用指状態特定部または手段、簡易操作用指状態特定部または手段、操作入力制御部または手段、表示モード設定部または手段、操作者特定部または手段、走行状態特定部または手段、位置指示画像強調表示部または手段、指特定部または手段、操作対象指指定部または手段、指先特定部または手段、指定指情報取得部または手段、指本数特定部あるいは手段、手形状認識部あるいは手段、操作数特定部あるいは手段、表示モード実行可否情報記憶部あるいは手段）　１８ａ　画像処理部　18ｄ　記憶部　２０　カメラ　３０　車速センサ（車速検出部あるいは手段）　４０　カメラ　４１，４２　カメラ　５０　車両内ＬＡＮ　１００　ＥＣＵ　１５０　撮影画像　２００Ｂ　メイン画像　２００Ｉ　スイッチ画像（操作アイコン）　２００Ｈ　位置指示画像（手画像）　Ｈ　接近対象物（手・指）

Claims

　車両が備える機器の操作などを行うための表示画面を有した表示部（１５）と、
前記表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部（１２，１２ａ）と、
前記遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付部（１８）と、
前記遠隔操作面に対向する手の画像を撮影する手画像撮影部（１２ｂ）と、
当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示部（１８）と、
前記遠隔操作面に対向する手の指状態が、予め定められた所定指状態であるか否かを特定する所定指状態特定部（１８）と、
前記位置指示画像表示部に対し設定される表示モードを、前記所定指状態が特定されている場合に前記位置指示画像の表示を許可する表示許可モードに設定し、前記所定指状態が特定されていない場合には前記位置指示画像の表示を禁止する表示禁止モードに設定する表示モード切替制御を実行する表示モード設定部（１８）と、
　を備えることを特徴とする車両用操作入力装置（１）。
前記所定指状態特定部は、前記遠隔操作面に対向する手の指状態が、予め定められた簡易操作用指状態であるか否かを特定する簡易操作用指状態特定部（１８）を含み
前記表示モード設定部は、前記位置指示画像表示部に対し設定される表示モードを、前記簡易操作用指状態が特定されている場合に前記位置指示画像の表示を許可する表示許可モードに設定し、前記簡易操作用指状態が特定されていない場合には前記位置指示画像の表示を禁止する表示禁止モードに設定する表示モード切替制御を実行するものである請求項１に記載の車両用操作入力装置。
　車両の車速を検出する車速検出部（３０）を備え、　前記表示モード設定部は、前記車両が予め定められた車速レベルを上回る車両走行状態にある場合には、前記表示モード切替制御を実行し、前記車両走行状態にない場合には、前記表示モードとして前記表示許可モードを設定するものである請求項２記載の車両用操作入力装置。
　前記遠隔操作面の操作者が、運転者であるか否かを特定する操作者特定部（１８）を備え、　前記表示モード設定部は、前記遠隔操作面の操作者として前記運転者が特定されている場合には、前記表示モード切替制御を実行し、前記遠隔操作面の操作者として前記運転者が特定されていない場合には、前記表示モードとして前記表示許可モードを設定するものである請求項２又は請求項３記載の車両用操作入力装置。
　前記表示モード設定部により、前記表示許可モードが設定されている場合には、前記入力受付部による入力の受け付けを許可し、前記表示禁止モードが設定されている場合には、前記入力受付部による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御部（１８）を備える請求項２ないし請求項４のいずれか１項に記載の車両用操作入力装置。
　前記簡易操作用指状態特定部により、前記簡易操作用指状態が特定されている場合には、前記入力受付部による入力の受け付けを許可し、前記簡易操作用指状態が特定されていない場合には、前記入力受付部による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御部を備える請求項２ないし請求項４のいずれか１項に記載の車両用操作入力装置。
　前記簡易操作用指状態特定部は、前記手画像撮影部により撮影された前記手の画像に基づいて、前記遠隔操作面に対向する手の指形状を認識する指形状認識部（１８）を備え、認識された指形状が予め定められた簡易操作用の指形状であった場合を前記簡易操作用指状態として特定するものである請求項２ないし請求項６のいずれか１項に記載の車両用操作入力装置。
　前記簡易操作用指状態特定部は、前記指形状認識部により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の本数を特定する指本数特定部を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の本数が予め定められた簡易操作用の数であった場合を前記簡易操作用指状態として特定するものである請求項７記載の車両用操作入力装置。
　前記簡易操作用指状態特定部は、予め定められた期間の間に前記入力受付部が受け付けた、前記遠隔操作面の異なる位置になされた押圧操作による入力の数を特定する操作数特定部（１８）を備え、当該期間内に特定された入力数が予め定められた簡易操作用の数であった場合を前記簡易操作用指状態として特定するものである請求項２ないし請求項６のいずれか１項に記載の車両用操作入力装置。
　前記簡易操作用の数が１本である請求項８又は請求項９に記載の車両用操作入力装置。
　前記簡易操作用の数が２本である請求項８又は請求項９に記載の車両用操作入力装置。
　前記簡易操作用の数が３本である請求項８又は請求項９に記載の車両用操作入力装置。
　前記簡易操作用の数が４本である請求項８又は請求項９に記載の車両用操作入力装置。
　前記簡易操作用指状態特定部は、前記指形状認識部により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の種別を特定する指種別特定部を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の種別が予め定められた簡易操作用の指種別のもののみであった場合を前記簡易操作用指状態として特定するものである請求項７記載の車両用操作入力装置。
　前記簡易操作用の指種別が人差し指である請求項１４記載の車両用操作入力装置。
　前記簡易操作用の指種別が中指である請求項１４記載の車両用操作入力装置。
　前記簡易操作用の指種別が人差し指と中指の双方である請求項１４記載の車両用操作入力装置。
　前記位置指示画像表示部は、前記手画像撮影部により撮影された手の画像に基づいて当該手の指の輪郭が少なくとも特定可能となる実指画像を生成し、生成された実指画像を前記位置指示画像として表示するものである請求項２ないし請求項１７のいずれか１項に記載の車両用操作入力装置。
　前記位置指示画像表示部は、指の延びる方向と指先位置が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを前記位置指示画像として表示するものである請求項２ないし請求項１７のいずれか１項に記載の車両用操作入力装置。
　車両の車速を検出する車速検出部（３０）を備え、
　前記表示モード設定部は、前記車両が予め定められた車速レベルを上回る車両走行状態にある場合には、前記表示モード切替制御を実行し、前記車両走行状態にない場合には、前記表示モードとして前記表示許可モードを設定するものであり、
　前記予め定められた車速レベルは、０ｋｍ／ｈと定められている請求項２ないし請求項１９のいずれか１項に記載の車両用操作入力装置。
　車両の車速を検出する車速検出部（３０）を備え、
　前記表示モード設定部は、前記車両が予め定められた車速レベルを上回る車両走行状態にある場合には、前記表示モード切替制御を実行し、前記車両走行状態にない場合には、前記表示モードとして前記表示許可モードを設定するものであり、
　前記予め定められた車速レベルは、０ｋｍ／ｈよりも速く５ｋｍ／ｈよりも遅い車速範囲内に定められている請求項２ないし請求項１９のいずれか１項に記載の車両用操作入力装置。
　車両の車速を検出する車速検出部（３０）を備え、
　前記表示モード設定部は、前記車両が予め定められた車速レベルを上回る車両走行状態にある場合には、前記表示モード切替制御を実行し、前記車両走行状態にない場合には、前記表示モードとして前記表示許可モードを設定するものであり、
　前記予め定められた車速レベルは、５ｋｍ／ｈ以上１０ｋｍ／ｈ未満の車速範囲内に定められている請求項２ないし請求項１９のいずれか１項に記載の車両用操作入力装置。
　車両の車速を検出する車速検出部（３０）を備え、
　前記表示モード設定部は、前記車両が予め定められた車速レベルを上回る車両走行状態にある場合には、前記表示モード切替制御を実行し、前記車両走行状態にない場合には、前記表示モードとして前記表示許可モードを設定するものであり、
　前記予め定められた車速レベルは、１０ｋｍ／ｈ以上３０ｋｍ／ｈ未満の車速範囲内に定められている請求項２ないし請求項１９のいずれか１項に記載の車両用操作入力装置。
　車両の車速を検出する車速検出部（３０）を備え、
　前記表示モード設定部は、前記車両が予め定められた車速レベルを上回る車両走行状態にある場合には、前記表示モード切替制御を実行し、前記車両走行状態にない場合には、前記表示モードとして前記表示許可モードを設定するものであり、
　前記予め定められた車速レベルは、３０ｋｍ／ｈ以上６０ｋｍ／ｈ未満の車速範囲内に定められている請求項２ないし請求項１９のいずれか１項に記載の車両用操作入力装置。
　車両の車速を検出する車速検出部（３０）を備え、
　前記表示モード設定部は、前記車両が予め定められた車速レベルを上回る車両走行状態にある場合には、前記表示モード切替制御を実行し、前記車両走行状態にない場合には、前記表示モードとして前記表示許可モードを設定するものであり、
　前記予め定められた車速レベルは、６０ｋｍ／ｈ以上の車速範囲内に定められている請求項２ないし請求項１９のいずれか１項に記載の車両用操作入力装置。
　前記遠隔操作面への押圧操作による入力が前記入力受付部により受け付けられる複数の操作画面を、前記表示画面上に切り替える形で表示する操作画面表示部（１５）と、　前記複数の操作画面のうち前記表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を予め記憶する表示モード実行可否情報記憶部（１８ｄ）と、　を備え、前記表示モード設定部は、前記表示モード実行可否情報に基づいて、前記操作画面表示部により表示される前記操作画面が前記表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて前記表示モード切替制御を実行する請求項２ないし請求項２５のいずれか１項に記載の車両用操作入力装置。
　前記表示モード実行可否情報は、前記操作画面のうち、前記入力受付部により入力が受け付けられる前記遠隔操作面への押圧操作が、予め定められた操作負担レベルを上回る操作を含む複雑操作画面を前記表示モード切替制御の実行対象と定め、予め定められた操作負担レベルを上回らない操作のみである簡易操作画面を前記表示許可モードの固定設定対象と定めている請求項２６記載の車両用操作入力装置。
　前記簡易操作画面には、少なくともメニュー選択画面と、音量調整画面と、風両調整画面とのうちいずれか又は１以上が含まれている請求項２７記載の車両用操作入力装置。
　前記複雑操作画面には、少なくとも文字入力画面が含まれている請求項２７又は請求項２８に記載の車両用操作入力装置。
前記所定指状態特定部は、前記遠隔操作面に対向する手の指状態が、予め定められた操作意思表示用指状態であるか否かを特定する操作意思表示用指状態特定部（１８）を含み、
前記表示モード設定部は、前記位置指示画像表示部に設定される表示モードを、前記位置指示画像の表示を禁止した表示禁止モードに設定するとともに、前記操作意思表示用指状態が特定されるに伴い予め定められた表示許可期間の間だけ前記位置指示画像の表示を許可する表示許可モードに切り替える表示モード切替制御を実行とするものである請求項１に記載の車両用操作入力装置。
　前記表示モード設定部は、前記表示許可期間として、前記表示許可モードに切り替わってから予め定められた禁止モード復帰時間が経過するまでの期間を定めており、当該禁止モード復帰時間が経過するに伴い前記表示禁止モードに復帰させる請求項３０記載の車両用操作入力装置。
　前記表示モード設定部は、前記表示許可期間として、前記操作意思表示用指状態が非特定となるまでの期間が定められており、前記操作意思表示用指状態が特定されている場合には前記表示許可モードを設定し、前記操作意思表示用指状態が特定されていない場合には前記表示禁止モードを設定するものである請求項３０記載の車両用操作入力装置。
　前記表示許可モードが設定されている場合には、前記入力受付部による入力の受け付けを許可し、前記表示禁止モードが設定されている場合には、前記入力受付部による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御部を備える請求項３０ないし請求項３２のいずれか１項に記載の車両用操作入力装置。
　前記操作意思表示用指状態が特定されている場合には、前記入力受付部による入力の受け付けを許可し、前記操作意思表示用指状態が特定されていない場合には、前記入力受付部による入力の受け付けを禁止する操作入力受付制御を実行する操作入力受付制御部を備える請求項３０ないし請求項３３のいずれか１項に記載の車両用操作入力装置。
　前記操作意思表示用指状態特定部は、前記手画像撮影部により撮影された前記手の画像に基づいて、前記遠隔操作面に対向する手の指形状を認識する指形状認識部を備え、認識された指形状が予め定められた操作意思表示用の指形状であった場合を前記操作意思表示用指状態として特定するものである請求項３０ないし請求項３４のいずれか１項に記載の車両用操作入力装置。
　前記操作意思表示用指状態特定部は、前記指形状認識部により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の本数を特定する指本数特定部を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の本数が予め定められた操作意思表示用の数であった場合を前記操作意思表示用指状態として特定するものである請求項３５記載の車両用操作入力装置。
　前記操作意思表示用指状態特定部は、予め定められた期間の間に前記入力受付部が受け付けた、前記遠隔操作面の異なる位置になされた押圧操作による入力の数を特定する操作数特定部を備え、当該期間内に特定された入力数が予め定められた操作意思表示用の数であった場合を前記操作意思表示用指状態として特定するものである請求項３０ないし請求項３４のいずれか１項に記載の車両用操作入力装置。
　前記操作意思表示用の数が１本である請求項３６又は請求項３７に記載の車両用操作入力装置。
　前記操作意思表示用の数が２本である請求項３６又は請求項３７に記載の車両用操作入力装置。
　前記操作意思表示用の数が３本である請求項３６又は請求項３７に記載の車両用操作入力装置。
　前記操作意思表示用の数が４本である請求項３６又は請求項３７に記載の車両用操作入力装置。
　前記操作意思表示用指状態特定部は、前記指形状認識部により前記遠隔操作面に略沿ってのびた指が認識された場合に、該遠隔操作面に略沿ってのびた状態にある指の種別を特定する指種別特定部を備え、特定された該遠隔操作面に略沿ってのびた状態にある指の種別が予め定められた操作意思表示用の指種別のもののみであった場合を前記操作意思表示用指状態として特定するものである請求項３５記載の車両用操作入力装置。
　前記操作意思表示用の指種別が人差し指である請求項４２記載の車両用操作入力装置。
　前記操作意思表示用の指種別が中指である請求項４２記載の車両用操作入力装置。
　前記操作意思表示用の指種別が人差し指と中指である請求項４２記載の車両用操作入力装置。
　前記位置指示画像表示部は、前記手画像撮影部により撮影された手の画像に基づいて当該手の指の輪郭が少なくとも特定可能となる実指画像を生成し、生成された実指画像を前記位置指示画像として表示するものである請求項３０ないし請求項４５のいずれか１項に記載の車両用操作入力装置。
　前記位置指示画像表示部は、指の延びる方向と指先位置が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを前記位置指示画像として表示するものである請求項３０ないし請求項４５のいずれか１項に記載の車両用操作入力装置。
前記位置指示画像表示部は
前記遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する前記表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示し、
前記所定指状態特定部は、前記遠隔操作部の手前側で対向する手において指を特定し、
　特定された前記指から前記遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定部（１８）と
　前記表示画面上の背景画像に合成ないしは重畳する形で、特定された前記指の指示位置を示す前記位置指示画像を前記表示部に表示させ、表示される前記位置指示画像のうち、指定された前記操作対象指に対応する位置指示画像を、当該操作対象指とは異なる指に対応する位置指示画像よりも相対的に強調する強調表示を表示部に行わせる位置指示画像強調表示部（１８）、
を有する
ことを特徴とする請求項１に記載の車両用操作入力装置。
　表示画面を有した表示部（１５）と、
前記表示画面への操作を遠隔的に行うための遠隔操作面を有した遠隔操作部（１２，１２ａ）とを備える表示装置（１）において、
前記遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する前記表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示する表示方法であって、
前記遠隔操作面に対向する手の指状態が、予め定められた指状態であるか否かを特定する所定指状態特定ステップ（Ｓ２，Ｓ３）と、
前記所定指状態が特定されている場合に前記位置指示画像の表示を許可する表示許可モードに設定するステップ（Ｓ４）と
前記所定指状態が特定されていない場合には前記位置指示画像の表示を禁止する表示禁止モードに設定するするステップ（Ｓ７）と、
　を有することを特徴とする表示方法。
　表示画面を有した表示部（１５）と、
前記表示画面への操作を遠隔的に行うための遠隔操作面を有した遠隔操作部（１２，１２ａ）とを備える表示装置（１）において、
前記遠隔操作部の手前側にて指が対向するに伴い当該指位置に対応する前記表示画面上の画面位置に、背景をなす画像に合成ないしは重畳する形で、位置指示画像を表示する表示方法であって、
前記遠隔操作部の手前側で対向する手において指を特定する指特定ステップ（Ｔ１，Ｔ２）と、
　特定された前記指から前記遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定ステップ（Ｔ３）と、
　前記表示画面上の背景画像に合成ないしは重畳する形で、特定された前記指の指示位置を示す前記位置指示画像を表示する表示ステップであって、表示される前記位置指示画像のうち、指定された前記操作対象指に対応する位置指示画像を、当該操作対象指とは異なる指に対応する位置指示画像よりも相対的に強調する強調表示にて行う位置指示画像強調表示ステップ（Ｔ４）と、
　を有することを特徴とする表示方法。
　前記指特定ステップは、前記手から指先を特定する指先特定ステップ（Ｔ２）であり、当該指先を特定する形で前記指が特定されるステップとされている請求項５０記載の表示方法。
　前記操作対象指指定ステップは、前記操作対象指として１本の指を指定するものである請求項５０又は請求項５１に記載の表示方法。
　前記操作対象指指定ステップは、前記操作対象指として２本又は３本の指を指定するものである請求項５０又は請求項５１記載の表示方法。
　前記指特定ステップにより特定された指の形状に係る指形状情報を指定指情報として取得する指定指情報取得ステップ（Ｔ２）を有し、　前記操作対象指指定ステップは、取得された指形状情報に基づいて、前記指特定ステップにより特定された指のうち、当該指の形状に係る予め定められた選定条件に最も適する前記指形状情報を有した指を優先して前記操作対象指として指定するものである請求項５０ないし請求項５３のいずれか１項に記載の表示方法。
　前記指定指情報取得ステップは、前記指特定ステップにより特定された指同士の、前記遠隔操作面方向における長さ関係を反映した指長情報を前記指形状情報として取得するものであり、　前記操作対象指指定ステップは、取得された指長情報に基づいて、前記指特定ステップにより特定された指のうち、当該指長情報に係る予め定められた選定条件に適する指を優先して前記操作対象指として指定するものである請求項５４記載の表示方法。
　前記指定指情報取得ステップは、前記指特定ステップにより特定された指同士の、前記遠隔操作面方向における幅の関係を反映した指幅情報を前記指形状情報として取得するものであり、　前記操作対象指指定ステップは、取得された指幅情報に基づいて、前記指特定ステップにより特定された指のうち、当該指幅情報に係る予め定められた選定条件に適する指を優先して前記操作対象指として指定するものである請求項５４記載の表示方法。
　前記指特定ステップにより特定された指同士の、前記遠隔操作面方向における位置関係に係る位置関係情報を指定指情報として取得する指定指情報取得ステップ（Ｔ２）を備え、　前記操作対象指指定ステップは、取得された該位置関係情報に基づいて、前記指特定ステップにより特定された指のうち、当該位置関係に係る予め定められた選定条件に最も適する前記位置関係情報を有した指を優先して前記操作対象指として指定するものである請求項５０ないし請求項５３いずれか１項に記載の表示方法。
　前記指特定ステップは、前記手から指先を特定する指先特定ステップ（Ｔ２）であり、当該指先を特定する形で前記指が特定されるステップとされており、
　前記指定指情報取得ステップは、前記指先特定ステップにより特定された前記指先を前記遠隔操作部との対向方向に投影し、その投影面上の予め定められた位置に１本の軸を設定して一次元の座標系を定め、投影された該指先の当該座標系における座標値を特定し、当該座標値を反映した軸座標情報を前記位置関係情報として取得するものであり、
　前記操作対象指指定ステップは、取得された該軸座標情報に基づいて、前記指特定ステップにより特定された指のうち、当該軸座標情報に係る予め定められた選定条件に対し適する指を優先して前記操作対象指として指定するものである請求項５７記載の表示方法。
　前記指特定ステップは、前記手から指先を特定する指先特定ステップ（Ｔ２）であり、当該指先を特定する形で前記指が特定されるステップとされている
　前記指定指情報取得ステップは、前記指先特定ステップにより特定された指先を前記遠隔操作部との対向方向に投影し、その投影面上の予め定められた領域に設定される基準領域と投影された指先との間の距離を反映した距離情報を前記位置関係情報として取得するものであり、　前記操作対象指指定ステップは、取得された該距離情報に基づいて、前記指特定ステップにより特定された指のうち、当該距離情報に係る予め定められた選定条件に対し適する指を優先して前記操作対象指として指定するものである請求項５７記載の表示方法。
　前記指特定ステップにより特定された指同士の、前記遠隔操作面への接近距離関係を反映した接近距離情報を指定指情報として取得する指定指情報取得ステップ（Ｔ２）と、　前記操作対象指指定ステップは、取得された該接近距離情報に基づいて、前記指特定ステップにより特定された指のうち、前記遠隔操作面に対し近い指先の指ほど優先して前記操作対象指として指定するものである請求項５０ないし請求項５３のいずれか１項に記載の表示方法。
　前記遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を前記遠隔操作面の裏側から撮影部により撮影する撮影ステップ（Ｔ１）を有し、　前記指定指情報取得ステップは、前記撮影部により撮影された手の画像の輝度を前記接近距離情報として取得するとともに、　前記操作対象指指定ステップは、前記指特定ステップにより特定された指のうち、前記指先特定部により特定された指先の前記輝度が最も高い指ほど優先して前記操作対象指として指定するものであるである請求項６０記載の表示方法。
　前記遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を前記遠隔操作面の裏側から撮影部により撮影する撮影ステップ（Ｔ１）を有し、　前記指定指情報取得ステップは、前記撮影ステップによる撮影画像に基づいて前記指定指情報を取得するものである請求項５４ないし請求項６１のいずれか１項に記載の表示方法。
　前記遠隔操作面に接近する手に光源から光が照射されるとともに、その反射光を捉える形で、当該手を前記遠隔操作面の裏側から撮影部により撮影する撮影ステップ（Ｔ１）を有し、　前記指特定ステップは、撮影された前記手の画像から前記指を特定するものである請求項５０ないし請求項６２のいずれか１項に記載の表示方法。
　前記遠隔操作面に接近する手を前記遠隔操作面の裏側から撮影部により撮影する撮影ステップを有し、前記位置指示画像を表示する表示ステップでは、撮影された手の画像に基づいて生成された位置指示画像を表示するものである請求項５０ないし請求項６３のいずれか１項に記載の表示方法。
　前記遠隔操作部は、前記遠隔操作面がタッチ操作面をなすとともに当該タッチ操作面へのタッチ操作の有無及びタッチ位置を検出するタッチ操作部（１２ａ）であり、　前記操作対象指指定ステップは、前記指特定ステップにより特定された指のうち、前記タッチ操作面へのタッチ操作を行った指を前記操作対象指として指定するものである請求項５０ないし請求項５３のいずれか１項に記載の表示方法。
　前記位置指示画像強調表示ステップは、前記強調表示を、所定時間をかけて段階的に強調レベルを変化させる形で行うものである請求項５０ないし請求項６５のいずれか１項に記載の表示方法。
　前記位置指示画像強調表示ステップは、前記強調表示として、該強調表示の開始時においては、前記操作対象指に対応する前記位置指示画像と、該位置指示用指とは異なる指に対応する前記位置指示画像とを強調レベルを同じ状態にして表示するとともに、該強調表示の開始から時間が経過するに従い前記操作対象指に対応する前記位置指示画像の相対的な強調レベルが段階的に増すように変化する表示を実行するものである表示される請求項６６記載の表示方法。
　前記位置指示画像強調表示ステップは、前記操作対象指指定ステップにより前記操作対象指が指定されるに伴い前記相対強調表示を開始するものである請求項６６又は請求項６７の表示方法。
　前記位置指示画像強調表示ステップは、前記操作対象指指定ステップにより前記操作対象指が指定されてから所定時間経過した後に、前記相対強調表示を開始するものである請求項６６又は請求項６８７の表示方法。
　前記遠隔操作面に対向する手の画像を撮影する手画像撮影ステップ（Ｔ１）を備え、　前記指特定ステップは、撮影された手の画像に基づいて、前記遠隔操作面に対向する手の指を特定するものであり、　前記位置指示画像強調表示ステップは、特定された手の指の輪郭が少なくとも特定可能となる実指画像を、撮影された手の画像に基づいて生成し、生成された実指画像を前記位置指示画像として表示するものである請求項５０ないし請求項６９のいずれか１項に記載の表示方法。
　前記位置指示画像強調表示ステップは、指の延びる方向が少なくとも特定可能となる擬似指画像、又は、指の指先位置が少なくとも特定可能となる指先位置画像のいずれかを前記位置指示画像として表示するものである請求項５０ないし請求項６９のいずれか１項に記載の表示方法。
　前記強調表示は、前記位置指示画像の輪郭線に対してなされるものである請求項５０ないし請求項７１のいずれか１項に記載の表示方法。
　前記強調表示は、前記位置指示画像の表示色を変える形でなされるものである請求項５０ないし請求項７１のいずれか１項に記載の表示方法。
　前記強調表示は、前記位置指示画像の表示色の濃淡を変える形でなされるものである請求項５０ないし請求項７１のいずれか１項に記載の表示方法。
　前記強調表示は、前記位置指示画像の形状を変える形でなされるものである請求項５０ないし請求項７１のいずれか１項に記載の表示方法。
　前記強調表示は、前記位置指示画像の透過度を変える形でなされるものである請求項５０ないし請求項７１のいずれか１項に記載の表示方法。
　前記強調表示は、前記位置指示画像を点滅表示する形でなされるものである請求項５０ないし請求項７１のいずれか１項に記載の表示方法。
　前記操作対象指指定ステップにて前記操作対象指が指定された後、当該操作対象指に指定された指の移動を追跡する操作対象指追跡ステップ（Ｒ２０１－Ｒ２１５）を有し、　前記操作対象指指定ステップは、前記操作対象指追跡ステップによる追跡結果に基づいて、前記操作対象指に指定された指と同一の指を継続的に前記操作対象指として指定するものである請求項５０ないし請求項７７のいずれか１項に記載の表示方法。
　前記指特定ステップは、前記遠隔操作部の手前側にて予め定められている指特定可能範囲内に存在する前記手の指を、所定時間間隔にて順次特定とするものであり、
　前記指特定ステップにより順次特定される前記指ごとの位置情報を取得し、当該位置情報を追跡情報として予め定められた追跡情報記憶部に記憶することにより、前記指特定ステップにより順次特定される指の移動を指ごとに追跡する指追跡ステップ（Ｒ２０１－Ｒ２１５）を有し、
　前記操作対象指追跡ステップは、前記指追跡ステップにより記憶される指ごとの追跡情報から前記操作対象指の追跡情報を特定し、当該操作対象指の追跡情報に基づいて、当該操作対象指に指定された指の移動を追跡するものである請求項７８記載の表示方法。
　前記指追跡ステップは、前記指特定ステップ毎に前記追跡情報を記憶している追跡中の各指が、次回の前記指特定ステップにて位置すると推定される次回位置を、対応する前記追跡情報に基づいて算出する次回位置推定ステップ（Ｒ２０１－Ｒ２１５）を有し、当該次回位置推定ステップにて算出される前記追跡中の各指の前記次回位置と、次回の前記指特定ステップにて実際に特定される各指の実位置との位置関係が、予め定められた基準条件を満たすペアを特定するとともに、当該ペアの一方である前記追跡中の指と前記指特定ステップにて実際に特定された指とは互いを同一の指と判断し、当該追跡中の指が同一と判断された実際に特定された指の位置に移動したものとして、当該指の移動追跡を継続するものである請求項７９記載の表示方法。
　前記追跡情報は、複数回の前記指特定ステップにより特定された対応する前記追跡中の指の各位置情報を含むことが可能であり、
　前記次回位置推定ステップは、当該各位置情報に基づいて、対応する追跡中の指の前記次回位置を算出するものである請求項８０記載の表示方法。
　前記次回位置推定ステップは、前記追跡情報に、前回及び前々回の前記指特定ステップにより特定された対応する前記追跡中の指の各位置情報が含まれる場合には、それら双方の位置情報に基づいて、当該追跡中の指の前記次回位置を算出する一方で、前記追跡情報に、前回の前記指特定ステップにより特定された対応する前記追跡中の指の位置情報が含まれ、前々回の前記指特定ステップにより特定された対応する前記追跡中の指の位置情報が含まれていない場合には、前回の前記指特定ステップにより特定された際の前記位置情報と、当該位置情報が示す位置に近接する前記指特定可能範囲の縁部の位置とに基づいて、当該追跡中の指の前記次回位置を算出するものである請求項８１記載の表示方法。
　前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に実際に特定された指とは前記基準条件を満たさなかった前記追跡中の指がある場合には、当該追跡中の指を追跡不可の指として認識を切り替えるとともに、追跡不可と認識されたときの当該指に係る情報を追跡復帰判断情報として、予め定められた追跡復帰判断情報記憶部（１８ｄ）に記憶し、
　さらに前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指がある場合には、記憶されている前記追跡復帰判断情報に基づいて、実際に特定された当該指が過去に追跡不可と認識された指と同一であるか否かを判断し、同一であると判断された場合には、当該追跡復帰判断情報に対応する追跡不可とされていた指が、実際に特定された当該指の位置に再出現したと認識して、当該指の移動追跡を再開する一方で、同一ではないと判断された場合には、実際に特定された当該指が新規出現した指であると認識して、当該指の移動追跡を新たに開始するものである請求項８０ないし請求項８２のいずれか１項に記載の表示方法。
　前記追跡情報には、少なくとも前記指特定ステップにより特定された指の最新の位置情報が含まれており、前記追跡復帰判断情報にも、対応する指が追跡不可と認識される前の最後の位置情報が含まれている請求項８３記載の表示方法。
　前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されており、なおかつ前記追跡復帰判断情報記憶部に、複数の指の追跡復帰判断情報が記憶されている場合には、実際に特定された当該指の位置情報と、それら前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とに基づいて、実際に特定された当該指に最も近い位置を示す前記位置情報を含む前記追跡復帰判断情報に対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定するものである請求項８４記載の表示方法。
　前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されている場合に、実際に特定された当該指の位置情報と、前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とが示すそれぞれの位置間の距離が、予め定められた基準距離を下回る場合には、実際に特定された当該指と当該追跡復帰判断情報に対応する追跡不可とされている指とを同一と認識することを許可する一方で、前記基準距離を下回らない場合には、実際に特定された当該指と当該追跡復帰判断情報に対応する追跡不可とされている指とを同一と認識することを禁止するものである請求項８４又は請求項８５に記載の表示方法。
　前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に実際に特定された指とは前記基準条件を満たさなかった前記追跡中の指があり、当該追跡中の指が追跡不可と認識された場合には、追跡不可と認識されたときの当該指に係る情報と共に、他の追跡不可の指との追跡不可認識時期の前後関係が特定可能となる追跡不可認識順序を、追跡復帰判断情報として前記追跡復帰判断情報記憶部（１８ｄ）に記憶し、
　さらに前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に前記追跡中の指とは前記基準条件を満たさなかった、実際に特定された指が特定されており、なおかつ前記追跡復帰判断情報記憶部には、複数の指の追跡復帰判断情報が記憶されている場合には、実際に特定された当該指の位置情報と、それら前記追跡復帰判断情報に含まれる追跡不可の指の最後の位置情報とに基づいて、実際に特定された当該指に最も近い位置を示す前記位置情報を含む前記追跡復帰判断情報を特定するとともに、当該追跡復帰判断情報が１つ特定される場合には、当該追跡復帰判断情報に対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定する一方で、当該追跡復帰判断情報が２以上特定される場合には、それら追跡復帰判断情報に含まれる前記追跡不可認識順序を参照して、それら追跡復帰判断情報のうち前記追跡不可認識時期が最も新しいものに対応する追跡不可とされている指を、実際に特定された当該指と同一の指と判定するものである請求項８４ないし請求項８６のいずれか１項に記載の表示方法。
　前記追跡復帰判断情報は、対応する指が追跡不可と認識される際に、前記追跡情報記憶部に記憶されていた当該指の前記追跡情報である請求項８４ないし請求項８７のいずれか１項に記載の表示方法。
　前記指追跡ステップは、前記指特定ステップにより指が特定され、なおかつ特定された当該指が新規出現の指として認識した際には、当該新規の指に対し新たな識別情報を付与するとともに、当該識別情報に対応付けた形で、各指の前記追跡情報を前記追跡情報記憶部に記憶するものである請求項７９ないし請求項８８のいずれか１項に記載の表示方法。
　前記追跡情報には、少なくとも前記指特定ステップにより特定された指の最新の位置情報が含まれており、前記追跡復帰判断情報にも、対応する指が追跡不可と認識される前の最後の位置情報が含まれており、
　前記指追跡ステップは、前記識別情報が付与されている前記追跡中の指を追跡不可の指として認識した際には、当該指の前記識別情報に前記追跡復帰判断情報を対応付けた形で前記追跡復帰判断情報記憶部に記憶するものである請求項８８記載の表示方法。
　前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に、前記追跡情報記憶部に記憶された前記追跡情報と、さらには前記追跡復帰判断情報記憶部に記憶された前記追跡復帰判断情報とに基づいて、当該指特定ステップにより実際に特定された指が前記追跡中の指であるか否か、さらには追跡不可の指であるか否かを、前記識別情報が付された指ごとに判定し、その判定結果を追跡状況として前記識別情報に対応付けた形で、予め定められた追跡状況記憶部に記憶するものである請求項９０記載の表示方法。
　前記指追跡ステップは、前記指特定ステップによる前記指の特定がなされた際に、指が特定されなかった場合には、前記識別情報及び当該識別情報に対応付けて記憶される各種情報を消去し、初期化するものとできる請求項８９ないし請求項９１のいずれか１項に記載の表示方法。
　請求項５０ないし請求項９２のいずれか１項に記載の表示方法における各ステップを実現する部を備えてなることを特徴とする表示装置。
　請求項９３に記載の表示装置を備えるとともに、
　前記表示画面は、機器の操作などを行うための画面であり、前記遠隔操作面は、前記表示画面とは異なる位置に設けられ、当該表示画面における操作入力を遠隔的に行うための操作面であって、前記表示部と、前記遠隔操作部と、前記遠隔操作面への押圧操作に基づいて押圧操作位置に対応した入力を受け付ける入力受付部（１８）と、前記遠隔操作面に対向する手の画像を撮影する手画像撮影部（１２ｂ）と、当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像強調表示部（１８）と、を備えることを特徴とする操作入力装置。
　前記機器は車載搭載機器であり、前記表示画面は運転者よりも車両前方側にて該運転者により視認可能に配置され、前記遠隔操作面は、前記表示画面よりも運転者に近い位置に設けられている請求項９４記載の操作入力装置。