JP4645665B2 - 操作手投影システムおよび操作手投影システム用のプログラム - Google Patents

Description

本発明は、操作手投影システムおよび操作手投影システム用のプログラムに関するものである。

従来、ディスプレイの位置がユーザから遠いとき、ディスプレイ内の操作受付画像を操作するためのタッチパネルをユーザに近い位置に設け、ユーザがタッチパネルの接触面近傍に手を移動させると、カメラがその手を撮影し、撮影された手の映像を、ディスプレイがメニュー画像等に重畳して表示する技術が知られている（例えば、特許文献１、２参照）。

このようなシステムを用いることで、ユーザは、ディスプレイ上に投影された自分の手の動きを見ながら、ディスプレイ上のボタンを押すための指の位置を調整しつつ、タッチパネルを操作することができるので、あたかもディスプレイの画面を直接触って操作をしているかのような操作感覚をある程度実現することができる。
特開平１０−２６９０１２号公報 特開２０００−６６８７号公報

しかし、上記のような技術を用いる場合は、ユーザはタッチパネルを見ない場合が多いので、手を重畳して表示するのみでは、ユーザの指のどの辺りがタッチパネルに接触するかを前もって把握することが難しい。また、ユーザは、ディスプレイに表示されている指のうち、どれを用いて操作すればよいのか混乱してしまう可能性がある。

本発明は上記点に鑑み、ディスプレイから離れた位置に設けられたタッチパネルを用いてディスプレイ内の操作受付画像を操作する際に、タッチパネルの接触面の近傍に掲げられた手を撮影し、撮影された手の画像を当該操作受付画像に重畳表示させる操作手投影技術において、従来よりも、ユーザの指のどの辺りがタッチパネルに接触するかを前もって把握し易くし、かつ、ディスプレイに表示されている指のうちどれを用いてよいかを把握し易くすることを目的とする。

上記目的を達成するための請求項１に記載の発明は、ディスプレイ（１２）から離れた位置に設けられ、ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、カメラ（１４）によって撮影された手の映像を、操作受付画像に重畳させた状態で、ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムについてのものである。

この表示制御装置（２０）は、カメラ（１４）によって撮影された手の映像中の複数の指のうち１本を、マーカー付与対象指として選択し、ディスプレイ（１２）に重畳表示させる手の映像中の複数の指のうち、選択したマーカー付与対象指のみの指先部分に、マーカー（６３）を付与するようになっている。ここで、マーカーは、図形でもよいし、模様でもよい。

このように、重畳表示させる手の映像の指先部分にマーカー（６３）を表示させることで、ユーザは、指のどの辺りがタッチパネルに接触するかを、前もって容易に把握することができる。また、マーカー（６３）が付与される対象の指は、表示されている複数の指のうち一本のみであるので、ユーザは、ディスプレイ（１２）に表示されている指のうちどれを用いてよいかを容易に把握することができる。

また、表示制御装置（２０）は、手がタッチパネル（１３）中のカメラ（１４）の撮影範囲内に入った後にタッチパネル（１３）に最初に触れた指を、マーカー付与対象指として選択するようになっていてもよい。

ユーザがタッチパネル（１３）の使用時に最初に用いた指は、ユーザにとって最も操作し易い指である可能性が高い。したがって、このように、手がカメラ（１４）の撮影範囲内に入ってきたことに起因して、その後に最初にタッチパネル（１３）に触れた指をマーカー付与対象指とすることで、ユーザが違和感なく操作を続けることができる。

また、請求項２に記載のように、手の画像を重畳する対象の操作受付画像は、タッチパネル（１３）による指定に起因して操作受付画像の内容が変化する有効領域と、タッチパネル（１３）による指定に起因しては操作受付画像の内容が切り替わらない無効領域とを含むようになっていてもよい。

この場合、表示制御装置（２０）は、手が接触面中のカメラ（１４）の撮影範囲内に入った後に、タッチパネル（１３）の有効領域（４１〜４５）に対応する位置に最初に触れた指を、マーカー付与対象指として選択するようになっていてもよい。

指が無効領域に対応する位置に触れる場合というのは、ユーザが意図せず誤ってその位置に触ってしまった場合が少なくない。上記のような構成によれば、最初に有効領域に対応する位置に触れた指をマーカー付与対象指とするので、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

また、請求項３に記載のように、表示制御装置（２０）は、タッチパネル（１３）に基準回数（ただし複数）以上触れた指を、マーカー付与対象指として選択するようになっていてもよい。

タッチパネル（１３）に複数回以上触れた指は、ユーザが意図的に用いた指である可能性が高いので、そのような指をマーカー付与対象指として選択することで、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

また、請求項４に記載のように、表示制御装置（２０）は、操作受付画像中のマーカー付与専用の領域（４０）に対応するタッチパネル（１３）上の位置に触れた指を、マーカー付与対象指として選択するようになっていてもよい。

このように、あらかじめマーカー付与専用の領域（４０）を設けておき、そこを指定した指をマーカー付与対象指とすることで、ユーザが明確に意図した指をマーカー付与対象指とすることができる。したがって、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

さらにユーザは、マーカー付与対象指を決めるために、わざわざ操作受付画像の内容を切り替える作動を誘発させてしまうことがない。すなわち、マーカー付与対象指の決定のためだけの操作を行うことができる。

また、請求項５に記載のように、手の画像を重畳する対象の操作受付画像は、タッチパネル（１３）による指定に起因して操作受付画像の内容が変化する有効領域と、タッチパネル（１３）による指定に起因しては操作受付画像の内容が切り替わらない無効領域（５０）とを含むようになっていてもよい。

その場合、表示制御装置（２０）は、無効領域（５０）に対応する位置に第１の基準時間以上触れた続けた指を、マーカー付与対象指として選択するようになっていてもよい。無効領域（５０）を単に指定する操作は、上述のように、ユーザが意図的でなく誤って行った操作である可能性が高いが、無効領域（５０）を一定時間以上指定し続ける操作は、ユーザの何らかの意図に基づく操作である可能性が高い。したがって、このようにすることで、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

さらにユーザは、マーカー付与対象指を決めるために、わざわざ操作受付画像の内容を切り替える作動を誘発させてしまうことがない。すなわち、マーカー付与対象指の決定のためだけの操作を行うことができる。

また、請求項６に記載のように、操作手投影システムは、機械的に押下可能なハードキー（１５）を備えていてもよい。この場合、表示制御装置（２０）は、ハードキー（１５）が押下された後にタッチパネル（１３）に最初に触れた指を、マーカー付与対象指として選択するようになっていてもよい。

ユーザがハードキー（１５）を押下した後に最初に用いた指は、ユーザの何らかの意図に基づく操作である可能性が高い。したがって、このようにすることで、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

また、請求項７に記載のように、表示制御装置（２０）は、タッチパネル（１３）の所定領域上に第２の基準時間掲げられ続けた指を、マーカー付与対象指として選択するようになっていてもよい。このようにすることで、ユーザは、タッチパネル（１３）に触れる操作を行うまでもなく、マーカー付与対象指を決定することができる。したがってユーザは、マーカー付与対象指を決めるために、わざわざ操作受付画像の内容を切り替える作動を誘発させてしまうことがない。

また、請求項１０に記載のように、表示制御装置（２０）は、ユーザの操作に応じて、選択対象の指を１本とするか複数本とするかを切り替えるようになっていてもよい。

一本の指のみにマーカー（６３）が表示されるよりも、多数の指にマーカー（６３）を表示させる方を好む者もいる。したがって、このようになっていることで、ユーザの好みに応じて、マーカー（６３）を１つの指に表示させるか複数の指に表示させるかを柔軟に切り替えることができる。

また、請求項８に記載のように、表示制御装置（２０）は、カメラ（１４）によって撮影された手の形状の特徴、および、手の複数の指内のマーカー付与対象指の位置関係を、記録するようになっていてもよい。

この場合、表示制御装置（２０）は、手の映像中の当該複数の指がタッチパネル（１３）中のカメラ（１４）の撮影範囲内から出た後、複数の指がタッチパネル（１３）中のカメラ（１４）の撮影範囲内に入ってきた場合、記録された手の形状と、カメラ（１４）によって今回撮影された手の形状の特徴とが類似しているならば、記録されたマーカー付与対象指の位置関係に従って、新たなマーカー付与対象指を選択するようになっていてもよい。

このようにすることで、一端マーカー付与対象指が撮影範囲内から出てしまったとしても、同じ手について、再度マーカー付与対象指を設定し直す手間が省ける。

あるいは、請求項１１に記載の通り、表示制御装置（２０）は、手がタッチパネル（１３）中のカメラ（１４）の撮影範囲内から出たことに基づいて、マーカー付与対象指の選択を解除するようになっていてもよい。

手が撮影範囲から出るということは、次に撮影範囲内に入ってくる手が別人の手である可能性があるということである。したがって、手が撮影範囲から出ることに起因して、一度マーカー付与対象指の指定を解除することで、別の手にそれまでと同じ位置のマーカーを付与してしまう可能性をなくすことができる。

また、請求項９に記載のように、当該操作手投影システムは車両に搭載されていてもよい。更に当該操作手投影システムは、車両内の各座席の着座の有無を検出するシートセンサ（１６）を備えていてもよい。更に、表示制御装置（２０）は、カメラ（１４）によって撮影された手の形状の特徴、および、手の複数の指内のマーカー付与対象指の位置関係を記録するようになっていてもよい。

この場合、表示制御装置（２０）は、シートセンサ（１６）の検出結果に基づいて、車両に乗員が２人以上着座しているか１人のみ着座しているかを判定するようになっていてもよい。

そして表示制御装置（２０）は、手の映像中の複数の指が前記タッチパネル（１３）中のカメラ（１４）の撮影範囲内から出た後、複数の指がタッチパネル（１３）中のカメラ（１４）の撮影範囲内に入ってきたとき、車両に乗員が１人のみ着座している場合は、記録されたマーカー付与対象指の位置関係に従って、新たなマーカー付与対象指を選択してもよい。

更に表示制御装置（２０）は、手の映像中の複数の指がタッチパネル（１３）中のカメラ（１４）の撮影範囲内から出た後、複数の指がタッチパネル（１３）中のカメラ（１４）の撮影範囲内に入ってきたとき、車両に乗員が２人以上着座している場合は、記録されたマーカー付与対象指の位置関係の情報を削除するようになっていてもよい。

このようにするのは、車両内に人が複数着座している場合、一端撮影範囲から手が出て、再度手が入ってきても、その手は元の手と同じである可能性が非常に高いからである。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

（第１実施形態）
以下、本発明の第１実施形態について説明する。図１に、本実施形態に係る車両用ナビゲーション装置（操作手投影システムの一例に相当する）１の構成を示す。車両用ナビゲーション装置１は、位置検出器１１、ディスプレイ１２、タッチパネル１３、カメラ１４、ハードキー群１５、シートセンサ１６、スピーカ１７、ＤＢ（データベース）１８、および信号処理部２０を有している。

位置検出器１１は、いずれも周知の図示しない加速度センサ、地磁気センサ、ジャイロセンサ、車速センサ、およびＧＰＳ受信機等のセンサを有しており、これらセンサの各々の性質に基づいた、車両の現在位置、向き、および速度を特定するための情報を制御回路１７に出力する。

ディスプレイ１２は、制御回路１７から出力された映像信号に基づいた画像をユーザに表示する。表示画像としては、例えば、現在地を中心とする地図等、メニュー画像（操作受付画像の一例に相当する）、文字入力受付画像（操作受付画像の一例に相当する）等がある。ディスプレイ１２としては、車両のダッシュボード内に埋め込まれた液晶ディスプレイであってもよいし、車両のフロントガラスに画像を投影するヘッドアップディスプレイであってもよい。

タッチパネル１３は、車両のドライバが操作し易い位置に、ディスプレイ１２から離して設置されている。ディスプレイ１２からドライバまでの距離より、タッチパネル１３からドライバまでの距離の方が近い。例えば、タッチパネル１３は、ドライバ席の脇に設けられていてもよい。

また、タッチパネル１３は、タッチされた位置座標を信号処理部２０に送信するようになっている。なお、タッチパネル１３の接触面（すなわち、ユーザのタッチを検出する面）の各位置は、ディスプレイ１２の表示画面内の各位置に相似的に対応付けられている。すなわち、ディスプレイ１２の矩形の表示画面中の座標範囲が（０，０）―（Ｘ０，Ｙ０）となっており、タッチパネル１３の矩形の接触面中の座標範囲が（０，０）―（ｘ０，ｙ０）となっている場合、タッチパネル１３の接触面中の位置（ｘ，ｙ）がタッチされたということは、ディスプレイ１２の表示画面中の位置（ｘ・Ｘ０／ｘ０，ｙ・Ｙ０／ｙ０）が指定されたということになる。

カメラ１４は、タッチパネル１３の接触面の上方（すなわち、接触面から、接触面に垂直な方向に離れた位置）に、接触面を覆うように掲げられた手（図２の手３０参照）を撮影するための装置である。カメラ１４は、図３に例示するように、タッチパネル１３の接触面側の、手３０が掲げられる位置から見て上方（すなわち、タッチパネル１３から遠い側の位置）に配され、タッチパネル１３の接触面全面を撮影範囲とするようになっていてもよい。

あるいは、カメラ１４は、タッチパネル１３の接触面側の、手３０から見て下方（すなわち、手３０から見てタッチパネル１３側の位置）に設けられ、下側から手３０を撮影するようになっていてもよい。カメラ１４によって撮影された映像は、信号処理部２０に出力される。

ハードキー群１５は、タッチパネル１３の接触面の周辺等に設けられた機械的に押下可能な複数のハードキーを有しており、それらハードキーのいずれかの押下があると、押下されたキーに対応した信号を信号処理部２０に出力する。

シートセンサ１６は、車両内の各座席に取り付けられ、それぞれの座席に人が座っていることを検出した場合、その旨を信号処理部２０に出力する。

ＤＢ１８は、ＨＤＤ等の不揮発性の記憶媒体およびそれら記憶媒体に対してデータの読み出しおよび書き込みを行う装置から成る。当該記憶媒体は、制御回路１７が実行するプログラム、経路案内用の地図データ等を記憶している。

地図データは、道路データおよび施設データを有している。道路データは、リンクの位置情報、種別情報、ノードの位置情報、種別情報、および、ノードとリンクとの接続関係の情報等を含んでいる。施設データは、施設毎のレコードを複数有しており、各レコードは、対象とする施設の名称情報、所在位置情報、土地地番情報、施設種類情報等を示すデータを有している。

信号処理部（コンピュータに相当する）２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ等を有するマイコンである。ＣＰＵは、ＲＯＭまたはＤＢ１８から読み出した車両用ナビゲーション装置１の動作のためのプログラムを実行し、その実行の際にはＲＡＭ、ＲＯＭ、およびＤＢ１８から情報を読み出し、ＲＡＭおよびＤＢ１８の記憶媒体に対して情報の書き込みを行い、位置検出器１１、ディスプレイ１２、タッチパネル１３、カメラ１４、ハードキー群１５、シートセンサ１６、スピーカ１７と信号の授受を行う。

制御回路１７がプログラムを実行することによって行う具体的な処理としては、現在位置特定処理、地図表示処理、目的地入力受付処理、誘導経路算出処理、経路案内処理等がある。

現在位置特定処理は、位置検出器１１からの信号に基づいて、周知のマップマッチング等の技術を用いて車両の現在位置や向きを特定する処理である。地図表示処理は、車両の現在位置の周辺等の特定の領域の地図を、画像表示装置１２に表示させる処理である。この際、地図表示のために用いる情報は、地図データから取得する。

目的地入力受付処理は、ユーザのタッチパネル１３に対する操作に応じて目的地を決定する処理である。

誘導経路算出処理は、目的地入力受付処理によって受け付けた目的地までの最適な誘導経路を算出する処理である。

経路案内処理は、誘導経路上の右左折交差点等の案内ポイントの手前に自車両が到達したときに、右折、左折等を指示する案内音声をスピーカ１７に出力させ、当該案内ポイントの拡大図をディスプレイ１２に表示させることで、誘導経路に沿った車両の運転を案内する処理である。

なお、信号処理部２０は、上記の各処理において、操作受付画像をディスプレイ１２に表示させることで、ユーザの操作を促す。操作受付画像の例としては、例えば、地図表示処理中に表示を行う地図画像（操作受付画像の一例に相当する）がある。この地図画像には、例えば、縮尺の変更を受け付けるための縮尺変更ボタン、目的地を再設定するための再設定ボタン等の、所定の機能が割り当てられたボタンが表示されている。

ユーザが、これらボタンが表示されている領域（すなわち有効領域）をタッチパネル１３を用いて指定すると、信号処理部２０は、その指定された領域に対応する機能（例えば、縮尺変更、目的地入力受付処理開始等）を実行するために、画面表示内容（より具体的には操作受付画像の内容）を変化させる。例えば、縮尺変更の場合は、地図の表示縮尺を変更し、目的地入力受付処理を開始する場合は、目的地の入力方法を選択させるためのメニュー画面（操作受付画像の一例に相当する）を表示させる。

操作受付画像の表示時に信号処理部２０が実行する処理を機能別に分けると、図３に示すように、タッチ検出部２０ａ、操作メニュー制御部２０ｂ、手指領域抽出部２０ｃ、画像合成部２０ｄ、および指先マーカー付与部２０ｅに分けることができる。

タッチ検出部２０ａは、タッチパネル１３に対してユーザの手３０がタッチしたときに、当該タッチした位置（具体的にはタッチパネル１３の接触領域中の座標位置）を示すタッチ信号を、タッチパネル１３から取得し、取得した位置を、ディスプレイ１２の表示画面中の位置座標に変換し、その変換結果の入力座標信号を、操作メニュー制御部２０ｂおよび指先マーカー付与部２０ｅに渡す。

操作メニュー制御部２０ｂは、現在の操作受付画像を生成して画像合成部２０ｄおよびに渡す。また操作メニュー制御部２０ｂは、受けた入力座標信号に基づいて、当該操作受付画像中のユーザが指定した位置を特定し、その指定位置が有効領域である場合は、その有効領域に割り当てられた機能を実行するために、画像合成部２０ｄへ出力する表示用画像の内容を現在の操作受付画像から他の画像（別の操作受付画像でもよいし、操作受付が面ではない画像でもよい）に切り替え、その指定位置が有効領域以外の領域（すなわち、ソフト上、ボタンに設定されていない無効領域）である場合は、画像合成部２０ｄに出力する表示用画像の内容を現在のままに維持する。

手指領域抽出部２０ｃは、カメラ１４が撮影した画像を取得し、その取得した画像中の手３０の領域を抽出し、抽出した領域に対応するディスプレイ１２の表示画面中の領域（以下、手指領域という）を特定し、当該手指領域の上方を画像合成部２０ｄおよび指先マーカー付与部２０ｅに渡す。カメラ１４が撮影した画像から手指領域を抽出する方法としては、例えば、特許文献１、２に記載の方法を用いる。

画像合成部２０ｄは、手指領域抽出部２０ｃから受けた手指領域を示す手指画像３１〜３４を生成し、操作メニュー制御部２０ｂから受けた操作受付画像等の表示用画像１２ａに対し、当該手指画像３１〜３４を重畳し、その重畳結果の画像をディスプレイ１２に表示させる。なお、手指画像３１〜３４の重畳は、透過的な重畳である。したがって、ディスプレイ１２においては、手指画像が重ねられた領域内においても、操作メニュー制御部２０ｂから受けた表示用画像が、手指画像を透過して見えるようになっている。

また、画像合成部２０ｄは、指先マーカー付与部２０ｅから指先マーカーの位置情報を受けている場合は、その位置情報に対応する表示画面中の位置に、十字の指先マーカー６３を表示させる。

指先マーカー付与部２０ｅは、手指領域抽出部２０ｃから受けた手指画像３１〜３４に基づいて、当該手指画像中の指先部分を特定し、特定した指先のうち１つ（または全部）を選択し、選択した指先の位置を、指先マーカーの位置情報として、画像合成部２０ｄに渡す。

以下、この指先マーカー付与部２０ｅの詳細について説明する。指先マーカー付与部２０ｅの機能を実現するために、信号処理部２０は、図４に示すプログラム１００を実行する。

このプログラム１００の実行において信号処理部２０は、まずステップ１１０で、カメラ１４の撮影するカメラ画像内に物体（具体的にはユーザの手）が進入するまで待ち、進入してきた場合は直ちにステップ１２０を実行する。ここで、カメラ画像内に物体が進入したか否かは、手指領域抽出部２０ｃが手指画像を抽出したか否かで判定する。

ステップ１２０では、タッチパネル１３に対するタッチ操作（すなわち、タッチパネル１３の接触面に触れる操作）があるまで待ち、タッチ操作があった場合続いてステップ１３０を直ちに実行する。タッチ操作があったか否かは、タッチ検出部２０ａからの入力座標信号の有無に基づいて判定する。

ステップ１３０では、タッチ検出部２０ａからの入力座標信号に基づいて、タッチによって指定された表示画面中の指定位置を特定する。

続いてステップ１４０では、直前に特定した指定位置に基づいて、タッチを行った指を特定する。具体的には、手指領域抽出部２０ｃから取得した手指画像に基づいて、各指の指先位置を特定する。そして、特定した指先位置のうち、最も指定位置に近い指先位置のみを、マーカー付与対象指の指先として特定する。

ここで、手指画像に基づいて、指先位置を特定する方法について説明する。まず、手指画像を、手前方向に移動させる。手前方向とは、ユーザがタッチパネル１３に掲げた手を引き戻すときの方向に対応する方向をいう。この手前方向は、あらかじめ定められている。例えば、ディスプレイ１２の表示画面の下方向が手前方向であってもよい。

そして、移動前の手指画像と移動後の手指画像との差分を取る。すなわち、移動前の手指画像と移動後の手指画像とで、重なっていない部分を特定する。その部分は、通常の場合、指の先端の円弧部分になる。

そしてこれら円弧部分のそれぞれについて、当該円弧の重心部分を、指先位置とする。あるいは、当該円弧の重心から、手前方向に所定距離ずらした位置を指先位置とするようになっていてもよい。

続いてステップ１５０では、マーカー付与対象指の指先の位置座標を、指先マーカーの位置情報として、画像合成部２０ｄに出力し始める。これによって、画像合成部２０ｄは、ディスプレイ１２を制御して、当該位置に指先マーカー６３を重畳表示させる。

続いてステップ１６０では、当該指先の移動に伴って指先マーカー６３の表示位置を追従させる。具体的には、カメラ１４が撮影を行う度に（例えば、１秒に３０回）、当該撮影画像中の指先を、上述のステップ１４０と同様に特定し、それら指先のうち、前回の撮影画像中のマーカー付与対象指の指先位置に最も近い指先の位置を、指先マーカーの位置情報として、画像合成部２０ｄに渡す。これによって、画像合成部２０ｄは、ディスプレイ１２を制御して、マーカー付与対象指の移動に追従するように指先マーカー６３を移動させることができる。

ステップ１６０の処理は、手指画像３１〜３４がカメラ１４の撮影範囲内から出るまで、すなわち、手指領域抽出部２０ｃが手指領域を検出しなくなるまで実行される。そして、手指画像３１〜３４がカメラ１４の撮影範囲内から出た場合、信号処理部２０は、指先マーカーの位置情報を画像合成部２０ｄに出力することを止める。これによって、ディスプレイ１２は、指先マーカー６３の表示を終了する。

以上のように、信号処理部２０は、カメラ１４によって撮影された手の映像中の複数の手指画像３１〜３４のうち１本を、マーカー付与対象指として選択し（ステップ１４０参照）、ディスプレイ１２に重畳表示させる手の映像中の複数の手指画像３１〜３４のうち、選択したマーカー付与対象指３２のみの指先部分に、指先マーカー６３を付与する（ステップ１５０、１６０参照）。

このように、重畳表示させる手の映像の指先部分に指先マーカー６３を表示させることで、ユーザは、指のどの辺りがタッチパネルに接触するかを、前もって容易に把握することができる。また、指先マーカー６３が付与される対象の指は、表示されている複数の指のうち一本のみであるので、ユーザは、ディスプレイ１２に表示されている指のうちどれを用いてよいかを容易に把握することができる。

また、信号処理部２０は、手がタッチパネル１３の接触面中のカメラ１４の撮影範囲内に入った後に（ステップ１１０参照）タッチパネル１３に最初に触れた指（ステップ１２０参照）を、マーカー付与対象指として選択する。

ユーザがタッチパネル１３の使用時に最初に用いた指は、ユーザにとって最も操作し易い指である可能性が高い。したがって、このように、手がカメラ１４の撮影範囲内に入ってきたことに起因して、その後に最初にタッチパネル１３に触れた指をマーカー付与対象指とすることで、ユーザが違和感なく操作を続けることができる。

なお、信号処理部２０は、ステップ１２０では、図５に示すように、操作受付画面中のボタン４１〜４５のいずれかがタッチされたか、それとも、いずれもタッチされなかったかを判定するようになっていてもよい。この場合、信号処理部２０は、手５１〜５４がタッチパネル１３の接触面中のカメラ１４の撮影範囲内に入った後に、タッチパネル１３の有効領域４１〜４５に対応する位置に最初に触れた指を、マーカー付与対象指として選択することになる。

指５１〜５４が無効領域に対応する位置に触れる場合というのは、ユーザが意図せず誤ってその位置に触ってしまった場合が少なくない。上記のような構成によれば、最初に有効領域に対応する位置に触れた指５３をマーカー付与対象指とするので、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態が第１実施形態と異なるのは、信号処理部２０が、指先マーカー付与部２０ｅの機能のために、図４のプログラム１００に代えて、図６のプログラム２００を実行することである。なお、図６のステップ２１０、２２０、２３０、２４０、２６０、２７０の処理内容は、それぞれ図４のステップ１１０、１２０、１３０、１４０、１５０、１６０と同じであるので、それらの説明については省略する。

以下、本実施形態が第１実施形態と異なる部分を中心に説明する。信号処理部２０は、ステップ２４０に続くステップ２５０で、同じ指で基準回数Ｎ回（ただしＮは２以上）以上有効タッチがあったか否かを判定する。具体的には、ステップ２１０で肯定判定があって以降、ステップ２４０でタッチした指として特定された回数を、指毎にカウントする。そして、直前のステップ２４０でタッチがしたと判定された指についてのカウント数が、基準回数Ｎ以上であるか否かを判定し、Ｎ回以上であれば続いてステップ２６０を実行し、Ｎ回未満であれば再度ステップ２２０でタッチを待つ。

このようになっていることで、信号処理部２０は、手がタッチパネル１３中のカメラ１４の撮影範囲内に入って以降最初に基準回数Ｎ回以上触れた指を、マーカー付与対象指として選択する。

なお、ステップ２５０では、ステップ２１０で肯定判定があって以降、ステップ２４０でタッチした指として連続的に特定された回数を、指毎にカウントするようになっていてもよい。この場合、ある指でタッチした後、別の指でタッチすると、最初の指のカウント数はゼロにリセットされる。

このようになっていることで、信号処理部２０は、手がタッチパネル１３中のカメラ１４の撮影範囲内に入って以降最初に基準回数Ｎ回以上連続して触れた指を、マーカー付与対象指として選択する。

タッチパネル１３に最初に複数回以上（連続的または離散的に）触れた指は、ユーザが意図的に用いた指である可能性が高いので、そのような指をマーカー付与対象指として選択することで、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態が第１実施形態と異なるのは、信号処理部２０が、指先マーカー付与部２０ｅの機能のために、図４のプログラム１００に代えて、図７のプログラム３００を実行すること、および、操作メニュー制御部２０ｂが画像合成部２０ｄに出力する操作受付画像は、有効領域に加えて、図８に示すように、マーカーボタン４０を有していることである。このマーカーボタン４０は、マーカー付与専用の領域である。なお、このマーカーボタン４０の領域は無効領域である。すなわち、ユーザがタッチパネル１３を操作してマーカーボタン４０を指定したとしても、その指定に起因しては、操作受付画像の表示内容が変化することがない。

なお、図７のステップ３１０、３２０、３３０、３５０、３６０、３７０の処理内容は、それぞれ図４のステップ１１０、１２０、１３０、１４０、１５０、１６０と同じであるので、それらの説明については省略する。

以下、本実施形態が第１実施形態と異なる部分を中心に説明する。信号処理部２０は、ステップ３３０に続くステップ３４０で、タッチによる指定位置がマーカーボタン４０の範囲内であるか否かを判定し、範囲内である場合は続いてステップ３５０を実行し、範囲内でない場合は再度ステップ３２０を実行する。

このように、信号処理部２０は、操作受付画像中のマーカー付与専用の領域４０に対応するタッチパネル１３上の位置に触れた指（ステップ３４０参照）を、マーカー付与対象指として選択する。

このように、あらかじめマーカー付与専用の領域４０を設けておき、そこを指定した指をマーカー付与対象指とすることで、ユーザが明確に意図した指をマーカー付与対象指とすることができる。したがって、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

さらにユーザは、マーカー付与対象指を決めるために、わざわざ操作受付画像の内容を切り替える作動を誘発させてしまうことがない。すなわち、マーカー付与対象指の決定のためだけの操作を行うことができる。

（第４実施形態）
次に、本発明の第４実施形態について説明する。本実施形態が第１実施形態と異なるのは、信号処理部２０が、指先マーカー付与部２０ｅの機能のために、図４のプログラム１００に代えて、図９のプログラム４００を実行することである。なお、図９のステップ４１０、４２０、４３０、４５０、４６０、４７０の処理内容は、それぞれ図４のステップ１１０、１２０、１３０、１４０、１５０、１６０と同じであるので、それらの説明については省略する。

信号処理部２０は、ステップ４３０に続いては、ステップ４３５で、タッチによる指定位置が無効領域であるか否かを判定し、無効領域であれば続いてステップ４４０を実行し、無効領域でなければ再度ステップ４２０を実行する。第１実施形態でも説明した通り、無効領域とは、図１０に示す通り、操作受付画面中の、有効ボタン４１〜４５以外の領域５０である。

さらにステップ４４０では、ステップ４３０で取得した指定位置のタッチが終了するか、あるいはそのタッチが第１の基準時間（例えば３秒）続くまで待ち、第１の基準時間続く前にタッチが終了した場合は再度ステップ４２０を実行し、タッチが第１の基準時間続いた場合は続いてステップ４５０を実行する。

このように、信号処理部２０は、無効領域に対応する位置（ステップ４３５参照）に第１の基準時間以上触れた続けた指（すなわち、無効領域を長押しした指）を（ステップ４４０参照）、マーカー付与対象指として選択する。

無効領域を単に指定する操作は、上述のように、ユーザが意図的でなく誤って行った操作である可能性が高いが、無効領域を一定時間以上指定し続ける操作は、ユーザの何らかの意図に基づく操作である可能性が高い。したがって、このようにすることで、ユーザが意図せず誤って指をタッチパネルに触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

さらにユーザは、マーカー付与対象指を決めるために、わざわざ操作受付画像の内容を切り替える作動を誘発させてしまうことがない。すなわち、マーカー付与対象指の決定のためだけの操作を行うことができる。

（第５実施形態）
次に、本発明の第５実施形態について説明する。本実施形態が第１実施形態と異なるのは、信号処理部２０が、指先マーカー付与部２０ｅの機能のために、図４のプログラム１００に代えて、図１１のプログラム５００を実行することである。なお、図１１のステップ５２０、５３０、５４０、５５０、５６０の処理内容は、それぞれ図４のステップ１２０、１３０、１４０、１５０、１６０と同じであるので、それらの説明については省略する。

プログラム５００の実行において信号処理部２０は、まずステップ５１０で、ハードキー群１５のうち１つの押下があるまで待ち、あると直ちにステップ５２０以降を実行する。なお、図１２に示すように、ハードキー群１５のそれぞれ１５ａ〜１５ｆは、タッチパネル１３の接触面の近傍に複数設けられている。このようになっていることで、ユーザは容易にハードキー群１５の１つに触れることができる。

このように、信号処理部２０は、ハードキー１５ａ〜１５ｆが押下された後にタッチパネル１３に最初に触れた指を、マーカー付与対象指として選択する。

ユーザがハードキー１５ａ〜ｆを押下した後に最初に用いた指は、ユーザの何らかの意図に基づく操作である可能性が高い。したがって、このようにすることで、ユーザが意図せず誤って指をタッチパネル１３に触れさせてしまったにもかかわらず、その指をマーカー付与対象指としてしまう可能性が低減される。

（第６実施形態）
次に、本発明の第６実施形態について説明する。本実施形態が第１実施形態と異なるのは、信号処理部２０が、指先マーカー付与部２０ｅの機能のために、図４のプログラム１００に代えて、図１３のプログラム６００を実行することである。なお、図１３のステップ６１０、６４０の処理内容は、それぞれ図４のステップ１１０、１６０と同じであるので、それらの説明については省略する。

信号処理部２０は、ステップ６１０に続くステップ６１５で、図４のステップ１４０において用いた方法で、手指画像中の指先位置を特定し、それら指先位置のうち１つが、非押下取得領域内に入るまで待ち、入れば続いてステップ６２０を実行する。図１４に、操作受付画面中の非押下取得領域７１の一例を示す。

ステップ６２０では、非押下取得領域７１内の指先が非押下取得領域７１から出るか、あるいは当該指先が非押下取得領域７１内に留まったまま第２の所定時間（例えば５秒）経過するまで待つ。

第２の所定時間の経過前に当該指先が非押下取得領域７１から出た場合は再度ステップ６１５を実行し、当該指先が非押下取得領域７１内に留まったまま第２の所定時間経過した場合は続いてステップ６３０を実行する。

なお、ステップ６１５、６２０の判定において、非押下取得領域７１がユーザのタッチ操作によって指定されたか否かは、判定結果に影響しないようになっていてもよいし、あるいは、非押下取得領域７１がタッチ操作によって指定された場合は、否定判定となるようになっていてもよい。

ステップ６３０では、特定した指先のうち、非押下取得領域７１内の指先の位置を、指先マーカーの位置情報として、画像合成部２０ｄに渡し、その後ステップ６４０を実行する。

以上のように、信号処理部２０は、タッチパネル１３の所定領域（すなわち、ディスプレイ１２の表示画面中の非押下取得領域７１に対応する領域）上に第２の基準時間掲げられ続けた指を、マーカー付与対象指として選択する。

このようにすることで、ユーザは、タッチパネル１３に触れる作業を行うまでもなくマーカー付与対象指を決定することができる。したがってユーザは、マーカー付与対象指を決めるために、わざわざ操作受付画像の内容を切り替える作動を誘発させてしまうことがない。

（第７実施形態）
次に、本発明の第７実施形態について説明する。本実施形態が第１実施形態と異なるのは、信号処理部２０が、指先マーカー付与部２０ｅの機能のために、図４のプログラム１００に代えて、図１５のプログラム７００を実行することである。なお、図１５のステップ７１０、７２０、７３０、７４０、７５０、７６０の処理内容は、それぞれ図４のステップ１１０、１２０、１３０、１４０、１５０、１６０と同じであるので、それらの説明については省略する。

信号処理部２０は、ステップ７５０に続くステップ７５５では、手指領域抽出部２０ｃから受けた手指画像の形状の特徴情報をＤＢ１８に記録する。記録する情報としては、例えば、各指間の幅の比率、各指間の長さの比率、および各指の輪郭形状を、各指の全指中の配置と関連付けた情報がある。例えば図５の例では、最も右側の指５１、右から２番目の指５２、右から３番目の指５３、右から４番目の指５４のそれぞれに、指５４（基準指に相当する）の長さおよび幅を基準とした長さの比および幅の比を記録する。

なお、手指画像中の指を区別する方法としては、手指画像が繋がっていない場合（すなわち、手のひらが撮影範囲に入っていない場合）は、手指画像中の分離した各部分を、それぞれ１つの指として特定する。

また信号処理部２０は、ステップ７６０における指先マーカーの追従処理を、ステップ７６５で当該手指画像が撮影範囲内から外れると判定するまで繰り返し、外れると、続いてステップ７７０で、指先マーカーの位置情報を画像合成部２０ｄに渡すことを止める。これによって、ディスプレイ１２には、指先マーカーが表示されなくなる。

そして信号処理部２０は、ステップ７１０の処理と同様、ステップ７７５で、複数の指を含む手が再度撮影範囲内に入るまで待ち、入ると、続いてステップ７８０で、新しく入った手の手指画像の形状の特徴と、ステップ７５５で記録した手指画像の形状の特徴とを比較し、２つの手指画像が同じ手についての画像であると言える程度に、特徴が類似しているか否かを判定し、類似していれば続いてステップ７８５を実行し、類似していなければステップ７８０で現在記録している手指画像の形状の特徴を消去して、再度ステップ７２０を実行する。

なお、類似であるか否かの判断基準としては、例えば、基準指に対する各指の寸法の比率の誤差の絶対値の和が所定値以下である、という基準を採用してもよい。

カメラ１４から手までの距離は、手を掲げる位置に応じて変化するので、撮影画像中の指の絶対的な長さおよび太さの情報に比べ、複数の指間の寸法の比率の情報の方が、同じ手を同定するための情報としては適している。

ステップ７８５では、今回撮影範囲に入った複数の指から、マーカー付与対象指を選択する。具体的には、今回撮影範囲に入った複数の指中のマーカー付与対象指の位置、前回のマーカー付与対象指の前回撮影範囲に入った指中の位置が、同じになるように選択する。続いてステップ７９０では、ステップ７８５で選択した指の指先位置を、指先マーカーの位置情報として、画像合成部２０ｄに渡す。

以上のように、信号処理部２０は、カメラ１４によって撮影された手の形状の特徴、および、手の複数の指内のマーカー付与対象指の位置関係を、記録するようになっている（ステップ７５５参照）。

さらに信号処理部２０は、手指画像がタッチパネル１３中のカメラ１４の撮影範囲内から出た後（ステップ７６５参照）、指先マーカーを一旦消去し（ステップ７７０参照）、その後、複数の指がタッチパネル１３中のカメラ１４の撮影範囲内に入ってきた場合（ステップ７７５参照）、記録された手の形状と、カメラ１４によって今回撮影された手の形状の特徴とが類似しているならば（ステップ７８０）、記録されたマーカー付与対象指の位置関係に従って、新たなマーカー付与対象指を選択する（ステップ７８５、７９０参照）。

このようにすることで、一端マーカー付与対象指が撮影範囲内から出てしまったとしても、同じ手を撮影範囲内に戻すと、それまでと同じ指の指先に指先マーカーが付与されるので、同じ手について、再度マーカー付与対象指を設定し直す手間が省ける。

（第８実施形態）
次に、本発明の第８実施形態について説明する。本実施形態が上記各実施形態と異なるのは、信号処理部２０が、マーカー付与対象指として、手指画像中の複数の指のうち１本のみを選択する場合と、手指画像中の複数の指のすべてを選択する場合とがあることである。

この作動のために、操作メニュー制御部２０ｂは、操作受付画像として、図１６に示すような、複数指ボタン７２と、単独指ボタン７３とを含むようになっている。なお、これらのボタン７２、７３は、有効領域の一部であってもよいし、無効領域の一部であってもよい。

操作メニュー制御部２０ｂがこのような操作受付画像を画像合成部２０ｄに出力している場合に、指先マーカー付与部２０ｅは、タッチ検出部２０ａから複数指ボタン７２の範囲内にタッチがあった旨の信号を受けると、複数指モードに入る。

複数指モードでは、手指画像５１〜５４のうち複数（例えば全部）の指先位置の情報を、指先マーカーの位置情報として、画像合成部２０ｄに渡す。このようにすることで、ディスプレイ１２は、図１７に示すように、すべての指の指先に指先マーカー６１〜６４を表示させる。

また、指先マーカー付与部２０ｅは、タッチ検出部２０ａから単独指ボタン７３の範囲内にタッチがあった旨の信号を受けると、単独指モードに入る。単独指モードでは、手指画像５１〜５４中の指のうち１つを、第１〜第７実施形態のような方法で選択し、その選択したマーカー付与対象指の位置情報を、指先マーカーの位置情報として、画像合成部２０ｄに渡す。このようにすることで、ディスプレイ１２は、マーカー付与対象指のみの指先に指先マーカーを表示させる。

このように、信号処理部２０は、ユーザの操作に応じて、選択対象の指を１本とするか複数本とするかを切り替えるようになっている。一本の指のみに指先マーカーが表示されるよりも、多数の指に指先マーカーを表示させる方を好む者もいる。したがって、このようになっていることで、ユーザの好みに応じて、指先マーカーを１つの指に表示させるか複数の指に表示させるかを柔軟に切り替えることができる。

なお、信号処理部２０は、単独指モードにおいて、指先マーカーが現在付与されていない指によって所定の複数回連続してタッチパネル１３へのタッチがあった場合、単独指モードを維持して当該タッチのあった指に指先マーカーを切り替えるか、あるいは、複数指モードに入るかをユーザに問い合わせるダイアログ（操作受付画像の一例に相当する）をディスプレイ１２に表示させ、その問い合わせに対するタッチパネル１３を用いたユーザの回答に応じて、単独指モードでマーカー付与対象指を変化させるか、あるいは、複数指モードで元のマーカー付与対象指および今回タッチのあった指の両方をマーカー付与対象指としてもよい。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。

例えば、第７実施形態においては、図１５のプログラム７００の実行において、信号処理部２０は、ステップ７６５で手が撮影範囲内から出たと判定した場合、続いてステップ７７０で、ステップ７５５における記憶内容を消去するようになっていてもよい。すなわち、信号処理部２０は、手がタッチパネル１３中のカメラ１４の撮影範囲内から出たことに基づいて、マーカー付与対象指の選択を解除するようになっていてもよい。なお、ステップ７５５の記憶内容を消去した場合は、ステップ７８０では、無条件でステップ７２０に進むようになっていてもよい。

手が撮影範囲から出るということは、次に撮影範囲内に入ってくる手が別人の手である可能性があるということである。したがって、手が撮影範囲から出ることに起因して、一度マーカー付与対象指の指定を解除することで、別の手にそれまでと同じ位置のマーカーを付与してしまう可能性をなくすことができる。

また例えば、第７実施形態においては、信号処理部２０は、図１５のステップ７６５で、手指画像が撮影範囲内から外れるか否かを判定している。しかし、ステップ７６５では、指の部分が撮影範囲内から外れるか否かを判定するようになっていてもよい。その場合、ステップ７８０では、指が撮影範囲外に出てから指が再度入ってくるまでの間に、撮影範囲内に手のひらの部分が残ったままであったなら、ステップ７８５を実行し、そうでなければ、ステップ７９５を実行するようになっていてもよい。このようにするのは、手のひらが残ったままの場合は、撮影範囲から出た指と撮影範囲内に再度入った指が同じである可能性が非常に高いからである。

また例えば、信号処理部２０は、ステップ７８０で、ステップ７６５で指が撮影範囲外に出た方向と、ステップ７７５で指が撮影範囲内に入ってきた方向とを比較し、それらの方向の角度差が基準角度（例えば９０°）以上でれば、続いてステップ７９５を実行し、基準角度未満であれば、続いてステップ７８５を実行するようになっていてもよい。すなわち、手が出て行った方向から、再度進入したことを判断できたときのみ、元と同じ指をマーカー付与対象指とするようになっていてもよい。これは、指が出て行った方向とは反対側から指が入ってきた場合は、最初の指がドライバの指であり、後の指が助手席の乗員の指である可能性が高いからである。

また例えば、信号処理部２０は、ステップ７８０で、シートセンサ１６の信号に基づいて、車両に乗員が２人以上着座しているか、あるいは、人のみ着座しているかを判定するようになっていてもよい。そしてその場合、２人以上着座している場合は、続いてステップ７９５を実行し、車両に乗員が１人しか着座していない場合には、ステップ７８５を実行するようになっていてもよい。すなわち、シートセンサ１６からの情報に基づいて、乗員が一人と判断できる場合は、当該乗員が降車するまで、同じ指をマーカー付与対象指とし続ける。

このようにするのは、車両内に人が一人だけ着座している場合、一端撮影範囲から手が出て、再度手が入ってきても、その手は元の手と同じである可能性が非常に高いからである。

この場合、信号処理部２０は、手の映像中の当該複数の指がタッチパネル１３中のカメラ１４の撮影範囲内から出た後、複数の指がタッチパネル１３中のカメラ１４の撮影範囲内に入ってきた場合、記録された手の形状と、カメラ１４によって今回撮影された手の形状の特徴とが同じならば、記録されたマーカー付与対象指の位置関係に従って、新たなマーカー付与対象指を選択するようになっていてもよい。

このようにすることで、一端マーカー付与対象指が撮影範囲内から出てしまったとしても、同じ手について、再度マーカー付与対象指を設定し直す必要がなくなる。

また、手指画像の形状の特徴情報等の、更新が必要なデータは、ＤＢ１８の記憶媒体に限らず、他の、車両用ナビゲーション装置１の主電源の供給が停止してもデータを保持し続けることができる記憶媒体（例えばフラッシュメモリ、ＥＥＰＲＯＭ、バックアップＲＡＭ）に記憶されるようになっていてもよい。その場合、ＤＢ１８の記憶媒体は、ＨＤＤ等の書き込み可能な記憶媒体である必要はなく、ＤＶＤ、ＣＤ−ＲＯＭ等の書き込み不可能な記憶媒体であってもよい。

また、上記の実施形態において、信号処理部２０がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。

また、上記実施形態においては、操作手投影システムの一例として、車両用ナビゲーション装置１が例示されているが、操作手投影システムは、ナビゲーション機能を必ずしも有する必要はない。また、操作手投影システムは、必ずしも車両に搭載されなくてもよい。すなわち、操作手投影システムは、本発明の特許請求の範囲の構成要件を有していれば足りる。

本発明の実施形態に係る車両用ナビゲーション装置１の構成図である。 タッチパネル１３上に手３０が掲げられた状態を示す模式図である。 操作受付画像の表示時に信号処理部２０が実行する機能の構成を示すブロック図である。 第１実施形態において信号処理部２０が指先マーカー付与部２０ｅのために実行するプログラム１００のフローチャートである。 操作受付画像中の有効ボタン４１〜４５を示す図である。 第２実施形態において信号処理部２０が指先マーカー付与部２０ｅのために実行するプログラム２００のフローチャートである。 第３実施形態において信号処理部２０が指先マーカー付与部２０ｅのために実行するプログラム３００のフローチャートである。 操作受付画像中のマーカーボタン４０を示す図である。 第４実施形態において信号処理部２０が指先マーカー付与部２０ｅのために実行するプログラム４００のフローチャートである。 操作受付画像中の無効領域５０を示す図である。 第５実施形態において信号処理部２０が指先マーカー付与部２０ｅのために実行するプログラム５００のフローチャートである。 ハードキー１５ａ〜ｆの配置を例示する図である。 第６実施形態において信号処理部２０が指先マーカー付与部２０ｅのために実行するプログラム６００のフローチャートである。 操作受付画像中の非押下取得領域７１の一例を示す図である。 第７実施形態において信号処理部２０が指先マーカー付与部２０ｅのために実行するプログラム７００のフローチャートである。 複数指ボタン７２および単独指ボタン７３を含む操作受付画像の一例を示す図である。 すべての指に指先マーカー６１〜６４が付与されている場合を示す図である。

符号の説明

１ 車両用ナビゲーション装置
１２ ディスプレイ
１３ タッチパネル
１４ カメラ
１５ ハードキー群
１６ シートセンサ
２０ａ タッチ検出部
２０ｂ 操作メニュー制御部
２０ｃ 手指領域抽出部
２０ｄ 画像合成部
２０ｅ 指先マーカー付与部
３１〜３４ 手指画像
４０ マーカーボタン
４１〜４９ 有効ボタン
５０ 押下無効領域
５１〜５４ 手指画像
６１〜６４ 指先マーカー
７１ 非押下取得領域
７２ 複数指ボタン
７３ 単独指ボタン

Claims (11)

1. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、を有し、
   前記選択手段は、前記手が前記タッチパネル（１３）中の前記カメラ（１４）の撮影範囲内に入った後に前記タッチパネル（１３）に最初に触れた指を、前記マーカー付与対象指として選択することを特徴とする操作手投影システム。
2. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、を有し、
   前記操作受付画像は、前記タッチパネル（１３）による指定に起因して操作受付画像の内容が変化する有効領域と、前記タッチパネル（１３）による指定に起因しては操作受付画像の内容が切り替わらない無効領域とを含み、
   前記選択手段は、前記手が前記接触面中の前記カメラ（１４）の撮影範囲内に入った後に、前記タッチパネル（１３）の前記有効領域（４１〜４５）に対応する位置に最初に触れた指を、前記マーカー付与対象指として選択することを特徴とする操作手投影システム。
3. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、を有し、
   前記選択手段は、前記タッチパネル（１３）に複数の基準回数以上触れた指を、前記マーカー付与対象指として選択することを特徴とする操作手投影システム。
4. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、を有し、
   前記選択手段は、前記操作受付画像中のマーカー付与専用の領域（４０）に対応する前記タッチパネル（１３）上の位置に触れた指を、前記マーカー付与対象指として選択することを特徴とする操作手投影システム。
5. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、を有し、
   前記操作受付画像は、前記タッチパネルによる指定に起因して操作受付画像の内容が変化する有効領域と、前記タッチパネルによる指定に起因しては操作受付画像の内容が切り替わらない無効領域（５０）とを含み、
   前記選択手段は、前記無効領域（５０）に対応するタッチパネル（１３）上の位置に第１の基準時間以上触れた続けた指を、前記マーカー付与対象指として選択することを特徴とする操作手投影システム。
6. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、
   機械的に押下可能なハードキー（１５）と、を備え、
   前記選択手段は、前記ハードキー（１５）が押下された後に前記タッチパネル（１３）に最初に触れた指を、前記マーカー付与対象指として選択することを特徴とする操作手投影システム。
7. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、を有し、
   前記選択手段は、前記タッチパネル（１３）の所定領域上に第２の基準時間掲げられ続けた指を、前記マーカー付与対象指として選択することを特徴とする操作手投影システム。
8. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、を有し、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の形状の特徴、および、前記手の複数の指内の前記マーカー付与対象指の位置関係を、記録する記録手段（７５５）を備え、
   前記選択手段は、前記手の映像中の前記複数の指が前記タッチパネル（１３）中の前記カメラ（１４）の撮影範囲内から出た後、複数の指が前記タッチパネル（１３）中の前記カメラ（１４）の撮影範囲内に入ってきた場合、記録された前記手の形状と、前記カメラ（１４）によって今回撮影された手の形状の特徴とが類似しているならば、記録された前記マーカー付与対象指の位置関係に従って、新たなマーカー付与対象指を選択することを特徴とする操作手投影システム。
9. ディスプレイ（１２）から離れた位置に設けられ、前記ディスプレイ（１２）の表示画面中の位置指定を受け付けるためのタッチパネル（１３）と、
   前記タッチパネル（１３）の接触面の近傍に掲げられた手を撮影するカメラ（１４）と、
   前記カメラ（１４）によって撮影された前記手の映像を、操作受付画像に重畳させた状態で、前記ディスプレイ（１２）に表示させる表示制御装置（２０）と、を備えた操作手投影システムであって、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の映像中の複数の指のうち１本を、マーカー付与対象指として選択する選択手段（１４０、２４０、３５０、４５０、５４０、６２０、７４０、７８５）と、
   前記ディスプレイ（１２）に重畳表示させる前記手の映像中の前記複数の指のうち、前記選択手段が選択した前記マーカー付与対象指のみの指先部分に、マーカー（６３）を付与するマーカー付与手段（１５０、２６０、３６０、４６０、５６０、６３０、７５０、７９０）と、を有し、
   当該操作手投影システムは車両に搭載され、
   当該操作手投影システムは、前記車両内の各座席の着座の有無を検出するシートセンサ（１６）を備え、
   前記表示制御装置（２０）は、前記カメラ（１４）によって撮影された前記手の形状の特徴、および、前記手の複数の指内の前記マーカー付与対象指の位置関係を、記録する記録手段（７５５）を備え、
   前記選択手段は、前記シートセンサ（１６）の検出結果に基づいて、前記車両に乗員が２人以上着座しているか１人のみ着座しているかを判定し、
   前記選択手段は、前記手の映像中の前記複数の指が前記タッチパネル（１３）中の前記カメラ（１４）の撮影範囲内から出た後、複数の指が前記タッチパネル（１３）中の前記カメラ（１４）の撮影範囲内に入ってきたとき、前記車両に乗員が１人のみ着座している場合は、記録された前記マーカー付与対象指の位置関係に従って、新たなマーカー付与対象指を選択し、
   前記選択手段は、前記手の映像中の前記複数の指が前記タッチパネル（１３）中の前記カメラ（１４）の撮影範囲内から出た後、複数の指が前記タッチパネル（１３）中の前記カメラ（１４）の撮影範囲内に入ってきたとき、前記車両に乗員が２人以上着座している場合は、記録された前記マーカー付与対象指の位置関係の情報を削除することを特徴とする操作手投影システム。
10. 前記表示制御装置（２０）は、ユーザの操作に応じて、選択対象の指を１本とするか複数本とするかを切り替えることを特徴とする請求項１ないし９のいずれか１つに記載の操作手投影システム。
11. 前記選択手段は、前記手が前記タッチパネル（１３）中の前記カメラ（１４）の撮影範囲内から出たことに基づいて、前記選択手段による前記マーカー付与対象指の選択を解除することを特徴とする請求項１ないし１０のいずれか１つに記載の操作手投影システム。

Images