上記従来の操作システムにて使用されるタッチ入力装置は二次元入力面を有し、本来的にはマウスやトラックボールないしトラックパッドと同様の連続的な二次元位置検出が可能な入力デバイスである。しかし、メニュー選択や文字入力、あるいは地図上での位置選択といった操作が主体的となる場合(特に、車載電子機器の場合)は、画面上の個別のキー、ボタンあるいは地図上の所望位置等を狙ってタッチする操作が主体的となり、入力面との接触状態を保って連続的に指を動かす操作は、経過位置での誤入力を招きやすいため忌避される傾向にある。その結果、その入力形態は、入力と無関係な指の移動はパネル面から指を離して行ない、入力希望位置でのみパネル面に指を接触させる離散的なものとなる。このような入力形態となる要因は、タッチ入力装置の場合、タッチ操作面上での位置検出機構と希望位置での入力検出機構とがタッチ面への接触検出機構により一本化され、マウスのクリックボタンのように位置検出機構から分離構成された入力検出機構を持たない点にある。
例えば、マウスであれば、画面上のアイコン等の対象図形にポインタを位置合わせし、次いでボタンクリックにより選択状態として、そのボタンクリック状態を維持しつつ操作面上でマウスを動かすことにより、対象図形のドラッグ操作を簡単に行なうことができる。移動中のマウス位置は位置検出機構により刻々検出されるので、対象図形の画面上の移動軌跡はマウスの操作軌跡によく対応し、直感的な操作が可能である。しかし、タッチ入力装置では、対象図形の選択と、その移動先の指定とはタッチ操作で実行できても、指がタッチ操作面から離れてしまうと指位置検出ひいてはドラッグ移動軌跡のモニタリングが不能となる。その結果、対象図形を指先移動軌跡に対応させて画面上で移動表示する処理が行なえず、マウス等と同等の直感的な操作を実現することができなかった。
本発明の課題は、タッチ入力装置を使用しつつ、操作者の指がタッチ操作面から離れても、表示画面上の移動対象画像を、現在の指先点を示す指示体画像とともに連動移動表示でき、ひいては直感的な画像ドラッグ操作が可能な入力装置を提供することにある。
課題を解決する手段及び発明の効果
上記の課題を解決するために、本発明の操作装置は、
操作者の指先によるタッチ操作を受け付ける操作面を有し、該タッチ操作による入力位置を検出し出力するタッチ入力装置と、
操作面と一義的な座標対応関係を有する撮影範囲を有し、該操作面に接近する操作者の手を撮影する撮影装置と、
撮影装置が撮影取得する手画像データに基づき手の指先点を特定する指先点特定手段と、
操作面ならびに撮影範囲と一義的な座標対応関係を有する表示画面を有した画像表示装置と、
画像表示装置に対し指先点を指示する指示体画像を表示画面上に表示させる指示体画像表示制御手段と、
画像表示装置に対し表示画面上の予め定められた位置に選択受付領域を設定する選択受付領域設定手段と、
操作面上にて選択受付領域の対応位置にタッチ操作が検出されるに伴い、該選択受付領域に対応付けて用意された移動対象画像を選択する移動対象画像選択手段と、
指先点特定手段が検出する指先点のうち、タッチ操作に対応する指先点を対象指先点として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示するとともに、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる画像移動表示手段と、を備えたことを特徴とする。
本発明の操作装置においては、特許文献1〜3に開示された従来の操作装置と同様に、タッチ入力装置に接近する操作者の手を撮影する撮影装置を設ける。上記従来の操作装置においては、手の撮影情報が操作位置を示す手輪郭画像の画面上への重畳表示に利用されるに留まり、画像情報自体が入力情報として有効に利用されているとはいい難かった。本発明者は、撮影取得される手画像に、操作者の指先点の位置情報も内包されており、かつ、手画像を用いた指先点の特定が、タッチ入力装置における上記指先点に対応するタッチ操作位置検出とは独立して行なえる点に着目して本発明を完成させるに至った。
すなわち、本発明においては、撮影された手画像に基づいて検出される指先点のうち、タッチ操作に対応する指先点を対象指先点として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示する。そして、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる。すなわち、移動対象画像を選択するためのタッチ操作の後、指が操作面から離れても、指先点を撮影取得された手画像に基づいて刻々追跡することができ、表示画面上の移動対象画像を、現在の指先点を示す指示体画像とともに連動移動表示できるので、直感的な画像ドラッグ操作を問題なく実現することができる。
指示体画像表示制御手段は、撮影装置の撮影画像から抽出される手の実指像を指示体画像として使用するものとして構成できる。この構成によると、撮影された手画像、すなわち手の実指像が指示体画像として使用され、画面上に重畳表示される操作者自身の指の像を見ながらタッチ入力装置上での入力操作を行なうことができるので、より直感的な操作が可能となる。
他方、指示体画像表示制御手段は、撮影装置が撮影取得する画像データとは別に用意された指示体画像データを用いて指示体画像を表示するように構成することもできる。このような指示体画像は、例えば、矢印図形等を用いた一般的なポインタ画像としてもよいし、事前に撮影取得されている操作者自身ないし他人の手(指)の画像を使用することも可能である。
他方、撮影画像から抽出される手の実指像を指示体画像として使用する場合は、操作面の寸法が表示画面寸法に対して相対的に縮小すると、手の表示寸法が入力画面上で拡大されてしまい、指が過度に太く表示されて指先点の正確な把握が困難になる問題がある。このような場合、リアルタイムで撮影取得される実指像はあくまで指先点の特定にのみ用い、画面領域上には、別に用意された指示体画像を貼り付け表示することにより、撮影画像上での実指像の状態とは無関係に、個々の指を示す指示体画像を該実指像よりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。
この場合、具体的には、指示体画像として、撮影装置の撮影画像から抽出される手の実指像よりも狭幅となる、指の輪郭形状を模した模擬指画像を使用することができる。このような模擬指画像を使用することで、実指像を用いなくとも、現在の操作位置をより直感的に把握することが可能となる。
画像移動表示手段は、選択受付領域へのタッチ操作を第一タッチ操作として、該第一タッチ操作により移動対象画像が選択された後該第一タッチ操作が解除され、その状態で対象指先点が移動した場合に、移動対象画像を指示体画像とともに連動移動表示する連動移動モードとなり、該対象指先点の移動後に操作面上の該対象指先点の対応位置にて第二タッチ操作が検出されるに伴い、当該第二タッチ操作の検出位置にて該連動移動表示モードを解除するものとして構成できる。これによると、選択受付領域への第一タッチ操作により移動対象画像を選択し、その後は、タッチ操作が生じない状態で移動対象画像を希望位置まで指示体画像とともに連動移動表示(ドラッグ表示)でき、第二タッチ操作が発生した位置で連動移動表示を終了できる。つまり、操作面への非タッチ操作期間を挟む2つのタッチ操作により、連動移動表示(ドラッグ表示)の開始タイミング及び位置と終了タイミング及び位置とを簡単かつ明確に規定することができる。
本発明の入力装置は、所定のプログラムの実行に基づき、その入力情報を用いてデータ処理を行なうための、コンピュータハードウェアを主体としたデータ処理装置に適用される。撮影画像から特定される対象指先点には、対応位置でのタッチ操作が必ず随伴しており、そのタッチ操作は、上記データ処理装置における何らかのデータ処理の起動に使用される。他方、タッチ入力装置では、手で直接操作する状況では、複数本の指が撮影により特定されるケースも多く、この場合は、表示画面上においても複数の指先点が特定され、各々指示体画像が表示されることとなる。この場合、直感的でわかりやすい操作を実現するためには、上記データ処理の起動トリガを与えるタッチ操作がどの指で行なわれたか、つまりどの指先点が対象指先点となっているかを、表示画面上で明確に識別できることが必須となる。
従来のこの種の入力装置では、画面上に位置固定に表示された個別のキーやボタン等に対するタッチ操作が生じた場合にのみデータ処理の起動トリガを与えればよかったので、タッチ操作がどの指で行なわれたかは、そのタッチ操作がなされたキーやボタンを色反転したり、あるいは操作音を発生させることにより比較的簡単に把握ができた。しかし、タッチ操作解除後の対象指先点の動きを追跡したい場合、タッチ入力情報に基づく位置変化追跡は本質的に不能である。そこで、上記の移動対象画像は、対象指先点の位置を強調する目印画像とすることができる。すなわち、撮影画像から対象指先点を追跡し、目印画像を該対象指先点に随伴する移動対象画像とすることで、タッチ操作解除後においても対象指先点の動きを明確に把握することができる。
この場合、目印画像を意匠として含む操作ボタン画像を表示画面上の選択受付領域に表示する操作ボタン画像表示制御手段を設けることができる。選択受付領域に操作ボタン画像を表示することにより、該操作ボタン画像にタッチ操作することで、操作ボタン画像と対応付けられた機能選択を直感的に行なうことが可能となる。また、操作ボタン画像上の目印画像が移動対象画像として対象指先点に貼り付けられ対象指先点と連動して移動するので、操作者は対象指先点の移動中にあっても、どの操作ボタンの選択中であるかを常に明確に把握することができる。
この場合、連動移動表示モードが解除されるに伴い、表示画面上の第二タッチ操作の検出対応位置に目印画像を貼り付ける形で固定表示する目印画像貼り付け手段を設けることができる。この構成は、特に画面上での位置設定が必要な機器機能設定に有効であり、ボタン操作した指先点の現在位置及び移動軌跡は目印画像の連動移動により、第二タッチ操作により確定した設定位置は目印画像の貼り付け位置によりそれぞれ容易に把握でき、極めて直感的でわかりやすい位置設定操作が可能となる。一方、上記の操作により一旦確定された設定位置の解除を行ないたい場合は、連動移動表示モードが解除されるに伴い、表示画面上の第二タッチ操作の検出対応位置にて、指示体画像と連動移動表示されていた目印画像を消去する目印画像消去手段を設けておくと便利である。
目印画像は操作装置の適用対象となる電子機器の特定機能と一義的に対応付けられてなり、第二タッチ操作が検出されるに伴い、該目印画像に対応する特定機能の制御コマンドを起動する制御コマンド起動手段を設けておくことができる。これにより、機器機能の起動を、その機能が要求する位置設定とともに第二タッチ操作により一括して実行でき、かつ、選択した機能の種別と最終的な設定位置とを、貼り付けられた目印画像により簡単に把握することができる。
特に、位置設定の必要な機能が複数用意されている場合は、表示画面上の互いに異なる複数の選択受付領域に、複数の電子機器機能に一対一に対応付けられた個別の目印画像を意匠として含む操作ボタン画像をそれぞれ表示する操作ボタン画像表示制御手段を設けておくとよい。画像移動表示手段は、第一タッチ操作がなされた操作ボタン画像に対応する目印画像を選択して連動移動モードへ移行するとともに、制御コマンド起動手段は、選択された目印画像に対応する特定機能の制御コマンドを起動するように構成される。目印画像の意匠が異なる複数の操作ボタン画像を選択受付領域に配列することにより複数機能のラインナップを視覚的に容易に把握でき、そのうちのどの機能を選択中であるかを、連動移動表示される目印画像の意匠により容易に識別することができる。
次に、タッチ入力装置は、操作面の一部のみをコマンド起動有効領域として定めておくことができる。コマンド起動手段は、操作面のコマンド起動有効領域にて第二タッチ操作が検出された場合に制御コマンドを起動し、該コマンド起動有効領域外に第二タッチ操作が検出された場合は制御コマンドを起動しないように構成される。この場合、操作ボタン画像は、表示画面上にてコマンド起動有効領域に対応する画面領域外に表示しておくことで、操作ボタン画像の周囲領域に誤タッチ操作を行なっても、コマンド起動有効領域への意図せざるタッチ操作を生じにくくなり、それによる機器の誤動作も防止することができる。
特に、表示装置の画面領域(画面)が操作者に対し、該操作者が入力操作面上の指を直視する向きから外れて配置されている構成では、操作を行なう手元と画面との双方を同時に直視できない。従って、画面上の指示体画像と、これと連動移動する目印画像とを用いた本発明の概念を適用することにより、位置指定を伴なう機能操作を、手元を見ずとも極めて直感的にかつ確実に実行することができる。
車載電子機器の具体例として、カーナビゲーションシステムを例示できる。この場合、入力操作面は操作者の着座する座席の左右脇(ないしその斜め前方)に配し、表示装置の画面を該入力操作面よりも上方にて、操作者の前方ないし斜め前方に対向配置することができる。表示画面の一部はコマンド起動有効領域に対応した地図表示領域として定められ、カーナビゲーションシステムの該地図表示領域上での地点指定を伴う制御コマンドを、該地図表示領域外に表示される選択受付領域をなす操作ボタン画像に対応付けることができる。コマンド起動手段は、操作面の地図表示領域の対応領域内にて第二タッチ操作が検出された場合に制御コマンドを起動し、該対応領域外に第二タッチ操作が検出された場合は制御コマンドを起動しないものとして構成される。地図表示領域上での地点指定を伴う制御コマンドは、具体的には、地図表示領域上への目的地設定コマンド、地図表示領域上への経由地設定コマンド、周辺施設検索コマンド及び地図拡大表示コマンドなどである。
表示画面には、指示体画像を表示可能な一定の有効領域を定めておくことができる。画像移動表示手段は、連動移動モードの実行中において対象指先点が有効領域から脱出した場合に、目印画像の選択状態と連動移動モードとを解除するように構成できる。これにより、目印画像を一旦選択した後も、指を上記の有効領域外に出すことで該選択状態を簡単に解除することができる。
一方、目印画像の選択状態(つまり連動移動モード状態)にて、指を上記の有効領域外に出した場合、該選択状態(連動移動モード状態)を解除せず、選択保持状態とすることも可能である。この場合、画像移動表示手段は、連動移動モードの実行中において対象指先点が有効領域から脱出した場合に、目印画像を選択保持するとともに、その状態で、脱出した対象指先点もしくは当該対象指先点の代替として予め定められた指先点が有効領域内に検出された場合に、当該指先点を新たな対象指先点として、選択保持中の目印画像を用い、連動移動モードを継続するように構成することができる。特に、目印画像の選択状態で指を誤って有効領域の外に出してしまった場合においても、該選択状態が保持されるので、再度目印画像を選択しなおす必要がない。
一方、画像移動表示手段は、連動移動モードの実行中において対象指先点の動作を検出する対象指先点動作検出手段を有し、検出された動作が予め定められた連動移動モード解除動作に該当する場合に、目印画像の選択状態と連動移動モードとを解除するように構成することもできる。対象指先点の動作に特定の連動移動モード解除動作を定めておけば、目印画像を一旦選択した後も、該解除動作を行なうことにより該選択状態を簡単に解除することができる。
撮影装置は、撮影範囲に対し予め定められた挿入方向に操作者の手が挿入されるものとして構成できる。この場合、撮影画像の挿入方向における先端領域を抽出する先端抽出手段と、撮影範囲における先端領域の位置を画像先端位置として特定する画像先端位置特定手段と、先端領域の寸法及び面積の少なくともいずれかに基づいて、画像先端位置が真の指先点を示すものであるか否かを判定する指先判定手段と、先端位置が真の指先点と判定された場合に、先端位置の座標を真の指先点の座標として出力する指先点座標出力手段とを設けることができる。
上記構成によると、撮影装置の撮影範囲には、予め定められた挿入方向に操作者の手が挿入され、その挿入方向の先端に指先も位置する。そこで、撮影画像の挿入方向における先端領域を抽出し、その先端領域の寸法や面積が妥当な値になっているか否かに応じて、該先端領域が真の指先を示すものであるか否かをより正確に判定することができる。
先端抽出手段は、撮影画像を第一画像とし、該第一画像を挿入方向に平行移動して得られる画像を第二画像として、挿入方向の先端側に生ずる、それら第一画像と第二画像との非重なり領域を先端領域として抽出するものとして構成することができる。この構成によると、撮影画像を手の挿入方向(つまり、掌長方向)に平行移動して重ね合わせることにより、指先領域を両画像の非重なり領域として簡単に特定することができる。
この方法では、撮影範囲に挿入される手を掌面側から反射光により撮影することになるが、上記のような平行移動による第二画像との差分(非重なり領域)により指先領域を抽出・特定する方式であれば、特許文献2のごとく、斜め上方からの撮影により指腹を撮影する方式を採用せずとも、手の外形輪郭が明確に撮影できればよいので、撮影装置は、撮影範囲に対し掌面を下向きにして水平方向前方に差し出される手を下側から撮影するものとして構成できる。これにより、特許文献2のように、天井に設けたカメラと手との間に入り込む外乱光や異物の影響を受ける心配がない。特に、手の撮像側表面に照明光を投射する照明手段を設け、照明光の手による反射光に基づいて手像を撮影するように撮影装置を構成すれば、手像と背景との画像分離を容易に図ることができる。
当然、画像先端位置座標特定手段は、非重なり領域として特定される先端領域の位置を、指先点の候補となる画像の先端位置として特定することができる。非重なり領域の位置は、該領域と一定の幾何学的関係を充足する代表点により座標規定できるが、具体的には非重なり領域の幾何学的重心位置をその代表点として採用できる。ただし、代表点は幾何学的重心位置に限定されるものではない。
非重なり領域の寸法又は面積は、それが真の指先領域であるならば、人の指に対応した規定範囲内の値を示すはずであるから、逆にその規定範囲を逸脱する寸法又や面積を示す非重なり領域は、操作者の指先ではない領域(例えば手以外の撮影物や、手であっても指先ではない領域)として確実に除外判定することが可能である。つまり、指先判定手段は、抽出された先端領域をなす非重なり領域の寸法又は面積が規定範囲内にあるか否かに基づいて、該非重なり領域が真の指先領域であるか否かを判定するものとして構成することができる。
次に、撮影装置に関連して、操作者の手を撮影範囲に対し、挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部を設けることができる。これにより、撮影範囲に対する操作者の手の挿入方向をより一定化することができる。すると、撮影される操作者の指長手方向は、上記のガイド方向にほぼ常に平行な位置関係を示すことになり、非重なり領域の寸法は、そのガイド方向と直交する向きにおいて幅寸法とほぼ一致することとなる。そこで、抽出された非重なり領域の、ガイド方向と直交する向きの寸法を幅寸法として、指先判定手段は該幅寸法が規定範囲内にあるか否かに基づき、先端領域が真の指先領域であるか否かを判定することができる。これにより、非重なり領域の寸法測定方向を一定化すること、例えば、ガイド方向と直交(ただし、±45゜程度の角度範囲であれば、真の直交方向からずれていても差し支えない)する方向に固定することができ、先端領域が真の指先領域であるか否かを判定するための測定アルゴリズムを大幅に簡略化することができる。
上記のように、撮影画像である第一画像と、その手挿入方向への平行移動画像である第二画像との非重なり領域により指先領域を抽出する方式を用いれば、先端抽出手段は、撮影範囲内に複数本の指が挿入されることにより、第一画像と第二画像との非重なり領域が複数分離して特定された場合に、それら複数の非重なり領域をそれぞれ指先領域の候補として抽出することができ、ひいては複数の指先領域を同時に位置入力に活用することも可能となるので、操作装置の入力の自由度を高めることができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
また、指先判定手段は、撮影画像の総面積をSとし、個々の非重なり領域から、撮影範囲の手の挿入側に位置する縁までの合計距離をdとしてS/dの値を指幅として推定し、該S/dが規定範囲内にあるか否かに基づいて、非重なり領域が真の指先領域であるか否かを判定するように構成することができる。単に重なり領域の幅を直接特定するだけでなく、さらに撮影画像の総面積をSとし、個々の非重なり領域から撮影範囲の手の挿入側に位置する縁までの合計距離をdとして、S/dの値を指幅として推定することで、先端位置から撮影範囲の手の挿入側に位置する縁まで連続的につながった指画像を撮影画像が含んでいるか否かを特定でき、先端位置付近のみ断片的に検出される指ではない撮影物(例えば、貨幣等の小異物)を指と誤認する不具合を効果的に防止できる。同様に、指先判定手段は、撮影画像の総面積をSとし、非重なり領域の個数をNとして、S/Nの値を平均指面積として推定し、該S/Nが規定範囲内にあるか否かに基づいて、非重なり領域が真の指先領域であるか否かを判定することも可能である。
前述の指示体画像は、撮影画像の先端領域が真の指先領域として判定された場合にのみ、該指先領域が示す指先点にこれを表示し、撮影画像の先端領域が真の指先領域として判定されなかった場合は表示しないようにする。真の指先点と判定されなかった先端位置に指示体画像を表示しないように構成することで、指以外の撮影物により誤検出された指先位置にも指示体画像が貼り込まれ、操作者としては撮影範囲内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が大きくなってしまう問題も根本的に生じない。
また、本発明の操作装置においては、操作者の指先部分が撮影範囲の外へはみ出した場合に、撮影範囲内に残っている指部分の先端を真の指先領域と誤認する可能性がある。そこで、撮影範囲は、画面領域に対応する画面対応領域と、該画面対応領域の外周縁に沿って外側に所定幅で形成される画面外領域とを有するものとして形成できる。指先点座標出力手段は、画像先端位置座標特定手段による撮影画像の先端位置座標が画面対応領域内に位置することを条件として、先端位置の座標を指先点の座標として出力するように構成する。すなわち、操作者の手画像が画面外領域にまではみ出して撮影取得されている場合は、真の指先は明らかに、表示対照となる画面領域の外にあることが明確に把握できるので、この場合は、抽出された画像の先端位置の座標を指先点として認定せず、座標として出力しないように構成することで、上記の不具合を効果的に防止することができる。
以下、本発明の実施の形態を、図面を用いて説明する。
図1は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置1は、自動車の車室内において、インパネ中央部にモニタ(表示装置)15が配置され、センターコンソールCの、運転席2D及び助手席2Pのいずれからも操作可能な位置に操作部12が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ15の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。
操作部12は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル12aであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル12aは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ15の画面領域に対応した入力座標系が板面に沿って設定される。
図2は、入力部12の内部構造を模式的に示す断面図であり、筐体122eの上面に前述のタッチパネル12aが、入力操作面102a側が上となるように嵌め込まれている。筐体12dの内部には、照明光源12c及び撮影光学系とともに手撮影カメラ(撮影装置)12bが収容されており、撮影画像取得手段を構成している。照明光源12cは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源(従って、単色光源である)であり、タッチパネル12aの下面を取り囲む形態で複数配置されている。各照明光源12cは、高輝度となるモールド先端側をタッチパネル12aの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面102a上の操作者の手Hの掌面による一次撮像反射光RB1が、タッチパネル12aを透過する形で下向きに生ずるようになっている。
撮影光学系は、第一反射部12pと第二反射部12rとを有する。第一反射部12pは、タッチパネル12aの直下に対向配置されたプリズム板(三角柱状の微小プリズムを面内に並列に配置した透明材料板:以下、プリズム板12pともいう)であり、操作者の手Hからの一次撮像反射光RB1を斜め上方に反射することにより、該プリズム板12pとタッチパネル12aとの対向空間12fの側方外側へ二次撮像反射光RB2として導く。第二反射部12rは上記対向空間の側方外側に配置された平面反射鏡(以下、平面反射鏡12rともいう)であり、上記二次撮像反射光RB2を側方へ反射することにより、対向空間12fを挟んで第二反射部12rの反対側に位置する手撮影カメラ12bに対し三次撮像反射光RB3として導く。手撮影カメラ12bは該三次撮像反射光RB3の焦点に対応する位置に設けられ、操作者の指を含む手Hの撮影画像を取得する。
プリズム板12pは、図2内に拡大して示すように、ミラー基面MBPに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面MBPに沿って互いに平行となるように密接形成したものであり、ミラー基面MBPを傾けずとも、その法線方向に入射する光を(斜め)側方へ反射することができる。従って、側方反射のための第一反射部12pをタッチパネル12aの下方に平行対向する形で配置でき、対向空間12fの高さ方向寸法を大幅に縮小できる。
また、その対向空間12fを側方から挟んで第二反射部12rと手撮影カメラ12bとを対向配置することで、手撮影カメラ12bに直接入射する三次撮像反射光RBを、対向空間12fを横切る形で導くことができる。これにより、第二反射部12rと手撮影カメラ12bとを、タッチパネル12aの側縁に近接配置でき、かつ、手Hから手撮影カメラ12bへの撮像反射光の入射経路が、対向空間12f内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体12dの薄型化とが実現されている。特に、タッチパネル12aのサイズ(つまり、入力操作面102aの縦横寸法)を縮小することで、入力部12全体の劇的な小形化及び薄型化が実現し、図1のセンターコンソール部Cの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。
タッチパネル12の入力操作面102aは、手撮影カメラ12bの撮影範囲102bに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面102a内に入るように、その上下方向(Y方向)寸法が定められている(例えば、60〜90mm(具体例として75mm))。これにより、モニタ15の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面102aの左右方向(X方向)寸法は110〜130mm(例えば、120mm)であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。
図3は、操作装置1の電気的構成を示すブロック図である。操作装置1の制御主体をなすのは操作ECU10である。該操作ECU10は、CPU101を主体とするコンピュータハードウェア基板として構成され、具体的には、CPU101、RAM1102、ROM103、ビデオインターフェース112、タッチパネルインターフェース114、汎用入出力部104及びシリアル通信インターフェース116が内部バス105により相互接続された構造を有する。ビデオインターフェース112には撮影用ビデオRAM113及び手撮影カメラ12b(撮影装置)が、タッチパネルインターフェース114にはタッチパネル12a(タッチ入力装置)が、そして、汎用入出力部104にはドライバ(駆動回路)115を介して照明光源12cがそれぞれ接続されている。また、シリアル通信インターフェース116には、CAN通信バスなどの車載用シリアル通信バス30が接続され、これにネットワーク接続された他のECU、具体的にはカーナビゲーション装置200(図4)の制御を司るナビECU51と相互通信可能とされている。
ビデオインターフェース112には、手撮影カメラ12bが取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオRAM113内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオRAM113の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。
タッチパネルインターフェース114は、タッチパネル12aの方式に応じた固有の駆動回路を有するとともに、タッチパネル12aからの信号入力状態に基づいて、入力操作面102aへのタッチ操作による入力位置を検出し、その検出結果を位置入力座標情報として出力する。
なお、手撮影カメラ12bの撮影範囲(撮影視野;ひいては、該手撮影カメラ12bにより取得される撮影画像)、タッチパネル12bの入力操作面、モニタ15の画面領域(ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ)には、二次元座標対応関係が一義的に定められている。
また、ROM103には、CPU101が実行する以下のようなソフトウェアが格納されている。
・タッチパネル制御ソフトウェア103a:タッチパネルインターフェース114から入力位置座標(タッチ操作位置)を取得し、入力画面画像フレームデータとともにナビECU51から送られてくる、操作入力内容の判定参照情報(例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む)を取得する。そして、該入力位置座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビECU51に対して対応する操作コマンドの実行指令出力を行なう。
・指先点演算ソフトウェア103b(指先点特定手段):RAM1102内の指先点演算処理メモリ1102a’を作業領域として動作する。手撮影カメラ12bが撮影した操作者の手の撮影画像を二値化し、その実指像の指先位置を指先点として特定する演算、具体的には、二値化された撮影画像の挿入方向における先端領域taの所定の代表点(ここでは幾何学的重心位置)を画像先端位置tp(指先点tp)として特定する演算を行なう。また、先端領域taの寸法及び面積の少なくともいずれかに基づいて、画像先端位置tpが真の指先点tpを示すものであるか否かを判定する。なお、手の撮影画像の二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい。特定された指先点(指先位置)の座標は、図7に示すように、当該作業領域内の指先点メモリ1102a’内に記憶される(同時に特定される複数個(例えば、最大5個まで)の指先点を記憶可能である)。
・表示制御ソフトウェア103b(選択受付領域設定手段、移動対象画像選択手段):モニタ15の表示画面上の予め定められた位置に選択受付領域(後述の操作ボタン画像161〜165(図5))を設定する。また、タッチパネル12aの操作面上にて選択受付領域の対応位置にタッチ操作が検出されるに伴い、該選択受付領域に対応付けて用意された移動対象画像(この実施形態では、後述のアイコン(目印画像)161i〜165i(図5):選択されたアイコンの画像は、RAM1102内のアイコン登録メモリ1102cに登録される)を選択する。グラフィックコントローラ110への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ110へ転送する。図8はアイコン登録メモリ1102cの構成例を示すものであり、アイコン種別の特定データ及びアイコン画像データと指先位置座標データとの組を1組のみ登録・記憶できるようになっている(つまり、1回の操作で移動でき、かつ対応する制御コマンドが実行できるアイコンは1個のみとされている)。また、指先動作を解析するために、過去一定期間の指先位置の履歴も合わせて記憶される。
・画像合成ソフトウェア103d(指先点表示手段、指示体画像表示手段):RAM1102の画像合成用メモリ1102bを作業領域として動作する。指示体画像(手撮影カメラ12bが撮影取得した実手画像FI(図5)又は別途用意された指示体画像データ103eによる模擬指画像SF(図43))を指示体画像フレーム上に貼り付ける処理を行なう。また、指先点演算ソフトウェア103bが特定した指先点のうち、第一タッチ操作がなされた指先点を対象指先点(後述の登録指先位置と一致する概念である)として、表示画面上の対象指先点の対応位置に、選択された移動対象画像を指示体画像とともに表示する。そして、対象指先点が撮影範囲102b内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って移動対象画像を指示体画像とともに連動移動させる。
図4は、カーナビゲーション装置200の詳細構成を示すブロック図である。
カーナビゲーション装置200は、位置検出器201、音声案内等のための音声合成回路224、音声出力用のアンプ225及びスピーカー215、LCD等からなるモニタ15、これらの接続された主制御部をなすナビECU51、リモコン端末212及び主記憶装置をなすHDD(ハードディスク装置)221等を備えている。HDD221には、道路データを含む地図データ221mと、目的地データや目的地の案内情報からなるナビデータ221dと、GUI表示データ221uとが記憶されている。
カーナビゲーション装置200を動作制御するための操作入力は、シリアル通信バス30を介して接続された上記の操作装置1から行なう。また、音声認識ユニット230を用いて種々の指示を入力することも可能である。これは、音声認識ユニット230に接続されるマイク231から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
位置検出器201は、周知の地磁気センサ202、ジャイロスコープ203、距離センサ204、および衛星からの電波に基づいて車両の位置を検出するGPSのためのGPS受信機205を有している。これらのセンサ等202,203,204,205は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。
ナビECU51は、CPU281、ROM282、RAM283及び入出力部284がバス515により接続されたマイコンハードウェアを主体とするものである。HDD221はインターフェース229fを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニタ15に画像出力する機能を担うグラフィックコントローラ210と、描画処理用の表示用ビデオRAM211とが同様にバス515に接続されている。グラフィックコントローラ110は、ナビECU51から入力画面画像フレームデータを取得するとともに、通信インターフェース226及びシリアル通信バス30を介して操作装置1側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータ(GUI表示データ221uに基づいて作成される)を取得し、さらに、必要に応じて目印画像をなす前述のアイコン(GUI表示データ221uに含まれるアイコンデータに基づいて作成される)とともに、表示用ビデオRAM111上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ15に出力する。
ナビECU51のCPU281によりナビプログラム221pが起動されると、位置検出器201からの現在位置情報が取得され、HDD221から該現在位置周辺の地図データ(221m)が読み出されるとともに、コマンド起動有効領域150(図5:上)をなす地図表示領域150’(図5:下)に該地図データに基づく地図が現在位置マーク152とともに表示される。
モニタ15の画面にて、地図表示領域150’の周囲領域(例えば、図5では、地図表示領域150’の右側に生じている余白領域)に操作ボタン画像161〜165が表示されている。個々の操作ボタン画像161〜165の表示領域は選択受付領域を形成し、タッチパネル12aの対応位置にタッチ操作が検出されるに伴い、該選択受付領域161〜165に対応付けて用意された移動対象画像161i〜165iが選択されるようになっている。操作ボタン画像161〜165は、それぞれ該地図表示領域150’上での地点指定を伴う制御コマンドを起動するためのものであり、具体的には、地図表示領域150’上への目的地設定コマンド(ボタン161)、地図表示領域150’上への経由地設定コマンド(ボタン162)、周辺施設検索コマンド(ボタン163)及び地図拡大表示コマンド(164)である。一方、ボタン165は、設定済みの目的地や経由地を消去するコマンドを実行するための消しゴムツールである。
以下、操作の概略を説明する。目的地設定コマンド(ボタン161)を起動する場合は、図16の状態1に示すように、操作装置1の撮影範囲内に手を差し入れると、モニタ15の画面には、操作装置1の手撮影カメラ12bが撮影する手画像(指示体画像)FIが重畳表示される。状態2で操作者は、自分の指位置を該手画像FIにて確認しながら所望の操作ボタン画像161に指先位置を合わせ、タッチパネル12bの操作面102a上にて第一タッチ操作を行なう。これにより、操作ボタン画像(以下、単に「ボタン」等という)161に意匠表示されていた目印画像161i(目的地アイコン)が選択される。
その状態で操作者が、操作面102aから指Fを離間させ地図に沿って指先を動かすと、手撮影カメラ12bが撮影する手画像から指先位置が追跡され、目印画像161iが指先位置(対象指先点)に付着した状態で手画像FIとともに画面上を移動する。つまり、対象指先点が撮影範囲内を移動するに伴い、表示画面上の該対象指先点の対応移動軌跡に沿って目印画像161i(移動対象画像)は手画像(指示体画像)FIとともに連動移動する。目印画像161iは、操作に伴ない刻々変化する対象指先点の位置を強調する役割を果たしている。そして、操作者は地図上の所望の目的地に指先を合わせこみ、状態4のごとく第二タッチ操作を行なう。これにより、図18の状態5に示すように、該第二タッチ位置にて目的地が仮設定され(つまり、目的地設定の制御コマンドを起動され)、さらに、目印画像161i(目的地アイコン)が設定された目的地に貼り付け表示される。本実施形態では、地図表示領域150’の外側に確認メッセージと設定確定用のボタン画像171とを表示し、設定確定を行なう選択操作(ここでは、「する」ボタンにタッチする)を行なうことで目的地設定が確定するようになっている。
なお、図19に示すように、連動移動モード(目印画像161iを手画像FIの指先位置に付着した状態)にて、手を操作面から所定距離以上に離したり(状態301)、あるいは撮影領域(表示画面)の外へ移動させたりした場合は(状態302)、目印画像161iの選択状態及び連動移動モードが解除される。つまり、連動移動モードの実行中において、指示体画像FIを表示可能な画面上の有効領域から対象指先点tpが脱出した場合は、目印画像161iの選択状態と連動移動モードとが解除される(この実施形態では、モニタ15の表示画面の全体が有効領域として定められているが、表示画面の一部のみを有効領域として定めてもよい)。従って、その後、手を撮影範囲内に戻しても目印画像161iは消去された状態となる(状態3’)。また、図20に示すように、連動移動モードにて特定の連動移動モード解除動作(状態303:ここでは、指Fを左右に振る動作(以下、取消動作ともいう)を行なった場合も、目印画像161iの選択状態と連動移動モードとが解除される。
また、一旦設定した目的地を取り消す場合は、消しゴムツールを用い、次のようにして行なう。図21の状態11は、目的地アイコン161iが示す目的地設定が完了している状態を示す。この目的地を消去したい場合、操作者は消しゴムボタン165に第一タッチ操作を行なう。これにより、ボタン165に意匠表示されていた目印画像165i(消しゴムアイコン)が選択される。その状態で操作者は、操作面102aから指Fを離間させ指先を設定済みの目的地に向け移動させる。消しゴムアイコン165iは、指先位置に付着した状態で手画像FIとともに画面上を移動する(状態12:連動移動モード)。そして、操作者は地図上の所望の目的地アイコン161iに指先を合わせこみ、図22の状態13のごとく第二タッチ操作を行なう。すると、状態14に示すように、設定された目的地は仮設定解除状態となる。本実施形態では、地図表示領域150’の外側に確認メッセージと設定確定用のボタン画像172とを表示し、設定確定を行なう選択操作(ここでは、「する」ボタンにタッチする)を行なうことで目的地設定解除が確定するようになっている。少なくとも目的地設定解除が確定した状態では、該第二タッチ位置にて目的地アイコン161iと消しゴムアイコン165iとが消去される。
また、図23の状態21のごとく、どれかの指FI(1)でボタン161に第一タッチ操作を行ない、対応する目印画像161iが該指FI(1)に貼り付けられた状態で、目印画像161iが貼り付けられていない別の指FI(2)により地図上に第二タッチ操作を行なうと、状態22のごとく、その別の指FI(2)による第二タッチ位置を基準に地図のスクロール処理がなされる。ここでは、の指FI(2)による第二タッチ位置が指示する地図上の地点が地図表示領域150’上の基準点(例えば、中心点)へ移動する形でスクロールがなされている。
図24は、経由地設定コマンド(ボタン162)を起動する場合を示す。基本的な流れは図16〜図20にて説明した目的地設定の場合と全く同様である。状態31に示すように、操作者は、自分の指位置を該手画像FIにて確認しながら操作ボタン画像162に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像162に意匠表示されていた目印画像162i(経由地アイコン)が選択される。その状態で操作者が、操作面102aから指Fを離間させ地図に沿って指先を動かすと、状態32に示すように、手撮影カメラ12bが撮影する手画像から指先位置が追跡され、目印画像162iが指先位置(対象指先点)に付着した状態で手画像FIとともに画面上を移動する(連動移動モード)。その後、操作者は地図上の所望の経由地に指先を合わせこみ、第二タッチ操作を行なうことにより、経由地が設定され、目印画像162i(経由地アイコン)が設定された経由地に貼り付け表示される。
図25は、周辺検索コマンド(ボタン163)を起動する場合を示す。状態41に示すように、操作者は、自分の指位置を該手画像FIにて確認しながら操作ボタン画像163に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像163に意匠表示されていた目印画像163i(周辺検索アイコン)が選択される。その状態で操作者が、操作面102aから指Fを離間させ地図に沿って指先を動かすと、状態42に示すように、目印画像163iが指先位置(対象指先点)に付着した状態で手画像FIとともに画面上を移動する(連動移動モード)。その後、操作者は、周辺検索を行ないたい地図上の所望の位置に指先を合わせこみ、第二タッチ操作を行なう。すると、検索のための地点設定がなされ、図26の状態43に示すごとく、目印画像163i(周辺検索アイコン)が設定された経由地に貼り付け表示される。また、設定された経由地を中心にして規定距離範囲内の周辺施設が目的地ないし経由地の候補として検索される。図26においては、地図表示領域150’の外側に、施設ジャンルの選択を促すメッセージと、ジャンル選択用のボタン画像173とを表示している。操作者がボタン173へのタッチ操作により所望のジャンルを選択すると、該当するジャンルの周辺施設が検索され、該検索結果が、例えばジャンル別の施設アイコンによる地図表示か、あるいは施設名と距離及び方向とを対応付けた一覧表示形態で出力がなされる。
図27及び図28は、拡大コマンド(ボタン164)を起動する場合を示す。図27の状態51に示すように、操作者は、自分の指位置を該手画像FIにて確認しながら操作ボタン画像164に指先位置を合わせ、第一タッチ操作を行なう。これにより、操作ボタン画像164に意匠表示されていた目印画像164i(拡大アイコン)が選択される。その状態で操作者が、操作面102aから指Fを離間させ地図に沿って指先を動かすと、状態52に示すように、目印画像164iが指先位置(対象指先点)に付着した状態で手画像FIとともに画面上を移動する(連動移動モード)。その後、操作者は、拡大表示を行ないたい地図上の所望の位置に指先を合わせこみ、図28の状態53に示すごとく、第二タッチ操作を行なう。すると、検索のための地点設定がなされ、状態54に示すように、第二タッチ操作を中心として所定倍率で地図を拡大した表示がなされる。また、地図が拡大されるとともに、目印画像164i(拡大アイコン)は消去される。拡大後の地図においては、同様の操作を行なうことにより、予め定められた最大縮尺まで更なる拡大表示が順次可能とされている。
以下、操作装置1の動作の流れを、フローチャートを用いて説明する。
図10は主処理の流れを示すもので、車両のIGスイッチがONとなるに伴ない起動される。まず、S0にてRAM102内の各メモリを初期化する。S1では手撮影カメラ12bによる撮影画像を用いた指先位置特定処理が実行される。S2では、図16等に示すボタン161〜165への第一タッチ操作検出に伴ない、手画像FIとともに連動移動させるアイコン(目印画像)を指先位置と対応付けて登録するアイコン登録処理を行なう。S3では、登録されたアイコンの消去(すなわち、登録解除)及び指先位置の更新等に係るアイコン登録管理処理が実行される。S4では、手画像FIに対し、登録された指先位置に対応するアイコンの画像を貼り込み合成するとともに、手の動きに応じて更新される指先位置に合わせ、アイコンと手画像(指示体画像)とを連動表示するアイコン合成処理が実行される。S5では、連動表示モードから第二タッチ処理が発生するに伴ない、アイコンと対応付けられた上記種々の制御コマンドを実行するコマンド実行処理となる。S6でIGスイッチがOFFになれば主処理は終了する。他方、OFFにならなければS1に戻り、以下S5までの一連の処理を繰り返し実行する。
図11Aは指先位置特定処理の詳細を示すものであり、図2に示すように、タッチパネル12aの入力操作面102aに手Hを近づけると、手撮影カメラ12bは、照明光源12cからの照明光の手による反射光に基づいて手像を撮影する。図11AのS101で、その撮影画像を取り込む。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図6のAに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値(ここでは「1」とする)を示す領域を被写体領域(図中黒で表している)、低輝度画素値(ここでは「0」とする)を示す領域を背景領域(図中白で表している)として、互いに画像分離できる。S102では、この二値化された画像データを第一画像データ(A)として保存する。
なお、S103では、第一画像データにおける被写体領域の面積率σを演算する。手撮影カメラ12bの撮影範囲内に被写体が存在しない場合は、被写体領域の面積率σがある閾値σ0未満 となるので、この場合は以下の処理をスキップする。
次に、図11AのS105では、該第一画像データを手像の掌長方向(Y方向)に所定距離(例えば、中指第一関節より先を指先部分として、その20%〜80%(実距離にして5〜20mm程度))だけ平行移動させて得られる画像データを、図6のBに示す第二画像データとする。そして、S106では、図6のCに示すように、両画像データを重ね合わせたときの指先側に現れる非重なり領域を手の挿入方向における先端領域(指先領域)taとして特定する。取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。
図6のCにおいては、第二画像データBを、第一画像データAを掌長方向(Y方向)にて手首側へ後退移動させて作成しており、第一画像データAの手像指先側に現れる非重なり領域が先端領域(指先領域)として特定される。撮影範囲(ひいてはモニタ15の画面領域)との座標対応関係が保存される第一画像データA上にて指先領域を特定でき、指先点(指先位置)ひいては画面領域上の対応座標点の特定処理を簡便に行なうことができる。
また、第一及び第二画像データはいずれも二値化されており、非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる(具体的には、対応画素間の排他的論理和が0になれば、それを非重なり領域の画素として特定できる)。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「1」となる画素のX方向の連続個数が所定値未満となる場合に、それら画素列を「0」反転する処理を行なえば、簡単に除去することができる。
次に、図11AのS107においては、上記のように抽出された各指先領域に対し、図6のDに示すような収縮処理が施される。具体的には、値が「1」となっている全ての画素について、これと一定の隣接関係にある画素(具体的には、上下左右の4画素、さらには、斜め隣接する4画素をこれに加えた8画素)に、着目画素と値が反転関係にある画素が1個でも含まれていれば、当該画素の値を「0」反転する処理を行なう。該処理は、必要に応じて複数回繰り返し実施してもよい。
そして、収縮処理後は、画像データ上において個々の先端領域に分離する処理を行なう。すなわち、図32に示すように、画像を所定の方向(例えばx方向)に走査し、「1」となっている画素の途切れが一定数(例えば3ビット)以上生じたか否かにより、同一の先端領域であるか別の先端領域であるかを判別しながら、各画素にラベリング符号(本実施例では、1、2、3‥‥等の数字で表している)を施してゆく。なお、走査2列目以降は、「0」画素の検出状態から「1」画素の検出に転じた時に、その「1」画素を取り囲む例えば8つの画素のラベリング状態を判別し、既に認識済の画素のラベリング符号が検出されれば、これと同一のラベリング符号を施し、何も検出されなければ新たなラベリング符号を施すようにする。そして、異なるラベリング符号が付された画素集合同士は、異なる先端領域として認識することとなる。
次に、図11AではS108に進み、分離・特定された各先端領域が真の指先領域であるか否かの判定処理を行なう(指先判定処理)。基本となるのは、図31に示すごとく、特定された先端領域taの指幅方向の寸法(以下、単に「幅」とも称する)Lが、一般的な大人の幅寸法を基準に定められた規定範囲(上限値Wth1、下限値Wth2)内に存在することを必要条件として、真の指先領域と判定する処理である。図1に示すように、インパネに配置されたモニタ(表示装置)15を見ながら、車長方向にてその後方側(着座した乗員から見れば手前側)のセンターコンソールC上に配置されたタッチパネル12aの操作入力面102a、ひいては、該操作入力面102a上の操作者の手を下側から撮影する手撮影カメラ12bの撮影範囲102bに対し、該撮影範囲102bの後方縁側から前方に挿入される。従って、手の挿入方向は横長長方形状の撮影範囲102bの長辺と直交する向き(つまり、Y方向)に想定され、指幅方向は操作入力面102aの面内において該手の挿入方向と直交する向き、すなわち、撮影範囲102bの長辺と一致する向き(つまり、X方向)に定められている。つまり、先端領域taの幅はX方向、すなわち、撮影範囲102bの長辺方向に固定的に測定されるようになっている。
図11Bは、指先判定処理の詳細の一例を示すフローチャートである。
S1001では、分離・特定された個々の先端領域taの幅Wが特定される。具体的には、先端領域taの個々の構成画素のX座標のうち、最小の値をXmin、最大の値をXmaxとして、W=Xmax−Xminにより計算することができる。S1002では、上記のように特定された先端領域taの幅Wが前述の規定範囲内にあるか否かが判定される。タッチパネル12aはセンターコンソールC上に配置されているが、その脇に着座した運転者や助手席乗員はセンターコンソールCをしばしば物置代わりに利用する。このとき、手以外の物品がタッチパネル12aの操作入力面102a、つまり、撮影範囲102b内に置かれたれば、当然、該物品が乗員の手の代わりに撮影される。
図33の上段は手が撮影された場合の、中段は携帯電話が撮影された場合の、下段は書類が撮影された場合の、各二値化画像を示している。携帯電話や書類の画像輪郭は手の画像輪郭よりもはるかに単純であり、形態的にも明らかに異なるが、特許文献2のごとく、輪郭線に外接する楕円近似を行なえば、形態的に複雑な手の画像輪郭は、より単純な形状である楕円形態に還元されてしまうため、携帯電話や書類など、もともと単純な形状の物品との区別をつけにくい問題がある。他方、特許文献3のように、指腹輪郭を高次関数で近似する手法では、近似により得られる高次関数の係数等から真正な指輪郭であるか否かを一義的に判定することが困難である。また、特許文献4のように、撮影画像の外接矩形を複数個の副矩形領域に分割し、各副矩形の画像面積率により指先座標を求めなくてもよい像形状か否かを判定する方式では、手以外の物品が撮影された場合でも、その画像面積率が手像の場合の画像面積率と偶発的に一致した場合は、区別がもはや不可能である。
しかし、撮影取得される第一画像と、そのY方向への平行移動により得られる第二画像との差分画像として抽出される先端領域taの幅Wを用いた判定方式を採用すると、図34の左に示すごとく、書類や本などが置かれた場合は、抽出・特定される先端領域taの幅Wは、一般的な大人の幅寸法を基準に定められた規定範囲の上限値Wth1を明らかに上回るので、非指先領域として確実に判定が可能である。また、図34の右に示す携帯電話の場合は、突出したアンテナ部分に由来する第一先端領域ta1の幅W1は、アンテナが指より明らかに細いため規定範囲の下限値Wth2を下回り、指より広幅の本体部分に由来する第二先端領域ta2の幅W2は規定範囲の上限値Wth1を上回るため非指先領域として判定することができる。
なお、真の手が画像検出されている場合にあって、伸ばした状態の指が1本ないし2本(例えば、人差し指のみ、あるいは人差し指と中指など)であり、残余の指が曲げられた状態(例えば拳状に握った状態)になっている場合、閉じられている部分の先端領域の幅が規定範囲の上限値Wth1を超え、伸ばした状態の指については幅が規定範囲内となるようなこともありえる。従って、複数の先端領域が抽出されうる形状の物品に合っては、該複数の先端領域の少なくとも1つについて幅が規定範囲内となっていれば、該先端領域を真の指先領域として判定するように構成することが可能である。
次に、非指先領域でありながら、その幅Wが規定範囲内に収まっているために真の指先領域として誤認されうる形状の物品がタッチパネルの入力操作面102a上に置かれる場合がある。例えば、図35のAは貨幣が入力操作面102a上に置かれた場合の二値化画像の状態を示している。BのごとくY方向に後退移動し、Cのごとく差分画像を求め、Dのごとく収縮処理を施したとき、貨幣の寸法が指幅に近接しているために、収縮処理後の先端領域taの幅Wは規定範囲内となり、このままでは指先領域として誤判定される。
指と貨幣の画像上の違いは、指の場合は、指基端側の画像領域が撮影範囲102bの後端縁(手挿入側の縁)まで伸びる形となるのに対し、貨幣の場合は撮影範囲102b内に孤立した円形領域となり、その円形領域の後端縁と撮影範囲102bの後端縁との間が被写体の背景領域(つまり、「0」画素領域)となる点にある。そこで、撮影画像の総面積をS(図35のAにおいてS1+S2+S3)とし、個々の非重なり領域taから、撮影範囲102bの後端縁までの合計距離をd(図35のAにおいてH1+H2+H3)として、S/dの値を指幅として推定すると、上記のような誤判定を効果的に回避することができる。すなわち、貨幣の場合は、撮影範囲102bの後端縁側に上記背景領域が介在するために総面積Sが減少する。従って、S/dにより演算された推定指幅値が規定範囲の下限値Wth1未満となれば、これを非指先領域として除外することができる。図11Bのフローチャートでは、S1005とS1006とにおいて上記原理に基づく判定を行なっている。
次に、図11BのS1007では、S1002及びS1006において除外判定されなかった先端領域taについて代表点を決定する。本実施形態では、領域の幾何学的な重心位置Gを代表点として用いる。演算方法は周知であり、例えば先端領域を構成する全画素のX座標値及びY座標値の各総和を求め。それぞれ画素の個数で除することにより重心位置Gの座標を計算できる。なお、重心位置Gではなく、例えばY座標値が最大となる画素を代表点として採用することも可能である。
なお、タッチパネルの入力操作面102aに実際に接触するのは、指先端からX方向に少し下がった指腹付近の領域であるから、図6(ないし図35)のFでは、Eで計算された重心位置をY方向へ所定距離オフセットさせ、これを指先点Gとして決定する。ただし、Eの重心位置をそのまま指先点Gとして用いてもよく、この場合は該Fの処理は不要である。
次に、撮影範囲102bに対する手の位置関係によっては、差分画像を用いた上記アルゴリズムにより決定される代表点が、真の指先点に対応しないケースが生じうる。具体的には、図36の左上に示すごとく、指先部分が撮影範囲102bの外にはみ出して位置する場合である。撮影範囲102bと、タッチパネルの入力操作面102aと、モニタ15の画面との対応座標範囲が互いに一致している場合は、図36の右上に示すように、真の指先位置が撮影範囲102b(ひいては、入力操作面102a及びモニタ15の画面)の外周縁領域に収まっている場合と、指先部分が撮影範囲102bの外にはみ出し、真の指先部分が画像的に途切れている場合とのいずれにおいても、差分画像から特定される先端領域は上記外周縁領域に収まる形となる。そして、指先部分がはみ出す図36左上の場合についても、指の画像の一部分であることに変わりはなく、領域幅が前記規定範囲内に収まる可能性が高いから、上記外周縁領域に生ずる先端領域を真の指先領域として誤認することにつながる。
そこで、本実施形態においては、図37に示すように、撮影範囲102bの有効座標範囲の外周縁領域を表示外撮影領域102eとして、モニタ15の表示画面に係る有効座標範囲の外側に延出形成する構成が採用されている(なお、ここでは入力操作面102aの有効座標範囲はモニタ15の表示画面の有効座標範囲は互いに一致させてある)。
図37の左に示すごとく、画面外にはみ出す指部分はこの表示外撮影領域102e内に被写体領域を形成するので、差分画像に基づいて特定される先端領域taひいてはその代表点にて特定される指先位置tpもこの表示外撮影領域102e内に生ずる。他方、図37の右に示すごとく、真の指先が表示外撮影領域102e内に入り込まず画面の外周縁領域にとどまる場合は、先端領域taひいては指先位置tpも画面内に生ずる。従って、先端領域taが表示外撮影領域102e内に存在している場合はこれを真の指先として認識せず(無効)、表示外撮影領域102e内に存在していない場合は真の指先として認識する(有効)ように処理が可能である。例えば、図38のように、複数の指先位置tpが特定される場合も、それぞれ表示外撮影領域102e内に存在するか否かに基づき、有効/無効の判定を個別に行なうことができる。図11Bのフローチャートでは、S1008〜S1010において上記原理に基づく判定を行なっている。なお、手挿入側となる表示画面のY方向後端縁については、撮影範囲102bの後端縁と一致させ、表示外撮影領域102eを特に形成しない構成とすることも可能である。
なお、先端領域taが真の指先領域であるか否かを判定するアルゴリズムには、上記以外にも種々の方式を採用することができる。例えば、第二画像を得るための第一画像のY方向平行移動距離を一般的な大人の指幅値よりも小さく設定した場合、第一画像と第二画像との差分画像として得られる先端領域taは、X方向寸法WX(つまり、幅)がY方向寸法WYよりも大きい横長の領域となりやすい。そこで、先端領域taのX/Yアスペクト比φ(≡WX/WY)が規定範囲内にあるか否かに基づいて真の指先領域であるか否かを判定することが可能である。例えば、図34左に示す紙や書類の場合はφが極度に大きくなり、同じく右に示す携帯電話のアンテナ(指より細い)については、X方向寸法WXが不足する分だけφの値も小さくなるので、いずれも非指先領域として除外することが可能である。
なお、指がY方向に対して傾いて挿入される場合を考慮し、図40に示すように、先端領域taに外接する平行線対を、角度を変えながら種々生成し、最大となる平行線間距離をWmax、最小となる平行線間距離をWminとして、上記アスペクト比φをWmax/Wminにより算出するようにしてもよい。
また、図41に示すように、撮影画像の被写体領域(「1」画素領域)の総面積をSとし、特定された先端領域(非重なり領域)taの個数をNとして、S/Nの値を平均指面積として推定し、該S/Nが規定範囲内にあるか否かに基づいて、先端領域taが真の指先領域であるか否かを判定することも可能である。これは特に、手が撮影されたとき被写体領域が主として指領域のみにより形成されるよう、撮影領域のY方向寸法が指先端側の一部分のみを包含可能な値に設定されている場合に有効な手法であるといえる。
図11Aに戻り、上記のごとくS108の指先判定処理が終了すれば、S109にて、特定された各先端領域のいずれが真の指先領域として判定されたかを調べ、S110において、該真の指先領域についてのみ代表点の座標(重心座標G)を(真の)指先位置として記憶し、真の指先領域でないものについては破棄ないし無効化する。以上で指先位置特定処理を終了する。
次に、図12はアイコン登録処理の詳細を示すものである。まず、S201では、図8のアイコン登録メモリ1102cにて、登録アイコンが存在しないことを確認する。S202では、図16に示すような地図表示領域150’がモニタ15の画面上に表示されていることを確認する。S203では、アイコンを有した操作ボタン画像161〜165(以下、アイコン付ボタンとも言う)が画面内に存在することを確認する。S204では、指先位置メモリ(図7:1102a’)にて現在の指先位置を取得し、S205では、その指先位置と重なるアイコンが存在することを確認する。S206では、該指先位置にてタッチパネル12aにタッチ操作(第一タッチ操作)があることを確認し、S207で、該タッチ操作にて対応するアイコン(目印画像)が選択したと判断し、アイコンを指先位置と対応付けてアイコン登録メモリ1102cに登録する。なお、S201、S202、S203、S205及びS206のいずれかにて、否定的な判定(フローチャート中で「No」)がなされた場合は、アイコン登録は行なわれない。アイコン登録メモリ1102cに登録されたアイコンは、後述の登録管理処理にて登録指先位置が更新されるに伴ない、手画像FI(指示体画像)とともに連動表示される。他方、登録管理処理にてアイコン登録が解消されるに伴ない、連動表示は解除される。
図13は、アイコン登録管理処理の詳細を示すものである。S301では登録されているアイコンが存在することを確認する。S302では指先位置が検出中であることを確認し、S303ではアイコン登録メモリ1102cに登録されている指先位置(登録済指先位置)を読み出す。そして、S304では、現在検出中の最新指先位置のうち、登録済指先位置に最も近いものを特定するとともに、最新指先位置が最低1つは表示範囲内にあること(つまり、表示外撮影領域102eへはみ出していないこと)を確認する。最新指先位置が表示範囲内に全く存在しなければアイコン登録を取り消す(S309)。さらに、S305では、表示範囲内の最新指先位置と登録済指先位置との距離dmを算出する。そして、その距離dmが規定範囲(閾距離ds未満)に収まっていることを確認する。収まっていなければアイコン登録を取り消す(S309)。
つまり、図42の上に示すように、主処理(図10)のサイクルタイムを考慮した場合、1サイクルの時間が例えば10〜100msであれば、アイコン登録状態にて1サイクルの間にアイコン操作する指が移動する距離はそれほど大きくない(通常身体能力の人間の手動きであれば、例えば高々5mm〜15mm程度(閾距離dsに対応))から、図42の上に示すように、距離dmが閾距離ds未満であればアイコン登録維持と判断するのである。図42の上では、最新指先位置F1e,F3CのうちF1eが表示領域外にはみ出し、図11BのS1008→S1009の流れにより非先端領域と判定され、指先位置は無効化(つまり、指先位置メモリ1102a’(図7)から削除)されている。このF1eに対応する指先位置F1Aが登録指先位置、つまりアイコンとの連動移動対象としてアイコン登録メモリ1102c(図8)に登録されている指先位置であった場合、対応する最新指先位置F3Cは無効だから、これに最も近い指先位置は別の指の指先点F3Cとなる。しかし、登録指先位置F1Aは別の指の指先位置なので、両者の距離dmは閾距離dsを越えてしまうことになる。この場合は、アイコン登録を解消するのである。
次に、S307では、アイコン登録メモリ1102cの指先位置の履歴を読み出し、その動作を解析する。S308にて、その解析された動作が前述の取消動作に該当している場合はアイコン登録を取り消す(S309)。図20のような左右の指振り動作が取消動作として定められている場合、指先位置の履歴においては、Y座標値の変化はそれほど大きくないが、X座標値は一定範囲内を往復する形で大きく変化する。そこで、図9に示すように、そのX座標が一定範囲内で周期的に変化するかどうかを確認すれば、指振り動作があったかどうかを容易に判定できる。
そして、S302、S304及びS308のいずれにおいてもアイコン登録に対して肯定的な判定(Yes側)がなされた場合はS310に進み、アイコン登録を維持する。ただし、登録指先位置は現在検出されている最新の指先位置に更新する。
図14はアイコン合成表示処理の詳細を示すものである。S401では、指示体画像をなす手画像の撮影データ、つまり、図6のAに示す第一画像データを読み出す。S402では、登録されているアイコンがあるか否かを確認する登録されていればS404に進み、アイコン登録メモリ1102cから登録アイコン画像と登録指先位置とを読み出し、第一画像データ上にて登録アイコン画像を登録指先位置に合成し、S406にてその合成画像を画面に表示する(つまり、手画像を画面に重畳表示する)。登録アイコン画像が変更されなければ、主処理が1サイクル実施される毎に、アイコンを合成するための登録指先位置が更新されるので(図13のS310)、アイコンは手画像とともに連動移動表示されることが明らかである。他方、S402にて登録アイコンが存在しなければS404とS405とをスキップしてS406に進み、アイコン未合成の手画像が画面される。
図15はコマンド実行処理の詳細を示すものである。S501で登録アイコンが存在すればS502に進み、登録指先位置を読み出す。S504では、タッチパネル12aにて、その登録指先位置に対応するタッチ操作、つまり第二タッチ操作があるか否かを確認する。第二タッチ操作があればS505に進み、登録アイコンが示す制御コマンドを特定する。ここで、目的地設定コマンド(図16:ボタン161)、経由地設定コマンド(図16:ボタン162)及び周辺施設検索コマンド(図16:ボタン163)は、対応するアイコン(目印画像)を第二タッチ操作にて設定される位置に貼り付けるタイプの制御コマンド(以下、アイコン貼付型コマンドという)であり、地図拡大表示コマンド(図16:ボタン164)及び消しゴムツール(図16:ボタン165)は、第二タッチ操作にて設定される位置にはアイコンを貼り付けず、実行後はアイコンが消去されてしまうタイプの制御コマンド(以下、アイコン消去型コマンドという)である。
そこで、S506では、特定された制御コマンドがいずれのタイプのものであるかを判定し、アイコン貼付型コマンドであればS507に進み、第二タッチ位置にアイコンを貼り付け表示する。他方、アイコン消去型コマンドの場合はS507をスキップする。そして、いずれの場合もS508で対応する制御コマンドを実行し、S509でアイコン登録を解除する。
次に、S504にて登録指先位置でのタッチ操作がない場合はS510に進み、地図表示領域150’内にて登録指先位置以外の位置でのタッチ操作があるか否かを確認する。このタッチ操作が検出された場合は、指先位置が登録されているのと異なる指にてタッチ操作があったことを意味し、S511に進んで図23に示す地図スクロール処理を実行する。
以下、本発明の種々の変形実施形態について説明する。
上記の実施形態では、連動移動モードにて、アイコンを貼り付けた指が表示領域外に脱出した場合は連動移動モードが解除され、同じ指を再び表示領域内に戻してもアイコンを貼り付けた状態には復帰しないようになっていた。しかし、指が表示領域外に脱出した場合に連動移動モードを保留し、指が再び表示領域内に戻った場合にアイコンを貼り付け状態に復帰させるように構成することもできる。図43はその一例を示すものであり、撮影範囲にて、表示外撮影領域に隣接してその内側、つまり、モニタ15の表示領域の外周縁に沿って一定幅ξの辺縁領域を設定し、辺縁領域に入った登録指先位置(対象指先点)F1Aがさらに移動して表示外撮影領域に入った場合(F1C)、前回の辺縁領域内の登録指先位置F1Aを保留指先位置FRとして例えば一定時間記憶する(アイコン登録状態は維持する)。その後、辺縁領域内に再び指先位置が検出された場合は、その再検出された指先位置を登録指先位置F1Cとすることで、該位置にアイコンが貼り付けられ、連動移動モードに復帰する。なお、辺縁領域内に複数の指先位置が検出された場合は、保留指先位置FRに最も近い指先位置が登録指先位置F1Cとして選択される。
また、移動対象画像は制御コマンドに対応した目印画像(アイコン)に限らず、例えば図44に示すような、フォルダやファイルを示すアイコン701であってもよい。この場合、第一タッチ操作によりアイコン701が選択され、その状態で指をタッチパネル12aから離して指を移動させることでアイコン701は、第二タッチ操作を行なった位置まで連動移動し、フォルダやファイルのいわゆるドラッグ移動が可能となる。
また、カメラ撮影された実指像とはデータ的に無関係な画像を指示体画像として表示することができる。図45は、各指先位置(G1〜G5)が、入力操作面102a、ひいては画像フレーム上にて座標特定された状態を示している。そして、該画像フレーム上の各指先点G1〜G5に、上記のような指示体画像を順次貼り込んで、指示体画像フレームを作成する。この指示体画像は、実指像FIよりも相対的に狭幅となるように作成される。例えば、18歳以上の日本人全体の指幅分布にて、平均値を中心として90%の対象者が包含される範囲の下限値に相当する指幅の、例えば50%以上80%以下となるように指示体画像の幅寸法を設定しておけば(例えば、人差し指の場合は、第一関節位置での指実寸換算にて7mm以上14mm以下)、子供を除くほとんど全ての操作者に対して、指示体画像を実指像よりも相対的に狭幅とすることができる。
なお、真の指先領域として判定されなかった先端領域については、指先位置として記憶されず、結果として指示体画像の貼込みもなされない。これにより、指以外の撮影物により誤検出された指先位置にも指示体画像が貼り込まれ、操作者としては撮影範囲102b内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が大きくなってしまう問題が根本的に生じない。
指示体画像としては、指の輪郭形状を模した模擬指画像を使用できる。単純なものとしては、図47に示すように、指先部分の輪郭を示す円弧図形201と、残余の部分の輪郭を示す矩形図形202とを組み合わせた模擬指画像を例示できる。指先部分を円弧とすることで、その円弧の中心点201gを、上記指先点に合わせ込むべき指先位置として活用しやすい利点がある。また、模擬指画像よりもさらに単純な指示図形、例えばポインタに類した矢印状の図形を表示することも可能である。
一方、図48に示すように、実際の指をより精密に模した指輪郭線を折れ線や曲線(例えば、Bスプライン曲線やベジェ曲線)により表現した指輪郭画像データSF1〜SF5を使用してもよい。該指輪郭画像データSF1〜SF5は、指輪郭に対応して配列する一連のハンドリング点HPにより規定されるベクトルアウトラインデータとして構成できる。
また、指示体画像として、個々の指を分離した形で事前に取得された人の実指画像(例えば、操作者本人の指画像や、手専門のパーツモデルから取得したモデル指画像を採用できる)を使用することも可能である。この場合、指撮影画像から周知のエッジ検出処理により輪郭線を抽出し、これを近似するベクトルアウトラインデータを作成することにより、図48と同様の指輪郭画像データSF1〜SF5を得ることができる。また、図49に示すように、指撮影画像を二値化したビットマップ図形データを指示体画像SFとして用いてもよい(この場合は、指輪郭線の抽出は不要である)。
図46の右に示すように、指示体画像SFの先端部には予め定められた位置に指示体指先点G’が定められており、この指示体指先点G’を各指先点(G1〜G5)に合わせこむ形で、画像フレーム上に指示体画像SFを貼り込んでゆくことになる。しかし、この貼り込みを行なうためには、指先位置G’のほかに指の方向を情報として特定する必要がある。そこで、図45に示すように、画像フレーム(表示座標平面)上に指先点(G1〜G5)とは別に指方向規定点Wを設定し、該指方向規定点Wと指先点Gを結ぶ直線を指直線(L1〜L5)として定める演算を行なう。図46に示すように、各指示体画像SF1〜SF5は、指先位置G’が指先点(G1〜G5)と一致し、かつ、決定された指直線(L1〜L5)に該指示体画像SFの長手方向基準線(指示体画像SF1〜SF5毎に予め定められている)が一致するように貼り込まれ、指示体画像フレームが作成される。
手の各指骨は手首関節に向けて収束する形態に配列しているから、図45において指方向規定点Wは、この手首に相当する手首規定点(以下、手首規定点Wとも記す)として規定されている。前述のごとく、入力操作面102a(撮影範囲)が、掌の指先側をなす一部分だけが収まるように寸法設定されており、かつ、撮影範囲に対して手前側から手を伸ばし入れる形で操作がなされるので、手首規定点Wは画面領域の下側に外れた形で設定される。図45においては、Y方向にて画面領域の下縁から一定長Y0だけ下側に離間した位置に手首規定点Wが設定されている。画面上の指先点(G1〜G5)のY座標とは無関係に、手首規定点WのY方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点Wの決定アルゴリズムが簡略化できる。手首規定点WのX座標は、撮影範囲(入力操作面102a及びモニタ15の画面)のX方向寸法の中央に固定されている。なお、画面領域のY方向高さをLとしたとき、Y0+L/2の値は、例えば100mm以上200mm以下に調整するとよい。
こうして図46のごとく作成された指示体画像フレームはグラフィックコントローラ110に転送され、別途取得されている入力画面画像フレームデータと合成され、モニタ15に表示される。入力画面画像フレームデータと指示体画像フレームデータとを合成する方法としては、指示体画像SFのデータ形態により次にような手法を採用することができる。
(1)指示体画像データがはじめからビットマップデータにより記述されている場合は、対応する画素同士のアルファブレンディング処理により、指示体画像を入力画面上に透かし形態で重ね表示することができる。
(2)指示体画像データがベクトルアウトラインデータで記述されている場合は、指示体画像フレーム上で該データを用いて指示体画像の輪郭線を生成し、さらにその内部をラスタライジングしてビットマップ化し、その後は(1)と同様のアルファブレンディング処理を行なう。
(3)指示体画像データをなすベクトルアウトラインデータを用いて入力画面画像フレーム上に輪郭線を描画し、その内部に位置する入力画面画像の画素を抽出するとともに、該抽出された画素の設定値を一律にシフトさせる。
(1)〜(3)のいずれにおいても、指示体画像データの輪郭線を形成する画素については、指示体画像データ側のブレンド比を高めることで、輪郭線の強調された指示体画像を重畳表示できる。また、指示体画像データを、ビットマップデータもしくはベクトルアウトラインデータで記述された輪郭線のみの画像データとし、輪郭線のみを重ね表示することも可能である。
図1に示すように、モニタ15の画面は、運転席2Dないし助手席2Pに着座する操作者から見て、タッチパネル12a上の指を直視する向きから外れて配置されているから、操作を行なう手元とモニタ15との双方を同時に直視することができない。従って、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。上記のように、撮影画像上での実指像の状態とは無関係に、個々の指を示す指示体画像SFを該実指像よりも細くした形で画面上に確実に表示することができれば、撮影された実指像がそのまま太く拡大表示されて操作性に支障をきたす不具合を効果的に解消することができる。
該効果は、図45に一点鎖線で示すように、撮影範囲102b(ひいては、タッチパネルの入力操作面102a)が縮小された場合に、さらに顕著となる。人差し指、中指及び薬指のうち、2本の全体が少なくとも撮影可能であり、4本の全体は撮影不能な大きさに設定されている場合、つまり、図50に示すように、人差し指、中指、薬指及び小指の全てが入るのではなく、人差し指、中指、薬指の3本、あるいは、人差し指と中指(もしくは中指と薬指)の2本が入る大きさに設定されている場合がこれに該当する。
この場合、撮影範囲102b(入力操作面102a)の寸法を具体的な数値で表すと、X方向寸法は、60mm以上80mm以下(例えば70mm)、Y方向寸法が30mm以上55mm以下(例えば、43mm)である。撮影範囲に収まる指の数は2本であるが、図51に破線で示すように、もし、撮影された実指像FIを二値化しただけでそのままモニタ15の画面領域に表示しようとすると、撮影範囲が縮小される分だけ2本の実指像FIが大きく拡大されて表示されることとなる。例えば図51のように、画面切替えにより、モニタ15に五十音入力用のソフトキーボードKBが表示可能な場合、ソフトボタンSBの数は50を超え、拡大された実指像FIの幅方向には3個を超えるソフトボタンSBの画像が重なる(つまり、このソフトキーボードKBの表示画面には、撮影画像上の実指像FIを、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該実指像FIの仮想投影領域に対しソフトボタンSB画像が、指幅方向に複数(具体的には、2個を超える数で)包含される寸法ならびに配列間隔にて表示形成されている)。これでは、手指が狙ったソフトボタンに正しく向けられているのか否かが非常にわかりにくく、当然、狙ったボタンの隣を押し違えたりする不具合も生じやすい。
しかし、図51に実線で示すように、この実指像FIよりも狭幅化した指示体画像SFでこれを置き換え表示すれば、指示体画像SFの幅方向に重なるソフトボタンSBの数は2個ないし1個に減じられ、指示体画像SF付近のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンSBのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上することは明らかである。
なお、Y方向の入力位置が大きく変化しうる場合は、それに伴なう手首位置のY方向変化も考慮する必要がある。この場合、図52に示すように、表示座標平面上にて手首規定点Wを、特定された指先点Gと予め定められた位置関係を有するものとなるように設定すると、指示体画像SFの配置方向のリアリティをより高めることができる。具体的には、Y方向にて画面領域内に特定された指先点Gから一定長Y2(例えば、Y2は100mm以上200mm以下である)だけ下側に離間した位置に手首規定点Wを設定するとよい。
次に、図1のような配置形態の操作部12を、座席2Dないし座席2Pから手元操作しようとした場合を考える。着座状態で、体の左(運転席2Dの場合)ないし右(助手席2Pの場合)脇の操作部12上に置いた手をY方向に移動する場合は、肩関節及び肘関節を動かしながら前方に伸ばした下椀部を前後に移動させる動作が中心となる。その結果、入力操作面102a上で撮影される掌の動きは、Y方向にほぼ平行移動する形に近く、入力に関与する指の方向(角度)もそれほど大きくは変化しない。しかし、手をX方向に移動する場合は手首の回転動が主体的となり、入力操作面102a上で撮影される掌の動きは、掌中央付近の軸線周りに手を回転させる形態に近くなる。その結果、指入力に関与する指の方向(角度)は、手の回転角度に応じて変化することになる。
そこで、図53に示すごとく、指方向を決める手首規定点WのX座標を指先点GのX座標に応じて変化させる方式を採用すれば、上記のような手の動きを反映させる上で好都合である。図53においては、画面領域(撮影範囲)の下方に、基準手首位置を示す基準手首規定点W0を固定的に定め、実指像FIのY方向に対する傾斜角度θが大きくなるほど、基準手首規定点W0からのX方向への変位量が大きくなるように手首規定点WのX座標値を決定することができる。
図53においては、撮影範囲(入力操作面102a及びモニタ15の画面)のX方向寸法の中央に基準手首規定点W0のX座標を定め、また、既に特定された複数の指先点のうち、指先位置が最も上方に位置するもの(図26では、中指に対応する指先点G3)を基準として、そこから一定値Y2だけ下方へ移動した位置に基準手首規定点W0のY座標を定めている。
上記のごとく、回転中心が掌の内側に存在する想定では、指先がX方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。そこで、方向に対し右上がり形態に傾斜している実指像FIについては、X方向にて基準手首規定点W0に対し左側に変位するように手首規定点WのX座標値を決定し、Y方向に対し左上がり形態に傾斜している実指像FIについては、X方向にて基準手首規定点W0に対し右側に変位するように手首規定点WのX座標値を決定する。具体的には、指先位置が最も上方に位置する実指像FI(指先点G3に対応)を代表実指像として用い、該実指像FIのY方向に対する傾斜角度(時計回りを正方向として定義する)θを求める。該傾斜角度θは、例えば実指像FIを構成する画素点に最小二乗法を適用して得られる直線の勾配から計算することができる。求めるべき手首規定点Wの基準手首規定点W0からのX方向変位(あるいは、X座標値そのものであってもよい)を各種θの値毎に事前に定め、図3のROM103に記憶しておけば、計算されたθに対応するX方向変位は、該テーブルから読み出すことで容易に決定できる。図53においては、手首規定点WのY座標は、基準手首規定点W0のY座標と常に等しくなるように定めてある。つまり、手首規定点Wは、角度θに応じて、基準手首規定点W0を通ってX軸と平行な直線上を動く形で設定されている。ただし、円弧状の経路に沿って手首規定点Wを定めてもよい。
なお、代表実指像としては、撮影範囲のX方向(またはY方向)の中心に最も近いX座標(またはY座標)を指先点として有するものを採用してもよい。また、複数の指先点(G1〜G5)のX座標及びY座標を平均化して得られる点を代表指先点として用いる形で手首規定点Wを定めてもよい。また、指先位置が奇数個の場合は中央にある実指像の指先点を、偶数個の場合は中央に近い2つの実指像を採用して、それらの指先点のX座標及びY座標を平均化して得られる点を、それぞれ代表指先点として定める方式も可能である。
次に、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しX方向に互いに異なる位置に接続することとなる。そこで、図54に示すように、複数の指先点G1〜G5について独立な手首規定点W1〜W5を決定し、指示体画像の配置方向を、各指先点G1〜G5について対応する手首規定点W1〜W5を用いて決定することができる。具体的には、基準手首規定点W0よりもX方向右側に位置している指先点G1,G2については、X座標が基準手首規定点W0よりも右側に位置するように対応する手首規定点W1,W2を設定し、基準手首規定点W0よりもX方向左側に位置している指先点G3,G4,G5については、X座標が基準手首規定点W0よりも左側に位置するように対応する手首規定点W3,W4,W5を設定している。
なお、基準手首規定点W0に対するX方向変位(h1〜h5)の大きい指先点ほど、対応する手首規定点のX座標は基準手首規定点W0からのX方向への変位が大きくなるように定められている。具体的には、指先点の基準手首規定点W0に対するX方向変位に一定の倍率係数k(例えば、0.1≦k≦0.3)を乗じた値を、手首規定点WのX座標に係る基準手首規定点W0からのX方向変位として算出している。
また、図29は、操作者の手を手撮影カメラ12bの撮影範囲102bに対し、挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部を設けた操作装置の構成例を示すものである。前述の先端領域(非重なり領域)の幅寸法は、そのガイド方向と直交する向きの寸法として規定される。図30は、その入力部12を拡大して示すものであり、筐体12dの上面に、操作者の掌を乗せるためのパームレスト部12pが形成されている。パームレスト部12pの上面は、車両の前後方向(つまり、Y方向)において中間が上向きに膨出した凸曲面状のガイド面120pとされ、手の掌長方向をY方向に一致させるように規制する働きをなす。そして、図29に示すように、ガイド面120p上に手を載せたとき、指の先端側部分がタッチパネル12aに係るように(つまり、指の先端側部分が撮影されるように)、該ガイド面120pの先端側に続く形でタッチパネル12aが配置されている。また、ガイド面120pのX方向における両縁には、Y方向に伸びるガイドリブ120qが形成されており、ガイド面120p上の手指がタッチパネル12aつまり撮影範囲に対しY方向に規制しつつ挿入されるようになっている。これらガイド面120pとガイドリブ120qとが前述の手ガイド部を形成している。撮影範囲の寸法は図50に示すものと同様である。
以上、本発明の画像表示装置を車載用電子機器の操作装置に適用した例について説明したが、本発明はこれに限定されるものではなく、例えば、パーソナルコンピュータ用のGUI入力デバイスなどにも適用可能である。