JP5029470B2 - プロンプター式操作装置 - Google Patents

Description

本発明は、例えばセンターコンソールに配置したタッチパネルを用いて、マニュアルでの入力が可能で、しかも、タッチパネル等を操作する手などの画像を、例えばダッシュボードに配置したディスプレイに表示可能なプロンプター式操作装置に関する。

従来より、カーナビ等の車載装置を操作する装置として、ダッシュボードに配置されたディスプレイの表示画面（ナビ画面）に、タッチパネルを設けた技術が開示されている（特許文献１参照）。

この特許文献１には、走行中において運転者のナビ画面のスイッチ操作を禁止する一方、助手席側の乗員のスイッチ操作を許可するために、ナビ画面における静電容量方式のタッチスイッチによって操作者を判別する技術が記載されている。

同様に、引用文献２、３には、車内の天井にカメラを設置して運転者や助手席者の動作を撮影し、運転者の操作か助手席側の操作かを判別する技術が開示されている。
また、これとは別に、カーナビ等の車載装置を操作する装置として、プロンプター方式操作装置が開発されている（特許文献４参照）。

このプロンプター方式操作装置とは、操作画面を表示するダッシュボードの表示装置とは別に、アームレスト近傍に、（タッチパネルによる）操作者の手操作の検出や（カメラによる）操作者の手画像の抽出を行う操作入力部を設け、手画像及び手操作を表示装置に反映して、あたかも表示装置のタッチパネルを直接操作しているかのように表示制御するものである。
特開２００４−２４５６０６号公報 特開２００４−６７０３１号公報 特開２００７−２１２３４２号公報 特開２００７−２７６６１５号公報

しかしながら、上述した特許文献１の技術では、ダッシュボードのタッチスイッチと操作者の手とが数ｍｍ以内に近接しないと、十分な判別情報が得られないという問題があった。

また、特許文献２、３の技術では、広範囲をカバーするカメラを天井に配置しなければならず、構成が複雑となるとともに、コストが上昇するという問題があった。
更に、特許文献４のプロンプター方式操作装置においては、操作者の区別の検討が十分になされていないのが現状である。

本発明は、上記問題点に鑑み、簡易な構成で、容易に且つ確実に操作者の区別を行うことができるプロンプター式操作装置を提供することを目的とする。

（１）請求項１の発明は、手による入力操作を検出する操作入力部からの信号を入力するとともに、前記操作入力部を操作する手を撮影した撮影部からの信号によって得られる手画像をサブ画面として、表示装置のメイン画面に重畳表示する車両用のプロンプター式操作装置において、前記表示装置は、運転席側から見える第１表示画面と助手席側から見える第２表示画面とを備え、前記第１表示画面と前記第２表示画面とによって、前記運転席側と前記助手席側とから見た場合に異なる画像を表示可能な２画面表示装置であり、前記撮影部によって撮影された手画像に基づいて、前記操作入力部が運転者により操作されているか助手席者により操作されているかを判定する操作者判定手段と、前記運転者の手画像と前記助手席者の手画像とが重なっているか否かを判定する重畳判定手段と、前記重畳判定手段によって、前記運転者の手画像と前記助手席者の手画像とが重なっていると判定された場合には、前記手画像を加工して、前記第１表示画面には前記運転者の手画像を重畳表示するとともに前記助手席者の手画像の重畳表示を禁止し、前記第２表示画像には前記助手席者の手画像を重畳表示するとともに前記運転者の手画像の重畳表示を禁止する表示制御手段と、を備えたことを特徴とする。

本発明は、撮影部によって撮影された手画像に基づいて、操作入力部が運転者により操作されているか助手席者により操作されているかを判定するので、簡易な構成で、容易に且つ確実に操作者の判別を行うことができる。

従って、例えば運転者の操作であると判定された場合には、走行中の操作を禁止することができ（このときの手画像の重畳表示も禁止できる）、また、助手席者の操作であると判定された場合には、走行中の操作を許可することができる。
また、本発明では、表示装置は、運転席側から見える第１表示画面と助手席側から見える第２表示画面とを備えており、その第１表示画面と第２表示画面とによって、運転席側と助手席側とから見た場合に異なる画像を表示可能な２画面表示装置である。つまり、同じディスプレイで見る方向により異なる画像を表示できる２画面表示装置である。
２画面表示装置では、運転者と助手席者とでは、通常異なる画面を見ているので、操作入力部で操作者の手を認識した場合でも、運転者の手か助手席者の手かを判別しなければ、どちらの画面にどちらの手を重畳表示するかを決めることができない。
それに対して、本発明では、上述した様に、撮影部によって撮影された手画像に基づいて、操作入力部が運転者により操作されているか助手席者により操作されているかを判定するので、例えば運転者の操作であると判定された場合には、運転者が視聴している画面（第１表示画面）に運転者の手画像を重畳表示できる（即ち助手席者の手画像の重畳表示を禁止できる）。また、走行中である場合には、運転者の操作を禁止することができる。
一方、例えば助手席者の操作であると判定された場合には、助手席者が視聴している画面（第２表示画面）に助手席者の手画像を重畳表示できる（即ち運転者者の手画像の重畳表示を禁止できる。この場合は、走行中の操作を許可することができる。
そして、本発明では、運転者の手画像と助手席者の手画像とが重なっているか否かを判定し、その判定によって、運転者の手画像と助手席者の手画像とが重なっていると判定された場合には、手画像を加工して、第１表示画面には運転者の手画像を重畳表示するとともに助手席者の手画像の重畳表示を禁止し、第２表示画像には助手席者の手画像を重畳表示するとともに運転者の手画像の重畳表示を禁止する。
つまり、運転者の手と操作者の手が操作入力部上で重なっている場合には、両方の手画像が一体となっているので、その様な場合は、各手画像を分離し、上述の様に、各表示画面（第１、第２表示画面）に分けて重畳表示する。
これにより、操作者に対応した表示画面に適切な手画像を表示することができるとともに、操作者に対応しない表示画面に不適切な手画像が表示されることを防止することができる。また、運転者と助手席者が同時に操作した場合でも、各操作者に対応した手画像を各表示画面に好適に重畳表示することができる。

（２）請求項２の発明は、手による入力操作を検出する操作入力部と、前記操作入力部を操作する手を撮影する撮影部と、を備え、前記撮影部によって撮影された手画像をサブ画面として、表示装置のメイン画面に重畳表示する車両用のプロンプター式操作装置において、前記表示装置は、運転席側から見える第１表示画面と助手席側から見える第２表示画面とを備え、前記第１表示画面と前記第２表示画面とによって、前記運転席側と前記助手席側とから見た場合に異なる画像を表示可能な２画面表示装置であり、前記撮影部によって撮影された手画像に基づいて、前記操作入力部が運転者により操作されているか助手席者により操作されているかを判定する操作者判定手段と、前記運転者の手画像と前記助手席者の手画像とが重なっているか否かを判定する重畳判定手段と、前記重畳判定手段によって、前記運転者の手画像と前記助手席者の手画像とが重なっていると判定された場合には、前記手画像を加工して、前記第１表示画面には前記運転者の手画像を重畳表示するとともに前記助手席者の手画像の重畳表示を禁止し、前記第２表示画像には前記助手席者の手画像を重畳表示するとともに前記運転者の手画像の重畳表示を禁止する表示制御手段と、を備えたことを特徴とする。

本発明は、撮影部によって撮影された手画像に基づいて、操作入力部が運転者により操作されているか助手席者により操作されているかを判定するので、簡易な構成で、容易に且つ確実に操作者の判別を行うことができる。

従って、例えば運転者の操作であると判定された場合には、走行中の操作を禁止することができ（このときの手画像の重畳表示も禁止できる）、また、助手席者の操作であると判定された場合には、走行中の操作を許可することができる。
また、本発明では、表示装置は、運転席側から見える第１表示画面と助手席側から見える第２表示画面とを備えており、その第１表示画面と第２表示画面とによって、運転席側と助手席側とから見た場合に異なる画像を表示可能な２画面表示装置である。つまり、同じディスプレイで見る方向により異なる画像を表示できる２画面表示装置である。
２画面表示装置では、運転者と助手席者とでは、通常異なる画面を見ているので、操作入力部で操作者の手を認識した場合でも、運転者の手か助手席者の手かを判別しなければ、どちらの画面にどちらの手を重畳表示するかを決めることができない。
それに対して、本発明では、上述した様に、撮影部によって撮影された手画像に基づいて、操作入力部が運転者により操作されているか助手席者により操作されているかを判定するので、例えば運転者の操作であると判定された場合には、運転者が視聴している画面（第１表示画面）に運転者の手画像を重畳表示できる（即ち助手席者の手画像の重畳表示を禁止できる）。また、走行中である場合には、運転者の操作を禁止することができる。
一方、例えば助手席者の操作であると判定された場合には、助手席者が視聴している画面（第２表示画面）に助手席者の手画像を重畳表示できる（即ち運転者者の手画像の重畳表示を禁止できる。この場合は、走行中の操作を許可することができる。
そして、本発明では、運転者の手画像と助手席者の手画像とが重なっているか否かを判定し、その判定によって、運転者の手画像と助手席者の手画像とが重なっていると判定された場合には、手画像を加工して、第１表示画面には運転者の手画像を重畳表示するとともに助手席者の手画像の重畳表示を禁止し、第２表示画像には助手席者の手画像を重畳表示するとともに運転者の手画像の重畳表示を禁止する。
つまり、運転者の手と操作者の手が操作入力部上で重なっている場合には、両方の手画像が一体となっているので、その様な場合は、各手画像を分離し、上述の様に、各表示画面（第１、第２表示画面）に分けて重畳表示する。
これにより、操作者に対応した表示画面に適切な手画像を表示することができるとともに、操作者に対応しない表示画面に不適切な手画像が表示されることを防止することができる。また、運転者と助手席者が同時に操作した場合でも、各操作者に対応した手画像を各表示画面に好適に重畳表示することができる。

（３）請求項３の発明では、前記操作者判定手段は、前記操作入力部が運転者により操作されているか助手席者により操作されているかを、前記操作入力部に伸びる手の特徴及び手の動きのうち少なく一方の手情報から判別することを特徴とする。

本発明では、手の特徴（例えば手の輪郭やしわ等の特徴）や手の動きから、操作者を判別することができる。つまり、手の特徴や手の動きから、手の向き等の操作者を特定する情報が得られるので、この情報から操作者を判別することができる。

（４）請求項４の発明では、前記操作者判定手段は、前記操作入力部を操作する手画像から、手の輪郭及び指の位置のうち少なくとも一方の手情報（手の特徴を示す情報）を抽出し、この手情報から右手操作か左手操作かを判別することを特徴とする。

本発明は、具体的な手情報の内容を例示している。例えば手の輪郭から指の方向を認識することにより操作者を判定できる。例えば運転者であれば指の方向は運転席から遠ざかる方向に向いている。また、指の位置として、例えば小指や親指を認識することにより操作者の判定ができる。例えば操作入力部がセンターコンソールボックスの位置にある場合、運転者であれば親指は車両前方側にある（右ハンドルの場合）。

（５）請求項５の発明では、前記操作入力部はセンターコンソールボックスの位置に配置されており、前記操作者判定手段は、前記操作入力部に伸びる手の動きから、手が運転者席側から伸びたか助手席側から伸びたかを判別することを特徴とする。

本発明は、手の動きの具体的な内容を示している。操作入力部がセンターコンソールにある場合には、運転者の場合は、手は運転席側から助手席側に移動し、逆に、助手席者の場合は、手は助手席側から運転席側に移動するので、この手の動きから、操作者を判別できる。

（６）請求項６の発明では、予め登録した運転者及び助手席者の少なくとも一方の、手の輪郭、手の表面の模様（例えば指紋や掌紋、関節の筋）、指の形状、及び手の血管の配置の手情報のうち少なくとも１種から、前記操作入力部に伸びた手が運転者か助手席者かを判別することを特徴とする。

本発明は、予め運転者や助手席者の手情報を登録しておくので、操作入力部に手がかざされた場合に、容易に且つ確実に操作者の判別を行うことができる。
（７）請求項７の発明では、前記手の輪郭、手の表面の模様、指の形状、及び手の血管の配置の手情報のうち少なくとも１種の手情報を、登録可能な機能を有することを特徴とする。

本発明では、撮影部にて手を撮影する機能を有するので、この機能を利用して（画像認識等により）手情報を入手して登録することができる。

次に、本発明の最良の形態（実施形態）について説明する。
［第１実施形態］
ａ）まず、本実施形態のプロンプター式操作装置が用いられるカーナビゲーション装置の概略構成を説明する。

図１に示す様に、カーナビゲーション装置１は、車室内に配置され、表示装置３、プロンプター式操作装置５などから構成される。
前記表示装置３は、地図上にナビゲーションのための表示を行ったり、マニュアルでの入力のためのメニュー画像等を表示するディスプレイであり、液晶パネルなどで構成され、車室内の前部に運転者から視認可能な位置（ダッシュボード等）に設置されている。

前記プロンプター式操作装置５は、カーナビゲーション装置１の操作を行う運転者の手指の動作に対応した処理を行うものであり、光を照射する照明装置７、手指等を撮影する撮影装置９、各種の制御を行う制御部１１、手指での入力を行う操作入力部（タッチパネル）１３などから構成されている。なお、照明装置７及び撮影装置９、センターコンソールに設けられた筐体内１４に配置されており、タッチパネル１３は筐体１４表面に配置されている。

このうち、前記照明装置７は、赤外光（詳しくは近赤外光）を発光可能に構成されており、赤外ＬＥＤのように赤外線を直接発光するものや、白熱ランプなどの発光体に赤外線透過フィルタを装着したものが使用される。なお、照明装置７は、発光した赤外光がタッチパネル１３の下面（裏側）に当たるように配置されている。

前記撮影装置９は、赤外画像を取得可能に構成されたカメラである。具体的には、可視画像を撮像するための撮像素子や、赤外光を集光するためのレンズなどから構成されている。この撮影装置９は、タッチパネル１３から運転者の手指側へずれた位置に焦点を有しており、運転者の手指の外光の当たる面と反対面、つまり、タッチパネル１３を裏側から撮影できる位置に、具体的には、タッチパネル１３の下側に配置されている。なお、撮影装置９は、タッチパネル１３を裏側から直接に撮影するのではなく、反射鏡（図示せず）を介して撮影するように構成してもよい。

前記タッチパネル１３は、運転者が手指でカーナビゲーション装置１の操作、例えば、目的地の入力、表示の拡大・縮小の設定入力などを行うために、手指でその表面に押圧して入力するための例えばアナログ抵抗膜方式のタッチパネル１３であり、赤外線を透過する材料、例えば、アクリル板などで形成された平板である。

なお、前記タッチパネル１３には、どこがタッチされたかが区別できるように、ＸＹ座標が設定されており、それに対応して、表示装置３の表示画面（例えばメニュー画像が表示されるメニュー画面）にも、同様にＸＹ座標が設定されている。従って、タッチパネル１３にて、所定の座標がタッチされた場合には、表示装置３にても、それに対応した座標に関する処理（例えばマーク等を表示する処理など）を行うことが可能である。

また、前記制御部１１は、図２に示す様に、ＣＰＵ１５等を備えた電子制御装置（ナビゲーションＥＣＵ）であり、表示装置３の表示画面の描画を行う描画回路１７や、スピーカ１９に出力する信号を増幅する音声アンプ２１等を備えている。

この制御部１１には、上述したタッチパネル１３、撮影装置９、照明装置７、表示装置３等以外に、マニュアルボタンによる各種の入力を行うボタンスイッチ２３、地図データを記憶しているハードディスク等の地図データ入力機器２５、ＧＰＳ受信機２７、車速センサ２９、地磁気センサ３１、ジャイロスコープ３３、パーキングブレーキスイッチ３５等が接続されている。

従って、制御部１１では、タッチパネル１３からの信号（入力座標を示すタッチ信号）や撮影装置９からの信号（画像信号）を入力し、それらの信号に基づいて、表示装置３に画像を表示する処理や、他の機器を操作する処理などを行う。

ｂ）次に、制御部１１にて行われる特徴的な処理の手法について説明する。
(1)手指を重畳した合成画像の作成方法
図３に示す様に、撮影装置９から入力された手を撮影した画像を、明暗の２値化により手画像と背景画像とに区分し、手画像（サブ画面）を抽出する。

一方、地図データ入力機器２５から入力された地図データを用いて、表示装置３に表示するナビ画像（メイン画面）を作成する。
そして、ナビ画像に手画像を半透明にして重畳して合成画像を作成し、この合成画像を表示装置３に出力する。

(2)操作者の判定方法
運転者がタッチパネル１３を操作する場合と、助手席者がタッチパネル１３を操作する場合とでは、図４に示す様に、例えば手や指の形（外形形状）などが異なっている。

従って、下記に示す様に、例えば右ハンドルの車両の場合には、撮影された手の画像に対して画像認識を行うことにより、右手（助手席者の手）か左手（運転者の手）を判別することができる。なお、左ハンドルの車両の場合にも、左右を逆にすれば同様な手法で判別できる。

この助手席者の手か運転者の手かの判別方法としては、毎回抽出された手画像から判別する方法があるが、後述する様に、予め運転者や助手席者の手の情報（輪郭や模様等）を登録しておき、この登録データとリアルタイムで検出された手画像の情報とを比較して判別してもよく、或いは、両方の手法を組み合わせて精度の良い判別を行ってもよい。

＜手の輪郭から、右手か左手かを判別する方法＞
例えば親指は独立し、それに対して、他の４本の指は比較的固まっている。従って、分離した指が認識された場合には、その指の位置により、右手か左手かを判別することができる。

＜指の位置から、右手か左手かを判別する方法＞
右手と左手とでは、指の位置が異なり、手の甲を見たとき、親指は内側に小指は外側になる。親指と小指とは、長さ・形状・関節数が異なるので、この特徴を捉えることで、右手操作か左手操作かを判別することができる。

＜タッチパネル１３に伸びる手の動きから、右手か左手かを判別する方法＞
タッチパネル１３は、運転席と助手席の間に配置される。図５（ａ）に示す様に、右ハンドルの場合は、運転者の手は、タッチパネル１３上を右から左に動き、逆に、図５（ｂ）に示す様に、助手席者の手は、タッチパネル１３上を左から右に動く。この特徴を動作ベクトル等によって捉えることで、右手操作か左手操作かを判別することができる。

ｃ）次に、制御部１１にて行われる処理の内容について、フローチャートに基づいて説明する。
(1)ここでは、毎回検出される手画像の情報に基づいて、運転者の操作か助手席者の操作かを判定する例について述べる。

図６のフローチャートに示す様に、ステップ（Ｓ）１００では、撮影装置９にて撮影された画像を入力し、手画像（サブ画面）を抽出する。このとき、手画像の背景は、車内の天井になるので、手画像と背景との分離が容易である。

続くステップ１１０では、手が運転席側から助手席側に移動したか、即ち運転者の手か否かを、手画像の動きから判定する。ここで肯定判断されるとステップ１２０に進み、一方否定判断されるとステップ１４０に進む。なお、手の動きの方向は、例えば指の先端などの移動ベクトルをとるなどにより検出することができる。

ステップ１２０では、左手（運転者の手）か否かを、手画像の解析により判定する。ここで肯定判断されるとステップ１３０に進み、一方否定判断されるとステップ１５０に進む。

例えば、手画像は図７に示すように、手の輪郭や手のしわを示す座標上の線分として記録されるが、例えば手の輪郭から指の方向（例えば指の中央を繋いだ線分の方向）を求めることができ、また、長くまっすぐに伸びる掌のしわの方向からも、手の方向（しわの方向と垂直）が分かる。

ステップ１３０では、前記ステップ１１０にて、手の動きから運転者の操作であると判断され、且つ、前記ステップ１２０にて、手の輪郭等から同様に運転者の手であると判定されたので、ここでは、運転者の操作であると確定して、フラグ等をセットし、一旦本処理を終了する。

一方前記ステップ１１０にて否定判断されて進むステップ１４０では、手が助手席側から運転席側に移動したか、即ち助手席者の手か否かを、手画像の動きから判定する。ここで肯定判断されるとステップ１５０に進み、一方否定判断されるとステップ１７０に進む。

ステップ１５０では、右手（助手席者の手）か否かを、手画像の解析により判定する。ここで肯定判断されるとステップ１６０に進み、一方否定判断されるとステップ１７０に進む。

ステップ１６０では、前記ステップ１４０にて、手の動きから助手席者の操作であると判断され、且つ、前記ステップ１５０にて、手の輪郭等から同様に助手席者の手であると判定されたので、ここでは、助手席者の操作であると確定して、フラグ等をセットし、一旦本処理を終了する。

一方、前記ステップ１４０又は１５０で否定判断されて進むステップ１７０では、運転者の操作か助手席者の操作かは不明であるとして、どちらかの操作であると判断せずに、一旦本処理を終了する。

(2)次に、上述した判定結果を利用した処理について説明する。
図８のフローチャートに示す様に、ステップ２００では、パーキングブレーキが引かれているかどうかを、パーキングブレーキスイッチ３５からの信号により判定し、ここで肯定判断されるとステップ２１０に進み、一方否定判断されるとステップ２２０に進む。

ステップ２１０では、車両が停車中であるので、ナビゲーション装置１の全スイッチ入力を受け付け可能とし、自由にナビゲーション装置１の操作ができるようにする。
続くステップ２５０では、スイッチ入力があるか否かを判定し、ここで肯定判断されるとステップ２６０に進み、一方否定判断されると一旦本処理を終了する。

ステップ２６０では、操作されたスイッチに応じた制御等を行って、一旦本処理を終了する。
一方、前記ステップ２００で否定判断されて進むステップ２２０では、助手席者の操作か否かを、前記図６のステップ１６０で設定されたフラグの状況に応じて判断する。即ち、助手席者であることを示すフラグがセットされている場合には、助手席者の操作であると判断する。ここで肯定判断されるとステップ２３０に進み、一方否定判断されるとステップ２４０に進む。

ステップ２４０では、助手席者の操作であるので、ハンドブレーキが引かれていない例えば走行中であっても、ナビゲーション装置１の全スイッチ入力を受け付け可能とし、前記ステップ２５０、２６０の処理を行う。

一方、ステップ２４０では、助手席者の操作ではないので（運転者の操作と推定されるので）、ナビゲーション装置１の操作等の所定のスイッチ入力の受け付けを禁止し、前記ステップ２５０、２６０の処理を行う。なお、このとき、ナビゲーション装置１の例えばルート検索等のナビ操作が行われた場合には、ステップ２６０にて、その操作が禁止されていることを、スピーカ１９で報知する。

ｄ）この様に、本実施形態では、タッチパネル１３を操作する手の画像を撮影により取得し、その手画像をナビ画面に重畳表示するとともに、手画像から運転者の操作か助手席者の操作かを判定する。

そして、その手画像等から、走行中における運転者の操作であると判断された場合には、運転中の操作としては適当でない操作（例えば目的地の設定やルート検索等のナビ操作）に関するスイッチ入力を受け付けないようにする。一方、手画像から助手席者の操作であると判断された場合には、走行中であっても、ナビ操作を含む全てのスイッチ入力を受け付けるようにする。

これによって、走行中において、簡易な構成で、安全な操作のみが許可され、安全性が確保されない操作は禁止されるので、利便性と安全性を兼ね備えた好適なプロンプター式操作装置５を実現することができる。

［第２実施形態］
次に、第２実施形態について説明するが、前記第１実施形態と同様な内容の説明は省略する。

本実施形態では、登録された手情報を用いて操作者の判断を行う。なお、その他のハード等の構成は同様であるので、同じ部材番号を用いて説明する。
ａ）まず、操作者の判定方法を説明する。

＜指形状（関節数）から、右手か左手かを判別する方法＞
人によって、指の長さ、指の第１関節位置（指先から第１関節位置までの距離）、指の第２関節位置（第１〜第２関節位置の距離）などが異なる。従って、片手（計５本）の指の特徴を捉え、予め記憶しておいた情報との相関をとることで、右手操作か左手操作かを判別することができる。

＜手相（手のしわ）により、右手か左手かを判別する方法＞
人によって、手相（手のしわ：線の模様）が異なる。従って、片手の手のしわの特徴を捉え、予め記憶しておいた情報との相関をとることで、右手操作か左手操作かを判別することができる。なお、同様にして、指紋や静脈の模様などから、右手操作か左手操作かを判別することができる。

ｂ）次に、手情報の登録処理を説明する。
図９に示すように、ステップ３００では、タッチパネル１３にかざした運転者の手を撮影し、その手の画像を入力する。

続くステップ３１０では、入力した運転者の手の画像から、手のしわの状態を示す手相データと手の輪郭のデータを求め、運転者データＡを作成する。
続くステップ３２０では、タッチパネル１３にかざした助手席者の手を撮影し、その手の画像を入力する。

続くステップ３３０では、入力した助手席の手の画像から、手相データと手の輪郭のデータを求め、助手席者データＢを作成する。
続くステップ３４０では、運転者データＡと助手席者データＢを、ナビゲーション装置１のハードディスク等のメモリに記憶し、一旦本処理を終了する。

ｃ）次に、操作者の判別処理を説明する。
図１０に示す様に、ステップ４００では、撮影装置９にて撮影された画像から、操作者の手画像（サブ画面）を抽出する。

続くステップ４１０では、手画像から操作者の手相データと手の輪郭データを求め、操作者データＣを作成する。
続くステップ４２０では、操作者データＣと運転者データＡの相関を調べ、その相関が所定以上の大きなものであるか否か、即ち操作者と運転者が一致したか否かを判定する。ここで肯定判断されるとステップ４３０に進み、一方否定判断されるとステップ４４０に進む。

ここで、両者の相関の程度は、例えば下記の様にして求めることができる。
まず、２つの画像をＡ、Ｂとする。
どちらの画像の画素数もｎ個だとして、それぞれの画素の値（サンプル）を、｛a1、a2、・・an｝、｛b1、b2、・・bn｝と表す。

それぞれの全画素の平均値を、Ａａ、Ｂａとする。
また、次の様な２つのｎ次元ベクトルを用意する（偏差をベクトルとする）。
ｘ＝｛a1−Aa、a2−Aa、・・an−Aa｝
ｙ＝｛b1−Ba、b2−Ba、・・bn−Ba｝
この場合、２つの相関関数は、次の式で表すことができる。

ｐ＝（ｘ・ｙ）／（｜ｘ｜＊｜ｙ｜）
（ｘ・ｙ）は、両ベクトルの内積
｜ｘ｜、｜ｙ｜は、それぞれのベクトルの長さ
ここで、ｐは−１．０から１．０までの値をとり、１．０に近いほど相関関係が強いと言える。逆に、−１に近いほど逆の相関関係が強いと言える。また、０に近ければ、相関関係は弱いと言える。

ステップ４３０では、運転者の操作であると確定して、フラグ等をセットし、一旦本処理を終了する。
一方前記ステップ４２０にて否定判断されて進むステップ４４０では、操作者データＣと助手席者データＢの相関を調べ、その相関が所定以上の大きなものであるか否か、即ち操作者と助手席者が一致したか否かを判定する。ここで肯定判断されるとステップ４５０に進み、一方否定判断されるとステップ４６０に進む。

ステップ４５０では、助手席者の操作であると確定して、フラグ等をセットし、一旦本処理を終了する。
一方、ステップ４６０では、運転者の操作か助手席者の操作かは不明であるとして、どちらかの操作であると判断せずに、一旦本処理を終了する。

ｄ）この様に、本実施形態では、登録した手情報に基づいて操作者の判定を行うので、判定精度が高いという利点がある。
なお、本実施形態の判定手法に加え、前記第１実施形態の判定手法を行うと、一層判定精度が向上するので好適である。

［第３実施形態］
次に、第３実施形態について説明するが、前記第１実施形態と同様な内容の説明は省略する。

本実施形態は、表示装置として、運転席側と助手席側から見た場合に異なる画像を表示可能な２画面表示装置を用いるものである。
ａ）まず、本実施形態のプロンプター式操作装置が用いられるカーナビゲーション装置の概略構成を説明する。

図１１に示す様に、カーナビゲーション装置４１は、車室内に配置され、表示装置４３、プロンプター式操作装置４５などから構成される。
前記表示装置４３は、運転席側と助手席側から見た場合に異なる画像を表示可能な２画面表示装置である。つまり、図１２に示す様に、表示装置４３の同一のディスプレイ４４を用いて、運転席側から見た場合には、その第１表示画面にナビ画像等を表示し、助手席側から見た場合には、第２表示画面に映画等のＤＶＤ画像やＴＶ画像等を表示するものである。

前記プロンプター式操作装置４５は、カーナビゲーション装置４１の操作を行うために、前記第１実施形態と同様に、照明装置４７、撮影装置４９、制御部５１、操作入力部（タッチパネル）５３などから構成されている。

このうち、前記制御部５１には、ＣＰＵ５３、表示装置３の第１表示画面の描画を行う描画回路Ａ、第２表示画面の描画を行う描画回路Ｂ、スピーカ５５の音声アンプ５７等を備えている。

この制御部１１には、更に、ボタンスイッチ５９、地図データを記憶しているハードディスク等の地図データ入力機器６１、ＤＶＤデータを記憶しているハードディスク等のＤＶＤ入力機器６３等が接続されている。

ｂ）次に、制御部５１にて行われる特徴的な処理の手法について説明する。
・図１３（ａ）に示す様に、運転席側から見ることができる第１表示画面にナビ画像が表示されている場合は、助手席者の手画像の重畳表示を禁止し、運転者の手画像を重畳表示する。なお、この表示は停車中に限られる。

つまり、運転席側から見ることができる第１表示画面にナビ画像が表示されている場合には、助手席者の手画像を重畳表示することは禁止されるので、図１４（ａ）に示す様に表示されることはない。

図１３（ｂ）に示す様に、助手席側から見ることができる第２表示画面にＤＶＤ画像が表示されている場合は、運転者の手画像の重畳表示を禁止し、助手席者の手画像を重畳表示する。なお、このときは停車中でも走行中でもよい。

つまり、助手席側から見ることができる第２表示画面にＤＶＤ画像等が表示されている場合には、運転席者の手画像を重畳表示することは禁止されるので、図１４（ｂ）に示す様に表示されることはない。

・また、図１５（ａ）に示す様に、運転者の手と助手席者の手の両方がタッチパネル５３上にある場合に、両方の手が離れているときには、両方の手画像が別々に抽出されることになるので、各手画像を前記図１３に示す様に、第１表示画面と第２表示画面に分けて表示することができる。

しかし、図１５（ｂ）に示す様に、運転者の手と助手席者の手が、タッチパネル５３上で交差した場合には、両方の手画像が一体となった画像が得られる。
従って、この一体画像を、図１６（ａ）に示す様に第１表示画面に表示したり、図１６（ａ）に示す様に第２表示画面に表示すると、どのスイッチを操作しようとしているかが不明瞭となるので、図１６のように表示することは好ましくない。なお、図１６では、両手画像が線描にて区別されて描いてあるが、撮影装置４９にて撮影された画像を２値化した画像では、両手画像が一体となった画像（一体画像）が得られる。

そこで、一体画像である場合には、図１７に示す様に、各手画像のデータを利用して各手画像を分離する処理を行って、前記図１３に示す様に各画面ごとに分けて表示する。
この一体画像を右手と左手に分離する方法としては、下記の方法を採用できる。

タッチパネル５３に対して、運転者の手と助手席者の手は異なる方向から入ってくるので、右手と左手が交差するまでは、右手の画像と左手の画像は分離している。従って、運転者の初期の手画像データと助手席者の初期の手画像データを記憶しておき、例えば一体画像から運転者の手画像（或いは助手席者の手画像）のみを抽出する。

ｃ）次に、制御部５１にて行われる具体的な処理について説明する。
図１８に示す様に、ステップ５００では、操作者の手を撮影した画像を入力し、手画像を抽出する。

続くステップ５１０では、２画面を表示する２画面モードか否かを判定する。ここで肯定判断されるとステップ５２０に進み、一方否定判断されるとステップ６１０に進む。
ステップ６１０では、１画面モードであるので、手の重畳表示を許可し、前記第１又は第２実施形態と同様な処理を行って、一旦本処理を終了する。

一方、ステップ５２０では、運転者の手画像と助手席者の手画像が重畳した一体画像か否かを、例えば後述する図１９及び図２０に示す手法にて判定する。ここで肯定判断されるとステップ５３０に進み、一方否定判断されるとステップ５５０に進む。

ステップ５３０では、両者の手が重なりあった一体画像であるので、例えば後述する図２１に示す手法にて、運転者の手画像と助手席者の手画像を分離する。
続くステップ５４０では、運転者の視聴画面（第１表示画面）に運転者の手画像を重畳表示するとともに、助手席者の視聴画面（第２表示画面）に助手席者の手画像を重畳表示し、一旦本処理を終了する。

一方、前記ステップ５２０で否定判断されて進むステップ５５０では、運転者の手画像と助手席者の手画像が重畳した一体画像ではないので、（手画像が重畳しない状態での）運転者及び助手席者の同時操作か否かを、入力された手画像から判定する。ここで肯定判断されると前記ステップ５４０に進んで、同様な表示を行い、一方否定判断されるとステップ５６０に進む。

ステップ５６０では、運転者単独の操作か否かを、上述した例えば手の特徴や手の動きなどにより判定する。ここで肯定判断されるとステップ５７０に進み、一方否定判断されるとステップ５８０に進む。

ステップ５７０では、運転者の視聴画面（第１表示画面）に運転者の手画像を重畳表示し、一旦本処理を終了する。
一方、ステップ５８０では、助手席者単独の操作か否かを、例えば手の特徴や手の動きなどにより判定する。ここで肯定判断されるとステップ５９０に進み、一方否定判断されるとステップ６００に進む。

ステップ５９０では、助手席者の視聴画面（第２表示画面）に助手席者の手画像を重畳表示し、一旦本処理を終了する。
一方、ステップ６００では、運転者の手も助手席者の手も認識されないので、手の重畳表示をすることなく、一旦本処理を終了する。

ｄ）次に、前記ステップ５２０における重畳画像の判定処理について説明する。
図１９に示す様に、ステップ７００では、手画像データを取り込み、手領域を抽出する（入力データＸ：図２０左図参照）。

続くステップ７１０では、予めメモリに格納してある片手（例えば左手を示す図２０の右図参照）の手領域データベース（参照データＹ）を参照する。
続くステップ７２０では、入力データＸと参照データＹを用いて、例えば手領域の輪郭形状の違いから、手が重なっているか否かを判別する。具体的には、例えば入力データＸと参照データＹとの相関（ｐ）をとり、その相関が０．７以下か否かを判定する。ここで、肯定判断されるとステップ７３０に進み、一方否定判断されるとステップ７４０に進む。

なお、入力データＸと片手の参照データＹとを比較する場合には、右手及び左手のそれぞれ一方と順次比較する。また、手の動きを捕捉することにより、より高い精度で判別が可能である。

ステップ７３０では、片手のデータとの相関が低いので、即ち手が重なっていると判断できるので、そのことを示すフラグ等を設定し、一旦本処理を終了する。
一方、ステップ７４０では、片手のデータとの相関が高いので、即ち手が重なっていないと判断できるので、そのことを示すフラグ等を設定し、一旦本処理を終了する。

ｅ）次に、前記ステップ５３０における重畳画像の分離処理について説明する。
図２１に示す様に、ステップ８００では、手画像データを取り込み、手領域を抽出する（入力データＸ：前記図２０左図参照）。

続くステップ８１０では、右手、左手の遠近差による画像の濃淡や、右手、左手の特徴差（親指位置）などから、右手／左手の手領域を推定する。なお、手の動きを捕捉することにより、より高い精度で判別が可能である。

ステップ８２０では、前記ステップ８１０の推定結果から、左手データか否かを判定する。ここで、肯定判断されるとステップ８３０に進み、一方否定判断されるとステップ８４０に進む。

ステップ８３０では、左手データであるので、（右ハンドルの場合の）運転者の手のデータであるとして、一旦本処理を終了する。
一方、ステップ８４０では、右手データであるので、（右ハンドルの場合の）助手席者の手のデータであるとして、一旦本処理を終了する。

ｆ）本実施形態では、表示装置が２画面表示装置であるので、タッチパネル５３に運転者の手と助手席者の手がかざされた場合には、その両者の手を認識し、運転者の手画像を運転者が視聴する第１表示画面に重畳表示するとともに、助手席者の手画像を助手席者が視聴する第２表示画面に重畳表示する。

従って、運転者と助手席者が同時にタッチパネル５３を操作した場合でも、適切な表示画面に各手画像を重畳表示することができる。
また、運転者の手と助手席者の手が交差して、その手画像が一体となった場合でも、運転者の手画像と助手席者の手画像を分離して、適切な表示画面にそれぞれ表示することができる。

以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。

第１実施形態の車載のプロンプター式操作装置の構成を示す説明図である。 プロンプター式操作装置の構成を示すブロック図である。 画像処理の手法を示す説明図である。 タッチパネルに運転者の手や助手席者の手がかざされた状態を示す説明図である。 （ａ）表示画面における運転者の動作を示す説明図、（ｂ）表示画面における助手席者の動作を示す説明図である。 第１実施形態における操作者判別の処理を示すフローチャートである。 画像データとして認識される手情報を示す説明図である。 第１実施形態における操作者判定の結果を用いた制御処理を示すフローチャートである。 第２実施形態における操作者の登録処理を示すフローチャートである。 第２実施形態における操作者判別の処理を示すフローチャートである。 第３実施形態のプロンプター式操作装置の構成を示すブロック図である。 ２画面表示装置の説明図である。 （ａ）第１表示画面における好ましい表示を示す説明図、（ｂ）第２表示画面における好ましい表示を示す説明図である。 （ａ）第１表示画面における好ましくない表示を示す説明図、（ｂ）第２表示画面における好ましくない表示を示す説明図である。 （ａ）タッチパネルに運転者の手と助手席者の手が分離してかざされた状態を示す説明図、（ｂ）タッチパネルに運転者の手と助手席者の手が重なってかざされた状態を示す説明図である。 （ａ）第１表示画面における好ましくない表示を示す説明図、（ｂ）第２表示画面における好ましくない表示を示す説明図である。 一体画像から運転者の手画像と助手席者の手画像とを分離する手法を説明する説明図である。 第３実施形態における操作者判別の処理を示すフローチャートである。 第３実施形態における両手画像の重畳画像の判別の処理を示すフローチャートである。 両手画像の重畳画像の判別に用いるデータを示す説明図である。 第３実施形態における両手画像の分離の処理を示すフローチャートである。

符号の説明

１、４１…ナビゲーション装置
３、４３…表示装置
５、４５…プロンプター式操作装置
７、４７…照明装置
９、４９…撮影装置
１１、５１…制御部（ナビゲーションＥＣＵ）
１３、５３…操作入力部（タッチパネル）

Claims (7)

1. 手による入力操作を検出する操作入力部からの信号を入力するとともに、前記操作入力部を操作する手を撮影した撮影部からの信号によって得られる手画像をサブ画面として、表示装置のメイン画面に重畳表示する車両用のプロンプター式操作装置において、
   前記表示装置は、運転席側から見える第１表示画面と助手席側から見える第２表示画面とを備え、前記第１表示画面と前記第２表示画面とによって、前記運転席側と前記助手席側とから見た場合に異なる画像を表示可能な２画面表示装置であり、
   前記撮影部によって撮影された手画像に基づいて、前記操作入力部が運転者により操作されているか助手席者により操作されているかを判定する操作者判定手段と、
   前記運転者の手画像と前記助手席者の手画像とが重なっているか否かを判定する重畳判定手段と、
   前記重畳判定手段によって、前記運転者の手画像と前記助手席者の手画像とが重なっていると判定された場合には、前記手画像を加工して、前記第１表示画面には前記運転者の手画像を重畳表示するとともに前記助手席者の手画像の重畳表示を禁止し、前記第２表示画像には前記助手席者の手画像を重畳表示するとともに前記運転者の手画像の重畳表示を禁止する表示制御手段と、
   を備えたことを特徴とするプロンプター式操作装置。
2. 手による入力操作を検出する操作入力部と、
   前記操作入力部を操作する手を撮影する撮影部と、
   を備え、
   前記撮影部によって撮影された手画像をサブ画面として、表示装置のメイン画面に重畳表示する車両用のプロンプター式操作装置において、
   前記表示装置は、運転席側から見える第１表示画面と助手席側から見える第２表示画面とを備え、前記第１表示画面と前記第２表示画面とによって、前記運転席側と前記助手席側とから見た場合に異なる画像を表示可能な２画面表示装置であり、
   前記撮影部によって撮影された手画像に基づいて、前記操作入力部が運転者により操作されているか助手席者により操作されているかを判定する操作者判定手段と、
   前記運転者の手画像と前記助手席者の手画像とが重なっているか否かを判定する重畳判定手段と、
   前記重畳判定手段によって、前記運転者の手画像と前記助手席者の手画像とが重なっていると判定された場合には、前記手画像を加工して、前記第１表示画面には前記運転者の手画像を重畳表示するとともに前記助手席者の手画像の重畳表示を禁止し、前記第２表示画像には前記助手席者の手画像を重畳表示するとともに前記運転者の手画像の重畳表示を禁止する表示制御手段と、
   を備えたことを特徴とするプロンプター式操作装置。
3. 前記操作者判定手段は、前記操作入力部が運転者により操作されているか助手席者により操作されているかを、前記操作入力部に伸びる手の特徴及び手の動きのうち少なく一方の手情報から判別することを特徴とする請求項１又は２に記載のプロンプター式操作装置。
4. 前記操作者判定手段は、前記操作入力部を操作する手画像から、手の輪郭及び指の位置のうち少なくとも一方の手情報を抽出し、この手情報から右手操作か左手操作かを判別することを特徴とする請求項３に記載のプロンプター式操作装置。
5. 前記操作入力部はセンターコンソールボックスの位置に配置されており、
   前記操作者判定手段は、前記操作入力部に伸びる手の動きから、手が運転者席側から伸びたか助手席側から伸びたかを判別することを特徴とする請求項３又は４に記載のプロンプター式操作装置。
6. 予め登録した運転者及び助手席者の少なくとも一方の、手の輪郭、手の表面の模様、指の形状、及び手の血管の配置の手情報のうち少なくとも１種から、前記操作入力部に伸びた手が運転者か助手席者かを判別することを特徴とする請求項３〜５のいずれかに記載のプロンプター式操作装置。
7. 前記手の輪郭、手の表面の模様、指の形状、及び手の血管の配置の手情報のうち少なくとも１種の手情報を、登録可能な機能を有することを特徴とする請求項６に記載のプロンプター式操作装置。