JP4244202B2 - 操作入力装置および操作入力方法 - Google Patents

Description

本発明は操作入力装置および操作入力方法に関し、特に、コンピュータ機器やナビゲーション装置などにオペレータ操作による入力指令を与える操作入力装置に用いて好適なものである。

従来、コンピュータ機器やナビゲーション装置などにオペレータ操作による入力指令を与える操作入力装置としては、キーボードやマウス、トラックボール、ジョイスティック等を備えたリモートコントローラ（リモコン）、タッチパネルなどが多用されている。これらの操作入力装置は何れも、実際に人手が触れることによって操作する接触型の入力デバイスであり、操作が面倒であった。

例えば、コンピュータ機器においてアプリケーションソフトを起動して作業を行う場合、文字入力等を行うためのキーボードと、位置指定等を行うためのマウスやトラックボールとを一々使い分ける必要があり、その使い分けが非常に面倒であった。また、車載のナビゲーション装置を操作する場合、運転者は安全のために車を停車して、ハンドルから手を離して一々リモコンのジョイスティックやタッチパネルを操作する必要があり、簡単に操作することができなかった。

これに対して、空間上の指の動きを検出して操作入力を行うようにした非接触型の技術も提案されている（例えば、特許文献１参照）。この特許文献１に記載の技術では、ディスプレイ画面に対応した所定の空間に赤外線を走査し、その空間内に入れられた指などの指示物に赤外線が照射されたことを赤外線センサにより検知する。そして、その指示物によって指定された空間上の位置をそのときの赤外線照射位置から求め、その空間上の位置に対応するディスプレイ画面上の箇所を位置決めして、その位置指定による所定の操作指令を出力する。
特開平８−２０２４８０号公報

しかしながら、上述した接触型および非接触型の操作入力装置の何れも、ディスプレイ画面に表示されているオブジェクトに対して操作入力を行うことができるのみであり、ディスプレイ画面の外側にあると想定されるオブジェクトを直接操作することはできない。

例えば、ナビゲーション装置の場合、ディスプレイ画面に表示されている地図は全体の中のほんの一部であり、その周囲には続きの地図が存在する。この地図情報のように、ディスプレイ画面外に想定される情報がディスプレイ画面内に表示されている情報から容易に想像でき、かつ、位置を推定できる地点が画面外にある場合でも、従来はその地点を直接操作することができなかった。そのため、推定される地点が画面内に入るまで画面のスクロール操作を繰り返す必要があり、非常に面倒であった。

また、コンピュータ機器やナビゲーション装置などにおけるコマンドの入力方法として、ディスプレイ画面に表示されるボタン状のポインティング領域をポイントする方法が広く使われている。例えば、タッチパネルであれば、ディスプレイ画面に表示されるボタン状のポインティング領域を指で触れることによってコマンドを入力する。

しかしながら、ポインティング領域の面積を大きくすると、地図や映画などの主たるコンテンツ情報を表示する面積が小さくなり、主たるコンテンツ情報が見にくくなってしまう。逆に、それを防ぐためにポインティング領域の面積を小さくすると、指などでポイントするための精度が求められ、操作がしにくくなってしまうという問題があった。このような問題は、ナビゲーション装置のようにディスプレイ画面のサイズがそれほど大きくない場合に顕著となる。

本発明は、このような実情に鑑みて成されたものであり、ディスプレイ画面の外側にあると想定される点やオブジェクトに対して操作入力を直接行うことができるようにすることを目的とする。
また、本発明は、主たるコンテンツ情報を表示する面積を大きくとりながら、ポインティング領域も小さくならず操作入力が行いやすくできるようにすることを目的とする。

上記した課題を解決するために、本発明では、ディスプレイ画面の外部に一定の大きさの延長面を想定し、ディスプレイ画面と延長面とを合わせた展開面を設定する。そして、その展開面に対して行われるポインティング動作を検出して、対応する操作指令を出力するようにしている。

上記のように構成した本発明によれば、ディスプレイ画面の内側だけでなく、ディスプレイ画面の外側に想定した延長面に対してもポインティング動作をすることが可能となるので、ディスプレイ画面の外側にあると想定される点やオブジェクトに対して操作入力を直接行うことができるようになる。

また、延長面の一部または全部を１以上の領域に分割してそれぞれをポインティング領域として設定し、それぞれのポインティング領域にコマンド実行等を割り当てておくことにより、ディスプレイ画面の内部はその殆どを主たるコンテンツ情報の表示用に使い、ディスプレイ画面の外部に想定した延長面をコマンド実行のポインティング領域として使用することができる。これにより、主たるコンテンツ情報を表示する面積を大きくとりながら、ポインティング領域も小さくならず操作入力が行いやすくなるようにすることができる。

（第１の実施形態）
以下、本発明の一実施形態を図面に基づいて説明する。図１は、第１の実施形態による操作入力装置の構成例を示す図である。図１に示すように、第１の実施形態の操作入力装置は、位置検出手段としての３次元イメージセンサ１と、ＣＰＵ２ａ、ＲＯＭ２ｂ、ＲＡＭ２ｃなどを備えて構成されるマイクロコンピュータ（以下、マイコンと記す）２と、ディスプレイ装置２０の表示制御を行う表示制御手段としてのディスプレイコントローラ３とを備えて構成されている。

３次元イメージセンサ１は、空間上における物体の３次元的な位置を検出するものである。例えば、物体にビームを照射し、反射して返ってくるビームを測定することで物体までの距離（物体の相対位置）を検出する。この３次元イメージセンサ１としては、例えば米国特許第６，５１５，７４０号明細書に開示されているような公知の技術を適用することが可能である。この米国特許に記載の技術を用いれば、３次元イメージセンサ１が設置された位置に対する物体の３次元的な相対位置を検出するだけでなく、物体の３次元的な形状を検出することが可能である。すなわち、物体に凹凸があって物体の表面上に３次元イメージセンサ１からの距離差が存在する場合には、その距離差に応じた位置情報を出力することによって、物体の３次元的な形状を検出することが可能である。

マイコン２が備えるＣＰＵ２ａは、操作入力装置の全体を制御する。ＲＯＭ２ｂは、操作入力装置の動作に必要な各種プログラムを記憶する。ＲＡＭ２ｃは、ＣＰＵ２ａによる各種処理の過程で得られるデータや、各種処理の結果得られるデータを一時的に格納する。すなわち、ＣＰＵ２ａは、ＲＯＭ２ｂに記憶された各種プログラムに従って、ＲＡＭ２ｃをワークメモリとして使用しながら、操作入力装置の動作を制御する。

図２は、マイコン２が有する機能構成を示すブロック図である。また図３は、本実施形態のポインティング空間を説明するための概念図である。図２に示すように、本実施形態のマイコン２は、その機能構成として、ポインティング空間設定部２１、指示物認識部２２、座標検出部２３、動き検出部２４および操作入力内容判定部２５を備えている。

ポインティング空間設定部２１は、図３に示すように、ディスプレイ装置２０の画面（以下、ディスプレイ画面３０と記す）の外部に一定の大きさの延長面３７を想定し、ディスプレイ画面３０と延長面３７とを合わせて展開面３８とする。そして、この展開面３８と、当該展開面３８から離れた場所にある所定の基準点３１とを結んで成る錐体上の仮想的なポインティング空間３２を設定。

ここで、基準点３１は、多くの場合に操作者が居ると予想される位置に設定する。例えば、本実施形態の操作入力装置を車載用ナビゲーション装置に適用する場合、運転席のヘッドレスト前の空間で、運転者の目の位置と想定される一点に基準点３１を設定するのが好ましい。図３はそのような状態を示している。すなわち、車載用ナビゲーション装置の場合、ディスプレイ画面３０はインパネの略中央に設置されるのに対し、運転席は車両の右寄り（または左寄り）に存在するので、ポインティング空間３２は図３のように斜めの錐体状となる。

この場合、ディスプレイ画面３０の位置と基準点３１の位置とがあらかじめ分かっているので（例えば、ＲＡＭ２ｃや他の図示しないメモリに情報として記憶しておく）、ポインティング空間３２は一意に決まる。

指示物認識部２２は、ポインティング空間３２の内にある物体を３次元イメージセンサ１により検知して、所定の指示物３４であることを認識する。本実施形態において、指示物３４は、棒状の突出物であるとする。例えば、操作者の指を１本だけ立てた状態のもの、操作者が持っている筆記具や指示具などが指示物３４に該当する。

３次元イメージセンサ１をディスプレイ画面３０の近傍に設置した場合、指示物３４はディスプレイ画面３０の方向、つまり３次元イメージセンサ１の方向に向けて操作されることになる。このとき、上述のように３次元イメージセンサ１は、物体までの距離に応じた位置情報を出力するので、棒状の物体が３次元イメージセンサ１の方向に向けられていると、当該棒状の物体の先端部分についてのみ近い位置情報が出力される。したがって、当該近い位置情報が出力されている部分を指示物３４が存在する位置として検出することが可能である。

また、展開面３８と基準点３１との間のポインティング空間３２の側方に３次元イメージセンサ１を設置した場合、指示物３４は３次元イメージセンサ１から見て横方向に向けて操作されることになる。上述のように、３次元イメージセンサ１は物体の３次元的な形状に応じて位置情報を出力することができる。したがって、指示物認識部２２は、３次元イメージセンサ１から出力される物体形状に応じた位置情報に基づいて、所定の長さ以上で、かつ、所定の太さ以下の物体がポインティング空間３２内に存在するか否かを判断し、存在する場合にはそれを指示物３４であると認識することが可能である。

座標検出部２３は、３次元イメージセンサ１により検出されるポインティング空間３２内における指示物３４の位置をもとに、写像関係を利用して展開面３８における対象点３６の座標を検出する。すなわち、座標検出部２３は、基準点３１の位置と指示物３４の位置とを通る線３５が展開面３８に交差する対象点３６を展開面３８の座標として、ポインティング空間３２内で認識され検出される指示物３４の位置から算出する。なお、３次元イメージセンサ１により検出される指示物３４の位置は、３次元イメージセンサ１から見た相対位置であるが、３次元イメージセンサ１自身の位置があらかじめ分かっているので、指示物３４の絶対位置も検出することが可能である。

座標検出部２３は、検出した対象点３６の座標情報をディスプレイコントローラ３に出力する。ディスプレイコントローラ３は、座標検出部２３より供給される対象点３６の座標情報に基づいて、当該座標情報が延長面３７上ではなくディスプレイ画面３０上のものであるときは、ディスプレイ画面３０上における対象点３６の座標位置に所定のマーク（例えば、矢印マークなど）を必要に応じて表示するように制御する。

また、当該座標情報が延長面３７上にあるときは、ディスプレイ画面３０の中央部と当該座標情報で示される対象点３６とを結ぶ線と、ディスプレイ画面３０の端部とが交わった点に、所定のマーク（例えば、当該対象点３６の方に向かう矢印マークなど）を表示するように制御しても良い。

動き検出部２４は、ポインティング空間３２内における指示物３４の３次元的な動きを検出する。上述のように、３次元イメージセンサ１はポインティング空間３２内にある物体の３次元的な位置情報を随時出力しており、指示物認識部２２によって物体が指示物３４か否かが検出されている。したがって、指示物３４に関する位置情報の変化を見ることによって、指示物３４の３次元的な動きを検出することが可能である。

操作入力内容判定部２５は、座標検出部２３により検出される展開面３８における対象点３６の座標と、動き検出部２４により検出される指示物３４の３次元的な動きとに基づいて、操作者によって行われた指示物３４による操作入力内容を判定し、対応する操作指令を出力する。

例えば、図４に示すように、ポインティング空間３２内において、指示物３４が、展開面３８の所定の座標範囲内で所定の速度以上で展開面３８に近づく動きをしたとき、操作入力内容判定部２５はポインティング開始動作が行われたと判定する。また、ポインティング空間３２内において、指示物３４が、展開面３８の所定の座標範囲内で所定の速度以上で展開面３８から遠ざかる動きをしたときは、ポインティング解除動作が行われたと判定する。

さらに、ポインティング空間３２内において、指示物３４が、上述のポインティング開始動作をした後、所定の時間内にポインティング解除動作をしたときには、クリック動作が行われたと判定する。また、ポインティング空間３２内において、指示物３４が、上述のポインティング開始動作をした後、ポインティング解除動作をせずに、座標検出部２３により検出される展開面３８上の対象点３６の座標が移動する動きをしたときには、ドラグ動作が行われたと判定し、展開面３８での座標上の動き量をドラグ量として検出する。

操作入力内容判定部２５は、検出した操作入力内容を示す情報をディスプレイコントローラ３に出力する。例えば、操作入力内容判定部２５は、対象点３６の座標位置に存在するオブジェクト（例えばＧＵＩによる操作ボタン）に向けてクリック動作が行われたと判断した場合、その操作ボタンに割り当てられている処理を実行するための操作指令を出力する。また、操作入力内容判定部２５は、対象点３６の座標位置に存在するオブジェクト（例えばアイコン）に対してドラグ動作が行われたと判断した場合、当該オブジェクトをドラグ量だけドラグされた方向に移動させる操作指令をディスプレイコントローラ３に出力する。

地図表示を行うナビゲーション装置に本実施形態の操作入力装置を適用した場合、ポインティング開始動作によって指示された地点がドラグ量だけドラグされた方向に移動するように地図全体をスクロールするための操作指令をディスプレイコントローラ３に出力するようにしても良い。

ディスプレイコントローラ３は、操作入力内容判定部２５より供給される情報に基づいて、ディスプレイ画面３０上の表示を制御する。例えば、操作入力内容判定部２５によりドラグ動作が行われたと判定されたときに、座標検出部２３により検出された展開面３８上の対象点３６の座標位置にあるオブジェクト（延長面３７上の座標位置が指示されているときはその延長面３７上にあると想定されるオブジェクト）を、ドラグ量だけドラグされた方向に移動させるように表示を制御する。

あるいは、本実施形態の操作入力装置をナビゲーション装置に適用した場合において、操作入力内容判定部２５によりドラグ動作が行われたと判定されたときに、座標検出部２３により検出された展開面３８上の対象点３６の座標位置にある地点（延長面３７上の座標位置が指示されているときはその延長面３７上にあると想定される地点）がドラグ量だけドラグされた方向に移動するように、地図全体をスクロールするような表示を制御する。

図５は、ドラグ操作が行われた場合の動作例を示す図である。なお、この図５は、本実施形態の操作入力装置をナビゲーション装置に適用した場合の動作例を示すものであり、ディスプレイ画面３０と延長面３７の一部とを図示している。図５に示すように、本実施形態によれば、ディスプレイ画面３０の外部に想定される地点を指示物３４によりポイントし（図５（ａ））、ドラグ動作をすることによって（図５（ｂ））、ディスプレイ画面３０の外部にある地点がディスプレイ画面３０の中に入るように画面をスクロールさせることができる。

なお、図５では画面外部の地点をドラグ動作により画面内部にスクロールする例について説明したが、これに限定されない。例えば、画面外部の地点をクリックすることにより、クリックされた地点が画面内の所定の位置に自動的に移動するように画面をスクロールさせるようにしても良い。画面内の所定の位置としては、例えば画面中央、車両の現在位置（車両位置マークが表示されている位置）、カーソルが表示されている位置などが考えられる。

図６は、クリック操作が行われた場合の動作例を示す図である。図６に示す例では、ポインティング空間設定部２１は、延長面３７の一部を複数の領域に分割してそれぞれをポインティング領域５１として設定している。それぞれのポインティング領域５１には、所定の処理を実行するための仮想的操作ボタンが割り当てられている。また、延長面３７にポインティング領域５１が存在することを操作者に知らせるために、ディスプレイ画面３０の外周部に沿って、ポインティング領域５１が存在する位置に対応して帯状の操作受付領域５２がディスプレイ画面３０に表示されている。

この場合、操作者は、ディスプレイ画面３０の外部の延長面３７上にあるポインティング領域５１に対してクリック動作をすることによって、コマンドの実行を指示することができる。この場合に操作入力内容判定部２５は、延長面３７上のどのポインティング領域５１がクリックされたかを判定し、クリックされたポインティング領域５１に対応するコマンドの実行指令を出力する。このようにすれば、ディスプレイ画面３０上で主たるコンテンツ情報を表示する面積（操作受付領域５２以外の領域の面積）を大きくとりながら、ポインティング領域５１も小さくならないようにし、操作入力を行いやすくすることができる。

なお、図６では延長面３７の一部を複数のポインティング領域５１に分割する例を示しているが、延長面３７の全部を複数のポインティング領域５１に分割するようにしても良い。また、延長面３７の一部または全部にポインティング領域５１を１つだけ設けるようにしても良い。また、ポインティング領域５１に対してポインティング開始動作が行われたときに、対応する操作受付領域５２をディスプレイ画面３０内にポップアップ表示するようにしても良い。

次に、上記のように構成した本実施形態による操作入力装置の動作について説明する。図７は、本実施形態による操作入力装置の動作を示すフローチャートである。図７において、まず、３次元イメージセンサ１により空間上における物体の３次元的な位置を検出する（ステップＳ１）。そして、その物体がポインティング空間３２の中にあるか否かを指示物認識部２２により判定する（ステップＳ２）。物体がポインティング空間３２内にあるとき、指示物認識部２２は、その物体が指示物３４か否かを更に判定する（ステップＳ３）。物体がポインティング空間３２内にない場合、または、物体がポインティング空間３２内にあってもそれが指示物３４でない場合は、ステップＳ１の処理に戻る。

指示物認識部２２によりポインティング空間３２内の指示物３４が認識された場合、ポインティング空間３２内における指示物３４の３次元的な動きを動き検出部２４により検出する（ステップＳ４）。また、３次元イメージセンサ１により検出されたポインティング空間３２内における指示物３４の位置をもとに、写像関係を利用して展開面３８における対象点３６の座標を座標検出部２３により算出する（ステップＳ５）。なお、このステップＳ４の処理とステップＳ５の処理は順番が逆でも良い。

最後に、操作入力内容判定部２５は、動き検出部２４により検出された指示物３４の３次元的な動きと、座標検出部２３により検出された指示物３４の位置に対応する展開面３８における対象点３６の座標とに基づいて操作入力内容を判定し、対応する操作指令を出力する（ステップＳ６）。すなわち、所定の動きがあったかどうかでクリック動作やドラグ動作を判定し、その動作に対応する操作指令を出力する。

以上詳しく説明したように、本実施形態によれば、ディスプレイ画面３０の内側だけでなく、ディスプレイ画面３０の外側に想定した延長面３７に対してもポインティング動作をすることが可能となるので、ディスプレイ画面３０の外側にあると想定される点やオブジェクトに対してクリック動作やドラグ動作を直接行うことができるようになる。

これにより、図５に示したように、ディスプレイ画面３０の外部に想定される地点をポイントしてドラグ動作あるいはクリック動作することにより、画面外の想定地点が画面内に入るまで画面内での操作を何度も繰り返す必要がなく、所望の地点を画面のスクロールによって画面内へと簡単に移動させることもできる。

また、図６に示したように、延長面３７の一部または全部を１以上の領域に分割してそれぞれをポインティング領域５１として設定し、それぞれのポインティング領域５１にコマンド実行等を割り当てておくことにより、ディスプレイ画面３０の内部は殆どの領域を主たるコンテンツ情報の表示用に使い、ディスプレイ画面３０の外部に想定した延長面３７をコマンド実行のポインティング領域５１として使用することができる。これにより、主たるコンテンツ情報を表示する面積を大きくとりながら、ポインティング領域５１も小さくならず操作入力が行いやすくなるようにすることができる。

また、本実施形態によれば、空間上で指などの指示物３４が、従来のように平面状に固定された場所で検知されるのではなく、錐体状のポインティング空間３２内において検知され、その位置と動きに応じて操作内容が判定される。これにより、平面状に固定された空間面に指などの指示物３４をわざわざ移動させるといった面倒な操作を行う必要がなく、ポインティング空間３２内であれば好きな場所で操作入力を行うことが可能となる。

また、本実施形態によれば、展開面３８上における対象点３６の座標は、指示物３４が存在する位置を写像して得られるので、操作者が展開面３８に対してどのような位置にいても、操作入力に誤差が生じるという不都合を最小限にできる。

また、本実施形態によれば、ポインティング空間３２内で検出される物体のうち、所定の指示物３４として認識されたものだけを対象として操作入力内容の判定が行われるので、ポインティング空間３２内を指示物３４以外の物体が移動したとしても、操作入力があったと判定されることはない。また、操作入力内容に対応する指示物３４の動きを限定しているので、指示物３４の操作入力に対応する動きとそれ以外の動きとが区別され、ポインティング空間３２内を指示物３４が偶然に移動したとしても、意図しない動きであれば操作入力があったと判定されることはない。これにより、ユーザの意図に反して操作入力が行われてしまうという不都合を防止することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図８は、第２の実施形態による操作入力装置の構成例を示す図である。なお、この図８において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図８に示すように、第２の実施形態の操作入力装置は、位置検出手段として２つの３次元イメージセンサ１_-1，１_-2を備えている。一方の３次元イメージセンサ１_-1は、第１の実施形態と同様に、ポインティング空間３２内にある指示物３４の３次元的な位置を検出するために使用する。他方の３次元イメージセンサ１_-2は、操作者の目の３次元的な位置を検出するために使用する。

図９は、第２の実施形態のポインティング空間３２を説明するための概念図である。図９に示すように、第２の実施形態では、他方の３次元イメージセンサ１_-2により検出される操作者の目の位置に所定の基準点３１を設定している。すなわち、第２の実施形態によるポインティング空間３２は、展開面３８と操作者の目の位置３１とを結んで成る錐体状の空間である。

図１０は、第２の実施形態によるマイコン２の機能構成例を示すブロックである。なお、この図１０において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図１０に示すように、第２の実施形態では、マイコン２の機能構成として、基準点認識部２６を備えている。また、図２に示したポインティング空間設定部２１とは異なる機能のポインティング空間設定部２７を備えている。

基準点認識部２６は、他方の３次元イメージセンサ１_-2より出力される情報に基づいて、基準点３１とすべき操作者の目を認識する。また、ポインティング空間設定部２７は、認識された操作者の目の位置を基準点３１としたポインティング空間３２を設定する。ポインティング空間３２を規定するもう１つの要素である展開面３８の位置情報は、あらかじめＲＡＭ２ｃなどのメモリに登録しておく。本実施形態において、指示物認識部２２は、一方の３次元イメージセンサ１_-1より出力されるポインティング空間３２の内にある物体の位置情報に基づいて、指示物３４を認識する。

以上のように、３次元イメージセンサ１_-2により検出される操作者の目の位置をポインティング空間３２の基準点３１として設定した場合には、操作者が移動すると、移動した目の位置に合わせてポインティング空間３２も移動することになる。これにより、操作者が展開面３８に対してどのような場所に移動しても、従来のように固定された空間面に指などの指示物３４をわざわざ移動させるといった面倒な操作を行う必要がなく、使い勝手を更に向上させることができる。また、操作者が展開面３８に対してどのような場所に移動しても、操作者は常に展開面３８を見込んで操作することになるので、操作入力に誤差が生じるという不都合を最小限に抑えることもできる。

なお、基準点３１として使用する操作者の目の位置は、効き目の位置であることが好ましい。図１１（ａ）のようにディスプレイ画面３０を両目で見た場合、ディスプレイ画面３０と操作者との間にある指示物３４は二重に見える。これは、図１１（ｂ）および（ｃ）に示すように、指示物３４と共にディスプレイ画面３０を右目で見た場合と左目で見た場合とで、指示物３４の見える位置が異なるためである。

一般に、視差によって像が二重に見えるとき、効き目で見た像が判断に作用すると言われる。例えば、効き目が右目の場合、両目を開いて、ある目標を指先で指したとき、左目を閉じても指先は目標からずれないが、右目を閉じると指先は目標からずれた位置になる。したがって、ポインティング空間３２の錐体を、操作者の効き目から展開面３８を見込む錐体とすることにより、指示物３４が二重に見えても、指示している対象点３６が意図通りの点となるようにすることができる。

操作者の効き目がどちらであるかは、例えばキーボードやマウス、ジョイスティックなどの入力デバイス（図示せず）を使用して事前にマイコン２のＲＡＭ２ｃあるいは図示しない他のメモリなどに登録しておけば良い。この場合、指示物認識部２２は、事前に登録された効き目の情報に従って、他方の３次元イメージセンサ１_-2より出力される情報に基づいて効き目を認識する。そして、ポインティング空間設定部２７は、効き目を基準点３１としたポインティング空間３２を設定する。

なお、第２の実施形態では操作者の目の位置を基準点３１に設定する例について説明したが、鼻の位置、口の位置、顔の中央などに基準点３１を設定するようにしても良い。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、図１に示した第１の実施形態と同様に、位置検出手段としては１つの３次元イメージセンサ１を使用する。また、第３の実施形態によるマイコン２の機能構成は、図１２に示すブロック図の通りである。なお、この図１２において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図１２に示すように、第３の実施形態では、マイコン２の機能構成として、図２に示したポインティング空間設定部２１とは異なる機能のポインティング空間設定部２８を備えている。ポインティング空間設定部２８は、操作者が指示物３４を自然に操作しやすいポインティング空間３２が設定されるような位置に基準点３１を設定する。具体的には、ポインティング空間設定部２８は、ディスプレイコントローラ３に指令を出して図１３に示すような基準点３１のキャリブレーション画面をディスプレイ画面３０に表示する。このキャリブレーション画面の四隅には、所定のマーク４０が表示されている。

操作者は、四隅のマーク４０に対して空間上でポインティング動作（例えば、ポインティング開始動作あるいはクリック動作）を行う。操作者によって四隅のマーク４０に対してポインティング動作が行われたら、ポインティング空間設定部２８は、四隅のマークごとに、操作者がポインティング動作を開始したときまたは終了したときの指示物３４の位置を３次元イメージセンサ１によりそれぞれ検出し、それら４つの位置を結んで成る平面を特定する。さらに、ポインティング空間設定部２８は、展開面３８と、ディスプレイ画面３０の四隅のマーク３０をそれぞれポインティング動作したときの指示物３４の位置を結んで得られる平面との双方を断面として持つ錐体を想定し、その頂点に当たる位置を基準点３１に設定する。こうして得られた基準点３１と展開面３８とを結んで成る錐体をポインティング空間３２として設定する。

上述した第２の実施形態では、展開面３８上で操作したい対象点３６と操作者の目の位置と想定される基準点３１とを結んだ直線３５の上に必ず指などの指示物３４を置いてポインティング動作する必要がある。これに対して、第３の実施形態によれば、図１３のようなキャリブレーション画面を使ってディスプレイ画面３０の四隅をポインティング動作するときに、その操作者が一番操作しやすい自然な位置に指示物３４を置いてポインティング動作をすると、その四隅で規定される平面が必ず含まれるポインティング空間３２が設定される。したがって、個々の操作者に合わせて、操作者が操作入力しやすい位置にポインティング空間３２を設定することができ、空間上におけるヒューマンインタフェースの使い勝手を更に向上させることができる。

また、四隅のマーク４０のポインティング動作は、一般に、無意識的に効き目を利用して行っているので、第２の実施形態のように入力デバイスを使用して事前に効き目をメモリに登録しなくても良く、四隅のマーク４０のポインティング動作時に効き目を自動的に設定することと等価になる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第４の実施形態は、上記第２の実施形態と第３の実施形態とを組み合わせたものである。すなわち第４の実施形態では、一方の３次元イメージセンサ１_-1を用いて、第３の実施形態と同様の動作でキャリブレーション時の指示物３４の動きを検出し、基準点３１を求めてこれを初期値に設定する。また、第２の実施形態と同様の動作で他方の３次元イメージセンサ１_-2により操作者の目、鼻、口、顔の中央などの動きを検出し、その動きに応じて基準点３１を初期値から移動させるようにする。

このようにすることにより、操作者が移動すると、移動した目などの位置に合わせてポインティング空間３２も移動することになる。これにより、操作者が展開面３８に対してどのような場所に移動しても、ポインティング空間３２の移動が追随する限り、操作者の操作性は変化しないので、使い勝手を向上させることができる。また、操作者が展開面３８に対してどのような場所に移動しても、操作者は常に展開面３８を見込んで操作することになるので、操作入力に誤差が生じるという不都合を最小限に抑えることもできる。

なお、上記第１〜第４の実施形態では、展開面３８と基準点３１とを結んで成るポインティング空間３２を設定し、当該ポインティング空間３２の内部でポインティング動作をする例について説明したが、これに限定されない。例えば、展開面３８上でポインティング動作するようにしても良い。

また、上記第１〜第４の実施形態では、位置検出手段として３次元イメージセンサを用いる例について説明したが、この例に限定されない。例えば、ステレオカメラを用いても良い。図１４は、位置検出手段としてステレオカメラを用いた場合における物体の位置検出方法を説明するための図である。

図１４に示すように、例えばディスプレイ画面３０の右側に、指示物３４があるポインティング空間３２の方向に向けて基準のカメラ４１を設置するとともに、例えばディスプレイ画面３０の左側に、指示物３４があるポインティング空間３２の方向に向けて補助のカメラ４２を設置する。これら２台のカメラ４１，４２は等しい光学系を持っており、距離ｄ、角度θを持って光軸が交差するように設置する。

ここで、指示物３４が基準カメラ４１の撮像面に結像した結像点Ａ１の位置を（ｘ１，ｙ１）、指示物３４が補助カメラ４２の撮像面に結像した結像点Ａ２の位置を（ｘ２，ｙ２）とする。また、各カメラ４１，４２が持つレンズ４１ａ，４２ａの焦点距離をＦとすると、ディスプレイ画面３０から見た指示物３４の３次元的な位置（ｘ，ｙ，ｚ）は、以下の式により求めることができる。
ｘ＝ｄ・ｘ１・Ｇ（ｘ２）／Ｈ（ｘ１，ｘ２）
ｙ＝ｄ・ｙ１・Ｇ（ｙ２）／Ｈ（ｙ１，ｙ２）
ｚ＝ｄ・Ｆ・Ｇ（ｘ１）／Ｈ（ｘ１，ｘ２）
ここで、Ｇ（ｘ１）＝Ｆ・sinθ・ｘ１（１−cosθ）
Ｈ（ｘ１，ｘ２）＝（Ｆ＋ｘ１・ｘ２）sinθ＋Ｆ（ｘ１−ｘ２）cosθ

また、上記第１〜第４の実施形態では、ポインティング空間３２の基準点３１を１箇所に設ける例について説明したが、基準点３１を複数箇所に設定して複数のポインティング空間３２を設定するようにしても良い。また、操作者の位置に合わせて基準点３１の位置を切り替えるようにしても良い。例えば、上記第１の実施形態の操作入力装置を車載ナビゲーション装置に適用する場合、運転席、助手席、後部席の付近に設けた所定の位置の何れかに基準点３１を切り替えられるようにする。また、上記第２の実施形態の操作入力装置を車載ナビゲーション装置に適用する場合、運転席、助手席、後部席に座っている操作者の目の位置の何れかに基準点３１を切り替えられるようにする。また、上記第３の実施形態の操作入力装置を車載ナビゲーション装置に適用する場合、運転席、助手席、後部席に座っている操作者がキャリブレーションにより設定した位置の何れかに基準点３１を切り替えられるようにする。また、第４の実施形態では上述の第２の実施形態と第３の実施形態との組み合わせで基準点３１を切り替えられるようにする。

また、上記第２の実施形態および第４の実施形態では、指示物３４を検出する一方の３次元イメージセンサ１_-1と、基準点３１を検出する他方の３次元イメージセンサ１_-2との２つを用いているが、指示物３４と基準点３１とが存在する両方の領域をカバーできる１つの３次元イメージセンサで同様の動作を行うようにしても良い。

また、上記第１〜第４の実施形態において、ポインティング空間設定部２１，２７，２８はポインティング空間３２を設定しているが、このポインティング空間３２内にポインティング面を更に設定するようにしても良い。図１５は、その場合のポインティング空間３２とポインティング面３３とを説明するための概念図である。

例えば第１の実施形態を例にとって説明すると、ポインティング空間設定部２１は、図１５に示すように、展開面３８と、当該展開面３８から離れた場所にある所定の基準点３１とを結んで成る錐体状の仮想的なポインティング空間３２を設定するとともに、展開面３８の座標をポインティング空間３２内に写像した空間面をポインティング面３３として設定する。

ここで、ポインティング面３３は、必ず展開面３８と操作者（基準点３１よりも前に居る）との間に設定される。このポインティング面３３は、操作者が指示物３４を使ってポインティング動作（ポインティング開始動作、ポインティング解除動作、クリック動作、ドラグ動作を含む）をしたときの当該指示物３４の先端（指先など）が存在する位置を含み、操作者が指示物３４を自然に動かしたときに指示物３４の軌跡が形作ると想定される平面または曲面である。

上述したように、第１の実施形態では、ディスプレイ画面３０の位置と基準点３１の位置とがあらかじめ分かっているので、ポインティング空間３２は一意に決まる。これに対して、ポインティング面３３は、ポインティング空間３２内における物体の動きに応じて動的に設定される。すなわち、ポインティング空間設定部２１は、ポインティング動作が行われる毎に上述のようなポインティング面３３を動的に設定する。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、コンピュータ機器やナビゲーション装置などにオペレータ操作による入力指令を与える操作入力装置に有用である。

第１の実施形態による操作入力装置の構成例を示す図である。 第１の実施形態によるマイコンが有する機能構成を示すブロック図である。 第１の実施形態によるポインティング空間を説明するための概念図である。 第１〜第４の実施形態によるポインティング動作の内容を説明するための図である。 ドラグ操作が行われた場合の動作例を示す図である。 クリック操作が行われた場合の動作例を示す図である。 第１〜第４の実施形態による操作入力装置の動作を示すフローチャートである。 第２の実施形態による操作入力装置の構成例を示す図である。 第２の実施形態によるポインティング空間を説明するための概念図である。 第２の実施形態によるマイコンが有する機能構成を示すブロック図である。 効き目について説明するための概念図である。 第３の実施形態によるマイコンが有する機能構成を示すブロック図である。 基準点のキャリブレーション画面を示す図である。 ステレオカメラを位置検出手段として用いた場合における物体の位置検出方法を説明するための図である。 第１の実施形態の変形例に係るポインティング空間とポインティング面とを説明するための概念図である。

符号の説明

１ ３次元イメージセンサ
２ マイコン
３ ディスプレイコントローラ
２１，２７，２８ ポインティング空間設定部
２２ 指示物認識部
２３ 座標検出部
２４ 動き検出部
２５ 操作入力内容判定部
２６ 基準点認識部
３０ ディスプレイ画面
３１ 基準点
３２ ポインティング空間
３３ ポインティング面
３４ 指示物
３６ 対象点
３７ 延長面
３８ 展開面

Claims (25)

1. ディスプレイ画面および当該ディスプレイ画面の外部に想定される延長面を含んで成る展開面と当該展開面から離れた場所にある所定の基準点とを結んで成る錐体状の仮想的なポインティング空間を設定するポインティング空間設定手段と、
   上記ポインティング空間内において行われるポインティング動作を検出し、対応する操作指令を出力するポインティング動作検出手段とを備えたことを特徴とする操作入力装置。
2. 上記ポインティング動作検出手段によりドラグ動作が行われたことが検出されたときに、上記ポインティング動作により指示された点がドラグ量だけドラグされた方向に移動するように画面をスクロール表示する表示制御手段を備えたことを特徴とする請求項１に記載の操作入力装置。
3. 上記ポインティング動作検出手段によりクリック動作が行われたことが検出されたときに、上記ポインティング動作により指示された点が上記ディスプレイ画面内の所定の位置に移動するように画面をスクロール表示する表示制御手段を備えたことを特徴とする請求項１に記載の操作入力装置。
4. 上記ポインティング空間設定手段は、上記延長面の一部または全部を１以上の領域に分割してそれぞれをポインティング領域として設定し、
   上記ポインティング動作検出手段は、上記ポインティング動作により指示されたポインティング領域に対応するコマンドの実行指令を出力することを特徴とする請求項１に記載の操作入力装置。
5. 上記ポインティング動作検出手段は、上記ポインティング空間内にある物体の３次元的な位置を検出する位置検出手段と、
   上記位置検出手段により検出される上記ポインティング空間内における上記物体の位置をもとに、写像関係を利用して上記展開面における対象点の座標を検出する座標検出手段と、
   上記ポインティング空間内における上記物体の３次元的な動きを検出する動き検出手段と、
   上記座標検出手段により検出される上記展開面における対象点の座標および上記動き検出手段により検出される上記物体の３次元的な動きに基づいて操作入力内容を判定し、対応する操作指令を出力する判定手段とを備えることを特徴とする請求項１に記載の操作入力装置。
6. 上記位置検出手段により検出される上記ポインティング空間内の物体が所定の指示物であることを認識する指示物認識手段を備え、
   上記座標検出手段は、上記指示物認識手段により上記指示物であると認識された物体について上記位置検出手段により検出される上記ポインティング空間内における位置をもとに、上記展開面における対象点の座標を検出し、
   上記動き検出手段は、上記指示物認識手段により上記指示物であると認識された物体の３次元的な動きを検出することを特徴とする請求項５に記載の操作入力装置。
7. 上記基準点は、上記位置検出手段により検出される操作者の目の位置であることを特徴とする請求項５に記載の操作入力装置。
8. 上記基準点は、上記位置検出手段により検出される操作者の効き目の位置であることを特徴とする請求項５に記載の操作入力装置。
9. 上記基準点は、上記展開面と、上記ディスプレイ画面の四隅をそれぞれ空間上でポインティング動作したときの上記指示物の位置を結んで得られる面との双方を断面として持つ錐体の頂点に当たる位置であることを特徴とする請求項６に記載の操作入力装置。
10. 上記ポインティング空間設定手段は、上記展開面と、上記ディスプレイ画面の四隅をそれぞれ空間上でポインティング動作したときの上記指示物の位置を結んで得られる面との双方を断面として持つ錐体の頂点に当たる位置を上記基準点の初期値として設定し、上記位置検出手段により検出される操作者の目の位置に基づき上記動き検出手段により検出される上記操作者の目の３次元的な動きに応じて、上記基準点を上記初期値から移動させるようにしたことを特徴とする請求項６に記載の操作入力装置。
11. ディスプレイ画面および当該ディスプレイ画面の外部に想定される延長面を含んで成る展開面、または、上記展開面を当該展開面から離れた空間上に写像した空間面を、ポインティング面として設定するポインティング面設定手段と、
    上記ポインティング面において行われるポインティング動作を検出し、対応する操作指令を出力するポインティング動作検出手段とを備えたことを特徴とする操作入力装置。
12. 上記ポインティング面設定手段は、上記展開面と当該展開面から離れた場所にある所定の基準点とを結んで成る錐体上の仮想的なポインティング空間を設定し、上記展開面の座標を上記ポインティング空間内の上記物体が存在する位置に写像した空間面を上記ポインティング面として設定することを特徴とする請求項１１に記載の操作入力装置。
13. 上記ポインティング面は、上記展開面と操作者との間にあり、上記操作者が上記ポインティング動作をしたときの上記指示物の位置を含み、上記操作者が上記指示物を自然に動かしたときに上記指示物の軌跡が形作ると想定される面であり、
    上記ポインティング面設定手段は、上記ポインティング動作が行われる毎に上記ポインティング面を設定することを特徴とする請求項１２に記載の操作入力装置。
14. ディスプレイ画面および当該ディスプレイ画面の外部に想定される延長面を含んで成る展開面と当該展開面から離れた場所にある所定の基準点とを結んで成る錐体状の仮想的なポインティング空間を設定する第１のステップと、
    上記第１のステップで設定された上記ポインティング空間内において行われるポインティング動作を検出し、対応する操作指令を出力する第２のステップとを有することを特徴とする操作入力方法。
15. 上記第２のステップでドラグ動作が行われたことが検出されたときに出力される上記操作指令に基づいて、上記ポインティング動作により指示された点がドラグ量だけドラグされた方向に移動するように画面をスクロール表示する第３のステップを有することを特徴とする請求項１４に記載の操作入力方法。
16. 上記第２のステップでクリック動作が行われたことが検出されたときに出力される上記操作指令に基づいて、上記ポインティング動作により指示された点が上記ディスプレイ画面内の所定の位置に移動するように画面をスクロール表示する第３のステップを有することを特徴とする請求項１４に記載の操作入力方法。
17. 上記第１のステップでは、上記延長面の一部または全部を１以上の領域に分割してそれぞれをポインティング領域として設定し、
    上記第２のステップでは、上記ポインティング動作により指示されたポインティング領域に対応するコマンドの実行指令を出力することを特徴とする請求項１４に記載の操作入力方法。
18. 上記第２のステップは、
    上記ポインティング空間内にある物体の３次元的な位置を検出する第４のステップと、
    上記ポインティング空間内における上記物体の３次元的な動きを検出するとともに、上記ポインティング空間内における上記物体の位置をもとに写像関係を利用して上記展開面における対象点の座標を算出する第５のステップと、
    上記物体の３次元的な動きおよび上記物体の位置に対応する上記展開面における対象点の座標に基づいて操作入力内容を判定し、対応する操作指令を出力する第６のステップとから成ることを特徴とする請求項１４に記載の操作入力方法。
19. 上記第４のステップで検出される上記ポインティング空間内の物体が所定の指示物であることを認識する第７のステップを有し、
    上記第５のステップでは、上記第７のステップで上記指示物であると認識された物体について、当該物体の３次元的な動きを検出するとともに、上記第４のステップで検出される上記ポインティング空間内における上記物体の位置をもとに上記展開面における対象点の座標を算出することを特徴とする請求項１８に記載の操作入力方法。
20. 上記基準点は操作者の目の位置に設定されることを特徴とする請求項１４に記載の操作入力方法。
21. 上記第１のステップは、上記ディスプレイ画面の四隅に所定のマークを表示して操作者にポインティング動作を促す第８のステップと、
    上記所定のマークをそれぞれ操作者が空間上でポインティング動作したときの上記物体の位置を結んで得られる面と上記展開面との双方を断面として持つ錐体を上記ポインティング空間として設定する第９のステップとから成ることを特徴とする請求項１４に記載の操作入力方法。
22. 上記第１のステップは、上記ディスプレイ画面の四隅に所定のマークを表示して操作者にポインティング動作を促す第８のステップと、
    上記所定のマークをそれぞれ操作者が空間上でポインティング動作したときの上記物体の位置を結んで得られる面と上記展開面との双方を断面として持つ錐体の頂点に当たる位置を上記基準点の初期値に設定して上記ポインティング空間を設定する第９のステップとから成り、
    上記空間上における上記操作者の目の位置を検出して上記操作者の目の３次元的な動きを検出する第１０のステップと、
    上記操作者の目の３次元的な動きに応じて、上記基準点を上記初期値から移動させ、当該移動した上記基準点と上記展開面とを結んで成る錐体を上記ポインティング空間として再設定する第１１のステップとを有することを特徴とする請求項１４に記載の操作入力方法。
23. ディスプレイ画面および当該ディスプレイ画面の外部に想定される延長面を含んで成る展開面、または、上記展開面を当該展開面から離れた空間上に写像した空間面を、ポインティング面として設定する第１のステップと、
    上記第１のステップで設定された上記ポインティング面において行われるポインティング動作を検出し、対応する操作指令を出力する第２のステップとを有することを特徴とする操作入力方法。
24. 上記第１のステップでは、上記展開面と当該展開面から離れた場所にある所定の基準点とを結んで成る錐体上の仮想的なポインティング空間を設定し、上記展開面の座標を上記ポインティング空間内の上記物体が存在する位置に写像した空間面を上記ポインティング面として設定することを特徴とする請求項２３に記載の操作入力方法。
25. 上記ポインティング面は、上記展開面と操作者との間にあり、上記操作者が上記ポインティング動作をしたときの上記指示物の位置を含み、上記操作者が上記指示物を自然に動かしたときに上記指示物の軌跡が形作ると想定される面であり、
    上記第１のステップでは、上記ポインティング動作が行われる毎に上記ポインティング面を設定することを特徴とする請求項２４に記載の操作入力方法。

Images