JP4274997B2

JP4274997B2 - 操作入力装置および操作入力方法

Info

Publication number: JP4274997B2
Application number: JP2004137384A
Authority: JP
Inventors: 謙二郎遠藤
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2004-05-06
Filing date: 2004-05-06
Publication date: 2009-06-10
Anticipated expiration: 2024-05-06
Also published as: CN1694056A; CN100363880C; JP2005321869A

Description

本発明は操作入力装置および操作入力方法に関し、特に、コンピュータ機器やナビゲーション装置などにオペレータ操作による入力指令を与える操作入力装置に用いて好適なものである。

従来、コンピュータ機器やナビゲーション装置などにオペレータ操作による入力指令を与える操作入力装置としては、キーボードやマウス、トラックボール、ジョイスティック等を備えたリモートコントローラ（リモコン）、タッチパネルなどが多用されている。これらの操作入力装置は何れも、実際に人手が触れることによって操作する必要があり、操作が面倒であった。

例えば、コンピュータ機器においてアプリケーションソフトを起動して作業を行う場合、文字入力等を行うためのキーボードと、位置指定等を行うためのマウスやトラックボールとを一々使い分ける必要があり、その使い分けが非常に面倒であった。また、車載のナビゲーション装置を操作する場合、運転者は安全のために車を停車して、ハンドルから手を離して一々リモコンのジョイスティックやタッチパネルを操作する必要があり、簡単に操作することができなかった。

これに対して、空間上の指の動きを検出して操作入力を行うようにした技術も提案されている（例えば、特許文献１参照）。この特許文献１に記載の技術では、ディスプレイ画面に対応した所定の空間に赤外線を走査し、その空間内に入れられた指などの指示物に赤外線が照射されたことを赤外線センサにより検知する。そして、その指示物によって指定された空間上の位置をそのときの赤外線照射位置から求め、その空間上の位置に対応するディスプレイ画面上の箇所を位置決めして、その位置指定による所定の操作指令を出力する。
特開平８−２０２４８０号公報

しかしながら、上記特許文献１に記載の技術では、操作入力すべき空間上の位置が赤外線の走査面に特定されているため、指などの指示物をその空間面にわざわざ移動させる必要がある。特に、操作者はディスプレイ画面に対して常に同じ位置に居るとは限らないにも関わらず、操作入力可能な空間はディスプレイ画面に対応した所定の空間に常に固定されている。そのため、操作者がどこにいても、決められた位置の空間面に指などの指示物をわざわざ移動させる必要があり、非常に使いにくいという問題があった。

また、操作入力装置を使用する操作者は一人であるとは限らず、体格の異なる操作者が操作を行う可能性もあるが、特許文献１に記載の技術では、上述のように操作入力可能な空間面は所定の位置に固定されている。しかし、操作者の手が届く範囲は体格によって差があり、空間面の位置によっては、小柄な操作者には操作入力が行いづらいという問題があった。また、空間面はディスプレイ画面に対して絶対的な位置関係で規定されているので、操作者の位置が変わると空間面を望む角度がまちまちとなり、操作入力に誤差が生じるという問題もあった。

さらに、上記特許文献１に記載の技術では、指示物の操作入力に対応する動きとそれ以外の動きとの区別がないので、空間面に指示物が入れられると全て操作入力であると判断されてしまい、ユーザの意図に反して操作入力が行われてしまうことがあるという問題もあった。

本発明は、このような問題を解決するために成されたものであり、決められた固定の空間に指などの指示物をわざわざ移動させる必要をなくし、使い勝手を向上させることを目的とする。
また、本発明は、操作者が居る位置に関係なく、どこからでも普通に操作入力ができるようにすることを目的とする。
また、本発明は、操作者が居る位置に関係なく、どこから操作しても誤差が生じにくくなるようにすることを目的とする。
また、本発明は、ユーザの意図に反する操作入力が行われてしまうという不都合を回避できるようにすることを目的とする。

上記した課題を解決するために、本発明では、物体の３次元的な位置を検出し、ディスプレイ画面と所定の基準点とを結んで成る仮想的なポインティング空間内における物体の３次元的な動きを検出するとともに、ポインティング空間内の物体が存在する位置をディスプレイ画面に写像して得られるディスプレイ画面における対象点の座標を算出し、物体の３次元的な動きおよび物体の位置に対応するディスプレイ画面における対象点の座標に基づいて操作入力内容を判定するようにしている。

また、本発明では、ポインティング空間内の物体が所定の指示物であることを認識し、指示物であると認識された物体について検出されるポインティング空間内における位置をもとに、当該指示物の３次元的な動きやディスプレイ画面における対象点の座標を検出するようにしている。

また、所定の基準点は、ディスプレイ画面の四隅をそれぞれ空間上でポインティング動作したときの指示物の位置であって一直線上には並ばない互いに異なる４点の位置と、ディスプレイ画面の四隅とをそれぞれ結んだ４本の直線を側辺とする錐体の頂点に当たる位置を初期値とし、操作者の動きに追随して移動するようにしている。

上記のように構成した本発明によれば、指などの指示物で操作可能なポインティング空間が、ディスプレイ画面と基準点とを結ぶ円錐状に設定されるので、平面状に固定された空間面に指などの指示物をわざわざ移動させるといった操作を行う必要がなくなる。また、指示物の位置がポインティング空間内であれば、指示物はディスプレイ画面と操作者との間の何れの場所にあっても良いので、操作者の手が届く範囲内で普通に操作入力を行うことが可能となる。これにより、空間上におけるヒューマンインタフェースによる操作入力装置の使い勝手を向上させることができる。

また、本発明によれば、ディスプレイ画面上の座標は指示物が存在する位置を写像して得られるので、操作者がディスプレイ画面に対してどのような位置にいても、操作入力に誤差が生じるという不都合を最小限にすることができる。

また、本発明によれば、ポインティング空間内で検出される物体の中から所定の指示物が認識され、この指示物のみを対象として操作入力内容の判定が行われるので、ポインティング空間内を指示物以外の物体が移動したとしても、操作入力があったと判定されることはない。また、指示物が所定の動きをしたときにのみ操作入力があったと判定されるので、指示物の操作入力に対応する動きとそれ以外の動きとが区別され、ポインティング空間内を指示物が偶然に移動したとしても、意図しない動きであれば操作入力があったと判定されることはない。これにより、ユーザの意図に反して操作入力が行われてしまうという不都合を防止することができる。

また、本発明によれば、操作者がディスプレイ画面を見込んでディスプレイ画面内の位置を普通に指示したときの指示物の位置が必ずポインティング空間の中に含まれるようになる。これにより、より自然な態様で操作入力を行うことが可能であり、空間上におけるヒューマンインタフェースの使い勝手を更に向上させることができる。

（第１の実施形態）
以下、本発明の一実施形態を図面に基づいて説明する。図１は、第１の実施形態による操作入力装置の構成例を示す図である。図１に示すように、第１の実施形態の操作入力装置は、位置検出手段としての３次元イメージセンサ１と、ＣＰＵ２ａ、ＲＯＭ２ｂ、ＲＡＭ２ｃなどを備えて構成されるマイクロコンピュータ（以下、マイコンと記す）２と、ディスプレイ装置２０の表示制御を行う表示制御手段としてのディスプレイコントローラ３とを備えて構成されている。

３次元イメージセンサ１は、空間上における物体の３次元的な位置を検出するものである。例えば、物体にビームを照射し、反射して返ってくるビームを測定することで物体までの距離（物体の相対位置）を検出する。この３次元イメージセンサ１としては、例えば米国特許第６，５１５，７４０号明細書に開示されているような公知の技術を適用することが可能である。この米国特許に記載の技術を用いれば、３次元イメージセンサ１が設置された位置に対する物体の３次元的な相対位置を検出するだけでなく、物体の３次元的な形状を検出することが可能である。すなわち、物体に凹凸があって物体の表面上に３次元イメージセンサ１からの距離差が存在する場合には、その距離差に応じた位置情報を出力することによって、物体の３次元的な形状を検出することが可能である。

マイコン２が備えるＣＰＵ２ａは、操作入力装置の全体を制御する。ＲＯＭ２ｂは、操作入力装置の動作に必要な各種プログラムを記憶する。ＲＡＭ２ｃは、ＣＰＵ２ａによる各種処理の過程で得られるデータや、各種処理の結果得られるデータを一時的に格納する。すなわち、ＣＰＵ２ａは、ＲＯＭ２ｂに記憶された各種プログラムに従って、ＲＡＭ２ｃをワークメモリとして使用しながら、操作入力装置の動作を制御する。

図２は、マイコン２が有する機能構成を示すブロック図である。また図３は、本実施形態のポインティング空間を説明するための概念図である。図２に示すように、本実施形態のマイコン２は、その機能構成として、ポインティング空間設定部２１、指示物認識部２２、座標検出部２３、動き検出部２４および操作入力内容判定部２５を備えている。

ポインティング空間設定部２１は、図３に示すように、ディスプレイ装置２０の画面（以下、ディスプレイ画面３０と記す）と、当該ディスプレイ画面３０から離れた場所にある所定の基準点３１とを結んで成る錐体状の仮想的なポインティング空間３２を設定する。

ここで、基準点３１は、多くの場合に操作者が居ると予想される位置に設定する。例えば、本実施形態の操作入力装置を車載用ナビゲーション装置に適用する場合、運転席のヘッドレスト前の空間で、運転者の目の位置と想定される一点に基準点３１を設定するのが好ましい。図３はそのような状態を示している。すなわち、車載用ナビゲーション装置の場合、ディスプレイ画面３０はインパネの略中央に設置されるのに対し、運転席は車両の右寄り（または左寄り）に存在するので、ポインティング空間３２は図３のように斜めの錐体状となる。

この場合、ディスプレイ画面３０の位置と基準点３１の位置とがあらかじめ分かっているので（例えば、ＲＡＭ２ｃや他の図示しないメモリに情報として記憶しておく）、ポインティング空間３２は一意に決まる。

指示物認識部２２は、ポインティング空間３２の内にある物体を３次元イメージセンサ１により検知して、所定の指示物３４であることを認識する。本実施形態において、指示物３４は、棒状の突出物であるとする。例えば、操作者の指を１本だけ立てた状態のもの、操作者が持っている筆記具や指示具などが指示物３４に該当する。

３次元イメージセンサ１をディスプレイ画面３０の近傍に設置した場合、指示物３４はディスプレイ画面３０の方向、つまり３次元イメージセンサ１の方向に向けて操作されることになる。このとき、上述のように３次元イメージセンサ１は、物体までの距離に応じた位置情報を出力するので、棒状の物体が３次元イメージセンサ１の方向に向けられていると、当該棒状の物体の先端部分についてのみ近い位置情報が出力される。したがって、当該近い位置情報が出力されている部分を指示物３４が存在する位置として検出することが可能である。

また、ディスプレイ画面３０と基準点３１との間のポインティング空間３２の側方に３次元イメージセンサ１を設置した場合、指示物３４は３次元イメージセンサ１から見て横方向に向けて操作されることになる。上述のように、３次元イメージセンサ１は物体の３次元的な形状に応じて位置情報を出力することができる。したがって、指示物認識部２２は、３次元イメージセンサ１から出力される物体形状に応じた位置情報に基づいて、所定の長さ以上で、かつ、所定の太さ以下の物体がポインティング空間３２内に存在するか否かを判断し、存在する場合にはそれを指示物３４であると認識することが可能である。

座標検出部２３は、３次元イメージセンサ１により検出されるポインティング空間３２内における指示物３４の位置をもとに、写像関係を利用してディスプレイ画面３０における対象点３６の座標を検出する。すなわち、座標検出部２３は、基準点３１の位置と指示物３４の位置とを通る線３５がディスプレイ画面３０に交差する対象点３６をディスプレイ画面３０の座標として、ポインティング空間３２内で認識され検出される指示物３４の位置から算出する。なお、３次元イメージセンサ１により検出される指示物３４の位置は、３次元イメージセンサ１から見た相対位置であるが、３次元イメージセンサ１自身の位置があらかじめ分かっているので、指示物３４の絶対位置も検出することが可能である。

座標検出部２３は、検出した対象点３６の座標情報をディスプレイコントローラ３に出力する。ディスプレイコントローラ３は、座標検出部２３より供給される対象点３６の座標情報に基づいて、ディスプレイ画面３０上における対象点３６の座標位置に所定のマーク（例えば、矢印マークなど）を必要に応じて表示するように制御する。

動き検出部２４は、ポインティング空間３２内における指示物３４の３次元的な動きを検出する。上述のように、３次元イメージセンサ１はポインティング空間３２内にある物体の３次元的な位置情報を随時出力しており、指示物認識部２２によって物体が指示物３４か否かが検出されている。したがって、指示物３４に関する位置情報の変化を見ることによって、指示物３４の３次元的な動きを検出することが可能である。

操作入力内容判定部２５は、座標検出部２３により検出されるディスプレイ画面３０における対象点３６の座標と、動き検出部２４により検出される指示物３４の３次元的な動きとに基づいて、操作者によって行われた指示物３４による操作入力内容を判定し、対応する操作指令を出力する。

例えば、図４に示すように、ポインティング空間３２内において、指示物３４が、ディスプレイ画面３０の所定の座標範囲内で所定の速度以上でディスプレイ画面３０に近づく動きをしたとき、操作入力内容判定部２５はポインティング開始動作が行われたと判定する。また、ポインティング空間３２内において、指示物３４が、ディスプレイ画面３０の所定の座標範囲内で所定の速度以上でディスプレイ画面３０から遠ざかる動きをしたときは、ポインティング解除動作が行われたと判定する。

さらに、ポインティング空間３２内において、指示物３４が、上述のポインティング開始動作をした後、所定の時間内にポインティング解除動作をしたときには、クリック動作が行われたと判定する。また、ポインティング空間３２内において、指示物３４が、上述のポインティング開始動作をした後、ポインティング解除動作をせずに、座標検出部２３により検出されるディスプレイ画面３０上の対象点３６の座標が移動する動きをしたときには、ドラグ動作が行われたと判定し、ディスプレイ画面３０での座標上の動き量をドラグ量として検出する。

操作入力内容判定部２５は、検出した操作入力内容を示す情報をディスプレイコントローラ３に出力する。ディスプレイコントローラ３は、操作入力内容判定部２５より供給される情報に基づいて、ディスプレイ画面３０上の表示を制御する。例えば、操作入力内容判定部２５によりドラグ動作が行われたと判定されたとき、座標検出部２３により検出されたディスプレイ画面３０上の対象点３６の座標位置（矢印マークがある位置）にあるオブジェクトを、ドラグ量だけドラグされた方向に移動させるように表示を制御する。

次に、上記のように構成した本実施形態による操作入力装置の動作について説明する。図５は、本実施形態による操作入力装置の動作を示すフローチャートである。図５において、まず、３次元イメージセンサ１により空間上における物体の３次元的な位置を検出する（ステップＳ１）。そして、その物体がポインティング空間３２の中にあるか否かを指示物認識部２２により判定する（ステップＳ２）。物体がポインティング空間３２内にあるとき、指示物認識部２２は、その物体が指示物３４か否かを更に判定する（ステップＳ３）。物体がポインティング空間３２内にない場合、または、物体がポインティング空間３２内にあってもそれが指示物３４でない場合は、ステップＳ１の処理に戻る。

指示物認識部２２によりポインティング空間３２内の指示物３４が認識された場合、ポインティング空間３２内における指示物３４の３次元的な動きを動き検出部２４により検出する（ステップＳ４）。また、３次元イメージセンサ１により検出されたポインティング空間３２内における指示物３４の位置をもとに、写像関係を利用してディスプレイ画面３０における対象点３６の座標を座標検出部２３により算出する（ステップＳ５）。なお、このステップＳ４の処理とステップＳ５の処理は順番が逆でも良い。

最後に、操作入力内容判定部２５は、動き検出部２４により検出された指示物３４の３次元的な動きと、座標検出部２３により検出された指示物３４の位置に対応するディスプレイ画面３０における対象点３６の座標とに基づいて操作入力内容を判定し、対応する操作指令を出力する（ステップＳ６）。すなわち、所定の動きがあったかどうかでクリック動作やドラグ動作を判定し、その動作に対応する操作指令を出力する。

例えば、操作入力内容判定部２５は、対象点３６の座標位置に存在するオブジェクト（例えばＧＵＩによる操作ボタン）に向けてクリック動作が行われたと判断した場合、その操作ボタンに割り当てられている処理を実行するための操作指令を出力する。また、操作入力内容判定部２５は、対象点３６の座標位置に存在するオブジェクト（例えばアイコン）に対してドラグ動作が行われたと判断した場合、当該オブジェクトをドラグ量だけドラグされた方向に移動させる操作指令をディスプレイコントローラ３に出力する。地図表示を行うナビゲーション装置に本実施形態の操作入力装置を適用した場合、ポインティング開始動作によって指示された地点がドラグ量だけドラグされた方向に移動するように地図全体をスクロールするための操作指令を出力するようにしても良い。

以上詳しく説明したように、本実施形態によれば、空間上で指などの指示物３４が、従来のように平面状に固定された場所で検知されるのではなく、錐体状のポインティング空間３２内において検知され、その位置と動きに応じて操作内容が判定される。これにより、平面状に固定された空間面に指などの指示物３４をわざわざ移動させるといった面倒な操作を行う必要がなく、ポインティング空間３２内であれば好きな場所で操作入力を行うことが可能となる。

また、本実施形態によれば、ディスプレイ画面３０上における対象点３６の座標は、指示物３４が存在する位置を写像して得られるので、操作者がディスプレイ画面３０に対してどのような位置にいても、操作入力に誤差が生じるという不都合を最小限にできる。

また、本実施形態によれば、ポインティング空間３２内で検出される物体のうち、所定の指示物３４として認識されたものだけを対象として操作入力内容の判定が行われるので、ポインティング空間３２内を指示物３４以外の物体が移動したとしても、操作入力があったと判定されることはない。また、操作入力内容に対応する指示物３４の動きを限定しているので、指示物３４の操作入力に対応する動きとそれ以外の動きとが区別され、ポインティング空間３２内を指示物３４が偶然に移動したとしても、意図しない動きであれば操作入力があったと判定されることはない。これにより、ユーザの意図に反して操作入力が行われてしまうという不都合を防止することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図６は、第２の実施形態による操作入力装置の構成例を示す図である。なお、この図６において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図６に示すように、第２の実施形態の操作入力装置は、位置検出手段として２つの３次元イメージセンサ１_-1，１_-2を備えている。一方の３次元イメージセンサ１_-1は、第１の実施形態と同様に、ポインティング空間３２内にある指示物３４の３次元的な位置を検出するために使用する。他方の３次元イメージセンサ１_-2は、操作者の目の３次元的な位置を検出するために使用する。

図７は、第２の実施形態のポインティング空間３２を説明するための概念図である。図７に示すように、第２の実施形態では、他方の３次元イメージセンサ１_-2により検出される操作者の目の位置に所定の基準点３１を設定している。すなわち、第２の実施形態によるポインティング空間３２は、ディスプレイ画面３０と操作者の目の位置３１とを結んで成る錐体状の空間である。

図８は、第２の実施形態によるマイコン２の機能構成例を示すブロックである。なお、この図８において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図８に示すように、第２の実施形態では、マイコン２の機能構成として、基準点認識部２６を備えている。また、図２に示したポインティング空間設定部２１とは異なる機能のポインティング空間設定部２７を備えている。

基準点認識部２６は、他方の３次元イメージセンサ１_-2より出力される情報に基づいて、基準点３１とすべき操作者の目を認識する。また、ポインティング空間設定部２７は、認識された操作者の目の位置を基準点３１としたポインティング空間３２を設定する。ポインティング空間３２を規定するもう１つの要素であるディスプレイ画面３０の位置情報は、あらかじめＲＡＭ２ｃなどのメモリに登録しておく。本実施形態において、指示物認識部２２は、一方の３次元イメージセンサ１_-1より出力されるポインティング空間３２の内にある物体の位置情報に基づいて、指示物３４を認識する。

以上のように、３次元イメージセンサ１_-2により検出される操作者の目の位置をポインティング空間３２の基準点３１として設定した場合には、操作者が移動すると、移動した目の位置に合わせてポインティング空間３２も移動することになる。これにより、操作者がディスプレイ画面３０に対してどのような場所に移動しても、従来のように固定された空間面に指などの指示物３４をわざわざ移動させるといった面倒な操作を行う必要がなく、使い勝手を更に向上させることができる。また、操作者がディスプレイ画面３０に対してどのような場所に移動しても、操作者は常にディスプレイ画面３０を見込んで操作することになるので、操作入力に誤差が生じるという不都合を最小限に抑えることもできる。

なお、基準点３１として使用する操作者の目の位置は、効き目の位置であることが好ましい。図９（ａ）のようにディスプレイ画面３０を両目で見た場合、ディスプレイ画面３０と操作者との間にある指示物３４は二重に見える。これは、図９（ｂ）および（ｃ）に示すように、指示物３４と共にディスプレイ画面３０を右目で見た場合と左目で見た場合とで、指示物３４の見える位置が異なるためである。

一般に、視差によって像が二重に見えるとき、効き目で見た像が判断に作用すると言われる。例えば、効き目が右目の場合、両目を開いて、ある目標を指先で指したとき、左目を閉じても指先は目標からずれないが、右目を閉じると指先は目標からずれた位置になる。したがって、ポインティング空間３２の錐体を、操作者の効き目からディスプレイ画面３０を見込む錐体とすることにより、指示物３４が二重に見えても、指示している対象点３６が意図通りの点となるようにすることができる。

操作者の効き目がどちらであるかは、例えばキーボードやマウス、ジョイスティックなどの入力デバイス（図示せず）を使用して事前にマイコン２のＲＡＭ２ｃあるいは図示しない他のメモリなどに登録しておけば良い。この場合、指示物認識部２２は、事前に登録された効き目の情報に従って、他方の３次元イメージセンサ１_-2より出力される情報に基づいて効き目を認識する。そして、ポインティング空間設定部２７は、効き目を基準点３１としたポインティング空間３２を設定する。

なお、第２の実施形態では操作者の目の位置を基準点３１に設定する例について説明したが、鼻の位置、口の位置、顔の中央などに基準点３１を設定するようにしても良い。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、図１に示した第１の実施形態と同様に、位置検出手段としては１つの３次元イメージセンサ１を使用する。また、第３の実施形態によるマイコン２の機能構成は、図１０に示すブロック図の通りである。なお、この図１０において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図１０に示すように、第３の実施形態では、マイコン２の機能構成として、図２に示したポインティング空間設定部２１とは異なる機能のポインティング空間設定部２８を備えている。ポインティング空間設定部２８は、操作者が指示物３４を自然に操作しやすいポインティング空間３２が設定されるような位置に基準点３１を設定する。具体的には、ポインティング空間設定部２８は、ディスプレイコントローラ３に指令を出して図１１に示すような基準点３１のキャリブレーション画面をディスプレイ画面３０に表示する。このキャリブレーション画面の四隅には、所定のマーク４０が表示されている。

操作者は、四隅のマーク４０に対して空間上でポインティング動作（例えば、ポインティング開始動作あるいはクリック動作）を行う。操作者によって四隅のマーク４０に対してポインティング動作が行われたら、ポインティング空間設定部２８は、四隅のマークごとに、操作者がポインティング動作を開始したときまたは終了したときの指示物３４の位置を３次元イメージセンサ１によりそれぞれ検出し、それら４つの位置を結んで成る平面を特定する。さらに、ポインティング空間設定部２８は、ディスプレイ画面３０（より正確には、ディスプレイ画面３０上の四隅のマーク４０を結んで成る平面）と、ディスプレイ画面３０の四隅のマーク４０をそれぞれポインティング動作したときの指示物３４の位置を結んで得られる平面との双方を断面として持つ錐体を想定し、その頂点に当たる位置を基準点３１に設定する。こうして得られた基準点３１とディスプレイ画面３０とを結んで成る錐体をポインティング空間３２として設定する。

上述した第２の実施形態では、ディスプレイ画面３０上で操作したい対象点３６と操作者の目の位置と想定される基準点３１とを結んだ直線３５の上に必ず指などの指示物３４を置いてポインティング動作する必要がある。これに対して、第３の実施形態によれば、図１１のようなキャリブレーション画面を使ってディスプレイ画面３０の四隅をポインティング動作するときに、その操作者が一番操作しやすい自然な位置に指示物３４を置いてポインティング動作をすると、その四隅で規定される平面が必ず含まれるポインティング空間３２が設定される。したがって、個々の操作者に合わせて、操作者が操作入力しやすい位置にポインティング空間３２を設定することができ、空間上におけるヒューマンインタフェースの使い勝手を更に向上させることができる。

また、四隅のマーク４０のポインティング動作は、一般に、無意識的に効き目を利用して行っているので、第２の実施形態のように入力デバイスを使用して事前に効き目をメモリに登録しなくても良く、四隅のマーク４０のポインティング動作時に効き目を自動的に設定することと等価になる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第４の実施形態は、上記第２の実施形態と第３の実施形態とを組み合わせたものである。すなわち第４の実施形態では、一方の３次元イメージセンサ１_-1を用いて、第３の実施形態と同様の動作でキャリブレーション時の指示物３４の動きを検出し、基準点３１を求めてこれを初期値に設定する。また、第２の実施形態と同様の動作で他方の３次元イメージセンサ１_-2により操作者の目、鼻、口、顔の中央などの動きを検出し、その動きに応じて基準点３１を初期値から移動させるようにする。

このようにすることにより、操作者が移動すると、移動した目などの位置に合わせてポインティング空間３２も移動することになる。これにより、操作者がディスプレイ画面３０に対してどのような場所に移動しても、ポインティング空間３２の移動が追随する限り、操作者の操作性は変化しないので、使い勝手を向上させることができる。また、操作者がディスプレイ画面３０に対してどのような場所に移動しても、操作者は常にディスプレイ画面３０を見込んで操作することになるので、操作入力に誤差が生じるという不都合を最小限に抑えることもできる。

なお、上記第１〜第４の実施形態では、位置検出手段として３次元イメージセンサを用いる例について説明したが、この例に限定されない。例えば、ステレオカメラを用いても良い。図１２は、位置検出手段としてステレオカメラを用いた場合における物体の位置検出方法を説明するための図である。

図１２に示すように、例えばディスプレイ画面３０の右側に、指示物３４があるポインティング空間３２の方向に向けて基準のカメラ４１を設置するとともに、例えばディスプレイ画面３０の左側に、指示物３４があるポインティング空間３２の方向に向けて補助のカメラ４２を設置する。これら２台のカメラ４１，４２は等しい光学系を持っており、距離ｄ、角度θを持って光軸が交差するように設置する。

ここで、指示物３４が基準カメラ４１の撮像面に結像した結像点Ａ１の位置を（ｘ１，ｙ１）、指示物３４が補助カメラ４２の撮像面に結像した結像点Ａ２の位置を（ｘ２，ｙ２）とする。また、各カメラ４１，４２が持つレンズ４１ａ，４２ａの焦点距離をＦとすると、ディスプレイ画面３０から見た指示物３４の３次元的な位置（ｘ，ｙ，ｚ）は、以下の式により求めることができる。
ｘ＝ｄ・ｘ１・Ｇ（ｘ２）／Ｈ（ｘ１，ｘ２）
ｙ＝ｄ・ｙ１・Ｇ（ｙ２）／Ｈ（ｙ１，ｙ２）
ｚ＝ｄ・Ｆ・Ｇ（ｘ１）／Ｈ（ｘ１，ｘ２）
ここで、Ｇ（ｘ１）＝Ｆ・sinθ・ｘ１（１−cosθ）
Ｈ（ｘ１，ｘ２）＝（Ｆ＋ｘ１・ｘ２）sinθ＋Ｆ（ｘ１−ｘ２）cosθ

また、上記第１〜第４の実施形態では、ポインティング空間３２の基準点３１を１箇所に設ける例について説明したが、基準点３１を複数箇所に設定して複数のポインティング空間３２を設定するようにしても良い。また、操作者の位置に合わせて基準点３１の位置を切り替えるようにしても良い。例えば、上記第１の実施形態の操作入力装置を車載ナビゲーション装置に適用する場合、運転席、助手席、後部席の付近に設けた所定の位置の何れかに基準点３１を切り替えられるようにする。また、上記第２の実施形態の操作入力装置を車載ナビゲーション装置に適用する場合、運転席、助手席、後部席に座っている操作者の目の位置の何れかに基準点３１を切り替えられるようにする。また、上記第３の実施形態の操作入力装置を車載ナビゲーション装置に適用する場合、運転席、助手席、後部席に座っている操作者がキャリブレーションにより設定した位置の何れかに基準点３１を切り替えられるようにする。また、第４の実施形態では上述の第２の実施形態と第３の実施形態との組み合わせで基準点３１を切り替えられるようにする。

また、上記第２の実施形態および第４の実施形態では、指示物３４を検出する一方の３次元イメージセンサ１_-1と、基準点３１を検出する他方の３次元イメージセンサ１_-2との２つを用いているが、指示物３４と基準点３１とが存在する両方の領域をカバーできる１つの３次元イメージセンサで同様の動作を行うようにしても良い。

また、上記第１〜第４の実施形態において、ポインティング空間設定部２１，２７，２８はポインティング空間３２を設定しているが、このポインティング空間３２内にポインティング面を更に設定するようにしても良い。図１３は、その場合のポインティング空間３２とポインティング面３３とを説明するための概念図である。

例えば第１の実施形態を例にとって説明すると、ポインティング空間設定部２１は、図１３に示すように、ディスプレイ画面３０と、当該ディスプレイ画面３０から離れた場所にある所定の基準点３１とを結んで成る錐体状の仮想的なポインティング空間３２を設定するとともに、ディスプレイ画面３０の座標をポインティング空間３２内に写像した空間面をポインティング面３３として設定する。

ここで、ポインティング面３３は、必ずディスプレイ画面３０と操作者（基準点３１よりも前に居る）との間に設定される。このポインティング面３３は、操作者が指示物３４を使ってポインティング動作（ポインティング開始動作、ポインティング解除動作、クリック動作、ドラグ動作を含む）をしたときの当該指示物３４の先端（指先など）が存在する位置を含み、操作者が指示物３４を自然に動かしたときに指示物３４の軌跡が形作ると想定される平面または曲面である。

上述したように、第１の実施形態では、ディスプレイ画面３０の位置と基準点３１の位置とがあらかじめ分かっているので、ポインティング空間３２は一意に決まる。これに対して、ポインティング面３３は、ポインティング空間３２内における指示物３４の動きに応じて動的に設定される。すなわち、ポインティング空間設定部２１は、ポインティング動作が行われる毎に上述のようなポインティング面３３を動的に設定する。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、コンピュータ機器やナビゲーション装置などにオペレータ操作による入力指令を与える操作入力装置に有用である。

第１の実施形態による操作入力装置の構成例を示す図である。第１の実施形態によるマイコンが有する機能構成を示すブロック図である。第１の実施形態によるポインティング空間を説明するための概念図である。第１〜第４の実施形態によるポインティング動作の内容を説明するための図である。第１〜第４の実施形態による操作入力装置の動作を示すフローチャートである。第２の実施形態による操作入力装置の構成例を示す図である。第２の実施形態によるポインティング空間を説明するための概念図である。第２の実施形態によるマイコンが有する機能構成を示すブロック図である。効き目について説明するための概念図である。第３の実施形態によるマイコンが有する機能構成を示すブロック図である。基準点のキャリブレーション画面を示す図である。ステレオカメラを位置検出手段として用いた場合における物体の位置検出方法を説明するための図である。第１の実施形態の変形例に係るポインティング空間とポインティング面とを説明するための概念図である。

符号の説明

１３次元イメージセンサ
２マイコン
３ディスプレイコントローラ
２１，２７，２８ポインティング空間設定部
２２指示物認識部
２３座標検出部
２４動き検出部
２５操作入力内容判定部
２６基準点認識部
３０ディスプレイ画面
３１基準点
３２ポインティング空間
３３ポインティング面
３４指示物
３６対象点

Claims

空間上における物体の３次元的な位置を検出する位置検出手段と、
上記位置検出手段により検出される上記ポインティング空間内の物体が所定の指示物であることを認識する指示物認識手段と、
ディスプレイ画面と当該ディスプレイ画面から離れた場所にある所定の基準点とを結んで成る錐体状の仮想的なポインティング空間を設定するポインティング空間設定手段と、
上記指示物認識手段により上記指示物であると認識された物体について上記位置検出手段により検出される上記ポインティング空間内における位置を、上記基準点を基準にして上記ディスプレイ画面上に写像することにより、上記物体の位置に対応する上記ディスプレイ画面における対象点の座標を検出する座標検出手段と、
上記指示物認識手段により上記指示物であると認識された物体の上記ポインティング空間内における３次元的な動きを検出する動き検出手段と、
上記座標検出手段により検出される上記ディスプレイ画面における対象点の座標および上記動き検出手段により検出される上記物体の３次元的な動きに基づいて操作入力内容を判定し、対応する操作指令を出力する判定手段とを備え、
上記ポインティング空間設定手段は、上記ディスプレイ画面の四隅をそれぞれ空間上でポインティング動作したときの上記指示物の位置であって一直線上には並ばない互いに異なる４点の位置と、上記ディスプレイ画面の四隅とをそれぞれ結んだ４本の直線を側辺とする錐体の頂点に当たる位置を上記基準点の初期値として設定し、上記位置検出手段により検出される操作者の目の位置に基づき上記動き検出手段により検出される上記操作者の目の３次元的な動きに応じて、上記基準点を上記初期値から移動させるようにしたことを特徴とする操作入力装置。
ディスプレイ画面の四隅に所定のマークを表示して操作者にポインティング動作を促す第１のステップと、
上記所定のマークをそれぞれ操作者が空間上でポインティング動作したときの指示物の位置であって一直線上には並ばない互いに異なる４点の位置と、上記ディスプレイ画面の四隅とをそれぞれ結んだ４本の直線を側辺とする錐体の頂点に当たる位置を上記ディスプレイ画面から離れた場所にある基準点の初期値に設定して錐体状の仮想的なポインティング空間を設定する第２のステップと、
上記第２のステップで設定された上記ポインティング空間内にある物体の３次元的な位置を検出する第３のステップと、
上記第３のステップで検出される上記ポインティング空間内の物体が所定の指示物であることを認識する第４のステップと、
上記第４のステップで上記指示物であると認識された物体の上記ポインティング空間内における３次元的な動きを検出する第５のステップと、
上記第４のステップで上記指示物であると認識された物体の位置を、上記基準点を基準にして上記ディスプレイ画面上に写像することにより、上記物体の位置に対応する上記ディスプレイ画面における対象点の座標を算出する第６のステップと、
上記第５のステップで検出された上記物体の３次元的な動きおよび上記第６のステップで検出された上記物体の位置に対応する上記ディスプレイ画面における対象点の座標に基づいて操作入力内容を判定し、対応する操作指令を出力する第７のステップと、
上記空間上における上記操作者の目の位置を検出して上記操作者の目の３次元的な動きを検出する第８のステップと、
上記操作者の目の３次元的な動きに応じて、上記基準点を上記初期値から移動させ、当該移動した上記基準点と上記ディスプレイ画面とを結んで成る錐体を上記ポインティング空間として再設定する第９のステップとを有することを特徴とする操作入力方法。