JP5658500B2 - 情報処理装置及びその制御方法 - Google Patents

Description

本発明は、ユーザの３次元空間内におけるジェスチャーに応じた処理を行う技術に関するものである。

従来より、各種方式の座標入力装置が提案、製品化されている。このうち、タッチパネルは、ユーザが指で表示画面をタッチするだけで良く、特殊な機具を用いなくて済むことから、広く用いられている。この種の装置の位置検出方式として、抵抗膜方式、静電容量方式、表面弾性波や空中波を利用した超音波方式、光学式等があげられる。例えば抵抗膜方式は透明電極が設けられた複数のシートを指等により押圧する事で、抵抗値の変化を計測して、その押圧位置を算出するものである。押圧、すなわちシートに接触する事で物理的な変化を計測して位置算出を行うので、位置算出のみならず、その接触しているかの判定を高精度に行う事が可能である。シートの物理的状態変化を計測して位置算出を行う静電容量方式、表面弾性波方式も同様に高精度で接触を検知可能である。さらには特許文献１に示されるように、複数の指示位置を検出可能な入力装置も知られるようになった。

一方、空間上の位置を検出可能な三次元位置検出装置も知られている。複数のカメラを用いて共通視野範囲を複数の方向から観察して物体の三次元形状や、物体の位置検出が行える、いわゆるステレオカメラ装置がある。さらには、マトリックス状にセルを配置して二次元の画像を取り込むと共に、赤外線を放射して、そのセル毎に物体から反射してくる赤外光の時間を計測する距離画像センサ装置も知られている。この装置は、セル毎に反射物体までの距離を算出する事が可能なので、やはり物体の三次元形状や、物体の位置検出を行うことが可能である。

物体の三次元形状や、物体の位置検出が行えるこの種の装置を利用して、３次元空間内で掌の移動や、掌を返した等の動作を検出する事が可能となる。その動作を検出する事で、例えば表示装置に表示されている物体を移動、回転させたりする事が可能となる。つまり、この種の装置の出力結果に基づき、ＰＣを制御する事が可能となる。以降、３次元空間内でのこの操作を『３次元空間ジェスチャー』という。また、３次元空間ジェスチャーを検出し、それに応じた処理を実行すること３次元空間ジェスチャー機能と称す。

例えば特許文献２には、人間の動作を検出する画像入力手段、身体動作を複数の部位の動作に分離する分離手段、夫々の動作部位毎の動作情報を出力する動作情報出力手段とが開示されている。そして前記の夫々の動作情報出力を解析する事で、３次元空間ジェスチャーにより表示制御を行う事ができることが開示されている。

さらには、特許文献３には、３次元ポインティングのユーザーインタフェースが示されている。具体的には、空間を分割した仮想ボックスが重み付けによりあらかじめ配置されていて、時間的に連続して検出された画像に基づき、ユーザの指示したボックスを特定する事が可能となっている。

特開2005-100391号公報 特登録3997392号公報 特登録4221330号公報

しかしながら、物体の三次元形状や、物体の位置検出が可能な装置では、その形状検出や位置検出に誤差が含まれる。この誤差による課題を、図７を参照して説明する。

図７（Ａ）において、ＸＹ平面は表示装置の表示面と仮定する。そして、３次元座標検出装置は、Ｘ軸、Ｙ軸、Ｚ軸で定義される空間座標系の位置を検出できるものとする。

今、操作者αが、その３次元空間内で操作して、表示されているObject-Ａをタッチ（選択）する動作を行ったものとする。この時、前述した計測誤差のために、３次元座標検出装置は、操作者αが表示されているObject-Ａの表示面上をタッチしたかを正確に判定できない。言い換えれば、Object-Ａの表示面上の近くで操作したが、それが接触状態に有るのか否かを正確に区別できない。

一方、操作者が表示オブジェクトを選択したと判断するのは、指先が表示面をタッチしたその時であり、それは操作者自信が指先の感触で確認できる。決して、指先がその表示オブジェクトに近づいた時ではない。仮に、近づいただけなのに、検出装置がタッチしたと誤判定したなら、操作者の意図と異なる動作、つまり誤動作を起こす事になる。このことは、操作性を著しく低下させる。

同様に図７（Ａ）において、操作者βがObject-Ｂを選択する場合の動作を示した。同様にタッチしたかを正確に判定する事は困難であるが、図７（Ｂ）は、この時、Ｚ軸方向から見た時の、動作を示したものである。操作者α、操作者βともにオブジェクトＡ、オブジェクトＢの上を通過している。従って、このタッチ判定に誤差が含まれると、操作者の意図と異なり、例えば操作者βが、Object-Ａを選択したような誤検出も起こりえる。

本発明は上述した問題を解決するためになされたものであり、複数人が３次元空間ジェスチャーの操作を行ったとしても、各操作者の３次元ジェスチャーのターゲットとしたオブジェクトとその３次元空間ジェスチャーとを高い精度で関連づけ、誤ったオブジェクトに対して、誤った処理が行われることを抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
少なくとも１つの選択対象のオブジェクトを表示領域に表示する表示手段と、
操作者が操作する指示部の前記表示領域に対する２次元の接触位置を検出する第１の検出手段と、
前記表示領域の表示面に垂直な方向を含む空間内の、操作者が操作する指示部の３次元の位置を検出する第２の検出手段と、
前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、当該接触位置に従って、前記表示手段で表示されたオブジェクトのいずれが前記指示部で選択されたのかを判別する判別手段と、
前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、前記第２の検出手段で検出した指示部の３次元の位置の中で、前記接触位置に最も近い指示部を追跡対象として決定する決定手段と、
前記判別手段によって判別されたオブジェクトと前記決定手段によって追跡対象として決定された指示部の座標情報とを関連付ける関連付け手段とを備える。

本発明によれば、処理対象となるオブジェクトを精度良く指定でき、且つ、その処理内容を示すジェスチャーとも高い精度で関連づけることができる。従って、従って複数人で操作しても、各々の操作者が操作している対象オブジェクトを正確に特定し、操作者の意図を的確に反映させる事が可能となる。

実施形態の装置の装置概略図。 操作、及びジェスチャーの一例を説明する説明図。 実施形態を説明するタイミングチャート。 実施形態の処理を説明するためのフローチャート。 第３の実施形態の処理を説明するためのフローチャート。 複数の入力が有った場合のタイミングチャート。 課題を説明するための図。 効果の一例を説明する説明図。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１の実施形態］
図１は本願発明の情報処理装置の概要を示すものである。本実施形態の装置は、以下の説明から明らかになるが、少なくとも１つの選択対象のオブジェクトを２次元平面の表示領域に表示する構成、並びに、操作者が操作する指示部の前記表示領域に対する２次元の接触位置を検出する第１の検出手段として機能する構成、並びに、前記表示領域の表示面に垂直な方向を含む空間内の、操作者が操作する指示部の３次元の位置を検出する第２の検出手段としての構成を有する。そして、これらを制御することで、３次元ジェスチャーがどのオブジェクトに対してなされたかを精度を検出するものである。以下はその具体例である。

実施形態の装置は、操作者が作業するための作業台となる机４、机４の上面から所定距離だけ隔てた位置に固定され、表示領域に対して画像を投影する表示装置としてのプロジェクター３、表示領域を入力領域とし、操作者の指示部（指）の接触位置を検出する２次元座標検出装置１（第１の検出手段に対応）、並びに、操作者の指示部の３次元空間ジェスチャーを検出するための３次元座標検出装置２（第２の検出手段に対応）、並びに、これらを制御するホストコンピュータ５で構成される。

２次元座標検出装置１は、表示されたメニュー等の選択対象のオブジェクトのいずれがが、操作者が操作する指示部で指示されたのかを判別できれば良く、抵抗膜方式、静電容量方式、表面弾性波や空中波を利用した超音波方式、光学式のいずれでも構わない。

また、３次元座標検出装置２は、３次元空間内の操作者の指示位置を追従して検出（ジェスチャー検出）するものであれば、その方式は問わない。実施形態では、３次元座標検出装置２として、３次元画像距離検出装置を用いるものとして説明する。３次元画像距離検出装置としての３次元座標検出装置２を、図示が如く視野範囲に前述プロジェクター３の表示領域を含むように配置する。そして、この３次元画像距離検出装置は、赤外線が対象物体で反射して戻ってくるまでの時間を計測することで、物体までの距離を取得する事が可能な構成となっている。その距離を検出するセンサ部分を、マトリックス状に配置する事で、各センサ毎に、独立してこの距離計測が可能となり、物体の３次元的な位置情報や、物体の形状を計測する事ができる。しかも、連続的に撮影する事で、物体の移動を追跡する事も可能な装置である。ただし、３次元座標検出装置２は、机４上に表示されたオブジェクトを検出する事は出来ない。つまり、ディスプレイ表示面の形状（フラットパネルディスプレイなら平面形状、ＣＲＴディスプレイのであれば湾曲した形状）を計測できるのみである。

なお本願発明の実施形態においては、プロジェクター装置３を表示装置としているが、液晶表示装置等のフラットパネルディスプレイであっても良い。この場合、フラットパネルディスプレイの表示面に、透明な２次元座標検出装置１が重ねて配置されることになる。また、３次元座標検出装置２も、上記の如く、赤外線を利用した３次元画像距離検出装置に限らず、ステレオカメラ等を用いて物体の位置や動作を検出する構成でも良い。

また、２次元座標検出装置１、及び、３次元座標検出装置２の出力をホストコンピュータ５が処理するものとして説明するが、例えば２次元座標検出装置１の出力を３次元座標検出装置２に直接出力するような構成であっても良い。また以後の説明にあっては、表示装置の表示面（投影面）であるところの座標入力面をＸＹ平面と定義し、ＸＹ平面の法線方向をＺ軸として説明する。

図２を用いて、操作者が行う操作の一例を説明する。操作者は画面に表示されている本を読んでいるものとする。通常、物理的な本を読んでいる人は、或るページを読み終えると、ページをめくる操作を行う。本実施形態では、かかる操作をジェスチャーとして検出し、検出したジェスチャーに応じて、ページのめくりのための表示制御を行う。そこで表示されている本（オブジェクト）をタッチする事でまず対象となるオブジェクトを選択する（図２（Ｂ））。そして、そのまま手の甲を返す動作をすればページがめくれ（図２（Ｃ））、読んでる途中に前のページを読み返したくなれば手の平を返す動作により、ページを元に戻す事ができる（図２（Ｄ））。従って、図２（Ｂ）の状態は、表示面をタッチするので操作者の手は図２（Ａ）に示すが如く、Ｉの状態である。手の甲を返す（図２（Ｃ））、手の平を返す（図２（Ｄ））操作は、図２（Ａ）におけるIIの状態（空中）での操作となる。

先にも述べたが、この種の３次元座標検出装置２の距離計測は必ず誤差が含まれる。従って、この３次元座標検出装置２により操作者が表示面をタッチしたかを正確に判定する事は困難である。一方で、２次元座標検出装置は、タッチする事によりタッチ位置座標を検出するので、タッチしたかを正確に判定可能であるものの、位置検出可能な範囲は、表示面のみであり、空中の位置座標検出はできない。

そこで本願発明では、２次元座標検出装置１、３次元座標検出装置２の機能特徴を組み合わせて、図２に示すような表示されているオブジェクトの選択と空間ジェスチャーによる制御を実現している。図２ではページをめくる操作を示したが、空間ジェスチャーを利用する事で、自然な動作で、かつ直感的な操作性を提供する事が可能となる。

図３を用いて、本願発明の２次元座標検出装置１、３次元座標検出装置２の動作を説明する。

図３（Ａ）は操作者の動作を説明する説明図で、操作者がまず表示オブジェクトを選択するためにＸＹＺ座標系のＡ地点に掌をかざしたものとする。すなわち、Ａ地点において、掌が３次元座標検出装置２の計測の視野範囲内に入って、３次元座標検出装置２が掌の位置計測を開始し始めた状態となる。そして、操作者は表示されているオブジェクトを選択するために、Ｂ地点で表示面をタッチし、Ｃ地点で３次元座標検出装置２の計測視野外となって、掌の位置計測が終了する。

図３（Ｂ）は、この時の２次元座標検出装置１、３次元座標検出装置２の動作を説明するタイミングチャートである。信号Ｓ201は、掌がＡの地点にある時に、３次元座標検出装置２がその３次元位置計測を開始し、掌がＣの地点に来た時に、その計測が完了する事を示している。

信号Ｓ202は、操作者が表示画面をタッチしたＢ地点で、２次元座標検出装置１が初めてその位置座標を出力し、タッチしている期間のみ、その出力が成されている事を示す。そしてその出力が終了すると共に、タッチされていた所に表示されているオブジェクトが選択されことを示す表示状態にする制御（例えば、タッチしたオブジェクトを点滅表示する等）を行う。そして、タッチされたオブジェクトと、３次元座標検出したユーザのジェスチャー（３次元空間でのストローク）とを関連づける処理を行う。この関連づけの為の処理を、属性情報の生成と称し、表示画像を制御しているホストコンピュータがその情報の管理を行う。

２次元座標検出装置１が出力している間（信号Ｓ202）、同時に３次元座標検出装置２も３次元座標の検出を行っている（信号Ｓ201）。３次元座標検出装置２の出力結果でタッチしているかを判定するのは困難であっても、その検出座標値により、掌の２次元位置（ＸＹ座標）とそれが表示面近傍に位置している事は検知可能である。従って、２次元座標検出装置１の結果により生成された属性情報（どのオブジェクトがタッチされたかを示す情報）を、両者の検出座標値を比較させる事で、そのまま３次元座標検出装置２の出力座標値に引き継ぐ事が可能である。従って、２次元座標検出装置１の出力が終了後、３次元座標検出装置２が出力する座標は、生成された属性情報を有する事になる。

図７（Ａ），（Ｂ）に示すように複数の入力が同時に行われた場合を考える。操作者αが掌をＡ地点からＢ地点に移動させる際には、３次元座標検出装置２の出力座標値には属性情報が付与されていない。操作者βの掌がＤ地点からＥ地点に移動する際の３次元座標検出装置２の出力座標値も同様である。３次元座標検出装置２の出力は操作者αと操作者βの掌位置情報が同時に出力されている。

そして操作者αがＢ地点でタッチする事で、直後に検出される２次元座標検出装置１と３次元座標検出装置２の出力が比較される。当然のことながら、３次元座標検出装置２が出力する二つの位置座標（Ｘ，Ｙ，Ｚ）において、その一方の座標のＸ軸成分、Ｙ軸成分は、２次元座標検出装置１が出力する座標値（Ｘ，Ｙ）と略等しい状態にあるはずである。従って、略等しい位置にあると判定した掌（この場合、操作者αの掌）に、Object-Ａがタッチされたことを示す属性情報が付与される。同様に、Ｅ地点以降、３次元座標検出装置２が出力する操作者βの掌位置情報に、Object-Ｂがタッチされたことを示す属性情報が付与される。操作者α、操作者βが同時にタッチした場合であっても、この位置情報の比較を行えば、属性情報の付与を正確に行える。

この様に、２次元座標検出装置１、３次元座標検出装置２が複数の物体の位置を検出する場合であっても、両者が出力する座標値同士の比較、及び座標出力タイミングを比較する事で、属性情報の付与に誤動作する事が無い。従って、信頼性の高い操作環境を提供する事が可能である。特に、本願発明のように、机上でこの様な操作する場合には、机を取り囲む様にして複数の操作者が同時に操作をする事が想定され、スムーズな共同作業を行える操作環境を提供する事が可能となる。

再び図３に戻って説明する。タッチする事によって生成された属性情報は、３次元座標検出装置２が出力する座標情報と関連付けられる。従って、その属性情報は３次元座標検出装置２が対象とする掌を連続的に座標出力している間のみ有効となる（信号Ｓ203）。そして属性情報が付加されている３次元座標検出装置２の３次元出力座標、もしくは３次元出力画像をホストコンピュータ５が解析して、例えば掌が返った等を認識して、それに相応するジェスチャーコマンドを生成する（信号Ｓ204）。この様に構成することで、例えば図２に示されるような操作を、複数人が各々のオブジェクトに対して、各々操作することが可能となる。

また、属性情報が付与されてない期間（信号Ｓ201のＡからＢ‘の期間）は、コマンド生成のための画像解析が行われていないので、ホストコンピュータ５の処理能力の負荷を軽減する事が可能である。さらには、詳細は後述するが出力された座標情報を蓄積する量を削減でき、メモリ容量を小さくする事も可能である。

図８（Ａ），（Ｂ）はこの様に構成することで得られる効果の一つについて説明する図である。図８（Ａ）に示すとおり、今、表示領域８０内にオブジェクトＡ、Ｂ、Ｃが表示されているものとする。そして操作者によりブジェクトＢを表示領域８１内に移動させたいものとする。

図８（Ｂ）には、３次元座標検出装置２により検出される掌の軌跡、あるいは手の画像情報が示される。時刻ｔ１に３次元座標検出装置２が操作者の掌を検知し始める。そしてオブジェクトＡ上を掌が通過（時刻ｔ2）し、時刻ｔ３でオブジェクトＢ付近に掌が位置したとする。２次元座標検出装置１は、時刻ｔ３にて、掌によるタッチを検出して、そのタッチ位置を算出して、オブジェクトＢを選択状態とすると共に、その後に３次元座標検出装置２により検出されたこの掌の動き（ジェスチャー）とオブジェクトＢとを関連付ける。この関連づけは、２次元座標検出装置１と３次元座標検出装置２の出力結果を比較して行われるので、３次元座標検出装置２が複数の掌を検出していても、確実にそのうちの１つと関連付けが行われる。そして時刻ｔ４からｔ５にかけて手首をひねる動作を検出（コマンド認識）して、隣の表示領域８１にオブジェクトＢを表示移動させると言う制御信号生成する。コマンドを認識した結果、オブジェクトＢの表示がディスプレイ１からディスプレイ２へと移動する事になる。

時刻ｔ１〜ｔ３に到る間は、３次元座標検出装置２とオブジェクトの関連付けが行われていないので、追跡手段は空間ジェスチャーを認識する動作を行ってない。従って、いずれのオブジェクトの表示、動作に影響を与える事が無い。タッチする事により始めて３次元座標検出装置２で検出される指示手段とオブジェクトの関連付けが成され、その後に空間ジェスチャーを認識する動作に移行する。従って、２次元座標検出装置１の出力情報は、空間ジェスチャー認識開始のトリガー信号となり、余分な認識処理の実行を避け、信頼性の高い空間ジェスチャーによるコマンド生成が可能となる。

従来、この種の空間ジェスチャーを利用して、オブジェクトに何らかの制御信号を与える場合、目的とするオブジェクトは予め選択されている必要があった。つまり、マウス等のポインティングデバイスを用いてオブジェクトを選択した後、空間ジェスチャーにより操作をすると言う手順とならざるを得なかった。かかる点、本実施形態の構成によれば、図８（Ｂ）に示すが如く、操作者は一回の一連の動作で、しかも直感的に操作が可能となる優れた効果が得られるようになり、操作性が格段に向上するのが理解できよう。

図４は、上記実施形態にけるホストコンピュータの一連の操作を説明するためのフローチャートである。先ず、Ｓ101にて、３次元座標検出装置２からの出力が得られているかを判定し、何らかの物体が検知されるとＳ102で２次元座標検出装置１からの出力が得られるかを判定する。２次元座標検出装置１からの出力が得られると、その位置に表示されているオブジェクトが存在するか、言い換えるとオブジェクトを選択する動作を行ったかを判定する（Ｓ103）。オブジェクト選択の場合は、Ｓ104にて、３次元座標検出装置２の出力と２次元座標検出装置１の出力が比較される。そして３次元座標検出装置２の出力結果の中から、条件に適合した１つの出力（例えば指、ペン等の指示手段の位置情報、あるいはその形状）を決定する。

本願発明に有っては、この対応付けは各々の検出手段で出力される位置情報が比較され、その一致性により行われる。具体的には、操作者がタッチする事（Ｓ102）でオブジェクトが選択される（Ｓ103）。そして、ほぼ同時に検出されている３次元座標検出装置２の出力（Ｓ101）とステップＳ102で出力された位置情報とが比較される（Ｓ104）。その結果、３次元座標検出装置２が出力した位置情報の中から、最も条件に合致する１つの出力値が選択（決定）される事になる。Ｓ105では、Ｓ103で選択したオブジェクトを特定する情報と、Ｓ104で３次元座標検出装置２の出力の中から特定された出力値との関連付け（属性情報の生成）が行われる。そしてＳ106において、属性情報と３次元座標検出装置２の出力結果とが記憶される。

Ｓ107では、Ｓ106で蓄積された３次元座標検出装置２の出力における追跡中の座標データ列を、画像処理におけるパターン認識等を利用して、予め登録されたパターンのいずれか１つと一致するか否かを判定する。そして、一致するパターンとなったと見なせたとき、そのパターンに対応付けられた３次元空間ジェスチャーコマンドを生成する。３次元空間ジェスチャーコマンドが生成されると、記憶されている属性情報に基づき、選択されているオブジェクトに対してコマンドが実行され（Ｓ108）、Ｓ109で３次元座標検出装置２の出力を取り込む。また、Ｓ107でジェスチャーコマンドが生成されなければ、Ｓ109で３次元座標検出装置２の出力を取り込む事になる。Ｓ109で３次元座標検出装置２の出力が有れば、Ｓ110でその出力結果と、Ｓ106に既に記憶されている３次元座標検出装置２の出力結果とが比較される。こうする事で、前述特定されている出力値が、今回のサンプリングでどの様に変化したかを追跡する事が出来る。

Ｓ111では、前述既に特定されている出力値のオブジェクト情報と、追跡結果により該特定されている出力値がどのように変化したか、つまりその位置情報とが関連付けられる。そして、その関連付けられた情報と、３次元座標検出装置２の出力結果とが、Ｓ106で記憶される。従って、Ｓ106で記憶される情報は、特定された出力値の軌跡情報と関連付けられた対象オブジェクトが含まれる。そして蓄積された軌跡情報に基づきＳ107でパターン認識技術等を利用して、ジェスチャーによるコマンドの生成が成されるのである。

Ｓ107にて、所定のジェスチャーコマンドが生成されたと判定した場合には、関連付けられたオブジェクトに対して、そのコマンドに割り付けられた制御が実行される（Ｓ108）。ジェスチャーコマンドが生成された場合、それをもってＳ106で記憶されている軌跡情報のみを消去しても良い。その場合であっても、引き続き検出される特定された出力値の状態追跡が行われ、同様に再度Ｓ110、Ｓ111にてオブジェクトの関連付けが行われ、特定された出力値の軌跡が記憶される。そして、再度空間ジェスチャーコマンド生成のためのデータとして、利用される。

上記のルーチン（Ｓ106、Ｓ107、Ｓ109、Ｓ110、Ｓ111）を実行している最中に、Ｓ109において、３次元座標検出装置２の出力が無くなる、すなわち、３次元座法検出装置２の検出範囲外に操作者の指示部が移動すると、Ｓ112に進む。Ｓ112では、従前まで追跡対象としていた操作者の指示部を追跡対象外とするため、その属性情報の破棄、あるいはＳ106で記憶された情報を破棄して、Ｓ101に戻る。

この様な流れからすると、ジェスチャーコマンド生成のための解析を始めるトリガーは、２次元座標検出装置１の出力であり（ステップ102）、それをキャンセルするのは３次元座標検出装置２の出力（Ｓ109）となる。

また、３次元座標検出装置２が複数の指示手段を検出している（３次元座標検出装置２から複数の出力信号が生成されている状態）場合には、各々の指示手段で、上記説明した動作、及び関連付けが各々行われる。

なお、上記実施形態では、属性情報を破棄するタイミングは、Ｓ109にてＮｏと判定された場合、すなわち、ジェスチャーコマンドを実行した後に、３次元座標が検出されなくなったときとした。しかし、ジェスチャーコマンドを実行したとき、属性情報を破棄するようにしても良い。この場合、Ｓ108の処理の後は、無条件にＳ112に進めるようにすればよい。

［第２の実施形態］
上記第１の実施形態では、２次元座標検出装置１、３次元座標検出装置２の出力をホストコンピュータ５が受け取り、ホストコンピュータ５がその出力を制御、管理して目的を達成する。しかしながらこれに限定するものではなく、例えば、３次元座標検出装置２が２次元座標検出装置１の出力結果を受け取る構成であっても良い。すなわち、３次元座標検出装置２が、２次元座標検出装置１から、ユーザが２次元領域（表示面）に対してタッチしたことで検出した座標の出力結果を入力したとき、その入力された座標（Ｚ軸の値が０の３次元座標データ）と、３次元座標検出装置２自身の出力結果と比較し、あるいは解析を行って、属性情報やジェスチャーコマンドを生成してホストコンピュータ５に出力する構成であっても良い。

［第３の実施形態］
第１の実施形態では、ジェスチャーコマンド生成のための解析を始めるトリガーは、２次元座標検出装置１の出力であり、それをキャンセルするのは３次元座標検出装置２の出力であった。しかしながらこれに限定されるものではなく、例えば表示領域にキャンセルを強制的に実行させるための特定オブジェクト（キャンセルオブジェクト）を表示させておいても良い。

この場合の処理内容を図５を用いて説明する。Ｓ301にて初期化のためにフラグFlag=0とセットする。次の、Ｓ302では、３次元座標検出装置２からの出力が得られているかを判定する。もし３次元座標検出装置２により、何ら物体が検知されない場合には、フラグFlagが１であるか否かを判定し（Ｓ312）、Flag=0の場合には３次元座標検出装置２による３次元座標検出処理に戻る。また、Flag=1の場合、以下の説明からも明らかなように、その属性情報を破棄し（Ｓ313）、フラグFlagも初期値にリセットするため、Ｓ301に戻る。

さて、Ｓ302にて、３次元座標検出装置２からの出力が得られていると判定されると、Ｓ303にて、２次元座標検出装置１からの出力が得られるかを判定する。２次元座標検出装置１からの出力が得られると、操作者は表示面をタッチしたことになるので、オブジェクトが選択されたのかを判定する（ステップＳ304）。オブジェクト選択操作があったと判定した場合は、選択されたオブジェクトがキャンセルオブジェクトであるか否かを判定する（Ｓ315）。キャンセルオブジェクトであると判定した場合には、Ｓ312に処理を進める。すなわち、操作者がキャンセルオブジェクトを指示した場合の処理は、操作者が３次元座標検出領域外に手を移動したのと同様の処理となる。

また、選択されたオブジェクトがキャンセルオブジェクト以外のオブジェクトであると判定した場合、選択されたオブジェクトに対応する属性情報を生成し（Ｓ305）、Flag=1をセット（Ｓ306）する。そして、Ｓ303で検出された３次元座標（少なくとも１つは存在することになる）の中で、Ｓ302で検出された２次元座標（Ｚ軸の座標値が０の３次元座標ということもできる）に最も近い１つの３次元座標を特定する（Ｓ307）。そして、その特定された３次元座標に、生成された属性情報を付加する（指示したオブジェクトと３次元座標データとの関連づけを行う）ことで、以降、その３次元座標に後続して連続して検出される座標を、ジェスチャー判定対象として追跡対象とする（Ｓ308）。

Ｓ309では、属性情報が付加された３次元座標データ列と、予め登録されたジェスチャーパターンとパターンマッチング等の処理を行うことで、所定のジェスチャーコマンドを生成が成功したか否かを判定する。否の場合は、未だ十分な個数の３次元座標データが記憶されていないものとし、Ｓ311にて、３次元座標検出装置２からの出力を記憶することを継続する。そしてＳ302に戻って、引き続き３次元座標検出装置２の出力を監視する。空間ジェスチャーコマンドがステップS309で生成されたと判断した場合、Ｓ310にて、関連付けられているオブジェクトに対して、コマンドが実行される事になる。

上記に従えば、座標追跡処理を実行している最中（Flag=1の状態）で、追跡を受けている操作者が、例えば、誤ったオブジェクトを選択したことに気づいた場合、表示面のキャンセルオブジェクトを表示している部分を指示（タッチ）するだけで、その選択をキャンセルできる。なお、フラグFlag=1の状態で、キャンセルオブジェクトを操作者が指示したとき、属性情報を破棄するだけでなく、蓄積された３次元座標データも消去されるものとする。

以上説明したように本第２の実施形態によれば、例えば掌が３次元座標検出装置２の視野外（すなわち、３次元座標検出装置２の出力が無くなる）としなくても、属性情報が破棄出来るので、操作性が改善される。

［第４の実施形態］
図６は、図７の様、複数人で操作を行った場合のタイミングチャートである。図中信号Ｓ201〜Ｓ204は図３（Ｂ）の信号と同一であるので、説明を省略する。

まず３次元座標検出装置２はタイミングＡ点で出力を開始すると共に、タイミングＤで更にもう一つの出力を開始する事になる。すなわち、観測すべき対象物体が２個になった事を意味し、その各々についてその物体形状、或いはその位置を出力する。そして２次元座標検出装置１はタイミングＢで操作者αによるタッチを検出して出力を開始するとともに。タイミングＥで操作者βによるタッチをも検出して、期間Ｂ’からＥ’までの間、２つの指示位置座標を出力する。

さて、タイミングＢにおいて２次元座標検出装置１が出力する座標は、３次元座標検出装置２が出力する信号Ｓ201、もしくは信号Ｓ211のどちらの信号によるものかを区別しなければならない。本実施形態にあっては、２次元座標検出装置１は表示面であるところのＸＹ平面、３次元座標検出装置２はＸＹ平面を含むＸＹＺ軸空間の座標を算出する。従って、両者の座標系を一致させる事で、その対応を区別する事が可能である。つまり３次元座標検出装置２が出力する（ｘ２、ｙ２、ｚ２）座標と２次元座標検出装置１が出力する座標（ｘ１、ｙ１）とを比較して、Ｘ軸座標値、及びＹ軸座標値がほぼ一致している信号を選択する。先にも述べたとおり座標の一致性から、２次元座標検出装置１が信号Ｓ202で出力した検出動作は、３次元座標検出装置２が出力した信号Ｓ201による操作であると判定できる。さらには、２次元座標検出装置１の出力信号により、Object-Ａをタッチした事も判別できるので、信号Ｓ201に対して、属性情報Object-Ａを対応つける。

３次元座標検出装置２は所定周期毎にサンプリングをしており、上記で選択された指示手段の位置情報の変化を追跡する事が可能である。従って、指示手段とオブジェクトの関連付けは保持する事が可能である。

同様に２次元座標検出装置１が出力する信号Ｓ212に対して、３次元座標検出装置２が出力した信号Ｓ211が対応付けられ、信号Ｓ211に属性情報Object-Ｂを対応つける。そして、信号Ｓ201、Ｓ211には属性情報が付与されているので、ジェスチャーコマンドを検出のための解析が行われ、それぞれジェスチャーコマンドが生成される（信号Ｓ204，Ｓ214）。

［第５の実施形態］
以上の実施形態においては、２次元座標検出装置１として抵抗膜方式、３次元座標検出装置２として３次元画像距離センサを用いて説明したがこれに限定されるものではない。具体的に２次元座標検出装置としては、静電容量方式、表面弾性波や空中波を利用した超音波方式、光学式を用いたもので構わない。

また、３次元座標検出装置も、写真撮影等に用いる通常のカメラ手段、あるいはビデオ手段としても良い。当然の事ながら、図２（Ｂ）が如く、入力面をタッチしたかの判定を行う事は出来ない。この場合、そのカメラを図１に示すが如く、プロジェクター３の隣に配置したものとする。カメラが出力する画像は、当然ことながら２次元情報である。従って、撮像された画像内の手の位置がどの位置、あるいはどの方向にあるのか、あるいは時系列的に手がどの方向に移動したかを検知可能である。また、一旦、オブジェクトへの接触を検出した後でも、その操作者の手がカメラの撮影視野内から外れた場合には、追跡対象から除外すればよい。

従って先に説明した通り、２次元座標検出装置の出力結果によって選択されたオブジェクトを、３次元座標検出装置の出力座標値と関連付ける事で、同様の効果を得る事が可能となる。

［第６の実施形態］
以上の各実施形態において、３次元座標検出装置の出力値として位置座標値を用いる事で説明してきたが、これに限定されるものではない。

図２（Ｃ）、（Ｄ）に示す操作を、カメラ手段を用いて撮像するのであれば、掌が裏返った等の判断、図２（Ｂ）に示すように、タッチした状態が指１本で行われたか、あるいは二本で行われたかの判定も可能である。従って、カメラによる撮像画像からそのような状態を判定してコマンドを生成してもよい。具体的には、図２（Ｃ）において、第二の検出手段が、手の位置が左から右に移動したと言う事を判定してページをめくっても良いし、手の甲がひっくり返ったと言う事を判定してページをめくっても良い。或いは両者の信号を合成してコマンドを生成してもよいことは言うまでも無い。

［第７の実施形態］
先の実施形態では２次元座標検出装置と３次元座標検出装置からの座標を同時に、あるいは２次元座標検出装置からの出力と、その出力が得られた直後の３次元座標検出装置からの出力とを比較する。そして３次元座標検出装置が出力する出力結果の中の、２次元座標検出装置が出力する位置情報と一致している１つ（若しくは、最も近い位置情報）を選択して、オブジェクト情報を受け渡す。

しかしながら位置情報の限定されるものでなく、例えば３次元座標検出装置の代わりに通常のカメラ等の撮像手段を用いるのであれば、その撮像手段が出力するのは画像となる。従ってこの画像には、図７の様な操作を行えば、操作者による２つの手（もしくは腕）と２つのオブジェクトが映っているはずである。２次元座標検出装置から出力が得られ、Object-Ａが選択されたとすると、その直後の撮像手段の出力画像には、少なくとも１つの手がObject-Ａと重なっている、あるいはその近傍に位置しているはずである。つまり、２次元座標入力手段の出力をトリガーとして、その直後に得られる撮像手段からの画像から、今Object-Ａをタッチしている手がどちらの手かを判別する事が可能となる。つまり、Object-Ａと撮像手段が検出した手の情報を関連付ける事ができる。

以上の説明した各実施形態からもわかるように、操作者がタッチする事によって選択されたオブジェクト等の属性情報を、第二の位置検出手段が検出する値と対応付けが可能となる。従って複数人で操作しても、各々の操作者が操作している対象オブジェクトを正確に特定し、操作者の意図を的確に反映させる事が可能となる。さらには、属性情報の有無により、座標追跡手段が出力する一連の座標値が、空間ジェスチャーのコマンドを生成するための動作なのかを判定でき、誤動作や処理時間等を大幅に少なくする事が可能となった。さらには、操作者が複数の対象オブジェクトから必要なオブジェクトを選択し、操作者の意図を反映させるための操作を一連の動作で、しかも直感的に行える優れた効果が得られるようになった。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 少なくとも１つの選択対象のオブジェクトを表示領域に表示する表示手段と、
   操作者が操作する指示部の前記表示領域に対する２次元の接触位置を検出する第１の検出手段と、
   前記表示領域の表示面に垂直な方向を含む空間内の、操作者が操作する指示部の３次元の位置を検出する第２の検出手段と、
   前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、当該接触位置に従って、前記表示手段で表示されたオブジェクトのいずれが前記指示部で選択されたのかを判別する判別手段と、
   前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、前記第２の検出手段で検出した指示部の３次元の位置の中で、前記接触位置に最も近い指示部を追跡対象として決定する決定手段と、
   前記判別手段によって判別されたオブジェクトと前記決定手段によって追跡対象として決定された指示部の座標情報とを関連付ける関連付け手段と、
   を備えることを特徴とする情報処理装置。
2. 更に、前記決定手段で追跡対象として決定された指示部が前記第２の検出手段による検出範囲から外れた場合、当該指示部を追跡対象外としてリセットする手段を備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記表示手段に表示されるオブジェクトには、追跡を強制的にキャンセルすることを指示する特定オブジェクトが含まれ、
   更に、決定手段で追跡対象として決定した指示部の追跡中に、追跡している指示部による前記表示領域の前記特定オブジェクトの位置への接触を前記第１の検出手段で検出したとき、当該指示部を追跡対象外としてリセットする手段を備えることを特徴とする請求項１に記載の情報処理装置。
4. 前記第２の検出手段は、前記表示領域の２次元平面から所定距離だけ隔てた位置に設けられ、少なくとも前記表示領域を撮影視野内にした３次元画像距離検出手段であることを特徴とする請求項１又は３のいずれか１項に記載の情報処理装置。
5. 前記関連付け手段は、さらに、第２の検出手段によって検出された３次元の座標情報に基づくジェスチャーと、前記判別手段によって判別されたオブジェクトを関連付けることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 少なくとも１つの選択対象のオブジェクトを表示領域に表示する表示手段と、
   操作者が操作する指示部の前記表示領域に対する２次元の接触位置を検出する第１の検出手段と、
   少なくとも前記表示領域の２次元平面に対して予め定められた距離だけ隔てた位置に設けられ、前記表示領域を撮影視野内にして画像を検出する第２の検出手段と、
   前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、当該接触位置に従って、前記表示手段で表示されたオブジェクトのいずれが前記指示部で選択されたのかを判別する判別手段と、
   前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、前記第２の検出手段で検出した画像内の指示部の中で、前記接触位置に最も近い指示部を追跡対象として決定する決定手段と、
   前記判別手段によって判別されたオブジェクトと前記決定手段によって追跡対象として決定された指示部の座標情報とを関連付ける関連付け手段と、
   を備えることを特徴とする情報処理装置。
7. 更に、前記決定手段で追跡対象として決定された指示部が前記第２の検出手段による視野範囲から外れた場合、当該指示部を追跡対象外としてリセットする手段を備えることを特徴とする請求項５に記載の情報処理装置。
8. 前記表示手段に表示されるオブジェクトには、追跡を強制的にキャンセルすることを指示する特定オブジェクトが含まれ、
   更に、決定手段で追跡対象として決定した指示部の追跡中に、追跡している指示部による前記表示領域の前記特定オブジェクトの位置への接触を前記第１の検出手段で検出したとき、当該指示部を追跡対象外としてリセットする手段を備えることを特徴とする請求項５に記載の情報処理装置。
9. 前記関連付け手段は、さらに、第２の検出手段によって検出された３次元の座標情報に基づくジェスチャーと、前記判別手段によって判別されたオブジェクトを関連付けることを特徴とする請求項６乃至８のいずれか１項に記載の情報処理装置。
10. 少なくとも１つの選択対象のオブジェクトを表示領域に表示する表示手段と、
    操作者が操作する指示部の前記表示領域に対する２次元の接触位置を検出する第１の検出手段と、
    前記表示領域の表示面に垂直な方向を含む空間内の、操作者が操作する指示部の３次元の位置を検出する第２の検出手段とを備える情報処理装置の制御方法であって、
    判別手段が、前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、当該接触位置に従って、前記表示手段で表示されたオブジェクトのいずれが前記指示部で選択されたのかを判別する判別工程と、
    決定手段が、前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、前記第２の検出手段で検出した指示部の３次元の位置の中で、前記接触位置に最も近い指示部を追跡対象として決定する決定工程と、
    関連付け手段が、前記判別工程において判別されたオブジェクトと前記決定工程において追跡対象として決定された指示部の座標情報とを関連付ける関連付け工程と、
    を備えることを特徴とする情報処理装置の制御方法。
11. 少なくとも１つの選択対象のオブジェクトを表示領域に表示する表示手段と、
    操作者が操作する指示部の前記表示領域に対する２次元の接触位置を検出する第１の検出手段と、少なくとも前記表示領域の２次元平面に対して予め定められた距離だけ隔てた位置に設けられ、前記表示領域を視野範囲内にして画像を検出する第２の検出手段とを備える情報処理装置の制御方法であって、
    判別手段が、前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、当該接触位置に従って、前記表示手段で表示されたオブジェクトのいずれが前記指示部で選択されたのかを判別する判別工程と、
    決定手段が、前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、前記第２の検出手段で検出した画像内の指示部の中で、前記接触位置に最も近い指示部を追跡対象として決定する決定工程と、
    関連付け手段が、前記判別工程において判別されたオブジェクトと前記決定工程において追跡対象として決定された指示部の座標情報とを関連付ける関連付け工程と、
    を備えることを特徴とする情報処理装置の制御方法。
12. 少なくとも１つの選択対象のオブジェクトを表示領域に表示する表示手段と、
    操作者が操作する指示部の前記表示領域に対する２次元の接触位置を検出する第１の検出手段と、
    前記表示領域の表示面に垂直な方向を含む空間内の、操作者が操作する指示部の３次元の位置を検出する第２の検出手段とを備えるコンピュータを、
    前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、当該接触位置に従って、前記表示手段で表示されたオブジェクトのいずれが前記指示部で選択されたのかを判別する判別手段、
    前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、前記第２の検出手段で検出した指示部の３次元の位置の中で、前記接触位置に最も近い指示部を追跡対象として決定する決定手段、
    前記判別手段によって判別されたオブジェクトと前記決定手段によって追跡対象として決定された指示部の座標情報とを関連付ける関連付け手段、
    として機能させるためのプログラム。
13. 少なくとも１つの選択対象のオブジェクトを表示領域に表示する表示手段と、
    操作者が操作する指示部の前記表示領域に対する２次元の接触位置を検出する第１の検出手段と、
    少なくとも前記表示領域の２次元平面に対して予め定められた距離だけ隔てた位置に設けられ、前記表示領域を視野範囲内にして画像を検出する第２の検出手段とを備えるコンピュータを、
    前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、当該接触位置に従って、前記表示手段で表示されたオブジェクトのいずれが前記指示部で選択されたのかを判別する判別手段、
    前記第１の検出手段によって前記表示領域に対する前記指示部の接触位置を検出したとき、前記第２の検出手段で検出した画像内の指示部の中で、前記接触位置に最も近い指示部を追跡対象として決定する決定手段、
    前記判別手段によって判別されたオブジェクトと前記決定手段によって追跡対象として決定された指示部の座標情報とを関連付ける関連付け手段、
    として機能させるためのプログラム。
14. 請求項１２又は１３に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images