JP6472252B2 - 仮想タッチパネルポインティングシステム - Google Patents

Description

本発明は、遠隔にあるディスプレイに対して操作を行うポインティングシステムに関する。

従来、コンピュータやタブレットへ入力する方法として、ライトペン、タッチスクリーン、キーボード等の直接指示デバイスを用いる方法が存在する。さらに、ポインティングの方法として、マウスやレーザポインタ等の間接指示デバイスを用いる方法が存在する。間接指示デバイスは、直接指示デバイスに比べて、例えばディスプレイ全体に対する指示操作がしやすい等の利点がある。しかしながら、間接指示デバイスを用いてプレゼンテーション等を行っている最中においては、逐一、ディスプレイ上に表示されるポインタの位置を確認しながら指示デバイスを操作する必要がある。

このような問題に対して、例えば非特許文献１では、指示デバイスを使用せずに、操作者が身体の一部または全体を動かすことで、ディスプレイ上のポインタを移動させるポインティング方法が開示されている。

中道上、「大画面インタラクションのためのリモートタッチポインティング」、情報処理学会 インタラクション ２０１３、一般社団法人情報処理学会、２０１３年３月２日、ｐ．７６２−７６３

しかしながら、非特許文献１に開示されているポインティング方法においては、主に操作者が手を使って操作をすることが前提となっている。よって、例えば手が不自由な者にとってはタッチ操作の感覚で操作することは難しい。また、手を用いて操作することが前提となっているために、操作範囲や、操作可能な位置が制限されるという課題があった。

上記課題を解決するために、本発明の一態様は、撮影デバイスと、コンピュータ装置と、を含んで構成され、操作者が遠隔にあるディスプレイに対してポインティング操作を行うためのポインティングシステムであって、前記撮影デバイスは、前記操作者を撮影する撮影部と、前記撮影された操作者の撮影データに基づいて前記操作者の複数の身体上の部位とそれらの位置とを含む骨格情報を取得する撮影データ処理部と、前記操作者の前記骨格情報を出力する骨格情報出力部と、を備え、前記コンピュータ装置は、前記撮影デバイスから前記操作者の前記骨格情報を取得する骨格情報取得部と、前記骨格情報に含まれる前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に使用する前記操作者の身体の一部である操作点を決定する操作点決定部と、前記操作者が前記ポインティング操作を行う際の不動点である基点を決定する基点決定部と、前記操作者が前記ディスプレイ上の少なくとも第１の位置および第２の位置についてのポインティング操作であるキャリブレーション操作を行った際の前記操作者の前記骨格情報に基づいて、前記第１の位置を指し示した際の前記操作点の位置から前記第２の位置を指し示した際の前記操作点の位置を結ぶ線分を対角線とし、かつ前記第１の位置から鉛直方向または水平方向に延びる直線の一部を一辺とする長方形の仮想タッチパネルを算出する仮想タッチパネル算出部と、前記キャリブレーション操作後に前記操作者が前記操作点を動かした際に、前記操作者の前記骨格情報に基づいて前記操作点の前記仮想タッチパネル上における位置情報を決定し、前記仮想タッチパネルと前記基点との位置関係に基づいて、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定する指示位置特定部と、前記指示位置特定部において決定された前記ディスプレイ上の位置を前記ディスプレイに示すための指示位置表示情報を出力する指示位置表示情報出力部と、を備えるポインティングシステムである。

また、本発明の他の態様は、撮影デバイスと、コンピュータ装置と、を含んで構成され、操作者が遠隔にあるディスプレイに対してポインティング操作を行うためのポインティングシステムが実行するポインティング方法であって、前記撮影デバイスが、前記操作者を撮影するステップと、前記撮影デバイスが、前記撮影された操作者の撮影データに基づいて前記操作者の複数の身体上の部位とそれらの位置とを含む骨格情報を取得するステップと、前記コンピュータ装置が、前記骨格情報に含まれる前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に使用する前記操作者の身体の一部である操作点を決定するステップと、前記コンピュータ装置が、前記操作者が前記ポインティング操作を行う際の不動点である基点を決定するステップと、前記コンピュータ装置が、前記操作者が前記ディスプレイ上の少なくとも第１の位置および第２の位置についてのポインティング操作であるキャリブレーション操作を行った際の前記操作者の前記骨格情報に基づいて、前記第１の位置を指し示した際の前記操作点の位置から前記第２の位置を指し示した際の前記操作点の位置を結ぶ線分を対角線とし、かつ前記第１の位置から鉛直方向または水平方向に延びる直線の一部を一辺とする長方形の仮想タッチパネルを算出するステップと、前記コンピュータ装置が、前記仮想タッチパネルおよび前記基準パネルの算出後に前記操作者が前記操作点を動かした際に、前記操作者の前記骨格情報に基づいて前記操作点の前記仮想タッチパネル上における位置情報を決定し、前記仮想タッチパネルと前記基点との位置関係に基づいて、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定するステップと、前記コンピュータ装置が、決定された前記ディスプレイ上の位置を前記ディスプレイに示す表示するための指示位置表示情報を出力するステップと、を含むポインティング方法である。

また、本発明の他の態様は、上記の方法をポインティングシステムに実行させるためのコンピュータプログラムである。

本発明によれば、操作者は、手に限定されず他の身体の一部によっても操作が可能であるため、より広い範囲で、かつ、より多くの位置において、ポインティング操作を行うことが可能である。

本発明に一実施形態に係る仮想タッチパネルポインティングシステムの構成の一例を示す図である。 本発明の一実施形態に係るキャリブレーション画面の一例を示す図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおいて、操作者がキャリブレーション点の開始位置を操作点で指している時の状態を、ディスプレイの横方向から見た図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおいて、操作者がキャリブレーション点の開始位置を操作点で指している時の状態を、操作者の斜め後方からディスプレイの方向に見た図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおいて、操作者がキャリブレーション点の終了位置を操作点で指している時の状態を、ディスプレイの横方向から見た図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおいて、操作者がキャリブレーション点の終了位置を操作点で指している時の状態を、操作者の斜め後方からディスプレイの方向に見た図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおける基準パネルの算出方法の一例を説明する図である。 操作者の指示位置とディスプレイ上に反映される指示位置との関係を説明する図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおける基点と、基準パネル上の射影操作点と、ディスプレイ上の指示位置との関係を説明する図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおけるキャリブレーションおよびその他の事前設定に関する処理の一例を示すフロー図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムの利用時における処理の一例を示すフロー図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおける操作者のディスプレイに対する位置関係の一例を示す図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムの構成の一例を示す図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムのハードウェア構成の一例を示す図である。 本発明の一実施形態に係る仮想タッチパネルポインティングシステムにおいて、操作者が足先でポインティング操作を行う場合について説明する図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の説明において参照する各図では、他の図と同等の部分は同一符号によって示される。

（仮想タッチパネルポインティングシステムの概要）
図１は、本実施形態に係る仮想タッチパネルポインティングシステム（以下、単にポインティングシステムという）の構成の一例を示す。まず、図１を参照しながら、本実施形態のポインティングシステムの概要について説明する。

図１に示されるポインティングシステム１は、操作者１０が離れた位置にあるディスプレイ２０にポインティング操作を行うためのシステムである。ポインティングシステム１は、操作者１０がポインティング操作を行う対象であるディスプレイ２０と、操作者１０の関節やその位置を認識するために操作者１０を撮影する撮影デバイス５０と、ディスプレイ２０および撮影デバイス５０のそれぞれに接続されたコンピュータ装置６０と、を備える。なお、図１においては、コンピュータ装置６０は１つの装置として示されているが、複数のコンピュータ装置から構成されていてもよい。例えば、コンピュータ装置６０の各機能が、複数のコンピュータ装置に分散処理される等となっていてもよい。

ポインティングシステム１では、操作者１０と、ディスプレイ２０との間に、操作者１０が操作するための仮想の平面として仮想タッチパネル３０が設けられる。仮想タッチパネル３０は、操作者１０とディスプレイ２０との間の空間に仮想的に設定される平面であって、操作者１０がポインティング操作を行うための仮想平面である。本実施形態に係る仮想タッチパネル３０は、操作者１０が視認できるような形態のものではなく、操作者１０はポインティング操作を行う際に、特段、仮想タッチパネル３０の存在を意識する必要がないような仕組みとなっている（詳細は後述する）。仮想タッチパネル３０は、プレゼンテーション等のポインティング操作を開始する前に（例えば、ポインティングシステム１を最初に利用する際、等）、「キャリブレーション」を行うことで設定される（キャリブレーションについては後述）。

また、ポインティングシステム１では、仮想タッチパネル３０とは別途、基準パネル４０が設定される。基準パネル４０も、仮想タッチパネル３０と同様に、操作者１０とディスプレイ２０との間の空間に仮想的に設定される平面である。基準パネル４０は、仮想タッチパネル３０の設定位置によらずに操作者１０の操作情報を、安定した入力情報としてコンピュータ装置６０に送信するために、仮想タッチパネル３０とは別途、設けられた仮想平面である。基準パネル４０は、操作者１０の関節の中でも動作の少ない安定した身体部位または所定の基準点（基点１２）に対応して設定される。基準パネル４０の設定も、ポインティング操作開始前の「キャリブレーション」によって仮想タッチパネル３０とともに設定される。

ポインティングシステム１の動作の概要は、以下の通りである。

（１）プレゼンテーション等のポインティング操作を開始する前に、撮影デバイス５０は操作者１０を撮影して操作者１０の各関節およびそれらの位置情報等を含む骨格情報を取得する。ただし、「操作者１０の各関節」とは、一般的に「関節」と言われる、骨と骨とが可動的に結合されている部位を指すものに限定されない。マイクロソフト社のＫｉｎｅｃｔ（商標）センサのように、頭、右肩、右ひじ、腰、等の主要な身体の一部を指し示す情報であってもよい（以下、「関節」とは、このような広義の意味であるとする）（参考ＵＲＬ：http://kinection.jp/post/58）。なお、撮影デバイス５０としては、例えば、マイクロソフト社のＫｉｎｅｃｔセンサ等を採用することができる。

（２）また、ポインティング操作を開始する前に、「キャリブレーション」処理を行う。キャリブレーションにおいては、まず、例えば、ディスプレイ２０上に予め定められた所定のアニメーションが表示される。そして、操作者１０は、このアニメーションに合わせて動作する。この時、操作者１０には、プレゼンテーション等のポインティング操作を行う時と同じ方法で動作するようにする。例えば、操作者１０がプレゼンテーション等において手を用いてディスプレイ２０に対するポインティング操作を行うことを前提としているのであれば、このキャリブレーションにおいても、手を用いてアニメーションに合わせた動作を行う。操作者１０が、例えば足先を使ってポインティングを行う予定であれば、キャリブレーションにおいても足先を使用する。そして、撮影デバイス５０は、この時の操作者１０の動作を撮影し、操作者１０の骨格情報が記録される。なお、アニメーションはポインティングシステム１において予め定められたものであればよいが、例えば、ディスプレイ２０の左上から右下への丸いアイコンが直線的に移動するようなアニメーションが挙げられる。

（３）上記（２）において記録された操作者１０の動作に関する骨格情報から、操作者１０がディスプレイ２０に対して操作している身体の一部を、「操作点」として算出する。図１では、一例として操作者１０が手を使って操作をしている様子を示しているが、この場合、操作者１０の手が操作点１４となる。具体的には、例えば、キャリブレーション中に移動量が最も大きかった関節部分を操作点として決定すればよい。

（４）さらに、上記（２）において記録された操作者１０の動作に関する骨格情報に基づいて、操作者１０がポインティング操作を行う際に最も動きの少ない点として想定される「基点」として、最適な関節位置または操作環境位置が算出される。基点１２は、操作者１０がポインティング操作を行う際に最も動きの少ない点として決定される点である。例えば、手でポインティング操作をする場合には、腰の関節等がポインティング操作中において移動量が最も小さいと判定されうる。この場合、腰の関節が基点１２として決定される。また、操作者１０の身体の一部でなくとも、操作者１０の周囲にある物品（の一部）を基点１２として設定してもよい。例えば、ポインティング操作時に操作者１０の頭部はほとんど動かないという前提に基づいて、操作者１０が座っている座席のヘッドレストの位置や、操作者１０が横たわっているベッドにおける枕の位置を基点１２として決定してもよい。

（５）キャリブレーション中の操作者１０の自然な動作に応じて、仮想タッチパネル３０が設定される。すなわち、仮想タッチパネル３０は、操作者１０のポインティング操作時の手の動かし方などを踏まえて作成される。これにより、操作者１０はポインティング操作を行う際に、仮想タッチパネル３０の存在を特段気にすることなくポインティング操作を行うことができる。（仮想タッチパネル３０の設定方法の詳細については後述する。）

（６）さらに、キャリブレーションによって、基準パネル４０の設定も行われる。コンピュータ装置６０は、決定された基点１２と、ディスプレイ２０の位置および大きさとから、基準パネル４０の位置および大きさを算出する。上述した通り、仮想タッチパネル３０は操作者１０の操作に資するものであるが、基準パネル４０は、ポインティングシステム１が操作者１０のポインティング操作を検出することに資するものである。（基準パネル４０の設定方法の詳細については後述する。）

（７）以上のキャリブレーションが終了すると、操作者１０は、ポインティングシステム１を利用して、プレゼンテーション等におけるポインティング操作を開始することが可能となる。操作者１０が仮想タッチパネル３０上においてポインティング操作を行うと（ただし、操作者１０は仮想タッチパネル３０の位置を意識してポインティングする必要はない。キャリブレーション時と同じように自然に操作を行えばよい。）、コンピュータ装置６０は、仮想タッチパネル３０上における操作点１４の３次元座標を特定する。そして、この仮想タッチパネル３０上の位置を基準パネル４０上に射影した射影点（射影操作点４２）を算出する。そして、コンピュータ装置６０は、この射影操作点４２の位置から、操作者１０がディスプレイ２０上で指し示そうとした指示位置２２の３次元座標を算出する。これにより、ディスプレイ２０へのポインティング操作が実現される。

（８）また、ポインティングシステム１はさらに、撮影デバイス５０が、指示位置２２における操作者の身体の動きを撮影して検出することによって、指示位置２２におけるクリック操作等を示す操作者１０のジェスチャ動作を検出するようになっていてもよい。指示位置２２、クリック操作等の操作結果をポインティング操作情報として、コンピュータ装置６０からディスプレイ２０に出力する。これにより、操作者１０は単に位置を指し示すような操作だけでなく、より複雑な操作をディスプレイ２０に対して行うことができる。

以下、本実施形態に係るポインティングシステムについてさらに詳述する。

（キャリブレーション）
上述したように、仮想タッチパネル３０と基準パネル４０は、キャリブレーションを行うことで生成される。キャリブレーションは、プレゼンテーション等のポインティング操作を行う前に実行されるべきものである。以下、キャリブレーションについて説明する。

キャリブレーションを行うために、まず、操作者１０は、ディスプレイ２０に対してポインティング操作を（キャリブレーションの後に）行う場合と略同一の位置に立つ。（もし操作者１０がこの後のポインティング操作を椅子に座って行う場合やベッドに横になって行う場合には、操作時と同様の姿勢で椅子に座る、ベッドに横たわる、等する。）

キャリブレーションにおいては、例えば、図２に示されるようなアニメーションがディスプレイ２０に表示される。図２の例においては、ディスプレイ２０に動点Ｐ（以下、キャリブレーション点という）が表示され、キャリブレーション点Ｐは破線矢印で示されるように操作者１０から見てディスプレイ２０の画面左上端から画面右下端まで移動する。なお、図２の破線矢印は、説明の便宜上、示されているものであって、ディスプレイ２０には表示されない。操作者１０は、このキャリブレーション画面のキャリブレーション点Ｐの動きに合わせて、点Ｐを追いかけるようにして、画面左上から画面右下まで手を動かす。なお、この時、操作者１０は、この後にポインティング操作を行う時に使用する身体部位と同じ部位を使用すればよく、手でなくてもよい。以下の説明においては、説明の便宜上、一例として、操作者１０は手を用いてポインティング操作を行うものとする。また、このように操作者１０がキャリブレーション点Ｐの動きに合わせて身体の一部を動かしている間に、以下に説明するように、仮想タッチパネル３０や基準パネル４０の設定等が行われる。

図３は、操作者１０がキャリブレーション点Ｐの開始位置（本例ではディスプレイ２０の左上端）を手で指している時の状態をディスプレイ２０の横方向から見た図である。また、図４は、これを操作者１０の斜め後方からディスプレイ２０の方向に見た図である。まず、操作者１０がキャリブレーション点Ｐの開始位置（ディスプレイ２０の左上端）を手（操作点１４）で指している時、この時の手の位置３５が、仮想タッチパネル３０の左上端の位置として決定される。また、この時の手の位置３５は、基準パネル４０の作成においても使用される（後述）。

この後、キャリブレーション点Ｐがディスプレイ２０の右下端に移動するに従って、操作者１０も自身の手を動かす。図５は、この時の状態をディスプレイ２０に対して横方向から見た図である。また、図６は、これを操作者１０の斜め後方からディスプレイ２０の方向に見た図である。キャリブレーション点Ｐは、ディスプレイ２０の左上端から右下端まで移動するが、ディスプレイ２０の右下端に移動した際に操作者１０が手で指している位置３６が、仮想タッチパネル３０の右下端の位置として決定される。そして、位置３５から位置３６を結ぶ線分を対角線として、位置３５から鉛直方向（または水平方向）に延びる直線の一部３７を一辺とする長方形が、仮想タッチパネル３０として設定される。これにより、仮想タッチパネル３０の空間位置とサイズが決定する。

また、ポインティングシステム１は、キャリブレーション中に、最も移動量が大きかった操作者１０の身体部位を操作点１４として判断する（あらかじめ特定の身体部位を操作点１４として定めてもよい）。また、最も移動量が小さく、撮影デバイス５０の位置に対して直線距離が最も近い操作者１０の身体部位を算出し、この部位を基点１２として判断する（あらかじめ特定の位置を基点１２として定めてもよい）。

さらに、ポインティングシステム１は、基準パネル４０を算出する。図７は、基準パネル４０の算出方法を説明する図である。まず、ポインティングシステム１は、基点１２を頂点としてディスプレイ２０を底面とする四角錐を算出する。そして、この四角錐を、操作者１０の骨格で決まる平面に並行な面で切断した際にできる四角形を、基準パネル４０として決定する。「操作者１０の骨格で決まる平面」とは、具体的には、例えば、撮影デバイス５０によって認識される操作者１０の関節の３ヶ所を通る平面である。

以上のようにして、キャリブレーションによって仮想タッチパネル３０および基準パネル４０が設定される。このように、何も意識することなく自然な形で操作者１０に簡単なポインティング操作を行わせることによって仮想タッチパネル３０が設定される。そして、この仮想パッチパネル３０を介して、ディスプレイ２０へのポインティングが行われる。これにより、プレゼンテーション等においても、操作者１０は仮想タッチパネル３０の存在を特段意識することなくディスプレイ２０を見ながら自然に手などの操作点１４を動かしてポインティング操作を行うだけで、ディスプレイ２０へのポインティング操作が実現される。また、仮想タッチパネル３０は、ディスプレイ２０や撮影デバイス５０の位置によらず、撮影デバイス５０が操作者１０を撮影可能な範囲であれば設定が可能である。

（操作者の指示位置とディスプレイ上に反映される指示位置との関係）
以下、本実施形態に係るポインティングシステムを使用して操作者１０がプレゼンテーション等のポインティング操作をする際の、操作者の指示位置とディスプレイ上に反映される指示位置との関係について説明する。

図８は、操作者の指示位置とディスプレイ上に反映される指示位置との関係を説明する図である。例えば、操作者１０が、仮想タッチパネル３０上において（ただし、操作者１０は特段、仮想タッチパネル３０の存在を意識して操作する必要はない）点Ｘ（座標（ｘ，ｙ））を手で指すと、ポインティングシステム１は、両パネルのサイズ比と位置関係とに基づく写像計算によって、仮想タッチパネル３０上の点Ｘの座標（ｘ，ｙ）を、基準パネル４０上の点Ｘ１の座標（ｘ１，ｙ１）に変換する。そして、図９に示されるように、基準パネル４０上の座標（ｘ１，ｙ１）からディスプレイ２０に対する操作点Ｘ２の座標（ｘ２，ｙ２）への写像は、基準パネル４０に写像された点Ｘ１と、基点１２とを結ぶ直線と、ディスプレイ２０との交点を算出することにより実行される。

（操作者１０が移動した場合）
操作者１０がキャリブレーションおよびポインティング操作を実行していた場所から移動した場合、基準パネル４０は、その都度、設定しなおされる。この際のディスプレイ２０に対する基準パネル４０の位置は、操作者１０の移動に伴って変化する基点１２の位置の変化に応じて、延伸および／または短縮されて決定される。そして、基準パネル４０の生成後、初期のキャリブレーション時に計測されたサイズ比および位置関係に応じて、仮想タッチパネル３０が作成し直される。

このように、本実施形態に係るポインティングシステムによれば、操作者１０が移動した場合であっても、再度、キャリブレーションを実行し直すことなく、基準パネル４０および仮想タッチパネル３０を生成することが可能である。特に、プレゼンテーション等の最中に操作者１０が移動しても短時間で対応することが可能であるため、非常に有用である。

なお、勿論のことであるが、再度キャリブレーションを行うことで、仮想タッチパネル３０および基準パネル４０を再設定してもよい。いずれにしても、本実施形態のポインティングシステムによれば、操作者１０が移動した場合であっても、簡単な処理のみによって新たな位置からポインティング操作を再開することができる。

（処理フロー）
以下、図１０および図１１を用いて、本実施形態に係るポインティングシステムにおける処理フローについて、具体例を挙げながら説明する。

（キャリブレーション）
図１０は、ポインティングシステム１の使用を開始する前のキャリブレーションおよびその他の事前設定に関する処理の一例を示すフロー図である。

まず、操作者１０は、コンピュータ装置６０に対して環境情報を入力する操作を行う（ステップＳ１０２）。環境情報は、ディスプレイ２０の大きさ、撮影デバイス５０とディスプレイ２０との位置関係、等を含む情報である。ここでは、“ディスプレイの大きさ：縦３ｍ、横４ｍ（長方形）”および“撮影デバイスはディスプレイの真下かつ画面中央に位置する”を示す情報を環境情報とする。（なお、以下においては、説明の便宜上、操作者１０から見てディスプレイ２０の画面左上の座標は（０，０）、画面右下の座標は（４００，３００）とする。）コンピュータ装置６０は、入力された環境情報を受け付けてメモリ等の記憶装置に記憶する。

次に、撮影デバイス５０は、操作者１０を撮影して、得られる画像情報から操作者情報の算出を行う（ステップＳ１０４）。操作者情報は、例えば、操作者１０の位置を示す位置情報、および操作者１０の骨格情報（各骨格の位置（頭、肩、ひじ、腰、等）を含む情報）を含む。ここでは、一例であるが、操作者情報として、“撮影デバイスから直線距離で６ｍ前方の位置（位置Ｓ１とする）に、操作者の頭、肩、腰を検出”という操作者情報が算出されることとする。なお、本実施形態においては操作者１０が１人である場合を示しているが、操作者は複数人であってもよい。その場合、操作者情報は、例えば、各操作者を識別するための操作者ＩＤと、各操作者の位置情報、および各操作者の骨格情報とが関連付けられたものを含んでいてもよい。

次に、ディスプレイ２０にキャリブレーション画面を表示する（ステップＳ１０６）。撮影デバイス５０は、操作者１０の操作情報の記録を開始しつつ、ディスプレイ２０の左上端（座標（０，０））にはキャリブレーション点が表示される。そして、キャリブレーション点は、一定時間経過後にディスプレイ２０の右下端（座標（４００，３００））に向けて直線移動を開始する。操作者１０は、この赤い点の動きに合わせて、手を使用してキャリブレーション動作を開始する（ステップＳ１０８）。

撮影デバイス５０は、操作者１０がキャリブレーション操作を継続している間、操作者１０の操作者情報の算出を継続する。そして、撮影デバイス５０は、算出した操作者情報をコンピュータ装置６０に逐次、出力する。コンピュータ装置６０は、撮影デバイス５０から取得した操作者情報に基づいて、キャリブレーション動作中に操作者１０の骨格の位置のうち、最も大きく動いている点を算出し、この点を操作点１４として決定する（ステップＳ１１０）。なお、操作点１４は、あらかじめ操作者１０が明示的に指定しておいてもよい。また、コンピュータ装置６０は、操作者点１４のキャリブレーション動作の開始位置（位置Ａ１とする）を記録しておく。ここでは、操作点の開始位置Ａ１は、撮影デバイス５０（ディスプレイ２０の画面下の中央）から見て、“５．５ｍ前方、１ｍ上方、５０ｃｍ右”であったとする。（操作者１０の目から見て、５０ｃｍ前方、５０ｃｍ上方、３０ｃｍ左が開始位置となる。）

さらに、コンピュータ装置６０は、撮影デバイス５０から取得した操作者情報に基づいて、基点１２の算出を行う。キャリブレーション動作中に操作者１０の骨格の位置のうち、移動量の最も小さい関節位置を算出し、この点を基点１２として決定する（ステップＳ１１２）。なお、基点１２は、あらかじめ操作者１０が明示的に指定しておいてもよい。そして、コンピュータ装置６０は、この基点１２の位置を記録する（位置Ｂ１とする）。ここでは、基点の位置Ｂ１が、撮影デバイス５０（ディスプレイ２０の画面下の中央）から見て、“６ｍ前方、０ｍ上方、０ｍ右”であったとする。

また、コンピュータ装置６０は、基準パネル４０を算出する（ステップＳ１１４）。コンピュータ装置６０は、基点１２の位置Ｂ１を頂点の位置として、ディスプレイ２０を底面とする四角錐を算出する。そして、算出された四角錐を、撮影デバイス５０によって検出された操作者１０の３つの関節位置を通る平面に平行な面であって、操作者１０から所定の奥行距離（設定値）にある平面でスライスしてできる断面を、基準パネル４０とする。本例では説明を簡潔化するために、利用者１０はがディスプレイ２０の画面に正対しており（つまり、「操作者１０の３つの関節位置を通る平面に平行な面」は、ディスプレイ２０にも平行な面である）、設定値は“１０ｃｍ（前方）”であったとする。この場合、基準パネル４０は、操作者１０から見ると、基点１２から６０ｃｍ前方の位置に、縦３０ｃｍ、横４０ｃｍの長方形（ディスプレイ２０の大きさ：縦３ｍ×横４ｍの１／１０）の基準パネル４０が設定されることになる。具体的な算出方法は、以下の通りである。

基準パネル４０の位置＝操作点の開始位置Ａ１（操作者１０の目から見て５０ｃｍ前方）＋設定値１０ｃｍ、と算出され、よって、基準パネル４０の位置は操作者１０から見て６０ｃｍ前方となる。そして、これは、撮影デバイス５０から（ステップＳ１０４で検出された操作者１０の各関節位置である）位置Ｓ１までの距離（６ｍ）の１／１０の距離である。基準パネル４０は、ディスプレイ２０と平行かつ相似形となるので、基準パネル４０の大きさ＝ディスプレイ２０の大きさの１／１０＝縦３ｍ×横４ｍの１／１０＝縦３０ｃｍ×横４０ｃｍ、と算出される。（なお、説明の便宜上、以後においては、基準パネル４０の座標は、左上（０，０）、右下（４０，３０）とする。）

次に、コンピュータ装置６０は、仮想タッチパネル３０を算出する（ステップＳ１１６）。コンピュータ装置６０は、キャリブレーション開始時の操作点１４の開始位置Ａ１と、キャリブレーション終了時（キャリブレーション点がディスプレイ２０において座標（４００，３００）に位置した時）の操作点１４の位置（位置Ａ２とする）とを使用して、仮想タッチパネル３０を設定する。ここでは、操作点１４が、位置Ａ１から縦６０ｃｍ、横６０ｃｍの位置まで移動したとする。この場合、仮想タッチパネル３０は、縦６０ｃｍ、横６０ｃｍとなる。（なお、説明の便宜上、以後においては、仮想タッチパネル３０の座標は、左上（０，０）、右下（６０，６０）とする。）

ここで、仮想タッチパネル３０の座標位置と、基準パネル４０の座標位置とを対応させるために、コンピュータ装置６０は、仮想タッチパネル３０と基準パネル４０との位置関係を記録しておく。ここでは、仮想タッチパネル３０の中心位置が、基準パネル４０の中心位置に対して上に３０ｃｍ、右に１０ｃｍ、ずれているとする。コンピュータ装置６０は、仮想タッチパネル３０と基準パネル４０との位置関係として、縦および横のそれぞれの比率（４０ｃｍ／６０ｃｍ，３０ｃｍ／６０ｃｍ）＝（２／３，１／２）、並びに、両パネルの中心のズレ（１０，３０）を記録する。

以上により、キャリブレーション処理が終了する（ステップＳ１１８）。

なお、基準パネルの算出（ステップＳ１１４）の処理と、仮想タッチパネルの算出（ステップＳ１１６）の処理の順番は、逆であってもよい。すなわち、仮想タッチパネルを算出した後に、基準パネルを算出するようになっていてもよい。

（利用時の処理フロー）
上述のキャリブレーションが終了した後、操作者１０がポインティングシステム１を利用してプレゼンテーション等のポインティング操作を行う場合の処理フローについて説明する。図１１は、ポインティングシステム１の利用時における処理の一例を示すフロー図である。なお、本フローでは、キャリブレーションおよびその他の事前設定は、図１０を用いて説明した通りに行われており、操作者１０の位置はキャリブレーション動作を行った時と同じであるとする（すなわち、仮想タッチパネル３０と基準パネル４０の設定は上述の通りであることを前提として、以下説明する）。

まず、操作者１０がプレゼンテーション等において、手（操作点１４）を使用してディスプレイ２０のある箇所を指示（ポインティング）する。ここでは、操作者１０から見て（仮想タッチパネル３０上）、前方５０ｃｍ、１０ｃｍ上、１５ｃｍ右を指示したとする（ステップＳ２０２）。コンピュータ装置６０は、ステップＳ２０２において操作者１０が指示した位置を、仮想タッチパネル３０上の位置Ａに変換する。ステップＳ２０２において操作者１０が指示した位置は、上述のキャリブレーションによって設定された仮想タッチパネル３０においては、位置Ａ＝（４５，２０）：｛仮想タッチパネル３０の中央（３０，３０）から上に１０、右に１５の位置｝となる。

さらに、コンピュータ装置６０は、この仮想タッチパネル３０上の位置Ａを、基準パネル４０上の位置Ｂへ写像する（ステップＳ２０６）。コンピュータ装置６０は、上述した仮想タッチパネル３０の中心と基準パネル４０の中心のズレ＝（１０，３０）と、仮想タッチパネル３０と基準パネル４０の縦横のそれぞれのサイズ比＝（２／３，１／２）とに基づいて、位置Ｂを算出する。位置Ｂのｘ座標＝４５×２／３＝３０となり、位置Ｂのｙ座標＝２０×１／２＝１０となる。（位置Ｂ＝（３０，１０））

次に、コンピュータ装置６０は、基点１２と位置Ｂとを結ぶ直線Ｃを算出する（ステップＳ２０８）。この時に必要な情報は、「基点１２から見た基準パネル４０の位置と基準パネル４０内の情報」であって、基準パネル４０がディスプレイ２０や撮影デバイス５０から見て、どの位置にあるかは不問である。本例では、１座標値は、１ｃｍに対応している。よって、基点１２を原点とした場合の座標空間において、基点（０，０，０）と、位置Ｂ＝（６０，１０，５）とを通る直線Ｃは、ｘ／６０＝ｙ／１０＝ｚ／５、となる。なお、位置Ｂの座標値について補足すると、ステップＳ２０６では、位置Ｂのｙｚ座標＝（３０，１０）と算出されたが、これは基準パネル４０の左上端を原点（０，０）とした座標値であった。これに対し、本ステップでは基点１２を原点として位置Ｂの座標を算出している（すなわち、基準パネル４０の中心が原点（０，０）となる）ため、位置Ｂのｙｚ座標（１０，５）は、ステップＳ２０６で算出されたｙｚ座標値よりも、基準パネル４０の半分の座標値の分だけ異なる値となっている。なお、位置Ｂのｘ座標の“６０”という値は、基点１２から見た場合に、位置Ｂの基点１２からの距離が６０ｃｍであることによる。

次に、直線Ｃとディスプレイ２０との交点Ｄを算出する（ステップＳ２１０）。本例では、基点１２を原点とした場合、交点Ｄのｘ座標値＝６００（基点１２からの距離６ｍに対応）であり、直線Ｃは、ｘ／６０＝ｙ／１０＝ｚ／５であることから、ｙ座標値＝１００、ｚ座標値＝２００、と求められる。撮影デバイス５０から見て、上に２００ｃｍ、右に１００ｃｍの位置である。なお、交点Ｄのディスプレイ２０上における座標値は、（左上端を（０，０）として）（３００，１００）となる。この交点Ｄが、操作者１０が手を用いたポインティング動作によってディスプレイ２０上で指し示そうとしている指示位置である。

なお、本例では、図１２（ａ）に示されるように、操作者１０がディスプレイ２０に正対している（平行である）ことを前提としている。この場合、操作者１０から見た基準パネル４０の（横方向における）両端は、ディスプレイ２０の両端ステップＳ２０８の直線Ｃの算出を実行しなくとも、指示位置Ｄの座標は算出可能である。つまり、基準パネル４０上の点Ｘ１の座標を等倍することでディスプレイ２０上の指示位置Ｄが算出することができる。しかしながら、例えば、図１２（ｂ）に示されるように、操作者１０はディスプレイ２０と必ずしも正対しているとは限らず、この場合には基準パネル４０とディスプレイ２０との座標は等倍にはならない可能性がある。この場合には、上記に説明したように、直線Ｃを算出してから交点Ｄを算出することで、ディスプレイ上における指示位置が算出することができる。

図１１に戻り、ステップＳ２１０で算出された交点Ｄを操作者１０の指示位置としてディスプレイ２０に表示出力する（ステップＳ２１２）。

さらに、操作者１０がディスプレイ２０に表示出力された指示位置において、クリック等のさらなる操作を実行するためのジェスチャ動作を行うと（ステップＳ２１４）、ポインティングシステム１は、クリック等の処理後の結果をディスプレイ２０に表示出力する（ステップＳ２１６）。

なお、操作者１０が移動して位置が変化した場合、操作者１０のその位置において、再度キャリブレーションを行うようになっていてもよい。そして、基点１２および操作点１４を算出し直すとともに、仮想タッチパネル３０および基準パネル４０の作成をし直してもよい。その後、操作者１０は、その位置においてポインティング操作を開始することができる。

また、上記説明においては、基準パネル４０を用いてポインティング操作を実現したが、基準パネル４０を用いずに、仮想タッチパネル３０と、基点１２と、ディスプレイ２０との位置関係に基づいて、ポインティング操作を実現するようになっていてもよい。

（ポインティングシステムの構成）
以下、本実施形態に係るポインティングシステムの構成例について説明する。図１３は、本実施形態に係るポインティングシステムの構成例を示す図である。ポインティングシステム１は、ディスプレイ２０と、撮影デバイス５０と、コンピュータ装置６０と、を備える。

（撮影デバイスの構成）
撮影デバイス５０は、撮影部５０２と、撮影データ処理部５０４と、骨格情報出力部５０６と、を備える。

撮影部５０２は、操作者１０を撮影する。

撮影データ処理部５０４は、撮影された操作者の撮影データに基づいて操作者１０の複数の身体上の部位とそれらの位置とを含む骨格情報を取得する。

骨格情報出力部５０６は、操作者１０の骨格情報を出力する。

撮影デバイス５０は、例えば、マイクロソフト社のＫｉｎｅｃｔセンサ（http://kinection.jp/post/58）等の既存のシステムを利用してもよい。

（コンピュータ装置の構成）
コンピュータ装置６０は、骨格情報取得部６０２と、操作点決定部６０４と、基点決定部６０６と、基準パネル算出部６０８と、仮想タッチパネル算出部６１０と、指示位置特定部６１２と、指示位置表示情報出力部６１４と、ジェスチャ操作検出部６１６と、を備える。

骨格情報取得部６０２は、撮影デバイス５０から操作者１０の骨格情報を取得する。

操作点決定部６０４は、骨格情報に含まれる操作者１０の身体の一部であって、操作者１０がポインティング操作を行う際に使用する操作者１０の身体の一部である操作点を決定する。

基点決定部６０６は、操作者１０がポインティング操作を行う際の不動点である基点１２を決定する。

仮想タッチパネル算出部６１０は、操作者１０がディスプレイ２０上の第１の位置から第２の位置までのポインティング操作であるキャリブレーション操作を行った際の操作者１０の骨格情報に基づいて、第１の位置を指し示した際の操作点１４の位置から第２の位置を指し示した際の操作点１４の位置を結ぶ線分を対角線とし、かつ第１の位置から鉛直方向または水平方向に延びる直線の一部を一辺とする長方形の仮想タッチパネル３０を算出する。

基準パネル算出部６０８は、基点１２に基づいて基準パネル４０を算出する。基準パネル算出部６０８は、例えば、基点１２を頂点としてディスプレイ２０を底面とする四角錐を、骨格情報に含まれる操作者１０の３つの身体上の部位を通る平面、またはこれに平行な平面で切断した場合の切断面を基準パネル４０として算出する。また、基準パネル算出部６０８は、例えば、基点１２を頂点としてディスプレイ２０を底面とする四角錐を、骨格情報に含まれる操作者１０の２つの身体上の部位と、撮影デバイス５０から見て基点１２の垂直方向もしくは水平方向に存在する１点、もしくは撮影デバイス５０から見てキャリブレーション操作における始点を指し示した際の操作点１４の位置の垂直方向もしくは水平方向に存在する１点と、を通る平面、またはこれに平行な平面で切断した場合の切断面を基準パネルとして算出してもよい。

指示位置特定部６１２は、キャリブレーション操作後に操作者１０が操作点１４を動かした際に、操作者１０の骨格情報に基づいて操作点１４の仮想タッチパネル３０上における位置情報を決定し、仮想タッチパネル３０と基点１２との位置関係に基づいて、仮想タッチパネル３０上における位置情報に対応するディスプレイ２０上の位置を決定する。また、指示位置特定部６１２は、例えば、仮想タッチパネル３０上における位置情報を基準パネル４０上における位置情報に変換し、さらに基準パネル４０上における位置情報をディスプレイ２０上の位置情報に変換することで、仮想タッチパネル３０上における位置情報に対応するディスプレイ２０上の位置を決定してもよい。

指示位置表示情報出力部６１４は、決定されたディスプレイ２０上の位置をディスプレイ２０に示すための指示位置表示情報を出力する。

ジェスチャ操作検出部６１６は、指示位置特定部６１２において特定されたディスプレイ２０上の位置情報が示す位置において、操作者１０の身体の動きを示す骨格情報を取得し、取得した骨格情報に基づいて操作者１０のジェスチャ操作を検出し、ジェスチャ操作の結果をディスプレイ２０に表示するための操作結果表示情報を出力する。

（ディスプレイの構成）
ディスプレイ２０は、指示位置表示情報取得部２０２と、表示出力部２０４と、を備える。

指示位置表示情報取得部２０２は、コンピュータ装置６０の指示位置表示情報出力部６１４から出力される指示位置表示情報を取得する。

表示出力部２０４は、指示位置表示情報取得部２０２にて取得された指示位置表示情報に基づいて、操作者１０の指示位置を表示出力する。また、表示出力部２０４は、コンピュータ装置６０のジェスチャ操作検出部６１６にて検出された操作者１０のジェスチャ操作の結果をさらに表示出力してもよい。

（ハードウェア構成例）
撮影デバイス５０およびコンピュータ装置６０は、一般的なコンピュータ装置と同様のハードウェア構成によって実現可能である。図１４は、撮影デバイス５０およびコンピュータ装置６０のハードウェア構成の一例を示す図である。図１４に示されるコンピュータ装置１００は、一例として、プロセッサ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、ハードディスク装置１０４と、リムーバブルメモリ１０５と、通信インタフェース１０６と、ディスプレイ／タッチパネル１０７と、スピーカ１０８と、キーボード／キーパット１０９とを備える。図１３に示される撮影デバイス５０およびコンピュータ装置６０の各構成の機能は、例えば、プロセッサ１０１が、ハードディスク装置１０４にあらかじめ格納されたプログラムをメモリに読み出して実行することで実現可能である。また、通信インタフェース１０６は、無線通信のインタフェースであってもよい。

（まとめ）
上記の実施形態においては、操作者１０が手を使用してポインティング操作を行う場合について説明したが、これに限定されない。操作者１０は、例えば、図１５に示されるように、足を使用してディスプレイ２０に対してポインティング操作を行うことも可能である。従来のポインティングシステムでは、仮に操作者１０が足で操作を行っても、その操作位置が操作者１０の下方となるために、操作位置をディスプレイ２０に写像することは困難であり、足などの部位で操作することは現実的には難しかった。これに対して、本実施形態に係るポインティングシステムであれば、基準パネル４０を設けたことにより、より広い範囲およびより多くの位置において、ポインティング操作を行うことが可能となった。また、操作点１４の制限が軽減されたために、プレゼンテーション等の用途以外でも使用可能である。例えば、身体の不自由である者が、椅子に座った状態、ベッドに横になった状態等であってもポインティング操作が可能であるので、福祉施設等においても利用可能である。

また、上記説明したように、本実施形態に係るポインティングシステムによれば、キャリブレーション処理によって仮想タッチパネル３０および基準パネル４０が設定される。つまり、操作者１０に何も意識することなく自然な形で簡単なポインティング操作を行わせることによって、仮想タッチパネル３０が設定される。すなわち、操作者１０が手などを用いて操作した時に、操作者１０にとって操作しやすい位置に仮想タッチパネル３０が設定される。よって、プレゼンテーション等において、操作者１０が仮想タッチパネル３０の存在を意識することなく自然に手を動かしてポインティング操作を行うと、結果的に、仮想タッチパネル３０上で操作を行うことになる。つまり、操作者１０は仮想タッチパネル３０の存在を気にすることなく、キャリブレーション時と同様にポインティング操作を行うだけで、ディスプレイ２０へのポインティング操作が実現される。なお、仮想タッチパネル３０は、ディスプレイ２０や撮影デバイス５０の位置によらず、撮影デバイス５０が操作者１０を撮影可能な範囲であれば設定が可能である。

なお、操作者１０のポインティング操作が仮想タッチパネル３０から大きく外れてしまう場合には、ディスプレイ２０にキャリブレーションを再実行する旨のメッセージ等を表示して、キャリブレーションを再実行するようになっていてもよい。また、その際、操作者１０の指示位置２２を示すディスプレイ２０上のカーソルやポインタは、移動せずに従前の位置に留まるようになっていてもよい。

さらに、本実施形態に係るポインティングシステムにおいては、仮想タッチパネル３０の設定位置によらずに操作者１０の操作情報を安定した入力としてコンピュータ装置６０に送信するために、仮想タッチパネル３０とは別途、操作情報の算出の基準となる基準パネル４０が設けられた。また、基準パネル４０は、操作者１０の骨格情報の中でも動作の少ない安定した身体部位に対して操作者１０に何ら操作を要求せずに自動的に設定される。

また、例えば非特許文献１に記載されているポインティング方法では、指示位置が固定的であり、操作者の動きを撮影する撮影デバイスや入力デバイスを操作対象となるディスプレイの付近に設置しなければならなかった。これに対し、本実施形態に係るポインティングシステムでは、例えば図１に示されるように、撮影デバイス５０やコンピュータ装置６０の設置位置にはほとんど制限がないため、設置が容易である。

また、上記の実施形態においては、キャリブレーション時にディスプレイ２０にキャリブレーション画面が表示されるようになっていたが、これに限定されない。操作者１０がディスプレイ２０上において指し示そうとしている位置と、実際に手などの操作点が指している位置との対応関係が取得できる方法であればよい。例えば、キャリブレーション画面を表示せずに、ディスプレイ２０の左上端から右下端まで直線を引くようにポインティングを行うよう指示する旨のメッセージが操作者１０に対して表示または音声出力され、操作者１０は、これに従ってキャリブレーション動作を行うようになっていてもよい。すなわち、操作者１０のキャリブレーション動作と、このキャリブレーション動作において指し示しているディスプレイ２０の位置とが、関連付けられるような仕組みになっていればよい。さらに簡潔には、単に、ディスプレイ２０の左上端と右下端のそれぞれを操作点１４で指し示すよう操作者１０に指示するようになっていてもよい。（ただし、ディスプレイ２０が上記実施形態のような平面ではなく曲面である場合には、左上端から右下端まで操作点１４を動かすことを要する場合がある。）

また、上記の実施形態においては、ディスプレイ２０、撮影デバイス５０、およびコンピュータ装置６０は、それぞれ別々の装置として示されていたが、これらの装置の一部または全ては一つの装置として構成されていてもよい。

ここまで、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。

本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

１ ポインティングシステム
１０ 操作者
１２ 基点
１４ 操作点
２０ ディスプレイ
３０ 仮想タッチパネル
４０ 基準パネル
４２ 射影操作点
５０ 撮影デバイス
６０ コンピュータ装置
２０２ 指示位置表示情報取得部
２０４ 表示出力部
５０２ 撮影部
５０４ 撮影データ処理部
５０６ 骨格情報出力部
６０２ 骨格情報取得部
６０４ 操作点決定部
６０６ 基点決定部
６０８ 基準パネル算出部
６１０ 仮想タッチパネル算出部
６１２ 指示位置特定部
６１４ 指示位置表示情報出力部
６１６ ジェスチャ操作検出部

Claims (10)

1. 撮影デバイスと、コンピュータ装置と、を含んで構成され、操作者が遠隔にあるディスプレイに対してポインティング操作を行うためのポインティングシステムであって、
   前記撮影デバイスは、
   前記操作者を撮影する撮影部と、
   前記撮影された操作者の撮影データに基づいて前記操作者の複数の身体上の部位とそれらの位置とを含む骨格情報を取得する撮影データ処理部と、
   前記操作者の前記骨格情報を出力する骨格情報出力部と、を備え、
   前記コンピュータ装置は、
   前記撮影デバイスから前記操作者の前記骨格情報を取得する骨格情報取得部と、
   前記骨格情報に含まれる前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に使用する前記操作者の身体の一部である操作点を決定する操作点決定部と、
   前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に最も動きの少ない点である基点を決定する基点決定部と、
   前記操作者が前記ディスプレイ上の少なくとも第１の位置および第２の位置についてのポインティング操作であるキャリブレーション操作を行った際の前記操作者の前記骨格情報に基づいて、前記第１の位置を指し示した際の前記操作点の位置から前記第２の位置を指し示した際の前記操作点の位置を結ぶ線分を対角線とし、かつ前記第１の位置から鉛直方向または水平方向に延びる直線の一部を一辺とする長方形の仮想タッチパネルを算出する仮想タッチパネル算出部と、
   前記キャリブレーション操作後に前記操作者が前記操作点を動かした際に、前記操作者の前記骨格情報に基づいて前記操作点の前記仮想タッチパネル上における位置情報を決定し、前記仮想タッチパネルと前記基点との位置関係に基づいて、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定する指示位置特定部と、
   前記指示位置特定部において決定された前記ディスプレイ上の位置を前記ディスプレイに示すための指示位置表示情報を出力する指示位置表示情報出力部と、
   を備えるポインティングシステム。
2. 前記コンピュータ装置は、前記基点に基づいて基準パネルを算出する基準パネル算出部をさらに備え、
   前記指示位置特定部は、
   前記操作点の前記仮想タッチパネル上における位置情報を前記基準パネル上における位置情報に変換し、この前記基準パネル上における位置情報を前記ディスプレイ上の位置情報に変換することで、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定する、請求項１に記載のポインティングシステム。
3. 撮影デバイスと、コンピュータ装置と、を含んで構成され、操作者が遠隔にあるディスプレイに対してポインティング操作を行うためのポインティングシステムであって、
   前記撮影デバイスは、
   前記操作者を撮影する撮影部と、
   前記撮影された操作者の撮影データに基づいて前記操作者の複数の身体上の部位とそれらの位置とを含む骨格情報を取得する撮影データ処理部と、
   前記操作者の前記骨格情報を出力する骨格情報出力部と、を備え、
   前記コンピュータ装置は、
   前記撮影デバイスから前記操作者の前記骨格情報を取得する骨格情報取得部と、
   前記骨格情報に含まれる前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に使用する前記操作者の身体の一部である操作点を決定する操作点決定部と、
   前記操作者が前記ポインティング操作を行う際の不動点である基点を決定する基点決定部と、
   前記操作者が前記ディスプレイ上の少なくとも第１の位置および第２の位置についてのポインティング操作であるキャリブレーション操作を行った際の前記操作者の前記骨格情報に基づいて、前記第１の位置を指し示した際の前記操作点の位置から前記第２の位置を指し示した際の前記操作点の位置を結ぶ線分を対角線とし、かつ前記第１の位置から鉛直方向または水平方向に延びる直線の一部を一辺とする長方形の仮想タッチパネルを算出する仮想タッチパネル算出部と、
   前記キャリブレーション操作後に前記操作者が前記操作点を動かした際に、前記操作者の前記骨格情報に基づいて前記操作点の前記仮想タッチパネル上における位置情報を決定し、前記仮想タッチパネルと前記基点との位置関係に基づいて、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定する指示位置特定部と、
   前記指示位置特定部において決定された前記ディスプレイ上の位置を前記ディスプレイに示すための指示位置表示情報を出力する指示位置表示情報出力部と、
   を備え、
   前記コンピュータ装置は、前記基点に基づいて基準パネルを算出する基準パネル算出部をさらに備え、
   前記指示位置特定部は、
   前記操作点の前記仮想タッチパネル上における位置情報を前記基準パネル上における位置情報に変換し、この前記基準パネル上における位置情報を前記ディスプレイ上の位置情報に変換することで、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定する、ポインティングシステム。
4. 前記基準パネル算出部は、
   前記基点を頂点として前記ディスプレイを底面とする四角錐を、前記骨格情報に含まれる前記操作者の３つの身体上の部位を通る平面、またはこれに平行な平面で切断した場合の切断面を基準パネルとして算出する、請求項２または３に記載のポインティングシステム。
5. 前記基準パネル算出部は、
   前記基点を頂点として前記ディスプレイを底面とする四角錐を、前記骨格情報に含まれる前記操作者の２つの身体上の部位と、前記撮影デバイスから見て前記基点の垂直方向もしくは水平方向に存在する１点、もしくは前記撮影デバイスから見て前記キャリブレーション操作において前記第１の位置を指し示した際の前記操作点の位置の垂直方向もしくは水平方向に存在する１点と、を通る平面、またはこれに平行な平面で切断した場合の切断面を基準パネルとして算出する、請求項２または３に記載のポインティングシステム。
6. 前記仮想タッチパネルの算出後に前記操作者の位置が変化した場合には、変化後の前記操作者の位置において、前記キャリブレーション操作を再度行って前記仮想タッチパネルの算出を実行する、請求項１から５のいずれか一項に記載のポインティングシステム。
7. 前記コンピュータ装置は、
   前記指示位置特定部において特定された前記ディスプレイ上の位置において、前記操作者の身体の動きを示す骨格情報を取得し、前記取得した骨格情報に基づいて前記操作者のジェスチャ操作を検出し、前記ジェスチャ操作の結果を前記ディスプレイに表示するための操作結果表示情報を出力するジェスチャ操作検出部と、
   を備える、請求項１から６のいずれか一項記載のポインティングシステム。
8. 撮影デバイスと、コンピュータ装置と、を含んで構成され、操作者が遠隔にあるディスプレイに対してポインティング操作を行うためのポインティングシステムが実行するポインティング方法であって、
   前記撮影デバイスが、前記操作者を撮影するステップと、
   前記撮影デバイスが、前記撮影された操作者の撮影データに基づいて前記操作者の複数の身体上の部位とそれらの位置とを含む骨格情報を取得するステップと、
   前記コンピュータ装置が、前記骨格情報に含まれる前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に使用する前記操作者の身体の一部である操作点を決定するステップと、
   前記コンピュータ装置が、前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に最も動きの少ない点である基点を決定するステップと、
   前記コンピュータ装置が、前記操作者が前記ディスプレイ上の少なくとも第１の位置および第２の位置についてのポインティング操作であるキャリブレーション操作を行った際の前記操作者の前記骨格情報に基づいて、前記第１の位置を指し示した際の前記操作点の位置から前記第２の位置を指し示した際の前記操作点の位置を結ぶ線分を対角線とし、かつ前記第１の位置から鉛直方向または水平方向に延びる直線の一部を一辺とする長方形の仮想タッチパネルを算出するステップと、
   前記コンピュータ装置が、前記仮想タッチパネルおよび基準パネルの算出後に前記操作者が前記操作点を動かした際に、前記操作者の前記骨格情報に基づいて前記操作点の前記仮想タッチパネル上における位置情報を決定し、前記仮想タッチパネルと前記基点との位置関係に基づいて、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定するステップと、
   前記コンピュータ装置が、決定された前記ディスプレイ上の位置を前記ディスプレイに示す表示するための指示位置表示情報を出力するステップと、
   を含むポインティング方法。
9. 撮影デバイスと、コンピュータ装置と、を含んで構成され、操作者が遠隔にあるディスプレイに対してポインティング操作を行うためのポインティングシステムが実行するポインティング方法であって、
   前記撮影デバイスが、前記操作者を撮影するステップと、
   前記撮影デバイスが、前記撮影された操作者の撮影データに基づいて前記操作者の複数の身体上の部位とそれらの位置とを含む骨格情報を取得するステップと、
   前記コンピュータ装置が、前記骨格情報に含まれる前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に使用する前記操作者の身体の一部である操作点を決定するステップと、
   前記コンピュータ装置が、前記操作者が前記ポインティング操作を行う際の不動点である基点を決定するステップと、
   前記コンピュータ装置が、前記操作者が前記ディスプレイ上の少なくとも第１の位置および第２の位置についてのポインティング操作であるキャリブレーション操作を行った際の前記操作者の前記骨格情報に基づいて、前記第１の位置を指し示した際の前記操作点の位置から前記第２の位置を指し示した際の前記操作点の位置を結ぶ線分を対角線とし、かつ前記第１の位置から鉛直方向または水平方向に延びる直線の一部を一辺とする長方形の仮想タッチパネルを算出するステップと、
   前記コンピュータ装置が、前記基点に基づいて基準パネルを算出するステップと、
   前記コンピュータ装置が、前記仮想タッチパネルおよび前記基準パネルの算出後に前記操作者が前記操作点を動かした際に、前記操作者の前記骨格情報に基づいて前記操作点の前記仮想タッチパネル上における位置情報を決定し、前記仮想タッチパネルと前記基点との位置関係に基づいて、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定するステップであり、前記操作点の前記仮想タッチパネル上における位置情報を前記基準パネル上における位置情報に変換し、この前記基準パネル上における位置情報を前記ディスプレイ上の位置情報に変換することで、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定する、ステップと、
   前記コンピュータ装置が、決定された前記ディスプレイ上の位置を前記ディスプレイに示す表示するための指示位置表示情報を出力するステップと、
   を含むポインティング方法。
10. 請求項８または９に記載の方法を前記ポインティングシステムに実行させるためのコンピュータプログラム。

Images