JP6044426B2 - 情報操作表示システム、表示プログラム及び表示方法 - Google Patents

Description

本発明は、情報操作表示システム、表示プログラム及び表示方法に関する。

近年、現実の物体にプロジェクタを使ってバーチャル画像を投影させ、現実の物体に関連付けられた注釈やメニューなどを提示する拡張現実技術が知られている。また、このような拡張現実技術において、手指などの操作対象物によるジェスチャを検出し、バーチャル画像とのインタラクションを実現するユーザインタフェース技術が利用されている。

このような操作対象物のジェスチャを検出する手法として、カメラで撮影された操作対象物を含む撮影画像を用いて、操作対象物の３次元座標を計測し、３次元座標の変化からジェスチャを検出する手法が知られている。

P. Mistry, P. Maes,"Sixth Sense-A Wearable Gestural Interface." In the Proceedings of SIGGRAPH Asia 2009, Emerging Technologies. Yokohama, Japan. 2009.

しかし、従来技術では、撮影画像を用いて操作対象物の３次元位置を計測するので、操作対象物がカメラの視野範囲から外れて撮影画像に写らなくなると、操作対象物の３次元位置を計測できない場合がある。このような場合には、操作対象物のジェスチャを検出することができず、操作性が低下する。

一つの側面では、操作性を向上させる情報操作表示システム、表示プログラム及び表示方法を提供することを目的とする。

一つの案の情報操作表示システムは、カメラとプロジェクタと情報処理装置とを有する情報操作表示システムであって、前記情報処理装置は、前記カメラにより撮像された撮影画像を取得する取得部と、前記取得部によって取得された撮影画像に含まれる操作対象物の３次元座標位置を計測する計測部と、前記計測部によって計測された３次元座標位置と、前記カメラにより定まる、操作対象物の３次元座標位置が計測可能な３次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するように前記プロジェクタを制御する表示部と、を有することを特徴とする。

一実施形態によれば、操作性を向上させることができる。

図１は、情報操作表示システムの全体の概略構成の一例を示す図である。 図２は、ステレオカメラである場合の情報操作表示システムのハードウェア構成を示す図である。 図３は、情報処理装置の全体構成を示す図である。 図４は、３次元計測可能領域を示す図である。 図５Ａは、カメラの画角による視野範囲の違いを示す図である。 図５Ｂは、カメラの画角による視野範囲の違いを示す図である。 図６Ａは、対象物の領域を抽出する処理を説明する図である。 図６Ｂは、対象物の領域を抽出する処理を説明する図である。 図７は、手の検出サイズを示す図である。 図８は、３次元計測可能領域の３次元座標を示す図である。 図９Ａは、手指をＸ方向に移動した場合のアラート線の表示を示す図である。 図９Ｂは、手指をＸ方向に移動した場合のアラート線の表示を示す図である。 図９Ｃは、手指をＸ方向に移動した場合のアラート線の表示を示す図である。 図１０Ａは、手指をＹ方向に移動した場合のアラート線の表示を示す図である。 図１０Ｂは、手指をＹ方向に移動した場合のアラート線の表示を示す図である。 図１０Ｃは、手指をＹ方向に移動した場合のアラート線の表示を示す図である。 図１１Ａは、手指をＹ方向に移動した場合のアラート線の表示を示す図である。 図１１Ｂは、手指をＹ方向に移動した場合のアラート線の表示を示す図である。 図１１Ｃは、手指をＹ方向に移動した場合のアラート線の表示を示す図である。 図１２は、手指の中心座標を示す図である。 図１３Ａは、手指をＸ方向に移動した場合のアラート円の表示を示す図である。 図１３Ｂは、手指をＸ方向に移動した場合のアラート円の表示を示す図である。 図１３Ｃは、手指をＸ方向に移動した場合のアラート円の表示を示す図である。 図１４は、情報処理装置による、アラート線表示処理の手順を示すフローチャートである。 図１５は、単眼カメラである場合の情報操作表示システムのハードウェア構成を示す図である。 図１６は、単眼カメラである場合の３次元計測可能領域を示す図である。 図１７は、視野範囲が円で取得可能なステレオカメラの３次元計測可能領域を示す図である。 図１８は、視野範囲が円で取得可能なステレオカメラの３次元計測可能領域におけるＹ座標の最大最小値について説明する図である。 図１９は、表示プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する情報操作表示システム、表示プログラム及び表示方法の実施例を、図面に基づいて詳細に説明する。なお、この実施例により開示技術が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［情報操作表示システムの構成］
図１は、情報操作表示システムの全体の概略構成の一例を示す図である。図１に示すように、情報操作表示システム１００は、カメラ１、２と、プロジェクタ（表示装置）３と、情報処理装置１０とを有する。情報処理装置１０は、カメラ１、２およびプロジェクタ３とネットワーク（図示省略）を介して通信可能に接続される。プロジェクタ３は、所定の投影面上に画像を投影する。カメラ１、２は、投影面上に投影された画像と該画像上に置かれた操作対象物（例えば、操作者の手や指）との画像を撮影する。そして、情報処理装置１０は、カメラ１、２により撮影された時系列の画像から、操作対象物の三次元位置を算出する。

その後、情報処理装置１０は、算出された操作対象物の三次元位置に基づき、ドキュメントなどの被操作対象物に対する操作を判断する。例えば、情報処理装置１０は、ドキュメントのどの情報がタッチ(選択)されたのか、またタッチ（選択）が解除されたのかなどを判断する。なお、カメラ１、２やプロジェクタ３への接続に用いられるネットワークは、有線または無線を問わず、Local Area Network（ＬＡＮ）やVirtual Private Network（ＶＰＮ）などの任意の通信網が挙げられる。

また、カメラ１、２のシャッタータイミングは必ずしも同じでなくてもよい。つまり、カメラ１、２は非同期カメラであってよい。さらに、情報操作表示システム１００は、カメラを３台以上有していてもよい。また、プロジェクタ３と、情報処理装置１０とはネットワークを介して接続されるものとしたが、接続されていなくてもよい。なお、カメラ１、２による撮影の対象物は、投影されたドキュメントの操作者の手や指である場合を例に説明するが、これに限定されない。例えば、対象物は、ペンや棒などであってもよい。

次に、図２を用いて、実施例１にかかる情報操作表示システム１００のハードウェア構成について説明する。図２は、ステレオカメラである場合の情報操作表示システムのハードウェア構成を示す図である。図２に示すように、情報操作表示システム１００では、テーブル５上に設置された装置でステレオカメラとして２台のカメラ１、２およびプロジェクタ３が固定台４により固定されている。２台のカメラ１、２およびプロジェクタ３は、有線または無線でコンピュータに接続されている。

各カメラ１、２は、テーブル面からＬｃの高さに、テーブル面と並行に設置されており、２台のカメラ１、２の距離はＤである。プロジェクタ３は、２台のカメラ１、２の中央にテーブル面からＬｐの高さで設置されている。なお、Ｌｃ、Ｌｐ、Ｄは実空間上での長さであり、単位はたとえばｍｍである。カメラ１、２は、水平方向画角αｃｈ、垂直方向画角αｃｖを持ち、２台ともこれらの値や焦点距離、撮影可能な画像サイズは同じである。プロジェクタ３は、水平方向にαｐｈ、垂直方向にαｐｖの画角を持つ。カメラ１、２、プロジェクタ３ともに水平画角のほうが垂直画角よりも大きいものとする。

ここで、情報操作表示システム１００の使用例について説明する。例えば、情報操作表示システム１００の使用例として、プロダクトデザインへの確認がある。色、パッケージデザインが決まっていない製品モックアップをテーブルの上に置き、プロジェクタ３により製品モックアップに色を重畳表示したり、絵を付けたりして、製品パッケージのデザインを実物で検討することができる。

また、例えば、情報操作表示システム１００では、手指のジェスチャを認識することにより直感的な操作も実現できる。例えば、モックアップを指で触り、触った箇所にプロジェクタ３で色を表示していくことで、絵の描画ができる。さらに空中の３次元空間を使ったジェスチャにより、表示内容を制御することができる。例えば、空中で手を左右に振るジェスチャにより、表示色を赤→黄色→緑→青→紫といったように別の色に切り替えることができる。また、手を上下に移動することにより、表示色の濃度を変えることもできる。

［情報処理装置の構成］
次に、図３を用いて、実施例１にかかる情報処理装置１０について説明する。図３は、情報処理装置の全体構成を示す図である。図３に示すように、情報処理装置１０は、通信Ｉ／Ｆ（インタフェース）部１１と、表示部１２と、入力部１３と、記憶部１４と、制御部１５とを有する。

通信Ｉ／Ｆ部１１は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部１１は、ネットワークを介して各種情報を受信する。例えば、通信Ｉ／Ｆ部１１は、カメラ１、２からドキュメントや操作対象物を撮影した画像を受信する。かかる通信Ｉ／Ｆ部１１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードが挙げられる。

表示部１２は、各種情報を表示する表示デバイスである。例えば、表示部１２としては、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などの表示デバイスが挙げられる。表示部１２は、各種情報を表示する。例えば、表示部１２は、記憶部１４に格納される各情報を表示する。

入力部１３は、各種の情報を入力する入力デバイスである。例えば、入力部１３としては、マウス、キーボード、タッチセンサなどの入力デバイスが挙げられる。入力部１３は、情報処理装置１０のユーザから入力された情報を制御部１５へ出力する。例えば、入力部１３は、後記する、３次元計測可能領域情報１４１、３次元座標位置情報１４２、アラートパターン情報１４３などの元となる情報を受け付けると、制御部１５へ出力し、制御部１５経由で記憶部１４に記憶させる。

記憶部１４は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの不揮発性の記憶装置である。なお、記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。

記憶部１４は、制御部１５で実行されるＯＳ（Operating System）や各種プログラムを記憶する。また、記憶部１４は、プログラムで用いられる各種データやプログラムにより生成された各種データを記憶する。例えば、記憶部１４は、３次元計測可能領域情報１４１と、３次元座標位置情報１４２と、アラートパターン情報１４３とを記憶する。

３次元計測可能領域情報１４１は、操作対象物の３次元座標位置が計測可能な３次元計測可能領域の３次元座標に関する情報である。この３次元計測可能領域情報１４１は、予め規定されて記憶される情報である。ここで、図４を用いて、３次元計測可能領域について説明する。図４は、３次元計測可能領域を示す図である。図４に示すように、カメラ１、２からテーブル面までの３次元の視野は、四角錐の形状になり、四角錐内の一定エリアのみが３次元計測可能領域となる。実空間の３次元座標系は、また、図４で示すようにカメラ１、カメラ２の設置位置の中央の点を原点（０，０，０）とし、左右方向をＸ軸、奥行方向をＹ軸、上下方向をＺ軸とする。３次元座標の単位は、たとえばｍｍである。また、Ｘ軸がカメラの水平画角、Ｙ軸がカメラの垂直画角に対応する。なお、３次元計測可能領域の規定方法については、後に図８を用いて詳述する。

また、情報操作表示システム１００全体のサイズを小さくするため、高さを低くしようとする場合には、広角のカメラを用いることが有効である。図５Ａおよび図５Ｂに、画角がそれずれ異なるカメラの視野範囲を示す。図５Ａおよび図５Ｂに示すように、テーブル面での視野範囲を同じ大きさにしようとすると、図５Ａに例示するカメラの画角の狭いカメラに比べて、図５Ｂに例示する画角の広いカメラではカメラの高さを低くすることができる。しかし、広角のカメラでは、ジェスチャを行う手指の高さによって視野範囲が大きく変わる。このことは、ユーザがジェスチャを行う上で、ジェスチャ視野範囲、すわなち、３次元計測可能領域から外れやすくなってしまう。また、広角なカメラほど、ユーザは３次元計測可能な領域を認知しづらくなる。

３次元座標位置情報１４２は、後述する計測部１５２によって計測された操作対象物である手指の３次元座標位置に関する情報である。また、アラートパターン情報１４３は、プロジェクタ３により表示される、３次元計測可能領域の境界に手指が近づいたことを知らせるアラートパターンの形状や色などに関する情報である。このアラートパターン情報１４３は、後述する表示部１５３がアラートパターンを表示する際に参照される情報である。

制御部１５は、情報処理装置１０を制御するデバイスである。制御部１５としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部１５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１５は、各種のプログラムが動作しており、各種の処理部として機能する。制御部１５は、取得部１５１と、計測部１５２と、表示部１５３とを有する。

取得部１５１は、カメラ１、２により撮像された撮影画像を取得する。例えば、取得部１５１は、毎秒所定回（例えば、６０回）２台のカメラ１、２からの画像を取得する。取得部１５１は、図６Ａに例示するような画像を２台のカメラ１、２から取得する。図６Ａの（ａ）は、カメラ１により撮影された撮影画像であり、図６Ａの（ｂ）は、カメラ２により撮影された撮影画像である。図６Ａの（ａ）に例示する撮影画像と、図６Ａの（ｂ）に例示する撮影画像とでは、手指とプロジェクタにより投影された画像との位置関係が異なる。

そして、取得部１５１は、撮影画像を取得した後、取得した撮影画像の中から手指領域のみを抽出する。例えば、取得部１５１は、画像における各画素の色情報、および抽出するための色に関する条件に基づき、肌色領域を検出し、撮影画像の中から手指領域のみを抽出する。

例えば、対象物が手である場合には、取得部１５１は、手の色を示す色情報と、取得した画像における各画素の色とに基づき、手の領域を検出する。色情報としては、例えば、以下の式（１）および式（２）を用いる。なお、式（１）は、画像の画素値がＨＳＶ表色系で示されたときの色相（Ｈ）の値に関する条件を示す。式（２）は、ＨＳＶ表色系で示されたときの彩度（Ｓ）の値に関する条件を示す。

そして、取得部１５１は、検出した対象物の領域の面積を算出する。例えば、取得部１５１は、取得した画像における画素のうち、色に関する条件に該当する画素に「１（黒）」を設定し、該当しない画素に「０（白）」を設定することで、二値画像を生成する。そして、取得部１５１は、その領域の画素数を面積として検出する。なお、画像における色がＨＳＶ表色系以外の表色系で表現されている場合、取得部１５１は、画像における色をＨＳＶ表色系へ変換する。

図６Ａおよび図６Ｂは、対象物の領域を抽出する処理を説明する図である。図６Ａは、取得した画像を示す図である。なお、図６Ａは、２つのカメラ１、２から各々取得した画像のうちの一方である。ただし、取得部１５１は、各々の画像に対して、同様の処理を実行することで、各々の画像における操作対象物の領域を抽出する。例えば、図６Ａに示す画像において、手６、物体７、物体８および背景が撮影されているとする。ここで、手６と、物体７と、物体８とは、実際の画像において各々異なる色を有するものとする。

図６Ｂは、図６Ａに対応する二値画像である。二値画像においては、手６に対応する手領域６０のみが示されている。つまり、図６Ａの画像に対して、手領域６０を検出する処理を実行することで、図６Ａの画像において色に関する条件に合致する画素からなる領域が、手領域６０として二値画像に表される。

そして、取得部１５１は、対象物の領域の形状に基づき、例えば、特徴点として、指の先端部分を構成する画素を検出する。具体的には、図６Ｂにおける手領域６０の形状を利用して、特徴点を検出する。そして、取得部１５１は、各々の二値画像における特徴点の座標（ｘ，ｙ）を取得する。

ここで、特徴点の検出においては、指の先端の形状モデルと、抽出した手領域６０の形状とのパターンマッチングが利用される。また、手領域６０の形状を認識するとともに、指領域を抽出し、指領域の傾きを利用する方法が用いられてもよい。例えば、特開２００３−３４６１６２号公報に開示の技術が利用される。

計側部１５２は、取得部１５１によって取得された撮影画像に含まれる操作対象物の３次元座標位置を計測する。例えば、計測部１５２は、手指の３次元座標（ｘ,ｙ,ｚ）を検出する。この座標は手指のうち、特定の指先、たとえば人差し指の先端の座標でもよい。また、すべての指先について複数個座標を検出してもよい。また、複数個の指先の座標から求めた手の甲や掌の画像中の中心の座標でもよい。手指の３次元座標の検出方法としては、ステレオ視による方法がある。この場合には、計測部１５２は、まず撮影画像のカメラ座標系における手指の座標を検出する。

例えば、計測部１５２は、カメラ１の人差し指座標Ｆ１ｂ＝（Ｘ１ｂ,Ｙ１ｂ）、カメラ２の人差し指座標Ｆ２ｂ＝（Ｘ２ｂ,Ｙ２ｂ）を検出する。そして、Ｘ２ｂとＸ１ｂとの距離をもとに三角測量の原理で３次元座標を求める。そして、計測部１５２は、検出した手指領域の形状や過去の手指領域の形状からの変化をもとにジェスチャを検出し、所定のジェスチャであるか否かを判定する。この結果、計測部１５２は、所定のジェスチャであると判定した場合、つまり、操作に関係するジェスチャであると判定した場合には、アラートパターンを表示する旨の指示を表示部１５３に通知する。

また、計測部１５２は、検出した手指の３次元座標をもとに、次のフレームでの手指の３次元座標（ｘ’,ｙ’,ｚ’）を予測してもよい。計測部１５２は、過去の手指の３次元座標位置と現在の手指の３次元座標位置とを比較し、該３次元座標位置の変化に基づいて、手指の３次元座標位置を予測する。例えば、検出した手指の情報をもとに表示を行う場合、画像の撮影時刻から表示時刻までに時差が発生する。この間に手指が移動することがあるため、手指３次元座標を予測し、移動先に合わせた表示を行うと、意図した位置にずれなく後述するアラートパターンを表示することができる。予測方法としては、取得した３次元座標（ｘ，ｙ，ｚ）および過去のフレームにおける手指の３次元座標（ｘ，ｙ，ｚ）とその取得時刻から、時刻から座標に変換する近似式を求め、次のフレームの時刻に表示すべき位置を予測する。

続いて、計測部１５２は、手指の３次元座標が３次元計測可能領域のどこに存在しているかを判定する。ここで、３次元計測可能領域の規定方法を以下で説明する。図８に例示する３次元座標系において、カメラ１の設置座標が（−Ｄ／２,０,０）、カメラ２の設置座標は（Ｄ／２,０,０）である。さらに、カメラの水平画角α_ｃｈ、垂直画角α_ｃｖから、レンズからのＺ軸方向の距離ｚにおける横視野範囲Ｒｈ（ｚ）がＲｈ（ｚ）＝２×ｚ×ｔａｎ（α_ｃｈ／２）、縦視野範囲Ｒｖ（ｚ）はＲｖ（ｚ）＝２×ｚ×ｔａｎ（α_ｃｖ／２）とあらわせる。なお、ｔａｎ（θ）は、角度θにおける正接の値を示す。３次元計測可能領域は、２台のカメラ１、２の視野範囲が重なる場所としてあらわせるため、レンズからのＺ軸方向の距離ｚにおけるＸ，Ｙ方向の３次元計測可能領域は、以下に示すようになる。Ｘ方向の３次元計測可能領域は、「Ｘ座標最小値 ｍｉｎＸ（ｚ）＝−（Ｒｈ（ｚ）−Ｄ）／２」、「Ｘ座標最大値 ｍａｘＸ（ｚ）＝（Ｒｈ（ｚ）−Ｄ）／２」の範囲の座標としてあらわせる。また、Ｙ方向の３次元計測可能領域は、「Ｙ座標最小値 ｍｉｎＹ（ｚ）＝−Ｒｖ（ｚ）／２」、「Ｙ座標最小値 ｍｉｎＹ（ｚ）＝Ｒｖ（ｚ）／２」の範囲の座標としてあらわせる。また、３次元計測可能領域のＺ座標最大値は、テーブル面となるため、「Ｚ座標最大値 ｍａｘＺ＝Ｌｃ」となる。

ここで、手指がカメラ１、２に近づきすぎると、手指全体がカメラに写らずジェスチャとして認識できなくなるため、３次元計測可能領域のＺ座標の最小値ｍｉｎＺは、手が写る最小の距離とする。手のサイズを図７で示すようにＸ方向Ｓｘ、Ｙ方向Ｓｙとすると、撮影画像の短辺Ｙ方向の視野範囲がＳｙと同一になるＺ座標がｍｉｎＺとなるためＲｖ（ｍｉｎＺ）＝Ｓｙとなり、これを解くと「Ｚ座標最小値 ｍｉｎＺ＝Ｓｙ／(２×ｔａｎ（α_ｃｖ／２）)」となる。図７は、手の検出サイズを示す図である。

このようなＸ，Ｙ,Ｚの最小値、最大値を持つ３次元計測可能領域を示す立体とその対応座標は図８のようになる。以上のようにして、手指の３次元座標（ｘ，ｙ，ｚ）が与えられると、３次元計測可能領域ｍｉｎＸ（ｚ）,ｍａｘＸ（ｚ）,ｍｉｎＹ（ｚ）,ｍａｘＹ（ｚ）,ｍｉｎＺ,ｍａｘＺが決定される。図８は、３次元計測可能領域の３次元座標を示す図である。

表示部１５３は、計測部１５２によって計測された３次元座標位置と、カメラ１、２により定まる、操作対象物の３次元座標位置が計測可能な３次元領域の境界との距離に基づいて、操作対象物に画像を表示するようにプロジェクタ３を制御する。表示部１５３は、計測部１５２によりジェスチャが検出された後、後述するように、アラートパターンの生成、表示処理を行う。アラートパターンの表示有無は、ジェスチャの状態やアプリケーションの状態によって切り替えてもよい。例えば、アラートパターンは５本の指をすべて開いている場合にのみ表示することができる。また、アプリケーションが対象物、たとえば製品モックアップに色を表示している場合にのみアラートパターンを表示するようにすることもできる。ここでアラートパターンの表示を行わないと判定された場合には、以後の処理は行われない。

例えば、まず、表示部１５３は、３次元計測可能領域ｍｉｎＸ（ｚ）,ｍａｘＸ（ｚ）,ｍｉｎＹ（ｚ）,ｍａｘＹ（ｚ）,ｍｉｎＺ,ｍａｘＺを用いて、アラートパターンを生成する。３次元エリア上で手指を動かした場合のアラートパターンとその表示位置の例について図９Ａ〜図１１Ｃを用いて説明する。図９Ａ〜図９Ｃは、手指をＸ方向に移動した場合のアラート線の表示を示す図である。図１０Ａ〜図１０Ｃは、手指をＹ方向に移動した場合のアラート線の表示を示す図である。図１１Ａ〜図１１Ｃは、手指をＹ方向に移動した場合のアラート線の表示を示す図である。

図９Ａ〜図９Ｃは、操作者が、図９Ａ→図９Ｂ→図９Ｃの順で右方向（Ｘ軸プラス方向）に移動した場合の図である。破線は、手指のＺ座標におけるＸＹ座標の３次元計測可能領域を示す。なお、この破線は、実際にはプロジェクタ３による表示は行われない線である。また、図９Ａ〜図９Ｃでは、アラートパターンとしてアラート線が手指の一部に表示されている。アラート線は特定の色（たとえば赤や緑）の線分で、プロジェクタにより手指に照射表示される。図９Ａでは、手指上のｍｉｎＹ（ｚ）を示す位置にアラート線が表示される。図９Ｂでは、ｍｉｎＹ（ｚ）に加えｍａｘＸ（ｚ）を示す線分も表示される。図９Ｃでは、ｍａｘＸ（ｚ）を示す線分が表示される。線分を表示する際には、手指の３次元座標（ｘ，ｙ，ｚ）から、３次元計測可能領域のＸ方向の最小値ｍｉｎＸ（ｚ）までの距離ｄｉｓｔＸ１、最大値ｍａｘＸ（ｚ）までの距離ｄｉｓｔＸ２を求める。ｄｉｓｔＸ１は、式「ｄｉｓｔＸ１＝ｘ−ｍｉｎＸ（ｚ）」により求めることができる。また、ｄｉｓｔＸ２は、式「ｄｉｓｔＸ２＝ｍａｘＸ（ｚ）−ｘ」により求めることができる。なお、手指の３次元座標は、たとえば図１２で例示するように、撮影画像中の手指の領域の中心座標について、３次元計測を行った座標とする。図１２は、手指の中心座標を示す図である。

そして、ｄｉｓｔＸ１＜Ｓｘ／２＋Ｍ１、または、ｄｉｓｔＸ２＜Ｓｘ／２＋Ｍ２となる場合に縦線のアラート線を表示することを決定する。Ｍ１、Ｍ２はマージンであり、０以上のプラスの固定値である。

アラート線はｄｉｓｔＸ１＜Ｓｘ／２＋Ｍ１の場合には、点１（ｘ−Ｓｘ／２＋ｄｉｓｔＸ１×Ｃ１，ｙ−Ｓｙ／２，ｚ)、点２（ｘ−Ｓｘ／２＋ｄｉｓｔＸ１×Ｃ１，ｙ＋Ｓｙ／２,ｚ）の２点を結ぶ線分として決めることができる。また、ｄｉｓｔＸ２＜Ｓｘ／２＋Ｍ２の場合、点１（ｘ＋Ｓｘ／２−ｄｉｓｔＸ２×Ｃ２,ｙ−Ｓｙ／２，ｚ)、点２（ｘ＋Ｓｘ／２−ｄｉｓｔＸ２×Ｃ２，ｙ＋Ｓｙ／２，ｚ）の２点を結ぶ線分として表示位置を決めることができる。

Ｃ１、Ｃ２は係数で、たとえばＣ１＝（Ｓｘ／２）／（Ｓｘ／２＋Ｍ１）、Ｃ２＝（Ｓｘ／２）／（Ｓｘ／２＋Ｍ２）と規定できる。このようにして決定したアラート線は、手指を３次元計測可能領域の右端（Ｘプラス方向）に近づけるにつれ、手指の右側から出現し、左側へ移動していく。手指の一番左までアラート線が移動すると、３次元計測可能領域から外れる。逆に、手指を３次元計測可能領域の左端（Ｘマイナス方向）に近づけるにつれ、アラート線が手指の左側から出現し、右側へ移動していく、手指の一番右までアラート線が移動すると、３次元計測可能領域から外れる。なお、Ｙ方向のアラート線の長さについては、手からはみ出さないよう短く設定してもよい。

図１０Ａ〜図１０Ｃは、操作者が、図１０Ａ→図１０Ｂ→図１０Ｃの順で手前方向（Ｙ軸マイナス方向）に移動した場合の図である。図１０Ａ〜図１０Ｃに例示するように、手指上のｍｉｎＹ（ｚ）を示す位置にアラート線が表示されるが、手指の移動に合わせてアラート線も手首側から指先側へと移動する。線分を表示する際には、手指の３次元座標（ｘ,ｙ,ｚ）から、３次元計測可能領域のＹ方向の最小値までの距離ｄｉｓｔＹ１、最大値までの距離ｄｉｓｔＹ２を求める。ｄｉｓｔＹ１は、式「ｄｉｓｔＹ１＝ｙ−ｍｉｎＹ（ｚ）」により求めることができ、ｄｉｓｔＹ２は、式「ｄｉｓｔＹ２＝ｍａｘＹ（ｚ）−ｙ」により求めることができる。

そして、ここで、表示部１５３は、ｄｉｓｔＹ１＜Ｓｙ／２＋Ｍ１、または、ｄｉｓｔＹ２＜Ｓｙ／２＋Ｍ２となる場合に、縦線のアラート線を表示することを決定する。また、アラート線は、ｄｉｓｔＹ１＜Ｓｙ／２＋Ｍ１の場合に、点１（ｘ−Ｓｘ／２,ｙ−Ｓｙ／２＋ｄｉｓｔＹ１×Ｃ１，ｚ）、点２（ｘ＋Ｓｘ／２，ｙ−Ｓｙ／２＋ｄｉｓｔＹ１×Ｃ１，ｚ）の２点を結ぶ線分である。また、アラート線は、ｄｉｓｔＹ２＜Ｓｙ／２＋Ｍ２の場合、点１（ｘ−Ｓｘ／２，ｙ＋Ｓｙ／２−ｄｉｓｔＹ２×Ｃ２，ｚ）、点２（ｘ＋Ｓｘ／２，ｙ＋Ｓｙ／２−ｄｉｓｔＹ２×Ｃ２，ｚ）の２点を結ぶ線分として表示位置を決めることができる。Ｃ１、Ｃ２は係数で、たとえば、Ｃ１＝（Ｓｙ／２）／（Ｓｙ／２＋Ｍ１）、Ｃ２＝（Ｓｙ／２）／（Ｓｙ／２＋Ｍ２）と規定できる。

図１１Ａ〜図１１Ｃは、操作者が、図１１Ａ→図１１Ｂ→図１１Ｃの順で上方向（Ｚ軸マイナス方向）に移動した場合の図である。図１０Ａ〜図１０Ｃに例示するように、手指上のｍｉｎＹ（ｚ）を示す位置にアラート線が表示されるが、手指の移動に合わせてアラート線も手首側から指先側へと移動する。

Ｚ軸については、手指の３次元座標からｍｉｎＺまでの距離ｄｉｓｔＺ＝−ｍｉｎＺを元に判定する。ｍａｘＺは、カメラからテーブル面までの距離であり、テーブル面より下に手指が存在することはないため、最大値については考慮しなくてよい。

そして、Ｍ３を０より大きい固定値とすると、ｄｉｓｔＺ＜Ｍ３となる場合にアラート線を表示するようにする。なお、プロジェクタによる手指へのアラート線表示は、２次元であり、縦横線としてあらわせるため、Ｚ軸は縦横線のどちらかに割り当てて、動かす。たとえば、ｍｉｎ（ａ，ｂ）をａ，ｂの小さいほうの値を返す式とする。そして、ｍｉｎ（ｄｉｓｔＸ１，ｄｉｓｔＸ２）＜ｍｉｎ（ｄｉｓｔＹ１，ｄｉｓｔＹ２）ならば、縦線で、点１（ｘ−Ｓｘ／２＋ｄｉｓｔＺ×Ｃ３，ｙ−Ｓｙ／２，ｚ）、点２（ｘ−Ｓｘ／２＋ｄｉｓｔＺ×Ｃ３，ｙ＋Ｓｙ／２，ｚ）の２点を結ぶ線分として表示する。

ここで、表示部１５３は、ｍｉｎ（ｄｉｓｔＸ１，ｄｉｓｔＸ２）≧ｍｉｎ（ｄｉｓｔＹ１，ｄｉｓｔＹ２）ならば、横線で、点１（ｘ−Ｓｘ／２，ｙ−Ｓｙ／２＋ｄｉｓｔＺ×Ｃ３，ｚ）、点２（ｘ＋Ｓｘ／２，ｙ−Ｓｙ／２＋ｄｉｓｔＺ×Ｃ３，ｚ）の２点を結ぶ線分として表示する。

表示部１５３は、Ｘ、Ｙ方向のどちらもアラート線を表示する条件を満たした場合には縦横のアラート線を両方表示する。また、表示部１５３は、Ｚ方向もアラート線を表示する条件を満たした場合には、Ｚ軸に割り当てられた縦線または横線とＸ，Ｙ軸の縦線または横線の両方あるいはどちらかを表示する。

また、表示部１５３は、アラートパターンとして、線ではなく円や矩形などの図形を使用することもできる。この場合には、ｄｉｓｔＸ１，ｄｉｓｔＸ２，ｄｉｓｔＹ１，ｄｉｓｔＹ２，ｄｉｓｔＺに比例／反比例させて表示色の濃度や色、手指上の表示サイズを変更してもよい。図１３Ａ〜図１３Ｃの例は、手指をＸプラス方向へ移動した場合のアラート円の表示例である。表示部１５３は、３次元計測可能領域の端に近づくにつれ、表示色の濃度を落としたアラートパターンを生成する。また、表示部１５３は、手指が３次元計測可能領域の端に近づくにつれ、異なる表示色のアラートパターンを生成して表示してもよい。例えば、手指と３次元計測可能領域の境界が所定の距離以上離れている場合には、青のアラートパターンを生成し、手指と３次元計測可能領域の境界との距離が所定の距離未満である場合には、赤のアラートパターンを生成し、表示するようにしてもよい。また、表示部１５３は、手指が３次元計測可能領域の端に近づくにつれ、サイズが大きくなるアラートパターンを生成して表示するようにしてもよい。

続いて、表示部１５３は、生成したアラートパターンを表示するようにプロジェクタ３を制御する。アラート線を表示する場合には、表示色をユーザの手に表示して視認可能な色、たとえば緑とする。また、線の太さについても視認可能な一定の太さを持つものとする。アラート線の表示位置については、３次元座標上で決定しているが、これをプロジェクタ３で表示可能な２次元座標に変換する必要がある。以下で３次元座標（ａ，ｂ，ｃ）からプロジェクタ座標（ｘｐ，ｙｐ）への変換について説明する。

プロジェクタ３のテーブル面から設置高さをＬｐ、プロジェクタの水平画角α_ｐｈ、垂直画角α_ｐｖとし、プロジェクタの表示画素数横Ｓｐｗ、表示画素数縦Ｓｐｈとする。プロジェクタのＺ軸方向の距離ｃにおける横投影範囲Ｒｐｈ（ｃ）はＲｐｈ（ｃ）＝２×ｃ×ｔａｎ（αph／２）、縦投影範囲Ｒｐｖ（ｃ）はＲｐｖ（ｃ）＝２×ｃ×ｔａｎ（αｐｖ／２）とあらわせる。そして投影範囲の３次元座標系でのＸ座標最小値が「ｍｉｎＰＸ（ｃ）＝−Ｒｐｈ（ｃ）／２」となり、Ｘ座標最大値が「ｍａｘＰＸ（ｃ）＝Ｒｐｈ（ｃ）／２」となり、Ｙ座標最小値が「ｍｉｎＰＹ（ｃ）＝−Ｒｐｖ（ｃ）／２」となり、Ｙ座標最大値が「ｍａｘＰＹ（ｃ）＝Ｒｐｖ（ｃ）／２」となる。

ＸＹの投影範囲がプロジェクタ座標系となるため、３次元座標系の高さｃにおいて、プロジェクタ座標系の（０，０）は、３次元座標（ｍｉｎＰｘ（ｃ），ｍｉｎＰｙ（ｃ），ｃ）、プロジェクタ座標（Ｓｐｗ，Ｓｐｈ）は、３次元座標（ｍａｘＰｘ（ｃ），ｍａｘＰｙ（ｃ），ｃ）に相当する。これをもとに、以下の（３）式、（４）式でｘｐ，ｙｐをａ，ｂ，ｃを用いて表すことができる。

このようにして求めた３次元座標（ａ，ｂ，ｃ）をプロジェクタ座標（ｘｐ，ｙｐ）に変換し、ｘｐ，ｙｐに表示パターンを出力することにより、手指にアラートパターンを表示する。なお、ｘｐ＜０またはｙｐ＜０またはｘｐ≧Ｓｐｗまたはｙｐ≧Ｓｐｈの場合にはアラートパターンは表示されない。以上のようにして、アラートパターンをユーザの手指に表示する。最後に、表示部１５３において、対象物への照射色の変更など、ジェスチャに応じたアプリケーションの表示を実施する。以上の処理はカメラ１、２から画像が取得される毎に実施される。

［情報処理装置による処理］
次に、図１４を用いて、実施例１に係る情報処理装置１０による処理を説明する。図１４は、情報処理装置による、アラート線表示処理の手順を示すフローチャートである。

図１４に示すように、情報処理装置１０の取得部１５１は、カメラ１、２により撮像された撮影画像を取得する（ステップＳ１０１）。例えば、取得部１５１は、毎秒６０回、２台のカメラ１、２からの画像を取得する。続いて、取得部１５１は、撮影画像の中から手指領域のみを検出する。

そして、取得部１５１は、撮影画像の中から手指領域のみを抽出する（ステップＳ１０２）。例えば、取得部１５１は、画像における各画素の色情報、および抽出するための色に関する条件に基づき、肌色領域を検出し、撮影画像の中から手指領域のみを抽出する。

続いて、計側部１５２は、取得部１５１によって取得された撮影画像に含まれる手指の３次元座標位置（ｘ，ｙ，ｚ）を検出する（ステップＳ１０３）。そして、計測部１５２は、検出した手指領域の形状や過去の手指領域の形状からの変化をもとにジェスチャを認識する（ステップＳ１０４）。

そして、計測部１５２は、所定のジェスチャであるか否かを判定する（ステップＳ１０５）。例えば、計測部１５２は、選択操作や決定操作などの操作に関するジェスチャであるか否かを判定する。この結果、計測部１５２によって所定のジェスチャでないと判定した場合、つまり、操作と関係ないジェスチャであると判定された場合には（ステップＳ１０５否定）、表示部１５３は、アプリケーションの表示を実施する（ステップＳ１０９）。

また、計測部１５２によって所定のジェスチャであると判定した場合、つまり、操作に関係するジェスチャであると判定された場合には（ステップＳ１０５肯定）、表示部１５３は、アラートパターンの表示位置を決定する（ステップＳ１０６）。そして、表示部１５３は、アラートパターンを表示するか否かを判定する（ステップＳ１０７）。例えば、表示部１５３は、手指の３次元座標が、３次元計測可能領域の境界に近づいたか否かに応じて、アラートパターンを表示するか否かを判定する。

この結果、表示部１５３は、アラートパターンを表示しないと判定した場合には（ステップＳ１０７否定）、アプリケーションの表示を実施する（ステップＳ１０９）。また、表示部１５３は、アラートパターンを表示しないと判定した場合には（ステップＳ１０７肯定）、アラート線を表示し（ステップＳ１０８）、アプリケーションの表示を実施する（ステップＳ１０９）。

[実施例１の効果]
上述してきたように、情報操作表示システム１００は、カメラ１、２とプロジェクタ３と情報処理装置１０とを有する。この情報処理装置１０は、カメラ１、２により撮像された撮影画像を取得し、取得された撮影画像に含まれる操作対象物の３次元座標位置を計測する。そして、情報処理装置１０は、計測された３次元座標位置と、カメラ１、２により定まる、手指の３次元座標位置が計測可能な３次元領域の境界との距離に基づいて、手指に画像を表示するようにプロジェクタを制御する。このため、情報処理装置１０は、操作性を向上させることが可能である。

また、手指が３次元計測可能領域から外れる前に、手指上にアラートパターンが表示され、その表示状態により、同じ動きを続けると手指が検出領域から外れそうかについてユーザは認知できる。その結果、ユーザは計測可能領域から外すことなく手指を動かすことができる。また、アラート表示を手指に行うことで、ユーザは手指を見るだけで直感的にわかり、紙面や対象物への表示には影響を与えない効果もある。

また、実施例１によれば、情報処理装置１０は、過去の操作対象物の３次元座標位置と現在の操作対象物の３次元座標位置とを比較し、該３次元座標位置の変化に基づいて、操作対象物の３次元座標位置を予測する。そして、情報処理装置１０は、予測された操作対象物の３次元座標位置と、３次元領域の境界との距離に基づいて、操作対象物に画像を表示するようにプロジェクタ３を制御する。このため、情報処理装置１０は、手指の３次元座標を予測し、移動先に合わせた表示を行うと、意図した位置にずれなく後述するアラートパターンを表示することができる。

また、実施例１によれば、情報処理装置１０は、手指の３次元座標位置に応じて表示態様が変化する３次元領域の境界を示唆する縦線または横線を、操作対象物に表示するようにプロジェクタを制御する。このため、情報処理装置１０は、３次元領域を把握させ、ユーザは計測可能領域から外すことなく手指を動かすことが可能である。

また、実施例１によれば、情報処理装置１０は、手指の３次元座標位置と３次元領域の境界との距離に応じて色が変化する図形を、手指に表示するようにプロジェクタ３を制御する。このため、情報処理装置１０は、色の変化により、計測可能領域から外れそうか否かをユーザに対して分かりやすく報知することができる。

また、実施例１によれば、情報処理装置１０は、手指の３次元座標位置と３次元領域の境界との距離に応じて濃淡が変化する図形を、手指に表示するようにプロジェクタ３を制御する。このため、情報処理装置１０は、濃淡の変化により、計測可能領域から外れそうか否かをユーザに対して簡易に報知することができる。

また、実施例１によれば、情報処理装置１０は、手指の３次元座標位置と３次元領域の境界との距離に応じて表示サイズが変化する図形を、手指に表示するようにプロジェクタ３を制御する。このため、情報処理装置１０は、図形の表示サイズの変化により、計測可能領域から外れそうか否かをユーザに対して簡易に報知することができる。

また、実施例１によれば、情報処理装置１０は、手指による特定のジェスチャが検出された場合に、計測された手指の３次元座標位置と、３次元領域の境界との距離に基づいて、画像を手指に表示するようにプロジェクタ３を制御する。このため、情報処理装置１０は、特定のジェスチャが検出されない場合には、画像の表示制御を行わないので、処理負荷を軽減することが可能である。

また、実施例１によれば、情報処理装置１０は、起動しているアプリケーションが特定の状態である場合に、計測された手指の３次元座標位置と、３次元領域の境界との距離に基づいて、画像を手指に表示するようにプロジェクタ３を制御する。このため、情報処理装置１０は、起動しているアプリケーションが特定の状態でない場合には、画像の表示制御を行わないので、処理負荷を軽減することが可能である。

さて、これまで開示のシステムに関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

（１）単眼カメラ
上記の実施例１では、カメラ２台で手指などを撮影するステレオカメラの例を説明したが、これに限定されるものではなく、カメラ１台で手指などを撮影する単眼カメラでもよい。ここで、図１５を用いて、単眼カメラである場合の情報操作表示システム１００Ａのハードウェア構成について説明する。図１５は、単眼カメラである場合の情報操作表示システムのハードウェア構成を示す図である。

図１５に示すように、情報操作表示システム１００Ａでは、テーブル５上に設置された装置で単眼カメラとして１台のカメラ１およびプロジェクタ３が固定台４により固定されている。１台のカメラ１およびプロジェクタ３は、実施例１と同様に、有線または無線でコンピュータに接続されている。

また、図１５に示すように、カメラ１は、テーブル面からＬｃの高さに、テーブル面と並行に設置されている。プロジェクタ３は、カメラ１の中央にテーブル面からＬｐの高さで設置されている。

次に、図１６を用いて、単眼カメラの場合の３次元計測可能領域について説明する。図１６は、単眼カメラである場合の３次元計測可能領域を示す図である。図１６に示すように、カメラ１からテーブル面までの３次元の視野は、四角錐の形状になり、四角錐内の一定エリアのみが３次元計測可能領域となる。

また、３次元計測可能領域は、１台のカメラ１の視野範囲となる。このため、レンズからのＺ軸方向の距離ｚにおけるＸ，Ｙ方向の３次元計測可能領域は、「Ｘ座標最小値 ｍｉｎＸ（ｚ）＝−（Ｒｈ（ｚ）／２」、「Ｘ座標最大値 ｍａｘＸ（ｚ）＝（Ｒｈ（ｚ）／２」、「Ｙ座標最小値 ｍｉｎＹ（ｚ）＝−Ｒｖ（ｚ）／２」、「Ｙ座標最小値 ｍｉｎＹ（ｚ）＝Ｒｖ（ｚ）／２」の範囲の座標としてあらわせる。また、３次元計測可能領域のＺ座標最大値は、テーブル面となるため、「Ｚ座標最大値 ｍａｘＺ＝Ｌｃ」となる。また、３次元計測可能領域のＺ座標最大値は、テーブル面となるため、「Ｚ座標最大値 ｍａｘＺ＝Ｌｃ」となる。Ｚ座標最小値は、「Ｚ座標最小値 ｍｉｎＺ＝Ｓｙ／（２×ｔａｎ（α_ｃｖ／２））」となる。

（２）視野範囲
また、上記の実施例１では、視野範囲が四角である場合の例を説明したが、これに限定されるものではなく、視野範囲が円であってもよい。ここで、図１７を用いて、視野範囲が円である場合における３次元計測可能領域について説明する。図１７は、視野範囲が円で取得可能なステレオカメラの３次元計測可能領域を示す図である。図１７に示すように、カメラの画角をαとすると、レンズからのＺ軸方向の距離ｚにおける視野範囲Ｒ（ｚ）は、「Ｒ（ｚ）＝２×ｚ×ｔａｎ（α／２）」となる。

この視野範囲をもとに、３次元計測可能領域は、２台のカメラ１、２の視野範囲が重なる場所としてあらわせる。このため、レンズからのＺ軸方向の距離ｚにおけるＸ，Ｙ方向の３次元計測可能領域は、「Ｘ座標最小値 ｍｉｎＸ（ｚ）＝−（Ｒｈ（ｚ）−Ｄ）／２」、「Ｘ座標最大値 ｍａｘＸ（ｚ）＝（Ｒｈ（ｚ）−Ｄ）／２」、「Ｚ座標最大値 ｍａｘＺ＝Ｌｃ」、「Ｚ座標最小値 ｍｉｎＺ＝Ｓｙ／(２×ｔａｎ（α_ｃｖ／２）)」となる。

また、図１８を用いて、Ｙ座標の最大最小値について説明する。図１８は、視野範囲が円で取得可能なステレオカメラの３次元計測可能領域におけるＹ座標の最大最小値について説明する図である。図１８に示すように、視野範囲の半径ｒは、「ｒ＝ｚ×ｔａｎ（α／２）」でもとめられる。また、図１８に示す角度θは、「θ＝ａｃｏｓ（Ｄ／（２×ｒ）」でもとめられる。ここで「ａｃｏｓ」とは、逆余弦（アークコサイン）の略である。このため、Ｙ座標最大値は、「ｍａｘＹ（ｚ）＝ｔａｎθ×２／Ｄ」となり、Ｙ座標最小値は、「ｍｉｎＹ（ｚ）＝−ｔａｎθ×２／Ｄ」となる。

（３）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図３に示す取得部１５１、計測部１５２、表示部１５３の各処理部が適宜統合または分割されてもよい。また、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（４）プログラム
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１９は、表示プログラムを実行するコンピュータを示す図である。

図１９に示すように、コンピュータ３００は、ＣＰＵ３１０、ＲＯＭ（Read Only Memory）３２０、ＨＤＤ（Hard Disk Drive）３３０、ＲＡＭ（Random Access Memory）３４０を有する。これら３１０〜３４０の各部は、バス４００を介して接続される。

ＲＯＭ３２０には上記実施例の各処理部と同様の機能を発揮する表示プログラム３２０ａが予め記憶される。例えば、上記実施例の制御部１５同様の機能を発揮する表示プログラム３２０ａを記憶させる。なお、表示プログラム３２０ａについては、適宜分離してもよい。

ＨＤＤ３３０には、各種データを記憶する。例えば、ＨＤＤ３３０は、ＯＳや各種データを記憶する。

そして、ＣＰＵ３１０が、表示プログラム３２０ａをＲＯＭ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、表示プログラム３２０ａは、実施例の制御部１５と同様の動作を実行する。

なお、上記した表示プログラム３２０ａについては、必ずしも最初からＲＯＭ３２０に記憶させることを要しない。表示プログラム３２０ａはＨＤＤ３３０に記憶させてもよい。

例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

１，２ カメラ
３ プロジェクタ
１０ 情報処理装置
１１ 通信Ｉ／Ｆ部
１２ 表示部
１３ 入力部
１４ 記憶部
１５ 制御部
１００ 情報操作表示システム
１４１ ３次元計測可能領域情報
１４２ ３次元座標位置情報
１４３ アラートパターン情報
１５１ 取得部
１５２ 計側部
１５３ 表示部

Claims (10)

1. カメラとプロジェクタと情報処理装置とを有する情報操作表示システムであって、
   前記情報処理装置は、
   前記カメラにより撮像された撮影画像を取得する取得部と、
   前記取得部によって取得された撮影画像に含まれる操作対象物の３次元座標位置を計測する計測部と、
   前記計測部によって計測された３次元座標位置と、前記カメラにより定まる、操作対象物の３次元座標位置が計測可能な３次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するように前記プロジェクタを制御する表示部と、
   を有することを特徴とする情報操作表示システム。
2. 前記計測部は、過去の操作対象物の３次元座標位置と現在の操作対象物の３次元座標位置とを比較し、該３次元座標位置の変化に基づいて、操作対象物の３次元座標位置を予測し、
   前記表示部は、前記計測部によって予測された操作対象物の３次元座標位置と、前記３次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するように前記プロジェクタを制御することを特徴とする請求項１に記載の情報操作表示システム。
3. 前記表示部は、前記操作対象物の３次元座標位置に応じて表示態様が変化する前記３次元領域の境界を示唆する縦線または横線を、前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項１または請求項２に記載の情報操作表示システム。
4. 前記表示部は、前記操作対象物の３次元座標位置と前記３次元領域の境界との距離に応じて色が変化する図形を、前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項１または請求項２に記載の情報操作表示システム。
5. 前記表示部は、前記操作対象物の３次元座標位置と前記３次元領域の境界との距離に応じて濃淡が変化する図形を、前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項１または請求項２に記載の情報操作表示システム。
6. 前記表示部は、前記操作対象物の３次元座標位置と前記３次元領域の境界との距離に応じて表示サイズが変化する図形を、前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項１または請求項２に記載の情報操作表示システム。
7. 前記表示部は、前記操作対象物による特定のジェスチャが検出された場合に、前記計測部によって計測された操作対象物の３次元座標位置と、前記３次元領域の境界との距離に基づいて、前記画像を前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項１〜６のいずれか一つに記載の情報操作表示システム。
8. 前記表示部は、起動しているアプリケーションが特定の状態である場合に、前記計測部によって計測された操作対象物の３次元座標位置と、前記３次元領域の境界との距離に基づいて、前記画像を前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項１〜７のいずれか一つに記載の情報操作表示システム。
9. カメラにより撮像された撮影画像を取得し、
   前記撮影画像に含まれる操作対象物の３次元座標位置を計測し、
   前記３次元座標位置と、前記カメラにより定まる、前記操作対象物の３次元座標位置が計測可能な３次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するようにプロジェクタを制御する
   処理をコンピュータに実行させることを特徴とする表示プログラム。
10. カメラにより撮像された撮影画像を取得し、
    前記撮影画像に含まれる操作対象物の３次元座標位置を計測し、
    前記３次元座標位置と、前記カメラにより定まる、前記操作対象物の３次元座標位置が計測可能な３次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するようにプロジェクタを制御する
    ことを含んだことを特徴とする表示方法。

Images