JPWO2014061310A1 - 表示物制御システム、表示物制御方法及びプログラム - Google Patents

Abstract

特別な装置を装着することを操作者に強いることなく、操作対象の画像と当該画像を操作する物体との位置関係を操作者が認識することができる技術を提供する。所定の作業オブジェクトを用いて、画像表示装置（１１）が表示する操作対象画像に対する操作を行うためのシステムであって、認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識部（１２）と、認識部（１２）が認識した作業オブジェクトの位置と、操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影部（１４）と、を有する表示物制御システム（１０）を提供する。

Description

本発明は、表示物制御システム、表示物制御方法及びプログラムに関する。

ディスプレイやＰＣの高性能化に伴い、そこに表示される映像をインタラクティブに制御しようとする試みが多数行われている。特にＣＡＤやＣＧ（コンピュータグラフィクス）などでの分野では立体モデル形成のために必要な技術である。ＰＣやワークステーションなどでは一般に２次元や３次元のマウスを用いてこの操作を行っている。より直感的な操作の実現を求めて、大型プロジェクタスクリーンやヘッドマウントディスプレイを含む立体ディスプレイと色々な操作デバイスとを用いるものが開発されている。

非特許文献１に、マークとなる突起を多数取り付けた専用グローブと、この形を読み取るための赤外光投射・パターン読み取り装置とを利用し、ジェスチャーによってインタラクティブに画像データを制御する技術が開示されている。

非特許文献２に、位置測定マーカと触力覚を提示できる小型のアクチュエータを指に装着し、指の位置を測定するとともに、画像に触った感覚を指に与える技術が開示されている。

非特許文献３に、ヘッドマウントディスプレイで立体空間を提示し、手にしたマニピュレータで位置を制御し、その空間内を自由に動けるようにした技術が開示されている。

非特許文献４に、ハーフミラーと種々の入力装置を組み合わせた技術が開示されている。

[online]、［平成２４年６月１８日検索］、インターネット<URL:http://oblong.com/> "触れる立体テレビを実現するシステムを開発"[online]、［平成２４年６月１８日検索］、インターネット、<URL:http://www.aist.go.jp/aist_j/press_release/pr2010/pr20100825/pr20100825.html)> "ヘッドマウントディスプレイを用いたＶＲ−ＣＡＤシステムの構築"、[online]、［平成２４年６月１８日検索］、インターネット、<URL:http://library.jsce.or.jp/jsce/open/00035/2002/57-4/57-4-0071.pdf> "HoloDesk-Direct 3D Interactions with a Situated See-Through Display"、[online]、［平成２４年６月１８日検索］、インターネット、<URL:http://research.microsoft.com/apps/video/default.aspx?id=154571>

画像を操作中、操作者は、画像と画像を操作する物体（例：手）との位置関係を把握し難いという問題がある。

非特許文献２に記載の技術の場合、操作者は画像に触ったことを感知できるが、触っていない状態での画像と手との位置関係を把握することができない。また、指に特別な装置を装着しなければならず、面倒である他、操作の妨げになる場合もある。

非特許文献１、３及び４に記載の技術も、当該課題を解決可能に構成していない。

本発明は、特別な装置を装着することを操作者に強いることなく、操作対象の画像と当該画像を操作する物体との位置関係を操作者が認識することができる技術を提供することを課題とする。

本発明によれば、
所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うためのシステムであって、
認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識手段と、
前記認識手段が認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影手段と、
を有する表示物制御システムが提供される。

また、本発明によれば、
所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うための方法であって、
コンピュータが、
認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識工程と、
前記認識工程で認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影工程と、
を実行する表示物制御方法が提供される。

また、本発明によれば、
所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うために、
コンピュータを、
認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識手段、
前記認識手段が認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影手段、
として機能させるためのプログラムが提供される。

本発明によれば、特別な装置を装着することを操作者に強いることなく、操作対象の画像と当該画像を操作する物体との位置関係を操作者が認識することができる技術が実現される。

上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の表示物制御システムの機能ブロック図の一例を示す図である。 本実施形態の表示物制御システムの機能ブロック図の一例を示す図である。 本実施形態の処理部の機能ブロック図の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の認識・投影装置の一例を示す図である。 本実施形態の認識・投影装置の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 本実施形態の表示物制御システムの使用概念図の一例を示す図である。 参考例を説明するための図である。

以下、本発明の実施の形態について図面を用いて説明する。

なお、本実施形態のシステム、装置は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム（あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェイスを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

また、本実施形態の説明において利用する機能ブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各システム、装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。

＜第１の実施形態＞
まず、本実施形態の概要について説明する。

図１に本実施形態の表示物制御システムの使用概念図の一例を示す。図において、１０１は立体画像表示装置である。この例では国際公開第２００７／１１６９１０号に記載の２面立体画像表示装置を用いている。１０２は、認識エリア１０３内のオブジェクトを認識し、位置情報を取得するとともに、所定の位置に所定の情報を投影する認識・投影装置である。１０４は画像表示装置１０１により表示され、操作者（非表示）に立体的に知覚された立体画像、１０５は操作者（非表示）の右手、１０６は操作者（非表示）の左手である。１０７は右手１０５の甲の上に、認識・投影装置１０２から投影された立体画像１０４と右手１０５間の距離を示す情報（３ｃｍ）、１０８は左手１０６の手の平の上に、認識・投影装置１０２から投影された立体画像１０４の一部の補完画像と、立体画像１０４と右手１０５が接触していることを示す情報（ＯＮ）である。図示しないが、認識・投影装置１０２と画像表示装置１０１は有線及び／又は無線で通信可能になっている。

図示する例の場合、操作者の右手１０５及び左手１０６（作業オブジェクト）を用いて、立体画像１０４（操作対象画像）に対する操作が可能である。

認識・投影装置１０２は、認識エリア内１０３内に位置する右手１０５及び左手１０６各々を認識すると、各々の位置情報を取得する。また、操作者に知覚される立体画像１０４の表示位置を認識する。そして、右手１０５及び左手１０６各々と、立体画像１０４との位置関係（位置関係情報）を把握する。位置関係情報は、例えば、右手１０５及び左手１０６各々と、立体画像１０４との距離や、それらが接触しているか否か等である。

その後、認識・投影装置１０２は、認識した位置関係を示す情報を所定の位置に投影する。図１に示す例では、右手１０５及び左手１０６各々の上に、各々と立体画像１０４との位置関係を示す情報を投影している。右手１０５に投影されている「３ｃｍ」は、右手１０５と立体画像１０４との距離を示している。左手１０６（作業オブジェクト）に投影されている「ＯＮ」は、左手１０６と立体画像１０４とが接触していることを示している。また、左手１０６に投影されている立体画像１０４の一部の画像により、操作者から見て左手１０６が立体画像１０４の裏側に位置することが示されている。すなわち、左手１０６は、操作者から見て立体画像１０４の裏側から立体画像１０４に触れていることが示されている。

このような本実施形態によれば、操作者は、投影された情報に基づいて作業オブジェクト（例：左手１０６及び右手１０５）と操作対象画像（例：立体画像１０４）との位置関係を把握しながら、操作対象画像に対する所定の操作を行うことが可能となる。

以下、本実施形態の構成について詳細に説明する。

本実施形態の表示物制御システムは、所定の作業オブジェクトを用いて、表示装置が表示する操作対象画像に対する操作を行うためのシステムであって、認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識手段と、認識手段が認識した作業オブジェクトの位置と、操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影手段と、を有する。

図２に、本実施形態の表示物制御システム１０の機能ブロック図の一例を示す。図示する表示物制御システム１０は、認識部１２と、処理部１３と、投影部１４とを有する。当該例の場合、表示物制御システム１０は、画像表示装置１１を有さない。なお、表示物制御システム１０と画像表示装置１１とは有線及び／又は無線で通信可能になっている。認識部１２及び投影部１４は、図１に示す認識・投影装置１０２内に備えられる。なお、処理部１３は認識・投影装置１０２内に備えられてもよいし、認識・投影装置１０２と物理的に分離した装置内に備えられてもよい。後者の場合、処理部１３を含む装置と認識・投影装置１０２とは有線及び／又は無線で通信可能になっている。

図３に、本実施形態の表示物制御システム１０の機能ブロック図の他の一例を示す。図示する表示物制御システム１０は、画像表示装置１１と、認識部１２と、処理部１３と、投影部１４とを有する。当該例の場合、表示物制御システム１０は、画像表示装置１１を有する。

以下、各部及び装置について説明する。

画像表示装置１１は、操作対象となる画像（操作対象画像）を表示する。画像表示装置１１は、例えば、立体（３次元）画像を表示する立体画像表示装置であってもよいし、平面（２次元）画像を表示する平面画像表示装置であってもよい。立体画像表示装置の構成は特段制限されず、パララックスバリア方式やレンチキュラ方式等の裸眼方式であってもよいし、アナグリフ方式、偏光フィルタ方式、時分割方式等のメガネ方式であってもよい。しかし、装置の装着等による操作者への負担を軽減する観点からは、裸眼方式の方が好ましい。なお、図１の例の場合、２面のスクリーンを利用しているが、１つのスクリーンのみであってもよいし、又は、それ以上の数のスクリーンを利用してもよい。

画像表示装置１１は、処理部１３と通信可能に構成されている。そして、画像表示装置１１は処理部１３から取得した情報に応じて、操作対象画像の表示位置や、構成（形状、色、大きさ等）を変更することができる。

以下では、画像表示装置１１は、操作対象画像として立体（３次元）画像を表示する立体画像表示装置であるものとする。

認識部１２は、認識エリア１０３内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する。なお、位置情報は、オブジェクトが占めるエリアの位置を特定できる情報であってもよい。かかる場合、位置情報により、オブジェクトの形状及び大きさをも特定可能である。

認識部１２の構成は特段制限されないが、例えば、３次元物体計測装置が用いられる。例えば、いわゆるレーザレンジファインダーなどタイムオブフライト法を用いたものや、マイクロソフト社が販売しているＫｉｎｅｃｔと呼ばれる３角法を用いたものなどがある。

認識部１２が認識する所定のオブジェクトは、操作対象画像を操作するための所定の作業オブジェクトや操作者（例：操作者の頭部）等を含む。なお、認識部１２は、さらに、画像表示装置１１のスクリーンを認識してもよい。所定の作業オブジェクトは、図１に示す例のように操作者の手（右手１０５、左手１０６）であってもよいし、所定形状の道具（指示棒）や装置等であってもよい。予めこのような所定のオブジェクトの特徴量を認識部１２に保持させておいてもよい。

認識部１２は、所定のオブジェクトを認識し、その位置情報を生成すると、処理部１３に入力する。

図４に、処理部１３の機能ブロック図の一例を示す。図示する処理部１３は、表示位置特定部１５と、位置関係特定部１６と、位置関係情報生成部１７と、を有する。位置関係情報生成部１７は、図示するように、画像生成部１８を有してもよい。

表示位置特定部１５は、操作対象画像の表示位置、具体的には、操作者に知覚される操作対象画像の表示位置（第１の表示位置）を特定する。すなわち、表示位置特定部１５は、従来技術を利用して、操作者に知覚される立体画像の飛び出し量を算出し、算出した飛び出し量、及び、画像表示装置１１のスクリーン位置を利用して、第１の表示位置を特定する。

ここで、本実施形態の表示位置特定部１５が飛び出し量を算出可能であることを示すために飛び出し量を算出する処理の一例を説明するが、表示位置特定部１５による処理内容はこれに限定されるものではない。

飛び出し量は、例えば、左右像のズレ量、操作者の瞳孔間隔、操作者の目からスクリーンまでの距離を利用して算出できることが知られている。表示位置特定部１５は、例えば、画像表示装置１１から操作対象画像に関する情報（左右像のズレ量）を取得することができる。また、表示位置特定部１５は、例えば、認識部１２から操作者の頭部の位置情報及び画像表示装置１１のスクリーンの位置情報を取得し、これらを利用して、操作者の目からスクリーンまでの距離を算出することができる。操作者の目の位置は操作者の頭部の位置から推定することができる。なお、画像表示装置１１のスクリーンの位置が固定されている場合、表示位置特定部１５は、予め、画像表示装置１１のスクリーンの位置を示す情報を保持しておいてもよい。また、表示位置特定部１５は、予め、一般的な人間の瞳孔間隔を示す値を保持しておくことができる。表示位置特定部１５はこのようにして取得した情報を利用して、飛び出し量を算出することができる。

表示位置特定部１５は、操作対象画像の第１の表示位置を特定すると、第１の表示位置を示す情報を位置関係特定部１６に入力する。なお、第１の表示位置を示す情報は、操作対象画像が占めるエリアの位置を示す情報であってもよい。かかる場合、操作対象画像の形状及び大きさをも特定可能である。例えば、表示位置特定部１５は、画像表示装置１１から操作対象画像の形状、大きさなどを示す情報を取得し、この情報を利用することで上述のような情報を算出することができる。

位置関係特定部１６は、作業オブジェクト（例：図１の右手１０５や左手１０６）の位置と、操作者に知覚される操作対象画像の表示位置（第１の表示位置）との位置関係、すなわち、作業オブジェクトと仮想的に第１の表示位置に存在する操作対象画像との位置関係を特定する。なお、位置関係特定部１６は、認識部１２から、作業オブジェクトの位置情報を取得することができる。

位置関係特定部１６が特定する作業オブジェクトと仮想的に第１の表示位置に存在する操作対象画像との位置関係は、例えば、これら間の距離（例：最短距離）であってもよいし、または、これらが互いに接しているか否かを示す情報であってもよいし、または、仮想的に第１の表示位置に存在する操作対象画像の内部に作業オブジェクトが存在するか否かであってもよい。

位置関係特定部１６は、認識部１２から取得した作業オブジェクトの位置情報、及び、表示位置特定部１５から取得した第１の表示位置を示す情報を利用し、従来技術を利用して、上述のような位置関係を算出することができる。

位置関係特定部１６は、特定した位置関係を示す情報を、位置関係情報生成部１７に入力する。

位置関係情報生成部１７は、投影部１４が所定の情報（画像）を投影するためのデータを生成する。具体的には、位置関係情報生成部１７は、認識部１２が認識した作業オブジェクトの位置と、操作対象画像の第１の表示位置との位置関係を示す情報（位置関係情報）、すなわち、位置関係特定部１６が特定した位置関係を示す情報を投影部１４が投影するためのデータ（投影データ）を生成する。

位置関係情報生成部１７により生成される投影データは、図１に示す「３ｃｍ」や「ＯＮ」のように文字で位置関係を示す情報であってもよいし、または、色の変化により位置関係を示す情報（例：青色のオブジェクト＝非接触、赤色のオブジェクト＝接触）であってもよいし、または、所定のキャラクタの状態の変化により位置関係を示す情報（例：キャラクタが座っている＝非接触、キャラクタが立っている＝接触）であってもよい。

画像生成部１８は、操作対象画像と作業オブジェクトとの位置関係が、以下の（１）及び（２）を満たす場合、位置関係情報の投影データとして、操作対象画像における、操作者により観察された場合に作業オブジェクトと重なる部分を表す画像（第１の画像）を生成する。例えば、画像生成部１８は、画像表示装置１１から操作対象画像の画像データを取得し、当該画像データを利用して第１の画像を生成することができる。

（１）操作対象画像の第１の表示位置の方が作業オブジェクトよりも操作者の近くにある。
（２）操作者により観察された場合、操作対象画像と作業オブジェクトの少なくとも一部が互いに重なる関係にある。

例えば、図１に示す左手１０６（作業オブジェクト）と立体画像１０４（操作対象画像）とが、上記（１）及び（２）の関係を満たす。かかる場合、画像生成部１８は、位置関係情報の投影データとして、立体画像１０４（操作対象画像）における、操作者により観察された場合に左手１０６（作業オブジェクト）と重なる部分を表す画像（第１の画像）を生成する。

このようにして生成された第１の画像は、以下で説明する投影部１４により、作業オブジェクト上に投影される。図１に示す例の場合、左手１０６（作業オブジェクト）上に第１の画像が投影されている。より具体的には、左手１０６（作業オブジェクト）上における、操作者により観察された場合に立体画像１０４（操作対象画像）と重なる部分に、第１の画像が投影されている。

ここで、画像表示装置１０１のスクリーンと操作者の間に作業オブジェクトが位置すると、作業オブジェクトにより操作者による操作対象画像の一部または全部の観察が阻害されてしまう。

図１に示す右手１０５（作業オブジェクト）と立体画像１０４（操作対象画像）との関係のように、上記（２）の関係を満たすが上記（１）の関係を満たさない場合、右手１０５と重なる部分が欠落した状態となった立体画像１０４が操作者に観察されることとなるが、操作者から見て右手１０５は立体画像１０４よりも手前側にあるため、立体画像１０４の右手１０５と重なる部分が欠落するのは自然な表示である。このような表示から、操作者は、立体画像１０４よりも右手１０５が手前側にあることを直感的に把握することができる。

一方、図１に示す左手１０６（作業オブジェクト）と立体画像１０４（操作対象画像）との関係のように、上記（１）及び（２）の関係を満たす場合、左手１０６と重なる部分が欠落した状態となった立体画像１０４が操作者に観察されることとなるが、操作者から見て左手１０６は立体画像１０４の裏側にあるため、立体画像１０４の左手１０６と重なる部分が欠落するのは不自然な表示である。このような表示から、操作者は、立体画像１０４の裏側に左手１０６が位置することを直感的に把握できない。

そこで、本実施形態では、上記（１）及び（２）の関係を満たす場合、作業オブジェクト（例：左手１０６）と重なることで操作者に欠落して観察される操作対象画像（例：立体画像１０４）の欠落部分の画像（第１の画像）を画像生成部１８が生成し、当該第１の画像を作業オブジェクト上、具体的には、作業オブジェクト（例：左手１０６）上における操作対象画像と重なる部分に投影することができる。このようにした場合、操作者には、画像表示装置１１により表示された欠落部分を有する操作対象画像（例：立体画像１０４）と、投影部１４により投影された第１の画像とにより形成された操作対象画像が認識されることとなる。すなわち、操作者から見て操作対象画像（例：立体画像１０４）の裏側に位置する作業オブジェクト（例：左手１０６）により、操作対象画像（例：立体画像１０４）の表示が妨げられるという不自然な表示を解消することができる。結果、操作者は、操作者から見て作業オブジェクトが操作対象画像の裏側に存在することを直感的に把握できるようなる。

ところで、画像を見るのは操作者の目であり、目の位置と、第１の表示位置に仮想的に存在する操作対象画像、及び、作業オブジェクトの位置を考慮した画像生成が必要である。作業オブジェクトへの第１の画像の投影においては、目と作業オブジェクトの位置を計算し、作業オブジェクト上の目から見える場所（作業オブジェクト上における、操作者により観察された場合に操作対象画像と重なる部分）に第１画像を投影する必要がある。また、上述した第１の画像については、表示装置上の実際の画像（スクリーン上の画像）と作業オブジェクトとの間にギャップがあるため、目、作業オブジェクト、表示装置上の実際の画像、第１の表示位置の位置関係を考慮して画像を生成することになる。詳しくは以下の実施形態で述べる。

画像生成部１８は、例えば、認識部１２が認識した操作者の頭の位置及び作業オブジェクトの位置と、操作対象画像の第１の表示位置と、を利用して、第１の画像を生成する。操作者の頭の位置から、操作者の目の位置を推定可能である。

位置関係情報生成部１７は、生成した投影データを投影部１４に入力する。なお、位置関係情報生成部１７は、投影データに加えて、投影する位置（投影位置）を示す情報を、投影部１４に入力してもよい。

投影部１４は、例えばプロジェクタなどを含んで構成される。

投影部１４は、位置関係情報生成部１７から取得した投影データを利用して、認識部１２が認識した作業オブジェクトの位置と、操作対象画像の表示位置（第１の表示位置）との位置関係を示す情報である位置関係情報を、所定の位置に投影する。投影部１４は、位置関係情報生成部１７から投影位置を示す情報を取得した場合、その情報で特定される位置に、位置関係情報を投影する。

投影部１４は、例えば、作業オブジェクトに位置関係情報を投影してもよい。また、投影部１４は、操作者の手、腕、衣服の上等に位置関係情報を投影してもよい。

投影部１４は、操作対象画像と作業オブジェクトとの位置関係が、上記（１）及び（２）を満たす場合、位置関係情報として、画像生成部１８が生成した第１の画像を作業オブジェクトに投影してもよい。かかる場合、投影部１４は、作業オブジェクト上における、操作者により観察された場合に操作対象画像と重なる部分に、第１の画像を投影してもよい。

なお、処理部１３は、操作対象画像と作業オブジェクトとの位置関係を示す情報を、画像表示装置１１に入力することができる。画像表示装置１１は、入力された情報に応じて、操作対象画像の表示位置を変更したり、形状を変更したり、色や大きさ等を変更したりできる。例えば、操作対象画像と作業オブジェクトとが接触している状態で、さらに、作業オブジェクトが操作対象画像側に移動すると（作業オブジェクトが操作対象画像を押すような移動）、その移動量等に応じて、操作対象画像の表示位置を変更したり、形状を変更したりしてもよい。

以上説明した本実施形態によれば、操作者は、投影された情報に基づいて作業オブジェクトと操作対象画像との位置関係を把握しながら、操作対象画像に対する所定の操作を行うことが可能となる。

また、本実施形態では、作業オブジェクトと操作対象画像との位置関係を、作業オブジェクトに投影することができる。このため、操作者は操作している部分から目を離すことなく、必要な情報を得ることができる。また、視線の移動がないことで、操作効率がよく、疲れも少ない。

上記例では、作業オブジェクトは操作者の右手及び左手であったが、操作者のその他の体の一部を作業オブジェクトとすることができる。例えば、操作者の足、頭、ひじ、ひざ、肩、尻等を作業オブジェクトとしてもよい。

また、作業オブジェクトは、作業オブジェクトと操作対象画像との位置関係に応じて（位置関係情報の内容に応じて）光の放射、音の放射、振動の発生、及び、色の変化の中の少なくとも１つの状態変化を起こす装置であってもよい。このような作業オブジェクトによれば、投影部１４により投影される投影情報と、作業オブジェクトの状態変化とにより、操作者に、作業オブジェクトと操作対象画像との位置関係を示すことができる。結果、より効率的に、操作者は作業オブジェクトと操作対象画像との位置関係を把握することが可能となる。

＜第２の実施形態＞
次に、第２の実施形態について説明する。なお、第１の実施形態と同様の構成部分については、適宜説明を省略する。

図５に本実施形態の表示物制御システムの使用概念図の一例を示す。これは図１の状況を横から見た図に相当する。図において、１０１〜１０６は図１と同じものである。２０１は認識部、２０２は投影部を示している。

認識部２０１の認識エリア１０３は、図に示すように、操作者２０３と画像表示装置１１全体をカバーする。これは、第１の実施形態で説明したように、操作者２０３の頭と右手１０５と画像表示装置１１上の表示物の位置（スクリーンの位置）を認識し、第１の画像を生成等するためである。

投影部２０２の投影範囲２０４は、画像表示装置１１全体よりやや広めの範囲をカバーする。これにより、操作対象画像と作業オブジェクトとの位置関係を示す情報を、操作対象画像に対して所定の操作を行う作業オブジェクト上に投影可能となっている。

ここで、第１の実施形態で説明した画像生成部１８による第１の画像の生成方法について、図５を用いて詳しく述べる。

図中２０５は、画像表示装置１１のスクリーンに映し出されている画像を示す。画像２０５を観察した操作者は、画像がスクリーンから飛び出しているように知覚する。すなわち、操作者は、立体画像１０４が表示されているように知覚する。

図中２０６は、操作者２０３の目の位置を示している。右手１０５が立体画像１０４の下に位置することを示すためには、目の位置２０６、右手１０５と画像２０５の位置、操作者に知覚される立体画像１０４の表示位置（第１の表示位置）を計算して、例えば、立体画像１０４の底の部分の画像２０７、又は、立体画像１０４の操作者から観察される側の表面部分の画像２０７を、投影部２０２から右手１０５上に投影することになる。これら全ての情報がそろえば、より好ましくは正確なこれら全ての情報がそろえば、より正確な第１の画像が生成できるので好ましい。例えば、立体画像１０４の表示位置（第１の表示位置）が間違っていれば、他の要素が間違っていなくても投影する画像は異なってくる。ただし、目の位置に関しては頭の位置から推定できるため、本システムにおいては目ではなく頭の位置を認識部２０１で認識している。このため、従来のように目の位置を検知するための正面からのカメラ撮影は不要である。

本実施形態によれば、第１の実施形態と同様の作用効果を実現することができる。

＜第３の実施形態＞
次に、第３の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態と同様の構成部分については、適宜説明を省略する。

図７に本実施形態の認識・投影装置１０２の一例を示す。図６は図５で示した認識・投影装置１０２を再掲したものである。

投影部２０２は、いわゆるプロジェクタが用いられる。この場合、図６に示すように、投影範囲２０４は、画像表示装置１１全体よりやや広めの範囲をカバーする。これにより、操作対象画像と作業オブジェクトとの位置関係を示す情報を、操作対象画像に対して所定の操作を行う作業オブジェクト上に投影可能となっている。しかし、実際に画像を投影するのは作業オブジェクト上の一部分のみである。

そこで、図７に示すように、本実施形態の投影部３０１、３０２各々の投影範囲３０３、３０４は、第２の実施形態の投影部２０２の投影範囲２０４よりも小さくなっている。そして、本実施形態の投影部３０１、３０２各々は、投影方向が可変になっている。すなわち、投影部３０１、３０２は、投影範囲２０４は狭いが、処理部１３又は認識部１２から作業オブジェクトの位置情報を取得し、当該情報に従い投影方向を変更することで、作業オブジェクト上への画像の投影を実現する。なお、図７においては、２つの作業オブジェクト（例：右手１０５及び左手１０６）各々の上に画像を投影するために２つの投影部３０１、３０２を備えているが、投影部の数はこれに限定されない。

図７において、３０１、３０２は小型のプロジェクタからなる投影部、３０３、３０４はそれぞれの投影範囲である。該小型プロジェクタはそれぞれ、機械的に投影方向を可変できるようになっており、認識部２０１によって認識された作業オブジェクトの方向に画像を投影することが可能である。

本実施形態のように必要最小限の投影を行うことにより、投影される画像の輝度は図６の例と同じでも、投影装置の小型化、低電力化がはかれる。複数人で作業する場合には更に投影部の数を増やすことで対応できる。このような小型のプロジェクタに関しては、投影距離によらず焦点調整が不要なレーザプロジェクタなどが好適である。

本実施形態によれば、第１及び第２の実施形態と同様の作用効果を実現することができる。

＜第４の実施形態＞
次に、第４の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態及び／又は第３の実施形態と同様の構成部分については、適宜説明を省略する。

図８に本実施形態の表示物制御システムの使用概念図の一例を示す。図８において、１０１、１０２、１０４、１０５は図１と同じである。図８（ａ）に示した４０１は表示物に近づきつつある右手１０５への投影画像である。この例では立体画像１０４と右手１０５間の距離が５ｃｍであることを示している。前にも述べたが、投影する情報は文字でなくても良いし、距離よりも編集モードを示すようなものであってもよい。要はその応用に対して最も適切な情報を与えれば良い。

図８（ｂ）は右手１０５が立体画像１０４に触った瞬間、正確には、右手１０５と立体画像１０４との位置関係が互いに接する位置関係になった瞬間を示しており、触ったことを示す「ＯＮ」という文字（投影画像４０２）が右手１０５に投影されている。

本実施形態の表示物制御システムは、このような立体画像１０４に対する２つの編集モードを有してもよい。一つは、立体画像１０４で示されるオブジェクトの内部に作業オブジェクトが侵入できないモードであり、もう一つは、立体画像１０４で示されるオブジェクトの内部に作業オブジェクトが侵入できるモードである。

前者の場合、図８（ｂ）に示すように右手１０５が立体画像１０４を触った後、さらに、右手１０５が下方に移動すると、立体画像１０４の表示位置を右手１０５により押された方向に移動したり、又は、立体画像１０４の形状を右手１０５による押圧に応じて変形させたりすることができる。このような立体画像１０４の表示態様の変更は、画像表示装置１１により実現される。

一方、後者の場合、図８（ｂ）に示すように右手１０５が立体画像１０４を触った後、さらに、右手１０５が下方に移動すると、図８（ｃ）に示すように、立体画像１０４は表示位置や形状を変えず、右手１０５が立体画像１０４の中に入ってく。すなわち、画像生成部１８がそのような状態を示す投影画像（第１の画像）を生成し、投影部１４がその投影画像４０３（第１の画像）を右手１０５の所定位置に投影する。なお、図８（ｃ）に示す例では、さらに、立体画像１０４内に侵入した右手１０５の侵入距離（図中、「５ｃｍ」）が右手１０５に投影されている。

操作対象画像（立体画像１０４）が複雑な構成である場合、内部の構造物に触りたいという要求も発生するため、後者のモードがあれば有効である。

図８（ｄ）は、右手１０５で立体画像１０４を下から触っている状態を示している。右手１０５には、このような状態を示す投影画像（第１の画像）４０４が投影されている。

ここで、従来技術に発生する他の課題（表示の乱れ）、及び、本発明の表示物制御システムが当該課題に対して優位であることを説明する。

図１６に、従来技術に発生する表示の乱れの様子を示す。図において、１３０１は操作対象となる表示物、１３０２は操作対象の背景画面、１３０３は操作対象となる表示物１３０１を上から触るかっこうになった腕、１３０４は腕１３０３を避けて画像を形成するためにできた黒色部分、１３０５は操作対象となる表示物１３０１を下から触るかっこうになった腕である。操作対象となる表示物１３０１には上からも下からもさわれるのが好ましいが、従来のシステムでは１方向からのみしか画像が投影されないため１３０４のような黒色部分が発生する。この部分は腕１３０３、１３０５の動きにつれて画像を避けるように生成されていくため、ちらつきが大きくなり、非常に使いづらい。

また、この画像の乱れは視線の方向に大きく依存する。それはＬＣＤからの画像と手の位置に視差が存在するからである。非特許文献４に記載の技術においては、カメラが操作者の目の位置を検知し、それに応じて画像の調整を行っている。このように正面から操作者の顔を認識しなければならないシステムではカメラの存在が表示装置の置き場所を制限してしまうという問題がある。

次に、図９を用いて、本発明の表示物制御システムが当該課題に対して優位であることを説明する。

図において、５０１は表示装置上の操作対象となる表示物、５０２は背景、５０３は表示物５０１を上から触るかっこうになっている右腕、５０４は表示物５０１を下から触るかっこうになっている右腕、５０５はそのように認識させるために右手に投影された第１の画像（補完投影画像）を示している。

図１６に示した例の場合、図９（ａ）のように表示物５０１の上に手が来る場合、上から画像を重ねるのみであったため、手を避けて画像を表示せざるを得ず、避けるための黒い部分が画像を乱していた。これに対し、本発明のシステムでは表示物５０１の上から触る格好になっている場合は画像の乱れは一切発生しない。単に画像表示装置１１が表示する画像の上に手があるだけであるからである。下から触ろうとする場合（図９（ｂ）参照）も同様に、背景５０２と右腕５０４の間には乱れは起きえない。

ただし、表示物の下に来る手に投影される第１の画像（補完投影画像）に画像の乱れが生じ得る。しかし、その性質と程度は図１６を用いて説明した従来例の画像の乱れに比べれば小さい。理由は２つある。一つは、そもそも表示する画像が手の下に存在する表示物と同じものであり、指の隙間や手の位置をそれほど気にしなくても良いと言うことである。従って、手の位置が多少ずれても、指が動いても画像を変化させる必要がなく、ちらつきも発生しない。もう一つの理由は、下にある画像表示装置と投影部から投影される画像の輝度差である。同じ画像を重ねると言っても別物であるから、影響は受ける。しかし、一般に液晶ディスプレイなどからの光の方が強いことと、液晶ディスプレイの面は鏡面に近く、大抵は目に直接はいらない方向に反射されるため、よけいに輝度差がつき、その影響は軽減される。以上のような理由で、本発明の方が、従来技術に比べて画像の乱れをはるかに小さくできる。

本実施形態によれば、第１乃至第３の実施形態と同様の作用効果を実現することができる。

＜第５の実施形態＞
次に、第５の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態及び／又は第３の実施形態及び／又は第４の実施形態と同様の構成部分については、適宜説明を省略する。

本実施形態の表示物制御システムは、作業オブジェクトがペン状の道具である。

図１０に本実施形態の表示物制御システムの使用概念図の一例を示す。図において、６０１は操作者（非表示）に立体的に知覚された表示物、６０２は右腕、６０３は作業オブジェクトである操作用のペン状の道具を示している。図１０（ａ）に示すように、手には認識・投影装置より、ペン状の道具６０３と表示物６０１との位置関係を示す情報（投影画像６０４）が投影されている。ここでは表示物６０１上の点Ａ、Ｂ、Ｃそれぞれからのペン状の道具６０３までの距離（例：最短距離）が示されている。

図１０（ｂ）はペン状の道具６０３が表示物６０１の点Ａに接触した状態、正確には、ペン状の道具６０３と表示物６０１の点Ａとの位置関係が互いに接する位置関係になった状態を示している。その結果、手に表示される位置関係を示す投影画像６０６は、点Ａとペン状の道具６０３が当該状態となっていることを示す「Ａ：ＯＮ」となっている。また、編集モードとなっていることを示している（Ｅｄｉt ｍｏｄｅ）。さらに、ペン状の道具６０３の先端から光６０５を放射している。操作者は、これらの情報により、ペン状の道具６０３が表示物６０１の点Ａに接触したことを把握することができる。

なお、光を放射する状態変化に加えて、又は、代えて、ペン状の道具６０３から音が発せられてもよいし、携帯電話のバイブレータのようなものが内蔵されていて、振動を発生させてもよい。

図１０（ｃ）はペン状の道具６０３が温度プローブとして働いている場合を示している。ペン状の道具６０３は表示物６０１上のＢ点に触ったことと、その点の温度を示すため６０７で示すように、温度に応じた色に変わっている。例えば低温では青色、高温では赤色というように、温度に対して色を割り当てておき、これを表示するものである。ペン状の道具６０３が表示物６０１に触っていない場合は白色というように設定しておけば、触ったかどうかも判定できる。コレステリック液晶などを使えば、表面を色々な色に変化させることが可能である。手に投影された情報（投影画像６０８）はＢ点の温度が５２℃であることを示している。ペン状の道具６０３の色で直感的に、手への投影情報で正確な値が分かるようになっている。

このように、作業オブジェクトをシステムの一部として情報を伝えるように働かせることで、より分かりやすい操作が可能となる。道具によって与える役割を変えれば、色々な操作を行うことができる。たとえば、ピンセット、ハサミ、ハンマー、ペンチ、ノコギリ、オシロスコープのプローブ、聴診器など色々と応用が可能である。

本実施形態によれば、第１乃至第４の実施形態と同様の作用効果を実現することができる。

＜第６の実施形態＞
次に、第６の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態及び／又は第３の実施形態及び／又は第４の実施形態及び／又は第５の実施形態と同様の構成部分については、適宜説明を省略する。

本実施形態の表示物制御システムは、作業オブジェクトがメス（刃物）である。

図１１に本実施形態の表示物制御システムの使用概念図の一例を示す。図において、７０１は操作者（非表示）に立体的に知覚された表示物、７０２は右手、７０３はメスである。７０４は表示物７０１とメス７０３の先端との距離を示す投影画像である。図１１（ａ）には距離が３ｃｍであることが示されている。図１１（ｂ）はメス７０３で表示物７０１を切り裂いている様子が示されている。切り口は、例えば画像表示装置１１が表示する。

ここでは表示物７０１に切れ込みが入った状態が画像表示装置１１により表示されるとともに、７０５に示すようにメス７０３の先端に表示物７０１の補完画像（第１の画像）が投影部１４により投影されることで、メス７０３が表示物７０１の内部に入っていることが示されている。同時にメス７０３がどの程度深く入っているかを示す情報（投影画像７０６）が操作者の手７０２に投影されている。

当該例などのように、表示物７０１の内部にものが入るような場合、補完画像（第１の画像）の投影により、操作者に実際にそのように操作しているかのような感覚を与えることができる。なお、ここで用いられる作業オブジェクトは投影画像の色をより正確に操作者に認識させるため、白かつ、表面が散乱性であることが最適である。

本実施形態によれば、第１乃至第５の実施形態と同様の作用効果を実現することができる。

＜第７の実施形態＞
次に、第７の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態及び／又は第３の実施形態及び／又は第４の実施形態及び／又は第５の実施形態及び／又は第６の実施形態と同様の構成部分については、適宜説明を省略する。

図１２に本実施形態の表示物制御システムの使用概念図の一例を示す。８０２は操作者８０１に立体的に知覚された表示物である。操作者８０１は表示物８０２を左手８０３で下から支え、右手８０４で上から押さえて操作している。投影部１４からの投影画像はそれぞれの手の上に表示されているものとする。矢印８０５、８０６、８０７は視線の方向を示しており、図１２（ａ）では操作者８０１は左手８０３を見ており、図１２（ｂ）では操作者８０１は右手８０４を見ており、図１２（ｃ）では操作者８０１は全く別の方向を見ている。

前の実施形態で説明したように、第１の画像は、操作者の目、作業オブジェクト、第１の表示位置に仮想的に存在する操作対象画像、及び、画像表示装置１１上の画像（スクリーン）の位置を考慮して生成される。図１２（ａ）に示すように、左手８０３へは、操作者８０１がその画像を見たときに表示物８０２の下に左手８０３があることを直感できる画像を表示する。図１２（ｂ）に示すように、右手８０４へは、操作者８０１が右手８０４と表示物８０２との位置関係を把握できるような情報を表示する。この２つの例では頭の位置は同一であり、その向きが変わっているだけである。左手８０３、及び、右手８０４への投影画像は頭がその方向を向いたら表示される画像を表示しておけばよく、実際にどの方向を向いているかは考えなくて良い。その方向を見た時に正しく見えればよい。

従って、本実施形態においては、投影画像は操作者８０１の頭の位置に応じたものを形成し、実際の視線の方向は考慮しない。すなわち、図１２（ａ）、（ｂ）、（ｃ）において操作者の視線の向きは異なっているが、左手８０３及び右手８０４への投影画像はすべて同一でもよい。手を正視している場合でも、横目でちらちら見ている場合でも頭の位置と手との相対関係が同じなら投影画像を変える必要がないからである。目の位置を元に画像を変化させると、画像は絶えず変化することになり、不快なちらつきが発生する。本発明では多少視線がずれてもほとんど画像を変化させなくてよいため、安定した表示が可能である。

なお、本実施形態の場合、操作者の頭の位置のみ認識すればよいため、操作者の視線の向きを測定するための装置（カメラ等）を備える必要がない。このため、コスト面でのメリットの他、システム全体が小さくなる等のメリットも得られる。

本実施形態によれば、第１乃至第６の実施形態と同様の作用効果を実現することができる。

＜第８の実施形態＞
次に、第８の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態及び／又は第３の実施形態及び／又は第４の実施形態及び／又は第５の実施形態及び／又は第６の実施形態及び／又は第７の実施形態と同様の構成部分については、適宜説明を省略する。

図１３に本実施形態の表示物制御システムの使用概念図の一例を示す。上記実施形態では、画像表示装置１１が２面立体表示装置である場合を例にとって説明してきたが、本実施形態では、図１３に示すように、画像表示装置１１が斜め置き型の立体表示装置である。

９０１は斜め置き型の立体表示装置であり、それ以外の符号は図１及び図５と同一である。斜め置き型は２面立体型と同様、現実に奥行き方向に距離があるため、立体感を得やすい。本実施形態の場合、表示装置が１枚で済むため経済的である。

本実施形態によれば、第１乃至第７の実施形態と同様の作用効果を実現することができる。

＜第９の実施形態＞
次に、第９の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態及び／又は第３の実施形態及び／又は第４の実施形態及び／又は第５の実施形態及び／又は第６の実施形態及び／又は第７の実施形態及び／又は第８の実施形態と同様の構成部分については、適宜説明を省略する。

図１４に本実施形態の表示物制御システムの使用概念図の一例を示す。本実施形態では、図１４に示すように、画像表示装置１１が縦置き型の立体表示装置である。１００１は縦置き型の立体表示装置であり、それ以外の符号は図１及び図５と同一である。スペースのことを考えれば最も小さいフットプリントで実現できるシステムであり、壁にかけることなどを考えれば、設置も容易なシステムである。

本実施形態によれば、第１乃至第８の実施形態と同様の作用効果を実現することができる。

＜第１０の実施形態＞
次に、第１０の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態及び／又は第３の実施形態及び／又は第４の実施形態及び／又は第５の実施形態及び／又は第６の実施形態及び／又は第７の実施形態及び／又は第８の実施形態及び／又は第９の実施形態と同様の構成部分については、適宜説明を省略する。

図１５に本実施形態の表示物制御システムの使用概念図の一例を示す。本実施形態では、図１５に示すように、画像表示装置１１が平置き型の立体表示装置である。１１０１は平置き型の立体表示装置であり、それ以外の符号は図１及び図５と同一である。本実施形態の場合、立体表示装置を平置きできるため、表示装置の外周沿いのあらゆる場所から操作対象画像への操作が可能となる。図では２人の操作者が操作しているところを示している。複数人で同時に操作できることが、この実施形態の利点である。

本実施形態によれば、第１乃至第９の実施形態と同様の作用効果を実現することができる。

＜第１１の実施形態＞
次に、第１１の実施形態について説明する。なお、第１の実施形態及び／又は第２の実施形態及び／又は第３の実施形態及び／又は第４の実施形態及び／又は第５の実施形態及び／又は第６の実施形態及び／又は第７の実施形態及び／又は第８の実施形態及び／又は第９の実施形態及び／又は第１０の実施形態と同様の構成部分については、適宜説明を省略する。

ここまでの実施形態では、画像表示装置１１は立体画像を表示していた。本実施形態では、画像表示装置１１は平面（２次元）画像を表示する。

このような本実施形態においては、処理部１３の表示位置特定部１５は、操作者により観察される平面上における操作対象画像の位置を特定し、位置関係特定部１６は、上記平面上における操作対象画像と作業オブジェクトの位置関係を特定してもよい。

本実施形態によれば、第１乃至第１０の実施形態と同様の作用効果を実現することができる。

＜＜付記＞＞
上記説明によれば、以下の発明の説明がなされている。
＜発明１＞
所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うためのシステムであって、
認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識手段と、
前記認識手段が認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影手段と、
を有する表示物制御システム。
＜発明２＞
発明１に記載の表示物制御システムにおいて、
前記投影手段は、前記作業オブジェクトに前記位置関係情報を投影する表示物制御システム。
＜発明３＞
発明２に記載の表示物制御システムにおいて、
前記画像表示装置は、前記操作対象画像として立体画像を表示し、
前記位置関係情報は、前記作業オブジェクトの位置と、操作者に知覚される前記操作対象画像の表示位置である第１の表示位置との位置関係を示す情報であり、
前記投影手段は、
前記操作対象画像と前記作業オブジェクトとの位置関係が、
（１）前記操作対象画像の前記第１の表示位置の方が前記作業オブジェクトよりも前記操作者の近くにある、及び、
（２）前記操作者により観察された場合、前記操作対象画像と前記作業オブジェクトの少なくとも一部が互いに重なる関係にある、
を満たす場合、前記位置関係情報として、前記操作対象画像における、前記操作者により観察された場合に前記作業オブジェクトと重なる部分を表す画像である第１の画像を、前記作業オブジェクトに投影する表示物制御システム。
＜発明４＞
発明３に記載の表示物制御システムにおいて、
前記投影手段は、前記作業オブジェクト上における、前記操作者により観察された場合に前記操作対象画像と重なる部分に、前記第１の画像を投影する表示物制御システム。
＜発明５＞
発明３または４に記載の表示物制御システムにおいて、
前記認識手段が認識した前記操作者の頭の位置及び前記作業オブジェクトの位置と、前記操作対象画像の前記第１の表示位置と、を利用して、前記第１の画像を生成する画像生成手段をさらに有する表示物制御システム。
＜発明６＞
発明１から５のいずれかに記載の表示物制御システムにおいて、
前記画像表示装置をさらに有する表示物制御システム。
＜発明７＞
発明１から６のいずれかに記載の表示物制御システムにおいて、
前記作業オブジェクトは、前記位置関係情報の内容に応じて光の放射、音の放射、振動の発生、及び、色の変化の中の少なくとも１つの状態変化を起こす表示物制御システム。
＜発明８＞
発明１から６のいずれかに記載の表示物制御システムにおいて、
前記作業オブジェクトは、操作者の身体の一部である表示物制御システム。
＜発明９＞
所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うための方法であって、
コンピュータが、
認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識工程と、
前記認識工程で認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影工程と、
を実行する表示物制御方法。
＜発明９−２＞
発明９に記載の表示物制御方法において、
前記投影工程では、前記作業オブジェクトに前記位置関係情報を投影する表示物制御方法。
＜発明９−３＞
発明９−２に記載の表示物制御方法において、
前記画像表示装置は、前記操作対象画像として立体画像を表示し、
前記位置関係情報は、前記作業オブジェクトの位置と、操作者に知覚される前記操作対象画像の表示位置である第１の表示位置との位置関係を示す情報であり、
前記投影工程では、
前記操作対象画像と前記作業オブジェクトとの位置関係が、
（１）前記操作対象画像の前記第１の表示位置の方が前記作業オブジェクトよりも前記操作者の近くにある、及び、
（２）前記操作者により観察された場合、前記操作対象画像と前記作業オブジェクトの少なくとも一部が互いに重なる関係にある、
を満たす場合、前記位置関係情報として、前記操作対象画像における、前記操作者により観察された場合に前記作業オブジェクトと重なる部分を表す画像である第１の画像を、前記作業オブジェクトに投影する表示物制御方法。
＜発明９−４＞
発明９−３に記載の表示物制御方法において、
前記投影工程では、前記作業オブジェクト上における、前記操作者により観察された場合に前記操作対象画像と重なる部分に、前記第１の画像を投影する表示物制御方法。
＜発明９−５＞
発明９−３または９−４に記載の表示物制御方法において、
前記コンピュータが、
前記認識工程で認識した前記操作者の頭の位置及び前記作業オブジェクトの位置と、前記操作対象画像の前記第１の表示位置と、を利用して、前記第１の画像を生成する画像生成工程をさらに実行する表示物制御方法。
＜発明９−６＞
発明９から９−５のいずれかに記載の表示物制御方法において、
前記コンピュータが、
前記操作対象画像を表示する前記画像表示工程をさらに実行する表示物制御方法。
＜発明９−７＞
発明９から９−６のいずれかに記載の表示物制御方法において、
前記作業オブジェクトは、前記位置関係情報の内容に応じて光の放射、音の放射、振動の発生、及び、色の変化の中の少なくとも１つの状態変化を起こす表示物制御方法。
＜発明９−８＞
発明９から９−６のいずれかに記載の表示物制御方法において、
前記作業オブジェクトは、操作者の身体の一部である表示物制御方法。
＜発明１０＞
所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うために、
コンピュータを、
認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識手段、
前記認識手段が認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影手段、
として機能させるためのプログラム。
＜発明１０−２＞
発明１０に記載のプログラムにおいて、
前記投影手段に、前記位置関係情報を前記作業オブジェクトに投影させるプログラム。
＜発明１０−３＞
発明１０−２に記載のプログラムにおいて、
前記画像表示装置は、前記操作対象画像として立体画像を表示し、
前記位置関係情報は、前記作業オブジェクトの位置と、操作者に知覚される前記操作対象画像の表示位置である第１の表示位置との位置関係を示す情報であり、
前記投影手段に、
前記操作対象画像と前記作業オブジェクトとの位置関係が、
（１）前記操作対象画像の前記第１の表示位置の方が前記作業オブジェクトよりも前記操作者の近くにある、及び、
（２）前記操作者により観察された場合、前記操作対象画像と前記作業オブジェクトの少なくとも一部が互いに重なる関係にある、
を満たす場合、前記位置関係情報として、前記操作対象画像における、前記操作者により観察された場合に前記作業オブジェクトと重なる部分を表す画像である第１の画像を、前記作業オブジェクトに投影させるプログラム。
＜発明１０−４＞
発明１０−３に記載のプログラムにおいて、
前記投影手段に、前記作業オブジェクト上における、前記操作者により観察された場合に前記操作対象画像と重なる部分に、前記第１の画像を投影させるプログラム。
＜発明１０−５＞
発明１０−３または１０−４に記載のプログラムにおいて、
前記コンピュータを、
前記認識手段が認識した前記操作者の頭の位置及び前記作業オブジェクトの位置と、前記操作対象画像の前記第１の表示位置と、を利用して、前記第１の画像を生成する画像生成手段としてさらに機能させるためのプログラム。
＜発明１０−６＞
発明１０から１０−５のいずれかに記載のプログラムにおいて、
前記コンピュータを、
前記操作対象画像を表示する画像表示手段としてさらに機能させるためのプログラム。
＜発明１０−７＞
発明１０から１０−６のいずれかに記載のプログラムにおいて、
前記作業オブジェクトは、前記位置関係情報の内容に応じて光の放射、音の放射、振動の発生、及び、色の変化の中の少なくとも１つの状態変化を起こすプログラム。
＜発明１０−８＞
発明１０から１０−６のいずれかに記載のプログラムにおいて、
前記作業オブジェクトは、操作者の身体の一部であるプログラム。

この出願は、２０１２年１０月１６日に出願された日本特許出願特願２０１２−２２９３００号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うためのシステムであって、
   認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識手段と、
   前記認識手段が認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影手段と、
   を有する表示物制御システム。
2. 請求項１に記載の表示物制御システムにおいて、
   前記投影手段は、前記作業オブジェクトに前記位置関係情報を投影する表示物制御システム。
3. 請求項２に記載の表示物制御システムにおいて、
   前記画像表示装置は、前記操作対象画像として立体画像を表示し、
   前記位置関係情報は、前記作業オブジェクトの位置と、操作者に知覚される前記操作対象画像の表示位置である第１の表示位置との位置関係を示す情報であり、
   前記投影手段は、
   前記操作対象画像と前記作業オブジェクトとの位置関係が、
   （１）前記操作対象画像の前記第１の表示位置の方が前記作業オブジェクトよりも前記操作者の近くにある、及び、
   （２）前記操作者により観察された場合、前記操作対象画像と前記作業オブジェクトの少なくとも一部が互いに重なる関係にある、
   を満たす場合、前記位置関係情報として、前記操作対象画像における、前記操作者により観察された場合に前記作業オブジェクトと重なる部分を表す画像である第１の画像を、前記作業オブジェクトに投影する表示物制御システム。
4. 請求項３に記載の表示物制御システムにおいて、
   前記投影手段は、前記作業オブジェクト上における、前記操作者により観察された場合に前記操作対象画像と重なる部分に、前記第１の画像を投影する表示物制御システム。
5. 請求項３または４に記載の表示物制御システムにおいて、
   前記認識手段が認識した前記操作者の頭の位置及び前記作業オブジェクトの位置と、前記操作対象画像の前記第１の表示位置と、を利用して、前記第１の画像を生成する画像生成手段をさらに有する表示物制御システム。
6. 請求項１から５のいずれか１項に記載の表示物制御システムにおいて、
   前記画像表示装置をさらに有する表示物制御システム。
7. 請求項１から６のいずれか１項に記載の表示物制御システムにおいて、
   前記作業オブジェクトは、前記位置関係情報の内容に応じて光の放射、音の放射、振動の発生、及び、色の変化の中の少なくとも１つの状態変化を起こす表示物制御システム。
8. 請求項１から６のいずれか１項に記載の表示物制御システムにおいて、
   前記作業オブジェクトは、操作者の身体の一部である表示物制御システム。
9. 所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うための方法であって、
   コンピュータが、
   認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識工程と、
   前記認識工程で認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影工程と、
   を実行する表示物制御方法。
10. 所定の作業オブジェクトを用いて、画像表示装置が表示する操作対象画像に対する操作を行うために、
    コンピュータを、
    認識エリア内に位置する所定のオブジェクトを認識し、そのオブジェクトの位置情報を取得する認識手段、
    前記認識手段が認識した前記作業オブジェクトの位置と、前記操作対象画像の表示位置との位置関係を示す情報である位置関係情報を、所定の位置に投影する投影手段、
    として機能させるためのプログラム。

Images