WO2014050957A1

WO2014050957A1 - 表示装置、制御方法および制御プログラム

Info

Publication number: WO2014050957A1
Application number: PCT/JP2013/076046
Authority: WO
Inventors: 上野　泰弘; 茂輝田辺
Original assignee: 京セラ株式会社
Priority date: 2012-09-27
Filing date: 2013-09-26
Publication date: 2014-04-03
Also published as: EP2903265A1; EP2903265A4; CN106020620B; US10341642B2; CN104685869B; CN104685869A; CN106020620A; US20150312559A1

Abstract

　表示装置（１）は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部（３２ａ）および（３２ｂ）と、上記のオブジェクトが立体的に表示される表示空間において物体を検出する検出部（４４）と、上記の表示空間において前記物体の移動が検出されたときに、上記物体の移動に応じて前記オブジェクトを前記表示空間において変化させる制御部（２２）とを備える。オブジェクトの変化には、例えば、移動、回転、変形、消失等が含まれる。

Description

表示装置、制御方法および制御プログラム

　本発明は、表示装置、制御方法および制御プログラムに関する。

　表示部を備える表示装置には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。

特開２０１１－９５５４７号公報

　立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示装置では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。本発明は、利用者に対して利便性の高い操作方法を提供することができる表示装置、制御方法および制御プログラムを提供することを目的とする。

　１つの態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトの表示空間における所定の物体の変位を検出する検出部と、前記検出部によって検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行う制御部とを備える。

　他の態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトが表示される表示空間において第１の物体および第２の物体を検出する検出部と、前記表示空間において前記第１の物体と前記第２の物体の間に前記オブジェクトが位置することが検出されたときに、前記オブジェクトを変化させる制御部とを備える。

　他の態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトが表示される表示空間において第１の物体および第２の物体を検出する検出部と、前記表示空間において前記第１の物体または前記第２の物体の少なくとも一方が前記オブジェクトと接触する位置にあることが検出されたときに、前記オブジェクトを変化させる制御部とを備える。

　他の態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトが表示される表示空間において第１の物体と第２の物体とが前記オブジェクトを挟む位置にあるときに、前記オブジェクトを変化させる制御部とを備える。

　他の態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、表示面において第１の物体および第２の物体を検出する検出部と、前記表示面において前記第１の物体と前記第２の物体の間に前記オブジェクトが位置することが検出されたときに、前記オブジェクトを変化させる制御部とを備える。

　他の態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、表示面において第１の物体および第２の物体を検出する検出部と、前記表示面において前記第１の物体または前記第２の物体の少なくとも一方が前記オブジェクトと接触する位置にあることが検出されたときに、前記オブジェクトを変化させる制御部とを備える。

　他の態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトが立体的に表示される表示空間において物体を検出する検出部と、前記表示空間において前記物体の移動が検出されたときに、前記物体の移動に応じて前記オブジェクトを前記表示空間において変化させる制御部とを備える。

　他の態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトが立体的に表示される表示空間において物体の移動が検出されたときに、前記物体の移動に応じて前記オブジェクトを前記表示空間において変化させる制御部とを備える。

　１つの態様に係る制御方法は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示装置によって実行される制御方法であって、所定のオブジェクトを表示装置に３次元表示するステップと、前記オブジェクトの表示空間における所定の物体の変位を検出するステップと、検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップとを含む。

　１つの態様に係る制御プログラムは、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示装置に、所定のオブジェクトを表示部に３次元表示するステップと、前記オブジェクトの表示空間における所定の物体の変位を検出するステップと、検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップとを実行させる。

　１つの態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、商品に対応するオブジェクトを３次元表示する表示部と、前記オブジェクトを操作する現実の物体を検出する検出部と、前記現実の物体による操作に応じて前記オブジェクトの位置を変化させ、前記現実の物体が前記オブジェクトを操作しなくなった場合には、前記オブジェクトをその場に留まらせる制御部とを備える。

　１つの態様に係る制御方法は、表示装置の制御方法であって、ユーザの両目のそれぞれに対応した画像を表示することで、オブジェクトを３次元表示するステップと、前記オブジェクトを操作する現実の物体を検出するステップと、前記現実の物体による操作に応じて前記オブジェクトの位置を変化させるステップと、前記現実の物体が前記オブジェクトを操作しなくなった場合には、前記オブジェクトをその場に留まらせるステップとを含む。

　１つの態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示する表示部と、当該表示装置の現実の空間における方向の変化を検出するセンサと、前記センサの検出する前記方向の変化に応じて前記オブジェクトを変化させる制御部とを備える。

　１つの態様に係る制御方法は、表示装置の制御方法であって、ユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示するステップと、当該表示装置の現実の空間における方向の変化を検出するステップと、前記方向の変化に応じて前記オブジェクトを変化させるステップとを含む。

　１つの態様に係る表示装置は、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示する表示部と、当該表示装置の現実の空間における位置の変化を検出するセンサと、前記センサの検出する前記位置の変化に応じて前記オブジェクトを変化させる制御部とを備える。

　１つの態様に係る制御方法は、表示装置の制御方法であって、ユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示するステップと、当該表示装置の現実の空間における位置の変化を検出するステップと、前記位置の変化に応じて前記オブジェクトを変化させるステップとを含む。

　本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。

図１は、第１の実施例に係る表示装置の斜視図である。図２は、利用者によって装着された表示装置を正面から見た図である。図３は、表示装置の変形例を示す図である。図４は、表示装置の他の変形例を示す図である。図５は、表示装置の他の変形例を示す図である。図６は、第１の実施例に係る表示装置のブロック図である。図７は、制御プログラムが提供する機能に基づく制御の例を示す図である。図８は、オブジェクトデータに格納される情報の一例を示す図である。図９は、作用データに格納される情報の一例を示す図である。図１０は、作用データに格納される情報の一例を示す図である。図１１は、作用データに格納される情報の一例を示す図である。図１２は、作用データに格納される情報の一例を示す図である。図１３は、作用データに格納される情報の一例を示す図である。図１４は、作用データに格納される情報の一例を示す図である。図１５は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第１の例について説明するための図である。図１６は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第１の例について説明するための図である。図１７は、第１の例における接触検出処理の処理手順を示すフローチャートである。図１８は、第１の例における操作検出処理の処理手順を示すフローチャートである。図１９は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第２の例について説明するための図である。図２０は、第２の例における操作検出処理の処理手順を示すフローチャートである。図２１は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第３の例について説明するための図である。図２２は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化の第３の例について説明するための図である。図２３は、第３の例における操作検出処理の処理手順を示すフローチャートである。図２４は、３次元オブジェクトを摘んで行う操作の検出の第１の例について説明するための図である。図２５は、第１の例における選択検出処理の処理手順を示すフローチャートである。図２６は、第１の例における操作検出処理の処理手順を示すフローチャートである。図２７は、３次元オブジェクトを摘んで行う操作の検出の第１の例の変形例について説明するための図である。図２８は、３次元オブジェクトを摘んで行う操作の検出の第２の例について説明するための図である。図２９は、第２の例における選択検出処理の処理手順を示すフローチャートである。図３０は、３次元オブジェクトを摘んで行う操作の検出の第２の例の変形例について説明するための図である。図３１は、３次元オブジェクトを摘んで行う操作の検出の第３の例について説明するための図である。図３２は、３次元オブジェクトを摘んで行う操作の検出の第３の例について説明するための図である。図３３は、第３の例における選択検出処理の処理手順を示すフローチャートである。図３４は、第３の例における操作検出処理の処理手順を示すフローチャートである。図３５は、３次元オブジェクトを摘んで行う操作の検出の第３の例の変形例について説明するための図である。図３６は、第２の実施例に係る表示装置の斜視図である。図３７は、第２の実施例に係る表示装置のブロック図である。図３８は、３次元オブジェクトの変化と連動した表示制御の一例を示す図である。図３９は、指を３次元オブジェクトに一瞬接触させる操作の軌跡の一例を示す図である。図４０は、指を３次元オブジェクトに沿って移動させる操作の軌跡の一例を示す図である。図４１は、指で３次元オブジェクトを押しつぶす操作の軌跡の一例を示す図である。図４２は、３次元オブジェクトの変化と連動して実行される表示制御の処理手順を示すフローチャートである。図４３は、第３の実施例に係る表示装置のブロック図である。図４４は、位置の変化に連動して３次元オブジェクトを変化させる例を示す図である。図４５は、利用者の周囲に配置された操作画面を概念的に示す図である。図４６は、方向の変化に連動して３次元オブジェクトを変化させる例を示す図である。図４７は、位置および方向の変化と連動して３次元オブジェクトを変化させる制御の処理手順を示すフローチャートである。図４８は、購入する商品を設置する部屋の中で電子的なカタログを表示する例を示す図である。図４９は、カタログから商品を選択する場面について説明するための図である。図５０は、テレビの大きさと設置場所を検討する場面について説明するための図である。図５１は、テレビ台を選択する場面について説明するための図である。図５２は、現実の物体を移動させる場面について説明するための図である。図５３は、発注処理の処理手順を示すフローチャートである。図５４は、第５の実施例に係る表示装置のブロック図である。図５５は、ピザの発注処理の開始について説明するための図である。図５６は、生地の大きさと厚みを決める工程について説明するための図である。図５７は、トッピングを載せる工程について説明するための図である。図５８は、ピザを発注する工程について説明するための図である。図５９は、配達されるピザの例を示す図である。図６０は、発注処理の処理手順を示すフローチャートである。

　以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

　まず、図１および図２を参照しながら、第１の実施例に係る表示装置１の全体的な構成について説明する。図１は、表示装置１の斜視図である。図２は、利用者によって装着された表示装置１を正面から見た図である。図１および図２に示すように、表示装置１は、利用者の頭部に装着されるヘッドマウントタイプの装置である。

　表示装置１は、前面部１ａと、側面部１ｂと、側面部１ｃとを有する。前面部１ａは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部１ｂは、前面部１ａの一方の端部に接続され、側面部１ｃは、前面部１ａの他方の端部に接続される。側面部１ｂおよび側面部１ｃは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、表示装置１を安定させる。側面部１ｂおよび側面部１ｃは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。

　前面部１ａは、装着時に利用者の目と対向する面に表示部３２ａおよび表示部３２ｂを備える。表示部３２ａは、装着時に利用者の右目と対向する位置に配設され、表示部３２ｂは、装着時に利用者の左目と対向する位置に配設される。表示部３２ａは、右目用の画像を表示し、表示部３２ｂは、左目用の画像を表示する。このように、装着時に利用者のそれぞれの目に対応した画像を表示する表示部３２ａおよび表示部３２ｂを備えることにより、表示装置１は、両眼の視差を利用した３次元表示を実現することができる。

　表示部３２ａおよび表示部３２ｂは、利用者の右目と左目に異なる画像を独立して提供することができれば、１つの表示デバイスによって構成されてもよい。例えば、表示される画像が一方の目にしか見えないように遮蔽するシャッターを高速に切り替えることによって、１つの表示デバイスが右目と左目に異なる画像を独立して提供するように構成してもよい。前面部１ａは、装着時に外光が利用者の目に入らないように、利用者の目を覆うように構成されてもよい。

　前面部１ａは、表示部３２ａおよび表示部３２ｂが設けられている面とは反対側の面に撮影部４０および撮影部４２を備える。撮影部４０は、前面部１ａの一方の端部（装着時の右目側）の近傍に配設され、撮影部４２は、前面部１ａの他方の端部（装着時の左目側）の近傍に配設される。撮影部４０は、利用者の右目の視界に相当する範囲の画像を取得する。撮影部４２は、利用者の左目の視界に相当する範囲の画像を取得する。ここでいう視界とは、例えば、利用者が正面を見ているときの視界である。

　表示装置１は、撮影部４０によって撮影された画像を右目用の画像として表示部３２ａに表示し、撮影部４２によって撮影された画像を左目用の画像として表示部３２ｂに表示する。このため、表示装置１は、装着中の利用者に、前面部１ａによって視界が遮られていても、表示装置１を装着していないときと同様の光景を提供することができる。

　表示装置１は、このように現実の光景を利用者に提供する機能に加えて、仮想的な情報を３次元的に表示し、仮想的な情報を利用者が操作することを可能にする機能を有する。表示装置１によれば、仮想的な情報は、実際に存在しているかのように、現実の光景と重ねて表示される。そして、利用者は、例えば、手を使って仮想的な情報を実際に触っているかのように操作し、移動、回転、変形等の変化を仮想的な情報に施すことができる。このように、表示装置１は、仮想的な情報に関して、直感的で利便性の高い操作方法を提供する。以下の説明では、表示装置１によって３次元的に表示される仮想的な情報を「３次元オブジェクト」と呼ぶことがある。

　表示装置１は、表示装置１を装着していない場合と同様の広い視界を利用者に提供する。そして、表示装置１は、この広い視界の中の任意の位置に任意の大きさで３次元オブジェクトを配置することができる。このように、表示装置１は、表示デバイスの大きさの制約を受けることなく、広い空間の様々な位置に様々な大きさの３次元オブジェクトを表示することができる。さらに、３次元オブジェクトを見ることができる者を表示装置１の利用者に限定できるため、高いセキュリティを確保することができる。

　図１および図２では、表示装置１が、眼鏡（ゴーグル）のような形状を有する例を示したが、表示装置１の形状はこれに限定されない。図３は、表示装置の変形例を示す図である。図４および図５は、表示装置の他の変形例を示す図である。例えば、表示装置１は、図３に示す表示装置２のように、利用者の頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していてもよい。あるいは、表示装置１は、図４に示す表示装置３のように、利用者の顔面のほぼ全体を覆うようなマスクタイプの形状を有していてもよい。表示装置１は、図５に示す表示装置４のように、情報処理装置、バッテリ装置等の外部装置４ｄと有線または無線で接続される構成であってもよい。

　次に、図６を参照しながら、表示装置１の機能的な構成について説明する。図６は、表示装置１のブロック図である。図６に示すように、表示装置１は、操作部１３と、制御部２２と、記憶部２４と、表示部３２ａおよび３２ｂと、撮影部４０および４２と、検出部４４と、測距部４６とを有する。操作部１３は、表示装置１の起動、停止、動作モードの変更等の基本的な操作を受け付ける。

　表示部３２ａおよび３２ｂは、液晶ディスプレイ（Liquid　Crystal　Display）、有機ＥＬ（Organic　Electro－Luminescence）パネル等の表示デバイスを備え、制御部２２から入力される制御信号に従って各種の情報を表示する。表示部３２ａおよび３２ｂは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。

　撮影部４０および４２は、ＣＣＤ（Charge　Coupled　Device　Image　Sensor）、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０および４２は、撮影した画像を信号に変換して制御部２２へ出力する。

　検出部４４は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出する。検出部４４は、例えば、撮影範囲に存在する現実の物体のうち、予め登録された形状（例えば、人間の手の形状）にマッチする物体を検出する。検出部４４は、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲（形状および大きさ）を検出するように構成されてもよい。

　測距部４６は、撮影部４０および４２の撮影範囲に存在する現実の物体までの距離を測定する。現実の物体までの距離は、表示装置１を装着している利用者のそれぞれの目の位置を基準として目毎に測定される。このため、測距部４６が距離を測定する基準位置がそれぞれの目の位置とずれている場合には、測距部４６の測定値は、そのずれに応じて、目の位置までの距離を表すように補正される。

　本実施例においては、撮影部４０および４２が、検出部４４および測距部４６を兼ねる。すなわち、本実施例においては、撮影部４０および４２によって撮影される画像を解析することによって、撮影範囲内の物体が検出される。さらに、撮影部４０によって撮影される画像に含まれる物体と撮影部４２によって撮影される画像に含まれる物体とを比較することにより、物体との距離が測定（算出）される。

　表示装置１は、撮影部４０および４２とは別に、検出部４４を備えてもよい。検出部４４は、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、撮影範囲に存在する現実の物体を検出するセンサであってもよい。表示装置１は、撮影部４０および４２とは別に、測距部４６を備えてもよい。測距部４６は、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、撮影範囲に存在する現実の物体までの距離を検出するセンサであってもよい。表示装置１は、ＴＯＦ（Time-of-Flight）法を用いたセンサのように、検出部４４および測距部４６を兼ねることができるセンサを備えてもよい。

　制御部２２は、演算手段であるＣＰＵ（Central　Processing　Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや検出部４４を介して検出される操作がパラメータや判定条件の一部として利用される。

　記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃと、仮想空間データ２４ｄとが含まれる。記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄは、無線通信または有線通信によってサーバ装置等の他の装置から取得されてもよい。

　制御プログラム２４ａは、表示装置１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、撮影部４０および４２が取得する画像に３次元オブジェクトを重ねて表示部３２ａおよび３２ｂに表示する機能、３次元オブジェクトに対する操作を検出する機能、検出した操作に応じて３次元オブジェクトを変化させる機能等が含まれる。

　制御プログラム２４ａは、検出処理部２５と、表示オブジェクト制御部２６と、画像合成部２７とを含む。検出処理部２５は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出するための機能を提供する。検出処理部２５が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれる。

　表示オブジェクト制御部２６は、仮想空間にどのような３次元オブジェクトが配置され、それぞれの３次元オブジェクトがどのような状態にあるかを管理するための機能を提供する。表示オブジェクト制御部２６が提供する機能には、検出処理部２５の機能によって検出される現実の物体の動きに基づいて３次元オブジェクトに対する操作を検出し、検出した操作に基づいて３次元オブジェクトを変化させる機能が含まれる。

　画像合成部２７は、現実の空間の画像と仮想空間の画像とを合成することにより、表示部３２ａに表示する画像と表示部３２ｂに表示する画像とを生成するための機能を提供する。画像合成部２７が提供する機能には、検出処理部２５の機能によって測定される現実の物体までの距離と、仮想空間における視点から３次元オブジェクトまでの距離とに基づいて、現実の物体と３次元オブジェクトの前後関係を判定し、重なりを調整する機能が含まれる。

　オブジェクトデータ２４ｂは、３次元オブジェクトの形状および性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に、３次元オブジェクトをどのように変化させるかを判定するために用いられる。ここでいう変化には、移動、回転、変形、消失等が含まれる。仮想空間データ２４ｄは、仮想空間に配置される３次元オブジェクトの状態に関する情報を保持する。３次元オブジェクトの状態には、例えば、位置、姿勢、変形の状況等が含まれる。

　次に、図７を参照しながら、制御プログラム２４ａが提供する機能に基づく制御の例について説明する。図７は、制御プログラムが提供する機能に基づく制御の例を示す図である。画像Ｐ１ａは、撮影部４０によって得られる画像、すなわち、現実の空間を右目で見た光景に相当する画像である。画像Ｐ１ａには、テーブルＴ１と、利用者の手Ｈ１とが写っている。表示装置１は、同じ場面を撮影部４２によって撮影した画像、すなわち、現実の空間を左目で見た光景に相当する画像も取得する。

　画像Ｐ２ａは、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像である。この例において、仮想空間データ２４ｄは、仮想空間中に存在するブロック状の３次元オブジェクトＢＬ１の状態に関する情報を保持し、オブジェクトデータ２４ｂは、３次元オブジェクトＢＬ１の形状および性質に関する情報を保持する。表示装置１は、これらの情報に基づいて仮想空間を再現し、再現した仮想空間を右目の視点から見た画像Ｐ２ａを生成する。仮想空間における右目（視点）の位置は、所定の規則に基づいて決定される。表示装置１は、同様に、再現した仮想空間を左目の視点で見た画像も生成する。すなわち、表示装置１は、画像Ｐ２ａと組み合わせることによって３次元オブジェクトＢＬ１が３次元的に表示される画像も生成する。

　表示装置１は、図７に示すステップＳ１において、画像Ｐ１ａおよび画像Ｐ２ａを合成して、画像Ｐ３ａを生成する。画像Ｐ３ａは、右目用の画像として表示部３２ａに表示される画像である。このとき、表示装置１は、利用者の右目の位置を基準として、撮影部４０の撮影範囲にある現実の物体と、仮想空間内に存在する３次元オブジェクトＢＬ１との前後関係を判定する。そして、現実の物体と３次元オブジェクトＢＬ１とが重なっている場合には、利用者の右目により近いものが前面に見えるように重なりを調整する。

　このような重なりの調整は、現実の物体と３次元オブジェクトＢＬ１とが重なる画像上の領域内の所定の大きさの範囲毎（例えば、１画素毎）に行われる。このため、現実の空間における視点から現実の物体までの距離は、画像上の所定の大きさの範囲毎に測定される。さらに、仮想空間における視点から３次元オブジェクトＢＬ１までの距離は、３次元オブジェクトＢＬ１の位置、形状、姿勢等を考慮して、画像上の所定の大きさの範囲毎に算出される。

　図７に示すステップＳ１の場面では、３次元オブジェクトＢＬ１は、仮想空間において、テーブルＴ１が現実の空間で存在する位置のすぐ上に相当する位置に配置されている。さらに、図７に示すステップＳ１の場面では、利用者の手Ｈ１と３次元オブジェクトＢＬ１が、利用者の右目の位置を基準として、ほぼ同じ方向に、ほぼ同じ距離で存在している。このため、所定の大きさの範囲毎に重なりを調整することにより、合成後の画像Ｐ３ａでは、手Ｈ１と３次元オブジェクトＢＬ１とが重なっている領域のうち、手Ｈ１の親指に相当する部分では手Ｈ１が前面に現れ、他の部分では３次元オブジェクトＢＬ１が前面に現れている。さらに、テーブルＴ１と３次元オブジェクトＢＬ１とが重なっている領域では、３次元オブジェクトＢＬ１が前面に現れている。

　このような重なりの調整により、図７に示すステップＳ１では、あたかもテーブルＴ１上に３次元オブジェクトＢＬ１が置かれ、３次元オブジェクトＢＬ１を利用者が手Ｈ１で摘んでいるかのような画像Ｐ３ａが得られている。表示装置１は、同様の処理により、撮影部４２によって撮影した画像と仮想空間を左目の視点から見た画像とを合成し、左目用の画像として表示部３２ｂに表示される画像を生成する。左目用の画像を生成する場合、現実の物体と３次元オブジェクトＢＬ１との重なりは、利用者の左目の位置を基準として調整される。

　表示装置１は、こうして生成した合成画像を表示部３２ａおよび３２ｂに表示する。その結果、利用者は、あたかも、３次元オブジェクトＢＬ１がテーブルＴ１の上に置かれ、自分の手Ｈ１で３次元オブジェクトＢＬ１を摘んでいるかのような光景を見ることができる。

　図７に示すステップＳ１の場面では、利用者が手Ｈ１を矢印Ａ１の方向に移動させている。この場合、図７に示すステップＳ２の場面では、撮影部４０によって得られる画像は、手Ｈ１の位置が右へ移動した画像Ｐ１ｂに変化する。さらに、表示装置１は、手Ｈ１の動きを、３次元オブジェクトを摘んだままで右へ移動させる操作と判定し、操作に応じて、仮想空間における３次元オブジェクトの位置を右へ移動させる。仮想空間における３次元オブジェクトの移動は、仮想空間データ２４ｄに反映される。その結果、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像は、３次元オブジェクトＢＬ１の位置が右へ移動した画像Ｐ２ｂに変化する。表示装置１による操作の検出の詳細については、後述する。

　表示装置１は、画像Ｐ１ｂおよび画像Ｐ２ｂを合成して右目用の画像Ｐ３ｂを生成する。画像Ｐ３ｂは、画像Ｐ３ａと比較して、テーブルＴ１上のより右側の位置で、３次元オブジェクトＢＬ１を利用者が手Ｈ１で摘んでいるかのような画像となっている。表示装置１は、同様に左目用の合成画像を生成する。そして、表示装置１は、こうして生成した合成画像を表示部３２ａおよび３２ｂに表示する。その結果、利用者は、あたかも、自分の手Ｈ１で３次元オブジェクトＢＬ１を摘んで右へ移動させたかのような光景を見ることができる。

　このような表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度（例えば、毎秒３０回）で実行される。その結果、利用者の操作に応じた３次元オブジェクトＢＬ１の変化は、表示装置１が表示する画像にほぼリアルタイムに反映され、利用者は、あたかも実際に存在しているかのように、違和感なく３次元オブジェクトＢＬ１を操作することができる。さらに、本実施例に係る構成では、３次元オブジェクトＢＬ１を操作する利用者の手Ｈ１が、利用者の目と表示部３２ａおよび３２ｂの間に位置することがないため、利用者は、手Ｈ１によって３次元オブジェクトＢＬ１の表示が遮られることを気にすることなく操作を行うことができる。

　次に、図８から図１４を参照しながら、図６に示したオブジェクトデータ２４ｂおよび作用データ２４ｃについてさらに詳しく説明する。図８は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図９から図１４は、作用データ２４ｃに格納される情報の一例を示す図である。

　図８に示すように、オブジェクトデータ２４ｂには、種別、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納される。種別は、３次元オブジェクトの物理的な性質を示す。種別は、例えば、「剛体」、「弾性体」等の値をとる。形状情報は、３次元オブジェクトの形状を示す情報である。形状情報は、例えば、３次元オブジェクトを構成する面の頂点座標の集合である。色は、３次元オブジェクトの表面の色である。透明度は、３次元オブジェクトが光を透過させる度合いである。オブジェクトデータ２４ｂは、複数の３次元オブジェクトに関する情報を保持することができる。

　図９から図１４に示す例では、押す操作が検出された場合の変化に関する情報が３次元オブジェクトの種別毎に作用データ２４ｃに格納されている。図９に示すように、３次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。ここでいう障害物とは、他の３次元オブジェクトであってもよいし、現実の物体であってもよい。また、押される速度が速いか遅いかは閾値に基づいて判定される。

　３次元オブジェクトに支点がなく、押された方向に障害物がない場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。移動の仕方については、滑るのか回転するのかを３次元オブジェクトの形状に基づいて決定してよい。また、押す物体と一緒に移動するのか、押す物体にはじかれるように物体と離れて移動するのかについては、押される速度に基づいて決定してよいし、３次元オブジェクトと底面の摩擦抵抗の算出値または設定値に基づいて決定してもよい。

　３次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。押された速度が速い場合は、３次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよい。

　３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示される。また、３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、３次元オブジェクトが他の剛体と接触した後は、他の剛体がはじかれて移動するように表示される。他の剛体と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。

　３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があるが、他の剛体はすり抜け可能である場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後も、他の剛体をすり抜けてそのまま移動し続けるように表示される。現実には、剛体が剛体をすり抜けることはないが、このようなすり抜けを可能にすることにより、利用者に斬新な体験を提供することができる。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。押される速度に閾値を設け、押される速度が閾値以下の場合は、３次元オブジェクトが他の剛体をすり抜けないこととしてもよい。

　３次元オブジェクトに支点がある場合、３次元オブジェクトは、押された方向および量に応じて、支点を中心に回転するように表示される。ここでいう回転とは、３６０度ぐるぐると回る回転であってもよいし、所定の回転範囲内を往復する回動であってもよい。このように表示される３次元オブジェクトは、例えば、振り子、ボクシングのサンドバック、風車である。

　また、図１０に示すように、３次元オブジェクトの種別が「弾性体」の場合、素材、変化量の制限の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。ここでいう素材は、３次元オブジェクトの想定上の素材であり、オブジェクトデータ２４ｂにおいて定義される。

　３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、押される状態から解放されると元の形状に戻るように表示される。また、３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、その後、はじかれて、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。

　３次元オブジェクトの素材がゴム系であり、変化量に制限がある場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、その後も押す操作が検出されると、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。

　３次元オブジェクトの素材が金属系の場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、押される状態から解放されると元の形状に戻ったり変形したりを繰り返す（振動する）ように表示される。変形可能方向以外の方向に押された場合、３次元オブジェクトは、剛体と同様に移動する。このように表示される３次元オブジェクトは、例えば、板ばね、弦巻ばねである。

　また、図１１に示すように、３次元オブジェクトの種別が「塑性体」の場合、３次元オブジェクトは、押された箇所がへこんで全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、粘土である。

　また、図１２に示すように、３次元オブジェクトの種別が「液体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、押す物体が３次元オブジェクト、すなわち、液体につかるように表示される。押される速度が中程度の場合、押す物体が液体につかり、液体に波紋が拡がるように表示される。押される速度が速い場合、押す物体が液体につかり、液体から水しぶきがあがるように表示される。このように表示される３次元オブジェクトは、例えば、コップに入った水である。

　また、図１３に示すように、３次元オブジェクトの種別が「気体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、３次元オブジェクト、すなわち、気体が押す物体によってさえぎられてその周囲を漂うように表示される。押される速度が中程度の場合、気体が押す物体によって散乱されるように表示される。押される速度が速い場合、押す物体の移動方向の後ろ側で乱流により気体に渦が生まれるように表示される。このように表示される３次元オブジェクトは、例えば、煙である。

　また、図１４に示すように、３次元オブジェクトの種別が「集合体」の場合、集合体の要素の結合状況に応じて、押す操作が検出された場合の変化が異なる。集合体の要素の結合がない場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、砂、砂糖である。

　集合体の要素の結合がある場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。さらに、押された箇所以外の要素が、押された箇所の要素に引っ張られて移動するように表示される。このように表示される３次元オブジェクトは、例えば、鎖である。

　集合体の要素の結合はないが押す物体との間に引力または斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても移動するように表示される。押す物体との間に引力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体に引き寄せられる。また、押す物体との間に斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体から遠ざかる。このように表示される３次元オブジェクトと押す物体の組み合わせは、例えば、鉄粉と磁石の組み合わせである。

　このように、オブジェクトデータ２４ｂに格納された情報と作用データ２４ｃに格納された情報とに基づいて３次元オブジェクトを変化させることにより、押す操作に応じて、３次元オブジェクトを多様に変化させることができる。オブジェクトデータ２４ｂおよび作用データ２４ｃに格納される情報は、上記の例に限定されず、用途等に応じて適宜変更してよい。例えば、押す物体の種別および大きさや押す物体と３次元オブジェクトの接触面積の大きさに応じて、３次元オブジェクトの変化の仕方が切り替わるように設定してもよい。

　次に、図１５および図１６を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。以下の説明では、表示装置１を装着した利用者が見る空間を、表示空間と呼ぶことがある。表示装置１は、利用者の右目および左目にそれぞれの目に対応する画像を提供することにより、表示空間内に現実の物体および３次元オブジェクトを３次元的（立体的）に表示することができる。表示装置１は、仮想空間データ２４ｄに基づいて再現した仮想空間と、撮影部４０および４２によって撮影される現実の空間とを所定の規則に基づいて対応付け、これらの空間が重なった空間を表示空間として表示する。

　図１５および図１６は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１５に示すステップＳ１１では、表示装置１は、表示空間５０中に、３次元オブジェクトＯＢ１を立体的に表示している。３次元オブジェクトＯＢ１は、例えば、ボールを模したオブジェクトである。また、ステップＳ１１では、３次元オブジェクトＯＢ１を支持する底面Ｂ１が表示されている。

　ステップＳ１２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触する位置に置き、そのまま静止させている。表示装置１は、表示空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。

　物体が３次元オブジェクトＯＢ１と接触しているかの判定は、現実の空間における物体の位置と、３次元オブジェクトＯＢ１の形状、姿勢、仮想空間における位置等に基づいて行われる。現実の空間での位置と仮想空間における位置との比較は、一方の空間の位置を上記の所定の規則に基づいて他方の空間の位置へ換算することによって行ってもよいし、両方の空間の位置を比較用の空間の位置へ換算することによって行ってもよい。現実の物体として指が検出された場合、指のつま先の位置を物体の位置として処理してもよい。人は、何かを操作するときに指のつま先を用いることが多いため、指のつま先の位置を物体の位置として処理することにより、より自然な操作感を利用者に提供することができる。

　また、操作対象として選択されたことの通知は、例えば、３次元オブジェクトＯＢ１の全体の色を変更することや、３次元オブジェクトＯＢ１の表面のうち、物体と接触している位置の近傍の色を変更することによって実現される。表示装置１は、このような視覚的な通知に代えて、あるいは、このような視覚的な通知に加えて、音や振動による通知を行ってもよい。

　このように、表示装置１は、指等の現実の物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。接触状態が所定時間以上継続して検出されることを条件として付加することにより、例えば、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択される可能性を低くすることができる。

　３次元オブジェクトＯＢ１が操作対象として選択された後、ステップＳ１３に示すように、利用者が、３次元オブジェクトＯＢ１を押すように、指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。表示装置１は、操作対象として選択された３次元オブジェクト内に物体を侵入させる操作が検出された場合、操作に応じて３次元オブジェクトを変化させる。３次元オブジェクトをどのように変化させるかは、オブジェクトデータ２４ｂにおいて定義されている３次元オブジェクトの種別と、作用データ２４ｃにおいてその種別と対応付けて定義されている変化のルールとによって決定される。

　例えば、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が弾性体であると定義され、作用データ２４ｃにおいて弾性体は押された場合に押された量に応じて押された方向に変形することが定義されていたものとする。この場合、表示装置１は、ステップＳ１４に示すように、指Ｆ１が侵入した部分が押されて凹んだように３次元オブジェクトＯＢ１を変化させる。

　また、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が剛体であると定義され、作用データ２４ｃにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されていたものとする。この場合、表示装置１は、図１６のステップＳ１５に示すように、指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させる。図１６のステップＳ１５では、３次元オブジェクトＯＢ１は、底面Ｂ１に支持されているため、剛体によって印加される力の底面Ｂ１と水平方向の成分に従って移動している。

　このように、３次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させることにより、３次元オブジェクトを操作に応じて様々に変化させることができる。押すという操作は、現実の世界の様々な場面で利用されている操作であり、３次元オブジェクトＯＢ１を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができる。

　３次元オブジェクトを操作するために用いられる物体は、指に限定されず、手、足、棒、器具等であってもよい。押す操作に応じて３次元オブジェクトを変化させる態様は、現実の物理法則に則していてもよいし、現実ではあり得ないものであってもよい。

　表示装置１は、３次元オブジェクトに対する操作を検出する空間を操作可能範囲５１に限定してもよい。操作可能範囲５１は、例えば、表示装置１を装着している利用者の手が届く範囲である。このように、３次元オブジェクトに対する操作を検出する空間を限定することにより、表示装置１が操作を検出するために実行する演算処理の負荷を軽減することができる。

　次に、図１７および図１８を参照しながら、３次元オブジェクトを押す操作に関して表示装置１が実行する処理手順の第１の例について説明する。図１７は、３次元オブジェクトの接触検出処理の処理手順を示すフローチャートである。図１７に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

　図１７に示すように、制御部２２は、まず、ステップＳＡ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。

　続いて、制御部２２は、ステップＳＡ０２として、検出部４４、すなわち、撮影部４０および４２によって所定の物体が検出されたかを判定する。所定の物体は、例えば、利用者の指である。所定の物体が検出されない場合（ステップＳＡ０２，Ｎｏ）、制御部２２は、ステップＳＡ０８として、操作終了が検出されたかを判定する。

　操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出される。操作終了が検出された場合（ステップＳＡ０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳＡ０８，Ｎｏ）、制御部２２は、ステップＳＡ０２以降を再実行する。

　所定の物体が検出された場合（ステップＳＡ０２，Ｙｅｓ）、制御部２２は、ステップＳＡ０３として、所定の物体の種別を判定する。所定の物体の種別は、例えば、撮影部４０および４２によって撮影された画像中の物体の大きさ、形状、色等に基づいて判定される。続いて、制御部２２は、ステップＳＡ０４として、所定の物体に接触している３次元オブジェクトを探す。所定の物体に接触している３次元オブジェクトがない場合（ステップＳＡ０５，Ｎｏ）、制御部２２は、ステップＳＡ０８へ進む。

　所定の物体に接触している３次元オブジェクトがみつかった場合（ステップＳＡ０５，Ｙｅｓ）、制御部２２は、ステップＳＡ０６として、オブジェクトデータ２４ｂに基づいて、所定の物体に接触している３次元オブジェクトの種別を判定する。そして、制御部２２は、ステップＳＡ０７として、後述する操作検出処理を実行する。その後、制御部２２は、ステップＳＡ０８へ進む。

　図１８は、操作検出処理の処理手順を示すフローチャートである。図１８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

　図１８に示すように、制御部２２は、まず、ステップＳＢ０１として、所定の物体と３次元オブジェクトの接触時間を取得する。そして、制御部２２は、ステップＳＢ０２として、所定の物体が３次元オブジェクトの内部に移動したかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳＢ０２，Ｎｏ）、制御部２２は、ステップＳＢ０１以降を再実行する。

　所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳＢ０２，Ｙｅｓ）、制御部２２は、ステップＳＢ０３として、接触時間が所定時間以上であるかを判定する。接触時間が所定時間よりも短い場合（ステップＳＢ０３，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。

　接触時間が所定時間以上の場合（ステップＳＢ０３，Ｙｅｓ）、制御部２２は、ステップＳＢ０４として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳＢ０５として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。

　続いて、制御部２２は、ステップＳＢ０６として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳＢ０６，Ｎｏ）、制御部２２は、ステップＳＢ０４以降を再実行する。

　所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳＢ０６，Ｙｅｓ）、制御部２２は、ステップＳＢ０７として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。

　３次元オブジェクトの変化が継続する場合（ステップＳＢ０７，Ｙｅｓ）、制御部２２は、ステップＳＢ０８として、３次元オブジェクトを変化させ、その後、ステップＳＢ０７以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳＢ０７，Ｎｏ）、制御部２２は、操作検出処理を終了させる。

　上述してきたように、第１の例では、押す操作に応じて３次元オブジェクトを多様に変化させ、それにより、利用者に対して利便性の高い操作方法を提供することができる。

　３次元オブジェクトを押す操作に関する処理手順の第２の例について説明する。第２の例における接触検出処理は、第１の例における接触検出処理と同一である。そこで、第２の例については、第１の例と重複する説明は省略し、主として、操作検出処理について説明する。

　まず、図１９を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１９は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１９に示すステップＳ２１では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触させ、ステップＳ２２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させている。

　表示装置１は、表示空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触した後に３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。さらに、表示装置１は、ステップＳ２３に示すように、３次元オブジェクトＯＢ１を、あたかもステップＳ２１の段階で既に押す操作の対象として選択されていたかのように、接触検出以降の指Ｆ１による操作に応じて変化させる。

　このように、物体と３次元オブジェクトの接触を検出した後は、物体がその場に留まらなくても押す操作を検出可能にすることにより、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。また、接触後に物体が３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続することを条件として付加することにより、例えば、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択される可能性を低くすることができる。

　次に、図２０を参照しながら、第２の例における操作検出処理の処理手順について説明する。図２０は、操作検出処理の処理手順を示すフローチャートである。図２０に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。接触検出処理の処理手順は、図１７に示した手順と同様である。

　図２０に示すように、制御部２２は、まず、ステップＳＣ０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳＣ０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。

　所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳＣ０１，Ｙｅｓ）、制御部２２は、ステップＳＣ０２として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合（ステップＳＣ０２，Ｎｏ）、制御部２２は、ステップＳＣ０１以降を再実行する。

　接触時間が所定時間以上の場合（ステップＳＣ０２，Ｙｅｓ）、制御部２２は、ステップＳＣ０３として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳＣ０４として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。

　続いて、制御部２２は、ステップＳＣ０５として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳＣ０５，Ｎｏ）、制御部２２は、ステップＳＣ０３以降を再実行する。

　所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳＣ０５，Ｙｅｓ）、制御部２２は、ステップＳＣ０６として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。

　３次元オブジェクトの変化が継続する場合（ステップＳＣ０６，Ｙｅｓ）、制御部２２は、ステップＳＣ０７として、３次元オブジェクトを変化させ、その後、ステップＳＣ０６以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳＣ０６，Ｎｏ）、制御部２２は、操作検出処理を終了させる。

　上述してきたように、第２の例では、指等の物体が３次元オブジェクトに接触する状態が所定時間以上継続しなくても押す操作が認識されることとしたので、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。

　３次元オブジェクトを押す操作に関する処理手順の第３の例について説明する。第３の例における接触検出処理は、第１の例における接触検出処理と同一である。そこで、第３の例では、第１の例と重複する説明は省略し、主として、操作検出処理について説明する。

　まず、図２１および図２２を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図２１および図２２は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図２１に示すステップＳ３１では、表示空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、利用者は、指Ｆ１を３次元オブジェクトＯＢ１と接触させている。

　ここで、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。表示装置１は、３次元オブジェクトＯＢ１に接触した物体が３次元オブジェクトＯＢ１の内側に移動したことを検出すると、ステップＳ３２に示すように、その時点から、３次元オブジェクトＯＢ１を指Ｆ１による操作に応じて変化させる。図２１に示す例では、ステップＳ３２において、３次元オブジェクトＯＢ１は、指Ｆ１の移動に合わせて移動を開始している。

　そして、表示装置１は、ステップＳ３３に示すように、指Ｆ１が３次元オブジェクトＯＢ１の内側へ向けて移動することが所定時間以上継続した段階で、３次元オブジェクトＯＢ１を操作対象として確定する。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として確定したことを利用者に通知する。その後も、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出される間、表示装置１は、３次元オブジェクトＯＢ１を変化させ続ける。

　図２２のステップＳ３４に示すように、所定時間が経過する前に指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出されなくなった場合、表示装置１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳ３１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。

　このように、３次元オブジェクトの内側への物体の侵入が検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。意図しない３次元オブジェクトが選択された場合、利用者は、所定時間が経過する前に操作を中止することにより、意図せずに選択された３次元オブジェクトを元の状態に戻すことができる。

　指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも操作対象としての選択が確定した状態とも異なる態様（例えば、半透明）で表示してもよい。このように表示態様を変更することにより、利用者が３次元オブジェクトの状態を判別しやすくなる。

　次に、図２３を参照しながら、第３の例における操作検出処理の処理手順について説明する。図２３は、操作検出処理の処理手順を示すフローチャートである。図２３に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。接触検出処理の処理手順は、図１７に示した手順と同様である。

　図２３に示すように、制御部２２は、まず、ステップＳＤ０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳＤ０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。

　所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳＤ０１，Ｙｅｓ）、制御部２２は、ステップＳＤ０２として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳＤ０３として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。

　続いて、制御部２２は、ステップＳＤ０４として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合、すなわち、３次元オブジェクトが押す操作の対象として確定していない場合（ステップＳＤ０４，Ｎｏ）、制御部２２は、ステップＳＤ０５として、所定の物体の３次元オブジェクトの内部方向への移動が継続しているかを判定する。

　３次元オブジェクトの内部方向への移動が継続している場合（ステップＳＤ０５，Ｙｅｓ）、制御部２２は、ステップＳＤ０２以降を再実行する。３次元オブジェクトの内部方向への移動が継続していない場合（ステップＳＤ０５，Ｎｏ）、制御部２２は、ステップＳＤ０６として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。

　接触検出からの経過時間が所定時間以上である場合（ステップＳＤ０４，Ｙｅｓ）、制御部２２は、ステップＳＤ０７として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳＤ０７，Ｎｏ）、制御部２２は、ステップＳＤ０２以降を再実行する。

　所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳＤ０７，Ｙｅｓ）、制御部２２は、ステップＳＤ０８として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。

　３次元オブジェクトの変化が継続する場合（ステップＳＤ０８，Ｙｅｓ）、制御部２２は、ステップＳＤ０９として、３次元オブジェクトを変化させ、その後、ステップＳＤ０８以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳＤ０８，Ｎｏ）、制御部２２は、操作検出処理を終了させる。

　上述してきたように、第３の例では、押す操作が検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が、押す操作の対象となっている３次元オブジェクトを認識しやすい。

　３次元オブジェクトに関する操作として、３次元オブジェクトを押す操作について説明したが、表示装置１が３次元オブジェクトに関して検出する操作は、押す操作に限定されない。表示装置１は、利用者が３次元オブジェクトを摘んで行う操作も検出することができる。以下に３次元オブジェクトを摘んで行う操作について説明する。

　図２４を参照しながら、３次元オブジェクトを摘んで行う操作の検出について説明する。図２４は、３次元オブジェクトを摘んで行う操作の検出について説明するための図である。図２４に示すステップＳ４１では、表示空間５０中に、３次元オブジェクトＯＢ１が立体的に表示されている。

　ここで、利用者が３次元オブジェクトＯＢ１を摘んで何らかの操作を行いたいものとする。３次元オブジェクトＯＢ１を摘んで何らかの操作を行うには、まず、操作の対象として３次元オブジェクトＯＢ１を選択する必要がある。３次元オブジェクトＯＢ１を選択するために、利用者は、ステップＳ４２に示すように、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させ、その状態を所定時間以上維持する。

　表示装置１は、表示空間内で２つの現実の物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。

　２つの物体の間に３次元オブジェクトＯＢ１が位置しているかの判定は、現実の空間における２つの物体の位置と、３次元オブジェクトＯＢ１の形状、姿勢、仮想空間における位置等に基づいて行われる。現実の空間での位置と仮想空間における位置との比較は、一方の空間の位置を上記の所定の規則に基づいて他方の空間の位置へ換算することによって行ってもよいし、両方の空間の位置を比較用の空間の位置へ換算することによって行ってもよい。現実の物体として指が検出された場合、指のつま先の位置を物体の位置として処理してもよい。

　このように、表示装置１は、指等の現実の物体の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が選択されたと判定する。指の間に３次元オブジェクトＯＢ１を挟むように指を配置するという操作は、人間が現実の空間の何かを選択するために何かを摘む操作と類似している。そのため、かかる操作は、３次元オブジェクトを選択するための操作として、直感的で分かりやすい。また、状態が所定時間以上継続して検出されることを条件として付加することにより、例えば、他の３次元オブジェクトを選択するために指を移動させる過程で、意図しない３次元オブジェクトが選択される可能性を低くすることができる。

　表示装置１は、３次元オブジェクトＯＢ１が選択状態になったと判定した後、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。

　次に、図２５および図２６を参照しながら、３次元オブジェクトを摘んで行う操作に関して表示装置１が実行する処理手順の第１の例について説明する。図２５は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２５に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

　図２５に示すように、制御部２２は、まず、ステップＳＥ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。

　続いて、制御部２２は、ステップＳＥ０２として、検出部４４、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体は、現実の物体、例えば、利用者の指である。第１の物体および第２の物体が検出されない場合（ステップＳＥ０２，Ｎｏ）、制御部２２は、ステップＳＥ１０として、操作終了が検出されたかを判定する。

　操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出される。操作終了が検出された場合（ステップＳＥ１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳＥ１０，Ｎｏ）、制御部２２は、ステップＳＥ０２以降を再実行する。

　第１の物体および第２の物体が検出された場合（ステップＳＥ０２，Ｙｅｓ）、制御部２２は、ステップＳＥ０３として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳＥ０４，Ｎｏ）、制御部２２は、ステップＳＥ１０へ進む。

　第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳＥ０４，Ｙｅｓ）、制御部２２は、ステップＳＥ０５として、第１の物体と第２の物体との間に３次元オブジェクトが位置している時間を取得する。取得した時間が所定時間未満の場合（ステップＳＥ０６，Ｎｏ）、制御部２２は、ステップＳＥ１０へ進む。

　取得した時間が所定時間以上の場合（ステップＳＥ０６，Ｙｅｓ）、制御部２２は、ステップＳＥ０７として、第１の物体と第２の物体の距離を算出する。また、制御部２２は、ステップＳＥ０８として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。そして、制御部２２は、ステップＳＥ０９として、後述する操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳＥ１０へ進む。

　図２６は、操作検出処理の処理手順を示すフローチャートである。図２６に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

　図２６に示すように、制御部２２は、まず、ステップＳＦ０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＦ０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。距離がほぼ一定とは、例えば、現時点での第１の物体と第２の物体の距離の変化量が、操作検出処理の開始時点の距離と比較して、所定の範囲（第１の物体および第２の物体が通常の速度で移動した場合の距離の最大変化量の±１０％等）以内に収まっていることを意味する。また、第１の物体と第２の物体の距離が操作検出処理の開始時点以降縮まり続けている場合（第１の物体および第２の物体が３次元オブジェクトを押しつぶす方向に移動している場合）に、距離がほぼ一定であると判定してもよい。また、手振れ等の範囲内でしか両者の距離が変化していない場合に、距離がほぼ一定であると判定してもよい。

　第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳＦ０２，Ｙｅｓ）、制御部２２は、ステップＳＦ０３として、第１の物体および第２の物体の移動速度を算出する。続いて、制御部２２は、ステップＳＦ０４として、算出した移動速度が閾値以下であるかを判定する。ここで用いられる閾値は、例えば、人がものを放り投げるときの指先の移動速度である。また、閾値と比較される移動速度は、第１の物体の移動速度と第２の物体の移動速度の平均であってもよいし、いずれか速い方であってもよいし、いずれか遅い方であってもよい。

　移動速度が閾値以下の場合（ステップＳＦ０４，Ｙｅｓ）、制御部２２は、ステップＳＦ０５として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトに変化を加える。例えば、第１の物体および第２の物体の右方向への移動が検出された場合、制御部２２は、第１の物体および第２の物体の移動に合わせて３次元オブジェクトを右方向へ移動させる。第１の物体および第２の物体の左回りでの回転が検出された場合、制御部２２は、第１の物体および第２の物体の回転に合わせて３次元オブジェクトを左回りで回転させる。移動と回転が同時に検出された場合、移動と回転が同時に実行される。３次元オブジェクトの移動や回転に対する障害物がある場合、３次元オブジェクトが障害物に接触した時点で３次元オブジェクトの移動や回転を停止させてもよい。障害物は、現実の物体でもよいし、他の３次元オブジェクトでもよい。その後、制御部２２は、ステップＳＦ０１以降を再実行する。

　移動速度が閾値より速い場合（ステップＳＦ０４，Ｎｏ）、制御部２２は、ステップＳＦ０６として、３次元オブジェクトを消去する。３次元オブジェクトを消去するに際して、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部２２は、操作検出処理を終了させる。このように、３次元オブジェクトを放り投げるように第１の物体および第２の物体が高速で移動した場合に３次元オブジェクトを消去することにより、直感的な操作によって３次元オブジェクトの消去を実現することができる。第１の物体および第２の物体を高速で移動させる操作ではなく、例えば、３次元オブジェクトを握りつぶす操作に３次元オブジェクトの消去を割り当ててもよい。また、３次元オブジェクトを消去する代わりに、３次元オブジェクトを当初の配置場所に戻すこととしてもよい。表示装置１は、ステップＳＦ０３、ＳＦ０４およびステップＳＦ０６の処理を行わなくてもよい。すなわち、表示装置１は、ステップＳＦ０２で第１の物体と第２の物体の距離がほぼ一定と判定した場合には、２つの物体の移動速度にかかわらず、ステップＳＦ０５を実行してもよい。

　第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳＦ０２，Ｎｏ）、制御部２２は、ステップＳＦ０７として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳＦ０７，Ｙｅｓ）、制御部２２は、ステップＳＦ０８として、３次元オブジェクトの選択状態を解除する。第１の物体と第２の物体の距離を拡大するという操作は、摘んでいる現実のオブジェクトを放す操作と類似している。そのため、かかる操作は、３次元オブジェクトの選択を解除するための操作として、直感的で分かりやすい。

　続いて、制御部２２は、ステップＳＦ０９として、選択状態を解除した３次元オブジェクトを重力等に従って移動させる。そして、制御部２２は、操作検出処理を終了させる。ここでの移動は、例えば、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい。３次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には３次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも３次元オブジェクトをゆっくりと移動させてもよい。

　第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合（ステップＳＦ０７，Ｎｏ）、制御部２２は、ステップＳＦ１０として、距離に応じて３次元オブジェクトを変形させる。そして、制御部２２は、ステップＳＦ０１以降を再実行する。３次元オブジェクトを変形させる程度は、例えば、３次元オブジェクトに属性として設定されている弾性に応じて変更してもよい。制御部２２は、ゴムボールを模した３次元オブジェクトのように属性として低い硬度を設定されているオブジェクトについては、第１の物体と第２の物体の距離が縮まるに応じて変形の度合いを高めてよい。また、制御部２２は、積み木を模した３次元オブジェクトのように属性として高い硬度を設定されているオブジェクトについては、第１の物体と第２の物体の距離が縮まっても変形の度合いを小さく保ってよい。

　第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合に、表示装置１は、３次元オブジェクトを変形させるのではなく縮小させてもよい。第１の物体と第２の物体の距離が所定の値以下になった場合に、表示装置１は、３次元オブジェクトを破損したように表示してもよい。

　上述してきたように、第１の例では、指等の物体の間に３次元オブジェクトが位置する状態が所定時間以上継続した場合に３次元オブジェクトが選択されることとしたので、３次元オブジェクトの選択を直感的で分かりやすい操作により実現することができる。

　図２７に示すように、表示装置１は、第１の物体と第２の物体のうち少なくとも一方が３次元オブジェクトに接触している状態が所定時間以上継続することを、３次元オブジェクトを選択する条件としてもよい。３次元オブジェクトへの接触を選択の条件とすることにより、複数の３次元オブジェクトが近接して表示されている場合に、利用者が所望の３次元オブジェクトを選択し易くなる。

　３次元オブジェクトを摘んで行う操作に関する処理手順の第２の例について説明する。第２の例における操作検出処理は、第１の例における操作検出処理と同一である。そこで、第２の例については、第１の例と重複する説明は省略し、主として、選択検出処理について説明する。

　まず、図２８を参照しながら、３次元オブジェクトを摘んで行う操作の検出について説明する。図２８は、３次元オブジェクトを摘んで行う操作の検出について説明するための図である。図２８に示すステップＳ５１では、表示空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。

　表示装置１は、表示空間内で２つの現実の物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離の変化を監視する。そして、距離が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。

　表示装置１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳ５１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。

　ステップＳ５１の状態から、ステップＳ５２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、表示装置１は、ステップＳ５３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。そして、表示装置１は、３次元オブジェクトＯＢ１を、あたかもステップＳ５１の段階で既に選択されていたかのように、指Ｆ１および指Ｆ２の間に移動させる。表示装置１は、ステップＳ５１からステップＳ５３までの指Ｆ１と指Ｆ２の動きを記憶しておき、記憶しておいた動きに合わせて３次元オブジェクトＯＢ１を回転等させてもよい。その後、表示装置１は、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。

　このように、２つの物体が３次元オブジェクトを挟む位置に一旦移動した後は、物体がその場に留まらなくても３次元オブジェクトを選択可能にすることにより、利用者は、３次元オブジェクトを選択した後の操作を迅速に開始することができる。

　次に、図２９を参照しながら、第２の例における選択検出処理の処理手順について説明する。図２９は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２９に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

　図２９に示すように、制御部２２は、まず、ステップＳＧ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。続いて、制御部２２は、ステップＳＧ０２として、検出部４４、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳＧ０２，Ｎｏ）、制御部２２は、ステップＳＧ１４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。仮選択状態とは、２つの物体の間に３次元オブジェクトが表示されている状態が検出された後、２つの物体の距離がほぼ一定に保たれているかが監視されている状態である。

　そして、制御部２２は、ステップＳＧ１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳＧ１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳＧ１５，Ｎｏ）、制御部２２は、ステップＳＧ０２以降を再実行する。

　第１の物体および第２の物体が検出された場合（ステップＳＧ０２，Ｙｅｓ）、制御部２２は、ステップＳＧ０３として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳＧ０３，Ｎｏ）、制御部２２は、ステップＳＧ０４として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳＧ０５，Ｎｏ）、制御部２２は、ステップＳＧ１５へ進む。

　第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳＧ０５，Ｙｅｓ）、制御部２２は、ステップＳＧ０６として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳＧ０７として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＧ１５へ進む。

　第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳＧ０３，Ｙｅｓ）、制御部２２は、ステップＳＧ０８として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＧ０９として、距離がほぼ一定であるかを判定する。距離がほぼ一定でない場合（ステップＳＧ０９，Ｎｏ）、制御部２２は、ステップＳＧ１４として、仮選択状態の３次元オブジェクトの仮選択状態を解除する。そして、制御部２２は、ステップＳＧ１５へ進む。

　第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳＧ０９，Ｙｅｓ）、制御部２２は、ステップＳＧ１０として、距離がほぼ一定に保たれている期間が所定時間以上であるかを判定する。距離がほぼ一定に保たれている期間が所定時間未満の場合（ステップＳＧ１０，Ｎｏ）、制御部２２は、ステップＳＧ１５へ進む。

　距離がほぼ一定に保たれている期間が所定時間以上の場合（ステップＳＧ１０，Ｙｅｓ）、制御部２２は、ステップＳＧ１１として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。また、制御部２２は、ステップＳＧ１２として、第１の物体と第２の物体との間に３次元オブジェクトを移動させる。そして、制御部２２は、ステップＳＧ１３として、図２６に示した操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳＧ１５へ進む。

　上述してきたように、第２の例では、指等の物体の間に３次元オブジェクトが位置した後、物体の距離が所定時間以上ほぼ一定に保たれた場合に３次元オブジェクトが選択されることとしたので、利用者は、３次元オブジェクトの選択後の操作を迅速に開始することができる。

　図３０は、３次元オブジェクトを摘んで行う操作の検出の第２の例の変形例について説明するための図である。図３０に示すステップＳ６１からステップＳ６３のように、表示装置１は、第１の物体と第２の物体のうち少なくとも一方が３次元オブジェクトに接触した後に第１の物体と第２の物体の距離が所定時間以上ほぼ一定に保たれることを、３次元オブジェクトを選択する条件としてもよい。３次元オブジェクトへの接触を選択の条件とすることにより、複数の３次元オブジェクトが近接して表示されている場合に、利用者が所望の３次元オブジェクトを選択し易くなる。

　３次元オブジェクトを摘んで行う操作に関する処理手順の第３の例について説明する。第３の例については、第１の例と重複する説明は省略し、主として、選択検出処理および操作検出処理について説明する。

　まず、図３１および図３２を参照しながら、３次元オブジェクトを摘んで行う操作の検出について説明する。図３１および図３２は、３次元オブジェクトを摘んで行う操作の検出の第３の変形例について説明するための図である。図３１に示すステップＳ７１では、表示空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。

　表示装置１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳ７１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。

　ステップＳ７１の状態から、ステップＳ７２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、表示装置１は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が表示されていることが検出された段階、すなわち、ステップＳ７１の段階から、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。そして、表示装置１は、ステップＳ７３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。

　図３２のステップＳ７４に示すように、所定時間が経過する前に指Ｆ１と指Ｆ２の距離Ｄ１が拡大した場合、すなわち、選択が行われなかった場合、表示装置１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳ７１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。

　このように、２つの物体の間に３次元オブジェクトが表示されていることが検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。表示装置１は、２つの物体の距離がほぼ一定に保たれた状態が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも選択状態とも異なる態様（例えば、半透明）で表示することにより、利用者が３次元オブジェクトの状態を判別しやすくしてもよい。

　次に、図３３および図３４を参照しながら、３次元オブジェクトを摘んで行う操作に関して表示装置１が実行する処理手順について説明する。図３３は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図３３に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。

　図３３に示すように、制御部２２は、まず、ステップＳＨ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。続いて、制御部２２は、ステップＳＨ０２として、検出部４４、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳＨ０２，Ｎｏ）、制御部２２は、ステップＳＨ１０として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。

　そして、制御部２２は、ステップＳＨ１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳＨ１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳＨ１１，Ｎｏ）、制御部２２は、ステップＳＨ０２以降を再実行する。

　第１の物体および第２の物体が検出された場合（ステップＳＨ０２，Ｙｅｓ）、制御部２２は、ステップＳＨ０３として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳＨ０３，Ｎｏ）、制御部２２は、ステップＳＨ０４として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳＨ０５，Ｎｏ）、制御部２２は、ステップＳＨ１１へ進む。

　第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳＨ０５，Ｙｅｓ）、制御部２２は、ステップＳＨ０６として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳＨ０７として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＨ１１へ進む。

　第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳＨ０３，Ｙｅｓ）、制御部２２は、ステップＳＨ０８として、第１の物体と第２の物体の少なくとも一方が移動しているかを判定する。第１の物体と第２の物体のいずれも移動していない場合（ステップＳＨ０８，Ｎｏ）、制御部２２は、ステップＳＨ１１へ進む。

　第１の物体と第２の物体の少なくとも一方が移動している場合（ステップＳＨ０８，Ｙｅｓ）、制御部２２は、ステップＳＨ０９として、図３４に示す操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳＨ１１へ進む。

　図３４は、操作検出処理の処理手順を示すフローチャートである。図３４に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図３４に示すように、制御部２２は、まず、ステップＳＩ０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳＩ０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。

　第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳＩ０２，Ｙｅｓ）、制御部２２は、ステップＳＩ０３として、操作検出処理が開始されてから所定時間が経過したかを判定する。所定時間が経過していた場合（ステップＳＩ０３，Ｙｅｓ）、制御部２２は、ステップＳＩ０４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトを選択状態にする。所定時間が経過していない場合（ステップＳＩ０３，Ｎｏ）、ステップＳＩ０４は実行されない。

　続いて、制御部２２は、ステップＳＩ０５として、第１の物体および第２の物体の移動速度を算出する。そして、制御部２２は、ステップＳＩ０６として、算出した移動速度が閾値以下であるかを判定する。移動速度が閾値以下の場合（ステップＳＩ０６，Ｙｅｓ）、制御部２２は、ステップＳＩ０７として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトを移動させたり回転させたりする。そして、制御部２２は、ステップＳＩ０１以降を再実行する。

　移動速度が閾値より速い場合（ステップＳＩ０６，Ｎｏ）、制御部２２は、ステップＳＩ０８として、３次元オブジェクトを消去する。３次元オブジェクトを消去するに際して、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部２２は、操作検出処理を終了させる。第１の物体および第２の物体を高速で移動させる操作ではなく、例えば、３次元オブジェクトを握りつぶす操作に３次元オブジェクトの消去を割り当ててもよい。３次元オブジェクトを消去する代わりに、３次元オブジェクトを当初の配置場所に戻すこととしてもよい。表示装置１は、ステップＳＩ０５、ＳＩ０６およびステップＳＩ０８の処理を行わなくてもよい。すなわち、表示装置１は、ステップＳＩ０３でＮｏと判定した場合またはステップＳＩ０４を実行した後に、２つの物体の移動速度にかかわらず、ステップＳＩ０７を実行してもよい。

　第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳＩ０２，Ｎｏ）、制御部２２は、ステップＳＩ０９として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳＩ０９，Ｙｅｓ）、制御部２２は、ステップＳＩ１０として、第１の物体と第２の物体の間に表示されていた３次元オブジェクトが仮選択状態であるかを判定する。

　３次元オブジェクトが仮選択状態である場合（ステップＳＩ１０，Ｙｅｓ）、制御部２２は、ステップＳＩ１１として、３次元オブジェクトの仮選択状態を解除する。また、制御部２２は、ステップＳＩ１２として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。

　３次元オブジェクトが仮選択状態でない場合、すなわち、選択状態の場合（ステップＳＩ１０，Ｎｏ）、制御部２２は、ステップＳＩ１３として、３次元オブジェクトの選択状態を解除する。また、制御部２２は、ステップＳＩ１４として、選択状態を解除した３次元オブジェクトを重力等に従って移動させる。そして、制御部２２は、操作検出処理を終了させる。ここでの移動は、例えば、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい。３次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には３次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも３次元オブジェクトをゆっくりと移動させてもよい。

　第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合（ステップＳＩ０９，Ｎｏ）、制御部２２は、ステップＳＩ１５として、距離に応じて３次元オブジェクトを変形させる。そして、制御部２２は、ステップＳＩ０１以降を再実行する。３次元オブジェクトを変形させる程度は、例えば、３次元オブジェクトに属性として設定されている硬度に応じて変更してもよい。

　上述してきたように、第３の例では、指等の物体の間に３次元オブジェクトが位置していることが検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が３次元オブジェクトの選択を認識しやすい。

　図３５は、３次元オブジェクトを摘んで行う操作の検出の第３の例の変形例について説明するための図である。図３５に示すステップＳ８１からステップＳ８３のように、第１の物体と第２の物体のうち少なくとも一方が３次元オブジェクトに接触した後に第１の物体と第２の物体の距離が所定時間以上ほぼ一定に保たれることを、３次元オブジェクトを選択する条件としてもよい。３次元オブジェクトへの接触を選択の条件とすることにより、複数の３次元オブジェクトが近接して表示されている場合に、利用者が所望の３次元オブジェクトを選択し易くなる。

　上記の実施例において説明した表示装置１は各種の用途に適用できる。操作の対象となる３次元オブジェクト（表示物）は、例えば、本、積み木、スプーン、箸、トランプ、粘土、楽器のように現実に存在するものを模したオブジェクトであってもよいし、仮想のアバター、ゲームのキャラクター、仮想現実のＡＲタグのように実在はしないオブジェクトであってもよい。また、検出された操作に応じて３次元オブジェクトに加えられる変化は、上記の移動、変形、消失等に限定されない。例えば、検出された操作に応じて３次元オブジェクトに加えられる変化は、回転、置換等を含む。置換とは、一の３次元オブジェクトを他の３次元オブジェクトに置換することをいう。また、押す操作に応じて３次元オブジェクトに加えられる変化は、上記の実施例に限定されず、３次元オブジェクトの種類に応じて変更してよい。

　例えば、粘土を模した３次元オブジェクト（以下、単に「粘土」という）を操作対象とする場合、押す操作に応じて粘土を変形させて、利用者が粘土を任意の形に成形できるようにしてもよい。また、時間の経過にしたがって、あたかも粘土が乾いていくかのように、粘土を硬化させていく、あるいは、粘土の粘性を低下させていってもよい。また、水の３次元オブジェクトに浸けた指や手で粘土を押す操作が検出された場合に、粘土の粘性を向上させてもよい。

　また、レコード盤を模した３次元オブジェクト（以下、単に「レコード盤」という）を操作対象とする場合、押す操作に応じてレコード盤が支点を中心として回転するとともに、音を再生するようにしてもよい。回転と音の再生を連動させることにより、ディスクジョッキーによるスクラッチ等の技法を仮想的に実現してもよい。

　実施例１では、表示装置が、３次元オブジェクトに対する操作を検出し、検出した操作に応じて３次元オブジェクトに変化を加える例について説明した。しかしながら、表示装置は、３次元オブジェクトに対する操作に応じて、検出部によって検出される所定の物体の変位に応じて３次元オブジェクトに関連づけられた動作を行ってもよい。検出部によって検出される所定の物体の変位に応じて３次元オブジェクトに関連づけられた動作を行う表示装置の例について説明する。

　まず、図３６および図３７を参照しながら、第２の実施例に係る表示装置５の構成について説明する。図３６は、表示装置５の斜視図である。図３７は、表示装置５のブロック図である。以下の説明では、既に説明した部分と同様の部分には、既に説明した部分と同一の符号を付すことがある。以下の説明では、既に行った説明と重複する説明を省略することがある。図３６および図３７に示すように、表示装置５は、プロジェクタ３４をさらに備える点と、記憶部２４に制御プログラム２４ａに代えて制御プログラム２４ｅを記憶する点とを除いて、表示装置１と同様の構成を有する。

　プロジェクタ３４は、制御部２２から送信される信号に従って、投影部３４ａから画像を投影する。投影される画像は、スクリーン、壁等に表示され、表示装置５を装着している利用者以外の人も見ることができる。プロジェクタ３４が画像を投影する方式は特に限定しない。例えば、プロジェクタ３４は、光源から照射されるレーザー光をＭＥＭＳ（Micro　Electro　Mechanical　System）ミラーで反射して画像を描画してもよい。プロジェクタ３４は、ハロゲンライト、ＬＥＤ、ＬＤ等の光源と、ＬＣＤ、ＤＭＤ（Digital　Micro-mirror　Device）等の光学系とを組み合わせて構成されてもよい。表示装置５は、プロジェクタ３４に代えて、外部ディスプレイを備えてもよい。

　制御プログラム２４ｅは、連動表示制御部２８をさらに含む点を除いて制御プログラム２４ａと同様の構成を有する。連動表示制御部２８は、表示部３２ａおよび３２ｂに表示する情報と関連する情報をプロジェクタ３４に投影させる機能を提供する。連動表示制御部２８が提供する機能には、表示空間中の３次元オブジェクトに対する操作に応じた３次元オブジェクトの変化と連動して、プロジェクタ３４に投影させる情報を変化させる機能が含まれる。

　次に、図３８から図４１を参照しながら、３次元オブジェクトの変化と連動した表示制御の例について説明する。図３８は、３次元オブジェクトの変化と連動した表示制御の一例を示す図である。図３９は、指Ｆ１を３次元オブジェクトに一瞬接触させる操作の軌跡の一例を示す図である。図４０は、指Ｆ１を３次元オブジェクトに沿って移動させる操作の軌跡の一例を示す図である。図４１は、指Ｆ１で３次元オブジェクトを押しつぶす操作の軌跡の一例を示す図である。

　図３８に示すステップＳ９１では、制御部２２は、球形の地球儀を３次元オブジェクトＯＢ２として、表示空間中に表示させている。さらに、制御部２２は、表示装置５を装着している利用者から見て３次元オブジェクトＯＢ２の中心に位置している日本を拡大した地図を投影画像Ｐ４としてプロジェクタ３４から投影している。このように、制御部２２は、表示空間中に表示される３次元オブジェクトＯＢ２と関連する画像をプロジェクタ３４から投影させる。投影画像Ｐ４が撮影部４０および４２の撮影範囲内に投影される場合、利用者は、撮影部４０および４２に撮影される画像により、投影画像Ｐ４の状態を確認することができる。

　この例では、３次元オブジェクトＯＢ２の中心に位置している日本に関連する画像として日本の地図を投影させているが、地図に代えて、日本の国旗、国花等日本に関連する他の画像を投影させてもよい。画像は、記憶部２４に予め記憶されていてもよいし、有線または無線による通信によって他の装置から取得されてもよい。

　ステップＳ９１の状態において、図３９に示すような指Ｆ１を斜め下へ移動させて３次元オブジェクトＯＢ２に一瞬接触させて直ぐに離す操作が検出されたものとする。この操作は、タッチパネルに指Ｆ１を一瞬接触させて直ぐに離すタップ操作と類似しているが、タップ操作は平面上の点しか選択できないのに対して、３次元オブジェクトＯＢ２の任意の場所を選択できる点において優れている。

　図３９に示すような操作が検出されると、制御部２２は、指Ｆ１によって接触された位置が選択されたと判定し、選択された位置に対応する処理を実行する。選択された位置に対応する処理とは、例えば、選択された位置に対応する詳細情報をプロジェクタ３４から投影する処理である。本実施例では、選択された位置に対応する処理として、選択された位置が中心になるように３次元オブジェクトＯＢ２を回転させる処理が実行されるものとする。

　図３８に示すステップＳ９２では、図３９に示すような操作が検出された結果、制御部２２は、接触されたフロリダ半島付近が中心になるように３次元オブジェクトＯＢ２を回転させている。３次元オブジェクトＯＢ２の回転と連動して、制御部２２は、３次元オブジェクトＯＢ２の中心へ移動したフロリダ半島付近の地図を投影画像Ｐ４としてプロジェクタ３４から投影させている。３次元オブジェクトＯＢ２に一瞬接触させるために指Ｆ１を移動させる方向は、斜め下方向に限定されず、どの方向であってもよい。

　ステップＳ９１の状態において、図４０に示すような指Ｆ１を３次元オブジェクトＯＢ２に沿って移動させる操作が検出されたものとする。図４０に示すような操作が検出されると、制御部２２は、指Ｆ１の移動方向および移動量に応じて３次元オブジェクトＯＢ２を回転させる。このように、３次元オブジェクトＯＢ２に沿った指Ｆ１の移動に応じた処理として３次元オブジェクトＯＢ２を回転させることは、利用者にとって直感的で覚えやすい。

　図３８に示すステップＳ９３では、図４０に示すような操作が検出された結果、制御部２２は、３次元オブジェクトＯＢ２を左方向に指Ｆ１の移動量に応じた角度だけ回転させている。３次元オブジェクトＯＢ２の回転と連動して、制御部２２は、３次元オブジェクトＯＢ２の中心へ移動したフロリダ半島付近の地図を投影画像Ｐ４としてプロジェクタ３４から投影させている。

　ステップＳ９１の状態において、図４１に示すような指Ｆ１を使って３次元オブジェクトＯＢ２を上から押しつぶすような操作が検出されたものとする。図４１に示すような操作が検出されると、制御部２２は、利用者が指Ｆ１を３次元オブジェクトＯＢ２に押し込む量に応じて３次元オブジェクトＯＢ２を縮小させる。このように、３次元オブジェクトＯＢ２を押しつぶす操作に応じた処理として３次元オブジェクトＯＢ２を縮小させることは、利用者にとって直感的で覚えやすい。

　図３８に示すステップＳ９４では、図４１に示すような操作が検出された結果、制御部２２は、３次元オブジェクトＯＢ２を縮小させている。さらに、制御部２２は、３次元オブジェクトＯＢ２の縮小と連動して、投影画像Ｐ４としてプロジェクタ３４から投影される地図も縮小させている。

　次に、図４２を参照しながら、３次元オブジェクトの変化と連動して実行される表示制御の処理手順について説明する。図４２は、３次元オブジェクトの変化と連動して実行される表示制御の処理手順を示すフローチャートである。図４２に示す処理手順は、制御部２２が制御プログラム２４ｅを実行することによって実現される。

　図４２に示すように、制御部２２は、まず、ステップＳＪ０１として、３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示部３２ａおよび表示部３２ｂに表示する。また、制御部２２は、ステップＳＪ０２として、３次元オブジェクトに対応する画像をプロジェクタ３４から投影させる。

　続いて、制御部２２は、ステップＳＪ０３として、検出部４４によって指が検出されているかを判定する。検出部４４によって指が検出されていない場合（ステップＳＪ０３，Ｎｏ）、制御部２２は、ステップＳＪ０８として、利用者による終了操作が検出されたかを判定する。終了操作が検出されていない場合（ステップＳＪ０８，Ｎｏ）、制御部２２は、ステップＳＪ０３以降を再実行する。一方、終了操作が検出されていた場合（ステップＳＪ０８，Ｙｅｓ）、制御部２２は、処理手順を終了させる。

　ステップＳＪ０３において指が検出されている場合（ステップＳＪ０３，Ｙｅｓ）、制御部２２は、ステップＳＪ０４として、検出部４４の検出結果に基づいて、３次元空間での指の動きを判定する。そして、３次元オブジェクトに指が一瞬接触する動作が検出された場合（ステップＳＪ０５，Ｙｅｓ）、制御部２２は、ステップＳＪ０６として、接触された位置に対応する処理を実行する。そして、制御部２２は、ステップＳＪ０７として、３次元オブジェクトに対応づけて投影されている画像を更新し、ステップＳＪ０８へ進む。

　３次元オブジェクトに沿って指が移動する動作に対応する変位が検出された場合（ステップＳＪ０５，Ｎｏ、ステップＳＪ０９，Ｙｅｓ）、制御部２２は、ステップＳＪ１０として、指の移動方向および移動量に応じて３次元オブジェクトを回転させる。そして、制御部２２は、ステップＳＪ０７として、３次元オブジェクトに対応づけて投影されている画像を更新し、ステップＳＪ０８へ進む。

　指で３次元オブジェクトを押しつぶすような動作に対応する変位が検出された場合（ステップＳＪ０９，Ｎｏ、ステップＳＪ１１，Ｙｅｓ）、制御部２２は、ステップＳＪ１２として、指を３次元オブジェクトに押し込む量に応じて３次元オブジェクトを縮小させる。そして、制御部２２は、ステップＳＪ０７として、３次元オブジェクトに対応づけて投影されている画像を更新し、ステップＳＪ０８へ進む。

　上記の動作のいずれも検出されない場合（ステップＳＪ１１，Ｎｏ）、制御部２２は、投影されている画像をそのまま維持して、ステップＳＪ０８へ進む。

　上述してきたように、本実施例では、３次元空間での指の動きに基づいて利用者の操作を検出することとしたため、利用者に多様な操作方法を提供することができる。さらに、検出した操作に応じた３次元オブジェクトの変化と連動して、外部に表示または投影する情報を更新することとしたため、第三者に提供する情報を更新するための操作に関しても、利用者に多様な操作方法を提供することができる。

　上記の実施例では、３次元空間での指の動きに基づいて３種類の操作を検出することとしたが、３次元空間での指や手の動きに基づいて検出される操作は、これらに限定されない。例えば、創作プログラムと連係して、利用者が３次元表示されたブロックや粘度を指で操作して像や建物を製作できるようにしてもよい。また、レースゲームプログラムと連係して、利用者が３次元表示されたハンドルを手で操作してレースを楽しめるようにしてもよい。

　また、楽器演奏プログラムと連係して、利用者が３次元表示されたピアノや鍵盤を指で操作して演奏を楽しめるようにしてもよい。また、データ表示プログラムと連係して、３次元表示された形状の任意の部分を手で切断すると、切断面の画像がプロジェクタ３４から投影されることとしてもよい。

　図４３を参照しながら、第３の実施例に係る表示装置６の構成について説明する。図４３は、表示装置６のブロック図である。図４３に示すように、表示装置６は、通信部１６と動きセンサ４８とをさらに備える点と、記憶部２４に制御プログラム２４ａに代えて制御プログラム２４ｆを記憶する点とを除いて、表示装置１と同様の構成を有する。記憶部２４は、カタログデータ２４ｇをさらに記憶する。また、表示装置６は、上記の表示装置２から４のいずれかの構成であってもよい。

　通信部１６は、他の装置との間で通信を行う。通信部１６は、無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈ（登録商標）のように比較的狭い範囲で無線通信を行う通信方式をサポートしてもよいし、通信キャリア向けの３Ｇ通信方式または４Ｇ通信方式のように比較的広い範囲で無線通信を行う通信方式をサポートしてもよい。通信部１６は、イーサネット（登録商標）のような有線による通信方式をサポートしてもよい。通信部１６は、複数の通信方式をサポートしてもよい。

　動きセンサ４８は、表示装置６の位置の変化および方向（姿勢）の変化を検出する。位置の変化および方向の変化は、３次元的に検出される。すなわち、動きセンサ４８は、水平方向だけでなく、垂直方向での位置の変化および方向の変化を検出する。動きセンサ４８は、表示装置６の位置の変化および方向の変化を検出するために、例えば、３軸加速度センサを備える。動きセンサ４８は、表示装置６の位置の変化を検出するために、ＧＰＳ（Global Positioning System）レシーバまたは気圧センサを備えてもよい。動きセンサ４８は、表示装置６の位置の変化を検出するために、測距部４６による距離の測定結果を利用してもよい。動きセンサ４８は、複数の方式を組み合わせて、表示装置６の位置の変化を検出してもよい。動きセンサ４８は、表示装置６の方向の変化を検出するために、ジャイロセンサまたは方位センサを備えてもよい。動きセンサ４８は、複数の方式を組み合わせて、表示装置６の方向の変化を検出してもよい。

　記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ｆが含まれる。記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃと、仮想空間データ２４ｄと、カタログデータ２４ｇとが含まれる。記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ｆ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄ、カタログデータ２４ｇは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ｆ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄ、カタログデータ２４ｇは、通信部１６による通信によってサーバ装置等の他の装置から取得されてもよい。

　制御プログラム２４ｆは、表示装置６を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ｆが提供する機能には、撮影部４０および４２が取得する画像に３次元オブジェクトを重ねて表示部３２ａおよび３２ｂに表示する機能、３次元オブジェクトに対する操作を検出する機能、検出した操作に応じて３次元オブジェクトを変化させる機能等が含まれる。

　制御プログラム２４ｆは、検出処理部２５と、表示オブジェクト制御部２６と、視点制御部３０と、画像合成部２７と、発注処理部２９とを含む。検出処理部２５は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出するための機能を提供する。検出処理部２５が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれる。

　視点制御部３０は、仮想空間における利用者の視点の位置および方向を管理するための機能を提供する。視点制御部３０が提供する機能には、動きセンサ４８が検出する表示装置６の位置の変化および方向の変化に応じて、仮想空間における利用者の視点の位置および方向を変化させる機能が含まれる。例えば、動きセンサ４８によって表示装置６が前方移動したことが検出された場合、視点制御部３０は、仮想空間における利用者の視点を前方へ移動させる。例えば、動きセンサ４８によって表示装置６が右向きに回転したことが検出された場合、視点制御部３０は、仮想空間における利用者の視点を右向きに回転させる。このように、表示装置６の位置および方向の変化に合わせて仮想空間における利用者の視点の位置および方向を変化させることにより、現実の空間の画像に重ねて表示される仮想空間の画像の変化を現実の空間の画像の変化と一致させることができる。

　発注処理部２９は、３次元オブジェクトを利用して商品を発注する機能を提供する。発注処理部２９の機能の詳細については後述する。

　オブジェクトデータ２４ｂは、３次元オブジェクトの形状および性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に、３次元オブジェクトをどのように変化させるかを判定するために用いられる。ここでいう変化には、移動、回転、変形、消失、置換等が含まれる。仮想空間データ２４ｄは、仮想空間に配置される３次元オブジェクトの状態に関する情報を保持する。３次元オブジェクトの状態には、例えば、位置、姿勢、変形の状況等が含まれる。カタログデータ２４ｇは、商品の仕様、価格等の商品を販売するための情報を含む。

　次に、図４４から図４７を参照しながら、制御プログラム２４ｆが提供する機能に基づく制御の他の例について説明する。図４４は、位置の変化に連動して３次元オブジェクトを変化させる例を示す図である。図４４に示すステップＳ３において、画像Ｐ１ｃは、撮影部４０によって得られる画像、すなわち、現実の空間を右目で見た光景に相当する画像である。画像Ｐ１ｃには、利用者の前方のジョギングコースが写っている。表示装置６は、同じ場面を撮影部４２によって撮影した画像、すなわち、現実の空間を左目で見た光景に相当する画像も取得する。

　画像Ｐ２ｃは、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像である。この例において、仮想空間データ２４ｄは、ジョギングコースの脇に対応する位置に配置された標識の３次元オブジェクトの状態に関する情報を保持し、オブジェクトデータ２４ｂは、標識の３次元オブジェクトの形状および性質に関する情報を保持する。それぞれの３次元オブジェクトは、スタート地点からの距離を示す数字を記載され、記載された数値が示す距離だけジョギングコースに沿ってスタート地点から離れた位置に対応する位置に配置される。表示装置６は、同様に、仮想空間を左目の視点で見た画像も生成する。

　表示装置６は、図４４に示すステップＳ３において、画像Ｐ１ｃおよび画像Ｐ２ｃを合成して、画像Ｐ３ｃを生成する。画像Ｐ３ｃは、右目用の画像として表示部３２ａに表示される画像である。画像Ｐ３ｃでは、標識の３次元オブジェクトが、実際に存在しているかのように、ジョギングコースの光景に付加されている。

　表示装置６は、利用者がジョギングコースを前方へ進むと、位置の変化を検出し、検出した位置の変化に応じて、仮想空間における視点の位置を前方へ移動させる。例えば、表示装置１の位置が１ｍ前方へ移動すると、表示装置６は、仮想空間における利用者の視点を１ｍに相当する距離だけ前方へ移動させる。このような変化を繰り返すことにより、利用者の前方の３次元オブジェクトは、コース脇の木と同様に、利用者が進むにつれて段々と利用者に近付いていき、利用者が通り過ぎると視界から消える。表示装置６は、図４４に示すステップＳ４において、画像Ｐ１ｄおよび画像Ｐ２ｄを合成して、画像Ｐ３ｄを生成する。図４４に示すステップＳ４では、ステップＳ３の段階では遠くに見えていた「６００ｍ」の標識の３次元オブジェクトが、利用者のすぐ前に表示されている。

　このように、利用者は、表示装置６の位置を変化させることにより、手で操作を行わなくても、表示装置６に表示される３次元オブジェクトを変化させることができる。すなわち、表示装置６は、利用者による表示装置６の位置の変化を、３次元オブジェクトを変化させるための操作として受け付ける。このような位置の変化によって３次元オブジェクトを変化させる操作は、利用者が実際の空間で経験する現象に則した操作であるため、利用者にとって直感的で分かりやすい。さらに、位置の変化による操作は、手を使う操作等と組み合わせて行うことができるので、３次元オブジェクトの多様な変化を実現でき、利便性が高い。

　また、図４４に示した例では、実際には存在しない標識がジョギングコースの脇に表示される。このため、表示装置６は、利用者にとって有用な情報を、ジョギングコース上の位置と対応付けて表示することができる。さらに、表示装置６が表示する情報を利用者毎に異ならせることができるので、現実の標識と異なり、それぞれの利用者に都合のよい情報を標識に記載することができる。

　位置の変化と連動して変化させる３次元オブジェクトは、標識に限定されない。例えば、３次元的な仮想商店街を構築し、利用者が部屋の中等を歩くのと連動して、利用者が見ることができる店舗が切り替わるようにしてもよい。表示装置６は、その場での足踏みの回数と連動して、３次元オブジェクトを変化させてもよい。

　表示装置６は、検出した位置の変化よりも、３次元オブジェクトの変化の程度を大きくしてもよいし、小さくしてもよい。例えば、現実の空間での位置の変化の大きさの１０倍の変化を仮想空間の３次元オブジェクトに与えてもよい。例えば、図４４に示した例において、標識の３次元オブジェクトが配置される間隔を、標識の記載が示す間隔よりも大きくしてもよいし、小さくしてもよい。このように標識の間隔を調整することにより、体調に応じて走る距離を調整することができる。表示装置６は、現実の空間での１０ｍの移動に対して、仮想空間での１００ｍの移動を対応付けてもよいし、仮想空間での１ｍの移動を対応付けてもよい。白い壁しかない室内のような場所で複数のアトラクション施設を３次元オブジェクトで表示する場合、検出した位置の変化よりも、３次元オブジェクトの変化の程度を大きくすることにより、離れた施設間を容易に移動することができる。例えば、３次元オブジェクトを精密に制御したい場合、検出した位置の変化よりも３次元オブジェクトの変化の程度を小さくしてもよい。

　表示装置６は、上下方向の位置の変化と連動して、３次元オブジェクトを変化させてもよい。例えば、利用者がジャンプした場合に、表示する光景を、利用者が現在いる場所の建物等の３次元オブジェクトをジャンプの高さに対応付けられた高さから見た光景に変更してもよい。この場合、利用者が精一杯ジャンプしたときに、利用者が現在いる場所の建物等の３次元オブジェクトを上から見下ろす光景を表示してもよい。

　表示装置６は、位置の変化量、すなわち、移動量を積算し、積算値に応じて３次元オブジェクトを変化させてもよい。例えば、移動量の積算値を、東京から京都まで歩く場合の到達地点に換算し、到達地点の特徴的な建物または風景を３次元オブジェクトとして、現実の空間の光景と重ねて表示してもよい。例えば、到達地点が横浜に相当する場合には、現実の光景の一部に中華街の門の３次元オブジェクトを重ねて表示してもよい。例えば、到達地点が静岡に相当する場合には、現実の光景の背後に、到達地点から見える富士山の３次元オブジェクトを重ねて表示してもよい。

　図４５は、利用者の周囲に配置された操作画面を概念的に示す図である。図４６は、方向の変化に連動して３次元オブジェクトを変化させる例を示す図である。図４５および図４６に示す例において、仮想空間データ２４ｄは、操作画面ＯＳ１～ＯＳ３の３次元オブジェクトの状態に関する情報を保持し、オブジェクトデータ２４ｂは、操作画面ＯＳ１～ＯＳ３の３次元オブジェクトの形状および性質に関する情報を保持する。

　操作画面ＯＳ１は、仮想空間において、利用者の正面に対応する位置に配置されている。操作画面ＯＳ２は、仮想空間において、利用者の右側面に対応する位置に配置されている。操作画面ＯＳ３は、仮想空間において、利用者の左側面に対応する位置に配置されている。操作画面ＯＳ１～ＯＳ３には、複数のアイコンが配列されている。

　表示装置６を装着した利用者が正面を向いているときに、画像Ｐ３ｅのように、表示装置６は、操作画面ＯＳ１を表示する。この状態で、利用者が手Ｈ１の指で操作画面ＯＳ１上のアイコンを押すような動作を行うと、表示装置６は、アイコンに対応付けられた処理を実行する。

　表示装置６は、利用者が右を向くと、検出した方向の変化に応じて、仮想空間における視点の方向を右へ変化させる。例えば、表示装置６を装着した利用者の頭部が右へ９０度回転すると、表示装置６は、仮想空間における利用者の視点の方向を９０度右へ変化させる。その結果、表示装置６は、画像Ｐ３ｆのように、仮想空間において利用者の右側面に配置されている操作画面ＯＳ２を表示する。この状態で、利用者が手Ｈ１の指で操作画面ＯＳ２上のアイコンを押すような動作を行うと、表示装置６は、アイコンに対応付けられた処理を実行する。

　表示装置６は、利用者が左を向くと、検出した方向の変化に応じて、仮想空間における視点の方向を左へ変化させる。例えば、表示装置６を装着した利用者の頭部が左へ９０度回転すると、表示装置６は、仮想空間における利用者の視点の方向を９０度左へ変化させる。その結果、表示装置６は、画像Ｐ３ｇのように、仮想空間において利用者の左側面に配置されている操作画面ＯＳ３を表示する。この状態で、利用者が手Ｈ１の指で操作画面ＯＳ３上のアイコンを押すような動作を行うと、表示装置６は、アイコンに対応付けられた処理を実行する。

　このように、利用者は、表示装置６の方向を変化させることにより、手で操作を行わなくても、表示装置６に表示される３次元オブジェクトを変化させることができる。すなわち、表示装置６は、利用者による表示装置６の方向の変化を、３次元オブジェクトを変化させるための操作として受け付ける。このような方向の変化によって３次元オブジェクトを変化させる操作は、利用者が実際の空間で経験する現象に則した操作であるため、利用者にとって直感的で分かりやすい。さらに、方向の変化による操作は、手を使う操作等と組み合わせて行うことができるので、３次元オブジェクトの多様な変化を実現でき、利便性が高い。

　また、図４５および図４６に示した例では、利用者の周囲に複数の操作画面が表示される。このため、利用者は、顔を向ける方向を変えるだけで、操作する操作画面を容易に切り替えることができる。

　図４５および図４６では、利用者の周囲の３面に操作画面を表示する例を示したが、表示装置６は、利用者の背面側を含む周囲の４面に操作画面を表示してもよい。あるいは、利用者を囲む円筒の内面のような連続した面を操作画面としてもよい。あるいは、利用者の頭上の面、すなわち、視点の方向を上へ向けた場合に見える面に操作画面を設けてもよい。

　操作画面が、利用者を囲む複数の平坦な面に設けられている場合、表示装置６は、操作画面が設けられている面のうち利用者が向いている方向に存在し、利用者の視線との角度が９０度に最も近い面が利用者の視線と直交するように仮想空間における視点または３次元オブジェクトの方向を調整してもよい。このように視点または３次元オブジェクトの方向を調整することにより、操作画面の視認性を向上させることができる。

　方向の変化と連動して変化させる３次元オブジェクトは、操作画面に限定されない。例えば、利用者の周囲の棚に商品の３次元オブジェクトを陳列し、表示装置６を装着した利用者が頭部の方向を変更するのと連動して、利用者が見て、手に取ることができる商品が変更されるように構成してもよい。利用者の周囲に建物の３次元オブジェクトを含む３次元的な地図を配置し、表示装置６を装着した利用者が頭部の方向を変更するのと連動して、表示される地図を利用者が向いている方向の地図へ変化させてもよい。表示装置６は、表示装置６を装着した利用者が頭部の方向を変更するのと連動して、利用者の視線が向いている地域の天気、行事、主要な施設等を３次元オブジェクトとして表示してもよい。

　表示装置６は、利用者が首を振る方向を、何からの処理と対応付けてもよい。例えば、表示装置６は、利用者が右方向に首を振った場合には、表示している本の３次元オブジェクトのページを送り、利用者が左方向に首を振った場合には、本の３次元オブジェクトのページを戻す。この場合、振った首を元に戻すための方向の変化については、処理を連動させない。

　図４７は、位置および方向の変化と連動して３次元オブジェクトを変化させる制御の処理手順を示すフローチャートである。図４７に示す処理手順は、制御部２２が制御プログラム２４ｆを実行することによって実現される。制御部２２は、まず、ステップＳ１０１として、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて、仮想空間を生成する。そして、制御部２２は、ステップＳ１０２として、仮想空間における視点の位置と方向とを初期設定する。仮想空間における視点の位置と方向の初期設定は、例えば、予め定められている現実の空間と仮想空間との対応付けのルールに基づいて行われる。

　続いて、制御部２２は、ステップＳ１０３として、動きセンサ４８の検出結果を取得する。そして、制御部２２は、ステップＳ１０４として、仮想空間における視点の位置を表示装置６の位置の変化に応じて変化させ、ステップＳ１０５として、仮想空間における視点の方向を表示装置６の方向の変化に応じて変化させる。

　そして、制御部２２は、ステップＳ１０６として、３次元オブジェクトの表示が終了であるかを判定する。３次元オブジェクトの表示が終了でない場合（ステップＳ１０６，Ｎｏ）、制御部２２は、ステップＳ１０３に戻る。３次元オブジェクトの表示が終了の場合（ステップＳ１０６，Ｙｅｓ）、制御部２２は、図４７に示す処理手順を終了する。

　表示装置６を、電子的なカタログを利用した商品販売に適用する例について説明する。図４８から図５２は、表示装置６を、電子的なカタログを利用した家電製品および家具の販売に適用する例について説明するための図である。

　図４８は、購入する商品を設置する部屋の中で電子的なカタログを表示する例を示す図である。画像Ｐ１ｈは、部屋の中で電子的なカタログを持つために利用者が手Ｈ２を前方へ延ばしているときに撮影部４０によって得られる画像、すなわち、現実の空間を右目で見た光景に相当する画像である。画像Ｐ１ｈには、部屋の壁際に置かれたソファ６１と、向かい側の壁際の隅に置かれた台６２と、利用者の手Ｈ２とが写っている。表示装置６は、同じ場面を撮影部４２によって撮影した画像、すなわち、現実の空間を左目で見た光景に相当する画像も取得する。

　画像Ｐ２ｈは、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像である。この例において、仮想空間データ２４ｄは、部屋の壁、床、および天井に対応する３次元オブジェクトの状態に関する情報と、利用者の手Ｈ２の位置に配置されたカタログ６３の３次元オブジェクトの状態に関する情報とを保持し、オブジェクトデータ２４ｂは、各３次元オブジェクトの形状および性質に関する情報を保持する。表示装置６は、同様に、仮想空間を左目の視点で見た画像も生成する。

　表示装置６は、画像Ｐ１ｈおよび画像Ｐ２ｈを合成して、画像Ｐ３ｈを生成する。画像Ｐ３ｈにおいては、カタログ６３の３次元オブジェクトが、手Ｈ２の上で広げられているように表示されている。また、壁、床、および天井に対応する３次元オブジェクトは、それぞれ、表面が、現実の壁、床、および天井の表面と一致するように仮想空間に配置される。さらに、壁、床、および天井に対応する３次元オブジェクトは、それぞれ、表面が、現実の壁、床、および天井の表面と同様の外観を有するように構成される。このため、画像Ｐ３ｈにおいては、部屋の壁、床、および天井については、現実の表面と３次元オブジェクトの表面のどちらが上に表示されていても利用者には見分けがつかない。

　表示装置６は、同様に、撮影部４２によって撮影した画像と仮想空間を左目の視点から見た画像とを合成し、左目用の画像として表示部３２ｂに表示される画像を生成する。表示装置６は、こうして生成した合成画像を表示部３２ａおよび３２ｂに表示する。その結果、利用者は、あたかも、部屋の中で、カタログ６３の３次元オブジェクトを手Ｈ２の上で広げているかのような光景を見ることができる。

　図４９は、カタログから商品を選択する場面について説明するための図である。図４９のステップＳ１１１として、利用者は、カタログ６３の３次元オブジェクトを所望の商品が掲載されたページが開かれた状態で手Ｈ２の上に乗せている。カタログ６３のそれぞれのページには、商品の３次元オブジェクトが、縮小され、平面状に押しつぶされた状態で配置されている。ステップＳ１１２では、利用者は、手Ｈ１の２本の指でページ上の所望の商品の３次元オブジェクトを摘んでいる。２本の指で摘むことにより、３次元オブジェクトは、選択され、手Ｈ１の移動に応じて移動する状態となる。

　ステップＳ１１３において、利用者は、３次元オブジェクトを摘んだままで、手Ｈ１をカタログ６３から離している。その結果、縮小されていた３次元オブジェクトは、カタログ６３のページから引きはがされる。引きはがされた３次元オブジェクトは、実際の商品と同じ大きさに拡大し、テレビ６４の３次元オブジェクトになる。カタログに掲載される商品の３次元オブジェクトは、重量が０であると定義されている。このため、利用者は、重力の影響を考慮せずに、テレビ６４の３次元オブジェクトを扱うことができる。

　図５０は、テレビの大きさと設置場所を検討する場面について説明するための図である。テレビ６４に対応する現実のテレビは、同一デザインでサイズ違いの複数の機種を含んでいる。テレビ６４の３次元オブジェクトは、カタログ６３のページから引きはがされた段階では、最も小型の機種と同じサイズとなっている。図５０のステップＳ１２１として、利用者は、テレビ６４の３次元オブジェクトの一方の端部を手Ｈ１の指で摘み、他方の端部を手Ｈ２の指で摘んでいる。

　ステップＳ１２２では、利用者は、テレビ６４の３次元オブジェクトを摘んだままで、手Ｈ１と手Ｈ２の距離を広げている。手Ｈ１と手Ｈ２の距離の変化に応じて、テレビ６４の３次元オブジェクトのサイズが変更される。利用者は、テレビ６４の３次元オブジェクトの大きさが所望の大きさになると、利用者が指の間隔を広げてテレビ６４の３次元オブジェクトを解放する。表示装置６は、テレビ６４の３次元オブジェクトを、対応するテレビの機種のうち、現在の３次元オブジェクトの大きさに最も近い機種のサイズにリサイズする。このように、利用者は、簡単な操作によって、商品のサイズを容易に選択することができる。

　その後、利用者は、テレビ６４の３次元オブジェクトを、所望の位置の所望の高さに移動させる。商品の３次元オブジェクトは、重量が０であると定義されているため、移動させた３次元オブジェクトは、ステップＳ１２３のように、利用者が手を離してもその場に留まる。ステップＳ１２４では、利用者は、ソファ６１に腰掛けて、対向する壁際に浮いているテレビ６４の３次元オブジェクトの位置および高さを確認している。テレビ６４の３次元オブジェクトは、実際のテレビと同じ大きさを持ち、利用者の部屋と重ねて任意の位置に浮かせておくことができる。このため、利用者は、テレビをどのように設置するかを、テレビを購入する前に、実際に利用する環境で検討することができる。

　図５１は、テレビ台を選択する場面について説明するための図である。図５１のステップＳ１３１として、利用者は、ソファ６１に腰掛けたままで、カタログ６３の３次元オブジェクトを手Ｈ２に持ち、テレビ台のページを開いている。

　カタログデータ２４ｇにおいては、テレビとテレビ台とが関連する商品であることが定義されている。さらに、カタログデータ２４ｇには、それぞれのテレビ台の実際の寸法が登録されている。これらの情報に基づいて、表示装置６は、ステップＳ１３１のように、テレビ６４の３次元オブジェクトが状況においては、カタログデータ２４ｇに登録されているテレビ台のうち、高さが、床からテレビ６４の３次元オブジェクトまでの距離と一致するものを抽出して、テレビ台のページに表示する。このため、利用者は、テレビを現在の３次元オブジェクトの高さに設置することができるテレビ台の中から好みのテレビ台を容易に選択することができる。

　ステップＳ１３２では、利用者は、カタログ６３の３次元オブジェクトを手Ｈ１の指で触れることによって所望のテレビ台を選択している。ステップＳ１３３では、選択されたテレビ台６５の３次元オブジェクトが、テレビ６４の３次元オブジェクトの下に表示されている。テレビとテレビ台とが関連する商品であることが定義されているため、表示装置６は、選択されたテレビ台６５の３次元オブジェクトを、既に表示しているテレビ６４の３次元オブジェクトと対応付けて表示することができる。

　図５２は、現実の物体を移動させる場面について説明するための図である。例えば、利用者が、台６２を別の場所に移動するレイアウト変更を試してみたいものとする。表示装置６は、現実の物体を選択する操作を検出した場合、現実の物体に代えて、現実の物体を模した３次元オブジェクトを表示空間中に表示する。そして、表示装置６は、３次元オブジェクトを移動させる操作を検出すると、操作に従って３次元オブジェクトを移動させる。

　利用者は、重力の影響を気にすることなく３次元オブジェクトを容易に移動させることができるとともに、３次元オブジェクトを邪魔にならないように空中に放置することもできる。さらに、現実の物体は、表示空間では見えなくなるものの、現実には元の場所にそのまま留まるため、レイアウト変更を試した後に現実の物体を元の場所に戻す手間も必要ない。

　図５２に示す画像Ｐ１ｉは、利用者が台６２を摘もうとしているときに撮影部４０によって得られる画像、すなわち、現実の空間を右目で見た光景に相当する画像である。画像Ｐ１ｉには、部屋の隅に置かれた台６２と、利用者の手Ｈ１とが写っている。表示装置６は、同じ場面を撮影部４２によって撮影した画像、すなわち、現実の空間を左目で見た光景に相当する画像も取得する。

　画像Ｐ２ｉは、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像である。この段階では、現実の空間において台６２が置かれている場所に対応する仮想空間の場所には、壁と床の３次元オブジェクトのみが配置されている。表示装置６は、画像Ｐ１ｉおよび画像Ｐ２ｉを合成して、画像Ｐ３ｉを生成する。表示装置６は、同様に、撮影部４２によって撮影した画像と仮想空間を左目の視点から見た画像とを合成し、左目用の画像として表示部３２ｂに表示される画像を生成する。表示装置６は、こうして生成した合成画像を表示部３２ａおよび３２ｂに表示する。その結果、利用者は、あたかも、部屋の中で、自分が台６２を摘もうとしている光景を見ることができる。

　図５２に示す画像Ｐ１ｊは、利用者が台６２を摘んで選択した後に、台６２を持ち上げようとしているときに撮影部４０によって得られる画像、すなわち、現実の空間を右目で見た光景に相当する画像である。このとき、台６２は、実際には持ち上げられずに、当初の場所にそのまま留まっている。

　画像Ｐ２ｊは、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像である。この段階では、利用者が現実の物体である台６２を摘んで選択する操作を行ったために、表示装置６は、台６２を模した３次元オブジェクト６６を生成している。３次元オブジェクト６６を生成するためのオブジェクトデータ２４ｂは、予め記憶部２４に記憶されていてもよいし、撮影部４０および４２が撮影する画像に基づいて動的に生成されてもよい。画像Ｐ２ｊにおいて、３次元オブジェクト６６は、利用者の持ち上げる操作応じて、床から離れた位置に配置されている。

　表示装置６は、画像Ｐ１ｊおよび画像Ｐ２ｊを合成して、画像Ｐ３ｊを生成する。このとき、表示装置６は、代替となる３次元オブジェクト６６が生成されている台６２を表示しないための隠蔽処理を行う。例えば、表示装置６は、台６２までの距離を無限遠として処理する。この結果、壁、床、天井等の３次元オブジェクトが台６２よりも手前に表示され、台６２は、それらの背後に隠される。

　次に、図５３を参照しながら、発注処理の処理手順について説明する。図５３は、発注処理の処理手順を示すフローチャートである。図５３に示す発注処理は、制御部２２が、制御プログラム２４ｆを実行することによって実現される。

　図５３に示すように、制御部２２は、まず、ステップＳ２０１として、カタログデータ２４ｇを初期設定する。続いて、制御部２２は、ステップＳ２０２として、カタログの３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。

　制御部２２は、ステップＳ２０３として、３次元オブジェクトに対する操作を検出する。そして、制御部２２は、ステップＳ２０４として、検出された操作が、発注を実行するための操作であるかを判定する。検出された操作が、発注を実行するための操作でない場合（ステップＳ２０４，Ｎｏ）、制御部２２は、ステップＳ２０５へ進む。

　ステップＳ２０５で、制御部２２は、検出された操作の対象が３次元オブジェクトであるかを判定する。検出された操作の対象が３次元オブジェクトである場合（ステップＳ２０５，Ｙｅｓ）、制御部２２は、ステップＳ２０６へ進む。検出された操作の対象が３次元オブジェクトでない場合（ステップＳ２０５，Ｎｏ）、制御部２２は、ステップＳ２０８へ進む。

　ステップＳ２０６で、制御部２２は、操作に応じてカタログに表示する商品を変更する。さらに、制御部２２は、ステップＳ２０７として、操作に応じて表示を更新する。その後、制御部２２は、ステップＳ２０３へ戻る。

　ステップＳ２０８で、制御部２２は、操作の対象となった現実の物体を表示しないための隠蔽処理を行う。さらに、制御部２２は、ステップＳ２０９として、操作の対象となった現実の物体の代替となる３次元オブジェクトを仮想空間に追加する。その後、制御部２２は、ステップＳ２０３へ戻る。

　ステップＳ２０３で検出された操作が、発注を実行するための操作である場合（ステップＳ２０４，Ｙｅｓ）、制御部２２は、ステップＳ２１０へ進む。制御部２２は、ステップＳ２１０で、商品を発注するための発注処理を行う。

　カタログを用いて購入される商品は、テレビおよびテレビ台に限定されない。例えば、カレンダーや絵画も購入することができる。カレンダーや絵画の３次元オブジェクトは、部屋の壁の任意に位置にかけることができるように構成される。例えば、カーテンも購入できる。表示装置６は、実際のカーテンの遮光性を再現できるように、カーテンの３次元オブジェクトが窓に掛けられるときに、表示部３２ａおよび３２ｂの明るさを落としてもよい。

　表示装置６は、部屋のレイアウト変更を試す場合に、季節による外の景色の変化の影響を確認できるように、部屋の窓の外の景色を３次元オブジェクトによって変更してもよい。表示装置６は、部屋のレイアウト変更を試す場合に、季節および時刻による太陽の高さの変化の影響を確認できるように、表示部３２ａおよび３２ｂのカラーバランスおよび明るさを利用者が任意に設定できるように構成されてもよい。

　次に、図５４を参照しながら、第５の実施例に係る表示装置７の機能的な構成について説明する。図５４は、表示装置７のブロック図である。図５４に示すように、表示装置７は、操作部１３と、制御部２２と、記憶部２４と、通信部１６と、表示部３２ａおよび３２ｂと、撮影部４０および４２と、検出部４４と、測距部４６と、動きセンサ４８とを有する。操作部１３は、表示装置７の起動、停止、動作モードの変更等の基本的な操作を受け付ける。

　記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ｈが含まれる。記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃと、仮想空間データ２４ｄとが含まれる。記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ｈ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ｈ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄは、通信部１６による通信によってサーバ装置等の他の装置から取得されてもよい。

　制御プログラム２４ｈは、表示装置７を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ｈが提供する機能には、撮影部４０および４２が取得する画像に３次元オブジェクトを重ねて表示部３２ａおよび３２ｂに表示する機能、３次元オブジェクトに対する操作を検出する機能、検出した操作に応じて３次元オブジェクトを変化させる機能等が含まれる。

　制御プログラム２４ｈは、検出処理部２５と、表示オブジェクト制御部２６と、視点制御部３０と、画像合成部２７とを含む。

　視点制御部３０は、仮想空間における利用者の視点の位置および方向を管理するための機能を提供する。視点制御部３０が提供する機能には、動きセンサ４８が検出する表示装置７の位置の変化および方向の変化に応じて、仮想空間における利用者の視点の位置および方向を変化させる機能が含まれる。例えば、動きセンサ４８によって表示装置７が前方移動したことが検出された場合、視点制御部３０は、仮想空間における利用者の視点を前方へ移動させる。例えば、動きセンサ４８によって表示装置７が右向きに回転したことが検出された場合、視点制御部３０は、仮想空間における利用者の視点を右向きに回転させる。このように、表示装置７の位置および方向の変化に合わせて仮想空間における利用者の視点の位置および方向を変化させることにより、現実の空間の画像に重ねて表示される仮想空間の画像の変化を現実の空間の画像の変化と一致させることができる。

　制御プログラム２４ｈが提供する機能に基づく制御は、上記の制御プログラム２４ｆの発注処理部２９以外の制御と同様である。

　表示装置７を、ネットワークを介した商品販売に適用した例について説明する。図５５から図５９は、表示装置７を、ネットワークを介したピザの販売に適用した例について説明するための図である。

　図５５は、ピザの発注処理の開始について説明するための図である。ピザの発注を開始するに際にして、利用者は、表示装置７を装着し、ある程度の広さの平面がある場所を見る。例えば、利用者がテーブルＴ２を見ると、表示装置７は、実際のテーブルＴ２が写った画像Ｐ３ｋを表示する。表示装置７は、利用者の指示に従って通信部１６による通信によってピザの販売サイトからオブジェクトデータ２４ｂ、作用データ２４ｃ、および仮想空間データ２４ｄを取得し、取得したデータに基づいて仮想空間を生成する。生成した仮想空間の画像と現実の空間の画像を重ねることにより、表示装置７は、画像Ｐ３ｍを表示する。

　画像Ｐ３ｍにおいては、テーブルＴ２上に複数の３次元オブジェクトが配置されている。配置されている３次元オブジェクトは、大きな生地１６１Ｌと、中くらいの生地１６１Ｍと、小さな生地１６１Ｓと、セサミ、トマト、チーズ等のトッピングが入ったケース１６２ａ～１６２ｆと、棒１６３と、ケチャップチューブ１６４と、オーブン１６５とを含む。生地１６１Ｌは、Ｌサイズのピザ用の生地であり、生地１６１Ｍは、Ｍサイズのピザ用の生地であり、生地１６１Ｓは、Ｓサイズのピザ用の生地である。このように、ピザの発注処理を開始することにより、ピザの材料およびオーブン１６５が３次元オブジェクトとして、平面上に配置される。

　表示装置７は、予め記憶部２４に記憶されているオブジェクトデータ２４ｂ、作用データ２４ｃ、および仮想空間データ２４ｄを用いて、ピザの材料およびオーブン１６５を表示してもよい。

　図５６は、生地の大きさと厚みを決める工程について説明するための図である。図５６のステップＳ３１１として、利用者は、生地１６１Ｍを手Ｈ１で掴んでいる。掴むことによって生地１６１Ｍは、選択され、手Ｈ１の移動に応じて移動する状態となる。ステップＳ３１２では、利用者は、生地１６１ＭをテーブルＴ２の平面のほぼ中央に置き、棒１６３を手Ｈ１で掴んでいる。掴むことによって棒６３は、選択され、手Ｈ１の移動に応じて移動する状態となる。

　ステップＳ３１３において、利用者は、棒１６３を生地１６１Ｍの上に置き、手Ｈ１およびＨ２で回転させている。オブジェクトデータ２４ｂにおいて、棒１６３は、剛体と定義され、生地１６１Ｍは、塑性体と定義されている。そして、作用データ２４ｃにおいて、塑性体は、剛体によって押された場合、押された部分が凹むと定義されている。このため、利用者が生地１６１Ｍの上で棒１６３を回転させると、生地１６１Ｍは、円状に延ばされて薄くなっていく。利用者は、ステップＳ３１４のように生地１６１Ｍが所望の大きさと厚みになるまで、生地１６１Ｍの上で棒１６３を回転させる。

　生地の大きさと厚みを決める操作は図５６に示した例に限定されない。例えば、利用者が生地１６１Ｍを両手で挟んだ後に両手の間隔を広げていくと、生地１６１Ｍが両手の間隔を直径とする円状に延ばされていくこととしてもよい。あるいは、利用者が生地１６１Ｍの一部を２本の指で摘むと、生地１６１Ｍ全体が、２本の指の間隔を厚みとする円状の薄い形に変形することとしてもよい。これらの操作では、手の間隔または指の間隔を調整することにより、生地の大きさと厚みを容易に調整することができる。

　図５７は、トッピングを載せる工程について説明するための図である。図５７のステップＳ３１５として、利用者は、手Ｈ１の指でケース１６２ｄに入っているセサミを摘んでいる。摘むことによってセサミは、選択され、手Ｈ１の移動に応じて移動する状態となる。ステップＳ３１６では、利用者は、セサミを生地１６１Ｍ上の所望の位置まで移動させた後、手Ｈ１の指の間隔を広げている。この結果、セサミは、生地１６１Ｍ上の所望の位置に配置される。

　同様の操作を繰り返すことにより、利用者は、所望のトッピングを、所望の量、所望の位置に配置する。

　ステップＳ３１７では、利用者は、手Ｈ１でケチャップチューブ１６４を掴んでいる。掴むことによってケチャップチューブ１６４は、選択され、手Ｈ１の移動に応じて移動する状態となる。ステップＳ３１８では、利用者は、出口を下向きにしてケチャップチューブ１６４を持ち、腹の部分を押しながら生地１６１Ｍの上を移動させている。作用データ２４ｃにおいて、チューブは、腹の部分を押された場合に内容物が出口から押し出されるように定義されている。この作用を利用して、ステップＳ３１８では、利用者によって、生地１６１Ｍの上にケチャップで絵が描かれている。

　図５８は、ピザを発注する工程について説明するための図である。図５８のステップＳ３１９として、利用者は、手Ｈ１でオーブン１６５の前扉を開けている。利用者は、ステップＳ３２０では、手Ｈ１およびＨ２で生地１６１Ｍを持ってオーブン１６５内に入れ、ステップＳ３２１では、手Ｈ１の指でオーブン１６５のスイッチを押している。

　このように、ピザを加熱するための動作を行うと、ピザの発注が確定し、ピザの販売サイトに発注データが送信される。商品を作成するための最後の工程を、発注の実行に対応付けることにより、利用者は、商品を作成する工程を追いながら、無駄な操作をすることなく直感的に発注を実行することができる。ピザを発注するための操作は、他の操作であってもよい。例えば、ピザの材料とともに表示される発注用のボタンを有する３次元オブジェクトを表示し、このボタンを押す操作をピザを発注するための操作としてもよい。

　発注データは、ピザの価格を決める目的と、発注されたピザを再現する目的とに利用される。発注データには、選択された生地の大きさ、延ばされた生地の大きさおよび厚み、トッピングの種類、量、位置等に関する情報が含まれる。発注データは、利用者が作ったピザの３次元オブジェクトの画像、または利用者がピザの３次元オブジェクトを作ったときの操作の履歴を含んでもよい。これらの情報は、利用者がピザの材料の３次元オブジェクトを操作して実際にピザを作るのと同様の工程を再現する過程で取得される。このため、利用者は、数量の入力のような面倒な操作を行うことなく、出来上がるピザを容易に想像することができる方法でピザを発注することができる。

　図５９は、配達されるピザの例を示す図である。その後、図５９に示すように、発注データに従って、ピザボックス１７１に入ったピザ１７２が配達される。ピザ１７２は、図５５から図５８で作成されたピザの３次元オブジェクトをできるだけ正確に再現するように調理される。ピザの再現は、調理人が発注データを参照しながら行ってもよい。調理人は、利用者が３次元オブジェクトで作成したピザの画像を見ながら、または、利用者の操作履歴を再現する映像を見ながら、ピザを調理してもよい。あるいは、発注データに基づいて、調理機（ロボット）がピザを調理してもよい。

　このように、３次元オブジェクトに対する操作に基づいて発注データを作成することにより、商品を自分の好みにカスタマイズして発注することを容易に実現することができる。

　次に、図６０を参照しながら、発注処理の処理手順について説明する。図６０は、発注処理の処理手順を示すフローチャートである。図６０に示す発注処理は、制御部２２が、制御プログラム２４ｈを実行することによって実現される。

　図６０に示すように、制御部２２は、まず、ステップＳ３３１として、商品に関連する３次元オブジェクトを含む仮想空間の画像と現実の空間の画像とを合成して表示する。続いて、制御部２２は、ステップＳ３３２として、発注データを初期設定する。具体的には、制御部２２は、現状の３次元オブジェクトが示す商品の状態と、発注データが示す商品の状態とを一致させる。

　制御部２２は、ステップＳ３３３として、３次元オブジェクトに対する操作を検出する。そして、制御部２２は、ステップＳ３３４として、検出された操作が、発注の実行に対応付けられた操作であるかを判定する。検出された操作が、発注の実行に対応付けられた操作でない場合（ステップＳ３３４，Ｎｏ）、制御部２２は、ステップＳ３３５へ進む。ステップＳ３３５で、制御部２２は、検出された操作に応じて発注データを更新する。そして、制御部２２は、ステップＳ３３６として、検出された操作に応じて、表示部３２ａおよび３２ｂの表示を更新する。その後、制御部２２は、ステップＳ３３３へ戻る。

　ステップＳ３３４において、検出された操作が、発注の実行に対応付けられた操作であった場合（ステップＳ３３４，Ｙｅｓ）、制御部２２は、ステップＳ３３７として、発注処理を実行する。具体的には、制御部２２は、通信部１６による通信によって、発注データを発注先へ送信する。その後、制御部２２は、発注処理を終了する。

　上記の発注方式は、ネットワーク経由で他の食べ物を発注する場合にも利用できる。例えば、麺類を発注する場合、麺をゆでる工程と、スープを作る工程と、トッピングを載せる工程とを３次元オブジェクトを用いて再現することにより、麺の量と、麺のゆで加減（硬さ）と、味の濃さと、トッピングの種類、量、および配置とを指定することができる。例えば、弁当を発注する場合、弁当箱におかずを詰める工程と、弁当箱にご飯を詰める工程とを３次元オブジェクトを用いて再現することにより、おかずの種類、量、および配置と、ご飯の量とを指定することができる。例えば、寿司を発注する場合、寿司を握る工程を３次元オブジェクトを用いて再現することにより、寿司ネタの種類と、寿司桶への寿司の並べ方とを指定することができる。

　上記の発注方式では、仮想空間を複数の利用者が共有できるようにしてもよい。この場合、複数の利用者が有する表示装置７の１つまたはサーバ装置等の他の装置で仮想空間が管理され、それぞれの表示装置７が検出した操作に関する情報が、通信によって、仮想空間を管理する装置へ送信される。仮想空間を管理する装置は、送信される操作に関する情報に基づいて、仮想空間内の３次元オブジェクトおよび発注データを更新する。このようにして仮想空間を複数の利用者で共有することにより、仮想空間でピザを作る作業を共同で行うことが可能になる。

　上記の発注方式は、食べ物以外の商品をネットワーク経由で発注する場合にも応用することができる。例えば、花束またはフラワーアレンジメントを発注する場合、花屋に在庫している花を３次元オブジェクトとして表示してもよい。この場合、利用者は、好みの花の３次元オブジェクトを組み合わせて花束またはフラワーアレンジメントを作成する工程を再現することにより、好みの花が好みの配置で組み合わされた花束またはフラワーアレンジメントを購入することができる。この場合、花屋の店内を３次元オブジェクトで再現し、出来上がった花束またはフラワーアレンジメントをレジまで持っていくことによって発注が行われてもよい。花束またはフラワーアレンジメントは、自宅または送り先へ届けてもらってもよいし、商品が出来上がるタイミングの通知を店に指示するか、店から通知してもらった上で、利用者が花屋を訪れて受け取ってもよい。

　上記の発注方式は、衣類およびアクセサリをネットワーク経由で発注する場合にも応用することができる。この場合、利用者は、衣類およびアクセサリの３次元オブジェクトを組み合わせて、コーディネートを確認した上で商品を購入することができる。組み合わせるのは、異なる売り場の商品の３次元オブジェクトであってもよい。さらに、利用者は、商品の３次元オブジェクトを、既に購入済みの現実の衣類またはアクセサリと組み合わせることができる。このように、衣類およびアクセサリを移動等の操作が可能な３次元オブジェクトとして表示することにより、多様な組み合わせを確認しながら商品を購入することができる。

　さらに、衣類およびアクセサリを３次元オブジェクトとして現実の空間と重ねて表示することにより、利用者は、商品のサイズを正確に把握することができる。

　衣類およびアクセサリをネットワーク経由で発注する場合、商品を、実際の店舗を模した仮想のショッピングモールに陳列してもよい。この場合、商品を空中に浮かせておく等、現実には不可能な展示をすることができる。さらに、紙のカタログと異なり、商品の在庫がなくなったならば、商品を非表示にする等の、在庫と表示を対応させることもできる。また、商品は仮想的に表示されているに過ぎないため、利用者が、いずれの店舗の商品であるかに関わらず、全ての商品の購入代金の支払いを１つの店舗で済ますことができるようにしてもよい。この場合、店舗毎の売り上げの振り分けは、バックグランドの処理において実行される。

　商品の発注は、例えば、商品の３次元オブジェクトをレジに持っていくことにより、実行される。あるいは、商品の発注は、クレジットカードを模した３次元オブジェクトを財布から取り出す操作または提示する操作をすることによって実行される。実際の代金の支払いは、予め登録されている実際のクレジットカードによって実行される。

　ショッピングモールを含む仮想空間を複数の利用者で共有できるようにしてもよい。この場合、仮想空間におけるそれぞれの利用者の視点に対応する位置に、アバター等の利用者を示す３次元オブジェクトを表示してもよい。利用者を示す３次元オブジェクトを表示することにより、店舗および商品の人気を把握し易くなる。

　なお、上記の各実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。また、上記の各実施例を適宜組み合わせてもよい。例えば、上記の実施例で示した制御プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。

　また、上記の実施例では、３次元オブジェクトを利用者自身が操作する例について説明したが、表示装置は、撮影部の撮影範囲における他人、動物、機械等の動きを３次元オブジェクトとして検出してもよい。また、表示装置は、仮想空間を他の装置と共有してもよい。すなわち、表示装置は、仮想空間内の３次元オブジェクトを当該表示装置の利用者以外の人が他の装置を介して見て操作できるように構成されてもよい。

　また、上記の実施例では、表示装置が単独で３次元オブジェクトに対する操作を検出することとしたが、表示装置がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示装置は、撮影部が撮影した画像または検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示装置へ通知する。このような構成とすることにより、表示装置の負荷を低減することができる。

１～７　表示装置
１ａ　前面部
１ｂ　側面部
１ｃ　側面部
４ｄ　外部装置
１３　操作部
１６　通信部
２２　制御部
２４　記憶部
２４ａ、２４ｅ、２４ｆ、２４ｈ　制御プログラム
２４ｂ　オブジェクトデータ
２４ｃ　作用データ
２４ｄ　仮想空間データ
２４ｇ　カタログデータ
２５　検出処理部
２６　表示オブジェクト制御部
２７　画像合成部
２８　連動表示制御部
２９　発注処理部
３０　視点制御部
３２ａ、３２ｂ　表示部
３４　プロジェクタ
３４ａ　投影部
４０、４２　撮影部
４４　検出部
４６　測距部
４８　動きセンサ

Claims

　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、
　前記オブジェクトの表示空間における所定の物体の変位を検出する検出部と、
　前記検出部によって検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行う制御部と
　を備えることを特徴とする表示装置。
　前記制御部は、前記検出部によって前記所定の物体の前記オブジェクトに沿って移動する変位が検出された場合に、当該物体の移動方向に対応させて前記オブジェクトを回転させることを特徴とする請求項１に記載の表示装置。
　前記制御部は、前記動作の移動量に応じた角度だけ前記オブジェクトを回転させることを特徴とする請求項２に記載の表示装置。
　前記制御部は、前記検出部によって前記所定の物体が前記オブジェクトに接触した後に離れる動作が検出された場合に、前記オブジェクトの接触された位置に対応する処理を実行することを特徴とする請求項１に記載の表示装置。
　画像を投影する投影部をさらに備え、
　前記制御部は、前記オブジェクトに関連する画像を前記投影部から投影させることを特徴とする請求項１に記載の表示装置。
　第２の表示部をさらに備え、
　前記制御部は、前記オブジェクトに関連する画像を前記第２の表示部に表示させることを特徴とする請求項１に記載の表示装置。
　前記検出部は、赤外線センサであることを特徴とする請求項１に記載の表示装置。
　前記検出部は、画像を撮影する撮影部であることを特徴とする請求項１に記載の表示装置。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示装置によって実行される制御方法であって、
　所定のオブジェクトを表示装置に３次元表示するステップと、
　前記オブジェクトの表示空間における所定の物体の変位を検出するステップと、
　検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップと
　を含むことを特徴とする制御方法。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示装置に、
　所定のオブジェクトを表示部に３次元表示するステップと、
　前記オブジェクトの表示空間における所定の物体の変位を検出するステップと、
　検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップと
　を実行させることを特徴とする制御プログラム。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、
　前記オブジェクトが表示される表示空間において第１の物体および第２の物体を検出する検出部と、
　前記表示空間において前記第１の物体と前記第２の物体の間に前記オブジェクトが位置することが検出されたときに、前記オブジェクトを変化させる制御部と
　を備えることを特徴とする表示装置。
　前記検出部は、前記第１の物体と前記第２の物体の間に前記オブジェクトが位置する第１の状態を検出し、
　前記制御部は、前記第１の状態が検出されたときに、前記オブジェクトを変化させることを特徴とする請求項１１に記載の表示装置。
　前記検出部は、所定時間以上、前記第１の物体と前記第２の物体の間に前記オブジェクトが位置する第２の状態を検出し、
　前記制御部は、前記第２の状態が検出されたときに、前記オブジェクトを変化させることを特徴とする請求項１１に記載の表示装置。
　前記検出部は、前記第１の物体と前記第２の物体の間に前記オブジェクトが位置し、かつ、所定時間以上、前記第１の物体と前記第２の物体間の距離が開かない第３の状態を検出し、
　前記制御部は、前記第３の状態が検出されたときに、前記オブジェクトを変化させることを特徴とする請求項１１に記載の表示装置。
　前記検出部は、前記第１の物体と前記第２の物体の間に前記オブジェクトが位置してから、前記第１の物体あるいは前記第２の物体の少なくとも一方が移動し、かつ、所定時間以上、前記第１の物体と前記第２の物体間の距離が開かない第４の状態を検出し、
　前記制御部は、前記移動を検出したときから前記オブジェクトを変化させ始めることを特徴とする請求項１１に記載の表示装置。
　前記制御部は、前記第１の物体と前記第２の物体の間に前記オブジェクトが位置してから、前記第１の物体あるいは前記第２の物体の少なくとも一方が移動し、かつ、前記所定時間の経過前に前記第１の物体と前記第２の物体間の距離が開いたことが検出されたときには、前記オブジェクトの変化を元に戻す逆変化の表示を行うことを特徴とする請求項１５に記載の表示装置。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、
　前記オブジェクトが表示される表示空間において第１の物体および第２の物体を検出する検出部と、
　前記表示空間において前記第１の物体または前記第２の物体の少なくとも一方が前記オブジェクトと接触する位置にあることが検出されたときに、前記オブジェクトを変化させる制御部と
　を備えることを特徴とする表示装置。
　前記検出部は、所定時間以上、前記第１の物体または前記第２の物体の少なくとも一方が前記オブジェクトと接触する第１の状態を検出し、
　前記制御部は、前記第１の状態が検出されたときに、前記オブジェクトを変化させることを特徴とする請求項１７に記載の表示装置。
　前記検出部は、前記第１の物体または前記第２の物体の少なくとも一方が前記オブジェクトと接触し、かつ、所定時間以上、前記第１の物体と前記第２の物体間の距離が開かない第２の状態を検出し、
　前記制御部は、前記第２の状態が検出されたときに、前記オブジェクトを変化させることを特徴とする請求項１７に記載の表示装置。
　前記検出部は、前記第１の物体または前記第２の物体の少なくとも一方が前記オブジェクトと接触してから、前記第１の物体あるいは前記第２の物体の少なくとも一方が移動し、かつ、所定時間以上、前記第１の物体と前記第２の物体間の距離が開かない第３の状態を検出し、
　前記制御部は、前記移動を検出したときから前記オブジェクトを変化させ始めることを特徴とする請求項１７に記載の表示装置。
　前記制御部は、前記第１の物体または前記第２の物体の少なくとも一方が前記オブジェクトと接触してから、前記第１の物体あるいは前記第２の物体の少なくとも一方が移動し、かつ、前記所定時間の経過前に前記第１の物体と前記第２の物体間の距離が開いたことが検出されたときには、前記オブジェクトの変化を元に戻す逆変化の表示を行うことを特徴とする請求項２０に記載の表示装置。
　前記制御部は、前記変化に要した時間よりも短い時間で前記逆変化の表示を行うことを特徴とする請求項１６または２１に記載の表示装置。
　前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記オブジェクトを移動させ、回転させ、またはこれらを組み合わせることにより、前記オブジェクトを変化させることを特徴とする請求項１１に記載の表示装置。
　前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記オブジェクトを変形させることにより、前記オブジェクトを変化させることを特徴とする請求項１１に記載の表示装置。
　前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記オブジェクトを消失させることにより、前記オブジェクトを変化させることを特徴とする請求項１１に記載の表示装置。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、
　前記オブジェクトが表示される表示空間において第１の物体と第２の物体とが前記オブジェクトを挟む位置にあるときに、前記オブジェクトを変化させる制御部と
　を備えることを特徴とする表示装置。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、
　表示面において第１の物体および第２の物体を検出する検出部と、
　前記表示面において前記第１の物体と前記第２の物体の間に前記オブジェクトが位置することが検出されたときに、前記オブジェクトを変化させる制御部と
　を備えることを特徴とする表示装置。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、
　表示面において第１の物体および第２の物体を検出する検出部と、
　前記表示面において前記第１の物体または前記第２の物体の少なくとも一方が前記オブジェクトと接触する位置にあることが検出されたときに、前記オブジェクトを変化させる制御部と
　を備えることを特徴とする表示装置。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、
　前記オブジェクトが立体的に表示される表示空間において物体を検出する検出部と、
　前記表示空間において前記物体の移動が検出されたときに、前記物体の移動に応じて前記オブジェクトを前記表示空間において変化させる制御部と
　を備えることを特徴とする表示装置。
　前記検出部は、前記物体が前記オブジェクトの外側から内側へ移動する第１の状態を検出し、
　前記制御部は、前記第１の状態が検出されたときに、前記物体の移動に応じて前記オブジェクトを前記表示空間において変化させることを特徴とする請求項２９に記載の表示装置。
　前記検出部は、所定時間以上、前記物体が前記オブジェクトと接触する位置にある第２の状態を検出し、
　前記制御部は、前記第２の状態が検出された後に、前記物体の移動に応じて前記オブジェクトを前記表示空間において変化させることを特徴とする請求項２９に記載の表示装置。
　前記検出部は、前記物体が前記オブジェクトの外側から内側へ向けて所定時間以上継続して移動する第３の状態を検出し、
　前記制御部は、前記第３の状態が検出されたときに、前記物体の移動に応じて前記オブジェクトを前記表示空間において変化させることを特徴とする請求項２９に記載の表示装置。
　前記検出部は、前記物体が前記オブジェクトの外側から内側へ向けて所定時間以上継続して移動する第４の状態を検出し、
　前記制御部は、前記物体の前記オブジェクトの内側への移動が検出されたときから前記オブジェクトを変化させ始めることを特徴とする請求項２９に記載の表示装置。
　前記制御部は、前記オブジェクトを変化させ始めた後に、前記所定時間の経過前に前記物体の前記オブジェクトの内側への移動が検出されなくなった場合に、前記オブジェクトの変化を元に戻す逆変化の表示を行うことを特徴とする請求項３３に記載の表示装置。
　前記制御部は、前記変化に要した時間よりも短い時間で前記逆変化の表示を行うことを特徴とする請求項３４に記載の表示装置。
　前記制御部は、前記物体の移動にともなって、前記オブジェクトを移動させ、回転させ、またはこれらを組み合わせることにより、前記オブジェクトを変化させることを特徴とする請求項２９に記載の表示装置。
　前記制御部は、第１の物体あるいは第２の物体の移動にともなって、前記オブジェクトを変形させることにより、前記オブジェクトを変化させることを特徴とする請求項２９に記載の表示装置。
　前記制御部は、前記物体の移動にともなって、前記オブジェクトを消失させることにより、前記オブジェクトを変化させることを特徴とする請求項２９に記載の表示装置。
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、所定のオブジェクトを３次元表示する表示部と、
　前記オブジェクトが立体的に表示される表示空間において物体の移動が検出されたときに、前記物体の移動に応じて前記オブジェクトを前記表示空間において変化させる制御部と
　を備えることを特徴とする表示装置。
　表示装置であって、
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、商品に対応するオブジェクトを３次元表示する表示部と、
　前記オブジェクトを操作する現実の物体を検出する検出部と、
　前記現実の物体による操作に応じて前記オブジェクトの位置を変化させ、前記現実の物体が前記オブジェクトを操作しなくなった場合には、前記オブジェクトをその場に留まらせる制御部と
　を備える表示装置。
　前記制御部は、前記オブジェクトの位置に基づいて、前記オブジェクトに対応する商品に関連する商品を絞り込む請求項４０に記載の表示装置。
　前記制御部は、第１の現実の物体が第２の現実の物体を操作した場合に、当該第２の現実の物体を仮想的なオブジェクトとして前記表示部に表示させる請求項４０に記載の表示装置。
　表示装置の制御方法であって、
　ユーザの両目のそれぞれに対応した画像を表示することで、オブジェクトを３次元表示するステップと、
　前記オブジェクトを操作する現実の物体を検出するステップと、
　前記現実の物体による操作に応じて前記オブジェクトの位置を変化させるステップと、　前記現実の物体が前記オブジェクトを操作しなくなった場合には、前記オブジェクトをその場に留まらせるステップと
　を含む制御方法。
　表示装置であって、
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示する表示部と、
　当該表示装置の現実の空間における方向の変化を検出するセンサと、
　前記センサの検出する前記方向の変化に応じて前記オブジェクトを変化させる制御部と
　を備える表示装置。
　前記制御部は、前記方向の変化に応じて視点の方向を変化させることによって前記オブジェクトを変化させる請求項４４に記載の表示装置。
　ユーザの両目のそれぞれに対応した画像を撮影する撮影部をさらに備え、
　前記制御部は、前記撮影部によって撮影された画像と、視点から見た前記オブジェクトの画像とを重ねた画像をそれぞれの目毎に作成して前記表示部に表示させる請求項４４に記載の表示装置。
　前記撮影部の撮影範囲内の現実の物体を検出する検出部をさらに備え、
　前記制御部は、前記現実の物体の動きに応じて前記オブジェクトを変化させる請求項４６に記載の表示装置。
　前記センサは、当該表示装置の現実の空間における位置の変化をさらに検出し、
　前記制御部は、前記センサの検出する前記位置の変化に応じて視点の位置を変化させる請求項４４に記載の表示装置。
　前記センサは、前記ユーザが首を振る動作を検出し、
　前記制御部は、前記首を振る動作の方向に応じて、前記オブジェクトを変化させる請求項４４に記載の表示装置。
　表示装置の制御方法であって、
　ユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示するステップと、
　当該表示装置の現実の空間における方向の変化を検出するステップと、
　前記方向の変化に応じて前記オブジェクトを変化させるステップと
　を含む制御方法。
　表示装置であって、
　装着されることによりユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示する表示部と、
　当該表示装置の現実の空間における位置の変化を検出するセンサと、
　前記センサの検出する前記位置の変化に応じて前記オブジェクトを変化させる制御部と
　を備える表示装置。
　前記表示部は、仮想空間内の視点から見た前記オブジェクトを表示し、
　前記制御部は、前記位置の変化に応じて前記視点の位置を変化させることによって前記オブジェクトを変化させる請求項５１に記載の表示装置。
　ユーザの両目のそれぞれに対応した画像を撮影する撮影部をさらに備え、
　前記制御部は、前記撮影部によって撮影された画像と、視点から見た前記オブジェクトの画像とを重ねた画像をそれぞれの目毎に作成して前記表示部に表示させる請求項５１に記載の表示装置。
　前記撮影部の撮影範囲内の現実の物体を検出する検出部をさらに備え、
　前記制御部は、前記現実の物体の動きに応じて前記オブジェクトを変化させる請求項５３に記載の表示装置。
　前記センサは、当該表示装置の現実の空間における方向の変化をさらに検出し、
　前記制御部は、前記センサの検出する前記方向の変化に応じて視点の方向を変化させる請求項５１に記載の表示装置。
　前記制御部は、前記センサの検出する前記位置の変化に対して、前記オブジェクトを大きく変化させる請求項５１に記載の表示装置。
　前記制御部は、前記センサの検出する前記位置の変化に対して、前記オブジェクトを小さく変化させる請求項５１に記載の表示装置。
　前記オブジェクトを変化させることには、当該オブジェクト自体の形状や色彩や構造を変化させることが含まれる請求項５１に記載の表示装置。
　前記オブジェクトを変化させることには、当該オブジェクトのうちの一のオブジェクトから、他のオブジェクトに換えることが含まれる請求項５１に記載の表示装置。
　表示装置の制御方法であって、
　ユーザの両目のそれぞれに対応した画像を表示することで、仮想空間に配置されたオブジェクトを３次元表示するステップと、
　当該表示装置の現実の空間における位置の変化を検出するステップと、
　前記位置の変化に応じて前記オブジェクトを変化させるステップと
　を含む制御方法。