JP6126667B2 - 表示装置、制御システムおよび制御プログラム - Google Patents

Description

本発明は、表示装置、制御システムおよび制御プログラムに関する。

携帯電話端末等の表示部を備える表示装置には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。

特開２０１１−９５５４７号公報

立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示装置では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。本発明は、利用者に対して利便性の高い操作方法を提供することを目的とする。

本発明は、利用者に対して利便性の高い操作方法を提供することができる表示装置、制御システムおよび制御プログラムを提供することを目的とする。

本発明に係る表示装置は、複数の紙からなる本を表示する表示部と、前記複数の紙のうちの少なくとも一の紙をめくる操作を行う２つの物体を検出する検出部と、前記検出部の検出結果に基づいて前記めくる操作を検出すると、当該めくる操作がなされる前の時点における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させる制御部とを備える。

また、本発明に係る制御システムは、複数の紙からなる本を表示する表示部と、前記複数の紙のうちの少なくとも一の紙をめくる操作を行う２つの物体を検出する検出部とを備える端末と、当該端末を制御する制御部を含むシステムであって、前記制御部は、前記検出部の検出結果に基づいて前記めくる操作を検出すると、当該めくる操作がなされる前の時点における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させる。

また、本発明に係る制御プログラムは、表示部と、検出部とを備える表示装置に、複数の紙からなる本を前記表示部に表示するステップと、前記複数の紙のうちの少なくとも一の紙をめくる操作を行う２つの物体を前記検出部によって検出するステップと、前記検出部の検出結果に基づいて前記めくる操作を検出すると、当該めくる操作がなされる前の時点における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させるステップとを実行させる。

本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。

図１は、表示装置の斜視図である。 図２は、利用者によって装着された表示装置を正面から見た図である。 図３は、表示装置の変形例を示す図である。 図４は、表示装置の他の変形例を示す図である。 図５は、表示装置の他の変形例を示す図である。 図６は、表示装置のブロック図である。 図７は、制御プログラムが提供する機能に基づく制御の例を示す図である。 図８は、オブジェクトデータに格納される情報の一例を示す図である。 図９は、作用データに格納される情報の一例を示す図である。 図１０は、本の閲覧機能を実現するための基本的な処理手順を示すフローチャートである。 図１１は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。 図１２は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。 図１３は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。 図１４は、掴む操作検出処理の処理手順を示すフローチャートである。 図１５は、閉じた本の一例を示す図である。 図１６は、ページめくりの制御の一例を示す図である。 図１７は、ページめくりの制御の他の例を示す図である。 図１８は、ページめくりの制御のさらに他の例を示す図である。 図１９は、めくられるページ数と物体間の距離の関係を示す図である。 図２０は、ページが選択されている範囲を利用者に提示する例を示す図である。 図２１は、ページが選択されている範囲を利用者に提示するためにページの内容を表示する例を示す図である。 図２２は、ページに目印を付ける操作の一例を示す図である。 図２３は、折れ目の表示の仕方の一例を示す図である。 図２４は、ページが選択される範囲を調整する処理手順の一例を示すフローチャートである。 図２５は、栞を挟む操作の一例を示す図である。 図２６は、ページを切り取る操作の一例を示す図である。 図２７は、ページを切り取る操作の他の例を示す図である。 図２８は、ページの一部を切り取る操作の一例を示す図である。 図２９は、複数の本を立体的に表示する場合の制御の例を示す図である。 図３０は、ページと対応付けて他のオブジェクトを表示する処理の処理手順を示すフローチャートである。 図３１は、ページと対応付けてオブジェクトを表示する例を示す図である。 図３２は、ページと対応付けてオブジェクトを表示する例を示す図である。 図３３は、ページと対応付けてオブジェクトを表示する例を示す図である。 図３４は、ページと対応付けてオブジェクトを表示する例を示す図である。 図３５は、ページの表および裏と対応付けてオブジェクトを表示する例を示す図である。 図３６は、ページの表および裏と対応付けてオブジェクトを表示する例を示す図である。 図３７は、複数のページと対応付けてオブジェクトを表示する例を示す図である。 図３８は、複数のページと対応付けてオブジェクトを表示する例を示す図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

まず、図１および図２を参照しながら、第１の実施例に係る表示装置１の全体的な構成について説明する。図１は、表示装置１の斜視図である。図２は、利用者によって装着された表示装置１を正面から見た図である。図１および図２に示すように、表示装置１は、利用者の頭部に装着されるヘッドマウントタイプの装置である。

表示装置１は、前面部１ａと、側面部１ｂと、側面部１ｃとを有する。前面部１ａは、装着時に、利用者の両目を覆うように利用者の正面に配置される。側面部１ｂは、前面部１ａの一方の端部に接続され、側面部１ｃは、前面部１ａの他方の端部に接続される。側面部１ｂおよび側面部１ｃは、装着時に、眼鏡の蔓のように利用者の耳によって支持され、表示装置１を安定させる。側面部１ｂおよび側面部１ｃは、装着時に、利用者の頭部の背面で接続されるように構成されてもよい。

前面部１ａは、装着時に利用者の目と対向する面に表示部３２ａおよび表示部３２ｂを備える。表示部３２ａは、装着時に利用者の右目と対向する位置に配設され、表示部３２ｂは、装着時に利用者の左目と対向する位置に配設される。表示部３２ａは、右目用の画像を表示し、表示部３２ｂは、左目用の画像を表示する。このように、装着時に利用者のそれぞれの目に対応した画像を表示する表示部３２ａおよび表示部３２ｂを備えることにより、表示装置１は、両眼の視差を利用した３次元表示を実現することができる。

表示部３２ａおよび表示部３２ｂは、利用者の右目と左目に異なる画像を独立して提供することができれば、１つの表示デバイスによって構成されてもよい。例えば、表示される画像が一方の目にしか見えないように遮蔽するシャッターを高速に切り替えることによって、１つの表示デバイスが右目と左目に異なる画像を独立して提供するように構成してもよい。前面部１ａは、装着時に外光が利用者の目に入らないように、利用者の目を覆うように構成されてもよい。

前面部１ａは、表示部３２ａおよび表示部３２ｂが設けられている面とは反対側の面に撮影部４０および撮影部４２を備える。撮影部４０は、前面部１ａの一方の端部（装着時の右目側）の近傍に配設され、撮影部４２は、前面部１ａの他方の端部（装着時の左目側）の近傍に配設される。撮影部４０は、利用者の右目の視界に相当する範囲の画像を取得する。撮影部４２は、利用者の左目の視界に相当する範囲の画像を取得する。ここでいう視界とは、例えば、利用者が正面を見ているときの視界である。

表示装置１は、撮影部４０によって撮影された画像を右目用の画像として表示部３２ａに表示し、撮影部４２によって撮影された画像を左目用の画像として表示部３２ｂに表示する。このため、表示装置１は、装着中の利用者に、前面部１ａによって視界が遮られていても、表示装置１を装着していないときと同様の光景を提供することができる。

表示装置１は、このように現実の光景を利用者に提供する機能に加えて、仮想的な情報を３次元的に表示し、仮想的な情報を利用者が操作することを可能にする機能を有する。表示装置１によれば、仮想的な情報は、実際に存在しているかのように、現実の光景と重ねて表示される。そして、利用者は、例えば、手を使って仮想的な情報を実際に触っているかのように操作し、移動、回転、変形等の変化を仮想的な情報に施すことができる。このように、表示装置１は、仮想的な情報に関して、直感的で利便性の高い操作方法を提供する。以下の説明では、表示装置１によって３次元的に表示される仮想的な情報を「３次元オブジェクト」と呼ぶことがある。

表示装置１は、表示装置１を装着していない場合と同様の広い視界を利用者に提供する。そして、表示装置１は、この広い視界の中の任意の位置に任意の大きさで３次元オブジェクトを配置することができる。このように、表示装置１は、表示デバイスの大きさの制約を受けることなく、広い空間の様々な位置に様々な大きさの３次元オブジェクトを表示することができる。

図１および図２では、表示装置１が、眼鏡（ゴーグル）のような形状を有する例を示したが、表示装置１の形状はこれに限定されない。例えば、表示装置１は、図３に示す表示装置２のように、利用者の頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していてもよい。あるいは、表示装置１は、図４に示す表示装置３のように、利用者の顔面のほぼ全体を覆うようなマスクタイプの形状を有していてもよい。表示装置１は、図５に示す表示装置４のように、情報処理装置、バッテリ装置等の外部装置４ｄと有線または無線で接続される構成であってもよい。

次に、図６を参照しながら、表示装置１の機能的な構成について説明する。図６は、表示装置１のブロック図である。図６に示すように、表示装置１は、操作部１３と、制御部２２と、記憶部２４と、表示部３２ａおよび３２ｂと、撮影部４０および４２と、検出部４４と、測距部４６とを有する。操作部１３は、表示装置１の起動、停止、動作モードの変更等の基本的な操作を受け付ける。

表示部３２ａおよび３２ｂは、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬ（Organic Electro−Luminescence）パネル等の表示デバイスを備え、制御部２２から入力される制御信号に従って各種の情報を表示する。表示部３２ａおよび３２ｂは、レーザー光線等の光源を用いて利用者の網膜に画像を投影する投影装置であってもよい。

撮影部４０および４２は、ＣＣＤ（Charge Coupled Device Image Sensor）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０および４２は、撮影した画像を信号に変換して制御部２２へ出力する。

検出部４４は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出する。検出部４４は、例えば、撮影範囲に存在する現実の物体のうち、予め登録された形状（例えば、人間の手の形状）にマッチする物体を検出する。検出部４４は、予め形状が登録されていない物体についても、画素の明度、彩度、色相のエッジ等に基づいて、画像中の現実の物体の範囲（形状および大きさ）を検出するように構成されてもよい。

測距部４６は、撮影部４０および４２の撮影範囲に存在する現実の物体までの距離を測定する。現実の物体までの距離は、表示装置１を装着している利用者のそれぞれの目の位置を基準として目毎に測定される。このため、測距部４６が距離を測定する基準位置がそれぞれの目の位置とずれている場合には、測距部４６の測定値は、そのずれに応じて、目の位置までの距離を表すように補正される。

本実施例においては、撮影部４０および４２が、検出部４４および測距部４６を兼ねる。すなわち、本実施例においては、撮影部４０および４２によって撮影される画像を解析することによって、撮影範囲内の物体が検出される。さらに、撮影部４０によって撮影される画像に含まれる物体と撮影部４２によって撮影される画像に含まれる物体とを比較することにより、物体との距離が測定（算出）される。

表示装置１は、撮影部４０および４２とは別に、検出部４４を備えてもよい。検出部４４は、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、撮影範囲に存在する現実の物体を検出するセンサであってもよい。表示装置１は、撮影部４０および４２とは別に、測距部４６を備えてもよい。測距部４６は、例えば、可視光、赤外線、紫外線、電波、音波、磁気、静電容量の少なくとも１つを用いて、撮影範囲に存在する現実の物体までの距離を検出するセンサであってもよい。表示装置１は、ＴＯＦ（Time-of-Flight）法を用いたセンサのように、検出部４４および測距部４６を兼ねることができるセンサを備えてもよい。

制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや検出部４４を介して検出される操作がパラメータや判定条件の一部として利用される。

記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃと、仮想空間データ２４ｄとが含まれる。記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃ、仮想空間データ２４ｄは、無線通信または有線通信によってサーバ装置等の他の装置から取得されてもよい。

制御プログラム２４ａは、表示装置１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、撮影部４０および４２が取得する画像に３次元オブジェクトを重ねて表示部３２ａおよび３２ｂに表示する機能、３次元オブジェクトに対する操作を検出する機能、検出した操作に応じて３次元オブジェクトを変化させる機能等が含まれる。制御プログラム２４ａは、このように、３次元オブジェクトの表示を制御したり、３次元オブジェクトに対する操作を検出したりすることにより、後述するように、利用者が電子的な出版物を楽しむことを可能にする。

制御プログラム２４ａは、検出処理部２５と、表示オブジェクト制御部２６と、画像合成部２７とを含む。検出処理部２５は、撮影部４０および４２の撮影範囲に存在する現実の物体を検出するための機能を提供する。検出処理部２５が提供する機能には、検出したそれぞれの物体までの距離を測定する機能が含まれる。

表示オブジェクト制御部２６は、仮想空間にどのような３次元オブジェクトが配置され、それぞれの３次元オブジェクトがどのような状態にあるかを管理するための機能を提供する。表示オブジェクト制御部２６が提供する機能には、検出処理部２５の機能によって検出される現実の物体の動きに基づいて３次元オブジェクトに対する操作を検出し、検出した操作に基づいて３次元オブジェクトを変化させる機能が含まれる。

画像合成部２７は、現実の空間の画像と仮想空間の画像とを合成することにより、表示部３２ａに表示する画像と表示部３２ｂに表示する画像とを生成するための機能を提供する。画像合成部２７が提供する機能には、検出処理部２５の機能によって測定される現実の物体までの距離と、仮想空間における視点から３次元オブジェクトまでの距離とに基づいて、現実の物体と３次元オブジェクトの前後関係を判定し、重なりを調整する機能が含まれる。

オブジェクトデータ２４ｂは、３次元オブジェクトの形状および性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に、３次元オブジェクトをどのように変化させるかを判定するために用いられる。ここでいう変化には、移動、回転、変形、消失等が含まれる。仮想空間データ２４ｄは、仮想空間に配置される３次元オブジェクトの状態に関する情報を保持する。３次元オブジェクトの状態には、例えば、位置、姿勢、変形の状況等が含まれる。

次に、図７を参照しながら、制御プログラム２４ａが提供する機能に基づく制御の例について説明する。画像Ｐ１ａは、撮影部４０によって得られる画像、すなわち、現実の空間を右目で見た光景に相当する画像である。画像Ｐ１ａには、テーブルＴ１と、利用者の手Ｈ１とが写っている。表示装置１は、同じ場面を撮影部４２によって撮影した画像、すなわち、現実の空間を左目で見た光景に相当する画像も取得する。

画像Ｐ２ａは、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像である。この例において、仮想空間データ２４ｄは、仮想空間中に存在するブロック状の３次元オブジェクトＢＬ１の状態に関する情報を保持し、オブジェクトデータ２４ｂは、３次元オブジェクトＢＬ１の形状および性質に関する情報を保持する。表示装置１は、これらの情報に基づいて仮想空間を再現し、再現した仮想空間を右目の視点から見た画像Ｐ２ａを生成する。仮想空間における右目（視点）の位置は、所定の規則に基づいて決定される。表示装置１は、同様に、再現した仮想空間を左目の視点で見た画像も生成する。すなわち、表示装置１は、画像Ｐ２ａと組み合わせることによって３次元オブジェクトＢＬ１が３次元的に表示される画像も生成する。

表示装置１は、図７に示すステップＳ１において、画像Ｐ１ａおよび画像Ｐ２ａを合成して、画像Ｐ３ａを生成する。画像Ｐ３ａは、右目用の画像として表示部３２ａに表示される画像である。このとき、表示装置１は、利用者の右目の位置を基準として、撮影部４０の撮影範囲にある現実の物体と、仮想空間内に存在する３次元オブジェクトとの前後関係を判定する。そして、現実の物体と３次元オブジェクトとが重なっている場合には、利用者の右目により近いものが前面に見えるように重なりを調整する。

このような重なりの調整は、現実の物体と３次元オブジェクトとが重なる画像上の領域内の所定の大きさの範囲毎（例えば、１画素毎）に行われる。このため、現実の空間における視点から現実の物体までの距離は、画像上の所定の大きさの範囲毎に測定される。さらに、仮想空間における視点から３次元オブジェクトまでの距離は、３次元オブジェクトの位置、形状、姿勢等を考慮して、画像上の所定の大きさの範囲毎に算出される。

図７に示すステップＳ１の場面では、３次元オブジェクトＢＬ１は、仮想空間において、テーブルＴ１が現実の空間で存在する位置のすぐ上に相当する位置に配置されている。さらに、図７に示すステップＳ１の場面では、利用者の手Ｈ１と３次元オブジェクトＢＬ１が、利用者の右目の位置を基準として、ほぼ同じ方向に、ほぼ同じ距離で存在している。このため、所定の大きさの範囲毎に重なりを調整することにより、合成後の画像Ｐ３ａでは、手Ｈ１と３次元オブジェクトＢＬ１とが重なっている領域のうち、手Ｈ１の親指に相当する部分では手Ｈ１が前面に現れ、他の部分では３次元オブジェクトＢＬ１が前面に現れている。さらに、テーブルＴ１と３次元オブジェクトＢＬ１とが重なっている領域では、３次元オブジェクトＢＬ１が前面に現れている。

このような重なりの調整により、図７に示すステップＳ１では、あたかもテーブルＴ１上に３次元オブジェクトＢＬ１が置かれ、３次元オブジェクトＢＬ１を利用者が手Ｈ１で摘んでいるかのような画像Ｐ３ａが得られている。表示装置１は、同様の処理により、撮影部４２によって撮影した画像と仮想空間を左目の視点から見た画像とを合成し、左目用の画像として表示部３２ｂに表示される画像を生成する。左目用の画像を生成する場合、現実の物体と３次元オブジェクトとの重なりは、利用者の左目の位置を基準として調整される。

表示装置１は、こうして生成した合成画像を表示部３２ａおよび３２ｂに表示する。その結果、利用者は、あたかも、３次元オブジェクトＢＬ１がテーブルＴ１の上に置かれ、自分の手Ｈ１で３次元オブジェクトＢＬ１を摘んでいるかのような光景を見ることができる。

図７に示すステップＳ２の場面では、利用者が手Ｈ１を矢印Ａ１の方向に移動させている。この場合、撮影部４０によって得られる画像は、手Ｈ１の位置が右へ移動した画像Ｐ１ｂに変化する。さらに、表示装置１は、手Ｈ１の動きを、３次元オブジェクトを摘んだままで右へ移動させる操作と判定し、操作に応じて、仮想空間における３次元オブジェクトの位置を右へ移動させる。仮想空間における３次元オブジェクトの移動は、仮想空間データ２４ｄに反映される。その結果、仮想空間データ２４ｄおよびオブジェクトデータ２４ｂに基づいて生成される右目用の画像は、３次元オブジェクトＢＬ１の位置が右へ移動した画像Ｐ２ｂに変化する。表示装置１による操作の検出の詳細については、後述する。

表示装置１は、画像Ｐ１ｂおよび画像Ｐ２ｂを合成して右目用の画像Ｐ３ｂを生成する。画像Ｐ３ｂは、画像Ｐ３ａと比較して、テーブルＴ１上のより右側の位置で、３次元オブジェクトＢＬ１を利用者が手Ｈ１で摘んでいるかのような画像となっている。表示装置１は、同様に左目用の合成画像を生成する。そして、表示装置１は、こうして生成した合成画像を表示部３２ａおよび３２ｂに表示する。その結果、利用者は、あたかも、自分の手Ｈ１で３次元オブジェクトＢＬ１を摘んで右へ移動させたかのような光景を見ることができる。

このような表示用の合成画像の更新は、一般的な動画のフレームレートと同等の頻度（例えば、毎秒３０回）で実行される。その結果、利用者の操作に応じた３次元オブジェクトの変化は、表示装置１が表示する画像にほぼリアルタイムに反映され、利用者は、あたかも実際に存在しているかのように、違和感なく３次元オブジェクトを操作することができる。さらに、本実施例に係る構成では、３次元オブジェクトを操作する利用者の手が、利用者の目と表示部３２ａおよび３２ｂの間に位置することがないため、利用者は、手によって３次元オブジェクトの表示が遮られることを気にすることなく操作を行うことができる。

次に、図８を参照しながら、図６に示したオブジェクトデータ２４ｂおよび作用データ２４ｃについてさらに詳しく説明する。図８は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図８に示す例は、本として表示される３次元オブジェクトに関する情報の例である。図８に示すように、本として表示される３次元オブジェクトは、表表紙、裏表紙、背表紙、および複数のページという複数の３次元オブジェクトを含む。すなわち、本として表示される３次元オブジェクトは、３次元オブジェクトの集合体である。なお、以下の説明では、説明の便宜のために、本として表示される３次元オブジェクトを単に「本」ということがある。同様に、表表紙、裏表紙、背表紙、およびページに相当する３次元オブジェクトを、それぞれ、単に「表表紙」、「裏表紙」、「背表紙」、および「ページ」ということがある。

表表紙、裏表紙、および背表紙には、厚み、幅、高さ、色といった外観および性質を特定するための情報が予め設定される。また、表表紙、裏表紙、および背表紙には、３次元オブジェクトの表面に表示すべき文字列および画像等が、所定の形式でコンテンツとして設定される。

複数のページには、厚み、幅、高さ、色といった外観および性質を特定するための情報が予め共通に設定される。また、複数のページには、それぞれのページに表示すべきテキストおよび画像等が、所定の形式でコンテンツとしてページ毎に設定される。ページには、「＜折り返し ／＞」、「＜栞 ／＞」といったそのページに特有な情報が付加されることがある。「＜折り返し ／＞」は、対応するページの一部が折り返されていることを示す。「＜栞 ／＞」は、対応するページに栞が挟まれていることを示す。

なお、図８では、オブジェクトデータ２４ｂがＸＭＬ（Extensible Markup Language）形式で記述されている例を示したが、オブジェクトデータ２４ｂの形式はこれに限定されない。例えば、オブジェクトデータ２４ｂの形式は、専用に設計された形式でもよい。また、本として表示される３次元オブジェクトの構成は、図８に示した例に限定されない。例えば、本として表示される３次元オブジェクトは、表表紙、裏表紙、および背表紙の形状および性質を特定するための情報を含まなくてもよい。この場合、全ての本の表表紙、裏表紙、および背表紙は、予め行われた設定に従って共通の形状および性質をもってもよい。

図９は、作用データ２４ｃに格納される情報の一例を示す図である。図９に示す例は、本に含まれるページに対する操作がそれらのページにどのように作用するかを示している。なお、本実施例では、ページに対する操作は、たとえば、ページの一部を指等で掴んで行う操作であると想定されている。

図９に示すように、ページに対する操作の作用は、状況、移動方向、移動範囲、移動速度、および剛性等の条件に応じて変化する。状況は、解放時、すなわち、掴む操作が完了した時点、または、移動中、すなわち、掴む操作の最中のいずれであるかを示す。移動方向は、ページを掴む指等の移動する方向である。移動範囲は、ページを掴む指等の移動する範囲である。移動速度は、ページを掴む指等の移動する速度である。剛性は、ページの硬さを示す。剛性は、ページの厚さに基づいて判定される。

状況が解放時で、ページを掴む指等の直前の移動方向が本の開閉方向、すなわち、ページの連結部を回転軸として回動する方向であったものとする。この場合、指等の移動範囲がページの連結部を超えていれば、すなわち、指等がページの連結部をまたがって移動していれば、表示装置１は、掴まれていたページをめくられたように変化させる。また、指等の移動範囲がページの連結部を超えていなくても、移動速度が閾値よりも高く、かつ、剛性が閾値よりも高い場合には、表示装置１は、掴まれていたページをめくられたように変化させる。また、指等の移動範囲がページの連結部を超えていない場合、移動速度が閾値よりも低いか、または、剛性が閾値よりも低い場合には、表示装置１は、掴まれていたページを重力に従って変化させる。重力に従った変化は、例えば、重力方向への落下として表現される。

また、状況が移動中であり、ページを掴む指等の移動方向がページの連結部との距離が変化する方向であったものとする。この場合、ページの剛性が閾値より高ければ、表示装置１は、掴まれている位置を変更する。また、ページの剛性が閾値より低い場合、掴まれている部分とページの連結部との距離が当初の距離以下であれば、表示装置１は、掴まれているページを指等の動きに合わせて変化させる。また、ページの剛性が閾値より低く、掴まれている部分とページの連結部との距離が当初よりも大きい場合、表示装置１は、掴まれているページを切り離されたように変化させる。すなわち、表示装置１は、掴まれているページを本から独立させる。

また、ページを掴む指等の移動方向が本の開閉方向と直交する方向であり、ページの剛性が閾値より高い場合、表示装置１は、掴まれている位置を変更する。また、ページを掴む指等の移動方向が本の開閉方向と直交する方向であり、ページの剛性が閾値より低い場合、表示装置１は、掴まれているページを切り離されたように変化させる。また、ページを掴む指等の移動方向が本の開閉方向の場合、表示装置１は、掴まれているページを指等の動きに合わせて変化させる。

このように、作用データ２４ｃには、ページが操作に応じて、現実の本のページと同様に変化するように情報が設定される。表表紙および裏表紙に関しても、ページと同様の設定が作用データ２４ｃにおいてなされる。なお、作用データ２４ｃの構成および内容は図９に示した例に限定されない。例えば、作用データ２４ｃは、図９に示した以外の条件を含んでもよい。また、作用データ２４ｃにおいて定義される作用は、図９に示した例と異なっていてもよい。

次に、図１０から図１４を参照しながら、本の閲覧機能を実現するために表示装置１が実行する動作について説明する。以下の説明では、表示装置１を装着した利用者が見る空間を、表示空間と呼ぶことがある。図１０は、本の閲覧機能を実現するために表示装置１が実行する基本的な処理手順を示すフローチャートである。図１１および図１２は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。図１３は、３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図１４は、掴む操作検出処理の処理手順を示すフローチャートである。

図１０に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図１０に示すように、本の閲覧機能を実現するため、制御部２２は、まず、ステップＳ１０１として、表示部３２ａおよび３２ｂに本を含む仮想空間の画像と現実の空間の画像とを合成して表示する。表示される本の外観および内容は、オブジェクトデータ２４ｂに基づいて決定される。

続いて、制御部２２は、ステップＳ１０２として、本に対する操作が検出されたかを判定する。本に対する操作は、撮影部４０および４２によって撮影される画像に基づいて検出される。本に対する操作が検出された場合（ステップＳ１０２，Ｙｅｓ）、制御部２２は、ステップＳ１０３として、検出された操作に応じて表示中の本を変化させる。検出された操作に応じた本の変化のさせ方は、作用データ２４ｃに基づいて決定される。本に対する操作が検出されない場合（ステップＳ１０２，Ｎｏ）、表示中の本はそのままに保たれる。

続いて、制御部２２は、ステップＳ１０４として、処理を終了させるかを判定する。制御部２２は、例えば、利用者が本の閲覧機能の終了を指示する所定の操作を行った場合に、処理を終了させると判定する。処理を終了させる場合（ステップＳ１０４，Ｙｅｓ）、制御部２２は、図９に示す処理手順を完了させる。処理を終了させない場合（ステップＳ１０４，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。

上述したように、本実施例では、本に対する操作は、たとえば、ページを指等で掴んで行う操作であると想定される。すなわち、図１０に示すステップＳ１０２では、ページを掴んで行う操作が検出され、ステップＳ１０３では、ページを掴んで行う操作に対応する処理が実行される。

以下、図１１から図１４を参照しながら、掴んで行う操作に関する制御の詳細について説明する。図１１に示すステップＳＡ１では、表示部３２ａおよび３２ｂによって、表示空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。

表示装置１は、表示空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離Ｄ１の変化を監視する。そして、距離Ｄ１が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、表示装置１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。

３次元オブジェクトＯＢ１が選択状態になったことは、例えば、３次元オブジェクトＯＢ１の表面のうち、検出された２つの物体を結ぶ直線と交差する部分の近傍の色または明るさを変更することによって利用者に通知される。なお、このような視覚による通知に代えて、または、視覚による通知に加えて、音または振動による通知を行ってもよい。

表示装置１が２つの物体の距離Ｄ１の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳＡ１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。例えば、利用者は、掴みたいページを挟む位置に指Ｆ１および指Ｆ２を移動させた後、掴んだページが選択状態となったことが通知される前に、掴んだページをめくる動作を開始してもよい。

ステップＳＡ１の状態から、ステップＳＡ２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、表示装置１は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が表示されていることが検出された段階、すなわち、ステップＳＡ１の段階から、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、回転等の変化を加える。そして、表示装置１は、ステップＳＡ３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。

なお、図１２のステップＳＢ１からステップＳＢ３に示すように、所定時間が経過する前に指Ｆ１と指Ｆ２の距離Ｄ１が離れた場合、表示装置１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。すなわち、利用者が、３次元オブジェクトＯＢ１を操作することを意図していなかった場合、３次元オブジェクトＯＢ１は、元の状態に戻される。その結果、３次元オブジェクトＯＢ１は、ステップＳＢ１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。

このように、２つの物体の間に３次元オブジェクトが表示されていることが検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。なお、２つの物体の距離がほぼ一定に保たれた状態が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも選択状態とも異なる態様（例えば、半透明）で表示することにより、利用者が３次元オブジェクトの状態を判別し易くしてもよい。

なお、ステップＳＡ１の段階から、指Ｆ１および指Ｆ２の動きに応じて３次元オブジェクトＯＢ１を変化させるのではなく、３次元オブジェクトＯＢ１が選択状態になった後に３次元オブジェクトＯＢ１を変化させ始めてもよい。また、ステップＳＡ１のように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続した場合にのみ、３次元オブジェクトＯＢ１を選択状態にすることとしてもよい。

また、図１１では、２つの物体の間に表示されている１つの３次元オブジェクトが選択される例を示したが、選択される３次元オブジェクトの数は１つに限定されない。２つの物体の間に複数の３次元オブジェクトが表示されていることが検出された場合、表示装置１は、それらの３次元オブジェクトをまとめて選択する。すなわち、表示装置１は、利用者が複数のページをまとめて選択し、それらを操作することを許す。

図１３は、３次元オブジェクトの選択検出処理の処理手順を示す。図１３に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図１３に示すように、制御部２２は、ステップＳ２０１として、検出部、すなわち、撮影部４０および４２によって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体は、例えば、利用者の指である。

第１の物体および第２の物体が検出された場合（ステップＳ２０１，Ｙｅｓ）、制御部２２は、ステップＳ２０２として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。

第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ２０３，Ｙｅｓ）、制御部２２は、ステップＳ２０４として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。第１の物体と第２の物体との間に複数の３次元オブジェクトが表示されている場合、制御部２２は、それらの３次元オブジェクトを全て仮選択状態にする。また、制御部２２は、ステップＳ２０５として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ２０６として、図１４に示す掴む操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。

第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつからない場合（ステップＳ２０３，Ｎｏ）、ステップＳ２０４〜ステップＳ２０６は実行されない。

その後、制御部２２は、ステップＳ２０７として、処理を終了させるかを判定する。処理を終了させる場合（ステップＳ２０７，Ｙｅｓ）、制御部２２は、処理手順を完了させる。処理を終了させない場合（ステップＳ２０７，Ｎｏ）、制御部２２は、ステップＳ２０１以降を再実行する。

第１の物体および第２の物体が検出されない場合（ステップＳ２０１，Ｎｏ）、制御部２２は、ステップＳ２０７を実行する。

図１４は、掴む操作検出処理の処理手順を示す。図１４に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図１４に示すように、制御部２２は、まず、ステップＳ３０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ３０２として、３次元オブジェクトの選択時、すなわち、掴む操作検出処理の開始時点における距離とステップＳ３０１で測定した距離との差が閾値より大きいかを判定する。ここで用いられる閾値は、第１の物体と第２の物体の距離が、３次元オブジェクトの選択時とほぼ同じであるかを判定するための値である。

距離の差が閾値よりも小さい場合（ステップＳ３０２，Ｎｏ）、制御部２２は、ステップＳ３０３として、掴む操作検出処理が開始されてから所定時間が経過したかを判定する。所定時間が経過していた場合（ステップＳ３０３，Ｙｅｓ）、制御部２２は、ステップＳ３０４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトを選択状態にする。所定時間が経過していない場合（ステップＳ３０３，Ｎｏ）、ステップＳ３０４は実行されない。なお、所定時間は、例えば、０．１秒のように十分に短い時間でよい。

続いて、制御部２２は、ステップＳ３０５として、検出された第１の物体および第２の物体の動きに応じて、選択状態または仮選択状態にある３次元オブジェクトを変化させる。３次元オブジェクトの変化させ方は、作用データ２４ｃに基づいて決定される。例えば、制御部２２は、選択状態または仮選択状態にある本のページを、第１の物体および第２の物体の動きに合わせて、持ち上げられたように変化させる。そして、制御部２２は、ステップＳ３０１以降を再実行する。

距離の差が閾値よりも大きい場合（ステップＳ３０２，Ｙｅｓ）、制御部２２は、ステップＳ３０６として、第１の物体と第２の物体の間に表示されていた３次元オブジェクトが仮選択状態であるかを判定する。

３次元オブジェクトが仮選択状態である場合（ステップＳ３０６，Ｙｅｓ）、制御部２２は、ステップＳ３０７として、３次元オブジェクトの仮選択状態を解除する。また、制御部２２は、ステップＳ３０８として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、掴む操作検出処理を終了させる。

３次元オブジェクトが仮選択状態でない場合、すなわち、選択状態の場合（ステップＳ３０６，Ｎｏ）、制御部２２は、ステップＳ３０９として、第１の物体と第２の物体の距離の変化に合わせて３次元オブジェクトの選択範囲の維持または変更が可能であるかを判定する。

第１の物体と第２の物体の距離が短くなった場合、３次元オブジェクトの選択範囲は、維持または縮小される。具体的には、選択状態となっている３次元オブジェクトが１つの場合、第１の物体と第２の物体の距離が短くなっても３次元オブジェクトは選択状態のままである。選択状態となっている３次元オブジェクトが複数の場合、第１の物体と第２の物体の距離が短くなるにつれて選択状態となっている３次元オブジェクトの数は減っていくが、少なくとも１つの３次元オブジェクトは選択状態のままとなる。例えば、本のページが指で掴まれている場合、制御部２２は、指が近付くにつれて掴まれているページの枚数を減らしていくが、少なくとも１ページは掴まれた状態を維持する。

一方、第１の物体と第２の物体の距離が長くなった場合、３次元オブジェクトの選択範囲は、維持または変更が可能でない場合がある。具体的には、第１の物体と第２の物体の距離が長くなったことによって、第１の物体と第２の物体の間に選択状態にない３次元オブジェクトが位置することになった場合、選択範囲は拡張される。この場合、選択状態にない３次元オブジェクトが選択状態に変わる。距離が長くなった第１の物体と第２の物体の間に選択状態にない３次元オブジェクトがなく、第１の物体または第２の物体と選択状態にある３次元オブジェクトとの間の隙間が所定の大きさよりも大きくなった場合には、選択範囲の維持または変更は可能でない。選択範囲の維持または変更は可能でないと判定された場合、選択状態の３次元オブジェクトは解放される。

例えば、本のページが指で掴まれている場合、制御部２２は、指が拡がるにつれて掴まれているページの枚数を増やしていく。そして、掴めるページがなくなり、掴まれているページといずれかの指の間の隙間が所定の大きさよりも大きくなった場合には、制御部２２は、選択範囲の維持または変更は可能でないと判定する。

第１の物体と第２の物体の距離の変化に合わせて３次元オブジェクトの選択範囲の維持または変更が可能な場合（ステップＳ３０９，Ｙｅｓ）、制御部２２は、ステップＳ３１０として、第１の物体と第２の物体の距離の変化に合わせて３次元オブジェクトの選択範囲を維持または変更する。そして、制御部２２は、ステップＳ３０１以降を再実行する。

第１の物体と第２の物体の距離の変化に合わせて３次元オブジェクトの選択範囲の維持または変更が可能でない場合（ステップＳ３０９，Ｎｏ）、制御部２２は、ステップＳ３１１として、３次元オブジェクトの選択状態を解除する。また、制御部２２は、ステップＳ３１２として、解放時の状況に応じて３次元オブジェクトを変化させる。３次元オブジェクトの変化させ方は、作用データ２４ｃに基づいて決定される。例えば、制御部２２は、選択状態にある本のページを、重力に従ってめくれたように変化させる。そして、制御部２２は、掴む操作検出処理を終了させる。

次に、図１５から図２９を参照しながら、本の閲覧機能における制御の具体例について説明する。なお、説明を簡単にするため、以下では仮選択状態についての説明を省略する。

図１５は、閉じた本の一例を示す図である。図１５において、表示装置１は、テーブルＴ１上に本５０を立体的に表示させている。この例において、本５０は、閉じている。本５０の外観は、オブジェクトデータ２４ｂに基づいて決定される。なお、オブジェクトデータ２４ｂに忠実に本５０を表示すると本５０の厚みが所定の値よりも小さい場合、表示装置１は、本５０の厚みが所定の値以上になるようにページの厚さを補正してもよい。本５０の厚みを増すことにより、利用者が本５０に対する操作を行い易くなる。

図１６は、ページめくりの制御の一例を示す図である。図１６に示すステップＳＣ１では、利用者が、指Ｆ１と指Ｆ２の間に本５０の表表紙およびページが位置するように、指Ｆ１および指Ｆ２を移動させている。表示装置１は、指Ｆ１と指Ｆ２の間に表表紙およびページが位置していることを検出すると、指Ｆ１と指Ｆ２の間に位置する表表紙およびページを選択状態にする。

その後、ステップＳＣ２では、利用者が、指Ｆ１と指Ｆ２の間隔をほぼ一定に保ったまま、指Ｆ１と指Ｆ２をページの連結部を超えるまで本５０の開閉方向に移動させている。表示装置１は、このような指Ｆ１および指Ｆ２の動作を検出すると、作用データ２４ｃに移動に従って、選択状態にある表表紙およびページを変化させる。具体的には、表示装置１は、指Ｆ１および指Ｆ２の移動に合わせて、選択状態にある表表紙およびページの角度を変化させる。

その状態で利用者が指Ｆ１と指Ｆ２の間の距離を広げるか、指Ｆ１および指Ｆ２をページの連結部から遠ざけて指Ｆ１と指Ｆ２の間に表表紙およびページが位置しない状態にすると、選択状態にある表表紙およびページは解放される。その結果、表示装置１は、作用データ２４ｃに移動に従って、本５０を変化させる。具体的には、ステップＳＣ３に示すように、選択状態にあったページのうち内側の端のページが一番上になるように、本５０を変化させる。表示装置１は、本５０の開いたページの表面に、それらのページに対応するテキストおよび画像等を表示する。

図１７は、ページめくりの制御の他の例を示す図である。図１７に示すステップＳＤ１では、図１６に示したような制御により、本５０は既に開いた状態で表示されている。そして、利用者が、開いているページを含むページが指Ｆ１と指Ｆ２の間に位置するように、指Ｆ１および指Ｆ２を移動させている。表示装置１は、指Ｆ１と指Ｆ２の間にページが位置していることを検出すると、指Ｆ１と指Ｆ２の間に位置するページを選択状態にする。

その後、ステップＳＤ２では、利用者が、指Ｆ１と指Ｆ２の間隔をほぼ一定に保ったまま、指Ｆ１と指Ｆ２をページの連結部を超えるまで本５０の開閉方向に移動させている。表示装置１は、このような指Ｆ１および指Ｆ２の動作を検出すると、作用データ２４ｃに移動に従って、選択状態にあるページを変化させる。具体的には、表示装置１は、指Ｆ１および指Ｆ２の移動に合わせて、選択状態にあるページの角度を変化させる。

このとき、表示装置１は、ページの厚み（剛性）に応じて選択状態にあるページの変化のさせ方を変えてもよい。例えば、ページが閾値よりも厚い場合（剛性が高い場合）、表示装置１は、ページをたわませずに角度を変化させてもよい。また、ページが閾値よりも厚い場合（剛性が高い場合）、表示装置１は、選択状態にあるページを掴む物体が、ページの連結部を回転軸として円弧を描くように移動しなければページの角度が変わらないように、ページの変化を制約してもよい。また、ページが閾値よりも薄い場合（剛性が低い場合）、表示装置１は、選択状態にあるページを掴む物体の動きと重力とに合わせてページをたわませてもよい。

ステップＳＤ２の状態で利用者が指Ｆ１と指Ｆ２の間の距離を広げるか、指Ｆ１および指Ｆ２をページの連結部から遠ざけて指Ｆ１と指Ｆ２の間にページが位置しない状態にすると、選択状態にあるページは解放される。その結果、表示装置１は、作用データ２４ｃに移動に従って、本５０を変化させる。具体的には、ステップＳＤ３に示すように、選択状態にあったページのうち内側の端のページが一番上になるように、本５０を変化させる。表示装置１は、本５０の開いたページの表面に、それらのページに対応するテキストおよび画像等を表示する。

図１８は、ページめくりの制御のさらに他の例を示す図である。図１８に示すステップＳＥ１では、図１７に示したような制御により、複数のページがめくられつつある。そして、利用者が、選択状態にあるページの一部が指Ｆ３と指Ｆ４の間に位置するように、指Ｆ３および指Ｆ４を移動させている。表示装置１は、指Ｆ３と指Ｆ４の間にページが位置していることを検出すると、指Ｆ３と指Ｆ４の間に位置するページを、指Ｆ３および指Ｆ４と対応付ける。

その後、ステップＳＥ２では、利用者が、指Ｆ３と指Ｆ４の間隔をほぼ一定に保ったまま、指Ｆ３と指Ｆ４をページの連結部を超えるまで本５０の開閉方向に移動させている。表示装置１は、このような指Ｆ３および指Ｆ４の動作を検出すると、作用データ２４ｃに移動に従って、選択状態にあるページを変化させる。具体的には、表示装置１は、指Ｆ３および指Ｆ４の移動に合わせて、選択状態にあるページのうち、指Ｆ３および指Ｆ４と対応付けられているページの角度を変化させる。

ステップＳＥ２の状態で利用者が指Ｆ１と指Ｆ２の間の距離を広げるか、指Ｆ１および指Ｆ２をページの連結部から遠ざけて指Ｆ１と指Ｆ２の間にページが位置しない状態にすると、指Ｆ１と指Ｆ２の間にあるページは解放される。また、ステップＳＥ２の状態で利用者が指Ｆ３と指Ｆ４の間の距離を広げるか、指Ｆ３および指Ｆ４をページの連結部から遠ざけて指Ｆ３と指Ｆ４の間にページが位置しない状態にすると、指Ｆ３と指Ｆ４の間にあるページは解放される。その結果、表示装置１は、作用データ２４ｃに移動に従って、本５０を変化させる。具体的には、ステップＳＥ３に示すように、指Ｆ１と指Ｆ２の間にあったページと指Ｆ３と指Ｆ４の間にあったページとの境のページが一番上になるように、本５０を変化させる。表示装置１は、本５０の開いたページの表面に、それらのページに対応するテキストおよび画像等を表示する。

図１６から図１８に示したように、表示装置１は、利用者がページを掴んで本を開くことを可能にする。その結果、利用者は、最初から１ページずつめくって本を読むだけでなく、現実の本に対する操作と同様の操作によって、電子的な出版物から所望の箇所を容易に見つけることができる。

めくられるページ数は、ページを選択する物体の距離に応じて決定される。図１９は、めくられるページ数と物体間の距離の関係を示す図である。図１９に示すように、ページを選択する指Ｆ１と指Ｆ２との間の距離Ｄ１が距離Ｄｘよりも短い場合、めくられるページ数は、距離Ｄ１が距離Ｄｘのときよりも少なくなる。一方、ページを選択する指Ｆ１と指Ｆ２との間の距離Ｄ１が距離Ｄｘよりも長い場合、めくられるページ数は、距離Ｄ１が距離Ｄｘのときよりも多くなる。このように、表示装置１は、本５０との間に隙間ができない限り、距離Ｄ１が長くなるほどめくられるページ数を増やす。

このように、表示装置１が距離Ｄ１に応じてめくられるページ数を変更することにより、利用者は、任意のページ数をめくることができる。

表示装置１は、距離Ｄ１に応じた数のページを選択状態にした後、選択範囲を変更可能な範囲で距離Ｄ１が変化した場合には、選択状態にあるページ数を変化後の距離Ｄ１に応じて変更する。表示装置１は、ページが選択されている範囲を利用者に提示することが好ましい。

図２０は、ページが選択されている範囲を利用者に提示する例を示す図である。図２０に示すステップＳＦ１では、利用者が、開いているページを含むページが指Ｆ１と指Ｆ２の間に位置するように、指Ｆ１および指Ｆ２を移動させている。表示装置１は、指Ｆ１と指Ｆ２の間にページが位置していることを検出すると、指Ｆ１と指Ｆ２の間に位置するページを選択状態にする。さらに、表示装置１は、選択状態になったページのうち、開いているページとは反対側の端のページのページ番号（８７）を表示する。なお、図２０に示した例では、開いているページにページ番号が表示されているが、ページ番号を表示する位置は、利用者に見える位置であればどこでもよい。

その後、ステップＳＦ２では、利用者が、本５０との隙間を作ることなく、指Ｆ１と指Ｆ２との間の距離を広げている。その結果、表示装置１は、選択状態にあるページ数を増やす。さらに、表示装置１は、選択状態にあるページの範囲を示すページ番号（１２５）を表示し直す。このように、表示装置１が、ページが選択されている範囲を利用者に提示することにより、利用者は、めくられるページの範囲を容易に調整することができる。

なお、図２０では、ページが選択されている範囲を利用者に提示するためにページ番号を表示することとしたが、ページ番号に代えて、あるいは、ページ番号に加えて、選択状態にあるページ数またはページの内容を表示してもよい。図２１は、ページが選択されている範囲を利用者に提示するためにページの内容を表示する例を示す図である。

図２１に示すステップＳＧ１では、本５０の開いたページに、それらのページに対応するテキストおよび画像等が表示されている。そして、ステップＳＧ２では、利用者が、開いているページを含むページが指Ｆ１と指Ｆ２の間に位置するように、指Ｆ１および指Ｆ２を移動させている。表示装置１は、指Ｆ１と指Ｆ２の間にページが位置していることを検出すると、指Ｆ１と指Ｆ２の間に位置するページを選択状態にする。さらに、表示装置１は、選択状態になったページがめくられたら表示されるページに対応するテキストおよび画像等を表示する。なお、図２１に示した例では、開いているページの内容が置き換えられているが、ページの内容を表示する位置および大きさは、利用者に見える位置および大きさであればよい。

その後、ステップＳＧ３では、利用者が、本５０との隙間を作ることなく、指Ｆ１と指Ｆ２との間の距離を広げている。その結果、表示装置１は、選択状態にあるページ数を増やす。さらに、表示装置１は、選択状態になったページがめくられたら表示されるページに対応するテキストおよび画像等を表示し直す。このように、表示装置１が、ページの内容を利用者に提示することにより、利用者は、ページをめくることによってどのページが見られるかを容易に把握することができる。

なお、選択状態にあるページ数を調整するために、指Ｆ１と指Ｆ２との間の距離だけでなく、指Ｆ１と指Ｆ２の移動速度を用いてもよい。具体的には、指Ｆ１と指Ｆ２の移動速度が閾値よりも速い場合は、距離の変化量に対する選択状態にあるページ数の変化量を大きくする。一方、指Ｆ１と指Ｆ２の移動速度が閾値よりも遅い場合は、距離の変化量に対する選択状態にあるページ数の変化量を小さくする。このように、指Ｆ１と指Ｆ２の移動速度を用いることにより、利用者が、選択状態にあるページ数を意図する値に調整しやすくなる。ここでいう指Ｆ１と指Ｆ２の移動速度は、指Ｆ１の移動速度と指Ｆ２の移動速度のうち、いずれか速い方を用いることが好ましい。

以上、複数のページをまとめてめくる操作について説明してきたが、表示装置１は、ページを１枚ずつめくる操作も受け付けてよい。例えば、表示装置１は、開いているページの一方に触れた指等を他方のページへ向けて移動させる動作が検出された場合に、接触された方のページを１枚めくってもよい。この操作は、現実の薄い紙のページをめくる場合の動作を模している。

表示装置１は、ページに関する操作として、めくる操作以外の操作を受け付けてもよい。例えば、表示装置１は、ページに関する操作として、ページに目印を付ける操作を受け付けてもよい。図２２は、ページに目印を付ける操作の一例を示す図である。図２２に示すステップＳＨ１では、利用者は、１枚のページの角を指Ｆ１および指Ｆ２で掴んでいる。そして、ステップＳＨ２では、利用者は、掴んだ部分を折り返すように指Ｆ１および指Ｆ２を移動させている。

このように、ページの一部を折り返す動作が検出された場合、表示装置１は、その部分を折れ目５０ａとして、折り返されたままの状態に保つ。そして、表示装置１は、折れ目５０ａを設けたページをオブジェクトデータ２４ｂに記録する。表示装置１は、図２３に示すように、本５０が閉じられた場合にも、利用者が折れ目５０ａの位置を把握できるように、折れ目５０ａを色または明るさを変える等して他の部分と異なる態様で表示することが好ましい。このように、表示装置１が利用者の操作に応じて折り返しを設定することにより、利用者は、後で見直したいページ等に目印を付けておくことができる。

なお、折れ目５０ａは、１つの本５０において、複数設定可能である。また、表示装置１は、ページの厚みが閾値より厚い場合（剛性が高い場合）は、ページの一部を折り返す動作が検出されても折れ目を設けなくてもよい。

表示装置１は、折れ目５０ａが設定されたページを利用者が閲覧し易いように、ページが選択される範囲を調整することが好ましい。図２４は、ページが選択される範囲を調整する処理手順の一例を示すフローチャートである。表示装置１の制御部２２は、第１の物体と第２の物体の間にページが表示されていることを検出すると、ステップＳ４０１として、第１の物体と第２の物体の間の距離を算出する。そして、制御部２２は、ステップＳ４０２として、算出した距離に基づいて、選択されるページ数を算出する。

続いて、制御部２２は、ステップＳ４０３として、選択される最後のページの前後所定数内のページに折れ目があるか否かを判定する。折れ目がある場合（ステップＳ４０４，Ｙｅｓ）、制御部２２は、ステップＳ４０５として、折れ目のあるページまでが選択されるように選択されるページ数を補正する。選択される最後のページの前後所定数内のページに折れ目があるページが複数ある場合、制御部２２は、例えば、折れ目のあるページのうち、掴まれている最後のページに最も近いページまでが選択されるように選択されるページ数を補正する。

選択される最後のページの前後所定数内のページに折れ目がない場合（ステップＳ４０４，Ｎｏ）、制御部２２は、ステップＳ４０２で算出されたページ数に基づいてページを選択する。

なお、図２４に示したような選択範囲の調整は、図２３に示す角５０ｂのように折れ目５０ａが設けられている角の近傍でページを掴む操作が行われた場合にのみ実行することとしてもよい。すなわち、角５０ｃのように折れ目５０ａが設けられていない角の近傍でページを掴む操作が行われた場合には、選択範囲を調整しなくてもよい。このように、表示装置１が、ページが選択される位置によって選択範囲の調整を抑制することにより、利用者は、折れ目５０ａが設けられているページの前後所定数内のページを参照しやすくなる。

表示装置１は、図２５に示すように本に栞６０を挟む操作、または、スピンを挟む操作が検出された場合も、折れ目が設けられた場合と同様に、ページが選択される範囲を調整することが好ましい。

また、表示装置１は、ページに関する操作として、ページを切り取る操作を受け付けてもよい。図２６は、ページを切り取る操作の一例を示す図である。図２６に示すステップＳＩ１では、利用者は、ページ５０ｄの端部を指Ｆ１および指Ｆ２で掴み、ページの連結部との距離が遠くなるように指Ｆ１および指Ｆ２を移動させている。表示装置１は、このような指Ｆ１および指Ｆ２の動作を検出すると、作用データ２４ｃに移動に従って、ページ５０ｄを変化させる。具体的には、表示装置１は、ステップＳＩ２に示すように、ページ５０ｄを破いて、本５０から独立させる。

図２７は、ページを切り取る操作の他の例を示す図である。図２７に示すステップＳＪ１では、利用者は、ページ５０ｄの角を指Ｆ１および指Ｆ２で掴んでいる。そして、ステップＳＪ２では、利用者は、指Ｆ１および指Ｆ２を本５０の開閉方向と直交する方向へ移動させている。表示装置１は、このような指Ｆ１および指Ｆ２の動作を検出すると、作用データ２４ｃに移動に従って、ページ５０ｄを変化させる。具体的には、表示装置１は、ページ５０ｄを指Ｆ１および指Ｆ２の移動に合わせて破いていく。その結果、利用者が指Ｆ１および指Ｆ２の移動を継続すると、ステップＳＪ３に示すように、ページ５０ｄは、破けて本５０から独立する。

図２８は、ページの一部を切り取る操作の一例を示す図である。図２８に示すステップＳＫ１では、利用者は、ページ５０ｅの角を指Ｆ１および指Ｆ２で掴み、もう一方の手の指Ｆ４および指Ｆ５をはさみの形にしている。そして、ステップＳＫ２では、利用者は、ページ５０ｅを横切るように指Ｆ４および指Ｆ５を移動させている。表示装置１は、このような指Ｆ４および指Ｆ５の動作を検出すると、指Ｆ４および指Ｆ５によって横切られた部分に切れ目を入れていく。その結果、ステップＳＫ３に示すように、ページ５０ｅの一部であるページ片５０ｆが指Ｆ４および指Ｆ５の移動経路に合わせて切り取られて、本５０から独立する。なお、ページの一部を切り取る操作は、このようにはさみの形にした指にページを横切らせる動作に限定されない。例えば、表示装置１は、ページを指でなぞる動作が検出された場合に、なぞられた経路に合わせてページ片を切り取ってもよい。

図２６から図２８に示したように、表示装置１が、ページの全体または一部を切り取ることにより、利用者は、興味があるテキスト等を含むページを本とは別に種々のファイル形式で管理することができる。なお、表示装置１は、ページの厚みが閾値より厚い場合（剛性が高い場合）は、ページを切り取ることができないようにしてもよい。また、表示装置１は、ページを切り取る操作を検出した場合に、ページを破かずに、ページの複製を本から独立させてもよい。このように、ページが破れないようになす対象は、たとえば、当該ページが著作権管理上、複製を禁止する対象物であってもよい。

表示装置１は、複数の本を立体的に表示することもできる。図２９は、複数の本を立体的に表示する場合の制御の例を示す図である。図２９に示すステップＳＬ１では、表示装置１は、テーブルＴ１上に、本５１〜５３という３冊の本を立体的に表示させている。そして、ステップＳＬ２では、利用者が、指Ｆ１および指Ｆ２を使って、本５３を開くための操作を行っている。

表示装置１は、本５３を開く操作を検出すると、検出した操作に従って本５３を開かせる。このとき、表示装置１は、開いた本５３をテーブルＴ１のほぼ全面に拡大表示させる。このように、開いた本５３を拡大表示することにより、利用者は、本５３のページを閲覧し易くなる。

表示装置１は、ページと対応付けて他のオブジェクトを表示してもよい。図３０から図３８を参照しながら、ページと対応付けた他のオブジェクトの表示について説明する。図３０は、ページと対応付けて他のオブジェクトを表示する処理の処理手順を示すフローチャートである。

図３０に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図３０に示すように、制御部２２は、まず、ステップＳ５０１として、表示部３２ａおよび３２ｂに本を含む仮想空間の画像と現実の空間の画像とを合成して表示する。表示される本の外観および内容は、オブジェクトデータ２４ｂに基づいて決定される。

続いて、制御部２２は、ステップＳ５０２として、本に対する操作が検出されたかを判定する。本に対する操作は、撮影部４０および４２によって撮影される画像に基づいて検出される。本に対する操作が検出された場合（ステップＳ５０２，Ｙｅｓ）、制御部２２は、ステップＳ５０３として、検出された操作に応じて表示中の本を変化させる。検出された操作に応じた本の変化のさせ方は、作用データ２４ｃに基づいて決定される。

続いて、制御部２２は、ステップＳ５０４として、内容が表示されるページが切り替わったかを判定する。ページが切り替わった場合（ステップＳ５０４，Ｙｅｓ）、制御部２２は、ステップＳ５０５として、新たに内容が表示されるようになったページに対応付けられたオブジェクトをページに対応する態様で表示させる。

本に対する操作が検出されない場合（ステップＳ５０２，Ｎｏ）、表示中の本はそのままに保たれる。また、ページが切り替わっていない場合（ステップＳ５０４，Ｎｏ）、ステップＳ５０５は実行されない。

続いて、制御部２２は、ステップＳ５０６として、処理を終了させるかを判定する。制御部２２は、例えば、利用者が本の閲覧機能の終了を指示する所定の操作を行った場合に、処理を終了させると判定する。処理を終了させる場合（ステップＳ５０６，Ｙｅｓ）、制御部２２は、図３０に示す処理手順を完了させる。処理を終了させない場合（ステップＳ５０６，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。

このように、表示装置１は、ページと対応付けて他のオブジェクトを表示する場合、ページの切り替えに合わせてオブジェクトの表示を変更する。以下に、ページと対応付けて他のオブジェクトを表示する具体例について説明する。

図３１から図３４は、ページと対応付けて海洋生物を３次元表示する例を示している。図３１に示す例では、本５５のページ番号５１のページにオルカの３次元オブジェクト５５ａが対応付けられ、ページ番号５０のページに熱帯魚の３次元オブジェクト５５ｂおよび５５ｃが対応付けられている。３次元オブジェクト５５ａ〜５５ｃは、ページ番号５０のページおよびページ番号５１のページが表示されると、それらのページから飛び出したように表示される。このように、本のページと対応付けられた３次元オブジェクトを飛び出したように表示することにより、現実の本に挿入される画像やイラストよりも現実感のある情報を利用者に提供することができる。

ページと３次元オブジェクトの対応を利用者が任意に変更できるようにしてもよい。例えば、図３２に示すように、利用者が３次元オブジェクト５５ａを指Ｆ３および指Ｆ４で掴んだまま、指Ｆ１および指Ｆ２を使ってページを１枚めくったものとする。表示装置１は、このように３次元オブジェクトが掴まれた状態でページがめくられたことを検出すると、掴まれている３次元オブジェクトを新たに表示されたページに対応付ける。

その結果、３次元オブジェクト５５ａは、図３３に示すように、ページ番号５３のページに対応付けられる。また、図３４に示すように、利用者がページを戻してページ番号５１のページを表示させると、ページとの対応付けが変更されたため、３次元オブジェクト５５ａは表示されない。

図３１から図３４では、他のオブジェクトをページの１つの面に対応付けることとしたが、他のオブジェクトをページの表および裏と対応付けてもよい。この場合、表示装置１は、ページの角度に応じてオブジェクトの表示させ方を変更する。

図３５は、ページの表および裏と対応付けて海洋生物を３次元表示する例を示している。図３５に示す例では、本５６のページ５６ａの表および裏にオルカの３次元オブジェクト５６ｂが対応付けられている。表示装置１は、ページ５６ａの一方の面が表示されている場合、オルカの上半身がページ５６ａから飛び出したように３次元オブジェクト５６ｂを３次元表示させる。

そして、利用者がページ５６ａをめくる操作を始めると、表示装置１は、ページ５６ａの角度に合わせて、３次元オブジェクト５６ｂの表示される部分を多くしていく。ページ５６ａが垂直になった時点では、３次元オブジェクト５６ｂの全体が表示される。そして、利用者がページ５６ａをめくる操作を継続すると、表示装置１は、ページ５６ａの角度に合わせて、３次元オブジェクト５６ｂの表示される部分を少なくしていく。ページ５６ａが完全にめくられると、表示装置１は、オルカの下半身がページ５６ａから飛び出したように３次元オブジェクト５６ｂを３次元表示させる。

利用者がページ５６ａを逆方向にめくると、表示装置１は、３次元オブジェクト５６ｂを上記の説明とは逆に変化させていく。

図３６は、ページの表および裏と対応付けて海洋生物を３次元表示する他の例を示している。図３６に示す例では、本５７のページ５７ａの表および裏にオルカの３次元オブジェクト５７ｂが対応付けられている。表示装置１は、ページ５７ａの一方の面が表示されている場合、オルカの背びれが上を向くように３次元オブジェクト５７ｂを３次元表示させる。

そして、利用者がページ５７ａをめくる操作を始めると、表示装置１は、ページ５７ａの角度に合わせて、３次元オブジェクト５７ｂを横方向に回転させていく。ページ５７ａが完全にめくられると、表示装置１は、オルカの腹部が上を向くように３次元オブジェクト５７ｂを３次元表示させる。利用者がページ５７ａを逆方向にめくると、表示装置１は、３次元オブジェクト５７ｂを上記の説明とは逆に変化させていく。

このように、表示装置１が、ページめくりと連動してオブジェクトを変化させることにより、利用者は、ページめくりという慣れ親しんだ操作によってオブジェクトを希望する通りに変化させることができる。すなわち、情報機器の操作が苦手な利用者であっても、ページをめくるだけで、３次元オブジェクトを回転させるといった複雑な処理を実現させることができる。

表示装置１は、複数のページにオブジェクトを対応付けてもよい。図３７は、複数のページにオブジェクトを対応付けて海洋生物を３次元表示する例を示している。図３７に示す例では、本５８のページ面５８ａ〜５８ｄという４つの面に熱帯魚の３次元オブジェクト５８ｅと、オルカの３次元オブジェクト５８ｆとが対応付けられている。

表示装置１は、ページ面５８ａおよび５８ｂが表示されている場合、３次元オブジェクト５８ｅおよび３次元オブジェクト５８ｆを同じ縮尺で表示する。熱帯魚とオルカの大きさの差は大きいため、ページ面５８ａおよび５８ｂが表示されている場合、３次元オブジェクト５８ｆは、オルカの尾の部分が視認領域からはみ出して全身が表示されない。３次元オブジェクト５８ｆの視認領域からはみ出している部分は、ページをめくってページ面５８ｃおよび５８ｄを表示させることによって表示される。

このように、複数の生物を同じ縮尺で表示することにより、利用者は、生物の大きさの差を容易に把握することができる。また、利用者は、視認領域からはみ出して表示されない部分を、ページをめくるという慣れ親しんだ操作によって閲覧することができる。

図３８に示す例では、本５９のページ面５９ａ〜５９ｄという４つの面に住宅の３次元オブジェクト５９ｅが対応付けられている。表示装置１は、ページ面５９ａおよび５９ｂが表示されている場合、３次元オブジェクト５９ｅの全体を表示する。表示装置１は、ページ面５９ｃおよび５９ｄが表示されている場合、住宅の１階のみが表示されるように３次元オブジェクト５９ｅを表示する。

このように、表示装置１は、めくられたページ数に応じて断面を設定し、設定した断面で切断した状態のオブジェクトを表示することもできる。このような制御は、めくられたページ数に応じてビルのフロアマップを表示する用途や、めくられたページ数に応じて人体の断面図を表示する用途等に応用することができる。

なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、棒状の物等を指の代わりに用いてもよい。

また、上記の実施例では、ページに対応付けて表示されるオブジェクトの例として３次元オブジェクトを示した。しかしながら、ページに対応付けて表示されるオブジェクトは、３次元オブジェクトに限定されない。例えば、ページに対応付けて動画を表示してもよい。表示装置１は、ページに対応付けて動画を表示する場合、ページがめくられる毎に異なるチャプタを再生してもよい。

また、上記の実施例では、表示装置が単独で３次元オブジェクトに対する操作を検出することとしたが、表示装置がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示装置は、検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示装置へ通知する。このような構成とすることにより、表示装置の負荷を低減することができる。

また、表示装置１は、３次元オブジェクトに対する操作を検出する空間を、表示装置１を装着している利用者の手が届く範囲に限定してもよい。このように、３次元オブジェクトに対する操作を検出する空間を限定することにより、表示装置１が操作を検出するために実行する演算処理の負荷を軽減することができる。

また、上記の実施例では、本発明を本の閲覧機能を実現するために利用する例について説明したが、本発明を用いて閲覧されるのは本に限定されない。本発明は、パンフレットおよび新聞等を含む各種の電子出版物の閲覧機能を実現するために利用することができる。

また、本発明によって実現可能な３次元オブジェクトに対する操作は、上記の実施例で示した操作に限定されない。本発明に係る制御により、例えば、本棚から本を選択して取り出す操作、新聞を折り畳む操作、および筆記具をもって本等に書き込みを行う操作等を実現することもできる。

１〜４ 表示装置
１ａ 前面部
１ｂ、１ｃ 側面部
４ｄ 外部装置
１３ 操作部
２２ 制御部
２４ 記憶部
２４ａ 制御プログラム
２４ｂ オブジェクトデータ
２４ｃ 作用データ
２４ｄ 仮想空間データ
２５ 検出処理部
２６ 表示オブジェクト制御部
２７ 画像合成部
３２ａ、３２ｂ 表示部
４０、４２ 撮影部
４４ 検出部
４６ 測距部

Claims (4)

1. 複数の紙からなる本を表示する表示部と、
   前記複数の紙のうちの少なくとも一の紙をめくる操作を行う２つの物体を検出する検出部と、
   前記検出部の検出結果に基づいて前記めくる操作を検出すると、当該めくる操作がなされる前の時点における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させる制御部と
   を備え、
   前記制御部は、前記２つの物体の位置に基づいて前記少なくとも一の紙を選択状態とし、
   前記選択状態時に、前記めくる動作を検出すると、当該選択状態時における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させ、
   前記制御部は、開いているページを含む少なくとも一のページが前記２つの物体間に位置していることを検出すると、当該少なくとも一のページを前記選択状態とし、
   前記制御部は、前記選択状態時において、前記選択状態となった前記少なくとも一の紙のうち、前記開いているページとは反対側の端のページのページ番号を前記表示部に表示させる表示装置。
2. 前記ページ番号を前記開いているページに表示する
   請求項１に記載の表示装置。
3. 複数の紙からなる本を表示する表示部と、前記複数の紙のうちの少なくとも一の紙をめくる操作を行う２つの物体を検出する検出部とを備える端末と、当該端末を制御する制御部を含むシステムであって、
   前記制御部は、前記検出部の検出結果に基づいて前記めくる操作を検出すると、当該めくる操作がなされる前の時点における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させ、
   前記制御部は、前記２つの物体の位置に基づいて前記少なくとも一の紙を選択状態とし、
   前記選択状態時に、前記めくる動作を検出すると、当該選択状態時における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させ、
   前記制御部は、開いているページを含む少なくとも一のページが前記２つの物体間に位置していることを検出すると、当該少なくとも一のページを前記選択状態とし、
   前記制御部は、前記選択状態時において、前記選択状態となった前記少なくとも一の紙のうち、前記開いているページとは反対側の端のページのページ番号を前記表示部に表示させる制御システム。
4. 表示部と、検出部とを備える表示装置に、
   複数の紙からなる本を前記表示部に表示するステップと、
   前記複数の紙のうちの少なくとも一の紙をめくる操作を行う２つの物体を前記検出部によって検出するステップと、
   前記検出部の検出結果に基づいて前記めくる操作を検出すると、当該めくる操作がなされる前の時点における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させるステップと、
   前記２つの物体の位置に基づいて前記少なくとも一の紙を選択状態とするステップと、
   前記選択状態時に、前記めくる動作を検出すると、当該選択状態時における前記２つの物体間の距離に応じたページを前記表示部に新たに表示させるステップと、
   開いているページを含む少なくとも一のページが前記２つの物体間に位置していることを検出すると、当該少なくとも一のページを前記選択状態とするステップと、
   前記選択状態時において、前記選択状態となった前記少なくとも一の紙のうち、前記開いているページとは反対側の端のページのページ番号を前記表示部に表示させるステップと
   を実行させる制御プログラム。

Images