WO2018142679A1

WO2018142679A1 - 表示装置及びその制御方法

Info

Publication number: WO2018142679A1
Application number: PCT/JP2017/037315
Authority: WO
Inventors: 山田　正彦
Original assignee: 株式会社ワコム
Priority date: 2017-01-31
Filing date: 2017-10-16
Publication date: 2018-08-09
Also published as: CN110199324A; TW201830205A; US11183141B2; TWI753960B; CN110199324B; US20190295495A1

Abstract

【課題】拡張現実を表す表示部上の仮想画像の表示形態を容易に変更する。【解決手段】本発明による表示装置１は、透明性の表示部２と、表示部２上における指示体の指示位置を検出する第１の検出部５と、表示部２の位置情報及び向きを検出する第２の検出部６と、第２の検出部６によって検出された位置情報及び向きに対応する仮想画像を表示部２に表示させ、第１の検出部５によって検出された指示位置に応じてその表示形態を変更する制御部９と、を備えることを特徴とする。

Description

表示装置及びその制御方法

　本発明は、表示部に仮想画像を表示させることによって拡張現実を提供するための技術に関する。

　現実世界に情報を付加することによって現実世界を拡張する拡張現実（ＡＲ：Augmented Reality）が開発されている。例えば、透明の表示部に仮想画像を表示させる技術がある（例えば、特許文献１，２参照）。

米国特許第８９４１６８３号明細書特許第５６４９８４２号公報

　しかしながら、従来の技術には、仮想画像の表示形態を変更することが困難であるという技術的課題がある。

　本発明は、このような技術的課題に鑑みてなされたものであり、仮想画像の表示形態を効果的に変更するための技術を提供することを目的とする。

　本発明の一実施の形態に係る表示装置は、透明性の表示部と、前記表示部上の指示位置を検出する第１の検出部と、前記表示部の位置情報及び向きを検出する第２の検出部と、前記位置情報及び前記向きに対応する仮想画像を前記表示部に表示させ、前記指示位置に応じて前記仮想画像の表示形態を変更する表示制御部と、を備える。

　本発明の他の一実施の形態に係る表示装置の制御方法は、透明性の表示部を有する表示装置の制御方法であって、前記表示部上における指示体の指示位置を検出する第１の検出工程と、前記表示部の位置情報及び向きを検出する第２の検出工程と、前記位置情報及び前記向きに対応する仮想画像を前記表示部に表示させる表示工程と、前記指示位置に応じて前記仮想画像の表示形態を変更する制御工程と、を含む。

　本発明によれば、仮想画像の表示形態を効果的に変更することができるという効果を奏する。

本発明の第１の実施の形態に係る表示装置１の外観を示す図である。図１に示した表示装置１の機能ブロックを示す略ブロック図である。（ａ）は、ＡＲ１モードでの表示例を示す図であり、（ｂ）は、非ＡＲモードでの表示例を示す図である。ＡＲ１モード、ＡＲ２モード、及び非ＡＲモードの切り替えの例を示す図である。図２に示した制御部９の動作の全体を示す処理フロー図である。図２に示した制御部９の非ＡＲモードにおける動作を示す処理フロー図である。図２に示した制御部９のＡＲ１モードにおける動作を示す処理フロー図である。図２に示した制御部９のＡＲ２モードにおける動作を示す処理フロー図である。表示装置１と、カメラ２０が備え付けられた赤道儀２１とを示す図である。本発明の第２の実施の形態に係る表示装置１の使用状態を示す図である。本発明の第３の実施の形態に係る表示装置１の使用状態を示す図である。本発明の第４の実施の形態に係る表示装置１の使用状態を示す図である。本発明の第４の実施の形態の変形例に係る表示装置１の使用状態を示す図である。本発明の第５の実施の形態に係る表示装置１の使用状態を示す図である。本発明の第６の実施の形態に係る表示装置１の使用状態を示す図である。本発明の第６の実施の形態に係る表示装置１の制御部９の動作を示す処理フロー図である。本発明の第６の実施の形態の変形例に係る表示装置１の使用状態を示す図である。本発明の第７の実施の形態に係る表示装置１の使用状態を示す図である。本発明の第７の実施の形態に係る表示装置１の制御部９の動作を示す処理フロー図である。本発明の第８の実施の形態に係る表示装置１の使用状態を示す図である。

　以下、本発明の実施の形態に係る表示装置を、図を参照しながら説明する。

　図１は、本発明の第１の実施の形態に係る表示装置１の外観を示す図であり、図１（ａ）は表側から見た表示装置１を、図１（ｂ）は裏側から見た表示装置１をそれぞれ示している。同図に示すように、表示装置１は円形の装置であり、その中央に、円形の表示部２を有して構成される。表示部２の周囲には、裏面に撮像部４（内蔵カメラ）を有するドーナツ型の筐体３が設けられる。なお、詳しくは後述するが、表示装置１とは別体の外部カメラ（望遠レンズや望遠鏡等に接続されたカメラを含む）を撮像部４として用い、表示装置１とこの外部カメラとの間で通信を行うこととしてもよい。ユーザがこの表示装置１を使用する場合、筐体３を手で持ち、表示部２を眺める状態で使用する。

　また、図２は、表示装置１の機能ブロックを示す略ブロック図である。同図に示すように、表示装置１は機能的に、図１にも示した表示部２及び撮像部４の他、第１の検出部５、第２の検出部６、通信部７、記憶部８、及び制御部９を備えて構成される。また、表示装置１は、指示体としての電子ペン１０とともに使用可能に構成される。

　表示部２は、透明性の液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）パネルであり、制御部９から印加される電圧の値によって透過率を変更可能に構成される。この透過率の変更は、例えば、透明なＬＣＤパネルの裏面に、制御部９から印加される電圧の値に応じて配向方向が変化する液晶フィルム（電子シャッター）を貼り付けることによって実現される。表示部２の透過率が０％より大きい値となっている場合、ユーザの目には、表示装置１の向こう側にある現実世界の物体の映像が表示部２を通って入り込む。したがって、表示部２に仮想画像が表示されている場合、ユーザには、現実世界の物体と、表示部２に表示される仮想画像とが重なって見えることになり、これによって拡張現実（ＡＲ：Augmented Reality）が実現される（後述するＡＲ１モード）。

　撮像部４は、表示装置１に内蔵されたカメラであり、撮像した映像をリアルタイムで制御部９に出力可能に構成される。制御部９は、撮像部４から入力された映像をリアルタイムで表示部２に出力する。撮像部４の出力映像が表示部２上に表示されている場合、ユーザの目には、撮像部４によって撮影された現実世界の物体の映像が入り込む。したがって、撮像部４の出力映像に重ねて仮想画像を表示した場合、ユーザには、現実世界の物体と、表示部２に表示される仮想画像とが重なって見えることになり、これによっても拡張現実（ＡＲ：Augmented Reality）が実現される（後述するＡＲ２モード）。

　第１の検出部５は表示部２の裏面に配置される透明センサであり、表示部２上における指示体の指示位置を検出する役割を果たす。第１の検出部５による指示位置の具体的な検出方式としては、アクティブ静電結合方式、静電容量方式、電磁誘導方式、感圧方式など各種の方式を用いることが可能であるが、表示装置１においては、電子ペン１０によるタッチと指によるタッチとの両方に対応できるアクティブ静電結合方式を使用することが好適である。以下、アクティブ静電結合方式の使用を前提として説明を続ける。

　第１の検出部５は、例えば、それぞれＸ方向に延在する複数の第１の線状導体（図示せず）と、それぞれＸ方向とパネル面内で直交するＹ方向に延在する複数の第２の線状導体（図示せず）とを有し、これらを用いて、電子ペン１０又は指による指示位置を検出するよう構成される。

　初めに電子ペン１０による指示位置を検出する場合について説明すると、まずアクティブ静電結合方式による電子ペン１０は一般に、表示装置１に向けて位置検出用信号を送信する機能を有して構成される。第１の検出部５は、各複数の第１及び第２の線状導体のそれぞれにおいてこの位置検出用信号の検出を行い、それぞれにおける位置検出用信号の受信強度を判定する。この受信強度は線状導体と電子ペン１０の距離が近いほど強くなることから、第１の検出部５は、この受信強度から電子ペン１０による指示位置を検出することができる。第１の検出部５は、検出した指示位置を２次元のＸＹ座標値からなる座標データとして制御部９に出力する。

　次に指による指示位置を検出する場合について説明すると、第１の検出部５は、複数の第１の線状導体のそれぞれに順次信号を供給し、それを複数の第２の線状導体のそれぞれで順次受信するよう構成される。そして、こうして受信される信号の受信強度を第１及び第２の線状導体の組み合わせごとに判定するよう構成される。ある第１及び第２の線状導体の交点に指が近づいていると、第１の線状導体から第２の線状導体に流れる電流の一部が人体によって吸収されることになるため、第２の線状導体における受信信号の強度が弱くなる。したがって第１の検出部５は、上記のようにして信号の受信強度を判定することによって、指が接近している交点、すなわち指による指示位置を判定することができる。第１の検出部５は、検出した指示位置を、電子ペン１０の場合と同様、２次元のＸＹ座標値からなる座標データとして制御部９に出力する。

　電子ペン１０は、位置検出用信号の他にも、ペン先に加わる圧力（筆圧値）を示す筆圧情報、側面に設けられるサイドスイッチのオンオフを示すサイドスイッチ情報、予め記憶している固有ＩＤなどの各種情報を送信可能に構成される。第１の検出部５は、電子ペン１０からこれらの情報を受信した場合、電子ペン１０による指示位置を示す座標データと組み合わせ、一対の情報として制御部９に送出するよう構成される。

　第２の検出部６は、表示装置１の位置情報（例えば、緯度や経度）及び向きを検出する機能を有する機能部である。第２の検出部６の機能のうち位置情報の検出機能は例えばＧＰＳ受信機を用いて実現され、向きの検出機能は例えば加速度・磁気・角速度等を検出可能なセンサを用いて実現される。第２の検出部６は、検出した位置情報及び向きを制御部９に送出するよう構成される。

　通信部７は、電子ペン１０及び任意の情報端末（図示せず）との間でデータ通信を行う機能を有する通信装置である。なお、通信部７が行う通信は、電子ペン１０と第１の検出部５との間で行われる通信とは異なるものである。通信部７は、無線通信によって電子ペン１０又は任意の情報端末と通信を行ってもよいし、有線通信によって電子ペン１０又は任意の情報端末と通信を行ってもよい。一例では、通信部７と電子ペン１０との間の通信はブルートゥース（登録商標）によって行われ、通信部７と情報端末との間の通信は無線ＬＡＮによって行われる。

　記憶部８は、コンピュータプログラムやデータを格納する機能部である。記憶部８は、例えばＤＲＡＭ(Dynamic Random Access Memory)、フラッシュメモリ、ハードディスクなどの記憶装置又はこれらの組み合わせによって実現される。

　制御部９は、記憶部８に記憶されるプログラムを読み込んで実行することにより本実施の形態で説明する表示装置１の各動作を実行するプロセッサであり、図示しないバスなどによって、図２に示す各部と接続される。

　制御部９が行う動作には、第２の検出部６によって検出された位置情報及び向きに対応する仮想画像を表示部２に表示させ、第１の検出部５によって検出された指示位置に応じて、この仮想画像の表示形態を変更するという動作が含まれる。この動作は、具体的には、制御部９がＡＲ１モード、ＡＲ２モード、及び非ＡＲモードという３つのモードの間で自身のモードを切り替えながら動作することによって、実現される。

　ＡＲ１モードは、透明な表示部２を通して見える現実世界の物体に仮想画像を重ねて表示することにより、拡張現実を実現するモードである。このモードにある制御部９は、表示部２の透過率を第１の値（０％より大きい値。例えば、透過率の最大値（好適には１００％））としたうえで、第２の検出部６によって検出された位置情報及び向きに対応する仮想画像を形成して表示部２に出力するよう構成される。

　図３（ａ）は、ＡＲ１モードでの表示例を示す図である。同図には、現実の物体である富士山Ｒ１が表示部２の向こう側にある状態で、ユーザによって表示装置１が把持されている例を示している。この場合において制御部９がＡＲ１モードにエントリしていると、仮想画像である人画像Ｖ２が表示されている領域以外では表示部２が透明となるので、ユーザには、表示部２を通してその向こう側にある富士山Ｒ１が見えることになる。その結果、富士山Ｒ１に人画像Ｖ２が重畳されているように見えるので、ユーザは拡張現実を体験することになる。

　ＡＲ２モードは、撮像部４の出力映像に仮想画像を重ねて表示することにより、拡張現実を実現するモードである。この場合の制御部９は、表示部２の透過率を第１の値よりも小さい第３の値（例えば、透過率の最小値（好適には０％））とするとともに、撮像部４に撮像を開始させる。そして、撮像部４からリアルタイム供給される映像を表示部２に逐次出力するとともに、第２の検出部６によって検出された位置情報及び向きに対応する仮想画像を形成して表示部２に出力するよう構成される。撮像部４を通して表示される現実の物体は表示部２上に仮想画像と重ねて表示されることになるので、図３（ａ）に示すＡＲ１モード同様の表示がなされ、ユーザは拡張現実を体験することになる。

　非ＡＲモードは、表示部２に仮想画像のみを表示させるモードである。このモードにある制御部９は、表示部２の透過率を第１の値よりも小さい第２の値（例えば、透過率の最小値（好適には０％））としたうえで、第２の検出部６によって検出された位置情報及び向きに対応する仮想画像を形成して表示部２に出力するよう構成される。

　図３（ｂ）は、非ＡＲモードでの表示例を示す図である。同図には、図３（ａ）の状態において、制御部９を非ＡＲモードに切り替えた場合の例を示している。制御部９が非ＡＲモードにエントリすると表示部２が不透明になるので、ユーザは、表示部２の向こう側にある富士山Ｒ１を、少なくとも表示部２上では見ることができなくなる。その結果、ユーザの目には、仮想画像である人画像Ｖ２が映る状態となる。

　制御部９が行う動作には、その他にも、第１の検出部５によって検出された一連の指示位置に基づいてストロークデータを生成し、記憶部８に格納するとともに表示部２に表示させる処理などが含まれる。

　以下、制御部９による仮想画像の表示形態の変更について、表示装置１を天体観測に利用する例を参照しながら、具体的に説明する。

　図４は、ＡＲ１モード、ＡＲ２モード、及び非ＡＲモードの切り替えの例を示す図である。図４（ａ）は、表示部２上に星座早見盤が表示されている状態（非ＡＲモード）を示し、図４（ｂ）は、表示部２を通して実際の星空にある天体が視認可能となっている状態（ＡＲ１モード）を示し、図４（ｃ）は、撮像部４で撮影された天体の画像が表示部２に表示されている状態（ＡＲ２モード）を示している。

　まず図４（ａ）に着目すると、制御部９は、天文観測で広く利用されている星座早見盤（仮想画像）を表示部２上に表示する機能を有する。星座早見盤を表示する場合の制御部９のモードは非ＡＲモードであり、表示部２上には仮想画像が表示される。

　ここで星座早見盤の構成について簡単に説明しておくと、星座早見盤は、星座図の上に、マスクが配置された構成を有している。マスクには、実際の星空にて地平線より上にある天体を表示するための楕円形の開口部が設けられる。

　図４（ａ）の例において表示部２に表示される星座早見盤の構成は、基本的には上述した星座早見盤と同様であり、開口部に相当する天体表示領域ＶＡと、マスク（開口部以外の部分）に相当するマスク領域ＶＭとを含む。

　星座早見盤を表示する場合の制御部９は、まず非ＡＲモードにエントリする。そして、図示しない内蔵カレンダー及び内蔵時計から現在日時を取得するとともに、第２の検出部６によって検出された位置情報から現在の緯度及び経度を取得し、取得した現在日時並びに取得した現在の緯度及び経度に対応する全天画像を、赤経及び赤緯などの付加情報とともに天体表示領域ＶＡ内に表示する。これによりユーザは、天体表示領域ＶＡ内において、現在位置及び現在日時における全天の星空を確認することが可能になる。マスク領域ＶＭ内には緯度経度表示部Ｖ４及び日時表示部Ｖ５が設けられており、制御部９は、取得した現在日時を日時表示部Ｖ５に表示するとともに、取得した現在の緯度及び経度を緯度経度表示部Ｖ４に表示する。

　また、制御部９は、第２の検出部６によって検出された向きを示すマークＶ６を天体表示領域ＶＡ内に表示するように構成される。マークＶ６は例えば二重円の画像であり、制御部９は、二重円の中心が第２の検出部６によって検出された向きに一致するようマークＶ６の表示位置を調整する。マークＶ６の表示により、ユーザは、自身が星空のどの辺りを向いているかを大局的に把握することが可能になる。

　図４（ａ）に示した星座早見盤を用いると、ユーザは、実際の星空において簡単に星座を見つけられるようになる。一例を挙げると、例えばオリオン座を観察したいユーザは、天体表示領域ＶＡ内でマークＶ６がオリオン座画像Ｖ７に近づくように、表示装置１の向きを変える（矢印Ａでこの動きを表示）。こうして向きを変えた後の表示装置１は実際の星空におけるオリオン座の方向を向いているので、表示装置１をどければ、ユーザの眼前に実際のオリオン座が現れることになる。

　表示部２に星座早見盤が表示されている状態で天体表示領域ＶＡ内の任意の位置をユーザがタッチすると、制御部９は、このタッチに応じて自身のモードを変更することにより、表示部２の表示状態を変更する。制御部９によるこのモード変更には、ユーザのタッチ操作の内容に応じて、ＡＲ１モードに切り替える場合と、ＡＲ２モードに切り替える場合とがある。以下、それぞれについて説明する。

　まず、タッチ操作の内容が例えばいわゆるシングルタップ操作であった場合の制御部９は、ＡＲ１モードにエントリし、表示部２に加える電圧を制御することによって表示部２の透過率を第１の値に設定する。また、表示部２から星座早見盤を消去し、その代わりに、天体表示領域ＶＡ内においてマークＶ６近傍に表示していた星の情報（星座の形や天体の名称等）を仮想画像とし、表示部２に表示する。これによりユーザは、実際の星空上で、例えば星座の形を確認することが可能になる。

　図４（ｂ）には、図４（ａ）の天体表示領域ＶＡ内の任意の位置をユーザがタッチした時点で、天体表示領域ＶＡ内においてマークＶ６がオリオン座画像Ｖ７の近傍に位置していた場合（すなわち、表示装置１がオリオン座の方向を向いていた場合）を示している。この場合のユーザは、透明になった表示部２を通して、現実のオリオン座を見ることになる。また、制御部９は、図４（ｂ）に示すように、オリオン座を中心とする所定範囲内の星座を示す星座画像Ｖ８を表示部２に表示する。これにより、星座画像Ｖ８を実際の星空に重ねて表示した状態が表示部２上に作り出されることになる。なお、こうして表示する仮想画像としては、図４（ｂ）に示した星座画像Ｖ８の他にも、星、星団、星雲、惑星、彗星等の名前（メシエ、ＮＧＣ等も含む）、人工衛星、赤道（赤経、赤緯等も含む）、黄道等を示す仮想画像が使用され得る。

　次に、タッチ操作の内容が例えばいわゆるダブルタップ操作であった場合の制御部９は、ＡＲ２モードにエントリし、表示部２に加える電圧を制御することによって表示部２の透過率を第３の値に設定する。また、表示部２から星座早見盤を消去するとともに撮像部４を起動し、撮像部４からリアルタイム供給される映像を逐次、表示部２に出力する。これにより、撮像部４の出力映像が表示部２に表示される。このとき同時に表示部２に、ＡＲ１モードの場合と同様の仮想画像を表示することとしてもよい。これによりユーザは、ＡＲ１モードの場合と同様、実際の星空上で、例えば星座の形を確認することが可能になる。

　図４（ｃ）には、天体表示領域ＶＡ内においてオリオン大星雲（オリオン座画像Ｖ７の中央付近にある星雲）がタッチされた場合を示している。制御部９は、撮像部４の出力映像を表示部２に表示する。こうすることでユーザは、肉眼では確認が難しい（すなわち、図４（ｂ）の表示状態では確認が難しい）天体をも表示部２上で確認することが可能となる。

　制御部９はまた、図４（ｂ）の表示を行う場合、及び、図４（ｃ）の表示を行う場合のいずれにおいても、仮想画像のひとつとして、星座早見盤に戻ることを示す戻るボタンＶ９を表示するよう構成される。ユーザがこの戻るボタンＶ９をタッチした場合、制御部９は自身のモードを非ＡＲモードに戻し、図４（ａ）に示した星座早見盤を再度表示部２に表示する。これによりユーザは、星座早見盤を再び確認することが可能になる。

　さらに、制御部９は、図４（ｂ）の表示を行っている最中にユーザが戻るボタンＶ９以外の部分をタッチした場合、自身のモードをＡＲ２モードとし、図４（ｃ）の表示を行う。この場合において、表示部２の全体に表示する領域は、ユーザのタッチ位置に対応する領域とすることが好ましい。これによりユーザは、タッチ位置にある天体の映像を確認することが可能になる。また、制御部９は、図４（ｃ）の表示を行っている最中にユーザが戻るボタンＶ９以外の部分をタッチした場合、自身のモードをＡＲ１モードとし、図４（ｂ）の表示を行う。これによりユーザは、より広い範囲で天体を確認することが可能になる。

　なお、制御部９は、タッチ以外の契機により、表示部２の表示状態を変更することとしてもよい。例えば、星座早見盤の表示中にマークＶ６が所定の星座（例えば、オリオン座画像Ｖ７）に近づいたことに応じて、図４（ｂ）に示す表示に切り替えることとしてもよい。また、図４（ｂ）に例示する画像を表示中に表示部２の向きが表示中の星座（例えば、オリオン座画像Ｖ７）から離れたことに応じて、星座早見盤の表示に切り替えることとしてもよい。

　次に、制御部９の処理フローを参照しながら、制御部９の動作について、さらに詳しく説明する。この説明においても、表示装置１を天体観測用に利用する場合（図４参照）を例にとって説明することとする。

　図５～図８は、制御部９の動作を示す処理フロー図である。図５に示すように、制御部９は、初めに非ＡＲモードで動作を開始する（ステップＳ１）。

　図６には、非ＡＲモードにおける制御部９の動作を示している。同図に示すように、非ＡＲモードにある制御部９は、まず表示部２の透過率を第２の値に設定する（ステップＳ１０）。なお、ステップＳ１０を破線で描いているのは、表示部の透過率が既に第２の値になっている場合、ステップＳ１０を行う必要がないからである。

　次いで制御部９は、図４（ａ）に示した星座早見盤を表示部２に表示した後（ステップＳ１１）、図示しない内蔵時計から現在日時を取得し、図４（ａ）に示した日時表示部Ｖ５に表示する（ステップＳ１２）とともに、第２の検出部６から表示装置１の位置情報を取得し、図４（ａ）に示した緯度経度表示部Ｖ４に表示する（ステップＳ１３）。さらに制御部９は、取得した現在時刻及び位置情報に対応する全天画像（仮想画像）を取得し、図４（ａ）に示した天体表示領域ＶＡ内に表示する（ステップＳ１４）。制御部９はまた、第２の検出部６から表示装置１の向きを取得し、取得した向きと対応する天体表示領域ＶＡ内の位置に、図４（ａ）に示したマークＶ６を表示する（ステップＳ１５）。

　図５に戻る。ステップＳ１を実行した制御部９は、第１の検出部５の出力データを参照することにより、天体表示領域ＶＡ内がタッチされたか否かを判定する（ステップＳ２）。ここでタッチされていないと判定した場合には、ステップＳ１の動作を繰り返す。一方、タッチされたと判定した場合には、第１の検出部５の出力データをさらに参照することにより、タッチ操作の内容を判定する（ステップＳ３）。そして、タッチ操作の内容が第１の操作（例えばシングルタップ）であると判定した場合、制御部９は、ＡＲ１モードでの動作を開始する（ステップＳ４）。一方、タッチ操作の内容が第２の操作（例えばダブルタップ）であると判定した場合、制御部９は、ＡＲ２モードでの動作を開始する（ステップＳ７）。

　図７には、ＡＲ１モード（ステップＳ４）における制御部９の動作を示している。同図に示すように、ＡＲ１モードにエントリした制御部９は、まず表示部２の透過率を第１の値に設定する（ステップＳ２０）。この時点で、非ＡＲモードで表示していた星座早見盤は消去される。なお、ステップＳ２０を破線で描いているのは、表示部２の透過率が既に第１の値になっている場合、ステップＳ２０を行う必要がないからである。

　次に制御部９は、非ＡＲモードの場合と同様にして現在日時、位置情報、及び向きを取得し（ステップＳ２１）、取得した現在日時、位置情報、及び向きに対応する仮想画像を表示部２に表示する（ステップＳ２２）。

　図８には、ＡＲ２モード（ステップＳ７）における制御部９の動作を示している。同図に示すように、ＡＲ１モードにエントリした制御部９は、まず表示部２の透過率を第３の値に設定する（ステップＳ３０）。なお、ステップＳ３０を破線で描いているのは、表示部２の透過率が既に第３の値になっている場合、ステップＳ３０を行う必要がないからである。

　次に制御部９は、タッチされた位置に基づき、撮像部４の出力映像を表示部２に表示させる（ステップＳ３１）。この時点で、非ＡＲモードで表示していた星座早見盤は消去される。

　次に制御部９は、非ＡＲモードの場合と同様にして現在日時、位置情報、及び向きを取得し（ステップＳ３２）、取得した現在日時、位置情報、及び向きから、表示部２上に映っている現実世界の位置範囲を推定する（ステップＳ３３）。そして、推定した位置範囲に対応する仮想画像を表示部２に表示する（ステップＳ３４）。こうすることで、実際に表示部２上に映っている天体に対応する仮想画像を表示することが可能になる。

　図５に戻る。ステップＳ４を実行した制御部９は、第１の検出部５の出力データを参照することにより、表示部２がユーザによってタッチされたか否かを判定する（ステップＳ６）。ここでタッチされていないと判定した場合には、ステップＳ６の動作を繰り返す。一方、タッチされたと判定した場合には、第１の検出部５の出力データをさらに参照することにより、タッチされた領域を判定する（ステップＳ６）。そして、タッチされた領域が所定領域（例えば、図４（ｂ）に示した戻るボタンＶ９）内であると判定した場合、制御部９は、非ＡＲモードでの動作を開始する（ステップＳ１）。一方、タッチされた領域がその他の領域であると判定した場合、制御部９は、ＡＲ２モードでの動作を開始する（ステップＳ７）。

　また、ステップＳ７を実行した制御部９は、第１の検出部５の出力データを参照することにより、表示部２がユーザによってタッチされたか否かを判定する（ステップＳ８）。ここでタッチされていないと判定した場合には、ステップＳ７の動作を繰り返す。一方、タッチされたと判定した場合には、第１の検出部５の出力データをさらに参照することにより、タッチされた領域を判定する（ステップＳ９）。そして、タッチされた領域が所定領域（例えば、図４（ｃ）に示した戻るボタンＶ９）内であると判定した場合、制御部９は、非ＡＲモードでの動作を開始する（ステップＳ１）。一方、タッチされた領域がその他の領域であると判定した場合、制御部９は、ＡＲ１モードでの動作を開始する（ステップＳ６）。

　以上説明したように、本実施の形態による表示装置１によれば、ユーザのタッチ操作に応じて、拡張現実を表す表示部２上の仮想画像の表示形態を効果的に変更することが可能になる。

　なお、撮像部４を赤道儀に備え付け、この赤道儀のコントローラとして表示装置１を用いることも可能である。以下、図面を参照して詳しく説明する。

　図９は、表示装置１と、撮像部４としてのカメラ２０が備え付けられた赤道儀２１とを示す図である。カメラ２０及び赤道儀２１はそれぞれ、通信部７を介する無線通信により、制御部９と通信可能に構成される。カメラ２０には望遠レンズが取り付けられていることが好ましく、そうすることは、図４（ｃ）のような倍率で天体を観測したいときに便利である。また、カメラ２０で撮像した天体の画像をリアルタイムで表示装置１に表示してもよいし、予め撮像し記憶しておいた画像を表示してもよいし、これから所定の露出時間で撮影を行い、その結果を表示することとしてもよい。

　ユーザはまず準備として、赤道儀の極軸合わせを行う。次いで、制御部９は表示装置１の表示部２に、図４（ａ）に示す星座早見盤を表示させる。そして、天体表示領域ＶＡ内の任意の位置をユーザがタッチすると、制御部９は、カメラ２０がその位置に対応する天体（以下、「追尾対象天体」と称する）の方向を常に向くこととなるよう赤道儀２１の自動追尾機能を設定するとともに、自身のモードをＡＲ２モードとする。このＡＲ２モードで表示部２に表示されるのは、カメラ２０で撮影された映像である。これにより、時間が経過しても表示部２内に追尾対象天体が導入された状態を維持することができるので、ユーザは、表示部２において常に、追尾対象天体と、該追尾対象天体に重畳された仮想画像とを確認することが可能になる。

　次に、本発明の第２の実施の形態について説明する。本実施の形態による表示装置１は、第１の実施の形態で説明した機能に加えて、他の表示装置１と連携することにより、他人のカメラで撮影された映像を表示部２上で見ることができるように構成される。

　図１０は、本実施の形態に係る表示装置１の使用状態を示す図である。同図に示す表示装置１ａ，１ｂは、それぞれが本実施の形態による表示装置１である。表示装置１ａは東京で星空を観察している場合を示し、表示装置１ｂは北京で星空を観察している場合を示す。同図の例による表示装置１ａ，１ｂは、それぞれ外部のカメラ２０ａ，２０ｂからの映像をＡＲ２モードにて表示している（図４（ｃ）参照）。また、マークＶａは表示装置１ａの向きを示し、マークＶｂは表示装置１の向きを示す。

　表示装置１ａ，１ｂは、ネットワーク３０を介して互いに通信可能に構成される。この通信は、具体的には、図２に示した通信部７を用いて実行される。ここで、本実施の形態による表示装置１には予め個々を特定する識別番号が割り当てられており、この識別番号は記憶部８に予め格納されている。表示装置１ｂの制御部９は、表示装置１ａとの通信を開始する際、初めに記憶部８に格納されている識別番号を送信する。表示装置１ａの制御部９は、この識別番号による認証を行うことによって表示装置１ｂとの通信を開始できるか否かを判定し、開始できると判定した場合にのみ表示装置１ｂとの通信を開始する。

　表示装置１ｂとの通信を開始した後、表示装置１ａの制御部９は、表示装置１ａの表示部２に表示装置１ａの向きを示すマークＶａだけでなく、表示装置１ｂの向きを示すマークＶｂをも表示する。マークＶａとマークＶｂとは、形状、色彩等の外観が相違する。同様に、表示装置１ｂの制御部９は、表示装置１ｂの表示部２に表示装置１ｂの向きを示すマークＶｂだけでなく、表示装置１ａの向きを示すマークＶａをも表示する。表示装置１ａにおいて天体表示領域ＶＡ内のマークＶｂがタッチされると、表示装置１ｂの制御部９は、表示装置１ａに対し、外部のカメラ２０ｂから取得している映像の配信（例えば、ストリーミング配信）を行う。これにより、表示装置１ａにおいて、表示装置１ｂで見られるカメラ２０ｂの映像を表示することが可能になる。同様に、表示装置１ｂにおいて天体表示領域ＶＡ内のマークＶａがタッチされると、表示装置１ａの制御部９は、表示装置１ｂに対し、外部のカメラ２０ａから取得している映像の配信を行う。これにより、表示装置１ｂにおいて、表示装置１ａで見られるカメラ２０ａの映像を表示することが可能になる。

　なお、本実施の形態において、配信側の表示装置１はカメラ２０からの映像の取得と、他の表示装置１への配信とを行うことができれば足りるので、他の種類の装置であっても構わない。例えば、表示装置１に代え、カメラ２０で撮影された映像を世界中の表示装置１に対してストリーミング配信する配信サーバを設けることとしてもよい。この例は、例えばハッブル望遠鏡や各地の天文台に設置された天体望遠鏡など、多数のユーザがその映像を見てみたいと願う大型望遠鏡に付属のカメラで撮影された映像を配信する場合などに特に有効である。

　次に、本発明の第３の実施の形態について説明する。本実施の形態による表示装置１は、第１の実施の形態で説明した機能に加え、外部の光源からの光を利用して仮想画像をスクリーン等に拡大表示する機能（以下、「プラネタリウム機能」と称する）を有する。

　図１１は、本実施の形態に係る表示装置１の使用状態を示す図である。本実施の形態による制御部９は、プラネタリウム機能を実行する場合、ＡＲ１モードにエントリするとともに、投影対象となる仮想天体画像Ｖ１０を表示部２に表示する。この仮想天体画像Ｖ１０は星空を示す画像であり、より具体的には、天体の存在するところが不透明とされ、他の部分は透明であるネガ画像となる。

　制御部９が上記のようにして仮想天体画像Ｖ１０を表示部２に表示している状態で外部の光源３１からの光を表示装置１の一方表面に照射すると、表示装置１を挟んで光源３１の反対側にあるスクリーン３２上に仮想天体画像Ｖ１０が投影される。これにより、ユーザは、スクリーン上に拡大表示された仮想天体画像Ｖ１０を楽しむことが可能になる。なお、スクリーン３２として具体的には、例えば部屋の壁を利用することが好適である。

　次に、本発明の第４の実施の形態について説明する。本実施の形態による表示装置１は、第１の実施の形態で説明した機能に加え、トレーシングペーパーのように利用可能に構成される。

　図１２は、本実施の形態に係る表示装置１の使用状態を示す図である。表示装置１をトレーシングペーパーのように用いる場合、図１２（ａ）に示すように、制御部９は自身のモードをＡＲ１モードとし、表示部２の透過率を第１の値に設定するとともに、表示部２上に切り替えボタンＶ１１（第１の画像）を表示する。

　表示部２の透過率が第１の値となっていることから、表示部２内には、表示装置１の向こう側にある現実世界の物体（図１３では富士山）が導入されている。ユーザは、この現実世界の物体をなぞるように電子ペン１０による線画像Ｖ１２の入力を行うことで、線画像Ｖ１２が表示部２に表示され、現実世界の物体をトレースすることができる。

　ユーザが切り替えボタンＶ１１をタッチした場合（第１の検出部５によって検出された指示位置が切り替えボタンＶ１１上の位置である場合）、制御部９は自身のモードを非ＡＲモードに変更し、表示部２の透過率を第２の値に設定する。これによりユーザは、図１２（ｂ）に示すように、ユーザは表示部２上で線画像Ｖ１２を確認することが可能になる。

　なお、切り替えボタンＶ１１に代えてスライダーを用いることとしてもよい。図１３には、切り替えボタンＶ１１に代えてスライダーＶ１３（第２の画像）を表示部２上に表示した例を示している。制御部９は、第１の検出部５によって検出された指示位置のスライダーＶ１３上における位置に基づき、表示部２の透過率を制御するよう構成される。具体的な例を挙げると、制御部９は、スライダーＶ１３が一方端にある場合に表示部２の透過率を第１の値とし、他方端にある場合に表示部２の透過率を第２の値又は第３の値とする。また、スライダーＶ１３が中間にある場合には、表示部２の透過率を第１の値と第２の値又は第３の値との間の中間値に設定する。この例によれば、中間の透過率を設定することができるので、図１３（ｂ）に示すように、透過率を半分程度にして相対的に線画像Ｖ１２を目立たせることが可能になる。

　次に、本発明の第５の実施の形態について説明する。本実施の形態による表示装置１は、第４の実施の形態で説明した機能に加え、表示装置１内で３Ｄ画像を構成可能に構成される。

　図１４は、本実施の形態に係る表示装置１の使用状態を示す図である。同図の例によるユーザは、第４の実施の形態で説明した機能を用いて、方向Ｄ１～Ｄ３の３方向から建造物３３のトレースを行い、それぞれについて生成した仮想画像を記憶部８に記憶させる。このとき制御部９は、トレースしている最中に第２の検出部６で検出された表示装置１の向きと、ユーザによって生成された仮想画像とを対応付けて記憶する。そして制御部９は、すべての仮想画像の記憶が完了した後、記憶部８に記憶している複数の仮想画像を、それぞれに対応付けた表示装置１の向きに基づいて組み合わせることにより、３Ｄ画像を生成する。これによりユーザは、複数の方向から建造物３３のトレースを行うという簡単な操作により、建造物３３の３Ｄ画像を得ることが可能になる。

　次に、本発明の第６の実施の形態について説明する。本実施の形態による表示装置１は、第１の実施の形態で説明した機能に加え、ゲーム機能を有して構成される。このゲームは現実世界の中において仮想画像で構成されたモンスターを見つけるというものである。

　図１５は、本実施の形態に係る表示装置１の使用状態を示す図である。本実施の形態による制御部９は、図１５（ａ）に示す初期状態ではＡＲ１モードであり、表示装置１の向こう側の現実世界の風景が表示部２を通してユーザの目に入り込んでいる。本実施の形態による制御部９は、この状態で表示部２上に仮想画像であるモンスター画像Ｖ１４を表示するよう構成される。この表示のため、本実施の形態による記憶部８は、予め複数のモンスター画像をそれぞれ位置情報と対応付けて記憶している。

　図１６は、本実施の形態に係る表示装置１の制御部９の動作を示す処理フロー図である。以下、このフロー図に沿って、本実施の形態による制御部９の動作を説明する。

　制御部９は、まず初めにＡＲ１モードにエントリし（ステップＳ４０）、表示部２の透過率を第１の値とする。そして、第２の検出部６により検出される位置情報及び向きから表示部２内に入っている現実世界の位置範囲を推定し（ステップＳ４１）、その推定した位置範囲に含まれる位置について記憶部８がモンスター画像を記憶している場合に、そのモンスター画像を、図１５（ａ）に示すように現実世界の風景と重ねて表示部２に表示する（ステップＳ４２）。

　ステップＳ４２において制御部９は、モンスター画像ごとに、対応して記憶部８に記憶される位置情報と表示装置１の現在位置との間の距離に基づき、その拡大率を制御する。これにより、遠くにいるモンスターほど小さく見える、というユーザ体験を提供することが可能になる。ただし、このような拡大率の制御を実施すると、遠くの方にモンスターがいるようだがよく見えない、という事態が発生することになる。このような場合、拡大して見たいというのがユーザの心情である。ステップＳ４３以降の動作は、この心情を満足させるために実行されるものである。

　制御部９は、表示中のモンスター画像がタッチされたか否かを判定する（ステップＳ４３）。ここでタッチされていないと判定した場合には、ステップＳ４１に戻って処理を継続する。一方、タッチされたと判定した場合の制御部９は、ＡＲ２モードにエントリする（ステップＳ４４）とともに、タッチされたモンスター画像の位置に基づいて撮像部４の出力映像の切り取り範囲（位置、大きさ）を決定する（ステップＳ４５）。切り取り範囲の位置は、切り取り範囲内にモンスター画像が含まれるように決定される。また、切り取り範囲の大きさは、モンスターとの距離（対応して記憶部８に記憶される位置情報と表示装置１の現在位置との間の距離）が遠いほど小さくすることが好ましいが、ユーザにより予め設定されることとしてもよい。

　また、制御部９は、ステップＳ４５で決定された切り取り範囲の大きさに応じて、モンスター画像の拡大率を変更する（ステップＳ４６）。例えば、切り取り範囲の大きさが撮像部４の出力映像の面積の１／４に相当する場合には、モンスター画像の拡大率を面積比で４倍に設定する。

　続いて制御部９は、ステップＳ４５で決定された切り取り範囲に従って撮像部４の出力映像を切り取り、図１５（ｂ）に示すように、表示部２の全体に拡大表示する（ステップＳ４７）。そして、第２の検出部６により検出される位置情報及び向きから、表示部２上に映っている現実世界の位置範囲を推定し（ステップＳ４８）、タッチされたモンスター画像に対応する位置がその中に含まれるか否かを判定する（ステップＳ４９）。ここで含まれないと判定した場合には、ステップＳ４０のＡＲ１モードでの処理に戻る。一方、含まれると判定した場合には、図１５（ｂ）に示すように、タッチされたモンスター画像をステップＳ４６で決定した拡大率で表示する（ステップＳ５０）。そして、ステップＳ４７に戻り、ＡＲ２モードでの処理を継続する。

　ここで、ステップＳ４９の判定を行うのは、ユーザが表示装置１を動かすことによって、モンスターが表示部２に表示される現実世界の範囲の外に出てしまう場合があるからである。ステップＳ４９の判定結果が否定である場合にはＡＲ１モードに戻るようにすることで、モンスター画像が表示部２内に映らなくなった場合に、制御部９を速やかにＡＲ１モードに戻すことが可能になる。

　本実施の形態によれば、ユーザは、モンスター画像をタッチすることで、遠くにいるモンスターを拡大して確認することが可能になる。しかも、周囲の現実世界の映像も同時に拡大されるので、ユーザは、違和感なくモンスター画像の拡大画像を確認することが可能になる。

　図１７は、本実施の形態の変形例に係る表示装置１の使用状態を示す図である。本変形例による表示装置１は、撮像部４の出力映像を拡大ではなく縮小して表示する点で、本実施の形態による表示装置１と異なる。

　図１７（ａ）に示す初期状態で制御部９はＡＲ１モードであるのは、図１５（ａ）と同様である。ただし、本変形例による表示装置１の制御部９は、表示部２上に切り替えボタンＶ１５を表示する。この切り替えボタンＶ１５をユーザがタッチした場合、制御部９は、自身のモードをＡＲ２モードに切り替え、撮像部４の倍率を１より小さい所定値に設定したうえで、表示部２の表示をカメラである撮像部４の出力映像（の全体）に切り替える。また、モンスター画像についても、撮像部４の倍率に等しい拡大率（縮小率）で表示部２に表示する。こうすることで、表示部２上には、図１７（ｂ）に示すように、より広い範囲の映像がモンスター画像とともに映し出されることになる。

　ユーザは元々モンスターのいる位置（モンスター画像の位置として記憶部８に記憶されている位置情報）を知らないのであるから、図１７（ａ）に示すように、表示部２内にうまくモンスター画像を捉えられない場合がある。そのような場合であっても、切り替えボタンＶ１５を押すことでより広い範囲を確認することが可能になるので、ユーザは、より手軽にモンスターの探索を行えるようになる。

　次に、本発明の第７の実施の形態について説明する。本実施の形態による表示装置１は、第１の実施の形態で説明した機能に加え、医用画像の表示機能を有して構成される。具体的には、ＡＲ１モードでＸ線画像等の透視画像を表示し、非ＡＲモードでＣＴ、ＭＲＩ等のボリュームデータから生成された任意断面の断面画像を表示するよう構成される。

　図１８は、本実施の形態に係る表示装置１の使用状態を示す図である。本実施の形態による記憶部８は、上述した透視画像とボリュームデータとを患者情報（ＩＤ）に基づいて関連付けて記憶する。

　図１９は、本実施の形態に係る表示装置１の制御部９の動作を示す処理フロー図である。以下、このフロー図に沿って、本実施の形態による制御部９の動作を説明する。

　制御部９は、まず初めに初期位置を決めるために、例えばユーザの頭の上に表示装置１の表示部２を上にした状態で乗せるようにユーザに指示する（例えば、表示部２上にこの指示情報を表示する）。初期位置の設定が終わったら、その位置からの移動を第２の検出部６の各種センサで検知する。制御部９は、ＡＲ１モードにエントリし（ステップＳ６０）、表示部２の透過率を第１の値とする。そして、図１８（ａ）に示すように、第２の検出部６で検出された情報から、正面から見た患者の位置に対応する透視画像Ｖ１６を表示部２に表示する（ステップＳ６１）。このとき制御部９は、切り替えボタンＶ１７も表示部２に表示する。透視画像Ｖ１６を表示するにあたり、制御部９は、人体の外側に相当する部分を透明に加工する。その結果、透視画像Ｖ１６の周囲には、図１８（ａ）に示すように、表示装置１の向こう側が透けて見える領域Ａ１が設けられる。

　ここで、図１８（ａ）では、腹部の透視画像である透視画像Ｖ１６を表示中の表示装置１を、患者の腹部の前に掲げている。こうすることで、表示装置１のユーザは、あたかも患者の腹部内が透けて見えているかのような感覚で、透視画像を取り扱うことが可能になる。

　ステップＳ６１で透視画像Ｖ１６を表示した制御部９は、ユーザによって切り替えボタンＶ１７がタッチされたか否かを判定する（ステップＳ６２）。タッチされていないと判定した場合には、透視画像Ｖ１６の表示を継続する。一方、タッチされたと判定した場合、制御部９は、まず第２の検出部６から現在の表示装置１の向きを示すベクトルを取得し、記憶部８に記憶する（ステップＳ６３）。そして、非ＡＲモードにエントリし（ステップＳ６４）、表示部２の透過率を最小値とする。そして、ステップＳ６１で表示した透視画像Ｖ１６と同じ角度に対応付けて記憶部８に記憶される断面画像を表示部２に表示する（ステップＳ６５）。図１８の例では、透視画像Ｖ１６が正面から撮影したものとなっているので、ステップＳ６５では図１８（ｂ）に示すコロナル画像Ｖ２０が表示されることになる。これにより、ユーザにとって自然な画像の切り替えを実現することができる。

　次に制御部９は、第２の検出部６から現在の表示装置１の向きを示すベクトルを再度取得し、ステップＳ６３で記憶したベクトルとなす角度（回転行列）を算出する（ステップＳ６６）。そして、算出した角度に対応する断面画像により、表示部２の表示を更新する（ステップＳ６７）。例えば、算出した角度が９０°上向きの回転を示していたならば、図１８（ｃ）に示すアキシャル画像Ｖ２１により表示部２の表示を更新し、算出した角度が９０°右向きの回転を示していたならば、図１８（ｄ）に示すサジタル画像Ｖ２２により表示部２の表示を更新する。

　ステップＳ６７の後、制御部９は、ユーザによって切り替えボタンＶ１７がタッチされたか否かを再度判定する（ステップＳ６８）。タッチされていないと判定した場合にはステップＳ６６に戻り、非ＡＲモードでの断面画像表示処理を継続する。一方、タッチされたと判定した場合の制御部９は、ステップＳ６０に戻り、ＡＲ１モードでの透視画像表示処理に移行する。なお、同図には示していないが、この後のステップＳ６１では、最後に算出した角度に対応する透視画像を表示することとしてもよい。

　以上説明したように、本実施の形態によれば、ＡＲ１モードで透視画像を表示し、非ＡＲモードで断面画像を表示することが可能になる。しかも、ＡＲ１モードから非ＡＲモードへの切り替えの際には、表示されている透視画像の撮影平面と同じ平面で撮影された断面画像を表示することができるので、ユーザにとって自然な画像の切り替えを実現することが可能になる。また、非ＡＲモードで断面画像を表示している間には、表示装置１の傾きに応じて断面画像をボリュームデータから生成することができるので、断面画像間の切り替えについても、ユーザにとって自然な切り替えを実現することが可能になる。

　なお、本実施の形態において透視画像や断面画像を表示している際にユーザが電子ペン１０で表示部２に入力を行った場合、その結果として得られるストロークデータを表示中の画像と対応付けて記憶部８に記憶することとしてもよい。こうすることで、書き込み内容を後に再度確認することが可能になる。

　次に、本発明の第８の実施の形態について説明する。本実施の形態による表示装置１は、第１の実施の形態で説明した機能に加え、試験問題に正解などの付加情報を追加表示する機能を有して構成される。

　図２０は、本実施の形態に係る表示装置１の使用状態を示す図である。本実施の形態による制御部９は、付加情報追加表示機能を起動する場合、例えばＩＤ／パスワードによるユーザ認証を行う。これにより、ＩＤ／パスワードを知っている者（例えば試験官）のみが付加情報追加表示機能を起動できるようになる。

　また、本実施の形態による記憶部８は、付加情報追加表示機能の対象となる試験問題用紙の構成（１以上の回答欄それぞれの位置を含む）と、各回答欄の正解とを予め記憶している。図２０（ａ）に示した試験問題用紙３４はその一例であり、１以上の回答欄３４ａを有している。

　付加情報追加表示機能を起動した制御部９は、ＡＲ１モード又はＡＲ２モードにエントリした後、撮像部４による撮像を開始する。そして、撮像部４から出力される映像の中に記憶部８によって記憶されている試験問題用紙が現れるまで撮像を続け、記憶部８によって記憶されている試験問題用紙が現れた場合に、映像の中の試験問題用紙の位置に基づいて、その中に含まれる１以上の回答欄それぞれの位置を決定する。この位置決定は、表示装置１の位置が通常一箇所に定まらないことから、所定周期で継続的に実行される。

　制御部９は、各回答欄の位置決定がなされる都度、決定した位置が表示部２内に含まれるか否かを判定し、表示部２内に含まれると判定した回答欄について、表示部２内の対応する位置にその正解を表示する。ここで表示対象となる正解は、各回答欄と対応付けて記憶部８に記憶されるものである。これによりユーザは、各解答欄の正解を表示部２上で確認することが可能になる。

　なお、本実施の形態の対象となる用紙は試験問題に限られるものではなく、教科書、参考書、問題集などについても、表示装置１は上記同様、それぞれに設けられる回答欄に正解を表示できる。

　また、回答欄に対応する表示部２内の領域をユーザがタッチした場合、制御部９は、その回答欄に関するさらなる付加情報（例えば、解説など）を表示することとしてもよい。この場合、この付加情報は、各回答欄と対応付けて記憶部８に予め記憶される。付加情報を表示する際には、制御部９は、非ＡＲモードにエントリし、表示部２の全体を利用して付加情報を表示することとしてもよい。また、付加情報を表示するときに同時に切り替えボタンを表示し、その切り替えボタンをユーザがタッチした場合に、回答欄に正解を表示する状態に戻ることとしてもよい。

　以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

　例えば、上記各実施の形態では、表示装置１が非ＡＲモード、ＡＲ１モード、ＡＲ２モードの３つに対応するものであることを前提として説明したが、本発明の少なくとも一部は、ＡＲ１モード及びＡＲ２モードの一方のみに対応する表示装置１によっても実現可能である。例えば図４の例で言えば、表示装置１が仮にＡＲ２モードに対応していないとしても、図４（ａ）の非ＡＲモードと図４（ｂ）のＡＲ１モードとの間で仮想画像の表示形態を変更することが可能である。また、表示装置１が仮にＡＲ１モードに対応していないとしても、図４（ａ）の非ＡＲモードと図４（ｃ）のＡＲ２モードとの間で仮想画像の表示形態を変更することが可能である。

　また、上記各実施の形態では、表示装置１の形状が円形であるとしたが、表示装置１の形状を四角形などの他の形状としてもよいことは勿論である。

１，１ａ，１ｂ　　　　　表示装置
２　　　　　　　　　　　表示部
３　　　　　　　　　　　筐体
４　　　　　　　　　　　撮像部
５　　　　　　　　　　　第１の検出部
６　　　　　　　　　　　第２の検出部
７　　　　　　　　　　　通信部
８　　　　　　　　　　　記憶部
９　　　　　　　　　　　制御部
１０　　　　　　　　　　電子ペン
２０　　　　　　　　　　カメラ
２１　　　　　　　　　　赤道儀
３０　　　　　　　　　　ネットワーク
３１　　　　　　　　　　光源
３２　　　　　　　　　　スクリーン
３３　　　　　　　　　　建造物
３４　　　　　　　　　　試験問題用紙
３４ａ　　　　　　　　　回答欄
Ｖ２　　　　　　　　　　人画像
Ｖ４　　　　　　　　　　緯度経度表示部
Ｖ５　　　　　　　　　　日時表示部
Ｖ６　　　　　　　　　　マーク
Ｖ７　　　　　　　　　　オリオン座画像
Ｖ８　　　　　　　　　　星座画像
Ｖ９　　　　　　　　　　戻るボタン
Ｖ１０　　　　　　　　　仮想天体画像
Ｖ１１，Ｖ１５，Ｖ１７　切り替えボタン
Ｖ１２　　　　　　　　　線画像
Ｖ１３　　　　　　　　　スライダー
Ｖ１４　　　　　　　　　モンスター画像
Ｖ１６　　　　　　　　　透視画像
Ｖ２０　　　　　　　　　コロナル画像
Ｖ２１　　　　　　　　　アキシャル画像
Ｖ２２　　　　　　　　　サジタル画像
Ｖ２３　　　　　　　　　オブリーク画像
ＶＡ　　　　　　　　　　天体表示領域
ＶＭ　　　　　　　　　　マスク領域

Claims

　透明性の表示部と、
　前記表示部上における指示体の指示位置を検出する第１の検出部と、
　前記表示部の位置情報及び向きを検出する第２の検出部と、
　前記位置情報及び前記向きに対応する仮想画像を前記表示部に表示させ、前記指示位置に応じて前記仮想画像の表示形態を変更する制御部と、
　を備えることを特徴とする表示装置。
　前記制御部は、前記表示部の透過率を変更することを特徴とする請求項１に記載の表示装置。
　前記表示部は、透過率を変更可能に構成され、
　前記制御部は、前記表示部の透過率を第１の値とするＡＲ１モードと、前記表示部の透過率を前記第１の値より小さい第２の値とすることにより、前記仮想画像を前記表示部に表示させる非ＡＲモードと、を少なくとも含む複数のモードのいずれかで動作可能に構成され、
　前記制御部はさらに、前記ＡＲ１モードで動作中に第１の画像を前記表示部に表示させ、前記指示位置が前記第１の画像上の位置である場合に、自身のモードを前記非ＡＲモードに切り替えることによって前記仮想画像の表示形態を変更するよう構成される
　ことを特徴とする請求項１又は２に記載の表示装置。
　前記複数のモードは、前記表示部の透過率を前記第１の値より小さい第３の値とし、かつ、撮像部の出力映像に前記仮想画像を重ねて前記表示部に表示させることにより、前記仮想画像を前記表示部に表示させるＡＲ２モードを含む
　ことを特徴とする請求項３に記載の表示装置。
　前記表示部は、透過率を変更可能に構成され、
　前記制御部はさらに、第２の画像を前記表示部に表示させ、前記指示位置の前記第２の画像上における位置に基づいて前記表示部の透過率を制御するよう構成される
　ことを特徴とする請求項１に記載の表示装置。
　前記制御部は、前記指示位置に基づいてストロークデータを生成し、前記表示部に表示させることを特徴とする請求項１乃至５のいずれか一項に記載の表示装置。
　前記制御部は、前記仮想画像の拡大率を変更することを特徴とする請求項１乃至６のいずれか一項に記載の表示装置。
　透明性の表示部を有する表示装置の制御方法であって、
　前記表示部上における指示体の指示位置を検出する第１の検出工程と、
　前記表示部の位置情報及び向きを検出する第２の検出工程と、
　前記位置情報及び前記向きに対応する仮想画像を前記表示部に表示させる表示工程と、
　前記指示位置に応じて前記仮想画像の表示形態を変更する制御工程と、
　を含むことを特徴とする表示装置の制御方法。
　前記制御工程は、前記表示部の透過率を変更することを特徴とする請求項８に記載の表示装置の制御方法。
　前記表示部は、透過率を変更可能に構成され、
　前記表示装置は、前記表示部の透過率を第１の値とするＡＲ１モードと、前記表示部の透過率を前記第１の値より小さい第２の値とすることにより、前記仮想画像を前記表示部に表示させる非ＡＲモードと、を少なくとも含む複数のモードのいずれかで動作可能に構成され、
　前記表示工程はさらに、前記ＡＲ１モードで前記表示装置が動作中に第１の画像を前記表示部に表示し、
　前記制御工程はさらに、前記指示位置が前記第１の画像上の位置である場合に、前記表示装置のモードを前記非ＡＲモードに切り替えることによって前記仮想画像の表示形態を変更する
　ことを特徴とする請求項８又は９に記載の表示装置の制御方法。
　前記複数のモードは、前記表示部の透過率を前記第１の値より小さい第３の値とし、かつ、撮像部の出力映像に前記仮想画像を重ねて表示することにより、前記仮想画像を前記表示部に表示させるＡＲ２モードを含む
　ことを特徴とする請求項１０に記載の表示装置の制御方法。
　前記表示部は、透過率を変更可能に構成され、
　前記表示工程はさらに、第２の画像を前記表示部に表示させ、
　前記制御工程は、前記指示位置の前記第２の画像上における位置に基づいて前記表示部の透過率を制御する
　ことを特徴とする請求項８に記載の表示装置の制御方法。
　前記制御工程は、前記指示位置に基づいてストロークデータを生成し、前記表示部に表示させることを特徴とする請求項８乃至１２のいずれか一項に記載の表示装置の制御方法。
　前記制御工程は、前記仮想画像の拡大率を変更することを特徴とする請求項８乃至１３のいずれか一項に記載の表示装置の制御方法。