JPWO2014091824A1 - 表示制御装置、表示制御方法およびプログラム - Google Patents

Abstract

【課題】複数の表示コンテンツをより適切に表示する。【解決手段】画像を観察するユーザの状態を検出する状態検出部と、複数の表示コンテンツが撮像画像に重畳された上記画像をディスプレイに表示させ、上記ユーザの状態に応じて上記各表示コンテンツの挙動を制御する表示制御部とを含む表示制御装置が提供される。【選択図】図３０

Description

本開示は表示制御装置、表示制御方法およびプログラムに関する。

近年、実空間を撮像して得られる画像に情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。こうした技術では、例えば特許文献１に記載されているように、３次元空間（ＡＲの場合は実空間）に配置されたオブジェクトが画像として表示される。なお、特許文献１では、画像内で情報が混雑する状況において、よりわかりやすく情報を呈示する技術が提案されている。

特開２０１２−５８８３８号公報

しかしながら、上記のような技術はまだ開発されて日が浅く、例えば空間に配置された複数のオブジェクトを、表示コンテンツとしてどのようにして表示するのが適切であるかといった観点からの技術は、まだ十分に提案されているとはいい難い。

そこで、本開示では、複数の表示コンテンツをより適切に表示することを可能にする、新規かつ改良された表示制御装置、表示制御方法およびプログラムを提案する。

本開示によれば、画像を観察するユーザの状態を検出する状態検出部と、複数の表示コンテンツが撮像画像に重畳された上記画像をディスプレイに表示させ、上記ユーザの状態に応じて上記各表示コンテンツの挙動を制御する表示制御部とを含む表示制御装置が提供される。

また、本開示によれば、複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させることと、上記画像を観察するユーザの状態を検出することと、上記ユーザの状態に応じて上記各表示コンテンツの挙動を制御することとを含む表示制御方法が提供される。

また、本開示によれば、複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させる機能と、上記画像を観察するユーザの状態を検出する機能と、上記ユーザの状態に応じて上記各表示コンテンツの挙動を制御する機能とをコンピュータに実現させるためのプログラムが提供される。

複数の表示コンテンツを観察するユーザの状態に応じてこれらの表示コンテンツの挙動を制御することで、複数の表示コンテンツをより適切に表示することができる。

以上説明したように本開示によれば、複数の表示コンテンツをより適切に表示することができる。

本開示の一実施形態に係る画像表示の概要について説明するための図である。 図１の例において左側から画像を観察する場合を示す図である。 図１の例において右側から画像を観察する場合を示す図である。 図１の例において画像に近づいた場合を示す図である。 図２〜図４に示した例について概念的に説明するための図である。 本開示の一実施形態における負荷軽減のための処理の第１の例を示すフローチャートである。 本開示の一実施形態における負荷軽減のための処理の第２の例を示すフローチャートである。 本開示の一実施形態における注目領域について説明するための図である。 本開示の一実施形態における負荷軽減のための処理の第３の例を示すフローチャートである。 本開示の一実施形態におけるオブジェクト画像の初期表示サイズの例を示す図である。 本開示の一実施形態におけるオブジェクト画像の初期表示サイズの例を示す図である。 本開示の一実施形態におけるオブジェクト画像の表示サイズの設定例を示すグラフである。 本開示の一実施形態においてユーザの目線に応じて表示されるオブジェクト画像の例を示す図である。 本開示の一実施形態においてユーザの目線に応じて表示されるオブジェクト画像の例を示す図である。 本開示の一実施形態における画像表示の処理の例を示すフローチャートである。 本開示の一実施形態における音声出力の処理の例を示すフローチャートである。 本開示の一実施形態において、ＳＬＡＭ（Simultaneous Localization and Mapping）を利用してオブジェクトの影を表示する例を示す図である。 本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する例を示す図である。 本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する例を示す図である。 本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する処理の例を示すフローチャートである。 本開示の一実施形態において、床面を基準にしてオブジェクトを表示する例を示す図である。 本開示の一実施形態におけるコメントの表示の例を示す図である。 本開示の一実施形態におけるコメントの表示の例を示す図である。 本開示の一実施形態におけるコメントの表示の例を示す図である。 本開示の一実施形態におけるクーポンの表示の例を示す図である。 本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の表示例を示す図である。 本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第１のシステム構成例を示す図である。 本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第２のシステム構成例を示す図である。 本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第３のシステム構成例を示す図である。 本開示の一実施形態に係る画像表示のための第１の機能構成例を示す図である。 本開示の一実施形態に係る画像表示のための第２の機能構成例を示す図である。 本開示の一実施形態に係る画像表示のための第３の機能構成例を示す図である。 本開示の一実施形態において、表示される画像を録画する場合の構成例である。 表示制御装置のハードウェア構成を説明するためのブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．オブジェクト画像の配置
３．処理負荷軽減のための処理
４．スケールの設定および画像の選択
５．音声の処理
６．ＳＬＡＭを利用した表示
７．ユーザの注目領域情報の利用
８．ユーザの視点位置情報の利用
９．機能構成例
１０．ハードウェア構成
１１．補足

（１．概要）
まず、図１を参照して、本開示の一実施形態に係る画像表示の概要について説明する。

図１は、本開示の一実施形態に係る画像表示の概要について説明するための図である。図１を参照すると、端末装置１００（例えば、スマートフォン、ＰＣ（Personal Computer）、携帯ゲーム機など）が、内蔵しているカメラを用いてポスター１０を含む実空間を撮像する。ここで、ポスター１０にはマーカ１１が含まれる。端末装置１００は、撮像して得られた画像をディスプレイ１１０にスルー画像として表示させるとともに、画像に含まれるマーカ１１を認識し、マーカ１１によって示される情報を用いてサーバからオブジェクト画像１２を取得し、スルー画像に重畳してディスプレイ１１０に表示させる。

図示された例では、オブジェクト画像１２ａ〜１２ｅが表示される。オブジェクト画像１２ａは、ポスター１０の手前側の空間に配置されたステージを表示する画像であり、オブジェクト画像１２ｂ〜１２ｅは、ステージ上で演奏するバンドのメンバーを表示する画像である。このように、端末装置１００のディスプレイ１１０に表示される画像は、空間（実空間）おいて表示位置が定義される複数のオブジェクト（ステージおよびバンドメンバー）を表示する複数の表示コンテンツ（オブジェクト画像１２ａ〜１２ｅ）を含む画像である。

（２．オブジェクト画像の配置）
次に、図２〜図５を参照して、本開示の一実施形態におけるオブジェクト画像の配置について説明する。上述したような画像表示では、ユーザが様々な角度から端末装置１００でポスター１０を撮像し、オブジェクト画像１２を表示させる。また、端末装置１００は容易に移動できるため、オブジェクト画像１２が表示された状態で、端末装置１００の姿勢や、端末装置１００とポスター１０との位置関係が変化することも多い。

このような場合に、例えば端末装置１００の姿勢や端末装置１００とポスター１０との位置関係に関わらず同じオブジェクト画像１２が表示されると、例えばオブジェクト画像１２の中の特定の部分に注目してその部分に端末装置１００のカメラを近づけたような場合にも表示が変化せず、リアリティが減殺されてしまう。

例えば、オブジェクト画像１２全体を１つの多視点画像とし、端末装置１００とポスター１０との位置関係に応じて表示する画像を異なる視点画像に切り替えることも考えられるが、オブジェクト画像１２を表示する端末装置１００は多くの場合処理能力が高くないため、現実的ではない。本実施形態では、より現実的な方法で、リアリティをもったオブジェクト画像１２の表示を可能にする。

図２は、図１の例において左側から画像を観察する場合を示す図である。本実施形態では、オブジェクトのそれぞれについて、実空間におけるマーカ１１を基準にした相対的な表示位置が定義され、各オブジェクト画像１２は、それぞれのオブジェクトの表示位置に対応して配置されるレイヤ画像として重畳表示されている。従って、ユーザがポスター１０の左側から画像を観察した場合、ステージの左側、すなわち端末装置１００からみて手前に立つメンバーを表示するオブジェクト画像１２ｂは、手前に大きく表示される。一方、ステージの右側、すなわち端末装置１００からみて奥に立つメンバーを表示するオブジェクト画像１２ｅは、奥に小さく表示される。

図３は、図１の例において右側から画像を観察する場合を示す図である。図２の例とは逆に、ユーザがポスター１０の右側から画像を観察した場合、ステージの右側、すなわち端末装置１００からみて手前に立つメンバーを表示するオブジェクト画像１２ｅが、手前に大きく表示される。一方、ステージの左側、すなわち端末装置１００からみて奥に立つメンバーを表示するオブジェクト画像１２ｂは、奥に小さく表示される。また、中央のメンバー（ギター）を表示するオブジェクト画像１２ｄと、奥のメンバー（ドラム）を表示するオブジェクト画像１２ｃとの左右の位置関係が、図２の例とは逆になっている。

図４は、図１の例において画像に近づいた場合を示す図である。ユーザが画像に近づくと、各オブジェクトの表示位置と端末装置１００との距離が近くなる。本実施形態では、このような場合、実際のオブジェクトに近づいた場合と同様に、オブジェクトが拡大表示される。図示された例では、オブジェクト画像１２の中央付近に表示されている２人のメンバーを表示するオブジェクト画像１２ｃ，１２ｄが拡大表示されている。一方、距離が近くなったことによって画像の表示範囲は狭くなり、他の２人のメンバーを表示するオブジェクト画像１２ｂ，１２ｅは、表示範囲の外に出ている。

図５は、図２〜図４に示した例について概念的に説明するための図である。上述したように、本実施形態では、各オブジェクトについて、ポスター１０を基準にした実空間での表示位置が定義されている。図５では、各オブジェクトについて定義される位置を、左右方向をｘ軸、上下方向をｙ軸、奥行き方向をｚ軸とする座標系によって表現しているが、オブジェクトの位置の定義にはこの例には限らず任意の座標系が用いられうる。

本実施形態において、オブジェクト画像１２は、アルファチャネルが設定された２次元画像として表示される。つまり、本実施形態において、オブジェクト画像１２は、オブジェクトを表示する部分以外では透明であり、後方に位置する他のオブジェクト画像を透過表示させるレイヤ画像である。なお、各オブジェクト画像１２の透過部分は図示されていない。

また、オブジェクト画像１２は、ユーザの視点位置の移動に応じて、対応するオブジェクトの表示位置を基準にして回転して表示される（図示された例ではｙ軸周りの回転）。これによって、視点位置の移動に関わらず、各オブジェクト画像１２によって表示されるオブジェクトが視点位置（端末装置１００の位置）に正対する。図では、オブジェクト画像１２が端末装置１００Ｒに向けて正対した状態が実線で示され、端末装置１００Ｌに向けて正対した状態が仮想線で示されている。図から明らかなように、端末装置１００Ｒに対する表示と端末装置１００Ｌに対する表示との間では、オブジェクト画像１２のレイヤが重畳される順序が異なっている。

さらに、図では、図２の例における端末装置１００が端末装置１００Ｌとして、図３の例における端末装置１００が端末装置１００Ｒとして、図４の例における端末装置１００が端末装置１００Ｃとして、それぞれ図示されている。本実施形態における画像の表示あたっては、これらの端末装置１００の位置（ユーザの視点位置）も、例えばオブジェクト画像１２の位置と同様にして定義される。視点位置は、例えば、カメラで撮像された画像に写ったマーカ１１のサイズや形状に基づいて、端末装置１００からポスター１０までの距離や、ポスター１０に対する端末装置１００の角度（水平方向／上下方向）を算出することによって特定されうる。なお、端末装置１００の角度は、端末装置１００が有する加速度センサや地磁気センサなどのセンサの検出結果と予め登録されたポスター１０の位置情報とに基づいて特定されてもよい。

このように、各オブジェクト画像１２が３次元位置を有し、視点位置に応じて相互の位置関係を保ったまま見え方が変化することによって、オブジェクト画像１２として表示される画像について、ユーザが実物を見ているかのようなリアリティを感じることが可能になる。

なお、図５に示した例は一例であり、図２〜図４に示したような表示を実現するために他の構成も可能である。例えば、オブジェクト画像１２は、端末装置１００との相対角度によって応じて表示が変化する複数視点画像であってもよい。また、後述するように、例えば２次元画像の正対表示と複数視点画像の表示とが、所定の条件によって切り替えられてもよい。

（３．処理負荷軽減のための処理）
次に、図６〜９を参照して、本開示の一実施形態における処理負荷軽減のための処理について説明する。本開示の一実施形態に係る画像表示の処理を実行する端末装置１００は多くの場合処理能力が高くないため、画像表示にあたっては処理負荷の軽減が求められる。

（３−１．第１の例）
図６は、本開示の一実施形態における負荷軽減のための処理の第１の例を示すフローチャートである。この第１の例では、例えば図４に示した場合のように、ユーザの視点位置が移動したことによって一部のオブジェクトが表示範囲に含まれなくなった場合に、そのようなオブジェクトを表示する画像を描画しないことによって処理負荷を軽減する。

処理ではまず、端末装置１００において、オブジェクト画像ごとの判定処理が実行される（ステップＳ１０１）。ここでは各オブジェクト画像が表示するオブジェクトが表示範囲に含まれるか否かが判定される（ステップＳ１０３）。オブジェクトが表示範囲に含まれるか否かは、例えば撮像画像に含まれるマーカ１１の形状に基づいて特定される端末装置１００のカメラの位置（視点位置）の情報に基づいて判定することが可能である。

上記のステップＳ１０３の判定において、オブジェクトが表示範囲に含まれると判定された場合（ＹＥＳ）、そのオブジェクトを表示するオブジェクト画像を描画対象に設定する（ステップＳ１０５）。一方、オブジェクトが表示範囲に含まれないと判定された場合（ＮＯ）、オブジェクト画像は描画対象に設定されない。

上記のようなオブジェクト画像ごとの判定処理の後、描画対象に設定されたオブジェクト画像について描画処理が実行される（ステップＳ１０７）。ここでの描画処理は、オブジェクトが表示範囲に含まれるオブジェクト画像を対象とするため、例えば図４に示した場合のように一部のオブジェクトが表示範囲に含まれていない場合には、すべてのオブジェクト画像を対象にした描画処理よりも処理負荷が低い。なお、本明細書における「描画処理」は、デコードの処理を含みうる。

（３−２．第２の例）
この第２の例では、例えば図２〜図４に示した場合のようにユーザの視点位置とオブジェクトの表示位置との関係が変化する場合に、視点位置により近い表示位置を有するオブジェクトを表示するオブジェクト画像１２のクオリティをより高くする。視点位置により近い表示位置を有するオブジェクトは、ユーザにとってより目立つ、あるいはユーザが注目している可能性があるオブジェクトと推定されるため、このようなオブジェクトが高いクオリティで表示されることによって、ユーザが感じる画像全体のクオリティを効率的に向上させることができる。

オブジェクト画像のクオリティを高くする方法の例として、オブジェクト画像が対応する視点数を増加させてもよい。より具体的には、例えば、オブジェクト画像として表示される画像が、図５で説明したような正対表示される２次元画像と複数視点画像との間で切り替えられてもよい。２次元画像（単一視点画像）ではオブジェクトを単一の視点からオブジェクトを見た場合の画像が視点位置に関わらず用いられるのに対し、複数視点画像では複数の視点からそれぞれオブジェクトを見た場合の画像が用意され、視点位置からオブジェクトを見る視線の角度に応じて選択的に用いられる。

従って、例えば図５の例でオブジェクト画像１２として複数視点画像を表示する場合、視点位置が左斜め前にある場合（端末装置１００Ｌの場合）と、視点位置が右斜め前にある場合（端末装置１００Ｒの場合）とでは、表示されるオブジェクト画像１２が異なりうる。このように、オブジェクト画像として複数視点画像を表示すれば、ユーザの位置に応じてオブジェクトの向きが変化して表示されるため、ユーザは画像によりリアリティを感じることができる。しかしながら、オブジェクト画像として複数視点画像を表示する場合、画像のデコードや描画の処理負荷が２次元画像を表示する場合よりも大きくなる。

そこで、例えば、ユーザの視点位置とオブジェクトの表示位置との関係に応じて、ユーザにとってより目立つ、あるいはユーザが注目している可能性があるオブジェクトについては複数視点画像でオブジェクト画像を表示し、そうではないオブジェクトについては二次元画像でオブジェクト画像を表示すれば、処理負荷を抑制することができる。

なお、切り替え前後のオブジェクト画像は、上記の例のように２次元画像（単一視点画像）と複数視点画像とには限定されない。別の例として、複数視点画像同士（より少ない視点に対応する画像と、より多い視点に対応する画像）の間で切り替えが実施されてもよい。

また、オブジェクト画像のクオリティを高くする方法の別の例として、オブジェクト画像の解像度を上げてもよい。オブジェクト画像の解像度を上げれば、オブジェクトはより詳細に表示されるが、画像のデコードや描画の処理負荷がより大きくなる。そこで、例えば、ユーザの視点位置とオブジェクトの表示位置との関係に応じて、ユーザにとってより目立つ、あるいはユーザが注目している可能性があるオブジェクトについてはオブジェクト画像の解像度を上げ、そうではないオブジェクトについてはオブジェクト画像の解像度を低く抑えれば、処理負荷を抑制することができる。

なお、オブジェクト画像の解像度を変更する場合、同じオブジェクトを異なる解像度で表示する複数のオブジェクト画像が用意されていれば、それらの画像のうちどの画像を選択するかを切り替えればよい。あるいは、描画処理時のループフィルタのＯＮ／ＯＦＦ、デブロッキングフィルタやアンシャープマスクなどのポストプロセスのＯＮ／ＯＦＦ、描画するテクスチャのサブサンプルなどによって実質的な解像度を変更することも、「解像度の変更」に含まれうる。

図７は、本開示の一実施形態における負荷軽減のための処理の第２の例を示すフローチャートである。処理ではまず、端末装置１００において、オブジェクト画像ごとの判定処理が実行される（ステップＳ２０１）。ここでは各オブジェクト画像が表示するオブジェクトの表示位置が視点位置に近いか否かが判定される（ステップＳ２０３）。ここでの判定に用いられる表示位置および視点位置は、例えば図５に示した例のように定義されたものでありうる。位置同士が近いか否かは、例えば算出された距離が所定の閾値よりも小さいか否かによって判定されうる。

上記のステップＳ２０３の判定において、表示位置が視点位置に近いと判定された場合（ＹＥＳ）、そのオブジェクトを表示するオブジェクト画像として視点が多い／解像度が高い画像を選択する（ステップＳ２０５）。一方、表示位置が視点位置に近くないと判定された場合（ＮＯ）、そのオブジェクト表示するオブジェクト画像として視点が少ない／解像度が低い画像を選択する（ステップＳ２０７）。

上記のようなオブジェクト画像ごとの判定処理の後、各オブジェクト画像について描画処理が実行される（ステップＳ２０９）。ここでの描画処理は、表示位置が視点位置に近いオブジェクト画像については多くの視点／高い解像度で描画するために処理負荷が高いものの、それ以外のオブジェクト画像については少ない視点／低い解像度で描画するため処理負荷が抑えられる。

なお、この第２の例において、オブジェクト画像の視点数の変更と、オブジェクト画像の解像度の変更とは、そのいずれかが実施されてもよいし、両方が実施されてもよい。つまり、視点位置に近い表示位置を有するオブジェクトを表示するオブジェクト画像は、多くの視点かつ高い解像度の画像で描画されうる。また、視点数および解像度は、いずれも図示したように２段階（表示位置が視点位置に近いか否か）ではなく、３段階以上（例えば表示位置が視点位置にどの程度近いか）で切り替えられてもよい。

また、上記の第２の例は、第１の例と組み合わされてもよい。その場合、例えば、第１の例に示したような、オブジェクトが表示範囲に含まれるか否かに応じてオブジェクト画像を描画対象に設定するか否かが判定された後に、描画対象に設定されたオブジェクト画像について、オブジェクトの表示位置とユーザの視点位置との関係に応じて視点数または解像度が設定されうる。

（３−３．第３の例）
図８は、本開示の一実施形態における注目領域について説明するための図である。本実施形態では、例えば第１の例に示した表示範囲や、第２の例に示したオブジェクトとユーザとの位置関係の他に、画像におけるユーザの注目領域が、負荷軽減のための処理に用いられうる。

図示された例において、注目領域２１は、ディスプレイ１１０に表示される画像の中央付近に設定される。本実施形態において、ユーザは端末装置１００を移動させることによって、任意の角度からオブジェクト画像１２を観察することが可能であるため、そのような移動の結果、ディスプレイ１１０の中心に位置している領域は、ユーザが注目している領域と推定される。この場合、注目領域２１はオブジェクト画像１２ｃ，１２ｄを含んでいる。従って、ユーザは、オブジェクト画像１２ｃ，１２ｄに注目していると推定される。

別の例として、例えば、端末装置１００としてヘッドマウントディスプレイ（Head Mounted Display）であるような場合には、ユーザの視線検出によって注目領域が特定されてもよい。また、後述する例のように、ディスプレイ１１０に表示された画像の中の特定の位置に対してユーザが何らかのアクションを起こすことが可能である場合には、そのアクションの対象になった位置を含む領域を注目領域として特定してもよい。

図９は、本開示の一実施形態における負荷軽減のための処理の第３の例を示すフローチャートである。この第３の例では、上述したユーザの注目領域を基準として用いて、ユーザが注目していると推定されるオブジェクト画像のクオリティをより高くする。これによって、ユーザが感じる画像全体のクオリティを効率的に向上させることができる。なお、オブジェクト画像のクオリティをより高くするための具体的な方法としては、例えば上記の第２の例で用いられた視点数の変更や、解像度の切り替えが用いられうる。

処理ではまず、端末装置１００において、オブジェクト画像ごとの判定処理が実行される（ステップＳ３０１）。ここでは各オブジェクト画像が注目領域に含まれるか否かが判定される（ステップＳ３０３）。ここでの判定に用いられる注目領域は、例えば図８に示した例のように表示部の中央付近などの所定の領域として設定された領域でありうる。

上記のステップＳ３０３の判定において、オブジェクト画像が注目領域に含まれると判定された場合（ＹＥＳ）、視点が多い／解像度が高い画像をオブジェクト画像として選択する（ステップＳ３０５）。一方、オブジェクト画像が注目領域に含まれないと判定された場合（ＮＯ）、視点が少ない／解像度が低い画像をオブジェクト画像として選択する（ステップＳ３０７）。

上記のようなオブジェクト画像ごとの判定処理の後、各オブジェクト画像について描画処理が実行される（ステップＳ３０９）。ここでの描画処理は、ユーザが注目していると推定されるオブジェクト画像については多くの視点／高い解像度で描画するため処理負荷が高いものの、それ以外のオブジェクト画像については少ない視点／低い解像度で描画するため処理負荷が抑えられる。

なお、この第３の例でも、オブジェクト画像の視点数の切り替えと、オブジェクト画像の解像度の切り替えとは、そのいずれかが実施されてもよいし、両方が実施されてもよい。つまり、注目領域に含まれるオブジェクト画像は、多くの視点かつ高い解像度で描画されうる。また、視点数および解像度は、いずれも図示したように２段階（オブジェクト画像が注目領域に含まれるか否か）ではなく、３段階以上（例えばオブジェクト画像のどのぐらいの部分が注目領域に含まれるか）で切り替えられてもよい。

また、上記の第３の例は、第１の例および／または第２の例と組み合わされてもよい。その場合、例えば、第１の例に示したような、オブジェクトが表示範囲に含まれるか否かに応じてオブジェクト画像を描画対象に設定するか否かが判定された後に、描画対象に設定されたオブジェクト画像について、注目領域との関係に応じて視点数または解像度が設定されうる。あるいは、オブジェクトの表示位置とユーザの視点位置との関係、およびオブジェクト画像と注目領域との関係の両方に基づいて算出される指標値を用いた判定によって視点数または解像度が設定されてもよい。

例えば上記の第１の例によって描画対象になるオブジェクト画像が限定された場合、描画対象に設定されたオブジェクト画像の数に応じて、各オブジェクト画像の解像度または視点数が決定されうる。これは、画像の描画のために利用可能なリソースを、描画対象に設定されたオブジェクト画像で分配する処理ともいえる。従って、描画対象に設定されたオブジェクト画像が多ければ解像度は低く、視点数は少なくなる。一方、描画対象に設定されたオブジェクト画像が少なければ解像度は高く、視点数は多くなる。この場合、さらに、描画対象に設定されたオブジェクト画像の間で第２の例または第３の例のような判定が実施され、ユーザが注目しているオブジェクト画像にリソースが優先的に配分されてもよい。

（４．スケールの設定および画像の選択）
次に、図１０〜図１５を参照して、本開示の一実施形態におけるスケールの設定および画像の選択について説明する。

例えば図１に例示したような画像表示にあたって、オブジェクト画像１２の表示位置の基準になるポスター１０と、ユーザがオブジェクト画像１２を含む画像を観察するのに用いる端末装置１００との位置関係は、さまざまに変化しうる。例えば、ポスター１０は、公共の場所に貼られており、通りかかったユーザが端末装置１００のカメラを向けることによってディスプレイ１１０にオブジェクト画像１２が表示される。

このような場合、ポスター１０と端末装置１００との間の距離や、ポスター１０に対する端末装置１００の角度は、ポスター１０の貼られた場所や、ユーザがポスター１０をどこから観察するかによって異なる。

（４−１．スケールの設定）
例えば、掲示板に貼られたポスター１０を、ユーザが至近距離から観察する場合と、道路を挟むなどして離れた位置から観察する場合とで、ポスター１０と端末装置１００との間の距離は大きく異なり、端末装置１００のカメラによる撮像画像に含まれるマーカ１１のサイズも大きく変化する。ここで、例えば撮像画像に含まれるマーカ１１のサイズにオブジェクト画像１２の表示サイズを比例させると、オブジェクト画像１２が大きすぎたり小さすぎたりして視認が困難な場合がある。その一方で、撮像画像に含まれるマーカ１１のサイズにかかわらずオブジェクト画像１２の表示サイズが一定だと、ユーザがマーカ１１に近づいたり離れたりしてもオブジェクト画像１２の表示サイズが変化せず、リアリティが減殺されてしまう。

そこで、本開示の一実施形態では、オブジェクト画像１２の表示サイズの設定手順として、端末装置１００において最初にオブジェクト画像１２が表示されるとき、より具体的には例えばオブジェクト画像１２を表示させるアプリケーションが起動されたときの端末装置１００（視点位置）からマーカ１１までの距離に応じて、オブジェクト画像１２が表示する各オブジェクトの表示位置配置のスケールと、オブジェクト画像１２の初期表示サイズとを決定する。その後は、初期表示サイズを基準にして撮像画像に含まれるマーカ１１のサイズの変化に応じてオブジェクト画像１２の表示サイズを変化させる。初期表示サイズの決定後の撮像画像に含まれるマーカ１１のサイズの変化とオブジェクト画像１２のサイズ変化との割合は、初期表示サイズに関わらず同様であってもよい。

図１０および図１１は、本開示の一実施形態におけるオブジェクト画像の初期表示サイズの例を示す図である。図１０は、撮像画像に含まれるポスター１０ｓが比較的小さく、従ってマーカ１１ｓも比較的小さい場合に表示されるオブジェクト画像１２ｓを示し、図１１は、撮像画像に含まれるポスター１０ｂが比較的大きく、従ってマーカ１１ｂも比較的大きい場合に表示されるオブジェクト画像１２ｂを示す。このとき、オブジェクト画像１２の表示サイズが変化しているのに合わせて、各オブジェクトの表示位置配置のスケールも変化している。より具体的には、オブジェクト画像１２ｓよりもオブジェクト画像１２ｂの方が、より大きい間隔で各オブジェクトの表示位置が配置されている。

図示されるように、撮像画像に含まれるマーカ１１ｂのサイズはマーカ１１ｓの２倍程度あるが、オブジェクト画像１２ｂのサイズはオブジェクト画像１２ｓよりも少し大きい程度であまり変わらない。このように、本実施形態では、撮像画像に含まれるマーカ１１のサイズによるオブジェクト画像１２のサイズの変動が大きすぎてオブジェクト画像１２の視認性が低下しないようにオブジェクト画像１２の初期表示サイズが決定される。

図１２は、本開示の一実施形態におけるオブジェクト画像の表示サイズの設定例を示すグラフである。実線のグラフは、撮像画像中のマーカ１１のサイズに対して決定されるオブジェクト画像１２の初期表示サイズを示す。破線のグラフは、オブジェクト画像１２の初期表示サイズの決定後に、端末装置１００の移動などによる撮像画像中のマーカ１１のサイズの変化に応じて設定されるオブジェクト画像１２の表示サイズの変化を示す。なお、図中の点Ｐｓは図１０の例に対応し、点Ｐｂは図１１の例に対応する。

図示された例では、上記の図１０および図１１で説明したようなオブジェクト画像１２の初期表示サイズの設定が、撮像画像中のマーカ１１のサイズが大きい場合（グラフの左側）および小さい場合（グラフの右側）で、マーカ１１のサイズに対する初期表示サイズの変化を抑制することで実現されている。この場合、撮像画像中のマーカ１１が小さい場合と大きい場合とで、オブジェクト画像１２のサイズはいくらか変化するものの、大きくは変化しない。

なお、このようなグラフの形状は一例にすぎず、オブジェクト画像１２のサイズが大きくなりすぎたり小さくなりすぎたりすることによる視認性の低下を防ぐものであれば、他にもさまざまな設定が可能である。例えば、オブジェクト画像１２の初期表示サイズを、撮像画像中のマーカ１１のサイズに関わらず一定値にすることも可能である。また、図示された曲線の代わりに、傾きの緩やかな直線を設定することも可能である。

一方、オブジェクト画像１２の初期表示サイズの決定後の表示サイズは、上述した初期サイズの決定とは異なり、撮像画像中のマーカ１１のサイズの変化に大きく依存して変化しうる。図示された例では、設定された初期表示サイズ（例えば点Ｐｓおよび点Ｐｂによって表されるサイズ）を基準にして、撮像画像中のマーカ１１のサイズが大きくなった場合にはオブジェクト画像１２のサイズがより大きくなり、逆にマーカ１１のサイズが小さくなった場合にはオブジェクト画像のサイズがより小さくなる。

この場合のオブジェクト画像１２の表示サイズの変化を示すグラフ（破線で示す）は、初期表示サイズの変化を示すグラフ（実線で示す）よりもずっと急な形状を有するものでありうる。これは、一つには、ユーザがオブジェクト画像１２の表示を拡大／縮小しようと意図した場合、ユーザが端末装置１００を動かすことが可能な範囲は限られているためである。例えば、道路を挟んだ位置にあるポスター１０を撮像したときに表示されたオブジェクト画像１２を拡大したいために、わざわざ道路を横断してポスター１０に近づくユーザは少ない。本実施形態では、オブジェクト画像１２の初期表示サイズが決定された後は、撮像画像に含まれるマーカ１１のサイズの変化に応じてオブジェクト画像１２のサイズを大きく変化させることで、「オブジェクトが近づけば大きくなり、遠ざかれば小さくなる」というリアリティを保つ。

（４−２．画像の選択）
また、別の例として、掲示板に貼られたポスター１０をほぼ同じ高さから観察する場合と、ビルの外壁の高い位置に貼られたポスター１０を地上から観察する場合とで、端末装置１００（と視点を共有するユーザ）がポスター１０を観察するときの仰角が大きく異なる。ここまでの例で説明したオブジェクト画像１２は、いずれも正面、つまりほぼ同じ高さから見た画像であるが、このような画像が、仰角が大きい場合、つまりユーザが高い位置にあるポスター１０を見上げている場合にも表示されると、見上げているにも関わらず正面からの画像が表示され、ＡＲとしての表示に違和感が生じる場合がある。

そこで、本開示の一実施形態では、端末装置１００において最初にオブジェクト画像１２が表示されるとき、より具体的には例えばオブジェクト画像１２を表示させるアプリケーションが起動されたときの、端末装置１００（視点位置）に対するマーカ１１の仰角（見上げる場合）または俯角（見下ろす場合）に応じて、オブジェクト画像１２として表示される各オブジェクトの上下方向の向きが決定される。その後は、基本的に初期に選択されたオブジェクト画像１２を引き続き表示するが、ユーザがポスター１０を視認する角度の変化が生じた場合には表示するオブジェクト画像１２を切り替えてもよい。

ここで、視点位置に対するマーカ１１の仰角または俯角は、例えば撮像画像に含まれるマーカ１１の形状に基づいて算出することが可能である。さらに、端末装置１００が有する加速度センサなどのセンサの検出結果を併用して角度検出の精度を向上させてもよい。

図１３および図１４は、本開示の一実施形態においてユーザの目線に応じて表示されるオブジェクト画像の例を示す図である。図１３は、端末装置１００とほぼ同じ高さにあるポスター１０ｍに基づいてオブジェクト画像１２ｍを表示する場合を示し、図１４は、端末装置１００よりも高い位置にあるポスター１０ｈに基づいてオブジェクト画像１２ｈを表示する場合を示す。

図示されるように、ユーザが端末装置１００を介してポスター１０ｍを観察する場合には、撮像画像に含まれるマーカ１１ｍの形状から、視点位置に対するマーカの仰角が０に近い（つまり俯角も０に近い）ことが判定され、正面から見た状態のオブジェクト画像１２ｍが表示される。本実施形態の例において、オブジェクト画像１２はステージ上で演奏するバンドのメンバーを表示する画像であるため、正面から見た状態のオブジェクト画像１２ｍは、例えばバンドの演奏を比較的ステージから遠い客席から鑑賞しているような画像であるともいえる。

一方、ユーザが端末装置１００を介してポスター１０ｈを観察する場合には、撮像画像に含まれるマーカ１１ｈの形状から、視点位置に対するマーカ１１の仰角が比較的大きいことが判定され、下から見上げた状態のオブジェクト画像１２ｈが表示される。このオブジェクト画像１２ｈは、例えばバンドの演奏をステージの間近から鑑賞しているような画像であるともいえる。このように、オブジェクト画像１２によって表示されるオブジェクトの上下方向の向きが変化し、ユーザの目線に応じて正面から見たり、見上げたり、見下ろしたりする画像が表示されることによって、リアリティがさらに向上する。

（４−３．処理フロー）
図１５は、本開示の一実施形態における画像表示の処理の例を示すフローチャートである。図１５に示される例には、上記のスケールの設定およびユーザ目線との関係を反映した画像の選択の処理が含まれている。

まず、端末装置１００のカメラの位置（視点位置）を示す情報が、視点位置行列として取得される（ステップＳ３０１）。視点位置行列は、例えば時系列で複数回にわたって取得され、端末装置１００のカメラの位置の変化を示す。次に、視点位置行列の取得が２回目以降であるか否かが判定され（ステップＳ３０３）、２回目以降でなければ（ＮＯ、すなわち１回目の場合）、上述したようなスケールの計算および／または目線の角度に応じたオブジェクト画像の選択が実施される（ステップＳ３０５）。これが、上記の説明でいう「最初にオブジェクト画像１２が表示されるとき」の処理に相当する。一方、２回目以降である場合（ＹＥＳ）、ステップＳ３０５の処理は実行されない。

次に、描画に関する設定処理が実行される（ステップＳ３０７）。ここでの処理は、例えば上記で図６〜図９を参照して説明したような、処理負荷の軽減のために描画対象を限定したり描画時の設定を変更したりする処理を含む。ここでの設定に従って画像がデコードされ（ステップＳ３０９）、撮像画像に重畳して描画されて出力される（ステップＳ３１１）。以上の処理が、終了条件が満たされるまで繰り返される（ステップＳ３１３）。

（５．音声の処理）
次に、図１６を参照して、本開示の一実施形態における音声の処理の例について説明する。

ここまでは、画像を観察するユーザの状態に応じて画像の表示を制御する例について説明してきた。同様の制御が、音声についても可能である。音声の場合も、例えば端末装置１００の姿勢や端末装置１００とポスター１０との位置関係に関わらず同じ音声が再生されると、例えばオブジェクト画像１２の中の特定の部分に注目してその部分に端末装置１００を近づけたような場合にも音声が変化せず、リアリティが減殺されてしまう。こうした状況は、例えば演奏するバンドのメンバーを表示するオブジェクト画像１２のように、個々のオブジェクトに対応する音（例えば、各メンバーが演奏している楽器の音、またはそれをステージ上のスピーカから出力した音）によって音場が形成されていることが想定される場合に特にあてはまる。

図１６は、本開示の一実施形態における音声出力の処理の例を示すフローチャートである。処理では、まず、端末装置１００のカメラの位置（視点位置）を示す情報が、視点位置行列として取得される（ステップＳ４０１）。視点位置行列は、例えば所定の間隔で連続して取得され、端末装置１００のカメラの位置の変化を示す。次に、視点位置行列の取得が２回目以降であるか否かが判定され（ステップＳ４０５）、２回目以降でなければ（ＮＯ，すなわち１回目の場合）、画像のついての処理として上述したスケールの計算が実行される。

なお、ステップＳ４０５の処理では、対象が音声であるため、算出されるのはオブジェクト画像１２の初期表示サイズではなく音声の初期音量でありうる。音声についても、現実の世界では音源が近いほど音量が大きく、遠いほど音量が小さくなるため、端末装置１００とポスター１０との距離が大きくなるにつれて、オブジェクト画像１２とともに出力される音声の音量を小さくしてもよい。ただし、画像のスケールについて説明したのと同様に、音声が大きすぎたり小さすぎたりするのも、ユーザにとってよいことではない。そこで、この例では、音声についても、画像の場合と同様に、端末装置１００において最初にオブジェクト画像１２に伴う音声が出力されるときの撮像画像に含まれるマーカ１１のサイズに応じて音声の初期音量が決定される。

次に、音源距離計算が実行される（ステップＳ４０７）。ここでは、例えば図５に示した例のように定義されたオブジェクトおよびユーザの位置に基づいて、ユーザと音源との距離が算出される。端末装置１００の姿勢や端末装置１００とポスター１０との位置関係に応じて再生される音声を変化させるためには、例えばオブジェクトおよびユーザの位置に関連付けて音源の位置が設定される。なお、この場合、再生される音声は、音源ごとに分離して提供され、ユーザと音源との位置関係に応じて異なる割合でミキシングされうる。

例えば図１に示す例の場合、ステージ上の左側と右側に、それぞれステレオの左チャネルと右チャネルとを再生する音源の位置が設定されてもよい。この場合、ユーザの位置から左右の音源の位置までの距離（音源距離）を算出することによって、例えばユーザがオブジェクト画像１２を左側から観察すれば左チャネルの音がより大きく聞こえ、右側から観察すれば右チャネルの音がより大きく聞こえるように音声をミキシングすることが可能である。あるいは、ステージ上の各メンバーの位置に、それぞれのメンバーの声または演奏している楽器の音を再生する音源の位置が設定されてもよい。この場合、ユーザの位置から各メンバーを表示するオブジェクトまでの距離（音源距離）を算出することによって、例えばユーザがドラムを演奏するメンバーを表示するオブジェクト画像１２ｃに近づけばドラムの音が大きく聞こえ、ギターを演奏するメンバーを表示するオブジェクト画像１２ｄに近づけばギターの音が大きく聞こえるように音声をミキシングすることが可能である。

次に、ステップＳ４０５における初期音量の計算と、ステップＳ４０７における音源距離計算との結果を利用して、出力される音量の計算が実行される（ステップＳ４０９）。そして、この計算の結果に基づいて音声がデコードされる（ステップＳ４１１）。

ここで、付加的な構成として、端末装置１００では、バイブレータを用いて、音声出力時に重低音を表現する触覚へのフィードバックを実施してもよい。この場合、フィードバックの機能が有効であるか否かが判定され（ステップＳ４１３）、有効である場合（ＹＥＳ）、バイブレーションを設定する（ステップＳ４１５）。一方、フィードバックの機能が実装されていても、有効ではない場合（ＮＯ）、バイブレーションは設定されない。

次に、端末装置１００のスピーカなどの出力装置を介して音声が出力される（ステップＳ４１７）。上記のステップＳ４１５でバイブレーションが設定された場合、端末装置１００のバイブレータが設定に応じて駆動される。以上の処理が、終了条件が満たされるまで繰り返される（ステップＳ４１９）。

以上のような処理によれば、音声についても、画像の場合と同様に、ユーザが端末装置１００を介してポスター１０を観察する場合の状況に左右されることなく、リアリティをもった音声出力を実現することができる。

（６．ＳＬＡＭを利用した表示）
次に、図１７〜図２１を参照して、本開示の一実施形態におけるＳＬＡＭ（Simultaneous Localization and Mapping）を利用した画像の表示の例について説明する。

ＳＬＡＭは、周辺環境をセンシングした結果に基づいて、周辺環境の中で自らを定位する（Localize）とともに周辺の地形モデルを作成する（Map）技術である。この技術自体は公知であるため詳細な説明は省略するが、この技術を本実施形態における端末装置１００に適用し、地形モデルに応じて各オブジェクト画像の表示を制御することで、周辺環境に適応したより適切なオブジェクト画像の表示が可能になる。

（６−１．影の表示）
図１７〜図１９は、本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する例を示す図である。図示された例において、オブジェクトｏｂｊと、その影Ｓｈａｄｏｗとは、いずれもオブジェクト画像によって表示される。図１７は、通常の場合のオブジェクトｏｂｊの影Ｓｈａｄｏｗ＿ｎの表示の例を示す。図１８は、背後に壁がある場合のオブジェクトｏｂｊの影Ｓｈａｄｏｗ＿ｗの表示の例を示す。この場合、影Ｓｈａｄｏｗ＿ｗは、壁に沿って立ち上がって表示される。図１９は、背後が崖になっている場合のオブジェクトｏｂｊの影Ｓｈａｄｏｗ＿ｃの表示の例を示す。この場合、影Ｓｈａｄｏｗ＿ｃは、崖の縁で切れて表示される。

このような表示は、例えば、ＳＬＡＭを利用して端末装置１００の撮像画像から特徴点によって構成されるランドマークを検出し、検出されたランドマークを立方体などによって近似して地形モデル化することによって可能である。例えば図１８の例であれば、オブジェクトｏｂｊの背後に傾斜の変化を示す特徴点があることが検出され、これに基づいて壁面を構成する立方体の地形モデルを生成し、影の表示がこの地形モデルに応じて補正された結果、立ち上がって表示される。どの面が床でどの面が壁であるかは、例えば端末装置１００が有する加速度センサを用いて、撮像画像の傾きを検出することで特定することが可能である。

図２０は、本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する処理の例を示すフローチャートである。まず、例えばＧＰＳ（Global Positioning System）などを利用して端末装置１００の位置を特定する（ステップＳ５０１）。次に、特定された位置に基づいて、端末装置１００が屋外にあるか屋内にあるかを判定する（ステップＳ５０３）。ここで、端末装置１００が屋外にあると判定された場合（ＹＥＳ）、ステップＳ５０１で取得された位置情報と時刻情報とに基づいて、端末装置１００の位置における太陽の位置が計算される（ステップＳ５０５）。この場合、オブジェクトの影の向きは、太陽の位置に基づいて決定される。一方、ステップＳ５０３において端末装置１００が屋外にない（つまり屋内にある）と判定された場合、太陽の位置は計算されず、代わりに所定の位置に屋内の光源が配置されている（例えば、点光源が上方に複数配置されている）ことを仮定して影の向きが決定される。

次に、端末装置１００の撮像画像を入力として用いてＳＬＡＭを利用し、撮像画像に含まれるランドマーク（ＳＬＡＭランドマーク）を取得する（ステップＳ５０７）。このランドマークを立方体モデル化した（ステップＳ５０９）結果に基づいて、オブジェクト画像に影を重畳して表示させる（ステップＳ５１１）。ここで重畳される影の向きは、上記のステップＳ５０１〜Ｓ５０５で決定された向きである。以上のステップＳ５０７〜Ｓ５１１の処理（ＳＬＡＭランドマークの取得から影の重畳表示まで）は、終了条件が満たされるまで繰り返される（ステップＳ５１３）。

（６−２．床面基準表示）
図２１は、本開示の一実施形態において、床面を基準にしてオブジェクトを表示する例を示す図である。例えば上述した図１の例では、ポスター１０に含まれるマーカ１１を基準にしてオブジェクト画像１２が表示されていた。この場合、オブジェクト画像１２が表示される位置はマーカ１１を基準にして設定されるため、例えばステージを表示するオブジェクト画像１２ａを床面に一致して表示させる場合、ポスター１０と床面との位置関係を予め調整する必要があった。

上記の場合、例えば、図２１の左側に示すように、ポスター１０ｔが誤って傾いて貼られていると、オブジェクトｏｂｊ＿ｔも傾いて表示されてしまう。図示された例のように、オブジェクトが直接床面に立つように見える表示が意図されている場合、このような表示は特に大きな違和感をもたらす。一方、上記の影の表示について説明したのと同様に、ＳＬＡＭを利用して床面の領域が特定されていれば、図２１の右側に示すように、オブジェクトｏｂｊを床面を基準にして表示させることができ、ポスター１０ｔが傾いている場合でも正しくオブジェクトｏｂｊを表示させることができる。

（７．ユーザの注目領域情報の利用）
次に、図２２〜２４を参照して、本開示の一実施形態におけるユーザの注目領域情報の利用の例について説明する。

本実施形態の画像の表示では、例えば図６〜図９の例で説明したように、画像の表示範囲（例えば図８の例を参照）やユーザの視点位置（例えば図５の例を参照）などに基づいて、ユーザが画像の中で特に注目している可能性がある領域（注目領域）を特定することが可能である。この領域の情報は、上記の例における表示処理負荷の軽減だけではなく、他にもさまざまな利用が可能である。

（７−１．コメントの表示）
図２２〜図２４は、本開示の一実施形態におけるコメントの表示の例を示す図である。

図２２は、複数のユーザがそれぞれ注目している領域に、各ユーザが入力したコメントが表示される例を示す。ディスプレイ１１０に表示されたオブジェクト画像１２に重畳して表示されるコメント文字列３１は、各コメントを入力したユーザの注目領域に含まれるオブジェクト画像に追加される。例えばオブジェクト画像１２ｂを含む領域に注目しているユーザが入力したコメントを表示するコメント文字列３１は、オブジェクト画像１２ｂに追加される。一方、例えばオブジェクト画像１２ｅを含む領域に注目しているユーザが入力したコメントを表示するコメント文字列３１は、オブジェクト画像１２ｅに追加される。

なお、表示されたコメントは、例えばその場にとどまって表示されてやがて消えてもよいし、表示された位置を起点にしてスクロールして表示されてもよい。また、コメントの文字のサイズは、例えば、ユーザの注目領域（例えば図５の例を参照）とユーザの視点位置との距離に応じて設定されてもよい。端末装置１００におけるコメントの入力方法は、キーボードを用いた入力には限られず、音声認識を利用した入力であってもよい。

図２３は、図２２の例の変形例であり、ディスプレイ１１０を横向きにしてオブジェクト画像１２を観察しているユーザが入力したコメントが横向きのコメント文字列３１ｈとして表示され、ディスプレイ１１０を縦向きにしてオブジェクト画像１２を観察しているユーザが入力したコメントが縦向きのコメント文字列３１ｖとして表示される例を示す。これによって、例えばコメントを入力したユーザがどのような状態でオブジェクト画像１２を観察しているかが、コメントを見た他のユーザにもわかる。

図２４は、図２２の例の別の変形例であり、コメント文字列３１がバブル３２の中に表示される例を示す。これによって、オブジェクト画像１２とコメント文字列３１が直接重なり合わないために、画像の視認性が向上する。また、バブル３２は、最初はコメント文字列３１を含まずに小さなサイズで表示され、表示された画像に対するユーザの操作によって選択された場合に拡大されてコメント文字列３１を表示してもよい。この場合、コメント文字列３１が多くて表示しきれない場合にも、コメントが存在することを示すことで、オブジェクト画像１２のどの部分に注目しているユーザが多いかがわかる。

上記の例のさらなる変形例として、注目領域に対するユーザの所定のアクションに応じて、バブル３２だけが表示されてもよい。所定のアクションは、例えばディスプレイ１１０のタップなどであってもよい。このアクションは、ユーザの注目領域を直接的に示す情報として用いられてもよい。例えば、オブジェクト画像１２としてバンドのメンバー全員が表示された状態で、ユーザがディスプレイ１１０でオブジェクト画像１２ｂが表示された領域をタップした場合、このタップの位置が注目領域と判定され、この領域にバブル３２が表示されてもよい。あるいは、タップは領域を指定しないアクションとして取得され、タップの位置とは関係なく、画像の表示範囲やユーザの視点位置などに基づいて特定された領域にバブル３２が表示されてもよい。

図示しないが、ユーザの注目領域情報の利用例は他にも多くある。例えば、ユーザの注目領域に含まれていたオブジェクトを特定することによって、ユーザの興味の対象になっているバンドやグループのメンバーなどを特定することができる。この結果は、例えばそのメンバーに関連するコンテンツの推薦や、メンバーの人気度計測などに利用することができる。

また、ユーザの注目領域に含まれているオブジェクトなどに応じて、画像の表示や音声の出力を変化させることも可能である。例えば、注目領域に含まれるオブジェクト画像が多視点画像として表示されたり、高解像度で表示されたりしてもよい。また、注目領域に対するユーザの所定のアクションが取得された場合に、注目領域に含まれるオブジェクト画像が、オブジェクトがユーザのアクションに対するリアクションをする特別なオブジェクト画像に差し替えられてもよい。また、注目領域に含まれるオブジェクトに対応する音声が、強調して出力されてもよい。

（８．ユーザの視点位置情報の利用）
次に、図２５〜図２９を参照して、本開示の一実施形態におけるユーザの視点位置情報の利用の例について説明する。

本実施形態の画像の表示では、例えば図５の例で説明したように、画像を観察するユーザの視点位置を特定することが可能である。この視点位置の情報についても、注目領域の情報と同様に、さまざまな利用が可能である。

（８−１．クーポンの表示）
図２５は、本開示の一実施形態におけるクーポンの表示の例を示す図である。図示された例では、クーポン画像４１が、ディスプレイ１１０に表示されているオブジェクト画像１２から放出されて、ユーザに向かって飛んでくる。このような表示は、端末装置１００の位置がユーザの視点位置として特定されており、表示されるクーポン画像４１の移動先として端末装置１００の位置を指定することができるために可能になる。クーポン画像４１の移動先をランダムに設定すれば、ユーザに向かって飛んでくるクーポン画像４１とそうではないクーポン画像４１とが表示され、クーポン画像４１の表示にゲーム性をもたせることができる。クーポン画像４１は、例えばサインボールを表示するものであってもよい。

なお、ユーザの視点位置は例えば端末装置１００とマーカ１１との位置関係に基づいて特定されるため、端末装置１００の撮像画像にマーカ１１が映らなくなる（マーカ１１をロストする）とクーポン画像４１をユーザに向けて飛んでくるように表示させることは困難である。しかし、例えば図１７〜図２１を参照して説明したＳＬＡＭと加速度センサとの組み合わせを利用することによって、端末装置１００のカメラを上に向けた場合に上空を飛んでいくクーポン画像４１を表示することができる。

（８−２．他のユーザとの画像共有）
図２６は、本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の表示例を示す図である。図示された例では、ディスプレイに、ユーザ本人が観察している画像１１０ａに加えて、他のユーザが観察している画像１１０ｂ〜１１０ｄが表示される。さらに、画像１１０ａには、他のユーザの視点位置を示すアイコン５１ｂ〜５１ｄが表示される。

このような表示によって、ユーザは、他のユーザがどのような視点位置からどのような画像を観察しているかを知ることができる。例えば、ユーザは、他のユーザ（Ｂｒｉａｎ）が観察している画像１１０ｂに映っているオブジェクト画像１２ｅが気に入れば、画像１１０ａに表示された視点位置アイコン５１ｂ（Ｂｒｉａｎの視点）を参照して同じ視点位置に移動し、Ｂｒｉａｎと同じオブジェクト画像１２ｅの表示を共有することができる。

（システム構成例）
図２７は、本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第１のシステム構成例を示す図である。図示された例では、クライアント（端末装置）１００ａ〜１００ｄが、コンテンツサーバ２１０と、視点位置情報交換サーバ２２０とにそれぞれ接続される。コンテンツサーバ２１０は、オブジェクト画像１２を各クライアントに配信するサーバである。視点位置情報交換サーバ２２０は、各クライアントの間で視点位置情報を交換するためのサーバである。

上述のように、各ユーザの視点位置は、例えば視点位置行列のような数値情報として与えられ、データ量としては小さい。従って、各クライアントの間で視点位置情報を交換する上記の例は、通信帯域や処理能力に制限がある場合に適する。各クライアントでは、他のクライアントから受信した視点位置情報に基づいて、それぞれのクライアントで表示されているオブジェクト画像１２が表示される。ただし、この場合、それぞれのクライアントでオブジェクト画像１２とともに表示されている実空間の画像（スルー画像）は、別のクライアントでは表示されない。従って、例えば図２６の例における画像１１０ｂ〜１１０ｄの背景には、予め用意された仮想的な画像などが表示されうる。

図２８は、本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第２のシステム構成例を示す図である。図示された例では、クライアント（端末装置）１００ａ〜１００ｄが、コンテンツサーバ２１０と、視点位置情報交換サーバ２２０と、スルー画像交換サーバ２３０とにそれぞれ接続される。スルー画像交換サーバ２３０は、各クライアントが撮像画像として取得しているスルー画像を交換するためのサーバである。

この例では、他のクライアントで表示されているオブジェクト画像１２を、それぞれのクライアントでオブジェクト画像１２とともに表示されている実空間の画像（スルー画像）とともに表示することが可能である。従って、例えば図２６の例であれば、画像１１０ｃにはＲｏｇｅｒがオブジェクト画像１２を観察しているときに背後に映っている実空間の画像が表示されうる。

各クライアントでのスルー画像は、視点位置情報に比べるとデータ量が大きい。従って、この例では、通信帯域や処理能力がある程度必要である。しかし、例えば一部のクライアントについて通信帯域が狭いような場合は、そのクライアントについてはスルー画像を交換しないことによって、上記の図２７の例と同様にオブジェクト画像１２に限定した画像の共有が可能である。また、ユーザが明示的な操作によってスルー画像の共有を無効にした場合も、そのユーザのクライアントからはスルー画像が送信されない（他のユーザのスルー画像がそのクライアントに送信されることはありうる）。このように、上記の例では、必要に応じてスルー画像の交換をＯＮ／ＯＦＦできるという利点がある。

上記の例の変形例として、視点位置情報交換サーバ２２０を設けずに、スルー画像交換サーバ２３０を用いて各クライアントのスルー画像を交換してもよい。この場合は、例えばスルー画像にマーカ１１が映っていれば、マーカ１１の形状に基づいてそれぞれのクライアントでの視点位置を特定することが可能である。従って、各クライアントにおいてマーカ１１がロストされていなければ、視点位置情報が交換されなくても図２６に示したように画像を共有して表示することが可能である。

図２９は、本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第３のシステム構成例を示す図である。図示された例では、クライアント（端末装置）１００ａ〜１００ｄが、コンテンツサーバ２１０と、画像交換サーバ２４０とにそれぞれ接続される。画像交換サーバ２４０は、各クライアントがスルー画像にオブジェクト画像１２を重畳した合成済み画像を交換するためのサーバである。

この例では、各クライアントで既にオブジェクト画像１２が重畳された画像が交換されるため、受信側のクライアントでの処理が単純になる。ただし、合成済み画像のデータ量は大きいため、必要とされる通信帯域も大きい。また、スルー画像とオブジェクト画像１２との解像度などを独立して設定することができないため、通信帯域や／ユーザ動作の制約で画像の解像度を下げる必要が生じた場合は、スルー画像およびオブジェクト画像１２ともに解像度が下がってしまう。一方、上記の図２８の例では、他のクライアントで表示されるオブジェクト画像１２も受信側のクライアントで描画されるため、スルー画像の解像度を下げつつオブジェクト画像１２の解像度は維持するといったことが可能である。

（９．機能構成例）
次に、図３０〜図３３を参照して、本開示の一実施形態に係る画像表示のための機能構成の例について説明する。あわせて、表示される画像を録画する場合の構成例についても説明する。

図３０は、本開示の一実施形態に係る画像表示のための第１の機能構成例を示す図である。第１の機能構成例は、ディスプレイ１１０、スピーカ１２０、カメラ１３０、視点位置検出部１４０、表示制御部１５０、音声制御部１６０を含む。

これらの機能構成は、例えば端末装置１００のようなクライアントに含まれる。視点位置検出部１４０、表示制御部１５０、および音声制御部１６０の機能は、例えばＣＰＵ（Central Processing Unit）がＲＡＭ（Random Access Memory）またはＲＯＭ（Read Only Memory）に格納されたプログラム命令を実行することによって実現されうる。

視点位置検出部１４０は、画像を観察するユーザの状態を検出する状態検出部の一例である。視点位置検出部１４０は、カメラ１３０によって取得された実空間の撮像画像に含まれるマーカ１１を認識する。マーカ１１の特徴は、予め視点位置検出部１４０に登録されうる。視点位置検出部１４０は、さらに、検出されたマーカ１１の形状に基づいて、マーカ１１を基準にした端末装置１００の位置、つまり視点位置を検出する。例えば、視点位置検出部１４０は、撮像画像に含まれるマーカ１１のサイズによって、マーカ１１から端末装置１００までの距離を検出する。また、例えば、視点位置検出部１４０は、撮像画像に含まれるマーカ１１の変形によって、マーカ１１に対する端末装置１００の角度を検出する。

別の例として、視点位置検出部１４０は、マーカ１１に依存せずにユーザの視点位置を検出してもよい。例えば、上述したＳＬＡＭを利用して床面などを検出したり、加速度センサなどのセンサの検出結果を用いて端末装置の傾きを検出したりすれば、マーカに依存せずにユーザの視点位置を検出することが可能である。この場合、オブジェクト画像は、例えば床面を基準として表示され、端末装置の傾きや上下方向の移動に応じて表示が変化するものでありうる。オブジェクト配置の基準として、例えばオブジェクト画像の表示開始時に撮像画像に映っていた任意の実空間オブジェクトを設定してもよい。

表示制御部１５０は、コンテンツデータ１７０と、カメラ１３０から取得した実空間の画像とに基づいて、デコード、合成、描画などの処理を実行し、ディスプレイ１１０にＡＲ画像を表示させる。表示制御部１５０は、例えば視点位置検出部１４０によって検出された視点位置に基づいて、オブジェクト画像１２の視点を特定し、コンテンツデータ１７０を参照して当該視点から観察されるオブジェクト画像１２を生成する。さらに、表示制御部１５０は、カメラ１３０から取得した実空間の画像にオブジェクト画像１２を重畳させた画像を生成し、この画像をディスプレイ１１０に表示させる。

なお、表示制御部１５０は、コンテンツデータ１７０の受信からディスプレイ１１０への表示までの間の各機能を実現する機能部分であるため、例えば上述された負荷軽減のための処理、スケールの設定、画像の選択、ＳＬＡＭを利用した表示（ＳＬＡＭによる地形モデルの検出自体は視点位置検出部１４０で実行されうる）などは、表示制御部１５０によって実現されうる。

上記の例のいくつかにおいて、表示制御部１５０は、複数の表示コンテンツ（オブジェクト画像）を画像としてディスプレイ１１０に表示させ、この画像を観察するユーザの状態（例えば視点位置検出部１４０などによって検出される）に応じて各表示コンテンツ（オブジェクト画像）の挙動を制御するものといえる。

また、表示制御部１５０は、コンテンツデータ１７０とともに、例えばオブジェクト画像１２とともに他のユーザのコメントを表示する場合のコメント（表示位置を示す情報を含む）、クーポン画像４１、他のユーザが観察している画像１１０ｂ〜１１０ｄ、他のユーザの視点位置を示すアイコン５１ｂ〜５１ｄなどの情報を取得してもよい。コンテンツデータ１７０は、サーバに格納されていてもよいし、クライアントの内部に格納されていてもよい。

音声制御部１６０は、コンテンツデータ１７０に基づいて、デコード、合成などの処理を実行し、スピーカ１２０からＡＲ画像に対応した音声を出力させる。音声制御部１６０は、例えば上記で音声の処理の例として説明した視点位置のようなユーザの状態に応じて音声のミキシングなどの設定を変化させる機能を実現しうる。

図３１は、本開示の一実施形態に係る画像表示のための第２の機能構成例を示す図である。第２の機能構成例は、ディスプレイ１１０、スピーカ１２０、カメラ１３０、視点位置／ユーザ動作検出部１４２、入力部１４４、表示制御部１５０、音声制御部１６０を含む。

上記の第１の機能構成例と同様に、これらの機能構成は、例えば端末装置１００のようなクライアントに含まれる。視点位置／ユーザ動作検出部１４２、表示制御部１５０、および音声制御部１６０の機能は、例えばＣＰＵがＲＡＭまたはＲＯＭに格納されたプログラム命令を実行することによって実現されうる。

視点位置／ユーザ動作検出部１４２は、画像を観察するユーザの状態を検出する状態検出部の機能と、ユーザの動作を検出する動作検出部の機能とをあわせもつ。視点位置／ユーザ動作検出部１４２は、上記の第１の機能構成例における視点位置検出部１４０と同様に視点位置を検出するのに加えて、ユーザの動作を検出する。ユーザの動作は、例えば入力部１４４を介して検出されうる。入力部１４４は、例えばタッチパッド、キーボード、マイクなどの各種入力装置であり、タップ、文字入力、音声入力などによってユーザの操作入力を受け付ける。視点位置／ユーザ動作検出部１４２は、こうした操作入力を、ユーザの動作として検出する。視点位置／ユーザ動作検出部１４２は、視点位置の情報とともに、取得したユーザの動作に関する情報を表示制御部１５０に提供する。さらに、視点位置／ユーザ動作検出部１４２は、これらの情報を音声制御部１６０に提供してもよい。

この第２の機能構成例において、表示制御部１５０は、例えば上述されたコメント（コメントが表示されないバブルも含む）の表示におけるコメントの内容および表示位置、ユーザの明示的な操作によって指定される注目領域の情報などを、視点位置／ユーザ動作検出部１４２から取得しうる。

図３２は、本開示の一実施形態に係る画像表示のための第３の機能構成例を示す図である。第３の機能構成例は、ディスプレイ１１０、スピーカ１２０、注目領域検出部１４６、表示制御部１５０、および音声制御部１６０を含む。さらに、機能構成は、カメラ１３０、入力部１４４、および視点位置／ユーザ動作検出部１４２（または視点位置検出部１４０）の一部または全部を付加的に含みうる。

上記の第１の機能構成例と同様に、これらの機能構成は、例えば端末装置１００のようなクライアントに含まれる。注目領域検出部１４６、表示制御部１５０、および音声制御部１６０の機能は、例えばＣＰＵがＲＡＭまたはＲＯＭに格納されたプログラム命令を実行することによって実現されうる。

注目領域検出部１４６は、画像を観察するユーザの状態（画像に注目している状態）を検出する状態検出部の一例である。注目領域検出部１４６は、例えば上記の図８に示した例のように、ディスプレイ１１０に表示される画像の所定の位置として設定される注目領域を検出する。そのため、注目領域検出部１４６は、表示制御部１５０から、ディスプレイ１１０に表示される画像の情報を取得する。

図示されているように、この第３の機能構成例では、カメラ１３０などの機能構成を含まないことが可能である。つまり、オブジェクト画像１２は、必ずしも実空間の撮像画像に重畳して表示されるＡＲ画像でなくてよい。この場合、ユーザの仮想的な視点位置は、例えばディスプレイ１１０に表示された画像に対するズームやパンなどのユーザ操作によって設定されうる。なお、ユーザ操作による視点位置の変更は、ＡＲ画像についても有効でありうる。この場合、例えば視点位置／ユーザ動作検出部１４２によって検出された視点位置が、ユーザ操作によって強制的に変更されうる。

上記のように、この第３の機能構成例においても、入力部１４４および視点位置／ユーザ動作検出部１４２が設けられうる。この場合、注目領域検出部１４６は、視点位置／ユーザ動作検出部１４２によりユーザの動作の検出結果に基づいて、ユーザが明示的に指定した注目領域を取得してもよい。

（録画する場合の構成例）
図３３は、本開示の一実施形態において、表示される画像を録画する場合の構成例である。上述のように、本実施形態に係る画像表示の処理が、多くの場合モバイル装置である端末装置１００で実行されるため、利用可能なリソースが限られる。従って、表示される画像は、例えば多視点画像ではなく２次元画像であったり、解像度が低かったりといったように、品質が抑制された画像である可能性がある。この画像をそのまま録画すると、当然品質は低いままである。

本実施形態では、録画の場合は画像をリアルタイムで処理する必要がないことに着目し、画像の表示時に必要最小限のデータを記録し、後で高品質なコンテンツデータから抽出したオブジェクト画像を再度合成することによって、より高品質な画像を記録することを可能にする。

図示された例では、クライアントの機能構成として、ディスプレイ１１０、カメラ１３０、視点位置検出部１４０、表示制御部１５０が示されている。音声に関する機能構成は図示を省略されているが、上記の図３１〜図３２の例と同様に設けられうる。表示される画像を録画するために、カメラ１３０は、撮像画像を表示制御部１５０に提供するとともに、ストレージ装置などに撮像画像データ１８４として記録する。一方、視点位置検出部１４０も、視点位置を検出して表示制御部１５０に提供するとともに、ストレージ装置などに視点位置データ１８０として記録する。

記録された視点位置データ１８０は、記録用画像抽出部１８２に提供される。記録用画像抽出部１８２は、視点位置データ１８０を参照して、高品質コンテンツデータ１７２から記録用のオブジェクト画像を抽出する。ここで、高品質コンテンツデータ１７２は、コンテンツデータ１７０の一部または全部を、例えば多視点画像や高解像度画像などのより高品質なオブジェクト画像として表示するためのデータである。仮に表示制御部１５０が高品質コンテンツデータ１７２からオブジェクト画像を生成しようとすると、通信帯域や処理能力の制約から現実的でない場合が多い。しかし、事後的に記録用画像抽出部１８２で記録用画像を抽出する場合には、例えば時間の制約がないために十分に実現可能である。

一方、記録された撮像画像データ１８４は、画像合成部１８６に提供される。画像合成部１８６は、撮像画像データ１８４から取得される撮像画像に、記録用画像抽出部１８２によって抽出されたオブジェクト画像を重畳して、録画実行時にディスプレイ１１０に表示されていたのと同様の画像を生成する。ただし、オブジェクト画像は、高品質コンテンツデータ１７２に基づく高品質な画像に置き換えられている。このようにして生成された画像は、記録用画像１８８として、クライアントに提供される。

上記の説明から明らかなように、記録用画像抽出部１８２および画像合成部１８６は、表示制御部１５０と同様の処理を、高品質コンテンツデータ１７２を用いて実行するものといえる。記録用画像抽出部１８２は、高い処理能力が求められるためサーバで実現されることが望ましいが、クライアントで実現されてもよい。画像合成部１８６は、サーバで実現されてもよく、クライアントで実現されてもよい。これらの機能は、例えばＣＰＵがＲＡＭまたはＲＯＭに格納されたプログラム命令を実行することによって実現されうる。

以上のような構成によって、クライアントでは、リアルタイムで表示した画像よりも高品質なオブジェクト画像が表示された画像を記録することができる。

（１０．ハードウェア構成）
次に、図３４を参照して、本開示の実施形態に係る表示制御装置のハードウェア構成について説明する。図３４は、表示制御装置のハードウェア構成を説明するためのブロック図である。図示された表示制御装置９００は、例えば、上記の実施形態におけるクライアント（端末装置）およびサーバを実現しうる。

表示制御装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、表示制御装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、表示制御装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。表示制御装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）などの処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、表示制御装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、表示制御装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、表示制御装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、表示制御装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、表示制御装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、表示制御装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を表示制御装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、表示制御装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば表示制御装置９００の筐体の姿勢など、表示制御装置９００自体の状態に関する情報や、表示制御装置９００の周辺の明るさや騒音など、表示制御装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、表示制御装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（１１．補足）
本開示の実施形態は、例えば、上記で説明したような表示制御装置、システム、表示制御装置またはシステムで実行される表示制御方法、表示制御装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）画像を観察するユーザの状態を検出する状態検出部と、
複数の表示コンテンツが撮像画像に重畳された前記画像をディスプレイに表示させ、前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御する表示制御部と
を備える表示制御装置。
（２）前記状態検出部は、前記画像の中でユーザが注目している注目領域を検出し、
前記表示制御部は、前記注目領域に含まれる表示コンテンツの挙動を変化させる、前記（１）に記載の表示制御装置。
（３）前記表示制御部は、前記注目領域に含まれる表示コンテンツのクオリティをより高くする、前記（２）に記載の表示制御装置。
（４）前記表示制御部は、前記注目領域に含まれる表示コンテンツの解像度を上げる、前記（３）に記載の表示制御装置。
（５）前記表示制御部は、前記注目領域に含まれる表示コンテンツが対応する視点数を増加させる、前記（３）または（４）に記載の表示制御装置。
（６）前記ユーザの動作を検出する動作検出部をさらに備え、
前記表示制御部は、前記注目領域に含まれる表示コンテンツに前記ユーザの動作に対応する表示を追加する、前記（２）〜（５）のいずれか１項に記載の表示制御装置。
（７）前記ユーザの動作は、コメントの入力であり、
前記ユーザの動作に対応する表示は、前記コメントを表示する文字列である、前記（６）に記載の表示制御装置。
（８）前記状態検出部は、前記ユーザの動作に基づいて前記注目領域を検出する、前記（６）または（７）に記載の表示制御装置。
（９）前記状態検出部は、前記ディスプレイに表示された画像の中の所定の領域として前記注目領域を検出する、前記（２）〜（７）のいずれか１項に記載の表示制御装置。
（１０）前記状態検出部は、空間において定義される前記ユーザの視点位置を検出し、
前記表示制御部は、前記空間において表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるとともに、前記視点位置と前記表示位置との関係に基づいて前記各表示コンテンツの挙動を変化させる、前記（１）〜（９）のいずれか１項に記載の表示制御装置。
（１１）前記表示制御部は、前記視点位置により近い表示位置を有するオブジェクトを表示する表示コンテンツのクオリティをより高くする、前記（１０）に記載の表示制御装置。
（１２）前記表示制御部は、前記視点位置および前記表示位置に基づいて前記各オブジェクトが前記画像に表示されるか否かを判定し、表示されないオブジェクトを表示する表示コンテンツを描画対象から除外する、前記（１０）または（１１）に記載の表示制御装置。
（１３）前記表示制御部は、前記各表示コンテンツをレイヤ画像として重畳表示させるとともに、前記視点位置の移動に応じて前記レイヤ画像を前記表示位置を基準にして回転させることによって前記各オブジェクトを前記視点位置に正対させる、前記前記（１０）〜（１２）のいずれか１項に記載の表示制御装置。
（１４）前記状態検出部は、実空間に配置されたマーカを基準にして前記ユーザの視点位置を検出し、
前記表示制御部は、前記実空間において前記マーカを基準にして仮想的に表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記マーカから前記視点位置までの距離に応じて前記表示位置配置のスケールおよび前記オブジェクトの初期表示サイズを決定する、前記（１）〜（１３）のいずれか１項に記載の表示制御装置。
（１５）前記状態検出部は、実空間に配置されたマーカを基準にして前記ユーザの視点位置を検出し、
前記表示制御部は、前記実空間において前記マーカを基準にして仮想的に表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記視点位置に対する前記マーカの仰角または俯角に応じて前記各表示コンテンツによって表示される前記各オブジェクトの上下方向の向きを決定する、前記（１）〜（１４）のいずれか１項に記載の表示制御装置。
（１６）前記状態検出部は、前記ユーザが観察する実空間の地形モデルを検出し、
前記表示制御部は、前記実空間において仮想的に表示位置が設定される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記地形モデルに応じて前記各表示コンテンツの挙動を制御する、前記（１）〜（１５）のいずれか１項に記載の表示制御装置。
（１７）前記表示制御部は、前記複数のオブジェクトとして第１のオブジェクトとその影とを前記各表示コンテンツによって表示させるときに、前記影の表示を前記地形モデルに応じて補正する、前記（１６）に記載の表示制御装置。
（１８）前記画像に対応する音声の出力を制御し、前記ユーザの状態に応じて前記音声の設定を制御する音声制御部をさらに備える、前記（１）〜（１７）のいずれか１項に記載の表示制御装置。
（１９）複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させることと、
前記画像を観察するユーザの状態を検出することと、
前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御することと
を含む表示制御方法。
（２０）複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させる機能と、
前記画像を観察するユーザの状態を検出する機能と、
前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御する機能と
をコンピュータに実現させるためのプログラム。

１０ ポスター
１１ マーカ
１２ オブジェクト画像
２１ 注目領域
３１ コメント文字列
３２ バブル
４１ クーポン画像
１００ 端末装置
１１０ ディスプレイ
１２０ スピーカ
１３０ カメラ
１４０ 視点位置検出部
１４２ 視点位置／ユーザ動作検出部
１４４ 入力部
１４６ 注目領域検出部
１５０ 表示制御部
１６０ 音声制御部
１８２ 記録用画像抽出部
１８４ 画像合成部

Claims (20)

1. 画像を観察するユーザの状態を検出する状態検出部と、
   複数の表示コンテンツが撮像画像に重畳された前記画像をディスプレイに表示させ、前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御する表示制御部と
   を備える表示制御装置。
2. 前記状態検出部は、前記画像の中でユーザが注目している注目領域を検出し、
   前記表示制御部は、前記注目領域に含まれる表示コンテンツの挙動を変化させる、請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記注目領域に含まれる表示コンテンツのクオリティをより高くする、請求項２に記載の表示制御装置。
4. 前記表示制御部は、前記注目領域に含まれる表示コンテンツの解像度を上げる、請求項３に記載の表示制御装置。
5. 前記表示制御部は、前記注目領域に含まれる表示コンテンツが対応する視点数を増加させる、請求項３に記載の表示制御装置。
6. 前記ユーザの動作を検出する動作検出部をさらに備え、
   前記表示制御部は、前記注目領域に含まれる表示コンテンツに前記ユーザの動作に対応する表示を追加する、請求項２に記載の表示制御装置。
7. 前記ユーザの動作は、コメントの入力であり、
   前記ユーザの動作に対応する表示は、前記コメントを表示する文字列である、請求項６に記載の表示制御装置。
8. 前記状態検出部は、前記ユーザの動作に基づいて前記注目領域を検出する、請求項６に記載の表示制御装置。
9. 前記状態検出部は、前記ディスプレイに表示された画像の中の所定の領域として前記注目領域を検出する、請求項２に記載の表示制御装置。
10. 前記状態検出部は、空間において定義される前記ユーザの視点位置を検出し、
    前記表示制御部は、前記空間において表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるとともに、前記視点位置と前記表示位置との関係に基づいて前記各表示コンテンツの挙動を変化させる、請求項１に記載の表示制御装置。
11. 前記表示制御部は、前記視点位置により近い表示位置を有するオブジェクトを表示する表示コンテンツのクオリティをより高くする、請求項１０に記載の表示制御装置。
12. 前記表示制御部は、前記視点位置および前記表示位置に基づいて前記各オブジェクトが前記画像に表示されるか否かを判定し、表示されないオブジェクトを表示する表示コンテンツを描画対象から除外する、請求項１０に記載の表示制御装置。
13. 前記表示制御部は、前記各表示コンテンツをレイヤ画像として重畳表示させるとともに、前記視点位置の移動に応じて前記レイヤ画像を前記表示位置を基準にして回転させることによって前記各オブジェクトを前記視点位置に正対させる、前記請求項１０に記載の表示制御装置。
14. 前記状態検出部は、実空間に配置されたマーカを基準にして前記ユーザの視点位置を検出し、
    前記表示制御部は、前記実空間において前記マーカを基準にして仮想的に表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記マーカから前記視点位置までの距離に応じて前記表示位置配置のスケールおよび前記オブジェクトの初期表示サイズを決定する、請求項１に記載の表示制御装置。
15. 前記状態検出部は、実空間に配置されたマーカを基準にして前記ユーザの視点位置を検出し、
    前記表示制御部は、前記実空間において前記マーカを基準にして仮想的に表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記視点位置に対する前記マーカの仰角または俯角に応じて前記各表示コンテンツによって表示される前記各オブジェクトの上下方向の向きを決定する、請求項１に記載の表示制御装置。
16. 前記状態検出部は、前記ユーザが観察する実空間の地形モデルを検出し、
    前記表示制御部は、前記実空間において仮想的に表示位置が設定される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記地形モデルに応じて前記各表示コンテンツの挙動を制御する、請求項１に記載の表示制御装置。
17. 前記表示制御部は、前記複数のオブジェクトとして第１のオブジェクトとその影とを前記各表示コンテンツによって表示させるときに、前記影の表示を前記地形モデルに応じて補正する、請求項１６に記載の表示制御装置。
18. 前記画像に対応する音声の出力を制御し、前記ユーザの状態に応じて前記音声の設定を制御する音声制御部をさらに備える、請求項１に記載の表示制御装置。
19. 複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させることと、
    前記画像を観察するユーザの状態を検出することと、
    前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御することと
    を含む表示制御方法。
20. 複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させる機能と、
    前記画像を観察するユーザの状態を検出する機能と、
    前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御する機能と
    をコンピュータに実現させるためのプログラム。

Images