JP5755915B2 - 情報処理装置、拡張現実感提供方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、拡張現実感提供方法、及びプログラムに関する。

拡張現実ソフトウェアでは、３次元空間の３次元座標に、仮想的なオブジェクト、即ちＡＲオブジェクト（Augmented Reality Object）を配置すると、画面に表示されるＡＲオブジェクト（以下、単に「ＡＲオブジェクト」或いは「表示オブジェクト」とも記載する。）は、ユーザからの相対的な距離に応じて例えば相対的な距離が遠いＡＲオブジェクトが小さく表示される。これにより、遠近感、即ち奥行き感を実現する。また、ユーザは、奥行き感が与えられることで、ＡＲオブジェクトも現実に存在しているかのように感じられるようになる。
ところで、このような拡張現実ソフトウェアによる手法では、ユーザに近いＡＲオブジェクトがユーザから遠いＡＲオブジェクトを隠すことになるため、遠くに配置されたＡＲオブジェクトが見えなくなる、クリック等の操作でＡＲオブジェクトを選択し難くなる等の問題がある。
近時、拡張現実ソフトウェアには、タグ（ＡＲオブジェクト）が重なって表示されている部分が一定の時間にわたりタップ（指をつけたままに）されると、重なっていたタグが螺旋状に順々に手前に表示されるものもある（例えば非特許文献１参照）。これにより、ユーザは、タグが手前に表示されたタイミングで所望のタグを見たり選択したりすることが可能となる。

「遠くのエアタグがタップしにくい」、［online］、２００９年８月１３日、［２０１１年３月４日検索］、インターネット＜URL：http://support.sekaicamera.com/ja/archives/182＞

しかしながら、非特許文献１の技術では、タグの内容を直ぐに知りたいと思っていても、タグが手前に表示されるのを待つ必要があるので、タグが多く存在するときにはタグの内容の確認に多くの時間がかかるおそれがある。
また、タグが動きつづけているため視認性が悪く、例えば文字情報が記載されたタグである場合、見落としてしまうこともある。

本発明はこのような問題点に鑑みなされたもので、表示オブジェクトをより適切に表示することを目的とする。

そこで、本発明にかかる情報処理装置は、当該情報処理装置の位置を示す位置情報を特定する特定部と、表示オブジェクトの現実空間での位置を示す位置情報と前記表示オブジェクトの表示態様を示す態様情報とを識別情報に関連付けて記憶する記憶部と、表示オブジェクトの表示が行われる表示部と、撮影を行う撮影部とを有する情報処理装置であって、前記特定部で特定された位置情報を基準として一定の距離内にある表示オブジェクトの識別情報に関連付けられた位置情報と態様情報とを前記記憶部から読み出す読出手段と、前記読出手段で読み出された複数の識別情報に関連付けられた複数の態様情報から生成される複数の表示オブジェクトを前記撮影部で撮影された映像に整合する前記表示部における表示位置に表示し、ユーザ操作を介して表示の切り替えの指示を受け付けたと判断すると、当該情報処理装置の位置情報と前記複数の表示オブジェクトの複数の位置情報とから夫々の距離を算出し、前記複数の表示オブジェクトの寸法を前記算出した距離が長いほど大きくして表示する表示制御手段と、を有することを特徴とする。

また、本発明に係る情報処理装置は、当該情報処理装置の位置を示す位置情報を特定する特定部と、表示オブジェクトの現実空間での位置を示す位置情報と前記表示オブジェクトの表示態様を示す態様情報とを識別情報に関連付けて記憶する記憶部と、表示オブジェクトの表示が行われる表示部と、撮影を行う撮影部とを有する情報処理装置であって、前記特定部で特定された位置情報を基準として一定の距離内にある表示オブジェクトの識別情報に関連付けられた位置情報と態様情報とを前記記憶部から読み出す読出手段と、前記読出手段で読み出された複数の識別情報に関連付けられた複数の態様情報から生成される複数の表示オブジェクトを前記撮影部で撮影された映像に整合する前記表示部における表示位置に表示し、ユーザ操作を介して表示の切り替えの指示を受け付けたと判断すると、当該情報処理装置の位置情報と前記複数の表示オブジェクトの複数の位置情報とから夫々の距離を算出し、前記複数の表示オブジェクトの寸法を前記算出した距離が長いほど大きくして表示する表示制御手段と、を有することを特徴とする。

本発明によれば、表示オブジェクトをより適切に表示することができる。

ＡＲ提供システムの構成の一例を示す図である。 （Ａ）は、端末装置のハードウェア構成の一例を示す図であり、（Ｂ）は、サーバ装置のハードウェア構成の一例を示す図である。 タグＤＢのテーブルの一例を示す図である。 ＡＲ提供システムのシーケンスの一例を示す図である。 端末装置及びサーバ装置の機能構成の一例を示す図である。 ＡＲ提供処理に係るフローチャートの一例を示す図である。 表示制御処理に係るフローチャートの一例を示す図である。 （Ａ）は、未整列画面の一例を示す図であり、（Ｂ）は、距離整列画面の一例を示す図であり、（Ｃ）は、区間整列画面の一例を示す図である。 （Ａ）は、未整列画面の一例を示す図であり、（Ｂ）は、種類整列画面の一例を示す図であり、（Ｃ）は、登録日時整列画面の一例を示す図である。 （Ａ）は、未整列画面の一例を示す図であり、（Ｂ）は、上空視点画面の一例を示す図であり、（Ｃ）は、寸法変更画面の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜第１の実施形態＞
図１は、本実施形態に係るＡＲ提供システムの構成の一例を示す図である。ＡＲ提供システムは、現実空間の対象物に対して関連付けされたＡＲオブジェクト（表示オブジェクトの一例）が重なって画面に表示されているときに、各ＡＲオブジェクトを確認し易いようにＡＲオブジェクトの配置、寸法等を変更する拡張現実提供システムの一例である。
ＡＲ提供システムは、端末装置１００、及びサーバ装置２００を含んで構成される。端末装置１００とサーバ装置２００とは、通信可能に接続されている。
端末装置１００は、情報処理装置（コンピュータ）の一例であり、携帯情報端末、携帯電話、ＨＭＤ（Head Mounted Display）、デジタルカメラ等である。端末装置１００は、端末装置１００を介して知覚できる現実空間に整合する位置に、サーバ装置２００で生成された画像（コンピュータグラフィックス画像など）を表示することにより、拡張された現実感（ＡＲ：Augmented Reality）を提供する。

本実施形態では、端末装置１００は、タッチパネル式の表示パネル１０を有する。端末装置１００は、端末装置１００を介して知覚できる現実空間の対象物に整合する位置に、対象物に関する各種の情報（店名などの情報）を表す画像（ＡＲオブジェクトの一例であるタグ等）を表示パネル１０に表示する。
また、端末装置１００は、一定の時間にわたり表示パネル１０に対してタップ（指がつけたままに）される、端末装置１００が振られる、端末装置１００が水平方向に傾けられる、表示パネル１０に表示されたアイコンが押下される等のユーザ操作（より具体的には表示変更指示）を受け付けると、重なって表示されているタグを重ならないように表示する。
例えば、端末装置１００は、端末装置１００と焼肉店のタグ（１１〜１４）との現実空間における各距離を算出し、焼肉店のタグ（１１〜１４）を距離順に整列して表示パネル１０に表示する。この構成によれば、ユーザは、複数の焼肉店のタグ（１１〜１４）が表示されている中で、現在の位置から最も近い焼肉店が焼肉店Ｄであることを容易に把握できる。

サーバ装置２００は、情報処理装置（コンピュータ）の一例である。サーバ装置２００は、例えばネットワークを介して各種の情報処理装置（端末装置１００、外部の情報処理装置等）と通信し、タグに関する各種の情報（後述のタグ情報）をタグＤＢ２０に格納して管理する。
また、サーバ装置２００は、タグＤＢ２０のタグ情報をもとにタグを生成し、生成したタグを含むタグの表示に係る各種の情報（後述の表示情報など）を端末装置１００に送信する。
なお、ＡＲ提供システムの構成は、上述した構成に限られるものではない。例えば、サーバ装置２００がタグＤＢ２０を有する構成を採用したが、サーバ装置２００とは異なる装置がタグＤＢ２０を有する構成を採用してもよいし、端末装置１００がサーバ装置２００の機能を備えていてもよい。

図２（Ａ）は、端末装置１００のハードウェア構成の一例を示す図である。端末装置１００は、制御装置１０５、記憶装置１１０、通信装置１１５、表示装置１２０、方位検出装置１２５、姿勢検出装置１３０、及び撮影装置１３５を有する。
制御装置１０５は、例えばＣＰＵ（Central Processing Unit）であり、必要に応じて、記憶装置１１０よりプログラムを読み出して、プログラムを実行する。例えば、ＡＲを提供するアプリケーション（ＡＲアプリケーション）に係るプログラムが実行されることで、端末装置１００における後述の機能、及び後述のフローチャートに係る処理が実現される。
また、制御装置１０５は、特定部の一例であり、通信装置１１５を介して衛星から取得された軌道情報から、いわゆるＧＰＳ（Global Positioning System）を利用して、端末装置１００の現在の緯度・経度・高度などの位置を示す装置位置情報（位置情報の一例）を特定（測定）する。

記憶装置１１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置１１０（ＲＯＭ）は、端末装置１００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置１１０（ＲＡＭ）は、端末装置１００のメインメモリとして機能する。また、記憶装置１１０（ＨＤ）は、プログラム以外に制御装置１０５により算出された数値データ等を記憶する。
なお、端末装置１００は、記憶装置１１０に記憶される各種の情報を、ＣＤ−ＲＯＭ等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。

通信装置１１５は、外部装置（サーバ装置２００等）と通信を行い、後述の表示情報などを受信する。通信装置１１５で受信された表示情報などは、記憶装置１１０に記憶される。
表示装置１２０は、表示部の一例であり、表示パネル１０を有する。表示装置１２０は、各種の画像を表示パネル１０に表示する。なお、本実施形態では、表示装置１２０として、非透過型の液晶ディスプレイを例に挙げて説明するが、透過型の液晶ディスプレイを採用してもよい。

方位検出装置１２５は、例えば電子コンパスであり、微弱な地磁気（例えば前後方向の地磁気及び左右方向の地磁気）を検知し、地磁気の強さから北の方向を計算して端末装置１００の方位（方位情報）を算出する。
姿勢検出装置１３０は、例えばジャイロセンサであり、物体の角速度を検知し、角速度を積分などして角度（端末装置１００の姿勢（姿勢情報））を算出する。
撮影装置１３５は、撮影部の一例であり、現実空間の撮影を行う。
なお、端末装置１００のハードウェア構成は、これに限られるものではない。例えば、方位検出装置１２５及び姿勢検出装置１３０に代えて、方位検出装置１２５及び姿勢検出装置１３０の機能を一体とした機能を有する方位姿勢検出装置を採用してもよい。

図２（Ｂ）は、サーバ装置２００のハードウェア構成の一例を示す図である。サーバ装置２００は、制御装置２０５、記憶装置２１０、通信装置２１５、表示装置２２０、及び入力装置２２５を有する。
制御装置２０５は、例えばＣＰＵ（Central Processing Unit）であり、必要に応じて、記憶装置２１０よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、サーバ装置２００における後述の機能、及び後述のフローチャートに係る処理が実現される。

記憶装置２１０は、記憶部の一例であり、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置２１０（ＲＯＭ）は、サーバ装置２００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置２１０（ＲＡＭ）は、サーバ装置２００のメインメモリとして機能する。また、記憶装置２１０（ＨＤ）は、プログラム以外に制御装置２０５により算出された数値データ等を記憶する。
なお、サーバ装置２００は、記憶装置２１０に記憶される各種の情報を、ＣＤ−ＲＯＭ等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。

通信装置２１５は、外部装置（端末装置１００等）と通信を行う。例えば、通信装置２１５は、端末装置１００から後述の装置情報を受信する。また、例えば、通信装置２１５は、各種の情報処理装置から後述のタグ情報を受信する。通信装置２１５で受信されたタグ情報は、記憶装置２１０（タグＤＢ２０等）に記憶される。
表示装置２２０は、ディスプレイ等であり、各種の情報を表示する。
入力装置２２５は、キーボード、マウス等であり、サーバ装置２００に各種の情報を入力する。

図３は、サーバ装置２００が管理するタグ情報を格納するタグＤＢ２０のテーブルの一例を示す図である。テーブルには、ＩＤ、位置、表示内容、登録日時、クリック数の情報を含んで構成されたタグ情報が記憶される。なお、より広義には、位置、表示内容、登録日時、クリック数の情報がＩＤに関連付けられて記憶装置２１０に記憶されている。
タグのＩＤを示すＩＤ情報は、ＡＲオブジェクトを識別可能な識別情報の一例であり、タグ情報を一意に識別可能である。タグの位置を示すタグ位置情報は、ＡＲオブジェクトの位置を示す位置情報の一例であり、現実空間におけるタグの場所、即ちタグが付された地点の緯度、経度、及び高度を示す情報である。

タグの表示内容を示す表示内容情報は、ＡＲオブジェクトの表示態様を示す態様情報の一例であり、各種の情報処理装置を介して入力された情報であり、タグの内容情報とタグの画像情報とタグの形状情報とを含んで構成される。
タグの内容情報は、対象物が店である場合は店名、対象物が美術品である場合は作者名など、タグが付された対象物に関する情報である。画像情報は、対象物が店である場合は店の写真、対象物が美術品である場合は美術品の写真など、タグが付された対象物に関する画像である。

タグの形状情報は、タグの属性（種類）を示す属性情報の一例であり、タグの形状を示す情報である。ここで、タグの形状情報は、ユーザにより指定される構成であってもよいし、管理者により指定される構成であってもよいし、或いはタグの内容情報を解析して自動的に指定される構成であってもよい。
なお、本実施形態では、形状情報に加えて又は代えて、コンビニエンスストア、薬局、ガソリンスタンドなどの対象物の属性、和食、洋食などの対象物におけるサービスの属性など、適宜の属性の情報を一又は複数採用できる。
登録日時を示す登録日時情報は、時間情報の一例であり、対象物に対してタグが付された日時、換言するならばタグ情報がタグＤＢ２０に登録された日時を示す情報である。クリック数を示すクリック数情報は、ＡＲオブジェクトがアクセスされた回数を示す回数の情報の一例であり、サーバ装置２００でリアルタイムに計数される、各種の情報処理装置においてタグがクリックされた回数の情報である。

図４は、ＡＲ提供システムのシーケンスの一例を示す図である。端末装置１００は、ＡＲアプリケーションの起動の指示を受け付けると（ＳＱ３０５）、サーバ装置２００に装置情報を送信する（ＳＱ３１０）。より具体的には、端末装置１００は、ＡＲアプリケーションの起動に応答して、撮影装置１３５の視野の特定に用いられる後述の装置情報をサーバ装置２００に送信する。

ＳＱ３１５では、サーバ装置２００は、表示情報生成処理を行う。より具体的には、まず、サーバ装置２００は、装置情報を受信し、装置情報により特定される撮影装置１３５の視野に含まれる一定の距離（例えば５００ｍ）内に存在するタグのＩＤを特定し、特定したタグのＩＤのタグ情報をタグＤＢ２０から抽出する。
次に、サーバ装置２００は、抽出したタグ情報の内容情報、形状情報などをもとにタグを生成する。続いて、サーバ装置２００は、生成したタグ、当該タグのタグ位置情報、登録日時情報などを含む表示情報をタグごとに生成する。
続いて、サーバ装置２００は、生成した表示情報を端末装置１００に送信する（ＳＱ３２０）。

ここで、端末装置１００は、表示情報を受信すると、表示情報を記憶装置１１０に格納する。続いて、端末装置１００は、撮影装置１３５で撮影された映像にタグを重畳して表示する。
また、端末装置１００は、端末装置１００の状態を監視する（ＳＱ３２５）。より具体的には、端末装置１００は、端末装置１００の緯度、経度、高度、方位、及び姿勢の変化を監視する。このとき、端末装置１００は、端末装置１００の状態の変化を検知すると、装置情報をサーバ装置２００に送信する（ＳＱ３３０）。
なお、サーバ装置２００は、装置情報を受信すると、ＳＱ３１５と同様に、表示情報生成処理を行い（ＳＱ３３５）、生成した表示情報を端末装置１００に送信する（ＳＱ３４０）。また、端末装置１００は、ＳＱ３２５と同様に、端末装置１００の状態を監視する（ＳＱ３４５）。

即ち、端末装置１００は、ＡＲアプリケーションが動作しているときは、基本的には、ＳＱ３１０からＳＱ３２５までの一連の処理（通常表示処理）を繰り返し行う。
ただし、端末装置１００は、表示変更指示を受け付けると（ＳＱ３５０）、表示変更指示の種類に応じて、表示パネル１０に表示されているタグを整列する（ＳＱ３５５）。なお、ＳＱ３５０の処理については図７を用いて詳細に説明する。
また、端末装置１００は、整列を解除する旨の整列解除指示を受け付けると（ＳＱ３６０）、通常表示処理が行われることになる。ここで、整列解除指示は、一定の時間にわたり表示パネル１０に対してタップされる、端末装置１００が振られる、端末装置１００が水平方向に傾けられる、表示パネル１０に表示されたアイコンが押下される等のユーザ操作をいう。

図５は、端末装置１００及びサーバ装置２００の機能構成の一例を示す図である。
端末装置１００は、制御部１５０、読出部１５５、表示制御部１６０、及び通信部１６５を有する。制御部１５０は、読出部１５５及び表示制御部１６０を管理すると共に、端末装置１００における制御を司る。読出部１５５は、記憶装置１１０から各種の情報を読み出す。表示制御部１６０は、表示装置１２０を制御し、表示パネル１０にタグ等を表示する。通信部１６５は、通信装置１１５を制御し、外部装置との通信を行う。
サーバ装置２００は、制御部２５０及び通信部２５５を有する。制御部２５０は、通信部２５５を管理すると共に、サーバ装置２００における制御を司る。通信部２５５は、通信装置２１５を制御し、外部装置との通信を行う。

図６は、端末装置１００の制御部１５０が行うＡＲ提供処理に係るフローチャートの一例を示す図である。ＡＲ提供処理は、ＡＲアプリケーションの起動の指示が受付けられることを契機に開始される。
まず、制御部１５０は、ＡＲアプリケーションの終了の指示を受け付けたか否かを判断する（Ｓ４０５）。このとき、制御部１５０は、受け付けたと判断した場合、ＡＲ提供処理を終了する。他方、受け付けていないと判断した場合、制御部１５０は、Ｓ４１０の処理を行う。
Ｓ４１０では、制御部１５０は、端末装置１００の装置位置情報を算出し、方位検出装置１２５から方位情報を受け取り、姿勢検出装置１３０から姿勢情報を受け取る。この際、制御部１５０は、算出した装置位置情報、並びに受け取った方位情報及び姿勢情報を記憶装置１１０に格納する。

続いて、制御部１５０は、表示パネル１０に表示するタグの表示情報をサーバ装置２００から取得する（Ｓ４１５）。
より具体的には、まず、制御部１５０は、端末装置１００の内部パラメータ（撮像面の寸法、レンズの焦点距離、レンズの歪みの度合いの情報など）をもとに撮影装置１３５の視野の範囲を特定する範囲情報（画角など）を算出し、範囲情報、装置位置情報、方位情報、及び姿勢情報を含む装置情報を生成する。次に、制御部１５０は、通信部１６５を介して、生成した装置情報をサーバ装置２００に送信する。
そして、制御部１５０は、通信部１６５を介してサーバ装置２００から表示情報を受信し、受信した表示情報を記憶装置１１０に格納する。

ここで、サーバ装置２００において装置情報が受信されることを契機に行われる表示情報生成処理（ＳＱ３１５など）の詳細について説明する。
表示情報生成処理では、まず、サーバ装置２００の制御部２５０は、装置情報に含まれる範囲情報、方位情報、及び姿勢情報をもとに撮影装置１３５の視野を特定する。次に、制御部２５０は、撮影装置１３５の視野に含まれる装置位置情報の位置を基準として一定の距離内に存在するタグのＩＤをタグＤＢ２０のタグ位置情報を参照して特定する。次に、制御部２５０は、特定したタグのＩＤをもとにタグ情報をタグＤＢ２０から抽出する。
次に、制御部２５０は、抽出したタグ情報の内容情報と形状情報と規定の寸法情報とをもとにタグを生成する。規定の寸法情報は、タグの形状情報に対応して記憶装置２１０に設けられ、例えば、四角形に対しては縦１００ピクセル、横２００ピクセルが設けられている。この際、制御部２５０は、タグ情報に画像情報が設定されている場合、タグに画像情報を含める。そして、制御部２５０は、生成したタグ、当該タグのタグ位置情報、及び登録日時情報を含む表示情報をタグごとに生成する。この際、制御部２５０は、形状情報以外の他の属性情報があるときは、他の属性情報を表示情報に含める。
なお、制御部２５０は、通信部２５５を介して、生成した表示情報を端末装置１００に送信する。

また、端末装置１００の通信部１６５は、ネットワークを介してサーバ装置２００から受信した表示情報を記憶装置１１０に記憶させる。続いて、端末装置１００の制御部１５０は、読出部１５５を介して記憶装置１１０から表示情報を読み出し、表示制御部１６０を介して、撮影装置１３５で撮影された映像に整合する表示パネル１０における表示位置に表示情報に含まれるタグを表示する（Ｓ４２０）。なお、位置合わせについては従来から用いられている技術を適用することができる。例えば、表示制御部１６０は、撮影装置１３５における座標系を表示パネル１０における座標系に変換する。これにより、表示制御部１６０は、撮影装置１３５の映像、及びタグについて、表示パネル１０内での表示位置を特定する。また、表示制御部１６０は、タグの寸法、明るさ等を表示パネル１０に適合するように調整する。
続いて、制御部１５０は、端末装置１００の状態に変化があったか否かを判断する（Ｓ４２５）。より具体的には、制御部１５０は、記憶装置１１０に記憶されている、今回の装置位置情報、方位方法、及び姿勢情報と、前回の装置位置情報、方位方法、及び姿勢情報とを比較して、一致するか否かを判断する。なお、完全に一致するか否かを判断する構成を採用してもよいし、規定の桁数までの数値が一致（略一致）するか否かを判断する構成を採用してもよい。
このとき、制御部１５０は、端末装置１００の状態に変化があったと判断した場合、Ｓ４０５の処理を行う。他方、制御部１５０は、端末装置１００の状態に変化がなかったと判断した場合、Ｓ４３０の処理を行う。

Ｓ４３０では、制御部１５０は、表示変更指示が受け付けられたか否かを判断する。このとき、制御部１５０は、表示変更指示が受け付けられたと判断した場合、Ｓ４３５の処理を行う。他方、制御部１５０は、表示変更指示が受け付けられていないと判断した場合、Ｓ４０５の処理を行う。
Ｓ４３５では、制御部１５０は、読出部１５５及び表示制御部１６０を介して、タグ整列設定情報により指定された書式でタグを表示する（表示制御処理）。タグ整列設定情報は、どの様なルールでタグを整列（配置）するかというルールを規定した情報であり、表示変更指示の種類に対応して記憶装置１１０に記憶されている。なお、表示制御処理については図７を用いて詳細に説明する。
続いて、制御部１５０は、整列解除指示を受け付けたか否かを判断する（Ｓ４４０）。このとき、制御部１５０は、整列解除指示を受け付けたと判断した場合、Ｓ４０５の処理を行う。他方、制御部１５０は、整列解除指示を受け付けていないと判断した場合、Ｓ４３５の処理を行う。

図７は、端末装置１００の表示制御部１６０が行う表示制御処理に係るフローチャートの一例を示す図である。
まず、表示制御部１６０は、表示変更指示が距離整列指示であるか否かを判断する（Ｓ５０５）。より具体的には、表示制御部１６０は、距離の整列を指示するユーザインタフェース（後述の図８の距離整列アイコン７０５など）が操作されたか否かを判断する。このとき、表示制御部１６０は、表示変更指示が距離整列指示であると判断した場合、Ｓ５１０の処理を行う。他方、表示制御部１６０は、表示変更指示が距離整列指示でないと判断した場合、続いてＳ５１５の処理を行う。
Ｓ５１０では、表示制御部１６０は、距離順にタグを整列して表示パネル１０に表示し、表示制御処理を終了する。

より詳細に説明すると、表示制御部１６０は、まず、距離整列指示に対応して設けられたタグ整列設定情報を記憶装置１１０から読み出す。このタグ整列設定情報には、端末装置１００とタグとの距離に応じてタグを整列するためのルールが規定されている。本実施形態では、表示パネル１０の下端から上端にかけて距離が短いものから順にタグを表示するルールが規定されている。しかしながら、上記ルールに限られるものではない。例えば、表示パネル１０の左端から右端にかけて距離が短いものから順にタグを表示するルールを採用してもよい。
次に、表示制御部１６０は、端末装置１００の装置位置情報とタグのタグ位置情報とから端末装置１００とタグとの距離を算出する。なお、表示制御部１６０は、現実空間における距離を算出してもよいし、座標系における距離を算出してもよい。そして、表示制御部１６０は、上記ルールに従って距離順にタグを整列して表示する。このときの表示パネル１０の表示態様の一例を図８（Ｂ）に示す。

Ｓ５１５では、表示制御部１６０は、表示変更指示が区間整列指示であるか否かを判断する。より具体的には、表示制御部１６０は、区間の整列を指示するユーザインタフェース（後述の図８の区間整列アイコン７１０など）が操作されたか否かを判断する。このとき、表示制御部１６０は、表示変更指示が区間整列指示であると判断した場合、Ｓ５２０の処理を行う。他方、表示制御部１６０は、表示変更指示が区間整列指示でないと判断した場合、続いてＳ５２５の処理を行う。
Ｓ５２０では、表示制御部１６０は、区間ごとにタグを整列して表示パネル１０に表示し、表示制御処理を終了する。

より詳細に説明すると、表示制御部１６０は、まず、区間整列指示に対応して設けられたタグ整列設定情報を記憶装置１１０から読み出す。このタグ整列設定情報には、予め設けられた区間にタグを分類して整列するルールが規定されている。本実施形態では、表示パネル１０の下端から上端にかけて距離が長くなる一定の距離ごと（例えば５０ｍ単位）の区間が定められ、区間ごとにタグを分類し、同じ区間に複数のタグが属する場合は横に並べるルールが規定されている。しかしながら、上記ルールに限られるものではなく、区間ごとにタグを整列する他のルールを採用してもよい。
次に、表示制御部１６０は、端末装置１００の装置位置情報とタグのタグ位置情報とから端末装置１００とタグとの距離を算出する。そして、表示制御部１６０は、算出した距離から、各タグが属する区間を特定し、区間ごとにタグを整列して表示する。この場合の表示パネル１０の表示態様の一例を図８（Ｃ）に示す。

Ｓ５２５では、表示制御部１６０は、表示変更指示が一定時間押下指示であるか否かを判断する。より具体的には、表示制御部１６０は、表示パネル１０における何れかのタグが一定の時間にわたりタップされたか否かを判断する。このとき、表示制御部１６０は、表示変更指示が一定時間押下指示であると判断した場合、Ｓ５３０の処理を行う。他方、表示制御部１６０は、表示変更指示が一定時間押下指示でないと判断した場合、続いてＳ５３５の処理を行う。
Ｓ５３０では、表示制御部１６０は、設定情報（デフォルトのタグ整列設定情報）に従ってタグを整列して表示パネル１０に表示し、表示制御処理を終了する。
より詳細に説明すると、表示制御部１６０は、まず、ユーザにより押下された表示パネル１０における表示位置を特定する。次に、表示制御部１６０は、特定した表示位置のタグが含まれるタグ群（表示オブジェクト群）を特定する。例えば、表示制御部１６０は、特定した表示位置の最も手前のタグを特定し、当該タグに重なって表示されているタグ、更にはそのタグに重なっているタグを特定し、このように連鎖的に特定したタグを整列の対象のタグ（対象タグ）として特定する。そして、表示制御部１６０は、対象タグのＩＤを記憶装置１１０に格納する。
次に、表示制御部１６０は、設定情報を記憶装置１１０から読み出す。本実施形態では、設定情報としては、後述の種類整列指示に対応して設けられたタグ整列設定情報が設定されているので、後述のＳ５４０の処理と同様の処理が行われる。

Ｓ５３５では、表示制御部１６０は、表示変更指示が種類整列指示であるか否かを判断する。より具体的には、表示制御部１６０は、種類の整列を指示するユーザインタフェース（後述の図９の種類整列アイコン７２５など）が操作されたか否かを判断する。このとき、表示制御部１６０は、表示変更指示が種類整列指示であると判断した場合、Ｓ５４０の処理を行う。他方、表示制御部１６０は、表示変更指示が種類整列指示でないと判断した場合、続いてＳ５４５の処理を行う。
Ｓ５４０では、表示制御部１６０は、種類ごとにタグを整列して表示パネル１０に表示し、表示制御処理を終了する。

より詳細に説明すると、表示制御部１６０は、まず、種類整列指示に対応して設けられたタグ整列設定情報を記憶装置１１０から読み出す。このタグ整列設定情報には、予め設けられたタグの種類（属性）ごとに対象タグをまとめて整列するルールが規定されている。本実施形態では、種類ごとに対象タグを分類し、対象タグが１つのまとまり（タグ群）であったことを示す情報（色、線など）を用いて対象タグを識別し、種類が同じ対象タグを近接して表示するルールが規定されている。しかしながら、上記ルールに限られるものではなく、種類ごとにタグを整列する他のルールを採用してもよい。
そして、表示制御部１６０は、上記ルールに従って、各対象タグが属する種類を特定し、種類ごとに対象タグを整列して表示する。この場合の表示パネル１０の表示態様の一例を図９（Ｂ）に示す。

Ｓ５４５では、表示制御部１６０は、表示変更指示が登録日時整列指示であるか否かを判断する。より具体的には、表示制御部１６０は、登録日時の整列を指示するユーザインタフェース（後述の図９の登録日時整列アイコン７１５など）が操作されたか否かを判断する。このとき、表示制御部１６０は、表示変更指示が登録日時整列指示であると判断した場合、Ｓ５５０の処理を行う。他方、表示制御部１６０は、表示変更指示が登録日時整列指示でないと判断した場合、続いてＳ５５５の処理を行う。
Ｓ５５０では、表示制御部１６０は、登録順にタグを整列して表示パネル１０に表示し、表示制御処理を終了する。

より詳細に説明すると、表示制御部１６０は、まず、登録日時整列指示に対応して設けられたタグ整列設定情報を記憶装置１１０から読み出す。このタグ整列設定情報には、タグの登録日時に応じてタグを整列するルールが規定されている。本実施形態では、対象タグがタグ群であったことを示す情報を用いて対象タグを識別し、登録日時が新しいもの（或いは登録日時が古いもの）から順にタグを表示するルールが規定されている。しかしながら、上記ルールに限られるものではなく、登録日時順にタグを整列する他のルールを採用してもよい。
そして、表示制御部１６０は、上記ルールに従って、登録順にタグを整列して表示する。この場合の表示パネル１０の表示態様の一例を図９（Ｃ）に示す。

Ｓ５５５では、表示制御部１６０は、表示変更指示がクリック数整列指示であるか否かを判断する。より具体的には、表示制御部１６０は、クリック数での整列を指示するユーザインタフェース（後述の図９のクリック数整列アイコン７２０など）が操作されたか否かを判断する。このとき、表示制御部１６０は、表示変更指示がクリック数整列指示であると判断した場合、Ｓ５６０の処理を行う。他方、表示制御部１６０は、表示変更指示がクリック数整列指示でないと判断した場合、表示制御処理を終了する。
Ｓ５６０では、表示制御部１６０は、サーバ装置２００からクリック数情報を取得し、クリック数順（回数順）にタグを整列して表示パネル１０に表示し、表示制御処理を終了する。

より詳細に説明すると、表示制御部１６０は、まず、制御部１５０及び通信部１６５を介してサーバ装置２００にクリック数情報を要求する。
即ち、表示制御部１６０は、制御部１５０及び通信部１６５を介して対象タグのＩＤを送信する。他方、サーバ装置２００の制御部２５０は、通信部２５５を介して対象タグのＩＤを受信すると、ＩＤに対応するクリック数情報をタグＤＢ２０から抽出し、通信部２５５を介して、抽出したクリック数情報を対象タグのＩＤと共に端末装置１００に送信する。
また、端末装置１００の表示制御部１６０は、制御部１５０及び通信部１６５を介してクリック数情報を受信すると、クリック数整列指示に対応して設けられたタグ整列設定情報を記憶装置１１０から読み出す。このタグ整列設定情報には、タグのクリック数に応じてタグを整列するルールが規定されている。本実施形態では、対象タグがタグ群であったことを示す情報を用いて対象タグを識別し、クリック数が多いもの（或いはクリック数が少ないもの）から順にタグを表示するルールが規定されている。しかしながら、上記ルールに限られるものではなく、クリック数順にタグを整列する他のルールを採用してもよい。
そして、表示制御部１６０は、上記ルールに従って、クリック数順にタグを整列して表示する。
なお、クリック数情報については、本実施形態で説明したように、対象タグが特定されるたびにサーバ装置２００に要求してもよいし、Ｓ４１５の処理でクリック数情報が含められた表示情報をサーバ装置２００から取得して記憶装置１１０に記憶しておいてもよい。

図８は、表示パネル１０の表示態様の一例（画面）を示す図である。
例えば、ユーザによりＡＲアプリケーションが起動されると、図８（Ａ）に示すように、撮影装置１３５で撮影された映像の整合した位置にタグが重畳されて表示パネル１０に表示される。以下、この状態を「未整列画面」と記載する。そして、未整列画面において、距離整列アイコン７０５が押下された場合、図８（Ｂ）に示す距離整列画面に画面が切り替わる。また、未整列画面において、区間整列アイコン７１０が押下された場合、図８（Ｃ）に示す区間整列画面に画面が切り替わる。

距離整列画面では、未整列画面において重なって表示されていたタグ（６０５〜６３０）が距離順に整列されて表示される。このように、タグが距離順に整列されることで、例えば、ユーザは、二番目や三番目に近い対象物或いは逆に最も遠い対象物が何であるかを容易に把握できるようになる。
区間整列画面では、未整列画面において重なって表示されていたタグ（６０５〜６３０）が区間ごとに整列されて表示される。このように、タグが区間ごとに整列されることで、例えば、ユーザは、どのくらいの距離に対象物が多く存在するのかを容易に把握できるようになる。
なお、距離整列画面において区間整列アイコン７１０が押下された場合、区間整列画面に画面が切り替わり、区間整列画面において距離整列アイコン７０５が押下された場合、距離整列画面に画面が切り替わる。また、距離整列画面又は距離整列画面において、整列解除指示が受け付けられると、未整列画面に画面が切り替わる。

図９は、表示パネル１０の表示態様の一例（画面）を示す図である。
例えば、ユーザによりＡＲアプリケーションが起動されると、図９（Ａ）に示す未整列画面が表示パネル１０に表示される。そして、未整列画面において、ユーザ８０５によりタグ（６０５〜６０５）のうちの何れかが一定の時間にわたりタップされた場合、図９（Ｂ）に示す種類整列画面に画面が切り替わる。また、種類整列画面において、登録日時整列アイコン７１５が押下された場合、図９（Ｃ）に示す登録日時整列画面に画面が切り替わる。
ここで、種類整列画面では、未整列画面において重なって表示されていたタグ群のうちタップされたタグが含まれるタグ群、即ちタグ（６０５〜６１５、６３０〜６４５）が種類ごとに整列されて表示される。
この例では、タグの属性（種類）が、タグの形状である場合を示したが、例えば、和食、洋食などの対象物のサービスの属性である場合、和食についてのタグ、洋食についてのタグが夫々で近接するように配置されて表示されることになる。なお、表示位置９０５は、ユーザ８０５によりタップされた表示位置を示す。また、識別線９１０は、タップされたタグ群であったタグを識別するものである。
また、登録日時整列画面では、未整列画面において重なって表示されていたタグ（６０５〜６１５、６３０〜６４５）が登録順に整列されて表示される。

なお、未整列画面において、距離整列アイコン７０５が押下された場合、距離整列画面に画面が切り替わり、区間整列アイコン７１０が押下された場合、区間整列画面に画面が切り替わる。
また、種類整列画面（或いは登録日時整列画面）においてクリック数整列アイコン７２０が押下された場合、クリック数整列画面（図示せず。）に画面が切り替わり、登録日時整列画面において種類整列アイコン７２５が押下された場合、種類整列画面に画面が切り替わる。また、種類整列画面、登録日時整列画面、又はクリック数整列画面において、整列解除指示が受け付けられると、未整列画面に画面が切り替わる。
図９に示す画面は、上述した構成に限られるものではない。例えば、種類整列画面、登録日時整列画面、及びクリック数整列画面では、タップされたタグ群とは異なる他のタグ群（タグＤ６２０、タグＥ６２５、タグＪ６５０）をタップされたタグ群と同様に整列してもよい。また、種類整列画面、登録日時整列画面、及びクリック数整列画面では、タップされたタグ群のタグ以外のタグ（他のタグ群など）を非表示としてもよい。

上述した構成によれば、拡張現実技術で本来行うべき重畳表示をユーザの指示に基づいて一旦解除して互いのタグが重ならないように再配置して表示されることで、各タグのクリックがより容易になる。また、各タグの内容を一斉に把握できるので、各タグの内容を比較することがより容易になる。また、表示変更指示に応じたタグの整列が行われるので、タグの関連性の把握がより容易になる。
なお、上述した各表示態様の選択順序はあくまでも一例であり、その順序や表示の種類は上述したものに限るものではない。また、各表示態様を選択する構成も上述したものに限られるものではなく、アイコンを押下するか、或いは一定の時間にわたりタグをタップするかという方法についても設計に応じて変更してよい。

＜第２の実施形態＞
本実施形態では、重なって表示されているタグを選択、把握する他の拡張現実感提供方法について説明する。なお、本実施形態では、第１の実施形態と同一の構成には同一の符号を用いて説明を適宜省略する。
図１０は、表示パネル１０の表示態様の一例（画面）を示す図である。
例えば、ユーザによりＡＲアプリケーションが起動されると、図１０（Ａ）に示す未整列画面が表示パネル１０に表示される。そして、未整列画面において、上空視点アイコン７３５が押下された場合、図１０（Ｂ）に示す上空視点画面に画面が切り替わる。また、未整列画面において、寸法変更アイコン７４０が押下された場合、図１０（Ｃ）に示す寸法変更画面に画面が切り替わる。
上空視点画面では、未整列画面において重なって表示されていたタグ（６０５〜６３０）が上空から見下ろしたときの内容として表示される。例えば、表示制御処理では、表示制御部１６０は、端末装置１００の装置位置情報とタグのタグ位置情報とから表示パネル１０におけるタグの新たな表示位置を算出し、タグの形状を上空から視認したとき用の態様に変更し、表示パネル１０に表示する。この構成によれば、例えば、タグの位置の把握がより容易になる。

寸法変更画面では、未整列画面において重なって表示されていたタグ（６０５〜６３０）の寸法が距離に応じて変更されて表示される。
例えば、表示制御処理では、表示制御部１６０は、各タグの左上の頂点を基準として、距離が長いほどタグの寸法が大きくなるようにタグの寸法を距離に応じて拡大（或いは縮小）する。より具体的には、表示制御部１６０は、端末装置１００の装置位置情報とタグのタグ位置情報とから端末装置１００とタグとの距離を算出し、距離に応じて拡大倍率（或いは縮小倍率）が規定された情報を記憶装置１１０から読み出し、読み出した情報に従ってタグの寸法を拡大（或いは縮小）する。つまり、通常の遠近法とは逆に、遠いオブジェクトをより大きく表示することにより、手前のオブジェクトに隠れてしまうことを避けるように表示する。

なお、本実施形態は、この構成に限られるものではない。例えば、表示制御部１６０が各タグの中心を基準としてタグの寸法を距離に応じて拡大（或いは縮小）する構成としてもよい。また、例えば、表示制御部１６０が、タグの寸法を距離に応じて拡大（或いは縮小）したときのタグの配置を頂点ごとに算出し、最もタグの内容が表示される配置の頂点を選定し、選定した頂点を基準としてタグの寸法を距離に応じて拡大（或いは縮小）する構成を採用してもよい。
更に、各タグに表示される文字列情報、イメージ情報などを、各タグの中心付近ではなく、他のタグに隠れない位置を算出して表示する構成としてもよい。
また、上空視点画面又は寸法変更画面において、整列解除指示が受け付けられると、未整列画面に画面が切り替わる。

上述した構成によれば、各タグのクリックがより容易になる。また、各タグの内容を一斉に把握できるので、各タグの内容を比較することがより容易になる。
なお、上述した実施形態では、ユーザが表示パネル１０に対してタップ等の指示を行うことで整列画面に移行する構成を採用したが、本実施形態は、これに限られるものではない。例えば、姿勢検出装置１３０で検出された端末装置１００の姿勢情報に基づいて、表示パネル１０が略水平方向に倒されたことを契機にタグの形状を上空から視認したとき用の態様に変更する構成としてもよい。これにより、ユーザは、端末装置１００の姿勢を操るだけで重なって見づらかった各タグの内容を比較することがより容易になる。

＜その他の実施形態＞
第１の実施形態、及び第２の実施形態では、撮影装置１３５の視野に含まれる一定の距離内に存在するタグのＩＤをタグＤＢ２０のタグ位置情報を参照して特定する構成を示したが、この構成に限られるものではない。
例えば、端末装置１００が装置位置情報を含む装置情報をサーバ装置２００に送信し、サーバ装置２００が端末装置１００から一定の距離内に存在するタグのＩＤをタグＤＢ２０のタグ位置情報を参照して特定する構成を採用してもよい。この場合、端末装置１００は、受信する表示情報に含まれるタグの中から撮影装置１３５の視野に含まれるタグ（ＩＤ）を特定し、特定したタグを表示パネル１０に表示する。
また、第１の実施形態、及び第２の実施形態では、タグが、サーバ装置２００で生成される構成を示したが、この構成に限られるものではない。例えば、タグが、端末装置１００で生成される構成を採用してもよい。この場合、サーバ装置２００は、タグに代えて表示内容情報を表示情報に含めて端末装置１００に送信する。

また、第１の実施形態、及び第２の実施形態では、タグＤＢ２０に、タグの生成に用いられる表示内容情報、形状情報などが格納される構成を示したが、この構成に限られるものではない。例えば、サーバ装置２００は、タグＤＢ２０へのタグ情報の登録の際に、表示内容情報、形状情報などをもとにタグを生成してタグＤＢ２０に格納してもよい。
また、端末装置１００とサーバ装置２００とが行う処理の分担は、上述した構成に限られるものではない。例えば、端末装置１００がサーバ装置２００の一部又は全部の処理を実行してもよいし、サーバ装置２００が端末装置１００の一部の処理を実行してもよい。
また、本実施形態では、第１の実施形態の構成、及び第２の実施形態の構成を適宜変更したり適宜組み合わせたりした構成を採用してもよい。

なお、表示パネル１０の表示態様が上述した第１の実施形態、及び第２の実施形態で示した何れかの表示態様となるようにユーザが初期値を設定しておき、表示パネル１０へのタップ操作や端末装置１００の姿勢に応じて初期値で設定された表示態様に直接移行するようにしてもよい。
また、表示パネルとして透過型液晶ディスプレイを利用した携帯型端末、ＨＭＤ等を使用する場合、必ずしも撮影装置１３５は必要ではなく、各ディスプレイの画角を初期値として設定しておき、表示されるＡＲオブジェクトを特定してもよい。この場合、表示態様の選択については、画面への操作だけではなく、携帯型端末やＨＭＤに備えられた物理的なスイッチ類で行ってもよく、或いは上述したような姿勢情報によって行ってもよい。

上述した各実施形態の構成によれば、表示オブジェクトをより適切に表示することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 端末装置
２００ サーバ装置

Claims (3)

1. 当該情報処理装置の位置を示す位置情報を特定する特定部と、表示オブジェクトの現実空間での位置を示す位置情報と前記表示オブジェクトの表示態様を示す態様情報とを識別情報に関連付けて記憶する記憶部と、表示オブジェクトの表示が行われる表示部と、撮影を行う撮影部とを有する情報処理装置であって、
   前記特定部で特定された位置情報を基準として一定の距離内にある表示オブジェクトの識別情報に関連付けられた位置情報と態様情報とを前記記憶部から読み出す読出手段と、
   前記読出手段で読み出された複数の識別情報に関連付けられた複数の態様情報から生成される複数の表示オブジェクトを前記撮影部で撮影された映像に整合する前記表示部における表示位置に表示し、ユーザ操作を介して表示の切り替えの指示を受け付けたと判断すると、当該情報処理装置の位置情報と前記複数の表示オブジェクトの複数の位置情報とから夫々の距離を算出し、前記複数の表示オブジェクトの寸法を前記算出した距離が長いほど大きくして表示する表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 当該情報処理装置の位置を示す位置情報を特定する特定部と、表示オブジェクトの現実空間での位置を示す位置情報と前記表示オブジェクトの表示態様を示す態様情報とを識別情報に関連付けて記憶する記憶部と、表示オブジェクトの表示が行われる表示部と、撮影を行う撮影部とを有する情報処理装置における拡張現実感提供方法であって、
   前記特定部で特定された位置情報を基準として一定の距離内にある表示オブジェクトの識別情報に関連付けられた位置情報と態様情報とを前記記憶部から読み出す読出工程と、
   前記読出工程で読み出された複数の識別情報に関連付けられた複数の態様情報から生成される複数の表示オブジェクトを前記撮影部で撮影された映像に整合する前記表示部における表示位置に表示し、ユーザ操作を介して表示の切り替えの指示を受け付けたと判断すると、当該情報処理装置の位置情報と前記複数の表示オブジェクトの複数の位置情報とから夫々の距離を算出し、前記複数の表示オブジェクトの寸法を前記算出した距離が長いほど大きくして表示する表示制御工程と、
   を含むことを特徴とする拡張現実感提供方法。
3. 当該コンピュータの位置を示す位置情報を特定する特定部と、表示オブジェクトの現実空間での位置を示す位置情報と前記表示オブジェクトの表示態様を示す態様情報とを識別情報に関連付けて記憶する記憶部と、表示オブジェクトの表示が行われる表示部と、撮影を行う撮影部とを有するコンピュータを、
   前記特定部で特定された位置情報を基準として一定の距離内にある表示オブジェクトの識別情報に関連付けられた位置情報と態様情報とを前記記憶部から読み出す読出手段と、
   前記読出手段で読み出された複数の識別情報に関連付けられた複数の態様情報から生成される複数の表示オブジェクトを前記撮影部で撮影された映像に整合する前記表示部における表示位置に表示し、ユーザ操作を介して表示の切り替えの指示を受け付けたと判断すると、当該コンピュータの位置情報と前記複数の表示オブジェクトの複数の位置情報とから夫々の距離を算出し、前記複数の表示オブジェクトの寸法を前記算出した距離が長いほど大きくして表示する表示制御手段と、
   して機能させるプログラム。

Images