JP6409644B2 - 表示制御方法、表示制御プログラム、及び情報処理装置 - Google Patents

Description

本発明は、表示制御方法、表示制御プログラム、及び情報処理装置に関する。

カメラ等の撮像装置により撮像された画像の一部にオブジェクトデータを重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲ技術では、画面上に表示するオブジェクトデータの種類や表示位置（配置情報）を設定する処理（以下、必要に応じて「オーサリング処理」という）がある。オーサリング処理において、オブジェクトデータの表示位置を設定する際には、左右方向の位置（ｘ軸）、奥行方向の位置（ｙ軸）、上下方向の位置（ｚ軸）を登録する。

また、オーサリング処理では、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ，全地球測位網）等から得た位置情報（緯度、経度、高度）に対応する三次元直交座標系の座標（ｘ，ｙ，ｚ）をオブジェクトデータに対応付けてＡＲコンテンツ情報として管理することができる。

上述したオーサリング処理後のＡＲ表示では、端末の位置や向きに対応付けられたＡＲコンテンツ情報を取得し、取得したＡＲコンテンツ情報に含まれるオブジェクトデータを配置情報に基づいて画面上の所定の位置に表示する。

国際公開第２０１２／１２７６０５号

しかしながら、ＧＰＳ等から得られる三次元の位置情報を利用して、オブジェクトデータの表示位置を編集する際に、奥行方向（例えば、ＧＰＳからの座標系ではｙ軸方向）の位置を正確に入力することができなかった。

一つの側面では、本発明は、オブジェクトデータの位置情報を入力する際、奥行方向の位置の入力を支援する表示制御方法、表示制御プログラム、及び情報処理装置を提供する。

一つの態様では、端末の位置及び向きに応じて特定される領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを表示部に表示する表示制御方法において、前記オブジェクトデータを対応付ける位置情報の入力を受け付けるモードか否かの判定を行い、前記オブジェクトデータを対応付ける位置情報を受け付けるモードである場合、前記端末からの距離を示す情報を、前記表示部に表示する、処理をコンピュータが実行する。

一つの側面として、オブジェクトデータの位置情報を入力する際、奥行方向の位置の入力を支援することができる。

端末の機能構成の一例を示す図である。 端末のハードウェア構成の一例を示す図である。 本実施形態で適用される各種データ例を示す図である。 各種データのデータ構成の一例を示す図である。 本実施形態における表示制御処理の一例を示すフローチャートである。 ガイド表示処理の一例を示すフローチャートである。 本実施形態におけるガイド表示の第１実施例を示す図である。 レーダマップの画面例を説明するための図である。 本実施形態におけるガイド表示の第２実施例を示す図である。 本実施形態におけるガイド表示の第３実施例を示す図である。 本実施形態におけるガイド表示の第４実施例を示す図である。

以下、図面に基づいて実施形態を説明する。

＜情報処理装置の機能構成例＞
情報処理装置（以下、必要に応じて「端末」という）の機能構成例について、図を用いて説明する。図１は、端末の機能構成の一例を示す図である。図１に示す端末１０は、通信部１１と、撮像部（画像取得部）１２と、表示部１３と、記憶部１４と、検出部１５と、データ処理部１６と、判定部１７と、表示制御部１８と、制御部１９とを有する。

通信部１１は、例えばインターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等の通信ネットワークを介して接続された外部の装置とデータの送受信が可能な状態で接続されている。通信部１１は、例えばデータ処理部１６で登録されたオブジェクトデータとその配置情報とを含むＡＲコンテンツ情報を、通信ネットワークを介して管理サーバ等に送信する。また、通信部１１は、管理サーバ等に登録されたＡＲコンテンツ情報等を受信する。

また、通信部１１は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の端末１０等のコンピュータと近距離通信を行うことができる。

撮像部１２は、一定のフレーム間隔で撮像（撮影）を行い、画像データを生成する。撮像部１２は、例えばデジタルカメラ等であるが、これに限定されるものではない。また、撮像部１２は、端末１０に内蔵されていてもよく、接続可能な外部装置であってもよい。撮像部１２を装着する場合には、傾きや方向等の向きが端末１０と一体に動作されるものが好ましいが、これに限定されるものではない。また、撮像部１２は、外部で撮像された画像データを取得してもよい。この場合には、位置情報や向き情報を有することが好ましいが、これに限定されるものではない。

表示部１３は、画面上に撮像部１２から取得した撮像画像を表示したり、撮像画像にオブジェクトデータを重畳した合成画像を表示する。また、表示部１３は、本実施形態における表示制御処理を行うために予め設定されたメニュー画面や設定画面、端末１０を操作するための操作画面等を表示する。また、表示部１３は、タッチパネル等のように、画面上から情報の入力を行ってもよい。

記憶部１４は、本実施形態において必要な各種情報を記憶する。記憶部１４は、例えば、制御部１９等の制御により、情報を書き込んだり、読み出したりすることができる。記憶部１４には、例えばＡＲコンテンツ情報（例えば、ＡＲコンテンツ管理テーブル、ＡＲコンテンツを区別するシナリオ管理テーブルやシーン管理テーブル等）、ガイド表示テーブル、その他の各種設定情報等が記憶されるが、記憶される内容については、これに限定されるものではない。また、上述した各情報は、管理サーバ等から取得した情報でもよく、ユーザが端末１０から設定した情報であってもよい。

検出部１５は、例えば一又は複数の測位方式を用いて端末１０又は撮像部１２の位置情報及び向き情報を取得する。位置情報の測位方式としては、例えばＧＰＳがあるが、これに限定されるものではなく、例えば端末１０が接続中のＷｉ−Ｆｉネットワーク（例えば、ルータ）やモバイルネットワーク（例えば、基地局）等の位置から位置情報（緯度、経度、高度）を取得してもよい。例えば、検出部１５は、同時に複数のＷｉ−Ｆｉネットワークやモバイルネットワークと接続中の場合には、それぞれの位置情報の平均値や、受信強度が最大のルータや基地局等の位置情報を用いて端末１０の位置情報を取得してもよい。

また、向き情報の測定方式としては、例えば電子コンパスやジャイロセンサ等を用いて、方位情報（傾斜（Ｐｉｔｃｈ）、方位（Ａｚｉｍｕｔｈ）、回転（Ｒｏｌｌ））等を取得することができるが、これに限定されるものではない。電子コンパスは、地磁気センサ、方位センサ等の一例であり、地球の地磁気を二次元又三次元で検出し、地磁気に対してどの方角を向いているかにより、方位情報を取得することができる。また、ジャイロセンサは、回転していることを検知したり、向きの変化を検知することで方位情報を取得することができる。

検出部１５は、上述した位置情報や向き情報を所定のタイミングで定期的に取得する。また、検出部１５は、各種センサや撮像部１２等による検出距離や撮像範囲（画角情報）等を、予め設定された設定情報より取得することができる。

データ処理部１６は、予め設定されたモードに対応するデータ処理を行う。データ処理部１６は、例えばオーサリング処理を行うモードの場合には、端末１０の位置及び向きに応じて特定される領域（エリア）内に対して、オブジェクトデータの種類、大きさ、回転角度、表示位置等の登録を行う。このとき、データ処理部１６は、検出部１５により得られる位置情報を用いて、オブジェクトデータの表示位置を設定することができる。また、データ処理部１６は、表示制御部１８により画面に表示される端末１０からの距離を示す情報（ガイド）に基づいて表示位置を設定することができる。

データ処理部１６は、登録した情報をＡＲコンテンツ情報として記憶部１４に記憶させてもよく、通信部１１を介して管理サーバや他の端末１０等に送信してもよい。また、データ処理部１６は、管理サーバ等からＡＲコンテンツ情報やガイド表示テーブル等を取得し、取得した情報を記憶部１４に記憶させることもできる。

また、データ処理部１６は、例えばオーサリングされたＡＲコンテンツ情報を画面に表示する閲覧モードの場合には、端末１０の位置及び向きに応じて特定される領域内の位置に基づいて、予め登録されたＡＲコンテンツ情報を参照する。また、データ処理部１６は、対応するＡＲコンテンツ情報が検出されると、そのＡＲコンテンツ情報に含まれるオブジェクトデータを表示部１３に表示させる。なお、モードの種類については、上述した例に限定されるものではない。

判定部１７は、データ処理部１６におけるモードが、オーサリングを行うモード（オブジェクトデータを表示させる位置を決めるモード）であるか否かの判定を行う。例えば判定部１７は、ユーザ操作により画面上等で、オーサリング処理を行うモードを設定した場合に、その設定した情報によりオーサリング処理を行うモードであるか、又は閲覧モード（既にオーサリングされたＡＲコンテンツ情報を表示するモード）であるか等の判定を行う。

表示制御部１８は、判定部１７による判定結果がオーサリング処理を行うモードである場合、端末１０からの距離を示す情報（ガイド）を、表示部１３の画面に表示する。また、表示制御部１８は、ガイドを端末１０からの距離を基準に予め設定された間隔で所定の距離まで表示させることができる。ガイドの種類は、一又は複数有し、複数ある場合にはユーザ等により設定することができる。このガイド表示により、ユーザがオブジェクトデータの位置情報を入力する際、奥行方向の位置入力を支援することができ、閲覧モードの場合に適切な位置にオブジェクトデータを表示させることができる。

また、表示制御部１８は、端末１０の周囲にあるＡＲコンテンツ情報の位置情報をマップとして表示したレーダマップを画面に表示させてもよい。その場合、表示制御部１８は、ガイドの位置情報もレーダマップに表示させることができる。なお、マップの種類は、レーダマップに限定されるものではない。

制御部１９は、端末１０の各構成全体を制御する。制御部１９は、例えばユーザが選択した端末１０のモードに対応させて、オーサリング処理を行ったり、オーサリング処理されたＡＲコンテンツ情報を閲覧する処理を行う。また、制御部１９は、例えば本実施形態における表示制御処理の開始や終了、エラー発生時の制御等を行う。

端末１０は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。

また、端末１０の一例として、例えばヘッドマウントディスプレイ（ＨＭＤ）や眼鏡型ディスプレイ等のような透過型の表示装置を用いてもよい。ヘッドマウントディスプレイや眼鏡型ディスプレイは、ユーザの目に対応した位置（視野上）に透過型の画面（表示部）を有する装着型デバイスである。端末１０は、透過型の画面（表示部）上に、上述したオブジェクトデータやガイドを透過させて表示することで、ユーザが実際に見ている視野範囲内に上述したオブジェクトデータやガイドを表示させることができる。なお、オブジェクトデータやガイドは、透過性のある表示物として表示することができ、表示制御部１８により表示制御される。

また、ヘッドマウントディスプレイや眼鏡型ディスプレイ等の場合には、上述した端末１０の各構成のうち、表示部１３等に関する構成と、その他の構成とが別体に設けられていてもよく、それらを接続することで上述した端末１０と同様の構成を実現してもよい。

＜端末１０のハードウェア構成例＞
次に、端末１０として機能するコンピュータのハードウェア構成例について、図を用いて説明する。図２は、端末のハードウェア構成の一例を示す図である。図２の例において、端末１０は、マイクロフォン（以下、「マイク」という）３１と、スピーカ３２と、カメラ３３と、表示部３４と、操作部３５と、センサ部３６と、電力部３７と、無線部３８と、近距離通信部３９と、補助記憶装置４０と、主記憶装置４１と、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）４２と、ドライブ装置４３とを有し、これらはシステムバスＢで相互に接続されている。

マイク３１は、ユーザが発した音声や、その他の音を入力する。スピーカ３２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク３１及びスピーカ３２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。

カメラ３３は、例えば予め設定された画角内の実空間の画像（動画像、静止画像）を撮像する。カメラ３３は、上述した撮像部１２の一例である。カメラ３３を端末１０に内蔵されていてもよく、外付けされていてもよい。

表示部３４は、ユーザに対してＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）や各種アプリケーションで設定された画面（例えば、実空間にオブジェクトデータが重畳された画像等）を表示する。表示部３４は、上述した表示部１３の一例である。

また、表示部３４は、タッチパネルディスプレイ等でもよく、その場合には表示部３４は、入出力部としての機能を有する。また、表示部３４は、透過型のディスプレイでもよい。表示部３４は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。

操作部３５は、表示部３４の画面に表示された操作ボタンや端末１０の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。ユーザは、例えば表示部３４の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部３４により画面上のタッチ位置が検出され、画面上にアプリ実行結果やオブジェクトデータやアイコン、カーソル等が表示される。

センサ部３６は、端末１０のある時点又は継続的な位置や向き、加速度等に基づく動作等を検出するが、これに限定されるものではない。センサ部３６は、上述した検出部１５の一例である。センサ部３６としては、例えばＧＰＳ、ジャイロセンサ、傾きセンサ、加速度センサ等であるが、これに限定されるものではない。

電力部３７は、端末１０の各構成に対して電力を供給する。電力部３７は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部３７は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。

無線部３８は、例えばアンテナ等を用いて基地局（モバイルネットワーク）からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。

近距離通信部３９は、例えば赤外線通信やＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等の通信手法を用いて、他の端末１０等のコンピュータと近距離通信を行うことができる。上述した無線部３８及び近距離通信部３９は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。

補助記憶装置４０は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段である。補助記憶装置４０は、ＣＰＵ４２からの制御信号に基づき、本実施形態における実行プログラム（表示制御プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置４０は、ＣＰＵ４２からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置４１は、ＣＰＵ４２からの指示により補助記憶装置４０から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置４１は、例えばＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。

ＣＰＵ４２は、ＯＳ等の制御プログラム、及び主記憶装置４１に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、本実施形態における表示制御における各処理を実現する。ＣＰＵ４２は、上述した制御部１９の一例である。

具体的には、ＣＰＵ４２は、例えば操作部３５等から得られるプログラムの実行指示等に基づき、補助記憶装置４０にインストールされたプログラムを実行させることにより、主記憶装置４１上でプログラムに対応する処理を行う。例えば、ＣＰＵ４２は、表示制御プログラムを実行させることで、上述した通信部１１による各種データの通信、撮像部１２による撮像、表示部１３による表示、記憶部１４による各種情報の表示、検出部１５による位置情報や向き情報の検出等の処理を行う。また、ＣＰＵ４２は、表示制御プログラムを実行させることで、上述したデータ処理部１６によるオーサリング処理でのＡＲコンテンツ情報の登録、ＡＲコンテンツ情報の閲覧、判定部１７による判定、表示制御部１８による表示制御等の処理を行うことができる。ＣＰＵ４２における処理内容は、上述した内容に限定されるものではない。ＣＰＵ４２により実行された内容は、必要に応じて補助記憶装置４０等に記憶される。

ドライブ装置４３は、例えば記録媒体４４等を着脱自在にセットすることができ、セットした記録媒体４４に記録された各種情報を読み込んだり、所定の情報を記録媒体４４に書き込むことができる。ドライブ装置４３は、例えば媒体装填スロット等であるが、これに限定されるものではない。

記録媒体４４は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体４４は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体４４は、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。

本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。また、上述した表示制御処理に対応する表示制御プログラムは、例えば端末１０上で常駐している状態であってもよく、起動指示により起動させてもよい。

＜データ例＞
次に、本実施形態における表示制御処理で使用されるデータ例について図を用いて説明する。図３は、本実施形態で適用される各種データ例を示す図である。また、図４は、各種データのデータ構成の一例を示す図である。図３（Ａ）は、シナリオ管理テーブルの一例を示し、図３（Ｂ）は、シーン管理テーブルの一例を示し、図３（Ｃ）は、ＡＲコンテンツ管理テーブルの一例を示し、図３（Ｄ）は、ガイド表示テーブルの一例を示す。

例えば、本実施形態では、ＧＰＳから取得した位置情報（緯度、経度、高度）に対応する世界座標系に示すように、各座標値（位置情報）に対応させてオブジェクトデータを設定することができる。しかしながら、端末１０に対する特定の位置や向きに対して多数のオブジェクトデータが設定されていると、閲覧モード時に全てのオブジェクトデータが表示できなくなる。また、例えば工場等の点検業務等のときに、注意事項や操作内容等を事前にオブジェクトデータを用いて設定しておく場合には、その点検を行う担当者が担当する対象（シナリオやシーン）に対しての情報が取得できればよい。したがって、本実施形態では、オーサリング処理において、ＡＲコンテンツ情報を場所や環境等のシナリオやシーンに基づいて個別に、図４に示すように階層化して設定することで、閲覧モード時に表示されるＡＲコンテンツ情報を選択させることができる。

図３（Ａ）の例に示すシナリオ管理テーブルの項目としては、例えば「シナリオＩＤ」、「シナリオ名」等であるが、これに限定されるものではない。「シナリオＩＤ」は、ＡＲコンテンツ情報を提供する対象のシナリオを識別する情報である。「シナリオ名」は、シナリオＩＤに対応するシナリオ名であり、例えば計画名、作業名、提示内容等により区別することができるが、これに限定されるものではない。

図３（Ｂ）の例に示すシーン管理テーブルの項目としては、例えば「親シナリオＩＤ」、「シーンＩＤ」、「シーン名」等があるが、これに限定されるものではない。「親シナリオＩＤ」は、シナリオの識別情報を示し、図３（Ａ）に示すシナリオ管理テーブルの「シナリオＩＤ」の項目と関連付けられている。

「シーンＩＤ」は、親シナリオに対応するシーンを識別する情報であり、「シナリオＩＤ」を所定のシーン毎に細分化した情報である。また、「シーン名」は、シーンＩＤに対応する場所、出来事、作業内容等の情報であるが、これに限定されるものではない。

図３（Ｃ）の例に示すＡＲコンテンツ管理テーブルの項目としては、例えば「親シナリオＩＤ」、「親シーンＩＤ」、「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等があるが、これに限定されるものではない。

「親シナリオＩＤ」は、図３（Ａ）に示すシナリオＩＤに関連付けられている。「親シーンＩＤ」は、親シナリオＩＤを所定のシーン毎に細分化したものであり、図３（Ｂ）に示すシーンＩＤに関連付けられている。「ＡＲコンテンツＩＤ」は、各親シーンＩＤに対応する一又は複数のオブジェクトデータを識別する情報である。「座標値」は、オブジェクトデータを表示する三次元位置（Ｘｃ１，Ｙｃ１，Ｚｃ１）に関する情報である。

「回転角度」は、オブジェクトデータが予め設定された基本角度から三次元方向にどの程度傾いているかを示す情報（Ｘｒ１，Ｙｒ１，Ｚｒ１）である。「拡縮率」は、オブジェクトデータの所定の大きさを基準にした拡大率、縮小率を示す情報であり、三次元の各軸（Ｘ，Ｙ，Ｚ）方向に対して設定される（Ｘｓ１，Ｙｓ１，Ｚｓ１）。本実施形態では、上述した「座標値」、「回転角度」、及び「拡縮率」等のうち、少なくとも１つをオブジェクトデータの位置情報としてもよい。

「テクスチャパス」は、ＡＲコンテンツＩＤに対応するオブジェクトデータの格納先情報である。例えば、「ｈｔｔｐ：／／ｘｘｘ．ｐｎｇ」のように、管理サーバや管理サーバ以外の装置等のアドレス情報でもよく、フォルダ等の格納先でもよいが、これに限定されるものではない。また、「テクスチャパス」には、オブジェクトデータに対応する画像データや映像データ、テキストデータ等の情報（ファイル名）が直接格納されていてもよい。

本実施形態において、図３（Ａ）〜（Ｃ）に示す各データ例は、図４に示すような階層化したデータ構成を有する。図４の例では、シナリオＩＤ「１」の「○○工場点検」については、各シーンとして「○○施設点検」（シーン１）、「△△施設点検」（シーン２）、「××施設点検」（シーン３）が細分化して設定される。これらは、階層化して表現することができ、更に各シーンにＡＲコンテンツ１〜４が設定されている。つまり、１つのシーンにおいて、複数のＡＲコンテンツ情報を設定することができる。図４の例では、ツリー構造のイメージでデータが管理されるが、管理される構造等については、これに限定されるものではない。

図３（Ｄ）に示すガイド管理テーブルの項目としては、例えば「ガイド種別」、「間隔（ｍ）」等があるが、これに限定されるものではない。「ガイド種別」は、オーサリング時に画面に表示されるガイド（端末１０からの距離を示す情報）の種別を示す情報である。本実施形態では、予めガイド種別毎にガイド表示用のオブジェクトデータ（ガイド用オブジェクト）が設定されている。「距離間隔」は、ガイドを表示する端末１０からの間隔を示す情報である。距離間隔は、ガイド種別毎に設定することができ、例えばガイド種別「１」に対する距離間隔として端末１０を基準として２０ｍ間隔でガイドを表示させることができるが、これに限定されるものではない。ガイドの一例としては、例えば旗や、壁、円（サークル）、楕円等であり、間隔毎に色分けされていてもよいが、これに限定されるものではない。

なお、上述した各種データは、端末１０で設定したり、上述した通信ネットワークを介して、管理サーバ等から取得し、記憶部１４等に記憶される情報である。上記の情報は、例えば本実施形態における表示制御処理の実行時に管理サーバ等から取得することができるが、これに限定されるものではない。端末１０は、予め設定されたＡＲコンテンツ情報に対して変更、更新を行うことができ、それに応じてデータの内容も変更、更新される。また、これらの情報は、端末１０から得られるユーザ情報に対応付けて設定されていてもよい。また、記憶部１４に記憶される情報は、上述したデータ例に限定されるものではなく、ユーザ情報や、処理履歴情報、各種設定情報等を記憶してもよい。

＜表示制御処理の一例＞
次に、本実施形態における表示制御処理の一例についてフローチャートを用いて説明する。図５は、本実施形態における表示制御処理の一例を示すフローチャートである。図５の例において、端末１０の制御部１９は、本実施形態における表示制御処理を行うＡＲアプリケーションを起動し（Ｓ０１）、ＡＲコンテンツ情報等を管理サーバ等から取得する（Ｓ０２）。

なお、Ｓ０１の処理では、ＡＲアプリケーションの起動により、例えば撮像部１２による撮像を開始して撮像画像を取得したり、撮像部１２以外から撮像画像を取得して、その取得画像を画面に表示してもよい。また、端末１０がヘッドマウントディスプレイのような表示装置等の場合には、撮像画像ではなく透過型の画面（表示部）によりその先の実空間が見える状態となる。また、Ｓ０２の処理では、例えば図３（Ａ）〜（Ｃ）に示すようなＡＲコンテンツ情報を取得しておいてもよく、また取得しなくてもよい。また、Ｓ０２の処理では、図３（Ｄ）に示すようなガイド表示テーブル等を取得してもよく、既に記憶部１４に記憶されている場合には、取得しなくてもよい。

次に、検出部１５は、端末１０の位置情報や向き情報の検出を実行し、位置情報及び向き情報を検出したか否かを判断する（Ｓ０３）。Ｓ０３の処理では、例えばＧＰＳ等を用いて位置情報を測位し、例えば電子コンパス等を用いて向き情報を検出するが、これに限定されるものではなく、少なくとも位置情報を検出すればよい。

位置情報及び向き情報を検出した場合（Ｓ０３において、ＹＥＳ）、判定部１７は、ユーザ操作によりオーサリングによる編集指示があったか否か（オーサリング処理を行うモードか否か）を判断する（Ｓ０４）。Ｓ０４の処理では、例えばオーサリングによるＡＲコンテンツ情報の新規登録や、既に登録されたＡＲコンテンツ情報を変更する場合の編集指示等を含む。また、オーサリングによる編集指示は、例えば予め指示に対応する画面上のタッチや端末１０への動作、音声等により入力することができるが、これに限定されるものではない。

Ｓ０４の処理において、オーサリングによる編集指示があった場合（Ｓ０４において、ＹＥＳ）、表示制御部１８は、本実施形態におけるガイド表示処理を行う（Ｓ０５）。Ｓ０５の処理については、後述する。

次に、データ処理部１６は、ＡＲコンテンツ情報の登録処理を行う（Ｓ０６）。Ｓ０６の処理では、上述した図３（Ａ）〜（Ｃ）に示すようなシナリオやシーン毎に、端末１０の位置及び向きに応じて特定される領域（エリア）内に対して、オブジェクトデータの種類、大きさ、回転角度、表示位置等の登録を行うが、これに限定されるものではない。

次に、データ処理部１６は、全ての登録が完了したか否かを判断し（Ｓ０７）、全ての登録が完了していない場合（Ｓ０７において、ＮＯ）、Ｓ０６の処理に戻る。また、全ての登録が完了している場合（Ｓ０７において、ＹＥＳ）、又は、Ｓ０３の処理において、位置情報及び向き情報を検出していない場合（Ｓ０３において、ＮＯ）、ＡＲアプリケーションを終了するか否かを判断する（Ｓ０８）。

ＡＲアプリケーションを終了しない場合（Ｓ０８において、ＮＯ）、Ｓ０３の処理に戻る。また、ＡＲアプリケーションを終了する場合（Ｓ０８において、ＹＥＳ）、ＡＲアプリケーションを終了し（Ｓ０９）、オーサリングにおける表示制御処理を終了する。

上述したオーサリング処理によりＡＲコンテンツ情報等が設定された後、端末１０は、閲覧モードの処理として、例えば端末１０の位置及び向きに応じて特定される領域内の位置に対応付けて登録されたＡＲコンテンツ情報が検出された場合、そのＡＲコンテンツ情報に含まれるオブジェクトデータを表示部１３の画面の所定の位置に表示する。

＜Ｓ０５；ガイド表示処理＞
次に、上述したガイド表示処理（Ｓ０５）についてフローチャートを用いて説明する。図６は、ガイド表示処理の一例を示すフローチャートである。図５の例において、表示制御部１８は、予め設定され記憶部１４に記憶されたガイド情報を読み込み（Ｓ１１）、読み込んだガイド情報に対応するオブジェクトデータ（ガイド用オブジェクト）を所定の間隔で表示する（Ｓ１２）。ここで、ガイド情報とは、例えば図３（Ｄ）に示すガイド管理テーブル等であり、例えばＡＲアプリケーション等で管理しているガイド用オブジェクト、ガイド用オブジェクトの表示距離間隔等であるが、これに限定されるものではない。

また、Ｓ１２の処理において、どのガイド用オブジェクトを用いて表示するかについては、端末１０に表示される設定画面等でユーザが任意に設定や選択を行ってもよい。ガイドは、ガイド種別毎に設定された端末１０からの距離間隔に基づいて表示される。

次に、表示制御部１８は、ガイド用オブジェクトの位置情報を示すレーダマップを表示する（Ｓ１３）。ここで、レーダマップは、端末１０の周囲にあるオーサリング処理で設定されたＡＲコンテンツ情報の位置情報をマップとして表示したものである。なお、本実施形態において、Ｓ１３に示すようなレーダマップの表示処理は行わなくてもよく、レーダマップの表示、非表示は、ユーザが任意に設定することができる。

＜画面例＞
次に、本実施形態を適用した画面例について図を用いて説明する。なお、以下の例では、端末１０の一例としてタブレット端末を示しているが、これに限定されるものではなく、例えば、ヘッドマウントディスプレイのような表示装置でもよい。

＜第１実施例＞
図７は、本実施形態におけるガイド表示の第１実施例を示す図である。図７（Ａ）は、第１実施例のガイド表示の概念図を示し、図７（Ｂ）は、第１実施例におけるガイドの画面表示例を示している。

例えば、図７に示す第１実施例では、ユーザ５０がオーサリング処理として、端末１０から所定の距離にある実物体（例えば、建物や山等）５１に対してＡＲコンテンツ情報５２を設定する場合を示している。

第１実施例において、端末１０は、まずユーザによるオーサリング処理を行う旨の指示や動作を受け付ける。その後、端末１０は、図７（Ａ）に示すように端末１０の画面７０に、予め設定されたガイド用オブジェクト６０−１〜６０−４を端末１０の位置を基準（０ｍ）として所定間隔（例えば、２０ｍ間隔）で表示する。

ガイド用オブジェクト６０−１〜６０−４は、透過性のある表示物である。したがって、ガイド用オブジェクト６０−１〜６０−４の先の景色や実物体等が隠れずに画面７０に表示される。また、各ガイド用オブジェクト６０−１〜６０−４の距離間隔は、ガイド種別に対応した間隔で表示されるが、これに限定されるものではない。また、ガイド用オブジェクト６０の表示数については、４つに限定されずに所定数又は端末１０からの距離が所定距離になるまで一又は複数表示させることができる。

なお、図７（Ａ）、（Ｂ）に示すように、ガイド用オブジェクト６０−１〜６０−４は、それぞれが識別できるように、表示する色、形状、及び大きさ等のうち、少なくとも１つの情報を異ならせて表示する。また、大きさを異ならせる場合には、端末１０から離れるほど、大きいガイド用オブジェクトを表示するのが好ましい。これにより、図７（Ｂ）に示すように、ガイド用オブジェクト６０〜６０−４が端末１０の画面７０上で重ねて表示される場合でも、奥にあるガイド用オブジェクトの全てが隠れてしまうことがなく視認可能となる。

また、本実施形態において、表示制御部１８は、上述したガイド用オブジェクト６０の表示だけでなく、図７（Ｂ）に示すように、各ガイド用オブジェクト６０の位置情報を示すレーダマップ８０を表示してもよい。

図８は、レーダマップの画面例を説明するための図である。図８の例に示すレーダマップ８０は、全表示範囲（５０〜２０００００ｍで設定可能）に対して、ＡＲコンテンツ情報表示領域８１と、ＡＲコンテンツ情報非表示領域８２と、方位情報８３と、視野領域８４と、ガイド用オブジェクト位置情報８５−１〜８５−４と、オブジェクトデータ位置情報８６とを有する。

ＡＲコンテンツ情報表示領域８１は、端末１０の位置情報を中心として、その周囲３６０°において、所定の距離（例えば、半径１００ｍ、半径１ｋｍ等）内に存在するオブジェクトデータ位置情報８６を表示する。例えば、ＡＲコンテンツ情報表示領域８１内で、かつ視野領域８４内にオブジェクトデータ位置情報８６が存在すれば、そのオブジェクトデータは、画面に表示される。

ＡＲコンテンツ情報非表示領域８２は、端末１０の位置情報を中心として、その周囲３６０°において、ＡＲコンテンツ情報表示領域８１よりも遠くで、かつ所定の距離（例えば、半径２００ｍ、半径２ｋｍ等）内に存在するオブジェクトデータ位置情報８６を表示する。例えば、視野領域８４内にオブジェクトデータ位置情報８６が存在しても、ＡＲコンテンツ情報非表示領域８２内にあれば、画面上に対応するオブジェクトデータは表示されない。

方位情報８３は、端末１０の視野範囲の方向を確認するための基準となる所定の方位の情報（例えば、「北」等）である。視野領域８４は、端末１０の位置及び向きに応じて特定されるエリアであり、例えば画面７０上の表示内容に対応している。視野領域８４は、例えば撮像部１２による撮像範囲（画角情報）、検出可能な距離等により範囲を変更することができる。

ガイド用オブジェクト位置情報８５−１〜８５−４は、上述したガイド用オブジェクト６０−１〜６０−４のそれぞれの位置を示す情報である。なお、図８の例では、各ガイド用オブジェクト位置情報８５−１〜８５−４の間隔を表示してもよい。

オブジェクトデータ位置情報８６は、オーサリング処理されたＡＲコンテンツ情報（オブジェクト情報）の位置情報である。例えば、オブジェクトデータ位置情報８６は、図７（Ｂ）に示すＡＲコンテンツ情報５２に対応する。

レーダマップ８０における各表示内容については、図８の例に限定されるものではなく、色や模様等は任意に変更することができる。また、オブジェクトデータ位置情報８６は、既に登録されているＡＲコンテンツ情報と、現在編集中のＡＲコンテンツ情報とを異なる色や模様等で表示してもよい。

また、本実施形態における位置情報の表示形態については、レーダマップ８０に限定されるものではなく、例えば矩形マップ等でもよい。また、レーダマップ８０は、二次元に限定されず、三次元の球状（又は立方体状）のマップでもよい。またレーダマップ８０の表示位置は、図７（Ｂ）に示すように画面７０の右下に限定されるものではなく、ユーザ操作により表示、非表示を切り替えてもよい。

なお、図７の例において、ＡＲコンテンツ情報５２におけるオブジェクトデータの位置座標は、緯度（ｄｅｇｒｅｅ）、経度（ｄｅｇｒｅｅ）、高度（ｍ）等で決定される。また、図８の例に示すレーダマップ８０は、０．００００１（ｄｅｇｒｅｅ）を１（ｍ）と近似して表現しているが、これに限定されるものではない。

第１実施例では、図７（Ｂ）に示すように、ガイド用オブジェクト６０やレーダマップ８０等のガイド表示を画面上に表示することで、画面７０上の実物体（視野範囲に含まれる実物体）５１に対応するＡＲコンテンツ情報５２の位置を設定する際、編集中のＡＲコンテンツ情報５２の位置と相対的に比較できるため、オーサリング処理において、特にＧＰＳ等で取得した位置情報の誤差が大きい奥行方向の位置を適切に入力することができる。なお、本実施形態では、例えばオーサリング処理におけるオブジェクトデータの左右方向や上下方向の位置入力についても、その入力を支援するようなガイド用オブジェクト６０を表示させてもよい。

第１実施例によりオブジェクトデータに対する位置入力を行うことで、オーサリング処理後の閲覧モードにおいて、適切な位置にＡＲコンテンツ情報５２に含まれるオブジェクトデータを表示することができる。

＜第２実施例＞
図９は、本実施形態におけるガイド表示の第１実施例を示す図である。図９（Ａ）は、第２実施例のガイド表示の概念図を示し、図９（Ｂ）は、第２実施例のガイドの画面表示例を示している。

例えば、図９に示す第２実施例では、ユーザ５０が端末１０から所定の距離にある実物体５１に対してＡＲコンテンツ情報５２を設定する場合、図９（Ａ）に示すようにガイド用オブジェクト６１を扇状に地面に対して表示する。なお、第２実施例では、端末１０からの距離に応じて色分けや模様分けがなされて、ガイド用オブジェクト６１を透過させて表示するが、これに限定されるものではない。また、ガイド用オブジェクト６１の形状は、扇形に限定されず、例えば円形、半円形、楕円形等でもよい。これにより、図９（Ｂ）に示すように、端末１０の画面７０上において、ガイド用オブジェクト６１を基準にＡＲコンテンツ情報５２を適切な位置（奥行方向の位置等）に設定することができる。

＜第３実施例＞
図１０は、本実施形態におけるガイド表示の第３実施例を示す図である。図１０（Ａ）は、第３実施例のガイド表示の概念図を示し、図１０（Ｂ）は、第３実施例におけるガイドの画面表示例を示している。

例えば、図１０に示す第３実施例では、端末１０の画面７０に対し、旗のガイド用オブジェクト６２−１〜６２−４を斜めに表示させる例を示している。例えば、ユーザ５０が端末１０から所定の距離にある実物体５１に対応してＡＲコンテンツ情報５２を設定する場合（オーサリング処理する場合）、表示制御部１８は、図１０（Ａ）に示すように、斜めにガイド用オブジェクト６２−１〜６２−４を透過させて画面７０に表示する。

なお、どの程度斜めにするかについては、例えば予めユーザが設定情報として設定していてもよい。例えば、表示制御部１８は、設定されたガイド種別に対応するガイド用オブジェクト６２を取得し、そのガイド用オブジェクト６２を端末１０の向き情報から得られる正面方向ではなく、設定情報から取得した斜め角度だけ傾けた位置に所定の距離間隔で表示する。また、表示制御部１８は、レーダマップ８０にガイド用オブジェクト位置情報を表示する場合にも、ガイド用オブジェクト６２の表示位置に対応させて、正面方向ではなく所定角度だけ斜め前方向に表示する。

第３実施例により、図１０（Ｂ）に示すように、ガイド用オブジェクト６２−１〜６２−４が重ならずに画面７０上で表示することができるため、ガイド位置を容易に把握することができる。

＜第４実施例＞
図１１は、本実施形態におけるガイド表示の第４実施例を示す図である。図１１（Ａ）は、第４実施例のガイド表示の概念図を示し、図１１（Ｂ）は、第４実施例におけるガイドの画面表示例を示している。

第４実施例では、図１１（Ａ）、（Ｂ）に示すように、複数のガイド用オブジェクトを表示する。これにより、視野範囲に含まれる実物体５１までの距離（奥行方向の情報）を、より把握し易くすることができる。なお、図１１（Ｂ）の例では、画面７０の斜め前方にガイド用オブジェクトを表示させる例を用い、旗のガイド用オブジェクト６２と、扇型のガイド用オブジェクト６１とを合成して表示しているが、表示されるガイドの種類については、これに限定されるものではない。

また、第４実施例では、ガイドの種別に対応させて距離間隔を異ならせてもよく、それぞれのガイドに対して設定されている距離間隔のうち、何れかの距離間隔（例えば、最も短い間隔）に統一させて画面７０に表示してもよい。

なお、上述した表示制御部１８は、上述したガイドの表示に関し、端末１０のオプション画面等を用いて、「ガイド表示の実施有無」、「ガイドの種別」、「距離間隔」等を設定可能にしてもよい。これにより、ＡＲコンテンツ情報の編集距離が近い場合や、遠い場合であっても、適宜ガイド表示を変更可能となる。

上述したように、本実施形態によれば、オーサリング処理のモード時におけるオブジェクトデータの位置情報を入力する際、ガイド表示等により、奥行方向の位置の入力を支援することができる。なお、上述したガイド表示は、オーサリング処理のモードの場合ではなく、閲覧モードの場合にも表示されるように設定してもよい。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
端末の位置及び向きに応じて特定される領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを表示部に表示する表示制御方法において、
前記オブジェクトデータを対応付ける位置情報の入力を受け付けるモードか否かの判定を行い、
前記オブジェクトデータを対応付ける位置情報を受け付けるモードである場合、前記端末からの距離を示す情報を、前記表示部に表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記２）
前記表示部は、前記端末のユーザの視野上に配置される透過型のディスプレイであって、前記距離を示す情報を透過性のある表示物とする、ことを特徴とする付記１に記載の表示制御方法。
（付記３）
前記距離を示す情報は、予め設定されたオブジェクトデータであることを特徴とする付記１又は２に記載の表示制御方法。
（付記４）
前記距離を示す情報の種類に応じた距離間隔で、前記距離を示す情報を表示することを特徴とする付記１乃至３の何れか１項に記載の表示制御方法。
（付記５）
前記端末からの距離に応じて前記距離を示す情報を複数表示する場合に、色、形状、及び大きさのうち、少なくとも１つの情報を異ならせて前記距離を示す情報を表示することを特徴とする付記１乃至４の何れか１項に記載の表示制御方法。
（付記６）
前記距離を示す情報に対する位置情報をレーダマップに表示することを特徴とする付記１乃至５の何れか１項に記載の表示制御方法。
（付記７）
端末の位置及び向きに応じて特定される領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを表示部に表示する表示制御プログラムにおいて、
前記オブジェクトデータを対応付ける位置情報の入力を受け付けるモードか否かの判定を行い、
前記オブジェクトデータを対応付ける位置情報を受け付けるモードである場合、前記端末からの距離を示す情報を、前記表示部に表示する、
処理をコンピュータに実行させるための表示制御プログラム。
（付記８）
検出した位置及び向きに応じて特定される領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを表示部に表示する情報処理装置において、
前記オブジェクトデータを対応付ける位置情報の入力を受け付けるモードか否かの判定を行う判定部と、
前記判定部による判定結果が、前記オブジェクトデータを対応付ける位置情報を受け付けるモードである場合、前記情報処理装置からの距離を示す情報を、前記表示部に表示する表示制御部と、
を有することを特徴とする情報処理装置。

１０ 端末（情報処理装置）
１１ 通信部
１２ 撮像部（画像取得部）
１３、３４ 表示部
１４ 記憶部
１５ 検出部
１６ データ処理部
１７ 判定部
１８ 表示制御部
１９ 制御部
３１ マイクロフォン
３２ スピーカ
３３ カメラ
３５ 操作部
３６ センサ部
３７ 電力部
３８ 無線部
３９ 近距離通信部
４０ 補助記憶装置
４１ 主記憶装置
４２ ＣＰＵ
４３ ドライブ装置
４４ 記録媒体
５０ ユーザ
５１ 実物体
５２ ＡＲコンテンツ情報
６０〜６２ ガイド用オブジェクト
７０ 画面
８０ レーダマップ
８１ ＡＲコンテンツ情報表示領域
８２ ＡＲコンテンツ情報非表示領域
８３ 方位情報
８４ 視野領域
８５ ガイド用オブジェクト位置情報
８６ オブジェクトデータ位置情報

Claims (6)

1. 端末の位置及び向きに応じて特定される領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを表示部に表示する表示制御方法において、
   前記オブジェクトデータを対応付ける位置情報の入力を受け付けるモードか否かの判定を行い、
   前記オブジェクトデータを対応付ける位置情報を受け付けるモードである場合、前記端末からの距離を示す情報を、前記表示部に表示する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
2. 前記表示部は、前記端末のユーザの視野上に配置される透過型の画面であって、前記距離を示す情報を透過性のある表示物とする、ことを特徴とする請求項１に記載の表示制御方法。
3. 前記距離を示す情報は、予め設定されたオブジェクトデータであることを特徴とする請求項１又は２に記載の表示制御方法。
4. 前記距離を示す情報の種類に応じた距離間隔で、前記距離を示す情報を表示することを特徴とする請求項１乃至３の何れか１項に記載の表示制御方法。
5. 端末の位置及び向きに応じて特定される領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを表示部に表示する表示制御プログラムにおいて、
   前記オブジェクトデータを対応付ける位置情報の入力を受け付けるモードか否かの判定を行い、
   前記オブジェクトデータを対応付ける位置情報を受け付けるモードである場合、前記端末からの距離を示す情報を、前記表示部に表示する、
   処理をコンピュータに実行させるための表示制御プログラム。
6. 検出した位置及び向きに応じて特定される領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを表示部に表示する情報処理装置において、
   前記オブジェクトデータを対応付ける位置情報の入力を受け付けるモードか否かの判定を行う判定部と、
   前記判定部による判定結果が、前記オブジェクトデータを対応付ける位置情報を受け付けるモードである場合、前記情報処理装置からの距離を示す情報を、前記表示部に表示する表示制御部と、
   を有することを特徴とする情報処理装置。

Images