JP6481456B2 - 表示制御方法、表示制御プログラム、及び情報処理装置 - Google Patents

Description

本発明は、表示制御方法、表示制御プログラム、及び情報処理装置に関する。

カメラ等の撮像装置により撮像された画像の一部にオブジェクトデータを重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。例えば、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ，全地球測位網）等を用いて測位された端末の位置情報と、端末の傾き情報とに基づいて、その端末が撮像した画面に対応させてオブジェクトデータを重畳表示する。

また、端末の位置情報を中心として、その周辺のどの位置にオブジェクトデータが存在しているかをユーザに把握させるために、予め設定されているオブジェクトデータの周辺の位置情報をレーダ表示する手法がある。レーダ表示される範囲は、ユーザが設定可能であり、設定した範囲に対応させて端末の画面にオブジェクトデータを重畳表示する。

国際公開第２０１２／１２７６０５号 特開２０１２−３８２４８号公報

しかしながら、予め設定されたオブジェクトデータが端末の位置からどの程度離れているかを事前に把握していなければ、その表示範囲を適切に設定することができない。例えば、ユーザが表示範囲を短い距離で設定した場合には、それより遠くにある重要なオブジェクトデータを見落とす可能性がある。また、ユーザが表示範囲を長い距離で設定した場合には、端末から近い距離に複数のオブジェクトデータがあった場合に、中心に密集した状態で表示されてしまう。そのため、オブジェクトデータの位置が把握しずらい。

一つの側面では、本発明は、オブジェクトデータの位置を把握し易くすることを目的とする。

一つの態様では、端末の位置及び向きに応じた領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを画面に表示する表示制御方法において、前記端末の移動速度に基づき、前記オブジェクトデータの表示を抑止する範囲を決定し、前記移動速度に基づいて、前記オブジェクトデータの前記画面への表示時間が、予め設定された最低表示時間に満たないオブジェクトデータを検出し、検出したオブジェクトデータの前記画面への表示を抑止する、処理をコンピュータが実行する。

一つの側面として、オブジェクトデータの位置を把握し易くすることができる。

端末の機能構成の一例を示す図である。 端末のハードウェア構成の一例を示す図である。 本実施形態で適用される各種データ例を示す図である。 各種データのデータ構成の一例を示す図である。 本実施形態における表示制御処理の一例を示すフローチャートである。 表示範囲制御処理の第１の実施例を示すフローチャートである。 表示範囲制御処理の第２の実施例を示すフローチャートである。 本実施形態におけるオブジェクトデータの画面表示例を示す図である。 本実施形態におけるレーダ表示の一例を示す図である。 表示範囲を選択する画面例を示す図である。

以下、図面に基づいて実施形態を説明する。

＜情報処理装置の機能構成例＞
本実施形態における情報処理装置の一例である端末の機能構成例について、図を用いて説明する。図１は、端末の機能構成の一例を示す図である。図１に示す端末１０は、通信部１１と、撮像部（画像取得部）１２と、表示部１３と、記憶部１４と、検出部１５と、認識部１６と、判定部１７と、表示制御部１８と、制御部１９とを有する。

通信部１１は、例えばインターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等の通信ネットワークを介して、外部装置とデータの送受信が可能な状態で接続されている。例えば、通信部１１は、画面に表示された画像に重畳表示するオブジェクトデータとその位置情報（座標値、回転角度、拡縮率）とを含むＡＲコンテンツを管理する管理サーバ等からＡＲコンテンツ情報等を受信する。オブジェクトデータとは、例えば現実空間に対応する三次元の仮想空間上に配置される物体のモデルデータ等であり、例えば撮像部１２で撮像（撮影）された画像に重畳して表示される重畳用データである。オブジェクトデータは、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれる。

また、通信部１１は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の端末１０等のコンピュータと近距離通信を行うことができる。

撮像部１２は、一定のフレーム間隔で撮像を行い、画像データを生成する。撮像部１２は、例えばデジタルカメラ等であるが、これに限定されるものではない。また、撮像部１２は、端末１０に内蔵されていてもよく、接続可能な外部装置であってもよい。撮像部１２を装着する場合には、傾きや方向等が端末１０と一体に動作されるものが好ましいが、これに限定されるものではない。また、撮像部１２は、外部の撮像装置等で撮像された画像データを取得してもよい。この場合には、撮像装置の位置情報や向き情報を有することが好ましいが、これに限定されるものではない。

表示部１３は、撮像部１２から取得した撮像画像や、撮像画像にＡＲコンテンツを重畳した合成画像を表示する。また、表示部１３は、本実施形態における表示制御処理を行うために予め設定されたメニュー画面や設定画面、端末１０を操作するための操作画面等を表示する。また、表示部１３は、タッチパネル等のように、画面上から情報の入力を行ってもよい。

記憶部１４は、本実施形態において必要な各種情報を記憶する。記憶部１４は、例えば、制御部１９等の制御により、情報を書き込んだり、読み出したりすることができる。記憶部１４には、例えばＡＲコンテンツを管理するＡＲコンテンツ管理テーブル、コンテンツを区別するシナリオ管理テーブルやシーン管理テーブル、その他の各種設定情報等が記憶されるが、記憶される内容については、これに限定されるものではない。

検出部１５は、例えば、１又は複数の測位方式を用いて撮像部１２（又は端末１０）の位置情報及び向き情報を取得する。位置情報の測位方式としては、例えばＧＰＳを用いたり、接続中のＷｉ−Ｆｉネットワーク（例えば、ルータ）やモバイルネットワーク（例えば、基地局）等の位置から位置情報（緯度、経度、高度）を取得することができるが、これに限定されるものではない。また、検出部１５は、同時に複数のＷｉ−Ｆｉネットワークやモバイルネットワークと接続中の場合には、それぞれの位置情報の平均値や、受信強度が最大のルータや基地局等の位置情報を用いて端末１０の位置情報を取得してもよい。

また、向き情報の測定方式としては、例えば電子コンパスやジャイロセンサ等を用いて、向き（方位）情報（傾斜（Ｐｉｔｃｈ）、方位（Ａｚｉｍｕｔｈ）、回転（Ｒｏｌｌ））等を取得することができるが、これに限定されるものではない。例えば、電子コンパスは、地磁気センサ、方位センサ等の一例であり、地球の地磁気を二次元又三次元で検出し、地磁気に対してどの方角を向いているかにより、向き情報を取得することができる。また、ジャイロセンサは、回転していることを検知したり、向きの変化を検知することで向き情報を取得することができる。

検出部１５は、上述した位置情報や向き情報を定期的に取得する。また、検出部１５は、各種センサや撮像部１２等による撮像範囲（画角情報）等を検出することができる。

認識部１６は、撮像部１２（又は端末１０）の位置情報、向き情報、撮像範囲、本実施形態において設定されるオブジェクトデータの表示範囲等から、その撮像画像内において取得可能な位置範囲内に対するオブジェクトデータを重畳表示するかを認識する。

判定部１７は、本実施形態におけるオブジェクトデータの表示範囲の変更が必要であるか否かを判定する。例えば、判定部１７は、検出部１５により検出されるユーザの移動距離からユーザがどの程度の距離に移動（変更）があったかを判定し、予め設定された閾値以上の移動があった場合に、表示制御部１８において、オブジェクトデータの表示範囲の制御を行う。

また、判定部１７は、例えば予め設定された撮像部１２の向き情報に閾値以上の差があった場合に、オブジェクトデータの表示範囲の制御を行ってもよい。また、判定部１７は、ユーザから表示範囲の変更指示があった場合に、オブジェクトデータの表示範囲の制御を行ってもよい。

表示制御部１８は、判定部１７による判定結果に基づいて、オブジェクトデータの表示範囲の制御を行う。表示制御部１８は、端末１０の位置及び向きに応じた領域内の位置に対応付けて登録されたＡＲコンテンツ情報が検出された場合、そのオブジェクトデータや位置情報等を画面に表示する。

表示制御部１８は、算出部２１と、表示範囲決定部２２と、選択候補受付部２３と、オブジェクト表示部２４とを有する。算出部２１は、端末１０の位置を基準として、複数のオブジェクトデータのそれぞれに対応付けられた位置までの距離を算出する。オブジェクトデータとその位置情報とが対応付けられたＡＲコンテンツ情報は、予め管理サーバ等から取得しておいてもよく、算出部２１による算出処理の開始時に管理サーバに問い合わせを行って取得してもよい。

また、算出部２１は、各オブジェクトデータの位置情報の最大値や最小値、平均値、標準偏差、分散等を求めてもよい。また、算出部２１は、検出部１５から所定の時間間隔で得られる位置情報から端末１０の移動距離又は移動速度等を算出してもよい。

表示範囲決定部２２は、算出部２１により算出した距離の分布（例えば、密集度等）に基づき、表示部１３の画面にオブジェクトデータを表示する範囲（表示範囲）を決定する。なお、表示範囲は、例えば端末１０からの距離（離間する方向における距離）であるが、これに限定されるものではない。例えば、表示範囲決定部２２は、距離の分布に基づいて現在１００ｍの表示範囲を、１２０ｍ、１５０ｍ、３００ｍ、５００ｍと離間する方向に調整して、表示範囲を決定するが、調整する方向にしては、これに限定されるものではない。例えば、表示範囲決定部２２は、表示範囲内に表示させるオブジェクトデータの数を予め設定し、設定した数のオブジェクトデータが表示可能となるように表示範囲を拡大又は縮小してもよい。なお、オブジェクトデータの数とは、実際の数値でもよく、全体のオブジェクトデータ数に対する割合でもよい。

また、表示範囲決定部２２は、算出部２１により算出した端末１０の移動距離、移動速度距離等に基づき、オブジェクトデータを表示する範囲を決定してもよい。また、表示範囲決定部２２は、選択候補受付部２３によりユーザから受け付けた範囲候補に応じて、オブジェクトデータを表示する範囲を決定してもよい。

選択候補受付部２３は、算出部２１により算出された距離の分布に基づき、オブジェクトデータを表示する範囲の候補を複数設定し、設定した複数の表示範囲の候補を表示部１３に表示させる。また、選択候補受付部２３は、表示部１３に表示された複数の表示範囲の候補のうち、何れかの選択をユーザから受け付ける。選択候補受付部２３は、例えば各オブジェクトデータの位置情報をそのまま表示範囲候補としてもよく、オブジェクトデータの位置情報の最大値や最小値、平均値、標準偏差、分散等を求め、その結果に応じて表示範囲候補を設定してもよい。

オブジェクト表示部２４は、表示範囲決定部２２等により決定された表示範囲に対応させて、その範囲内にあるオブジェクトデータを撮像画像に重畳表示する。例えば、オブジェクト表示部２４は、向き情報に対応させて、その向きの撮像画像の視野範囲（画角情報）内のオブジェクトデータを重畳表示する。また、オブジェクト表示部２４は、表示範囲決定部２２等により決定された表示範囲に対応させて、端末１０の周囲にあるオブジェクトデータの位置情報をレーダマップ等を用いてレーダ表示（ガイド表示）してもよい。レーダ表示の画像は、撮像画像に重畳表示される。オブジェクト表示部２４により重畳画像は、表示部１３により表示される。

制御部１９は、端末１０の各構成全体を制御する。制御部１９は、例えば通信部１１による通信処理、撮像部１２による撮像処理（画像取得処理）、表示部１３による表示処理、検出部１５による検出処理、認識部１６により認識処理、判定部１７による判定処理、表示制御部１８による表示制御処理等を制御する。また、制御部１９は、処理の開始や終了、エラー発生時の制御等も行う。

端末１０は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。

また、端末１０の一例として、例えばヘッドマウントディスプレイ（ＨＭＤ）や眼鏡型ディスプレイ等のような透過型の表示装置を用いてもよい。ヘッドマウントディスプレイや眼鏡型ディスプレイは、ユーザの目に対応した位置（視野上）に透過型の画面（表示部）を有する装着型デバイスである。端末１０は、透過型の画面（表示部）上に、上述したオブジェクトデータやレーダマップ等を透過させて表示することで、ユーザが実際に見ている視野範囲内に上述したオブジェクトデータやレーダマップを表示させることができる。なお、オブジェクトデータやレーダマップは、透過性のある表示物として表示することができ、表示制御部１８により表示制御される。

また、ヘッドマウントディスプレイや眼鏡型ディスプレイ等の場合には、上述した端末１０の各構成のうち、表示部１３等に関する構成と、その他の構成とが別体に設けられていてもよく、それらを接続することで上述した端末１０と同様の構成を実現してもよい。

＜端末１０のハードウェア構成例＞
次に、端末１０として機能するコンピュータのハードウェア構成例について、図を用いて説明する。図２は、端末のハードウェア構成の一例を示す図である。図２の例において、端末１０は、マイクロフォン（以下、「マイク」という）３１と、スピーカ３２と、カメラ３３と、表示部３４と、操作部３５と、センサ部３６と、電力部３７と、無線部３８と、近距離通信部３９と、補助記憶装置４０と、主記憶装置４１と、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）４２と、ドライブ装置４３とを有し、これらはシステムバスＢで相互に接続されている。

マイク３１は、ユーザが発した音声や、その他の音を入力する。スピーカ３２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク３１及びスピーカ３２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。

カメラ３３は、例えば予め設定された画角内の実空間の画像（動画像、静止画像）を撮像する。カメラ３３は、上述した撮像部１２の一例である。カメラ３３を端末１０に内蔵されていてもよく、外付けされていてもよい。

表示部３４は、ユーザに対してＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）や各種アプリケーションで設定された画面（例えば、実空間にオブジェクトデータが重畳された画像等）を表示する。表示部３４は、上述した表示部１３の一例である。また、表示部３４は、タッチパネルディスプレイ等でもよく、その場合には表示部３４は、入出力部としての機能を有する。表示部３４は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。

操作部３５は、表示部３４の画面に表示された操作ボタンや端末１０の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。ユーザは、例えば表示部３４の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部３４により画面上のタッチ位置が検出される。また、表示部３４は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。

センサ部３６は、端末１０のある時点又は継続的な位置や傾き（方位）、動作を検出する。センサ部３６は、上述した検出部１５の一例である。例えば、センサ部３６は、端末１０の向き、角度、方向、位置、加速度等を検出するが、これに限定されるものではない。なお、センサ部３６としては、例えばＧＰＳ、ジャイロセンサ、傾きセンサ、加速度センサ等であるが、これに限定されるものではない。

電力部３７は、端末１０の各構成に対して電力を供給する。電力部３７は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部３７は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。

無線部３８は、例えばアンテナ等を用いて基地局（モバイルネットワーク）からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。

近距離通信部３９は、例えば赤外線通信やＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等の通信手法を用いて、他の端末１０等のコンピュータと近距離通信を行うことができる。上述した無線部３８及び近距離通信部３９は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。

補助記憶装置４０は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段である。補助記憶装置４０は、ＣＰＵ４２からの制御信号に基づき、本実施形態における実行プログラム（表示制御プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置４０は、ＣＰＵ４２からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置４１は、ＣＰＵ４２からの指示により補助記憶装置４０から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置４１は、例えばＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。

ＣＰＵ４２は、ＯＳ等の制御プログラム、及び主記憶装置４１に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、本実施形態における表示制御における各処理を実現する。ＣＰＵ４２は、上述した制御部１９の一例である。

具体的には、ＣＰＵ４２は、例えば操作部３５等から得られるプログラムの実行指示等に基づき、補助記憶装置４０にインストールされたプログラムを実行させることにより、主記憶装置４１上でプログラムに対応する処理を行う。例えば、ＣＰＵ４２は、表示制御プログラムを実行させることで、上述した通信部１１による各種データの通信、撮像部１２による撮像、表示部１３による表示、記憶部１４による各種情報の表示、検出部１５による位置情報や向き情報の検出等の処理を行う。また、ＣＰＵ４２は、表示制御プログラムを実行させることで、上述した認識部１６による位置認識、判定部１７による判定、表示制御部１８による表示制御等の処理を行う。ＣＰＵ４２における処理内容は、上述した内容に限定されるものではない。ＣＰＵ４２により実行された内容は、必要に応じて補助記憶装置４０等に記憶される。

ドライブ装置４３は、例えば記録媒体４４等を着脱自在にセットすることができ、セットした記録媒体４４に記録された各種情報を読み込んだり、所定の情報を記録媒体４４に書き込むことができる。ドライブ装置４３は、例えば媒体装填スロット等であるが、これに限定されるものではない。

記録媒体４４は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体４４は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体４４は、ＵＳＢメモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。

本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。また、上述した表示制御処理に対応する表示制御プログラムは、例えば端末１０上で常駐している状態であってもよく、起動指示により起動させてもよい。

＜データ例＞
次に、本実施形態における表示制御処理で使用されるデータ例について図を用いて説明する。図３は、本実施形態で適用される各種データ例を示す図である。また、図４は、各種データのデータ構成の一例を示す図である。図３（Ａ）は、シナリオ管理テーブルの一例と示し、図３（Ｂ）は、シーン管理テーブルの一例を示し、図３（Ｃ）は、ＡＲコンテンツ管理テーブルの一例を示す。図３（Ａ）〜図３（Ｃ）に示す各情報が上述したＡＲコンテンツ情報の一例であるが、データ形式や構造については、これに限定されるものではなく、オブジェクトデータとその位置情報とが対応付けられた情報であればよい。

例えば、本実施形態では、世界座標系のような各座標値（位置情報）に対応させてＡＲコンテンツを設定することができるが、注目すべき場所や物の場合には、１つの対象物に対して多数のオブジェクトデータが表示されてしまい、画面内に全ての情報が表示されなくなってしまう。例えば、工場等の点検業務等において、他の作業員に注意事項や操作内容等を通知するために事前にオブジェクトデータを設定する場合には、その点検を行う作業員の担当する対象物に対する情報が取得できればよい。したがって、そのようなシナリオやシーンを個別に管理するため、本実施形態では、図３、図４に示すように、シナリオとシーンとに関する識別情報等を有し、それらを階層化して管理する。ユーザは、自己の目的に応じたシナリオやシーンを選択又は設定することで、画面に重畳表示されるオブジェクトデータの種類等を選択することができる。また、シナリオやシーンを選択又は設定することで、例えばある特定の工場内、敷地内、建物内等のように、オブジェクトデータが表示される範囲を限定することができる。

図３（Ａ）の例に示すシナリオ管理テーブルの項目としては、例えば「シナリオＩＤ」、「シナリオ名」等であるが、これに限定されるものではない。「シナリオＩＤ」は、ＡＲコンテンツを提供する対象のシナリオを設定するものである。「シナリオ名」は、シナリオＩＤに対応するシナリオ名であり、例えば計画名、作業名、提示内容等により区別することができるが、これに限定されるものではない。

図３（Ｂ）の例に示すシーン管理テーブルの項目としては、例えば「親シナリオＩＤ」、「シーンＩＤ」、「シーン名」等があるが、これに限定されるものではない。「親シナリオＩＤ」は、シナリオの識別情報を示し、図３（Ａ）に示すシナリオ管理テーブルの「シナリオＩＤ」の項目と関連付けられている。

「シーンＩＤ」は、親シナリオに対応するシーンを識別する情報であり、「シナリオＩＤ」を所定のシーン毎に細分化したものである。また、「シーン名」は、シーンＩＤに対応する場所、出来事、作業内容等の情報であるが、これに限定されるものではない。

図３（Ｃ）の例に示すＡＲコンテンツ管理テーブルの項目としては、例えば「親シナリオＩＤ」、「親シーンＩＤ」、「ＡＲコンテンツＩＤ」、「座標値」、「回転角度」、「拡縮率」、「テクスチャパス」等があるが、これに限定されるものではない。「親シナリオＩＤ」は、図３（Ａ）に示すシナリオＩＤに関連付けられている。「親シーンＩＤ」は、親シナリオＩＤを所定のシーン毎に細分化した情報であり、図３（Ｂ）に示すシーンＩＤに関連付けられている。「ＡＲコンテンツＩＤ」は、各親シーンＩＤに対応する１又は複数のオブジェクトデータを識別するものである。「座標値」は、オブジェクトデータを表示する三次元位置情報（Ｘｃ１，Ｙｃ１，Ｚｃ１）である。

「回転角度」は、対応するオブジェクトデータに対して予め設定された基本角度から三次元方向にどの程度傾いているかを示す情報（Ｘｒ１，Ｙｒ１，Ｚｒ１）である。「拡縮率」は、対応するオブジェクトデータに対して予め設定された大きさを基準に三次元方向にどの程度拡大又は縮小しているかを示す情報（Ｘｓ１，Ｙｓ１，Ｚｓ１）である。本実施形態では、上述した「座標値」、「回転角度」、及び「拡縮率」等のうち、少なくとも１つをオブジェクトデータの位置情報としてもよい。

「テクスチャパス」は、ＡＲコンテンツＩＤに対応するオブジェクトデータの格納先情報である。例えば、「ｈｔｔｐ：／／ｘｘｘ．ｐｎｇ」のように、管理サーバや管理サーバ以外の装置等のアドレス情報でもよく、フォルダ等の格納先でもよいが、これに限定されるものではない。また、「テクスチャパス」には、オブジェクトデータに対応する画像データや映像データ、テキストデータ等の情報（ファイル名）が直接格納されていてもよい。

本実施形態において、各データ例は、図４に示すような階層化したデータ構成を有する。図４の例では、シナリオＩＤ「１」の「○○工場点検」については、各シーンとして「○○施設点検」（シーン１）、「△△施設点検」（シーン２）、「××施設点検」（シーン３）が細分化して設定される。これらは、階層化して表現することができ、更に各シーンにＡＲコンテンツ１〜４が設定されている。つまり、１つのシーンにおいて、複数のＡＲコンテンツを設定することができる。図４の例では、ツリー構造のイメージでデータが管理されるが、管理される構造等については、これに限定されるものではない。

なお、上述した各種データは、予めインターネットやＬＡＮ等の通信ネットワークを介して、管理サーバ等から取得し、記憶部１４等に記憶される情報である。上述した各種データは、例えば本実施形態における表示制御処理の実行時に管理サーバ等から取得することができるが、これに限定されるものではない。また、上述した各種データは、端末１０から得られるユーザ情報に対応付けて設定されていてもよく、端末１０から要求された情報のみを取得させてもよい。また、記憶部１４に記憶される情報は、これに限定されるものではなく、ユーザ情報や、処理履歴情報、各種設定情報等を記憶してもよい。

＜表示制御処理の一例＞
次に、本実施形態における表示制御処理の一例についてフローチャートを用いて説明する。図５は、本実施形態における表示制御処理の一例を示すフローチャートである。図５の例において、端末１０の制御部１９は、本実施形態における表示制御処理を行うＡＲアプリケーションを起動し（Ｓ０１）、図３（Ａ）〜（Ｃ）に示すようなＡＲコンテンツ情報を管理サーバ等から取得する（Ｓ０２）。

なお、Ｓ０１の処理では、ＡＲアプリケーションの起動により、例えば撮像部１２による撮像を開始して撮像画像を取得したり、撮像部１２以外から撮像画像を取得して、その取得画像を画面に表示してもよい。また、端末１０がヘッドマウントディスプレイのような表示装置等の場合には、撮像画像ではなく透過型の画面（表示部）によりその先の実空間が見える状態となる。また、Ｓ０２の処理は、予め記憶部１４に記憶されていたＡＲコンテンツ情報を取得してもよい。また、Ｓ０２の処理では、例えばユーザが、上述したシナリオやシーン等から、表示させたいＡＲコンテンツ（オブジェクトデータ）に対応するシナリオやシーンを選択し、選択したシナリオやシーンに対応するＡＲコンテンツ情報を取得してもよい。

次に、検出部１５は、端末１０の位置情報を取得する（Ｓ０３）。Ｓ０３の処理では、例えば位置情報を定期的に測定する。次に、判定部１７は、一定時間経過又は端末１０の移動距離が一定以上か否かを判断する（Ｓ０４）。なお、Ｓ０４の処理では、端末１０の向き情報が一定以上動いたか否かを閾値等と比較して判断してもよい。

Ｓ０４の処理において、一定時間経過又は端末１０の移動距離が一定以上である場合（Ｓ０４において、ＹＥＳ）、表示範囲制御処理を行う（Ｓ０５）。Ｓ０５の処理では、端末１０とＡＲコンテンツ情報に含まれるオブジェクトデータとの距離を算出し、端末１０の移動距離又は移動速度等に基づいて、オブジェクトデータの表示範囲を決定し、オブジェクトデータの表示範囲を設定する。なお、表示範囲制御処理の具体例については、後述する。

次に、Ｓ０５の処理後、又はＳ０４の処理において、一定時間経過又は端末１０の移動距離が一定以上の場合（Ｓ０４において、ＮＯ）、表示制御部１８は、表示範囲内のオブジェクトデータを画面に表示する（Ｓ０６）。Ｓ０６の処理では、画面に表示されている撮像画像にオブジェクトデータを重畳表示してもよく、表示範囲内に基づく周囲のオブジェクトデータの位置情報をレーダ表示してもよい。

次に、制御部１９は、ＡＲアプリケーションを終了するか否かを判断し（Ｓ０７）、ＡＲアプリケーションを終了しない場合（Ｓ０７において、ＮＯ）、Ｓ０４の処理に戻る。また、ＡＲアプリケーションを終了する場合（Ｓ０７において、ＹＥＳ）、実行中のＡＲアプリケーションを終了し（Ｓ０８）、処理を終了する。

＜表示範囲制御処理（Ｓ０５）の第１の実施例＞
次に、上述した表示範囲制御処理（Ｓ０５）の第１の実施例についてフローチャートを用いて説明する。図６は、表示範囲制御処理の第１の実施例を示すフローチャートである。第１の実施例では、端末１０の移動位置に対応させて（移動速度を考慮しない）表示範囲を制御する。

図６の例において、表示制御部１８は、ユーザの現在位置（座標）と、上述したＳ０２の処理で取得したＡＲコンテンツ情報に含まれる各オブジェクトデータの位置（座標）との距離を算出する（Ｓ１１）。次に、表示制御部１８は、現在の表示範囲内に、各オブジェクトデータの位置が所定の条件を満たすように含まれているか否かを判断する（Ｓ１２）。

ここで、Ｓ１２の処理における所定の条件としては、例えば端末１０からの各オブジェクトデータの距離分布等に基づき、事前に設定された全オブジェクトデータのうちの何％が現在の表示範囲内に入っているかという割合（第１の閾値）を条件にすることができる。

また、表示制御部１８は、所定の条件として、端末１０の位置から各オブジェクトデータまでの距離の平均値又は中央値等＋α（α；距離補正情報）を算出し、その算出結果（第２の閾値）が、現在の表示範囲内に含まれているかを条件にしてもよい。なお、所定の条件は、例えばオブジェクトデータを表示する対象画像（撮像画像）の地形や環境等の条件に左右される可能性があるため、適宜カスタマイズ可能にしてもよい。

Ｓ１２の処理において、所定の条件を満たさない場合（Ｓ１２において、ＮＯ）、表示制御部１８は、所定の条件を満たすように、オブジェクトデータの表示範囲を変更する（Ｓ１３）。Ｓ１３の処理では、例えば、予め設定されているオブジェクトデータの数が１００個で、表示される割合の比率（第１の閾値）が７５％の場合、７５個のオブジェクトデータが表示されるように、表示範囲を変更（例えば、拡大又は縮小）する。なお、上述の７５個は、７０〜８０個等のように所定の範囲を持たせてもよい。また、Ｓ１３の処理では、端末１０の現在位置からオブジェクトデータの距離の平均値又は中央値等を算出し、その算出結果（第２の閾値）＋αを表示範囲としてもよい。

また、Ｓ１２の処理において、現在の表示範囲内に、各オブジェクトデータの位置が所定の条件を満たすように含まれている場合（Ｓ１２において、ＹＥＳ）、又は、Ｓ１３の処理後、表示制御部１８は、表示範囲に対応させてレーダの表示情報を設定する（Ｓ１４）。

上述したように、移動位置を考慮した場合には、事前に決定された表示範囲（表示半径）を基準として、オブジェクトデータの表示範囲（緯度、経度、高度）を決定する。また、レーダ表示の具体例としては、緯度及び経度を有する二次元表示でもよく、ユーザを中心とした球形の三次元表示でもよい。

＜表示範囲制御処理（Ｓ０５）の第２の実施例＞
次に、上述した表示制御処理（Ｓ０５）の第２の実施例についてフローチャートを用いて説明する。図７は、表示制御処理の第２の実施例を示すフローチャートである。第２の実施例では、端末１０の移動速度に対応させて表示範囲を制御する。

図７の例において、ユーザの現在位置（座標）と、上述したＳ０２の処理で取得したＡＲコンテンツ情報に含まれる各オブジェクトデータの位置（座標）との距離を算出する（Ｓ２１）。次に、表示制御部１８は、現在の表示範囲内に、各オブジェクトデータの位置が所定の条件を満たすように含まれているか否かを判断する（Ｓ２２）。

所定の条件としては、上述した第１の実施例と同様であるため、ここでの具体的な説明は省略する。Ｓ２２の処理において、所定の条件を満たさない場合（Ｓ１２において、ＮＯ）、表示制御部１８は、第１の実施例と同様に、所定の条件を満たすように、オブジェクトデータの表示範囲を変更する（Ｓ２３）。

また、Ｓ２２の処理において、現在の表示範囲内に、各オブジェクトデータの位置が所定の条件を満たすように含まれている場合（Ｓ２２において、ＹＥＳ）、又は、Ｓ２３の処理後、表示制御部１８は、加速度センサ等を利用し、端末１０の移動速度を算出する（Ｓ２４）。

次に、表示制御部１８は、端末１０の現在の移動速度から、オブジェクトデータの非表示範囲を設定する（Ｓ２５）。上述したＳ２５の処理では、例えば端末１０の移動速度等を考慮した場合、端末（ユーザ）１０が自動車や新幹線等で高速移動している場合、近距離にあるオブジェクトデータは、いったん表示範囲内に入ったとしても短時間でユーザの視野範囲外（表示範囲外）に見切れてしまう。そのため、ユーザに対する適切な情報提示が困難となる可能性が高い。また、仮に上述した場合にも通常と同様に表示したとしても、一瞬表示されるのみであり、遠距離のオブジェクトデータの表示を妨げる可能性もある。したがって、第２の実施例では、上述した場合に対応させて、例えばオブジェクトデータの表示範囲とは別に、非表示範囲を設定する。これにより、端末（ユーザ）１０が高速に移動している場合に、短時間（一瞬）で通過するような不要なオブジェクトデータの表示を抑止することができる。

ここで、非表示範囲の設定例としては、例えば端末１０の移動速度を６０（ｋｍ／ｈ）とし、オブジェクトデータの最低表示時間を３秒以上とした場合、オブジェクトデータの非表示範囲は、約５０ｍとなる（６０（ｋｍ／ｈ）＝１６．７（ｍ／ｓ）、１６．７×３（ｓ）≒５０（ｍ））。したがって、非表示範囲は、端末１０からの距離が５０ｍ以内の範囲であり、表示制御部１８は、その範囲に含まれるオブジェクトデータを表示対象から除くことができる。このように、非表示範囲は、例えば移動速度に応じて設定することができるが、これに限定されるものではない。

次に、表示制御部１８は、表示範囲又は非表示範囲に対応させてレーダの表示情報を設定する（Ｓ２６）。

＜画面例＞
次に、本実施形態を適用した画面例について図を用いて説明する。なお、以下の例では、端末１０の一例としてタブレット端末を示しているが、これに限定されるものではなく、例えば、ヘッドマウントディスプレイのような表示装置でもよい。

図８は、本実施形態におけるオブジェクトデータの画面表示例を示す図である。図８（Ａ）、（Ｂ）の例では、１００ｍと１ｋｍの場合におけるそれぞれのオブジェクトデータの見え方の例を示している。

図８（Ａ）の例では、端末１０の表示部１３の画面５０−１に、オブジェクトデータの表示範囲（半径ｒ_１）を１００ｍと設定した場合の表示例を示している。画面５０−１には、撮像画像として実物体（実空間上の物体）５１−１，５１−２とが表示されている。また、画面５０−１には、所定の位置（例えば、画面の右下の領域）にレーダ（レーダマップ）５３−１が表示されている。レーダ５３−１の形状は、円形に限定されるものではなく、例えば矩形のマップ等でもよい。また、レーダ５３−１は、緯度、経度を用いて二次元表示しているが、これに限定されるものではなく、球状等による三次元表示（緯度、経度、高度）でもよい。

レーダ５３−１には、画面５０−１に表示されるオブジェクトデータ５２−１の位置情報５２−１ａが表示される。また、レーダ５３−１には、画面５０−１上には表示されていないが端末１０の周囲に存在する表示範囲外のオブジェクトデータ（表示候補）も表示させることができる。

本実施形態では、この表示範囲を、オブジェクトデータの距離分布、端末１０の移動位置や移動速度に応じて自動で変更することができる。したがって、例えば図８（Ｂ）の画面５０−２に示すように表示範囲（半径ｒ_２）が１ｋｍに変更されると、撮像方向の１ｋｍ前方にある実物体５１−２に対応付けられているオブジェクトデータ５２−２を表示させることができる。また、レーダ５３−２には、オブジェクトデータ５２−１の位置情報５２−１ａと、オブジェクトデータ５２−２の位置情報５２−２ａがそれぞれ表示される。

画面５０に表示させるオブジェクトデータは、上述したシナリオ毎でもよく、シーン毎でもよい。これらは、事前にユーザにより設定してもよく、端末１０（撮像部１２）が撮像している位置や撮像方向、移動速度等に応じて設定してもよい。

＜レーダ表示例＞
図９は、本実施形態におけるレーダ表示の一例を示す図である。図９（Ａ）、（Ｂ）では、図８に示すレーダ５３の一例を示している。レーダ５３は、表示範囲外領域（予備領域）６１と、表示範囲領域６２と、方位表示領域６３と、視野領域６４と、オブジェクトデータ位置情報６５とが表示されている。オブジェクトデータ位置情報６５は、それぞれＡＲコンテンツ情報の位置情報から取得した位置（座標である）。

表示範囲外領域（予備領域）６１は、オブジェクトデータそのものは画面に表示されていないが、端末１０の周辺にあるオブジェクトデータの位置情報を表示する領域である。表示範囲領域６２は、画面に表示可能なオブジェクトデータの位置情報を表示する領域である。端末１０（撮像部１２）が向きを変えて視野領域６４の向きを変更することで、対応するオブジェクトデータが画面に表示される。方位表示領域６３は、所定の方位（例えば、北）を表示する領域である。また、視野領域６４は、オブジェクトデータが表示される領域である。

本実施形態において、端末１０の位置は、例えば端末１０を所持するユーザの移動やＧＰＳ位置情報の更新等の影響により動的に変化する。したがって、本実施形態では、その度に表示範囲を再設定することで、位置に応じて適切にオブジェクトデータを表示させることができる。

例えば、ユーザがＧＰＳ位置情報が更新されるまでの間に、前方に数十ｍ程度移動した場合、ユーザ移動により、図９（Ａ）に示すように事前に設定した表示範囲外となるオブジェクトデータ位置情報６５ａが発生する。しかしながら、上述した本実施形態により、図９（Ｂ）に示すように、ユーザ（端末１０）とオブジェクトデータとの位置関係（距離）の分布（密集度）等に基づき、動的に表示範囲を変更するため、常にユーザが必要とするオブジェクトデータをレーダ５３内に表示することができる。

なお、図９（Ｂ）の例では、１００ｍから１２０ｍに範囲を拡大しているが、拡大範囲は、これに限定されるものではなく、例えば移動速度等に応じて１００ｍから２００ｍにしたり、１００ｍから５００ｍにしてもよい。また、ユーザの設定により拡大幅や縮小幅を調整することができる。

なお、図９に示すオブジェクトデータ位置情報６５ｂは、端末１０の位置から１ｋｍ以上離れた地点にある情報であるため、ここではレーダ５３には表示させなくてもよい。また、本実施形態では、ユーザが１ｋｍ先にあるオブジェクトデータが必要か、１００ｍ程度の範囲内にあるオブジェクトデータが必要かは不明である。そのため、各オブジェクトデータの距離の分布に基づいて数パターンの表示範囲を候補として設定し、それを画面に表示し、ユーザから選択された表示範囲に基づいてオブジェクトデータは、その位置情報を表示させてもよい。

図１０は、表示範囲を選択する画面例を示す図である。図１０（Ａ）〜（Ｅ）の例では、端末１０の位置情報と各オブジェクトデータとの距離の分布（密集度）等に基づき、オブジェクトデータを表示する複数の範囲候補を表示し、複数の範囲候補のうち、何れかの範囲候補の選択を受け付け、受け付けた範囲候補に応じて、オブジェクトデータを表示する範囲を決定する。表示範囲の候補としては、例えば上述した各オブジェクトデータの位置情報をそのまま表示範囲候補としてもよく、オブジェクトデータの位置情報の最大値や最小値、平均値、標準偏差、分散等を求め、それらの結果を表示範囲の候補としてもよい。

図１０（Ａ）〜（Ｅ）の例では、端末１０の位置情報と各オブジェクトデータとの距離の分布（密集度）等から、オブジェクトデータの最大表示範囲を端末１０からの距離５０００ｍと設定する。その距離５０００ｍは、端末１０からの距離が最大のオブジェクトデータの位置であってもよい。図１０（Ａ）〜（Ｅ）の例では、その５０００ｍを基準に、１００ｍ、５００ｍ、１０００ｍ、３０００ｍで区切って設定した値に対応する表示範囲リスト７０を表示している。表示範囲リスト７０は、例えばレーダ５３を画面上からタッチすることで表示させることができるが、これに限定されるものではない。

ユーザは、図１０に示す表示範囲リスト７０から設定位置をスライドさせることで目的の表示範囲に設定することができ、端末１０は、ユーザからの選択を受け付けて対応するオブジェクトデータの表示を実現する。なお、表示範囲リスト７０の表示方式は、これに限定されるものではなく、チェックボックスやラジオボックス等の各種インタフェースにより表示させてもよい。

上述したように、本実施形態によれば、オブジェクトデータの位置を把握し易くすることができる。例えば、ユーザの現在地情報（ＧＰＳ等で取得）と、オブジェクトデータの位置情報から表示範囲を算出し、それをレーダ等の初期値又は段階的な設定値として選択できるようにする。本実施形態は、例えばＡＲマーカを利用したＡＲ（ビジョンベースＡＲ）にも、ロケーションベースＡＲにも適用することができる。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
端末の位置及び向きに応じた領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを画面に表示する表示制御方法において、
前記端末から複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出し、
算出した前記距離の分布に基づき、前記画面にオブジェクトデータを表示する範囲を決定する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記２）
前記範囲は、前記端末からの距離であることを特徴とする付記１に記載の表示制御方法。
（付記３）
算出した前記距離の分布に基づき、前記オブジェクトデータを表示する複数の範囲候補を表示し、
前記複数の範囲候補のうち、何れかの範囲候補の選択を受け付け、
受け付けた前記範囲候補に応じて、前記オブジェクトデータを表示する前記範囲を決定する、ことを特徴とする請求項１又は２に記載の表示制御方法。
（付記４）
前記範囲に表示させるオブジェクトデータの数を予め設定し、
設定した数のオブジェクトデータが表示可能となるように表示範囲を拡大又は縮小することを特徴とする付記１乃至３の何れか１項に記載の表示制御方法。
（付記５）
前記端末の移動速度を算出し、
算出した前記移動速度に基づき、前記オブジェクトデータの非表示範囲を設定することを特徴とする付記１乃至４の何れか１項に記載の表示制御方法。
（付記６）
端末の位置及び向きに応じた領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを画面に表示する際、前記端末から複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出し、
算出した前記距離の分布に基づき、前記画面にオブジェクトデータを表示する範囲を決定する、
処理をコンピュータに実行させるための表示制御プログラム。
（付記７）
検出した位置及び向きに応じた領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを画面に表示する情報処理装置において、
前記情報処理装置から複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出する算出部と、
前記算出部により算出した前記距離の分布に基づき、前記画面にオブジェクトデータを表示する範囲を決定する表示範囲決定部と、
を有することを特徴とする情報処理装置。

１０ 端末（情報処理装置）
１１ 通信部
１２ 撮像部
１３，３４ 表示部
１４ 記憶部
１５ 検出部
１６ 認識部
１７ 判定部
１８ 表示制御部
１９ 制御部
２１ 算出部
２２ 表示範囲決定部
２３ 選択候補受付部
２４ オブジェクト表示部
３１ マイクロフォン
３２ スピーカ
３３ カメラ
３５ 操作部
３６ センサ部
３７ 電力部
３８ 無線部
３９ 近距離通信部
４０ 補助記憶装置
４１ 主記憶装置
４２ ＣＰＵ
４３ ドライブ装置
４４ 記録媒体
５０ 画面
５１ 実物体
５２ オブジェクトデータ
５３ レーダ
６１ 表示範囲外領域（予備領域）
６２ 表示範囲領域
６３ 方位表示領域
６４ 視野領域
６５ オブジェクトデータ位置情報
７０ 表示範囲リスト

Claims (7)

1. 端末の位置及び向きに応じた領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを画面に表示する表示制御方法において、
   前記端末の移動速度に基づき、前記オブジェクトデータの表示を抑止する範囲を決定し、
   前記移動速度に基づいて、前記オブジェクトデータの前記画面への表示時間が、予め設定された最低表示時間に満たないオブジェクトデータを検出し、検出したオブジェクトデータの前記画面への表示を抑止する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
2. 前記端末から複数のオブジェクトデータそれぞれに対応付けられた位置までの距離を算出し、
   前記端末の移動速度を算出し、
   算出した前記距離の分布に基づき、前記画面にオブジェクトデータを表示する範囲を決定する、ことを特徴とする請求項１に記載の表示制御方法。
3. 前記範囲は、前記端末からの距離であることを特徴とする請求項１または請求項２に記載の表示制御方法。
4. 算出した前記距離の分布に基づき、前記オブジェクトデータを表示する複数の範囲候補を表示し、
   前記複数の範囲候補のうち、何れかの範囲候補の選択を受け付け、
   受け付けた前記範囲候補に応じて、前記オブジェクトデータを表示する前記範囲を決定する、ことを特徴とする請求項２に記載の表示制御方法。
5. 前記範囲に表示させるオブジェクトデータの数を予め設定し、
   設定した数のオブジェクトデータが表示可能となるように表示範囲を拡大又は縮小することを特徴とする請求項１乃至４の何れか１項に記載の表示制御方法。
6. 端末の位置及び向きに応じた領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを画面に表示する際、
   前記端末の移動速度に基づき、前記オブジェクトデータの表示を抑止する範囲を決定し、
   前記移動速度に基づいて、前記オブジェクトデータの前記画面への表示時間が、予め設定された最低表示時間に満たないオブジェクトデータを検出し、検出したオブジェクトデータの前記画面への表示を抑止する、
   処理をコンピュータに実行させるための表示制御プログラム。
7. 検出した位置及び向きに応じた領域内の位置に対応付けて登録されたオブジェクトデータが検出された場合、前記オブジェクトデータを画面に表示する情報処理装置において、
   前記情報処理装置の移動速度に基づき、前記オブジェクトデータの表示を抑止する範囲を決定する表示範囲決定部を有し、
   前記移動速度に基づいて、前記オブジェクトデータの前記画面への表示時間が、予め設定された最低表示時間に満たないオブジェクトデータを検出し、検出したオブジェクトデータの前記画面への表示を抑止することを特徴とする情報処理装置。

Images