WO2024116270A1 - 携帯情報端末及び仮想現実表示システム - Google Patents

Abstract

携帯情報端末であって、ディスプレイと、外部機器と通信する通信機と、携帯情報端末の位置を検出して位置情報を出力する位置センサと、ディスプレイが向いている方向を検出して方位情報を出力する方位センサと、プロセッサと、を備え、プロセッサは、携帯情報端末を操作するユーザに対する推奨オブジェクトの位置又は方向を示す支援情報を外部機器から受信すると、位置情報及び方位情報に基づいて、ディスプレイが向いている方向を基準とする推奨オブジェクトが存在する位置又は方向を算出し、ディスプレイに推奨オブジェクトが存在する位置又は方向を示す支援画像を表示する。

Description

携帯情報端末及び仮想現実表示システム

　本発明は、携帯情報端末及び仮想現実表示システムに関する。

　近年、コンピュータやコンピュータネットワークの中に構築されたサービスの提供が普及してきており、これに関連した技術開発が盛んに行われている。これらのサービスをユーザが利用する際の装置としては、ＰＣをはじめとする情報端末として種々の製品が世の中に出回っている。中でも、代表的なデバイスとして、コンピュータによる拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の画像を、眼鏡のレンズ部を透過した風景に重畳させて表示する携帯型情報端末であるヘッドマウントディスプレイ（以下「ＨＭＤ」と記載する）がある。

　本技術分野の背景技術として、特許文献１には、「制御装置、プログラム、システム及び制御方法を提供する。」ことを課題として、「配信サーバと、複数の通信端末と、複数の眼鏡型デバイスが、ネットワークに接続されるシステムにおいて、眼鏡型デバイスは、撮像範囲に含まれる対象物を特定する対象物特定部（環境特定部）と、対象物に基づいて楽曲を選択する楽曲選択部と、眼鏡型デバイスにおいて楽曲を再生するよう制御する楽曲制御部と、を備える制御装置を有する。制御方法は、コンピュータによって実行される制御方法であって、眼鏡型デバイスの撮像範囲に含まれる対象物を特定する対象物特定段階と、対象物に基づいて楽曲を選択する楽曲選択段階と、眼鏡型デバイスにおいて楽曲を再生するよう制御する楽曲制御段階とを備える。（要約抜粋）」と記載されている。

特開２０２２－６９２３０号公報

　しかしながら上記技術では、ユーザ本人以外の他者が注視した対象物を、ユーザ本人がシステム上で把握することはできないという課題がある。

　本発明は上記課題を解決するためになされたものであり、他者から視認を推奨される対象物を、携帯情報端末を操作するユーザも視認しやすくなる携帯情報端末及び仮想現実表示システムを提供することを目的とする。

　上記目的を解決するために、特許請求の範囲に記載の構成を採用する。その一例を挙げるならば、本発明は、携帯情報端末であって、ディスプレイと、外部機器と通信する通信機と、前記携帯情報端末の位置を検出して位置情報を出力する位置センサと、前記ディスプレイが向いている方向を検出して方位情報を出力する方位センサと、プロセッサと、を備え、前記プロセッサは、前記携帯情報端末を操作するユーザに対する推奨オブジェクトの位置又は方向を示す支援情報を前記外部機器から受信すると、前記位置情報及び前記方位情報に基づいて、前記ディスプレイが向いている方向を基準とする前記推奨オブジェクトが存在する位置又は方向を算出し、前記ディスプレイに前記推奨オブジェクトが存在する位置又は方向を示す支援画像を表示する。

　本発明によれば、他者から視認を推奨される対象物を、自ユーザが視認しやすくなる携帯情報端末及び仮想現実表示システムを提供することができる。上記した以外の目的、構成、効果は以下の実施形態において明らかにされる。

実施の形態１に係るＡＲ表示システムの構成図。 本実施形態に係るＨＭＤの構成図。 図２Ａに示したＨＭＤにおける、上面から見たユーザの視野角と、各カメラにおける画角を表した模式図。 本実施形態に係るＨＭＤのハードウェア構成図。 実施の形態１に係るＡＲ表示システムのサービスが使用される環境を示した模式図。 ＨＭＤが屋外で用いられた場合における注視点の座標を検出する概念図。 複数のユーザの注視点から推奨オブジェクトとして表示をする判定例を示す図。 実施の形態１に係るＨＭＤと管理サーバの処理手順を示すフローチャート。 本ＡＲ表示システムにおけるサービスから提供されるＨＭＤの推奨オブジェクト表示の一例を示す模式図。 本ＡＲ表示システムにおけるサービスから提供されるＨＭＤの推奨オブジェクト表示の一例を示す模式図。 本ＡＲ表示システムにおけるサービスから提供されるＨＭＤの推奨オブジェクト表示の一例を示す模式図。 本ＡＲ表示システムにおけるＨＭＤの推奨オブジェクト表示の一例を示す模式図。 本ＡＲ表示システムにおける推奨オブジェクト表示の一例を示す模式図。 本ＡＲ表示システムにおける推奨オブジェクト表示の一例を示す模式図。 実施の形態２に係るＨＭＤと管理サーバの処理手順を示すフローチャート。 実施の形態３に係るＡＲ表示システムのサービスが使用される環境を示した模式図。 実施の形態３に係るＡＲ表示システムのサービスにおけるＨＭＤの表示例を示す模式図。 実施の形態３に係るＨＭＤと管理サーバの処理手順を示すフローチャート。 実施の形態３に係るＡＲ表示システムのサービスにおけるＨＭＤの表示例を示す模式図。 実施の形態４に係るＡＲ表示システムのサービスが使用される環境を示した模式図。 図１７で示した使用環境における、本ＡＲ表示システムのサービスにおけるＨＭＤの表示例を示す模式図。 実施の形態４に係るＨＭＤと管理サーバの処理手順であるフローチャート。 実施の形態５に係るＡＲ表示システムのサービスが使用される環境を示した模式図。 図２０で示した使用環境における、本ＡＲ表示システムのサービスのＨＭＤの表示例を示す模式図。 実施の形態５に係るＨＭＤと管理サーバの処理手順を示すフローチャート。 本ＡＲ表示システムにおけるユーザＰ１が注視している対象物を、他者に推奨オブジェクトとして共有を図る操作の一例を示した模式図。 実施の形態５に係る推奨オブジェクトの表示例を示す模式図。 実施の形態６におけるＨＭＤと管理サーバの処理手順を示すフローチャート。 実施の形態７におけるＨＭＤと管理サーバの処理手順を示すフローチャート。 地図上に推奨オブジェクトを表示した例を示す模式図。

　以下、本発明の実施形態について図面を参照して説明する。全図を通じて同一の構成、工程には同一の符号を付し、重複説明を省略することがある。

　本実施形態によれば、他者の注視点を自分も視認しやすくなる携帯情報端末を提供できるので、例えば観光、劇、コンサートでの鑑賞での見どころの提案、また各種作業支援などでの適用がありうる。よって本実施形態は、後方支援や作業支援を要する労働集約型の産業のための技術の向上が見込めることから、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の８．２（商品やサービスの価値をより高める産業や、労働集約型の産業を中心に、多様化、技術の向上、イノベーションを通じて、経済の生産性をあげる）に貢献することが期待できる。

　以下の説明において仮想現実をＡＲと表記する。

　また、以下の説明において、各ユーザが注視している対象物が存在する位置（座標）を注視点という。

　更に以下の説明において、他者から視認を推奨されるオブジェクトを推奨オブジェクトという。推奨オブジェクトは、
（１）単数の他者が注視している対象物の存在する位置（座標）として定義される場合、
（２）複数のユーザが注視している対象物の存在する位置（座標）として定義される場合、
（３）携帯情報端末がカメラで撮像した被写体の物体認識処理を行える場合は、対象物の存在する位置（座標）に代わり、対象物そのものを推奨オブジェクトとして定義する場合、がある。

　更に推奨オブジェクトは点、領域、静止物体、又は移動物体を用いて定義してもよい。移動物体を用いて推奨オブジェクトを定義する場合は、推奨オブジェクトも動く。

＜実施の形態１＞
　図１は、実施の形態１に係るＡＲ表示システムの構成図である。同図において、ＡＲ表示システム１は、携帯情報端末であるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ；ヘッドマウントディスプレイ）Ｇ１～Ｇ５を通信接続して構成される。ＨＭＤＧ１～Ｇ５のそれぞれは、図示しない異なるユーザＰ１～Ｐ５が装着している。ユーザＰ１～Ｐ５は、ＡＲ表示システム１がＡＲ表示サービスを提供する実空間内の特定範囲からなるサービス提供エリアＡ１内に存在する。サービス提供エリアＡ１は、例えば特定の観光地における所定のエリアでもよい。

　以下の説明ではユーザＰ１に他者が注視している対象物を視認しやすくするケースを例示して説明する。ユーザＰ２～ユーザＰ５は、ユーザＰ１からみて他者である。そして、ユーザＰ２～ユーザＰ５が装着するＨＭＤＧ２～Ｇ５は、ユーザＰ１からみて他者携帯情報端末に相当する。他者は一人でもよいし複数人でもよい。すなわちユーザＰ１が操作する携帯情報端末は、単数の他者携帯情報端末と接続されてもよいし、複数の他者携帯情報端末と直接又は間接、例えば管理サーバＳ１を介して通信接続されてもよい。

　ネットワークＮ１には、管理サーバＳ１が接続される。管理サーバＳ１は、ＡＲ表示サービスを管理する管理サーバである。ＨＭＤＧ１～Ｇ５のそれぞれは、移動体無線通信網の基地局Ｂ１を介してネットワークＮ１に接続し、更に管理サーバＳ１に接続する。

　管理サーバＳ１は、ネットワークＮ１を介して取得した、複数の情報を管理する。管理サーバＳ１が管理する情報は、例えば、各ＨＭＤＧ１～ＨＭＤＧ５のユーザに関するアカウント情報、基地局Ｂ１を介して取得したＨＭＤＧ１の位置情報や注視点情報、本ＡＲ表示サービスで、各ユーザがアップロードした画像情報やコメント情報などである。

　各ユーザに関する情報には、氏名を含むニックネームやハンドルネームなどのユーザ情報（ユーザ識別情報）や、ユーザ属性情報（年齢、趣味、嗜好等）などがある。

　登録方法は、本ＡＲ表示システムサービスを受けるためのＨＭＤＧ１で使用されるアプリケーションプログラム上で、プロフィールとして入力してもよいし、ユーザの使用した他のアプリケーションプログラムや行動履歴から自動収集、自動生成してもよいし、他のアプリケーションプログラムで登録した情報と連携してもよい。

　なお、ユーザ属性情報の記憶場所としては、各ＨＭＤでもよいし、管理サーバＳ１でもよい。

　なお、説明を解り易くするため、本実施形態では、図１に示すように、５人のユーザが装着するＨＭＤＧ１～ＨＭＤＧ５の例を示しているが、ユーザ数に制限はない。

　また、図１において、ＨＭＤＧ１～ＨＭＤＧ５は基地局Ｂ１を介して本ＡＲ表示サービスに接続している例を示しているが、ＨＭＤＧ１～ＨＭＤＧ５は図示しない無線ルータを経由してネットワークＮ１に接続される構成としてもよい。

　図２Ａは、本実施形態に係るＨＭＤの構成図である。

　同図において、ＨＭＤＧ１は、眼鏡状の筐体Ｇ１０に、表示面を含む左ディスプレイ２０２Ｌ、右ディスプレイ２０２Ｒを備える。左ディスプレイ２０２Ｌ、右ディスプレイ２０２Ｒは、例えば透過型ディスプレイであり、表示面には外界の実像が透過され、その実像上に画像が重畳表示される。筐体Ｇ１０には、プロセッサ２、前方カメラ７１、通信機６、測距センサ５３、他の各種センサを含むセンサ装置５等が実装されている。Ｃｆ－ＣｒはＨＭＤＧ１の中心線を表す。

　図２Ｂは、図２Ａに示したＨＭＤＧ１における、上面から見たユーザの視野角と、各カメラにおける画角を表した模式図である。

　同図において、θｈｍｄは左ディスプレイ２０２Ｌ、右ディスプレイ２０２Ｒから視認できるユーザＰ１の視野であり、θ７１は前方カメラ７１の視野角、θ７２Ｒは右カメラ７２Ｒの画角、θ７２Ｌは左カメラ７２Ｌの画角を表している。このようにＨＭＤＧ１は、ユーザの視野角θｈｍｄより広範囲な画角を撮像できるようになっている。

　なお、図１のＨＭＤＧ２～ＨＭＤＧ５も図２Ａ、図２Ｂに示した構成と同様であるが、機能が同様であれば特に形状や方式などの制限はない。

　図３は、本実施形態に係るＨＭＤのハードウェア構成図である。

　同図において、ＨＭＤＧ１は、プロセッサ２、システムバス３、メモリ４、センサ装置５、通信機６、映像処理装置７、音声処理装置８、操作入力装置９、視線検出センサ１０を含んで構成される。

　プロセッサ２は、所定の動作プログラムに従ってＨＭＤＧ１全体を制御するマイクロプロセッサユニットであり、主にＨＭＤＧ１のユーザＰ１からの入力、それに応じてＨＭＤＧ１の外部の管理サーバＳ１との情報の送受信、該情報をもとにＡＲ表示システムの処理を行うためのシステム制御を行う。また、プロセッサ２は、表示する画像を生成し、表示制御を行う。

　システムバス３は、プロセッサ２とＨＭＤＧ１内の各構成ブロックとの間で各種コマンドやデータなどの送受信を行うためのデータ通信路である。

　メモリ４は、ＨＭＤＧ１の動作を制御するためのプログラムなどを記憶するプログラム記憶領域４１、動作設定値や後述するセンサ装置５や測距センサ５３からの検出値や表示のための画像、文字などを含む各種データを記憶するデータ記憶領域４２、各種プログラム動作で使用するワークエリアなどの書き替え可能なワーク領域４３を含んで構成されている。

　メモリ４は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶可能である。また、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、カメラ機能を使用して撮像した動画や静止画等のデータを記憶可能である。

　また、プログラム記憶領域４１及びデータ記憶領域４２は、ＨＭＤＧ１に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えば、メモリ４としてフラッシュメモリやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などの半導体素子メモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）などの磁気ディスクドライブ等のデバイスが用いられる。なお、メモリ４に記憶された前記各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。

　また、ワーク領域４３はプロセッサ２が実行するプログラムをロードして実行処理をする領域であり、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）が用いられる。

　センサ装置５は、ＨＭＤＧ１の状態を検出するための各種センサからなる。センサ装置５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサ５１、地磁気センサ５２、加速度センサ５４、ジャイロセンサ５５、測距センサ５３を含んで構成される。これらのセンサにより、ＨＭＤＧ１の位置、傾き、方角、動き等や、注視している対象物までの距離を検出することが可能となる。また、ＨＭＤＧ１が、照度センサ、近接センサ等、生体認証用センサなど、他のセンサを更に備えていても良い。

　ＧＰＳセンサ５１は、ＨＭＤＧ１の現在地を検出して自己位置情報を出力する位置センサの一例に相当する。位置センサは、ＧＰＳセンサ５１に限定されない。後述する実施形態では、劇場やコンサートホール内でマーカを用いて構内における現在地を検出する態様を説明するが、構内におけるＨＭＤＧ１の現在地を検出するために用いるセンサは、例えばマーカを撮像するカメラである。また、ビーコン信号を用いた位置検出処理を行う場合は、ビーコン信号受信器が位置センサの一例に相当する。

　通信機６は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）通信機６１、移動体無線通信機６２、近接無線通信機６３を含んで構成される。ＬＡＮ通信機６１は、アクセスポイントや無線ルータ等を介してインターネット等のネットワークＮ１と接続され、前記ネットワークＮ１上の管理サーバＳ１とデータの送受信を行う。アクセスポイントや無線ルータ等との接続はＷｉ－Ｆｉ（登録商標）等の無線接続で行われて良い。

　移動体無線通信機６２は、移動体無線通信網の基地局Ｂ１との無線通信により、電話通信（通話）及びデータの送受信を行う。基地局Ｂ１等との通信はＷ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）（登録商標）方式やＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、或いは５Ｇなどで行われる。これらに限らず、その他の通信方式が用いられても良い。

　ＬＡＮ通信機６１と移動体無線通信機６２は、それぞれ符号化回路や復号化回路やアンテナ等を備える。

　近接無線通信機６３は、一例としてＢｌｕｅＴｏｏｔｈ（登録商標）方式の通信機能を持つものであるが、特にそれに制限するものではなく、赤外線通信等、他の通信方式でも良い。

　映像処理装置７は、前方カメラ７１、右カメラ７２Ｒ、左カメラ７２Ｌ、右ディスプレイ２０２Ｒ、左ディスプレイ２０２Ｌを含んで構成される。前方カメラ７１、右カメラ７２Ｒ、左カメラ７２Ｌは、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の電子デバイスを用いてレンズから入力した可視光を電気信号に変換することにより、周囲や対象物の可視画像データを入力するカメラユニットである。

　さらに右カメラ７２Ｒ、左カメラ７２Ｌは、例えば魚眼レンズなどを用いた広角レンズで構成され、ＨＭＤＧ１の右ディスプレイ２０２Ｒ，左ディスプレイ２０２Ｌの視野の外の景色までを撮像可能である。

　右ディスプレイ２０２Ｒ及び左ディスプレイ２０２Ｌのそれぞれは、例えば液晶パネル等の表示デバイスから得られた投射光を右ディスプレイ２０２Ｒと左ディスプレイ２０２Ｌの表示面に照射して画像を表示する。右ディスプレイ２０２Ｒと左ディスプレイ２０２Ｌは、図示を省略したビデオＲＡＭを備える。そして、ビデオＲＡＭに入力された画像データに基づいて表示画面上に画像が表示される。

　前方カメラ７１には、さらに撮像している物体までの距離を距離画像として取得可能なＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサが用いられていてもよい。そうすることで可視画像と距離画像を用い、例えばＨＭＤに表示されている複数の表示画像に手をかざして親指と人差し指でつまむ動作（以下ポインティングという）により選択を行うなどの検出を精度良く行うことができる。

　また、これら可視画像と距離画像を用いることで、ユーザの注視している対象物までの距離を計測したりすることができる。この場合、測距センサ５３は無くてもよい。

　また周囲をスキャンして、上記したセンサ装置５と映像処理装置７の出力を用いて三次元空間マップを生成することもできる。

　音声処理装置８は、マイク８１、スピーカ８２、デコーダ８３、音声認識部８４を含んで構成される。マイク８１は、ユーザの声などを音声データに変換して入力する。スピーカ８２は、ステレオスピーカであり、ユーザに必要な音声情報等を出力する。デコーダ８３は、必要に応じて、符号化音声信号の復号処理（音声合成処理）等を行う機能や、音声の伝達特性に応じた立体三次元音声処理機能を有し、ＨＭＤＧ１のユーザに対して立体的な音声をスピーカ８２より出力する。

　また、音声認識部８４を利用して、操作指示の音声コマンドによりＨＭＤＧ１の操作を行なっても良い。音声認識部８４は、入力された音声情報を解析し、指示コマンド等を抽出する。

　操作入力装置９は、ＨＭＤＧ１に対する操作指示の入力を行う入力インターフェースである。操作入力装置９は、図示しないボタンスイッチ等を並べた操作キーや、タッチパネル等を含んで構成される。その他の操作デバイスを更に備えても良い。また、通信機６を利用し、有線通信または無線通信により接続された別体の携帯端末機器を用いてＨＭＤＧ１の操作を行っても良い。

　視線検出センサ１０は、ＨＭＤＧ１を装着したユーザの視線方向を検出する。右視線検出器１００１Ｒ、左視線検出器１００１Ｌの視線検出の手法としては、非可視光（赤外線など）をユーザの目に照射して、その撮像画像から得られる瞳孔画像を画像処理によって得るなどの方式があるが、とくに検出手法について制限するものではない。

　なお、図３に示したＨＭＤＧ１の構成例は、必須ではない構成も含んでおり、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。

　図４は、実施の形態１に係るＡＲ表示システムのサービスが使用される環境を示した模式図を示す。図４～図７においては説明を解りやすくするためＨＭＤを装着したユーザが３人の場合示したが、人数に制限はない。

　図４において、ＣＬは雲、ＡＰは飛行中の飛行機、ＡＳは飛行中の飛行船、ＢＤは飛行中の鳥、ＡＳ１は飛行船ＡＳ付近の領域、ＡＰ１は飛行機ＡＰ付近の領域を表しており、ユーザＰ１、ユーザＰ２、ユーザＰ３は各々ＨＭＤＧ１、Ｇ２、Ｇ３を装着している。また、各ユーザＰ１～Ｐ３はサービス提供エリアＡ１にいることを表している。

　さらにユーザＰ１は飛行中の鳥ＢＤを注視しており、ユーザＰ２及びユーザＰ３はＡＳ１の範囲内を注視している状態を表している。

　図５は、ＨＭＤが屋外で用いられた場合における注視点の座標を検出する概念図を示す。

　同図においてＰＥ１ＲはＨＭＤＧ１を装着したユーザＰ１の右目、ＰＥ１Ｌは左目を表しており、右目ＰＥ１Ｒ，左目ＰＥ１Ｌの視線は飛行船ＡＳの方向を注視しているものとする。

　ＨＭＤＧ１の位置は、ＧＰＳセンサ５１より世界測地系のデータが得られる。ＨＭＤＧ１の方角は地磁気センサ５２より得られる。ＨＭＤＧ１の水平線Ｈ－Ｈに対する傾きθは加速度センサ５４より得られる。視線方向は右視線検出器１００１Ｒ、左視線検出器１００１Ｌより得られる。また飛行船ＡＳまでの距離は、測距センサ５３より得られる。なお、前方カメラ７１が距離画像も取得可能なＴＯＦセンサなどを使用していれば、その距離画像から測距距離を用いてもよいし、右カメラ７２Ｒと左カメラ７２Ｌのステレオ画像から算出する測距距離を用いてもよい。

　上記の測距方式で、遠距離の対象物での測距精度が落ちるなどの場合は、測距結果が所定値以上の場合は、注視点の特定に影響の出ない特定の距離に置き換えて使用してもよい。

　ＨＭＤＧ１の方角と傾きθから世界座標における方向を算出し、ＨＭＤＧ１の位置から飛行船ＡＳに重なった注視点の世界座標を算出が可能となる。

　より詳細には、ＨＭＤＧ１のプロセッサ２は、ＧＰＳセンサ５１がＨＭＤＧ１の世界座標系における座標を示す自己位置情報を求める。次にＨＭＤＧ１が向いている世界座標系における方向を、地磁気センサ５２が出力した方位情報から求める。よって地磁気センサ５２は方位センサに相当する。プロセッサ２は自己位置情報及び方位情報に基づいて、ディスプレイが現在地から向いている方向を算出する。続いて、管理サーバＳ１から取得した推奨オブジェクトが存在する位置又は方向を示す視認支援情報を算出し、推奨オブジェクトが存在する位置又は方向と左右のディスプレイ２０２Ｌ、２０２Ｒが向いている方向とを比較することで、左右のディスプレイ２０２Ｌ、２０２Ｒを基準とする推奨オブジェクトが存在する位置又は方向を算出する。左右のディスプレイ２０２Ｌ、２０２Ｒを基準とする推奨オブジェクトが存在する位置又は方向を示す画像が視認支援画像となる。

　図６は、複数のユーザの注視点から推奨オブジェクトとして表示をする判定例を示す図である。

　同図において、縦軸は注目率を表す。領域α、領域β、領域γ、領域δは、それぞれ任意の各ユーザの注視点が集中している領域を表す。なお、領域は上記４つには限らず、いくつあってもよい。

　注目率は、
　ＵＰＷ：自ら（ユーザＰ１）を除いた各領域を注視しているユーザの数
　ＵＰＡ：自らを除いたＡＲ表示システムのサービスエリア内の全ユーザ数
と定義し、
　注目率＝ＵＰＷ／ＵＰＡ
とする。

　これら各領域における注目率のうち、所定の閾値以上あるものを推奨オブジェクトと判断し、表示する推奨オブジェクトとして表示制御を行う。

　図４で示した例では、図６の領域αが飛行船ＡＳの近傍である領域ＡＳ１に相当し、この時の注目率は、
ＵＰＷ＝領域αを注視しているサービス提供エリアＡ１内のユーザＰ２、ユーザＰ３の２人
ＵＰＡ＝サービス提供エリアＡ１内のユーザＰ２、ユーザＰ３の２人
となり、
注目率＝１
となる。例えば閾値＝０．５とした場合、注目率は閾値を上回るので領域α＝領域ＡＳ１は表示する推奨オブジェクトと判定される。

　また、注目率が高い上位３つである領域α、領域β、領域γを表示する推奨オブジェクトと判定してもよい。

　なお、閾値はＡＲ表示サービスが行われるエリア毎や、エリア内の人数によって決定される。

　以上のようにすれば、表示すべき推奨オブジェクトの数が制限され、推奨オブジェクト表示が煩雑になることを防ぐことができる。

　図７は、実施の形態１に係るＨＭＤと管理サーバの処理手順を示すフローチャートである。以下ではユーザＰ１が装着したＨＭＤＧ１に、ユーザＰ２、Ｐ３が見ているオブジェクトを推奨オブジェクトとして送信する例を説明する。よって、以下の説明ではユーザＰ１は推奨オブジェクトを受信するユーザであるので自ユーザに相当し、ユーザＰ２、Ｐ３は推奨オブジェクトを決定する要因となるユーザであり、自ユーザとは異なるので他者に相当する。

　Ｓ７０１：ユーザＰ１の観光地におけるＡＲ表示システム１へのログイン処理として、ＨＭＤＧ１のプロセッサ２は、管理サーバＳ１へ、ユーザＩＤ、パスワード、ＨＭＤＧ１の座標、サービス課金に支払い済みの情報、などの認証情報を送信する。

　Ｓ７０２：管理サーバＳ１は、ＨＭＤＧ１の位置（座標）を受信し、これに基づいてＡＲ表示システム１のサービス提供エリアＡ１内にＨＭＤＧ１が存在しているか否か、またユーザＩＤ、パスワードが予め登録された情報と一致したか否かの認証結果を送信する。

　Ｓ７０３：ＨＭＤＧ１のプロセッサ２は、受信した認証結果がサービス提供エリアＡ１内であり、ユーザＩＤ、パスワードが登録情報と一致であれば認証ＯＫとし、次の処理へと進める。それ以外の場合は処理を終了する。

　これらＳ７０１からＳ７０３の処理は、他者であるＰ２、Ｐ３が装着したＨＭＤＧ２、ＨＭＤＧ３も同様であり、管理サーバＳ１の処理も同様である。

　Ｓ７０４：ＨＭＤＧ１のプロセッサ２は、図５で説明した注視点の算出処理を行い、ユーザＰ１の注視点を検出する。

　Ｓ７０５：ＨＭＤＧ１のプロセッサ２は、ＨＭＤＧ１の位置を示す座標とユーザＰ１の注視点の位置とを管理サーバＳ１へ送信する。

　Ｓ７０６：管理サーバＳ１は、各ユーザＰ１，Ｐ２，Ｐ３が装着しているＨＭＤＧ１、ＨＭＤＧ２、ＨＭＤＧ３から受信した注視点情報からサービス提供エリアＡ１内のユーザの推奨オブジェクトの有無を判定する。ユーザの注視点が所定の範囲内（この例では領域ＡＳ１）に所定数（この例では２とする）以上ある場合は、それを表示すべき推奨オブジェクトと判定する。

　Ｓ７０７：推奨オブジェクトがある場合は所定の範囲内のＨＭＤに推奨オブジェクトの視認支援情報を送信する。

　ここでいう推奨オブジェクトの視認支援情報とは、推奨オブジェクトが存在する位置や方向を示す情報である。推奨オブジェクトが存在する位置情報は、世界座標系で定義された座標でもよいし、ある特定の空間、例えば部屋の中やホール内で局所的に定義された局所座標系で定義された位置情報でもよい。例えば、ある特定の空間内にポインタが複数配置されており、推奨オブジェクトに近い場所のポインタを指定することで推奨オブジェクトの存在位置をユーザに知らせる情報でもよい。また、ホールやスタジアムでは、席番号も局所座標系として用いることができる。また、架空のグリッドを設け、そのグリッドで定義される特定の領域を位置情報として用いてもよい。

　更に推奨オブジェクトの視認支援情報として、推奨オブジェクトが複数ある場合は推奨順を含んでもよい。

　Ｓ７０８：ＨＭＤＧ１のプロセッサ２は、視線検出センサ１０から取得したユーザＰ１の視線方向情報と、管理サーバＳ１から取得した推奨オブジェクトの視認支援情報とを比較し、ユーザＰ１が推奨オブジェクトの方向を見ていないと判定した場合には表示有と判定する。

　なお、表示設定により、見ているか見ていないにかかわらず表示の有無を設定することも可能であり、表示の有無に関する判定はここでおこなう。

　Ｓ７０９：Ｓ７０８において「表示有」と判定した場合は、ＨＭＤＧ１のプロセッサ２は、推奨オブジェクトの視認支援情報を用いて、自ユーザに推奨オブジェクトを視認やすくするために表示する視認支援画像を表示する。視認支援画像は、自ユーザが装着するＨＭＤＧ１が生成して表示してもよいし、後述する図８Ｂに示す縮小画像５０２では他者のＨＭＤが縮小画像を生成して管理サーバＳ１を経由して取得後、表示してもよい。

　視認支援画像とは、推奨オブジェクトの視認の推奨を受けるユーザ、本実施形態では「自ユーザ」に推奨オブジェクトの存在を通知するために自ユーザが操作する携帯情報端末に表示する画像である。視認支援画像の具体例として、
・推奨オブジェクトが存在する位置又は方向を示すマーク、
・推奨オブジェクトの縮小画像、
・推奨オブジェクトの視認を促すメッセージ画像、
・推奨オブジェクトが複数ある場合に推奨順を示す画像、
・推奨オブジェクトそのものを指示する画像（例えば矢印マーク、囲みマーク、ハイライトを含む）、
・世界座標空間を一定間隔で区切るグリッド及び当該グリッドで区切られた領域を示す画像、
の一つ又は任意の組み合わせがありうる。以下図８Ａ～図１２を参照して推奨オブジェクトの視認支援画像の例について説明する。

（視認支援画像例１：方向を示すマーク）
　図８Ａは、本ＡＲ表示システム１におけるサービスから提供されるＨＭＤの推奨オブジェクト表示の一例（方向を示すマーク）を示す模式図である。

　図４で示したユーザＰ１には、装着したＨＭＤＧ１の右ディスプレイ２０２Ｒを介して図８Ａに示すように、現実空間にＡＲ画像として表示されたマーク５０１が重畳して見えている。ユーザＰ１は、先に示したように鳥ＢＤを注視しており、右ディスプレイ２０２Ｒの視野の中には飛行中の飛行機ＡＰと飛行船ＡＳは入っていないため、この時点ではこれらを見落としていることになる。

　このような見落としを防ぐべく、本ＡＲ表示システム１では、２人の他者であるユーザＰ２，Ｐ３が注視している飛行船ＡＳを推奨オブジェクトとして決定し、当該推奨オブジェクトが存在する方向を示す矢印形状のマーク５０１をＨＭＤＧ１の右ディスプレイ２０２Ｒに表示する。

　このようにすれば、ユーザＰ１は鳥ＢＤのみでなく、他者が注視した飛行船ＡＳを見る機会を逃さずに済む効果がある。

（視認支援画像例２：方向を示すマークと縮小画像）
　推奨オブジェクトが存在する方向を示す例は図８Ａに限らない。図８Ｂは、本ＡＲ表示システム１におけるサービスから提供されるＨＭＤの推奨オブジェクト表示の一例（更に縮小画像を付加）を示す模式図である。

　図８Ｂに示すように、図８Ａのマーク５０１に加え、飛行船ＡＳの縮小画像５０２を表示してもよい。縮小画像５０２は、管理サーバＳ１より受信して表示してもよい。この場合は、例えば他者であるユーザＰ２の注視点が重なる飛行船ＡＳの画像を、ユーザＰ２が装着するＨＭＤＧ２に搭載された広画角の右カメラ７２Ｒで撮像し、その撮像画像から切り出して縮小画像５０２を生成する。そして、ＨＭＤＧ２から管理サーバＳ１へ送信し、更にＨＭＤＧ１に転送して表示してもよい。ＨＭＤＧ２に代わり、ＨＭＤＧ３が縮小画像を生成してもよい。

　または、ＨＭＤＧ１のプロセッサ２は、管理サーバＳ１が推奨オブジェクトの視認支援情報を受信し、ＨＭＤＧ１に搭載された広画角の右カメラ７２Ｒで撮像画像から切り出して縮小画像５０２を生成してもよい。

（視認支援画像例３：方向を示すマークと吹き出し）
　図８Ｃは、本ＡＲ表示システム１におけるサービスから提供されるＨＭＤの推奨オブジェクト表示の一例（更に縮小画像を付加）を示す模式図である。

　図８Ｃに示すように、推奨オブジェクトが存在することを更にわかりやすくする為、マーク５０１に加え、文字や文章等の吹き出し５０３を表示してもよいし、音声や音で通知してもよい。さらに、注目ポイントの情報により、通知音を変えてもよい。

　図８Ａ～図８Ｃによれば、ユーザＰ１は鳥ＢＤのみでなく、他者が注視した飛行船ＡＳを見る機会を逃さずに済む効果がある。

（視認支援画像例４：方向を示すマークと推奨順）
　図９は、図４におけるサービス提供エリアＡ１内に、ユーザＰ１～Ｐ３に加えて多くのユーザが存在している場合における、本ＡＲ表示システムにおけるＨＭＤの推奨オブジェクト表示の一例を示す模式図である。本例では、多くの他者の注視点が集中している領域順に従って推奨順位を決定する。

　同図において、図８Ａ～図８Ｃと異なる点は、マーク５０１の近傍に数字の「１」を、さらにマーク８０１とその近傍に数字の「２」を表示している点である。

　ＨＭＤＧ１が受信した各ユーザの注視点が、飛行船ＡＳ付近の領域ＡＳ１で９人、飛行機ＡＰ付近の領域で５人であった場合、注視しているユーザが最も多い飛行船ＡＳ近傍の領域ＡＰ１の方向を示すマーク５０１に加えて、注視しているユーザの多い順を示す「１」を表示する。さらに注視しているユーザが次に多い推奨オブジェクトとして、推奨オブジェクトの方向を示すマーク８０１に加えて、注視しているユーザの多い順を示す「２」を表示する。

　このようにすれば、ユーザＰ１は、複数の推奨オブジェクトが存在することを把握でき、他者が注視している対象物の順位を把握できるので、注視しているユーザの多い推奨オブジェクトの順を追って注視するなどして、見逃しを防ぐことができる。

（視認支援画像例５：推奨順位のみ表示）
　図１０は、本ＡＲ表示システムにおける推奨オブジェクト表示の一例（推奨順位のみ表示）を示す模式図である。

　同図において、図９と異なる点は、鳥ＢＤ、飛行機ＡＰ、飛行船ＡＳがすべてＨＭＤＧ１の右ディスプレイ２０２Ｒの視界の中に入っていることである。

　このような場合は、推奨オブジェクトのある座標方向を示すマーク５０１やマーク８０１を表示せず、注視しているユーザの多い順を各推奨オブジェクトの近傍に表示してもよい。図１０の例では、飛行船ＡＳの近傍に注視しているユーザの数が最も多い順を示す「１」を、飛行機ＡＰの近傍に注視しているユーザが次に多いことを示す「２」を表示する。

　このようにＨＭＤＧ１の右ディスプレイ２０２Ｒ上で、マーク５０１やマーク８０１を表示せずに推奨オブジェクトの注目度を示す順位のみを表示制御することで、ＨＭＤＧ１のユーザＰ１は、限られた右ディスプレイ２０２Ｒ上に見逃し防止や、多くの他者の注視している推奨オブジェクトに対する情報を見やすく把握することができる。

　さらに推奨オブジェクトがＨＭＤＧ１の右ディスプレイ２０２Ｒの視界内に視認できる場合は、上記の表示に加えて、飛行船ＡＳと飛行機ＡＰを囲みマーク等で囲んだり、飛行船ＡＳと飛行機ＡＰの近くにマークを置いたり、飛行船ＡＳと飛行機ＡＰにかぶせてハイライトを重畳して表示したりしてもよい。

　このようにすれば、さらにユーザＰ１は、推奨オブジェクトを認識しやすくなる効果がある。また、見ている方向が他のユーザも多く見ていることを確認することができる。

　さらに順位の数字を表示せず、例えばハイライトの輝度を順位に応じて変えたり、囲みマークの線の太さを変えたり、色を変えたりしてもよい。

　このようにすれば、表示がさらに簡素になり、ユーザにとって風景を見やすい推奨オブジェクト表示にできる。

（視認支援画像例６：グリッドを用いた推奨オブジェクトの位置案内）
　図１１は、本ＡＲ表示システムにおける推奨オブジェクト表示の一例を示す模式図である。

　同図において、縦方向、横方向の点線は世界座標空間を一定間隔で区切った領域を表しており、横方向にＡ、Ｂ、Ｃ・・・とアルファベットを、縦方向に１、２、３・・・と数字を各領域に割り当てている。また図１１における実線は、上記の一定間隔で区切った領域をユーザＰ１が把握できるように、ＨＭＤＧ１の右ディスプレイ２０２Ｒに表示されたものであり、ユーザＰ１の視界を妨げないように右ディスプレイ２０２Ｒの枠付近に領域を示すアルファベットと数字を表示しているものである。

　この時、他者の注視点が集まっている飛行船ＡＳの領域を推奨オブジェクトと判定した場合、該推奨オブジェクトの存在する領域Ｅ２が推奨オブジェクトであるとして、メッセージＭ１を右ディスプレイ２０２Ｒに表示してユーザＰ１に通知する。

　このようにすれば、ユーザＰ１に対して、現在注視している視野から、推奨オブジェクトがどれだけ離れているか領域のメッセージ表示で把握できるし、注視しているユーザの多い推奨オブジェクトの見逃しを防ぐことができる。

　また、先述した領域α、領域β、領域γ・・・は、図１１に示した横方向Ａ，Ｂ，Ｃ・・・、縦方向１、２、３・・・の各領域として割り当てることもできる。例えば領域α＝Ｅ２というように割り当ててもよい。

　また、他者の視線領域が例えばＥ１とＥ２とにまたがっている場合は、両方を注視点としてカウントし、多いほうを一番の推奨オブジェクトとしてもよい。

　なお、図１１では、平面で表示している例になっているが、球面上にメッシュを切ることにより、全空間を表示できる。

　また、サービス提供エリアＡ１は、ある一定のエリアではなく、各ユーザから所定の範囲内にとしてもよい。その場合、推奨オブジェクトの算出は、ユーザ毎に行うことにより管理サーバの負荷を軽減できる。

　本実施形態によれば、同じ景色を見ている多くのユーザが着目している方向や、対象物を携帯情報端末のディスプレイに推奨オブジェクトとして表示できるので、見どころとなる対象物等の見逃し等を防ぐことのできる携帯情報端末及びＡＲ表示システムを提供できる。

　なお、携帯情報端末の注視点情報は、推奨オブジェクトの視認支援画像を表示する全ての携帯情報端末が送信する必要はない。例えば、管理サーバが推奨オブジェクトの視認支援情報をある範囲内の携帯情報端末にブロードキャストすることにより、管理サーバと通信が確立していない携帯情報端末においても、推奨オブジェクトの視認支援情報を受信した携帯情報端末が、推奨オブジェクトの視認支援画像を表示することも可能である。また、対象物は現実空間に実在する物に限らず、ユーザが利用しているソフトウェアに設定された現実空間に配置された仮想オブジェクト、例えば飛行船ＡＳを仮想オブジェクトとしても同様な処理により、多くのユーザが着目している方向や、対象物を携帯情報端末のディスプレイに推奨オブジェクトとして表示することができる。

＜実施の形態２＞
　本実施形態は、推奨オブジェクトの視認支援情報を表示する携帯情報端末が、推奨オブジェクトの有無を判定する実施形態である。図１２は、実施の形態２に係るＨＭＤと管理サーバの処理手順を示すフローチャートである。図７と同じステップには同一のステップ番号を付し、説明は省略する。

　Ｓ７１０：管理サーバＳ１側では、各ユーザが装着しているＨＭＤＧ１、ＨＭＤＧ２、ＨＭＤＧ３等から受信した位置情報を基に、推奨オブジェクト検索範囲内にあるＨＭＤの位置情報及び注視点情報等を推奨オブジェクト検索範囲内にある他のＨＭＤに送信する。「推奨オブジェクト検索範囲」とは、推奨オブジェクトの有無を判定するために他者の注視点情報を収集する実空間の特定の範囲である。例えば、自ユーザの所在地を中心とする半径ｒｍの範囲として設定してもよい。また自ユーザの所在地は推奨オブジェクト検索範囲の中心から外れていてもよい。例えば自ユーザの所在地を基準としてここから方位Ａ°～方位Ｂ°と定めてもよいし、南西に向かって１００ｍの範囲と定めてもよい。

　また、推奨オブジェクト検索範囲は、管理サーバＳ１側で設定してもよいし、ユーザ設定等で変更が可能にしてもよい。ユーザが設定する場合は、ＨＭＤＧ１から管理サーバＳ１に送られるユーザ情報に含まれる。例えばＨＭＤＧ１が推奨オブジェクト検索範囲として、自分の現在位置を中心とする半径１００ｍの範囲を設定している場合は、半径１００ｍ内にある他者のＨＭＤが検出した他者の注視点情報が管理サーバＳ１を介してＨＭＤＧ１に、又は他者のＨＭＤから直接ＨＭＤＧ１に送信されてもよい。

　Ｓ７１１：ＨＭＤＧ１のプロセッサ２は、受信した他者の注視点が推奨オブジェクト検索範囲内に所定数以上ある場合は、それを表示すべき推奨オブジェクトと判定する。以下図７と同様なため説明は省略する。

　以上説明したように、ユーザは自分が存在する位置を基準とする所定の範囲を推奨オブジェクト検索範囲として設定することで、ユーザは特定の観光地やランドマークがない場所でも、自分の所在地を基準として設定した推奨オブジェクト検索範囲内の推奨オブジェクトを見やすくなる。

　また、人が非常に密集しているような場所では、推奨オブジェクト検索範囲の人数を制限してもよい。例えば、制限人数を１００人とした場合で、ＨＭＤＧ１から半径１００ｍに２００人いる場合は推奨オブジェクト検索範囲を狭くする。推奨オブジェクト検索範囲は１００人以下になる距離としてもよいし、設定できる範囲で１００人に近い距離としてもよい。例えば５ｍ毎に設定するとし、半径６０ｍ内に８０人、６５ｍ内に１０３人とすると、前者の設定では推奨オブジェクト検索範囲は６０ｍになり、後者の設定では６５ｍになる。

　以上説明したように、人数制限をすることにより、ＨＭＤやサーバの処理負荷を軽減できる。なお、ユーザ毎の推奨オブジェクト検索範囲を設定する場合も、図７に示したように推奨オブジェクトを管理サーバＳ１で抽出するようにしてもかまわない。

　また、人間の視線は常に動いていることがあることから、サーバに送信する注視点の情報を、ある一定期間内に見ていることが多い方向としてもよい。これにより、動きによるノイズを減らし、より注目しているポイントを抽出することができる。

＜実施の形態３＞
　本実施形態は、推奨オブジェクトの決定を、撮像動作が行われた撮像位置情報を基に決定する実施形態である。撮像位置情報は、例えば撮像画像の付加情報から読み出してもよいし、ＨＭＤＧ１のＧＰＳセンサ５１が撮像動作に合わせて撮像位置情報を検出し、管理サーバＳ１に送信してもよい。

　撮像位置情報に基づいて推奨オブジェクトを決定する動作モードを「撮像位置モード」という。これに対して、例えば実施の形態１、２のように他人の注視点の位置を示す注視点情報に基づいて推奨オブジェクトを決定する動作モードを「注視点モード」という。

　ＨＭＤＧ１は、「注視点モード」だけ、又は「撮像位置モード」だけを動作モードとして有するように構成してもよいし、「注視点モード」及び「撮像位置モード」の両方を動作モードとして有し、両者を切り替えて動作してもよい。その場合、どちらの動作モードを選択したかを示す動作モード情報を管理サーバＳ１に送信し、管理サーバＳ１は動作モード情報が示す動作モードに従って推奨オブジェクトを決定したり、推奨オブジェクトを決定するための情報をＨＭＤＧ１に送信したりする。

　図１３は、実施の形態３に係るＡＲ表示システムのサービスが使用される環境を示した模式図を示す。

　同図においてＥＲは観光地の中の遺跡全体、Ｒ１は遺跡の一部である壺、Ｒ２は遺跡の一部である像、Ｒ３は遺跡の一部である上部構造物、Ａ２は本ＡＲ表示システムが提供されるサービスエリアを表す。

　このサービスエリアＡ２において、多くのユーザが画像（静止画でも動画でもよい）を撮像して名所として来訪コメントなどと一緒に管理サーバＳ１へアップロードし、蓄積されていくものとする。このとき、アップロードした画像をサーバで画像解析などして、撮像されている対象物からその位置を割り出して蓄積する。また、ユーザが画像を撮像するたびに、本システムでのアプリケーションプログラムが、自動でアップロードするようにしてもよい。

　上記で蓄積されたデータが、アップロード数が多いものから順に壺Ｒ１、上部構造物Ｒ３、像Ｒ２であったとする。

　またＨＭＤＧ１を装着したユーザＰ１は、サービスエリアＡ２を訪れ、遺跡ＥＲの一部を見ているものとする。

　図１４は、実施の形態３に係るＡＲ表示システムのサービスにおけるＨＭＤの表示例を示す模式図である。

　ユーザＰ１の装着したＨＭＤＧ１の右ディスプレイ２０２Ｒには、アップロード数が最も多かった壺Ｒ１の周囲を囲むマーク１３０１を推奨オブジェクトとして表示し、マーク１３０１の近傍にアップロード数の順位を示す「１」の数字を表示する。

　さらに壺Ｒ１に次いでアップロード数の多い上部構造物Ｒ３は、右ディスプレイ２０２Ｒの視界にないので、上部構造物Ｒ３のある方向を示す矢印であるマーク１３０３を推奨オブジェクトとして表示し、マーク１３０３の近傍にアップロード数の順位を示す「２」の数字を表示する。

　さらに上部構造物Ｒ３に次いでアップロード数の多い像Ｒ２の周囲を囲むマーク１３０２を推奨オブジェクトとして表示し、マーク１３０２の近傍にアップロード数の順位を示す「２」の数字を表示する。

　このようにすれば、ユーザＰ１は、他者が名所としてアップロードした人気の高い遺跡の部分を、見逃すことなく観光できる。

　なお、マーク１３０１、マーク１３０２は周囲を囲む形でなく、ハイライト表示としてもよいし、マーク１３０１、マーク１３０２、マーク１３０３の近傍に順位を表示せずにハイライトの輝度を順位に応じて変えてもよい。

　図１５は、実施の形態３に係るＨＭＤと管理サーバの処理手順を示すフローチャートである。

　同図において、処理Ｓ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０７、Ｓ７０８は図７に示した処理と同様である。

　管理サーバＳ１においては、各ユーザから画像のアップロード処理があった場合に常に受け付ける。

　Ｓ１４０１：ユーザＰ１から画像のアップロード操作があった場合、ＨＭＤＧ１のプロセッサ２は、管理サーバＳ１に対して画像のアップロード処理を行う。

　Ｓ１４０２：管理サーバＳ１は、ユーザＰ１に限らず各他者からアップロード操作があった場合に、常にアップロードされた画像の蓄積処理を行い、撮像された被写体を注視点とし、その注視点の位置を蓄積する。厳密には、画像に付加される位置情報は撮像した位置、即ち撮像したカメラの所在地を示す位置情報であり、撮像された被写体の位置ではないが、本実施形態では、撮像したカメラの所在地を示す位置情報を注視点の位置情報とみなす。

　Ｓ１４０３：管理サーバＳ１は、各ユーザからアップロードされ蓄積した注視点の情報としての撮像画像の撮像位置を送信する。前述のように、送信は、一対一の送信に限定するものではなく、例えば、管理サーバＳ１が所定範囲内のＨＭＤにブロードキャストすることにより、複数のＨＭＤに撮像位置を一斉送信しても良い。

　上記の処理を行うことで、図１４に示したＨＭＤＧ１の右ディスプレイ２０２Ｒへの表示が可能となる。

　図１６は、実施の形態３に係るＡＲ表示システムのサービスにおけるＨＭＤの表示例を示す模式図である。

　同図において、斜線部は図１４で示した遺跡ＥＲのある街の中の、建物などのある区画を示しており、１５０１はＨＭＤＧ１を装着したユーザＰ１の現在位置を示すアバター、１５０２はユーザＰ１のいる現在位置から遺跡ＥＲの存在する相対方向を示すマークである。

　上記表示はユーザＰ１が地図表示モードなどを選択操作し、ＨＭＤＧ１の右ディスプレイ２０２Ｒ上に表示した状態を示したものである。

　同図においてユーザＰ１は地図上のアバター１５０１のいる場所に位置し、遺跡ＥＲはユーザＰ１の位置から相対的に右前方に位置している。よって遺跡ＥＲの近傍１５０３をハイライト表示し、その遺跡ＥＲがユーザＰ１の現在位置に対する相対位置を表すマーク１５０２を表示する。

　このようにすれば、ユーザＰ１は遺跡ＥＲの場所を把握できるとともに、遺跡ＥＲを見逃すことなく観光を楽しむことができる。

　また、特に本実施の形態は、ＨＭＤだけでなく、スマートフォンなどに応用しても相性が良く、ユーザの使い勝手が良い。

　＜実施の形態４＞
　本実施の形態は、自ユーザの携帯情報端末が受信した複数の他者からの情報の中から推奨オブジェクトの視認支援情報を抽出して視認支援自画像を表示する実施形態である。特に劇場などの施設に好適な本ＡＲ表示システムである。

　図１７は、実施の形態４に係るＡＲ表示システムのサービスが使用される環境を示した模式図である。

　同図において、劇場ＴＨ内にステージ１６０１が配置され、各々劇場内の特定の位置に示された目印となる特定のパターンを持つマークＭＫＲ、ＭＫＬも配置される。ステージ１６０１には、ステージ上の出演者ＰＦ１が立っている。ステージ１６０１上の各出演者ＰＦ１を多数の角度、画角から撮るカメラ群１６０２は、劇場内に施設されたローカルエリアネットワーク（ＬＡＮ）Ｎ２及び無線ルータＲ０を介して管理サーバＳ２に接続される。

　ユーザＰ１は、劇場ＴＨ内のステージ１６０１上で上演されている公演を観客として観ている状況を示している。

　また、ユーザＰ１は、自分の特に好きな出演者ＰＦ１をユーザ属性情報としてＨＭＤＧ１内に登録しており、また本ＡＲ表示システムのサービスでは、各出演者のそれぞれの位置を劇場ＴＨ内の全ユーザに向けてルータ経由で送信しているものとする。

　全出演者の位置は、例えばカメラ群１６０２の各画像から、画像処理で逐一算出されるが、該位置の検出方法に制限はない。

　また、劇場ＴＨ内などでは、ＧＰＳ信号の受信が困難な場合も多いため、劇場ＴＨ内における本ＡＲ表示システムの座標系は、劇場内で提供されるものとする。

　劇場ＴＨ内は、例えば、図示はしていないが、予め３ＤＬｉＤＡＲカメラ等により測距され、劇場ＴＨ内を一つの座標空間として、劇場ＴＨ内のものは座標で表現できる。カメラ群１６０２は撮像手段とともにＬｉＤＡＲやＴＯＦや画像処理等による測距手段を持ち、映像情報とともに、距離情報、カメラの配置位置、角度、画角等のカメラ情報等を管理サーバＳ２に送信する。管理サーバＳ２は、特定の被写体について、カメラ群１６０２から入手した映像情報から抽出し、特定の被写体撮影されたカメラのカメラ情報と特定の被写体までの距離情報から劇場空間内の座標を算出する。特定の被写体とは、人や動物、家具等、映像情報からその特徴を抽出してオブジェクトとして特定できるものであればよい。また、特定の被写体として扱うオブジェクトの個数にも制限はない。

　同図では、予め全出演者を特定の被写体として登録して、随時位置座標を検出し、全ユーザのＨＭＤに配信する。

　図１８は、図１７で示した使用環境における、本ＡＲ表示システムのサービスにおけるＨＭＤの表示例を示す模式図である。

　ＨＭＤＧ１では、受信した各出演者の位置のうち、ユーザＰ１がＨＭＤＧ１内に登録した出演者ＰＦ１の位置を抜き出し、右ディスプレイ２０２Ｒの視界にある出演者ＰＦ１の位置に重畳してマーク１７０１を推奨オブジェクトとして表示する。マーク１７０１は図示したように丸の枠で囲む形やハイライト表示などでもよく、特に制限はない。

　このようにすれば、多数の出演者が公演していても、ユーザＰ１の好きな出演者ＰＦ１を見逃すことがない。

　図１９は、実施の形態４に係るＨＭＤと管理サーバの処理手順であるフローチャートである。

　同図において、処理Ｓ７０１、Ｓ７０２、Ｓ７０３は図７に示した処理と同様である。

　Ｓ１８０１：前方カメラ７１で撮像した劇場ＴＨの画像から、特定パターンを持つマークＭＫＲとマークＭＫＬを画像処理で認識し、該画像内におけるマークＭＫＲ，マークＭＫＬの間隔などから、劇場ＴＨ内のユーザＰ１の位置（座標）を求める。

　なお、前方カメラ７１の出力と測距センサ５３の出力から劇場ＴＨ内をスキャンして３次元空間を認識し、ユーザＰ１の位置を求めてもよい。

　Ｓ１８０２：管理サーバＳ２は、全出演者の位置情報を各ユーザの装着するＨＭＤへ送信する。以後、処理１８０２を繰り返す。全出演者の位置情報のうち、登録した支援者の位置情報が視認支援情報に相当する。図１８では説明の便宜のため、自ユーザの位置確認（Ｓ１８０１）の後に全出演者の位置を送信（Ｓ１８０２）と記載したがこの順序は逆でもよい。

　Ｓ１８０３：管理サーバＳ２から受信した全出演者の位置から、ユーザＰ１がＨＭＤＧ１内に登録した出演者ＰＦ１の位置を推奨オブジェクトとして視認支援画像を生成して表示する。ここでは視認支援画像としてマーク１７０１を表示する。以後、サービス終了まで処理１８０３を繰り返す。

　本実施形態によれば、自ユーザが操作する携帯情報端末は、管理サーバＳ２から全出演者の位置を受信し、自分が見たい出演者の位置（推奨オブジェクトに相当する）を示す視認支援画像が表示できるので、自ユーザの好みに応じて適宜推奨オブジェクトを切り替えても視認支援が可能となる。

＜実施の形態５＞
　本実施の形態は、外部機器、例えば劇場やコンサートの運営者が操作する機器から注視点の位置情報を取得して視認支援画像を表示する実施形態である。本実施形態は、劇場などの施設に好適である。

　図２０は、実施の形態５に係るＡＲ表示システムのサービスが使用される環境を示した模式図である。

　同図においてＰＦ２、ＰＦ３はステージ１６０１上で公演をしている出演者であり、その他は図１７で示したものと同じである。

　この例では、ステージ１６０１での公演で各ユーザに注視してほしい位置を、公演の主催者などが管理サーバＳ２を通じて各ユーザのＨＭＤに配信する。本例では、注視してほしい位置を出演者ＰＦ２の位置とする。

　図２１は、図２０で示した使用環境における、本ＡＲ表示システムのサービスのＨＭＤの表示例を示す模式図である。

　ＨＭＤＧ１では、受信したステージ１６０１での公演で各ユーザに注視してほしい位置である、出演者ＰＦ２の位置を推奨オブジェクトとして、マーク２００１を表示する。マーク２００１は、図示したように丸の枠で囲む形やハイライト表示などでもよく、特に制限はない。

　図２２は、実施の形態５に係るＨＭＤと管理サーバの処理手順を示すフローチャートを示す。

　同図において、処理Ｓ７０１、Ｓ７０２、Ｓ７０３、Ｓ１８０１は図１９に示した処理と同様である。

　Ｓ２１０１：管理サーバＳ２は、公演の主催者などが意図するユーザに注視してほしい位置を各ユーザの装着するＨＭＤへ送信する。以後、処理２１０１を繰り返す。

　Ｓ２１０２：ＨＭＤＧ１では、管理サーバＳ２から受信した位置に、推奨オブジェクトとしてマーク２００１を表示する。以後、サービス終了まで処理２１０２を繰り返す。

　このようにすれば、公演の主催者などが意図するユーザに注視してほしい位置をユーザに伝えることができ、ユーザは公演の重要なシーンを見逃すことがない。

＜実施の形態６＞
　本実施形態は、各ユーザが他者に対して視認を勧めたいオブジェクトを推奨オブジェクトとして共有設定することにより、自分の好みのオブジェクトを推奨オブジェクトとして他者に推奨できると共に、他者が共有設定した推奨オブジェクトの視認支援画像を表示する実施形態である。

　図２３Ａは、本ＡＲ表示システムにおけるユーザＰ１が注視している対象物を、他者に推奨オブジェクトとして共有を図る操作の一例を示した模式図である。

　同図において、ＨＭＤＧ１を装着したユーザＰ１は飛行船ＡＳを注視しており、所定時間注視した時点で右ディスプレイ２０２Ｒにボタン２２０１が表示される。ユーザＰ１は、注視している対象（飛行船ＡＳ）を、他者と共有したいと判断した場合に、手２２０２でボタン２２０１をポインティング操作し、共有を許可する。

　該操作により、ユーザの注視している飛行船ＡＳを注視点として、基地局Ｂ１、ネットワークＮ１、管理サーバＳ１を経由して他者の装着しているＨＭＤへ送信される。

　図２３Ｂは、実施の形態５に係る推奨オブジェクトの表示例を示す模式図であって、上記で送信されたユーザＰ１の注視点を、他者が受信し、推奨オブジェクトとしてＨＭＤに表示した表示例を示したものである。

　同図において、ユーザＰ１から共有許可された注視対象の飛行船ＡＳを推奨オブジェクトとして、その方向を示すマーク５０１と、飛行船ＡＳの縮小画像５０２を表示するとともに、さらにユーザＰ１から共有された画像と分かるように表示２２０３を表示する。

　図２４は、実施の形態６におけるＨＭＤと管理サーバの処理手順を示すフローチャートである。

　同図において、処理Ｓ７０１、処理Ｓ７０２、処理Ｓ７０３、処理Ｓ７０４、処理Ｓ７０６は図７で示したものと同じである。

　Ｓ２３０１：ユーザＰ１の注視点が一定時間所定の領域内であった場合、プロセッサ２は、該注視点を他者と共有するかを確認する「共有」ボタンを右ディスプレイ２０２Ｒに表示する。

　Ｓ２３０２：ユーザＰ１が「共有」ボタンをポインティング操作などにより共有を許可した場合、プロセッサ２は、処理Ｓ２３０３へ、ポインティング操作などせず許可しない場合は処理７０７へ制御を移す。

　Ｓ２３０３：プロセッサ２は、ユーザＰ１が注視した領域の座標（位置）を推奨オブジェクトとして送信する。また、他者に共有することを許可した情報（共有フラグなど）を、共に送信してもよい。

　他者であるユーザＰ２、Ｐ３の装着したＨＭＤＧ２，Ｇ３も処理Ｓ７０１～処理２３０３を行う。

　Ｓ２３０４：プロセッサ２は、右ディスプレイ２０２Ｒに対して、例えば他者であるユーザＰ２が送信した注視点を推奨オブジェクトとし、それを視認しやすくするための視認支援画像を生成して表示する。本例では、視認支援画像としての推奨オブジェクトの存在する方向を示すマーク５０１と縮小画像５０２、及び他者からの共有情報であることを示す「おすすめ」表示２２０３（図２３Ｂ）の表示処理を行う。他者からの共有情報としての「おすすめ」表示は、これに限るものではない。

　このようにすれば、ユーザＰ１の他者に対する共有の意思に応じて、共有情報の送信を制御できるし、Ｐ１の注視点を推奨オブジェクトとして把握できたユーザＰ２は、推奨オブジェクトである飛行船ＡＳの見逃さずに風景を楽しむことができる。

　また、本ＡＲ表示システムにおける上述してきたユーザ属性情報（年齢、趣味、嗜好等）を用いて、推奨オブジェクトを表示する場合の制御に用いてもよい。

　一例として、プロセッサ２は、管理サーバＳ１から受信した他者が注視した注視点情報を用いて、前方カメラ７１、右カメラ７２Ｒ、左カメラ７２Ｌのうちいずれかで該注視点を撮像し、画像処理で注視点にある対象物の種類などを判定する。そして、プロセッサ２は、登録している属性情報に合致した場合のみ、推奨オブジェクトとして表示するように、属性情報に基づいてフィルタリングしてもよい。

　例えば、鳥好きなユーザ１０人が珍しい鳥を注視していて、他の３０人のユーザが飛行船を注視している状況を想定した場合、登録情報から鳥好きなユーザのＨＭＤでは、注視点の多い飛行船を推奨オブジェクトとせず、珍しい鳥を推奨オブジェクトとして表示制御する。

　このようにすれば、鳥好きなユーザは自分の好みである対象物である推奨オブジェクトとして表示されている鳥を見逃すことを防げる。

　なお、各実施の形態での説明では、ＨＭＤＧ１の表示例として右ディスプレイ２０２Ｒを例にして説明したが、右ディスプレイ２０２Ｒに代えて左ディスプレイ２０２Ｌに表示しても良いし、立体的に見える視差を与えて両ディスプレイに表示するようにしても良い。

＜実施の形態７＞
　本実施形態では、注視点の抽出をＨＭＤで撮像したタイミングでＨＭＤの位置情報を取得し、ＨＭＤで撮像したユーザが多い所を推奨オブジェクトとする実施形態である。

　図２５は、実施の形態７におけるＨＭＤと管理サーバの処理手順を示すフローチャートである。

　Ｓ２５０１：ＨＭＤＧ１で撮像する。

　Ｓ２５０２：ＨＭＤＧ１において、撮像画像に対して共有設定が選択されると（Ｓ２３０１、Ｓ２３０２：「Ｙ」）、ＨＭＤＧ１から撮像位置情報を管理サーバには送信する。撮像位置情報を注視点情報として管理サーバＳ１に送信する共有設定されない場合（Ｓ２３０２：「Ｎ」）、ＨＭＤＧ１から撮像位置情報を管理サーバには送信しない。

　Ｓ２５０３：管理サーバＳ１は、各ＨＭＤから撮像位置情報を受信し、その中から推奨オブジェクトとして決定する撮像位置情報を抽出する。抽出基準として、撮像位置情報の受信回数が閾値を超えるもの、また受信回数が多い順に上位何件まで、としてもよく、抽出基準は限定されない。抽出された撮像位置情報は、推奨オブジェクトの視認支援情報に相当する。

　Ｓ２３０４：管理サーバＳ１から受信した操作支援情報を基に操作支援画像を生成し、表示する。

　以上、撮像をトリガーとすることにより、確実に注視していることをとらえることができる。なお、この場合、ＨＭＤだけでなく、スマートフォンなどに応用が可能である。

　また、推奨オブジェクトを、地図上に表示してもよい。図２６は、地図上に推奨オブジェクトを表示した例を示す模式図である。図２６では、ＨＭＤやスマートフォン等の情報端末に表示した地図２５０に、推奨オブジェクトの所在を示すマーク２５１と、ユーザの位置２５２を重畳表示する。マーク２５１は、視認支援画像に相当する。

　このように、地図上に視認支援画像を表示することにより、ユーザは離れた場所で注目されているポイントを知ることができる。なお、他の例にもあるように、推奨オブジェクトは一つに限らず複数個あってもよい。また、ユーザの位置表示は必須ではなく、地図拡大等によりユーザ位置を表示しなくてもよい。

　以上、本実施形態は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記した実施形態は本実施形態を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能である。

　また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成は、それらの一部又は全部が、例えば集積回路や汎用プロセッサ、特定用途プロセッサで設計することにより、ハードウェアで構成されてもよい。プロセッサは、トランジスタやその他の回路を含み、circuitry又はprocessing circuitryとみなされる。また、上記の各構成等は、プロセッサでプログラムが実行されることにより、ソフトウェアで実現されるように構成されてもよい。なお、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。また、ハードウェアとソフトウェアを併用してもよい。

　以上説明したように、本実施形態には下記の発明を含む。
（付記１）
　携帯情報端末であって、
　ディスプレイと、
　外部機器と通信する通信機と、
　前記携帯情報端末の位置を検出して位置情報を出力する位置センサと、
　前記ディスプレイが向いている方向を検出して方位情報を出力する方位センサと、
　プロセッサと、を備え、
　前記プロセッサは、
　前記携帯情報端末を操作するユーザに対する推奨オブジェクトの位置又は方向を示す支援情報を前記外部機器から受信すると、前記位置情報及び前記方位情報に基づいて、前記ディスプレイが向いている方向を基準とする前記推奨オブジェクトが存在する位置又は方向を算出し、
　前記ディスプレイに前記推奨オブジェクトが存在する位置又は方向を示す支援画像を表示する、
　携帯情報端末。

（付記２）
　携帯情報端末であって、
　ディスプレイと、
　外部機器と通信する通信機と、
　前記携帯情報端末の位置を検出して位置情報を出力する位置センサと、
　前記ディスプレイが向いている方向を検出して方位情報を出力する方位センサと、
　プロセッサと、を備え、
　前記プロセッサは、
　他の端末のユーザが見ているオブジェクトの位置又は方向を示す支援情報を前記外部機器から受信すると、前記位置情報及び前記方位情報に基づいて、前記ディスプレイが向いている方向を基準とする前記オブジェクトが存在する位置又は方向を算出し、
　前記ディスプレイに前記オブジェクトが存在する位置又は方向を示す支援画像を表示する、
　携帯情報端末。

（付記３）
　少なくとも一つの携帯情報端末と外部機器とを通信接続して構成される仮想現実表示システムであって、
　前記携帯情報端末は、
　ディスプレイと、
　前記外部機器と通信する通信機と、
　前記携帯情報端末の現在地を検出して位置情報を出力する位置センサと、
　前記ディスプレイが向いている方向を検出して方位情報を出力する方位センサと、
　プロセッサと、を備え、
　前記外部機器は、前記携帯情報端末を操作するユーザに対する推奨オブジェクトの位置又は方向を示す支援情報を送信し、
　前記携帯情報端末のプロセッサは、
　前記支援情報を受信すると、前記位置情報及び前記方位情報に基づいて、前記ディスプレイが向いている方向を基準とする前記推奨オブジェクトが存在する位置又は方向を算出し、
　前記ディスプレイに前記推奨オブジェクトが存在する位置又は方向を示す支援画像を表示する、
　仮想現実表示システム。

１　　　　　：ＡＲ表示システム
２　　　　　：プロセッサ
３　　　　　：システムバス
４　　　　　：メモリ
５　　　　　：センサ装置
６　　　　　：通信機
７　　　　　：映像処理装置
８　　　　　：音声処理装置
９　　　　　：操作入力装置
１０　　　　：視線検出センサ
４１　　　　：プログラム記憶領域
４２　　　　：データ記憶領域
４３　　　　：ワーク領域
５１　　　　：ＧＰＳセンサ
５２　　　　：地磁気センサ
５３　　　　：測距センサ
５４　　　　：加速度センサ
５５　　　　：ジャイロセンサ
６１　　　　：ＬＡＮ通信機
６２　　　　：移動体無線通信機
６３　　　　：近接無線通信機
７１　　　　：前方カメラ
７２Ｌ　　　：左カメラ
７２Ｒ　　　：右カメラ
８１　　　　：マイク
８２　　　　：スピーカ
８３　　　　：デコーダ
８４　　　　：音声認識部
２０２Ｌ　　：左ディスプレイ
２０２Ｒ　　：右ディスプレイ
２５０　　　：地図
２５１　　　：マーク
５０１　　　：マーク
５０２　　　：縮小画像
５０３　　　：吹き出し
７０７　　　：処理
８０１　　　：マーク
１００１Ｌ　：左視線検出器
１００１Ｒ　：右視線検出器
１３０１　　：マーク
１３０２　　：マーク
１３０３　　：マーク
１５０１　　：アバター
１５０２　　：マーク
１５０３　　：近傍
１６０１　　：ステージ
１６０２　　：カメラ群
１７０１　　：マーク
１８０２　　：処理
１８０３　　：処理
２００１　　：マーク
２１０１　　：処理
２１０２　　：処理
２２０１　　：ボタン
２２０２　　：手
２２０３　　：表示
Ｇ１　　　　：ＨＭＤ
Ｇ２　　　　：ＨＭＤ
Ｇ３　　　　：ＨＭＤ
Ｇ４　　　　：ＨＭＤ
Ｇ５　　　　：ＨＭＤ
Ｇ１０　　　：筐体
Ｐ１　　　　：ユーザ
Ｐ２　　　　：ユーザ
Ｐ３　　　　：ユーザ
Ｐ４　　　　：ユーザ
Ｐ５　　　　：ユーザ
ＰＥ１Ｌ　　：左目
ＰＥ１Ｒ　　：右目
ＰＦ１　　　：出演者
ＰＦ２　　　：出演者
Ｒ０　　　　：無線ルータ
Ｒ１　　　　：壺
Ｒ２　　　　：像
Ｒ３　　　　：上部構造物
Ｓ１　　　　：管理サーバ
Ｓ２　　　　：管理サーバ

Claims (15)

1. 　携帯情報端末であって、
   　ディスプレイと、
   　外部機器と通信する通信機と、
   　前記携帯情報端末の位置を検出して位置情報を出力する位置センサと、
   　前記ディスプレイが向いている方向を検出して方位情報を出力する方位センサと、
   　プロセッサと、を備え、
   　前記プロセッサは、
   　前記携帯情報端末を操作するユーザに対する推奨オブジェクトの位置又は方向を示す支援情報を前記外部機器から受信すると、前記位置情報及び前記方位情報に基づいて、前記ディスプレイが向いている方向を基準とする前記推奨オブジェクトが存在する位置又は方向を算出し、
   　前記ディスプレイに前記推奨オブジェクトが存在する位置又は方向を示す支援画像を表示する、
   　携帯情報端末。
2. 　請求項１に記載の携帯情報端末であって、
   　前記推奨オブジェクトは前記携帯情報端末の位置から所定範囲内にある他の端末が向いている方向にあるオブジェクトである、
   　携帯情報端末。
3. 　請求項１に記載の携帯情報端末であって、
   　前記支援画像は、前記推奨オブジェクトが存在する位置又は方向を示すマーク、前記推奨オブジェクトの縮小画像、前記推奨オブジェクトの視認を促すメッセージ画像、前記推奨オブジェクトが複数ある場合に推奨順を示す画像、前記推奨オブジェクトそのものを指示する画像、世界座標空間を一定間隔で区切るグリッド及び当該グリッドで区切られた領域を示す画像、の一つ又は任意の組み合わせである、
   　携帯情報端末。
4. 　請求項１に記載の携帯情報端末であって、
   　前記支援情報は、他の端末のユーザが見ている注視点の位置又は方向を示す情報であり、
   　前記支援画像は、前記携帯情報端末の現在地から前記携帯情報端末が向いている方向を基準とする前記注視点の位置又は方向を示す画像である、
   　携帯情報端末。
5. 　請求項１に記載の携帯情報端末であって、
   　前記支援情報は、他の端末において撮像動作が行われた位置を示す情報であり、
   　前記支援画像は、前記撮像動作が行われた位置又は方向を示す画像である、
   　携帯情報端末。
6. 　請求項１に記載の携帯情報端末であって、
   　前記携帯情報端末を操作するユーザの視線方向を検出して視線方向情報を出力する視線検出センサを更に備え、
   　前記プロセッサは、前記携帯情報端末が向いている方向を基準とする前記推奨オブジェクトが存在する位置又は方向に、前記視線方向情報が示す前記ユーザの視線方向が重なっていないと判定すると、前記支援画像を前記ディスプレイに表示する、
   　携帯情報端末。
7. 　携帯情報端末であって、
   　ディスプレイと、
   　外部機器と通信する通信機と、
   　前記携帯情報端末の位置を検出して位置情報を出力する位置センサと、
   　前記ディスプレイが向いている方向を検出して方位情報を出力する方位センサと、
   　プロセッサと、を備え、
   　前記プロセッサは、
   　他の端末のユーザが見ているオブジェクトの位置又は方向を示す支援情報を前記外部機器から受信すると、前記位置情報及び前記方位情報に基づいて、前記ディスプレイが向いている方向を基準とする前記オブジェクトが存在する位置又は方向を算出し、
   　前記ディスプレイに前記オブジェクトが存在する位置又は方向を示す支援画像を表示する、
   　携帯情報端末。
8. 　請求項１に記載の携帯情報端末であって、
   　前記他の端末は、前記携帯情報端末の位置から所定範囲内にある端末である、
   　携帯情報端末。
9. 　少なくとも一つの携帯情報端末と外部機器とを通信接続して構成される仮想現実表示システムであって、
   　前記携帯情報端末は、
   　ディスプレイと、
   　前記外部機器と通信する通信機と、
   　前記携帯情報端末の現在地を検出して位置情報を出力する位置センサと、
   　前記ディスプレイが向いている方向を検出して方位情報を出力する方位センサと、
   　プロセッサと、を備え、
   　前記外部機器は、前記携帯情報端末を操作するユーザに対する推奨オブジェクトの位置又は方向を示す支援情報を送信し、
   　前記携帯情報端末のプロセッサは、
   　前記支援情報を受信すると、前記位置情報及び前記方位情報に基づいて、前記ディスプレイが向いている方向を基準とする前記推奨オブジェクトが存在する位置又は方向を算出し、
   　前記ディスプレイに前記推奨オブジェクトが存在する位置又は方向を示す支援画像を表示する、
   　仮想現実表示システム。
10. 　請求項９に記載の仮想現実表示システムであって、
    　前記外部機器は、前記携帯情報端末が通信接続する管理サーバであって、
    　前記管理サーバには、前記携帯情報端末とは異なる他の情報端末が少なくとも一つ以上接続され、
    　前記管理サーバは、前記他の情報端末から前記他の情報端末のユーザの注視点の位置又は方向を示す注視点情報を受信し、前記注視点情報に基づいて前記推奨オブジェクトを決定する、
    　仮想現実表示システム。
11. 　請求項１０に記載の仮想現実表示システムであって、
    　前記管理サーバには、複数の前記他の情報端末が接続され、
    　前記管理サーバは、複数の前記他の情報端末から前記注視点情報を受信し、受信した前記注視点情報に基づき、所定の閾値以上の前記注視点が集中している領域を前記推奨オブジェクトとして決定する、
    　仮想現実表示システム。
12. 　請求項１１に記載の仮想現実表示システムであって、
    　前記管理サーバは、前記注視点情報に基づき、より多くの前記注視点が集中している領域順に従って推奨順位を決定し、
    　前記支援画像は、前記推奨順位を示す画像である、
    　仮想現実表示システム。
13. 　請求項１０記載の仮想現実表示システムであって、
    　前記管理サーバは、実空間内の予め定められた範囲に位置する他の情報端末から送信された前記注視点情報を抽出して、前記携帯情報端末に送信する、
    　仮想現実表示システム。
14. 　請求項１０に記載の仮想現実表示システムであって、
    　前記携帯情報端末は、注視点モードと撮像位置モードとの動作モードを有し、
    　前記注視点モードでは、前記注視点情報に基づいて前記推奨オブジェクトを決定し、
    　前記撮像位置モードでは、前記他の情報端末が撮像動作を行った位置を示す撮像位置情報に基づいて前記推奨オブジェクトを決定する、
    　仮想現実表示システム。
15. 　請求項９記載の仮想現実表示システムであって、
    　前記外部機器は、前記ユーザとは異なる他のユーザが操作する情報端末である、
    　仮想現実表示システム。

Images