JP6606312B2

JP6606312B2 - 情報処理装置、情報処理方法、および情報処理プログラム

Info

Publication number: JP6606312B2
Application number: JP2019522596A
Authority: JP
Inventors: ケルビンカシンチェング; 宗益子
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2019-11-13
Anticipated expiration: 2037-11-20
Also published as: EP3716220B1; US11126848B2; EP3716220A1; JPWO2019097726A1; EP3716220A4; US20200184218A1; WO2019097726A1

Description

本発明の一側面は、ユーザに拡張現実を提供する情報処理装置、情報処理方法、および情報処理プログラムに関する。

ユーザの視線の先にあるオブジェクトを特定してそのオブジェクトに関連する情報を拡張現実として該ユーザに提供する情報処理装置が知られている。例えば、特許文献１は、ユーザの目を撮影することでユーザの視線を検知する撮影手段と、検知したユーザの視線に基づいて、３次元データとして表示された対象物を特定し、対象物を関心対象データとして出力する関心データ出力手段とを備えるヘッドマウントディスプレイを記載する。

特開２０１７−３３３３４号公報

ユーザに装着された情報処理装置が該ユーザの視界に入るすべてのオブジェクトの関連情報を取得しようとすると、その関連情報をサーバから取得し終えるのに時間が掛かる可能性がある。加えて、その端末が関連情報を取得できたとしても、その処理の間にユーザの視界が変化してしまうと、視界から外れたオブジェクトの関連情報は端末に表示されることなく破棄される。そのため、情報処理装置とサーバとの間のデータ通信が無駄なものになってしまう。

そこで、ユーザに拡張現実を提供する情報処理装置のデータ通信を効率良く実行することが望まれている。

本発明の一側面に係る情報処理装置は、ユーザの視覚に対応する注目領域を検出する検出部と、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定部と、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求部と、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信部とを備える。

本発明の一側面に係る情報処理方法は、プロセッサを備える情報処理装置により実行される情報処理方法であって、ユーザの視覚に対応する注目領域を検出する検出ステップと、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定ステップと、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求ステップと、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信ステップとを含む。

本発明の一側面に係る情報処理プログラムは、ユーザの視覚に対応する注目領域を検出する検出ステップと、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定ステップと、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求ステップと、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信ステップとをコンピュータに実行させる。

このような側面においては、オブジェクトが注目領域と重なる第１時間帯においてそのオブジェクトに関連する第１オブジェクト情報の要求および受信が実行される。この第１時間帯ではユーザはそのオブジェクトに注目していると推定されるので、通信ネットワークを介して提供される第１オブジェクトの情報はユーザにとって有用であり無駄にはならない。このように、ユーザがオブジェクトを注目していると推定される時間帯に情報を要求および受信することで、情報処理装置のデータ通信を効率良く実行することができる。

本発明の一側面によれば、ユーザに拡張現実を提供する情報処理装置のデータ通信を効率良く実行することができる。

拡張現実（ＡＲ）システムの全体構成の例を示す図である。実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）のハードウェア構成の例を示す図である。実施形態に係るサーバのハードウェア構成の例を示す図である。実施形態に係るＡＲシステムの機能構成の例を示す図である。人間の視野の例を示す図である。実施形態に係るＨＭＤでの全体的な処理の例を示すフローチャートである。ＨＭＤでの注目領域および周辺領域の検出の例を示すフローチャートである。オブジェクト情報の取得に関するＨＭＤとサーバとの連携の例を示すシーケンス図である。一つのオブジェクトについてのオブジェクト情報の取得の例を示すフローチャートである。実施形態に係るサーバでのオブジェクト検索の例を示すフローチャートである。オブジェクト情報の表示の例を示す図である。一つのオブジェクトについてのオブジェクト情報の取得の別の例を示すフローチャートである。オブジェクト情報の表示の別の例を示す図である。一つのオブジェクトについてのオブジェクト情報の取得のさらに別の例を示すフローチャートである。実施形態に係る情報処理プログラムの構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

［システムの構成］
本実施形態では、本発明に係る情報処理装置をヘッドマウントディスプレイ（ＨＭＤ）１０に適用する。ＨＭＤ１０は、ユーザの頭部に装着する表示装置であり、ウェアラブル端末の一種である。ＨＭＤ１０はユーザの両眼を覆うように装着され、ユーザはそのＨＭＤ１０上に表示される情報を見ることができる。本実施形態では、ＨＭＤ１０はユーザに拡張現実を提供するために用いられる。拡張現実とは、コンピュータにより処理された情報が現実世界に付加された世界である。したがって、ＨＭＤ１０の表示方式は、光学透過やビデオ透過などの透過型である。ユーザとは、ＨＭＤ１０を装着して拡張現実を体験する人である。

図１は、ＨＭＤ１０を含む拡張現実（ＡＲ）システム１の全体構成の例を示す図である。ＡＲシステム１は、ＨＭＤ１０のユーザに拡張現実を提供するコンピュータシステムである。ＡＲシステム１はＨＭＤ１０に加えてサーバ２０およびデータベース群３０を備える。図１では１台のＨＭＤ１０を示すが、ＡＲシステム１に含まれるＨＭＤ１０の台数は限定されず、ＡＲシステム１は複数のＨＭＤ１０を備えてもよい。ＨＭＤ１０およびサーバ２０は通信ネットワークＮを介して互いにデータを送受信することができる。サーバ２０は通信ネットワークＮを介してデータベース群３０にアクセスすることができる。サーバ２０は、拡張現実を実現するための情報をＨＭＤ１０に提供するコンピュータであり、ＨＭＤ１０にとって「他のコンピュータ」に相当する。データベース群３０は、拡張現実の提供に必要なデータを記憶する装置である。通信ネットワークＮの構成は限定されず、例えばインターネットまたはイントラネットを含んで構成されてもよい。通信ネットワークＮのうちＨＭＤ１０と接続する部分は一般には無線通信ネットワークである。

図２はＨＭＤ１０のハードウェア構成の例を示す図である。例えば、ＨＭＤ１０はプロセッサ１０１、主記憶部１０２、補助記憶部１０３、通信モジュール１０４、ディスプレイ１０５、カメラ１０６、慣性計測ユニット（ＩＭＵ）１０７、全地球測位システム（ＧＰＳ）１０８、および深度センサ１０９を含む。プロセッサ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する演算装置である。主記憶部１０２はＲＯＭおよびＲＡＭで構成され、ロードされたプログラムや演算結果などを一時的に記憶する。補助記憶部１０３はフラッシュメモリなどで構成され、プログラムまたはデータを永続的に記憶する。通信モジュール１０４は無線通信モジュールなどで構成され、他のコンピュータとの間でデータの送受信を実行する。ディスプレイ１０５はユーザが視認できるようにデータまたは情報を表示する装置であり、左眼用の画像および右眼用の画像を表示することで立体視を実現させる。カメラ１０６はユーザの周辺環境を撮影したり、ユーザの眼を撮影したりするためのセンサであり、ＨＭＤ１０はこのような撮影の目的毎に複数種類のカメラを搭載し得る。ＩＭＵ１０７は、運動を規定する３軸の角度または角速度と加速度とを検出するセンサである。ＧＰＳ１０８は複数の人工衛星から発信された電波を用いて現在位置を算出するシステムである。深度センサ１０９は対象物までの距離を測定するセンサであり、例えば赤外線深度センサで構成される。ＨＭＤ１０はこれらのハードウェア要素の一部を備えなくてもよいし、他のハードウェア要素を備えてもよい。ＨＭＤ１０の形状としては眼鏡型、ゴーグル型、ヘルメット型などがあるが、形状は限定されない。

ＨＭＤ１０の各機能要素は、プロセッサ１０１または主記憶部１０２の上に所定のソフトウェア（例えば、後述するクライアントプログラムＰ１）を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ１０１はそのソフトウェアに従って通信モジュール１０４、ディスプレイ１０５、カメラ１０６、ＩＭＵ１０７、ＧＰＳ１０８、または深度センサ１０９を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

図３はサーバ２０のハードウェア構成の例を示す図である。サーバ２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するプロセッサ２０１と、ＲＯＭおよびＲＡＭで構成される主記憶部２０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部２０３と、ネットワークカードまたは無線通信モジュールで構成される通信制御部２０４と、キーボードやマウスなどの入力装置２０５と、モニタなどの出力装置２０６とを備える。サーバ２０はこれらのハードウェア要素の一部を備えなくてもよいし、他のハードウェア要素を備えてもよい。

サーバ２０の各機能要素は、プロセッサ２０１または主記憶部２０２の上に所定のソフトウェア（例えば、後述するサーバプログラムＰ２）を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ２０１はそのソフトウェアに従って、通信制御部２０４、入力装置２０５、または出力装置２０６を動作させ、主記憶部２０２または補助記憶部２０３におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部２０２または補助記憶部２０３内に格納される。

サーバ２０は１台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータがインターネットやイントラネットなどの通信ネットワークを介して接続されることで、論理的に一つのサーバ２０が構築される。

図４はＡＲシステム１の機能構成の例を示す図である。ＨＭＤ１０は機能的構成要素として視野設定部１１、視野検出部１２、オブジェクト特定部１３、要求部１４、受信部１５、および表示制御部１６を備える。言い換えると、プロセッサ１０１は視野設定部１１、視野検出部１２、オブジェクト特定部１３、要求部１４、受信部１５、および表示制御部１６として機能する。サーバ２０は機能的構成要素としてユーザ検索部２１、受信部２２、オブジェクト検索部２３、および送信部２４を備える。すなわち、プロセッサ２０１はユーザ検索部２１、受信部２２、オブジェクト検索部２３、および送信部２４として機能する。

ＨＭＤ１０の各機能要素の概要を説明する。視野設定部１１は、ＨＭＤ１０上でのユーザの視野を設定する機能要素である。より具体的には、視野設定部１１は視野角に応じて複数種類の視野を設定する。例えば、視野設定部１１はユーザの注視点（ユーザが見ている点）からの範囲（角度）を設定することで、該ユーザの中心視、有効視野、および周辺視野を設定する。視野設定部１１は視野を設定するためにサーバ２０からユーザ属性を取得してもよい。

中心視とは、人間が物体の属性（例えば形および色）を明確に認識できる領域であり、一般には注視点（ユーザが見ている（注目している）位置）から１〜２°までの非常に限られた範囲である。有効視野とは、人間が物体の属性をほぼ明確に認識できる、中心視およびその周りの領域であり、一般には注視点から４〜２０°の範囲である。周辺視野とは、中心視および有効視野以外の領域（言い換えると、有効視野の外側の領域）であり、人間はこの周辺視野内の物体を明確に認識できない。周辺視野に関しては、人間は動く物体や目立つ物体については比較的認識し易いが、静止している物体や目立たない物体については認識しづらいという特性がある。中心視、有効視野、および周辺視野は年齢などによる個人差がある。図５は人間の視野を示す図である。中心視４１、有効視野４２、および周辺視野４３は視点４４および注視点４５に基づいて定まる。視点とは視線の基点となる位置であり、例えば、ユーザの両眼の中間点が視点として設定され得る。この図では視野を２次元（水平方向に沿った範囲）で示すが、視野は鉛直方向についても同様に定義され、したがって、実際には立体的に定義される。

視野検出部１２は、ユーザの視覚に対応する注目領域および周辺領域を検出する機能要素である。注目領域とは、ＨＭＤ１０上でのユーザの視野のうち、該ユーザが物体を明確に認識する領域であり、注視点を含む限定された領域である。周辺領域とは、ＨＭＤ１０上でのユーザの視野のうち注目領域以外の領域である。視野検出部１２は中心視を含む注目領域を検出してもよく、例えば中心視のみを注目領域として検出してもよいし、中心視と有効視野の一部または全部とから成る領域を注目領域として検出してもよい。いずれにしても、注目領域は周辺視野を含まない。視野検出部１２は注目領域以外の部分を周辺領域として特定する。「ユーザの視覚に対応する注目領域および周辺領域」とはユーザの現在の視線に基づいて設定される注目領域および周辺領域のことをいう。したがって、検出される注目領域および周辺領域はユーザの位置、向き、および動きにより変わる。

オブジェクト特定部１３は、ユーザが存在する空間内にあるオブジェクトの中から、検出された注目領域と重なる第１オブジェクトと、検出された周辺領域と重なる第２オブジェクトとを特定する機能要素である。「ユーザが存在する空間」は、ユーザが存在する現実空間と、ＨＭＤ１０によりユーザに提供される仮想空間との少なくとも一方を含む概念である。したがって、「ユーザが存在する空間内にあるオブジェクト」とは、現実空間にある現実のオブジェクトと、ＨＭＤ１０のディスプレイ１０５上に表示されている仮想オブジェクトとの双方を含む概念である。オブジェクトとは、ユーザが視認可能な有体物または可視化された無体物である。「注目領域と重なる第１オブジェクト」とは、ユーザが視認するディスプレイ１０５上において、注目領域の少なくとも一部と重なるオブジェクトである。「周辺領域と重なる第２オブジェクト」とは、ユーザが視認するディスプレイ１０５上において、注目領域とは重なることなく周辺領域と重なるオブジェクトである。オブジェクト特定部１３は１以上の第１オブジェクトと１以上の第２オブジェクトとを特定することができる。
要求部１４は、オブジェクトに関連するオブジェクト情報をサーバ２０に要求する機能要素である。要求部１４はオブジェクト情報を要求するための信号である要求信号を生成し、この要求信号をサーバ２０に送信する。本実施形態では、オブジェクト情報には、第１オブジェクトに関連する第１オブジェクト情報と、第２オブジェクトに関連する第２オブジェクト情報との２種類がある。第１オブジェクト情報も第２オブジェクト情報もＨＭＤ１０上に表示される（すなわち可視化される）。オブジェクト情報のデータ項目および内容は限定されない。

受信部１５は、要求部１４による要求に応じてサーバ２０から送信されてきた第１オブジェクト情報または第２オブジェクト情報を受信する機能要素である。受信されるオブジェクト情報は、要求信号に対する応答信号であるといえる。

表示制御部１６は、受信された第１オブジェクト情報または第２オブジェクト情報をディスプレイ１０５上に表示する機能要素である。表示制御部１６は、ユーザが既に見ている現実のまたは仮想の個々のオブジェクトと関連付けて個々のオブジェクト情報をＨＭＤ１０上に表示する。

次に、サーバ２０の各機能要素の概要を説明する。ユーザ検索部２１は、視野設定部１１からの要求に応じてユーザ属性を送信する機能要素である。受信部２２は、要求部１４から送信されてきた要求信号を受信する機能要素である。オブジェクト検索部２３は、その要求信号に基づいてオブジェクト情報を検索する機能要素である。送信部２４はそのオブジェクト情報をＨＭＤ１０に送信する機能要素である。

データベース群３０は、１以上のデータベースの集合である。データベースとは、プロセッサまたは外部のコンピュータからの任意のデータ操作（例えば、抽出、追加、削除、上書きなど）に対応できるようにデータ集合を記憶する機能要素（記憶部）である。データベースの実装方法は限定されず、例えばデータベース管理システムでもよいし、設定ファイルなどのテキストファイルでもよい。本実施形態では、データベース群３０はユーザデータベース３１およびオブジェクトデータベース３２を含む。

ユーザデータベース３１は、ユーザ情報を記憶する装置である。ユーザ情報はユーザの属性を示すデータ項目を含む情報である。ユーザ属性とはユーザの性質または特徴であり、いわゆる個人情報を含み得る。ユーザ情報の各レコードは、個々のユーザを一意に特定するための識別子であるユーザＩＤにより特定される。ユーザを識別することができるのであれば何をユーザＩＤとして用いてもよく、例えば、単なる連番または個人のアカウントをユーザＩＤとして用いてもよい。ユーザ属性は１以上のデータ項目で表され、その個数および種類は何ら限定されない。例えば、ユーザ属性は氏名、生年月日（年齢）、性別、住所、電話番号、メールアドレスなどのデータ項目を含んでもよい。

オブジェクトデータベース３２は、オブジェクト情報を記憶する装置である。オブジェクト情報は、オブジェクトの属性（性質または特徴）を示すデータ項目を含む情報である。オブジェクト情報の各レコードは、個々のオブジェクトを一意に特定するための識別子であるオブジェクトＩＤにより特定される。オブジェクトを識別することができるのであれば何をオブジェクトＩＤとして用いてもよく、例えば、単なる連番、製品番号、または型番をオブジェクトＩＤとして用いてもよい。オブジェクト属性は１以上のデータ項目で表され、その個数および種類は何ら限定されない。例えば、オブジェクト属性は商品名、メーカ名、販売者名（店舗名）、販売価格、商品説明、ユーザによる評価またはコメントなどのデータ項目を含んでもよい。

［システムの動作］
図６〜図１４を参照しながら、ＡＲシステム１の動作を説明するとともに本実施形態に係る情報処理方法について説明する。図６はＨＭＤ１０での全体的な処理の例を示すフローチャートである。図７はＨＭＤ１０での注目領域および周辺領域の検出の例を示すフローチャートである。図８はオブジェクト情報の取得に関するＨＭＤ１０とサーバ２０との連携の例を示すシーケンス図である。図９は一つのオブジェクトについてのオブジェクト情報の取得の例を示すフローチャートである。図１０はサーバ２０でのオブジェクト検索の例を示すフローチャートである。図１１はオブジェクト情報の表示の例を示す図である。図１２は一つのオブジェクトについてのオブジェクト情報の取得の別の例を示すフローチャートである。図１３はオブジェクト情報の表示の別の例を示す図である。図１４は一つのオブジェクトについてのオブジェクト情報の取得のさらに別の例を示すフローチャートである。

図６を参照しながらＨＭＤ１０での処理の概要を説明する。ステップＳ１１では、視野設定部１１がユーザの視野を設定する。視野設定部１１はユーザの属性に基づいて中心視、有効視野、および周辺視野を設定してもよいし、ユーザの属性に関係なく予め設定された中心視、有効視野、および周辺視野をそのまま採用してもよい。視野設定部１１はユーザ入力に基づいて中心視、有効視野、および周辺視野の大きさを変更する調整機能を有してもよい。

ステップＳ１２では、視野検出部１２が、ユーザの視覚に対応する注目領域および周辺領域を検出する。視野検出部１２は視野設定部１１により設定された視野とユーザの現在の状態とに基づいて、現在の注目領域および周辺領域を検出する。注目領域および周辺領域の検出とは、ＨＭＤ１０上での注目領域および周辺領域の範囲を特定する処理である。ユーザの現在の状態は、ユーザの姿勢と移動の有無とに基づいて特定され得る。

ステップＳ１３では、オブジェクト特定部１３が第１オブジェクトまたは第２オブジェクトを特定する。オブジェクト特定部１３は、検出された注目領域と、ユーザが存在する空間内にあるオブジェクト（具体的には、ディスプレイ１０５を通じてユーザの視野に入っているオブジェクト）との重なりを検査することで第１オブジェクトを特定する。また、オブジェクト特定部１３は、検出された周辺領域と、ユーザが存在する空間内にあるオブジェクトとの重なりを検査することで第２オブジェクトを特定する。

ステップＳ１４では、要求部１４および受信部が協働して第１オブジェクト情報または第２オブジェクト情報をサーバ２０から取得する。

ステップＳ１５では、表示制御部１６が第１オブジェクトまたは第２オブジェクトをディスプレイ１０５上に表示する。表示制御部１６はオブジェクト情報を任意の形式で表示してよく、例えばテキスト、記号、図形、静止画、動画などの形式でオブジェクト情報を表示してよい。表示制御部１６は、それぞれのオブジェクト情報を対応するオブジェクトの近傍に表示してもよく、この表示手法によりオブジェクトとその情報との関係を視覚的にわかり易くユーザに伝えることができる。

ステップＳ１６として示すように、ステップＳ１２〜ステップＳ１５の一連の処理は、処理の終了がユーザ入力などにより指示されるまで繰り返し実行され得る。

図７を参照しながら、注目領域および周辺領域の検出の例を詳細に説明する。ステップＳ１１１では、視野設定部１１はメモリ（主記憶部１０２または補助記憶部１０３）を参照して視野情報が既に記憶されているか否かを検査する。視野情報は、ユーザの静止時における中心視、有効視野、および周辺視野を示す情報である。上述したように人間の視野には個人差があるので、ＨＭＤ１０上での視野を個々のユーザに合わせて設定することで、第１オブジェクトおよび第２オブジェクトを正確に特定することができる。

視野情報がまだＨＭＤ１０のメモリ内に記憶されていない場合には（ステップＳ１１１においてＮＯ）、ステップＳ１１２において、視野設定部１１が、ユーザＩＤを含む信号をサーバ２０に送信する（ステップＳ１２）。

ステップＳ１１３では、サーバ２０のユーザ検索部２１がその信号を受信し、ユーザＩＤを用いてユーザデータベース３１を検索することで、そのユーザＩＤに対応するユーザ属性を取得する。ステップＳ１１４では、ユーザ検索部２１はそのユーザ属性を応答信号としてＨＭＤ１０に送信する。

ステップＳ１１５では、視野設定部１１がその応答信号を受信し、ユーザ属性に基づいて視野情報を生成する。視野設定部１１は、中心視、有効視野、および周辺視野をユーザ属性から決定するための設定規則を予め保持しており、その規則を参照することで、ユーザ属性に対応する中心視、有効視野、および周辺視野を設定する。一例として、設定規則は、生体情報（例えば年齢）と、中心視、有効視野、および周辺視野のそれぞれの大きさ（注視点からの角度）との対応関係を示してもよい。例えば、設定規則は、年齢が６５歳未満である場合には、有効視野が注視点から２０°までの範囲であり、かつ周辺視野が注視点から１００°までの範囲である、という対応関係を含んでもよい。その設定規則はさらに、年齢が６５歳以上である場合には、有効視野が注視点から１０°までの範囲であり、かつ周辺視野が注視点から９０°までの範囲である、という対応関係を含んでもよい。設定規則の詳細はこれに限定されず、例えば異なる閾値および設定値を用いて定義されてもよいし、年齢以外のユーザ属性を用いて定義されてもよい。いずれにしても、視野設定部１１はユーザ属性および設定規則に基づいてユーザの視野（中心視、有効視野、および周辺視野）を設定し、その視野を示す視野情報を生成する。そして、視野設定部１１はその視野情報をメモリ（主記憶部１０２または補助記憶部１０３）に格納すると共に、その視野情報を以降の処理で用いる。

一方、視野情報が既にメモリ内に記憶されている場合には（ステップＳ１１１においてＹＥＳ）、視野設定部１１はその視野情報をメモリから読み出す。

ステップＳ１１６において、視野検出部１２がユーザの現在の状態を取得する。例えば、視野設定部１１は、カメラ１０６またはＩＭＵ１０７から得られるデータを用いて視線トラッキングやポジショントラッキングなどの追跡機能を実行することでユーザの視線（視点および注視点）を求める。さらに、視野設定部１１はカメラ１０６、ＩＭＵ１０７、またはＧＰＳ１０８から得られるデータを用いてユーザの現在の移動速度を求める。

ステップＳ１１７において、視野検出部１２は、視野情報とユーザの現在の状態とに基づいて注目領域および周辺領域を検出する。具体的には、視野検出部１２は、視野情報で示される視野（中心視、有効視野、および周辺視野）と算出された視線（視点および注視点）とに基づいて、ユーザが静止している場合の現在の注目領域および周辺領域を算出する。そして、視野検出部１２は算出された移動速度に基づいてそれらの領域を調整する。一般に、人間は早く移動するほど視野は狭くなり、例えば、運転者の視野は自動車の速度が大きくなるほど狭くなる。移動速度に基づく注目領域および周辺領域の調整は、このような一般的な現象を考慮した処理である。視野検出部１２は、移動速度に基づいて注目領域および周辺領域を調整するための調整規則を予め保持しており、その規則を参照することで注目領域および周辺領域を調整する。調整規則は、移動速度と、注目領域および周辺領域のそれぞれの大きさ（注視点からの角度）との対応関係を示してもよい。例えば、調整規則は、移動速度がＶａ未満である場合には注目領域および周辺領域を調整せず（すなわち、静止時の注目領域および周辺領域を用いる）、移動速度Ｖａ以上である場合には、移動速度の増加に応じて注目領域および周辺領域を狭めるように定義されてもよい。

視野検出部１２による処理（ステップＳ１１６，Ｓ１１７）は、ユーザの状態の変化（具体的には、ユーザの姿勢および移動速度の変化）に応じて繰り返し実行される。

図８を参照しながら、オブジェクト情報の取得に関するＨＭＤ１０とサーバ２０との連携の例を詳細に説明する。ステップＳ１２１では、オブジェクト特定部１３が注目領域と重なるオブジェクトを第１オブジェクトとして特定する。オブジェクト特定部１３はカメラ１０６または深度センサ１０９から得られるデータ基づいて個々のオブジェクトの位置を推定する。そして、オブジェクト特定部１３はディスプレイ１０５上におけるそれぞれのオブジェクトと注目領域との位置関係を求めることで、注目領域と重なるオブジェクトを第１オブジェクトとして特定する。なお、第１オブジェクトが一つも特定されない場合があり得る。１以上の第１オブジェクトを特定した場合には、オブジェクト特定部１３は、第１オブジェクト情報を得るための第１検索キーをそれぞれの第１オブジェクトから取得する。第１検索キーおよびその取得方法は限定されない。例えば、オブジェクト特定部１３はカメラ１０６の画像を解析することで、第１オブジェクト上に印刷、シールなどにより表現されているテキストまたは２次元バーコードを文字列に変換し、その文字列を第１検索キーとして取得してもよい。例えば、第１検索キーはオブジェクトＩＤを含んでもよい。

ステップＳ１２２では、オブジェクト特定部１３は周辺領域と重なるオブジェクトを第２オブジェクトとして特定する。オブジェクト特定部１３は第１オブジェクトと同様に、ディスプレイ１０５上におけるそれぞれのオブジェクトと周辺領域との位置関係を求めることで第２オブジェクトを特定する。１以上の第２オブジェクトを特定した場合には、オブジェクト特定部１３は第１オブジェクトと同様の手法で、第２オブジェクト情報を得るための第２検索キーをそれぞれの第２オブジェクトから取得する。第２検索キーはオブジェクトＩＤを含んでもよい。

ステップＳ１２３では、要求部１４が要求信号を生成してこの信号をサーバ２０に送信する。要求部１４は第１検索キーまたは第２検索キーを含む要求信号を生成する。この処理において、要求部１４は、サーバ２０が第１検索キーと第２検索キーとを区別できるようにこれら２種類の検索キーを要求信号に含める。

この要求信号に応じてサーバ２０がオブジェクト情報を検索する。ステップＳ１２４では、オブジェクト検索部２３が第１検索キーに従って第１オブジェクト情報をオブジェクトデータベース３２から取得する。ステップＳ１２５では、オブジェクト検索部２３はさらに第２検索キーに従って第２オブジェクト情報をオブジェクトデータベース３２から取得する。要求信号が第１検索キーを含まない場合にはステップＳ１２４が省略され、要求信号が第２検索キーを含まない場合にはステップＳ１２５が省略される。ステップＳ１２６では、送信部２４が、第１オブジェクト情報または第２オブジェクト情報を要求信号への応答としてＨＭＤ１０に送信する。

この応答に応じてＨＭＤ１０がオブジェクト情報を受信および表示する。ステップＳ１２７では、表示制御部１６が受信された第１オブジェクト情報または第２オブジェクト情報をディスプレイ１０５上に表示する。表示制御部１６はディスプレイ１０５上での各第１／第２オブジェクトの位置に基づいて各第１／第２オブジェクト情報を表示する。

ある一つのオブジェクトＡが、第１オブジェクトとして処理されるか、第２オブジェクトとして処理されるか、あるいは処理されないかは、検出された注目領域および周辺領域と、オブジェクトＡとの位置関係により変わる。言い換えると、ＨＭＤ１０がオブジェクトＡに関してどのような情報を表示するかは、ユーザの視線に依存して時間の経過と共に変わり得る。図９を参照しながら、一つのオブジェクトＡに着目して、オブジェクト情報を取得する処理の例を詳細に説明する。

オブジェクトＡが注目領域と重なる場合には（ステップＳ１３１においてＹＥＳ）、ステップＳ１３２においてオブジェクト特定部１３はオブジェクトＡを第１オブジェクトとして特定する。

ステップＳ１３３において、オブジェクト特定部１３は、ユーザから、第１オブジェクトとして特定されたオブジェクトＡまでの距離を推定する。オブジェクト特定部１３は、カメラ１０６または深度センサ１０９から得られたデータを用いてＨＭＤ１０からオブジェクトＡまでの距離を求め、この距離をユーザからオブジェクトＡまでの距離と見做す。

オブジェクトＡが注目領域と重ならず（ステップＳ１３１においてＮＯ）、周辺領域とも重ならない場合には（ステップＳ１３４においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第１オブジェクトとも第２オブジェクトとも特定しない。

一方、オブジェクトＡが注目領域とは重ならないが（ステップＳ１３１においてＮＯ）、周辺領域と重なる場合には（ステップＳ１３４においてＹＥＳ）、ステップＳ１３５においてオブジェクト特定部１３はオブジェクトＡが第２オブジェクトの条件に合致するか否かを判定する。すなわち、オブジェクト特定部１３は、オブジェクトＡについて第２オブジェクト情報を取得するか否かを判定する。オブジェクトＡが第２オブジェクトの条件に合致する場合には（ステップＳ１３５においてＹＥＳ）、ステップＳ１３６においてオブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する。オブジェクトＡが第２オブジェクトの条件に合致しない場合には（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。

第２オブジェクトの条件は限定されない。例えば、第２オブジェクトの条件は、オブジェクトと該オブジェクトの背景領域（すなわち、オブジェクトの周辺）とのコントラストの大きさが閾値Ｔｃ以上であることと定義されてもよい。オブジェクト特定部１３は予め定められた閾値Ｔｃを予め保持する。オブジェクト特定部１３はカメラ１０６から得られた画像を解析してオブジェクトＡとオブジェクトＡの背景領域とのコントラストを算出し、そのコントラストと閾値Ｔｃとを比較する。コントラストが閾値Ｔｃ以上であれば（ステップＳ１３５においてＹＥＳ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する（ステップＳ１３６）。コントラストが閾値Ｔｃ未満であれば（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。

第２オブジェクトの条件は、オブジェクトが動いていること、と定義されてもよい。「オブジェクトが動いている」とは、オブジェクトの位置が変わることと、オブジェクトが位置を変えることなくその場で動くこととの双方を含む概念である。オブジェクト特定部１３はカメラ１０６から得られた画像（動画像、または静止画の連続）を解析してオブジェクトＡが動いているか否かを判定する。オブジェクトＡが動いている場合には（ステップＳ１３５においてＹＥＳ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する（ステップＳ１３６）。オブジェクトＡが静止している場合には（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。

第２オブジェクトの条件は、オブジェクトが第１オブジェクト（すなわち、注目領域と重なっているオブジェクト）と同じ属性を有すること、と定義されてもよい。例えば、オブジェクト特定部１３はカメラ１０６の画像を解析することで、オブジェクトＡ上に印刷、シールなどにより表現されているテキストまたは２次元バーコードを文字列に変換し、その文字列を取得する。また、オブジェクト特定部１３はその画像を解析することで、既に特定した第１オブジェクト上に印刷、シールなどにより表現されているテキストまたは２次元バーコードを文字列に変換し、その文字列を取得する。そして、オブジェクト特定部１３は双方の文字列を比較することで、オブジェクトＡが第１オブジェクトと同じ属性を有するか否かを判定する。オブジェクトＡが少なくとも一つの第１オブジェクトと同じ属性を有する場合には（ステップＳ１３５においてＹＥＳ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する（ステップＳ１３６）。オブジェクトＡが第１オブジェクト同じ属性を有しない場合には（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。

第２オブジェクトの条件は、ユーザからオブジェクトまでの距離が閾値Ｔａ未満であることと定義されてもよい。オブジェクト特定部１３は予め定められた閾値Ｔａを予め保持する。オブジェクト特定部１３は、カメラ１０６または深度センサ１０９から得られたデータを用いてＨＭＤ１０からオブジェクトＡまでの距離を求め、この距離をユーザからオブジェクトＡまでの距離と見做す。そして、オブジェクト特定部１３はその距離を閾値Ｔａと比較する。距離が閾値Ｔａ未満であれば（ステップＳ１３５においてＹＥＳ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定する（ステップＳ１３６）。距離が閾値Ｔａ以上であれば（ステップＳ１３５においてＮＯ）、オブジェクト特定部１３はオブジェクトＡを第２オブジェクトとして特定しない。

第２オブジェクトの条件はユーザからオブジェクトまでの距離とコントラストとの組合せでもよい。この場合には、オブジェクト特定部１３は、距離が閾値Ｔａ未満でありかつコントラストが閾値Ｔｃ以上である場合にはオブジェクトＡを第２オブジェクトとして特定し、それ以外の場合にはオブジェクトＡを第２オブジェクトとして特定しない。あるいは、第２オブジェクトの条件は距離とオブジェクトの動きとの組合せでもよい。この場合には、オブジェクト特定部１３は、距離が閾値Ｔａ未満でありかつオブジェクトＡが動いている場合にはオブジェクトＡを第２オブジェクトとして特定し、それ以外の場合にはオブジェクトＡを第２オブジェクトとして特定しない。あるいは、第２オブジェクトの条件は距離と属性の一致との組合せでもよい。この場合には、オブジェクト特定部１３は、距離が閾値Ｔａ未満でありかつオブジェクトＡが少なくとも一つの第１オブジェクトと同じ属性を有する場合にはオブジェクトＡを第２オブジェクトとして特定し、それ以外の場合にはオブジェクトＡを第２オブジェクトとして特定しない。

オブジェクトＡを第１オブジェクトまたは第２オブジェクトとして特定すると、ステップＳ１３７において、要求部１４が要求信号を生成および送信することで、オブジェクトＡの第１または第２オブジェクト情報をサーバ２０に要求する。オブジェクトＡが第１オブジェクトとして特定された場合には、要求部１４は第１検索キーとユーザからの距離との組合せを示す要求信号を生成し、オブジェクトＡが第２オブジェクトとして特定された場合には、要求部１４は第２検索キーを含む要求信号を生成する。そして、要求部１４はその要求信号をサーバ２０に送信する。

ステップＳ１３８では、受信部１５がその要求信号に応じてサーバ２０から送られてきた第１オブジェクト情報または第２オブジェクト情報を受信する。

ステップＳ１３９では、表示制御部１６がその第１オブジェクト情報または第２オブジェクト情報をオブジェクトＡと関連付けたかたちでディスプレイ１０５上に表示する。

処理はステップＳ１３９の後にＳ１３１に戻り、したがって、ステップＳ１３１〜Ｓ１３９の処理は繰り返し実行され得る。ステップＳ１３９において表示制御部１６が第１オブジェクト情報を表示した後にオブジェクトＡが引き続き注目領域と重なる場合には、第１オブジェクト情報の取得および表示が再び実行される。具体的には、要求部１４が第１オブジェクト情報をサーバ２０に要求し、受信部１５が第１オブジェクト情報をサーバ２０から受信し、表示制御部１６がその第１オブジェクト情報をディスプレイ１０５上に表示する。すなわち、第１オブジェクトであるオブジェクトＡが注目領域と重なる時間帯（第１時間帯）では、要求部１４がオブジェクトＡに関連する第１オブジェクト情報をサーバ２０に繰り返し要求し、受信部１５がその第１オブジェクト情報を繰り返しまたは継続して受信し、表示制御部１６がその第１オブジェクト情報をディスプレイ１０５上に繰り返しまたは継続して表示する。第１オブジェクト情報は第１時間帯に限定して要求、受信、および表示される。

このような繰り返し処理は第２オブジェクト情報の取得および表示についても同様に実行され得る。ステップＳ１３９において表示制御部１６が第２オブジェクト情報を表示した後にオブジェクトＡが引き続き周辺領域と重なる場合には、第２オブジェクト情報の取得および表示が再び実行される。具体的には、要求部１４が第２オブジェクト情報をサーバ２０に要求し、受信部１５が第２オブジェクト情報をサーバ２０から受信し、表示制御部１６がその第２オブジェクト情報をディスプレイ１０５上に表示する。すなわち、第２オブジェクトであるオブジェクトＡが周辺領域と重なる時間帯（第３時間帯）では、要求部１４がオブジェクトＡに関連する第２オブジェクト情報をサーバ２０に繰り返し要求し、受信部１５がその第２オブジェクト情報を繰り返しまたは継続して受信し、表示制御部１６がその第２オブジェクト情報をディスプレイ１０５上に繰り返しまたは継続して表示する。

オブジェクトＡが第１オブジェクトとも第２オブジェクトとも特定されない場合に（ステップＳ１３４においてＮＯ、またはステップＳ１３５においてＮＯ）、もし第１オブジェクト情報または第２オブジェクト情報が受信または表示されていれば、ステップＳ１４０において、ＨＭＤ１０はその受信および表示を終了する。オブジェクトＡのオブジェクト情報の受信が続いている場合には、受信部１５がその受信を終了する。これは、受信部１５が第１時間帯に限って第１オブジェクト情報を受信し、第３時間帯に限って第２オブジェクト情報を受信することを意味する。また、表示制御部１６が第１オブジェクト情報または第２オブジェクト情報をディスプレイ１０５上から消去する。この時点でオブジェクト情報が受信も表示もされていなければ、ステップＳ１４０の処理は省略される。

図１０を参照しながら、サーバ２０によるオブジェクト情報の検索の例を詳細に説明する。ステップＳ１４１では、受信部２２がＨＭＤ１０から要求信号を受信する。

ステップＳ１４２では、オブジェクト検索部２３が第１／第２オブジェクトのそれぞれについて、第１／第２オブジェクト情報の検索項目を設定する。例えば、オブジェクト検索部２３は、第２オブジェクト情報のデータ項目数が第１オブジェクト情報のデータ項目数より小さくなるように検索項目を設定してもよい。第１オブジェクト情報を取得する場合に、オブジェクト検索部２３は、第１オブジェクトとユーザ（ＨＭＤ１０）との距離に応じて検索項目を変更してもよい。

一つのオブジェクトＡについて検索項目の設定の例を示す。オブジェクトＡが第２オブジェクトとして特定された場合には、オブジェクト検索部２３は商品名を検索項目として設定する。オブジェクトＡが第１オブジェクトとして特定されたとして、オブジェクトＡとユーザとの距離が閾値Ｔｄ以上である場合には、オブジェクト検索部２３は商品名、メーカ名、および価格を検索項目として設定する。オブジェクトＡが第１オブジェクトとして特定されたとして、オブジェクトＡとユーザとの距離が閾値Ｔｄ未満である場合には、オブジェクト検索部２３はオブジェクトに対するユーザの評価およびコメントを検索項目として設定する。この例では、第２オブジェクト情報のデータ項目は商品名のみなのでデータ項目数は１である。一方、第１オブジェクト情報については、データ項目が商品名、メーカ名、および価格であればデータ項目数は３であり、データ項目がユーザの評価およびコメントであればデータ項目数は２である。当然ながら第１／第２オブジェクト情報のデータ項目数はこれに限定されるものではなく、例えば第２オブジェクト情報のデータ項目数が２であり、第１オブジェクト情報のデータ項目数が少なくとも３であってもよい。第１オブジェクト情報に関して、少なくとも一つのデータ項目が距離に関係なく常に取得され、別のデータ項目が距離に応じて取得されたりされなかったりしてもよい。

ステップＳ１４３において、オブジェクト検索部２３は設定した検索項目に従って第１オブジェクト情報または第２オブジェクト情報をオブジェクトデータベース３２から取得する。オブジェクト検索部２３は第１検索キーに基づいて第１オブジェクト情報を検索し、第２検索キーに基づいて第２オブジェクト情報を検索する。

ステップＳ１３４において、送信部２４が検索された第１オブジェクト情報または第２オブジェクト情報をＨＭＤ１０に送信する。

図１１はオブジェクト情報の表示の例を示す図であり、具体的には、表示されるオブジェクト情報がユーザの視野の変化に伴って変化する例を模式的に示す。画面５０は、ＨＭＤ１０のディスプレイ１０５を通してユーザが見る現実のおよび仮想のオブジェクトの少なくとも一部を表し、注目領域５１を含む。画面５０のうち注目領域５１以外の領域を周辺領域とする。オブジェクトとして、テーブルの上に置かれたビール缶６１、雑誌６２、および皿６３を示す。

この例では、まず雑誌６２が注目領域５１と重なっており、ビール缶６１および皿６３が周辺領域と重なっている。オブジェクト特定部１３は雑誌６２を第１オブジェクトとして特定し、ビール缶６１を第２オブジェクトとして特定し、皿６３を第２オブジェクトとして特定していない。例えば、オブジェクト特定部１３は、ビール缶６１のコントラストは閾値Ｔｃ以上であるが皿６３のコントラストは閾値Ｔｃ未満であるため、ビール缶６１のみを第２オブジェクトとして特定している。この特定に応じて雑誌６２の第１オブジェクト情報６２１（商品名、メーカ名、および価格）と、ビール缶６１の第２オブジェクト情報６１１（商品名）とが表示される。第１オブジェクト情報６２１を構成するデータ項目は雑誌６２とユーザとの距離に応じて設定される。

その後、ユーザが雑誌６２からビール缶６１に視線を移すことで視野が変わり、ビール缶６１が注目領域５１と重なり、雑誌６２および皿６３が周辺領域と重なったものとする。オブジェクト特定部１３はビール缶６１を第１オブジェクトとして特定し、雑誌６２を第２オブジェクトとして特定し、皿６３を第２オブジェクトとして特定していない。例えば、オブジェクト特定部１３は、雑誌６２のコントラストは閾値Ｔｃ以上であるが皿６３のコントラストは閾値Ｔｃ未満であるため、雑誌６２のみを第２オブジェクトとして特定している。この特定に応じてビール缶６１の第１オブジェクト情報６１２（商品名、メーカ名、および価格）と、雑誌６２の第２オブジェクト情報６２２（商品名）とが表示される。第１オブジェクト情報６１２を構成するデータ項目はビール缶６１とユーザとの距離に応じて設定される。

その後、ユーザがビール缶６１を手に取って見ることで視野が変わり、ビール缶６１が注目領域５１と重なったまま、ユーザとビール缶６１との距離が近くなったとする。オブジェクト特定部１３は引き続きビール缶６１を第１オブジェクトとして特定するが、ユーザとビール缶６１との距離の短縮に伴い、ユーザの評価およびコメントが第１オブジェクト情報６１３として表示される。このように、第１オブジェクトとユーザとの距離が比較的遠い場合（距離が閾値Ｔｄ以上である場合）には第１オブジェクトの基本的な情報を第１オブジェクト情報として表示させ、その距離が比較的近い場合（距離が閾値Ｔｄ未満である場合）には第１オブジェクトの詳細な情報を表示させることが可能である。

ＨＭＤ１０は、第１オブジェクトとして特定されたオブジェクトについて、注目領域から外れた場合でも予め定められた時間内に限って第１オブジェクト情報を取得し続けてもよい。図１２を参照しながら、一つのオブジェクトＡに着目して、注目領域から外れたオブジェクトについても第１オブジェクト情報を取得する例を詳細に説明する。

図９に示す処理と異なるのは、オブジェクトＡが注目領域と重ならなかった場合（ステップＳ１３１においてＮＯ）の処理であり、図１２ではこの処理をステップＳ１３１Ａで示す。オブジェクト特定部１３は、第１オブジェクトとして特定されたオブジェクトＡが注目領域から外れた場合（第１時間帯を過ぎた場合）に（ステップＳ１３１においてＮＯ）、その時点からの経過時間を計測し始める。ステップＳ１３１Ａにおいて、オブジェクト特定部１３はその経過時間を閾値Ｔ（秒）と比較する。オブジェクトＡが注目領域から外れてからまだＴ秒経過していない場合（第２時間帯である場合）には（ステップＳ１３１ＡにおいてＮＯ）、オブジェクト特定部１３はステップＳ１３２，Ｓ１３３を実行する。すなわち、オブジェクト特定部１３はオブジェクトＡを第１オブジェクトとして特定し、ユーザからオブジェクトＡまでの距離を推定する。その後、上述したステップＳ１３７〜Ｓ１３９の処理が実行される。

一方、オブジェクトＡが注目領域から外れてからＴ秒経過した場合（第２時間帯を過ぎた場合）には（ステップＳ１３１ＡにおいてＹＥＳ）、上述したステップＳ１３４以降の処理が実行される。ステップＳ１４０において、もし第１時間帯および第２時間帯にわたってオブジェクトＡの第１オブジェクト情報の受信が続いている場合には受信部１５がその受信を終了する。これは、受信部１５が第１時間帯および第２時間帯に限って第１オブジェクト情報を受信することを意味する。

図１３はオブジェクト情報の表示の別の例を示す図であり、具体的には、ある一つのオブジェクトが注目領域から外れる前後におけるオブジェクト情報の変化の例を模式的に示す。この図１３における最初の状態は図１１と同じであり、画面５０では、雑誌６２の第１オブジェクト情報６２１（商品名、メーカ名、および価格）と、ビール缶６１の第２オブジェクト情報６１１（商品名）とが表示されている。

その後、ユーザが雑誌６２からビール缶６１に視線を移すことで視野が変わり、ビール缶６１が注目領域５１と重なり、雑誌６２および皿６３が周辺領域と重なったものとする。雑誌６２が注目領域５１から外れた時間が閾値Ｔ（秒）未満である場合には、オブジェクト特定部１３は注目領域５１と重なるビール缶６１を第１オブジェクトとして特定するとともに、周辺領域と重なる雑誌６２を引き続き第１オブジェクトとして特定する。この特定に応じて、ビール缶６１の第１オブジェクト情報６１２（商品名、メーカ名、および価格）が表示されると共に、雑誌６２の第１オブジェクト情報６２１（商品名、メーカ名、および価格）が引き続き表示される。第１オブジェクト情報を構成するデータ項目はオブジェクトとユーザとの距離に応じて設定される。

その後、雑誌６２が注目領域５１から外れた時間が閾値Ｔ（秒）以上になると、オブジェクト特定部１３は、周辺領域と重なる雑誌６２を第２オブジェクトとして特定する。この特定に応じて、雑誌６２の第２オブジェクト情報６２２（商品名）が表示される。すなわち、雑誌６２が注目領域５１から周辺領域に移ってからＴ秒経過すると、雑誌６２のオブジェクト情報が第１オブジェクト情報６２１から第２オブジェクト情報６２２に変わる。

ＨＭＤ１０は、第１オブジェクトとして特定されたオブジェクトが注目領域と重なり続ける間は、第１オブジェクト情報の要求を繰り返し行うことなく、第１オブジェクト情報の受信および表示を継続してもよい。すなわち、第１オブジェクト情報の要求は、注目領域外に位置していたオブジェクトが注目領域と重なった時点で一度だけ実行されてもよい。同様に、ＨＭＤ１０は、第２オブジェクトとして特定されたオブジェクトが周辺領域と重なり続ける間は、第２オブジェクト情報の要求を繰り返し行うことなく、第２オブジェクト情報の受信および表示を継続してもよい。すなわち、第２オブジェクト情報の要求は、周辺領域外に位置していたオブジェクトが周辺領域と重なった時点で一度だけ実行されてもよい。図１４を参照しながら、一つのオブジェクトＡに着目して、要求は一回であるが受信および表示を継続する処理の例を詳細に説明する。

図９に示す処理と異なるのは、オブジェクト情報を要求するか否かを判定する処理の追加であり、図１４ではこの処理をステップＳ１３３Ａ，Ｓ１３６Ａで示す。また、図１４では、図９におけるステップＳ１３７を、ステップＳ１３７Ａ，１３７Ｂに分けて示す。

ステップＳ１３２，Ｓ１３３において、オブジェクト特定部１３がオブジェクトＡを第１オブジェクトとして特定して、ユーザからオブジェクトＡまでの距離を推定したとする。この場合、ステップＳ１３３Ａにおいて、要求部１４が第１オブジェクト情報をサーバ２０に要求するか否かを判定する。

オブジェクトＡが注目領域と重なった後に未だ要求信号を送信していない場合には、要求部１４は第１オブジェクト情報を要求すると判定する（ステップＳ１３３ＡにおいてＹＥＳ）。要求部１４は、要求信号を既に送信した場合でも、ユーザからオブジェクトＡまでの距離の変化が閾値Ｔｘ以上であれば、オブジェクト情報を要求すると判定してもよい（ステップＳ１３３ＡにおいてＹＥＳ）。ステップＳ１３７Ａにおいて、要求部１４は要求信号を生成および送信することで、オブジェクトＡの第１オブジェクト情報をサーバ２０に要求する。この場合、ステップＳ１３８，Ｓ１３９の処理が実行される。

一方、オブジェクトＡが注目領域と重なった後に既に要求信号を送信した場合には、要求部１４はオブジェクト情報を要求しないと判定し（ステップＳ１３３ＡにおいてＮＯ）、ステップＳ１３７Ａの処理を省略する。要求部１４は、既に要求信号を送信しており、かつユーザからオブジェクトＡまでの距離が閾値Ｔｘ未満の場合に、オブジェクト情報を要求しないと判定して（ステップＳ１３３ＡにおいてＮＯ）、ステップＳ１３７Ａの処理を省略してもよい。ステップＳ１３７Ａが省略された場合に、受信部１５が第１オブジェクト情報の受信を継続している可能性がある（ステップＳ１３８）。ステップＳ１３９の処理は図９に示す処理と同じである。

ステップＳ１３６においてオブジェクト特定部１３がオブジェクトＡを第２オブジェクトとして特定したとする。この場合、ステップＳ１３６Ａにおいて、要求部１４が第２オブジェクト情報をサーバ２０に要求するか否かを判定する。

オブジェクトＡが周辺領域と重なった後に未だ要求信号を送信していない場合には、要求部１４は第２オブジェクト情報を要求すると判定する（ステップＳ１３６ＡにおいてＹＥＳ）。ステップＳ１３７Ｂにおいて、要求部１４は要求信号を生成および送信することで、オブジェクトＡの第２オブジェクト情報をサーバ２０に要求する。この場合、ステップＳ１３８，Ｓ１３９の処理が実行される。

一方、オブジェクトＡが周辺領域と重なった後に既に要求信号を送信した場合には、要求部１４はオブジェクト情報を要求しないと判定し（ステップＳ１３６ＡにおいてＮＯ）、ステップＳ１３７Ｂの処理を省略する。ステップＳ１３７Ｂが省略された場合に、受信部１５が第２オブジェクト情報の受信を継続している可能性がある（ステップＳ１３８）。ステップＳ１３９の処理は図９に示す処理と同じである。

ＨＭＤ１０は、第１オブジェクトとして特定されたオブジェクトが注目領域から外れた後も所定の時間内に限って第１オブジェクト情報を取得し続ける場合に、要求信号を再び生成および送信することなくその第１オブジェクト情報を受信および表示し続けてもよい。すなわち、図１４に示す処理は、図１２に示す処理と組み合わされてもよい。

［プログラム］
図１５を参照しながら、コンピュータシステムをＡＲシステム１として機能させるための拡張現実（ＡＲ）プログラムＰを説明する。図１４はＡＲプログラムＰの構成を示す図である。ＡＲプログラムＰは、コンピュータをＨＭＤ１０として機能させるクライアントプログラムＰ１と、コンピュータをサーバ２０として機能させるサーバプログラムＰ２とを含む。本実施形態では、本発明に係る情報処理プログラムをクライアントプログラムＰ１に適用する。

クライアントプログラムＰ１はメインモジュールＰ１０、視野設定モジュールＰ１１、視野検出モジュールＰ１２、オブジェクト特定モジュールＰ１３、要求モジュールＰ１４、受信モジュールＰ１５、および表示制御モジュールＰ１６を含む。メインモジュールＰ１０は、ＨＭＤ１０の機能を統括的に管理する部分である。視野設定モジュールＰ１１、視野検出モジュールＰ１２、オブジェクト特定モジュールＰ１３、要求モジュールＰ１４、受信モジュールＰ１５、および表示制御モジュールＰ１６を実行することで、視野設定部１１、視野検出部１２、オブジェクト特定部１３、要求部１４、受信部１５、および表示制御部１６が実現する。

サーバプログラムＰ２はメインモジュールＰ２０、ユーザ検索モジュールＰ２１、受信モジュールＰ２２、オブジェクト検索モジュールＰ２３、および送信モジュールＰ２４を含む。メインモジュールＰ１０は、サーバ２０の機能を統括的に管理する部分である。ユーザ検索モジュールＰ２１、受信モジュールＰ２２、オブジェクト検索モジュールＰ２３、および送信モジュールＰ２４を実行することで、ユーザ検索部２１、受信部２２、オブジェクト検索部２３、および送信部２４が実現する。

クライアントプログラムＰ１およびサーバプログラムＰ２はそれぞれ、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、クライアントプログラムＰ１およびサーバプログラムＰ２はそれぞれ、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。クライアントプログラムＰ１およびサーバプログラムＰ２は一緒に提供されてもよいし、別々に提供されてもよい。

［効果］
以上説明したように、本発明の一側面に係る情報処理装置は、ユーザの視覚に対応する注目領域を検出する検出部と、ユーザが存在する空間内にある１以上のオブジェクトの中から、注目領域と重なる第１オブジェクトを特定する特定部と、第１オブジェクトが注目領域と重なる第１時間帯において、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求する要求部と、第１時間帯において、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信する受信部とを備える。

このような側面においては、オブジェクトが注目領域と重なる第１時間帯においてそのオブジェクトに関連する第１オブジェクト情報の要求および受信が実行される。この第１時間帯ではユーザはそのオブジェクトに注目していると推定されるので、通信ネットワークを介して提供される第１オブジェクトの情報はユーザにとって有用であり無駄にはならない。このように、ユーザがオブジェクトを注目していると推定される時間帯に情報を要求および受信することで、情報処理装置のデータ通信を効率良く実行することができる。当然ながら、これは通信ネットワークに掛かる負荷を低減できることを意味する。

他の側面に係る情報処理装置では、要求部が、第１時間帯において第１オブジェクト情報を他のコンピュータに繰り返し要求してもよい。ユーザがオブジェクトを注目していると推定される時間帯に情報を繰り返し要求および受信することで、情報処理装置のデータ通信を効率良く実行することができる。

他の側面に係る情報処理装置では、受信部が、第１時間帯において第１オブジェクト情報を継続して受信してもよい。ユーザがオブジェクトを注目していると推定される時間帯に情報を受信し続けることで、情報処理装置のデータ通信を効率良く実行することができる。

他の側面に係る情報処理装置では、特定部が、第１オブジェクトとユーザとの距離を推定し、要求部が、距離に応じたデータ項目を含む第１オブジェクト情報を要求し、受信部が、距離に応じたデータ項目を含む第１オブジェクト情報を受信してもよい。オブジェクトとユーザとの距離が近いほどユーザがそのオブジェクトに興味を持っていると推定することができる。したがって、第１オブジェクト情報の内容をその距離に応じて設定することで、無駄なデータ通信を避けて、ユーザが欲する情報を提供することができる。

他の側面に係る情報処理装置では、要求部が、第１時間帯に限って第１オブジェクト情報を要求し、受信部が、第１時間帯に限って第１オブジェクト情報を受信してもよい。ユーザがオブジェクトに注目していると推定される時間帯に限定して第１オブジェクト情報を提供することで、無駄なデータ通信を確実に回避することができる。

他の側面に係る情報処理装置では、要求部が、第１オブジェクトが注目領域から外れてから所定時間が経過するまでの第２時間帯においても、第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、受信部が、第２時間帯においても、要求に応じて他のコンピュータから送信されてきた第１オブジェクト情報を受信してもよい。ユーザの視線が短時間の間に元に戻ることを考慮して、第１オブジェクトが注目領域から外れた場合でもその短時間の間は第１オブジェクト情報を取得することで、表示される情報が何度も切り替わることを避けて同じ情報を表示し続けることができる。

他の側面に係る情報処理装置では、要求部が、第１時間帯および第２時間帯に限って第１オブジェクト情報を要求し、受信部が、第１時間帯および第２時間帯に限って第１オブジェクト情報を受信してもよい。ユーザがオブジェクトに注目していると推定される時間帯と、ユーザの視線が元に戻ると推定される時間帯とに限定して第１オブジェクト情報を提供することで、無駄なデータ通信を確実に回避することができる。

他の側面に係る情報処理装置では、検出部が、注目領域の外側の周辺領域をさらに検出し、特定部が、１以上のオブジェクトの中から、周辺領域と重なる第２オブジェクトを特定し、要求部が、第２オブジェクトが周辺領域と重なる第３時間帯において、第２オブジェクトに関連する第２オブジェクト情報を他のコンピュータに要求し、受信部が、第３時間帯において、要求に応じて他のコンピュータから送信されてきた第２オブジェクト情報を受信してもよい。ユーザは視野の周辺領域に位置するオブジェクトにも着目する可能性があるので、通信ネットワークを介して提供される第２オブジェクトの情報もユーザにとって有用であり得る。したがって、周辺領域に位置する第２オブジェクトの情報を提供することで、データ通信の無駄を避けつつ、必要と推定される情報をユーザに提供することができる。

他の側面に係る情報処理装置では、要求部が、第３時間帯において第２オブジェクト情報を他のコンピュータに繰り返し要求してもよい。第２オブジェクトの情報を繰り返し要求することで、データ通信の無駄を避けつつ、必要と推定される情報をユーザに繰り返し提供できる。

他の側面に係る情報処理装置では、第２オブジェクト情報のデータ項目数が第１オブジェクト情報のデータ項目数よりも少なくてもよい。一般に、ユーザは周辺領域内のオブジェクトよりも注目領域内のオブジェクトを明確に認識して強い興味を持つ。したがって、周辺領域内のオブジェクトに関する第２オブジェクトのデータ項目の個数を第１オブジェクト情報よりも少なくすることで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。

他の側面に係る情報処理装置では、特定部が、周辺領域と重なる１以上のオブジェクトのうちユーザとの距離が閾値未満であるオブジェクトを第２オブジェクトとして特定してもよい。一般に人間は、周辺領域と重なる第２オブジェクトについては、自身との距離が近いものほどより強い興味を持つ。したがって、ユーザとの距離が近い第２オブジェクトに限って第２オブジェクト情報を取得することで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。

他の側面に係る情報処理装置では、特定部が、周辺領域と重なる１以上のオブジェクトのうち背景領域とのコントラストが閾値以上であるオブジェクトを第２オブジェクトとして特定してもよい。一般に人間は、周辺領域と重なる第２オブジェクトについては、コントラストが高いものほど容易に識別する。したがって、コントラストが高い第２オブジェクトに限って第２オブジェクト情報を取得することで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。

他の側面に係る情報処理装置では、特定部が、周辺領域と重なる１以上のオブジェクトのうち動いているオブジェクトを第２オブジェクトとして特定してもよい。一般に人間は、周辺領域と重なる第２オブジェクトについては、動いているものを容易に識別する。したがって、動いている第２オブジェクトに限って第２オブジェクト情報を取得することで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。

他の側面に係る情報処理装置では、特定部が、周辺領域と重なる１以上のオブジェクトのうち第１オブジェクトと同じ属性を有するオブジェクトを第２オブジェクトとして特定してもよい。ユーザは、周辺領域と重なる第２オブジェクトについては、現在注目している第１オブジェクトと同じ属性を持つものに注目する蓋然性が高い。したがって、第１オブジェクトと同じ属性を持つ第２オブジェクトに限って第２オブジェクト情報を取得することで、第２オブジェクト情報のデータ量を抑制して、通信ネットワークに掛かる負荷を低減することができる。

他の側面に係る情報処理装置では、ユーザの属性に基づいて注目領域を設定する設定部をさらに備えてもよい。個々のユーザ毎に注目領域を設定することで、それぞれのユーザにとって必要な量の第１オブジェクト情報が要求および受信される。したがって、情報処理装置のデータ通信を効率良く実行することができる。

他の側面に係る情報処理装置では、設定部がユーザの移動速度に基づいて注目領域を設定してもよい。人間の視野は移動速度が早いと狭まる傾向があり、人間がオブジェクトを明確に認識できる中心視および有効視野も狭まる。したがって、ユーザの移動速度に基づいて注目領域を設定することで、ユーザにとって必要な量の第１オブジェクト情報が要求および受信される。したがって、情報処理装置のデータ通信を効率良く実行することができる。

他の側面に係る情報処理装置では、第１時間帯において第１オブジェクト情報をディスプレイ上に表示する表示制御部をさらに備えてもよい。

他の側面に係る情報処理装置では、ディスプレイがヘッドマウントディスプレイであってもよい。

このような側面においては、第１時間帯ではユーザはオブジェクトに注目していると推定される第１時間帯において、ヘッドマウントディスプレイなどのディスプレイを介してユーザに第１オブジェクト情報を見せることができる。ユーザがオブジェクトを注目していると推定される時間帯に情報を表示することで、ディスプレイを効率良く制御することができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

受信部は、レジュームダウンロード機能（ｒｅｓｕｍｅｄｏｗｎｌｏａｄｆｅａｔｕｒｅ）を用いて第１オブジェクト情報または第２オブジェクト情報を受信してもよい。レジュームダウンロード機能は、ダウンロードが一時的に中止された場合でも、その中止された部分から再びダウンロードを開始する機能である。

上記実施形態ではＨＭＤ１０が第１オブジェクト情報または第２オブジェクト情報をディスプレイ１０５上に表示するが、要求および受信したオブジェクト情報の用途は表示に限定されない。例えば、情報処理装置は要求および受信した第１オブジェクト情報または第２オブジェクト情報をメモリに格納してもよいし、他の情報処理装置に送信してもよい。

上記実施形態ではＨＭＤ１０が注目領域および周辺領域の双方を検出するが、周辺領域の検出は情報処理装置の必須の処理ではない。したがって、情報処理装置は第２オブジェクトに関する処理を実行しなくてもよい。

上記実施形態ではＨＭＤ１０を例示したが、情報処理装置の構成は限定されない。例えば、情報処理装置は、ＨＭＤなどのウェアラブル端末と、高機能携帯電話機（スマートフォン）などの他の端末との組合せであってもよい。

少なくとも一つのプロセッサにより実行される情報処理方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップ（処理）の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

本発明に係る情報処理装置を含むコンピュータシステム内で二つの数値の大小関係を比較する際には、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」の二つの基準のうちのどちらを用いてもよい。このような基準の選択は、二つの数値の大小関係を比較する処理についての技術的意義を変更するものではない。

１…拡張現実システム、１０…ヘッドマウントディスプレイ（情報処理装置）、１１…視野設定部、１２…視野検出部、１３…オブジェクト特定部、１４…要求部、１５…受信部、１６…表示制御部、２０…サーバ、２１…ユーザ検索部、２２…受信部、２３…オブジェクト検索部、２４…送信部、３０…データベース群、３１…ユーザデータベース、３２…オブジェクトデータベース、Ｐ…拡張現実プログラム（情報処理プログラム）、Ｐ１…クライアントプログラム、Ｐ１０…メインモジュール、Ｐ１１…視野設定モジュール、Ｐ１２…視野検出モジュール、Ｐ１３…オブジェクト特定モジュール、Ｐ１４…要求モジュール、Ｐ１５…受信モジュール、Ｐ１６…表示制御モジュール、Ｐ２…サーバプログラム、Ｐ２０…メインモジュール、Ｐ２１…ユーザ検索モジュール、Ｐ２２…受信モジュール、Ｐ２３…オブジェクト検索モジュール、Ｐ２４…送信モジュール。

Claims

ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出部と、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定部と、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求部と、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信部と
を備え、
前記特定部が、前記周辺領域と重なる１以上の前記オブジェクトのうち前記ユーザとの距離が閾値未満である前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理装置。
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出部と、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定部と、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求部と、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信部と
を備え、
前記特定部が、前記周辺領域と重なる１以上の前記オブジェクトのうち背景領域とのコントラストが閾値以上である前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理装置。
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出部と、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定部と、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求部と、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信部と
を備え、
前記特定部が、前記周辺領域と重なる１以上の前記オブジェクトのうち動いている前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理装置。
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出部と、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定部と、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求部と、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信部と
を備え、
前記特定部が、前記周辺領域と重なる１以上の前記オブジェクトのうち前記第１オブジェクトと同じ属性を有する前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理装置。
前記要求部が、前記第１時間帯において前記第１オブジェクト情報を前記他のコンピュータに繰り返し要求する、
請求項１〜４のいずれか一項に記載の情報処理装置。
前記受信部が、前記第１時間帯において前記第１オブジェクト情報を継続して受信する、
請求項１〜５のいずれか一項に記載の情報処理装置。
前記特定部が、前記第１オブジェクトと前記ユーザとの距離を推定し、
前記要求部が、前記距離に応じたデータ項目を含む前記第１オブジェクト情報を要求し、
前記受信部が、前記距離に応じた前記データ項目を含む前記第１オブジェクト情報を受信する、
請求項１〜６のいずれか一項に記載の情報処理装置。
前記要求部が、前記第３時間帯において前記第２オブジェクト情報を前記他のコンピュータに繰り返し要求する、
請求項１〜７のいずれか一項に記載の情報処理装置。
前記第２オブジェクト情報のデータ項目数が前記第１オブジェクト情報のデータ項目数よりも少ない、
請求項１〜８のいずれか一項に記載の情報処理装置。
前記ユーザの属性に基づいて前記注目領域を設定する設定部
をさらに備える請求項１〜９のいずれか一項に記載の情報処理装置。
前記設定部が前記ユーザの移動速度に基づいて前記注目領域を設定する、
請求項１０に記載の情報処理装置。
前記第１時間帯において前記第１オブジェクト情報をディスプレイ上に表示する表示制御部をさらに備える、
請求項１〜１１のいずれか一項に記載の情報処理装置。
前記ディスプレイがヘッドマウントディスプレイである、
請求項１２に記載の情報処理装置。
プロセッサを備える情報処理装置により実行される情報処理方法であって、
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出ステップと、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定ステップと、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求ステップと、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信ステップと
を含み、
前記特定ステップでは、前記周辺領域と重なる１以上の前記オブジェクトのうち前記ユーザとの距離が閾値未満である前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理方法。
プロセッサを備える情報処理装置により実行される情報処理方法であって、
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出ステップと、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定ステップと、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求ステップと、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信ステップと
を含み、
前記特定ステップでは、前記周辺領域と重なる１以上の前記オブジェクトのうち背景領域とのコントラストが閾値以上である前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理方法。
プロセッサを備える情報処理装置により実行される情報処理方法であって、
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出ステップと、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定ステップと、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求ステップと、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信ステップと
を含み、
前記特定ステップでは、前記周辺領域と重なる１以上の前記オブジェクトのうち動いている前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理方法。
プロセッサを備える情報処理装置により実行される情報処理方法であって、
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出ステップと、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定ステップと、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求ステップと、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信ステップと
を含み、
前記特定ステップでは、前記周辺領域と重なる１以上の前記オブジェクトのうち前記第１オブジェクトと同じ属性を有する前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理方法。
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出ステップと、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定ステップと、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求ステップと、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信ステップと
をコンピュータに実行させ、
前記特定ステップでは、前記周辺領域と重なる１以上の前記オブジェクトのうち前記ユーザとの距離が閾値未満である前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理プログラム。
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出ステップと、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定ステップと、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求ステップと、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信ステップと
をコンピュータに実行させ、
前記特定ステップでは、前記周辺領域と重なる１以上の前記オブジェクトのうち背景領域とのコントラストが閾値以上である前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理プログラム。
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出ステップと、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定ステップと、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求ステップと、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信ステップと
をコンピュータに実行させ、
前記特定ステップでは、前記周辺領域と重なる１以上の前記オブジェクトのうち動いている前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理プログラム。
ユーザの視覚に対応する注目領域と、前記注目領域の外側の周辺領域とを検出する検出ステップと、
前記ユーザが存在する空間内にある１以上のオブジェクトの中から、前記注目領域と重なる第１オブジェクトと、前記周辺領域と重なる第２オブジェクトとを特定する特定ステップと、
前記第１オブジェクトが前記注目領域と重なる第１時間帯において、前記第１オブジェクトに関連する第１オブジェクト情報を他のコンピュータに要求し、前記第２オブジェクトが前記周辺領域と重なる第３時間帯において、前記第２オブジェクトに関連する第２オブジェクト情報を前記他のコンピュータに要求する要求ステップと、
前記第１時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第１オブジェクト情報を受信し、前記第３時間帯において、前記要求に応じて前記他のコンピュータから送信されてきた前記第２オブジェクト情報を受信する受信ステップと
をコンピュータに実行させ、
前記特定ステップでは、前記周辺領域と重なる１以上の前記オブジェクトのうち前記第１オブジェクトと同じ属性を有する前記オブジェクトを前記第２オブジェクトとして特定する、
情報処理プログラム。