JP2024068987A - 表示制御装置及びプログラム - Google Patents

Abstract

【課題】複数のレイヤにそれぞれ属する仮想オブジェクトを重畳して表示する場合の表示の遅延を抑制する。【解決手段】サーバ装置２０は、ＡＲを実現するためのデータをネットワーク２経由でヘッドマウントディスプレイ１０に配信する。このデータは、ヘッドマウントディスプレイ１０において仮想オブジェクトを表示するためのポリゴンデータを含んでいる。ヘッドマウントディスプレイ１０は、サーバ装置２０から配信されるデータを用いて仮想オブジェクトを表示する。ヘッドマウントディスプレイ１０は、各々のレイヤについて取得されたデータに応じた仮想オブジェクトを表示面に表示するときに、表示を行うための処理の負荷が許容値を超えるときは、少なくとも各々のレイヤについての表示の優先度を用いて、当該負荷が当該許容値以下となるような表示を行う。【選択図】図１

Description

本発明は、仮想オブジェクトを表示するための技術に関する。

ＸＲ（クロスリアリティ）とは、現実世界と仮想世界を融合することで現実にはないものを知覚できるようにする技術の総称であり、ＶＲ（仮想現実）、ＡＲ（拡張現実）、ＭＲ（複合現実）といった技術を含む。ＸＲの実現において、例えばヘッドマウントディスプレイ（ＨＭＤ）等の表示端末は、様々な仮想オブジェクトを表示するために、仮想的な３次元空間における３次元座標を有するポリゴンデータを取得して描画する。このようなポリゴンデータの取得から描画までの処理の負荷は比較的大きいため、その表示に遅延が発生する可能性がある。例えば特許文献１には、ＨＭＤにおいてユーザが注目している箇所をそれ以外の箇所よりも高解像度で表示することで、スムーズな表示を実現している。

特開２０１９－１９７２２４号公報

ところで、画像処理の分野では、レイヤと呼ばれる階層に属する画像を重畳して表示するという技術が知られている。そこで、本発明は、複数のレイヤにそれぞれ属する仮想オブジェクトを重畳して表示する場合の表示の遅延を抑制することを目的とする。

上記課題を解決するため、本発明は、各レイヤに属する１以上の仮想オブジェクトを表示するためのデータを、複数のレイヤについて取得する取得部と、各々の前記レイヤについて取得された前記データに応じた前記仮想オブジェクトを表示面に表示する表示制御部であって、前記表示を行うための処理の負荷が許容値を超えるときは、少なくとも各々の前記レイヤについての表示の優先度を用いて、当該負荷が当該許容値以下となるような表示を行う表示制御部とを備えることを特徴とする表示制御装置を提供する。

本発明によれば、複数のレイヤにそれぞれ属する仮想オブジェクトを重畳して表示する場合の表示の遅延を抑制することが可能となる。

本発明の一実施形態に係る仮想オブジェクト表示システム１の構成を例示する図である。 同実施形態に係るヘッドマウントディスプレイ１０のハードウェア構成の一例を示すブロック図である。 同実施形態に係るサーバ装置２０のハードウェア構成の一例を示すブロック図である。 ヘッドマウントディスプレイ１０の機能構成の一例を示すブロック図である。 ヘッドマウントディスプレイ１０のソフトウェア構成の一例を示す図である。 同実施形態に係るレイヤデータの構成を例示する図である。 同実施形態においてレイヤ属性と優先度との対応関係を例示する図である。 ヘッドマウントディスプレイ１０の動作の一例を示すフローチャートである。 同実施形態において現実の３次元空間を例示する図である。 同実施形態において或るレイヤに属する仮想オブジェクトを例示する図である。 同実施形態において別のレイヤに属する仮想オブジェクトを例示する図である。 同実施形態において現実の３次元空間に仮想オブジェクトが重畳されて表示されている様子を例示する図である。

［構成］
図１は、本発明の一実施形態に係る仮想オブジェクト表示システム１の一例を示す図である。仮想オブジェクト表示システム１は、複数のユーザがそれぞれ利用する複数のヘッドマウントディスプレイ１０と、これらヘッドマウントディスプレイ１０に対して、ＸＲを実現するためのデータを提供するサーバ装置２０とを備えている。ヘッドマウントディスプレイ１０とサーバ装置２０はネットワーク２により通信可能に接続される。ネットワーク２は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。

ヘッドマウントディスプレイ１０は、本発明に係る表示制御装置として機能する。本実施形態ではＸＲの一例として、ＡＲ（拡張現実）を実現する場合を説明するが、これに限らず、ＶＲやＭＲ等のＸＲ全般において実現可能である。サーバ装置２０は、ＡＲを実現するためのデータをネットワーク２経由でヘッドマウントディスプレイ１０に配信する。このデータは、ヘッドマウントディスプレイ１０において仮想オブジェクトを表示するためのポリゴンデータを含んでいる。ヘッドマウントディスプレイ１０は、サーバ装置２０から配信されるデータを用いて、現実の３次元空間に対して仮想オブジェクトを重畳させて表示する。

本実施形態では、ユーザの頭部に装着されるタイプのユーザ端末としてヘッドマウントディスプレイ１０を例示している。ただし、ユーザ端末は、本実施形態の例に限らず、例えば眼鏡型やコンタクトレンズ型などのウェアラブルコンピュータであってもよいし、スマートホンやタブレットなどのコンピュータであってもよい。

図２は、ヘッドマウントディスプレイ１０のハードウェア構成を例示する図である。ヘッドマウントディスプレイ１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、表示装置１００７、撮像装置１００８及びこれらを接続するバスなどを含むコンピュータとして構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ヘッドマウントディスプレイ１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

ヘッドマウントディスプレイ１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信、表示装置１００７による表示及び撮像装置１００８による撮像を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。また、例えばベースバンド信号処理部や呼処理部などがプロセッサ１００１によって実現されてもよい。

プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。ヘッドマウントディスプレイ１０の機能ブロックは、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。各種の処理は、１つのプロセッサ１００１によって実行されてもよいが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、ネットワーク２経由でヘッドマウントディスプレイ１０に送信されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。

通信装置１００４は、ネットワーク２を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置１００４によって実現されてもよい。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。なお、ヘッドマウントディスプレイ１０が直接ネットワーク２に接続して通信を行うのではなく、例えばスマートホン等の通信機能を有するデバイスを介してネットワーク２に接続して通信を行うものであってもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キー、マイクロホン、スイッチ、ボタン、各種センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えばスピーカ、LEDランプなど）である。表示装置１００７は、例えば液晶素子や液晶駆動回路等を含む表示デバイスである。撮像装置１００８は、撮像素子を含む撮像デバイスである。

プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、ヘッドマウントディスプレイ１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

図３は、サーバ装置２０のハードウェア構成を示す図である。サーバ装置２０は、物理的には、プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４、及びこれらを接続するバスなどを含むコンピュータとして構成されている。これらの各装置は図示せぬ電源から供給される電力によって動作する。サーバ装置２０のハードウェア構成は、図３に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。また、それぞれ筐体が異なる複数の装置が通信接続されて、サーバ装置２０を構成してもよい。

サーバ装置２０における各機能は、プロセッサ２００１、メモリ２００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ２００１が演算を行い、通信装置２００４による通信を制御したり、メモリ２００２及びストレージ２００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４、及びこれらを接続するバスは、ヘッドマウントディスプレイ１０について説明したプロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、及びこれらを接続するバスと、ハードウェアとしては同様であるため、その説明を省略する。

図４は、ヘッドマウントディスプレイ１０の機能構成の一例を示すブロック図である。図４に示すように、ヘッドマウントディスプレイ１０においては、取得部１１と、記憶部１２と、負荷算出部１３と、表示制御部１４といった機能が実現される。

取得部２１は、各種のデータを取得する。例えば取得部１１は、サーバ装置２０から、各レイヤに属する１以上の仮想オブジェクトを表示するためのデータを、複数のレイヤについて取得する。記憶部１２は、取得部１１により取得されたデータを記憶する。表示制御部１４は、各々のレイヤについて取得されたデータに応じた仮想オブジェクトを表示装置１００７の表示面に表示する。

負荷算出部１３は、表示制御部１４が上記データに応じた表示を行うための処理の負荷を算出する。具体的な算出方法の一例は、次のとおりである。各レイヤデータには、そのレイヤデータに属する各仮想オブジェクトについて、その表示を行うための処理の負荷に影響するパラメータがメタデータとして記述されている。このパラメータとは、例えば各仮想オブジェクトのポリゴン数やテクスチャ解像度であり、これらの値が大きいほどその表示を行うための処理の負荷も大きい。負荷算出部１３は、各レイヤに属する仮想オブジェクトを表示する処理の開始又は終了のタイミングで、各レイヤについての上記メタデータを用いて、表示を行うための処理の負荷を所定の計算式に従い算出する。また、処理の負荷を算出する別の方法としては、負荷算出部１３が、表示制御部１４による表示に関する処理の負荷を常時計測するという方法も考えられる。

表示制御部１４は、負荷算出部１３により算出された負荷が許容値を超えるときは、各々のレイヤ及び仮想オブジェクトについての表示の優先度を用いて、各仮想オブジェクトについて、その負荷がその許容値以下となるような表示を行う。具体的には、優先度が低い仮想オブジェクトに関しては、例えばカリングと呼ばれる表示高速化処理を行う。カリングとは、ポリゴンデータに基づいて描画するポリゴンの数を減少させる処理のことであり、これにより、各ポリゴンを表示しないか、又は、各ポリゴンを表示するためのデータを削減して表示することが可能となる。

ここで、図５は、ヘッドマウントディスプレイ１０のソフトウェア構成の一例を示すブロック図である。図５において、レイヤデータＬ１，Ｌ２，Ｌ３…（以下、レイヤデータＬという）は、各レイヤに対応するデータである。各レイヤデータＬは、図６に例示するように、レイヤ単位で独立して仮想オブジェクトを表現するポリゴンを描画するためのスクリプトとしての、ポリゴンデータＰＤ１，ＰＤ２…を含んでいる。このポリゴンデータＰＤ１，ＰＤ２…は、線で構成した多角形の集合によって各仮想オブジェクトの形状を規定するデータである。各々の仮想オブジェクトに対応するポリゴンデータには、３次元空間におけるその仮想オブジェクトの位置を示す３次元座標が記述されている。

各々のレイヤデータＬは、それぞれ異なる主体によって作成されたものである。一例を挙げると、レイヤデータＬ１は、ユーザに対してゲームを提供するために第１の事業者により作成されたプログラムであり、レイヤデータＬ２は、ユーザに対して各種ニュースを提供するために第２の事業者により作成されたプログラムであり、レイヤデータＬ３は、ユーザに対してルート案内を提供するために第３の事業者により作成されたプログラムである。ユーザは、これらの主体から購入や譲渡等により、自らが望むレイヤデータを入手することができる。なお、レイヤデータは複数であればよく、その数は図５に例示した３つに限定されない。また、１つのレイヤデータに含まれるオブジェクトデータは１以上であればよく、その数は図６に例示した２つに限定されない。

図５において、レイヤデーモンＬＤは、各々のレイヤデータを統合的に管理するプログラムによって実現されるバックグラウンドプロセスである。レイヤデーモンＬＤは、前述したレイヤデータの作成者とは異なる主体によって管理されている。レイヤデーモンＬＤは、ソフトウェア階層において各レイヤデータＬよりも上位に位置している。各レイヤデータＬに基づく表示は、レイヤデーモンＬＤの機能により制約される。図４で説明した負荷算出部１３及び表示制御部１４は、主にこのレイヤデーモンＬＤによって実現される。

前述したように、表示制御部１４は、各々のレイヤ及び各々の仮想オブジェクトについての優先度を用いて、負荷が許容値以下となるような表示を行うための対象となる仮想オブジェクトを特定し、特定した仮想オブジェクトを表示しないか、又は、その仮想オブジェクトを表示するためのデータを削減して表示する。表示制御部１４は、レイヤについての優先度と、仮想オブジェクトについての優先度とを、次のようにして特定する。

レイヤの優先度は、レイヤ単位で予め付与された優先度である。具体的には、各レイヤデータには、そのレイヤによってユーザに提供されるサービスの属性がメタデータとして記述されている。例えばレイヤデータがユーザに対してゲームを提供するものであれば、その属性として「娯楽」がメタデータとして記述されており、レイヤデータがユーザに対してニュースを提供するものであれば、その属性として「情報提供」がメタデータとして記述されており、レイヤデータがユーザに対してルート案内を提供するものであれば、その属性として「情報提供」がメタデータとして記述されているといった具合である。この他にも、例えば「広告」とか「危険通知」といった各種の属性が考えられる。

記憶部１２には、図７に例示するように、レイヤによってユーザに提供されるサービスの属性（レイヤ属性）と、そのレイヤの優先度との関係が予め記憶されている。図７の例では、レイヤ属性が「娯楽」の場合は優先度「２」、レイヤ属性が「情報提供」の場合は優先度「１」、レイヤ属性が「広告」の場合は優先度「４」、レイヤ属性が「危険通知」の場合は優先度「５」である。ここでは、優先度の値が大きいほど、優先する度合いが高いものとする。よって、優先度が高い順に、「危険通知」、「広告」、「娯楽」、「情報提供」となる。このようなレイヤ属性と優先度との関係は、レイヤデーモンの管理者と各レイヤデータの作成者との合意に基づいて予め決められているが、これに限らず、ヘッドマウントディスプレイ１０のユーザが任意に設定できるようにしてもよい。また、レイヤ属性と優先度との関係は随時更新が可能とし、その更新結果がサーバ装置２０からヘッドマウントディスプレイ１０に通知されて記憶部１２に記憶されるようにしてもよい。

仮想オブジェクトの優先度は、仮想オブジェクトの表示によって表現される空間において、ユーザの視点の位置と各々の仮想オブジェクトの位置との間の距離に応じた優先度である。具体的には、ユーザの視点の位置と仮想オブジェクトの位置との間の距離が小さいほど、その仮想オブジェクトについての優先度が大きい。前述したように、各々の仮想オブジェクトに対応するポリゴンデータには、３次元空間におけるその仮想オブジェクトの位置を示す３次元座標が記述されている。ユーザの視点の位置を例えば上記空間の原点とした場合、ユーザの視点の位置と仮想オブジェクトの位置との間の距離は所定の計算式により求められるから、表示制御部１４は、その距離に応じた優先度を特定する。具体的には、ユーザの視点の位置と仮想オブジェクトの位置との間の距離が小さいほど、その仮想オブジェクトについての優先度が大きいものとする。

表示制御部１４は、上記のようにして各レイヤ及び各仮想オブジェクトについて特定した優先度に基づいて、各々の仮想オブジェクトについて、以下の式を用いることで、最終的な優先度Ｐを算出する。

仮想オブジェクトの最終的な優先度Ｐ＝ａ×その仮想オブジェクトが属するレイヤについて特定した優先度＋ｂ×その仮想オブジェクトについて特定した優先度＋ｃ
ここで、ａ，ｂ，ｃは予め決められた係数乃至定数である。仮想オブジェクトの最終的な優先度Ｐの値が大きいほど、その仮想オブジェクトの優先度は高いことになる。

表示制御部１４は、このようにして算出した仮想オブジェクトの最終的な優先度Ｐが小さいものから順番にカリングの対象とすることで、表示に関する負荷が許容値以下となるようにする。

［動作］
図８～１２を参照して、本実施形態の動作説明を行う。図８において、ＡＲ表示が開始されると、取得部２１は、各レイヤに属する仮想オブジェクトを表示するためのデータをサーバ装置２０から取得する（ステップＳ１１）。記憶部１２は、取得部１１により取得されたデータを記憶する。

次に、負荷算出部１３は、表示制御部１４が上記データに応じた表示を行うための処理の負荷を算出する（ステップＳ１２）。

次に、表示制御部１４は、算出された負荷と、記憶部１２に予め記憶されている許容値とを比較し、負荷が許容値を超えるか否かを判断する（ステップＳ１３）。負荷が許容値以下であれば（ステップＳ１３；ＮＯ）、表示制御部１４は、各々のレイヤについて取得されたデータに応じた仮想オブジェクトを現実の３次元空間に重畳して表示装置１００７に表示する通常表示処理を行う（ステップＳ１４）。なお、ＡＲ表示においては、ヘッドマウントディスプレイ１０が撮像した現実の３次元空間の画像に対して仮想オブジェクトを重畳して表示するという方法もあるし、また、ユーザが透明の表示装置１００７を介して現実の３次元空間を観察するような場合にはその透明の表示装置１００７に仮想オブジェクトを表示することで、仮想オブジェクトを現実の３次元空間に重畳するという方法もある。本発明をＡＲに適用する場合には、どちらの方法を用いてもよい。

一方、負荷が許容値を超えた場合は（ステップＳ１３；ＹＥＳ）、表示制御部１４は、各レイヤ及び各仮想オブジェクトについての優先度に基づいて、各々の仮想オブジェクトの最終的な優先度を特定する（ステップＳ１５）。これにより、負荷が許容値以下となるような表示を行うための対象となる仮想オブジェクトが特定されることになる。

そして、表示制御部１４は、特定した仮想オブジェクトを表示しないか、又は、その仮想オブジェクトを表示するためのデータを削減して表示するカリング表示を行う（ステップＳ１６）。以上の処理が、各レイヤに属する仮想オブジェクトを表示する処理の開始又は終了のタイミングで繰り返し実行される。

ここで、図９は、現実の３次元空間を例示する図である。ＡＲ表示が、ヘッドマウントディスプレイ１０が撮像した現実の３次元空間の画像に対して仮想オブジェクトを重畳して表示する方法で実現される場合には、図９に例示するような画像がヘッドマウントディスプレイ１０の表示装置１００７に表示されることになる。

図１０は、或るレイヤに属する仮想オブジェクトを例示する図であり、図１１は、別レイヤに属する仮想オブジェクトを例示する図である。ここで、図１０に対応するレイヤの優先度は、図１１に対応するレイヤの優先度よりも低いものと仮定する。また、図１０において、仮想オブジェクトＰ１は、仮想オブジェクトＰ２よりもユーザの視点に近い位置にある仮想オブジェクトであると仮定する。つまり、仮想オブジェクトＰ２の優先度は、仮想オブジェクトＰ１の優先度よりも低い。この場合、各仮想オブジェクトの最終的な優先度に関しては、仮想オブジェクトＰ３が最も高く、仮想オブジェクトＰ２が最も低いことになる。

図１２は現実の３次元空間と仮想オブジェクトとが重畳された様子を例示する図である。このとき、上述したように最終的な優先度が最も低い仮想オブジェクトＰ２のポリゴン数は、本来のポリゴンデータで規定されているポリゴン数よりも少ないことになる。

なお、仮想オブジェクトＰ２がカリングにより表示されないようになった場合であってもなお、負荷が許容値を超えている場合は、最終的な優先度が次に低い仮想オブジェクトＰ１がカリングの対象となる。つまり、負荷が許容値以下になるまで、カリングの対象となる仮想オブジェクトが増加することになる。

以上説明した実施形態によれば、複数のレイヤにそれぞれ属する仮想オブジェクトを重畳して表示する場合の表示の遅延を抑制することが可能となる。

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
［変形例１］
上述した実施形態では、表示制御部１４は、表示を行うための処理の負荷が許容値を超える場合に、各々のレイヤについての表示の優先度に加えて、各々の仮想オブジェクトについての表示の優先度を用いて、その負荷がその許容値以下となるような表示を行っていた。優先度の用い方は、この例に限らない。例えば、表示制御部１４は表示を行うための処理の負荷が許容値を超える場合、少なくとも各々のレイヤについての表示の優先度を用いて、その負荷が当該許容値以下となるような表示を行うようにすればよい。つまり、レイヤごとの優先度のみを用いて、各レイヤに属する仮想オブジェクトを表示するようにしてもよい。

［変形例２］
レイヤ及び仮想オブジェクトの優先度を特定する方法として上記実施形態に開示した例は、あくまで例示であり、これに限定されない。例えば各レイヤの優先度は、ユーザが各レイヤに対応するプログラムを起動した順序に基づいたものであってもよいし、ユーザが各レイヤに対応するプログラムを実行した期間に基づいたものであってもよい。つまり、ユーザにとって重要度が高いと想定されるレイヤの優先度を高くするような方法であってもよい。

［変形例３］
本発明をプログラムとしても提供してもよい。つまり、本発明は、コンピュータを、各レイヤに属する１以上の仮想オブジェクトを表示するためのデータを、複数のレイヤについて取得する取得部と、各々の前記レイヤについて取得された前記データに応じた前記仮想オブジェクトを表示面に表示する表示制御部であって、表示を行うための処理の負荷が許容値を超えるときは、少なくとも各々のレイヤについての表示の優先度を用いて、当該負荷が当該許容値以下となるような表示を行う表示制御部として機能させるためのプログラムであってもよい。また、本発明を表示制御方法としても提供してもよい。

［そのほかの変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えば、ヘッドマウントディスプレイ１０の機能の少なくとも一部が、サーバ装置２０等の外部のコンピュータに実装されてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、その所定の情報の通知を行わない）ことによって行われてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining） した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信（receiving） （例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

本発明は、ヘッドマウントディスプレイ１０において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、ヘッドマウントディスプレイ１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。

本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１要素が第２要素に先行しなければならないことを意味しない。

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１…仮想オブジェクト表示システム、２…ネットワーク、１０…ヘッドマウントディスプレイ、１１…取得部、１２…記憶部、１３…負荷算出部、１４…表示制御部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…表示装置、１００８…撮像装置、２０…サーバ装置、２００１…プロセッサ、２００２…メモリ、２００３…ストレージ、２００４…通信装置、ＬＤ…レイヤデーモン、Ｌ１，Ｌ２，Ｌ３…レイヤデータ、ＰＤ１，ＰＤ２…ポリゴンデータ、Ｐ１，Ｐ２，Ｐ３…仮想オブジェクト。

Claims (8)

1. 各レイヤに属する１以上の仮想オブジェクトを表示するためのデータを、複数のレイヤについて取得する取得部と、
   各々の前記レイヤについて取得された前記データに応じた前記仮想オブジェクトを表示面に表示する表示制御部であって、前記表示を行うための処理の負荷が許容値を超えるときは、少なくとも各々の前記レイヤについての表示の優先度を用いて、当該負荷が当該許容値以下となるような表示を行う表示制御部と
   を備えることを特徴とする表示制御装置。
2. 前記表示制御部は、前記表示を行うための処理の負荷が許容値を超えるとき、各々の前記レイヤについての表示の優先度に加えて、各々の前記仮想オブジェクトについての表示の優先度を用いて、当該負荷が当該許容値以下となるような表示を行う
   ことを特徴とする請求項１記載の表示制御装置。
3. 前記表示制御部は、
   各々の前記レイヤ及び各々の前記仮想オブジェクトについての前記優先度を用いて、前記負荷が前記許容値以下となるような表示を行うための対象となる前記仮想オブジェクトを特定し、
   特定した前記仮想オブジェクトを表示しないか、又は、当該仮想オブジェクトを表示するためのデータを削減して表示する
   ことを特徴とする請求項２記載の表示制御装置。
4. 各々の前記レイヤについての前記優先度は、レイヤ単位で予め付与された優先度である
   ことを特徴とする請求項２記載の表示制御装置。
5. 各々の前記仮想オブジェクトについての前記優先度は、前記仮想オブジェクトの表示によって表現される空間において、ユーザの視点の位置と、各々の前記仮想オブジェクトの位置との間の距離に応じた優先度である
   ことを特徴とする請求項２記載の表示制御装置。
6. ユーザの視点の位置と各々の前記仮想オブジェクトの位置との間の距離が小さいほど、各々の前記仮想オブジェクトについての前記優先度が大きい
   ことを特徴とする請求項５記載の表示制御装置。
7. 前記取得部によって取得される各々の前記レイヤに対応するデータは、それぞれ異なる主体によって作成され、且つ、レイヤ単位で独立して実行されるスクリプトを含むデータであり、
   前記表示制御部は、各々の前記レイヤに対応するデータを管理するプログラムによって実現される
   ことを特徴とする請求項１記載の表示制御装置。
8. コンピュータを、
   各レイヤに属する１以上の仮想オブジェクトを表示するためのデータを、複数のレイヤについて取得する取得部と、
   各々の前記レイヤについて取得された前記データに応じた前記仮想オブジェクトを表示面に表示する表示制御部であって、表示を行うための処理の負荷が許容値を超えるときは、少なくとも各々のレイヤについての表示の優先度を用いて、当該負荷が当該許容値以下となるような表示を行う表示制御部と
   して機能させるためのプログラム。

Images