WO2021106590A1

WO2021106590A1 - 映像送信装置、及び、表示装置

Info

Publication number: WO2021106590A1
Application number: PCT/JP2020/042200
Authority: WO
Inventors: 田中　健; 浩介相尾
Original assignee: ソニーグループ株式会社
Priority date: 2019-11-26
Filing date: 2020-11-12
Publication date: 2021-06-03
Also published as: EP4068267A4; US20220417568A1; EP4068267A1

Abstract

本技術は、表示装置の状態に則した映像を映像送信装置から無線により送信できるようにし、表示装置の処理能力の低減を図ることができるようにする映像送信装置、及び、表示装置に関する。表示装置から送信された慣性情報に基づいて映像情報が変換されて複数の異なる変換映像情報が生成され、生成された複数の異なる前記変換映像情報が互いに異なるビームにより前記表示装置に送信される。本技術は、ゲームコンソール、パーソナルコンピュータ、携帯デバイス等に適用され得る。

Description

映像送信装置、及び、表示装置

　本技術は、映像送信装置、及び、表示装置に関し、特に、表示装置の状態に則した映像を映像送信装置から無線により送信する映像送信装置、及び、表示装置に関する。

　特許文献１には、ＨＭＤ（Head Mounted Display）に内蔵された慣性センサを利用してＨＭＤの移動距離が所定の閾値を超えた場合に、ＨＭＤ内でリアルタイムに画像を修正する技術が開示されている。

特表２０１８－５０３１１４号公報

　ＨＭＤ等の表示装置の軽量化や小型化のためには、表示装置に要求される処理能力を低減することが望まれる。

　本技術は、このような状況に鑑みてなされたものであり、表示装置の状態に則した映像を映像送信装置から無線により送信できるようにし、表示装置の処理能力の低減を図るものである。

　本技術の第１の側面の映像送信装置は、表示装置から送信された慣性情報に基づいて映像情報を変換して複数の異なる変換映像情報を生成する映像生成部と、前記映像生成部により生成された複数の異なる前記変換映像情報を互いに異なるビームにより前記表示装置に送信する無線通信部とを有する映像送信装置である。

　本技術の第１の側面の映像送信装置においては、表示装置から送信された慣性情報に基づいて映像情報が変換され、複数の異なる変換映像情報が生成される。生成された複数の異なる変換映像情報が互いに異なるビームにより前記表示装置に送信される。

　本技術の第２の側面の表示装置は、映像送信装置から到来する複数のビームのうちの一部を復調する無線通信部と、前記無線通信部により前記ビームを復調して得られた映像情報を表示するディスプレイと、計測により慣性情報を取得する位置モジュールと、前記位置モジュールにより取得された前記慣性情報を前記映像送信装置に送信する慣性情報通信部とを有する表示装置である。

　本技術の第２の側面の表示装置においては、映像送信装置から到来する複数のビームのうちの一部が復調され、復調して得られた映像情報が表示される。計測により慣性情報が取得され、取得された前記慣性情報が映像送信装置に送信される。

本技術を適用した情報処理システムの一実施の形態の構成例を示したブロック図である。図１のコンピュータの第１構成例を示したブロック図である。図１のコンピュータの第２構成例を示したブロック図である。図１のＨＭＤの構成例を示したブロック図である。情報処理システムの実施の形態１の処理の概要を例示したシーケンス図である。コンピュータにおいて予測されたＨＭＤの将来の状態に対応する複数の符号化情報を複数の異なるビームによりコンピュータからＨＭＤに送信する際の様子を示した図である。情報処理システムの実施の形態１における全体シーケンス図である。 Capability情報を格納するフレーム構成例を示した図である。 AoA Infoフレームの構成例を示した図である。コンピュータがフェーズＰ２のBeam Configurationを開始させる場合（コンピュータがＨＭＤにSetup Requestを送信する場合）においてコンピュータが行うフェーズＰ２のBeam Configurationの処理例を説明するフローチャートである。図１０のステップＳ４４において、フェーズＰ３のMulti-beam Transmissionに使用する有効ビーム（及びビーム数）を決定する手法を説明するフローチャートである。コンピュータがフェーズＰ２のBeam Configurationを開始させる場合（コンピュータがＨＭＤにSetup Requestを送信する場合）におけるＨＭＤの処理例を説明するフローチャートである。ＨＭＤがフェーズＰ２のBeam Configurationを開始させる場合（ＨＭＤがコンピュータにSetup Requestを送信する場合）においてコンピュータが行うフェーズＰ２のBeam Configurationの処理例を説明するフローチャートである。ＨＭＤがフェーズＰ２のBeam Configurationを開始させる場合（ＨＭＤがコンピュータにSetup Requestを送信する場合）におけるＨＭＤの処理例を説明するフローチャートである。 Ackフレームの構成例を示した図である。フェーズＰ３のMulti-Beam Transmissionにおいてコンピュータが行う処理例を説明するフローチャートである。フェーズＰ３のMulti-Beam TransmissionにおいてＨＭＤが行う処理例を説明するフローチャートである。情報処理システム１１の実施の形態２の処理の概要を示した図である。情報処理システム１１の実施の形態２における全体シーケンス図である。実施の形態２のフェーズＰ３のImage Transmissionにおいて同時伝送するビームおよびビーム数を決定する手法を説明するフローチャートである。一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　以下、図面を参照しながら本技術の実施の形態について説明する。

＜＜システム構成＞＞
　図１は、本技術を適用した情報処理システムの一実施の形態の構成例を示したブロック図である。

　図１において、情報処理システム１１は、ＨＭＤ（Head Mounted Display）２１とコンピュータ２２とを有する。

　ＨＭＤ２１は頭部周囲に装着する携帯デバイスであり、両眼から近い位置にあるディスプレイがユーザの状態に合わせた映像を表示する。

　コンピュータ２２は、ＨＭＤ２１で表示する映像情報（画像情報）の生成とＨＭＤ２１への映像情報の転送を行う。ＨＭＤ２１は無線伝送によって、コンピュータ２２と接続される。

　ＨＭＤ２１からは慣性情報を含めた制御情報が無線伝送され、コンピュータ２２はＨＭＤ２１から送られた制御情報に基づきＨＭＤ２１に表示する映像を生成する。映像情報及び制御情報における無線通信方式の相違は問わないが、例えば、高い伝送レートが要求される映像情報の無線伝送には、６０GHz帯を利用した無線規格等の通信方式が用いられ、低い伝送レートでも十分であるような制御情報の無線伝送には、Bluetooth（登録商標）等の無線規格の通信方式が用いられる。

　尚、コンピュータ２２は任意の汎用または専用コンピュータであってよく、たとえばゲームコンソール、パーソナルコンピュータ、携帯デバイスなどでもよいが、これらに限定されない。また、コンピュータ２２の一部、例えば、ＨＭＤ２１と無線通信を行う部分以外は、インターネット等のネットワークを通じて接続されるサーバやデータセンタのコンピュータ等のようにＨＭＤ２１から離れた遠隔地に置かれていてもよい。また、コンピュータ２２の一部は、ネットワークを通じて提供されるコンピューティングサービス（クラウドサービス等）により構築されてもよい。

＜＜コンピュータの構成＞＞
＜第１構成例＞
　図２は、図１のコンピュータ２２の第１構成例を示したブロック図である。コンピュータ２２は、無線通信部３１、エンコーダ部３２、制御部３３、映像生成部３４、及び、トラッカ３５を有する。

　無線通信部３１は、ＨＭＤ２１と無線通信を行う。無線通信部３１は、画像伝送用通信部４１と慣性計測用通信部４２とを有する。

　画像伝送用通信部４１は、１つ又は２つ以上のビーム（マルチビーム）を用いてＨＭＤ２１と無線通信を行う。ビームは電波の指向性を示し、フェーズシフタやデジタル演算により動的に形成される。また、画像伝送用通信部４１は、放射方向が異なる複数のビームを生成することができ、かつ、ビームごとに異なる映像情報を送信させることができる。

　画像伝送用通信部４１からＨＭＤ２１には、例えば、ＨＭＤ２１に表示させる映像情報（画像情報）が送信される。また、画像伝送用通信部４１からＨＭＤ２１、又は、ＨＭＤ２１から画像伝送用通信部４１には、例えば、画像伝送用通信部４１のビームの設定等に必要な制御情報が送信されてもよい。

　慣性計測用通信部４２は、ＨＭＤ２１に具備されている複数の慣性センサにより得られた慣性情報を無線通信によりＨＭＤ２１（後述の慣性計測用通信部９２）から取得する。

　エンコーダ部３２は、映像生成部３４により生成された映像情報を符号化する。

　制御部３３は、コンピュータ２２の全体を統括的に制御する。また、制御部３３は、映像情報の生成に必要な情報を映像生成部３４に供給する。また、制御部３３は、エンコーダ部３２により符号化された映像情報を無線通信部３１の画像伝送用通信部４１からＨＭＤ２１に送信する際に、画像伝送用通信部４１が生成できる複数のビームのうちのどのビームで映像情報を送信させるか等を決定する。

　映像生成部３４は、制御部３３から供給された情報に基づいて、ＨＭＤ２１において表示する映像情報の生成（レンダリング）を行い、生成した映像情報を直近の慣性情報に基づいて変換・修正する。そして、映像生成部３４は変換した映像情報をエンコーダ部３２に供給する。

　トラッカ３５は、ＨＭＤ２１の位置を把握するために用いられ、たとえばカメラやＬｉＤＡＲ（Light Detection and Ranging）、レーダーなどで実現されてもよいが、これらに限定されず、また、必ずしも必要とされる要素ではない。

　ここで、映像生成部３４は、例えば３次元グラフィックスにおける数値データとして制御部３３または他に映像情報をもつエンティティから与えられた物体や図形に関する情報をレンダリングにより映像化する。そして、映像生成部３４は、レンダリングにより映像化した映像情報をさらにＨＭＤ２１の将来の状態に則した（対応した）映像情報に変換（修正）する。

　なお、映像生成部３４が、レンダリングにより映像化した映像情報を原映像情報、レンダリングにより映像化した映像情報をＨＭＤ２１の将来の状態に則して変換した映像情報を変換映像情報、映像生成部３４からの映像情報（変換映像情報）をエンコーダ部３２により符号化した映像情報を符号化情報というものとし、いずれも映像情報であるが、必要に応じて原映像情報、変換映像情報、及び、符号化情報のうちのいずれの映像情報かを使い分ける。

　ＨＭＤ２１の将来の状態とは、映像生成部３４により原映像情報を変換映像情報に変換する時点からみてＨＭＤ２１の将来の状態を示す。また、ＨＭＤ２１の将来の状態とは、原映像情報から生成された符号化情報をＨＭＤ２１が受信するときの状態を示し、たとえばＨＭＤ２１の位置や姿勢が含まれるが、これらに限定されない。

　制御部３３は、ＨＭＤ２１の将来の状態として、例えば，ＨＭＤ２１からの慣性情報に基づいて、ＨＭＤ２１の将来の位置及び姿勢を予測する。また、制御部３３は、ＨＭＤ２１の回転動作については正確な予測が難しい等の理由から、ＨＭＤ２１の向き（正面方向）については予測の範囲に幅を持たせて、ＨＭＤ２１の正面方向が異なる複数の状態をＨＭＤ２１の将来の状態として予測する。

　そして、映像生成部３４は、制御部３３により予測されたＨＭＤ２１の複数の将来の状態であって、ＨＭＤ２１の正面方向が異なる複数の状態の各々に対応した変換映像情報を生成する。また、ＨＭＤ２１の将来の状態の予測は、映像生成部３４により行われるようにしてもよい。

＜第２構成例＞
　図３は、図１のコンピュータ２２の第２構成例を示したブロック図である。なお、図２のコンピュータ２２の第１構成例と対応する部分については同一の符号を付してあり、その説明は省略する。

　図３のコンピュータ２２は、コンピュータ遠隔部５１及びコンピュータローカル部５２を有する。コンピュータ遠隔部５１は、エンコーダ部３２、映像生成部３４、制御部６１、及び、コア通信部６２を有し、コンピュータローカル部５２は、無線通信部３１、トラッカ３５、制御部７１、及び、コア通信部７２を有する。

　したがって、図３のコンピュータ２２は、無線通信部３１、エンコーダ部３２、映像生成部３４、及び、トラッカ３５を有する点で、図２の場合と共通する。但し、図３のコンピュータ２２は、全体がコンピュータ遠隔部５１とコンピュータローカル部５２とに分けられている点、図２の制御部３３の代わりに制御部６１及び制御部７１が設けられている点、並びに、コア通信部６２及びコア通信部７２が新たに設けられている点で、図２の場合と相違する。

　コンピュータ遠隔部５１は、例えば、ＨＭＤ２１から離れた遠隔地に置かれた装置であり、かつ、レンダリング機能を有する装置である。コンピュータ遠隔部５１は、インターネット等のネットワークを通じて接続されたサーバであってもよいがこれに限らない。また、コンピュータ遠隔部５１は、ＨＭＤ２１から必ずしも離れた場所になくてもよい。

　コンピュータローカル部５２は、ＨＭＤ２１に対して同じ建物内などの比較的近傍に置かれ、コンピュータ２２を代表してＨＭＤ２１と直接無線通信を行う。コンピュータローカル部５２は、例えば、無線ＬＡＮ（Local Area Network）のアクセスポイントやセルラ基地局でもよいが、これらに限定されない。

　制御部６１は、コンピュータ遠隔部５１の全体を統括的に制御する。また、制御部６１は、図２の制御部３３と略同一の処理を実行する。ただし、制御部６１は、コア通信部６２の制御を行う点と、コンピュータローカル部５２の無線通信部３１及びトラッカ３５の制御を、コンピュータローカル部５２の制御部７１を介して行う点とで図２の制御部３３と相違する。

　制御部７１は、コンピュータローカル部５２の全体を統括的に制御する。また、制御部７１は、コンピュータ遠隔部５１の制御部６１と連携して無線通信部３１やトラッカ３５の制御を行う。

　コア通信部６２及びコア通信部７２は、互いに通信を行い、コンピュータ遠隔部５１とコンピュータローカル部５２との間での情報（映像情報及び慣性情報等）の伝送を行う。コア通信部６２とコア通信部７２との間での情報の伝送形態は光ファイバのような有線伝送や、無線伝送に限られない。

＜＜ＨＭＤ２１の構成＞＞
　図４は、図１のＨＭＤ２１の構成例を示したブロック図である。ＨＭＤ２１は、無線通信部８１、制御部８２、位置モジュール群８３、映像生成部８４、記憶部８５、及び、ディスプレイ８６を有する。

　無線通信部８１は、コンピュータ２２の無線通信部３１（図２及び図３参照）と無線通信を行う。無線通信部８１は、画像伝送用通信部９１と慣性計測用通信部９２とを有する。

　画像伝送用通信部９１は、電波を送受するアンテナを有しており、複数のアンテナを用いて信号をフェーズシフタや数値演算により適切に合成することで、所望方向への受信感度を強くするビームを形成することができる。また、画像伝送用通信部９１は、指向性を持たせたアンテナからビームを生成して、各種情報をビームによりコンピュータ２２における無線通信部３１の画像伝送用通信部４１（図２及び図３参照）に送信する。

　また、画像伝送用通信部９１は、ビームを形成することで、コンピュータ２２の画像伝送用通信部４１から放射される複数のビームのうちの一部のビーム、例えば、ＨＭＤ２１の正面方向から到来したビーム（又は受信電力が最も大きなビーム）のみを復調して、ビームにより送信された映像情報（符号化情報）を受信し、映像生成部８４に供給する。また、画像伝送用通信部９１とコンピュータ２２の画像伝送用通信部４１との間では、ビームの設定等に必要な制御情報等がやり取りされる。

　慣性計測用通信部９２は、主にＨＭＤ２１に具備されている複数の慣性センサにより得られた慣性情報を、コンピュータ２２の慣性計測用通信部４２（図２及び図３参照）に送信する。

　制御部８２は、ＨＭＤ２１の処理全体を統括的に制御する。たとえば、制御部８２は、位置モジュール群８３により得られるＨＭＤ２１の３次元的な位置や姿勢に関する慣性情報を無線通信部８１に供給し、慣性計測用通信部９２からコンピュータ２２に送信させる。

　位置モジュール群８３は、ＨＭＤ２１の３次元的な位置、姿勢、及び、動作（角速度等）に関する情報（慣性情報という）を取得する。たとえば、位置モジュール群８３は、磁力計１０１、速度計１０２、ジャイロスコープ１０３、及び、ＧＰＳ（Global Positioning System）１０４などから構成されてもよいが、構成要素はこれらに限定されない。なお、慣性情報は、ＨＭＤ２１の状態を表す情報であればどのような情報であってもよい。

　映像生成部８４は、コンピュータ２２から送信されて無線通信部８１の画像伝送用通信部９１により受信された映像情報を取得する。映像生成部８４は、コンピュータ２２のエンコーダ部３２（図２、図３参照）により符号化されている映像情報（符号化情報）を復号した後、描画処理を施して記憶部８５に供給する。

　記憶部８５は、制御部８２の制御により、映像生成部８４からの映像情報を一時的に格納し、格納した映像情報をディスプレイ８６に供給する。

　ディスプレイ８６は、記憶部８５からの映像情報を画面に表示させる。

　なお、図４におけるＨＭＤ２１内の各構成部の配置は一例であり、例えば映像生成部８４と記憶部８５の位置が異なってもよい。

＜＜実施の形態１＞＞
　図３の第２構成例のコンピュータ２２で構成される情報処理システム１１の実施の形態１について詳説する。なお、図２の第１構成例のコンピュータ２２で構成される情報処理システム１１を実施の形態２とする。

　実施の形態１と実施の形態２とを比較すると、実施の形態１では、コンピュータ２２のコンピュータ遠隔部５１とコンピュータローカル部５２とで別々に行われる処理が、実施の形態２では１つのコンピュータ２２内で行われる点が相違する。

　また、実施の形態１では、コンピュータ遠隔部５１とコンピュータローカル部５２との間での情報の伝送がコア通信部６２とコア通信部７２との通信により行われるのに対して、実施の形態２では、コンピュータ２２の内部での情報の伝送に関しては実施の形態１のような通信が不要である点で相違する。

　これらの相違点以外は、実施の形態１と実施の形態２とで略共通の処理が行われるので、実施の形態１の処理についてのみ詳説し、実施の形態２の処理については簡単に説明する。

＜実施の形態１の処理の概要＞
　図５は、情報処理システム１１の実施の形態１の処理の概要を例示したシーケンス図である。

　図５では、時間軸（横軸）が一定時間間隔のタイムスロットで区切られ、タイムスロット単位で時刻ｔ０、ｔ１、ｔ２、・・・が表される。図５は、時間軸に対応してコンピュータ遠隔部５１、コンピュータローカル部５２、及び、ＨＭＤ２１の各々において行われる各種処理のタイミングを表す。

　コンピュータ遠隔部５１において、映像生成部３４は、時刻ｔ０から時刻ｔ２までの期間において、制御部６１から与えられた例えば３次元グラフィックスでの数値データをレンダリングにより映像化し、ＨＭＤ２１に表示させる映像情報の元となる原映像情報を生成する。そして、映像生成部３４は、生成した原映像情報をたとえば将来の時刻ｔ５でのＨＭＤ２１の状態に則した変換映像情報に変換する。変換映像情報への変換は、たとえばＨＭＤ２１の回転によって映像（画像）を台形変換することが含まれるがこれに限られない。

　時刻ｔ５でのＨＭＤ２１の状態とは、映像生成部３４が時刻ｔ２で生成した原映像情報に対してその後に行われる処理により生成された符号化情報をＨＭＤ２１が受信するときに予測されるＨＭＤ２１の将来の状態である。

　また、時刻ｔ２から時刻ｔ５までの期間は、映像生成部３４が時刻ｔ２で生成した原映像情報に対してその後に行われる処理の処理時間（映像情報の伝送時間も含む）に依存する。

　制御部６１は、映像生成部３４が原映像情報を生成したときから、その原映像情報に対する符号化情報をＨＭＤ２１が受信するまでの時間（映像情報伝達時間という）を事前に求めておいても良いが、これに限らない。

　例えば、制御部６１は、コンピュータ２２とＨＭＤ２１との無線接続開始時や無線接続後の適宜のタイミングにおいて、映像生成部３４が生成した原映像情報に対する符号化情報をＨＭＤ２１が受信した際にＨＭＤ２１がコンピュータ２２に返信する応答情報に基づいて、映像情報伝達時間を実測してもよい。

　図５において時刻ｔ５は、映像生成部３４が原映像情報を生成した時刻ｔ２に対して映像情報伝達時間を加算した時刻として例示した時刻であり、原映像情報に対する符号化情報をＨＭＤ２１が受信する時刻は、時刻ｔ５以外の時刻となり得る。

　制御部６１は、映像生成部３４が原映像情報を生成した時刻ｔ２においてＨＭＤ２１から既に取得している直近（最新）までの慣性情報θ（ｔ）（ｔはｔ１以前の時刻）に基づいて、時刻ｔ５におけるＨＭＤ２１の複数の将来の状態であって、ＨＭＤ２１の正面方向が異なる複数の状態を予測し、予測したＨＭＤ２１の複数の将来の状態を映像生成部３４に供給する。慣性情報θ（ｔ）は、時刻ｔにおいてＨＭＤ２１の位置モジュール群８３で計測された慣性情報を示す。なお、ＨＭＤ２１の複数の将来の状態の予測は、映像生成部３４が行ってもよい。

　映像生成部３４は、時刻ｔ５でのＨＭＤ２１の複数の将来の状態、すなわち、慣性情報θ（ｔ）に基づいて予測されたＨＭＤ２１の状態であって、映像情報を受信する（ときの）ＨＭＤ２１の状態の各々に則した変換映像情報を原映像情報に対する映像変換により生成する。

　エンコーダ部３２は、映像生成部３４により生成されたＨＭＤ２１の複数の将来の状態に対応した変換映像情報を、それぞれ独立に符号化情報へとエンコードし、コンピュータローカル部５２の無線通信部３１に送信する。コンピュータローカル部５２へ符号化情報の送信は、コア通信部６２及びコア通信部７２（図３参照）を介して行われる。

　コンピュータローカル部５２の無線通信部３１（画像伝送用通信部４１）は、指向性を有する複数のビーム♯１乃至♯Ｎ（Ｎは２以上）を生成して、ビーム♯１乃至♯Ｎの各々によりエンコーダ部３２からの複数の符号化情報の各々をＨＭＤ２１に送信する。ビーム♯１乃至♯ＮにおけるＮは、エンコーダ部３２から供給された符号化情報の数に相当し、制御部６１により予測されたＨＭＤ２１の複数の将来の状態の数に相当する。また、Ｎは、無線通信部３１が生成することができるビームの最大数以下の数である。また、ビーム♯１乃至♯Ｎは、無線通信部３１が生成することできるビームの中から選択されたＮ本のビームに対してそれぞれに♯１乃至♯Ｎの識別符号を付したものである。

　各ビーム＃１乃至＃Ｎは、無線通信部３１から放射される際の放射方向が異なる。また、各ビーム＃１乃至＃Ｎは、壁面などで反射されてからＨＭＤ２１の位置に到来することがある。また、各ビーム＃１乃至＃ＮがＨＭＤ２１の位置に到来する際の到来方向がビーム＃１乃至＃Ｎごとに異なる。したがって、ＨＭＤ２１の無線通信部８１（画像伝送用通信部９１、図４参照）で受信される各ビームの受信電力はＨＭＤ２１の向き（ＨＭＤ２１の正面方向）によって変化し、ビームの間で受信電力に差が生じる。

　コンピュータ遠隔部５１の制御部６１は、無線通信部３１から放射可能なビームのうちから、複数の符号化情報の各々に送信するビーム（以下、送信ビーム）を割り当てる。制御部６１は、例えば、予測したＨＭＤ２１の複数の将来の状態の各々の状態を想定した場合に、想定した状態でのＨＭＤ２１の受信電力が最大となる方向に最も近い方向から到来する送信ビーム（想定した状態で受信可能なビーム）を、想定した状態に対応して生成した符号化情報を送信する送信ビームとして割り当てる。なお、各符号化情報に対する送信ビームの割り当てを示す情報をビーム割当情報というものとする。

　そして、制御部６１は、コンピュータローカル部５２の制御部７１を介して無線通信部３１に対してビーム割当情報を供給する。

　無線通信部３１は、エンコーダ部３２からの複数の符号化情報の各々を、制御部６１からのビーム割当情報にしたがった送信ビームにより画像伝送用通信部４１からＨＭＤ２１に送信する。

　なお、画像伝送用通信部４１は、各符号化情報に基づいて各符号化情報を各々に割り当てられた送信ビームによりＨＭＤ２１に送信させる。

　コンピュータローカル部５２において、符号化情報♯ｉ－ｊは、送信ビームｊ（ｊは１乃至Ｎ）が送信する符号化情報のｉ番目のフレームを示す。フレームは１枚の画像または映像を細分化して伝送される画像情報または映像情報の単位を指す。

　無線通信部３１は、エンコーダ部３２から新たな符号化情報が与えられるまでの間において、ＨＭＤ２１において表示する１画面分の変換映像情報を符号化した符号化情報♯ｉ－ｊ（ｉは１乃至ｋ）を同一の送信ビームによりフレーム単位で繰り返しＨＭＤ２１に送信することができる。

　なお、図５においては、各符号化情報をｋフレーム分ＨＭＤ２１に送信する場合を例示するが、ｋは予め決められた数であってもよいし、エンコーダ部３２から無線通信部３１に新たな符号化情報が与えられるまでに繰り返し送信可能なフレームの数であってもよい。

　ＨＭＤ２１は、無線通信部８１の画像伝送用通信部９１（図４参照）において、複数のアンテナを用いて受信電力を特定の方向に強くするビーム（以下、受信ビーム）を形成する。画像伝送用通信部９１は、例えば、ＨＭＤ２１の正面方向から到来する送信ビームに対する受信電力が最大となるような指向性の受信ビームを形成する。なお、ＨＭＤ２１が形成する受信ビームは所望方向以外に所望方向と同等の利得がでないように形成されるものとする。

　画像伝送用通信部９１は、コンピュータローカル部５２の無線通信部３１（画像伝送用通信部４１）から放射された複数のビーム＃１乃至＃Ｎの送信ビームのうち、ＨＭＤ２１が形成する受信ビームで受信したときに受信電力が最大となるコンピュータローカル部５２の送信ビームによって送信された符号化情報のみを受信するが、複数の符号化情報を受信した後に、最適な符号化情報を選択してもよい。

　すなわち、コンピュータ遠隔部５１の制御部６１により予測された時刻ｔ５でのＨＭＤ２１の複数の将来の状態のうち、時刻ｔ５における実際のＨＭＤ２１の状態に最も近い状態に対応した符号化情報は、ＨＭＤ２１の形成する受信ビームに最も近い方向から到来する送信ビームによりＨＭＤ２１へ送信される。ＨＭＤ２１の無線通信部８１は、例えば、画像伝送用通信部９１に到来する送信ビームのうち、受信電力が最も高い送信ビームを受信して、そのビームにより送信された符号化情報を復調する。

　図５のＨＭＤ２１において、無線通信部８１は、時刻ｔ５においてコンピュータローカル部５２の無線通信部３１から放射されたビーム＃１乃至＃Ｎのうち、ビーム♯ａにより送信された符号化情報♯１－ａ、♯２－ａを連続して２フレーム分受信したことを示す。また、無線通信部８１は、その後も時刻ｔ７まで符号化情報の受信を継続する。

　時刻ｔ５から時刻ｔ７までの期間において、ＨＭＤ２１の状態が変化することから、図５には、無線通信部８１は、時刻ｔ７までにビーム♯ａとは別のビーム♯ｍにより送信された符号化情報♯ｋ－ｍを受信した場合が例示されている。

　無線通信部３１により受信された符号化情報は、図４の映像生成部８４において復号処理や描画処理が施されて、コンピュータ遠隔部５１のエンコーダ部３２により符号化される前の変換映像情報が記憶部８５に一時的に格納される。そして、時刻ｔ５から時刻ｔ７までの期間で受信された符号化情報の描画処理が終了した時刻ｔ８から記憶部８５に記憶された映像情報がディスプレイ８６に表示される。

　なお、ＨＭＤ２１において、１フレーム分の符号化情報を受信するごとに描画処理を行い、符号化情報の受信と描画処理とを並列に行ってもよい。また、コンピュータ遠隔部５１の制御部６１（図３参照）は、実施の形態１では、時刻ｔ５でのＨＭＤ２１の複数の将来の状態を予測したが、ＨＭＤ２１の無線通信部３１か符号化情報の受信を開始する時刻ｔ５から映像生成部８４が描画処理を開始する時刻ｔ７までの期間において予測されるＨＭＤ２１の複数の状態を予測してもよい。

　図５において、ＨＭＤ２１が、コンピュータローカル部５２からの符号化情報の受信を開始した時刻ｔ５から、その符号化情報の映像情報のディスプレイ８６への表示を開始した時刻ｔ８までの期間Motion to Photon Latencyは、表示に関する遅延時間を表し、主に伝送遅延と描画遅延の和となる。コンピュータ遠隔部５１またはコンピュータローカル部５２で予測された時刻ｔ５におけるＨＭＤ２１が、実際の時刻ｔ５におけるＨＭＤ２１の状態と一致していた場合、ＨＭＤ２１のディスプレイ８６に表示される映像の体感遅延はMotion to Photon Latencyに相当する。すなわち、Motion to Photon Latencyは体感遅延の最小値を意味する。

　仮に、本技術を適用しない場合、コンピュータ遠隔部５１の映像生成部３４では、ＨＭＤ２１の将来の状態を予測せずに時刻ｔ２において、慣性情報θ（ｔ１）に基づき時刻ｔ１でのＨＭＤ２１の状態に対応した変換映像情報への映像変換が行われる。したがって、慣性情報θ（ｔ１）が取得された時刻ｔ１から映像情報が表示される時刻ｔ８までの期間が表示に関する遅延時間となる。

　したがって、本技術を適用しない場合と比べると、本技術を適用したことにより、表示に関する遅延時間は大幅に低減される。

　また、ＨＭＤ２１は、状態に則した映像情報を受信するため、ＨＭＤ２１で映像情報を補正する必要がなく、ＨＭＤ２１の処理能力を低減させることができる。したがって、ＨＭＤ２１の小型化、軽量化、低コスト化を図ることができる。

　また、ＨＭＤ２１は、コンピュータ２２から同時に送信される複数の送信ビームのうち、基本的に受信ビームが向いている方向に最も近い方向から到来した送信ビームの映像情報（符号化情報）を受信すれば、ＨＭＤ２１の状態に則した映像情報が得られるため、ビームの選択が不要であり、処理負担の増加は生じない。

　図６は、コンピュータ２２において予測されたＨＭＤ２１の将来の状態に対応する複数の符号化情報を複数の異なる送信ビームによりコンピュータ２２からＨＭＤ２１に送信する際の様子を示した図である。

　図６において、ビーム♯１乃至♯３は、コンピュータ２２の無線通信部３１の画像伝送用通信部４１（図３参照）から放射可能な複数の送信ビームのうちの一部を示す。また、ビーム♯１乃至♯３は、ＨＭＤ２１に対して異なる方向から到来する。

　ビーム♯２は、コンピュータ２２の画像伝送用通信部４１からＨＭＤ２１に直接到来する送信ビームを示し、ビーム♯１及びビーム♯３は、壁などの反射体での反射を介してＨＭＤ２１に到来する送信ビームを示す。

　なお、ＨＭＤ２１の正面方向に対する送信ビームの到来方向又は到来角をAoA（Angle of Arrival）というものとすると、コンピュータ２２（または、コンピュータ２２とみなす物）と、ＨＭＤ２１とが正対している状態において、コンピュータ２２からＨＭＤ２１に直接到来する送信ビームのAoAは０度となる。

　一方、ＨＭＤ２１の正面方向からみて時計周り方向にΔθの角度でＨＭＤ２１に到来するビームのAoAをΔθとし、逆に反時計周り方向にΔθの角度でＨＭＤ２１に到来する送信ビームのAoAを－Δθとする。図６において、たとえば、ビーム＃２のAoAが０°である場合、ビーム♯１のAoAはΔθであり、ビーム♯３のAoAは－Δθである。

　今、ＨＭＤ２１の無線通信部８１の画像伝送用通信部９１（図４参照）におけるアンテナは、ビーム♯１乃至ビーム♯３のうちビーム♯３の受信電力が最も高くなる方向を向いているとする。すなわち、ＨＭＤ２１の受信ビームがＨＭＤ２１の正面方向に沿っていて、画像伝送用通信部９１のアンテナのビームに対する受信電力が最も高くなる方向であるとすると、ＨＭＤ２１は、ＨＭＤ２１の正面方向がビーム♯３のAoA（－Δθ）に向いている状態である。

　このときの時刻を図５の時刻ｔ１としてＨＭＤ２１の慣性情報θ（ｔ１）がコンピュータ遠隔部５１にＨＭＤ２１の無線通信部８１の慣性計測用通信部９２（図４参照）からコンピュータ２２の無線通信部３１の慣性計測用通信部４２（図３参照）へと送信され、コンピュータ遠隔部５１の制御部６１（図３参照）が、時刻ｔ２においてその慣性情報θ（ｔ１）を取得したとする。

　コンピュータ２２の制御部６１は、コンピュータ２２の映像生成部３４がレンダリングにより原映像情報を生成した時刻ｔ２において、既に取得している直近（最新）までの慣性情報θ（ｔ）（ｔはｔ１以前の時刻）に基づいて時刻ｔ５でのＨＭＤ２１の複数の将来の状態を予測する。

　そして、制御部６１は、図６において、ＨＭＤ２１がこれまでの動き（例えば回転）を継続した場合には、ＨＭＤ２１の受信ビームが、ビーム♯２の到来方向を向くと予測する。

　また、制御部６１は、図６において、ＨＭＤ２１がこれまでの動きよりも速い動き（回転）に変わった場合には、ＨＭＤ２１の受信ビームが、ビーム♯１の到来方向を向くと予測する。

　さらに、制御部６１は、ＨＭＤ２１がこれまでの動きよりも遅い動きに変わった場合には、ＨＭＤ２１の受信ビームが、ビーム♯３の到来方向を向いた状態を維持すると予測する。

　なお、図６では、ビーム♯１のAoAとビーム♯３のAoAの絶対値（Δθ）が同一であるとしたがこれに限らない。

　この場合において、映像生成部３４は、ＨＭＤ２１が形成する受信ビームがビーム♯１乃至♯３の各々の到来方向に正面を向けた３つの状態をＨＭＤ２１の将来の状態とし、各々の状態に則した変換映像情報を生成する。そして、エンコーダ部３２は、３つの将来の状態に対応した変換映像情報の各々を符号化情報に変換して無線通信部３１（図３参照）に供給する。

　また、制御部６１は、ＨＭＤ２１の受信ビームがビーム♯１の到来方向に向いた状態に対応した符号化情報をビーム♯１により送信し、ＨＭＤ２１の受信ビームがビーム♯２の到来方向に向いた状態に対応した符号化情報をビーム♯２により送信し、ＨＭＤ２１の受信ビームが、ビーム♯３の到来方向に向いた状態に対応した符号化情報をビーム♯３により送信するようにビーム割当情報を無線通信部３１に供給する。

　なお、制御部６１は、無線通信部３１の画像伝送用通信部４１から放射される各送信ビームのＨＭＤ２１におけるAoAを事前に把握し、記憶しており（後述）、ＨＭＤ２１の複数の将来の状態を画像伝送用通信部４１から放射される各送信ビームのAoAを考慮して予測してもよいし、各送信ビームのAoAとは関係なく、ＨＭＤ２１の複数の将来の状態を予測してもよい。

　無線通信部３１は、制御部６１からのビーム割当情報に従って、ＨＭＤ２１の受信ビームがビーム♯１の到来方向に向いた場合のＨＭＤ２１の状態に対応した符号化情報をビーム♯１によりＨＭＤ２１に送信し、ＨＭＤ２１の受信ビームがビーム♯２の到来方向に向いた場合のＨＭＤ２１の状態に対応した符号化情報をビーム♯２によりＨＭＤ２１に送信し、ＨＭＤ２１の受信ビームがビーム♯３の到来方向に向いた場合のＨＭＤ２１の状態に対応した符号化情報をビーム♯３によりＨＭＤ２１に送信する。

　一方、ＨＭＤ２１の無線通信部８１は、図５の時刻ｔ５から時刻ｔ７において実際にＨＭＤ２１の受信ビームが向いている方向に対して、最も近い方向を到来方向とする送信ビーム、ないしは受信電力が最も高い送信ビームから送信された符号化情報を受信する。

　たとえば、ＨＭＤ２１が時刻ｔ１までの動き（回転）を継続した場合には、時刻ｔ５においてＨＭＤ２１の受信ビームの方向が、ビーム♯２の到来方向を向くとすると、無線通信部８１は、ビーム♯２により送信された符号化情報を受信する。

　ＨＭＤ２１が時刻ｔ１までの動きよりも速い動き（回転）に変わった場合には、ＨＭＤ２１の受信ビームの方向がビーム♯１の到来方向を向くとすると、無線通信部８１は、ビーム♯１により送信された符号化情報を受信する。

　ＨＭＤ２１が時刻ｔ１までの動きよりも遅い動きに変わった場合には、ＨＭＤ２１の受信ビームの方向は、ビーム♯３の到来方向を向いた状態を維持し、無線通信部８１は、ビーム♯３により送信された符号化情報を受信する。

　このように、ＨＭＤ２１は、コンピュータローカル部５２からの符号化情報を受信すると、符号化情報を描画処理して映像情報（変換映像情報）を生成し、ディスプレイ８６に表示させる。

＜実施の形態１の処理の詳細＞
　図７は、情報処理システム１１の実施の形態１における全体シーケンス図である。実施の形態１では、主にCapability Exchange、Beam Configuration、Multi-beam Transmissionの３つのフェーズＰ１、Ｐ２、Ｐ３を想定している。図７は、各フェーズＰ１、Ｐ２、Ｐ３において、コンピュータ遠隔部５１、コンピュータローカル部５２、及び、ＨＭＤ２１の間で伝送される情報を表している。

　フェーズＰ１のCapability Exchangeでは、ＨＭＤ２１およびコンピュータローカル部５２が、フェーズＰ２のBeam Configuration及びフェーズＰ３のMulti-beam Transmissionが実行可能であるか否かの情報を交換する。

　また、ＨＤＭ２１がフェーズＰ２のBeam Configuration及びフェーズＰ３のMulti-beam Transmissionが実行可能であるか否かの情報をコンピュータローカル部５２がコンピュータ遠隔部５１に通知する。

　なお、フェーズＰ１のCapability Exchangeは、コンピュータ２２とＨＭＤ２１との無線接続が開始されたとき等において１度実行されるだけでもよい。

　フェーズＰ２のBeam Configurationでは、コンピュータ遠隔部５１がコンピュータローカル部５２（画像伝送用通信部４１、図３参照）から放射可能な複数のビームのうちの符号化情報の送信に使用する送信ビーム（及びビーム数）を決定する。すなわち、コンピュータ遠隔部５１は、フェーズＰ３のMulti-beam Transmissionで使用する送信ビーム（ビーム数）を決定する。

　また、フェーズＰ２のBeam Configurationでは、コンピュータローカル部５２（画像伝送用通信部４１、図３参照）から放射可能な送信ビーム（フェーズＰ３のMulti-beam Transmissionで使用しうる送信ビーム）のＨＭＤ２１での到来方向AoAをＨＭＤ２１がコンピュータローカル部５２を介してコンピュータ遠隔部５１に通知する。

　さらに、フェーズＰ２のBeam Configurationでは、ＨＭＤ２１（無線通信部８１の画像伝送用通信部９１）におけるアンテナの受信感度（受信ビームの指向性）の設定に関する情報をコンピュータ遠隔部５１からコンピュータローカル部５２を介してＨＭＤ２１に通知する。

　なお、図７のフェーズＰ２のBeam Configurationでは、コンピュータ遠隔部５１がSetup Requestをコンピュータローカル部５２に送信することで、フェーズＰ２のBeam Configurationが開始されるが、フェーズＰ２のBeam Configurationの開始はこれに限られない。

　たとえば、フェーズＰ２のBeam Configurationを定期的に行うことが決められていれば、Setup Requestは存在しなくともよい。

　また、コンピュータローカル部５２からの要求により、Setup Requestがコンピュータ遠隔部５１及びＨＭＤ２１に送信されてもよいし、ＨＭＤ２１からの要求により、Setup Requestがコンピュータローカル部５２及びコンピュータ遠隔部５１に送信されてもよい。

　なお、フェーズＰ２のBeam Configurationは図７のようにフェーズＰ３のMulti-beam Transmissionの前に必ずしも実行されなくてもよい。

　フェーズＰ３のMulti-beam Transmissionでは、コンピュータ遠隔部５１が予測したＨＭＤ２１の複数の将来の状態に対応した複数の符号化情報をコンピュータ遠隔部５１がコンピュータローカル部５２に送信する。

　また、コンピュータローカル部５２が各々の符号化情報を複数の異なる送信ビームによりＨＭＤ２１に送信する。また、ＨＭＤ２１における符号化情報の受信結果をＨＭＤ２１がコンピュータローカル部５２を介してコンピュータ遠隔部５１に送信する。

（フェーズＰ１のCapability Exchange）
　フェーズＰ１のCapability Exchangeにおいて、ステップＳ１では、コンピュータ遠隔部５１がCapability Requestをコンピュータローカル部５２に送信する。Capability Requestは、コンピュータ遠隔部５１と、コンピュータローカル部５２に接続されているＨＭＤ２１と間とでCapability情報の交換を要求する情報を含んでいる。

　ステップＳ２では、Capability Requestを受信したコンピュータローカル部５２がＨＭＤ２１に対してCapability情報を送信する。

　ステップＳ３では、Capability情報を受信したＨＭＤ２１がコンピュータローカル部５２に対してCapability情報を送信する。

　ステップＳ４では、Capability情報を受信したコンピュータローカル部５２がコンピュータ遠隔部５１に対してCapability Reportを送信する。

　Capability Reportは、コンピュータローカル部５２で受信したＨＭＤ２１のCapability情報を示す情報が含まれている。

　なお、ステップＳ１およびステップＳ２はステップＳ３およびステップＳ４の後に行われてもよい。

＜Capability情報を格納するフレーム構成例＞
　図８は、Capability情報を格納するフレーム構成例を示した図である。

　図８において、Capability情報を伝送するフレームには、VR Gaming Modeの情報が含まれ、そのVR Gaming Mode情報には、Capability情報を送信する通信端末（コンピュータローカル部５２及びＨＭＤ２１）がフェーズＰ２のBeam Configuration、及び、フェーズＰ３のMulti-beam Transmissionを実行可能であるかを示す情報が含まれている。たとえば、実行可能である場合には“１”、実行不可能である場合は“０”が示されていてもよく、表現の手法はこれに限られない。

　なお、コンピュータローカル部５２は、ＨＭＤ２１に対して複数の送信ビームを送信した後、ＨＭＤ２１からの１つの送信ビームのみに対する受信応答を受信した場合でも、送信が完了したと判断できる場合に、フェーズＰ２のBeam Configuration、及び、フェーズＰ３のMulti-beam Transmissionを実行可能であるとのCapability情報をＨＭＤ２１に送信する。

　ＨＭＤ２１は、たとえばＨＭＤ２１の正面方向のように特定の方向に受信感度の高い指向性を有する受信ビームを形成できる場合（送受信アンテナにおいて、ＨＭＤ２１の特定方向に高い指向性利得を有する受信ビームを生成できる場合）、及び、複数の送信ビームを受信したときに利得（受信電力）の高い一部の送信ビームを復調できる場合に、フェーズＰ２のBeam Configuration、及び、フェーズＰ３のMulti-beam Transmissionを実行可能であるとのCapability情報をコンピュータローカル部５２に送信する。

（フェーズＰ２のBeam Configuration）
　図７のフェーズＰ２のBeam Configurationにおいて、ステップＳ５では、コンピュータ遠隔部５１がSetup Requestをコンピュータローカル部５２に送信する。Setup Requestには、コンピュータローカル部５２に対するBeam Searchの実行の要求、又は、実行を示す情報が含まれている。図７ではコンピュータ遠隔部５１がSetup Requestをコンピュータローカル部５２に送信しているが、ＨＭＤ２１がコンピュータローカル部５２にBeam Searchを送信する場合であってもよい。

　ステップＳ６では、コンピュータローカル部５２がSetup RequestをＨＭＤ２１に送信する。

　ステップＳ７では、コンピュータローカル部５２がBeam SearchをＨＭＤ２１に送信する。Beam Searchには、コンピュータローカル部５２（無線通信部３１の画像伝送用通信部４１）からの送信ビームに対し、ＨＭＤ２１でのAoAを推定するための情報が含まれる。

　このとき、コンピュータ２２（コンピュータ２２とみなす物）とＨＭＤ２１とが正対した状態で、または、ＨＭＤ２１が回転・移動している状態で、コンピュータローカル部５２が放射する送信ビームを時分割で切り替えてＨＭＤ２１に送信してもよい。Beam Searchには例えば形成する送信ビームごとにビーム固有の番号が含まれた情報が伝送されてもよい。

　ステップＳ８では、ＨＭＤ２１がAoA Infoフレームをコンピュータローカル部５２に送信する。AoA Infoフレームは、ステップＳ７のBeam SearchでＨＭＤ２１が受信したコンピュータローカル部５２からの各送信ビームに対して、ＨＭＤ２１が検出したＨＭＤ２１での到来方向AoAや受信信号品質を示す情報が含まれている。

＜AoA Infoフレームの構成例＞
　図９は、AoA Infoフレームの構成例を示した図である。

　AoA Infoフレームは、Frame Control情報を含む。Frame Control情報には、AoA Requestであることを示す情報が含まれる。また、AoA Infoフレームは、RA情報を含み、RA情報には、AoA Infoフレームの宛先となるコンピュータローカル部５２（無線通信部３１の画像伝送用通信部４１）を示す情報が含まれる。例えば、RA情報には、ＭＡＣ（Media Access Control）アドレスが格納されてもよいが、これに限定されない。

　また、AoA Infoフレームは、AoA情報を含み、AoA情報には、ステップＳ７のBeam SearchでＨＭＤ２１が受信した各送信ビームのAoA、及び、受信信号品質を示す情報が含まれる。図９のようにAoA情報に各ビーム♯１、♯２、・・・、♯Ｎに対するAoA、及び、受信信号品質を示す情報が含まれる。AoA情報は、複数のAoA Infoフレームに分割されてコンピュータローカル部５２に送信されてもよく、AoA情報が複数のAoA Infoフレームに分割されているか否かを示す情報がAoA情報に含まれていてもよい。

　図７のステップＳ９では、コンピュータローカル部５２がAoA Reportをコンピュータ遠隔部５１に送信する。AoA ReportにはAoA情報が含まれる。AoA Reportを受信したコンピュータ遠隔部５１（制御部６１、図３参照）は、同時にＨＭＤ２１からコンピュータローカル部５２を介してコンピュータ遠隔部５１に送信された慣性情報（不図示）に基づいて、コンピュータローカル部５２（無線通信部３１の画像伝送用通信部４１）から放射可能な送信ビームと、各送信ビームのＨＭＤ２１でのAoAとを対応させた情報を生成し記憶する。

　図７のステップＳ１０では、コンピュータ遠隔部５１がAoA Report に基づいて、Setting Reportをコンピュータローカル部５２に送信する。

　ステップＳ１１では、Setting Reportを受信したコンピュータローカル部５２がSetting ReportをＨＭＤ２１に送信する。

　Setting Reportは、フェーズＰ３のMulti-beam TransmissionにおいてＨＭＤ２１（無線通信部８１の画像伝送用通信部９１、図４参照）が設定すべき受信ビームの指向性（送受信アンテナにおける受信ビームの指向性）を示す情報が含まれる。たとえば、受信ビームの受信感度が正面方向に最大となるように、かつ、半値幅が３０°となるように受信ビームの指向性を設定することを要求する情報が含まれる。なお、受信ビームの指向性は、たとえば、コンピュータローカル部５２からの符号化情報を送信する複数の送信ビームのいずれかを半値幅の範囲に含み、かつ、複数の送信ビームを同時に半値幅の範囲に含まないような指向性に設定するようにしてもよい。

　なお、フェーズＰ２のBeam Configurationでは図７に示された情報が全て伝送される必要はなく、例えばSetting Reportのみが伝送されてもよい。

　続いて、フェーズＰ２のBeam Configurationにおけるコンピュータ２２及びＨＭＤ２１における処理について説明する。

＜コンピュータ２２がＨＭＤ２１にSetup Requestを送信する場合の処理＞
　図１０は、コンピュータ２２がフェーズＰ２のBeam Configurationを開始させる場合（コンピュータ２２がＨＭＤ２１にSetup Requestを送信する場合）においてコンピュータ２２が行うフェーズＰ２のBeam Configurationの処理例を説明するフローチャートである。

　ステップＳ４１では、コンピュータ２２がフェーズＰ２のBeam Configurationを行うか否かを判定する。コンピュータ２２がフェーズＰ２のBeam Configurationを行うと判定する場合として、任意の送信ビームのＨＭＤ２１での到来方向の変化量が所定の閾値を超えた場合、又は、コンピュータ２２が、コンピュータローカル部５２とＨＭＤ２１との間のビームの伝搬環境が変化したと判断した場合が該当するが、これらに限定されない。

　ステップＳ４１において、フェーズＰ２のBeam Configurationを行わないと判定された場合、処理はステップＳ４１乃至ステップＳ４４をスキップして本フローチャートの処理を終了する。

　ステップＳ４１において、フェーズＰ２のBeam Configurationを行うと判定された場合、処理はステップＳ４１からステップＳ４２に進む。

　ステップＳ４２では、コンピュータ２２がSetup RequestをＨＭＤ２１に送信し、フェーズＰ２のBeam Configurationを実行することを通知する。処理はステップＳ４２からステップＳ４３に進む。

　ステップＳ４３では、コンピュータ２２は、フェーズＰ２のBeam Configuration の処理を実行する。すなわち、コンピュータ２２は、Beam SearchをＨＭＤ２１に送信し、ＨＭＤ２１から図９のAoA Infoフレームを受信する。コンピュータ２２は、コンピュータローカル部５２から放射された各送信ビームのＨＭＤ２１でのAoA及び受信信号品質をAoA Infoフレームにより取得する。処理はステップＳ４３からステップＳ４４に進む。

　ステップＳ４４では、コンピュータ２２は、ステップＳ４３で取得した各送信ビームのAoAに基づいて、コンピュータ２２から放射可能な送信ビームのうち、フェーズＰ３のMulti-beam Transmissionに使用する送信ビーム（及びビーム数）を決定する。なお、フェーズＰ３のMulti-beam Transmissionに使用する送信ビームを有効ビームという。

　たとえば、コンピュータ２２は、ＨＭＤ２１でのAoAが一定角度間隔以上となるような送信ビームを有効ビームとして決定する。または、コンピュータ２２は、ＨＭＤ２１でのAoAが一定角度ｒ１間隔以上で、かつ、一定角度ｒ２間隔以下（ｒ１＜ｒ２）となる送信ビームを有効ビームとして決定する。また、コンピュータ２２は、過去に取得したＨＭＤ２１の慣性情報からＨＭＤ２１の複数の将来の状態を予測して、予測したＨＭＤ２１の複数の状態の各々においてＨＭＤ２１の受信ビームが向いている方向に近い方向から到来する送信ビームを有効ビームとして決定してもよい。ただし、有効ビームの決定方向はこれらに限定されない。処理はステップＳ４４の後に終了する。

　なお、ステップＳ４１乃至ステップＳ４４の処理の一部は、コンピュータローカル部５２で、残りはコンピュータ遠隔部５１でそれぞれ実行されてもよい。たとえば、ステップＳ４１においてコンピュータ２２がフェーズＰ２のBeam Configurationを行うか否かの判定を、コンピュータ遠隔部５１が行い、他のステップＳ４２乃至ステップＳ４４の処理は、コンピュータローカル部５２が実行してもよいが、これ限定されない。

　また、ステップＳ４１乃至ステップＳ４４における各処理は、必ずしも全てが実行される必要はなく、例えばフェーズＰ３のMulti-beam Transmissionに使用する有効ビーム（及びビーム数）の決定はフェーズＰ２のBeam Configurationにおいて実行されなくてもよい。

＜フェーズＰ３のMulti-beam Transmissionに使用する有効ビーム（及びビーム数）を決定する処理＞
　図１１は、図１０のステップＳ４４において、フェーズＰ３のMulti-beam Transmissionに使用する有効ビーム（及びビーム数）を決定する処理を説明するフローチャートである。

　ステップＳ５１では、コンピュータ２２は、AoA ReportをＨＭＤ２１から受信する。処理はステップＳ５１からステップＳ５２に進む。

　ステップＳ５２では、コンピュータ２２は、過去にＨＭＤ２１から送信された慣性情報とステップＳ５１で受信したAoA Reportとに基づいて、コンピュータ２２（無線通信部３１の画像伝送用通信部４１）から放射可能な送信ビームのうち、所要のQoS(Quality of Service)を満たす送信ビームと、そのビーム数を求める。処理はステップＳ５２からステップＳ５３に進む。

　ここで、例えば、満足すべきMotion to Photon Latencyが規定されており、コンピュータ２２から放射可能な送信ビーム（フェーズＰ３のMulti-beam Transmissionで使用可能な送信ビーム）の任意の組合せｂにおいて、第ｉビームｂ（ｉ）及び第ｊビームｂ（ｊ）（ｉ≠ｊ）に対し、ＨＭＤ２１でのAoAを各々θ（ｂ（ｉ））、θ（ｂ（ｊ））としたとき、ＨＭＤ２１の慣性情報によって求められる閾値θｃ（度）に対し、以下の式（１）を満たすようなビームの組合せｂ０及びビーム数Ｎｂが求められてもよい。

　　　　　　・・・（１）

　すなわち、Multi-beam Transmissionで使用可能な送信ビームの任意の組合せｂのうち、任意の送信ビームに対して、AoAの角度差の絶対値がθｃ以下となる他の送信ビームが存在するような送信ビームの組合せｂ’であって、最小の要素数からなる送信ビームの組合せｂ０が求められる。また、送信ビームの組合せｂ０のビーム数Ｎｂが求められる。

　なお、送信ビームおよびビーム数の決定規範は上記に限定されなくてもよい。

　ステップＳ５３では、コンピュータ２２は、ビーム数Ｎｂに相当する数の映像情報（符号化情報）をImage Transmissionによりコンピュータ遠隔部５１からコンピュータローカル部５２に送信するにあたって、コンピュータ遠隔部５１及びコンピュータローカル部５２の通信容量が足りるか否かを判定する。

　ステップＳ５３において、コンピュータ遠隔部５１及びコンピュータローカル部５２の通信容量が足りると判定された場合、処理はステップＳ５４に進み、コンピュータ遠隔部５１は、Image Transmissionでコンピュータローカル部５２に送信する映像情報の数をＮｂに決定する。ステップＳ５４の処理が終了すると本フローチャートの処理が終了する。

　一方、ステップＳ５３において、コンピュータ遠隔部５１及びコンピュータローカル部５２の通信容量が足りないと判定された場合、即ち、ビーム数Ｎｂに相当する数の映像情報をImage Transmissionでコンピュータ遠隔部５１からコンピュータローカル部５２に送信するにあたって、必要な通信レートＣ０（ｂｐｓ）がコンピュータ遠隔部５１とコンピュータローカル部５２と間の通信レートＣ（ｂｐｓ）よりも大きい場合には、処理はステップＳ５５に進む。

　ステップＳ５５では、コンピュータ２２は、Image Transmissionでコンピュータ遠隔部５１からコンピュータローカル部５２に送信する情報量を通信レートＣ０以下となるような情報量に削減する。情報量の削減は、エンコーダ部３２（図３参照）の符号化時の圧縮率を下げることにより行われてもよいし、ビーム数Ｎｂを減らしてImage Transmissionでコンピュータ遠隔部５１からコンピュータローカル部５２に送信する映像情報（符号化情報）の数を削減することにより行われてもよい。ステップＳ５５の処理が終了すると、本フローチャートの処理が終了する。

＜コンピュータ２２がフェーズＰ２のBeam Configurationを開始させる場合におけるＨＭＤ２１の処理＞
　図１２は、コンピュータ２２がフェーズＰ２のBeam Configurationを開始させる場合（コンピュータ２２がＨＭＤ２１にSetup Requestを送信する場合）におけるＨＭＤ２１の処理例を説明するフローチャートである。

　ステップＳ６１では、ＨＭＤ２１は、コンピュータ２２からのSetup Requestが通知されたか否かを判定する。

　ステップＳ６１において、Setup Requestが通知されていないと判定された場合、処理はステップＳ６２をスキップして本フローチャートの処理を終了する。

　ステップＳ６１において、Setup Requestが通知されたと判定された場合、処理はステップＳ６２に進み、ＨＭＤ２１は、フェーズＰ２のBeam Configurationの処理を実行する。ステップＳ６２の処理が終了すると、本フローチャートの処理が終了する。

　ここで、ＨＭＤ２１は、フェーズＰ２のBeam Configurationの処理を開始すると、コンピュータ２２からのBeam Searchを受信した後に各送信ビームのAoA、及び、受信信号品質を示す情報（AoA情報、図９参照）をAoA Infoフレームに格納してコンピュータ２２に送信する。このとき、ＨＭＤ２１でAoAを検出したビーム数が多い場合には、ＨＭＤ２１は、全送信ビームのAoA情報を複数のAoA Infoフレームに分けてコンピュータ２２に送信してもよい。また、複数のAoA Infoフレームに同一送信ビームのAoAの情報が含まれていてもよい。

＜ＨＭＤ２１がコンピュータ２２にSetup Requestを送信する場合におけるコンピュータ２２の処理＞
　図１３は、ＨＭＤ２１がフェーズＰ２のBeam Configurationを開始させる場合（ＨＭＤ２１がコンピュータ２２にSetup Requestを送信する場合）においてコンピュータ２２が行うフェーズＰ２のBeam Configurationの処理例を説明するフローチャートである。

　ステップＳ７１では、コンピュータ２２は、ＨＭＤ２１からSetup Requestが通知されたか否かを判定する。

　ステップＳ７１において、ＨＭＤ２１からSetup Requestが通知されていないと判定された場合、処理はステップＳ７２及びステップＳ７３をスキップして本フローチャートの処理を終了する。

　ステップＳ７１において、ＨＭＤ２１からSetup Requestが通知されたと判定された場合、処理はステップＳ７１からステップＳ７２に進む。

　ステップＳ７２では、コンピュータ２２は、フェーズＰ２のBeam Configurationを実行する。即ち、コンピュータ２２は、Beam SearchをＨＭＤ２１に送信し、ＨＭＤ２１からAoA Infoフレームを受信する。そして、コンピュータ２２は、受信したAoA Infoフレームによりコンピュータローカル部５２からの各送信ビームのＨＭＤ２１でのAoA、及び、受信信号品質の情報を取得する。処理はステップＳ７２からステップＳ７３に進む。

　ステップＳ７３では、コンピュータ２２は、ステップＳ７２で取得した各送信ビームのＨＭＤ２１でのAoA、及び、受信信号品質に基づいてフェーズＰ３のMulti-beam Transmissionにおいて変換映像情報（符号化情報）の送信に使用（同時に伝送）する有効ビーム（及びビーム数）を決定する。ステップＳ７３の処理が終了すると、本フローチャートの処理が終了する。

＜ＨＭＤ２１がフェーズＰ２のBeam Configurationを開始させる場合におけるＨＭＤ２１の処理＞
　図１４は、ＨＭＤ２１がフェーズＰ２のBeam Configurationを開始させる場合（ＨＭＤ２１がコンピュータ２２にSetup Requestを送信する場合）におけるＨＭＤ２１の処理例を説明するフローチャートである。

　ステップＳ８１では、ＨＭＤ２１は、フェーズＰ２のBeam Configurationを行うか否かを判定する。

　ＨＭＤ２１がフェーズＰ２のBeam Configurationを行うと判定する場合として、コンピュータ２２からの任意の送信ビームに対するＨＭＤ２１でのAoAの変化量が所定の閾値を超えた場合がある。

　また、ＨＭＤ２１がフェーズＰ２のBeam Configurationを行うと判定する場合として、ＨＭＤ２１がコンピュータローカル部５２とＨＭＤ２１との間の伝搬環境が変化したと判定した場合がある。

　さらに、ＨＭＤ２１がフェーズＰ２のBeam Configurationを行うと判定する場合として、ＨＭＤ２１で取得された慣性情報をもとにＨＭＤ２１の移動量が所定の閾値を超えた場合がある。ただし、ＨＭＤ２１がフェーズＰ２のBeam Configurationを行うと判定する場合はこれに限らない。

　ステップＳ８１において、フェーズＰ２のBeam Configurationを行わないと判定された場合、処理はステップＳ８２及びステップＳ８３をスキップして、本フローチャートの処理を終了する。

　ステップＳ８１において、フェーズＰ２のBeam Configurationを行うと判定された場合、処理はステップＳ８１からステップＳ８２に進む。

　ステップＳ８２では、ＨＭＤ２１は、コンピュータ２２にSetup Requestを通知して、フェーズＰ２のBeam Configurationを実行するよう要求する。処理はステップＳ８２からステップＳ８３に進む。

　ステップＳ８３では、ＨＭＤ２１は、Beam Configurationを実行する。即ち、ＨＭＤ２１は、コンピュータローカル部５２からのBeam Searchを受信した後に各送信ビームのAoA、及び、受信信号品質の情報（AoA情報、図９参照）をAoA Infoフレームに格納してコンピュータ２２に送信する。ステップＳ８３の処理が終了すると、本フローチャートの処理が終了する。

（フェーズＰ３のMulti-Beam Transmission）
　コンピュータ２２は、過去にＨＭＤ２１からコンピュータ２２に送信されたＨＭＤ２１の慣性情報やトラッカ３５（図３参照）の情報に基づいて、図７のフェーズＰ３のMulti-Beam Transmissionにおける映像情報（符号化情報）受信時のＨＭＤ２１の将来の状態を予測する。ここで、ＨＭＤ２１の状態（将来の情報）とはＨＭＤ２１が向く方向（正面方向）やＨＭＤ２１の位置（３次元座標）であってもよいが、これに限定されない。また、ＨＭＤ２１の将来の状態として複数の状態が予測されるとしたが１つの状態であってもよい。

　コンピュータ２２（映像生成部３４）でレンダリングにより生成された原映像情報は、ＨＭＤ２１の将来の状態に則した変換映像情報に映像変換される。変換映像情報は、エンコーダ部３２（図３参照）で符号化されて符号化情報に変換された後、無線通信部３１（図３参照）により、符号化情報に割り当てたれた送信ビーム（有効ビーム）によりＨＭＤ２１に送信される。なお、ＨＭＤ２１の将来の状態においてＨＭＤ２１の形成する受信ビームが向く方向に最も近い方向をAoAとする送信ビームが、その将来の状態に則して生成された符号化情報を送信する送信ビームとして割り当てられる。

　図７ではＨＭＤ２１のｎ個の将来の状態が予測され、計ｎ本の送信ビームにより符号化情報がImage Dataとしてコンピュータローカル部５２からＨＭＤ２１に送信される場合が示されている。

　図７のステップＳ１２では、図３のコンピュータ遠隔部５１の映像生成部３４で原映像情報から変換された変換映像情報がエンコーダ部３２で符号化情報に符号化された後、コンピュータ遠隔部５１からコンピュータローカル部５２にコア通信部６２及びコア通信部７２を介してImage Transmissionとして送信される。

　ステップＳ１３では、コンピュータローカル部５２の無線通信部３１（図３参照）は、受信したImage Transmission（符号化情報）を、割り当てられた送信ビームによりImage DataとしてＨＭＤ２１に送信する。

　尚、1つの符号化情報が、無線通信部３１において複数に分割されて複数のImage DataとしＨＭＤ２１に送信されてもよい。また、１回のMulti-Beam Transmissionにおいて複数のImage Dataが連続してＨＭＤ２１に送信されてもよい。

　また、ステップＳ１４では、コンピュータローカル部５２はAck RequestをＨＭＤ２１に送信する。Ack Requestは、直前に送信したImage Dataに対する受信応答を要求することが示された情報が含まれる。

　ステップＳ１５では、ＨＭＤ２１は、Ackフレームをコンピュータローカル部５２に送信する。

＜Ackフレームの構成例＞
　図１５は、Ackフレームの構成例を示した図である。

　Ackフレームは、Image Dataが誤りなく正しくＨＭＤ２１で受信されたかを示す情報が含まれる。Frame Control情報、及び、RA情報は、図９のAoA Infoと同様であり、Frame Control情報は本フレームがAckフレームであることを示す情報が含まれる。RA情報は受信されるべき宛先の無線通信端末（コンピュータローカル部５２の無線通信部３１）を示す情報が含まれる。例えば、無線通信端末を示す情報はMACアドレスでもよいが、これに限定されない。

　Ack Info情報は、Ackフレームの直前に受信した複数のImage Dataに関する情報としてのBitmap及びAoAを含んでいる。

　Bitmapは、Image Dataを正しく受信したかを示す情報を格納する。たとえば、直前にImage DataをＮフレーム受信している場合、Bitmap#1乃至#Nは各フレームを誤りなく正しく受信したことを示す情報を含んでいる。Bitmap#1乃至#Nは、各フレームを正しく受信した場合に“１”、正しく受信していない場合に“０”を格納してもよいが、これに限定されない。

　また、AoAは直前にＨＭＤ２１で受信したImage DataのビームのAoAを示す情報が含まれる。例えば、直前にImage DataがＮフレーム分受信されている場合、その中のＫフレーム分の送信ビームのAoAを示す情報がAoA＃１乃至＃Ｋに含まれてもよい。

　図７のステップＳ１６では、Ackフレームを受信したコンピュータローカル部５２がAck Reportをコンピュータ遠隔部５１に送信する。

＜フェーズＰ３のMulti-Beam Transmissionにおいてコンピュータ２２が行う処理＞
　図１６は、フェーズＰ３のMulti-Beam Transmissionにおいてコンピュータ２２が行う処理例を説明するフローチャートである。

　ステップＳ９１では、コンピュータ２２は、事前に交換したCapability情報のうち、VR Gaming Modeの情報に基づいて、ＨＭＤ２１がフェーズＰ３のMulti-Beam Transmissionに対応しているか否かを判定する。

　ステップＳ９１において、ＨＭＤ２１がフェーズＰ３のMulti-Beam Transmissionに対応していないと判定された場合、処理はステップＳ９２に進み、コンピュータ２２は、通信品質が高いビームを選択してImage DataをＨＭＤ２１に送信して、本フローチャートの処理が終了する。

　ステップＳ９１において、ＨＭＤ２１がフェーズＰ３のMulti-Beam Transmissionに対応していると判定された場合、処理はステップＳ９１からステップＳ９３に進み、コンピュータ２２は、Multi-Beam Transmissionを開始する。

　ステップＳ９３では、コンピュータ２２は、Multi-Beam Transmissionで使用する送信ビーム（有効ビーム）を選択する。処理はステップＳ９３からステップＳ９４に進む。

　ステップＳ９４では、コンピュータ２２は、選択した複数の送信ビームに各々対応した映像変換を原映像情報に施し、Image Deta（符号化情報）を生成する。処理はステップＳ９４からステップＳ９５に進む。

　ステップＳ９５では、コンピュータ２２は、選択された送信ビームによりImage DetaをそれぞれＨＭＤ２１に送信する。ステップＳ９５の処理が終了すると、本フローチャートの処理が終了する。

　なお、ビームの選択はMulti-beam Transmissionで実行されなくてもよい。

　また、ステップＳ９１乃至ステップＳ９５の各処理はコンピュータ遠隔部５１又はコンピュータローカル部５２のいずれにおいて実行されてもよく、全ての処理がコンピュータ遠隔部５１又はコンピュータローカル部５２のいずれか一方で実行される必要はない。

＜フェーズＰ３のMulti-Beam TransmissionにおいてＨＭＤ２１が行う処理＞
　図１７は、フェーズＰ３のMulti-Beam TransmissionにおいてＨＭＤ２１が行う処理例を説明するフローチャートである。

　ステップＳ１０１では、ＨＭＤ２１は、事前に交換したCapability情報のうち、VR Gaming Modeの情報に基づいて、コンピュータ２２がMulti-Beam Transmissionに対応しているか否かを判定する。

　ステップＳ１０１において、コンピュータ２２がMulti-Beam Transmissionに対応していないと判定された場合、処理はステップＳ１０１からステップＳ１０２に進む。ステップＳ１０２では、ＨＭＤ２１は、通信品質が高いビームを選択してコンピュータ２２からのImage Dataの受信及び復調を行い、処理は、ステップＳ１０５に進む。

　ステップＳ１０１において、コンピュータ２２がMulti-Beam Transmissionに対応している判定された場合、処理はステップＳ１０１からステップＳ１０３に進む。

　ステップＳ１０３では、ＨＭＤ２１は、コンピュータ２２からの送信ビームを受信するアンテナの指向性を、予めコンピュータ２２とＨＭＤ２１との間で決められた状態に設定する。ＨＭＤ２１の受信ビームの指向性はフェーズＰ２のBeam ConfigurationにおけるSetting Reportに含まれる情報やCapability情報に基づいて決定されてもよい。

　ステップＳ１０４では、ＨＭＤ２１は、コンピュータ２２からのImage Dataを受信する。また、ＨＭＤ２１は、所定の選択規範に従って選択した送信ビームにより送信されたImage Dataを受信する。たとえば、ＨＭＤ２１は、到来した複数の送信ビームのうち、受信電力（受信利得）が最も高い送信ビームだけを選択して受信してもよいが、選択規範はこれに限定されない。図中には記載はないが、ＨＭＤ２１内で得られた慣性情報に応じてＨＭＤ２１の受信ビームの指向性を変更してもよい。例えば、受信ビームの半値幅を変更することがなされてもよい。処理はステップＳ１０４からステップＳ１０５に進む。

　ステップＳ１０５では、ＨＭＤ２１は、受信したImage Dataに復号処理や描画処理を施して映像情報を生成してディスプレイ８６に表示させる。ステップＳ１０５の処理が終了すると本フローチャートの処理が終了する。

　なお、フェーズＰ３のMulti-beam Transmissionにおいて、図７の全体シーケンス図に示されたメッセージ交換が全て実行される必要はなく、例えばAck Request、Ack、又は、Ack Reportが省略されて実行されてもよい。

＜＜実施の形態２＞＞
＜実施の形態２の処理の概要＞
　図２の第１構成例のコンピュータ２２で構成される情報処理システム１１の実施の形態２について説明する。

　図１８は、情報処理システム１１の実施の形態２の処理の概要を示した図である。

　図１８は、図５と同様に、時間軸（横軸）が一定時間間隔のタイムスロットで区切られ、タイムスロット単位で時刻ｔ０、ｔ１、ｔ２、・・・が表される。図１８は、時間軸に対応してコンピュータ２２、及び、ＨＭＤ２１の各々において行われる各種処理のタイミングを表す。

　コンピュータ２２はＨＭＤ２１と同じ建物内など比較的近傍にあり、直接ＨＭＤ２１と無線通信を行う。

　コンピュータ２２では、映像生成部３４（図２参照）は、時刻ｔ０から時刻ｔ２までの期間において、制御部３３（図２参照）から与えられた例えば３次元グラフィックスでの数値データをレンダリングにより映像化し、ＨＭＤ２１に表示させる原映像情報を生成する。そして、映像生成部３４は、生成した原映像情報を、将来の時刻ｔ５でのＨＭＤ２１の将来の状態に則した変換映像情報に変換する。

　制御部３３は、映像生成部３４が原映像情報を生成した時刻ｔ２においてＨＭＤ２１から既に取得している直近（最新）までの慣性情報θ（ｔ）（ｔはｔ１以前の時刻）に基づいて、時刻ｔ５におけるＨＭＤ２１の複数の将来の状態であって、ＨＭＤ２１の正面方向が異なる複数の状態を予測し、予測したＨＭＤ２１の複数の将来の状態を映像生成部３４に供給する。慣性情報θ（ｔ）については図５と同様であるので説明は省略する。

　映像生成部３４は、時刻ｔ５でのＨＭＤ２１の複数の将来の状態の各々に則した変換映像情報を原映像情報に対する映像変換により生成する。

　エンコーダ部３２は、映像生成部３４により生成されたＨＭＤ２１の複数の将来の状態に対応した変換映像情報を、それぞれ独立に符号化情報へとエンコードし、無線通信部３１に送信する。

　無線通信部３１（画像伝送用通信部４１）は、指向性を有する複数のビーム♯１乃至♯Ｎ（Ｎは２以上）を生成して、ビーム♯１乃至♯Ｎの各々によりエンコーダ部３２からの複数の符号映像情報の各々をＨＭＤ２１に送信する。ビーム♯１乃至♯Ｎについては図５と同じであるので説明を省略する。

　制御部３３は、無線通信部３１から放射可能な送信ビームのうちから、複数の符号化情報の各々を送信する送信ビームを割り当てる。制御部３３は、例えば、予測したＨＭＤ２１の複数の将来の状態の各々の状態を想定した場合に、想定した状態におけるＨＭＤ２１の形成する受信ビームが向いている方向に対し最も近い方向から到来する到来方向となる送信ビームを、想定した状態に対応して生成された符号化情報を送信する送信ビームとして割り当てる。

　そして、制御部３３は、無線通信部３１に対して各符号化情報に対する送信ビームの割り当てを示すビーム割当情報を供給する。

　無線通信部３１は、エンコーダ部３２からの複数の符号化情報の各々を、制御部３３からのビーム割当情報にしたがった送信ビームにより画像伝送用通信部４１からＨＭＤ２１に送信する。

　ＨＭＤ２１は、無線通信部８１の画像伝送用通信部９１（図４参照）において、ビームの受信感度を特定の方向に強くして指向性を有するよう受信ビームを形成する。画像伝送用通信部９１は、例えば、ＨＭＤ２１の形成する受信ビームが向く方向に対し受信電力が最大となるような指向性の受信ビームを形成する。画像伝送用通信部９１は、コンピュータ２２の無線通信部３１（画像伝送用通信部４１）から放射された複数のビーム＃１乃至＃Ｎの送信ビームのうち、ＨＭＤ２１の受信ビームが向く（受信ビームの受信電力が最大となる方向）に最も近い方向から到来する到来方向の送信ビームにより送信された符号化情報のみを受信する。

　すなわち、コンピュータ２２の制御部３３により予測された時刻ｔ５でのＨＭＤ２１の複数の将来の状態のうち、時刻ｔ５における実際のＨＭＤ２１の状態に最も近い状態に対応した符号化情報が、ＨＭＤ２１の受信ビームの向く方向に最も近い方向から到来する送信ビームによりＨＭＤ２１に送信される。ＨＭＤ２１の無線通信部８１は、例えば、画像伝送用通信部９１に到来する送信ビームのうち、受信電力が最も高い送信ビームのみを復調して、そのビームにより送信された符号化情報を受信する。

　ＨＭＤ２１において、無線通信部８１は、時刻ｔ５においてコンピュータ２２の無線通信部３１から放射されたビーム＃１乃至＃Ｎのうち、ビーム♯ａにより送信された符号化情報♯１－ａ、♯２－ａを連続して２フレーム分受信したことを示す。また、無線通信部８１は、その後も時刻ｔ７まで符号化情報の受信を継続する。時刻ｔ５から時刻ｔ７までの期間において、ＨＭＤ２１の状態が変化することから、無線通信部８１は、時刻ｔ７までにビーム♯ａとは別のビーム♯ｍにより送信された符号化情報♯ｋ－ｍを受信した場合が例示されている。

　無線通信部３１により受信された符号化情報は、図４の映像生成部８４において復号処理等の描画処理が施されて、コンピュータ２２のエンコーダ部３２により符号化される前の変換映像情報が記憶部８５に一時的に格納される。そして、時刻ｔ５から時刻ｔ７までの期間で受信された符号化情報の描画処理が終了した時刻ｔ８から記憶部８５に記憶された映像情報がディスプレイ８６に表示される。

　ＨＭＤ２１が、コンピュータ２２からの符号化情報の受信を開始した時刻ｔ５から、その符号化情報の映像情報のディスプレイ８６への表示を開始した時刻ｔ８までの期間Motion to Photon Latencyは、表示に関する遅延時間を表し、主に伝送遅延と描画遅延の和となる。図５の実施の形態１と同様に本技術を適用したことにより、遅延時間は大幅に低減される。

　また、ＨＭＤ２１は、ＨＭＤ２１自身の状態に則した映像情報を受信するため、ＨＭＤ２１で映像情報を補正する必要がなく、ＨＭＤ２１の処理能力を低減させることができる。したがって、ＨＭＤ２１の小型化、軽量化、低コスト化を図ることができる。

＜実施の形態２の処理の詳細＞
　図１９は、情報処理システム１１の実施の形態２における全体シーケンス図である。

　実施の形態２においても、実施の形態１と同様にCapability Exchange、Beam Configuration、Multi-beam Transmissionの３つのフェーズＰ１、Ｐ２、Ｐ３を想定すると、コンピュータ２２とＨＭＤ２１との間でやり取りされる情報も実施の形態１におけるコンピュータローカル部５２とＨＭＤ２１との間の情報のやり取りされる情報と同じである。

　すなわち、図１９のフェーズＰ１のCapability ExchangeにおけるステップＳ１１１及びステップＳ１１２は、図７のフェーズＰ１のCapability ExchangeにおけるステップＳ２及びステップＳ３に対応する。図１９のフェーズＰ２のBeam Configurationにおけるステップ１１３乃至ステップＳ１１６は、図７のフェーズＰ２のBeam ConfigurationにおけるステップＳ６乃至ステップＳ８、及び、ステップＳ１１に対応する。図１９のフェーズＰ３のMulti-beam TransmissionにおけるステップＳ１１７乃至ステップＳ１１９は、図７のフェーズＰ３のMulti-beam TransmissionにおけるステップＳ１３乃至ステップＳ１５に対応する。

　尚、図１９ではフェーズＰ２のBeam Configurationにおいてコンピュータ２２側からSetup Requestが実施されているが、実施の形態１と同様に、Setup RequestはＨＭＤ２１から実施されてもよい。

＜実施の形態２のフェーズＰ３のImage Transmissionにおいて符号化情報の同時伝送に使用するビームを決定する処理＞
　図２０は、実施の形態２のフェーズＰ３のImage Transmissionにおいて符号化情報の同時伝送に使用するビームを決定する処理を説明するフローチャートである。

　実施の形態１ではコンピュータ遠隔部５１とコンピュータローカル部５２との間の通信容量によって、同時に伝送できる映像情報の数に限界が生じる場合に言及したが、実施の形態２においてはコンピュータ２２の演算性能限界によって、生成できる変換映像情報（符号化情報）の数が制限されることを想定している。例えばコンピュータ２２の演算性能限界により、変換映像情報がＮ０までしか生成することができなければ、Ｎ０を固定的な閾値として生成可能な変換映像情報の数の上限をＮ０としてもよい。ただし、閾値はこれに限定されない。

　ステップＳ１２１では、コンピュータ２２は、AoA Report（AoA info）をＨＭＤ２１から受信する。処理はステップＳ１２１からステップＳ１２２に進む。

　ステップＳ１２２では、コンピュータ２２は、過去にフィードバックされたＨＭＤ２１の慣性情報とAoA Reportとを基に、所要のQoS(Quality of Service)を満たす送信ビームを求める。処理はステップＳ１２２からステップＳ１２３に進む。

　ステップＳ１２３では、コンピュータ２２は、コンピュータ２２の演算性能で、前記QoSを満たす送信ビームのビーム数Ｎｂに相当する数の映像情報をImage TransmissionでＨＭＤ２１に送信できるか否かを判定する。

　ステップＳ１２３において、ビーム数Ｎｂに相当する数の映像情報をImage TransmissionでＨＭＤ２１に送信できると判定された場合、処理はステップＳ１２４に進み、コンピュータ２２は、Image Transmissionで送る映像情報の数をＮｂに決定する。ステップＳ１２３の処理が終了すると、本フローチャートの処理が終了する。

　一方、ステップＳ１２３において、ビーム数Ｎｂに相当する数の映像情報をImage TransmissionでＨＭＤ２１に送信できないと判定された場合、処理はステップＳ１２５に進み、コンピュータ２２は、Image Transmissionで送信する映像情報の数をＮｂよりも少ない数に削減する。すなわち、全ての映像情報を送信ビームによりＨＭＤ２１に送信することができないため、コンピュータ２２は、Image Transmissionで送る映像情報の数をコンピュータ２２の演算性能で生成できる数に削減する。ステップＳ１２５の処理が終了すると、本フローチャートの処理が終了する。

　以上の本技術によれば、ＨＭＤ２１は、状態に則した映像情報を受信するため、ＨＭＤ２１において映像補正などの処理を行う必要がないので、ＨＭＤ２１の処理能力を低減させることができる。したがって、ＨＭＤ２１の小型化、軽量化、低コスト化を図ることができる。

　また、ＨＭＤ２１は、コンピュータ２２から同時に送信される複数の送信ビームのうち、基本的にＨＭＤ２１の形成する受信ビームが向いている方向に最も近い方向から到来した送信ビームの映像情報（符号化情報）を受信すれば、ＨＭＤ２１の状態に則した映像情報が得られるため、ビームの選択が不要であり、処理負担の増加は生じない。

　また、ＨＭＤ２１の移動など状態変化が生じた場合であっても、適宜、映像情報を送信する送信ビームを変更することで、ＨＭＤ２１の状態変化に追従した最適な伝送路を確保でき、信号品質を向上することができる。

＜プログラム＞
　図１のコンピュータ２２、図１のＨＭＤ２１、図３のコンピュータ遠隔部５１、図３のコンピュータローカル部５２の処理の一部及び全ては、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　なお、本技術は、以下のような構成も取ることができる。
＜１＞　表示装置から送信された慣性情報に基づいて映像情報を変換して複数の異なる変換映像情報を生成する映像生成部と、
　前記映像生成部により生成された複数の異なる前記変換映像情報を互いに異なるビームにより前記表示装置に送信する無線通信部と
　を有する映像送信装置。
＜２＞　前記変換映像情報を符号化情報に符号化するエンコーダ部
　をさらに有し、
　前記無線通信部は、前記符号化情報を前記表示装置に送信する
　＜１＞に記載の映像送信装置。
＜３＞　前記映像生成部は、前記慣性情報に基づいて予測された前記映像情報を受信する前記表示装置の状態に則した前記変換映像情報を生成する
　＜１＞又は＜２＞に記載の映像送信装置。
＜４＞　前記無線通信部は、前記表示装置の前記状態に則した前記変換映像情報を、前記表示装置が前記状態で受信可能なビームにより送信する
　＜３＞に記載の映像送信装置。
＜５＞　前記無線通信部に対して、前記変換映像情報を前記ビームにより送信するように制御する制御部
　をさらに有する
　＜４＞に記載の映像送信装置。
＜６＞　前記無線通信部から送信された複数の異なるビームの前記表示装置での到来方向に関する通知情報が前記表示装置から取得される
　＜１＞乃至＜５＞のいずれかに記載の映像送信装置。
＜７＞　前記表示装置からの前記通知情報に基づいて、前記表示装置に対してビームの指向性を形成することの要求が行われる
　＜６＞に記載の映像送信装置。
＜８＞　前記表示装置からの前記通知情報に基づいて、前記無線通信部から送信可能な複数のビームのうち、前記変換映像情報の送信に使用するビームが選択される
　＜６＞又は＜７＞に記載の映像送信装置。
＜９＞　前記無線通信部からの前記変換映像情報の送信に使用するビームの数が前記映像送信装置の演算性能に基づいて制御される
　＜１＞乃至＜８＞のいずれかに記載の映像送信装置。
＜１０＞　前記映像生成部を有する第１の装置部と、前記無線通信部を有する第２の装置部と
　を有し、
　前記第１の装置部と前記第２の装置部が通信可能に接続される
　＜１＞乃至＜９＞に記載の映像送信装置。
＜１１＞　前記第１の装置部は、
　　前記表示装置からの前記慣性情報に基づいて前記表示装置が受信動作を行い得る複数の状態を予測する第１の制御部と、
　　前記映像生成部で生成された前記変換映像情報であって、前記第１の制御部により予測された前記複数の状態に則して生成された複数の前記変換映像情報の各々を符号化情報に符号化するエンコーダ部と、
　　前記符号化情報を前記第２の装置部に送信し、かつ、前記表示装置からの前記慣性情報を前記第２の装置部から受信する第１の通信部と
　をさらに有する
　＜１０＞に記載の映像送信装置。
＜１２＞　前記第２の装置部は、
　　前記第１の装置部から前記符号化情報を受信し、かつ、前記表示装置からの前記慣性情報を前記第１の装置部に送信する第２の通信部と、
　　前記無線通信部に対して前記変換映像情報ごとに互いに異なるビームにより前記変換映像情報を符号化した前記符号化情報を送信するように制御する第２の制御部と
　をさらに有する
　＜１１＞に記載の映像送信装置。
＜１３＞　前記第１の制御部及び前記第２の制御部のうちの少なくとも一方が、前記第１の装置部と前記第２の制御部との間の通信容量により、前記無線通信部からの前記符号化情報の送信に使用するビームの数を制御する
　＜１２＞に記載の映像送信装置。
＜１４＞　映像送信装置から到来する複数のビームのうちの一部を復調する無線通信部と、
　前記無線通信部により前記ビームを復調して得られた映像情報を表示するディスプレイと、
　計測により慣性情報を取得する位置モジュールと、
　前記位置モジュールにより取得された前記慣性情報を前記映像送信装置に送信する慣性情報通信部と
　を有する表示装置。
＜１５＞　前記無線通信部により前記ビームを復調して得られた前記映像情報を符号化した符号化情報を前記映像情報に変換する映像生成部
　をさらに有する
　＜１４＞に記載の表示装置。
＜１６＞　前記映像送信装置から複数の異なるビームにより前記映像情報が送信される場合に、前記ビームごとの到来方向に関する情報を前記映像送信装置に通知する
　＜１４＞又は＜１５＞に記載の表示装置。
＜１７＞　前記無線通信部は、前記映像送信装置からの要求に従ったビームを形成する
　＜１４＞乃至＜１６＞のいずれかに記載の表示装置。
＜１８＞　前記映像送信装置から送信されるビームの到来方向に関する情報を取得するための処理を実施することの前記映像送信装置に対する要求が前記位置モジュールで取得された慣性情報に基づいて行われる
　＜１４＞乃至＜１７＞のいずれかに記載の表示装置。
＜１９＞　複数の異なるビームにより映像情報を送信する前記映像送信装置に対応した表示装置であることを示す能力情報が前記映像送信装置に通知される
　＜１４＞乃至＜１８＞のいずれかに記載の表示装置。
＜２０＞　前記位置モジュールで得られた慣性情報に基づいて前記無線通信部により形成するビームの指向性が制御される
　＜１４＞乃至＜１９＞のいずれかに記載の表示装置

　１１　情報処理システム，　２１　ＨＭＤ，　２２　コンピュータ，　３１，８１　無線通信部，　３２　エンコーダ部，　３３，６１，７１，８２　制御部，　３４，８４　映像生成部，　５１　コンピュータ遠隔部，　５２　コンピュータローカル部，　８３　位置モジュール群，　８６　ディスプレイ

Claims

　表示装置から送信された慣性情報に基づいて映像情報を変換して複数の異なる変換映像情報を生成する映像生成部と、
　前記映像生成部により生成された複数の異なる前記変換映像情報を互いに異なるビームにより前記表示装置に送信する無線通信部と
　を有する映像送信装置。
　前記変換映像情報を符号化情報に符号化するエンコーダ部
　をさらに有し、
　前記無線通信部は、前記符号化情報を前記表示装置に送信する
　請求項１に記載の映像送信装置。
　前記映像生成部は、前記慣性情報に基づいて予測された前記映像情報を受信する前記表示装置の状態に則した前記変換映像情報を生成する
　請求項１に記載の映像送信装置。
　前記無線通信部は、前記表示装置の前記状態に則した前記変換映像情報を、前記表示装置が前記状態で受信可能なビームにより送信する
　請求項３に記載の映像送信装置。
　前記無線通信部に対して、前記変換映像情報を前記ビームにより送信するように制御する制御部
　をさらに有する
　請求項４に記載の映像送信装置。
　前記無線通信部から送信された複数の異なるビームの前記表示装置での到来方向に関する通知情報が前記表示装置から取得される
　請求項１に記載の映像送信装置。
　前記表示装置からの前記通知情報に基づいて、前記表示装置に対してビームの指向性を形成することの要求が行われる
　請求項６に記載の映像送信装置。
　前記表示装置からの前記通知情報に基づいて、前記無線通信部から送信可能な複数のビームのうち、前記変換映像情報の送信に使用するビームが選択される
　請求項６に記載の映像送信装置。
　前記無線通信部からの前記変換映像情報の送信に使用するビームの数が前記映像送信装置の演算性能に基づいて制御される
　請求項１に記載の映像送信装置。
　前記映像生成部を有する第１の装置部と、前記無線通信部を有する第２の装置部と
　を有し、
　前記第１の装置部と前記第２の装置部が通信可能に接続される
　請求項１に記載の映像送信装置。
　前記第１の装置部は、
　　前記表示装置からの前記慣性情報に基づいて前記表示装置が受信動作を行い得る複数の状態を予測する第１の制御部と、
　　前記映像生成部で生成された前記変換映像情報であって、前記第１の制御部により予測された前記複数の状態に則して生成された複数の前記変換映像情報の各々を符号化情報に符号化するエンコーダ部と、
　　前記符号化情報を前記第２の装置部に送信し、かつ、前記表示装置からの前記慣性情報を前記第２の装置部から受信する第１の通信部と
　をさらに有する
　請求項１０に記載の映像送信装置。
　前記第２の装置部は、
　　前記第１の装置部から前記符号化情報を受信し、かつ、前記表示装置からの前記慣性情報を前記第１の装置部に送信する第２の通信部と、
　　前記無線通信部に対して前記変換映像情報ごとに互いに異なるビームにより前記変換映像情報を符号化した前記符号化情報を送信するように制御する第２の制御部と
　をさらに有する
　請求項１１に記載の映像送信装置。
　前記第１の制御部及び前記第２の制御部のうちの少なくとも一方が、前記第１の装置部と前記第２の制御部との間の通信容量により、前記無線通信部からの前記符号化情報の送信に使用するビームの数を制御する
　請求項１２に記載の映像送信装置。
　映像送信装置から到来する複数のビームのうちの一部を復調する無線通信部と、
　前記無線通信部により前記ビームを復調して得られた映像情報を表示するディスプレイと、
　計測して慣性情報を取得する位置モジュールと、
　前記位置モジュールにより取得された前記慣性情報を前記映像送信装置に送信する慣性情報通信部と
　を有する表示装置。
　前記無線通信部により前記ビームを復調して得られた前記映像情報を符号化した符号化情報を前記映像情報に変換する映像生成部
　をさらに有する
　請求項１４に記載の表示装置。
　前記映像送信装置から複数の異なるビームにより前記映像情報が送信される場合に、前記ビームごとの到来方向に関する情報を前記映像送信装置に通知する
　請求項１４に記載の表示装置。
　前記無線通信部は、前記映像送信装置からの要求に従ったビームを形成する
　請求項１４に記載の表示装置。
　前記映像送信装置から送信されるビームの到来方向に関する情報を取得するための処理を実施することの前記映像送信装置に対する要求が前記位置モジュールで取得された慣性情報に基づいて行われる
　請求項１４に記載の表示装置。
　複数の異なるビームにより映像情報を送信する前記映像送信装置に対応した表示装置であることを示す能力情報が前記映像送信装置に通知される
　請求項１４に記載の表示装置。
　前記位置モジュールで得られた慣性情報に基づいて前記無線通信部により形成するビームの指向性が制御される
　請求項１４に記載の表示装置。