WO2017099077A1

WO2017099077A1 - 通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム

Info

Publication number: WO2017099077A1
Application number: PCT/JP2016/086230
Authority: WO
Inventors: 良雄宮崎; 克嘉大西
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2015-12-11
Filing date: 2016-12-06
Publication date: 2017-06-15
Also published as: JPWO2017099077A1; US10546556B2; US20180357980A1; JP6577598B2

Abstract

通信品質が高い通信経路の特定に要する時間を短くできる通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラムを提供する。画像取得部（７２）は、通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する。通信経路特定部（７４）は、画像取得部（７２）が取得する画像に基づいて、通信装置と通信相手との通信における反射面での反射を経由する通信経路を特定する。

Description

通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム

　本発明は、通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラムに関する。

　通信装置と通信相手との間の通信経路が電波を遮蔽する遮蔽物で遮られると通信品質が悪くなる。このことはミリ波のような直進性が強い電波による無線通信では特に顕著である。

　このように通信品質が悪くなった際に、例えば様々な方向の通信経路のなかから通信品質が高い通信経路を特定した上で、当該通信経路が通信に用いられるよう通信経路を変更することで、通信品質は回復する。

　しかし様々な方向の通信経路のなかから通信品質が高い通信経路を特定する場合は、個々の通信経路について通信品質を確認する必要があり、その結果、通信品質が高い通信経路の特定に一定程度の時間がかかってしまう。

　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、通信品質が高い通信経路の特定に要する時間を短くできる通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラムを提供することにある。

　上記課題を解決するために、本発明に係る通信経路特定装置は、通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する画像取得部と、前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定する通信経路特定部と、を含む。

　本発明の一態様では、前記通信経路特定部は、前記通信装置と前記通信相手との間の通信の通信品質が所定の品質より低くなった際に、前記通信経路を特定する。

　あるいは、前記通信経路特定部は、前記通信装置と前記通信相手との間の電波の遮蔽物の存在が確認された際に、前記通信経路を特定する。

　また、本発明に係るヘッドマウントディスプレイは、ヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイ及び当該ヘッドマウントディスプレイの通信相手の少なくとも一方がおかれた環境の画像を取得する画像取得部と、前記画像に基づいて、前記ヘッドマウントディスプレイと前記通信相手との通信における反射面での反射を経由する通信経路を特定する通信経路特定部と、を含む。

　また、本発明に係る通信経路特定方法は、通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得するステップと、前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定するステップと、を含む。

　また、本発明に係るプログラムは、通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する手順、前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定する手順、をコンピュータに実行させる。

本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。本発明の一実施形態に係る中継装置の構成の一例を示す図である。本実施形態に係る映像表示システムが部屋に配置されている様子の一例を模式的に示す図である。本実施形態に係る映像表示システムが部屋に配置されている様子の一例を模式的に示す図である。セクタレベルスイープにおける主ビーム方向の複数の候補の一例を模式的に示すセクタ候補図である。セクタ候補図における角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。本発明の一実施形態に係る中継装置で実装される機能の一例を示す機能ブロック図である。１次候補セクタデータの一例を示す図である。本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。

　以下、本発明の一実施形態について、図面を参照しながら説明する。

　図１は、本発明の一実施形態に係る映像表示システム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係る中継装置１６の構成の一例を示す図である。

　図１に示すように、本実施形態に係る映像表示システム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。

　本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、制御部３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、音声出力部４２が含まれる。

　制御部３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

　記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、制御部３０によって実行されるプログラムなどが記憶される。

　通信部３４は、例えばアレイアンテナが内蔵された無線ＬＡＮモジュールなどの通信インタフェースである。本実施形態では図１に示すように、通信部３４は、ＨＭＤ１２の前側上方に配置されている。

　入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。

　表示部３８は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部３８は、ＨＭＤ１２の筐体に収容される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

　センサ部４０は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部４０は、ＨＭＤ１２の回転量、移動量などの計測結果を所定のフレームレートで、制御部３０に出力する。

　音声出力部４２は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部４２は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。

　本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。

　本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。

　本実施形態に係る中継装置１６には、例えば図２Ｂに示すように、制御部５０、記憶部５２、通信部５４、入出力部５６が含まれる。

　制御部５０は、例えば制御回路、又は、中継装置１６にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

　記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部５２には、制御部５０によって実行されるプログラムなどが記憶される。

　通信部５４は、例えばアレイアンテナが内蔵された無線ＬＡＮモジュールなどの通信インタフェースなどである。本実施形態では、図１に示すように、中継装置１６の前側に、通信部５４が含まれている。

　入出力部５６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。

　本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。

　本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。

　ＨＭＤ１２と中継装置１６とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。

　本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。

　図３Ａ及び図３Ｂは、本実施形態に係る映像表示システム１０が部屋６０に配置されている様子の一例を模式的に示す図である。図３Ａに示すように、映像表示システム１０が配置された部屋には、ソファー、花瓶、カーテン、ライトなどといった様々な物体が配置されている。図３Ａに示す状況では、ＨＭＤ１２は、ＨＭＤ１２と中継装置１６とを結ぶ直線に沿った通信経路Ａ０で中継装置１６との間で通信を行っていることとする。また本実施形態では、ＨＭＤ１２と中継装置１６との間では６０ＧＨｚ帯などといったミリ波による無線通信が行われていることとする。

　ここで例えば、図３Ｂに示すように、ＨＭＤ１２と中継装置１６との間の通信経路上に、金属製の収納箱などといった、電波を通さない遮蔽物６２が配置されたとする。こうなるとＨＭＤ１２と中継装置１６との間の通信における通信品質が低下する。なお本実施形態における通信品質としては、例えば、信号対雑音比（Ｓ／Ｎ比）や受信強度などが挙げられる。

　すると図３Ｂに示すように、本実施形態では、例えば、ＨＭＤ１２と中継装置１６との間の通信における通信経路Ａ０は、天井６４や壁６６などといった反射面での反射を経由する通信経路に変更される。図３Ｂには、天井６４を反射面とする通信経路Ａ１と、窓が配置された壁６６を反射面とする通信経路Ａ２と、が示されている。また図３Ｂには、通信経路Ａ１による通信において電波が反射する、天井６４上の点の位置Ｐ１が示されている。また図３Ｂには、通信経路Ａ２による通信において電波が反射する、壁６６上の点の位置Ｐ２が示されている。

　６０ＧＨｚ帯などといったミリ波は直進性が強いため、通信経路を適切に調整しないと通信品質の確保が難しい。本実施形態では上述のようにして、遮蔽物６２によって遮蔽されない通信経路である、反射面での反射を経由する通信経路がＨＭＤ１２と中継装置１６との間の通信で用いられるよう調整することで通信品質が確保されることとなる。

　そして中継装置１６の主ビーム方向は、上述のように調整される通信経路に基づいて設定される。主ビーム方向を設定する技術の一例としてビームフォーミングが知られている。ビームフォーミングの処理は、セクタレベルスイープの処理とビームリファインメントの処理とから構成される。セクタレベルスイープでは主ビーム方向の複数の候補のうちから通信が行われた際の通信品質が高い方向が中継装置１６の主ビーム方向として決定される。セクタレベルスイープによって中継装置１６の主ビーム方向が決定されると、その決定された中継装置１６の主ビーム方向を微調整するビームリファインメントの処理が実行される。なおセクタレベルスイープもビームリファインメントも、ＨＭＤ１２の通信部３４と中継装置の通信部５４との間の通信（ネゴシエーション）によって行われる。

　図４は、セクタレベルスイープにおける主ビーム方向の複数の候補の一例を模式的に示すセクタ候補図である。図５は、図４に示すセクタ候補図における角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。

　図４に示すセクタ候補図に×印で示されている点のそれぞれが、セクタレベルスイープにおける主ビーム方向の候補を表している。以下、当該候補を１次候補セクタと呼ぶこととする。図４の例では、１１２個の１次候補セクタが設定されている。そしてこれらの１次候補セクタのそれぞれは、角度φと角度θとの組合せに対応付けられる。以下、角度φと角度θとの組合せを主ビーム角度パラメータ（φ，θ）と呼ぶこととする。

　本実施形態では例えば、中継装置１６に内蔵されたアレイアンテナが配置されている面に垂直な方向であって、中継装置１６の後側から前側に向かう方向が、図５におけるＸ軸正方向に相当することとする。図３Ａ及び図３Ｂに示すように、中継装置１６は、その前側がＨＭＤ１２の方を向くように配置されている。また中継装置１６に内蔵されたアレイアンテナが配置されている面に沿った方向であって、中継装置１６の右側から左側に向かう方向（図３Ａ及び図３Ｂにおいては概ね左から右に向かう方向）が、図５におけるＹ軸正方向に相当することとする。また中継装置１６に内蔵されたアレイアンテナが配置されている面に沿った方向であって、Ｘ軸正方向から見てＹ軸正方向を反時計回りに９０度回転させた方向をＺ軸正方向とする。そして本実施形態では図５に示すように、Ｚ軸正方向から見た際における、Ｘ軸を基準として反時計回りを正とした角度を角度φとする。また、Ｚ軸正方向となす角度を角度θとする。例えば、Ｘ軸正方向に相当する主ビーム角度パラメータ（φ，θ）は（０，＋９０）となる。なお本実施形態では主ビーム角度パラメータの値の単位は「度」であることとする。また本実施形態では、－１８０≦φ＜＋１８０であり、０≦θ≦１８０であることとする。

　従来のセクタレベルスイープでは、ＨＭＤ１２と中継装置１６との間でのネゴシエーションが行われていた。そして当該ネゴシエーションにおいて、セクタ候補図に配置された１１２個の１次候補セクタのすべてについて、それぞれの１次候補セクタに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認されていた。そして最も通信品質が高い１次候補セクタに対応付けられる方向が主ビーム方向として決定されていた。

　一方本実施形態では、カメラ２０ａが撮影する画像に基づいて反射面を経由する通信経路が特定される。そして図４に示すセクタ候補図に配置された１１２個の１次候補セクタのうちから、特定される通信経路に対応付けられる一部が２次候補セクタとして選択される。この２次候補セクタの選択の際には、ＨＭＤ１２と中継装置１６との間での通信（ネゴシエーション）は不要である。そして本実施形態では、ネゴシエーションにおいて、選択される２次候補セクタのすべてについて、それぞれの２次候補セクタに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認される。そして最も通信品質が高い２次候補セクタに対応付けられる方向が主ビーム方向として決定される。

　図４には、２次候補セクタであるか否かの境界である絞り込み領域Ｒの例が２個示されている（Ｒ１及びＲ２）。

　本実施形態では例えば、主ビーム角度パラメータ（φ，θ）の値（０，＋６０）に対応付けられる主ビーム方向での通信が行われている際に、遮蔽物６２により通信経路が遮蔽されたとする。

　本実施形態ではカメラ２０ａが撮影する画像に基づいて反射面を経由する通信経路Ａ１及び通信経路Ａ２が特定される。そして通信経路Ａ１及び通信経路Ａ２による通信を行う際のＨＭＤ１２の主ビーム方向に対応付けられる主ビーム角度パラメータ（φ，θ）の値が特定される。ここでは例えば、通信経路Ａ１に対応付けられる主ビーム角度パラメータ（φ，θ）の値として（０，＋３０）が特定され、通信経路Ａ２に対応付けられる主ビーム角度パラメータ（φ，θ）の値として（－６０，＋６０）が特定されることとする。

　そして図４に示すセクタ候補図において、通信経路Ａ１に対応付けられる領域Ｒ１、及び、通信経路Ａ２に対応付けられる領域Ｒ２が、絞り込み領域Ｒとして特定される。ここでは例えば、主ビーム角度パラメータ（φ，θ）＝（０，＋３０）である点を中心にして半径が所定の角度（ここでは例えば２０度）に相当する長さである円形の領域が、通信経路Ａ１に対応付けられる領域Ｒ１として特定されることとなる。また、主ビーム角度パラメータ（φ，θ）＝（－６０，＋６０）である点を中心にして半径が所定の角度（例えば２０度）に相当する長さである円形の領域が、通信経路Ａ２に対応付けられる領域Ｒ２として特定されることとなる。

　そして絞り込み領域として領域Ｒ１が特定された際には、１１２個の１次候補セクタのうち、領域Ｒ１内の２個のセクタが２次候補セクタとして選択される。また絞り込み領域として領域Ｒ２が特定された際には、１１２個の１次候補セクタのうち、領域Ｒ１内の３個のセクタが２次候補セクタとして選択される。

　なおここでθの値が＋１８０よりも大きくなるような絞り込み領域Ｒについては、上下が反転された上でセクタ候補図においてφ軸正方向に１８０だけ平行移動される。θの値が０よりも小さくなるような絞り込み領域Ｒについては、上下が反転された上でセクタ候補図においてφ軸正方向に１８０だけ平行移動される。またφの値が＋１８０よりも大きくなるような絞り込み領域Ｒについては、セクタ候補図においてφ軸負方向に３６０だけ平行移動される。またφの値が－１８０よりも小さくなるような絞り込み領域Ｒについては、セクタ候補図においてφ軸正方向に３６０だけ平行移動される。以上の場合は、１つの絞り込み領域Ｒが、セクタ候補図において２つ以上の領域に分かれて配置されることとなる。

　本実施形態に係る映像表示システム１０は、カメラ２０ａを備えているので、ＨＭＤ１２及び中継装置１６の少なくとも一方がおかれた環境の画像を撮影することができる。そしてこの画像に基づいて、ＨＭＤ１２と中継装置１６との通信における反射面での反射を経由する通信経路が特定される。そして本実施形態では、上述のようにして通信品質を確認する主ビーム方向の候補を、ＨＭＤ１２と中継装置１６との通信における反射面での反射を経由する通信経路に対応付けられる主ビーム方向に近い候補に限定している。そのため本実施形態ではＨＭＤ１２と中継装置１６との間のネゴシエーションによって通信品質が確認されるセクタの数が従来のビームフォーミングよりも少ない。そのため本実施形態によれば従来のビームフォーミングよりも短時間で主ビーム方向が特定される。その結果、本実施形態によれば従来のビームフォーミングよりも短時間で通信品質が高い通信経路が特定されることとなる。

　以下、本実施形態に係る中継装置１６の機能並びに本実施形態に係る中継装置１６で実行される処理についてさらに説明する。なお本実施形態に係る中継装置１６は、ＨＭＤ１２と中継装置１６との通信における反射面での反射を経由する通信経路を特定する通信経路特定装置としての役割を担うこととなる。

　図６は、本実施形態に係る中継装置１６で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る中継装置１６で、図６に示す機能のすべてが実装される必要はなく、また、図６に示す機能以外の機能が実装されていても構わない。

　図６に示すように、本実施形態に係る中継装置１６は、機能的には例えば、１次候補セクタデータ記憶部７０、画像取得部７２、通信経路特定部７４、絞り込み領域特定部７６、２次候補セクタ選択部７８、セクタレベルスイープ処理実行部８０、ビームリファインメント処理実行部８２、を含んでいる。１次候補セクタデータ記憶部７０は、記憶部５２を主として実装される。画像取得部７２は、制御部５０及び入出力部５６を主として実装される。通信経路特定部７４は、制御部５０を主として実装される。セクタレベルスイープ処理実行部８０、ビームリファインメント処理実行部８２は、制御部５０及び通信部５４を主として実装される。

　以上の機能は、コンピュータである中継装置１６にインストールされた、以上の機能に対応する指令を含むプログラムを制御部５０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して中継装置１６に供給される。

　１次候補セクタデータ記憶部７０は、本実施形態では例えば、１次候補セクタを示す１次候補セクタデータを記憶する。本実施形態に係る１次候補セクタデータには例えば、図７に示すように、１次候補セクタデータの識別情報である１次候補セクタＩＤと、上述の主ビーム角度パラメータ（φ，θ）と、が含まれている。また本実施形態では、１次候補セクタデータ記憶部７０は、図７に示すように、１次候補セクタデータを複数記憶する。また１次候補セクタデータが示す１次候補セクタは、主ビーム角度パラメータ（φ，θ）によって、基準となる向き（例えばＸ軸正方向）に対する角度に対応付けられている。

　画像取得部７２は、本実施形態では例えば、通信装置（ここでは例えば中継装置１６）及び当該通信装置の通信相手（ここでは例えばＨＭＤ１２）の少なくとも一方がおかれた環境の画像を取得する。画像取得部７２は、例えば、カメラ２０ａが所定のフレームレートで部屋６０の様子を撮影する画像を、当該フレームレートで取得する。

　通信経路特定部７４は、本実施形態では例えば、画像取得部７２が取得する画像に基づいて、通信装置（ここでは例えば中継装置１６）と通信相手（ここでは例えばＨＭＤ１２）との通信における通信経路を特定する。ここで通信経路特定部７４は、中継装置１６とＨＭＤ１２との通信における反射面での反射を経由する通信経路を特定してもよい。また通信経路特定部７４は、中継装置１６とＨＭＤ１２との間の通信の通信品質が所定の品質より低くなった際に、通信経路を特定してもよい。また通信経路特定部７４は、中継装置１６とＨＭＤ１２との間の電波の遮蔽物６２の存在が確認された際に、通信経路を特定するようにしてもよい。また通信経路特定部７４は、１の通信経路を特定しても、複数の通信経路を特定してもよい。

　通信経路特定部７４は例えば、画像取得部７２が取得する画像に基づいて、公知の画像認識技術により反射面の位置を特定する。そして通信経路特定部７４は、例えば中継装置１６とＨＭＤ１２とを結ぶ当該反射面での反射を経由する通信経路（例えば図３Ｂにおける通信経路Ａ１や通信経路Ａ２）を特定する。ここで例えば、通信において電波の入射角と反射角が等しくなるような当該反射面上の点の位置（例えば図３Ｂにおける点Ｐ１の位置や点Ｐ２の位置）が特定されるようにしてもよい。そして通信経路特定部７４が、中継装置１６の通信部５４から見て特定された点の位置に向かう方向を表す主ビーム角度パラメータ（φ，θ）を特定してもよい。以下、このようにして特定される主ビーム角度パラメータ（φ，θ）を主ビーム中心角度パラメータ（φｃ，θｃ）と呼ぶこととする。

　絞り込み領域特定部７６は、本実施形態では例えば、通信経路特定部７４が特定する通信経路に基づいて、絞り込み領域Ｒを特定する。絞り込み領域特定部７６は例えば、セクタ候補図において、通信経路特定部７４が特定する主ビーム中心角度パラメータ（φｃ，θｃ）に相当する点を中心にして半径が所定の角度（例えば２０度）に相当する長さである円形の領域を絞り込み領域Ｒとして特定する。

　２次候補セクタ選択部７８は、１次候補セクタデータが示す１次候補セクタのうちから、２次候補セクタを選択する。２次候補セクタ選択部７８は、本実施形態では例えば、絞り込み領域特定部７６が特定した絞り込み領域Ｒ内の角度の範囲に対応する１次候補セクタデータを、２次候補セクタを示す２次候補セクタデータとして選択する。より具体的には例えば、（（φ－φｃ）＾２＋（θ－θｃ）＾２））＾１／２＜＝２０という条件を満足する主ビーム角度パラメータ（φ，θ）が含まれる１次候補セクタデータが、２次候補セクタを示す２次候補セクタデータとして選択される。このように２次候補セクタ選択部７８が、対応付けられている角度がＨＭＤ１２の姿勢に応じた角度の範囲内である１次候補セクタを２次候補セクタとして選択してもよい。なお２次候補セクタ選択部７８による２次候補の選択処理においては、ＨＭＤ１２と中継装置との間の通信（ネゴシエーション）は不要である。

　セクタレベルスイープ処理実行部８０は、本実施形態では例えば、２次候補セクタ選択部７８が選択した２次候補セクタのそれぞれを主ビーム方向とした通信が行われた際の通信品質に基づいて、中継装置１６の主ビーム方向を決定する。本実施形態では例えば、セクタレベルスイープ処理実行部８０は、ＨＭＤ１２と中継装置１６との間でのネゴシエーションにおいて、２次候補セクタ選択部７８が選択した２次候補セクタのそれぞれを主ビーム方向とした通信における通信品質を確認する。そしてセクタレベルスイープ処理実行部８０は、例えば、最も通信品質が高かった主ビーム方向を、中継装置１６の主ビーム方向として決定する。

　ビームリファインメント処理実行部８２は、セクタレベルスイープ処理実行部８０が決定した主ビーム方向を微調整するビームリファインメント処理を実行する。ビームリファインメント処理についても、ＨＭＤ１２と中継装置１６との間での通信（ネゴシエーション）によって行われる。

　以下、本実施形態に係るＨＭＤ１２において行われる処理の流れの一例を、図８に示すフロー図を参照しながら説明する。

　まず、画像取得部７２が、カメラ２０ａが撮影する画像を取得する（Ｓ１０１）。そして通信経路特定部７４が、Ｓ１０１に示す処理で取得した画像に基づいて、中継装置１６とＨＭＤ１２との間に電波の遮蔽物６２が存在するか否かを確認する（Ｓ１０２）。ここで電波の遮蔽物６２の存在が確認されなかった場合は（Ｓ１０２：Ｎ）、通信経路特定部７４は、中継装置１６とＨＭＤ１２とを結ぶ直線に沿った通信経路（例えば通信経路Ａ０）を特定する（Ｓ１０３）。そして通信経路特定部７４は、Ｓ１０３に示す処理で特定された通信経路の方向を表す主ビーム中心角度パラメータ（φｃ，θｃ）の値を特定する（Ｓ１０４）。

　Ｓ１０２に示す処理で電波の遮蔽物６２の存在が確認された場合は（Ｓ１０２：Ｙ）、通信経路特定部７４は、Ｓ１０１に示す処理で取得した画像に基づいて、反射面（例えば天井６４や壁６６）の位置を特定する（Ｓ１０５）。そして通信経路特定部７４は、通信において電波の入射角と反射角が等しくなるような、Ｓ１０４に示す処理で特定された反射面上の点の位置（例えば点Ｐ１及び点Ｐ２の位置）を特定する（Ｓ１０６）。そして通信経路特定部７４は、中継装置１６の通信部５４から見て、Ｓ１０６に示す処理で特定された点の位置に向かう方向を表す主ビーム中心角度パラメータ（φｃ，θｃ）を特定する（Ｓ１０７）。なおＳ１０７に示す処理では、主ビーム中心角度パラメータ（φｃ，θｃ）が１つ特定されてもよいし、複数特定されてもよい。例えば図３Ｂに示す通信経路Ａ１及び通信経路Ａ２が特定されてもよい。

　そして絞り込み領域特定部７６が、Ｓ１０４又はＳ１０７に示す処理で特定された主ビーム中心角度パラメータ（φｃ，θｃ）に相当する点を中心にして半径が所定の角度（例えば２０度）に相当する長さである円形の領域を絞り込み領域Ｒを特定する（Ｓ１０８）。例えば図４に示すセクタ候補図内の領域Ｒ１及び領域Ｒ２が特定される。

　そして２次候補セクタ選択部７８が、絞り込み領域Ｒ内の１次候補セクタを２次候補セクタとして選択する（Ｓ１０９）。ここでは例えば、（（φ－φｃ）＾２＋（θ－θｃ）＾２））＾１／２＜＝４０という条件を満足する主ビーム角度パラメータ（φ，θ）が含まれる１次候補セクタデータが、２次候補セクタを示す２次候補セクタデータとして選択される。ここで絞り込み領域Ｒが複数特定される場合は、いずれかの絞り込み領域Ｒ内の１次候補セクタが２次候補セクタとして選択されるようにしてもよい。

　そしてセクタレベルスイープ処理実行部８０が、Ｓ１０９に示す処理で特定されたすべての２次候補セクタについて、当該２次候補セクタが表す主ビーム方向での通信の際の通信品質を確認する（Ｓ１１０）。

　そしてセクタレベルスイープ処理実行部８０が、Ｓ１１０に示す処理で最も高い通信品質であると特定された２次候補セクタが表す主ビーム方向を、中継装置１６の主ビーム方向として決定する（Ｓ１１１）。

　そしてビームリファインメント処理実行部８２が、Ｓ１１１に示す処理で決定された主ビーム方向の微調整であるビームリファインメント処理を行い（Ｓ１１２）、本処理例に示す処理は終了される。

　上述したように、Ｓ１０１～Ｓ１０９に示す処理ではＨＭＤ１２と中継装置１６との間のネゴシエーションは行われないが、Ｓ１１０～Ｓ１１２に示す処理ではＨＭＤ１２と中継装置１６との間のネゴシエーションが行われる。

　なおＳ１１２に示す処理の終了後、以後、Ｓ１０１～Ｓ１１２に示す処理の実行が繰り返されるようにしてもよい。

　また例えば、通信経路特定部７４がＨＭＤ１２と中継装置１６との間の通信品質を監視してもよい。そして当該通信品質が所定の品質より低くなった際に、上記Ｓ１０１～Ｓ１１２に示す処理が実行されるようにしてもよい。

　また例えば、通信経路特定部７４が、所定のフレームレートで生成される、カメラ２０ａが撮影する画像に基づいて、遮蔽物６２の存在の有無を監視してもよい。そして中継装置１６とＨＭＤ１２との間に遮蔽物６２の存在が確認された際に、上記Ｓ１０５～Ｓ１１２に示す処理が実行されるようにしてもよい。

　また通信経路特定部７４は、中継装置１６とＨＭＤ１２との通信における反射面での反射を経由する通信経路に加え、中継装置１６とＨＭＤ１２とを結ぶ直線に沿った通信経路を特定するようにしてもよい。通信経路特定部７４は例えば通信経路Ａ１及び通信経路Ａ２に加え、通信経路Ａ０を特定するようにしてもよい。そしてこれらの通信経路のそれぞれに対応付けられる絞り込み領域Ｒが特定されてもよい。そしていずれかの絞り込み領域Ｒ内の１次候補セクタが２次候補セクタとして選択されるようにしてもよい。

　また通信経路特定部７４は、中継装置１６とＨＭＤ１２との通信における反射面での反射を経由する通信経路が複数特定される際に、画像取得部７２が取得する画像に基づいて、これらの通信経路の通信品質を評価してもよい。そして当該評価結果に基づいて、これらの通信経路のうちからいずれかの通信経路を選択するようにしてもよい。

　例えば通信経路特定部７４は、公知の画像認識技術を用いて、上述のＳ１０６に示す処理で特定される点の材質を特定してもよい。図３Ａ及び図３Ｂの例では、例えば、布、ガラス、革、陶器などといった材質が特定されてもよい。そして、例えば最も反射減衰率の小さな材質に対応付けられる通信経路が選択されるようにしてもよい。

　また通信経路特定部７４は、公知の画像認識技術を用いて、上述のＳ１０６に示す処理で特定される点が含まれる物体の種類を特定してもよい。図３Ａ及び図３Ｂの例では、例えば、カーテン、窓、ソファー、植木鉢などといった物体の種類が特定されてもよい。そして、例えば最も反射減衰率の小さな物体の種類に対応付けられる通信経路が選択されるようにしてもよい。

　これらの場合は選択された通信経路に対応付けられる絞り込み領域Ｒ内の１次候補セクタが２次候補セクタとして選択されることとなる。例えば図８に示すＳ１０６に示す処理で点Ｐ１の位置及び点Ｐ２の位置が特定されたとする。ここで点Ｐ１における反射減衰率が点Ｐ２における反射減衰率の小さい場合は、Ｓ１０７に示す処理で、中継装置１６の通信部５４から見て点Ｐ１の位置に向かう方向を表す主ビーム中心角度パラメータ（φｃ，θｃ）のみが特定されるようにしてもよい。

　なお、最も反射減衰率の小さな材質や物体の種類は、例えば、材質や物体の種類と反射減衰率との関係を示すデータを予め中継装置１６に記憶しておくことで、当該データに基づいて特定することができる。

　また例えば中継装置１６が、実際の通信における通信品質に基づいて、材質と反射減衰率との関係を学習するようにしてもよい。そして学習結果に基づいて最も反射減衰率の小さな材質に対応付けられる通信経路が選択されるようにしてもよい。

　また例えば、絞り込み領域Ｒの半径は２０度に相当する長さでなくても構わない。また絞り込み領域Ｒは円形である必要はない。例えば中継装置１６やＨＭＤ１２が配置されている空間が複数のブロック（セクタ）に分割され、これらのブロック（セクタ）のそれぞれに対応付けられるよう絞り込み領域Ｒの候補が管理されても構わない。なお当該ブロック（セクタ）は直方体形状であってもよい。そしてこれらの絞り込み領域Ｒの候補の中から特定される絞り込み領域Ｒ１次候補セクタが２次候補セクタとして選択されても構わない。

　なお、本発明は上述の実施形態に限定されるものではない。

　例えば、上述のＳ１１１に示す処理が終了してもＨＭＤ１２と中継装置１６との通信品質が所定の品質に達しない場合は、中継装置１６は、１次候補セクタすべてについて、当該１次候補セクタが表す主ビーム方向での通信の際の通信品質を確認してもよい。そしてこの場合に、中継装置１６は、最も高い通信品質であると特定された１次候補セクタが表す主ビーム方向を、中継装置１６の主ビーム方向として決定してもよい。またこの場合に例えば２次候補セクタとしては選択されることがない１次候補セクタが存在していてもよい。

　また例えばＨＭＤ１２が複数のアンテナを備えていてもよい。そしてＨＭＤ１２は、これら複数のアンテナのうちから、上述のようにして特定される通信経路に応じて選択される１又は複数のアンテナのみが駆動されるよう制御してもよい。

　また例えば、図６に例示する機能の一部が、エンタテインメント装置１４で実装されても構わない。例えば１次候補セクタデータ記憶部７０、画像取得部７２、通信経路特定部７４、絞り込み領域特定部７６、２次候補セクタ選択部７８が、エンタテインメント装置１４で実装されても構わない。そしてセクタレベルスイープ処理実行部８０、ビームリファインメント処理実行部８２が、中継装置１６で実装されても構わない。この場合、例えばエンタテインメント装置１４が、２次候補セクタ選択部７８が選択した２次候補セクタを示すデータを中継装置１６に送信しても構わない。そして中継装置１６が、当該２次候補セクタを示すデータに基づいて、セクタレベルスイープ及びビームリファインメントを実行してもよい。

　またＨＭＤ１２が、魚眼レンズを備えたカメラなどといった、ＨＭＤ１２の周囲の全方向又は一部の方向を撮影可能なカメラや、赤外線カメラ等の測距装置を備えていてもよい。そして図６に示す機能がＨＭＤ１２で実装されていても構わない。このとき例えば、画像取得部７２が、ＨＭＤ１２が備えるカメラが撮影した画像を取得してもよい。そして、通信経路特定部７４が、ＨＭＤ１２が備えるカメラが撮影した画像に基づいて、ＨＭＤ１２と中継装置１６の通信における反射面での反射を経由する通信経路を特定してもよい。この場合は、通信経路特定部７４は、ＨＭＤ１２の主ビーム方向を特定することとなる。

　また本実施形態の適用範囲はミリ波による通信に限定されない。例えば５ＧＨｚ帯などといったマイクロ波による通信に本実施形態を適用してもよい。

　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims

　通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する画像取得部と、
　前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定する通信経路特定部と、
　を含むことを特徴とする通信経路特定装置。
　前記通信経路特定部は、前記通信装置と前記通信相手との間の通信の通信品質が所定の品質より低くなった際に、前記通信経路を特定する、
　ことを特徴とする請求項１に記載の通信経路特定装置。
　前記通信経路特定部は、前記通信装置と前記通信相手との間の電波の遮蔽物の存在が確認された際に、前記通信経路を特定する、
　ことを特徴とする請求項１に記載の通信経路特定装置。
　ヘッドマウントディスプレイであって、
　前記ヘッドマウントディスプレイ及び当該ヘッドマウントディスプレイの通信相手の少なくとも一方がおかれた環境の画像を取得する画像取得部と、
　前記画像に基づいて、前記ヘッドマウントディスプレイと前記通信相手との通信における反射面での反射を経由する通信経路を特定する通信経路特定部と、
　を含むことを特徴とするヘッドマウントディスプレイ。
　通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得するステップと、
　前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定するステップと、
　を含むことを特徴とする通信経路特定方法。
　通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する手順、
　前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定する手順、
　をコンピュータに実行させることを特徴とするプログラム。