以下、本発明の一実施形態について、図面を参照しながら説明する。
図1は、本発明の一実施形態に係る映像表示システム10の全体構成の一例を示す図である。図2は、本実施形態に係るヘッドマウントディスプレイ(HMD)12の構成の一例を示す図である。
図1に示すように、本実施形態に係る映像表示システム10は、HMD12とエンタテインメント装置14と中継装置16とディスプレイ18とカメラマイクユニット20とコントローラ22とを含んでいる。
本実施形態に係るHMD12には、例えば図2に示すように、制御部30、記憶部32、通信部34、入出力部36、表示部38、センサ部40、音声出力部42が含まれる。
制御部30は、例えばHMD12にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部32は、例えばROMやRAM等の記憶素子などである。記憶部32には、制御部30によって実行されるプログラムなどが記憶される。
通信部34は、例えばアレイアンテナが内蔵された無線LANモジュールなどの通信インタフェースである。本実施形態では図1に示すように、通信部34は、HMD12の前側上方に配置されている。
入出力部36は、例えばHDMI(登録商標)(High-Definition Multimedia Interface)ポート、USBポート、AUXポートなどの入出力ポートである。
表示部38は、HMD12の前側に配置されている、例えば液晶ディスプレイや有機ELディスプレイ等のディスプレイであり、エンタテインメント装置14が生成する映像などを表示させる。また表示部38は、HMD12の筐体に収容される。表示部38は、例えばエンタテインメント装置14が出力して中継装置16で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部38は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部38は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
センサ部40は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部40は、HMD12の回転量、移動量などの計測結果を所定のフレームレートで、制御部30に出力する。
音声出力部42は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置14が生成する音声データが表す音声などを出力する。音声出力部42は、例えばエンタテインメント装置14が出力して中継装置16で中継される音声信号を受信して、当該音声信号が表す音声を出力する。
本実施形態に係るエンタテインメント装置14は、例えばゲームコンソール、DVDプレイヤ、Blu−ray(登録商標)プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置14は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置14は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置16を経由して、HMD12やディスプレイ18に出力する。
本実施形態に係る中継装置16は、エンタテインメント装置14から出力される映像信号や音声信号を中継してHMD12やディスプレイ18に出力するコンピュータである。本実施形態に係る中継装置16には、アレイアンテナが内蔵された無線LANモジュールなどの通信インタフェースである通信部16aが含まれている。
本実施形態に係るディスプレイ18は、例えば液晶ディスプレイ等であり、エンタテインメント装置14から出力される映像信号が表す映像などを表示させる。
本実施形態に係るカメラマイクユニット20は、例えば被写体を撮像した画像をエンタテインメント装置14に出力するカメラ20a及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置14に出力するマイク20bを含んでいる。また本実施形態に係るカメラ20aはステレオカメラである。
HMD12と中継装置16とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置14と中継装置16とは、例えば、HDMIケーブルやUSBケーブルなどを介して接続されている。中継装置16とディスプレイ18とは、例えば、HDMIケーブルなどを介して接続されている。エンタテインメント装置14とカメラマイクユニット20とは、例えば、AUXケーブルなどを介して接続されている。
本実施形態に係るコントローラ22は、エンタテインメント装置14に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ22が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ22を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ22は、操作入力に対応付けられる入力データをエンタテインメント装置14に出力する。また本実施形態に係るコントローラ22は、USBポートを備えている。そしてコントローラ22は、USBケーブルでエンタテインメント装置14と接続することで、有線で入力データをエンタテインメント装置14に出力することができる。また本実施形態に係るコントローラ22は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置14に出力することができるようにもなっている。
本実施形態では、HMD12と中継装置16との間では60GHz帯などといったミリ波による無線通信が行われる。ミリ波は直進性が強いため、主ビーム方向を適切に調整しないと通信品質の確保が難しい。本実施形態では、通信品質が高い方向が主ビーム方向として設定されるように調整することで通信品質が確保されることとなる。
主ビーム方向を設定する技術の一例としてビームフォーミングが知られている。ビームフォーミングの処理は、セクタレベルスイープの処理とビームリファインメントの処理とから構成される。セクタレベルスイープでは主ビーム方向の複数の候補のうちから通信が行われた際の通信品質が高い方向がHMD12の主ビーム方向として決定される。本実施形態における通信品質としては、例えば、信号対雑音比(S/N比)や受信強度などが挙げられる。セクタレベルスイープによってHMD12の主ビーム方向が決定されると、その決定されたHMD12の主ビーム方向を微調整するビームリファインメントの処理が実行される。なおセクタレベルスイープもビームリファインメントも、HMD12の通信部34と中継装置の通信部16aとの間の通信(ネゴシエーション)によって行われる。
図3は、セクタレベルスイープにおける主ビーム方向の複数の候補の一例を模式的に示すセクタ候補図である。図4は、図3に示すセクタ候補図における角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。
図3に示すセクタ候補図に×印で示されている点のそれぞれが、セクタレベルスイープにおける主ビーム方向の候補を表している。以下、当該候補を1次候補セクタと呼ぶこととする。図3の例では、48個の1次候補セクタが設定されている。そしてこれらの1次候補セクタのそれぞれは、角度φと角度θとの組合せに対応付けられる。以下、角度φと角度θとの組合せを主ビーム角度パラメータ(φ,θ)と呼ぶこととする。
本実施形態では例えば、HMD12に内蔵されたアレイアンテナが配置されている面に垂直な方向であって、HMD12を装着したユーザの後頭部から前頭部に向かう方向が、図4におけるX軸正方向に相当することとする。またHMD12に内蔵されたアレイアンテナが配置されている面に沿った方向であって、HMD12を装着したユーザの右側頭部から左側頭部に向かう方向が、図4におけるY軸正方向に相当することとする。またHMD12に内蔵されたアレイアンテナが配置されている面に沿った方向であって、X軸正方向から見てY軸正方向を反時計回りに90度回転させた方向をZ軸正方向とする。そして本実施形態では図4に示すように、Z軸正方向から見た際における、X軸を基準として反時計回りを正とした角度を角度φとする。また、Z軸正方向となす角度を角度θとする。例えば、X軸正方向に相当する主ビーム角度パラメータ(φ,θ)は(0,+90)となる。なお本実施形態では主ビーム角度パラメータの値の単位は「度」であることとする。また本実施形態では、−180≦φ<+180であり、0≦θ≦180であることとする。
従来のセクタレベルスイープでは、HMD12と中継装置16との間でのネゴシエーションが行われていた。そして当該ネゴシエーションにおいて、セクタ候補図に配置された48個の1次候補セクタのすべてについて、それぞれの1次候補セクタに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認されていた。そして最も通信品質が高い1次候補セクタに対応付けられる方向が主ビーム方向として決定されていた。
一方本実施形態では、図3に示すセクタ候補図に配置された48個の1次候補セクタのうちから、HMD12の姿勢に応じた一部が2次候補セクタとして選択される。この2次候補セクタの選択の際には、HMD12と中継装置16との間での通信(ネゴシエーション)は不要である。図3には、2次候補セクタであるか否かの境界である絞り込み領域Rの例が4個示されている(R1〜R4)。領域R1、R2、R4の形状は本実施形態では例えば、所定の長さを半径とする円である。なお領域R3は、主ビーム角度パラメータ(φ,θ)が(−180,+90)である点を中心とした半円の領域と、主ビーム角度パラメータ(φ,θ)が(+180,+90)である点を中心とした半円の領域と、に分かれている。このように1つの絞り込み領域Rがセクタ候補図において分かれて配置されていてもよい。また図3の例では、絞り込み領域Rの半径は40度に相当する長さとなっている。そして例えば、HMD12の正面が中継装置16に向かっている場合には、図3に示す領域R1内に配置された9個の1次候補セクタが2次候補セクタとして選択される。そしてHMD12と中継装置16との間のネゴシエーションによって、選択された2次候補セクタのそれぞれに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認される。そして、最も通信品質が高い2次候補セクタに対応付けられる方向が主ビーム方向として決定されることとなる。
本実施形態に係るHMD12は、センサ部40を備えているので、センサ部40の検出結果に基づいてHMD12の姿勢を特定できる。このようにHMD12の姿勢を特定することで、HMD12から見た通信相手である中継装置16の方向を特定することができるようになる。本実施形態では、上述のようにして通信品質を確認する主ビーム方向の候補を、HMD12の姿勢に応じた一部、例えばHMD12から見て中継装置16の方向に近い候補に限定している。そのため本実施形態ではHMD12と中継装置16との間のネゴシエーションによって通信品質が確認されるセクタの数が従来のビームフォーミングよりも少ない。そのため本実施形態によれば従来のビームフォーミングよりも短時間で主ビーム方向が特定されることとなる。
以下、HMD12の姿勢に基づく絞り込み領域Rの特定について、図5を参照しながらさらに説明する。図5は、HMD12の姿勢と主ビーム方向と主ビーム角度パラメータとの関係の一例を示す図である。
本実施形態では初期設定において、HMD12を装着したユーザは、水平方向を向いており、また、通信相手である中継装置16の方を向いていることとする(図5の(A)参照)。この場合、HMD12から中継装置16に向かう方向が、上述のX軸正方向に相当する。そしてHMD12から中継装置16に向かって左側である水平方向が、上述のY軸正方向に相当する。そして鉛直上方向が、上述のZ軸正方向に相当する。そのためX軸正方向を中心とした所定の角度の範囲内の方向(例えばX軸正方向との角度が40度以下である方向)は、通信品質が高い可能性が高い。そこで本実施形態ではこの場合には、セクタ候補図において主ビーム角度パラメータ(φ,θ)=(0,+90)である点を中心にして半径が所定の角度(ここでは40度)に相当する長さである円形の領域R1が絞り込み領域Rとして特定されることとなる。
また、図5の(A)の状態からユーザが左に90度向いた場合においては、HMD12から中継装置16に向かう方向は、上述のY軸負方向に相当する(図5の(B)参照)。そのためこの場合には、セクタ候補図において主ビーム角度パラメータ(φ,θ)=(−90,+90)である点を中心にして半径が40度に相当する長さである円形の領域R2が絞り込み領域Rとして特定されることとなる。
また、図5の(B)の状態からユーザがさらに左に90度向いた場合においては、HMD12から中継装置16に向かう方向は、上述のX軸負方向に相当する(図5の(C)参照)。そのためこの場合には、セクタ候補図において主ビーム角度パラメータ(φ,θ)=(−180,+90)である点を中心にして半径が40度に相当する長さである円形の領域R3が絞り込み領域Rとして特定されることとなる。
また、図5の(A)の状態からユーザが右に90度向いた場合においては、HMD12から中継装置16に向かう方向は、上述のY軸正方向に相当する(図5の(D)参照)。そのためこの場合には、セクタ候補図において主ビーム角度パラメータ(φ,θ)=(+90,+90)である点を中心にして半径が40度に相当する長さである円形の領域R4が絞り込み領域Rとして特定されることとなる。
以上のようにして本実施形態では、HMD12の姿勢に応じた絞り込み領域Rの特定が行われることとなる。
以下、本実施形態に係るHMD12の機能並びに本実施形態に係るHMD12で実行される処理についてさらに説明する。なお本実施形態に係るHMD12は、主ビーム方向の複数の1次候補のうちからHMD12の主ビーム方向を決定する主ビーム方向決定装置としての役割を担うこととなる。
図6は、本実施形態に係るHMD12で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るHMD12で、図6に示す機能のすべてが実装される必要はなく、また、図6に示す機能以外の機能が実装されていても構わない。
図6に示すように、本実施形態に係るHMD12は、機能的には例えば、1次候補セクタデータ記憶部50、姿勢特定部52、絞り込み領域特定部54、2次候補セクタ選択部56、セクタレベルスイープ処理実行部58、ビームリファインメント処理実行部60、を含んでいる。1次候補セクタデータ記憶部50は、記憶部32を主として実装される。姿勢特定部52は、制御部30及びセンサ部40を主として実装される。絞り込み領域特定部54、2次候補セクタ選択部56は、制御部30を主として実装される。セクタレベルスイープ処理実行部58、ビームリファインメント処理実行部60は、制御部30及び通信部34を主として実装される。
以上の機能は、コンピュータであるHMD12にインストールされた、以上の機能に対応する指令を含むプログラムを制御部30で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してHMD12に供給される。
1次候補セクタデータ記憶部50は、本実施形態では例えば、1次候補セクタを示す1次候補セクタデータを記憶する。本実施形態に係る1次候補セクタデータには例えば、図7に示すように、1次候補セクタデータの識別情報である1次候補セクタIDと、上述の主ビーム角度パラメータ(φ,θ)と、が含まれている。また本実施形態では、1次候補セクタデータ記憶部50は、図7に示すように、1次候補セクタデータを複数記憶する。また1次候補セクタデータが示す1次候補セクタは、主ビーム角度パラメータ(φ,θ)によって、基準となる向き(例えばX軸正方向)に対する角度に対応付けられている。
姿勢特定部52は、本実施形態では例えば、HMD12の姿勢を特定する。姿勢特定部52は、例えば、センサ部40の検出結果に基づいて、HMD12の姿勢を特定する。また本実施形態では例えば、姿勢特定部52は、HMD12の姿勢を示す姿勢パラメータを保持することとする。なお姿勢特定部52が、例えば、姿勢特定部52が保持する姿勢パラメータの値に、前回の姿勢の特定時から今回の姿勢の特定時までの姿勢の差分を示す値を加算することで、姿勢パラメータの値がHMD12の最新の姿勢を示す値となるよう更新してもよい。
本実施形態では姿勢パラメータは、角度φ’及び角度θ’との組合せである姿勢角度パラメータ(φ’,θ’)で表現されることとする。また本実施形態では姿勢角度パラメータの値の単位は「度」であることとする。図8Aは、角度φ’の一例を示す図である。図8Bは、角度θ’の一例を示す図である。なお以下の説明では、初期状態とは、図5の(A)に示す状態を指すこととする。本実施形態では、図8Aに示すように、角度φ’は例えば、初期状態におけるZ軸正方向から見た際における、X軸正方向の向きの、初期状態におけるX軸正方向に対する、反時計回りを正とする角度を指すこととする。また本実施形態では、図8Bに示すように、角度θ’は例えば、初期状態におけるY軸正方向から見た際における、X軸正方向の向きの、初期状態におけるX軸正方向に対する、反時計回りを正とする角度を指すこととする。なお本実施形態では、−180<φ’≦+180であり、−90≦θ’≦+90であることとする。なお図5の(A)の状態における姿勢角度パラメータの値(φ’,θ’)は、(0,0)であることとなる。また図5の(B)の状態における姿勢角度パラメータの値(φ’,θ’)は、(+90,0)であることとなる。また図5の(C)の状態における姿勢角度パラメータの値(φ’,θ’)は、(+180,0)であることとなる。また図5の(D)の状態における姿勢角度パラメータの値(φ’,θ’)は、(−90,0)であることとなる。
絞り込み領域特定部54は、本実施形態では例えば、姿勢特定部52が特定するHMD12の姿勢に基づいて、絞り込み領域Rを特定する。絞り込み領域特定部54は、本実施形態では例えば、絞り込み領域Rの中心点の座標値に相当する主ビーム角度パラメータ(φ,θ)を特定する。以下、絞り込み領域Rの中心点の座標値に相当する主ビーム角度パラメータ(φ,θ)を主ビーム中心角度パラメータ(φc,θc)と呼ぶこととする。本実施形態では例えば、主ビーム中心角度パラメータの値(φc,θc)と、姿勢角度パラメータ(φ’,θ’)との関係は、(φc,θc)=(−φ’,90−θ’)との式で表現される。そのため本実施形態では、−180≦φc<+180であり、0≦θc≦+180であることとなる。
2次候補セクタ選択部56は、1次候補セクタデータが示す1次候補セクタのうちから、2次候補セクタを選択する。2次候補セクタ選択部56は、本実施形態では例えば、絞り込み領域特定部54が特定した絞り込み領域R内の角度の範囲に対応する1次候補セクタデータを、2次候補セクタを示す2次候補セクタデータとして選択する。より具体的には例えば、((φ−φc)^2+(θ−θc)^2))^1/2≦40という条件を満足する主ビーム角度パラメータ(φ,θ)が含まれる1次候補セクタデータが、2次候補セクタを示す2次候補セクタデータとして選択される。このように2次候補セクタ選択部56が、対応付けられている角度がHMD12の姿勢に応じた角度の範囲内である1次候補セクタを2次候補セクタとして選択してもよい。なお2次候補セクタ選択部56による2次候補の選択処理においては、HMD12と中継装置との間の通信(ネゴシエーション)は不要である。
セクタレベルスイープ処理実行部58は、本実施形態では例えば、2次候補セクタ選択部56が選択した2次候補セクタのそれぞれを主ビーム方向とした通信が行われた際の通信品質に基づいて、HMD12の主ビーム方向を決定する。セクタレベルスイープ処理実行部58は、本実施形態では、2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてHMD12の主ビーム方向を決定する主ビーム方向決定部としての役割を担うこととなる。本実施形態では例えば、セクタレベルスイープ処理実行部58は、HMD12と中継装置16との間でのネゴシエーションにおいて、2次候補セクタ選択部56が選択した2次候補セクタのそれぞれを主ビーム方向とした通信における通信品質を確認する。そしてセクタレベルスイープ処理実行部58は、例えば、最も通信品質が高かった主ビーム方向を、HMD12の主ビーム方向として決定する。
ビームリファインメント処理実行部60は、セクタレベルスイープ処理実行部58が決定した主ビーム方向を微調整するビームリファインメント処理を実行する。ビームリファインメント処理についても、HMD12と中継装置16との間での通信(ネゴシエーション)によって行われる。
以下、本実施形態に係るHMD12において行われる処理の流れの一例を、図9に示すフロー図を参照しながら説明する。以下の処理例では、例えば初期状態において、図5の(A)に示すように、HMD12を装着したユーザは、水平方向を向いており、また、通信相手である中継装置16の方を向いていることとする。
まず、姿勢特定部52が、HMD12の姿勢を示す姿勢角度パラメータの値(φ’,θ’)を特定する(S101)。
そして絞り込み領域特定部54が、S101に示す処理で特定された姿勢角度パラメータの値(φ’,θ’)に対応付けられる主ビーム中心角度パラメータの値(φc,θc)を特定する(S102)。ここでは例えば値(−φ’,90−θ’)が主ビーム中心角度パラメータの値(φc,θc)として特定される。
そして2次候補セクタ選択部56が、絞り込み領域R内の1次候補セクタを2次候補セクタとして選択する(S103)。ここでは例えば、((φ−φc)^2+(θ−θc)^2))^1/2≦40という条件を満足する主ビーム角度パラメータ(φ,θ)が含まれる1次候補セクタデータが、2次候補セクタを示す2次候補セクタデータとして選択される。
そしてセクタレベルスイープ処理実行部58が、S103に示す処理で特定されたすべての2次候補セクタについて、当該2次候補セクタが表す主ビーム方向での通信の際の通信品質を確認する(S104)。
そしてセクタレベルスイープ処理実行部58が、S104に示す処理で最も高い通信品質であると特定された2次候補セクタが表す主ビーム方向を、HMD12の主ビーム方向として決定する(S105)。
そしてビームリファインメント処理実行部60が、S105に示す処理で決定された主ビーム方向の微調整であるビームリファインメント処理を行う(S106)。
そしてS101に示す処理に戻り、以後、S101〜S106に示す処理の実行が繰り返される。なお上述したように、S101〜S103に示す処理ではHMD12と中継装置16との間のネゴシエーションは行われないが、S104〜S106に示す処理ではHMD12と中継装置16との間のネゴシエーションが行われる。
なお、本発明は上述の実施形態に限定されるものではない。
例えばHMD12と中継装置16との通信品質が所定の品質以下となった際に、上記S101〜S106に示す処理が実行されても構わない。また所定の時間間隔で上記S101〜S106に示す処理が実行されても構わない。
また例えば、上述のS106に示す処理が終了してもHMD12と中継装置16との通信品質が所定の品質に達しない場合は、HMD12は、1次候補セクタすべてについて、当該1次候補セクタが表す主ビーム方向での通信の際の通信品質を確認してもよい。そしてこの場合に、HMD12は、最も高い通信品質であると特定された1次候補セクタが表す主ビーム方向を、HMD12の主ビーム方向として決定してもよい。またこの場合に例えば2次候補セクタとしては選択されることがない1次候補セクタが存在していてもよい。
また例えば、絞り込み領域Rの半径は40度に相当する長さでなくても構わない。また絞り込み領域Rは円形である必要はない。
また例えば、図6に例示する機能の一部又は全部が、エンタテインメント装置14で実装されても構わない。また上述の姿勢特定部52が、例えば、カメラ20aが撮影する画像を取得して、当該画像に基づいて、HMD12の姿勢を特定してもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。