WO2017110732A1

WO2017110732A1 - 主ビーム方向決定装置、主ビーム方向決定方法及びプログラム

Info

Publication number: WO2017110732A1
Application number: PCT/JP2016/087750
Authority: WO
Inventors: 一政千種
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2015-12-24
Filing date: 2016-12-19
Publication date: 2017-06-29
Also published as: EP3396869A1; JPWO2017110732A1; JP6409139B2; EP3396869B1; EP3396869A4; US10758822B2; US20190358537A1

Abstract

ゲームをプレイしている状況においてユーザの頭部が動く方向に偏りがあることを踏まえた主ビーム方向の候補の絞り込みを行える主ビーム方向決定装置、主ビーム方向決定方法及びプログラムを提供する。画像取得部（７２）は、ヘッドマウントディスプレイを装着しているユーザの像が含まれる画像を取得する。絞り込み領域特定部（７６）は、当該画像内の、ユーザの姿勢が上下方向に延伸する場合におけるユーザの頭部の像を含む領域を特定する。２次候補セクタ選択部（７８）は、複数の主ビーム方向の１次候補のうちから、当該領域内の位置に対応付けられる方向である２次候補を選択する。セクタレベルスイープ処理実行部（８０）は、当該２次候補のうちから、ヘッドマウントディスプレイとの通信における主ビーム方向を決定する。当該領域は、凸部を有する。

Description

主ビーム方向決定装置、主ビーム方向決定方法及びプログラム

　本発明は、主ビーム方向決定装置、主ビーム方向決定方法及びプログラムに関する。

　無線通信分野において、主ビーム方向の複数の候補のうちから、通信が行われた際の通信品質が高い方向を通信に用いられる主ビーム方向として決定する技術が知られている。このような技術の一例としては、ビームフォーミングにおけるセクタレベルスイープが挙げられる。

　近年、例えばゲームプログラムを実行するゲーム装置が生成する、ゲームのプレイ状況を表す動画像を無線でヘッドマウントディスプレイ（ＨＭＤ）に送信し、当該動画像をＨＭＤに表示させることが検討されている。このようにすると、ＨＭＤを装着したユーザは頭部を自由に動かしてゲームをプレイすることができる。

　このようなユーザがゲームをプレイしている状況においては、通信がなるべく途切れないようにするため通信に用いられる主ビーム方向の決定に要する時間を短くすることが重要となる。ここで例えば主ビーム方向の複数の候補のうちからユーザの頭部がある可能性が高い範囲の候補に絞り込んだ上で、これらの候補のうちから主ビーム方向を決定するようにすると、短時間で主ビーム方向が決定できる。

　主ビーム方向の候補の絞り込みを行うにあたって、ユーザがゲームをプレイしている状況ではユーザの頭部が動く方向に偏りがあることを踏まえると、より適切な絞り込みが行える。例えば、ジャンプの動作やしゃがむ動作によってユーザの頭部が上下方向に動いたり、首や体を傾ける動作によってユーザの頭部が前後左右に動いたりする可能性は高いが、左上、右上、左下、右下などといった斜め方向にユーザの頭部が動く可能性は低い。そのため例えばユーザの頭部に対して斜め方向である範囲については主ビーム方向の候補からは除外されることが望ましい。

　例えば上記のようにすると主ビーム方向の候補をより適切に絞り込めるが、従来技術ではユーザがゲームをプレイしている状況においてユーザの頭部が動く方向に偏りがあることを踏まえた主ビーム方向の候補の絞り込みは行われていなかった。

　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ゲームをプレイしている状況においてユーザの頭部が動く方向に偏りがあることを踏まえた主ビーム方向の候補の絞り込みを行える主ビーム方向決定装置、主ビーム方向決定方法及びプログラムを提供することにある。

　上記課題を解決するために、本発明に係る主ビーム方向決定装置は、ヘッドマウントディスプレイを装着しているユーザの像が含まれる画像を取得する画像取得部と、前記画像内の、前記ユーザの姿勢が上下方向に延伸する場合における前記ユーザの頭部の像を含む領域を特定する領域特定部と、複数の主ビーム方向の１次候補のうちから、前記領域内の位置に対応付けられる方向である２次候補を選択する２次候補選択部と、前記２次候補のうちから、前記ヘッドマウントディスプレイとの通信における主ビーム方向を決定する主ビーム方向決定部と、を含み、前記領域は、凸部を有する。

　本発明の一態様では、前記領域は、十字形状の領域である。

　また本発明の一態様では、前記領域は、左右対称である。

　この態様では、前記画像内における、前記ユーザの頭部の像の中心線を特定する中心線特定部、をさらに含み、前記領域特定部が、前記中心線を中心として左右対称となる領域を特定してもよい。

　また本発明の一態様では、前記凸部が占める領域は、前記ユーザの頭部の像より上の領域を含む。

　また本発明の一態様では、前記領域の大きさは、前記ユーザの頭部の像の大きさに比例した大きさである。

　また、本発明に係る主ビーム方向決定方法は、ヘッドマウントディスプレイを装着しているユーザの像が含まれる画像を取得するステップと、前記画像内の、前記ユーザの姿勢が上下方向に延伸する場合における前記ユーザの頭部の像を含む領域を特定するステップと、複数の主ビーム方向の１次候補のうちから、前記領域内の位置に対応付けられる方向である２次候補を選択するステップと、前記２次候補のうちから、前記ヘッドマウントディスプレイとの通信における主ビーム方向を決定するステップと、を含み、前記領域は、凸部を有する。

　また、本発明に係るプログラムは、ヘッドマウントディスプレイを装着しているユーザの像が含まれる画像を取得する手順、前記画像内の、前記ユーザの姿勢が上下方向に延伸する場合における前記ユーザの頭部の像を含む領域を特定する手順、複数の主ビーム方向の１次候補のうちから、前記領域内の位置に対応付けられる方向である２次候補を選択する手順、前記２次候補のうちから、前記ヘッドマウントディスプレイとの通信における主ビーム方向を決定する手順、をコンピュータに実行させ、前記領域は、凸部を有する。

本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。本発明の一実施形態に係る中継装置の構成の一例を示す図である。ユーザが装着するヘッドマウントディスプレイと中継装置との間での通信が行われている様子の一例を示す図である。角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。撮影画像の一例を示す図である。絞り込み領域の一例を示す図である。撮影画像の一例を示す図である。撮影画像の一例を示す図である。本発明の一実施形態に係る中継装置で実装される機能の一例を示す機能ブロック図である。１次候補セクタデータの一例を示す図である。本発明の一実施形態に係る中継装置において行われる処理の流れの一例を示すフロー図である。

　以下、本発明の一実施形態について、図面を参照しながら説明する。

　図１は、本発明の一実施形態に係る映像表示システム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係る中継装置１６の構成の一例を示す図である。

　図１に示すように、本実施形態に係る映像表示システム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。

　本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、制御部３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、音声出力部４２が含まれる。

　制御部３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

　記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、制御部３０によって実行されるプログラムなどが記憶される。

　通信部３４は、例えばアレイアンテナが内蔵された無線ＬＡＮモジュールなどの通信インタフェースである。本実施形態では図１に示すように、通信部３４は、ＨＭＤ１２の前側上方に配置されている。

　入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。

　表示部３８は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部３８は、ＨＭＤ１２の筐体に収容される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

　センサ部４０は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部４０は、ＨＭＤ１２の回転量、移動量などの計測結果を所定のフレームレートで、制御部３０に出力する。

　音声出力部４２は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部４２は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。

　本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。

　本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。

　本実施形態に係る中継装置１６には、例えば図２Ｂに示すように、制御部５０、記憶部５２、通信部５４、入出力部５６が含まれる。

　制御部５０は、例えば制御回路、又は、中継装置１６にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

　記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部５２には、制御部５０によって実行されるプログラムなどが記憶される。

　通信部５４は、例えばアレイアンテナが内蔵された無線ＬＡＮモジュールなどの通信インタフェースなどである。本実施形態では、図１に示すように、中継装置１６の前側に、通信部５４が含まれている。

　入出力部５６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。

　本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。

　本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。

　ＨＭＤ１２と中継装置１６とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。

　本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。

　本実施形態では、ＨＭＤ１２と中継装置１６との間では６０ＧＨｚ帯などといったミリ波による無線通信が行われる。ミリ波は直進性が強いため、主ビーム方向を適切に調整しないと通信品質の確保が難しい。本実施形態では、通信品質が高い方向が主ビーム方向として設定されるように調整することで通信品質が確保されることとなる。

　主ビーム方向を設定する技術の一例としてビームフォーミングが知られている。ビームフォーミングの処理は、セクタレベルスイープの処理とビームリファインメントの処理とから構成される。セクタレベルスイープでは主ビーム方向の複数の候補のうちから通信が行われた際の通信品質が高い方向がＨＭＤ１２の主ビーム方向として決定される。本実施形態における通信品質としては、例えば、信号対雑音比（Ｓ／Ｎ比）や受信強度などが挙げられる。セクタレベルスイープによってＨＭＤ１２の主ビーム方向が決定されると、その決定されたＨＭＤ１２の主ビーム方向を微調整するビームリファインメントの処理が実行される。なおセクタレベルスイープもビームリファインメントも、ＨＭＤ１２の通信部３４と中継装置の通信部５４との間の通信（ネゴシエーション）によって行われる。

　図３は、ユーザ６０が装着するＨＭＤ１２と中継装置１６との間での通信が行われている様子の一例を示す図である。図３には、中継装置１６の主ビーム方向である方向ｄ１が示されている。

　本実施形態では、主ビーム方向は、角度φ及び角度θの組合せで表現される。以下、角度φと角度θとの組合せを主ビーム角度パラメータ（φ，θ）と呼ぶこととする。図４は、角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。

　本実施形態では例えば、中継装置１６に内蔵されたアレイアンテナが配置されている面に垂直な方向であって、中継装置１６の後側から前側に向かう方向が、図４におけるＸ軸正方向に相当することとする。図３に示すように、中継装置１６は、その前側がＨＭＤ１２の方を向くように配置されている。また中継装置１６に内蔵されたアレイアンテナが配置されている面に沿った方向であって、中継装置１６の右側から左側に向かう方向（図３においては概ね左から右に向かう方向）が、図４におけるＹ軸正方向に相当することとする。また中継装置１６に内蔵されたアレイアンテナが配置されている面に沿った方向であって、Ｘ軸正方向から見てＹ軸正方向を反時計回りに９０度回転させた方向をＺ軸正方向とする。そして本実施形態では図４に示すように、Ｚ軸正方向から見た際における、Ｘ軸を基準として反時計回りを正とした角度を角度φとする。また、Ｚ軸正方向となす角度を角度θとする。例えば、Ｘ軸正方向に相当する主ビーム角度パラメータ（φ，θ）は（０，＋９０）となる。なお本実施形態では主ビーム角度パラメータの値の単位は「度」であることとする。また本実施形態では、－１８０≦φ＜＋１８０であり、０≦θ≦１８０であることとする。

　図５は、本実施形態に係るカメラ２０ａが撮影する撮影画像６２の一例を示す図である。図５に示す撮影画像６２には、ＨＭＤ１２を装着したユーザ６０の像が含まれている。本実施形態ではカメラ２０ａは所定のフレームレートで撮影画像６２を生成する。図５に示す撮影画像６２の右方向をｘ軸正方向、下方向をｙ軸正方向とする。ここで撮影画像６２内の位置を表すｘ座標とｙ座標との組合せを撮影画像内座標パラメータ（ｘ，ｙ）と呼ぶこととする。

　そして本実施形態では、撮影画像６２内の位置と主ビーム方向とは１対１で対応付けられている。本実施形態では例えば、主ビーム角度パラメータ（φ，θ）と、撮影画像内座標パラメータ（ｘ，ｙ）とは１対１で対応付けられる。

　図５の撮影画像６２には、セクタレベルスイープにおける主ビーム方向の候補のそれぞれに対応付けられる位置が×印で示されている。以下、×印で示されている位置のそれぞれを１次候補セクタ対応位置と呼ぶこととする。そして１次候補セクタ対応位置に対応付けられる主ビーム方向の候補を、１次候補セクタと呼ぶこととする。図５には、１２０個の１次候補セクタのそれぞれに対応付けられる１次候補セクタ対応位置が示されている。

　本実施形態では、１次候補セクタのうちの、ユーザ６０の像の撮影画像６２内の位置に応じた一部が２次候補セクタとして選択される。この２次候補セクタの選択の際には、ＨＭＤ１２と中継装置１６との間での通信（ネゴシエーション）は不要である。図５には、２次候補セクタであるか否かの境界である絞り込み領域Ｒが示されている。以下、×印で示されている１次候補セクタ対応位置のうちの一部である、２次候補セクタに対応付けられる位置を、２次候補セクタ対応位置と呼ぶこととする。図５の例では、１２０個の１次候補セクタ対応位置のうちの６個が、２次候補セクタ対応位置として選択されることとなる。

　本実施形態に係る絞り込み領域Ｒは、例えば、左右対称である十字形状の領域であり、長方形の中央部６４、中央部６４から上に延伸する長方形の凸部６６、及び、中央部６４から下に延伸する長方形の凸部６８を有する。

　そして本実施形態に係る絞り込み領域Ｒは、例えば、中央部６４、凸部６６、及び、凸部６８のそれぞれ中心のｘ座標が、ユーザ６０の姿勢が上下方向に延伸する場合におけるユーザ６０の頭部の像の中心のｘ座標と同じになるよう設定される。ここで例えば、公知の骨格判定技術や顔認識技術により、撮影画像６２内における、ユーザ６０の頭部の中心線が特定されてもよい。そして中央部６４、凸部６６、及び、凸部６８のそれぞれ中心のｘ座標が、上述のようにして特定される中心線のｘ座標と同じになるようにしてもよい。

　また絞り込み領域Ｒは、凸部６６及び凸部６８の横の長さＬ１が、ユーザ６０の頭部の像の横の長さと同じであり、中央部６４の横の長さＬ２が、ユーザ６０の頭部の像の横の長さの所定倍（例えば３倍）となるよう設定される。このように本実施形態に係る絞り込み領域Ｒの大きさは、ユーザ６０の頭部の像の大きさに比例した大きさとなっている。

　また絞り込み領域Ｒにおける凸部６６の上辺は、ユーザ６０の頭部の像の中心よりも、長さＬ３（例えば実空間における５０ｃｍに相当する長さＬ３）だけ上の位置に設定される。ここで実空間における５０ｃｍに相当する長さＬ３は、例えば撮影画像６２内におけるユーザ６０の像の縦の長さと、ユーザ６０の身長を示すデータとに基づいて特定可能である。また絞り込み領域Ｒにおける凸部６６の下辺（中央部６４の上辺）は、ユーザ６０の頭頂部の像の位置に設定される。このように凸部６６は、ユーザ６０の頭部の像より上の領域を含んでいてもよい。また絞り込み領域Ｒにおける凸部６８の上辺（中央部６４の下辺）は、ユーザ６０の胸の像の位置、又は、当該位置の少し下に設定される。また絞り込み領域Ｒにおける凸部６８の下辺は、ユーザ６０の腰の像の位置に設定される。以上で説明した、胸の像の位置や腰の像の位置は例えば骨格判定技術により特定可能である。なおユーザ６０が座った状態でゲームをプレイしている場合も、以上で説明した形状の絞り込み領域Ｒが設定されても構わない。

　なお絞り込み領域Ｒの特定方法は上述のものに限定されない。例えば図６に示すように、上述の長さＬ３や、凸部６６の縦の長さＬ４、凸部６８の縦の長さＬ５、中央部６４の縦の長さＬ６が、顔認識技術により特定される顔の縦の長さの所定倍の長さであっても構わない。またこれらの長さＬ３～Ｌ６が、ユーザ６０の像の縦の長さ（すなわち身長）に比例して設定されても構わない。

　また絞り込み領域Ｒが、所定の形状の領域（例えば十字形状の領域）を、撮影画像６２内における、ユーザ６０の頭部の像の大きさ（縦の長さ及び横の長さ）に比例するよう相似拡大させた領域であっても構わない。

　また絞り込み領域Ｒを管理するためのデータの形式は特に問わない。例えば、ユーザ６０の頭部の像の中心の座標値及び上述の長さＬ１～Ｌ６の長さを示すパラメータにより絞り込み領域Ｒの撮影画像６２内における位置が管理されても構わない。また例えば、絞り込み領域Ｒに含まれる各頂点の座標値により絞り込み領域Ｒの撮影画像６２内における位置が管理されても構わない。また例えば、絞り込み領域Ｒが所定の形状の領域を相似拡大させた領域である場合は、ユーザ６０の頭部の像の中心の座標値及び縦横それぞれの拡大率（縮小率）により絞り込み領域Ｒの撮影画像６２内における位置が管理されても構わない。

　本実施形態では例えば、所定のフレームレートで生成される撮影画像６２に基づいて、ユーザ６０の姿勢が上下方向に延伸しているフレームの撮影画像６２が特定される。そして特定された撮影画像６２に含まれるユーザ６０の像に基づいて、撮影画像６２内に上述したような絞り込み領域Ｒが設定される。そして設定された絞り込み領域Ｒ内の１次候補セクタ対応位置が、２次候補セクタ対応位置として選択される。そしてＨＭＤ１２と中継装置１６との間のネゴシエーションによって、選択された２次候補セクタ対応位置に対応付けられる２次候補セクタのそれぞれに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認される。そして、最も通信品質が高い２次候補セクタに対応付けられる方向が主ビーム方向として決定されることとなる。

　本実施形態では、上述のようにして通信品質を確認する主ビーム方向の候補を、撮影画像６２内におけるユーザ６０の頭部の像の位置に応じた一部に限定している。そのため本実施形態ではＨＭＤ１２と中継装置１６との間のネゴシエーションによって通信品質が確認されるセクタの数が従来のビームフォーミングよりも少ない。そのため本実施形態によれば従来のビームフォーミングよりも短時間で主ビーム方向が特定されることとなる。

　またユーザ６０がゲームをプレイしている状況においてはユーザ６０の頭部が動く方向には偏りがある。例えば、ジャンプの動作やしゃがむ動作によってユーザ６０の頭部が上下方向に動いたり、首や体を傾ける動作によってユーザ６０の頭部が前後左右に動いたりする可能性は高い。一方、左上、右上、左下、右下などといった斜め方向にユーザ６０の頭部が動く可能性は低い。

　本実施形態ではこのようなユーザ６０の頭部が動く方向の偏りを踏まえて、通信品質を確認する主ビーム方向の候補を図５に示すような凸部６６や凸部６８を有する形状の絞り込み領域Ｒ内の２次候補セクタ対応位置に対応付けられる２次候補セクタに限定している。このようにして本実施形態ではゲームをプレイしている状況においてユーザ６０の頭部が動く方向に偏りがあることを踏まえた主ビーム方向の候補の絞り込みが行われることとなる。

　例えば図７には、ユーザ６０が頭部を左に傾けた際の撮影画像６２の一例が示されている。図８には、ユーザ６０が体を左に傾けた際の撮影画像６２の一例が示されている。図７や図８に示す状況においても、ユーザ６０の頭部の像は絞り込み領域Ｒ内に配置されることとなる。そのためユーザ６０の頭部が動いた状況であっても、本実施形態によれば、絞り込み領域Ｒ内に対応付けられる２次候補セクタのうちから主ビーム方向を選択することで、通信品質が高い主ビーム方向が選択できることとなる。

　以下、本実施形態に係る中継装置１６の機能並びに本実施形態に係る中継装置１６で実行される処理についてさらに説明する。なお本実施形態に係る中継装置１６は、主ビーム方向の複数の１次候補のうちから中継装置１６の主ビーム方向を決定する主ビーム方向決定装置としての役割を担うこととなる。

　図９は、本実施形態に係る中継装置１６で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る中継装置１６で、図９に示す機能のすべてが実装される必要はなく、また、図９に示す機能以外の機能が実装されていても構わない。

　図９に示すように、本実施形態に係る中継装置１６は、機能的には例えば、１次候補セクタデータ記憶部７０、画像取得部７２、姿勢特定部７４、絞り込み領域特定部７６、２次候補セクタ選択部７８、セクタレベルスイープ処理実行部８０、ビームリファインメント処理実行部８２、を含んでいる。１次候補セクタデータ記憶部７０は、記憶部５２を主として実装される。画像取得部７２は、制御部５０及び入出力部５６を主として実装される。姿勢特定部７４、絞り込み領域特定部７６、２次候補セクタ選択部７８は、制御部５０を主として実装される。セクタレベルスイープ処理実行部８０、ビームリファインメント処理実行部８２は、制御部５０及び通信部５４を主として実装される。

　以上の機能は、コンピュータである中継装置１６にインストールされた、以上の機能に対応する指令を含むプログラムを制御部５０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して中継装置１６に供給される。

　１次候補セクタデータ記憶部７０は、本実施形態では例えば、１次候補セクタを示す１次候補セクタデータを記憶する。本実施形態に係る１次候補セクタデータには例えば、図１０に示すように、１次候補セクタデータの識別情報である１次候補セクタＩＤと、上述の主ビーム角度パラメータ（φ，θ）と、上述の撮影画像内座標パラメータ（ｘ，ｙ）と、が含まれている。また本実施形態では、１次候補セクタデータ記憶部７０は、図１０に示すように、１次候補セクタデータを複数記憶する。また１次候補セクタデータが示す１次候補セクタは、主ビーム角度パラメータ（φ，θ）によって、基準となる向き（例えばＸ軸正方向）に対する角度に対応付けられている。また１次候補セクタデータにおいて、主ビーム角度パラメータ（φ，θ）と撮影画像内座標パラメータ（ｘ，ｙ）とは１対１で対応付けられている。本実施形態では例えば、図１０に示すように、主ビーム角度パラメータ（φ，θ）のうちの角度φと撮影画像内座標パラメータ（ｘ，ｙ）のうちのｘ座標とは１対１で対応付けられる。また主ビーム角度パラメータ（φ，θ）のうちの角度θと撮影画像内座標パラメータ（ｘ，ｙ）のうちのｙ座標とは１対１で対応付けられる。

　画像取得部７２は、本実施形態では例えば、ＨＭＤ１２を装着しているユーザ６０の像が含まれる画像を取得する。画像取得部７２は、本実施形態では例えば、カメラ２０ａが所定のフレームレートで撮影する、図５、図７、図８に例示する撮影画像６２を、当該フレームレートで取得する。

　姿勢特定部７４は、本実施形態では例えば、画像取得部７２が取得する撮影画像６２に基づいて、ユーザ６０の姿勢を特定する。姿勢特定部７４は、例えば、公知の骨格判定技術に基づく姿勢判定により、ユーザ６０の姿勢が上下方向に延伸しているか否かを特定してもよい。

　絞り込み領域特定部７６は、本実施形態では例えば、撮影画像６２内の、ユーザ６０の姿勢が上下方向に延伸している場合におけるユーザ６０の頭部の像を含む領域を特定する。絞り込み領域特定部７６は、本実施形態では例えば、姿勢特定部７４が、画像取得部７２が取得する撮影画像６２に基づいて、ユーザ６０の姿勢が上下方向に延伸していることが特定された際に、上述の絞り込み領域Ｒを特定する。なお絞り込み領域特定部７６は、上述の各種パラメータの値を特定してもよい。絞り込み領域特定部７６は、具体的には例えば、ユーザ６０の頭部の像の中心の座標値及び上述の長さＬ１～Ｌ６のうちの少なくとも１つを示す値、各頂点の座標値、ユーザ６０の頭部の像の中心の座標値及び縦横それぞれの拡大率（縮小率）を特定してもよい。

　また絞り込み領域特定部７６が、撮影画像６２内における、上下方向に延伸する、ユーザ６０の頭部の像の中心線を特定する中心線特定部を含んでいてもよい。そして絞り込み領域特定部７６が、特定される中心線を中心とする左右対称となる絞り込み領域Ｒを特定してもよい。

　２次候補セクタ選択部７８は、本実施形態では例えば、複数の主ビーム方向の１次候補のうちから、絞り込み領域Ｒ内の位置に対応付けられる方向である２次候補を選択する。２次候補セクタ選択部７８は、本実施形態では例えば、絞り込み領域特定部７６が特定した絞り込み領域Ｒ内の座標値を撮影画像内座標パラメータ（ｘ，ｙ）として含む１次候補セクタデータを、２次候補セクタを示す２次候補セクタデータとして選択する。なお２次候補セクタ選択部７８による２次候補セクタの選択処理においては、ＨＭＤ１２と中継装置１６との間の通信（ネゴシエーション）は不要である。なお２次候補セクタ選択部７８が、絞り込み領域特定部７６が特定する上述の各種パラメータの値に基づいて、２次候補セクタデータを選択してもよい。

　セクタレベルスイープ処理実行部８０は、本実施形態では例えば、２次候補セクタ選択部７８が選択した２次候補のうちから、ＨＭＤ１２との通信における主ビーム方向を決定する。セクタレベルスイープ処理実行部８０は、本実施形態では例えば、２次候補セクタ選択部７８が選択した２次候補セクタのそれぞれを主ビーム方向とした通信が行われた際の通信品質に基づいて、中継装置１６の主ビーム方向を決定する。セクタレベルスイープ処理実行部８０は、本実施形態では例えば、ＨＭＤ１２と中継装置１６との間でのネゴシエーションにおいて、２次候補セクタ選択部７８が選択した２次候補セクタのそれぞれを主ビーム方向とした通信における通信品質を確認する。そしてセクタレベルスイープ処理実行部８０は、例えば、最も通信品質が高かった主ビーム方向を、中継装置１６の主ビーム方向として決定する。

　ビームリファインメント処理実行部８２は、本実施形態では例えば、セクタレベルスイープ処理実行部８０が決定した主ビーム方向を微調整するビームリファインメント処理を実行する。ビームリファインメント処理についても、ＨＭＤ１２と中継装置１６との間での通信（ネゴシエーション）によって行われる。

　以下、本実施形態に係る中継装置１６において行われる、絞り込み領域Ｒの設定処理の流れの一例を、図１１に示すフロー図を参照しながら説明する。本実施形態では例えば、姿勢特定部７４が、画像取得部７２が取得する撮影画像６２に基づいて、ユーザ６０の姿勢が上下方向に延伸していることを特定した際に、以下の処理が実行されることとする。

　上述のように、姿勢特定部７４が、画像取得部７２が取得する撮影画像６２に基づいて、ユーザ６０の姿勢が上下方向に延伸していることを特定したとする（Ｓ１０１）。すると絞り込み領域特定部７６が、当該撮影画像６２内のユーザ６０の像の位置に基づいて、絞り込み領域Ｒを特定する（Ｓ１０２）。Ｓ１０２に示す処理では例えば、絞り込み領域Ｒを表現する上述の各種パラメータの値が特定される。

　そして２次候補セクタ選択部７８が、Ｓ１０２に示す処理で特定された絞り込み領域Ｒに基づいて、１次候補セクタデータが示す１次候補セクタのうちから、２次候補セクタを選択する（Ｓ１０３）。ここでは例えばＳ１０２に示す処理で特定された絞り込み領域Ｒ内の座標値を撮影画像内座標パラメータ（ｘ，ｙ）として含む１次候補セクタデータが、２次候補セクタを示す２次候補セクタデータとして選択される。

　そしてセクタレベルスイープ処理実行部８０が、Ｓ１０３に示す処理で特定されたすべての２次候補セクタについて、当該２次候補セクタが表す主ビーム方向での通信の際の通信品質を確認する（Ｓ１０４）。

　そしてセクタレベルスイープ処理実行部８０が、Ｓ１０４に示す処理で最も高い通信品質であると特定された２次候補セクタが表す主ビーム方向を、ＨＭＤ１２の主ビーム方向として決定する（Ｓ１０５）。

　そしてビームリファインメント処理実行部８２が、Ｓ１０５に示す処理で決定された主ビーム方向の微調整であるビームリファインメント処理を行う（Ｓ１０６）。そして本処理例に示す処理は終了される。なお上述したように、Ｓ１０１～Ｓ１０３に示す処理ではＨＭＤ１２と中継装置１６との間のネゴシエーションは行われないが、Ｓ１０４～Ｓ１０６に示す処理ではＨＭＤ１２と中継装置１６との間のネゴシエーションが行われる。

　以後、ＨＭＤ１２と中継装置１６との間で通信が行われることとなるが、ここで例えばＨＭＤ１２と中継装置１６との通信品質が所定の品質以下となったとする。この場合に２次候補セクタの選択が再度実行される必要はない。具体的には、例えば上述のＳ１０４～Ｓ１０６に示す処理だけが実行されるようにしてもよい。このようにすれば、ＨＭＤ１２と中継装置１６との通信品質が悪くなっても、２次候補セクタの再選択が行われることなくセクタレベルスイープが行われる。そのためＨＭＤ１２と中継装置１６との通信品質が悪くなってから主ビーム方向が再度決定されるまでの時間が短縮できることとなる。

　なおＳ１０４～Ｓ１０６に示す処理が終了してもＨＭＤ１２と中継装置１６との通信品質が所定の品質に達しない場合には、２次候補セクタの選択が再度実行される、すなわち例えばＳ１０１～Ｓ１０６に示す処理が実行されるようにしても構わない。

　なお、本発明は上述の実施形態に限定されるものではない。

　例えば、ＨＭＤ１２と中継装置１６との通信品質が所定の品質以下となった際に、上述のＳ１０１～Ｓ１０６に示す処理が実行されても構わない。

　また例えば、ユーザ６０の姿勢が上下方向にまっすぐでないユーザ６０の像が含まれる撮影画像６２内に基づいて、絞り込み領域Ｒが設定されても構わない。この場合には例えば、当該ユーザ６０の姿勢が上下方向に延伸している場合のユーザ６０の頭部の位置と推定される位置に基づいて、絞り込み領域Ｒが設定されても構わない。

　また例えば、上述のＳ１０６に示す処理が終了してもＨＭＤ１２と中継装置１６との通信品質が所定の品質に達しない場合は、ＨＭＤ１２は、１次候補セクタすべてについて、当該１次候補セクタが表す主ビーム方向での通信の際の通信品質を確認してもよい。そしてこの場合に、ＨＭＤ１２は、最も高い通信品質であると特定された１次候補セクタが表す主ビーム方向を、ＨＭＤ１２の主ビーム方向として決定してもよい。またこの場合に例えば２次候補セクタとしては選択されることがない１次候補セクタが存在していてもよい。

　また例えば、ユーザ６０が立った状態でゲームをプレイしている場合と、座った状態でゲームをプレイしている場合とで、絞り込み領域Ｒの形状が異なっていてもよい。

　また例えば、図９に例示する機能の一部又は全部が、エンタテインメント装置１４で実装されても構わない。

　また例えば、絞り込み領域Ｒの形状は、図５～図８に示すものに限定されない。また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims

　ヘッドマウントディスプレイを装着しているユーザの像が含まれる画像を取得する画像取得部と、
　前記画像内の、前記ユーザの姿勢が上下方向に延伸する場合における前記ユーザの頭部の像を含む領域を特定する領域特定部と、
　複数の主ビーム方向の１次候補のうちから、前記領域内の位置に対応付けられる方向である２次候補を選択する２次候補選択部と、
　前記２次候補のうちから、前記ヘッドマウントディスプレイとの通信における主ビーム方向を決定する主ビーム方向決定部と、を含み、
　前記領域は、凸部を有する、
　ことを特徴とする主ビーム方向決定装置。
　前記領域は、十字形状の領域である、
　ことを特徴とする請求項１に記載の主ビーム方向決定装置。
　前記領域は、左右対称である、
　ことを特徴とする請求項１又は２に記載の主ビーム方向決定装置。
　前記画像内における、前記ユーザの頭部の像の中心線を特定する中心線特定部、をさらに含み、
　前記領域特定部が、前記中心線を中心とする左右対称である領域を特定する、
　ことを特徴とする請求項３に記載の主ビーム方向決定装置。
　前記凸部が占める領域は、前記ユーザの頭部の像より上の領域を含む、
　ことを特徴とする請求項１から４のいずれか一項に記載の主ビーム方向決定装置。
　前記領域の大きさは、前記ユーザの頭部の像の大きさに比例した大きさである、
　ことを特徴とする請求項１から５のいずれか一項に記載の主ビーム方向決定装置。
　ヘッドマウントディスプレイを装着しているユーザの像が含まれる画像を取得するステップと、
　前記画像内の、前記ユーザの姿勢が上下方向に延伸する場合における前記ユーザの頭部の像を含む領域を特定するステップと、
　複数の主ビーム方向の１次候補のうちから、前記領域内の位置に対応付けられる方向である２次候補を選択するステップと、
　前記２次候補のうちから、前記ヘッドマウントディスプレイとの通信における主ビーム方向を決定するステップと、を含み、
　前記領域は、凸部を有する、
　ことを特徴とする主ビーム方向決定方法。
　ヘッドマウントディスプレイを装着しているユーザの像が含まれる画像を取得する手順、
　前記画像内の、前記ユーザの姿勢が上下方向に延伸する場合における前記ユーザの頭部の像を含む領域を特定する手順、
　複数の主ビーム方向の１次候補のうちから、前記領域内の位置に対応付けられる方向である２次候補を選択する手順、
　前記２次候補のうちから、前記ヘッドマウントディスプレイとの通信における主ビーム方向を決定する手順、をコンピュータに実行させ、
　前記領域は、凸部を有する、
　ことを特徴とするプログラム。