JP6368056B2 - 主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラム - Google Patents

主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラム Download PDF

Info

Publication number
JP6368056B2
JP6368056B2 JP2017550338A JP2017550338A JP6368056B2 JP 6368056 B2 JP6368056 B2 JP 6368056B2 JP 2017550338 A JP2017550338 A JP 2017550338A JP 2017550338 A JP2017550338 A JP 2017550338A JP 6368056 B2 JP6368056 B2 JP 6368056B2
Authority
JP
Japan
Prior art keywords
main beam
beam direction
mounted display
head mounted
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017550338A
Other languages
English (en)
Other versions
JPWO2017082256A1 (ja
Inventor
克嘉 大西
克嘉 大西
一政 千種
一政 千種
三浦 和夫
和夫 三浦
達人 末冨
達人 末冨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2017082256A1 publication Critical patent/JPWO2017082256A1/ja
Application granted granted Critical
Publication of JP6368056B2 publication Critical patent/JP6368056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0686Hybrid systems, i.e. switching and simultaneous transmission
    • H04B7/0695Hybrid systems, i.e. switching and simultaneous transmission using beam selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0802Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station using antenna selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0868Hybrid systems, i.e. switching and combining
    • H04B7/088Hybrid systems, i.e. switching and combining using beam selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/10Polarisation diversity; Directional diversity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features

Description

本発明は、主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラムに関する。
無線通信分野において、主ビーム方向の複数の候補のうちから、通信が行われた際の通信品質が高い方向を通信に用いられる主ビーム方向として決定する技術が知られている。このような技術の一例としては、ビームフォーミングにおけるセクタレベルスイープが挙げられる。
近年、例えばゲームプログラムを実行するゲーム装置が生成する、ゲームのプレイ状況を表す動画像を無線でヘッドマウントディスプレイ(HMD)に送信し、当該動画像をHMDに表示させることが検討されている。このようにすると、HMDを装着したユーザは頭部を自由に動かしてゲームをプレイすることができる。
例えばHMDを装着したユーザが頭部を動かすことで操作入力を行えるゲームをプレイしている状況などでは、ユーザの頭部の向きは頻繁に変化する。するとHMDに内蔵されているアンテナの向きも頻繁に変化することとなる。このような場合にはアンテナの向きの変化に応じて例えば上述のビームフォーミングなどによりHMDの主ビーム方向をすばやく変化させる必要がある。ここでアンテナの向きの変化に応じてHMDの主ビーム方向をすばやく変化させるためにはHMDの主ビーム方向の決定に要する時間を短くすることが特に重要となる。
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ヘッドマウントディスプレイの主ビーム方向の決定に要する時間を短くできる主ビーム方向決定装置、主ビーム方向決定方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る主ビーム方向決定装置は、主ビーム方向の複数の1次候補のうちからヘッドマウントディスプレイの主ビーム方向を決定する主ビーム方向決定装置であって、前記ヘッドマウントディスプレイの姿勢に応じて前記複数の1次候補のうちの一部を2次候補として選択する選択部と、前記2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてヘッドマウントディスプレイの主ビーム方向を決定する主ビーム方向決定部と、を含む。
本発明の一態様では、前記ヘッドマウントディスプレイが備えるセンサの検出結果に基づいて前記ヘッドマウントディスプレイの姿勢を特定する姿勢特定部をさらに含み、前記選択部は、前記姿勢特定部が特定する姿勢に応じて前記複数の1次候補のうちの一部を前記2次候補として選択する。
また本発明の一態様では、前記1次候補は、基準の向きに対する角度に対応付けられており、前記選択部は、対応付けられている角度が前記ヘッドマウントディスプレイの姿勢に応じた角度の範囲内である前記1次候補を前記2次候補として選択する。
また、本発明に係るヘッドマウントディスプレイは、主ビーム方向の複数の1次候補のうちからヘッドマウントディスプレイの主ビーム方向を決定するヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの姿勢に応じて前記複数の1次候補のうちの一部を2次候補として選択する選択部と、前記2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてヘッドマウントディスプレイの主ビーム方向を決定する主ビーム方向決定部と、を含む。
また、本発明に係る主ビーム方向決定方法は、主ビーム方向の複数の1次候補のうちからヘッドマウントディスプレイの主ビーム方向を決定する主ビーム方向決定方法であって、前記ヘッドマウントディスプレイの姿勢に応じて前記複数の1次候補のうちの一部を2次候補として選択するステップと、前記2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてヘッドマウントディスプレイの主ビーム方向を決定するステップと、を含む。
また、本発明に係るプログラムは、主ビーム方向の複数の1次候補のうちからヘッドマウントディスプレイの主ビーム方向を決定するコンピュータに、前記ヘッドマウントディスプレイの姿勢に応じて前記複数の1次候補のうちの一部を2次候補として選択する手順、前記2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてヘッドマウントディスプレイの主ビーム方向を決定する手順、を実行させる。
本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 セクタレベルスイープにおける主ビーム方向の複数の候補の一例を模式的に示すセクタ候補図である。 セクタ候補図における角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。 ヘッドマウントディスプレイの姿勢と主ビーム方向と主ビーム角度パラメータとの関係の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。 1次候補セクタデータの一例を示す図である。 角度φ’の一例を示す図である。 角度θ’の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について、図面を参照しながら説明する。
図1は、本発明の一実施形態に係る映像表示システム10の全体構成の一例を示す図である。図2は、本実施形態に係るヘッドマウントディスプレイ(HMD)12の構成の一例を示す図である。
図1に示すように、本実施形態に係る映像表示システム10は、HMD12とエンタテインメント装置14と中継装置16とディスプレイ18とカメラマイクユニット20とコントローラ22とを含んでいる。
本実施形態に係るHMD12には、例えば図2に示すように、制御部30、記憶部32、通信部34、入出力部36、表示部38、センサ部40、音声出力部42が含まれる。
制御部30は、例えばHMD12にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部32は、例えばROMやRAM等の記憶素子などである。記憶部32には、制御部30によって実行されるプログラムなどが記憶される。
通信部34は、例えばアレイアンテナが内蔵された無線LANモジュールなどの通信インタフェースである。本実施形態では図1に示すように、通信部34は、HMD12の前側上方に配置されている。
入出力部36は、例えばHDMI(登録商標)(High-Definition Multimedia Interface)ポート、USBポート、AUXポートなどの入出力ポートである。
表示部38は、HMD12の前側に配置されている、例えば液晶ディスプレイや有機ELディスプレイ等のディスプレイであり、エンタテインメント装置14が生成する映像などを表示させる。また表示部38は、HMD12の筐体に収容される。表示部38は、例えばエンタテインメント装置14が出力して中継装置16で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部38は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部38は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
センサ部40は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部40は、HMD12の回転量、移動量などの計測結果を所定のフレームレートで、制御部30に出力する。
音声出力部42は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置14が生成する音声データが表す音声などを出力する。音声出力部42は、例えばエンタテインメント装置14が出力して中継装置16で中継される音声信号を受信して、当該音声信号が表す音声を出力する。
本実施形態に係るエンタテインメント装置14は、例えばゲームコンソール、DVDプレイヤ、Blu−ray(登録商標)プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置14は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置14は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置16を経由して、HMD12やディスプレイ18に出力する。
本実施形態に係る中継装置16は、エンタテインメント装置14から出力される映像信号や音声信号を中継してHMD12やディスプレイ18に出力するコンピュータである。本実施形態に係る中継装置16には、アレイアンテナが内蔵された無線LANモジュールなどの通信インタフェースである通信部16aが含まれている。
本実施形態に係るディスプレイ18は、例えば液晶ディスプレイ等であり、エンタテインメント装置14から出力される映像信号が表す映像などを表示させる。
本実施形態に係るカメラマイクユニット20は、例えば被写体を撮像した画像をエンタテインメント装置14に出力するカメラ20a及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置14に出力するマイク20bを含んでいる。また本実施形態に係るカメラ20aはステレオカメラである。
HMD12と中継装置16とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置14と中継装置16とは、例えば、HDMIケーブルやUSBケーブルなどを介して接続されている。中継装置16とディスプレイ18とは、例えば、HDMIケーブルなどを介して接続されている。エンタテインメント装置14とカメラマイクユニット20とは、例えば、AUXケーブルなどを介して接続されている。
本実施形態に係るコントローラ22は、エンタテインメント装置14に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ22が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ22を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ22は、操作入力に対応付けられる入力データをエンタテインメント装置14に出力する。また本実施形態に係るコントローラ22は、USBポートを備えている。そしてコントローラ22は、USBケーブルでエンタテインメント装置14と接続することで、有線で入力データをエンタテインメント装置14に出力することができる。また本実施形態に係るコントローラ22は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置14に出力することができるようにもなっている。
本実施形態では、HMD12と中継装置16との間では60GHz帯などといったミリ波による無線通信が行われる。ミリ波は直進性が強いため、主ビーム方向を適切に調整しないと通信品質の確保が難しい。本実施形態では、通信品質が高い方向が主ビーム方向として設定されるように調整することで通信品質が確保されることとなる。
主ビーム方向を設定する技術の一例としてビームフォーミングが知られている。ビームフォーミングの処理は、セクタレベルスイープの処理とビームリファインメントの処理とから構成される。セクタレベルスイープでは主ビーム方向の複数の候補のうちから通信が行われた際の通信品質が高い方向がHMD12の主ビーム方向として決定される。本実施形態における通信品質としては、例えば、信号対雑音比(S/N比)や受信強度などが挙げられる。セクタレベルスイープによってHMD12の主ビーム方向が決定されると、その決定されたHMD12の主ビーム方向を微調整するビームリファインメントの処理が実行される。なおセクタレベルスイープもビームリファインメントも、HMD12の通信部34と中継装置の通信部16aとの間の通信(ネゴシエーション)によって行われる。
図3は、セクタレベルスイープにおける主ビーム方向の複数の候補の一例を模式的に示すセクタ候補図である。図4は、図3に示すセクタ候補図における角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。
図3に示すセクタ候補図に×印で示されている点のそれぞれが、セクタレベルスイープにおける主ビーム方向の候補を表している。以下、当該候補を1次候補セクタと呼ぶこととする。図3の例では、48個の1次候補セクタが設定されている。そしてこれらの1次候補セクタのそれぞれは、角度φと角度θとの組合せに対応付けられる。以下、角度φと角度θとの組合せを主ビーム角度パラメータ(φ,θ)と呼ぶこととする。
本実施形態では例えば、HMD12に内蔵されたアレイアンテナが配置されている面に垂直な方向であって、HMD12を装着したユーザの後頭部から前頭部に向かう方向が、図4におけるX軸正方向に相当することとする。またHMD12に内蔵されたアレイアンテナが配置されている面に沿った方向であって、HMD12を装着したユーザの右側頭部から左側頭部に向かう方向が、図4におけるY軸正方向に相当することとする。またHMD12に内蔵されたアレイアンテナが配置されている面に沿った方向であって、X軸正方向から見てY軸正方向を反時計回りに90度回転させた方向をZ軸正方向とする。そして本実施形態では図4に示すように、Z軸正方向から見た際における、X軸を基準として反時計回りを正とした角度を角度φとする。また、Z軸正方向となす角度を角度θとする。例えば、X軸正方向に相当する主ビーム角度パラメータ(φ,θ)は(0,+90)となる。なお本実施形態では主ビーム角度パラメータの値の単位は「度」であることとする。また本実施形態では、−180≦φ<+180であり、0≦θ≦180であることとする。
従来のセクタレベルスイープでは、HMD12と中継装置16との間でのネゴシエーションが行われていた。そして当該ネゴシエーションにおいて、セクタ候補図に配置された48個の1次候補セクタのすべてについて、それぞれの1次候補セクタに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認されていた。そして最も通信品質が高い1次候補セクタに対応付けられる方向が主ビーム方向として決定されていた。
一方本実施形態では、図3に示すセクタ候補図に配置された48個の1次候補セクタのうちから、HMD12の姿勢に応じた一部が2次候補セクタとして選択される。この2次候補セクタの選択の際には、HMD12と中継装置16との間での通信(ネゴシエーション)は不要である。図3には、2次候補セクタであるか否かの境界である絞り込み領域Rの例が4個示されている(R1〜R4)。領域R1、R2、R4の形状は本実施形態では例えば、所定の長さを半径とする円である。なお領域R3は、主ビーム角度パラメータ(φ,θ)が(−180,+90)である点を中心とした半円の領域と、主ビーム角度パラメータ(φ,θ)が(+180,+90)である点を中心とした半円の領域と、に分かれている。このように1つの絞り込み領域Rがセクタ候補図において分かれて配置されていてもよい。また図3の例では、絞り込み領域Rの半径は40度に相当する長さとなっている。そして例えば、HMD12の正面が中継装置16に向かっている場合には、図3に示す領域R1内に配置された9個の1次候補セクタが2次候補セクタとして選択される。そしてHMD12と中継装置16との間のネゴシエーションによって、選択された2次候補セクタのそれぞれに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認される。そして、最も通信品質が高い2次候補セクタに対応付けられる方向が主ビーム方向として決定されることとなる。
本実施形態に係るHMD12は、センサ部40を備えているので、センサ部40の検出結果に基づいてHMD12の姿勢を特定できる。このようにHMD12の姿勢を特定することで、HMD12から見た通信相手である中継装置16の方向を特定することができるようになる。本実施形態では、上述のようにして通信品質を確認する主ビーム方向の候補を、HMD12の姿勢に応じた一部、例えばHMD12から見て中継装置16の方向に近い候補に限定している。そのため本実施形態ではHMD12と中継装置16との間のネゴシエーションによって通信品質が確認されるセクタの数が従来のビームフォーミングよりも少ない。そのため本実施形態によれば従来のビームフォーミングよりも短時間で主ビーム方向が特定されることとなる。
以下、HMD12の姿勢に基づく絞り込み領域Rの特定について、図5を参照しながらさらに説明する。図5は、HMD12の姿勢と主ビーム方向と主ビーム角度パラメータとの関係の一例を示す図である。
本実施形態では初期設定において、HMD12を装着したユーザは、水平方向を向いており、また、通信相手である中継装置16の方を向いていることとする(図5の(A)参照)。この場合、HMD12から中継装置16に向かう方向が、上述のX軸正方向に相当する。そしてHMD12から中継装置16に向かって左側である水平方向が、上述のY軸正方向に相当する。そして鉛直上方向が、上述のZ軸正方向に相当する。そのためX軸正方向を中心とした所定の角度の範囲内の方向(例えばX軸正方向との角度が40度以下である方向)は、通信品質が高い可能性が高い。そこで本実施形態ではこの場合には、セクタ候補図において主ビーム角度パラメータ(φ,θ)=(0,+90)である点を中心にして半径が所定の角度(ここでは40度)に相当する長さである円形の領域R1が絞り込み領域Rとして特定されることとなる。
また、図5の(A)の状態からユーザが左に90度向いた場合においては、HMD12から中継装置16に向かう方向は、上述のY軸負方向に相当する(図5の(B)参照)。そのためこの場合には、セクタ候補図において主ビーム角度パラメータ(φ,θ)=(−90,+90)である点を中心にして半径が40度に相当する長さである円形の領域R2が絞り込み領域Rとして特定されることとなる。
また、図5の(B)の状態からユーザがさらに左に90度向いた場合においては、HMD12から中継装置16に向かう方向は、上述のX軸負方向に相当する(図5の(C)参照)。そのためこの場合には、セクタ候補図において主ビーム角度パラメータ(φ,θ)=(−180,+90)である点を中心にして半径が40度に相当する長さである円形の領域R3が絞り込み領域Rとして特定されることとなる。
また、図5の(A)の状態からユーザが右に90度向いた場合においては、HMD12から中継装置16に向かう方向は、上述のY軸正方向に相当する(図5の(D)参照)。そのためこの場合には、セクタ候補図において主ビーム角度パラメータ(φ,θ)=(+90,+90)である点を中心にして半径が40度に相当する長さである円形の領域R4が絞り込み領域Rとして特定されることとなる。
以上のようにして本実施形態では、HMD12の姿勢に応じた絞り込み領域Rの特定が行われることとなる。
以下、本実施形態に係るHMD12の機能並びに本実施形態に係るHMD12で実行される処理についてさらに説明する。なお本実施形態に係るHMD12は、主ビーム方向の複数の1次候補のうちからHMD12の主ビーム方向を決定する主ビーム方向決定装置としての役割を担うこととなる。
図6は、本実施形態に係るHMD12で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るHMD12で、図6に示す機能のすべてが実装される必要はなく、また、図6に示す機能以外の機能が実装されていても構わない。
図6に示すように、本実施形態に係るHMD12は、機能的には例えば、1次候補セクタデータ記憶部50、姿勢特定部52、絞り込み領域特定部54、2次候補セクタ選択部56、セクタレベルスイープ処理実行部58、ビームリファインメント処理実行部60、を含んでいる。1次候補セクタデータ記憶部50は、記憶部32を主として実装される。姿勢特定部52は、制御部30及びセンサ部40を主として実装される。絞り込み領域特定部54、2次候補セクタ選択部56は、制御部30を主として実装される。セクタレベルスイープ処理実行部58、ビームリファインメント処理実行部60は、制御部30及び通信部34を主として実装される。
以上の機能は、コンピュータであるHMD12にインストールされた、以上の機能に対応する指令を含むプログラムを制御部30で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してHMD12に供給される。
1次候補セクタデータ記憶部50は、本実施形態では例えば、1次候補セクタを示す1次候補セクタデータを記憶する。本実施形態に係る1次候補セクタデータには例えば、図7に示すように、1次候補セクタデータの識別情報である1次候補セクタIDと、上述の主ビーム角度パラメータ(φ,θ)と、が含まれている。また本実施形態では、1次候補セクタデータ記憶部50は、図7に示すように、1次候補セクタデータを複数記憶する。また1次候補セクタデータが示す1次候補セクタは、主ビーム角度パラメータ(φ,θ)によって、基準となる向き(例えばX軸正方向)に対する角度に対応付けられている。
姿勢特定部52は、本実施形態では例えば、HMD12の姿勢を特定する。姿勢特定部52は、例えば、センサ部40の検出結果に基づいて、HMD12の姿勢を特定する。また本実施形態では例えば、姿勢特定部52は、HMD12の姿勢を示す姿勢パラメータを保持することとする。なお姿勢特定部52が、例えば、姿勢特定部52が保持する姿勢パラメータの値に、前回の姿勢の特定時から今回の姿勢の特定時までの姿勢の差分を示す値を加算することで、姿勢パラメータの値がHMD12の最新の姿勢を示す値となるよう更新してもよい。
本実施形態では姿勢パラメータは、角度φ’及び角度θ’との組合せである姿勢角度パラメータ(φ’,θ’)で表現されることとする。また本実施形態では姿勢角度パラメータの値の単位は「度」であることとする。図8Aは、角度φ’の一例を示す図である。図8Bは、角度θ’の一例を示す図である。なお以下の説明では、初期状態とは、図5の(A)に示す状態を指すこととする。本実施形態では、図8Aに示すように、角度φ’は例えば、初期状態におけるZ軸正方向から見た際における、X軸正方向の向きの、初期状態におけるX軸正方向に対する、反時計回りを正とする角度を指すこととする。また本実施形態では、図8Bに示すように、角度θ’は例えば、初期状態におけるY軸正方向から見た際における、X軸正方向の向きの、初期状態におけるX軸正方向に対する、反時計回りを正とする角度を指すこととする。なお本実施形態では、−180<φ’≦+180であり、−90≦θ’≦+90であることとする。なお図5の(A)の状態における姿勢角度パラメータの値(φ’,θ’)は、(0,0)であることとなる。また図5の(B)の状態における姿勢角度パラメータの値(φ’,θ’)は、(+90,0)であることとなる。また図5の(C)の状態における姿勢角度パラメータの値(φ’,θ’)は、(+180,0)であることとなる。また図5の(D)の状態における姿勢角度パラメータの値(φ’,θ’)は、(−90,0)であることとなる。
絞り込み領域特定部54は、本実施形態では例えば、姿勢特定部52が特定するHMD12の姿勢に基づいて、絞り込み領域Rを特定する。絞り込み領域特定部54は、本実施形態では例えば、絞り込み領域Rの中心点の座標値に相当する主ビーム角度パラメータ(φ,θ)を特定する。以下、絞り込み領域Rの中心点の座標値に相当する主ビーム角度パラメータ(φ,θ)を主ビーム中心角度パラメータ(φc,θc)と呼ぶこととする。本実施形態では例えば、主ビーム中心角度パラメータの値(φc,θc)と、姿勢角度パラメータ(φ’,θ’)との関係は、(φc,θc)=(−φ’,90−θ’)との式で表現される。そのため本実施形態では、−180≦φc<+180であり、0≦θc≦+180であることとなる。
2次候補セクタ選択部56は、1次候補セクタデータが示す1次候補セクタのうちから、2次候補セクタを選択する。2次候補セクタ選択部56は、本実施形態では例えば、絞り込み領域特定部54が特定した絞り込み領域R内の角度の範囲に対応する1次候補セクタデータを、2次候補セクタを示す2次候補セクタデータとして選択する。より具体的には例えば、((φ−φc)^2+(θ−θc)^2))^1/2≦40という条件を満足する主ビーム角度パラメータ(φ,θ)が含まれる1次候補セクタデータが、2次候補セクタを示す2次候補セクタデータとして選択される。このように2次候補セクタ選択部56が、対応付けられている角度がHMD12の姿勢に応じた角度の範囲内である1次候補セクタを2次候補セクタとして選択してもよい。なお2次候補セクタ選択部56による2次候補の選択処理においては、HMD12と中継装置との間の通信(ネゴシエーション)は不要である。
セクタレベルスイープ処理実行部58は、本実施形態では例えば、2次候補セクタ選択部56が選択した2次候補セクタのそれぞれを主ビーム方向とした通信が行われた際の通信品質に基づいて、HMD12の主ビーム方向を決定する。セクタレベルスイープ処理実行部58は、本実施形態では、2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてHMD12の主ビーム方向を決定する主ビーム方向決定部としての役割を担うこととなる。本実施形態では例えば、セクタレベルスイープ処理実行部58は、HMD12と中継装置16との間でのネゴシエーションにおいて、2次候補セクタ選択部56が選択した2次候補セクタのそれぞれを主ビーム方向とした通信における通信品質を確認する。そしてセクタレベルスイープ処理実行部58は、例えば、最も通信品質が高かった主ビーム方向を、HMD12の主ビーム方向として決定する。
ビームリファインメント処理実行部60は、セクタレベルスイープ処理実行部58が決定した主ビーム方向を微調整するビームリファインメント処理を実行する。ビームリファインメント処理についても、HMD12と中継装置16との間での通信(ネゴシエーション)によって行われる。
以下、本実施形態に係るHMD12において行われる処理の流れの一例を、図9に示すフロー図を参照しながら説明する。以下の処理例では、例えば初期状態において、図5の(A)に示すように、HMD12を装着したユーザは、水平方向を向いており、また、通信相手である中継装置16の方を向いていることとする。
まず、姿勢特定部52が、HMD12の姿勢を示す姿勢角度パラメータの値(φ’,θ’)を特定する(S101)。
そして絞り込み領域特定部54が、S101に示す処理で特定された姿勢角度パラメータの値(φ’,θ’)に対応付けられる主ビーム中心角度パラメータの値(φc,θc)を特定する(S102)。ここでは例えば値(−φ’,90−θ’)が主ビーム中心角度パラメータの値(φc,θc)として特定される。
そして2次候補セクタ選択部56が、絞り込み領域R内の1次候補セクタを2次候補セクタとして選択する(S103)。ここでは例えば、((φ−φc)^2+(θ−θc)^2))^1/2≦40という条件を満足する主ビーム角度パラメータ(φ,θ)が含まれる1次候補セクタデータが、2次候補セクタを示す2次候補セクタデータとして選択される。
そしてセクタレベルスイープ処理実行部58が、S103に示す処理で特定されたすべての2次候補セクタについて、当該2次候補セクタが表す主ビーム方向での通信の際の通信品質を確認する(S104)。
そしてセクタレベルスイープ処理実行部58が、S104に示す処理で最も高い通信品質であると特定された2次候補セクタが表す主ビーム方向を、HMD12の主ビーム方向として決定する(S105)。
そしてビームリファインメント処理実行部60が、S105に示す処理で決定された主ビーム方向の微調整であるビームリファインメント処理を行う(S106)。
そしてS101に示す処理に戻り、以後、S101〜S106に示す処理の実行が繰り返される。なお上述したように、S101〜S103に示す処理ではHMD12と中継装置16との間のネゴシエーションは行われないが、S104〜S106に示す処理ではHMD12と中継装置16との間のネゴシエーションが行われる。
なお、本発明は上述の実施形態に限定されるものではない。
例えばHMD12と中継装置16との通信品質が所定の品質以下となった際に、上記S101〜S106に示す処理が実行されても構わない。また所定の時間間隔で上記S101〜S106に示す処理が実行されても構わない。
また例えば、上述のS106に示す処理が終了してもHMD12と中継装置16との通信品質が所定の品質に達しない場合は、HMD12は、1次候補セクタすべてについて、当該1次候補セクタが表す主ビーム方向での通信の際の通信品質を確認してもよい。そしてこの場合に、HMD12は、最も高い通信品質であると特定された1次候補セクタが表す主ビーム方向を、HMD12の主ビーム方向として決定してもよい。またこの場合に例えば2次候補セクタとしては選択されることがない1次候補セクタが存在していてもよい。
また例えば、絞り込み領域Rの半径は40度に相当する長さでなくても構わない。また絞り込み領域Rは円形である必要はない。
また例えば、図6に例示する機能の一部又は全部が、エンタテインメント装置14で実装されても構わない。また上述の姿勢特定部52が、例えば、カメラ20aが撮影する画像を取得して、当該画像に基づいて、HMD12の姿勢を特定してもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (6)

  1. 主ビーム方向の複数の1次候補のうちからヘッドマウントディスプレイの主ビーム方向を決定する主ビーム方向決定装置であって、
    前記ヘッドマウントディスプレイの姿勢に応じて前記複数の1次候補のうちの一部を2次候補として選択する選択部と、
    前記2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてヘッドマウントディスプレイの主ビーム方向を決定する主ビーム方向決定部と、
    を含むことを特徴とする主ビーム方向決定装置。
  2. 前記ヘッドマウントディスプレイが備えるセンサの検出結果に基づいて前記ヘッドマウントディスプレイの姿勢を特定する姿勢特定部をさらに含み、
    前記選択部は、前記姿勢特定部が特定する姿勢に応じて前記複数の1次候補のうちの一部を前記2次候補として選択する、
    ことを特徴とする請求項1に記載の主ビーム方向決定装置。
  3. 前記1次候補は、基準の向きに対する角度に対応付けられており、
    前記選択部は、対応付けられている角度が前記ヘッドマウントディスプレイの姿勢に応じた角度の範囲内である前記1次候補を前記2次候補として選択する、
    ことを特徴とする請求項1又は2に記載の主ビーム方向決定装置。
  4. 主ビーム方向の複数の1次候補のうちからヘッドマウントディスプレイの主ビーム方向を決定するヘッドマウントディスプレイであって、
    前記ヘッドマウントディスプレイの姿勢に応じて前記複数の1次候補のうちの一部を2次候補として選択する選択部と、
    前記2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてヘッドマウントディスプレイの主ビーム方向を決定する主ビーム方向決定部と、
    を含むことを特徴とするヘッドマウントディスプレイ。
  5. 主ビーム方向の複数の1次候補のうちからヘッドマウントディスプレイの主ビーム方向を決定する主ビーム方向決定方法であって、
    前記ヘッドマウントディスプレイの姿勢に応じて前記複数の1次候補のうちの一部を2次候補として選択するステップと、
    前記2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてヘッドマウントディスプレイの主ビーム方向を決定するステップと、
    を含むことを特徴とする主ビーム方向決定方法。
  6. 主ビーム方向の複数の1次候補のうちからヘッドマウントディスプレイの主ビーム方向を決定するコンピュータに、
    前記ヘッドマウントディスプレイの姿勢に応じて前記複数の1次候補のうちの一部を2次候補として選択する手順、
    前記2次候補のなかから当該2次候補それぞれによる通信が行われた際の通信品質に基づいてヘッドマウントディスプレイの主ビーム方向を決定する手順、
    を実行させることを特徴とするプログラム。
JP2017550338A 2015-11-09 2016-11-08 主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラム Active JP6368056B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015219586 2015-11-09
JP2015219586 2015-11-09
PCT/JP2016/083133 WO2017082256A1 (ja) 2015-11-09 2016-11-08 主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017082256A1 JPWO2017082256A1 (ja) 2018-03-29
JP6368056B2 true JP6368056B2 (ja) 2018-08-01

Family

ID=58696052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017550338A Active JP6368056B2 (ja) 2015-11-09 2016-11-08 主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラム

Country Status (5)

Country Link
US (1) US10623076B2 (ja)
EP (1) EP3343799B1 (ja)
JP (1) JP6368056B2 (ja)
CN (1) CN108352889B (ja)
WO (1) WO2017082256A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10998626B2 (en) * 2015-11-19 2021-05-04 Sony Interactive Entertainment Inc. Antenna control device, head-mounted display, antenna control method, and program
KR101839522B1 (ko) * 2017-02-21 2018-03-16 주식회사 와이젯 빔 추적을 이용한 무선 송수신 시스템
CN110710132B (zh) * 2017-06-01 2023-09-05 索尼互动娱乐股份有限公司 主波束方向确定设备、主波束方向确定方法和程序
EP3422780B1 (en) * 2017-07-01 2020-05-13 Ruckus Wireless, Inc. Identifying a synchronization master for radio nodes
US11309947B2 (en) * 2018-11-19 2022-04-19 Facebook Technologies, Llc Systems and methods for maintaining directional wireless links of motile devices
US20210325683A1 (en) * 2020-09-02 2021-10-21 Facebook Technologies, Llc Virtual reality systems and methods
US11424805B1 (en) * 2021-04-30 2022-08-23 Qualcomm Incorporated Offloading beam tracking using a configurable deflector

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118893A (ja) * 1997-06-17 1999-01-12 Sony Corp 受信装置
JP2002112287A (ja) * 2000-09-28 2002-04-12 Takenaka Komuten Co Ltd 仮想現実呈示システム
US7751368B2 (en) * 2006-05-01 2010-07-06 Intel Corporation Providing CQI feedback to a transmitter station in a closed-loop MIMO system
US20100330940A1 (en) 2006-10-31 2010-12-30 Qualcomm Incorporated Sensor-aided wireless combining
JP2010114604A (ja) * 2008-11-05 2010-05-20 Canon Inc 情報処理装置およびその方法、プログラム、記録媒体
US8660598B2 (en) * 2009-11-06 2014-02-25 Nec Laboratories America, Inc. Systems and methods for prioritizing beams to enable efficient determination of suitable communication links
JP5321520B2 (ja) * 2010-03-31 2013-10-23 ブラザー工業株式会社 直視型の画像表示装置
WO2012086619A1 (ja) * 2010-12-22 2012-06-28 シャープ株式会社 眼鏡型無線通信機
KR101764261B1 (ko) * 2011-07-15 2017-08-04 삼성전자주식회사 무선 통신 시스템에서 빔 고정 장치 및 방법
US10585472B2 (en) * 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
KR20140109633A (ko) 2013-03-06 2014-09-16 삼성전자주식회사 빔포밍을 사용하는 무선 통신 시스템에서 상향링크 랜덤 액세스 슬롯을 송수신하는 방법 및 장치
US9280972B2 (en) * 2013-05-10 2016-03-08 Microsoft Technology Licensing, Llc Speech to text conversion
KR102154326B1 (ko) * 2013-11-20 2020-09-09 삼성전자주식회사 무선통신 시스템에서 빔포밍 방법 및 장치
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
JP6121931B2 (ja) * 2014-03-20 2017-04-26 株式会社Nttドコモ 移動通信システム、基地局、およびユーザ装置
JP2015185953A (ja) * 2014-03-20 2015-10-22 株式会社Nttドコモ ビーム選択方法、基地局、およびユーザ装置
KR102246553B1 (ko) * 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
US9092898B1 (en) * 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
EP3307407B1 (en) * 2015-06-14 2020-09-09 Sony Interactive Entertainment Inc. Expanded field of view re-rendering for vr spectating

Also Published As

Publication number Publication date
WO2017082256A1 (ja) 2017-05-18
US10623076B2 (en) 2020-04-14
CN108352889A (zh) 2018-07-31
CN108352889B (zh) 2021-09-10
JPWO2017082256A1 (ja) 2018-03-29
EP3343799B1 (en) 2023-12-27
EP3343799A4 (en) 2019-06-12
US20180287679A1 (en) 2018-10-04
EP3343799A1 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
JP6368056B2 (ja) 主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラム
US11202164B2 (en) Predictive head-tracked binaural audio rendering
JPWO2017099077A1 (ja) 通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム
JP6421250B2 (ja) アンテナ制御装置、ヘッドマウントディスプレイ、アンテナ制御方法及びプログラム
JP6409139B2 (ja) 主ビーム方向決定装置、主ビーム方向決定方法及びプログラム
JP2017117008A (ja) 情報処理装置および操作受付方法
JP2017111669A (ja) 情報処理装置および操作受付方法
US20160119731A1 (en) Information processing system, apparatus and method for measuring a head-related transfer function
JP6058855B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US9589317B2 (en) Image processing apparatus, image processing method, and program
US20140112505A1 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
US11631422B2 (en) Methods, apparatuses and computer programs relating to spatial audio
JP6420500B2 (ja) 周波数帯決定装置、ヘッドマウントディスプレイ、周波数帯決定方法及びプログラム
JP6223533B1 (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6840845B2 (ja) 主ビーム方向決定装置、主ビーム方向決定方法及びプログラム
KR102195450B1 (ko) 줌 장치 및 관련된 방법
JP2018026048A (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7030075B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP2018010480A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US20220407586A1 (en) Changing an antenna pattern
US20200302761A1 (en) Indicator modes
JP2018106723A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180705

R150 Certificate of patent or registration of utility model

Ref document number: 6368056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250