JP5732446B2 - ヘッドマウントディスプレイ、および動き検出方法 - Google Patents

Description

本発明は、ヘッドマウントディスプレイ、および前記ヘッドマウントディスプレイを含む映像提示システムにおける動き検出方法に関する。

近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display）が普及してきている。ヘッドマウントディスプレイは観察者であるユーザの両眼球を覆うようにして装着され、ユーザの頭部の動きと連動して移動する。このため、ユーザの頭部の動きを追跡し、その結果をヘッドマウントディスプレイが提示する仮想空間の映像にフィードバックすれば、ユーザに対して仮想空間へのより高い没入感や臨場感を提示することができると考えられる。

また、ヘッドマウントディスプレイは観察者であるユーザの両眼球を覆うようにして装着されるので、一般に、ヘッドマウントディスプレイを装着した状態でユーザは手元等の外界の実映像を見ることが難しい。一方で、ユーザの手の動きを追跡できれば、その動きの種類に応じて定められた指示をヘッドマウントディスプレイ自体や提示する映像の制御に用いることができると考えられる。

ヘッドマウントディスプレイの動きを追跡する手法として、例えば３軸加速度、３軸角速度、３軸地磁気を計測する９軸方式が知られている。この方式は、地域によっては地磁気の伏角によって動きの追跡が難しく、また建物の鉄骨やモータ等の周辺磁場の影響を受けやすい場合がある。また、ユーザの手の動きをヘッドマウントディスプレイにフィードバックするために、ユーザの手元の動きを検出する小型軽量な装置で、かつユーザが直感的に操作可能なデバイスの開発が望まれている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着するユーザの動きを検出する技術を提供することにある。

上記課題を解決するために、本発明のある態様はヘッドマウントディスプレイである。このヘッドマウントディスプレイは、３次元映像を提示する提示部を収納し、観察者の頭部に装着されたときに観察者の両眼球の前方に位置する筐体と、前記筐体が観察者の頭部に装着されたときに、前記筐体に対して鉛直下方向に光を照射する筐体発光素子と、観察者の胴部に装着されて前記筐体発光素子が照射する光を撮像するように構成された胴部撮像素子が画像化した、前記筐体発光素子の光の画像を取得する画像取得部と、前記画像取得部が取得した光の画像を解析して、前記胴部撮像素子に対する前記筐体発光素子の相対的な動きを追跡する頭部追跡部を含む。

本発明の別の態様は、ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に構成され観察者の胴部に装着された胴部撮像素子と、前記ヘッドマウントディスプレイの観察者の手の動きと連動して移動する発光素子とを含む映像提示システムにおける動き検出方法である。この方法は、前記観察者の手の動きと連動して移動する発光素子が照射する光を画像化するステップと、画像化した前記発光素子が照射する光の画像を解析して、前記ヘッドマウントディスプレイに対する前記発光素子の相対的な動きを検出するステップと、前記ヘッドマウントディスプレイが観察者の頭部に装着されたときに、前記ヘッドマウントディスプレイに対して鉛直下方向に光を照射するステップと、前記鉛直下方向に照射された光を、前記胴部撮像素子が撮像した画像を取得するステップと、取得した前記胴部撮像素子による画像を解析して、前記胴部撮像素子に対する前記ヘッドマウントディスプレイの相対的な動きを検出するステップとを前記ヘッドマウントディスプレイのプロセッサに実行させる。

本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。

このプログラムは、ビデオやオーディオ、ゲーム機器、ヘッドマウントディスプレイ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイを装着するユーザの動きを検出する技術を提供することができる。

実施の形態に係る映像提示システムの全体構成の概観を模式的に示す図である。 実施の形態に係る映像提示システムの利用シーンを模式的に示す図である。 実施の形態に係る映像提示システムの内部構成を模式的に示す図である。 実施の形態に係るヘッドマウントディスプレイの機能構成を模式的に示す図である。 実施の形態に係る映像提示システムによる追跡処理の流れを示すフローチャートである。 実施の形態に係る手部追跡の全体構成の概観を模式的に示す図である。 実施の形態に係る映像観察システムの手部追跡の利用シーンを模式的に示す図である。 実施の形態に係る筐体撮像部が撮像した画像の一例を模式的に示す図である。 実施の形態に係る手部追跡部の機能構成を模式的に示す図である。 実施の形態に係る手部追跡部処理の流れを示すフローチャートである。 実施の形態に係る頭部追跡の全体構成の概観を模式的に示す図である。 実施の形態に係る映像観察システムの頭部追跡の利用シーンを模式的に示す図である。 実施の形態に係る胴部撮像部が撮像した画像の一例を模式的に示す図である。 実施の形態に係る頭部追跡部の機能構成を模式的に示す図である。 実施の形態に係る頭部追跡部処理の流れを示すフローチャートである。 実施の形態に係るヘッドマウントディスプレイの一部を拡大した図である。 実施の形態に係る輝点選別部による輝点選別処理の流れを示すフローチャートである。 実施の形態に係る位置指定装置が発する信号を検出する処理の流れを示すフローチャートである。 実施の形態に係る位置指定装置が発する信号を検出するときの、輝点検出部の内部状態を示す状態遷移図である。

（映像提示システム１００の全体構成）
図１は、実施の形態に係る映像提示システム１００の全体構成の概観を模式的に示す図である。実施の形態に係る映像提示システム１００は、ヘッドマウントディスプレイ２００、胴部固定装置３００、および位置指定装置４００を含む。

ヘッドマウントディスプレイ２００は、その筐体が観察者であるユーザの頭部に装着自在に構成されており、筐体内部に格納された提示部を用いてユーザに３次元映像を提示する。ヘッドマウントディスプレイ２００は、例えば電源のオン／オフ等のインタフェースとなる第１ボタン２０２と、ヘッドマウントディスプレイ２００の筐体に備えられ、筐体外部の光を撮像する筐体撮像部２０４と、ヘッドマウントディスプレイ２００の筐体に備えられ、筐体外部に光を照射する筐体発光素子２１０とをさらに備える。また筐体撮像部２０４は、第１撮像素子２０６と第２撮像素子２０８とをさらに含む。

胴部固定装置３００は、ヘッドマウントディスプレイ２００を装着するユーザの胴部、一例としてはユーザの胸部付近に設置されるように構成されており、ヘッドマウントディスプレイ２００の筐体発光素子２１０が照射する光を撮像する。このため、胴部固定装置３００は、胴部撮像素子３０２と、ユーザ５００に装着自在に構成された素子支持部３１４を備える。図１に示すように、胴部固定装置３００とヘッドマウントディスプレイ２００とは有線接続されており、ヘッドマウントディスプレイ２００は、胴部撮像素子３０２が撮像した映像を取得することができる。ヘッドマウントディスプレイ２００は、取得した画像を解析することにより、胴部固定装置３００に対する筐体発光素子２１０の相対位置を特定することが可能となる。なお、胴部固定装置３００とヘッドマウントディスプレイ２００とを、例えば赤外線通信等の技術を用いて無線接続してもよい。また、素子支持部３１４は、胴部撮像素子３０２の傾きを調整する調整部３１２も含む。

位置指定装置４００は、ユーザが把持するための把持部４０２と、把持部４０２に取り付けられた発光素子である位置指定発光素子４０４と、位置指定発光素子４０４の発光の仕方を制御するための第２ボタン４０６とを備える。ユーザが第２ボタンをオンする場合とオフする場合とでは、位置指定発光素子４０４の発光の仕方が変化する。ヘッドマウントディスプレイ２００の筐体撮像部２０４は、位置指定発光素子４０４が照射する光を撮像して画像化する。ヘッドマウントディスプレイ２００はその画像を解析することにより、位置指定発光素子４０４の位置および第２ボタンの押下の有無を特定することが可能となる。なお、位置指定装置４００は必ずしも把持部４０２を備える必要はなく、位置指定発光素子４０４がユーザの手の動きと連動して移動する構成であればよい。例えば、位置指定装置４００は、指輪や腕輪に位置指定発光素子４０４を備える構成であってもよい。

図２は、実施の形態に係る映像提示システム１００の利用シーンを模式的に示す図である。図２に示すように、ヘッドマウントディスプレイ２００は使用時にユーザ５００の頭部に装着され、ユーザ５００の頭部の動きに連動して動く。胴部固定装置３００は、ネックレスのようにユーザの首にかけられた紐状部材によってつり下げられ、例えばユーザの胸部中央から腹部上方の付近に設置される。なお図示はしないが、胴部固定装置３００は、例えばベルト等の固定部材を用いてユーザの胴部に固定されてもよい。位置指定装置４００は、使用時にユーザ５００によって把持される。このため、ユーザ５００が位置指定装置４００を掴む手を動かすと、位置指定発光素子４０４もユーザの手の動きと連動して移動する。

図３は、実施の形態に係る映像提示システム１００の内部構成を模式的に示す図である。上述したように、実施の形態に係る映像提示システム１００は、ヘッドマウントディスプレイ２００、胴部固定装置３００、および位置指定装置４００を含む。

ヘッドマウントディスプレイ２００は、上述した第１ボタン２０２、筐体撮像部２０４の他に、記憶部２１２、通信部２１４、記録媒体インタフェース２１６、提示部２１８、音声出力部２２０、ＣＰＵ（Central Processing Unit）２２２、加速度センサ２２４、第１ＬＥＤ（Light Emitting Diode）２２６、電源２２８、内部パス２３０、およびＩ／Ｏ（Input/Output）制御部２３２を含む。

第１撮像素子２０６は、例えば赤外光等の不可視光領域の光を撮像するように構成されている。具体的には、第１撮像素子２０６は撮像の対象とする不可視光領域以外の光を減衰させる光学フィルタを透過した光を撮像する。これに対し、第２撮像素子２０８は可視光領域以外の光を減衰させる光学フィルタを備え、可視光領域の光を撮像する。第１撮像素子２０６と第２撮像素子２０８とはともに、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子で実現できる。

また第１撮像素子２０６と第２撮像素子２０８とはともに魚眼レンズを備えており、ヘッドマウントディスプレイ２００がユーザ５００の頭部に装着されたときに、ヘッドマウントディスプレイ２００の筐体に対して鉛直下方向かつユーザ５００の視線方向前方の光を撮像する。図１において符号Ｓ１と符号Ｓ２とを結ぶ線分で示すように、ヘッドマウントディスプレイ２００の筐体の下面には、ユーザ５００がヘッドマウントディスプレイ２００を装着した状態で、ユーザ５００側から視線方向かつ鉛直上方向に向かって傾斜するスロープ領域が存在する。第１撮像素子２０６と第２撮像素子２０８とともに、ヘッドマウントディスプレイ２００の筐体下面に存在するスロープ領域に備えられている。これにより、第１撮像素子２０６と第２撮像素子２０８とは、ヘッドマウントディスプレイ２００がユーザ５００の頭部に装着されたときに、ヘッドマウントディスプレイ２００の筐体に対して鉛直下方向かつユーザ５００の視線方向前方の光を撮像することができる。

記憶部２１２は、ヘッドマウントディスプレイ２００の動作を統括的に制御するためのオペレーションプログラムを含むファームウェアを格納する。記憶部２１２はまた、筐体撮像部２０４が撮像した画像や胴部固定装置３００から取得した画像を格納したり、ＣＰＵ２２が実行したりする処理等の作業領域となる。記憶部２１２は、例えば既知の揮発性および不揮発性のメモリを用いて実現できる。

通信部２１４は、ヘッドマウントディスプレイ２００が映像提示システム１００の外部の機器と通信するためのインタフェースである。通信部２１４は、例えばＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の既知の無線通信技術を用いて実現できる。

記録媒体インタフェース２１６は、映画やゲーム等のコンテンツを格納するＤＶＤ（Digital Versatile Disc）やＢｌｕｒａｙ（登録商標）ディスク、あるいはフラッシュメモリ等の記録媒体を読み出すインタフェースである。記録媒体インタフェース２１６が読み出したコンテンツはＣＰＵ２２２で処理され、提示部２１８や音声出力部２２０を介してユーザに提供される。記録媒体インタフェース２１６は、例えば光学ドライブ等の既知の技術を用いて実現できる。

提示部２１８は、ユーザ５００に映像を提示するためのデバイスである。図示はしないが、提示部２１８は左目用の提示部と右目用の提示部とを備え、ユーザ５００の左目および右目にそれぞれ左目用視差画像および右目用視差画像を独立に提示することができる。これにより、ユーザ５００に奥行きを持った３次元映像を提示することが可能となる。提示部２１８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）等の既知の表示技術を用いて実現できる。

音声出力部２２０は、ユーザ５００に音声を提示するためのデバイスである。図示はしないが、音声出力部２２０は左耳用イヤホンと右耳用イヤホンに接続されており、ユーザにステレオ音声を提供することができる。

ＣＰＵ２２２は、内部パス２３０を介してヘッドマウントディスプレイ２００内の各部から取得した情報を処理し、コンテンツの提供や、後述する頭部追跡処理および手部追跡処理等の処理を実行する。

加速度センサ２２４は、ヘッドマウントディスプレイ２００の加速度を検出する。より具体的には、加速度センサ２２４は、ヘッドマウントディスプレイ２００の傾きを検出するために、重力の向きを検出する。加速度センサ２２４は、例えば既知の低ｇ加速度センサを用いて実現できる。また第１ＬＥＤ２２６は、ヘッドマウントディスプレイ２００の外部に光を照射するＬＥＤ光源であり、例えば赤外光のような不可視領域の光を照射する。上述した筐体発光素子２１０は、第１ＬＥＤ２２６によって実現される。

Ｉ／Ｏ制御部２３２は、第１ボタン２０２、筐体撮像部２０４、および加速度センサ２２４からの入力や、第１ＬＥＤ２２６による光の照射を制御する。Ｉ／Ｏ制御部２３２は、胴部固定装置３００内のＩ／Ｏ制御部３０４との間での情報の送受信も制御する。電源２２８は図示しないバッテリを含み、ヘッドマウントディスプレイ２００の各部に駆動のための電力を供給する。

胴部固定装置３００は、Ｉ／Ｏ制御部３０４と第３撮像素子３０６とを含む。第３撮像素子３０６は、上述した胴部撮像素子３０２対応し、ＣＣＤやＣＭＯＳ等の既知の撮像素子で実現できる。また第３撮像素子３０６は透視投影レンズを備えている。詳細は後述するが、第３撮像素子３０６は、ヘッドマウントディスプレイ２００内の第１ＬＥＤ２２６が照射する光の波長付近の光を透過し、その他の波長の光を減衰させる光学フィルタを備えている。これにより、第１ＬＥＤ２２６が照射する光を選択的に撮像することができる。胴部固定装置３００の各部が駆動するための電力は、電源２２８から図示しない有線で供給する。

Ｉ／Ｏ制御部３０４は、第３撮像素子３０６が撮像した画像をヘッドマウントディスプレイ２００内のＩ／Ｏ制御部２３２に出力する。またＩ／Ｏ制御部３０４は、ヘッドマウントディスプレイ２００内のＩ／Ｏ制御部２３２から第３撮像素子３０６の撮像の開始および停止の指示を受信し、第３撮像素子３０６の撮像動作を制御する。

位置指定装置４００は、第２ボタン４０６、Ｉ／Ｏ制御部４０８、第２ＬＥＤ４１０、および電源４１２を含む。

第２ＬＥＤ４１０は、上述した位置指定発光素子４０４に対応し、Ｉ／Ｏ制御部４０８の制御の下、例えば赤外光のような不可視領域の光を照射する。Ｉ／Ｏ制御部４０８は、第２ボタン４０６のオン／オフに応じて第２ＬＥＤ４１０の発光の仕方を制御する。具体的には、Ｉ／Ｏ制御部４０８は、第２ボタン４０６がオンのときは、第２ＬＥＤ４１０を常時点灯させる。また第２ボタン４０６がオフのとき、Ｉ／Ｏ制御部４０８は所定の点滅周波数で第２ＬＥＤ４１０を点滅させる。ここで点滅周波数がＦ［Ｈｚ］であると仮定すると、第２ボタン４０６がオフの場合Ｉ／Ｏ制御部４０８は、１／（２×Ｆ）秒間第２ＬＥＤ４１０を点灯させ、続く１／（２×Ｆ）秒間第２ＬＥＤ４１０を消灯させる制御を繰り返す。電源４１２は図示しないバッテリを含み、位置指定装置４００の各部に駆動のための電力を供給する。

図４は、実施の形態に係るヘッドマウントディスプレイ２００の機能構成を模式的に示す図である。実施の形態に係るヘッドマウントディスプレイ２００は、魚眼レンズ２３４、筐体撮像部２０４、提示部２１８、画像取得部２５０、追跡部２６０、コンテンツ再生部２７０、および合成部２８０を含む。画像取得部２５０は、第１画像取得部２５２と第２画像取得部２５４とをさらに含む。また追跡部２６０は、頭部追跡部６００、手部追跡部７００、および出力部２６２をさらに含む。

魚眼レンズ２３４は、１８０度程度の画角を持つレンズであり、例えば等距離射影方式で撮像するために用いられる。上述した第１撮像素子２０６と第２撮像素子２０８とはともに、魚眼レンズ２３４を介して撮像するが、図４においては第１撮像素子２０６と第２撮像素子２０８とを筐体撮像部２０４と総称している。以下本明細書において、第１撮像素子２０６と第２撮像素子２０８とを区別する必要がある場合を除いて、第１撮像素子２０６と第２撮像素子２０８とを筐体撮像部２０４と総称する。第１撮像素子２０６と第２撮像素子２０８とは、それぞれ別の魚眼レンズを介して撮像してもよい。

上述したように、位置指定装置４００は、使用時にユーザ５００の手で把持される。このため、位置指定発光素子４０４は、ヘッドマウントディスプレイ２００の筐体に対して鉛直下方向かつユーザ５００の視線方向前方に存在することになる。筐体撮像部２０４は、ヘッドマウントディスプレイ２００がユーザ５００の頭部に装着されたときに、ヘッドマウントディスプレイ２００の筐体に対して鉛直下方向かつユーザ５００の視線方向前方の光を撮像することができる。このため、筐体撮像部２０４はユーザ５００の手の動きと連動して移動する位置指定発光素子４０４を容易に画角に捉えることができる。

画像取得部２５０内の第２画像取得部２５４は、筐体撮像部２０４が撮像した画像を取得する。追跡部２６０内の手部追跡部７００は、筐体撮像部２０４が撮像した画像を第２画像取得部２５４から取得する。手部追跡部７００は取得した画像を解析することにより、位置指定発光素子４０４に由来する輝点の位置変化を追跡する。位置指定発光素子４０４はユーザ５００の手の動きと連動して移動するので、結果として手部追跡部７００はユーザ５００の手の動きを検出することができる。手部追跡部７００は、図３における記憶部２１２に格納された手部追跡処理を実現するためのプログラムをＣＰＵ２２２が実行することによって実現できる。手部追跡部７００における手部追跡処理の詳細は後述する。

画像取得部２５０内の第１画像取得部２５２は、胴部固定装置３００の胴部撮像素子３０２が撮像した画像を取得する。頭部追跡部６００は、第１画像取得部２５２が取得した画像を取得する。

上述したように、胴部撮像素子３０２はヘッドマウントディスプレイ２００の筐体発光素子２１０が照射する光を含む被写体を撮像する。したがって、第１画像取得部２５２が取得した画像には、筐体発光素子２１０を由来とする輝点が撮像されている。そこで頭部追跡部６００は、取得した画像を解析することにより、位置指定発光素子４０４の位置変化を追跡する。これにより、頭部追跡部６００は、胴部撮像素子３０２に対する筐体発光素子２１０の相対的な動きを検出することができる。結果として、頭部追跡部６００は、ユーザ５００の胴部に対するユーザ５００の頭の向き、すなわち視線方向を検出することができる。手部追跡部７００は、図３における記憶部２１２に格納された頭部追跡処理を実現するためのプログラムをＣＰＵ２２２が実行することによって実現できる。なお、頭部追跡部６００における頭部追跡処理の詳細は後述する。

追跡部２６０内の出力部２６２は、頭部追跡部６００および手部追跡部７００の処理結果を出力する。コンテンツ再生部２７０は、記録媒体インタフェース２１６が読み出したコンテンツを再生する。コンテンツ再生部２７０は、出力部２６２から取得した追跡部２６０の出力結果に応じて、ユーザ５００に提示する映像を変更する。例えば、ユーザ５００の視線が胴部に対して左方向を向いている場合、コンテンツ再生部２７０は、左方向に対応する３次元映像を提示部２１８に表示させる。コンテンツ再生部２７０は、記憶部２１２およびＣＰＵ２２２のリソースを用いて実現できる。

合成部２８０は、コンテンツ再生部２７０が生成した映像と、筐体撮像部２０４が撮像した映像とを合成する。具体的には、合成部２８０は、出力部２６２からユーザ５００の視線方向を取得する。取得したユーザの視線方向が鉛直下方向、すなわちユーザ５００の手元や足下の方向である場合、合成部２８０は、筐体撮像部２０４が撮像した可視光画像をコンテンツ再生部２７０が生成した映像に合成する。合成部２８０による映像の合成は、アルファブレンディング等の既知の画像処理技術を実現するためのプログラムをＣＰＵ２２２が実行することで実現できる。手元方向を取得する別の手段として、後述する手部追跡によって取得できるヘッドマウントディスプレイ２００の座標系１０に対する、位置指定発光素子４０４の方向を利用することもできる。

実施の形態に係るヘッドマウントディスプレイ２００は、ユーザ５００の頭部に装着されたときにユーザ５００の両眼球の前方に位置し、周囲の視界を遮断するように構成されている。ユーザ５００は提示部２１８が提示する仮想的な３次元映像を観察することになるので、ユーザ５００に対してより高い没入感や臨場感を提供することができる。一方、合成部２８０がユーザ５００の手元や足下付近の現実の映像を合成することにより、ユーザ５００がヘッドマウントディスプレイ２００を装着した状態で行う手元の操作や歩行等が容易となり、ユーザビリティを向上させることができる。なお、合成部２８０が筐体撮像部２０４が撮像した画像を合成するか否かは、例えば第１ボタン２０２を押下することで切り替え自在としてもよい。

図５は、実施の形態に係る映像提示システム１００による追跡処理の流れを示すフローチャートである。本フローチャートにおける処理は、例えばヘッドマウントディスプレイ２００の電源が投入されたときに開始する。

筐体撮像部２０４は、位置指定装置４００の位置指定発光素子４０４が照射する光を撮像して画像化する（Ｓ２）。手部追跡部７００は、筐体撮像部２０４撮像した画像を解析して、ユーザ５００の手の動きを検出する（Ｓ４）。

筐体発光素子２１０は、Ｉ／Ｏ制御部２３２の制御の下、ヘッドマウントディスプレイ２００に対して鉛直下方向に光を照射する（Ｓ６）。胴部固定装置３００の胴部撮像素子３０２は、筐体発光素子２１０が鉛直下方向に照射した光を撮像して画像を取得する（Ｓ８）。頭部追跡部６００は、第１画像取得部２５２が取得した胴部撮像素子３０２による画像を解析して、胴部撮像素子３０２に対するヘッドマウントディスプレイ２００の相対的な動きを検出する（Ｓ１０）。

頭部追跡部６００が胴部撮像素子３０２に対するヘッドマウントディスプレイ２００の相対的な動きを検出すると、本フローチャートにおける処理は終了する。なお、説明の便宜上、手部追跡部７００による手の動き検出の後に頭部追跡部６００による頭部の動き検出を実行する場合について説明したが、頭部の動き検出の後に手の動き検出を実行してもよいし、両者を並列に実行してもよい。

（手部追跡）
以上、映像提示システム１００の全体構成および追跡処理の概要について説明した。続いて、実施の形態に係る手部追跡について説明する。

図６は、実施の形態に係る映像提示システム１００のうち、手部追跡に用いる構成を模式的に示す図である。図６に示すように、実施の形態に係る手部追跡においては、ヘッドマウントディスプレイ２００と位置指定装置４００とを用いる。

図７は、実施の形態に係る映像提示システム１００の手部追跡の利用シーンを模式的に示す図である。実施の形態に係る手部追跡は、ヘッドマウントディスプレイ２００の座標系１０（Ｈｘ，Ｈｙ，Ｈｚ）に対する、位置指定発光素子４０４の方向をピッチ（ｐｉｔｃｈ）およびヨー（ｙａｗ）の組として取得する。図７に示す座標系１０は、筐体撮像部２０４の位置を原点とし、鉛直方向上向きにＨｙ軸を設定し、ユーザ５００の頭部の左手側から右手側に向かう向きにＨｘ軸を設定し、ユーザ５００の頭部の正面から背面に向かう向きにＨｚ軸を設定した座標系である。なお図７においては、胴部固定装置３００を省略して図示している。

図８は、実施の形態に係る筐体撮像部２０４が撮像した画像２５６の一例を模式的に示す図である。図８において、点Ｏは筐体撮像部２０４が撮像した画像２５６の中心点であり、点Ｐは位置指定発光素子４０４に由来する輝点である。上述したとおり、筐体撮像部２０４は魚眼レンズ２３４を介して等距離射影方式で撮像する。したがって、位置指定発光素子４０４が筐体撮像部２０４の光軸上に存在する場合、輝点Ｐは画像２５６の中心点Ｏの位置に存在する。

位置指定発光素子４０４から筐体撮像部２０４の光軸までの距離、すなわち、位置指定発光素子４０４から筐体撮像部２０４の光軸上に下ろした垂線の長さが長いほど、画像２５６における輝点Ｐと中心点Ｏとの距離は長くなる。また、位置指定発光素子４０４から筐体撮像部２０４の光軸までの距離を一定に保ったまま位置指定発光素子４０４を動かすと、画像２５６における輝点Ｐは、中心点Ｏを中心とする円弧上を移動する。

このことから、線分ＯＰを動径ベクトルとしたきのベクトルの長さＬを計測することにより、座標系１０に対する位置指定発光素子４０４のピッチを取得することができる。また、動径ベクトルの偏角θを計測することにより、座標系１０に対する位置指定発光素子４０４のヨーを取得することができる。

図９は、実施の形態に係る手部追跡部７００の機能構成を模式的に示す図である。手部追跡部７００は、輝点検出部７１０、ベクトル取得部７２０、ピッチ取得部７３０、ヨー取得部７４０、およびジェスチャー認識部７５０を含む。

輝点検出部７１０は、第２画像取得部２５４から筐体撮像部２０４が撮像した画像を取得する。輝点検出部７１０は取得した画像中から位置指定発光素子４０４に由来する輝点Ｐを検出する。上述したとおり、位置指定発光素子４０４は、第２ボタン４０６のオン／オフに応じて常時点灯かまたは点滅かが変化する。そこで輝点検出部７１０は、検出した輝点が常時点灯であるか点滅しているかも検出し、第２ボタン４０６の押下の有無も検出する。輝点検出部７１０は例えばパターンマッチング等、既知の画像処理技術を用いて実現できる。なお、輝点検出部７１０による第２ボタン４０６の押下有無の検出処理の詳細は後述する。

ベクトル取得部７２０は、輝点検出部７１０が検出した輝点Ｐを終点とし、筐体撮像部２０４が撮像した画像２５６の中心点Ｏを始点とする動径ベクトルを取得する。ピッチ取得部７３０は、ベクトル取得部７２０が取得した動径ベクトルの長さＬから、筐体撮像部２０４の位置を原点とする座標系１０に対する位置指定発光素子４０４のピッチを取得する。ヨー取得部７４０は、ベクトル取得部７２０が取得した動径ベクトルの偏角θから、筐体撮像部２０４の位置を原点とする座標系１０に対する位置指定発光素子４０４のヨーを取得する。

ジェスチャー認識部７５０は、筐体撮像部２０４内の第２撮像素子２０８が撮像した画像を取得する。上述したとおり、第２撮像素子２０８は可視光領域の光を撮像する。第２撮像素子２０８は、例えばユーザ５００が位置指定装置４００を所持していない場合等に、ユーザ５００の手部を撮像する。ジェスチャー認識部７５０は、第２撮像素子２０８が撮像したユーザ５００の手の形を認識して、その情報を出力部２６２に出力する。

一例として、例えば親指と人差し指とで輪を作るジェスチャーを第２ボタン４０６のオンに対応させ、握り拳を第２ボタン４０６のオフに対応させるとする。このとき、ジェスチャー認識部７５０が第２撮像素子２０８が撮像した画像中に親指と人差し指とで輪を作るジェスチャーを検出した場合、輝点検出部７１０が第２ボタン４０６のオンを検出した場合と同様の信号を出力する。同様に、ジェスチャー認識部７５０が第２撮像素子２０８が撮像した画像中に握り拳を検出した場合、輝点検出部７１０が第２ボタン４０６のオンを検出した場合と同様の信号を出力する。

これにより、ユーザ５００が位置指定装置４００を所持していない場合であっても、ユーザ５００による第２ボタン４０６の押下と同様の情報を取得することができる。ジェスチャー認識部７５０はさらに、上記以外の他のジェスチャーを認識するようにしてもよい。これにより、第２ボタン４０６の押下よりも多くの情報をユーザ５００から取得することができる。ジェスチャー認識部７５０は、例えば機械学習を用いたパターン認識を利用する等、既知の画像認識技術を用いて実現できる。またジェスチャー認識部７５０と位置指定装置４００の使用とを併用してもよい。ジェスチャー認識部７５０は、筐体撮像部２０４内の第１撮像素子２０６が撮像した画像を取得することにより、手部追跡の軌跡をジェスチャーとして認識することもできる。

図１０は、実施の形態に係る手部追跡部処理の流れを示すフローチャートであり、図５におけるステップＳ５を詳細に示す図である。

第２画像取得部２５４は、筐体撮像部２０４が撮像した位置指定発光素子４０４が照射する赤外光を筐体撮像部２０４が撮像した画像を取得する（Ｓ４０２）。輝点検出部７１０は、第２画像取得部２５４から取得した画像における赤外光に由来する輝点を検出する（Ｓ４０４）。

ベクトル取得部７２０は、輝点検出部７１０が検出した輝点を終点とし、筐体撮像部２０４が撮像した画像の中心を始点とするベクトルを取得する（Ｓ４０６）。ピッチ取得部７３０は、ベクトル取得部７２０が取得したベクトルの長さ取得する（Ｓ４０８）。ヨー取得部７４０は、ベクトル取得部７２０が取得したベクトルの偏角を取得する（Ｓ４１０）。

（頭部追跡）
以上、実施の形態に係る手部追跡について説明した。続いて、実施の形態に係る頭部追跡について説明する。

図１１は、実施の形態に係る映像提示システム１００のうち、頭部追跡に用いる構成を模式的に示す図である。図１１に示すように、実施の形態に係る手部追跡においては、ヘッドマウントディスプレイ２００と胴部固定装置３００とを用いる。

図１２は、実施の形態に係る映像提示システム１００の頭部追跡の利用シーンを模式的に示す図である。実施の形態に係る頭部追跡は、胴部固定装置３００の座標系１２（Ｂｘ，Ｂｙ，Ｂｚ）に対する、ヘッドマウントディスプレイ２００の座標系１０（Ｈｘ，Ｈｙ，Ｈｚ）の相対的な姿勢角（Ｈｐｉｔｃｈ，Ｈｙａｗ，Ｈｒｏｌｌ）の変化を検出する。ここでＨｐｉｔｃｈは座標系１２に対する座標系１０のピッチ、Ｈｙａｗは座標系１２に対する座標系１０のヨー、Ｈｒｏｌｌは座標系１２に対する座標系１０のロール（ｒｏｌｌ）を表す。胴部固定装置３００の座標系１２に対するヘッドマウントディスプレイ２００の座標系１０の変化は、ユーザ５００の胴部に対する頭部の位置変化に対応する。

図１２に示す座標系１２は、胴部撮像素子３０２の位置を原点とし、鉛直方向上向きにＢｙ軸を設定し、ユーザ５００左手側から右手側に向かう向きにＢｘ軸を設定し、ユーザ５００の正面から背面に向かう向きにＢｚ軸を設定した座標系である。なお図１２においては、位置指定装置４００を省略して図示している。

胴部固定装置３００の座標系１２において、Ｂｙ軸は重力方向に対して平行であり、Ｂｘ軸とＢｚ軸は重力方向に対して垂直である。同様に、ユーザ５００が正面を向いている場合、ヘッドマウントディスプレイ２００の座標系１０におけるＨｙ軸は重力方向に対して平行であり、Ｈｘ軸とＨｚ軸は重力方向に対して垂直である。

胴部固定装置３００の座標系１２が示すように、ユーザ５００が首を上下に動かす場合、すなわち床を見たり天井を見上げたりする場合、座標系１２に対するヘッドマウントディスプレイ２００の座標系１０のピッチが変化する。また、ユーザ５００が首を左右に傾ける場合、すなわち首をかしげる動作をする場合、座標系１２に対する座標系１０のロールが変化する。座標系１２に対する座標系１０のピッチまたはロールが変化すると、座標系１０のＨｘ軸とＨｚ軸は、重力方向に対して垂直からずれる。この「ずれ」を図３における加速度センサ２２４を用いて検出することにより、座標系１２に対する座標系１０のピッチまたはロールを検出することができる。

これに対し、重力方向の変化から座標系１２に対する座標系１０のヨーの変化を検出することは難しい。例えば、ユーザ５００が首を垂直に保ったまま、左右を向くと座標系１２に対する座標系１０のヨーが変化する。しかしながら、座標系１０におけるＨｙ軸は重力方向と平行を保ったまま変化しない。そこで実施の形態に係る映像提示システム１００は筐体発光素子２１０が照射する光を胴部撮像素子３０２で撮像し、その画像を解析することで座標系１２に対する座標系１０のヨーの変化を検出する。以下、胴部撮像素子３０２が撮像した画像から座標系１２に対する座標系１０のヨーの変化を検出する原理について説明する。

図１３は、実施の形態に係る胴部撮像素子３０２が撮像した画像３０８の一例を模式的に示す図である。具体的には、ユーザ５００がヘッドマウントディスプレイ２００を装着した状態で正面を向いて首を左右に回旋した場合における、筐体発光素子２１０に由来する輝点の軌跡を示す。一般に人間が首を左右に回旋可能な角度は、左右それぞれ６０度前後といわれている。したがって、ユーザ５００がヘッドマウントディスプレイ２００を装着した状態で正面を向いて首を左右に回旋すると、筐体発光素子２１０に由来する輝点の軌跡は中心角が１２０度前後の扇形の円弧となる。

図１３において、点Ｐはユーザ５００が正面を向いているときの、筐体発光素子２１０に由来する輝点を示す。点Ｑはユーザ５００が首を右に最大限旋回させたときの、筐体発光素子２１０に由来する輝点を示す。また点Ｒはユーザ５００が首を左に最大限旋回させたときの、筐体発光素子２１０に由来する輝点を示す。筐体発光素子２１０に由来する輝点の軌跡が円弧を描くことを仮定すると、点Ｐ、点Ｑ、および点Ｒの３点は同一円周上に存在することになる。一般に、異なる３点を通る円は一意に定まるので、点Ｐ、点Ｑ、および点Ｒを検出することにより、上記の円弧を特定することができる。

ここで、ユーザ５００が首を前屈または後屈した状態で首を左右に回旋する場合、画像３０８における筐体発光素子２１０に由来する輝点の軌跡が描く円弧の半径は、ユーザ５００が正面を向いている場合と比較して短くなる。ユーザ５００が首を前屈または後屈すると、筐体発光素子２１０は回転軸となるユーザ５００の首に近づくからである。

図１３における円弧ＣＤは、ユーザ５００が首を前屈または後屈した状態で首を左右に回旋した場合の軌跡を例示している。このことから、画像３０８において筐体発光素子２１０に由来する輝点が存在すると考えられる「筐体発光素子２１０の存在領域」が存在することを本願の発明者は見いだした。より具体的には、図１３における点Ｐ、点Ｑ、および点Ｒを通る中心角が１８０度の円弧で囲まれた領域である。筐体発光素子２１０の存在領域は図１３において線分ＡＢおよび円弧ＡＢで囲まれた領域である。なお、図１３における点Ｏは、円弧の中心点である。

上述したように、胴部固定装置３００は、胴部撮像素子３０２と、胴部撮像素子３０２とを支持する素子支持部３１４を備える。また、素子支持部３１４は、胴部撮像素子３０２の傾きを調整する調整部３１２も含む。ユーザ５００は映像提示システム１００を使用する際には、胴部撮像素子３０２が撮像する画像３０８内に「筐体発光素子２１０の存在領域」が含まれるように調整部３１２を用いて胴部撮像素子３０２の傾きを調整するキャリブレーションを実行する。これにより、画像３０８内に筐体発光素子２１０に由来する輝点が存在する可能性を高めることができる。

図１４は、実施の形態に係る頭部追跡部６００の機能構成を模式的に示す図である。実施の形態に係る頭部追跡部６００は、領域設定部６１０と輝点解析部６２０とを含む。領域設定部６１０は、第１画像取得部２５２から胴部撮像素子３０２が撮像した画像３０８を取得する。領域設定部６１０は、既に「筐体発光素子２１０の存在領域」が定まっている場合、画像３０８に筐体発光素子２１０の存在領域を設定する。

輝点解析部６２０は、画像３０８を解析して胴部撮像素子３０２に対する筐体発光素子２１０のヨー（ｙａｗ）を検出する。以下、輝点解析部６２０の詳細を説明する。

輝点解析部６２０は、輝点選別部６３０、軌跡検出部６４０、フィッティング部６５０、ベクトル取得部６６０、およびヨー取得部６７０を含む。輝点選別部６３０は、画像３０８に複数の輝点が存在する場合、その複数の輝点の中から筐体発光素子２１０に由来する輝点を選別する。

画像３０８に複数の輝点が存在する場合とは、筐体発光素子２１０に由来する輝点の他に、例えば位置指定発光素子４０４に由来する輝点が考えられる。輝点選別部６３０による選別処理の詳細は後述する。

軌跡検出部６４０は、胴部撮像素子３０２が撮像した画像３０８中において輝点選別部６３０が選別した輝点の軌跡を検出する。フィッティング部６５０は、軌跡検出部６４０が検出した軌跡にフィットする円弧を取得する。フィッティング部６５０は、胴部撮像素子３０２の傾きを調整するキャリブレーション実行時には、取得した円弧を筐体発光素子２１０の存在領域として領域設定部６１０に出力する。

ベクトル取得部６６０は、フィッティング部６５０が取得した円弧の中心点を始点とし、輝点選別部６３０が選別した輝点を終点とする動径ベクトルを取得する。ヨー取得部６７０は、手部追跡部７００中のヨー取得部７４０と同様に、ベクトル取得部６６０が取得した動径ベクトルの偏角を取得して、胴部撮像素子３０２に対する筐体発光素子２１０のヨーを検出する。

図１５は、実施の形態に係る頭部追跡部処理の流れを示すフローチャートであり、図５におけるステップＳ１０を詳細に示す図である。

領域設定部６１０は、胴部撮像素子３０２が撮像した画像３０８中に筐体発光素子２１０の存在領域を設定する（Ｓ１０２）。輝点選別部６３０は、領域設定部６１０が設定した領域内に複数の輝点が存在する場合、筐体発光素子２１０に起因する輝点を特定する（Ｓ１０４）。軌跡検出部６４０は、胴部撮像素子３０２が撮像した画像３０８中において輝点選別部６３０が選別した輝点の軌跡を検出する（Ｓ１０６）。

フィッティング部６５０は、軌跡検出部６４０が検出した軌跡にフィットする円弧を取得する（Ｓ１０８）。ベクトル取得部６６０は、フィッティング部６５０が取得した円弧の中心点を始点とし、輝点選別部６３０が選別した輝点を終点とする動径ベクトルを取得する（Ｓ１１０）。ヨー取得部６７０は、ベクトル取得部６６０が取得した動径ベクトルの偏角を取得する（Ｓ１１２）。

（手部追跡と頭部追跡との併用）
以上、実施の形態に係る頭部追跡について説明した。続いて、実施の形態に係る手部追跡と頭部追跡とを併用する場合について説明する。

（筐体発光素子２１０と筐体撮像部２０４との位置関係）
図１６は、実施の形態に係るヘッドマウントディスプレイ２００の一部を拡大した図であり、筐体発光素子２１０と筐体撮像部２０４との位置関係を示す図である。

上述したように、筐体撮像部２０４中の第１撮像素子２０６および第２撮像素子２０８は、ヘッドマウントディスプレイ２００の筐体のスロープ領域に備えられる。図１６において、スロープ領域は符号Ｓ１と符号Ｓ２とを結ぶ線分および斜線で示す領域である。ここで筐体撮像部２０４は、位置指定発光素子４０４を撮像することを目的としている。したがって、筐体撮像部２０４は、頭部追跡に利用する筐体発光素子２１０が照射する光を撮像しないようにすることが好ましい。

そこでヘッドマウントディスプレイ２００の筐体は、筐体撮像部２０４と筐体発光素子２１０との間を遮蔽するように構成されている。具体的には、図１６の符号Ｓ１およびＳ３で示すように、筐体の少なくとも一部分が筐体撮像部２０４と筐体発光素子２１０との間に存在するように構成されている。これにより、筐体発光素子２１０が照射する光が筐体撮像部２０４の画角に入ったり、少なくとも領域設定部６１０が設定する筐体発光素子２１０の存在領域内に入ったりすることを軽減することができる。

また上述したように、筐体発光素子２１０は、胴部固定装置３００の座標系１２に対する、ヘッドマウントディスプレイ２００の座標系１０のヨーの変化を検出することを目的としている。ここでフィッティング部６５０は、ヨーの変化を検出する際に円フィッティングを実行するが、一般に、フィッティングの対象とする円の半径が大きい方がフィッティングの精度が高くなる。そのため、筐体発光素子２１０は、ユーザ５００がヘッドマウントディスプレイ２００を装着したときに、ユーザ５００の頭部からなるべく離れた場所に位置する方が好ましい。

そこで、筐体発光素子２１０は、ヘッドマウントディスプレイ２００がユーザ５００の頭部に装着されたときに、筐体撮像部２０４の設置位置と比較して、ユーザの５００視線方向前方に設置される。また上述したように筐体撮像部２０４と筐体発光素子２１０との間に存在するように構成されているため、筐体発光素子２１０は筐体撮像部２０４の設置位置と比較して鉛直方向上方に設置される。これにより、胴部撮像素子３０２が撮像する画像３０８中において、筐体発光素子２１０に由来する輝点の軌跡が描く円弧の半径を大きくすることができ、フィッティング部６５０による円フィッティングの精度を高めることが可能となる。

（輝点選別）
続いて、輝点選別部６３０による輝点選別処理について説明する。

上述したとおり、輝点解析部６２０は領域設定部６１０が設定した筐体発光素子２１０の存在領域内に存在する輝点の動きを解析して筐体発光素子２１０の動きを検出するが、筐体発光素子２１０の存在領域内に輝点が複数存在する場合には、まずその中から筐体発光素子２１０に由来する輝点を選別する。例えば、手部追跡と頭部追跡とを併用する場合には、筐体発光素子２１０の存在領域内に位置指定発光素子４０４に由来する輝点が映り込むことも起こりうる。

そこで輝点選別部６３０は、胴部撮像素子３０２が撮像した画像３０８中に設定された筐体発光素子２１０の存在領域において検出した複数の輝点の大きさをもとに、筐体発光素子２１０に由来する輝点を選別する。

位置指定発光素子４０４が照射する光が胴部撮像素子３０２の画角に入るのは、ユーザ５００がヘッドマウントディスプレイ２００と胴部撮像素子３０２との間で位置指定装置４００を移動させる場合であると考えられる。この場合、胴部撮像素子３０２から筐体発光素子２１０までの距離は、胴部撮像素子３０２から位置指定発光素子４０４までの距離よりも長くなる。ここで、実施の形態に係る筐体発光素子２１０の大きさと位置指定発光素子４０４の大きさとは同じである。このため、筐体発光素子２１０の存在領域中に筐体発光素子２１０に由来する輝点と位置指定発光素子４０４に由来する輝点とが同時に存在する場合、筐体発光素子２１０に由来する輝点の大きさの方が、位置指定発光素子４０４に由来する輝点の大きさよりも小さくなる。

そこで、輝点選別部６３０は、筐体発光素子２１０の存在領域において検出した複数の輝点の大きさを比較して、小さい輝点を筐体発光素子２１０に由来する輝点として選択する。これにより、筐体発光素子２１０の存在領域中に存在する輝点から筐体発光素子２１０に由来する輝点を容易に判別することが可能となる。

図１７は、実施の形態に係る輝点選別部６３０による輝点選別処理の流れを示すフローチャートであり、図１５におけるステップ１０４を詳細に説明する図である。

輝点選別部６３０は、領域設定部６１０が設定した筐体発光素子２１０の存在領域内に輝点が存在するかどうかを調べ、輝点が存在しない場合（Ｓ２０のＮ）輝点は未検出と判断する（Ｓ３８）。輝点が存在する場合（Ｓ２０のＹ）、輝点選別部６３０は筐体発光素子２１０の存在領域内に輝点の数が２以上あるか否かを調べる。輝点の数が２以上でない場合、すなわち輝点の数が１の場合（Ｓ２２のＮ）、輝点選別部６３０は検出した輝点を筐体発光素子２１０に由来する輝点として選択する（Ｓ３６）。

輝点の数が２以上の場合（Ｓ２２のＹ）、輝点選別部６３０は検出した輝点の大きさの大小関係を調べる。大小関係がある場合（Ｓ２４のＹ）、輝点選別部６３０は最小の輝点を筐体発光素子２１０に由来する輝点として選択する（Ｓ３４）。大小関係がない場合（Ｓ２４のＮ）、輝点選別部６３０は、前回筐体発光素子２１０に由来する輝点として選択した輝点の位置から、各輝点までの距離を求める。求めた距離に大小関係がある場合（Ｓ２８のＹ）、輝点選別部６３０は前回の輝点の最近傍に位置する輝点を筐体発光素子２１０に由来する輝点として選択する（Ｓ３６２）。

求めた距離に大小関係がない場合（Ｓ２８のＮ）、輝点選別部６３０は各輝点の位置の重心の座標を取得し、その座標位置に筐体発光素子２１０に由来する輝点が存在すると見なす（Ｓ３０）。

（位置指定装置４００からの信号の検出）
以上、輝点選別部６３０による輝点選別処理について説明した。続いて、輝点検出部７１０による、位置指定装置４００の第２ボタン４０６における押下有無の検出処理について説明する。

上述したとおり、位置指定発光素子４０４は、第２ボタン４０６がオンのときは常時点灯し、第２ボタン４０６がオフのときは所定の点滅周波数Ｆで点滅する。輝点選別部６３０は、筐体撮像部２０４が撮像する画像２５６中の位置指定発光素子４０４に由来する輝点の有無を解析することにより、第２ボタン４０６の押下有無を検出する。

より具体的には、筐体撮像部２０４は、位置指定発光素子４０４の点滅周波数Ｆの少なくとも２倍の周波数２Ｆで撮像して取得した画像２５６を解析する。筐体撮像部２０４が、位置指定発光素子４０４の点滅周波数の少なくとも２倍の周波数で画像２５６を撮像し、連続する２フレーム分の画像２５６を解析することにより、輝点検出部７１０は位置指定発光素子４０４が常時点灯であるか、周波数Ｆ（周期Ｔ＝１／Ｆ）で点滅しているか、あるいは画像２５６中に画像が存在しないかを識別可能であることが知られている。点滅周波数Ｆは筐体撮像部２０４の時間分解能等を考慮して実験により定めればよいが、一例としては１２０［Ｈｚ］である。この場合、第２ボタン４０６がオフのとき、位置指定発光素子４０４は１／２４０秒ごとに点灯と消灯を繰り返す。また筐体撮像部２０４は少なくとも２４０［Ｈｚ］で位置指定発光素子４０４を含む被写体を撮像する。

図１８は、実施の形態に係る位置指定装置４００が発する信号を検出する処理の流れを示すフローチャートであり、位置指定発光素子４０４の制御を示す図である。

位置指定装置４００内のＩ／Ｏ制御部４０８は、トグルを初期化する（Ｓ４０）。ここで「トグル」は、第２ボタン４０６が押下げられていない場合に第２ＬＥＤを点灯するか消灯するかを示すバイナリ値である。実施の形態においては、トグルは１／２４０秒毎に反転しており、Ｉ／Ｏ制御部４０８の図示しない一時記録部に格納される。

Ｉ／Ｏ制御部４０８は、第２ボタン４０６のオン／オフの状態を確認する（Ｓ４２）。第２ボタン４０６が押下られている場合（Ｓ４４のＹ）、Ｉ／Ｏ制御部４０８は位置指定発光素子４０４である第２ＬＥＤ４１０を点灯する（Ｓ５０）。第２ボタン４０６が押下られていない場合（Ｓ４４のＮ）かつトグルが０でない場合も（Ｓ４６のＮ）、Ｉ／Ｏ制御部４０８は位置指定発光素子４０４である第２ＬＥＤ４１０を点灯する（Ｓ５０）。

第２ボタン４０６が押下られていない場合（Ｓ４４のＮ）かつトグルが０の場合（Ｓ４６のＹ）、Ｉ／Ｏ制御部４０８は位置指定発光素子４０４である第２ＬＥＤ４１０を消灯する（Ｓ４８）。その後、トグルが０の場合（Ｓ５２のＹ）、Ｉ／Ｏ制御部４０８はトグルを反転して１とする（Ｓ５６）。トグルが０でない場合（Ｓ５２のＮ）、Ｉ／Ｏ制御部４０８はトグルを反転して０とする（Ｓ５６）。トグルを反転した後、ステップＳ４２に戻って上述の処理を繰り返す。

Ｉ／Ｏ制御部４０８は、ステップＳ４２からステップＳ５４およびＳ５６までの以上の処理を、例えば１／２４０秒毎に繰り返す。これにより、Ｉ／Ｏ制御部４０８は全体として、第２ボタン４０６のオフの場合には１２０［Ｈｚ］の周期で第２ＬＥＤ４１０を点滅し、第２ボタン４０６のオンの場合には第２ＬＥＤ４１０を継続的に点灯する制御を実現することができる。

図１９は、実施の形態に係る位置指定装置４００が発する信号を検出するときの、輝点検出部７１０の内部状態を示す状態遷移図であり、輝点検出部７１０の検出処理を説明する図である。

輝点検出部７１０は、筐体撮像部２０４が撮像した画像をもとに位置指定装置４００が発する信号を検出する間、検出した信号に応じて「押下フラグ」の値を変化させる。ここで「押下フラグ」は、位置指定発光素子４０４に由来する輝点の有無、および輝点を検出した場合には第２ボタン４０６のオン／オフ状態を検出するために利用する作業メモリであり、記憶部２１２に格納されている。

より具体的には、輝点検出部７１０は、筐体撮像部２０４が撮像した画像２５６をフレーム毎に取得して解析する。輝点検出部７１０は、位置指定発光素子４０４に由来する輝点が点滅状態であることを検出した場合、すなわち第２ボタン４０６がオフ状態あると識別した場合、押下フラグの値を０に設定する。輝点検出部７１０はまた、位置指定発光素子４０４に由来する輝点が常時点灯状態であることを検出した場合、すなわち第２ボタン４０６がオン状態あると識別した場合、押下フラグの値を１に設定する。輝点検出部７１０はさらに、筐体撮像部２０４が撮像した画像中に位置指定発光素子４０４に由来する輝点を検出できない場合、押下フラグの値を２に設定する。

ここで、押下フラグの値は輝点検出部７１０の内部状態と対応する。すなわち、押下フラグの値が０のとき、輝点検出部７１０はオフ識別状態（ＳＴ０）である。また押下フラグの値が１のとき、輝点検出部７１０はオン識別状態（ＳＴ１）であり、押下フラグの値が２のとき、輝点検出部７１０は識別不明状態（ＳＴ２）である。輝点検出部７１０は、筐体撮像部２０４が撮像した連続する２フレーム分の画像２５６を解析し、その結果に応じて内部状態を変更する。

例えば、輝点検出部７１０の内部状態がオフ識別状態（ＳＴ０）のとき、連続する２フレーム分の画像２５６において、どちらも位置指定発光素子４０４に由来する輝点を検出したとする。この場合、輝点検出部７１０は押下フラグの値を０から１に変更して内部状態をオン識別状態ＳＴ１に遷移させる。連続する２フレーム分の画像２５６において、どちらも輝点を検出した場合、輝点は常時点灯していると考えられるからである。

図１９においては、オフ状態識別ＳＴ０からオン識別状態ＳＴ１に向かう矢印と（Ｐ→Ｐ）とを用いて示している。ここで記号「Ｐ」は、画像２５６中に輝点が存在することを表し、存在を意味する英語Ｐｒｅｓｅｎｔの頭文字である。（Ｐ→Ｐ）は、ある画像２５６において輝点を検出し、続く画像２５６においても輝点を検出した事象を示す。

輝点検出部７１０の内部状態がオフ識別状態（ＳＴ１）のとき、連続する２フレーム分の画像２５６において、輝点を検出できない状態から続く画像２５６において輝点を検出したとする。この場合、輝点検出部７１０は押下フラグの値を１から０に変更して内部状態をオン識別状態ＳＴ１に遷移させる。図１９においては、オン状態識別ＳＴ１からオフ識別状態ＳＴ０に向かう矢印と事象（Ａ→Ｐ）とを用いて示している。ここで記号「Ａ」は、画像２５６中に輝点が存在しないことを表し、存在しないことを意味する英語Ａｂｓｅｎｔの頭文字である。事象（Ａ→Ｐ）は、ある画像２５６において輝点を検出せず、続く画像２５６においても輝点を検出したことを示す。以下同様にして、事象（Ａ→Ａ）を連続する２フレーム分の画像２５６において、どちらも輝点を検出しない場合を表し、事象（Ｐ→Ａ）は、ある画像２５６において輝点を検出し、続く画像２５６においては輝点を検出しないことを示す。

同様に、輝点検出部７１０の内部状態がオフ識別状態（ＳＴ１）のとき、事象（Ａ→Ａ）が起こると、輝点検出部７１０は押下フラグの値を１から２に変更し、内部状態を識別不明状態ＳＴ２に遷移する。連続する２フレーム分の画像２５６において、どちらも輝点を検出しない場合は、画像２５６に輝点が存在せず、輝点を見失ったと考えられるからである。輝点検出部７１０の内部状態が識別不明状態（ＳＴ２）のとき、事象（Ｐ→Ｐ）が起こると、輝点検出部７１０は押下フラグの値を２から１に変更し、内部状態をオン識別状態ＳＴ２に遷移する。

輝点検出部７１０の内部状態が識別不明状態（ＳＴ２）のとき、事象（Ｐ→Ａ）が起こると、輝点検出部７１０は押下フラグの値を２から０に変更し、内部状態をオフ識別状態ＳＴ２に遷移する。また輝点検出部７１０の内部状態がオフ識別状態（ＳＴ０）のとき、事象（Ａ→Ａ）が起こると、輝点検出部７１０は押下フラグの値を０から２に変更し、内部状態を識別不明状態ＳＴ２に遷移する。

以上より、輝点検出部７１０は、第２ボタン４０６に由来する輝点の有無、および輝点を検出した場合にはそのオン／オフ状態を識別することができる。

以上述べたように、実施の形態に係る映像提示システム１００によれば、ヘッドマウントディスプレイを装着したユーザの動きを検出する技術を提供することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（第１の変形例）
上記では、輝点選別部６３０が、胴部撮像素子３０２が撮像した画像３０８中に設定された筐体発光素子２１０の存在領域において検出した複数の輝点の大きさをもとに、筐体発光素子２１０に由来する輝点を選別する場合について説明した。輝点選別部６３０による輝点選別の方法はこれに限られない。この他にも例えば、輝点の元となる発光素子が照射する光の波長の相違を用いてもよい。以下この場合について説明する。

第１の変形例に係る筐体発光素子２１０が照射する光の波長は、位置指定発光素子４０４が照射する光の波長とは異なる。そこで、胴部撮像素子３０２は、筐体発光素子２１０が照射する光の透過率が、位置指定発光素子４０４が照射する光の透過率よりも大きい光学フィルタを介して撮像する。これにより、筐体発光素子２１０の存在領域中に筐体発光素子２１０に由来する輝点と位置指定発光素子４０４に由来する輝点とが存在しても、これらの輝点の輝度値に差が現れる。

具体的には、例えば胴部撮像素子３０２が光量が大きいほど輝度値が大きくなるように画像化する場合、筐体発光素子２１０に由来する輝点の輝度値の方が、位置指定発光素子４０４に由来する輝点の輝度値よりも大きくなる。位置指定発光素子４０４が照射する光は、光学フィルタで減衰されるからである。そこで輝点選別部６３０は、画像中におけるふたつの輝点の輝度値を比較して、輝度値の大きい方の輝点を筐体発光素子２１０に由来する輝点として選択する。

（第２の変形例）
上記の説明では、輝点選別部６３０は前回の輝点の最近傍に位置する輝点を筐体発光素子２１０に由来する輝点として選択する場合について説明したが、過去に筐体発光素子２１０に由来する輝点を検出している場合、その位置から現在の輝点位置を予測してもよい。これは例えば、ヨー取得部６７０が取得した動径ベクトルの偏角をサンプリングして、輝点の角速度を推定することで実現できる。上述したように、筐体発光素子２１０に由来する輝点は、円弧状の軌跡を描くと予想できるため、前回の輝点位置と輝点の角速度から、現在の輝点位置を精度よく推定できる。

上述した光学フィルタを利用する場合と異なり、例えばテレビのリモコン等が発する光の波長が筐体発光素子２１０が照射する光の波長と近い波長であったとしても、現在の筐体発光素子２１０に由来する輝点位置を精度よく推定できる点で有利である。

（第３の変形例）
上記では、筐体撮像部２０４が赤外光等の不可視光領域の光を撮像する第１撮像素子２０６と、可視光領域の光を撮像する第２撮像素子２０８とを含む場合について説明したが、筐体撮像部２０４は、可視光領域と不可視光領域との光を同時に撮像自在な一つの撮像素子を用いてもよい。これにより、ヘッドマウントディスプレイ２００の重量を軽減でき、ヘッドマウントディスプレイ２００を装着するユーザ５００の負担を軽減することができる。

なお、本実施の形態に係る発明は、以下に記載する項目によって特定されてもよい。

（項目１−１）
３次元映像を提示する提示部を収納し、観察者の頭部に装着されたときに観察者の両眼球の前方に位置する筐体と、
前記筐体に備えられ、前記筐体の外部の光を画像化する撮像素子とを含み、
前記撮像素子は、前記筐体が観察者の頭部に装着されたときに、前記筐体に対して鉛直下方向かつ観察者の視線方向前方の光を撮像することを特徴とするヘッドマウントディスプレイ。
（項目１−２）
前記筐体を構成する面のうち、前記筐体が観察者の頭部に装着されたときに前記筐体に対して鉛直下方向に位置する下面の少なくとも一部は、鉛直上方向に向かって傾斜するスロープ領域を有しており、
前記撮像素子は、前記スロープ領域に備えられていることを特徴とする項目１−１に記載のヘッドマウントディスプレイ。
（項目１−３）
前記撮像素子は、前記筐体の外部の光を魚眼レンズを介して取得して画像化することを特徴とする項目１−１または項目１-２に記載のヘッドマウントディスプレイ。
（項目１−４）
前記撮像素子は、不可視光領域の光を画像化することを特徴とする項目１−１から項目１−３のいずれかに記載のヘッドマウントディスプレイ。
（項目１−５）
前記撮像素子は、観察者の手の動きと連動して移動する発光素子が発する光を画像化し、
前記撮像素子が撮像した画像を解析して前記発光素子の位置変化を追跡する手部追跡部をさらに含むことを特徴とする項目１−４に記載のヘッドマウントディスプレイ。
（項目１−６）
前記観察者の手の動きと連動して移動する発光素子は、観察者に把持される把持部に取り付けられていることを特徴とする項目１−５記載のヘッドマウントディスプレイ。
（項目１−７）
前記手部追跡部は、
前記撮像素子が撮像した画像における光の輝点を検出する輝点検出部と、
前記輝点検出部が検出した輝点を終点とし、前記撮像素子が撮像した画像の中心を始点とするベクトルを取得するベクトル取得部と、
前記ベクトル取得部が取得したベクトルの長さを、前記撮像素子に対する前記発光素子のピッチ（ｐｉｔｃｈ）とするピッチ取得部と、
前記ベクトル取得部が取得したベクトルの偏角を、前記撮像素子に対する前記発光素子のヨー（ｙａｗ）とするヨー取得部とを含むことを特徴とする項目１−５または項目１−６に記載のヘッドマウントディスプレイ。
（項目１−８）
前記撮像素子は、可視光領域の光を画像化して可視光画像を生成し、
前記可視光画像と、前記提示部に提示させる仮想的な画像とを合成する画像合成部をさらに含むことを特徴とする項目１−１から項目１−３のいずれかに記載のヘッドマウントディスプレイ。
（項目１−９）
前記撮像素子が撮像した観察者のジェスチャーを認識するジェスチャー認識部をさらに含むことを特徴とする項目１−８に記載のヘッドマウントディスプレイ。
（項目１−１０）
ユーザの手の動きと連動して移動する発光素子が照射する赤外光を、ユーザの頭部に装着された撮像素子が撮像した画像を取得する画像取得部と、
前記撮像素子が撮像した画像における赤外光の輝点を検出する輝点検出部と、
前記輝点検出部が検出した輝点を終点とし、前記撮像素子が撮像した画像の中心を始点とするベクトルを取得するベクトル取得部と、
前記ベクトル取得部が取得したベクトルの長さを、前記撮像素子に対する前記発光素子のピッチ（ｐｉｔｃｈ）とするピッチ取得部と、
前記ベクトル取得部が取得したベクトルの偏角を、前記撮像素子に対する前記発光素子のヨー（ｙａｗ）とするヨー取得部とを含むことを特徴とする動き検出装置。
（項目１−１１）
ユーザの手の動きと連動して移動する発光素子が照射する赤外光をユーザの頭部に装着された撮像素子で撮像した画像を取得するステップと、
取得した画像における赤外光の輝点を検出するステップと、
検出した輝点を終点とし、前記撮像素子が撮像した画像の中心を始点とするベクトルを取得するステップと、
取得したベクトルの長さ取得するステップと、
取得したベクトルの偏角を取得するステップとをプロセッサに実行させることを特徴とする動き検出方法。
（項目１−１２）
ユーザの手の動きと連動して移動する発光素子が照射する赤外光をユーザの頭部に装着された撮像素子で撮像した画像を取得する機能と、
取得した画像における赤外光の輝点を検出する機能と、
検出した輝点を終点とし、前記撮像素子が撮像した画像の中心を始点とするベクトルを取得する機能と、
取得したベクトルの長さを取得する機能と、
取得したベクトルの偏角を取得する機能とをコンピュータに実現させることを特徴とするプログラム。
（項目１−１３）
ヘッドマウントディスプレイと、観察者に把持される把持部に取り付けられ赤外光を照射する発光素子とを含む映像提示システムにおいて、
前記ヘッドマウントディスプレイは、
３次元映像を提示する提示部を収納し、観察者の頭部に装着されたときに観察者の両眼球の前方に位置する筐体と、
前記筐体に備えられ、前記把持部の動きと連動して移動する前記発光素子が照射する赤外光を撮像する撮像素子と、
前記撮像素子が撮像した赤外光の画像を解析して、前記撮像素子に対する前記発光素子の相対的な位置変化を追跡する動き追跡部とを含むことを特徴とする映像提示システム。

（項目２−１）
３次元映像を提示する提示部を収納し、観察者の頭部に装着されたときに観察者の両眼球の前方に位置する筐体と、
前記筐体が観察者の頭部に装着されたときに、前記筐体に対して鉛直下方向に光を照射する筐体発光素子と、
観察者の胴部に装着されて前記筐体発光素子が照射する光を撮像するように構成された胴部撮像素子が画像化した、前記筐体発光素子の光の画像を取得する画像取得部と、
前記画像取得部が取得した光の画像を解析して、前記胴部撮像素子に対する前記筐体発光素子の相対的な動きを追跡する頭部追跡部を含むことを特徴とするヘッドマウントディスプレイ。
（項目２−２）
前記筐体に備えられ、観察者の手の動きと連動して移動する発光素子が照射する光を撮像する筐体撮像部をさらに含み、
前記筐体発光素子は、前記筐体が観察者の頭部に装着されたときに、前記筐体撮像部の設置位置と比較して観察者の視線方向前方かつ鉛直方向上方に設置されており、
前記筐体は、前記筐体撮像部と前記筐体発光素子との間を遮蔽するように構成されていることを特徴とする項目２−１に記載のヘッドマウントディスプレイ。
（項目２−３）
前記頭部追跡部は、前記胴部撮像素子に対する前記筐体発光素子のヨー（ｙａｗ）を検出することを特徴とする項目２−１または項目２−２に記載のヘッドマウントディスプレイ。
（項目２−４）
前記頭部追跡部は、
前記胴部撮像素子が撮像した画像中に、前記筐体発光素子が撮像される領域として定められた筐体発光素子の存在領域を設定する領域設定部と、
前記領域設定部が設定した領域内に存在する輝点の動きを解析して、前記筐体発光素子の動きを検出する輝点解析部をさらに含むことを特徴とする項目２−１から項目２−３のいずれかに記載のヘッドマウントディスプレイ。
（項目２−５）
前記輝点解析部は、
前記胴部撮像素子が撮像した画像における光の輝点の軌跡を検出する軌跡検出部と、
前記軌跡検出部が検出した軌跡にフィットする円弧を取得するフィッティング部と、
前記フィッティング部が取得した円弧を含む円の中心を始点とし、画像上の輝点を終点とする動径ベクトルを取得するベクトル取得部と、
前記ベクトル取得部が取得した動径ベクトルの偏角を取得するヨー取得部とを含むことを特徴とする項目２−４に記載のヘッドマウントディスプレイ。
（項目２−６）
前記輝点解析部は、前記領域設定部が設定した領域内に複数の輝点が存在する場合、画像中における輝点の大きさの相違、または輝点の輝度値の相違の少なくともいずれか一方をもとに、前記筐体発光素子に起因する輝点を特定する輝点選別部をさらに含むことを特徴とする項目２−５に記載のヘッドマウントディスプレイ。
（項目２−７）
前記輝点選別部は、画像中における複数の輝点の大きさを比較して、小さい方の輝点を選択することを特徴とする項目２−６に記載のヘッドマウントディスプレイ。
（項目２−８）
前記筐体発光素子が照射する光の波長は、前記観察者の手の動きと連動して移動する発光素子が照射する光の波長とは異なり、
前記胴部撮像素子は、前記筐体発光素子が照射する光の透過率が、前記観察者の手の動きと連動して移動する発光素子が照射する光の透過率よりも大きい光学フィルタを透過した光を撮像し、
前記輝点選別部は、画像中における複数の輝点の輝度値を比較して、輝度値の大きい方の輝点を選択することを特徴とする項目２−６に記載のヘッドマウントディスプレイ。
（項目２−９）
前記領域設定部は、前記フィッティング部が取得した円弧を含む円の中心を中心とする扇形の領域を前記筐体発光素子の存在領域として設定することを特徴とする項目２−４から項目２−８のいずれかに記載のヘッドマウントディスプレイ。
（項目２−１０）
前記筐体撮像部が撮像した画像を解析して、前記筐体撮像部に対する前記観察者の手の動きと連動して移動する発光素子の相対的な動きを追跡する手部追跡部をさらに含むことを特徴とする項目２−２に記載のヘッドマウントディスプレイ。
（項目２−１１）
前記胴部撮像素子は、観察者の胴部に装着自在に構成された素子支持部を有し、
前記素子支持部は、前記胴部撮像素子の傾きを調整する調整部を含むことを特徴とする項目２−１から項目２−１０のいずれかに記載のヘッドマウントディスプレイ。
（項目２−１２）
前記筐体発光素子は、不可視光領域の光を照射することを特徴とする項目２−１から項目２−１１のいずれかに記載のヘッドマウントディスプレイ。
（項目２−１３）
ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に構成され観察者の胴部に装着された胴部撮像素子と、前記ヘッドマウントディスプレイの観察者の手の動きと連動して移動する発光素子とを含む映像提示システムにおける動き検出方法であって、
前記ヘッドマウントディスプレイのプロセッサは、
前記観察者の手の動きと連動して移動する発光素子が照射する光を画像化するステップと、
画像化した前記発光素子が照射する光の画像を解析して、前記ヘッドマウントディスプレイに対する前記発光素子の相対的な動きを検出するステップと、
前記ヘッドマウントディスプレイが観察者の頭部に装着されたときに、前記ヘッドマウントディスプレイに対して鉛直下方向に光を照射するステップと、
前記鉛直下方向に照射された光を、前記胴部撮像素子が撮像した画像を取得するステップと、
取得した前記胴部撮像素子による画像を解析して、前記胴部撮像素子に対する前記ヘッドマウントディスプレイの相対的な動きを検出するステップとを実行することを特徴とする映像提示システムにおける動き検出方法。
（項目２−１４）
ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に構成され観察者の胴部に装着された胴部撮像素子と、前記ヘッドマウントディスプレイの観察者の手の動きと連動して移動する発光素子とを含む映像提示システムのコンピュータに動き検出機能を実現させるプログラムであって、前記動き検出機能は、
前記ヘッドマウントディスプレイが観察者の頭部に装着されたときに、前記ヘッドマウントディスプレイに対して鉛直下方向に光を照射する機能と、
前記観察者の手の動きと連動して移動する発光素子が照射する光を画像化する機能と、
画像化した前記発光素子が照射する光の画像を解析して、前記ヘッドマウントディスプレイに対する前記発光素子の相対的な動きを検出する機能と、
前記鉛直下方向に照射された光を、前記胴部撮像素子が撮像した画像を取得する機能と、
取得した前記胴部撮像素子による画像を解析して、前記胴部撮像素子に対する前記ヘッドマウントディスプレイの相対的な動きを検出する機能とを含むことを特徴とするプログラム。

（項目３−１）
ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に構成された第１撮像素子と、前記ヘッドマウントディスプレイのユーザの手の動きと連動して移動する第１発光素子とを含む映像提示システムにおいて、
前記ヘッドマウントディスプレイは、
３次元映像を提示する提示部を収納し、ユーザの頭部に装着されたときにユーザの両眼球の前方に位置する筐体と、
前記筐体に備えられ、前記筐体がユーザの頭部に装着されたときに、前記筐体に対して鉛直下方向に光を照射する第２発光素子と、
前記筐体に備えられ、前記第１発光素子が照射する光を撮像する第２撮像素子とを含み、
前記第１撮像素子は、ユーザの胴部に装着されて前記第２発光素子が照射する光を撮像するように構成されていることを特徴とする映像提示システム。
（項目３−２）
ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に構成された第１撮像素子と、前記ヘッドマウントディスプレイのユーザの手の動きと連動して移動する第１発光素子とを含む映像提示システムにおける動き検出方法であって、
前記ヘッドマウントディスプレイのプロセッサは、
前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに、前記ヘッドマウントディスプレイに対して鉛直下方向に光を照射するステップと、
前記第１発光素子が照射する光を画像化するステップと、
画像化した前記第１発光素子が照射する光の画像を解析して、前記ヘッドマウントディスプレイに対する前記第１発光素子の相対的な動きを検出するステップと、
前記鉛直下方向に照射された光を、ユーザの胴部に装着された前記第１撮像素子が撮像した画像を取得するステップと、
取得した前記第１撮像素子による画像を解析して、前記第１撮像素子に対する前記ヘッドマウントディスプレイの相対的な動きを検出するステップとを実行することを特徴とする映像提示システムにおける動き検出方法。
（項目３−３）
３次元映像を提示する提示部を収納し、ユーザの頭部に装着されたときにユーザの両眼球の前方に位置する筐体と、
前記筐体に備えられ、ユーザの手の動きと連動して移動する第１発光素子が照射する光を撮像する撮像素子と、
前記筐体に備えられ、前記筐体がユーザの頭部に装着されたときに、前記筐体に対して鉛直下方向に光を照射する第２発光素子と、
ユーザの胴部に装着された撮像素子が撮像した、前記第２発光素子が照射する光の画像を取得する画像取得部とを含むことを特徴とするヘッドマウントディスプレイ。
（項目３−４）
ユーザの頭部の動きと連動して移動する発光素子が照射する光をユーザの胴部に装着された撮像素子で検出した画像を取得する画像取得部と、
前記画像取得部が取得した画像における光の輝点の軌跡を検出する軌跡検出部と、
前記軌跡検出部が検出した軌跡にフィットする円弧を取得するフィッティング部と、
前記フィッティング部が取得した円弧を含む円の中心を始点とし、画像上の輝点を終点とする動径ベクトルを取得するベクトル取得部と、
前記ベクトル取得部が取得した動径ベクトルの偏角を、前記撮像素子に対する前記発光素子のヨーとするヨー取得部とを含むことを特徴とする動き検出装置。

１０，１２ 座標系、 ２２ ＣＰＵ、 １００ 映像提示システム、 ２００ ヘッドマウントディスプレイ、 ２０２ 第１ボタン、 ２０４ 筐体撮像部、 ２０６ 第１撮像素子、 ２０８ 第２撮像素子、 ２１０ 筐体発光素子、 ２１２ 記憶部、 ２１４ 通信部、 ２１６ 記録媒体インタフェース、 ２１８ 提示部、 ２２０ 音声出力部、 ２２２ ＣＰＵ、 ２２４ 加速度センサ、 ２２６ 第１ＬＥＤ、 ２２８ 電源、 ２３０ 内部パス、 ２３２ Ｉ／Ｏ制御部、 ２３４ 魚眼レンズ、 ２５０ 画像取得部、 ２５２ 第１画像取得部、 ２５４ 第２画像取得部、 ２６０ 追跡部、 ２６２ 出力部、 ２７０ コンテンツ再生部、 ２８０ 合成部、 ３００ 胴部固定装置、 ３０２ 胴部撮像素子、 ３０４ Ｉ／Ｏ制御部、 ３０６ 第３撮像素子、 ３１２ 調整部、 ３１４ 素子支持部、 ４００ 位置指定装置、 ４０２ 把持部、 ４０４ 位置指定発光素子、 ４０６ 第２ボタン、 ４０８ Ｉ／Ｏ制御部、 ４１０ 第２ＬＥＤ、 ４１２ 電源、 ５００ ユーザ、 ６００ 頭部追跡部、 ６１０ 領域設定部、 ６２０ 輝点解析部、 ６３０ 輝点選別部、 ６４０ 軌跡検出部、 ６５０ フィッティング部、 ６６０ ベクトル取得部、 ６７０ ヨー取得部、 ７００ 手部追跡部、 ７１０ 輝点検出部、 ７２０ ベクトル取得部、 ７３０ ピッチ取得部、 ７４０ ヨー取得部、 ７５０ ジェスチャー認識部。

Claims (12)

1. ３次元映像を提示する提示部を収納し、観察者の頭部に装着されたときに観察者の両眼球の前方に位置する筐体と、
   前記筐体が観察者の頭部に装着されたときに、前記筐体に対して鉛直下方向に光を照射する筐体発光素子と、
   観察者の胴部に装着されて前記筐体発光素子が照射する光を撮像するように構成された胴部撮像素子が画像化した、前記筐体発光素子の光の画像を取得する画像取得部と、
   前記画像取得部が取得した光の画像を解析して前記胴部撮像素子に対する前記筐体発光素子のヨー（ｙａｗ）を検出し、前記胴部撮像素子に対する前記筐体発光素子の相対的な動きを追跡する頭部追跡部を含むことを特徴とするヘッドマウントディスプレイ。
2. 前記筐体に備えられ、観察者の手の動きと連動して移動する発光素子が照射する光を撮像する筐体撮像部と、
   前記筐体撮像部が撮像した画像を解析して、前記筐体撮像部に対する前記観察者の手の動きと連動して移動する発光素子の相対的な動きを追跡する手部追跡部とをさらに含むことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記筐体発光素子は、前記筐体が観察者の頭部に装着されたときに、前記筐体撮像部の設置位置と比較して観察者の視線方向前方かつ鉛直方向上方に設置されており、
   前記筐体は、前記筐体発光素子が照射する光が前記筐体撮像部の画角に入ることを軽減するように、前記筐体撮像部と前記筐体発光素子との間を遮蔽するように構成されていることを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記頭部追跡部は、
   前記胴部撮像素子が撮像した画像中に、前記筐体発光素子が撮像される領域として定められた筐体発光素子の存在領域を設定する領域設定部と、
   前記領域設定部が設定した領域内に存在する輝点の動きを解析して、前記筐体発光素子の動きを検出する輝点解析部をさらに含むことを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
5. 前記輝点解析部は、
   前記胴部撮像素子が撮像した画像における光の輝点の軌跡を検出する軌跡検出部と、
   前記軌跡検出部が検出した軌跡にフィットする円弧を取得するフィッティング部と、
   前記フィッティング部が取得した円弧を含む円の中心を始点とし、画像上の輝点を終点とする動径ベクトルを取得するベクトル取得部と、
   前記ベクトル取得部が取得した動径ベクトルの偏角を取得するヨー取得部とを含むことを特徴とする請求項４に記載のヘッドマウントディスプレイ。
6. 前記輝点解析部は、画像中における複数の輝点の大きさを比較して、小さい方の輝点を選択する輝点選別部をさらに含むことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
7. 前記筐体発光素子が照射する光の波長は、前記観察者の手の動きと連動して移動する発光素子が照射する光の波長とは異なり、
   前記胴部撮像素子は、前記筐体発光素子が照射する光の透過率が、前記観察者の手の動きと連動して移動する発光素子が照射する光の透過率よりも大きい光学フィルタを透過した光を撮像し、
   前記輝点解析部は、画像中における複数の輝点の輝度値を比較して、輝度値の大きい方の輝点を選択する輝点選別部をさらに含むことを特徴とする請求項５に記載のヘッドマウントディスプレイ
8. 前記領域設定部は、前記フィッティング部が取得した円弧を含む円の中心を中心とする扇形の領域を前記筐体発光素子の存在領域として設定することを特徴とする請求項５から７のいずれかに記載のヘッドマウントディスプレイ。
9. 前記胴部撮像素子は、観察者の胴部に装着自在に構成された素子支持部を有し、
   前記素子支持部は、前記胴部撮像素子の前記筐体発光素子に対する傾きを調整する調整部を含むことを特徴とする請求項１から８のいずれかに記載のヘッドマウントディスプレイ。
10. 前記筐体発光素子は、不可視光領域の光を照射することを特徴とする請求項１から９のいずれかに記載のヘッドマウントディスプレイ。
11. ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に構成され観察者の胴部に装着された胴部撮像素子と、前記ヘッドマウントディスプレイの観察者の手の動きと連動して移動する発光素子とを含む映像提示システムにおける動き検出方法であって、
    前記ヘッドマウントディスプレイのプロセッサは、
    前記観察者の手の動きと連動して移動する発光素子が照射する光を画像化するステップと、
    画像化した前記発光素子が照射する光の画像を解析して、前記ヘッドマウントディスプレイに対する前記発光素子の相対的な動きを検出するステップと、
    前記ヘッドマウントディスプレイが観察者の頭部に装着されたときに、前記ヘッドマウントディスプレイに対して鉛直下方向に光を照射するステップと、
    前記鉛直下方向に照射された光を、前記胴部撮像素子が撮像した画像を取得するステップと、
    取得した前記胴部撮像素子による画像を解析して前記胴部撮像素子に対する前記ヘッドマウントディスプレイのヨー（ｙａｗ）を検出し、前記胴部撮像素子に対する前記ヘッドマウントディスプレイの相対的な動きを検出するステップとを実行することを特徴とする映像提示システムにおける動き検出方法。
12. ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に構成され観察者の胴部に装着された胴部撮像素子と、前記ヘッドマウントディスプレイの観察者の手の動きと連動して移動する発光素子とを含む映像提示システムのコンピュータに動き検出機能を実現させるプログラムであって、前記動き検出機能は、
    前記ヘッドマウントディスプレイが観察者の頭部に装着されたときに、前記ヘッドマウントディスプレイに対して鉛直下方向に光を照射する機能と、
    前記観察者の手の動きと連動して移動する発光素子が照射する光を画像化する機能と、
    画像化した前記発光素子が照射する光の画像を解析して、前記ヘッドマウントディスプレイに対する前記発光素子の相対的な動きを検出する機能と、
    前記鉛直下方向に照射された光を、前記胴部撮像素子が撮像した画像を取得する機能と、
    取得した前記胴部撮像素子による画像を解析して前記胴部撮像素子に対する前記ヘッドマウントディスプレイのヨー（ｙａｗ）を検出し、前記胴部撮像素子に対する前記ヘッドマウントディスプレイの相対的な動きを検出する機能とを含むことを特徴とするプログラム。

Images