WO2004020946A1

WO2004020946A1 - ヘッドトラッキング方法及び装置

Info

Publication number: WO2004020946A1
Application number: PCT/JP2003/010776
Authority: WO
Inventors: Masatomo Kurata
Original assignee: Sony Corporation
Priority date: 2002-08-28
Filing date: 2003-08-26
Publication date: 2004-03-11
Also published as: EP1541966A1; US20050256675A1; KR20050059110A; EP1541966A4; JP2004085476A

Abstract

頭部の向いた3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する2軸となす角度であるピッチ角及びロール角の3軸で検出する場合に、ヨウ角を加速度の積分値から検出するジャイロセンサ11と、直立軸方向と直交する平面の傾斜を検出する傾斜センサ12と、傾斜センサの出力からピッチ角及びロール角を算出する演算手段14とを備えた構成として、ヘッドマウントディスプレイなどで、頭部が向いている方向の検出が2つのセンサによる簡単な検出構成で出来るようにする。

Description

明細書

へッドトラッキング方法及.ぴ装置技術分野

本発明は、ヘッドマウントディスプレイなどで、頭部が向いている方向を検出するへッドトラッキング方法及ぴ装置に関する。背景技術

近年、人間の頭部が向いている 3次元的な方向をセンサで検出して、その検出した方向の映像を、頭部に装着したヘッドマウントディスプレイ（H M D ) に表示させるようにしたものが、バーチヤルリァリティと称されて各種実用化されている。

図 1 1 は、従来のヘッドマウントディスプレイの構成例を示す図である。この例では、頭部の動きを検出するセンサ部 7 0 と、頭部に装着されるヘッドマウントディスプレイ部 8 0 と、この映像表示部 8 0に映像信号を供給するホスト部 9 0 とで構成されるセンサ部 7 0は、人間の頭部の動きを 3次元的に検出する 3つのセンサ 7 1， 7 2， 7 3 と、各センサ 7 1， 7 2， 7 3 の出力に基づいて、人間の頭部の 3次元的な動きを演算する中央制御ュニット 7 4 と、中央制御ユニット 7 4で演算された頭部の正面が向いた方向のデータをホスト部 9 0に伝えるコントロール用インタ一フェース部 7 5 とで構成される。

3つのセンサ 7 1， 7 2 , 7 3は、例えばそれぞれが直交する 3つの軸方向の加速度を個別に検出する角速度センサで構成され中央制御ュニット 7 4での 3軸の加速度の判断で、頭部の 3次元的な動きを判断する。

ホスト部 9 0は、例えばある地点の周囲の全周の映像データを蓄積するメモリ 9 1 と、そのメモリ 9 1 に蓄積された映像データの中から、センサ部 7 0で検出された方向の映像データを読出して、 3 D処理部 9 3 に供給する中央制御ュニット 9 2 と、供給される映像データを画像表示用の映像データとする 3 D処理部 9 3 と、 3 D処理部 9 3で作成された映像データを、へッドマウントディスプレイ部 8 0に供給するビデオインターフェース部 9 4 とで構成される。

へッドマウントディスプレイ部 8 0は、映像の表示制御を行う中央制御ュニット 8 1 と、ホスト部 9 0から供給される映像データを受信するビデオインターフェース部 8 2 と、ビデオインターフェース部 8 2が受信した映像データを表示処理する映像表示部 8 3 とで構成される。映像表示部 8 3 は、例えば左右の目の近傍に配置される液晶表示パネルが表示手段として使用される。センサ部 7 0 とへッドマウントディスプレイ部 8 0は、一体に構成されるのが一般的である。ホスト部 9 0 は、例えば、パーソナルコンピュータ装置とハードディスクや光ディスクなどの大容量記憶手段で構成される。

このように構成されるへッドマゥントディスプレイを用意することで、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバーチャルリアリティの映像を表示させることが可能になる。

ところが、従来のヘッドマウントディスプレイは、頭部の動きを検出するセンサ部として、直交する 3軸の加速度を個別に検出する 3つの加速度センサが必要であり、構成が複雑である問題点があった。特に、ヘッドマウントディスプレイは、ユーザの頭部に装着される機器であるので、小型，軽量に構成させることが好ましく、 3つのセンサを必要とすることは、好ましくなかった。本発明はかかる点に鑑みてなされたものであり、頭部が向いている方向の検出が簡単なセンサ構成でできるようにすることを目的とする。発明の開示

第 1 の発明は、頭部の向いた 3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する. 2軸となす角度であるピッチ角及ぴロール角の 3軸で検出するへッドトラッキング方法において、前記ヨウ角をジャィ口センサの出力の積分値から判断し、前記直立軸方向と直交する平面の傾斜を検出する傾斜センサの出力から、前記ピッチ角及ぴ前記ロール角を算出するようにしたものである。

このようにしたことによって、ジャイロセンサと傾斜センサの 2つのセンサの出力だけで、頭部が向いている 3次元的な方向を検出でき、低コストで簡易にへッドトラッキングを行うシステムを実現できるようになる。

第 2の発明は、第 1 の発明のへッドトラッキング方法において、ジャイロセンサの出力からヨウ角を判断する周期は、前記傾斜センサの出力からピッチ角及ぴロール角を算出する周期よりも短い周期としたものである。

このようにしたことによって、ジャイロセンサが出力する動的な角速度の短周期での判断に基づいて、ヨウ角の判断が正確に行えると共に、ピッチ角及びロール角については、重力である静的な加速度から算出されるので、ある程度検出周期が長くなつても、常時正確に検出でき、良好な演算配分で、精度良く 3軸の角度を検出できるようになる。

第 3の発明は、第 1 の発明のへッドトラッキング方法において、判断されたピッチ角及びロール角から、ジャィ口センサの出力から判断したョゥ角の補正を行うようにしたものである。

このようにしたことによって、より正確なヨウ角が判断できるようになる。，第 4の発明は、頭部の向いた 3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する 2軸となす角度であるピッチ角及ぴロール角の 3軸で検出するヘッドトラッキング装置において、前記ヨウ角を検出するためのジャィ口センサと、前記直立軸方向と直交する平面の傾斜を検出する傾斜センサと、前記ジャイロセンサの出力の積分値からヨウ角を判断すると共に、前記傾斜センサが出力する角速度から、前記ピッチ角及び前記ロール角を算出する演算手段とを備えたものである。

このようにしたことによって、ジャィ口センサと傾斜センサの 2つのセンサを設けるだけで、頭部が向いている 3次元的な方向を検出でき、低コストで簡易にへッドトラッキングを行うシステムを実現できるようになる。

第 5の発明は、第 4の発明のへッドトラッキング装置において、前記演算手段は、前記ジャイロセンサの出力からヨウ角を判断する周期は、前記傾斜センサの出力からピッチ角及びロール角を算出する周期よりも短い周期としたものである。

このようにしたことによって、ジャイロセンサが出力する動的な角速度の短周期での判断に基づいて、ヨウ角の判断が正確に行えると共に、ピッチ角及びロール角については、重力である静的な加速度から算出されるので、ある程度検出周期が長くなっても、常時正確に検出でき、良好な演算配分で、精度良く 3軸の角度を検出できるようになる。

第 6 の発明は、第 4 の発明のへッドトラッキング装置において、前記演算手段は、算出されたピッチ角及びロール角から、前記ジャィ口センサの出力から判断したョゥ角の捕正を行うようにしたものである。このようにしたことによって、より正確なヨウ角が判断できるようになる。図面の簡単な説明

図 1 は、本発明の一実施の形態によるへッドマゥントデイスプレイの装着例を示す斜視図である。

図 2は、本発明の一実施の形態によるへッドマウントディスプレイの形状の一例を示す斜視図である。

図 3は、図 2例のへッドマゥントディスプレイの側面図である。図 4は、図 2例のへッドマウントディスプレイの映像表示部を上げた状態の例を示す斜視図である。

図 5は、本発明の一実施の形態による基準軸を示す説明図である。 .

図 6 は、本発明の一実施の形態によるセンサによる検出状態の示す説明図である。

図 7は、本発明の一実施の形態によるシステム構成例を示すブ口ック図である。

図 8は、本発明の一実施の形態によるへッドトラッキング処理例を示すフローチヤ一トである。

図 9は、本発明の一実施の形態による 2軸センサ処理例を示すフローチャートである。

図 1 0 は、本発明の一実施の形態によるジャイロセンサ処理例を示すフローチヤ一トである。

図 1 1 は、従来のヘッドマウントディスプレイのシステム構成例を示すブロック図である。発明を実施するための最良の形態

以下、図 1 〜図 1 0を参照して、本発明の一実施の形態について説明する。図 1 は、本例のへッドマウントディスプレイの装着例を示す図である。本例のヘッドマウントディスプレイ 1 0 0は、ユーザの頭部 hの左右の耳介の上に装着されるへッドホンの如き形状としてあり、そのへッドホンの如き形状とした上で映像表示部を取付けてある。図 1 は、映像表示部 1 1 0 を、ユーザの目の前に位置させて、映像と音声を視聴する状態を示してある。このヘッドマゥントディスプレイ 1 0 0は、図示しない映像信号源とケーブル 1 4 8で接続させてあり、その映像信号源から供給される映像を映像表示部 1 1 0で表示させると共に、左右の耳介に装着されたドライバュ-ットから、供給される音声を出力させる。本例の場合には、ヘッドマウントディスプレイ 1 0 0内に、装着者が向いた方向を検出するセンサを内蔵させてあり、そのセンサの出力に基づいて検出された装着者が向いた方向に対応した映像を、映像信号源からへッドマウントディスプレイ 1 0 0に供給して表示させるようにしてある。音声についても、ステレオ音声信号として、そのとき向いた方向に対応した位相の音声を出力させるようにしても良い。

図 2は、へッドマウントディスプレイ 1 0 0の形状の例を示した図である。本例のヘッドマウントディスプレイ 1 0 0は、左ドライバユニット 1 4 0 と右ドライバユニット 1 5 0を、バンド 1 3 0で接続させた上で、左右のドライバュニット 1 4 0， 1 5 0 で支持された状態で、横長形状の映像表示部 1 1 0を取付けるようにしてある。バンド 1 3 0は、弾力性を有する素材で構成させてあり、左ドライノユニット 1 4 0 と右ドライノユニット 1 5 0 とが、比較的弱い力で装着者の耳介側に押しつけられて、頭部に保持される構成としてある。また、頭部に装着されてない状態では、左右のドライバュ-ット 1 4 0， 1 5 0 どうしの一部が接触するように近接する状態となっている。バンド 1 3 0については、幅広部 1 3 1 が中央部に形成させてあり、装着者の頭部でへッドマウントディスプレイ 1 0 0 を安定して保持できる構成としてある。また、パンド 1 3 0の一端及ぴ他端には、 U字金具保持部 1 3 2， 1 3 3が構成させてあり、各ドライバユニット 1 4 0， 1 5 0の上端に取付けられた U字金具 1 4 4， 1 5 4の途中を、 U字金具保持部 1 3 2， 1 3 3で保持させるようにしてある。この U字金具 1 4 4， 1.5 4を、保持部 1 3 2， 1 3 3で保持する位置を変化させることで、³ 装着者の頭部の大きさに応じた調整ができる。

各ドライバユニット 1 4 0， 1 5 0は、音声信号の供給で音声を出力する円形のドライバ（スピーカユニット）が内部に配置されたドライバ配置部 1 4 1， 1 5 1 が中央に設けてあり、各ドラィパ配置部 1 4 1 , 1 5 1 の周囲に、環状のィヤーパッド 1 4 2， 1 5 2が取付けてある。本例の各ドライバ配置部 1 4 1， 1 5 1 と各ィヤーパッド 1 4 2， 1 5 2 との間には、空洞部 1 4 7， 1 5 7が設けてあり、装着者の耳介に対して若干浮いた状態で、ドライバ配置部 1 4 1， 1 5 1 が位置するようにしてあり、いわゆるフルオープンエア型のへッドホンとなるようにしてある。

映像表示部 1 1 0については、装着者の左目の前面に左目用の映像表示パネル 1 0 0 Lが配置してあり、装着者の右目の前面に右目用の映像表示パネル 1 0 0 Rが配置してある。図 1，図 2では、外側から見た図となっているため、映像表示パネル 1 0 0 L， 1 0 O Rは見えない状態となっている。それぞれの映像表示パネル 1 0 0 L， 1 0 0 Rは、例えば液晶表示パネルが使用される。図 3 は、装着状態を真横から見た図であり、装着者の目の前に左右の映像表示パネル 1 0 0 L， 1 0 0 Rが位置している状態が判る。但し、液晶表示パネルなどの映像表示手段が、目に近接した位置にあるとは限らず、映像表示部 1 1 0の内部に表示パネルが配置されて、光学部品を介して装着者の目前に映像が表示されるように見える構成としてある場合もある。また、パックライトなどの照明手段が必要な場合にも、映像表示部 1 1 0 に内蔵させてある。

左右の液晶表示パネル 1 0 0 L， 1 0 0 Rの間の下部には、鼻用切り欠き部 1 0 O nが設けてあり、図 1 に示したような装着時に、映像表示部 1 1 0が装着者の鼻に接触しないようにしてある。映像表示部 1 1 0を左右のドライバュニット 1 4 0， 1 5 0で支持する機構としては、映像表示部 1 1 0の一端及ぴ他端が、連結部 1 1 1， 1 1 2を介して、水平面上で回動できる状態で接続部材 1 1 3， 1 1 4に接続させてあり、さらに各接続部材 1 1 3 , 1 1 4の端部が連結部 1 1 5， 1 1 6 を介して、棒状の接続部材 1 1 7， 1 1 8に水平面上で回動できる状態で取付けてある。このように左右 2箇所、合計 4箇所の連結部 1 1 1， 1 1 2， 1 1 5， 1 1 6を有してレヽるために、上述したように、ヘッドマゥントディスプレイ 1 0 0が非装着の状態で、左右のドライバュニット 1 4 0， 1 5 0が近接した状態から、装着時に左右のドラィバュニット 1 4 0， 1 5 0が離れた状態まで、映像表示部 1 1 0を良好に保持できる構造となっている。

映像表示部 1 1 0に接続された棒状の接続部材 1 1 7， 1 1 8 は、接続部材 1 2 3， 1 2 4に固定された軸保持部 1 2 1 , 1 2 2の透孔 1 2 1 a , 1 2 2 a を通過させてあり、その透孔 1 2 1 a , 1 2 2 aからの棒状の接続部材 1 1 7， 1 1 8 の突出長を調整することで、映像表示部 1 1 0 と装着者の目との間の距離を調整できるようにしてある。

また、接続部材 1 2 3， 1 2 4は、左右のドライバュニット 1 4 0， 1 5 0側と連結部 1 4 5， 1 5 5 を介して上下に回動できる状態に接続させてあり、この回動により、映像表示部 1 1 0 を上部に上げることができる構成としてある。図 4は、映像表示部 1 1 0 を上部に上げた状態の例を示した図である。このように映像表示部 1 1 0を上部に上げたときには、バンド 1 3 0 の上に映像表示部 1 1 0が位置することになる。なお、映像表示部 1 1 0 は、棒状の接続部材 1 1 7 ， 1 1 8の後端から外部に露出したコード 1 4 6 ， 1 5 6 を介して左右のドライバユニット 1 4 0 ， 1 5 0内と電気的に接続させてあり、映像信号源と接続されたコード 1 4 8 を介して得られた映像信号が、映像表示部 1 1 0に供給されると共に、映像信号源からの音声信号についても、コード 1 4 6 ， 1 5 6 を介して右のドライバユニット 1 5 0に供給される構成としてある。また、図示しない 2つのセンサがドライパュニット 1 5 0 (或いは映像表示部 1 1 0 ) に内蔵させてあり、そのセンサ出力に基づいたコントロール用のデータが、コード 1 4 8 を介して映像信号源側に供給されるようにしてある。

また、図示はしないが、本例のヘッドマウントディスプレイ 1 0 0の所定位置（例えば一方のドライバユニット 1 4 0 ) には、リセットスィッチが取付けてあり、また、その他のキースィッチやポリユーム等の操作手段についても、必要により配置してある。

次に、本例のへッドマウントディスプレイ 1 0 0で、装着者の頭部が向いた方向を検出する処理構成の原理を、図 5及び図 6 を参照して説明する。図 5 Aに示すように、直立した状態の頭部 h を直立する軸を Z軸とし、その Z軸と直交する 2つの軸である X 軸， Y軸を考えて、その X軸， Y軸， Z軸で装着者の頭部が向いた方向の 3次元的な座標位置を考えるとする。図 5 Bに示すように、 X軸は頭部の左右方向の軸であり、 Y軸は頭部の前後方向の軸である。このとき、頭部 hの水平的な回動は、 Z軸の回りを回転する角であるヨウ角（Y a w角） 0 で示され、頭部 hの前後方向の傾きは、 Y軸との間でなす角度であるピッチ角（お辞儀方向の角度）として示され、頭部 hの左右方向の傾きは、 X軸との間でなす角度であるロール角（かしげ方向の角度）として示される。装着者の頭部が向いた 3次元的な方向を正確に検出するためには、ヨウ角 0 とロール角及びピッチ角の検出が必要であり、従来はそれぞれの角度の検出を行うために、それぞれ別の方向を向いた 3つのセンサで角速度を個別に検出するようにしていた。ここで本例においては、ヨウ角 Θ については、 1つのジャイロセンサから検出するようにしてあり、ロール角とピッチ角については、図 5 Aに示すように、センサの中心を図の座標系の原点として、 X軸と Y軸で構成される平面（X Y平面）に対する X軸方向、 Y 軸方向の傾きを検出する傾斜センサ（ 2軸傾斜センサ）の出力から判断するようにしてある。ここでは、 Y軸方向の傾き S 1 を、 X軸回転方向の角度ピッチ角と同等とし、 X軸方向の傾き S 2 を Y軸回転方向の角度ロール角と同等とする。

なお、傾斜センサは、静的な加速度である重力を計測するセンサであるため、 ± 9 0 ° の判断手しか検出できないが、直立状態における人間の頭部の回転角を力パーできる範囲内であるため、人間の頭部の回転位置を検出できる。さらに、ピッチ角やロール角は、静的な加速度である重力を絶対座標軸として出力となるので、センサによるドリフト現象は発生しない。 Z軸方向の加速度 S 1 及び S 2 は、同じ方向の加速度であるので、図 6 に示すように、 Z軸方向の加速度を検出する 1つの加速度センサ 1 2で、加速度 S 1 及ぴ S 2 を検出して、ロール角とピッチ角を判断するようにしてある。また、ヨウ角 0 は、この方向の加速度を検出するジャイロセンサ 1 1 が出力する加速度から判断するようにしてある。この 2つのセンサ 1 1， 1 2は、既に述べたように、ヘッドマウントディスプレイ 1 0 0のいずれかの位置に配置すれば良い < 次に、本例のへッドマウントディスプレイ 1 0 0の回路構成を、図 7のブロック図を参照して説明する。図 7では、ヘッドマウントディスプレイ 1 0 0 にコード 1 4 8を介して接続される映像信号源 2 0 の構成についても示してある。

へッドマウントディスプレイ 1 0 0に取付けられたジャイロセンサ 1 1 は、そのセンサ 1 1が出力する加速度信号をアナログ処理部 1 3に供給して、ローパスフィルタによるフィルタリング、増幅などのアナログ処理を行い、その後デジタルデータ化し、中央制御ユニット 1 4に供給する。傾斜センサ 1 2は、ここではパルス幅変調信号である P W M信号として、加速度信号を出力するセンサとしてあり、 X軸方向の傾斜状態と、 Y軸回転方向の傾斜状態とを、個別に P W M信号として中央制御ュニット 1 4に供給する。この供給された P W M信号に基づいて、ロール角及びピッチ角を算出するようにしてある。

また、へッドマウントディスプレイ 1 0 0 に設けられたリセットスイッチ 1 5 と、キースィッチ 1 6 の操作を、中央制御ュニット 1 4で検出する構成としてある。中央制御ュニット 1 4では、リセットスイッチ 1 5が操作されたときの位置を基準位置としてジャイロセンサ 1 1 と加速度センサ 1 2 との出力に基づいて、その基準位置からの装着者の頭部の動きを検出する構成としてある, 頭部の正面が向く方向であるヨウ角については、ジャイロセンサ 1 1 の出力に基づいて算出するようにしてある。但し、傾斜センサ 1 2の出力に基づいて算出されたロール角及びピッチ角を使用して、ジャイロセンサ 1 1 の出力に基づいて算出されたヨウ角を補正するようにしても良い。具体的には、例えば頭部がいずれかの方向に比較的大きく傾斜した状態でヨウ角の動きがあった場合に、ジャイロセンサ 1 1 の出力から検出されるヨウ角に誤差が生じる可能性があり、そのような場合に、算出されたロール角及びピッチ角を使用して、ヨウ角を補正しても良い。中央制御ユニット 1 4で算出された 3軸（ヨウ角、ロール角、ピッチ角）の各軸毎の算出角度のデータは、ヘッドトラッキング角度データとして、コントロール用インターフェース部 1 8から、映像信号源 2 0側に送られる。

映像信号源 2 0は、例えばある地点の周囲の全周の映像データと、その映像データに付随する音声データを蓄積するメモリ 2 1 と、そのメモリ 2 1 に蓄積された映像データの中から、ヘッドマゥントディスプレイ 1 0 0で検出されたへッドトラッキング角度データで示される方向の映像データを読出して、 3 D処理部 2 3 に供給する制御を行う中央制御ュニット 2 2 と、供給される映像データを画像表示用の映像データとする 3 D処理部 2 3 と、 3 D 処理部 2 3で作成された映像データを、ヘッドマウントディスプレイ部 1 0 0 に供給するビデオインターフェース部 2 4 と、へッドマウントディスプレイ 1 0 0で検出されたへッドトラッキング角度データを受信するコントロール用インターフェース部 2 5 とで構成される。

そして、映像信号源 2 0からへッドマウントディスプレイ 1 0 0に供給される映像データは、へッドマウントディスプレイ 1 0 0 のビデオインターフェース部 1 7で受信されて、映像表示部 1 1 0に供給し、映像表示部 1 1 0内の左右の映像表示パネル 1 0 0 L , 1 0 O Rに表示させる処理を行う。なお、映像データが立体映像表示用の映像データである場合には、左右の映像表示パネル 1 0 0 L， 1 0 0 Rに供給して表示させる映像データが個別のものになる。ビデオインターフヱース部 1 7での受信、及ぴ映像表示部 1 1 0 での映像表示についても、中央制御ユニット 1 4 の制御で実行される。

なお、図 7 のブロック図では、音声データを処理する構成については省略してある。音声データについては、ヘッドトラツキング処理を行わなくても良いが、ステレオ音声を出力させる場合に、その音像が定位する方向を、ヘッドトラッキング角度データで示される角度に変化させても良い。映像信号源 2 0については、例えば、パーソナルコンピュータ装置，ビデオゲーム機器， P D A ( Personal Digital Assistants ) , 携帯電話端末などの演算処理を実行する手段と、これらの機器が内蔵（又は取付けられた）ハードディスク，光ディスク，半導体メモリなどの大容量記憶手段で構成される。

次に、本例のへッドマウントディスプレイ 1 0 0でへッドトラッキング角度データを得るヘッドトラッキング処理例を、図 8〜図 1 0のフローチャートを参照して説明する。まず、ヘッドトラッキングのメイン処理を、図 8のフローチヤ一トを参照して説明すると、へッドマウントディスプレイ 1 0 0の電源投入があると (ステップ S 1 1 )、各種初期化命令の出力による初期化処理が行われ（ステップ S 1 2 )、その後リセット信号処理が実行される（ステツプ S 1 3 )。リセット信号処理では、リセットスイッチ 1 5の操作又は映像信号源 2 0からのリセット信号の要求により、そのときの装着者の姿勢時におけるヘッドトラッキングデータを保存し、信号されるヘッドトラッキングデータがその姿勢で 0 ° となるようにする。また、その場合、例えばヨウ角は、 ± 1 8 0 ° を検出できるので問題ないが、ピッチ角とロール角は検出できる範囲が土 9 0 ° であるため、その 2軸に関してのリセットを受け付ける姿勢角を、図 5，図 6 に示した Z軸と直交する平面付近に限定する処理が行われる。

次に、 3軸角度検出処理が行われる（ステップ S 1 4 )。この 3 軸角度検出処理では、 2軸傾斜センサ処理と、ジャイロセンサ処理が行われる。図 9 は、 2軸傾斜センサ処理を示したフローチヤートである。 2軸傾斜センサ処理では、傾斜センサ 1 2から供給される P W M信号の X軸のデューティ比及び Y軸のデューティ比を検出する（ステップ S 2 1 ， S 2 2 )。そして、各デューティ比から、ピッチ角及ぴロール角を算出する（ステップ S 2 3 )。そして、傾斜センサ 1 2 の加速度検出軸が、装着者の X軸， Υ軸に対し、 Χ Υ平面上で、ヨウ角方向にずれがあった場合、算出したピツチ角とローノレ角に、そのずれの補正を行い（ステップ S 2 4 )、 2軸傾斜センサ処理を終了する（ステップ S 2 5 )。

図 1 0 は、ジャィ口センサ処理を示したフローチヤ一トである。ジャィ口センサ処理では、まずジャィ口センサからの出力をデジタル変換したデータを取得する（ステップ S 3 1 )。次に、そのゲインの異なる複数の中央制御ュニットでデジタル変換して、ダイナミックレンジを大きくするためのゲインレンジング処理を行い (ステップ S 3 2 )、さらにジャイロセンサ 1 1 の D Cオフセットをカツトする処理を行う（ステップ S 3 3 )。そして、ノイズ成分をカツトするためのコアリング処理を行い（ステップ S 3 4 )、角速度データの積分処理により、ヨウ角を算出し（ステップ S 3 5 )、ジャイロセンサ処理を終了する（ステップ S 3 6 )。なお、既に説明したように、ステップ S 3 5でヨウ角を算出する際には、 2軸傾斜センサ処理で検出されたピッチ角とロール角に基づいて、算出されたヨウ角を補正するようにしても良い。

図 8 のメイン処理に戻ると、このようにして算出されたヨウ角とピッチ角とロール角を使用して、へッドトラッキング角度を求め、そのヘッドトラッキング角度データを、映像信号源側に転送する処理を行い（ステップ S 1 5 )、ステップ S 1 3 のリセット信号処理に戻る。伹し、リセット信号処理でリセットスィッチの操作又はリセット信号の供給がない場合には、そのままステップ S 1 4の 3軸角度検出処理に戻る。

なお、ステップ S 1 4での 3軸角度検出処理では、 2軸傾斜センサ処理として、重力である静的な加速度を検出して、その検出時の傾斜角度を求めるのに対し、ジャイロセンサ処理では、動的な加速度成分を検出して、積分することでヨウ角を求めるのであるので、それぞれの処理を行う周期は異なった周期であっても良い。ヘッドトラッキング角度データを、映像の切り出し範囲選定に利用する場合、ヘッドトラッキング検出の遅延時間が重要になつてくるので、最大でも映像の更新レート以内に、ヘッドトラッキング処理を完了させ、転送する必要があり、処理時間配分が最も効率的となる周期で、図 9のフローチヤ一トの 2軸傾斜センサ処理と図 1 0のジャイロセンサ処理を実行することが重要になる, 一例としては、 1 6 ビットで演算を行う汎用のマイクロプロセッサを中央制御ュニットとし、 2軸傾斜センサ処理を 1 2 5 H z周期で行い、ジャイロセンサ処理を 1 . 2 5 K H z周期で行うことで、上述した更新レートを満たすことが可能である。

このように構成されるヘッドマウントディスプレイ 1 0 0によると、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるパーチャルリアリティの映像を表示させることが可能になる。また、音声についても、ヘッドトラッキングさせた音声の出力が可能になる。

そして、ヘッドトラッキング角度を検出するセンサとしては、ジャイロセンサと 2軸傾斜センサを用意するだけで良く、 2個のセンサだけを使用した簡単な構成で、良好に 3次元的なヘッドトラッキング角度の検出が可能になる。ピッチ角とロール角については、 ± 9 0 ° に検出範囲が制限されることになるが、通常の人間の頭部の動きの範囲内の姿勢角を検出する分には十分な範囲であり、実用上問題はない。また、本例の場合には、ピッチ角と口一ル角は傾斜センサを使用して検出するので、ドリフト現象が発生することがなく、水平方向に安定した映像などでの仮想 3 D空間が、簡易で低コストに実現できる。また、センサの数が少ないために、ヘッドトラッキング角度を算出する演算手段（中央制御ユニット）での演算処理負担がそれだけ少なくて済む効果を有する。さらに、センサが少なくて良いので、ヘッドマウントデイスプレイそのものを小型に構成でき、ヘッドマウントディスプレイの装着感を向上させることができる。

なお、図 1 〜図 4 に示した本例の形状のへッドマウントデイスプレイの場合には、いわゆるフルオープンエア型のへッドホンに映像表示部を取付けて、へッドマゥントディスプレイとして機能する形状としてあるので、従来からあるフルオープンエア型のへッドホンとほぼ同様の装着感で、へッドマウントディスプレイを装着することができ、ヘッドマウントディスプレイとして良好なものになる。また、図 4 に示したように、映像表示部 1 1 0 をはね上げた場合には、ヘッドホンとしても使用可能であり、装置の汎用性が高い。

なお、この図 1 〜図 4 に示したへッドマウントディスプレイの外形形状については一例を示したものであり、その他の形状のへッドマウントディスプレイに、本発明を適用することができることは勿論である。また、ステレオ音声の音像定位位置を、ヘッドトラッキングで行うヘッドホン装置（即ち映像表示機能のない装置）に、本発明のヘッドトラッキング処理を適用しても良い。

さらに、上述した実施の形態では、ヘッドマウントディスプレィにリセットスィッチを設けて、そのリセットスイッチの操作された位置を、基準位置として、その位置からの動きを検出するようにしたが、何らかの方法（例えば地磁気センサなど）で絶対的な方位を検出するようにして、リセットスィッチを設けることなく、絶対的な角度によるへッドトラッキング処理を行うようにしても良い。

Claims

請求の範囲

1 . 頭部の向いた 3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する 2軸となす角度であるピッチ角及びロール角の 3軸で検出するへッドトラッキング方法において、

前記ヨウ角をジャィ口センサの出力の積分値から判断し、前記直立軸方向と直交する平面の傾斜を検出する傾斜センサの出力から、前記ピッチ角及び前記ロール角を算出する

ヘッドトラッキング方法。

2 . 請求の範囲第 1項記載のヘッドトラッキング方法において、ジャイロセンサの出力からヨウ角を判断する周期は、前記傾斜センサの出力からピッチ角及びロール角を算出する周期よりも短い周期とした

ヘッドトラッキング方法。

3 . 請求の範囲第 1項記載のヘッドトラッキング方法において、判断されたピッチ角及ぴロール角から、ジャィ口センサの出力から判断したヨウ角の補正を行う

ヘッドトラッキング方法。

4 . 頭部の向いた 3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する 2軸となす角度であるピッチ角及びロール角の 3軸で検出するへッドトラッキング装置において、

前記ョゥ角を検出するためのジャイロセンサと、

前記直立軸方向と直交する平面の傾斜を検出する傾斜センサと前記ジャイロセンサの出力の積分値からヨウ角を判断すると共に、前記傾斜センサが出力する角速度から、前記ピッチ角及び前記ロール角を算出する演算手段とを備えた

ヘッドトラッキング装置。

5 . 請求の範囲第 4項記載のへッドトラッキング装置において、前記演算手段は、前記ジャイロセンサの出力からヨウ角を判断する周期は、前記傾斜センサの出力からピッチ角及ぴロール角を算出する周期よりも短い周期とした

ヘッドトラッキング装置。

6 . 請求の範囲第 4項記載のヘッドトラッキング装置において、前記演算手段は、算出されたピッチ角及びロール角から、前記ジャイロセンサの出力から判断したヨウ角の補正を行う

へッドトラッキング装置。