JP5092300B2 - ヘッドモーショントラッカ装置 - Google Patents

Description

本発明は、振動や衝撃等による位置ズレを補正する機能を備えるヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち、現在の頭部位置及び頭部角度）を検出するＨＭＴ装置等に利用される。

時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。

また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体の緯度、経度、高度、姿勢に加えて、飛行体に設定された移動体座標系に対するパイロットの頭部角度及び頭部位置を測定している。このために、ＨＭＴ装置が利用されている。

頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。例えば、複数の反射板を頭部装着型表示装置付ヘルメットに取り付けるとともに光源から光を照射したときの反射光をカメラ装置でモニタする光学方式のＨＭＴ装置が開示されている。また、本出願人が先に出願している光学方式のＨＭＴ装置もある（特願２００５−１０６４１８号）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカー群として、発光体であるＬＥＤを互いに離隔するようにして３箇所に取り付け、これら３つの光学マーカーの相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３つの光学マーカーを、ステレオ視が可能でかつ設置場所が固定された２台のカメラで同時に立体視で撮影することで、所謂、三角測量の原理により、現在の３つの光学マーカーの相対的な位置関係を測定している。頭部装着型表示装置付ヘルメットに固定された３点の位置（３つのＬＥＤの位置）が特定できれば、頭部装着型表示装置付ヘルメットの位置や向き（角度）が特定できるので、これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの移動距離量や移動角度量を特定している。
特表平９−５０６１９４号公報

しかしながら、図８に示すように、例えば、飛行体８０でＨＭＴ装置５１を使用するときに、パイロット６３が飛行体８０のコックピットに搭乗することになるが、飛行体８０の飛行中にコックピットが振動する場合がある。このとき、コックピットの天井に固定軸５２ｃを介して２台のカメラ５２ａ、５２ｂを設置してあると、２台のカメラ５２ａ、５２ｂが振動の影響を強く受けるため、カメラ５２ａ、５２ｂに対する頭部装着型表示装置付ヘルメット６０の現在位置及び現在角度を算出しても精度よく測定できないことがあった。例えば、パイロット６３の頭部が現在位置より前方に移動したときに、パイロット６３の頭部の移動量よりカメラ装置５２ａ、５２ｂが前方に一時的に振動した場合には、パイロット６３の頭部位置は後方に移動したように、ＨＭＴ装置５１に判断されていた。
さらに、衝撃や強い重力加速度を受けた場合に、カメラ装置５２ａ、５２ｂの取付状態が変化（変形）することもあるが、そのような場合にも、カメラ装置５２ａ、５２ｂに対する頭部装着型表示装置付ヘルメット６０の現在位置及び現在角度を算出しても精度よく測定できない問題があった。

そこで、本発明は、カメラ装置や磁界発生手段が振動したり、カメラ装置や磁界発生手段の取付状態が変化したりしたときにも、振動や変化等による位置ズレ量を算出して補正することにより、搭乗者の頭部の現在位置及び現在角度を正確に算出することができるヘッドモーショントラッカ装置を提供することを目的とする。

上記課題を解決するためになされた本発明のＨＭＴ装置は、搭乗者の頭部に配置される光学マーカー群と、前記搭乗者が搭乗する搭乗体に取り付けられるとともに、前記光学マーカー群からの光線を立体視で検出するカメラ装置と、検出された光線に基づいて、前記カメラ装置に対する搭乗者の頭部位置及び頭部角度を含む光学検出頭部情報を算出する光学検出頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、前記カメラ装置に取り付けられるとともに、当該カメラ装置に作用する角速度を検出する光学側角速度検出手段と、前記カメラ装置に取り付けられるとともに、当該カメラ装置に作用する加速度を検出する光学側加速度検出手段と、前記加速度及び角速度に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記カメラ装置の移動距離量及び移動角度量を含む移動情報を算出する移動情報算出部と、前記光学検出頭部情報及び移動情報に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記搭乗者の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する頭部情報補正部とを備えるようにしている。

ここで、「光学側角速度検出手段」とは、センサ自体に３軸が定義されて、この３軸を基準とする３軸方向の角速度を検出できるもののことをいい、例えば、ジャイロセンサが好ましいが、加速度センサが用いられてもよい。
また、「光学側加速度検出手段」とは、センサ自体に３軸が定義されて、この３軸を基準とする３軸方向の加速度を検出できるもののことをいい、例えば、加速度センサが用いられる。

本発明のＨＭＴ装置によれば、例えば、カメラ装置が振動したときには、カメラ装置に作用する加速度及び角速度に基づいて、カメラ装置の移動距離量及び移動角度量を含む移動情報を算出することができる。これにより、移動情報と、カメラ装置に対する搭乗者の頭部位置及び頭部角度を含む光学検出頭部情報とを用いることで、搭乗者の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する際に、例えば、カメラ装置が振動したときにも、振動の影響を低減・除去することができたり、何らかの理由でカメラ装置の取付位置が位置ズレしたときにも、位置ズレの影響を低減・除去することができたりする。

（他の課題を解決するための手段および効果）
また、上記の発明において、前記搭乗体は、移動可能な移動体であり、前記移動体に取り付けられるとともに、当該移動体に作用する角速度を検出する移動体側角速度検出手段と、前記移動体に取り付けられるとともに、当該移動体に作用する加速度を検出する移動体側加速度検出手段とを備え、前記移動情報算出部は、前記光学側加速度検出手段で検出された加速度、前記移動体側加速度検出手段で検出された加速度、前記光学側角速度検出手段で検出された角速度、及び、前記移動体側角速度検出手段で検出された角速度に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記カメラ装置の移動距離量及び移動角度量を含む移動情報を算出するようにしてもよい。
ここで、「移動体側角速度検出手段」とは、センサ自体に３軸が定義されて、この３軸を基準とする３軸方向の角速度を検出できるもののことをいい、例えば、ジャイロセンサが好ましいが、加速度センサが用いられてもよい。なお、移動体側角速度検出手段では、移動中では移動体の動きの情報が検出される。
また、「移動体側加速度検出手段」とは、センサ自体に３軸が定義されて、この３軸を基準とする３軸方向の加速度を検出できるもののことをいい、例えば、加速度センサが好ましくは用いられる。なお、移動体側加速度検出手段では、移動中では移動体の動きの情報が検出される。

本発明のＨＭＴ装置によれば、例えば、カメラ装置が振動したときには、カメラ装置に作用する加速度及び角速度と、移動体に作用する加速度及び角速度とに基づいて、カメラ装置の移動体に対する移動距離量及び移動角度量を含む移動情報を算出することができる。これにより、移動情報と、カメラ装置に対する搭乗者の頭部位置及び頭部角度を含む光学検出頭部情報とを用いることで、搭乗者の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する際に、例えば、カメラ装置が振動したときにも、振動の影響を低減・除去することができたり、何らかの理由でカメラ装置の取付位置が位置ズレしたときにも、位置ズレの影響を低減・除去することができたりする。

さらに、上記の発明において、前記光学マーカー群は、３個以上のＬＥＤであるようにしてもよい。

また、本発明のＨＭＴ装置は、搭乗者の頭部に配置されるともに、交流磁界を検出する磁気センサと、前記搭乗者が搭乗する搭乗体に取り付けられるとともに、前記交流磁界を発生させる磁界発生手段と、検出された交流磁界に基づいて、前記磁界発生手段に対する搭乗者の頭部位置及び頭部角度を含む磁界発生頭部情報を算出する磁界発生頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、前記磁界発生手段に取り付けられるとともに、前記磁界発生手段に作用する角速度を検出する磁界側角速度検出手段と、前記磁界発生手段に取り付けられるとともに、前記磁界発生手段に作用する加速度を検出する磁界側加速度検出手段と、前記加速度及び角速度に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記磁界発生手段の移動距離量及び移動角度量を含む移動情報を算出する移動情報算出部と、前記磁界発生頭部情報及び移動情報に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記搭乗者の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する頭部情報補正部とを備えるようにしている。

本発明のＨＭＴ装置によれば、例えば、磁界発生手段が振動したときには、磁界発生手段に作用する加速度及び角速度に基づいて、磁界発生手段の移動距離量及び移動角度量を含む移動情報を算出することができる。これにより、移動情報と、磁界発生手段に対する搭乗者の頭部位置及び頭部角度を含む磁界発生頭部情報とを用いることで、搭乗者の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する際に、例えば、磁界発生手段が振動したときにも、振動の影響を低減・除去することができたり、何らかの理由で磁界発生手段の取付位置が位置ズレしたときにも、位置ズレの影響を低減・除去することができたりする。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。

（実施形態１）
以下に説明する実施形態１は、飛行体に搭乗するパイロットが着用する頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出するものであり、飛行体が重力加速度を受けてカメラ装置の取付状態が変形したり、振動でカメラ装置の取付位置が位置ズレしたりした場合にも、正確に頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出することができるものである。
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。

ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、飛行体３０に固定された固定軸２ｃにより支持されるカメラ装置２（２ａ、２ｂ）と、カメラ装置２ａ、２ｂの固定軸２ｃに取り付けられた光学側加速度センサ（光学側加速度検出手段）９及び光学側３軸ジャイロセンサ（光学側角速度検出手段）４と、飛行体３０が移動しているときに飛行体３０の中で振動の影響を受けない位置である前面パネル部３０ｂに取り付けられた移動体側加速度センサ（移動体側加速度検出手段）１９及び移動体側３軸ジャイロセンサ（移動体側角速度検出手段）１４と、コンピュータにより構成される制御部２０とから構成される。

飛行体３０は、パイロット３が搭乗するコックピットであり、パイロット３が着席する座席３０ａと、前面パネル部３０ｂとを備える。飛行体３０は飛行することにより、パイロット３が搭乗するコックピットの各部は振動することになる。このとき、前面パネル部３０ｂは、振動の影響を受けにくいので、移動体側加速度センサ１９及び移動体側３軸ジャイロセンサ１４もほとんど振動しない。なお、移動体側加速度センサ１９及び移動体側３軸ジャイロセンサ１４は、振動の影響がない位置であれば、他の位置に取り付けられてもよい。

移動体側加速度センサ１９は、飛行体３０に作用する加速度を検出するものである。なお、移動体側加速度センサ１９自体に、ｘｙｚ座標系が定められ、さらに、ｘｙｚ座標系は、後述する移動体座標系（ＸＹＺ座標系）に合わせられている。つまり、Ｘ軸、Ｙ軸、Ｚ軸方向における加速度（ｘ２、ｙ２、ｚ２）が検出される。

移動体側３軸ジャイロセンサ１４は、飛行体３０に作用する角速度を検知するものである。なお、移動体側３軸ジャイロセンサ１４自体に、ｘｙｚ座標系が定められ、さらに、ｘｙｚ座標系は、後述する移動体座標系（ＸＹＺ座標系）に合わせられている。つまり、ロール方向（Ｘ軸に対する回転）、エレベーション方向（Ｙ軸に対する回転）、アジマス方向（Ｚ軸に対する回転）における角速度（θ２、φ２、ψ２）が検出される。

頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、位置や向き（すなわち頭部位置や頭部角度）を測定する際の指標となる頭部マーカーとして機能するＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とコンバイナ８の前方実在物とを視認することが可能となっている。

ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光（あるいは波長が同じでもよい）を発光する３個（あるいは３個以上の数）のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして取り付けられたものである。なお、頭部装着型表示装置付ヘルメット１０の３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係と頭部装着型表示装置付ヘルメット１０に対する取り付け位置とが、予め、後述するメモリ４１の初期頭部データ記憶部４４に記憶するようにしてある。よって、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期頭部データ記憶部４４に記憶されたデータを参照することにより、現時点でのＬＥＤ７ａ、７ｂ、７ｃの位置を特定することができ、ひいてはＬＥＤ７ａ、７ｂ、７ｃが固定されている頭部装着型表示装置付ヘルメット１０の位置や角度（向き）が特定できるようにしてある。

カメラ装置２（２ａ、２ｂ）は、２台のカメラ２ａ、２ｂからなり、撮影方向が頭部装着型表示装置付ヘルメット１０に向けられているとともに、頭部装着型表示装置付ヘルメット１０の立体視が可能な一定の距離（ｄ１）を隔てるように、飛行体３０の天井に固定軸２ｃを介して設置されている。
よって、図３に示すように、ＬＥＤ７ａのカメラ装置２（２ａ、２ｂ）に対する位置は、カメラ装置２（２ａ，２ｂ）に撮影された画像中に映し出されている頭部マーカーの位置を抽出し、さらにカメラ２ａからの方向角度（α）とカメラ２ｂからの方向角度（β）とを抽出し、カメラ２ａとカメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができるようにしてある。他の頭部マーカーであるＬＥＤ７ｂ、７ｃのカメラ装置２（２ａ、２ｂ）に対する位置についても、同様に算出されるようにしてある。

このときの各頭部マーカーの位置を、空間座標で表現することができるようにするために、カメラ装置２（２ａ、２ｂ）に固定され、カメラ装置２とともに移動する座標系である光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）を用いる。なお、光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）の具体的な原点位置やＸ’Ｙ’Ｚ’軸方向の説明については後述する。光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）によりＬＥＤ７ａ、７ｂ、７ｃの位置座標は、（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）として表現できる。カメラ装置２（２ａ、２ｂ）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置座標（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）が特定されることにより、ＬＥＤ７ａ、７ｂ、７ｃが固定されている頭部装着型表示装置付ヘルメット１０の位置や角度（向き）が座標系を用いて特定できるようになる。
つまり、頭部マーカーであるＬＥＤ群７から発光される赤外光を検出することにより３個のＬＥＤ７ａ、７ｂ、７ｃの現在の位置座標を得ることで、カメラ装置２（２ａ、２ｂ）に対する頭部装着型表示装置付ヘルメット１０の現在の位置や向き（角度）を算出でき、位置座標や座標軸に対する角度で表現できるようにしてある。

光学側加速度センサ（光学側加速度検出手段）９は、カメラ装置２ａ、２ｂに作用する加速度を検出するものである。なお、加速度センサ９自体に、ｘｙｚ座標系が定められ、さらに、ｘｙｚ座標系は、光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）に合わせられている。つまり、Ｘ軸、Ｙ軸、Ｚ軸方向における加速度（ｘ１、ｙ１、ｚ１）が検出される。このとき、カメラ装置２ａ、２ｂは飛行体３０に取り付けられており、飛行体３０自体も飛行しているので、加速度（ｘ１、ｙ１、ｚ１）は、カメラ装置２ａ、２ｂに作用する加速度だけでなく、飛行体３０に作用する加速度も含んだものとなる。

光学側３軸ジャイロセンサ（光学側角速度検出手段）４は、カメラ装置２ａ、２ｂに作用する角速度を検知するものである。なお、３軸ジャイロセンサ４自体に、ｘｙｚ座標系が定められ、さらに、ｘｙｚ座標系は、光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）に合わせられている。つまり、ロール方向（Ｘ’軸に対する回転）、エレベーション方向（Ｙ’軸に対する回転）、アジマス方向（Ｚ’軸に対する回転）における角速度（θ１、φ１、ψ１）が検出される。このとき、カメラ装置２ａ、２ｂは飛行体３０に取り付けられており、飛行体３０自体も飛行しているので、角速度（θ１、φ１、ψ１）は、カメラ装置２ａ、２ｂに作用する角速度だけでなく、飛行体３０に作用する角速度も含んだものとなる。

次に、制御部２０について説明する。図４は、ＨＭＴ装置１の制御部２０で行われる演算処理の流れを説明する図である。
制御部２０は、図１に示すように、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部２８と、光学検出頭部情報算出部２２と、移動情報算出部２３と、頭部情報補正部２６と、映像表示部２５とを有する。
また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、カメラ装置２（２ａ，２ｂ）とともに移動する座標系である光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）を設定するために必要な原点位置及び軸方向を記憶する光学検出座標記憶部４３と、３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係及び頭部装着型表示装置付ヘルメット１０に対する取り付け位置（初期頭部データ）を記憶する初期頭部データ記憶部４４とを有する。

ここで、光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）について説明する。光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）は、カメラ装置２（２ａ，２ｂ）とともに移動する３次元座標系であり、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、飛行体３０が停止した状態（初期状態）のときの、カメラ２ｂからカメラ２ａへの方向をＸ’軸方向とし、Ｘ’軸方向に垂直かつ天井に垂直で下向き方向をＺ’軸方向とし、Ｘ’軸方向に垂直かつ天井に水平で右向き方向をＹ’軸方向とするように定義し、原点をカメラ２ａ、カメラ２ｂの中点として定義するようにしてある。

そして、光学検出座標記憶部４３には、Ｘ’Ｙ’Ｚ’座標系の設定に必要な軸方向の情報及び原点の情報が蓄積してある。
一方、移動体座標系（ＸＹＺ座標系）は、飛行体３０に対して設置されたカメラ装置２（２ａ、２ｂ）の初期位置（Ｘ０、Ｙ０、Ｚ０）及び初期角度（Θ０、Φ０、Ψ０）を基準とするものであり、振動等による光学座標検出系（Ｘ’Ｙ’Ｚ’座標系）の位置ズレが補正されたものとなる。

モーショントラッカ駆動部２８は、ＬＥＤ群７を点灯する指令信号を出力するとともに、カメラ装置２（２ａ、２ｂ）でＬＥＤ群７を撮影し、画像による位置情報を取得する制御を行うものである。

光学検出頭部情報算出部２２は、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するパイロット３の頭部位置及び頭部角度を含む光学検出頭部情報を算出する制御を行うものである。
つまり、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）を算出し、これら３つの位置座標を、初期頭部データ記憶部４４に記憶されているＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係と頭部装着型表示装置ヘルメット１０に対する取り付け位置のデータを参照することにより、ＬＥＤ７ａ、７ｂ、７ｃが固定された頭部装着型表示装置ヘルメット１０の現在位置と現在角度とを決定する。

決定された頭部装着型表示装置ヘルメット１０の現在位置と現在角度を、Ｘ’Ｙ’Ｚ’座標系を用いて表現するために、頭部装着型表示装置ヘルメット１０上の一点をヘルメット基準点（Ｐ）と定め、さらにヘルメット基準点を始点とする二方向をヘルメット基準方向（Ｍ及びＮ）と定める。本実施形態では、図２に示すように、ヘルメット基準点（Ｐ）としてＬＥＤ７ａの位置を指定し、ヘルメット基準方向（Ｍ及びＮ）として頭部装着型表示装置ヘルメット１０の前方方向とその垂直方向を指定することにする。これにより、決定された頭部装着型表示装置ヘルメット１０の現在位置と現在角度とは、ヘルメット基準点Ｐの位置座標（Ｘ’、Ｙ’、Ｚ’）、ヘルメット基準方向（Ｍ及びＮ）のＸ’軸、Ｙ’軸、Ｚ’軸に対する角度（Θ’、Φ’、Ψ’）とを用いて表現することができる。

つまり、光学検出頭部情報算出部２２は、３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）を算出し、これに基づいて
ヘルメット基準点Ｐの位置座標（Ｘ’、Ｙ’、Ｚ’）、ヘルメット基準方向（Ｍ及びＮ）のＸ’軸、Ｙ’軸、Ｚ’軸に対する角度（Θ’、Φ’、Ψ’）を、頭部位置情報（Ｘ’、Ｙ’、Ｚ’）及び頭部角度情報（Θ’、Φ’、Ψ’）として算出する。

移動情報算出部２３は、加速度（ｘ１、ｙ１、ｚ１）、角速度（θ１、φ１、ψ１）、加速度（ｘ２、ｙ２、ｚ２）及び角速度（θ２、φ２、ψ２）に基づいて、カメラ装置２（２ａ、２ｂ）の移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）を含む移動情報を算出する制御を行うものである。つまり、加速度（ｘ１、ｙ１、ｚ１）と加速度（ｘ２、ｙ２、ｚ２）との差分を２回積分演算することにより、カメラ装置２ａ、２ｂの初期位置（Ｘ０、Ｙ０、Ｚ０）からのカメラ装置２ａ、２ｂの移動距離量（Δｘ、Δｙ、Δｚ）を算出する。また、角速度（θ１、φ１、ψ１）と角速度（θ２、φ２、ψ２）との差分を１回積分演算することにより、カメラ装置２（２ａ、２ｂ）の初期角度（Θ０、Φ０、Ψ０）からのカメラ装置２（２ａ、２ｂ）の移動角度量（Δθ、Δφ、Δψ）を算出する。

頭部情報算出部２６は、光学検出頭部情報及び移動情報に基づいて、カメラ装置２ａ、２ｂの振動による位置ズレを補正する制御を行い、補正されたパイロット３の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する制御を行うものである。つまり、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対して算出されたパイロット３の頭部位置（Ｘ’、Ｙ’、Ｚ’）及び頭部角度（Θ’、Φ’、Ψ’）に、カメラ装置２（２ａ、２ｂ）の移動距離量（Δｘ、Δｙ、Δｚ）を並進させる演算と、移動角度量（Δθ、Δφ、Δψ）を回転させる演算とを行うこと（座標変換行列による座標変換処理）により、Ｘ’Ｙ’Ｚ’座標系に代えて、移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を含む搭乗体頭部情報を算出する。
出力された頭部位置（Ｘ、Ｙ、Ｚ）、頭部角度（Θ、Φ、Ψ）である搭乗体頭部情報は、振動等にともなって移動する光学座標検出系（Ｘ’Ｙ’Ｚ’座標系）ではなく、振動等による位置ズレが補正された移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置及び頭部角度となる。そして、時々刻々変化する搭乗体頭部情報と、初期頭部データ記憶部４４に記憶されている３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係及び頭部装着型表示装置付ヘルメット１０に対する取り付け位置（初期頭部データ）とを比較することにより、移動体座標系（ＸＹＺ座標系）に対する頭部装着型表示装置付ヘルメット１０の移動距離量及び移動角度量が決定される。

映像表示部２５は、カメラ装置２（２ａ、２ｂ）の振動によるズレが補正された搭乗体頭部情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することができるようになる。

以上のように、ＨＭＴ装置１によれば、カメラ装置２（２ａ、２ｂ）が振動したときには、カメラ装置２（２ａ、２ｂ）に作用する加速度及び角速度と、飛行体３０に作用する加速度及び角速度とに基づいて、飛行体３０に対するカメラ装置２（２ａ、２ｂ）の移動距離量及び移動角度量を含む移動情報を算出することができる。これにより、移動情報と、カメラ装置２（２ａ、２ｂ）に対するパイロット３の頭部位置及び頭部角度を含む光学検出頭部情報とを用いることで、パイロット３の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する際に、カメラ装置２（２ａ、２ｂ）が振動したときにも、振動の影響を低減・除去することができる。

なお、上述したＨＭＴ装置１では、光学側加速度センサ９及び光学側３軸ジャイロセンサ４を固定軸２ｃに設置したが、カメラ装置２ａに光学側加速度センサ９及び光学側３軸ジャイロセンサ４を設置するとともに、カメラ装置２ｂにも光学側加速度センサ９及び光学側３軸ジャイロセンサ４を設置するように２台の光学側加速度センサ９及び２台の光学側３軸ジャイロセンサ４を設置する構成としてもよい。

（実施形態２）
図５は、本発明の他の一実施形態であるＨＭＴ装置の概略構成を示す図である。本実施形態では、搭乗体は、飛行体と異なり移動することがないゲーム機であり、振動のみを受ける。すなわち、ＨＭＴ装置１０１は、遊戯者１０３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、ゲーム機１３０に固定された固定軸２ｃにより支持されるカメラ装置２（２ａ、２ｂ）と、カメラ装置２ａ、２ｂの固定軸２ｃに取り付けられた光学側加速度センサ（光学側加速度検出手段）９及び光学側３軸ジャイロセンサ（光学側角速度検出手段）４と、コンピュータにより構成される制御部１２０とから構成される。つまり、移動体側加速度センサ（移動体側加速度検出手段）１９及び移動体側３軸ジャイロセンサ（移動体側角速度検出手段）１４を備えていない。なお、上述した実施形態１と同様のものについては、同じ符号を付して、説明を省略することとする。

ゲーム機１３０は、遊戯者３が着席する座席１３０ａと、振動装置１３０ｂとを備える。これにより、振動装置１３０ｂが振動することにより、ゲーム機１３０の各部は振動することになる。
したがって、実施形態２では、光学側加速度センサ（光学側加速度検出手段）９及び光学側３軸ジャイロセンサ（光学側角速度検出手段）４で検出される数値は、カメラ装置２ａ、２ｂがゲーム機１３０に取り付けられているので移動することがなく、カメラ装置２ａ、２ｂに作用するもののみを含んだものとなる。

ここで、制御部１２０について説明する。図６は、ＨＭＴ装置１０１の制御部１２０で行われる演算処理の流れを説明する図である。
制御部１２０は、図５に示すように、ＣＰＵ１２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ１２１が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部２８と、光学検出頭部情報算出部２２と、移動情報算出部１２３と、頭部情報補正部２６と、映像表示部２５とを有する。

次に、実施形態２での光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）について説明する。光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）は、カメラ装置２（２ａ，２ｂ）とともに振動する３次元座標系であり、原点及び各座標軸の方向を任意に定めることができるが、ゲーム機１３０が停止した状態（初期状態）のときの、カメラ２ｂからカメラ２ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向き方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点をカメラ２ａ、カメラ２ｂの中点として定義するようにしてある。
一方、振動等による光学座標検出系（Ｘ’Ｙ’Ｚ’座標系）の位置ズレが補正されたものである搭乗体座標系（ＸＹＺ座標系）は、ゲーム機１３０に対して設置されたカメラ装置２（２ａ、２ｂ）の初期位置（Ｘ０、Ｙ０、Ｚ０）及び初期角度（Θ０、Φ０、Ψ０）を基準とするものとなる。

移動情報算出部１２３は、光学側加速度センサ９で検出された加速度（ｘ１、ｙ１、ｚ１）、及び、３軸ジャイロセンサ４で検出された角速度（θ１、φ１、ψ１）に基づいて、カメラ装置２（２ａ、２ｂ）の移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）を含む移動情報を算出する制御を行うものである。つまり、加速度（ｘ１、ｙ１、ｚ１）を２回積分演算することにより、カメラ装置２ａ、２ｂの初期位置（Ｘ０、Ｙ０、Ｚ０）からのカメラ装置２ａ、２ｂの移動距離量（Δｘ、Δｙ、Δｚ）を算出する。また、角速度（θ１、φ１、ψ１）を１回積分演算することにより、カメラ装置２（２ａ、２ｂ）の初期角度（Θ０、Φ０、Ψ０）からのカメラ装置２（２ａ、２ｂ）の移動角度量（Δθ、Δφ、Δψ）を算出する。

頭部情報算出部２６は、光学検出頭部情報及び移動情報に基づいて、カメラ装置２ａ、２ｂの振動による位置ズレを補正する制御を行い、補正された遊戯者１０３の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する制御を行うものである。このとき、出力された頭部位置（Ｘ、Ｙ、Ｚ）、頭部角度（Θ、Φ、Ψ）である搭乗体頭部情報は、振動等にともなって移動する光学座標検出系（Ｘ’Ｙ’Ｚ’座標系）ではなく、振動等による位置ズレが補正された搭乗体座標系（ＸＹＺ座標系）に対する遊戯者１０３の頭部位置及び頭部角度となる。

以上のように、ＨＭＴ装置１０１によれば、カメラ装置２（２ａ、２ｂ）が振動したときには、カメラ装置２（２ａ、２ｂ）に作用する加速度及び角速度に基づいて、ゲーム機１３０に対するカメラ装置２（２ａ、２ｂ）の移動距離量及び移動角度量を含む移動情報を算出することができる。これにより、移動情報と、カメラ装置２（２ａ、２ｂ）に対する遊戯者３の頭部位置及び頭部角度を含む光学検出頭部情報とを用いることで、遊戯者３の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する際に、カメラ装置２（２ａ、２ｂ）が振動したときにも、振動の影響を低減・除去することができる。2-

（実施形態３）
ＨＭＴ装置は、遊戯者の頭部に装着される頭部装着型表示装置付ヘルメットと、ゲーム機の天井に取り付けられた磁気ソースと、磁気ソースに取り付けられた磁界側加速度センサ（磁界側加速度検出手段）及び磁界側３軸ジャイロセンサ（磁界側角速度検出手段）と、コンピュータにより構成される制御部とから構成される構成としてもよい。なお、頭部装着型表示装置付ヘルメットは、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、遊戯者の目に導くコンバイナと、磁気センサとを有する。

実施形態３のＨＭＴ装置によれば、磁気ソースが振動したときには、磁気ソースに作用する加速度及び角速度に基づいて、ゲーム機に対する磁気ソースの移動距離量及び移動角度量を含む移動情報を算出することができる。これにより、移動情報と、磁気ソースに対する搭乗者の頭部位置及び頭部角度を含む磁界発生頭部情報とを用いることで、遊戯者の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する際に、磁気ソースが振動したときにも、振動の影響を低減・除去することができる。

本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置や現在角度を検出するものとして、利用される。

本発明の一実施形態であるＨＭＴ装置の概略構成を示す図である。 図１に示す頭部装着型表示装置付ヘルメットの平面図である。 光学検出座標系の設定を説明するための図である。 図１に示すＨＭＴ装置の制御部で行われる演算処理の流れを説明する図である。 本発明の他の一実施形態であるＨＭＴ装置の概略構成を示す図である。 図５に示すＨＭＴ装置の制御部で行われる演算処理の流れを説明する図である。 従来のＨＭＴ装置の概略構成を示す図である。

符号の説明

１、５１ ヘッドモーショントラッカ装置
２、５２ カメラ装置
３、６３ パイロット
４ ３軸ジャイロセンサ
７ ＬＥＤ群
９ 加速度センサ
２２ 光学検出頭部情報算出部
２３ 移動情報算出部
２６ 頭部情報補正部
３０、８０ 飛行体
Ｐ ヘルメット基準点
Ｍ、Ｎ ヘルメット基準方向

Claims (4)

1. 搭乗者の頭部に配置される光学マーカー群と、
   前記搭乗者が搭乗する搭乗体に取り付けられるとともに、前記光学マーカー群からの光線を立体視で検出するカメラ装置と、
   検出された光線に基づいて、前記カメラ装置に対する搭乗者の頭部位置及び頭部角度を含む光学検出頭部情報を算出する光学検出頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
   前記カメラ装置に取り付けられるとともに、当該カメラ装置に作用する角速度を検出する光学側角速度検出手段と、
   前記カメラ装置に取り付けられるとともに、当該カメラ装置に作用する加速度を検出する光学側加速度検出手段と、
   前記加速度及び角速度に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記カメラ装置の移動距離量及び移動角度量を含む移動情報を算出する移動情報算出部と、
   前記光学検出頭部情報及び移動情報に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記搭乗者の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する頭部情報補正部とを備えることを特徴とするヘッドモーショントラッカ装置。
2. 前記搭乗体は、移動可能な移動体であり、
   前記移動体に取り付けられるとともに、当該移動体に作用する角速度を検出する移動体側角速度検出手段と、
   前記移動体に取り付けられるとともに、当該移動体に作用する加速度を検出する移動体側加速度検出手段とを備え、
   前記移動情報算出部は、前記光学側加速度検出手段で検出された加速度、前記移動体側加速度検出手段で検出された加速度、前記光学側角速度検出手段で検出された角速度、及び、前記移動体側角速度検出手段で検出された角速度に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記カメラ装置の移動距離量及び移動角度量を含む移動情報を算出することを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
3. 前記光学マーカー群は、３個以上のＬＥＤであることを特徴とする請求項１又は２に記載のヘッドモーショントラッカ装置。
4. 搭乗者の頭部に配置されるともに、交流磁界を検出する磁気センサと、
   前記搭乗者が搭乗する搭乗体に取り付けられるとともに、前記交流磁界を発生させる磁界発生手段と、
   検出された交流磁界に基づいて、前記磁界発生手段に対する搭乗者の頭部位置及び頭部角度を含む磁界発生頭部情報を算出する磁界発生頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
   前記磁界発生手段に取り付けられるとともに、前記磁界発生手段に作用する角速度を検出する磁界側角速度検出手段と、
   前記磁界発生手段に取り付けられるとともに、前記磁界発生手段に作用する加速度を検出する磁界側加速度検出手段と、
   前記加速度及び角速度に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記磁界発生手段の移動距離量及び移動角度量を含む移動情報を算出する移動情報算出部と、
   前記磁界発生頭部情報及び移動情報に基づいて、前記搭乗体に予め設定された搭乗体座標系に対する前記搭乗者の頭部位置及び頭部角度を含む搭乗体頭部情報を算出する頭部情報補正部とを備えることを特徴とするヘッドモーショントラッカ装置。

Images