JPH09506194A - 傾斜反射板位置検知システム - Google Patents

Abstract

(57)【要約】 人の頭部の上のヘルメット（１３）に取り付けられた傾斜反射板アレイ（１２）と、反射板の反射光を表わす画像内のスポットの正確な位置を画像のピクセル内の画像位置精度まで与えるスポット位置推定装置（２９）に画像を提供するビデオカメラ（１１）へ達する反射板アレイによって反射される光を放出する紫外光源（１４）とを有する多帯域高速ビデオメトリックヘッドトラッキングシステム（１０）。スポット位置推定装置からの位置情報は、ヘルメットの画像に基づく測定値のみを使用するプロセスの場合に可能であるよりも速い速度でヘルメット位置を正確に推定し予測するカルマンフィルタ（１５）に位置情報および配向情報を提供するトラックポイント３次元位置およびヘルメットＬＯＳ推定装置（３３）に進む。

Description

【発明の詳細な説明】 傾斜反射板位置検知システム 発明の背景 本発明は、ヘルメット取付型ディスプレイシステムに関し、特にヘルメットト ラッキングシステムまたはヘッドトラッキングシステムに関する。 ヘルメット取付型ディスプレイシステムでは、ジンバル式センサと兵器の両方 がパイロットの視線に追従しなければならない場合が多く、したがって正確なヘ ッドトラッキングが必要である。様々な種類の光ヘルメットトラッキングシステ ムおよび磁気ヘルメットトラッキングシステムがある。磁気トラッキングシステ ムは、現在最も正確かつ頑丈なシステムである。磁気ヘッドトラッカのいくつか の欠点は、飛行機の操縦室内の金属をマップする必要があること、および更新速 度が制限されることである。磁気ヘッドトラッキングシステムは、金属構造の量 が制限された領域内で動作する。そのようなシステムを戦闘用車両または戦車に 応用することは、戦車または戦闘用車両の金属構造により磁気ヘッドトラッカが 弱くなるので実現不可能である。さらに、閉込められた振動のある環境では、既 存の光学システムが戦闘用車両または戦車のヘッドトラッキング問題を解決でき ない。 発明の概要 本発明は、傾斜反射板アレイ、剛体カルマンフィルタモーション予測アルゴリ ズムプロセッサ、および傾斜反射板アレイによって反射されたソース光を検知す る低コストカメラを組み込んだ多帯域高速ビデオメトリックヘッドトラッキング システムである。反射板は、強度勾配情報ならびに位置情報を含む。サブピクセ ルスポット位置推定アルゴリズムは、反射板からの勾配情報を使用して、反射板 位置測定アルゴリズムの精度を高める。カルマンフィルタは、頭部の並進運動と 回転運動の自然な結合を補償することによって、画像測定のみによって達成でき るよりも高い精度でヘルメットの位置およびヘルメット視線を推定し、またシス テムの雑音を小さくし、モーション予測アルゴリズムが測定（更新）速度よりも 速い速度でヘルメットの位置および視線を推定する。 本発明は、正確かつ費用効率が高く、強い磁気環境の影響を受けず、複雑な光 学系を使用しない。このシステムは、デジタル信号処理アルゴリズムによってマ ークに対するボアサイトを推定する。ヘルメットの回転および並進は、伝統的透 視画像の原理を使用して計算する。 図面の簡単な説明 第１図は、トラッカシステムの基本構成要素のレイアウトである。 第２図ａおよび第２ｂ図は、傾斜反射板を示す図である。 第３図は、傾斜反射板の配置座を示す図である。 第４図は、頭、首、および胴の剛体構成図である。 第５図は、ヘッドトラッカボックスの構成図である。 第６図は、カメラおよび車両座標系の相対的位置を示す図である。 第７図は、サブピクセルスポット位置推定アルゴリズムおよびトラックポイン ト３Ｄ位置およびヘルメット視線計算のブロック図である。 第８図は、ハードウェアおよびトラッカの対応する機能を示す図である。 第９図は、ハードウェアおよびトラッカの対応する機能の別形を示す図である 。 第１０図は、トラッカ用のカルマンフィルタの流れ図である。 好ましい実施形態の説明 第１図のビデオメトリックヘッドトラッカシステム１０は、ヘルメット１３上 にある傾斜反射板１２からの反射を検知する紫外線（ＵＶ）感受性カメラ１１を 有する。光源１４は、光源または光のスポット１２となるように傾斜反射板１２ を照射する。カメラ１１の出力は、サブピクセルスポット位置アルゴリズム推定 装置２９に進む。推定装置２９は、特徴または位置の推定値の誤差を平均して出 力し、単一ピクセル以上の解像度、すなわちスポット１２の「サブピクセル」ス ポット位置を提供する。推定装置２９の出力は、５つの傾斜反射板（反射板の数 は３つまたは４つでもよい）の構成の各傾斜反射板１２の重心の（第６図の）推 定像面２８座標である。各傾斜反射板１２の推定像面２８座標は、トラックポイ ント３Ｄ位置およびヘルメット視線（ＬＯＳ）計算アルゴリズムプロセッサ３３ に転送される。ＬＯＳは、ヘルメット１３の配向である。透視画像の方程式を使 用して計算したトラックポイント３Ｄ位置およびヘルメット視線データは、剛体 運動カルマンフィルタ／予測装置１５に進む。カルマンフィルタ／予測装置１５ は、ヘルメット１３およびパイロットの頭の一般的な６自由度運動を表示するプ ロセッサである。推定状態は、外部力、特に重力およびパイロットの頭の筋肉が 及ぼす力の関数として、位置、速度、角度、および剛体（ヘルメット）１３の角 速度を含む。システム１０は、第２ａ図のグラフ１６によって示すような反射信 号の強度が傾斜反射板１２の１つの軸に沿って変化する独自のスポット設計を使 用して、スポット位置及び角度に対する像測定誤差をカルマンフィルタの誤差に 関連づけている。スポット１２は、スポット位置の偏位が最も正確になるように 、反射板構造の中央でピークとなる反対の勾配を有する。 サブピクセルスポット位置推定装置２９は、カメラ１１から、ＤＡＴＡＣＵＢ Ｅ ＭＡＸＶＩＤＥＯ ２０プロセッサ内のアナログデジタル変換器からのＲＳ １７０フォーマットのアナログ直列画像２８のデータとともに動作する。変換器 からのデジタル信号は、処理のためにＤＡＴＡＣＵＢＥカード５６、モデルＭＡ ＸＶＩＤＥＯ ２０に達して、セクション４６（第７図参照）で９９．５パーセ ントレベルでしきい画像２８強度を決定し、セクション４７で、勾配パターン１ ６またはスポット１２のエッジを検出する像特徴検出用のカニーエッジオペレー タを使用して、反射板１２の検出された勾配パターン１６のルーフエッジ７６に 対する最大直交エッジ７７の位置を確立する。一度に動作するスポット１２はた だ１つである。セクション４６からの出力は、オーストラリアの会社、Ｖｉｓｉ ｏｎ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ，Ｐｔｙ社製のモデルＡＰ Ａ５１２カードに進む。このＡＰＡ５１２カード５７を使用して、セクション４ ８で、反射板１２の勾配パターン１６のルーフエッジ７６の最小直交距離２乗誤 差線を計算する。セクション４７および４８の出力は、インテルｉ８６０プロセ ッサカード５８のセクション４９に達して、最大平均勾配強度を有する線７８の 平行な対を識別する。推定線８０を重畳する。セクション４９の出力は、決定 セクション５０に達し、そこで出力は、そのような平行線７８の対が識別された 場合に出力をセクション５２に送られ、そのような平行線の対が識別されない場 合にセクション５１に送られる。線７９の対（第２図ｂ）は見つかるが、これら は、最大平均勾配を有する線の対ではないので誤検出である。平行線の対が見つ かった場合、セクション５１は、カード５７のセクション４８で計算した最小直 交距離線の交差点と、カード５６のセクション４７で確立した直交エッジ７７と の間の中間で、像面位置として勾配パターン中心位置を確立する。平行線の対が 見つからない場合は、セクション５２は、２値勾配パターン像の重心として従来 の勾配パターン中心位置を確立する。セクション５１および５２からの出力は、 セクション５３に達して、左端勾配パターンを見つけ、次いで左方向サーチによ ってコーナーポイントを識別する。セクション４９の他に、セクション５０、５ １、５２および５３がインテルｉ８６０カード５８に組み込まれている。セクシ ョン５３の出力は、セクション３１に達して、ヘルメット１３の座標および視線 を計算する。セクション３１は、トラックポイント３Ｄ位置およびヘルメット視 線アルゴリズムプロセッサ３３の一部としてインテル１８６０カード５８に含ま れている。視野、像面寸法、勾配パターン配置座寸法および焦点距離を含む、ト ラックポイント３Ｄ位置およびヘルメット視線アルゴリズムプロセッサ３３のア プリケーション依存パラメータは、セクション５４から出力され、セクション３ １に入る。これらのアプリケーション依存パラメータは、カード５８のメモリに 記憶される。配置座４５の、ユニークな基準３８の、およびヘルメット１３の配 向の６つの基準座標（３つの座標と３つの視線配向座標）を計算する。装置３３ のセクション３１の出力は、カルマンフィルタ予測装置１５に進む。フィルタ予 測装置１５は、インテルｉ８６０カード５８の一部にマップされる。 ３Ｍ１９８高反率射テープまたは再帰反射テープも再帰反射板１２に使用でき る。再帰反射テープでは、ポリマー被覆のために紫外領域で吸収が起こる。異な る厚さのポリマー被覆を高反射率材料に塗布すると、その中心にポリマー被覆が なく、したがって最大反射率を有する対称傾斜反射板が得られる。パターンをセ ロファンなどの材料の上にプリントし、次いで樹脂回路板に接合する。反射板１ ２の両端間に適切な厚さの吸収ポリマー被覆を塗布すると、反射率が中心から直 線的に低下すると考えられる。実際、反射板１２の１つの寸法に沿った反射の変 化を示す曲線は、第２ａ図に示されるように、四角形１６を有するように見える 。 第３図に示される５つのスポットまたは反射板１２の配置座４５の勾配パター ンの位置を使用して、ヘルメット１３の３次元（３Ｄ）位置および配向を計算で きる。３Ｄ位置および座標枠配向の推定を剛体カルマンフィルタ／予測装置１５ に転送すると、パラメータデータのなめらかな最小２乗平均誤差推定値、換言す れば、パラメータデータの一時的または時間平均推定値が得られる。中心反射板 １２の勾配パターンは、他の４つの反射板１２の勾配パターンと直交する。カメ ラ１１は、様々な種類のカメラのうちの１つでよい。システム１０は、紫外線（ ＵＶ）（２５０〜４００ナノメートル（ｎｍ））に反応し、かつ標準的なＲＳ１ ７０表示出力を有する６０Ｈｚ非直交型ＣＣＤカメラに基づく。カメラ１１のシ リコンレンズの代わりに、ＵＶ検出用の石英レンズを使用する。テキサスインス ツルメンッ（ＴＩ）社製ＭＣ７８０ＰＨＵカメラが、システム１０の好ましいカ メラ１１である。ＭＣ７８０ＰＨＵカメラは、５００線×３５０線の解像度を有 する７５５×４８８活性フォトサイトを有する。メーカＴＩ社は、標準的なＣＣ Ｄガラス窓の代わりに、必要な紫外線感度が得られる石英（融解ＳｉＯ₂）窓を 使用した。ＴＩ社製カメラ１１は、ＴＩ社製ＴＣ２４５フレーム転送電荷結合イ メージセンサを使用した半導体モノクロームテレビジョンカメラである。ＭＣ７ ８０ＰＨＵカメラ１１は、２２０ｎｍにまで延びる２５％量子効率（ＱＥ）を有 する。ＴＩ社製カメラ１１も、３６５ｎｍで２５％ＱＥに定格されており、後者 の波長でも有用となっている。他の好ましい同様のカメラは、ＭＣ７８０ＰＨＵ と同じ性能を有するが寸法の小さい遠隔ヘッドＭＣ７８０ＰＨＲである。 光源１４は、システム１０用の紫外線照射を行う。２５４ｎｍ光源と３６５ｎ ｍ光源の両方について検査した。３６５ｎｍ光源は、波長の短い方の光源に勝る いくつかの利点を有する。３６５ｎｍ光源は、第１に、人間への作用（すなわち 、目および皮膚への照射）に対して実質上安全な波長を有し、第２に、レンズ設 計が実現しやすくかつ２５４ｎｍ光源用のレンズシステムよりも安価であるので 、光学系に対する要件が厳しくない。２５４ｎｍ波長システムには背景雑音が小 さいという利点があるが、実験では、３６５ｎｍ波長システムが示す追加の特性 に 対して信号対雑音比特性が最小になることが分かる。光源１４として最良の３６ ５ｎｍランプは、長さ２〜１．８インチ、外直径３／８インチ、重さ２オンスの 紫外線石英ペンシルランプである。このランプは、６インチで平方センチメート ル当たり１８０マイクロワットを照射し、モノクロームモニタ上のターゲットを 識別するのに十分な光を出す。代表的なランプは、５０００時間動作するように 規格されている。融解石英エンベロープは、分離スペクトル線が強くかつよく分 離されている、優れた紫外線伝送特性を有する。そのようなランプはまた、低温 燃焼である。 標準的な戦闘車両の乗務員（ＣＶＣ）の拡散正反射率を集積球形アタッチメン トを有するＣＡＲＹ分光光度計によって測定した。平均反射率は、紫外（２００ 〜４００ｎｍ）波長帯域で４．４％である。高度拡散反射板または反射率６０％ の再帰反射板では、信号対雑音比が６０／４．４すなわち１３．６になる。サブ ピクセルスポット位置推定装置２９のスポット位置決めアルゴリズムには信号対 雑音比１０で十分である。 次の表は、対角線８ｍｍ活性領域を有するＴＩ社製ＭＣ７８０ＰＨＵ（７５５ ×４８８）カメラ１１について、レンジ（Ｒ）（ｃｍ）、焦点距離（ｆＬ）（ｎ ｍ）、および視野角Ｔｈｅｒａ（度）の関数として計算したｆ数（ｆ対アパーチ ャ開口（ｍｍ））を示す。 ヘルメット１３の位置および配向を確立する胴体軸または座標系は、第４図に 示されるように、パイロットの首の付け根の肩の間の点１７にある。頭および首 は、１次の近似では、ピボットジョイント１７によって首の付け根の胴に取り付 けられた振り子２０と見なされる。第４図は、軌道ファイル計算に使用される頭 、首および胴の剛体構成図である。頭および首は剛体となるように推定されてい るので、胴体軸座標系の位置および視線（ＬＯＳ）配向が分かれば、ヘルメット １３に適用された薄膜スポット１２の座標および配向は一意に確定する。胴１８ の運動についての１次の近似は、胴１８がピボットジョイント１９によってヒッ プに取り付けられた剛体であり、かつシート安全抑制手段のためにヒップが車両 の座標枠に対して静止していると仮定した場合の近似である。カルマンフィルタ ／予測装置１５によって画像特徴位置測定値から軌道／配向を確立するのに使用 される振り子１８および２０の半径寸法は、平均的な人間の骨格寸法の表から得 られる。 男性の場合、ヒップから肩までの平均高さは５９センチメートルまたは１．９ ４フィートであり、ヒップから目の高さまでの平均高さは７９センチメートルま たは２．５９フィートである。ヘルメット１３は、それぞれ頭および首を表わす 第２の振り子２０の端部にその中心５５がある半径１５センチメートル（５．９ インチ）の球として近似する。 ヘッドトラッカボックス２６の構成を第５図に示す。寸法３４は１２インチで あり、寸法３６は６インチである。カメラ１１は、光軸４０が位置３２の点［０ ，０，０］^Tフィートと位置３８の点［０，０．２３，−０．５］^Tフィートと交 差するような位置にある。カメラ１１の俯角４４は−２５°である。 原点３２の車両の座標系（ｘ_r，ｙ_r，ｚ_r）に対する原点４３のカメラ１１の 座標系（ｘ_c，ｙ_c，ｚ_c）の相対位置を第６図に図式的に示す。第６図は、カメ ラ１１の公称結像構成を示す。紫外線カメラ１１は、第５図のヘッドトラッカボ ックス２６の中心３８を見るように配向されている。カメラ１１の座標系の原点 ４３は像面２８の中心にあり、ｘ_c軸とｚ_c軸は像面２８の直交エッジと直角をな し、ｙ_c軸は光軸４０に平行である。距離４１は焦点距離である。カメラ１１の 座標基準枠の原点４３は、基準座標系（ｘ_r，ｙ_r，ｚ_r）の原点３２からの距離 ４２のところにある。ただし、距離４２はユーザ指定パラメータである。距離６ ０は、原点３２と配置座４５の基準点３８との間の長さである。傾斜反射板１２ の各頂点に対する像の座標（ｘ_c，ｙ_c，ｚ_c）は、透視画像の方程式を使用して 計算する。 ｒ_i ^cの像のカメラ１１座標系のｚ座標、ｘ_cは３次元座標のカメラ１１座標系の ｘ座標、ｙ_cは３次元座標のカメラ１１座標系のｙ座標、ｚ_cは３次元座標のカメ ラ１１座標系のｚ座標、Ｆはカメラ１１の焦点距離、またベクトルの転置を添字 Ｔによって示す。 検出器アレイ４５の中心４３は、光軸４０像面２８と交差する位置と符号した ｘ方向およびｚ方向のアレイの中心にある。像面２８の検出器アレイのエッジは 、カメラ１１の座標（ｘ_c，ｙ_c，ｚ_c）と直角をなす。 第７図は、サブピクセルスポット位置推定アルゴリズム２９およびトラックポ イント３Ｄ位置およびヘルメット視線計算３３のブロック図である。推定装置２ ９の機能は、配置座４５の各スポット１２に個別に適用される。基線方法では、 勾配パターン１６の一意に識別可能な属性を使用して、伝統的重心推定方法で可 能なよりも高い精度および信頼性でそれらの位置を推定する。 第７図の特徴データ計算段３０に示される画像は、しきい演算段４６とエッジ 検出段４７の２つの一般的すなわち習慣的または伝統的特徴検出段によって特徴 （図像）データに変換される。しきい段４６の目的は、勾配パターンを背景雑音 から分離することおよび勾配パターン１６の隆起線の配向についての１次の推定 値を得ることである。演算４６は、各反射板１２からの場面の光強度の０．５パ ーセントを、画像のグレイスケール上の残りの９９．５パーセントの光を除く検 出レベルで識別する。キャニーエッジ演算装置４７（画像階調度の推定装置）を 使用して、各勾配パターン１６のルーフエッジ７６に対する急な直交エッジ７７ を検出する。以下の理由から、これらの段から得られる特徴の集合を使用して、 勾配パターン１６の画像を２値画像にマッピングし、かつこのようにして得られ た領域の重心を従来通り計算することによって可能であるよりも高い精度で、勾 配パターン１６の重心を計算することができる。結像システムはヘッドトラッカ ボックス２６全体が見えるように広い視野を有する必要があるので、透視画像の 効果により勾配パターン１６の画像が歪む。透視画像システムによって正方形領 域の画像を得た場合、その領域は、平行四辺形の形状に歪む。歪んだ勾配パター ンについての重心推定値は、ピクセルの量子化および雑音のために、真の重心を 推定することが保証されない。したがって、一意の信号対雑音比の高い勾配パタ ーン１６の属性を識別する他の方法が必要である。 画像を特徴に変換する次の段４８では、勾配パターン１６の２値化画像につい ての最小２乗直交距離メートル線の像面２８の配向を計算する。直交距離メート ルは、デジタル化または２値化画像の各量子化画像位置から、最小誤差線または 最小直交距離誤差線までの垂直距離と定義される。画像上のこの近似線８０は、 検出された反射板１２の位置および傾斜（すなわち配向）を与える。この線の傾 斜および基準座標は、２値化領域の散乱行列（勾配パターン１６のルーフエッジ または直交エッジの２値領域の空間分散の２乗誤差行列）を計算し、最大固有ベ クトル（行列の主成分分解に対する固有ベクトルの混合比）に対応する散乱行列 のその固有ベクトル（すなわち、行列の空間的領域または２値化領域の統計的挙 動を表わす数学用語）として線の配向を確立することによって決定される。 古典的関係式では（Ｍ−Ｉλ）ν＝０が成立する。だたし、Ｍは行列、Ｉは単 位行列、λは固有値、νは固有ベクトルである。線の基準座標は、常に２値化領 域の重心である。誘導された像面配向が位置（量子化画像領域のｘ座標およびｚ 座標）に対して不変であるので、傾斜反射板隆起線配向を推定するのにはこの方 法が使用される。一方、線形回帰によって計算した近似は使用されない。 特徴検出の次のステップ４９では、例えば、カニーエッジオペレータ４７によ って示される線の対７８および７９など、線のアレイのうちのどの線がルーフエ ッジ７６に直交する勾配パターン１６の急なエッジの平行な対であるのかを確立 する。 これらの線を識別するのに使用される判定基準は、真の平行からの角度オフセ ットに関する制約、ルーフエッジ７６となす直角からの角度オフセットのずれに 関する制約、および線の対の間の長さの差に関する制約である。境界エッジ７７ は、誤検出がなくなるように最大エッジ強度を有する。 次のステップ５０では、平行線の対を見つけることができるか判定する。対７ ８（対７９は誤検出であるので）など、適用した特定の制約に適合する平行線の 対が見つかった場合、ステップ５１で、ルーフエッジ近似線８０と線の対７８と の交点の位置を計算する。ルーフエッジ７６の近似線８０に沿った交点の中間の 像面として、勾配１６反射板１２の重心座標が得られる。 平行線の対が見つからない場合は、ステップ５２で、上で生成した勾配１６の 情報のデータを使用しない従来の計算技法を使用して、勾配パターン１６の２値 化成分の重心を使用する。 ステップ５３では、５つの勾配パターン１６の画像座標からアルゴリズムが使 用するピラミッド構成へのマッピングは、そのｘ座標が５つの座標のうちの最小 値である検出された勾配パターンについて、その勾配パターンの座標を走査する ことによって得られる。５つの勾配パターン構成は像面２８に対して０〜４５度 の角度で配向しなければならないので、左端に示される勾配パターン８１は、（ 第３図の）配置座４５の底面のコーナーポイントにある必要がある。このコーナ ーポイントを使用して現在の枠を前の枠に関連させて、画像２８のそれぞれの枠 の反射板１２（スポット）の位置を一致させる。第１のコーナーポイントから左 方向サーチを実行することによって、残りの３つのコーナーポイントを識別する 。コーナーポイントとして識別されない勾配パターンは、ピラミッドの頂点にあ る勾配パターン８２である。ピラミッドの勾配パターンは、勾配パターン１６に よって画定される。左端パターン８１として指定される特定の勾配パターン１６ は、別の枠内または時間における別の反射板１２であると考えられる。 ステップ３１では、ヘルメット１３の３次元座標および視線の計算に、ステッ プ５３からの情報およびソース５４からのパラメータを組み込む。推定したヘル メット１３の座標系変換およびＬＯＳは、各枠時間ごとに、浮動小数点数［ｘ_r ，ｙ_r，ｚ_r、プサイ、シータ、ファイ］の直列リストとして出力される。ただし 、ｒ＝［ｘ_r，ｙ_r，ｚ_r］、プサイ、シータ、ファイは、それぞれ基準座標枠系 に対する胴体座標系の基準座標枠の座標、すなわちヨー、ピッチ、およびロール を表わす。 単一の枠で誘導した位置および角度をろ過して、ランダムな測定誤差の影響を 小さくすると、カルマンフィルタ／予測装置１５によって表示枠間の位置および 角度を推測することができる。 これらの推測した量を使用して、見かけの出力データを表示速度６０Ｈｚから 約４００Ｈｚに増加させる。また、推測した量により、傾斜反射板１２の像面位 置を過去の表示枠に基づいて正確に予測でき、したがって画像処理能力要件が小 さくなる。 第８図は、本発明および対応するハードウェアに関連する本発明の装置を示す 。アイテム５６は、ＤＡＴＡＣＵＢＥ ＭＡＸＶＩＤＥＯ ２０である。機能４ ７は、ガウス窓平滑化装置６１、ソベルオペレータ６２、ヒストグラムしきい値 化装置６３、および特徴抽出装置６４を含む。ガウス窓平滑化装置は、画像をぶ れさせて雑音を除去する。ソベルオペレータはエッジ検出器であり、ヒストグラ ムしきい値化装置は画像のグレイレベルの全分布の９９．５パーセントを決定す る。ソベルオペレータ、ヒストグラムしきい値化装置および特徴抽出装置は、カ ニーエッジオペレータ８２を含む。機能４６はヒストグラムしきい値化装置を含 む。第８図にＡＰＡ５１２。（添字を使用して同じ種類の多数のボードを区別す る）で示されるアイテム５７は、スポット１２のルーフエッジを選出する特徴抽 出装置４８を含むＶｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｔｙ社製ＡＰＡ５１２である。特徴抽出装置６４は、アイテム６５、ＡＰＡ ５１２₁によって実施する。アイテム５７および６５の出力は、装置５７からの 情報から最小直交距離線係数を計算するブロック６６を含む装置５８に入る。機 能６７は、装置６５からの情報から最小直交距離線係数を計算する。特徴抽出装 置６４は反射板１２の直交エッジを与える。機能６６および６７は、特徴の２値 化領 域の画像座標をエッジ方程式または線表示に変換するか、または特徴を直線エッ ジ表示にマップする。機能６６および６７の出力はそれそれボアサイト計算部分 ５１および５２に入る。機能５１および５２は各スポット１２の中心の角度座標 を与える。ブロック５８は５つあり、各ブロックは別々のｉ８６０にマップされ る。ただし、個々のハードウェア構成部品は、反射板１２の配置座４５の５つの スポットについて、第８図の各スポットの処理を示す添字によって区別される。 出力は、ヘルメット１３の位置および配向およびヘルメットの視線を計算する機 能３３に入る。アイテム３３の合計出力は、カルマンフィルタ１５に進む。ブロ ック３３およびカルマンフィルタ１５は、専用ｉ８６０によって実施する。シス テム１０の出力は、射撃統制コンピュータまたは結像システムサーボに入力を与 えるカルマンフィルタ１５から得る。 第９図は、最小直交距離線係数６６、６７の計算およびボアサイト５１、５２ の計算を各スポット１２について同じハードウェアによって実施する点を除いて 第８図と同様である。また、ヘルメットの位置および視線を計算する機能３３、 およびカルマンフィルタ１５は、モトローラ社製単一ボード６８０３０コンピュ ータである装置ＭＶＭＥ１４７の部分６８上にある。 第１０図はカルマンフィルタ１５プロセスの機能流れ図である。トラックポイ ント３Ｄ位置およびヘルメットＬＯＳ３３からのトリガ信号６９は、ブロック７ ０でカルマンフィルタ１５を初期設定する。出力は、そのシステムの時間状態を 決定するか、又はブロック７２からの時間増分信号を受信する状態伝播ブロック ７１に進む。ブロック７１の出力は、新しい表示枠が存在するかどうかを決定す る決定記号７３に進む。ｎｏｔの場合およびブロック７２のｔがブロック７１へ ロック７１から出力される。答がｙｅｓの場合、信号は、測定処理ブロック７５ への出力を有する共分散伝播ブロック７４に進む。状態伝播ブロック７１は、カ 第１０図では、添字「ｋ」は表示枠の時間状態を示すものである。添字「ｋ｜ ｋ」は、現在測定の結果としての修正した推定値を示す。大文字は行列であり、 小文字はブロック７２のｔ’、上付き文字および下付き文字を除いてベクトルで ある。上付き文字「−１」は逆行列を示し、上付き文字「Ｔ」は転置行列を示す 。大文字Ｋはカルマンフィルタの利得係数である。記号「ｘ」または「ｙ」の上 のカラット「＾」は、ｘまたはｙが推定値であることを意味する。「Ｈ」は観測 行列である。下線付きの「ｘ」または「ｙ」は、その項が３Ｄ空間座標などの多 次元ベクトルであることを意味する。添字「ＨＩ」は高電圧レベルを意味し、「 ＬＯ」は低電圧レベルを意味する。 どのろ過用途でも、フィルタの帯域幅の選択は、ランダムな測定誤差が十分に 減衰しない過小なろ過と、推定した量に過度の遅延が生じる過大なろ過との兼ね 合いを表わす。カメラ１１のシステム１０の場合、フィルタ設計パラメータは、 ろ過された出力に導入される遅延が０．１秒未満となるように選択する。６つの 表示枠が０．１秒毎に収集されるとすると、枠毎にランダムに変動する測定誤差 ファクタだけ減少することである。枠ごとに相互に関連する誤差が受ける減衰は 小さくなる。以下の表は、非ろ過方法およびろ過方法についての頭部重心位置お よびオイラー角誤差（ｒｍｓ）を示す。 信号ろ過の２つの方法を評価した。これらの方法を「減結合」方法および「結 合」方法と呼ぶ。減結合方法では、６つの入力（ｘ、ｙ、ｚ位置および３つのオ イラー角、ロール、ピッチ、ヨー）のそれぞれについてランダム速度形式の２状 態カルマンフィルタ推定器を使用した。結合フィルタ方法では、アルゴリズムが 頭部の並進運動と回転運動の自然な結合を補償する。換言すれば、このモデルで は、並進運動の大部分が首の付け根を表わす点１７（第４図）のまわりの回転に 帰属する。このフィルタ設計を表わすのに使用される力学モデルは、プロセスモ デルおよび測定モデルである。カルマンフィルタ１５の基礎としてのプロセスモ デルでは、推定値の関数として新しいデータ（推定値）を規定して、Φを確立す る。カルマンフィルタ１５の基礎としての測定モデルでは、測定値の関数として 新しいデータ（推定値）を規定して、Ｈを確立する。以下はこれらのモデルの展 開式である。 プロセスモデル 測定モデル 状態ベクトルは、 ｘ_rは、基準座標または車両座標に対して測定した５つの傾斜反射板の構成の 基準点のｘ座標である。 ｙ_rは、基準座標に対して測定した基準点のｙ座標である。 ｚ_rは、基準座標に対して測定した基準点のｚ座標である。 φは、基準座標に対して測定した胴体座標系のロールである。 θは、基準座標に対して測定した胴体座標系のピッチである。 ψは、基準座標に対して測定した胴体座標系のヨーである。 ｖ_xは、首の付け根１７の速度のｘ成分である。 ｖ_yは、首の付け根１７の速度のｙ成分である。 ｖ_zは、首の付け根１７の速度のｚ成分である。 ｗφは、基準座標に対して測定した胴体座標系の角度ロール速度である。 ｗθは、基準座標に対して測定した胴体座標系の角度ピッチ速度である。 ｗψは、基準座標に対して測定した胴体座標系の角度ヨー速度である。 程式 により計算する。 共分散行列Ｐ_k+1は、共分散伝播方程式 Ｐ_k+1＝Φ_LOＰ_kΦ_LO ^T＋Ｑ により計算する。 ただし、 Δｔ＝Φ_LOに対して１／６０秒 Δｔ＝Φ_HIに対して１／４２０秒 Δｔ＝伝播時間ステップ ２つのフィルタ設計方法を評価するために、頭部下向き（計器のほうを向いて いる）と頭部上向き（外を向いている）との間の繰返し頭部遷移をシミュレート する試料軌道を使用する。期待検知誤差を真の軌道データに重畳して、ｙ位置お よびｚ位置およびオイラー角θの測定値を得た。フィルタ設計では、この入力デ ータを使用してこれら３つの量およびそれらの導関数を推定した。 以下の表は、結合フィルタ設計および減結合フィルタ設計により得た２乗平均 推定誤差の結果の概要を示す。結合フィルタ設計は、首の付け根（ピボット点１ ７）と頭部上の基準点３８との間の距離が既知であることに依存するので、真の レバーアームとフィルタの仮定値との間の不整合の感度についても調べた。また 、この表には、フィルタに入力として与えられる位置および角度の測定値に関す る１シグマ誤差が記載されている。この表のデータに基づいていくつかの観測を 行うことができる。第１に、結合フィルタは、特に並進速度推定値に関して、減 結合設計よりも実質上優れている。第２に、結合フィルタは、仮定した首の付け 根の基準点のレバーアーム２０の長さの誤差に対する感度がかなり高い。ただし 、仮定値と真値との間の不整合が２０パーセントであっても、性能は減結合設計 よりもかなり良かった。第３に、期待精度は、位置が０．５ｃｍ、角度が０．５ 度（１シグマ誤差）よりも良い。 以下の記述は、カルマンフィルタ１５用のプログラムである。パートＩは、プ ログラムデータ割振りまたは記憶の詳細を示す。いくつかの用語の例としては、 ｐｖ（ｎｓ）が状態ベクトル、ｐ（ｎｓ）がカルマンフィルタ状態の共分散の現 在推定値、ｑ（ｎｓ）が測定分散、ｈ（ｎｓ）が観測行列、ｒｍ（ｎｍ）が測定 する残りの推定値、およびｙｍ（ｎｍ）が実際の測定値である。パートＩＩは、 種々の値を挿入する雑多な初期設定である。パートＩＩＩでは、カルマンフィル タの入出インタフェースを準備する。パートＩＶでは、シミュレーション用のセ ンサのデータ値を得る。パートＶでは、プロセスの各状態の様々な時間定数に対 する値を得る。パートＶＩでは、カルマンフィルタの状態の初期設定および共分 散行列が明らかになる。プロセス雑音共分散行列を固定の伝播時間ステップに対 して設定し、不変要素を状態遷移行列に対して設定する。パートＶＩＩでは、カ ルマンフィルタ１５の初期状態を設定するために、雑音分散の初期推定を行う。 時間ループをパートＶＩＩＩで開始し、測定データ（ｙｍ）および真データ（ｘ ｔ）を測定する。システムがシミュレートデータモードである場合、シミュレー トした真データおよび測定データが発生する。システムがシミュレートデータモ ードでない場合は、実際のデータがこのパートで読まれる。パートＩＸでは、状 態伝播を扱い、新しい測定を行わずに前の情報に基づいて新しい状態を計算する 。パートＸでは、共分散伝播を準備する。パートＸＩでは、（表示速度での）測 定処理を扱い、センサデータとシステム状態の実際の推定値との間の依存度を確 立し、新しい観測行列を計算する。パートＸＩＩでは、予測した測定値の共分散 行列を示す。パートＸＩＩＩでは、すでに行った計算を出力アレイを介して転送 する。記号ｘｏｕｔは、予測した測定値であり、ヘルメット取付型反射板１２の 像面座標を予測するのに使用できる量である。ｘｏｕｔは、アレイｈｏｕｔの一 部である。ｈｘｏｕｔの他の要素は、真データ、真に対する誤差、およびプロセ ス雑音の推定値など、シミュレーションのみに関係する。 パートＸＩＶのサブパートでは、プログラムと呼ばれるサブルーチンを明らか にし、数学的方法を使用して雑音を生成する。サブパートＢは、正方行列に線ベ クトルまたはデータの直線連鎖を掛ける数学行列ユーティリティである他のサブ ルーチンである。サブパートＣは、行列を掛け合わせる数学行列ユーティリティ である。サブパートＤは、ある行列を転置し、次いでそれを他の行列と掛け合わ せるサブルーチンである。サブパートＥは、ベクトルの点乗積を得るサブルーチ ンである。 Ｉ．program htkf12 ＩＩ．雑多な初期設定 ＩＩＩ．ファイルＩ／Ｏ ＩＶ．シミュレートしたセンサデータパラメータ（ｘ／ｙ／ｚ／ファイ／シータ ／プサイのシヌソイド） （シミュレートしたランダム誤差１シグマ値ｃｍ、ラジアン） Ｖ．これらのプロセスおよび測定雑音の値では、１／６０秒毎に処理した測定値 に対して約０．０２秒の遅延が生じる。 これらのプロセスおよび測定雑音の値では、１／６０秒毎に処理した測定値に対 して約０．５秒の遅延が生じる。 これらのプロセスおよび測定雑音の値では、１／６０秒毎に処理した測定値に対 して約０．１秒の遅延が生じる。 ＶＩ．カルマンフィルタ状態ベクトル（ｘｖ）および共分散行列（ｐ）を初期設 定する。 固定の伝播時間ステップのプロセス雑音共分散行列（ｑ）を設定する。状態遷移 行列（高速度に対してファイ ｈｉ、表示枠速度に対してファイ ｌｏ）を規定 する。 ＶＩＩ．測定雑音の共分散 ＶＩＩＩ．開始時間ループ。読取り測定データ（ｙｍ）および真データ（ｘｔ） （シミュレートデータモードの場合、シミュレートした真データおよび測定デー タを発生させる） ＩＸ．状態伝播（高速；この場合は４２０Ｈｚ） Ｘ．共分散伝播（表示更新速度でのみ行う） （注。実時間アプリケーションを固定利得フィルタとして使用でき、スループッ ト要件が相当節約できる。実時間アプリケーションを使用しない場合は、次の２ つの改善点が考えられる。（１）ＵＤ機械化に変更して数値特性を改善できる。 （２）状態遷移行列のすべての希薄性を利用してスループット要件を小さくでき る。） ＸＩ．（表示速度での）測定処理 ＸＩＩ．予測測定値の共分散行列（ｐ ｏｕｔ＝ｃｃ^*ｐ^*ｃｃ’） ＸＩＩＩ．出力アレイ （ｘ ｏｕｔは予測測定値であり、ヘルメット取付型反射板の像面座標を予測す るのに使用できる量である。） ｘ ｏｕｔはアレイｈｘｏｕｔの一部である。ｈｘｏｕｔの他の要素は、実際に はシミュレーション（すなわち、真データ、真に対する誤差など）のみに関係す る。 ＸＩＶ． ｍｏｒｍ Ａ． function morm() この機能は、ＵＮＩＸ均一［０、１］乱数発生装置「ｒａｎｄ」を使用して、零 平均単位分散無相関ガウス乱数を発生する。 Ｂ． subroutine mvau Ｃ． subroutine mab Ｄ． subroutine mabt Ｅ． function dotuv

【手続補正書】特許法第１８４条の８ 【提出日】１９９５年１２月１日 【補正内容】 補正明細書 傾斜反射板位置検知システム 発明の背景 本発明は、ヘルメット取付型ディスプレイシステムに関し、特にヘルメットト ラッキングシステムまたはヘッドトラッキングシステムに関する。 ヘルメット取付型ディスプレイシステムでは、ジンバル式センサと兵器の両方 がパイロットの視線に追従しなければならない場合が多く、したがって正確なヘ ッドトラッキングが必要である。様々な種類の光ヘルメットトラッキングシステ ムおよび磁気ヘルメットトラッキングシステムがある。磁気トラッキングシステ ムは、現在最も正確かつ頑丈なシステムである。磁気ヘッドトラッカのいくつか の欠点は、飛行機の操縦室内の金属をマップする必要があること、および更新速 度が制限されることである。磁気ヘッドトラッキングシステムは、金属構造の量 が制限された領域内で動作する。そのようなシステムを戦闘用車両または戦車に 応用することは、戦車または戦闘用車両の金属構造により磁気ヘッドトラッカが 弱くなるので実現不可能である。さらに、閉込められた振動のある環境では、既 存の光学システムが戦闘用車両または戦車のヘッドトラッキング問題を解決でき ない。 関連技術には、１９９０年９月２６日付けの欧州特許文書０３８８６１８Ａ３ 号がある。この文書は、反射板を有する物体をその物体に向かって放出された放 射線により位置探査するシステムを開示している。物体上の反射板が放射線を反 射し、これをビデオオプチックセンサによって受信し、得られた信号を処理して 物体に関する位置情報を得る。 発明の分野 本発明は、傾斜反射板アレイ、剛体カルマンフィルタモーション予測アルゴリ ズムプロセッサ、および傾斜反射板アレイによって反射されたソース光を検知す る低コストカメラを組み込んだ高速ビデオメトリックヘッドトラッキングシステ ムである。 補正請求の範囲 １．光を放出する光源（１４）と、 前記光源（１４）からの光を反射する、ヘルメット（１３）上にある少なくと も３つの反射板（１２）の配置座（４５）と、 前記配置座（４５）から反射された光を検出するビデオカメラとを含むビデオ メトリックトラッキングシステム（１０）において、 前記カメラ（１１）からのビデオ信号を使用してプロセッサで実施し、前記配 置座（４５）の像面座標をピクセルの部分内に確立するサブピクセルスポット位 置推定アルゴリズムプロセッサ（２９）と、 前記サブピクセルスポット位置推定アルゴリズムプロセッサ（２９）によって 計算した像面座標を使用するヘルメット（１３）３次元（３Ｄ）位置および視線 （ＬＯＳ）計算アルゴリズムプロセッサ（３３）と、 前記３Ｄ位置およびＬＯＳ計算アルゴリズムプロセッサ（３３）に接続され、 前記配置座（４５）の位置をある程度の精度まで決定し、状態伝播によって実際 の測定速度よりも速い速度でヘルメット（１３）３Ｄ位置および本休座標ＬＯＳ を推定するプロセッサで実施されるフィルタ（１５）とを特徴とするシステム。

Claims (1)

1. 【特許請求の範囲】 １．紫外光を放出する紫外線光源と、 前記光源からの紫外光を反射する少なくとも１つの傾斜反射板と、 前記傾斜反射板から反射された紫外光を検出するカメラと、前記カメラに接続 された反射板位置推定装置と、 前記反射板位置推定装置に接続され、前記反射板位置推定装置からの信号を処 理し、前記傾斜反射板の位置を決定する剛体カルマンフィルタとを含む多帯域ビ デオメトリックトラッキングシステム。 ２．光を放出する光源と、 前記光源からの光を反射する、ヘルメット上にある少なくとも３つの共面傾斜 反射板と１つの非共面傾斜反射板の配置座と、 前記配置座から反射された光を検出するビデオカメラと、 前記カメラからのビデオ信号を使用して前記配置座の像面座標をピクセルの小 部分内に確立するプロセッサの形で実施したサブピクセルスポット位置推定アル ゴリズムプロセッサと、 前記サブピクセルスポット位置推定アルゴリズムプロセッサによって計算した 像面座標を使用するヘルメット３次元（３Ｄ）位置および視線（ＬＯＳ）計算ア ルゴリズムプロセッサと、 前記３Ｄ位置およびＬＯＳ計算アルゴリズムプロセッサに接続され、前記配置 座の位置をある程度の精度まで決定し、状態伝播によって実際の測定速度よりも 速い速度でヘルメット３Ｄ位置および胴体座標ＬＯＳを推定するプロセッサの形 で実施した剛体カルマンフィルタとを含む多帯域ビデオメトリックトラッキング システム。 ３．光源と、 前記光源の近くにある少なくとも１つの傾斜反射板と、 前記傾斜反射板の近くのカメラと、 前記カメラに接続されたサブピクセルスポット位置推定装置と、 前記サブピクセルスポット位置推定装置に接続されたトラックポイント３次元 位置およびヘルメット視線推定装置と、 前記トラックポイント３Ｄ位置およびヘルメット視線推定装置に接続された剛 体カルマンフィルタ予測装置とを含む多帯域高速ビデオメトリックヘルメットト ラッキングシステム。 ４．傾斜反射板の配置座を有するヘルメットと、 傾斜反射板の配置座に当てる光源と、 反射板の配置座の方向を向き、反射板の配置座によって反射された光のスポッ トを検知し、光のスポットに関する情報を有する画像を提供するカメラと、 光のスポットに関する情報を有する画像を受信し、光の各スポットに関する情 報を処理して画像のピクセル公差内の位置精度を有するスポット位置情報にする サブピクセルスポット位置推定装置とを含む多帯域ビデオメトリックトラッキン グシステムにおいて、 光の各スポットに関する情報を処理する機能が、 画像を第１の出力に第１のヒストグラムしきい値化する機能と、 画像を第２の出力にガウス窓平滑化する機能と、 第２の出力を第３の出力にソベル演算する機能と、 第３の出力を第４の出力に第２のヒストグラムしきい値化する機能と、 第１の出力を第５の出力に特徴抽出する第１の機能と、 第４の出力を第６の出力に特徴抽出する第２の機能と、 第５の出力から第７の出力までの第１の最小直交距離線係数を計算する機能と 、 第６の出力から第８の出力までの第２の最小直交距離線係数を計算する機能と 、 第７の出力および第８の出力を第９の出力までボアサイト計算する機能とを含 み、 システムがさらに、第９の出力からの情報を処理して第１０の出力にする３次 元位置および配向プロセッサと、 第１０の出力を処理してヘルメット座標およびヘルメット視線の推定値を有す る第１１の出力にする剛体カルマンフィルタとを含むシステム。