JP6585262B2 - カメラによる位置及び方向測定のためのシステム及び方法 - Google Patents

Description

本発明は、モバイルカメラ群及び取付済みの標的物群又は投影標的物群を用いた高精度且つ高更新レートでの対象物の位置及び方向の計測を可能とするシステム及び方法に関する。測定は屋内及び屋外で可能であり、多数の用途で使用できる。用途は、動作モードにおける動的状態、例えば静的、準静的、及び動的的状態によって分類される。さらに、本発明は、取付済みの標的物群の迅速且つ正確な測量（測量モード）並びに位置及び方向測定エンジン（ＰＯＭＥ）ヘッドアセンブリの内部及び外部校正（校正モード）を実行するための新規の手法に関する。

多くの実用的な用途において、対象物の位置及び方向（姿勢）を知ることが望まれている。多くの屋外用途の中でも、全地球的航法衛星システム（ＧＮＳＳ）を使用すると、最大２０Ｈｚまでの個別の更新レートで、位置の測定を約１センチの精度、方向の測定を分単位の精度で行うことができる。この技術は、農業、鉱山業、及び測量分野において、多くの応用例がある。残念なことに、屋内での使用が求められる場合又は多くの方向で衛星信号が妨げられている場所では、ＧＮＳＳをベースとした計測技術は使用できない。

レーザ測距計、方位角エンコーダ、及び仰角エンコーダを用いて対象物の位置及び方向を決定する他のシステムも知られている。レーザ測距計のレーザビーム又はオプションのポインタビ−ムは、対象物の中心に照射され、距離の測定値のサンプルが収集される。ビームの配向は、レーザ波長に感度を有し、レーザビームに揃えられた視野を有するテレスコープ又はカメラにより実行され、方位角及び仰角のサンプルが収集される。対象物の位置及び方向は、距離並びに方位角及び仰角から計算されるが、このシステムは非効率的である。

よって、対象物の姿勢を決定するための改良されたシステム及び方法が必要とされている。

所定の基準座標系に対する対象物の位置及び方向を決定するシステム及び方法を開示する。複数の標的物が、所定の基準座標系における既知の位置に配置され、複数のカメラを備えたヘッドアセンブリが対象物に配置される。ヘッドアセンブリは、複数のカメラからの画像データ及び複数の標的物と関連付けられた位置データに基づき対象物の位置及び方向を決定する。

最も基本的には、実施例において、位置及び方向測定エンジン（ＰＯＭＥ）システムは、標的物との角度を、カメラを用いて測定する。標的物の位置は計測範囲内の座標系（基準座標系）において知ることができる。標的物への角度が分かると、角度の交差地点によりカメラと同じ場所に位置する対象物の位置がわかる。レンズモデル、標的物の位置、及びカメラアセンブリの配置（標的物の角度）を用いることにより、計測空間で対象物の姿勢（ＰＯＭＥのヘッドアセンブリに於ける）を求めることができる。

以下でさらに述べる通り、各標的物のカメラ画像から、ｘ及びｙの画像面の測定値が得られる。姿勢の判定を最適化するには、３つの未知の位置と３つの未知の姿勢の推定を行うのが最も適している。そのため、少なくとも３つの標的物を用いてカメラの姿勢の６つの未知数を求める。

本発明のシステム及び方法では、標的物群が基準座標内の既知の位置に配置され、それら標的物群の画像が撮影画像内に表示される。そして、カメラの姿勢が基準座標上で計算される。上記の通り、入手可能な測定値は、各標的物の画像内でのｘ及びｙの位置である。下記でさらに述べる通り、計算は特定の標的物の画像（登録）の位置と明確に関連付けられている。

例えば計測精度、カメラのレンズ歪み等のため、最終的な計算結果にはシステムでの誤差を考慮に入れる。誤差率入力を含む誤差モデルを用いた重み付き最小２乗推定においては、これらの誤差を考慮に入れると、姿勢をより正確に判定することができる。

従って、以下でさらに述べる通り、実施例において、対象物の姿勢を求める計算には、画像面での標的物の画像の位置判定（重心判定）、どの標的物（登録）にどの画像が対応するかを特定、最小２乗法による姿勢の判定が含まれ、可能であれば以前に得られた知見又はＭＥＭｓ慣性センサ等の追加センサを対象とするフィルタリングが含まれる。

以下では、システムのさらなる詳細及び代替の実施例について述べる。

本願発明のシステム
システムのモバイル構成要素は、中央アセンブリに対して既知の形状で取り付けられる広角カメラ群から成る。その他にアセンブリは、慣性要素、レーザ測距要素、又は受光要素並びに電子部品、バッテリー、並びに姿勢をリアルタイムで判定するための計算ソフトウェア及びハードウェアも備えている。このアセンブリがＰＯＭＥヘッドアセンブリである。

システムの基盤要素は、設置済みの標的物群及び／又は投影標的物群から成る。標的物は、能動的標的物、受動的標的物、又は投影標的物の組み合わせでよく、所定の基準座標系に対する既知の位置において、内部表面に取り付けられるか、又は投影される。計測範囲の境界は、標的物が見え、所定の精度仕様を満たすことができる姿勢判定が可能な、３次元領域によって定められる。

標的物は、能動的標的物、受動的標的物、及び投影標的物に加え、例えば部屋又は空間の物理的フィーチャーであってもよい。よって、標的物は、部屋又は空間の自然なフィーチャーであって、内部表面に取り付ける必要も、投影する必要もない。さらに、標的物は部屋又は空間の物理的フィーチャーであるため、物理的フィーチャーの位置は既知であるか、容易に特定が可能と考えられる。例えば、部屋の天井の吸音タイルは、一般的に支持枠によって支えられる。各タイルを支持する枠ブロックの角が標的物になることもあり得る。これらの自然なフィーチャーは標的物となるだけでなく、その他の種類の標的物の位置及び測定の有効性の証明にも使用することができる。

システムの測量要素は、設置済みの標的物群及び／又は投影対象群の迅速且つ正確な測量を可能にするＰＯＭＥヘッドアセンブリと連動する回転機構から成る。この測量要素は、以下、測量補機と記す。

システムの校正要素は、迅速且つ正確な校正を可能にするＰＯＭＥヘッドアセンブリと連動する回転機構から成る。校正では、各カメラ及びレンズ（カメラ単位の内部校正）の内部投影モデルの推定が行われる。加えて、校正では、アセンブリ座標に対する各カメラ及びレーザ測距源の姿勢及び位置の推定が行われる（外部校正）。このアセンブリは、以下、校正用具とする。

本願発明の方法
操作方法には、ノイズ、干渉、及びマルチパスから標的物を識別、明確化するとともに、アセンブリ座標の姿勢として推定される測定値に基づき、カメラを使うためのリアルタイムの手順及びアルゴリズムが含まれる。微小電気機械システム（ＭＥＭｓ）システム及び光ダイオードからの測定値も使用してよい。アセンブリ座標の姿勢についての分散境界の推定も可能とする。

測量方法には、座標系における標的物の位置を判定し、その座標を構築対象の座標系に関連付けるカメラ測定値群及びレーザ測距値群を集計及び処理するための手順及びアルゴリズムが含まれる。標的物の位置についての分散境界の推定も可能とする。

校正手法には、各カメラ及びレンズのための内部投影モデル並びにアセンブリ座標に対するカメラ及びレーザ要素の位置決定及び方向パラメータを正確に判定するためのデータを保存及び処理するための手順とアルゴリズムが含まれる。さらに、校正手法は、これらのパラメータについての分散境界の推定を可能とする。

本発明の原理に基づく位置及び方向測定エンジン（ＰＯＭＥ）システムの３つの実施例を示す図である。 本発明のＰＯＭＥヘッドアセンブリの実施例を示す図である。 ＰＯＭＥヘッドアセンブリにおけるデータの流れを示す図である。 本発明の回転補機の実施例を示す図である。 本発明の測量補機の実施例を示す図である。 本発明の能動的標的物の実施例を示す図である。 ＰＯＭＥシステムの動作モードのための方法の実施例を示す図である。 ＰＯＭＥシステムの測量モードのための方法の実施例を示す図である。 測量モードでのデータ収集及び自動化を含めた、測量モードのための方法をさらに示す図である。 本発明のＰＯＭＥ校正用具の実施例を示す図である。 ＰＯＭＥヘッドアセンブリ校正のための方法の実施例を示す図である。

図１は、それぞれが基盤要素と同時に動作する、位置及び方向測定エンジン（以下ＰＯＭＥと称する）システムの３つの実施例を示す。計測範囲には、計測範囲の表面の様々な位置に取り付けた６つの標的物７００が存在する。計測範囲の基準座標系は、参照符号８００によって特定される。全標的物７００の位置が基準座標系８００において既知であり、この基準座標系に対する姿勢の計算が行われる。

図１の左側は、測量ポール２００に取り付けられたＰＯＭＥヘッドアセンブリ１００である。ここでは、測量ポールの姿勢をリアルタイムで追跡するＰＯＭＥシステムの動的モードでの動作を示す。作業員３００が作業空間で測量ポール２００を動かすと、ＰＯＭＥシステムは測量ポールの先端の位置を判定する。所望の地点に対する位置又は位置の誤差がモバイル表示器９００で作業員に表示される。

図１の中央は、モバイルロボット機器４００に装着されたＰＯＭＥヘッドアセンブリ１００である。モバイルロボット機器の例としては、ロボットフォークリフト又は掃除ロボットがある。ここでは、モバイルロボット機の姿勢をリアルタイムで追跡するＰＯＭＥシステムの動的モードでの動作を示す。

図１の右側は、ＰＯＭＥヘッドアセンブリ１００と、回転補機５００とを備えたアセンブリである。アセンブリは、測量用三脚６００に装着されている。図では、静的モードで動作するＰＯＭＥシステムを示す。静的モードで回転補機を使用すると、ＰＯＭＥヘッドを段階的に回転させながら各カメラの測定値を多く取得することで姿勢測定の精度を向上させる。

図１が示す各モードは、ＰＯＭＥシステムの動作モードとしてよい。

図２は、ＰＯＭＥヘッドアセンブリ１００の図である。アセンブリは、以下で説明するいくつかの要素が固定されたアセンブリ座標すなわちハウジング１１から成る。

１つまたは複数のカメラ／レンズ・アセンブリ１が備えられ、可視の標的物群を網羅する合成視野（ＦＯＶ）を形成するカメラ群が配置されている。合成視野は、どのカメラの視野よりも大きい。標的物が全方向に分散している多くの場合において、所望の合成ＦＯＶは、半球よりも大きい。１つの実施例では、３つのカメラを４面体配置にし、３つのカメラの主軸を正４面体の上向きの面に直交するように整列させる。この実施例では、上半球に空白ができないようにするため、各カメラのＦＯＶは１５０度以上でなければならない。その他の用途には、それに代わるカメラ配置が適用可能である。一般的に、視野が重複する際にはカメラの数を減らすことが望ましい。

各カメラ／レンズ・アセンブリは、撮像センサと、関連のデータデシメーション（間引き）用の電子部品５とを備える。視野の広さ及び高精度を実現するために、大型の撮像センサが用いられる。５百万ピクセル超の撮像センサが使用可能である。標的物の構成によっては、カラーのカメラを使用するか、モノクロのカメラを使用するかを選択してよい。好ましい実施例において、能動的標的物の波長はＩＲスペクトルに近く、モノクロカメラは帯域外干渉の影響を低減する光学フィルタを用いる。１０Ｈｚの更新レートを実現するため、カメラの露光時間の同期を最適に行い、全てのカメラからの画像データを同時に処理する。これは、高データレートは画像処理ハードウェア及びソフトウェアで対応しなければならないことを示唆している。能動的標的物が同期されていると、標的物の時間軸に対してさらにカメラの露光時間を同期を行うことが必要性になり得る。

ＰＯＭＥヘッドアセンブリ１００は、複数の光ダイオード２をさらに備える。各光ダイオードには、光ダイオードが受信する信号を増幅及び復調するための電子部品８が付属している。光ダイオードの目的は、アナログ復調により、複数の標的物のどの標的物の組が光ダイオードの視野内で見えるかを判定することである。上記の光ダイオードは、以下、本明細書でより詳細に説明する通り、姿勢の概定（大まかな判定）に用いられる。姿勢の概定は、デシメーションされたデータサンプルに基づく正確な姿勢の計算のための候補解群を絞り込むために用いられる。

ワイヤレス通信モジュール３、電力供給能力を有するバッテリー４、慣性センサパッケージ６、プログラム可能なマイクロコントローラ７、オプションの扇状ビームレーザモジュール９、オプションのポイントビームレーザ又はレーザ測距モジュール１０、ＵＳＢサムドライブ等の取り外しが可能な外部データ記憶装置１２がさらに備えられている。

校正後の安定性を確保するため、センサ要素はアセンブリ座標又はハウジング１１に堅固に固定される。ＰＯＭＥヘッドアセンブリ１００は、回転補機及び測量補機を含めた様々な付属品に装着することができる。

上記の通り、ＰＯＭＥヘッドアセンブリは、慣性測定センサを備える。好ましい実施例では、ＭＥＭｓをベースとする右手系で３組のジャイロスコープ及びＭＥＭｓをベースとする右手系で３組の加速度計が用いられる。慣性測定センサの目的は、以下、本明細書で説明する通り、光学測定値が入手不能又は無効な場合に短期間のデッドレコニング（推測）を実行することである。慣性測量センサは、動作モードの切り替えを有効にするために用いてもよい。例えば、ＰＯＭＥシステムを動的モードから静的モードに切り替えるために用いてもよい。

図３は、ＰＯＭＥヘッドのデータの流れ並びにセンサ要素からコンピュータ及び通信要素へのデータの流れを示す。好ましい実施例において、ハードウェアのトリガにより全てのカメラ１への露光が同期される。ハードウェアのトリガは、様々なソースから発生させることができる。例えば、マイクロコントローラのプログラム可能なタイマーを使用することができる。

プログラム可能なマイクロコントローラ７から各カメラに、コマンドデータ及び設定データが送信される。プログラム可能なマイクロコントローラ７から慣性センサパッケージ６に、及びプログラム可能なマイクロコントローラ７から扇状ビームレーザパッケージ９及び／又はラインレーザパッケージ１０にコマンドデータ及び設定データが送信される。

各カメラ／レンズ・アセンブリ１からの大量のデータサンプルはデータデシメーション電子部品５によるフィルタにかけられ、デシメーションされたデータサンプルはマイクロコントローラ７に入力される。入力は、ボード上の直列若しくは並列の通信チャンネル又はバスを介して送信される。

慣性センサ６からのデータサンプルは、通常はＵＳＢデータ通信チャンネルを介して、マイクロコントローラ７に入力される。

光ダイオード電子部品８からのデータサンプルは、通常はＵＳＢデータ通信チャンネルを介して、マイクロコントローラ７に入力される。

扇状ビームレーザパッケージ９及び／又はラインレーザパッケージ１０からのデータサンプルは、通常はＵＳＢデータ通信チャンネルを介して、マイクロコントローラ７に入力される。

マイクロコントローラ７は、双方向ワイヤレス通信モジュール３経由で外部と通信を行う。

マイクロコントローラ７は、ＵＳＢサムドライブ等の取り外し可能な外部データ記憶装置１２を用いてデータの記録／検索を行う。記録装置は、動作モードでは通常使用しない。後のパッチ処理のための測量及び校正プロセス中にセンサデータを保存するために用いる。

図４は、回転補機５００のアセンブリの構成の概略を示す。回転補機５００はＰＯＭＥヘッドアセンブリ１００に接続することができ、垂直回転軸でＰＯＭＥヘッドアセンブリ１００を段階的に回転させるように機能する。

静的動作モードにおいて、回転補機５００は、ＰＯＭＥヘッドアセンブリ１００が１回又は複数回完全に回転する間にカメラによる多数の個別の測定値を収集することで姿勢の判定精度を改善する。

校正中に回転補機は、ＰＯＭＥヘッドアセンブリを回転させ、ＰＯＭＥヘッドアセンブリの全カメラの画像面における多くの位置で既知の標的物群のサンプルを収集する。これらの両方において、精密なモータ制御は必要とされないものの、方位角の段階的増加を高精度で把握する必要がある。

回転補機５００は、設置機構５９を介してＰＯＭＥヘッドアセンブリ１００が取り付けられる回転盤５３から成る。回転盤５３は、角度エンコーダ５４を有するステッパモータの軸に取り付けられる。ステッパモータは、回転補機の基部に対して回転盤５３及び取付済みのＰＯＭＥヘッドアセンブリ１００を回転させることができる。高精度のモータ駆動は必要ないものの、角度エンコーダは、連続する方向ステーション間において角度Δψの段階的増加を１０秒角以上の精度で計測するに十分なものでなければならない。

角度エンコーダ５４を有するステッパモータは、ステッパモータの回転軸がローカル重力ベクトルと揃っていることを確認するために動作するセルフレベリングプラットフォーム５５に装着される。ステッパモータ及びレベリングプラットフォームは、プログラム可能なマイクロコントローラ５７によって制御される。

プログラム可能なマイクロコントローラ５７は、ワイヤレス通信モジュール５８経由で回転補機の外部にある第２のワイヤレス通信モジュールと通信することができる。

バッテリー５６は、回転補機の全構成要素に電力を供給することができる。

図５は、測量補機１０００のアセンブリの図を示す。測量補機１０００はＰＯＭＥヘッドアセンブリ１００に接続することができ、垂直回転軸の周りでＰＯＭＥヘッドアセンブリ１００を回転させるよう機能する。測量補機は回転補機５００と類似しており、コンピュータ制御の仰角プラットフォーム１０１４が追加されている。

測量補機１０００は、標的物の位置のデータベースを計算するに十分なデータサンプルを収集するため、測量モードでＰＯＭＥヘッドアセンブリ１００とともに用いられる。方位軸制御と仰角軸制御を組み合わせると、標的物を順番にレーザ測距計のスポットビームの標的とすることができる。標的物の位置特定は、ＦＯＶが狭い標的物フィードバックカメラ１０１１からの光学フィードバックを用いたコンピュータ制御による検索によって実現する。

測量補機は、設置機構１００９を介してＰＯＭＥヘッドアセンブリ１００が取り付けられる回転盤１００３から成る。回転盤１００３は、角度エンコーダ１００４を有するステッパモータの軸に取り付けられる。ステッパモータは、測量補機の基部に対して回転盤１００３及び取付済みのＰＯＭＥヘッドアセンブリ１００を回転させることができる。標的物フィードバックカメラ１０１１からのフィードバック制御を用いてレーザ測距計を標的物の中心に向けるためには、高精度のモータ駆動が必要である。方位角エンコーダは、出発点からの角度Δψの段階的増加を１０秒角以上の精度で計測するに十分なものでなければならない。

角度エンコーダ１００４を有するステッパモータは、ステッパモータの回転軸がローカル重力ベクトルと揃っていることを確認するために動作するセルフレベリングプラットフォーム１００５に装着される。

上記の測量補機の構成要素は、上記の回転アセンブリ５００の構成要素と同じでよい。下記の測量補機の構成要素は、測量補機として回転アセンブリ５００とともに使用してよい。

測量補機の仰角プラットフォーム１０１４は、回転プラッター１００３に対して水平軸の周りを回転することができる。方位角ステッパモータとともに仰角ステッパモータ及び角度エンコーダ１０１０を使用して、標的物フィードバックカメラ１０１１からのフィードバック制御により標的物の中心にレーザ測距計を向けることができる。１０秒角超の精度で水平面に対する仰角Θを測定するには、仰角エンコーダで十分である。

標的物フィードバックカメラ１０１１は、所望の標的物の周辺でレーザ測距計の照射箇所を観測することができる。標的物の中心から逸れた観測箇所で、レーザスポットを標的物の中心に正確に定めるためのフィードバック制御が可能である。標的物フィードバックカメラ１０１１からのデータサンプルは、マイクロコントローラ１００７への入力となる。

レーザ測距計１０１２からの測定データサンプルは、マイクロコントローラ１００７に入力される。

ステッパモータ及びレベリングプラットフォームは、レベリング、検索及びフィードバック標的判定、並びにレーザ測距といった機能を実現するためにプログラム可能なマイクロコントローラ１００７によって制御される。

プログラム可能なマイクロコントローラ１００７は、ワイヤレス通信モジュール１００８経由で回転補機の外部の第２のワイヤレス通信モジュールと通信する。

バッテリー１００６は、測量補機の全ての構成要素に電力を供給することができる。

図６は、能動的標的物７００Ａのアセンブリの概略模式図である。アセンブリは、下記の通り、数個の構成要素に固定された回路板から成る。

能動的標的物はＬＥＤ７０１Ａを備える。ＬＥＤの活性領域が１ｍｍ^２以下で、放射電力が軸方向に対象且つ一様な仰角の関数であることが理想的である。

ＬＥＤ７０１Ａは、反射環状部７０２Ａに囲まれており、その機能はレーザ照射の集光及び範囲を定めることである。

物理的フィーチャーを指定するために用いる隅部は、可視の矢印７０３Ａで印されている。

標的物識別シンボル７０４Ａは機械可読で、７０４Ａに対応する標的物識別シンボル７０５Ａは人間可読である。

さらに、対象識別において、各標的物はオンラインの標的物データベースとともに用いられ、以下でさらに述べる通り、標的物の位置に関連する全ての情報が得られる固有の識別記号を有する。標的物に位置情報を保存する必要はなく、むしろアクセスが可能な標的物のデータベースに保存される。

固有の識別記号は、標的物固有の内部識別記号（ＴＩＵＩ）と標的物外部識別記号（ＴＥＩ）の組み合わせとすることができる。ＴＥＩは、それに限定されることなく、標的物の位置の概略的なＧＰＳ座標であり得る。そうなると、ＴＩＵＩの範囲は限定される。概略的なＧＰＳ座標の精度が１キロで、１キロ半径内に標的物が１０００個未満とすることができれば、必要となるのは１０ビットのアドレスのみである。余裕をもって、ＴＥＩには１２ビットのアドレスが割り当てられている。

さらに、標的物種別識別記号（ＴＴＩ）を割り当てることで、能動的壁標的物、電動工具に取り付ける可動標的物、ＥＤＭ内蔵の標的物等の異なる種別の標的物を判別することができる。少なくとも１６の異なるＴＴＩに４ビットのアドレスが割り当てられるため、固有の識別記号であるＴＩＵＩには合計１６ビットが割り当てることができる。

標的物の電子部品に電力を供給するに十分な交換、再充電、又は使い捨てが可能なバッテリー７０６Ａが備えられている。

標的物変調用電子部品７０７Ａが備えられ、電力水準、標的物のコード／電磁周波数／デューティーサイクル等はスイッチ又は同等の手段によって手動で設定が可能である。

取付機構７０８Ａは、標的物の取り付けのために備えられている。この取り付けは、例えば、接着剤、磁石、吸引等の機構の何れか１つ又は組み合わせで行われる。

オプションのワイヤレス通信モジュールを有するマイクロコントローラ７０９Ａが備えられる。マイクロコントローラ及び通信要素は、標的物の動的ネットワークとともに使用される。マイクロコントローラは、コマンド又は作業空間の活動の有無に応じて標的物のスイッチの開閉に用いることもできる。

ポート７１０Ａは、外部電源供給のために備えられている。ポート７１０Ａは、バッテリー無しでの継続動作又は充電バッテリーを充電するために用いることができる。

本発明のシステムの実施例では、所定の周波数でのオン−オフシーケンス及びデューティーサイクル又は時系列で、複数の能動的標的物がそれぞれ変調される。変調の目的は、かかる複数の標的物から各標的物を一義的に識別することである。各能動的標的物の電力、デューティーサイクル、又は時系列は、ワイヤレス通信チャンネルのコマンドに応じて大きく変化させることができる。

全標的物の変調シーケンスは、全標的物の時系列が既知の位相でお互いが揃うように時間同期してもよい。好ましい実施例において、全標的物の時間同期は、各標的物がその場のＡＣ配電網の位相を感知することで実現する。

実施例では、能動的標的物のネットワークと複数のカメラの時間同期が行われる。

さらに同期に関連して、能動的標的物の屋内の位置の特定では、上記の通り、カメラが撮像した画像を処理することにより姿勢の計算が行われる。これらの時系列の画像が得られると仮定する場合、能動的標的物は、干渉及びマルチパスの影響下にある場合及びその他の情報がない場合の姿勢の計算を支援するよう構成される。画像内にある領域があるとすれば、その領域が能動的標的物の画像であるか、標的物以外の物であるかが判断される。例えば、画像内の明るい小領域は、標的物であることもあれば、車両のウインドスクリーンからの窓越しの太陽光の反射でもあり得る。これらのプロセスは、干渉検出及び干渉除去という。

画像内に能動的標的物と判定される領域があるとすれば、この画像領域が既知の標的物（の候補）群のどの能動的標的物を示すかが判定される。このプロセスは、標的物登録という。

さらに、画像内の領域が特定の標的物と判定された場合は、画像が標的物への直接的な光学視線であるか、光学面の何らかのシーケンスから判定された標的物の反射であるかがさらに判定される。これらのプロセスをマルチパス検出及びマルチパス除去という。

これらの判定及びプロセスを支援するため、上記の通り標的物は変調されるが、さらに下記の通りさらなる変調が行われる。

例えば、標的物の輝度が継時的に知られた通りに変化することが分かっていると、この知見を利用して太陽光のきらめきを標的物として考慮することから排除することができる。この簡単な変調手順により、干渉検出及び除去が行われる。別の簡単な変調手法では、標的物から発信される色が経時的に変化する。

各標的物が特定且つ固有の時間の関数としてその輝度又は色を変化させることがさらに分かっている場合、この知見により各標的物を判別（明確化する）することができる。

特定の標的物へのマッピングとして画像内で領域を判定することは、またマルチパス検出の支援にもつながる。固有の時刻署名を確認して画像内の複数の領域が標的物と判定されると、かかる領域は全て、直接の標的物の画像と見做すのではなく、むしろ潜在的なマルチパスと見做さなければならない。この場合、追加情報、継続のための条件、又は組み合わせによるアプローチをマルチパスの除去に使用することができる。

能動的標的物については、上述の通り、本発明の原則に基づき様々な変調アプローチが考えられる。上記の通り、簡単な変調手順は、特定の時間周波数及びデューティーサイクルのオン／オフである。もう一つの簡単な時間変調手順は、特定の時間周波数における振幅変調である。振幅変調では、輝度が継時的に変化するが、標的物はオンの状態が継続する。さらにもう一つの手順は、色（光学周波数）を変化させる手順である。またさらにもう一つの手順は、時間周波数のシーケンス又は上記の手法の組み合わせである。

「高周波標的物変調」の定義は、カメラのフレームレートを超える周波数で標的物の変調を実行することである。この場合、カメラを標的物の変調の変化の観察に使用することはできない。例えば、数個の標的物の経時的変調の周波数が１ｋＨｚの場合、フレームレートが約１０Ｈｚで動作中のカメラは標的物を判別できない。この場合、上記の通り、位置感応性検出器（ＰＳＤ）又は光ダイオード等の追加のセンサを用いると、アナログ信号処理による標的物の明確化が可能となる。

「低周波標的物変調」の定義は、カメラのフレームレート以下の周波数で標的物の変調を実行することである。この場合、カメラの画像を標的物の変調の観察に直接使用することができる。

よって、以下では「低周波標的物変調」について述べる。

所与の基底周波数において複数の標的物のそれぞれが固有の色と振幅（出力）の時系列により変調される場合における、複数の標的物について考察する。ここで基底周波数は「低周波数標的物変調」の定義により制限されている。この色及び振幅の「シンボル」のシーケンスが継続的に繰り返され、各サイクルに可能であればプリアンブル又はパリティチェックが含まれる。

予め定義付けられた色及び振幅の「シンボル」の時系列を固有のコードと定義する。

固有のコードの数は繰り返し前のコードシーケンスの長さと定義する。

姿勢の判定において、判別（明確化）することができる標的物の数と判別プロセスを完了するために必要な画像数との間にトレードオフの関係がある。カメラのフレームレートを増やすと、所与のコード長に必要となる時間の長さが減少する。

関連事項としては、カメラの露光時間間隔と標的物のシンボルの位相とを合わせることがある。

実施例において、前述した及び図３が示す通り、ハードウェアの信号又はトリガによって全カメラの同期が図られる。これによって、全カメラからの画像が時間的に一致する。

実施例では、ネットワーク内の全標的物からのコードのシンボルの位相が時間的に一致するように、全標的物がお互いに同期される。さらなる改良発展形としては（全標的物が同じ長さのコードを用いると仮定して）、ネットワーク内の全標的物からのコード繰り返し周期の開始の時間的な一致が図られていることである。この改良により、全標的物がぞれぞれのコードシーケンスを完了することを待たなくても、ある標的物を観察してその他の全ての標的物のコード位相を想定することができるようになる。また、これにより、判別プロセスの完了にかかる合計時間の短縮につながる。ＧＰＳコードの位相と異なり、「時間の飛躍」による時間の遅れはこの手法において重要ではない。

上記の目的のため、対象物の同期には、カメラのフレームレートに関連付けられた期間のたかだか約１０％程度になるようにシンボルの位相の一致が行われることが必要である。この精度水準は、下記のいくつかの手段によって容易に実現することができる。

最後の関連事項は、カメラの露光時間間隔の同期及び標的物のネットワークのシンボルの位相である。例えば、カメラの時間軸が標的物の時間軸に対してずれることがあれば、後々カメラの露光時間が標的物のシンボルの遷移時間を超えてしまうことが起こりうる。この問題を回避するために、前述の通り、カメラの露光時間の時間軸を標的物のネットワークの時間軸と合わせることができる。

第１の実施例において、カメラ及び／又は標的物のネットワークの同期は、各標的物により電力供給のグリッド偏差の位相を観察することにより実現される。

第２の実施例において、カメラ及び／又は標的物のネットワークの同期は、各標的物により間欠光パルス又は無線周波数パルスを観察することにより実現される。

第３の実施例において、カメラ及び／又は標的物のネットワークの同期は、各標的物により有線又はワイヤレスの同期サーバからのタイミングパケット又は同期パケットを受信することにより実現される。

さらに標的物は、前記の通り、標的物の投影画像としてもよい。好ましい実施例において、標的物の投影画像は、例えば、ローカル重力ベクトルと揃うか、直交することが知られている投影レーザ平面に配置された、レーザドット又はラインである。

図７は、ＰＯＭＥシステムの動作モードのための方法１１００を示す。図は、センサ及び施設基盤／校正入力からのデータの流れ、及びこれらをどのように処理してアルゴリズム、ハードウェアモジュール、及びソフトウェアモジュールによりリアルタイムで姿勢を推定するかを示す。

ＰＯＭＥヘッドアセンブリのみに関連付けられたデータの流れについて最初に説明する。続いて、静的モードでの回転補機のオプション追加について述べる。

リアルタイムの信号に加え、ＰＯＭＥヘッドアセンブリ及び施設基盤設備に特有な追加情報源が４つ存在する。これらについて以下で述べる。

（１）標的物の位置データベース
前述の通り、標的物の位置データベースは、計測範囲に存在する標的物及び各標的物と関連付けられた属性データの計測範囲別のリストである。標的物の位置データベースは、静的でも、ワイヤレス通信によりリアルタイムで更新が可能でもよい。標的物の属性リストでは以下を対象とするが、以下に限定されない。
（ａ）標的物の種別を表示：能動的、受動的、又は投影；
（ｂ）有効、無効、又はバッテリーの状態；
（ｃ）動的又は非動的；
（ｄ）ＩＲ及び可視スペクトル波長を含む光送信波長；
（ｅ）デューティーサイクル、変調周波数、変調コード識別記号、同期の種類及び状態等の変調の種別及び識別記号；
（ｆ）計測空間の基準点を識別する場合はブーリアン；
（ｇ）所定の座標における標的物の位置座標
（ｈ）所定の座標における標的物の位置の不確定性（共分散）；
（ｉ）人間可読及び／又は機械可読の標的物の識別記号

（２）カメラ／レンズ点像分布関数（Ｐ．Ｓ．Ｆ．）校正
カメラ／レンズ単位のＰ．Ｓ．Ｆ．校正は、画像面の全ての位置でのインパルス応答の形状に係る校正手順に基づくデータである。このデータは、重心決定アルゴリズムで使用される。

（３）レンズ歪み補正
カメラ／レンズ単位のレンズ歪み補正は、画像面座標の２次元誤差関数と校正工程で用いられる理想的数学モデルのパラメータの組み合わせである。これらのデータは、校正手順の出力データである。２次元関数を用いて、画像面の位置を数学的に理想的なモデルの位置に修正する。これらのデータは、画像面の位置をカメラに対する光線角度に変換するために必要となる。

（４）外部校正
外部校正はＰＯＭＥヘッドアセンブリを対象に実行され、ＰＯＭＥアセンブリ座標に各センサの位置及び姿勢を関連付ける。これらのデータは校正手順の出力データであるとともに、Ｗ．Ｌ．Ｓ．による姿勢の推定に必要な入力データである。

動作モードと関連付けられたデータの流れに関する説明に続いて、姿勢の概定値の推定がプロセス工程１１０１で説明されている。能動的標的物の信号は光ダイオードに感知され、光ダイオードの電子部品を用いて光ダイオードの視野内の全標的物からの信号を復調する。これによってマイクロコントローラは、整列された光ダイオードの各々によって観察される、能動的標的物群の中の標的物を決定することができる。ＰＯＭＥアセンブリ座標に対する既知の光ダイオードの視野、各光ダイオードの概定角度分解能、及び標的物のデータベースと組み合わせることにより、上記の情報は、ＰＯＭＥヘッドアセンブリの位置及び方向（姿勢）の概定値の計算に用いることができる。

デシメーションフィルタプロセス工程１１０２
各カメラで、データレートは、（ピクセル数）×（フレーム数／秒）×（ビット数／ピクセル）で与えられる。例えば、１０Ｈｚ及び１ピクセル当たり１６ビットで動作する５メガピクセルのカメラは、カメラ当たり毎秒８００万ビットとなる。このデータでは、標的物の周辺の関心領域（ＲＯＩ）が占める割合は一般的に全体の５％未満である。余分なデータ、不要なデータ、又は破損したデータを削除するために、デシメーション（間引き）フィルタが用いられる。好ましい実施例において、デシメーションフィルタはＦＰＧＡ等のハードウェアに実装される。図２がさらに示す通り、ＰＯＭＥヘッドアセンブリ１００のデータデシメーション用の電子部品５にデシメーションフィルタが実装される。生のピクセル強度サンプル又は空間フィルタをかけた強度サンプルが閾値と比較される。閾値は、画像面の位置の関数でもよく、またコンピュータの制御下で動的に変化させてもよい。閾値を超えた場合、画像面の位置の関心領域は、画像面の原点に対するＲＯＩのオフセット量とともに抽出される。それ以外のピクセルデータは全て削除される。デシメーションフィルタは、後の計算工程において処理が必要となるデータ量を大幅に減少させる。デシメーションフィルタから出力されるのは、関心領域群及びそのそれぞれのオフセットデータである。このデシメーションデータはヘッドアセンブリ１００のマイクロコントローラ７にパスされ、その後のプロセス工程はソフトウェアに実装される。

登録プロセス工程１１０３
関心領域が統合され、各領域に画像空間ブロブ（デシメーションフィルターの出力）が含まれるとすると、関心領域の画像空間ブロブ群をブロブのエネルギー源である標的物群と関連付けるプロセスが登録である。上記の通り、標的物の反射ではない干渉源及び内部表面からの標的物の反射を検出及び削除することも必要である。姿勢の概定及び標的物の位置データベースを用いて、登録候補群に形状に関する制限を加える。標的物の識別記号と画像空間ブロブとの関連付けには不確実性が残る場合もある。この場合、少数の候補の関連付けをＷ．Ｌ．Ｓ．姿勢推定及び選択された最小の余剰候補に基づき検証する必要があるかもしれない。以下でさらに述べる通り、この選択プロセスの可能性は、Ｗ．Ｌ．Ｓ．姿勢推定工程後のフィードバックループ「余剰はＯＫ？」により示唆される。登録プロセスの出力は、位置が既知の標的物と関連付けられている画像空間ブロブ群である。複数のカメラから見える標的物もあれば、どのカメラからも見えない標的物もある。

重心決定プロセス工程１１０４
関心領域にブロブがあれば、ブロブの重心の画像面座標が決定される。ブロブの形状は、画像面の位置の関数であり、一般的に非凹状及び非対称である。点像分布関数（Ｐ．Ｓ．Ｆ．）による校正は、画像面の全位置を対象とする校正プロセスの間に記録されたブロブの形状群である。この記録されたデータは、重心決定プロセスで用いられる。好ましい実施例において、このプロセスでは画像面の局所特性に基づく基準ブロブとデータブロブとの最小２乗フィッティングが行われる。重心決定プロセスの出力は、ピクセル単位の画像面ｘの位置のベクトル及び画像面ｙの位置のベクトルである。さらに、標準偏差値σの１シグマのベクトルも生成される。標準偏差ベクトルは誤差モデルによって決まり、誤差モデルのパラメータは校正プロセスで決定される。各測定において、標準偏差は観測された信号水準、飽和状態の有無、標的物への距離と角度、及び画像面でのブロブの位置によって決定される。

レンズ歪み補正プロセス工程１１０５
レンズ歪み補正では、カメラ／レンズ単位の２次元歪み補正関数を用いて、決定された重心の位置を補正する。２次元歪み補正関数は、校正プロセス中に生成される。補正された重心の位置は、理想的な投影モデルとともに用いられ、標的物群の共線性比を示唆する。レンズ歪み補正プロセスの出力は、共線性比群であり、この共線性比群はそれぞれが標的物の識別記号及び各測定で１つ割り当てられる標準偏差値σのベクトルと関連付けられている。各カメラは、内部で測定された気温を出力することができる。これによって、２次元歪みレンズ補正関数を校正中に気温が一定のいくつかの箇所で記録することができる。好ましい実装例において、動作中に用いられる２次元レンズ歪み補正関数の値は、カメラの測定温度を網羅する校正テーブルに基づく補間値である。

加重最小二乗法による姿勢推定プロセス工程１１０６
姿勢推定工程のための入力としては、全登録標的物についての標的物の位置データベース、外部校正データ、姿勢の概定又はカルマンフィルタ姿勢推定、並びに共線性比及び標準偏差値がある。データ処理では、非線形加重最小二乗法（Ｗ．Ｌ．Ｓ．）による最適化により、所定の基準座標内のアセンブリ座標の姿勢の６つのパラメータ及びこれらのパラメータの推定の分散境界を特定する。姿勢及び分散の推定に加え、測定データと姿勢推定がどれだけ一致しているかを示す余剰ベクトルの計算が実行される。結果は、カメラデータが得られたカメラの露光時間の中間点にタイムスタンプで付される。発散、単一性、又は間違った結果への終息といったアルゴリズムの問題が可能性として考えられる。このような理由から、カルマンフィルタによる姿勢推定又は姿勢概定プロセスからの初期値を用いて、Ｗ．Ｌ．Ｓ．による推定校正を開始してよい。好ましい実装例において、動作中に用いられる外部校正データの値は、ＰＯＭＥヘッドアセンブリの測定温度を網羅する範囲の気温で取得した外部校正結果からの補間値である。

登録候補反復
登録工程で標的物が不正確に登録されると、その検出は、Ｗ．Ｌ．Ｓ．推定工程後に余剰ベクトルを検証し、Ｗ．Ｌ．Ｓ．の結果と姿勢の概定及び／又はカルマンフィルタの状態を比較することにより行われ得る。無効と判定された場合、ループ１１０７の「余剰はＯＫ？」が示唆する通りに他の登録候補の処理を実行することができる。最適の候補を選ぶことができるが、全ての候補が不適である場合、プロセスを中止することができる。

カルマンフィルタプロセス工程１１０８
カルマンフィルタ（ＫＦ）は、様々な測定値からのデータを統合するための周知のアルゴリズムであるが、タイムスタンプが揃わない可能性があるうえ、測定が変動し不確実である。一般的にＫＦは、時刻更新（Ｔ．Ｕ．）シーケンス及び測定更新（Ｍ．Ｕ．）工程として実装されている。好ましい実装例では、慣性パッケージ（工程１１０９）からの高データレートでの測定値がＴ．Ｕ．シーケンスで用いられ、姿勢の推定を経時的に伝播させるとともに、この伝播期間において姿勢の共分散を増加させる。Ｗ．Ｌ．Ｓ．姿勢推定から有効な結果が得られた場合は、Ｗ．Ｌ．Ｓ．姿勢推定による低レートの結果はＭ．Ｕ．工程で用いられ、ＫＦの状態を向上させるとともに、姿勢特定の不確実性を低減する。

動的的動作中には、カメラの測定値が一定期間ブロックされる可能性又は角速度が大きくなりすぎてカメラの測定値を用いることができない可能性がある。かかる期間中にＫＦの向きの状態の伝播が数分間有効であり得るのは、その前の期間中にジャイロバイアスが校正された場合である。かかる期間中には、加速度計の測定値の誤差の二重積分により、ＫＦの位置状況の伝播がほんの数秒発散する（無効になる）。かかる期間後にシステムを再初期化するために、光ダイオードのサンプルに基づく姿勢の概定とＫＦの向きの状態を組み合わせて信頼性の高い瞬時の登録を実現することが可能となる。

本発明の原則及び実施例では、Ｗ．Ｌ．Ｓ．姿勢推定工程の完了をもって対象物の姿勢が決定される。しかし、上記の通り、この姿勢推定は、動的的モード等で座標が移動する場合には不正確になることがある。このような状況下では、上述の通り、カルマンフィルタプロセス工程を用いて対象物の姿勢をさらに計算してよい。従って、「リアルタイム」の姿勢は、ＰＯＭＥヘッドアセンブリの動的的状態に基づく姿勢の伝播、即ちデッドレコニングにより動的的モードでさらに計算することができる。

さらに動作モードにおいて、デシメーションフィルタ並びに回転補機、ＭＥＭｓ、及び光ダイオードのハードウェア構成要素の機能以外の図７が示す機能は、ＰＯＭＥヘッドアセンブリ１００のマイクロコントローラ７により実行される。マイクロコントローラは、ＰＯＭＥヘッドアセンブリの計算機能を実行するようプログラムすることができる。

静的モード。上記の通り、静的モードでは、可動範囲の位置でＰＯＭＥヘッドアセンブリが回転補機に取り付けられている。慣性測定値及びカメラ測定値は、ＰＯＭＥヘッドアセンブリが固定状態にあることを判定するために用いることができる。自動モードの選択及び変更も可能である。回転補機は、方位角が段階的に増加するようにＰＯＭＥヘッドアセンブリを垂直軸の周りを回転させるために用いられる。非限定的な例として、角度が毎秒５度増加する回転は妥当と思われる。段階的な回転の間の静止期間は、視野にある全標的物からカメラデータを取得することができる。すでに詳述した通り、これらのカメラデータはＷ．Ｌ．Ｓ．姿勢測定値の生成に用いることができる。ＫＦは、Ｗ．Ｌ．Ｓ．姿勢測定値だけでなく、回転補機から得られる回転による方位角の増加に基づいて更新することができる（図７の工程１１１０）。非限定的な例としては、回転による方位角の増加であるΔψが１秒間隔でＫＦに取り込まれる。

図８は、ＰＯＭＥシステムの測量モードのための手法を示す。測量モードでは、標的物群が座標での測量へと取り込まれる。以下でさらに述べる通り、ＰＯＭＥヘッドアセンブリからの対象画像の測定値群は、標的物への正確なレーザ測距により増強される。よって、これらの測定値は、全体として標的物の位置群の計算を高精度で行うに十分である。

図８は、センサ及び校正入力からのデータの流れ並びにこれらをどのように処理して標的物の位置データベースを処理後のバッチ工程において構築するかを示す。バッチ処理では、ＰＯＭＥヘッドアセンブリ及び測量補機の両方のセンサからディスクに保存されたデータを用いるうえ、ＰＯＭＥヘッドアセンブリ及び測量補機のアセンブリを複数の異なる形態で配置が可能な状況において該データを用いる。

測量モードの実施例においては、ＰＯＭＥヘッドアセンブリから複数の標的物又は基準点が見える位置で、ユーザがＰＯＭＥヘッドアセンブリと測量補機（測量アセンブリ）を作業空間に置く。目的は、測量補機のレーザ測距要素を用いて、全標的物のカメラ測定値並びに全標的物及び基準点までの距離の測定値を収集することである。測量アセンブリを複数の位置に移動させて全標的物及び基準点のサンプルが収集されたことを確認する必要性もあり得る。このような必要性が生じるのは、作業空間が不規則な形状又は視線の妨げになるものが多い場合である。

レーザ測距を行うには、レーザの光学軸を測定の対象となる標的物又は基準点の中心と整列させる（揃える）ことが必要である。整列工程は、レーザビームと整列されるとともに、レーザ波長に高感度の狭い視野を有する標的物フィードバックカメラにより効率よく実行される。レーザスポットの視程は、各標的物の中心の周りの反射リングによっても向上される。対象設定機能は、手動で実行することも、又はコンピュータ制御により自動化することもできる。レーザ測距に加え、角度エンコーダからの方位角及び仰角が記録される。方位角の測定は、未知の出発点に対して行われる。仰角の測定は、水平面に対して行われる。データ収集中は、セルフレベリング機能により、垂直回転軸がローカル重力ベクトルと整列させられる。ＰＯＭヘッドアセンブリからの加速度計データは、局所水準の判定又は加速度計のバイアスを推定するために保存してもよい。

図８は、様々なアルゴリズム、ハードウェア、及びソフトウェアを通じたカメラ、レーザ測距、及びエンコーダのデータの処理を示す。カメラ及びデシメーションフィルタ１２０２のブロックは、動作モードについて記載されたブロックと同一である。登録プロセス１２０３の相違点は、標的物の位置データベースがないにもかかわらず、整列された光ダイオードからの標的物の復調信号を用いると標的物の全般的な方向の判定及び識別が可能になることである。

再度、登録プロセスの出力は、標的物のブロブと標的物の識別記号を関連付けるものである。作業空間内の基準点に能動的標的物が配置されていない場合、基準点を識別し、手動で標的物を定めるには人間の操作が必要となる。重心決定工程１２０４及びレンズ歪み補正工程１２０５は、動作モードについて記載された工程と同一である。

測量アセンブリを配置する度に、視野内の各標的物及び各基準点について、以下のデータがディスク１２１１に記録される。
１．視野内の全標的物までのカメラ測定値１２０６
２．仰角測定値１２０７
３．方位角測定値１２０８
４．レーザ測距値１２０９

ＰＯＭＥヘッドアセンブリからの加速度計データ１２１０は、局所水準の判定又は加速度計のバイアスを推定するために保存してもよい。

データ収集完了後は、別のバッチ処理１２１２で収集データを処理する。バッチ処理により、各標的物の位置の不確実性の推定結果とともに標的物の位置データベース１２１３が出力される。

デシメーションフィルタ並びに測量補機及びＭＥＭｓのハードウェア構成要素の機能以外の図８が示す機能は、ＰＯＭＥヘッドアセンブリ１００のマイクロコントローラ７及び／又は測量補機のマイクロコントローラ１００７により実行される。マイクロコントローラは、これらの計算機能を実行するようプログラムすることができる。

図９は、測量モードのデータ収集及び自動化のための手法を更に説明するフローチャートである。第１列は、基準点群を識別し、標的とするための人間による判断を必要とする工程を示す。基準点は、計測範囲内の既知の地点であって、標的物の位置を計測範囲の座標系と関連付けるのに使用される。それには少なくとも２つの基準点が必要である。

第２列は、能動的標的物群の測距値を識別及び取集するために使用される工程を示す。第３列は、光学フィードバックを用いてレーザ標的の設定及び測距をコンピュータで自動化するために必要な詳細な工程を示す。

図１０は、ＰＯＭＥ校正用具１３００を示す図である。この用具は、安定したプラットフォーム１３０３と安定／強固な構造物１３０５から成る。多数の標的物７００が安定したプラットフォームの原点に対して既知の位置で安定した構造物に取り付けられている。好ましい実施例では、カメラが軸の周りを回転するので、標的物群がカメラの視野の境界線を超える平面に拘束される。カメラ画像内で標的物のブロブが密集する状態になるように、標的物がお互いに十分に近く配置される。点像分布関数が標的物の特徴と関連付けることができる程度に標的物を小さくするために、この用具はサイズが小さくなるように設計されている。サンプル化された点像分布関数は、画像面内の全地点で記録され、重心決定プロセスの動作モードで用いられる。

標的物７００は、能動的でも受動的でもよい。受動的標的物は、制御により外部から照光してもよい。

上記の能動的及び受動的標的物に加え、投影標的物群を用いてもよい。投影標的物の画像は、どの形式でもよい。好ましい実施例において、投影標的物は、上記の通り、レーザビ−ム及びレーザファンを平面に投影して得られる点と線である。例えば、水平レーザ線１３０６は、ＰＯＭＥヘッドアセンブリの水平レーザファンビームを平面に投影することで形成される。

校正を行うため、校正の対象となるＰＯＭＥヘッドアセンブリ１００を、安定したプラットフォーム１３０３上の回転補機１３０２（図４の回転補機５００）に装着する。ＰＯＭＥヘッドアセンブリをコンピュータ制御により徐々に垂直軸の周りを回転させる。各ステーションで、カメラデータ及び方位角の測定値がディスクに保存される。

好ましい実施例において、校正アセンブリ（ＰＯＭＥヘッドアセンブリ１００及び回転補機１３０２）は、温度制御室内に配置される。温度制御室は、整列された標的物を可視化するスロットを有する。校正手順を２つ以上の制御された温度で実行することで、数個の校正データセットを記録することができる。動作モードでは、使用された校正データを、動作温度を含む２つのデータセットに基づく補間データとすべきである。

図１１は、ＰＯＭＥヘッドアセンブリの校正機能のための方法１４００を示す。図は、標的物の位置での入力及びセンサからのデータの流れ並びにこれらがどのように処理されて、カメラ単位の内部校正及びＰＯＭＥヘッドアセンブリの外部校正が実行されているかを示す。バッチ処理では、ＰＯＭＥヘッドアセンブリと回転補機の両方のセンサからディスクに保存されたデータが用いられる。

校正を実行するために、ＰＯＭＥヘッド１００と回転補機１３０２のアセンブリを安定したプラットフォーム１３０３に設置する。データ収集中に、垂直回転軸は、自動レベリング機能によりローカル重力ベクトルと整列される。ＰＯＭＥヘッドアセンブリからの加速度計データは、局所水準の判定又は加速度計のバイアス及び姿勢の誤差を推定するために保存してもよい。垂直回転軸の周りでＰＯＭＥヘッドアセンブリを徐々に回転させると、標的物が存在する垂直面を通して各カメラの視野が順に回転する。視野全体で各カメラの画像面のサンプルを収集するには、全ての画像を統合するだけで足りる。

図１１は、様々なアルゴリズム、ハードウェア、及びソフトウェアを通じたカメラ及びエンコーダのデータの処理を示す。カメラ及びデシメーションフィルタのブロック１４０２は、動作モード及び測量モードについて記載されているブロックと同一である。標的物とブロブの関連付けが形状及び方位角の測定に基づき容易に決定できるため、登録プロセスについては割愛する。登録ステップは、後のバッチ処理の一部として実行される。

回転シーケンスの各ステーションで、以下のデータがディスク１４０６に記録される。
１．視野内での全標的物のブロブに関する関心領域１４０３
２．方位角測定値１４０４
３．慣性測定値１４０５

データ収集完了後、別のバッチ処理１４０７で収集データを処理する。バッチ処理の出力は以下の通り。
１．以下を含む各カメラの内部校正
（ａ）以下を含むレンズ誤差モデル１４０８
ｉ．理想的な投影モデルパラメータ
ｉｉ．ｘ−ｙ二次元歪み補正機能２Ｄ
（ｂ）レンズＰ．Ｓ．Ｆ．校正１４０９
２．ＰＯＭＥヘッドアセンブリ１４１０の外部校正

好ましい実装例では、これらのデータは２つ以上の安定した温度において記録される。

デシメーションフィルタ並びに回転補機及びＭＥＭｓのハードウェア構成要素の機能以外の図１１が示す機能は、ＰＯＭＥヘッドアセンブリ１００のマイクロコントローラ７及び／又は回転補機５００／１３０２のマイクロコントローラ５７により実行することができる。これらのマイクロコントローラは、これらの計算機能を実行するようプログラムすることができる。

さらに本発明の校正プロセスにおいて、実施例では、画像面の測定値群が校正レンズモデルに基づくセオドライト角度の推定に用いられる。次に推定セオドライト角度は、パン角度及びチルト角度の正確な測定値と直接比較される。このようにして、画像面の余剰とは対照的に、測定ノイズ、補間誤差、及び逆投影の非線形性の影響が推定ではなく直接測定される。

上記の記載は、本願の発明を説明することをのみを目的し、限定することを目的としたものではない。本発明の精神と実体を取り込んだ、記載された実施例の変形は当業者に想到可能であることから、本発明は特許請求の範囲及びそれと同等の記載に基づく技術的範囲内の全てを網羅すると解釈されるべきである。

Claims (21)

1. 所定の基準座標系に対する対象物の位置及び方向を決定するシステムであって、
   前記所定の基準座標系に対して既知の位置に配置された複数の標的物と、
   前記対象物に配置され、複数のカメラを備えたヘッドアセンブリと
   前記ヘッドアセンブリに接続された回転補機であって、前記回転補機は
   回転盤と、
   前記回転盤に接続される軸と、前記軸用の方位角エンコーダとを有する方位角モータと、
   前記方位角モータの回転軸とローカル重心ベクトルを整列させるセルフレベリングプラットフォームと、
   前記方位角モータ及び前記セルフレベリングプラットフォームを制御し、前記方位角エンコーダからの信号を受信するマイクロコントローラと、
   からなる、前記回転補機と
   を備え、
   前記所定の基準座標系に対する前記対象物の前記位置及び方向が、前記ヘッドアセンブリのアセンブリ座標中による前記複数のカメラからの画像データ及び前記所定の基準座標系による前記複数の標的物に関連付けられた位置データに基づき、前記ヘッドアセンブリにより判定される
   システム。
2. 前記複数の標的物が能動的標的物、受動的標的物、又は投影標的物である、請求項１に記載のシステム。
3. 前記複数の標的物が能動的標的物であり、前記複数の能動的標的物のそれぞれが所定の周波数でのオン−オフ時系列及びデューティーサイクル又は時系列で変調される、請求項１に記載のシステム。
4. 前記複数の能動的標的物それぞれの電力、前記デューティーサイクル、又は前記時系列が、ワイヤレス通信チャンネルのコマンドに応じて動的に可変である、請求項３に記載のシステム。
5. 前記複数の標的物の変調シーケンスが時間で同期される、請求項１に記載のシステム。
6. 前記変調シーケンスが交流配電ネットワークの位相の感知に基づく、請求項５に記載のシステム。
7. 前記複数のカメラが前記複数の標的物と時間で同期される、請求項５に記載のシステム。
8. 前記複数の標的物が、予め定義付けられたコード群での低周波変調で変調される、請求項１に記載のシステム。
9. 既知の設定において、前記投影標的物がレーザの点又は線である、請求項２に記載のシステム。
10. 前記ヘッドアセンブリが複数の光ダイオードを備え、前記光ダイオードが前記複数の標的物の少なくとも１つから信号を感知する、請求項１に記載のシステム。
11. 前記ヘッドアセンブリが慣性測量センサを備える、請求項１に記載のシステム。
12. 前記複数の標的物と関連付けられた前記位置データが標的物の位置データベースから得られ、前記複数のカメラからの前記画像データが画像空間ブロブである、請求項１に記載のシステム。
13. 前記複数のカメラからの前記画像データが間引きフィルタにより処理された画像データで、前記処理された画像データが関心領域群であって、各関心領域が画像空間ブロブを含む、請求項１に記載のシステム。
14. 仰角プラットフォームと、
    前記仰角プラットフォームに接続される軸と、前記軸用の仰角エンコーダとを有し、前記回転補機の前記セルフレベリングプラットフォームによって前記軸が常時水平面に配置されることを特徴とする仰角モータと、
    前記レーザ測距計の光学軸が前記仰角モータの前記軸と直交するように前記仰角プラットフォームに取り付けられるレーザ測距計と、
    前記カメラの光学軸が前記レーザ測距計の前記光学軸と並ぶように前記仰角プラットフォームに取り付けられ、前記レーザ測距計の波長でカメラが感度を有することを特徴とする標的物フィードバックカメラと、
    を備える
    測量補機
    をさらに含む、請求項１に記載のシステム。
15. 安定したベース及び堅固な筺体をさらに含み、
    前記複数の標的が前記安定したベースに対する既知の位置に配置された、請求項１に記載のシステム。
16. 所定の基準座標系に対する対象物の位置及び方向を決定する方法であって、
    前記所定の基準座標系に対して既知の位置に複数の標的物を配置する工程と、
    前記対象物に配置されたヘッドアセンブリにおける、複数のカメラから前記ヘッドアセンブリのアセンブリ座標に対する画像データを受信する工程と、
    前記ヘッドアセンブリにおける、前記所定の基準座標系に対する前記複数の標的物に関連付けられた位置データを受信する工程と、
    前記ヘッドアセンブリにより、前記対象物の前記位置及び方向を、前記受信した前記アセンブリ座標による画像データ及び前記所定の基準座標系による位置データに基づき判定する工程と
    前記ヘッドアセンブリに測量補機を接続する工程であって、前記測量補機は
    回転盤と、
    前記回転盤に接続される軸と、前記軸用の方位角エンコーダとを有する方位角モータと、
    前記方位角モータの回転軸とローカル重心ベクトルを整列させるセルフレベリングプラットフォームと、
    前記方位角モータ及び前記セルフレベリングプラットフォームを制御し、前記方位角エンコーダからの信号を受信するマイクロコントローラと、
    を備え、さらに
    仰角プラットフォームと、
    前記仰角プラットフォームに接続される軸と、前記軸用の仰角エンコーダとを有し、前記回転補機の前記セルフレベリングプラットフォームによって前記軸が常時水平面に配置されることを特徴とする仰角モータと、
    前記レーザ測距計の光学軸が前記仰角モータの前記軸と直交するように前記仰角プラットフォームに取り付けられるレーザ測距計と、
    前記カメラの光学軸が前記レーザ測距計の前記光学軸と並ぶように前記仰角プラットフォームに取り付けられ、前記レーザ測距計の波長でカメラが感度を有することを特徴とする標的物フィードバックカメラと、
    を備え、
    前記仰角モータの回転軸の周りに前記ヘッドアセンブリを測量モードで回転させることにより、所定の基準座標系に対する対象物の位置及び方向を計算するためのデータサンプルを収集する
    方法。
17. 所定の基準座標系に対する対象物の位置及び方向を決定する方法であって、
    前記所定の基準座標系に対して既知の位置に複数の標的物を配置する工程と、
    前記対象物に配置されたヘッドアセンブリにおける、複数のカメラから前記ヘッドアセンブリのアセンブリ座標に対する画像データを受信する工程と、
    前記ヘッドアセンブリにおける、前記所定の基準座標系に対する前記複数の標的物に関連付けられた位置データを受信する工程と、
    前記ヘッドアセンブリにより、前記対象物の前記位置及び方向を、前記受信した前記アセンブリ座標による画像データ及び前記所定の基準座標系による位置データに基づき判定する工程と
    前記ヘッドアセンブリに回転補機を接続する工程であって、前記回転補機は
    回転盤と、
    前記回転盤に接続される軸と、前記軸用の方位角エンコーダとを有する方位角モータと、
    前記方位角モータの回転軸とローカル重心ベクトルを整列させるセルフレベリングプラットフォームと、
    前記方位角モータ及び前記セルフレベリングプラットフォームを制御し、前記方位角エンコーダからの信号を受信するマイクロコントローラと、
    を備える回転補機と
    を備え、
    前記仰角モータの回転軸の周りに前記ヘッドアセンブリを校正モードで回転させることにより、校正データを収集する
    方法。
18. 前記複数の標的物が能動的標的物、受動的標的物、又は投影標的物である、請求項１６または１７に記載の方法。
19. 前記ヘッドアセンブリが複数の光ダイオードを備え、
    前記複数の標的物の少なくとも１つから前記光ダイオードによる信号を感知する工程をさらに備える、請求項１６または１７に記載の方法。
20. 前記ヘッドアセンブリが慣性測量センサを備える、請求項１６または１７に記載の方法。
21. 前記複数の標的物と関連付けられた前記位置データが標的物の位置データベースから受信され、前記複数のカメラからの前記画像データが画像空間ブロブである、請求項１６または１７に記載の方法。

Images