JP6426725B2 - 移動可能な対象物体の場所を追跡するためのシステム及び方法 - Google Patents

Description

本開示は、概して、移動可能な対象物体（例えば、コンピュータプログラムによってガイドされる履帯自動車（ｃｒａｗｌｅｒ ｖｅｈｉｃｌｅ）又は他の電気機械マシン）が、ワークピース又は部品に対して移動する際に、その場所を追跡するためのシステム及び方法に関する。

履帯自動車又は他の電気機械マシンを使用する製造プロセスを含んだ用途は、しばしば、基準座標系における場所追跡を採用する。既存の場所追跡解決法は、２つの範疇に当てはまる。すなわち、絶対動作追跡及び増分動作追跡である。絶対動作追跡は、飛行機座標系などの基準座標系内で規定された位置及び／又は方向の追跡である。絶対動作追跡のための既存の技術は、光学式動作取得（ｏｐｔｉｃａｌ ｍｏｔｉｏｎ ｃａｐｔｕｒｅ、レーザー追跡、深度カメラ（ｄｅｐｔｈ ｃａｍｅｒａ）、磁気追跡、及び音波ベースの追跡（ｓｏｎｉｃ‐ｂａｓｅｄ ｔｒａｃｋｉｎｇ）を含む。

増分動作追跡は、前の座標値に対する変位を測定する。増分動作追跡のための１つの既知の技術は、増分動作に応じてパルスを出力するエンコーダを採用する。増分動作測定法を使用する用途では、時を経て誤差が蓄積され得る。そのような誤差の蓄積は、絶対座標系に対する限定的な誤差を要求する使用事例において望ましくない。より高い更新速度で実行される増分動作測定システムへ統合され得るより低い更新速度での正確な絶対測定法を提供するプロセスを実施する必要がある。

光学式の又は画像ベースの技術を使用して位置及び方向を測定する他の絶対測定システムが存在するが、それらは、通常、対象物体の周りに配置された複数のカメラを必要とする。単一の「深度（ｄｅｐｔｈ）」カメラを使用する１つの既知の絶対測定システムは、特定の特徴を区別するために限られた範囲及び限られた能力を有する。単一の標準的なビデオカメラを使用して位置及び方向を追跡することができるとすれば有利である。

本明細書で開示される自動化された測定プロセスは、相対的な（増分）追跡データを生成するシステム内で絶対測定値を提供する。この用途は、更に、単一のカメラ構成を使用するが故に設定することが容易な、携帯可能なより低い費用の装備を使用して、表面履帯自動車（ｓｕｒｆａｃｅ‐ｃｒａｗｌｉｎｇ ｖｅｈｉｃｌｅ）などの輸送体に対する自動化された動作追跡及び制御に取り組む。走行距離計測法（又は他の相対座標測定法）と共に使用される場合に、この追跡システムは、動作が制御された輸送体に対して絶対座標補正法を提供することができる。動作制御なしに使用される場合に、それは、未だ、大きな容積内で１以上の物体の場所を追跡する自動化された方法を提供することができる。

自動化されたプロセスは、１以上の移動可能な対象物体に対する場所（すなわち、位置及び方向）データを取得するために局所的測位システム（ＬＰＳ）を使用し、一方、それらの対象物体は少なくとも瞬間的に静止する（すなわち、プロセスの測定部分が完了できるのに十分な長さだけ）。対象物体がコンピュータ制御の下で移動する能力を有する場合に、この自動化されたプロセスは、測定された場所データを使用して、そのような対象物体の位置及び方向を補正することができる。システムは、局所的測位システムの測定及び画像取得能力を活用し、制御可能な標識灯（マーカーライト）、画像処理、及び座標変換計算を統合して、輸送体の場所を制御するための追跡情報を提供する。結果としてのシステムは、飛行機の翼表面上の履帯自動車の追跡などの、基準座標系内における物体の位置及び方向の追跡を可能にする。システムは、他のタイプの非搭載型の追跡システムに対する低い費用の代替案を提供する。それは、携帯可能で、設定が容易で、単一のユーザによって動作可能である。

以下に詳細に開示される主題の一側面は、対象物体に、既知のパターンで配置された少なくとも３つのアクティブ標的マーカー（ａｃｔｉｖｅ ｔａｒｇｅｔ ｍａｒｋｅｒ）が装備された場合に、３次元基準座標系内で対象物体の現在の場所を決定するための方法である。方法は、以下のステップを備える。すなわち、（ａ）基準座標系に対するカメラの場所を規定するステップ、（ｂ）カメラが対象物体の中心を狙い、アクティブ標的マーカーの全てが起動されていない間に、画像を取得するステップ、（ｃ）カメラが対象物体の中心を狙い、アクティブ標的マーカーの１以上が起動されている間に、１以上の画像を取得するステップ、（ｄ）画像を処理して、アクティブ標的マーカーの全てが起動されていなかった間に取得された画像と、アクティブ標的マーカーの１以上が起動されていた間に取得された各々の画像との間の差異を表す差異画像を計算するステップ、（ｅ）それぞれのアクティブ標的マーカーに対応する差異画像内の差異領域に対するそれぞれの平均画素座標を計算するステップ、（ｆ）それぞれのアクティブ標的マーカーに対して、少なくとも、対象物体がカメラの画像視野内の中心に置かれたときのパン及びチルト角度、及びそれぞれの平均画素座標と画像の中心の画素座標との間の差異の関数であるそれぞれのパン及びチルト角度によって規定された方向に、レーザー測距器を向け、レーザービームを送信するステップ、（ｇ）それぞれのアクティブ標的マーカーに対して、それぞれのレーザービームの送信に後続してそれぞれの距離、パン及びチルトデータを取得するステップ、（ｈ）測定された距離、パン及びチルトデータに基づいて、基準座標系内のアクティブ標的マーカーに対応するそれぞれの点の座標を計算するステップ、並びに（ｉ）その座標が、測定されたパン、チルト、及び距離データから計算されたところのそれぞれの点のそれぞれの位置を、既知のパターン内に配置されたそれぞれの点のそれぞれの位置と比較して、基準座標系に関して規定された対象物体の現在の位置及び方向を決定するステップである。

幾つかの実施形態によれば、ステップ（ｃ）は、少なくとも３つのアクティブ標的マーカーが起動されている間に、１つの画像を取得することを含む。他の実施形態によれば、ステップ（ｃ）は、第１、第２、及び第３のアクティブ標的マーカー次々に起動されている間に、それぞれの画像を取得することを含む。

幾つかの実施形態によれば、ステップ（ｄ）は、差異に基づいてアクティブ標的マーカーに対応する個別の領域を含むように差異画像を分割し、アクティブ標的マーカーに対応する各々の個別の領域のそれぞれの重心に対する差異画像内のそれぞれの平均画素座標を計算することを含む。

別の側面によれば、上述された方法は、更に、点の間の相対的な距離に基づいて点パターンを測定すること、及び測定された点パターンと既知の点パターンとの間の差異に基づいて、基準座標系内の対象物体の場所を表す第１の変換行列を計算することを含み得る。幾つかの実施形態では、既知の点パターンは非対称である。

更なる側面によれば、上述された方法は、更に、対象物体を初期的な場所に配置すること、基準座標系に対する対象物体の初期的な場所を表す第２の変換行列を計算すること、対象物体を初期的な場所から現在の場所に移動させること、第２の変換行列の逆行列を計算すること、及び第１の変換行列と第２の変換行列の逆行列との積を計算することを含み得、該積は、対象物体の初期的な場所に対する対象物体の現在の場所を表す第３の変換行列である。幾つかの実施形態によれば、方法は、更に、初期的な場所から現在の場所への移動の間に、対象物体の増分動作に応じてエンコーダパルスを生成することを含む。

以下に詳細に開示される主題の別の側面は、パンチルト機構、パンチルト機構に設置されたカメラ及びレーザー測距器、少なくとも３つのアクティブ標的マーカーが装備された対象物体、並びにカメラ、レーザー測距器、及びパンチルト機構を制御するための第１のソフトウェア、カメラによって取得された画像を処理するための第２のソフトウェア、及び対象物体の動作と少なくとも３つのアクティブ標的マーカーの状態とを制御するための第３のソフトウェアがプログラムされたコンピュータシステムを備える、場所追跡システムである。

前の段落で説明された場所追跡システムの一実施形態によれば、第１のソフトウェアは、パンチルト機構にカメラを対象物体に向けさせるように指示命令し、カメラに対象物体の画像を取得させるように指示命令するためのルーチンを含み、第２のソフトウェアは、取得された画像を処理して、アクティブ標的マーカーが起動されていなかった間に取得された画像と、アクティブ標的マーカーの１以上が起動されていた間に取得された各々の画像との間の差異を表す差異画像を計算するためのルーチンを含み、かつ第３のソフトウェアは、アクティブ標的マーカーの各々の状態を制御するためのルーチンを含む。対象物体は、例えば、履帯自動車、又はロボットアームのベースを備え得る。履帯自動車がホロノミック（ｈｏｌｏｎｏｍｉｃ）な動作の履帯自動車である実施形態では、システムは、更に、履帯自動車の増分動作を追跡するための手段を含み得る。

更に別の側面は、パンチルト機構、パンチルト機構に設置されたカメラ及びレーザー測距器、既知のパターンで配置された少なくとも３つのアクティブ標的マーカーが装備された対象物体、及び以下の動作を実行するようにプログラムされたコンピュータシステムを備える、場所追跡システムである。すなわち、（ａ）パンチルト機構のパン及びチルト角度を調整して、カメラが、カメラの画像視野内でアクティブ標的マーカーを有する対象物体の中心を狙うようにすること、（ｂ）カメラが対象物体の中心狙い、かつアクティブ標的マーカーの全てが起動されていない間に、画像を取得するようにカメラに指示命令すること、（ｃ）カメラが対象物体の中心を狙い、かつアクティブ標的マーカーの１以上が起動されている間に、１以上の画像を取得するようにカメラに指示命令すること、（ｄ）画像を処理して、アクティブ標的マーカーが起動されていなかった間に取得された画像と、アクティブ標的マーカーの１以上が起動されていた間に取得されたそれぞれの画像との間の差異を表す差異画像を計算すること、（ｅ）それぞれのアクティブ標的マーカーに対応する差異画像内の差異領域に対するそれぞれの平均画素座標を計算すること、（ｆ）それぞれのアクティブ標的マーカーに対して、少なくとも、対象物体がカメラの画像視野内の中心に置かれたときのパン及びチルト角度、及びそれぞれの平均画素座標とインジケータ画像の中心の画素座標との間の差異の関数であるそれぞれのパン及びチルト角度によって規定された方向に、レーザー測距器を向けさせ、レーザービームを送信させるように指示命令すること、（ｇ）それぞれのアクティブ標的マーカーに対して、それぞれのレーザービームの送信に後続してそれぞれのパンチルトデータを取得させるようにパンチルト機構に指示命令し、それぞれのレーザービームの送信に後続してそれぞれの距離データを取得させるようにレーザー測距器に指示命令すること、（ｈ）測定された距離、パン及びチルトデータに基づいて、基準座標系内のアクティブ標的マーカーに対応するそれぞれの点の座標を計算すること、並びに（ｉ）その座標が、測定されたパン、チルト、及び距離データから計算されたところのそれぞれの点のそれぞれの位置を、既知のパターン内に配置されたそれぞれの点のそれぞれの位置と比較して、基準座標系に関する対象物体の現在の位置及び方向を決定する。

移動可能な対象物体の場所を追跡するためのシステム及び方法の他の側面が以下に説明される。

その増分動作が、推測走行距離計測法ベースのプロセス（ｄｅａｄ‐ｒｅｃｋｏｎｉｎｇ ｏｄｏｍｅｔｒｙ‐ｂａｓｅｄ ｐｒｏｃｅｓｓ）を使用して追跡されることができるところの、既知のエンコーダが装備された携帯型装置の幾つかの構成要素の概略上面図である。 対象物体に向けられた既知の局所的測位システムの概略等角図である。 一構成による、局所的測位システムを使用して、履帯自動車の動作を追跡し制御するためのシステムの概略等角図である。 各々の側（１セットのみが見える）の３つのアクティブ標的マーカーのそれぞれのセットを有する履帯自動車の概略斜視図である。描かれる実施形態によれば、アクティブ標的マーカーはＬＥＤライトである。 一実施形態による、自動化された場所測定プロセスのステップを示すフローチャートのそれぞれの部分を含んだ、図５Ａ及び図５Ｂの相互関係を示す。 一実施形態による、自動化された場所測定プロセスのステップを示すフローチャートのそれぞれの部分を含んだ、図５Ａ及び図５Ｂの相互関係を示す。 図５で描かれたプロセスによる、図４で示された履帯自動車を使用して生み出された中間的な画像処理結果を表す図である。 単一のコンピュータが複数のプロセスを実行するシステム構成を示すブロック図である。（代替的に、各々プロセスは、個別のコンピュータ又はプロセッサで実行され得る。） 別の構成による、ロボットと部品との場所特定プロセスを実行することができるシステムの概略等角図である。 図８で描かれたタイプの局所的測位システムを採用するロボットと部品との場所特定プロセスのステップを示すフローチャートである。 付録で言及され、計器座標系｛Ａ｝の原点から、計器の目標点軸に実質的に沿って、関心点Ｐまで延伸する位置ベクトルＡＰを示し、対象物体座標系｛Ｂ｝の原点から、関心点Ｐまで延伸する位置ベクトルＢＰを示す図である。 付録で言及され、座標系変換のための較正行列を計算するための例示的な方法が描かれる図である。 付録で言及され、座標系変換のための較正行列を計算するための例示的な方法が描かれる図である。 付録で言及され、座標系変換のための較正行列を計算するための例示的な方法が描かれる図である。 アクティブ標的マーカーの全てがＬＰＳカメラの画像フレームの範囲のちょうど内側にあることを保証するように適切なカメラの視野（ズーム値）を設定するための自動化された探索及びフレームプロセスを示す図である。 アクティブ標的マーカーの全てがＬＰＳカメラの画像フレームの範囲のちょうど内側にあることを保証するように適切なカメラの視野（ズーム値）を設定するための自動化された探索及びフレームプロセスを示す図である。 アクティブ標的マーカーの全てがＬＰＳカメラの画像フレームの範囲のちょうど内側にあることを保証するように適切なカメラの視野（ズーム値）を設定するための自動化された探索及びフレームプロセスを示す図である。証するように適切なカメラの視野（ズーム値）を設定するための自動化された探索及びフレームプロセスを示す図である。

本明細書中、以下で図を参照するが、異なる図の中の類似の要素には同一の参照番号が付される。

本明細書中の教示によれば、例えば、位置エンコーダを使用して、増分的に追跡された動作の完了の後に、絶対座標内で移動可能な対象物体の場所を測定することができる場所追跡システムが、提供され得る。絶対座標測定システムが、瞬間的に静止している対象物体の現在の場所が、構成可能な許容値を超えて望ましい場所から逸脱していると決定する場合に、対象物体は正しい場所へ向かって移動するように指示命令され得る。したがって、本明細書中で開示される絶対座標測定プロセスは、相対座標測定内の誤差を補正するために利用され得る。

増分動作測定システムの一実施例は、推測走行距離計測法ベースのプロセスである。任意の推測解決法は、時を経て蓄積される小さな誤差のために測定値の不正確さを有する。これらは、装置内でのシステマティックな誤差、又は環境内の予期せぬ変化によってもたらされる混乱によってもたらされる。図１は、米国特許出願番号１３／７９６，５８４で開示された、その増分動作が、推測走行距離計測法ベースのプロセスを使用して追跡されることができるところの、エンコーダが装備された携帯型装置の幾つかの構成要素の概略上面図である。この装置は、４つの全方向車輪（ｆｏｕｒ‐ｏｍｎｉ ｗｈｅｅｌ）を有し、垂直な２重の異なる構成（ｄｏｕｂｌｅ‐ｄｉｆｆｅｒｅｎｔｉａｌ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を有する。この追跡装置は、（図１では示されていない）エンドエフェクタが装備された履帯自動車に連結され又は設置され得る。図１で示される装置は、矩形のフレーム４と、それぞれの車軸６ａ‐６ｄ及び（図示せぬ）軸受によってフレーム４に回転可能に設置された４つの２重の列の全方向車輪４ａ‐４ｄとを備える。それぞれのエンコーダ８ａ‐８ｄは、全方向車輪４ａ‐４ｂの回転を測定する。全方向車輪が表面上で回転すると、エンコーダ８ａ‐８ｄは、各々の全方向車輪の各々の増分回転の後に、それぞれのエンコーダカウントを表すエンコーダパルスを、（図１では示されていない）エンコーダケーブルを介して、動作制御センターに送る。各々のエンコーダは、それぞれの全方向車輪の回転の角度に比例するエンコーダカウントを出力する。これらのエンコーダパルスは、装置のＸ及びＹ座標を計算する（図１では示されていないが、図７で見ることができる）コンピュータシステムによって受信される。

制御システムは、エンコーダパルスのカウントが、装置が望ましい場所に到着したことを示す場合に、装置を停止させる。停止した装置の現在の場所が、そのとき、チェックされて、望ましい位置からどの程度離れているかを決定することができる。本明細書中の教示によれば、より低い更新速度における正確な絶対測定値を取得することによって、相対動作測定値に対して補正が行われ得る。（対象物体が停止している間に実行される）この絶対測定プロセスは、より高い更新速度で実行される相対動作測定システムへと統合され得、それは、対象物体が移動している間に相対動作測定値を取得する。本明細書中で開示される一実施形態によれば、より低い更新速度のＬＰＳベースのプロセスは、より高い更新速度の走行距離計測システムに対して補正を提供する。

本明細書中で開示される追跡方法は、対象物体の位置及び方向を計算するために、対象物体上のアクティブライト及び画像処理を組み込んだ自動化されたプロセスである。それは、図２で描かれるタイプの局所的測位システム（ＬＰＳ）を使用し、そのシステムは、制御可能なパンチルトユニット上に単一のカメラ及びレーザー測距器を有する。ＬＰＳの動作及び補正プロセスは、米国特許番号７，８５９，６５５で開示される。

より具体的には、図２で描かれる局所的測位システムは、自動化された（遠隔制御の）ズーム能力を有し得るビデオカメラ４０を備える。ビデオカメラ４０は、付加的に、完全な照準線生成器（ｉｎｔｅｇｒａｌ ｃｒｏｓｓｈａｉｒ ｇｅｎｅｒａｔｏｒ）を含み得、ビデオカメラの光学的な画像フィールド表示の範囲内で点の正確な場所決定を容易にする。ビデオカメラ４０は、パンチルト機構４２に支持される。ビデオカメラ４０及びパンチルト機構４２は、コンピュータ４８によって動作され得る。コンピュータ４８は、ビデオ／制御ケーブル４６を介して、ビデオカメラ４０及びパンチルト機構４２と通信する。代替的に、コンピュータ４８は、（図示せぬ）無線通信パスウェイを介して、ビデオカメラ４０及びパンチルト機構４２と通信し得る。パンチルト機構４２のパン及びチルト角度、及び、それ故、ビデオカメラ４０の方向は、コンピュータ４８のキーボード又は他の入力装置を使用して制御され得る。光学的な画像フィールドは、照準線を当てることを伴って、ビデオカメラ４０によって狙われて、コンピュータ４８のモニター上に表示され得る。

パンチルト機構４２は、垂直、アジマス（パン）軸、及び水平、仰角（チルト）軸の周りの選択された角度に対してビデオカメラ４０を位置的に調整するように制御される。三脚４４（又はパンチルトユニットが取り付けられる他のプラットフォーム）の固定された座標系に対するカメラの方向を表す方向ベクトル１２は、パン及びチルト角度から決定され、カメラが関心点を狙う場合の光学的なフィールド内の照準線マーカーの中心の位置も同様である。この方向ベクトル１２は、カメラ４０のレンズから延伸し対象物体３０上の場所と交差するラインとして描かれることができる。

レーザー測距器は、カメラ４０のハウジングの内側に組み込まれ得、又はカメラ４０の外側に設置され得、それによって、ベクトル１２の方向に沿ってレーザービームを送信する。レーザー測距器は、対象物体３０までの距離を測定するように構成される。レーザー測距器は、レーザー、及び対象物体３０によって反射されたレーザービームに応じて検出されたレーザー光に基づいて距離を計算するように構成されたユニットを有し得る。

図２で示された局所的測位システムは、更に、コンピュータ４８にロードされる３次元の場所特定ソフトウェアを含む。例えば、３次元の場所特定ソフトウェアは、対象物体３０上の複数の較正点１４を使用して、対象物体３０に対するビデオカメラ４０の場所（位置及び方向）を規定するタイプのものであり得る。較正点１４は、特徴点位置の３次元データベース（例えば、ＣＡＤモデル）又は他の測定技術から決定された、対象物体３０の局所的な座標系内の既知の位置の可視的な特徴点であり得る。ＬＰＳ較正プロセスの間に、同一線上にない少なくとも３つの点に対するＸ、Ｙ、Ｘデータが、ＣＡＤモデルから読み出される。典型的には、対象物体上に容易に配置され得る特徴点に対応する較正点が選択される。３次元の場所特定ソフトウェアは、較正点１４のＸ、Ｙ、Ｚデータ、及びパンチルト機構４２からのパン及びチルトデータを利用して、対象物体３０の局所的な座標系に関するビデオカメラ４０の相対的な位置及び方向を規定する。較正点１４に対して測定された距離は、パンチルト機構４２からのパン及びチルト角度と併せて使用され得、対象物体３０に対するカメラの位置及び方向の値を求めることができる。対象較正変換行列（時々、カメラ姿勢（ｃａｍｅｒａ ｐｏｓｅ）と呼ばれる）に対する計器（ｉｎｓｔｒｕｍｅｎｔ）を作り出すための方法は、米国特許番号７，８５９，６５５で開示される。既知データ及び測定されたデータを使用して、（付録でより詳細に説明される）較正プロセスは、対象物体に対するカメラの位置及び方向を規定する４×４の同次変換行列を計算する。

一旦、対象物体３０に関するビデオカメラ４０の位置及び方向が決定され、カメラ姿勢変換行列が生成されると、カメラのパンデータ（アジマス軸の周りのビデオカメラ４０の回転の角度）、及びチルトデータ（仰角軸の周りのビデオカメラ４０の回転の角度）は、計算されたビデオカメラ４０の位置及び方向と併せて使用され得、対象物体の座標系内の対象物体３０上の任意の関心点のＸ、Ｙ、及びＺ座標を決定することができる。

上述の場所特定及び動作追跡のプロセスは、類似のやり方で拡大され適用されて、絶対（基準）座標系内の対象物体上の任意の関心点のＸ、Ｙ、及びＺ座標を決定することができる。例えば、局所的測位システムは、図３で描かれるように、飛行機の基準座標系内の飛行機の翼５０上で移動している履帯自動車１０の動作を追跡するために使用されることができる。より具体的には、局所的測位システムは、飛行機の基準座標系内の履帯自動車の原点の場所を追跡することができる。上述の変換行列内のＸ、Ｙ、及びＺの値は、履帯自動車の座標系の原点の位置における、初期位置から現在の位置までの差異に基づいて計算される。原点は、履帯自動車（又は他の対象物体）上の任意の場所で規定され得る。図３では、履帯自動車の座標系の原点は、点Ｐ１にあるものとして示される。

ＬＰＳ制御ソフトウェアに加えて、コンピュータ４８は、ビデオカメラ４０によって取得された画像のセット間の差異を検出するこができる画像処理ソフトウェアがプログラムされる。動作制御が動作追跡と組み合される場合に、コンピュータ４８は、更に、電気ケーブル３８を介して履帯自動車１０に搭載されたプロセッサと通信する履帯動作制御ソフトウェアがプログラムされる。代替的に、ＬＰＳ制御ソフトウェア、画像処理ソフトウェア、及び履帯動作制御ソフトウェアは、ネットワーク又はバスを介して通信する個別のコンピュータ又はプロセッサで実行されることができる。

例えば、瞬間的に静止している対象物体の表面に取り付けられたコンピュータで制御された発光ダイオード（ＬＥＤ）などの、アクティブライト（本明細書では以後、「アクティブ標的マーカー」と呼ぶ）を用いて、画像のシークエンスを取得することによって、自動化された絶対測定プロセスは機能する。図３で示される実施例では、３つのアクティブ標的マーカーの位置が、点Ｐ１、Ｐ２、及びＰ３によって示されている。

図４は、４つのメカナムホイール５４（２つのみが見えている）、４つの全方向車輪５５（図４では１つのみが見えている）、輸送体の下の（図示せぬ）２つの吸引区域、及び各々の側の３つのＬＥＤライト５６ａ‐ｃのそれぞれのセット（図４では１つのセットのみが見えている）を有するホロノミックな動作の履帯自動車５２の概略斜視図である。（図４で描かれるタイプのホロノミックな動作の履帯自動車の構造及び機能に関する詳細は、米国特許出願番号１３／２１０，８９９で開示される。）図４で描かれる実施形態によれば、ＬＥＤライト５６ａ‐ｃは、履帯自動車のカバー上で非対称なパターンで配置される。各々のＬＥＤライトは、概して、履帯自動車５２のカバー５８の上方へ突出する半球状のバルブを有する。

絶対測定プロセスは、ＬＥＤライト５６ａ‐ｃをオフにして画像を取得し、その後、ライトをオンにして別の画像を取得することによって実施される（逆もあり得る）。プロセスの２つの変形例が展開され、すなわち、一方は同時に全てのライトがオンにされる場合であり、他方はライトが特定のシークエンスでオンにされる場合である。第１の方式は、わずかにより速い。それは、非対称な対象物体の表面上のライトのパターンを採用する。第２の方法は、ライトの間の差異においてよりロバストであり、ライトのパターンが非対称にされる必要はない。

絶対測定システムは、有限な時間間隔において位置及び方向のデータを生成する。連続的な測定の間の時間間隔は、パンチルトモータが対象点の間で移動しなければならない距離、レーザー測距器の更新速度、及び画像処理の速度に応じる。測定サイクルの継続時間は、より速い画像処理及びより速いレーザー測距器を使用することによって改良され得る。システムは、複数の対象物体の場所を追跡するために使用され得るが、より多くの対象物体が追跡されれば、各々の対象物体に対する更新の間の時間はより長くなる。

絶対測定プロセスが開始する前に、カメラはテストされ得、適切な歪補正が決定され得、理想的な「ピンホール」カメラとは異なる光学素子のための画像におけるワーピング（ｗａｒｐｉｎｇ）を埋め合わせることができる。また、局所的測位システムは、（飛行機座標などの）望ましい基準座標系に対して較正される。このことは、対象物体に対するカメラ姿勢を提供し、４×４の同次変換行列として表される。

一実施形態による自動化された測定プロセスの主要な要素は、図５及び図５Ｂで示される。図５Ａを参照すると、先ず、局所的測位システムが、上述した方法を使用して、望ましい基準座標系（例えば、飛行機座標系）に対して較正される（ステップ１００）。その後、対象物体（例えば、履帯自動車）は、望ましい場所へ向かって移動し、増分動作測定システムが、現在の場所が望ましい場所に十分に近いことを示す場合に、停止する（ステップ１０２）。その現在の場所に対して、局所的測位システムは、基準座標系内の履帯自動車の位置及び方向を決定する。ステップ１０４では、局所的測位システムの方向ベクトルが、（パン及びチルト軸を使用して）変化し、全てのアクティブ標的が視野の範囲内にあることを保証する。より具体的には、ＬＰＳのパン及びチルト角度は、（対象物体上にパターンで設置された）３つのアクティブ標的マーカーが画素視野内にあるように、カメラが対象物体の中心を狙うように調整される。説明目的で、測定プロセスの以下の更なる説明は、アクティブ標的マーカーがライト（例えば、ＬＥＤ）であると想定する。

全てのアクティブ標的マーカーが画像視野内にあって、画像データを取得するプロセスが開始される。このプロセスは、ライトの起動及び画像の取得を含む。ステップ１０６では、ライトがオフであり、現在のパン及びチルト角度が記憶される間に、基準画像が取得される。ステップ１０８では、ライトがオンにされ、（ステップ１０６で使用されたのと同じパン及びチルト角度を使用して）１以上のインジケータ画像が取得される。代替的に、基準画像は、ライトがオンである間に取得されることができ、インジケータ画像は、ライトがオフである間に取得されることができる。インジケータ画像（又は複数の画像）は、２つの技術のいずれかを使用して取得され得る。１つの技術によれば、ライトは同時に１回サイクルし、対象物体の個別の画像が、各々の状態に対して取得される（すなわち、３つのライトが利用される場合に、対象物体の３つの個別の状態、及び３つの個別の画像が存在する）。別の技術によれば、対象物体は、非対称パターンで配置される１セットのライトが装備され、セット内の全てのライトがオンである間に、単一の画像が取得される。

未だ、図５Ａを参照すると、インジケータ画像に対する各々のライトの画素座標は、取得された画像データを処理することによって取得される（ステップ１１０）。先ず第１に、歪関数補正が、（光学素子についての情報を使用して）各々の画像に適用される。第２に、基準画像とインジケータ画像又は複数の画像との間の差異を表す差異画像を計算する。第３に、差異画像が個別の領域に分割され、それは、サイズ、色、形状、又は他のパラメータをフィルタリングすることを含み得る。画像分割は、特定の特性を有する画素のグループを規定することを意味する。一実施態様によれば、互いに隣り合う（すなわち、隣接する領域の）特定の色及び強度の画素が見つけられる。差異画像は、また、フィルタリングで除去され得る（微妙な端の輪郭などの）幾つかの小さいアーチファクト（arｔｉｆａｃｔ）を有する。これは、ぼかしフィルター及び強度閾値フィルターを使用して行うことができる。分割の結果は、図６で概略的に描かれる分割された画像９４で示される。３つの円が、図４で描かれた履帯自動車５２のＬＥＤライト５６ａ‐ｃに対応する画像内の分割された領域９８ａ‐ｃを表す。（単純化のために、図６の分割された領域は円で示されているが、実際は、画像内の分割された領域の幾つか又は全ては、完全な円ではなく、それは、カメラの方向ベクトルがめったにライトの対称軸と完全には位置合わされないからである。）画像が分割された後に、コンピュータは、各々の分割された領域９８ａ‐ｃに対する重心を計算する。重心は、その領域に対する平均Ｘ画素座標及び平均Ｙ画素座標である。これらのＸ‐Ｙ座標のペアは、画像の重心に対するＸ‐Ｙ座標のペアからの差異を計算するために使用される。

図５Ａを再び参照すると、一旦、各々の分割された領域に対する平均画素座標が計算されてしまうと、画像内の各々のセグメントの重心位置の場所に対するそれぞれのパン及びチルト角度が計算される（ステップ１１２）。これらは、対象物体の各々のアクティブ標的マーカーに、局所的測位システムのレーザー測距器を方向付ける（すなわち、向ける）ために使用される、パンチルト機構のパン及びチルト角度である。画像の中心に対するＬＰＳのパンチルト角度は、対象物体までの距離と共に、既に既知である（ステップ１０４から）。アクティブ標的マーカー（すなわち、ＬＥＤ）の各々を狙うように局所的測位システムをガイドするための方法は、画像の中心からの重心の各々に対する画素のオフセット、カメラの現在の視野角度、及び画像の中心における目標までの距離を使用して、オフセットパン及びオフセットチルト角度を計算し、それらは、コンピュータによって局所的測位システムに転送される。コンピュータは、局所的測位システムに、オフセットパン及びオフセットチルト角度を使用して、分割された領域の重心に対応する場所の自動化されたＬＰＳ測定を実行するように指示命令する。このことは、レーザー測距器が、今度は、各々のアクティブ標的マーカーに向けられ、各々のアクティブ標的マーカーに対する距離、パン及びチルトデータが測定される（ステップ１１４）ことを意味する。

今度は図５Ｂを参照すると、測定された距離、パン及びチルトデータに基づいて、（基準座標フレーム内の）アクティブ標的マーカーのデカルト座標が計算される（ステップ１１６）。その後、アクティブ標的マーカーの中心の座標の間の相対的な距離が計算され、それらの比率が既知のパターンの対応する比率と比較され、各々の点に対するそれぞれの指数を決定する（ステップ１１８）。次々にライトがオンにされていた間に個別の画像が取得された場合に、画像のセグメントは、画像順序（ｉｍａｇｅ ｏｒｄｅｒ）を使用して番号が付けられる。代替的に、全てのライトが同時にオンであった間に単一の画像が取得された場合に、測定された点の間の距離ベクトルは、各々の測定された点に対するデカルト座標を使用して計算され、対象物体上の光の位置の既知のパターン内の点と比較される。

番号を付けるステップよりも前に、局所的測位システムは、対象物体上の３つの既知の点を測定し、基準座標系内で規定されるデカルト（Ｘ、Ｙ、Ｚ）座標へそれらを変換する。それらの基準位置との比較にこれらの点を使用するために、測定された点の各々は、パターンに対する適切な基準点と関連付けられなくてはならない。しかし、点が測定された順序は、ある時と別の時で異なり得、ＬＰＳカメラに対する履帯自動車の方向に応じる。この潜在的な対応のミスマッチに対処するために、測定された点は、基準点のシークエンスとマッチするように再順序付けされる。これは、測定された点の相対的な距離（ベクトル長さ）の比率を、基準点の相対的な距離の比率と比較することによって行われる。測定された点は、その後、基準点の順序とマッチするように、再順序付けされる（すなわち、配列の順番が変化する）。

一旦、再順序付けが完了すると、対象物体の現在の位置及び方向を表す４×４の同次変換行列が、既知の初期的な点のパターンと測定された点のパターンとの間の差異に基づいて計算される（ステップ１２０）。このプロセスは、付録で詳細に説明される。

未だ図５Ｂを参照すると、ステップ１２０で計算された変換行列は、計算された場所をロボット制御座標に変換するために適用される（ステップ１２２）。ステップ１２０で計算された変換行列は、基準座標系に関して規定されるが、履帯自動車の動作経路は、基準座標系の原点と同じではない初期的な開始点に関して規定され得る。そうである場合に、そのとき、基準座標系に対する初期的な場所を表す変換行列の逆行列は、ステップ１２０で計算された変換をプレマルチプル（ｐｒｅ‐ｍｕｌｔｉｐｅ）し、それは、基準座標系に対する対象物体の現在の場所を規定する。結果は、初期的な場所に対する現在の場所を表す変換である。この計算は、以下の数式で示される。すなわち、

ここで、Ｔは４×４の同次変換行列を表し、Ｒ、Ｉ、及びＣの下付き／上付き文字は、基準、初期、現在の場所をそれぞれ表す。

対象物体の現在の位置及び方向を表すデータは、その後、表示又はデータを使用し得る他の処理のために送られる（ステップ１２４）。

図５Ａ及び図５Ｂで提示されたフローチャートは、ライトが対象物体上で非対称なパターンにありインジケータ画像のために同時に起動される場合のための上述の方法を説明している。

図５Ａのステップ１０４では、カメラを対象物体に向けるために局所的測位システムの方向ベクトルを変えるためのプロセスは、マーカーの全てが画像フレームの範囲のちょうど内側にあることを確実にするために、ＬＰＳパンチルト機構のパン及びチルト角度を決定すること、及び適切なカメラ視野（ズーム値）を設定することを含む。このことは、オペレーターに、パン、チルト、ズームの制御を調整させ、ＬＰＳカメラの視野内にインジケータライトを収める（ｆｒａｍｅ）ことによって、相互に実行されることができる。代替的に、自動化された探索及びフレームプロセスは、ループの外で相互に実行されるステップを行うためにシステムによって実行されることができる。この自動化されたプロセスは、図１４Ａ‐Ｃで示され、次に説明される。図１４Ａで見られるように、プロセスは、広い視野角度（θ_１）を設定すること、及び一方ではマーカーパターンのインジケータライトがオフの１つの画像を、他方ではインジケータライトがオンの１つの画像を取得することによって開始される。差異画像は、インジケータライトがカメラの現在の視野内にあるか否かを決定するように計算され、インジケータライトが見つからない場合には、ＬＰＳ目標方向は（図示せぬ）パンチルト機構を使用して変化され、ワークピース内の別の領域を見るようにカメラ４０を回転させ、ここで、新しい視野領域は、部分的に、（図１４Ｂで示される）以前の視野領域に重なり得、その後、環境の２つの画像が前と同じようにインジケータライトがサイクルされる（ｃｙｃｌｅｄ）間に取得される。インジケータライトの目標方向の回転及びサイクリングを含んだこの探索プロセスは、マーカーパターンが環境内に配置されるまで継続する。（図１４Ｃで示される）最後のステップは、目標方向をライトの範囲の間の中心に置き、その後、カメラの視野（θ_２）を狭くしてライトの全てを収める。

対象物体の動作がコンピュータによって制御可能である場合に、その後、以下の付加的なステップが実行され得る。すなわち、（１）対象物体の現在の場所に対して必要とされる補正動作を計算するステップ、（２）対象物体の動作を制御する搭載型のプロセッサ又は複数のプロセッサに対する場所における望ましい変化を表すデータを送るステップ、（３）補正された場所に向かって移動する際に、対象物体の増分動作を追跡するステップ、及び（４）増分動作測定システムが、対象物体が補正された場所に到達したことを示した後に、対象物体が停止し、その後、対象物体の新しい現在の場所及び補正された場所が構成可能な許容範囲内にあることを確認するために、絶対測定プロセスが再び実行され得る。

図７は、単一のコンピュータ４８が複数のプロセスを実行するシステム構成を示すブロック図である。（代替的に、各々プロセスは、個別のコンピュータ又はプロセッサで実行され得る。）単一のコンピュータ４８は、実行されたときに、コンピュータがＬＰＳコントローラ２６として動作することを可能にするＬＰＳ制御ソフトウェア、画像処理ソフトウェア２８、及び実行されたときにコンピュータが履帯コントローラ３２として動作することを可能にする履帯制御ソフトウェアがプログラムされる。システムオペレーターは、コンピュータのキーボード、又は他のユーザインターフェースハードウェア３６（例えば、ゲームパッド）によって、コンピュータ４８と相互作用する。

ＬＰＳコントローラ２６は、レーザー測距器、ビデオカメラ、及びパンチルト機構を含んだ、ＬＰＳハードウェア２２の動作を制御する。図７の破線の矢印は、履帯自動車のアクティブ標的マーカーによって生成され、（画像取得ステップの間に）ビデオカメラによって見られるライトを表し、測定プロセスの間にＬＰＳハードウェア２２のレーザー測距器へ向かう、目標から反射されたレーザービームも同様である。

画像処理ソフトウェア２８は、図５Ａで示されたステップ１１０の実行に含まれる動作、すなわち、歪機能補正、画像差分、画像分割、及び各々の画像セグメントの重心の画素座標を計算することを実行する。システムは、更に、取得された画像を表示するための表示モニター３４を備える。

履帯コントローラ３２は、インジケータライトの起動、メカナムホイールの１つのセットの回転を駆動するステッピングモーターの制御、及び吸引装置の制御を含んだ、履帯自動車１０の動作を制御する。履帯自動車は、更に、図１を参照して以前に説明されたように、全方向車輪の１セット、及び車輪回転エンコーダの対応するセットを備え得る。エンコーダカウントを表すエンコーダパルスは、車輪回転エンコーダから、電気ケーブルを介して履帯電子システム１６のデータ取得装置１８に送られる。履帯自動車１０は、同じ電気ケーブルを介して、履帯電子システム１６の電源２０から電力を受信する。

履帯自動車１０が移動している間に、データ取得装置１８は、エンコーダカウントを受信し、それらを、コンピュータ４８が受け入れ可能なフォーマットを有する信号へ変換する。エンコーダカウントデータに基づいて、履帯コントローラ３２は、絶対角度θ、及び各々の更新ステップにおける履帯自動車１０の相対位置の変化ΔＰ_ｘ及びΔＰ_ｙを計算し、その後、絶対角度及び相対位置における変化を使用して、履帯自動車上の１つの点の絶対位置Ｐ_ｘ及びＰ_ｙを計算する。その後、θ、ΔＰ_ｘ及びΔＰ_ｙを使用して、米国特許出願番号１３／７９６，５８４で開示された回転行列を使用して、絶対位置が計算され得る。

履帯コントローラ３２が、エンコーダカウントが、履帯自動車１０がその目標の場所に到達したことを示すと決定した場合に、履帯コントローラ３２は、履帯自動車１０に停止するように指示命令する（図５Ａのステップ１０２）。その後、ＬＰＳコントローラ２６は、ＬＰＳハードウェア２２に、ビデオカメラが対象物体を狙うようにパン及びチルト角度を調整するように指示命令し（図５Ａのステップ１０４）、その後、基準画像を取得するように指示命令する（図５Ａのステップ１０６）。履帯コントローラ３２は、その後、履帯自動車１０に搭載されたライトを起動し、その後、ＬＰＳコントローラ２６が、ＬＰＳハードウェア２２にインジケータ画像を取得させるように指示命令する（図５Ａのステップ１０８）。コンピュータは、その後、インジケータ画像内のライトの画素座標を計算する画像処理ルーチンを実行する（図５Ａのステップ１１０）。ＬＰＳコントローラ２６は、その後、画像内の各々のセグメントの重心位置の場所に対するそれぞれのパン及びチルト角度を計算し（図５Ａのステップ１１２）、各々のアクティブ標的マーカーに対する距離、パン、及びチルトデータを取得し（図５Ａのステップ１１４）、かつ各々の測定された点に対するデカルト座標を計算する（図５Ｂのステップ１１６）。図５Ｂで示されたステップ１１８、１２０、及び１２２を実行するためのルーチンは、ＬＰＳ制御ソフトウェア、画像処理ソフトウェア、又は個別のソフトウェアモジュールの一部であり得る。

最初にＬＰＳビデオカメラを対象物体に向けることは、増分車輪エンコーダデータを含んだ場所特定プロセスによって提供された履帯自動車の推定された場所についての情報を使用して実行されることができる。画像処理及び測定が実際の場所を決定するので、この狙う方向は近似的であっても差し支えない。初期的な推定された場所が、アクティブ標的マーカーの全体のセットを含んだカメラ視野を提供しない場合に、カメラ視野における調整は、図１４Ａ‐Ｃを参照して説明されたセンタリングプロセス及びフレーミングプロセスに類似して、全てのアクティブ標的マーカーが見えるように、視野の再センタリングと共に行われ得る（例えば、ズームレベルを広げる）。

上述された技術は、また、ワークピース（本明細書中で、以後、「部品」）に対するロボットアームの位置及び方向を決定するために使用され得る。図８で示されるように、局所的測位システムが、部品９０と、その遠位端部上のエンドエフェクタ８８を運び得るロボットアーム８６のベース８４との間の相対的なオフセットを決定するために使用され得る。ロボットコントローラ８０は、ロボットアーム８６を制御し、部品９０の機械研削作業を実行するためにエンドエフェクタ８８を動作させる。

基本的なプロセスのシークエンスは以下の通りである。すなわち、（１）局所的測位システムは、部品の３つの既知の点９２ａ‐ｃを測定することによって、部品９０の座標系に対して較正を行う。（２）局所的測位システムは、ロボットベース８４の３つの既知の点９４ａ‐ｃを測定する。（３）コンピュータ４８で実行されるＬＰＳ制御ソフトウェアは、部品９０の座標系に対するロボットベース８４の場所を計算する。（４）コンピュータ４８は、場所データをロボットコントローラ８０に送る。

コンピュータ４８のＬＰＳ制御ソフトウェアは、Ｘ、Ｙ、及びＺの値として点データを出力するが、制御アプリケーションは、部品の位置及び方向を提供するために、Ｘ、Ｙ、及びＺデータだけではないそれ以上の点を必要とする。位置及び方向の問題を解くために、３つの測定された点９２ａ‐ｃ及び３つの点の既知の寸法からのＸ、Ｙ、及びＺデータが使用されて、完全な６次元の自由度の位置及び方向の表現を計算する。これは、以前に説明された場所特定ソフトウェアが行うものである。場所特定ソフトウェアが使用する位置及び方法のフォーマットは４×４の変換行列であるが、データを表現するための他の方式が存在する。

上述の場所特定方法は、また、履帯自動車以外のロボットシステムに対するアプリケーションを有する。製造作業のために使用される商業的なロボットアプリケーションは、作業セルの原点に対するロボット及び他の部品の場所を規定するための方法を有する。これは、位置及び方向の両方のオフセット精細（ｏｆｆｓｅｔｔ ｄｅｆｉｎｉｔｉｏｎ）を含む。以下のものなどのような、このオフセット情報を規定するための多くの同等な方法が存在する。すなわち、４×４の変換行列、五列丁＋変換（ｑｕａｔｅｒｎｉｏｎｓ＋ｔｒａｎｓｌａｔｉｏｎ）、角度‐軸＋変換、又はオイラー角＋変換である。上述された場所特定プロセスは、修正されて、受け入れ可能ないかなるフォーマットにおいてもロボットコントローラ８０に出力することができる。

ソケット接続がコンピュータ４８からロボットコントローラ８０にデータを移送するために使用され得るが、購入可能なアプリケーションに対しては、あるファイルが同等に上手く働き得る。幾つかのコントローラは、ソケットを介して入ってくるデータを受け入れるＡＰＩを有し得、他のコントローラは、オフセットデータがファイルから読まれることを可能にするのみである。したがって、幾つかの実施形態によれば、ファイル共有アプローチが使用され得る。

（図９で描かれる）手動点測定を使用する１つの例示的な手順は、以下のようなものである。すなわち、（１）部品９０の３つの可視基準点９２ａ‐ｃを取得及び記憶し（ステップ６０）、ロボットベース８４の可視基準点９４ａ‐ｃを取得及び記憶し（ステップ６８）（ステップ６０及び６８は、基準点の各々のセットに対して一度に実行される）、（２）部品が望ましい場所にある場合に、局所的測位システムを使用して、部品９０の３つの基準点９２ａ‐ｃの測定値を取得し（ステップ６２）（これは、標準ＬＰＳ較正と同等である）、（３）ロボットベースが望ましい場所にある場合に、局所的測位システムを使用して、ロボットベース８４の３つの基準点９４ａ‐ｃの測定値を取得し（ステップ７０）、（４）場所特定プロセス６４を使用して、ロボットベース８４に対する部品９０の位置及び方向のオフセットを計算し、かつ（５）位置及び方向のオフセットデータをロボットコントローラ８０に送る（ステップ６６）。

自動化された点測定のための例示的な手順は、以下の通りである。すなわち、（１）部品９０の３つの可視基準点９２ａ‐ｃ及びロボットベース８４の３つの可視基準点９４ａ‐ｃを取得及び記憶し（これは、基準点の任意のセットに対して一度に行われる）、可視基準点は規定されたＬＥＤの場所にあり、（２）局所的測位システムを使用して、ＬＥＤがオンされた部品９０のＬＥＤパターンの１つの画像を取得し、ＬＥＤがオフされた部品９０の別の画像を取得し、（３）局所的測位システムを使用して、部品９０の点を自動的に測定して、測定された点を既知の点と比較し、（４）局所的測位システムを使用して、ＬＥＤがオンされたロボットベース８４のＬＥＤパターンの１つの画像を取得し、ＬＥＤがオフされたロボットベース８４の別の画像を取得し、（５）局所的測位システムを使用して、ロボットベース８４の点を自動的に測定して、測定された点を既知の点と比較し、（６）場所特定プロセスを使用して、ロボットベース８４に対する部品９０の位置及び方向のオフセットを計算し、かつ（７）位置及び方向のオフセットデータをロボットコントローラ８０に送る。

上述の方法は、各々の作業シークエンスの開始において使用され得、ロボットアームのベース及びワークピースの相対的な位置を規定する。ロボットコントローラは、（他のセンサ及び運動学的データを使用して）ロボットベースに対するエンドエフェクタの位置及び方向を計算することができる。基準座標系がワークピースの座標系である場合に、そのとき、図８で示されるシステムは、ワークピース座標系内のロボットアームのベース（及びエンドエフェクタ）の位置を決定することができる。逆に、基準座標系がロボットベースの座標系である場合に、そのとき、システムは、ロボットベース座標系内のワークピースの位置を決定することができる。

要約すると、開示された場所追跡システムは、単一のカメラを使用して、走行距離計測法ベースの追跡に統合されることができ、（測定のシークエンスが位相シフトされる場合に、連続的な方式で）複数の物体を追跡することができる。エンコーダベースの走行距離計測法に統合される場合に、システムは、間欠的な閉塞（ｉｎｔｅｒｍｉｔｔｅｎｔ ｏｃｃｌｕｓｉｏｎ）を許容することができる。また、システムは、磁場又は鉄鋼材によって影響されない。

場所追跡方法が、様々な実施形態を参照しながら説明されてきたが、当業者は、本明細書の教示の範囲から逸脱することなく様々な変形例が可能であること、及びその要素を同等物に置換することが可能であることを理解するだろう。加えて、多くの変形例は、特許請求の範囲から逸脱することなく、特定の状況に対して本明細書の中の教示を適合するように作られることができる。したがって、特許請求の範囲は、本明細書中で開示された特定の実施形態に限定されるものではないことが意図される。

特許請求の範囲の中で使用されるように、「コンピュータシステム」という用語は、少なくとも１つのコンピュータまたはプロセッサを有するシステムを包含するように広く解釈されるべきであり、かつそれはネットワーク又はバスを介して通信する複数のコンピュータ又はプロセッサを有し得る。前文で使用されるように、「コンピュータ」及び「プロセッサ」という用語の両方は、処理ユニット（例えば、中央処理ユニット）及び処理ユニットによって読まれることができるプログラムを記憶するための何らかの形のメモリ（すなわち、コンピュータ可読媒体）を有する装置に言及する。

本明細書中で使用されるように、「場所」という用語は、固定された３次元座標系内の位置、及び座標系に対する方向を含み、「アクティブ標的マーカー」という用語は、起動されることが可能な標的マーカーを意味する（すなわち、「アクティブ標的マーカー」は、起動された状態と起動されていない状態との間でスイッチされることができる）。

以後に説明される方法クレームは、そこで挙げられているステップが、アルファベット順に（特許請求の範囲の中のアルファベットの順序は、以前に挙げたステップを参照するという目的のためだけに使用されている）、又はそれらが挙げられる順序で実行されることを要求すると解釈されるべきではない。またそれらは、２つ以上のステップのいかなる部分も、同時に、又は入れ替えて実行することを排除すると解釈されるべきでもない。

（付録）
図１０は、計器座標システム｛Ａ｝の原点から、計器の目標点軸に実質的に沿って関心点Ｐへ延伸する位置ベクトル^ＡＰを示し、対象物体座標系｛Ｂ｝の原点から、関心点Ｐへ延伸する位置ベクトル^ＢＰを示す。
図１０を参照すると、計器座標系６２２における点Ｐの座標が、パン（すなわち、点Ｐに対するベクトル^ＡＰの図１０におけるパン角度６３４）、チルト（点Ｐに対するベクトル^ＡＰの図１０におけるチルト角度６３６）、及び距離（図１０における点Ｐに対するベクトル^ＡＰに沿った距離）の球座標である場合に、計器座標系６２２における球座標として表される点Ｐの位置は、計器６１８の順運動学に対する以下の方程式から、計器座標系６２２内のＸ、Ｙ、Ｚデカルト座標における点Ｐの位置に関連する。すなわち、

ここで、計器座標系６２２において、パン（アジマス）はＺ軸周りの回転であり、チルト（仰角）はＹ軸周りの回転である。
計器座標系６２２におけるデカルト座標（Ｘ、Ｙ、Ｚ）として表される点Ｐの位置は、計器６１８の逆運動学に対する以下の方程式から、計器座標系６２２における球座標（パン、チルト、距離）として表される点Ｐの位置に関連することに留意せよ。すなわち、

一実施態様では、対象物体座標系６１６内の（［Ｘ、Ｙ、Ｚ、１］^Ｔの形における列ベクトルとして表される）位置^ＢＰは、方程式から計器座標系６２２内の（また、［Ｘ、Ｙ、Ｚ、１］^Ｔの形における列ベクトルである）位置^ＡＰから計算される。すなわち、

ここで、Ｔは較正行列である。一実施例では、較正行列は、以下の形を有する４×４の同次変換行列である。すなわち、

計器座標系６２２における位置^ＡＰは、以下の方程式から較正行列の逆行列を使用して、対象物体座標系６１６における位置^ＢＰから計算され得る。すなわち、

変換行列^Ｂ _ＡＴは、以下のように計算される。較正点に対するベクトルの方向及び長さが既知である状況に対して、較正点の最小数は３であり、それらは一直線上にないと想定する。基本的な３つの点の技術は以下の通りである。すなわち、

ここで、図１１から図１３を参照すると、
^→Ｖ_Ａ１２は、点Ｐ_Ａ１からＰ_Ａ２へ延伸する、座標系Ａにおけるベクトルである。
^→Ｖ_Ａ１３は、点Ｐ_Ａ１からＰ_Ａ３へ延伸する、座標系Ａにおけるベクトルである。
^→Ｖ_Ｂ１２は、点Ｐ_Ｂ１からＰ_Ｂ２へ延伸する、座標系Ａにおけるベクトルである。
^→Ｖ_Ｂ１３は、点Ｐ_Ｂ１からＰ_Ｂ３へ延伸する、座標系Ａにおけるベクトルである。
^→ｎ_Ａ及び^→ｎ_Ｂは、ベクトルの外積から生成される法線である。
^→ｋ_１及び^→ｋ_２は、回転の軸である。
θ_１及びθ_２は、それぞれ、軸^→ｋ_１及び^→ｋ_２周りの回転角度である。
Ｒ_１、Ｒ_２、及びＲ_３は、３×３の対称回転行列である。かつ、
（当業者に既知であり、例えば、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｐｒｏｆｅｓｓｉｏｎａｌ Ｔｅｃｈｎｉｃａｌ Ｒｅｆｅｒｅｎｃｅによって２００４年の７月に出版された、Ｊｏｈｎ Ｊ Ｃｒａｉｇによる「Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｒｏｂｏｔｉｃｓ Ｍｅｃｈａｎｉｃｓ ａｎｄ Ｃｏｎｔｒｏｌ」第３版において説明される）ｆ_１（）は、以下で説明される軸‐角度の規定から３×３の回転行列を生成する関数である。すなわち、

方程式（２）の変換行列におけるＸ、Ｙ、及びＺは、初期的な位置から現在の位置への対称物体座標系の原点の位置における差異に基づいて計算される。
４×４の同次較正行列^Ｂ _ＡＴのみが、対象物体に対する指示計器の任意の位置に対して一度計算され、^Ｂ _ＡＴは、その後、座標系Ａ（計器座標系６２２）からの任意の数のベクトルを座標系Ｂ（対象物体座標系６１６）へ変換するために使用され得ることに留意せよ。逆較正行列^Ａ _ＢＴが、較正行列^Ｂ _ＡＴの逆行列を計算することによって計算され得、又は方程式内のベクトルの順序をスイッチングすることによって直接的に計算され得ることにもまた留意せよ。

Claims (19)

1. 対象物体に、既知のパターンで配置された少なくとも３つのアクティブ標的マーカーが装備された場合に、基準座標系内で前記対象物体の現在の場所を決定するための方法であって、
   （ａ）前記基準座標系に対するカメラの場所を規定するステップ、
   （ｂ）前記カメラが前記対象物体の中心を狙い、前記アクティブ標的マーカーが起動されていない間に、画像を取得するステップ、
   （ｃ）前記カメラが前記対象物体の中心を狙い、前記アクティブ標的マーカーの１以上が起動されている間に、１以上の画像を取得するステップ、
   （ｄ）前記画像を処理して、前記アクティブ標的マーカーの全てが起動されていなかった間に取得された前記画像と、前記アクティブ標的マーカーの１以上が起動されていた間に取得された画像との間の差異を表す差異画像を計算するステップ、
   （ｅ）それぞれのアクティブ標的マーカーに対応する前記差異画像内の前記差異に対するそれぞれの平均画素座標を計算するステップ、
   （ｆ）それぞれのアクティブ標的マーカーに対して、少なくとも、前記対象物体が前記カメラの画像視野内の中心に置かれたときのパン及びチルト角度、及び前記それぞれの平均画素座標と前記画像の中心の画素座標との間の差異の関数であるそれぞれのパン及びチルト角度によって規定された方向に、レーザー測距器を向け、レーザービームを送信するステップ、
   （ｇ）それぞれのアクティブ標的マーカーに対して、それぞれのレーザービームの送信に後続してそれぞれの距離、パン及びチルトデータを取得するステップ、
   （ｈ）測定された前記距離、パン及びチルトデータに基づいて、前記基準座標系内の前記アクティブ標的マーカーに対応するそれぞれの点の座標を計算するステップ、並びに
   （ｉ）点の座標が測定されたデータから計算されたところの前記それぞれの点のそれぞれの位置を、前記既知のパターン内に配置されたそれぞれの点のそれぞれの位置と比較して、前記基準座標系に関して規定された前記対象物体の現在の位置及び方向を決定するステップを含む、方法。
2. ステップ（ｃ）は、少なくとも３つのアクティブ標的マーカーが起動されている間に、１つの画像を取得することを含む、請求項１に記載の方法。
3. ステップ（ｃ）は、第１、第２、及び第３のアクティブ標的マーカーが次々に起動されている間に、それぞれの画像を取得することを含む、請求項１に記載の方法。
4. ステップ（ｄ）は、
   前記差異に基づいて前記アクティブ標的マーカーに対応する個別の領域を含むように前記差異画像を分割すること、及び
   前記アクティブ標的マーカーに対応する各々の個別の領域のそれぞれの重心に対する前記差異画像内のそれぞれの平均画素座標を計算することを含む、請求項１から３のいずれか一項に記載の方法。
5. 前記点の間の相対的な距離に基づいて点パターンを測定すること、及び
   測定された点パターンと既知の点パターンとの間の差異に基づいて、前記基準座標系内の前記対象物体の場所を表す第１の変換行列を計算することを含む、請求項１から４のいずれか一項に記載の方法。
6. 前記既知の点パターンは、非対称である、請求項５に記載の方法。
7. 前記対象物体を初期的な場所に配置すること、
   前記基準座標系に対する前記対象物体の前記初期的な場所を表す第２の変換行列を計算すること、
   前記対象物体を前記初期的な場所から現在の場所に移動させること、
   前記第２の変換行列の逆行列を計算すること、及び
   前記第１の変換行列と前記第２の変換行列の前記逆行列との積を計算することを更に含み、前記積は、前記対象物体の前記初期的な場所に対する前記対象物体の前記現在の場所を表す第３の変換行列である、請求項５又は６に記載の方法。
8. 前記初期的な場所から前記現在の場所への移動の間に、前記対象物体の増分動作に応じてエンコーダパルスを生成することを更に含む、請求項７に記載の方法。
9. 少なくとも３つのアクティブ標的マーカーが装備された対象物体のための場所追跡システムであって、
   パンチルト機構、
   前記パンチルト機構に設置されたカメラ及びレーザー測距器、並びに
   前記カメラ、前記レーザー測距器、及び前記パンチルト機構を制御するためのコンピュータシステムであって、前記パンチルト機構に前記カメラを前記対象物体に向けさせるように指示命令し、前記カメラに前記対象物体の画像を取得させるように指示命令し、前記カメラによって取得された画像を処理して、前記アクティブ標的マーカーが起動されていなかった間に取得された画像と、１つ以上の前記アクティブ標的マーカーが起動されていた間に取得された各々の画像との間の差異を表す差異画像を計算し、
   前記少なくとも３つのアクティブ標的マーカーの状態を制御するために、前記対象物体の動作と前記少なくとも３つのアクティブ標的マーカーの状態とを制御する、コンピュータシステムを備える、場所追跡システム。
10. 前記対象物体は、履帯自動車を含む、請求項９に記載のシステム。
11. 前記履帯自動車は、ホロノミックな動作の履帯自動車である、請求項１０に記載のシステム。
12. 前記履帯自動車の増分動作を追跡するための手段を更に備える、請求項１１に記載のシステム。
13. 前記対象物体は、ロボットアームのベースを備える、請求項９に記載のシステム。
14. パンチルト機構、
    前記パンチルト機構に設置されたカメラ及びレーザー測距器、
    既知のパターンで配置された少なくとも３つのアクティブ標的マーカーが装備された対象物体、及び
    コンピュータシステムであって、
    前記パンチルト機構のパン及びチルト角度を調整して、前記カメラが、前記カメラの画像視野内で前記アクティブ標的マーカーを有する前記対象物体の中心を狙うようにする動作、
    前記カメラが前記対象物体の中心を狙い、かつ前記アクティブ標的マーカーが起動されていない間に、画像を取得するように前記カメラに指示命令する動作、
    前記カメラが前記対象物体の中心を狙い、かつ前記アクティブ標的マーカーの１以上が起動されている間に、１以上の画像を取得するように前記カメラに指示命令する動作、
    前記画像を処理して、前記アクティブ標的マーカーの全てが起動されていなかった間に取得された画像と、前記アクティブ標的マーカーの１以上が起動されていた間に取得されたそれぞれの画像との間の差異を表す差異画像を計算する動作、
    それぞれのアクティブ標的マーカーに対応する前記差異画像内の前記差異に対するそれぞれの平均画素座標を計算する動作、
    それぞれのアクティブ標的マーカーに対して、少なくとも、前記対象物体が前記カメラの画像視野内の中心に置かれたときのパン及びチルト角度、及び前記それぞれの平均画素座標とインジケータ画像の中心の画素座標との間の差異の関数であるそれぞれのパン及びチルト角度において向けられた、それぞれのレーザービームを送信させるように前記レーザー測距器に指示命令する動作、
    それぞれのアクティブ標的マーカーに対して、それぞれのレーザービームの送信に後続してそれぞれのパンチルトデータを取得させるように前記パンチルト機構に指示命令し、それぞれのレーザービームの送信に後続してそれぞれの距離データを取得させるように前記レーザー測距器に指示命令する動作、及び
    測定された距離、パン及びチルトデータに基づいて、基準座標系内の前記アクティブ標的マーカーに対応するそれぞれの点の座標を計算する動作、並びに
    点の座標が測定されたデータから計算されたところの前記それぞれの点のそれぞれの位置を、前記既知のパターン内に配置されたそれぞれの点のそれぞれの位置と比較して、前記基準座標系に関して規定された前記対象物体の現在の位置及び方向を決定する動作を実行するようにプログラムされた、コンピュータシステムを備える、場所追跡システム。
15. 前記アクティブ標的マーカーは、発光ダイオードである、請求項１４に記載のシステム。
16. 前記コンピュータシステムは、
    前記点の間の相対的な距離に基づいて点パターンを測定する動作、及び
    前記測定された点パターンと既知の点パターンとの間の差異に基づいて、前記基準座標系内の前記対象物体の場所を表す第１の変換行列を計算する動作を実行するように更にプログラムされている、請求項１４又は１５に記載のシステム。
17. 前記対象物体は、履帯自動車を含む、請求項１４から１６のいずれか一項に記載のシステム。
18. 前記履帯自動車は、ホロノミックな動作の履帯自動車であり、前記システムは、前記履帯自動車の増分動作を追跡するための手段を更に備える、請求項１７に記載のシステム。
19. 前記対象物体は、ロボットアームのベースを備える、請求項１４から１６のいずれか一項に記載のシステム。
    
    
    
    
    
    
    
    
    
    

Images