JP5469899B2 - 自動追尾方法及び測量装置 - Google Patents

Description

本発明は自動追尾方法及び追尾機能を有する測量装置に関するものである。

従来より距離測定、水平角、鉛直角の測定を行う測量装置として、追尾機能を有する測量装置があり、斯かる測量装置では、該測量装置が具備する視準望遠鏡によりコーナキューブ等の対象反射体（ターゲット）を視準し、視準望遠鏡から追尾光を射出し、前記ターゲットからの反射光を受光検出する様になっており、ターゲットが移動した場合には、ターゲットからの反射光の受光位置と視準中心とのずれを検出し、ずれに基づき、視準方向を修正し、ターゲットを自動的に追尾する様になっている。

通常、追尾機能を有する測量装置では測量装置側は無人で、ターゲットは測量作業者によって支持され、或はターゲットがブルドーザ等の建設機械に取付けられ、作業の進行に対応してターゲットが移動し、移動するターゲットを測量装置が追尾している。

ところが、ターゲットの移動速度が測量装置の追従速度を超え、視準望遠鏡の視野からターゲットが外れてしまった場合、窓ガラス等の反射物体からの反射光が測量装置に入射した場合、ターゲットがすれ違い、２以上のターゲットからの反射光が前記測量装置に入射した場合、或は自動車等がターゲットの前を通過し、反射光を遮った場合等では、測量装置がターゲットを見失い、或は誤認識し、追尾を行うことができず、自動追尾が中断することがある。

これは、一般的な視準望遠鏡では、画角（視野角）が約１°と小さい為であり、自動追尾の為の反射光の検出範囲が小さいことに起因している。

追尾が中断すると、測量装置はターゲットを探索（サーチ）する動作を開始するが、探索動作は追尾光を射出した状態で視準望遠鏡を上下方向、左右方向に所定範囲回転させることで走査し、ターゲットを検出する。

ところが上記した様に、前記視準望遠鏡の画角（視野角）は約１°と小さく、ターゲットを再検出するには、走査ピッチを細かくし、走査回数を多くする必要がある。この為、追尾が中断した場合には、再度ターゲットを検出し、追尾が開始できる様になるには多大な時間を要していた。更に、障害物による光路の遮断が頻繁に生じる作業環境では、測定の作業効率が著しく低下するという問題があった。

又、ターゲットが視準望遠鏡の視野から大きく外れた場合等では、ターゲットを再検出できず、測量作動自体が停止することもある。

尚、追尾機能を有する測量装置としては、特許文献１、特許文献２、特許文献３に示されるものがある。

特開平７−１９８３８３号公報 特開２０００−３４６６４５号公報 特開２００４−１７０３５４号公報

本発明は斯かる実情に鑑み、追尾機能を有する測量装置に於いて、複数の反射光が入射した場合、或は対象反射体以外の物体からの反射光を検出した場合に、対象反射体の誤認識による誤測定を防止し、又対象反射体を見失った場合、対象反射体の再検出が迅速に行え、自動追尾に復帰する時間を短縮して測定作業の効率を向上させるものである。

本発明は、移動体に支持されたターゲットからの光点を検出する光点検出工程と、前記ターゲット及び前記移動体の動画像を撮像する工程と、前記光点検出に基づきトラッキングする工程と、該トラッキングと並行して前記動画像に基づき画像トラッキングする工程と、前記トラッキングにより得られるターゲット位置と前記画像トラッキングにより得られる画像位置とを比較する工程と、前記ターゲット位置と前記画像位置が所定範囲内にある場合に前記トラッキングの結果に基づき追尾を行う工程を含む自動追尾方法に係るものである。

又本発明は、前記トラッキングする工程が、レーザ光線を照射し、前記移動体に支持された前記ターゲットからの前記光点を検出するレーザトラッキング工程である自動追尾方法に係るものである。

又本発明は、前記トラッキングする工程が、前記移動体に支持された前記ターゲットが発光することによる前記光点を検出する発光ターゲットトラッキング工程である自動追尾方法に係るものである。

又本発明は、前記ターゲット位置と前記画像位置とが所定範囲内にない場合、又は前記光点が検出されず前記ターゲット位置が得られない場合は、前記画像トラッキングを続行し、前記画像位置に基づき所定範囲を前記レーザ光線によりターゲットサーチを行う工程を有する自動追尾方法に係るものである。

又本発明は、前記動画像中の前記移動体の画像からテンプレート画像を抽出し、該テンプレート画像からヒストグラムを作成し、該ヒストグラムに基づき前記画像トラッキングが実行される自動追尾方法に係るものである。

又本発明は、前記ヒストグラムは、色彩、又は明度のヒストグラムである自動追尾方法に係り、又前記ヒストグラムは、エッジ処理して得られるエッジの勾配のヒストグラムである自動追尾方法に係るものである。

又本発明は、前記画像トラッキングには、パーティクルフィルタが用いられる自動追尾方法に係り、又前記パーティクルフィルタは、前記テンプレート画像の周辺に多くのパーティクルを生成し、そのパーティクルの重み付き平均値で前記テンプレート画像の位置を求める自動追尾方法に係り、前記ターゲットの測距データ、測角データに基づき前記移動体の速度、移動方向を判定し、前記移動体の動きに応じたパーティクルの発生位置を制御する自動追尾方法に係り、更に又、一時刻前の位置と現在位置の差、又は尤度の値に基づきパーティクルの発生を制御する自動追尾方法に係るものである。

又本発明は、移動体に支持されたターゲット及び前記移動体の動画像を撮像する工程と、前記動画像に基づき前記ターゲットのトラッキングを行うターゲットトラッキング工程と、前記動画像に基づき前記移動体のトラッキングを行う移動体トラッキング工程と、前記ターゲットトラッキング工程により得られたターゲット位置と前記移動体トラッキング工程により得られた移動体位置とを比較するトラッキング比較工程と、前記ターゲット位置と前記移動体位置が所定範囲内にある場合に前記トラッキング工程の結果に基づき追尾を行う工程を含む自動追尾方法に係るものである。

又本発明は、移動体により支持されたターゲットからの反射光を受光する第１撮像部と、前記ターゲット及び前記移動体の動画像を撮像する動画像撮像部と、前記第１撮像部及び前記動画像撮像部の視準方向を水平方向、鉛直方向に移動させる駆動部と、前記第１撮像部からの画像に基づき光点を検出する光点検出処理部と、前記動画像撮像部の撮像画像に基づき画像トラッキングの為の画像処理を行う画像追尾処理部と、前記光点検出処理部及び前記画像追尾処理部の処理結果に基づき前記第１撮像部、前記動画像撮像部をターゲットに向ける様前記駆動部を制御する制御演算部とを具備し、該制御演算部は前記光点検出処理部から検出結果を基にトラッキングを行い、前記画像追尾処理部からの処理結果を基に前記トラッキングと並行して前記画像トラッキングを行う様、前記駆動部を制御する測量装置に係るものである。

前記トラッキングが、レーザ光線を照射し、前記移動体に支持された前記ターゲットからの反射光を検出するレーザトラッキングである測量装置に係るものである。

前記トラッキングが、前記移動体に支持された前記ターゲットが発光することによる前記光点を検出する発光ターゲットトラッキングである測量装置に係るものである。

又本発明は、前記制御演算部は、レーザトラッキングで得られる前記光点位置と前記画像トラッキングで得られる前記画像位置とが所定範囲内にある場合は、前記レーザトラッキングで得られる結果で前記ターゲットを認識する測量装置に係り、又前記制御演算部は、前記レーザトラッキングで得られる前記光点位置と前記画像トラッキングで得られる前記画像位置とが所定範囲内にない場合、或は前記光点位置が得られない場合は、前記画像トラッキングで得られた画像位置に基づき所定範囲内をレーザ光線によりサーチし、前記ターゲットを検出する様、前記駆動部を制御する測量装置に係り、又前記制御演算部はパーティクルフィルタ処理プログラムを有し、前記画像追尾処理部はパーティクルフィルタによって画像追尾処理を行う測量装置に係り、又前記制御演算部は、前記動画像撮像部の画像から移動体画像を抽出し、該移動体画像からヒストグラムを作成し、該ヒストグラムによって移動体の判別を行う測量装置に係り、又前記制御演算部は、前記パーティクルフィルタにより、移動体画像の周辺に多くのパーティクルを生成し、該パーティクルの尤度の重み付き平均値により画像位置を求める測量装置に係り、又前記制御演算部は、測距データ、測角データに基づき前記移動体の速度、移動方向を判定し、前記移動体の動きに応じてパーティクルの発生を制御する測量装置に係り、又前記制御演算部は、一時刻前の位置と現在位置の差又は尤度の値に基づいてパーティクルの発生を制御する測量装置に係り、又前記ヒストグラムは、色彩のヒストグラム、明度のヒストグラム、エッジ勾配のヒストグラムの少なくとも１つである測量装置に係るものである。

更に又本発明は、移動体に支持されたターゲットの動画像を撮像する第１撮像部と、前記ターゲット及び前記移動体の動画像を撮像する動画像撮像部と、前記第１撮像部及び前記動画像撮像部の視準方向を水平方向、垂直方向に移動させる駆動部と、前記第１撮像部からの画像に基づき前記ターゲットのトラッキングを行うターゲットトラッキング画像処理部と、前記動画像に基づき前記移動体のトラッキングを行う移動体画像追尾処理部と、前記ターゲットトラッキング画像処理部及び前記移動体画像処理部の処理結果に基づき前記第１撮像部、前記動画像撮像部をターゲットに向ける様、前記駆動部を制御する制御演算部とを具備し、前記制御演算部は前記ターゲットトラッキング画像処理部からの検出結果を基にターゲットのトラッキングを行い、前記移動体画像追尾処理部からの処理結果を基に前記ターゲットトラッキングと平行して前記移動体のトラッキングを行う様、前記駆動部を制御する測量装置に係るものである。

本発明によれば、移動体に支持されたターゲットからの光点を検出する光点検出工程と、前記ターゲット及び前記移動体の動画像を撮像する工程と、前記光点検出に基づきトラッキングする工程と、該トラッキングと並行して前記動画像に基づき画像トラッキングする工程と、前記トラッキングにより得られるターゲット位置と前記画像トラッキングにより得られる画像位置とを比較する工程と、前記ターゲット位置と前記画像位置が所定範囲内にある場合に前記トラッキングの結果に基づき追尾を行う工程を含むので、ターゲットの追尾精度が向上し、ターゲットの誤認識に基づく誤測定が防止できる。

又本発明によれば、前記ターゲット位置と前記画像位置とが所定範囲内にない場合、又は前記光点が検出されず前記ターゲット位置が得られない場合は、前記画像トラッキングを続行し、前記画像位置に基づき所定範囲を前記レーザ光線によりターゲットサーチを行う工程を有するので、複数の光点が検出された場合、或はレーザ光線の光路が遮断され光点が検出できなかった場合でも、画像トラッキングで得られた前記画像位置の近傍をサーチすればよいので直ちにターゲットが検出でき、迅速に追尾に復帰できる。

又本発明によれば、前記動画像中の前記移動体の画像からテンプレート画像を抽出し、該テンプレート画像からヒストグラムを作成し、該ヒストグラムに基づき前記画像トラッキングが実行されるので、移動体の姿勢が変った場合、一部が遮断された場合でも、画像トラッキングが可能である。

又本発明によれば、前記ターゲットの測距データ、測角データに基づき前記移動体の速度、移動方向を判定し、前記移動体の動きに応じたパーティクルの発生位置を制御するので、前記移動体が障害物に一時的に隠れた場合でも、画像トラッキングを継続できるという優れた効果を発揮する。

又本発明によれば、移動体に支持されたターゲット及び前記移動体の動画像を撮像する工程と、前記動画像に基づき前記ターゲットのトラッキングを行うターゲットトラッキング工程と、前記動画像に基づき前記移動体のトラッキングを行う移動体トラッキング工程と、前記ターゲットトラッキング工程により得られたターゲット位置と前記移動体トラッキング工程により得られた移動体位置とを比較するトラッキング比較工程と、前記ターゲット位置と前記移動体位置が所定範囲内にある場合に前記トラッキング工程の結果に基づき追尾を行う工程を含むので、ターゲットの追尾精度が向上し、ターゲットの誤認識に基づく誤測定が防止できるという優れた効果を発揮する。

又本発明によれば、移動体により支持されたターゲットからの反射光を受光する第１撮像部と、前記ターゲット及び前記移動体の動画像を撮像する動画像撮像部と、前記第１撮像部及び前記動画像撮像部の視準方向を水平方向、鉛直方向に移動させる駆動部と、前記第１撮像部からの画像に基づき光点を検出する光点検出処理部と、前記動画像撮像部の撮像画像に基づき画像トラッキングの為の画像処理を行う画像追尾処理部と、前記光点検出処理部及び前記画像追尾処理部の処理結果に基づき前記第１撮像部、前記動画像撮像部をターゲットに向ける様前記駆動部を制御する制御演算部とを具備し、該制御演算部は前記光点検出処理部から検出結果を基にトラッキングを行い、前記画像追尾処理部からの処理結果を基に前記トラッキングと並行して前記画像トラッキングを行う様、前記駆動部を制御するので、ターゲットの追尾精度が向上し、ターゲットの誤認識に基づく誤測定が防止できる。

又本発明によれば、前記制御演算部は、前記レーザトラッキングで得られる前記光点位置と前記画像トラッキングで得られる前記画像位置とが所定範囲内にない場合、或は前記光点位置が得られない場合は、前記画像トラッキングで得られた画像位置に基づき所定範囲内をレーザ光線によりサーチし、前記ターゲットを検出する様、前記駆動部を制御するので、複数の光点が検出された場合、或はレーザ光線の光路が遮断され光点が検出できなかった場合でも、前記画像トラッキングで得られた前記画像位置の近傍をサーチすればよいので直ちにターゲットが検出でき、迅速に追尾に復帰できる。

又本発明によれば、前記制御演算部は、前記動画像撮像部の画像から移動体画像を抽出し、該移動体画像からヒストグラムを作成し、該ヒストグラムによって移動体の判別を行うので、移動体の姿勢が変った場合、一部が遮断された場合でも、画像トラッキングが可能である。

又本発明によれば、前記制御演算部は、測距データ、測角データに基づき前記移動体の速度、移動方向を判定し、前記移動体の動きに応じてパーティクルの発生を制御するので、移動体の姿勢が変った場合、一部が遮断された場合でも、画像トラッキングが可能である。

又本発明によれば、移動体に支持されたターゲットの動画像を撮像する第１撮像部と、前記ターゲット及び前記移動体の動画像を撮像する動画像撮像部と、前記第１撮像部及び前記動画像撮像部の視準方向を水平方向、垂直方向に移動させる駆動部と、前記第１撮像部からの画像に基づき前記ターゲットのトラッキングを行うターゲットトラッキング画像処理部と、前記動画像に基づき前記移動体のトラッキングを行う移動体画像追尾処理部と、前記ターゲットトラッキング画像処理部及び前記移動体画像処理部の処理結果に基づき前記第１撮像部、前記動画像撮像部をターゲットに向ける様、前記駆動部を制御する制御演算部とを具備し、前記制御演算部は前記ターゲットトラッキング画像処理部からの検出結果を基にターゲットのトラッキングを行い、前記移動体画像追尾処理部からの処理結果を基に前記ターゲットトラッキングと平行して前記移動体のトラッキングを行う様、前記駆動部を制御するので、ターゲットの追尾精度が向上し、ターゲットの誤認識に基づく誤測定が防止でき、更にターゲットを見失った場合でも、トラッキングを継続して行え、ターゲットのサーチも迅速に行え、ターゲットトラッキングの復帰が容易であるという優れた効果を発揮する。

本発明が実施される測量装置の一例を示す斜視図である。 本発明の実施例に係る測量装置の概略構成図である。 本発明の実施例に於けるトラッキングについての説明図である。 本発明の実施例に於ける作動を示すフローチャートである。 本発明の実施例に於けるレーザトラッキングのフローチャートである。 本発明の実施例に於ける画像トラッキングのフローチャートである。 本発明の実施例に於ける画像トラッキングのフローチャートである。 パーティクルフィルタに於ける尤度の状態を示すグラフである。 本発明の実施例で使用されるターゲットの一例を示す図である。

以下、図面を参照しつつ本発明の実施例を説明する。

図１、図２は本発明が実施される測量装置１を示している。尚、用いられる測量装置１は、例えばトータルステーションであり、測定点についてパルスレーザ光線を照射し、測定点からのパルス反射光を受光して、各パルス毎に測距を行い、測距結果を平均化して高精度の距離測定を行うものである。

図１に示される様に、前記測量装置１は主に、図示しない三脚に取付けられる整準部２、該整準部２に設けられた基盤部３、該基盤部３に鉛直軸心を中心に回転可能に設けられた托架部４、該托架部４に水平軸心を中心に回転可能に設けられた光学部５から構成されている。

前記托架部４は表示部６、操作入力部７を具備し、前記光学部５は、測定対象物を視準する望遠鏡部８と該望遠鏡部８の光学系を通して追尾用の画像を取得する第１撮像部（追尾撮像部）１１と前記望遠鏡部８の光学系を通して視準方向の画像を取得する第３撮像部１３（望遠撮像部）を有している。前記望遠鏡部８は高倍率を有し、該望遠鏡部８の画角は、例えば１゜である。

又前記光学部５は、前記望遠鏡部８より低倍率で広範囲な視野を有する広角カメラ部９を具備している。前記広角カメラ部９は前記望遠鏡部８の視準方向、或は略視準方向の広角画像を取得可能であり、広角画像を取得する第２撮像部（広角撮像部）１２を具備している。前記広角カメラ部９の画角は、例えば１５°〜３０゜である。又、前記望遠鏡部８と前記広角カメラ部９とは光軸が異なっているが、両光軸は平行であり、両光軸間の距離が既知であり、前記広角カメラ部９と前記望遠鏡部８間の視準方向のずれは演算により修正が可能である。

前記第３撮像部１３は、前記望遠鏡部８を透して測定対象物（ターゲット）像を取得するものであり、前記望遠鏡部８の光軸（視準光軸）を中心とした所要範囲（画角１゜）を撮像可能となっている。前記第１撮像部１１は前記望遠鏡部８の光軸を分割した光路上に設けられ、該望遠鏡部８の画角と同等の範囲、例えば画角１゜の範囲を撮像可能となっている。

又、前記第２撮像部１２は、前記広角カメラ部９に組込まれており、前記第３撮像部１３より広い範囲、例えば画角３０°の範囲を撮像可能となっている。前記第２撮像部１２、前記第３撮像部１３はターゲット及びターゲットを支持する物体、或は人を含む範囲についての動画像を撮像する。

前記第１撮像部１１、前記第２撮像部１２、前記第３撮像部１３には撮像画像をデジタル画像信号として出力する。例えばデジタルカメラが用いられ、前記第１撮像部１１、前記第２撮像部１２、前記第３撮像部１３が有する受光素子は、例えば画素の集合体であるＣＣＤ、ＣＭＯＳ等であり、受光する画素の位置が特定でき、又受光する画素の位置から画角が求められる様になっている。尚、前記第２撮像部１２、前記第３撮像部１３で撮像する画像は、カラー画像であることが好ましい。

図２により、前記測量装置１の基本構成について説明する。

前記光学部５は、前記望遠鏡部８の光学系を共有する測距部１４を内蔵し、該測距部１４は測距光を射出すると共に測定対象物からの反射光を受光して測定対象物迄の光波距離測定を行う。

尚、前記測距部１４は、測定対象物がプリズムであった場合はプリズム測定方式、プリズムでない場合はノンプリズム測定方式の切替えが可能となっている。

前記托架部４には、該托架部４を水平方向に回転させる為の水平駆動部１５が設けられると共に前記托架部４の前記基盤部３に対する水平回転角を検出し、視準方向の水平角を検出する水平測角部１６が設けられる。又前記托架部４には、水平軸心を中心に前記光学部５を回転する鉛直駆動部１７が設けられると共に、前記光学部５の鉛直角を検出し、視準方向の鉛直角を測角する鉛直測角部１８が設けられる。

前記托架部４には制御装置２１が内蔵され、該制御装置２１は、前記水平駆動部１５、前記鉛直駆動部１７の駆動を制御して前記托架部４、前記光学部５を水平方向、鉛直方向に回転して該光学部５を所定の方向に向け、又所定の範囲を走査し、前記望遠鏡部８、前記広角カメラ部９の切替え及び前記第１撮像部１１、前記第２撮像部１２、前記第３撮像部１３の切替えを制御して、所要の倍率の画像を取得し、更に前記測距部１４を制御して所定の測定点の測距を行う。

前記制御装置２１は、制御演算部２２、記憶部２３、光点検出処理部２４、第１画像記録部２５、撮像選択部２６、第２画像記録部２７、初期値設定部２８、画像追尾処理部２９、前記表示部６、前記操作入力部７等から構成されている。

前記記憶部２３には測定に必要な計算プログラム、或は後述する第１の画像処理を行う為の画像処理プログラム、処理された画像から測定点（ミラーからの反射光を受光した光点）を選択し、選択された測定点（ターゲット）について測距を実行するプリズム測距プログラム、或はプリズムを用いないで測距する場合のノンプリズム測距プログラム、ノンプリズム測定方式による測距を実行するプログラム等のプログラム、又測定点を追尾するシーケンスプログラム、ターゲットを見失った場合にターゲットを探索する為のサーチプログラム、光点を含むオブジェクトを画像として認識し、オブジェクト画像について追尾する画像追尾プログラム、パーティクルフィルタ処理プログラム等のプログラムが格納されている。

又、前記制御演算部２２には前記測距部１４、前記水平測角部１６、前記鉛直測角部１８からの測定結果が入力され、距離測定、水平角、鉛直角の測定が行われ、測定結果は前記制御演算部２２を介して前記記憶部２３に格納されると共に前記表示部６に表示される様になっている。

又、前記制御演算部２２は、後述する様に動画像に基づく移動体の画像トラッキング（移動体トラッキング）を制御する為、測距データと測角データ（Ｈ，Ｖ）から移動体の速度と方向を判定する。

測定作業者は、測定対象物（プリズム）を視準し、前記第２撮像部１２或は前記第３撮像部１３から得られた画像から測定対象物（プリズム）を含むオブジェクトの選択、設定を行う。選択、設定されたオブジェクトは、画像追尾の対象となる。更に、選択したオブジェクトの特徴部分を選択してテンプレートとして設定する。

前記撮像選択部２６は、測定対象物迄の距離に応じて取得する前記第２撮像部１２と前記第３撮像部１３との切替えを行い、測距距離に対応した適切な倍率の画像が取得できる様にする。

前記撮像選択部２６により前記第２撮像部１２、前記第３撮像部１３が選択され、選択された撮像部が撮像した画像は、前記第２画像記録部２７に格納され、又適宜前記表示部６に表示される。

前記第２画像記録部２７に格納された画像に基づき前記画像追尾処理部２９によって画像データによるオブジェクトの判別が行われ、又画像データに基づきオブジェクトの位置が求められる。

前記第１撮像部１１は測定している間中、視準方向の画像を取得しており、画像は前記第１画像記録部２５に格納される。又、該第１画像記録部２５に格納された画像から、前記光点検出処理部２４に於いて画像処理により測定対象物からの光点が検出され、該光点の重心位置（受光素子上の画素の位置）からターゲットの位置、即ち前記望遠鏡部８の視準方向の水平角、鉛直角を求める。求められた光点に基づき追尾、即ち、ターゲットトラッキングが実行される。

又、前記画像追尾処理部２９は設定されたオブジェクトについて、動画像による状態推定手法（パーティクルフィルタ）を用いて自動追尾処理を実行し、前記テンプレートについて、オブジェクトの特徴を示すヒストグラム３４を求める。該ヒストグラム３４としては、色のヒストグラム、明度のヒストグラム、画像をエッジ処理して得られるエッジ各部位が持つ勾配のヒストグラム等が挙げられる（図示では色のヒストグラムを示している）。

又、前記画像追尾処理部２９は、前記パーティクルフィルタに、前記テンプレート画像の周辺に多くのパーティクルを生成させ、前記画像追尾処理部２９は、画像データ中から前記ヒストグラム３４に基づきオブジェクトの抽出、又オブジェクトであるかどうかを判断する。又、オブジェクトであると判断した場合のオブジェクトの位置を前記パーティクルの重み付き平均値で求める。更に、演算により予測された移動体の速度と方向に基づき、該移動体の動きに応じたパーティクルフィルタの粒子の発生位置を制御する等の処理を行う。

先ず、図３に於いて、本実施例に係るトラッキングの概念について説明する。

本実施例では、前記測量装置１から追尾光を照射し、該追尾光が対象反射体（プリズム）で反射された反射光を受光して追尾を行うレーザトラッキングと、測定対象物、測定対象を支持するオブジェクトに関してテンプレート画像を設定し、該テンプレート画像に基づき追尾を行う画像トラッキングとを併用して測定対象物の追尾を行う。

図３に於いて例示する追尾の対象は、移動体であるブルドーザ３０であり、測定対象物（ターゲット）３１はコーナキューブ等のプリズムである。該ターゲット３１は前記ブルドーザ３０にポール等の支持体を介して支持されている。

又本実施例では、前記望遠鏡部８より追尾光（レーザ光線）を測距光と同じ光軸上に射出し、前記ターゲット３１で反射されたレーザ光線を受光してトラッキングを行うレーザトラッキングと前記第２撮像部１２、前記第３撮像部１３で撮像した動画像を基にトラッキングを行う画像トラッキングとを並行して行う。

ここで、レーザトラッキングに使用される前記望遠鏡部８の画角は１°と小さく、前記第１撮像部１１が撮像する範囲は前記望遠鏡部８の光軸を中心とした所定範囲に限られている。又前記望遠鏡部８を通して撮像する第３撮像部１３の画角は１゜となっている。前記広角カメラ部９の視野角は、前記望遠鏡部８より大きく、前記第２撮像部１２の画角は、例えば、３０゜である。

図３中、３２はレーザトラッキング用の第１撮像部画像、３３は画像トラッキング用の第２撮像部、第３撮像部の画像、即ち画像トラッキング用画像３３を示している。又、３６はオブジェクトをブルドーザ３０とし、該ブルドーザ３０の画像、即ちオブジェクト画像の一部を抽出したテンプレート画像であり、該テンプレート画像３６の大きさは、例えば最小で２０×２０画素の大きさに設定される。前記テンプレート画像３６と前記ターゲット３１とは画像上での位置は既知であり、前記テンプレート画像３６の中心位置から前記ターゲット３１、前記オブジェクト画像の中心が演算できる。

レーザトラッキングと画像トラッキングとはリアルタイムに並行して行われるが、最終的なトラッキングはレーザトラッキングによって得られた結果に基づき行われる。又、レーザトラッキングと画像トラッキングとのトラッキング結果がリアルタイムで比較され、レーザトラッキングの結果が正しいかどうかがチェックされる。

レーザトラッキング中にレーザトラッキングの探索範囲、例えば光点３７が前記第１撮像部１１で撮像し得る範囲、即ち前記第１撮像部画像３２から外れ、ターゲットを見失った場合、前記ターゲット３１からの反射光が障害物によって遮断された場合、或は複数の光点を受光し、レーザトラッキング不能となった場合、前記第２撮像部１２又は前記第３撮像部１３により取得した動画像に基づく画像トラッキングに移行する。尚、前記第２撮像部１２又は前記第３撮像部１３の何れの画像が選択されるかは、測距距離に応じて決定される。

画像トラッキングが実行され、画像中に前記テンプレート画像３６に対応する部位が検出され、対応部位の中心位置が求められる。対応部位の中心位置から前記ターゲット３１の画像上での位置が演算され、演算されたターゲット３１の位置を中心として所定範囲で追尾光による走査が行われ、光点３７が検出される。該光点３７が検出される迄、画像トラッキングによる追尾が行われ、該光点３７が検出されることで、レーザトラッキングが再開される。

次に、本実施例に於ける画像トラッキングの特徴を説明する。

本実施例の画像トラッキングでは、動画像（ビデオ）による状態推定手法（パーティクルフィルタ）を用いており、対象反射体（ターゲット３１）或はそれを含む移動体（重機、人等のオブジェクト）の追尾を行い、ターゲット３１の隠蔽、交差、振動等の状況で、ターゲット３１を見失ってもそれと一体となった移動体を画像トラッキングにより検出する。

上記した状態推定手法は、動画像等の時系列データを用いて追尾処理を行うものであり、状態の時間変化を記述したシステム（運動）モデルと粒子（パーティクル）の観測過程を記述した観測モデルとにより構成され、フィードバック制御しながら移動体を追尾する。又、追尾したいオブジェクト周辺に多くのパーティクルを生成し、そのパーティクルの尤度（特徴量）の重み付き平均値でオブジェクトの画像位置が求められる。その画像位置に基づきプリズムサーチを行って最終的に移動体を認識する。

この為、ターゲット３１をサーチする範囲が狭い範囲に限定され、前記ターゲット３１を素早く検出でき、測量作業の自動追尾に復帰する時間を短縮して作業の効率化を向上させる。

又、移動対象物の色や画像の濃度勾配（エッジ）等に基づく「ヒストグラム」によりオブジェクトの検出、判定を行っているので、移動体のスケール変化、一部隠蔽、向き変化等の状況でも、移動体を安定的に特定できる。尚、オブジェクトの検出、判定に用いられるヒストグラムは、色彩のヒストグラム、明度のヒストグラム、エッジ勾配のヒストグラムの内、１つ又は２つ以上が用いられる。ヒストグラムを複数用いることで、検出、判定の精度が向上する。

図４は本実施例に於けるトラッキングの流れを示すものであり、レーザトラッキングと画像トラッキングとを並行して実施している。

ＳＴＥＰ：０，ＳＴＥＰ：０１，ＳＴＥＰ：０２ トラッキングを開始する為、測定作業者は前記望遠鏡部８により前記ターゲット３１を視準し、初期値としての水平角（Ｈ）、高低角（Ｖ）を設定する。又、前記ターゲット３１を支持するブルドーザ３０（オブジェクト）を確認すると共に前記テンプレート画像３６を設定する。

ＳＴＥＰ：０３，ＳＴＥＰ：０４ レーザトラッキング及び画像トラッキングを並行して実行する。尚、画像トラッキングはパーティクルフィルタ（以下、ＰＦと称す）を用いた動画像トラッキングの方法が用いられる。

ＳＴＥＰ：０５ レーザトラッキング及び画像トラッキングの少なくとも一方が成功するとトラッキングが続行され、両方が不成功の場合は、再度マニュアルによる初期設定をやり直す。

ＳＴＥＰ：０６，ＳＴＥＰ：０７ レーザトラッキングが成功したかどうかが判定され、成功した場合は、前記ターゲット３１の位置（水平角Ｈ０，高低角Ｖ０）と画像中心の位置（水平角Ｈ１，高低角Ｖ１）とが比較され、両位置が所定の画角内、例えば１．５゜に納っているかがチェックされる。

ＳＴＥＰ：０９，ＳＴＥＰ：１０ レーザトラッキングが成功しない場合は、例えば、追尾反射光が障害物によって遮断された様な場合であり、この場合は、画像トラッキングの結果が採用される（後述）。

レーザトラッキングが成功し、前記ターゲット３１の位置（水平角Ｈ０，高低角Ｖ０）と画像中心の位置（水平角Ｈ１，高低角Ｖ１）が所定の画角内に納っている場合は、レーザトラッキングと画像トラッキングとの整合がとれている場合であり、トラッキングに成功した対象物が前記ターゲット３１であることが確定される。

ＳＴＥＰ：０８，ＳＴＥＰ：１１ 前記ターゲット３１の位置が（Ｈ０，Ｖ０）に確定され、前記水平駆動部１５、前記鉛直駆動部１７が駆動され、前記望遠鏡部８が前記ターゲット３１に視準される。

ＳＴＥＰ：０９ 前記ターゲット３１の位置と画像中心の位置が所定の画角内に納っていない場合は、他のプリズム或は反射体を検出した可能性があり、画像トラッキングでのＰＦの尤度がチェックされる。尤度が所定値より大きい場合は、パーティクルが前記テンプレート画像３６部分に集中している状態であり、画像トラッキングが成功した対象物がオブジェクトであると判断できる。この時の画像中心の位置（水平角Ｈ１，高低角Ｖ１）が前記ターゲット３１の位置として確定される（ＳＴＥＰ：１０）。

ＳＴＥＰ：１１ 前記水平駆動部１５、前記鉛直駆動部１７が駆動され、前記望遠鏡部８の水平角、高低角がＨ１，Ｖ１となる様、前記ターゲット３１に視準される。

尚、前記テンプレート画像３６の中心位置と前記ターゲット３１の位置とは異なるが、両者の関係は既知であるので、前記テンプレート画像３６の中心位置が求まると前記ターゲット３１の位置も直ちに求められる。得られた位置を中心にレーザ光線により前記ターゲット３１をサーチすることで、容易に該ターゲット３１を検出でき、レーザトラッキングを再開、継続できる。

ＳＴＥＰ：０９ 又、尤度が所定値より小さい場合は、前記画像トラッキング用画像３３にパーティクルが分散している状態であり、画像トラッキングでの対象物がオブジェクト（ブルドーザ３０）であると判定するのは不充分であり、サーチ動作は停止され、尤度が所定値より大きくなる迄待つ。尤度が所定値に達すると、ＳＴＥＰ：１０、ＳＴＥＰ：１１に進む。

而して、ターゲット３１が複数存在した場合も、対象となるターゲット３１を判定でき、又追尾反射光が遮断された場合でも、追尾動作を継続できる。

次に、ＳＴＥＰ：０３に於けるレーザトラッキングについて図５に於いて説明する。

ＳＴＥＰ：３０，ＳＴＥＰ：３１，ＳＴＥＰ：３２ レーザ光線（追尾光）を前記望遠鏡部８を通して照射し、ターゲットで反射された反射レーザ光線を前記望遠鏡部８を介して受光し、前記第１撮像部１１で撮像して画像データを取得する。

ＳＴＥＰ：３３，ＳＴＥＰ：３４ 取得した画像を設定した閾値により２値化処理し、レーザ光線の光点を検出し、前記第１撮像部１１に於ける受光素子中の光点３７の重心位置を検出する。

ＳＴＥＰ：３５，ＳＴＥＰ：３６ 重心位置検出に成功すると、該光点３７の重心位置に対応する受光素子の画素位置から前記第１撮像部１１に於ける水平、鉛直の画角が求められ、水平角Ｈ、高低角Ｖが計算される。

図６は、図４に於けるオブジェクトトラッキングについての流れを抽出したものである。尚、図６中、図４中で示した工程（ＳＴＥＰ）と対応するものについては、説明を省略する。

ＳＴＥＰ：０４で画像トラッキングが実行され、前記画像中心が求められると、ＰＦの設定が適正かどうかがチェックされ、ＰＦが適正でない場合は、ＰＦの再設定が行われる（ＳＴＥＰ：２１）。画像トラッキングについては、後述する。

ＰＦのチェックが完了すると、ＳＴＥＰ：１０〜ＳＴＥＰ：１２が実行され、画像トラッキングの結果に基づき追尾が行われる。

更に、図７に於いて、画像トラッキングについて説明する。

ここでは、状態推定手法（パーティクルフィルタ（ＰＦ））を用いた動画像追尾の流れについて説明する。

パーティクルフィルタとは、現在の時刻から次の時刻に起り得る状態を多数の粒子（パーティクル）に見立て、検出したいオブジェクトの部分画像をテンプレートとし、そのオブジェクト周辺に設定した全てのパーティクルとテンプレートとの特徴量（尤度）に基づいた位置を次の時刻での状態として予測しながら追跡を繰り返すアルゴリズムである。

ＳＴＥＰ：４０ パーティクルフィルタによる追尾プログラムをスタートさせる。

ＳＴＥＰ：４１ プリズムトラッキング（図４参照）或はオブジェクトトラッキング（図６）にて設定された初期化フラグをチェックし、フラグがＴＲＵＥ（１）の時、パーティクルフィルタの初期化を行う（ＳＴＥＰ：４２）。ＦＡＬＳＥ（０）の時は初期化せず、画像データ取得へ進む（ＳＴＥＰ：４３）。

ＳＴＥＰ：４２ パーティクルフィルタ処理を用いて、画像トラッキングする為の初期値を設定する。パーティクルフィルタで用いるパラメータの殆どは、ガウス分布に従う乱数を用いて計算する。数値の範囲：−１．０〜１．０として、以降の説明ではこの乱数を「ＮＮ」で表す。

初期テンプレート位置：ｃｘ＿ｉｎｉｔ，ｃｙ＿ｉｎｉｔは、最初のテンプレートの位置であり、測量装置１で視準するか、視準後、前記広角カメラ部９の前記第２撮像部１２若しくは前記望遠鏡部８の前記第３撮像部１３で撮影した画像上で指定する。

初期テンプレートサイズ：ｔｅｍｐｌｅ＿ｗｉｄｔｈ，ｔｅｍｐｌｅ＿ｈｅｉｇｈｔは、例えば最小で２０×２０画素程度とし、指定した画像位置を中心に、設定したサイズの画像データを取得する。更に、以降の観測過程でのテンプレートの色ヒストグラム及び画像濃度の勾配（エッジ）のヒストグラムを計算しておく。

次に、初期テンプレートの縦横比：ｔｅｍｐｌｅ＿ｒａｔｉｏ＝ｔｅｍｐｌｅ＿ｈｅｉｇｈｔ／ｔｅｍｐｌｅ＿ｗｉｄｔｈを計算する。縦横比は、テンプレートサイズ：ｔｅｍｐｌｅ＿ｗｉｄｔｈ，ｔｅｍｐｌｅ＿ｈｅｉｇｈｔが更新された時に計算する。

粒子（パーティクル）の数は、例えば２０００個とする。各粒子には通し番号（インデックス）を持たせ、以降に説明する各粒子の尤度を更新・管理する。

初期化過程では、全て同じ状態にある初期粒子にそれぞれ違いを発生させる為、初めに設定した２，０００個の粒子は全て同位置（ｃｘ＿ｉｎｉｔ，ｃｙ＿ｉｎｉｔ）とし、そこから各粒子を｛（ガウス分布）×(探索領域）｝だけ散らばらせる。

初期化過程では、初期状態で粒子がどの方向に進んでいくか不明である為正規分布に従う初期速度分布を与える。つまり、現時刻と１ステップ前の位置を算出し、その２つから速度ベクトルを生成させる。先ず、現時刻とみなす位置の算出は数１で求められる。

ここで、ｃｘ＿ｄｅｖ，ｃｙ＿ｄｅｖとは粒子の位置（広がり）を制御するパラメータであり、例えば、大きく動く対象物はｃｘ＿ｄｅｖ＝ｃｙ＿ｄｅｖ＝１０．０。小さく動く対象物はｃｘ＿ｄｅｖ＝ｃｙ＿ｄｅｖ＝１．０として設定するが、初期化過程では、１０．０に設定する。

又、１ステップ前とみなす位置：ｃｘ＿ｐｒｅｖ，ｃｙ＿ｐｒｅｖの算出は以下の計算で求められる。

各粒子の参照する領域:ｗ，ｒｅｔｉｏのサイズにもばらつきを持たせる。

ここで、ｗ＿ｄｅｖは粒子の状態遷移の際に用い、粒子の持つ領域の横幅の可動具合を示す分散値で、例えばｗ＿ｄｅｖ＝０．５とする。又、ｒ＿ｄｅｖは、粒子の状態遷移の際に用い、粒子の持つ領域の縦幅の可動具合を示す分散値で、例えばｒ＿ｄｅｖ＝０．０２とする。

ＳＴＥＰ：４３，ＳＴＥＰ：０２（図４参照）に於けるマニュアル指定時に、オブジェクト迄の距離値から前記広角カメラ部９の前記第２撮像部１２、前記望遠鏡部８の前記第３撮像部１３を切替えて、距離値に応じてオブジェクトが適当な大きさになる様に画像を選定しておき、その動画像（ビデオ）データを取得する。

ＳＴＥＰ：４４ オブジェクト迄の距離値が例えば２５〜３０％程度、変化した場合や尤度（後で説明）の値がある閾値より低い場合（例えば５０％以下）等では、テンプレートの更新が必要と判断して、ＳＴＥＰ：４５ テンプレート更新へ進む。

ＳＴＥＰ：４５ カメラの明るさを適正値に調整した後、カメラの静止画（あるフレーム）からオブジェクト画像からテンプレート画像データを取得する。テンプレート画像の大きさは、最小で２０×２０画素とする。指定したオブジェクトの色の境界及び輪郭を抽出して設定する。又、テンプレートは測定データに基づき随時、更新される。即ち、移動体迄の距離に応じてオブジェクト画像の大きさが変化するので、オブジェクト画像の大きさ変化に対応してテンプレートの大きさも変化させる。

ＳＴＥＰ：４６ 初期化過程で散りばめられた粒子について、予測分布(システムモデル)に従って各粒子位置を移動させる。但し、初回の予測過程では、初期化で発生させたｃｘ，ｃｙ，ｃｘ＿ｐｒｅｖ，ｃｙ＿ｐｒｅｖを用いる。

システムモデルの例として、移動体の滑らかな動きの制御を実現する為「等速度モデル」を用いる。即ち、測距データと測角データ（Ｈ，Ｖ）の変化に基づき速度と移動方向を演算する。この時の速度が等速度と仮定する。前記「等速度モデル」を使った場合には、以下の様に定義できる。

等速度モデル：
Ｎ（σ）は、システム分散値で探索領域を表し、数４で与えられる。

ガウス分布を発生させる際に数５に示される乱数を利用している。

これによって、一時刻前の散りばめられていた粒子を各々、ガウス分布に従う等速度分布に従って状態遷移できる。

又、粒子の位置（広がり）を制御するパラメータ：ｃｘ＿ｄｅｖ，ｃｙ＿ｄｅｖは、通常のケースの場合、移動体迄の距離が近ければ移動距離は大きく、遠ければ移動距離は小さくなると考えられるので、前記測量装置１で測距した値に基づきｃｘ＿ｄｅｖ，ｃｙ＿ｄｅｖを変えて制御する。即ち、対象物の速度に応じた制御として、一時刻前の位置と現在位置の差を求め、ｃｘ＿ｄｅｖ，ｃｙ＿ｄｅｖに代入する。更に、移動体が隠蔽で隠れた場合等では、尤度の値から前記測量装置１のカメラの制御を一時的にストップさせ、ｃｘ＿ｄｅｖ，ｃｙ＿ｄｅｖを変えて制御する。

現時刻の尤度の合計が、ＰＦが良好な状態（ＰＦフラグＦＡＬＳＥ）の尤度の合計に比べて１０％以上なら、上述の差を入力し、それ以下なら、０％〜３％：ｃｘ＿ｄｅｖ＝ｃｙ＿ｄｅｖ＝３０．０，３％〜５％：ｃｘ＿ｄｅｖ＝ｃｙ＿ｄｅｖ＝２０．０，５％〜１０％：ｃｘ＿ｄｅｖ＝ｃｙ＿ｄｅｖ＝１０．０とする。

各粒子の参照する領域：ｗ，ｒａｔｉｏについてもランダムに値を与える（数６）。

システムモデルとは、状態の時間変化を記述するものであり、ここで示した等速度モデル以外にも、移動体（オブジェクト）の動きが事前知識として得られている場合には、その動作を制御することもできる。例えば、右から左に動いている場合には、粒子の発生を右方向に予測して重点的に発生させる様に定義することもできる。

ＳＴＥＰ：４７ 観測過程とは、粒子の尤度計算と尤度の正規化を行うステップであり、ここでは、テンプレートと各粒子との画像処理を行って、その特徴量（類似度）を評価し、その値を尤度とする。ここでは、色（ＲＧＢ）ヒストグラムによる方法で類似度を評価している。特徴量としては、一般的なテンプレートマッチングの手法として、ＳＳＤＡ法（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、正規化相互相関法、最小２乗マッチング法、方向符合法等を用いても良い。但し、移動体を追尾する場合には、向き変化、大きさ変化、一部隠蔽等のロバスト性を確保する為、ヒストグラムを用いた特徴量計算が望ましい場合が多い。

1)粒子の尤度計算
各粒子についてオブジェクトとの尤度（類似度）を計算する。尤度計算は、ＲＧＢヒストグラムを用いて、全ての粒子１個ずつについて評価を行う。オブジェクトと各粒子の持つヒストグラムはそれぞれ正規化しておく。正規化ヒストグラムｐ，ｑに関して以下の様に定義する。

ρ［ｐ，ｑ］＝Σ√（ｐｑ） （ρ：Ｂｈａｔｔａｃｈａｒｙｙａ係数）
類似度：ｄｉｆ＝√（１−ρ［ｐ，ｑ］）
尤度＝ｅｘｐ（−ｄｉｆ／ｏｂｓ＿ｖａｒ） （ｏｂｓ＿ｖａｒ：観測システム分散値）

又、色ヒストグラムだけでなく、テンプレート及び各粒子についてＳｏｂｅｌ演算子等を用いて画像の濃度勾配（エッジ）を抽出し、エッジの勾配（画像上でのエッジの傾き）を求め、離散化（例えば１６分割）して、ヒストグラム化する。そのヒストグラムを色ヒストグラムと同様に計算することで、オブジェクトの色情報だけでなく、形状（エッジ）も特徴量と捉えることができ、色情報と形状の情報を併用する事で、更に尤度の性能を高めることができる。

2)尤度の正規化
尤度総和が１になる様に正規化する。又は、正規化するのではなく単純に全粒子の尤度の合計を算出しても良い。

ＳＴＥＰ：４８ 粒子を確率（重み）に従って再サンプリングして、予測過程（システムモデル）に従う粒子を発生させる。即ち、それぞれの粒子が持つ尤度に比例した確率で、新たな粒子を復元抽出する。これにより、大きな尤度を持つ粒子の数を増やし、小さな尤度を持つ粒子は消滅させる。

一般的な再サンプリング法を以下に示す。
尤度の正規化
尤度の累積計算
逆関数を用いて復元抽出

尤度の累積計算を行うことで、図８の様な階段状のグラフができる。逆関数を用いて復元抽出とは、０〜１．０の乱数を発生させる。その値を縦軸の値と考えて、対応した横軸の値を導く。この得られた横軸の値を粒子番号とする粒子を次のステップで発生させる。この作業を２０００回行う。尚、図８中、縦軸は尤度を示す。又、尤度を正規化しているので、最大値は１．０となる。

一般的なパーティクルフィルタ処理では、再サンプリング後の粒子座標をｃｘ＿ｐｒｅｖ，ｃｙ＿ｐｒｅｖとして、ＳＴＥＰ：４６ 予測過程へ進み、処理を繰返す。

ＳＴＥＰ：４９ 上記で求めた尤度の値と粒子数をチェックし、尤度及び粒子数がある閾値より小さい場合には、ＰＦフラグをＴＲＵＥ（１）にセットする。例えば、現在時刻の尤度の合計が、ＰＦが良好な状態の時（ＰＦフラグＦＡＬＳＥ）の尤度合計と比較して１／１０（１０％）以下であれば、移動体が見失ったか確定できないと判断し、フラグをＯＮとして測量装置１のカメラを旋回せずに停止状態とする。

粒子数は、その近傍（テンプレートサイズ×２）内に半数以上（２０００／２＝１０００個）含まれるか判断し、半数以下であれば上記と同様にフラグをＯＮとする。

尤度が極端に小さい場合は移動体が存在しない（発散）と仮定し、画像トラッキング処理を終了（ＳＴＥＰ：５１）し、ウェイト状態とする。又、粒子数が少ない場合は、複数の尤度に分裂していると仮定し、これもウェイト状態とする。

この場合、測量装置１の旋回動作（カメラを移動）をしないで、その位置でカメラを固定し、移動体が出現するか、或いは交差（複数存在）している場合には、どの対象物を選定するかを判定する迄待つ（処理を繰返す）動作を行う。

ＳＴＥＰ：５０ 前述で得られた２０００個の粒子集合から、パーティクルフィルタを用いて、移動体の最適な位置を計算する為に、重み付きの粒子平均値を算出して、その画像座標を出力する。即ち、重み付きの粒子平均値とは、単純な粒子の平均でなく、尤度の高い粒子を重視することで、各粒子について｛座標×正規化した尤度｝を行い、全粒子の平均値を計算することで求められる。

計算された画像座標から、測量装置１に搭載された前記第２撮像部１２若しくは前記第３撮像部１３のカメラを移動体に向ける為、水平角：Ｈと鉛直角：Ｖを計算し、終了へと進む（ＳＴＥＰ：５１）。

プリズムトラッキングであれば、その角度（Ｈ，Ｖ）に基づいてプリズムサーチを行い、プリズムが存在すれば、最終的にその位置（Ｈ，Ｖ）にてトラッキングが成功していると判定する。

オブジェクトトラッキングであれば、その位置（Ｈ，Ｖ）にカメラを向けて、オブジェクトのトラッキングを続ける。

尚、本実施例では、ターゲットとして反射体（プリズム）を利用したが、ターゲットは反射体に限定されず、視覚的に特徴があるターゲットを設けて追尾する構成としてもよい。この場合、Ｒ（赤）Ｇ（緑）Ｂ（青）等の色成分により円形の、又は同心円状に層状に構成されたターゲットとしてもよいし、反射素材塗料によるターゲットを利用することもできる。
図９は、３層のターゲット３８の例を表し、中心（黒）、内側（赤）、外側（黒）の色に塗られており、移動体を状態推定手法（パーティクルフィルタ）により追尾を行うと同時にこのターゲット３８を別のパーティクルフィルタ又は画像処理等によって追尾を行う構成としてもよい。つまり、本実施例に於けるレーザトラッキングの代わりに、この様なターゲットを画像処理によってトラッキング（ターゲットトラッキング）することを意味する。この時、ターゲット追尾用レーザの照射は必ずしも必要でないが、反射素材を利用した際は、より効率的にターゲットを画像処理によって追尾することができる。
又、図９の様なターゲット３８の各領域の色は適時変更可能であり、２層としてもよいし、３層以上の構成としてもよい。

又、ターゲットとして発光する光点を利用することができる。この場合、移動体に所定波長の光を発光する発光体（光源）を設け、この光源からの光を本実施例に於ける撮像部（第１、第２、第３撮像部のいずれか又は全て）により検出することにより、レーザトラッキングと同様にターゲットをトラッキングすることができる。

（付記）
又、本発明は以下の実施の態様を含む。

（付記１）対象反射体（プリズム）を見失った場合、動画像（ビデオ）による状態推定手法（パーティクルフィルタ）を用い、対象反射体或はそれを含む移動対象物（重機、人等のオブジェクト）の追尾を行い、対象反射体の隠蔽、交差、振動等の状況で、対象反射体を見失ってもそれと一体となった移動対象物を検出することで対象反射体を素早く検出でき、測量作業の自動追尾に復帰する時間を短縮して作業の効率化を向上させることを特徴とする動画像追尾方法及びその装置。

（付記２）任意な移動対象物を画像上で指定後、動画像による状態推定手法（パーティクルフィルタ）を用いて自動追尾させ、特別な対象反射体がなくても移動対象物の３次元軌跡を連続して計測できることを特徴とする動画像追尾方法及びその装置。

（付記３）前記状態推定手法とは、動画像等の時系列データを用いて追尾処理を行うものであり、状態の時間変化を記述したシステム（運動）モデルと粒子の観測過程を記述した観測モデルとにより構成され、フィードバック制御しながら移動対象物を追尾することを特徴とする動画像追尾方法及びその装置。

（付記４）追尾したいオブジェクト周辺に多くのパーティクル（粒子）を生成し、そのパーティクルの尤度（特徴量）の重み付き平均値でオブジェクトの画像位置を求め、その画像位置からプリズムサーチを行って最終的に移動対象物を認識することを特徴とする動画像追尾方法及びその装置。

（付記５）前記システムモデルは移動対象物の滑らかな動きの制御を実現する為「等速度モデル」を用い、更に測量装置から得られた移動対象物迄の測距データ（Ｄ）と測角データ（Ｈ，Ｖ）から移動対象物の速度と方向を判定し、移動対象物の動きに応じた粒子の発生位置を制御する事を特徴とする動画像追尾方法及びその装置。

（付記６）前記観測モデルはシステムモデルに従って発生された各粒子の画像処理であり、移動対象物の色や画像の濃度勾配（エッジ）等に基づく「ヒストグラム」により特徴量を計算し、移動対象物のスケール変化、一部隠蔽、向き変化等の状況でも、移動対象物を安定的に特定し、ロバストネスを実現する事を特徴とする動画像追尾方法及びその装置。

（付記７）前記画像処理は追尾したプリズム若しくは一体となった移動対象物の一部をテンプレートとし、測量装置から得られる測距データに基づきテンプレートの大きさ等を更新することを特徴とする動画像追尾方法及びその装置。

１ 測量装置
５ 光学部
８ 望遠鏡部
９ 広角カメラ部
１１ 第１撮像部
１２ 第２撮像部
１３ 第３撮像部
１４ 測距部
１５ 水平駆動部
１６ 水平測角部
１７ 鉛直駆動部
１８ 鉛直測角部
２１ 制御装置
２２ 制御演算部
２３ 記憶部
２４ 光点検出処理部
２５ 第１画像記録部
２６ 撮像選択部
２７ 第２画像記録部
２９ 画像追尾処理部
３１ ターゲット
３４ ヒストグラム
３６ テンプレート画像
３８ ターゲット

Claims (23)

1. 移動体に設けられたターゲットを視準する視準望遠鏡と、該視準望遠鏡より広画角であり、前記視準望遠鏡の視準方向、又は略視準方向の広角画像を取得する広角カメラ部と、
   前記視準望遠鏡に設けられ該視準望遠鏡を介して前記ターゲットからの光を受光し、画像を取得する第１撮像部と、前記広角カメラ部に設けられ前記ターゲット及び前記移動体の動画像を撮像する動画像撮像部と、
   前記視準望遠鏡及び前記広角カメラ部を水平方向、鉛直方向に移動させる駆動部と、
   前記第１撮像部からの画像に基づき光点を検出する光点検出処理部と、前記動画像撮像部の撮像画像に基づき画像トラッキングの為の画像処理を行う画像追尾処理部と、
   前記光点検出処理部及び前記画像追尾処理部の処理結果に基づき前記第１撮像部、前記動画像撮像部を前記ターゲットに向ける様前記駆動部を制御する制御演算部とを具備する測量装置の自動追尾方法であって、
   前記移動体に支持された前記ターゲットからの光点を検出する光点検出工程と、前記ターゲット及び前記移動体の動画像を撮像する工程と、光点検出に基づきターゲットトラッキングする工程と、該ターゲットトラッキングと並行して前記動画像に基づき画像トラッキングする工程と、前記光点検出工程により得られるターゲット位置と前記画像トラッキングにより得られる画像位置とを比較する工程とを具備し、
   前記光点検出工程で光点が検出される状態では、前記ターゲットトラッキングの結果に基づき追尾を行い、前記光点検出工程で光点が検出されない状態では、前記画像トラッキングの結果に基づき前記ターゲットトラッキングによる追尾に連続して追尾を行うことを特徴とする自動追尾方法。
2. 前記ターゲットトラッキングする工程が、レーザ光線を照射し、前記移動体に支持された前記ターゲットからの前記光点を検出するレーザターゲットトラッキング工程である請求項１の自動追尾方法。
3. 前記ターゲットトラッキングする工程が、前記移動体に支持された前記ターゲットが発光することによる前記光点を検出する発光ターゲットトラッキング工程である請求項１の自動追尾方法。
4. 前記ターゲット位置と前記画像位置とがターゲットトラッキング可能な範囲内にない場合、又は前記光点が検出されず前記ターゲット位置が得られない場合は、前記画像トラッキングを続行し、前記画像トラッキングの続行と並行して前記画像位置に基づき所定範囲を前記レーザ光線によりターゲットサーチを行う工程を有する請求項１〜請求項３のいずれかの自動追尾方法。
5. 前記動画像中の前記移動体の画像からテンプレート画像を抽出し、該テンプレート画像からヒストグラムを作成し、該ヒストグラムに基づき前記画像トラッキングが実行される請求項１又は請求項４の自動追尾方法。
6. 前記ヒストグラムは、色彩、又は明度のヒストグラムである請求項５の自動追尾方法。
7. 前記ヒストグラムは、エッジ処理して得られるエッジの勾配のヒストグラムである請求項５の自動追尾方法。
8. 前記画像トラッキングには、パーティクルフィルタが用いられる請求項１又は請求項４の自動追尾方法。
9. 前記画像トラッキングには、パーティクルフィルタが用いられ、該パーティクルフィルタは、前記テンプレート画像の周辺に多くのパーティクルを生成し、そのパーティクルの重み付き平均値で前記テンプレート画像の位置を求める請求項５の自動追尾方法。
10. 前記ターゲットの測距データ、測角データに基づき前記移動体の速度、移動方向を判定し、前記移動体の動きに応じたパーティクルの発生位置を制御する請求項９の自動追尾方法。
11. 一時刻前の位置と現在位置の差、又は尤度の値に基づきパーティクルの発生を制御する請求項９の自動追尾方法。
12. 移動体に設けられたターゲットを視準する視準望遠鏡と、該視準望遠鏡より広画角であり、前記視準望遠鏡の視準方向、又は略視準方向の広角画像を取得する広角カメラ部と、
    前記視準望遠鏡に設けられ該視準望遠鏡を介して前記ターゲットからの光を受光し、画像を取得する第１撮像部と、前記広角カメラ部に設けられ前記ターゲット及び前記移動体の動画像を撮像する動画像撮像部と、
    前記視準望遠鏡及び前記広角カメラ部を水平方向、鉛直方向に移動させる駆動部と、
    前記第１撮像部からの画像に基づき光点を検出する光点検出処理部と、前記動画像撮像部の撮像画像に基づき画像トラッキングの為の画像処理を行う画像追尾処理部と、
    前記光点検出処理部及び前記画像追尾処理部の処理結果に基づき前記第１撮像部、前記動画像撮像部を前記ターゲットに向ける様前記駆動部を制御する制御演算部とを具備し、
    該制御演算部は前記光点検出処理部からの検出結果を基にターゲットトラッキングを行い、前記画像追尾処理部からの処理結果を基に前記ターゲットトラッキングと並行して前記画像トラッキングを行い、
    前記制御演算部は前記光点検出処理部から光点が検出される状態では、光点の検出結果に基づき追尾の為に前記駆動部を制御し、
    前記光点検出処理部で光点が検出されない状態では、前記画像トラッキングの結果に基づき追尾の為に前記駆動部を制御し、トラッキングを連続して実行する様制御することを特徴とする測量装置。
13. 前記ターゲットトラッキングが、レーザ光線を照射し、前記移動体に支持された前記ターゲットからの反射光を検出するレーザターゲットトラッキングである請求項１２の測量装置。
14. 前記ターゲットトラッキングが、前記移動体に支持された前記ターゲットが発光することによる前記光点を検出する発光ターゲットトラッキングである請求項１２の測量装置。
15. 前記制御演算部は、前記ターゲットトラッキングで得られる光点位置と前記画像トラッキングで得られる画像位置とを比較し、該画像位置が前記ターゲットトラッキング可能な範囲内にある場合は、前記ターゲットトラッキングで得られる結果で前記ターゲットを認識する請求項１２〜請求項１３のいずれかの測量装置。
16. 前記制御演算部は、前記ターゲットトラッキングで得られる光点位置と前記画像トラッキングで得られる画像位置とを比較し、該画像位置がターゲットトラッキング可能な範囲内にない場合、或は前記光点位置が得られない場合は、前記画像トラッキングで得られた画像位置に基づき前記ターゲットトラッキング可能な範囲内をレーザ光線によりサーチし、前記ターゲットを検出する様、前記駆動部を制御する請求項１２又は請求項１５の測量装置。
17. 前記制御演算部はパーティクルフィルタ処理プログラムを有し、前記画像追尾処理部はパーティクルフィルタによって画像追尾処理を行う請求項１２の測量装置。
18. 前記制御演算部は、前記動画像撮像部の画像から移動体画像を抽出し、該移動体画像からヒストグラムを作成し、該ヒストグラムによって前記移動体の判別を行う請求項１２の測量装置。
19. 前記制御演算部は、前記パーティクルフィルタにより、移動体画像の周辺に多くのパーティクルを生成し、該パーティクルの尤度の重み付き平均値により画像位置を求める請求項１７の測量装置。
20. 前記制御演算部は、測距データ、測角データに基づき前記移動体の速度、移動方向を判定し、前記移動体の動きに応じてパーティクルの発生を制御する請求項１７の測量装置。
21. 前記制御演算部は、一時刻前の位置と現在位置の差又は尤度の値に基づいてパーティクルの発生を制御する請求項１９又は請求項２０の測量装置。
22. 前記ヒストグラムは、色彩のヒストグラム、明度のヒストグラム、エッジ勾配のヒストグラムの少なくとも１つである請求項１８の測量装置。
23. 移動体に設けられたターゲットを視準する視準望遠鏡と、該視準望遠鏡より広画角であり、前記視準望遠鏡の視準方向、又は略視準方向の広角画像を取得する広角カメラ部と、
    前記視準望遠鏡に設けられ該視準望遠鏡を介して前記ターゲットからの光を受光し、画像を取得する第１撮像部と、前記広角カメラ部に設けられ前記ターゲット及び前記移動体の動画像を撮像する動画像撮像部と、
    前記視準望遠鏡及び前記広角カメラ部を水平方向、鉛直方向に移動させる駆動部と、
    前記第１撮像部からの画像に基づき前記ターゲットのトラッキングを行うターゲットトラッキング画像処理部と、前記動画像に基づき前記移動体のトラッキングを行う移動体画像追尾処理部と、前記ターゲットトラッキング画像処理部及び前記移動体画像処理部の処理結果に基づき前記第１撮像部、前記動画像撮像部を前記ターゲットに向ける様、前記駆動部を制御する制御演算部とを具備し、
    前記制御演算部は前記ターゲットトラッキング画像処理部からの検出結果を基にターゲットトラッキングを行い、前記ターゲットトラッキング画像処理部でターゲットを検出しない状態では前記移動体画像追尾処理部からの処理結果を基に前記ターゲットトラッキングに連続して前記移動体の画像トラッキングを行う様、前記駆動部を制御することを特徴とする測量装置。