JP5010634B2

JP5010634B2 - 移動体画像追尾装置

Info

Publication number: JP5010634B2
Application number: JP2009065057A
Authority: JP
Inventors: 博昭中村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-03-17
Filing date: 2009-03-17
Publication date: 2012-08-29
Anticipated expiration: 2029-03-17
Also published as: US8305450B2; US20100238296A1; JP2010219942A

Description

本発明は、広範囲にわたり移動する目標に対して、カメラ等の目標認識センサで追尾する移動体画像追尾装置に関する。

近年、空港やプラント等の大型施設、及び発電所や水道施設等のライフラインに関係する施設で保安設備、並びにＩＴＳ（ＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔＳｙｓｔｅｍ）等の交通情報支援システムにおいて、ＩＴＶ（Ｉｎｄｕｓｔｒｉａｌｔｅｌｅｖｉｓｉｏｎ）カメラ等を用いて対象物を追跡し、継続した監視や詳細な情報を入手するシステムが多く商品化されている。これらのシステムは、地上設置型だけでなく、プラットホームとして車両、船舶又は航空機等を想定し、小型かつ耐震性を考慮した構造で、振動又は動揺に対する外乱抑圧を行っている。さらに、複数の対象物を順次、追尾できるように旋回速度を高速化し、対象物への指向を短時間に行えることが重要になってきている。

このような移動体画像追尾システムでは、広範囲に渡り移動する目標に対して追尾するために、少なくとも２軸以上の回転軸を備えるジンバル構造を採用していることが多い。この場合、ジンバルの可動部内に備わったカメラで撮影される移動体の特徴点が、カメラの中心に来るように画像追尾制御が行われる（例えば、特許文献１を参照）。

上記のような技術では、ジンバル可動部内にカメラ等を備えているため、小型化が難しく、負荷慣性が大きくなってしまう。このため、高速で移動する移動体の追尾が困難である。その上、高速追尾のために高いモータ性能等が要求される。

このような課題に対して、カメラを可動部内に搭載せず、可動部外に設ける方法が考えられている（例えば、特許文献２、特許文献３を参照）。

特開平０８−３２１９８４号公報特開２００１−１３３８５４号公報特開２００２−３１４４８７号公報

しかしながら、上記特許文献２、３の方法では、可動部外に設けられたカメラで撮影される画像は、カメラに設けられたミラー等から構成される光軸回転を伴う光学系入射面、及びジンバル正面の指向方向により回転してしまう問題があった。

本発明は、上記課題を解決するためになされたもので、カメラを可動部内に設けた場合でも、負荷慣性が小さく、高速追尾が可能な移動体画像追尾装置を提供することを目的とする。

上記目的を達成するために、本発明の移動体画像追尾装置は土台と、前記土台に対して回動可能に、前記土台上に設けられ、開口部を有する第１のジンバルと、前記土台に対して回動可能に、前記第１のジンバルの前記開口部内に設けられ、追尾対象の移動体の映像を導入するための開口入力部が設けられた第２のジンバルと、前記第２のジンバルの前記開口入力部から入射した前記移動体の前記映像を、前記第２のジンバルから前記第１のジンバルを経由して前記土台側へ導くために形成された映像導入通路と、前記土台内に設けられ、前記導かれた前記映像を撮影し、前記映像を画像データとして出力する撮影装置と、前記第１及び前記第２のジンバルの回転角度を測定するための角度センサと、前記撮影装置で出力された複数の前記画像データの複数の特徴点を抽出し、複数の前記特徴点に基づいて前記画像データの第１の追尾誤差を検出する追尾誤差検出部と、前記角度センサにより測定した前記回転角度を出力する遅延器と、前記第１の追尾誤差及び前記遅延器により出力された前記回転角度に基づいて、前記画像データの第２の追尾誤差を計算する追尾誤差計算部と、前記第１及び前記第２のジンバルの前記回転角度及び前記第２の追尾誤差に基づいて、前記第１及び前記第２のジンバルの回転の角速度を生成し、指令する角速度生成指令部と、前記角速度に基づいて、前記第１及び前記第２のジンバルの駆動を制御する駆動制御部とを備えたことを特徴とする。

本発明によれば、負荷慣性の小さく、高速追尾が可能な移動体画像追尾装置を提供することができる。

本発明に係わる移動体画像追尾装置の第１の実施形態を示す図。第１の実施形態の移動体画像追尾装置の外観を示す図。第１の実施形態の移動体画像追尾装置の制御部の詳細な構成を示す図。第１の実施形態の移動体画像追尾装置の第１の動作状態を示す図。図４のカメラによって撮影されて追尾誤差検出部で処理された画像を示す図。第１の実施形態の移動体画像追尾装置の第２の動作状態を示す図。図６のカメラによって撮影されて追尾誤差検出部で処理された画像を示す図。第１の実施形態の移動体画像追尾装置の追尾誤差検出値の制御するブロック図。本発明に係わる移動体画像追尾装置の第２の実施形態を示す図。本発明に係わる移動体画像追尾装置の第３の実施形態を示す図。本発明に係わる移動体画像追尾装置の第４の実施形態を示す図。

以下、図面を参照しつつ本発明の実施形態について説明する。また、以下説明する図１乃至図１１において、符号が同じものは同じものを示しており、重複した説明は省略する。

（第１の実施形態）
図１および図２は、本発明に係わる移動体画像追尾装置の第１の実施形態の構成を示す。図１では、移動体画像追尾装置の一部の断面図を示している。また、図２は、第１の実施形態の移動体画像追尾装置の外観を示している。

本実施形態に係わる移動体画像追尾装置は、直方体形状の土台１０内に撮影装置であるカメラ１００が埋め込まれている。さらに、土台１０上には円柱形状を有する回動可能な第１のジンバル２０の底面が埋め込まれている。第１のジンバル２０は開口部３５を有し、円柱形側面が土台１０に対して垂直に設けられている。その第１のジンバル２０の開口部３５の中に、円形状の開口入力部４０が設けられ、底部が丸みを帯びた円柱形状の第２のジンバル３０が上下に回動可能に取り付けられている。即ち、第１のジンバル２０の内側側壁が第２のジンバル３０の外側側壁と平行で、且つ、第２のジンバル３０の開口入力部４０を構成する円形の中心が第１のジンバル２０の円柱を構成する円形の中心に位置するように取り付けられている。ここで、回動とは、正逆両方向に円運動することを示す。また、第１のジンバル２０は追尾対象を検出するまでは、回転（ここでは、一方向に円運動することを示す）をしている。追尾対象を検出した後は、回動をする。

また、第１のジンバル２０は、第１のジンバル２０を構成する２つの円柱形状の外側側面が土台１０に対して垂直で、且つ、その円形の底面の中心を回転軸として、自由に回転することができるアジマス軸（ＡＺ軸）を有する。

一方で、第２のジンバル３０は、アジマス軸に対して直交し、且つ、第２のジンバル３０の中心を回転軸として、自由に回動することができるエレベーション軸（ＥＬ軸）を有する。このとき、エレベーション軸は第２のジンバル３０の重心と一致していることが望ましい。

移動体画像追尾装置は、上述した形状によって、監視映像（光）を開口入力部４０から移動体画像追尾装置内の土台１０に埋め込まれたカメラ１００に導くようになっている。そのため、円形状の開口入力部４０の中心が、第２のジンバル３０の回転軸となるアジマス軸の中心と一致するように設けられている。なお、開口入力部４０はアジマス軸を中心としなくても本実施形態による効果は得られる。また、開口入力部４０からカメラ１００までの経路には、監視映像を開口入力部４０から土台１０に埋め込まれたカメラ１００にまで導くための映像導入通路４５が形成されている。すなわち、映像導入通路４５は開口入力部４０と同形状の断面を有する筒状の形状を有しており、監視映像は第１および第２のジンバル２０、３０の内部通路４５ａ乃至４５ｅに設けられた、例えば５つのミラーで反射されてカメラ１００まで導かれる。

開口入力部４０から入射した監視映像は、アジマス軸を中心とするように形成された映像導入通路４５を通って、アジマス軸とエレベーション軸が交わる位置に設けられた第２のジンバル３０内の第１のミラー５０によってエレベーション軸方向に反射される。つまり、第１のミラー５０は、第２のジンバル３０の回動に追従して回動するものである。

第１のミラー５０で反射された監視映像は、エレベーション軸を中心とするように形成された第１の通路４５ａ内を通って、第１のジンバル２０内の側壁に設けられた第２のミラー６０によって土台１０方向に向かって反射される。

更に、第２のミラー６０で反射された監視映像は、土台１０に向かって形成された第１のジンバル２０内の第２の通路４５ｂを通って、土台１０と第１のジンバル２０が接している第１のジンバル２０内の底面の土台１０側に設けられた第３のミラー７０によってエレベーション軸に対して平行になるように第１のジンバル２０内のアジマス軸に向かって反射される。

第３のミラー７０で反射された監視映像は、エレベーション軸に対して平行になるように第１のジンバル２０のアジマス軸に向かって形成された第１のジンバル２０内の第３の通路４５ｃを通って、第１のジンバル２０内のアジマス軸の中心に設けられた第４のミラー８０によってアジマス軸に対して平行になるように土台１０内に向かって反射される。

第４のミラー８０で反射された監視映像は、アジマス軸を中心とするように形成された第４の通路４５ｄをとって、土台１０内に設けられた第５のミラー９０で反射される。

最後に、第５のミラー９０で反射された監視映像は、土台１０中に埋め込まれたカメラ１００の方向に向かって形成された第５の通路４５ｅを通って、カメラ１００に入射されて撮影が行われる。なお、通路４５ｃ、４５ｄは、第１のジンバル２０、第２のジンバル３０及び土台１０が接している境界面で切り離せることができるように形成されている。

図２には、移動体画像追尾装置において、第２のジンバル３０を構成するエレベーション軸が図１の状態から９０°回転したときの様子を示している。

図２に示すように、本実施形態における移動体画像追尾装置は、アジマス軸とエレベーション軸の２軸を用いて、柔軟な動きをすることが可能である。

次に、本実施形態における移動体画像追尾装置について、図３を用いてより具体的に説明する。

本実施形態に係わる移動体画像追尾装置は、上記したように、第１のジンバル２０がアジマス軸を回転軸として回転するが、この回転の駆動モータ（図示せず）の回転軸が第１のジンバル２０内に設けられており、第１の駆動部１１０により回転制御される。一方で、第２のジンバル３０もエレベーション軸を回転軸として、第２のジンバル３０に設けられたモータ（図示せず）によって回動し、第２の駆動部１２０によって回動制御される。

そして、第１の駆動部１１０は、第１のジンバル２０の回転角度の検出する第１の角度センサ１３０に接続され、また第２の駆動部１２０は、第２のジンバル３０の回転角度を検出する第２の角度センサ１４０に接続されている。

また、第１の角度センサ１３０及び第２の角度センサ１４０には、第１の角度センサ１３０及び第２の角度センサ１４０で検出した回転角度情報が入力され、一時刻前の回転角度情報を出力する遅延器１５０と、第１のジンバル２０及び第２のジンバル３０の角速度を決定する角速度指令値を生成する角速度生成指令部１６０に接続されている。

角速度生成指令部１６０は、第１のジンバル２０の角速度指令値を生成する第１の指令算出部１７０と、第２のジンバル３０の角速度指令値を生成する第２の指令算出部１８０から構成される。

第１のジンバル２０内の第３のミラー７０付近には、第１のジンバル２０の回転角速度を検知する第１の角速度センサ１９０が設けられており、第２のジンバル３０内の開口入力部４０付近にも第２のジンバル３０の回転角速度を検知する第２の角速度センサ２００が設けられている。角速度センサ１９０，２００には、汎用されているレートジャイロセンサ等を用いればよい。

また、第１の角速度センサ１９０及び第２の角速度センサ２００は、駆動制御部２１０と接続されている。第１の角速度センサ１９０及び第２の角速度センサ２００は、取得した角速度の情報を駆動制御部２１０へ転送する。

駆動制御部２１０は、角速度生成指令部１６０にも接続されており、角速度生成指令部１６０で生成された第１のジンバル２０及び第２のジンバル３０の角速度指令値が入力される。

この駆動制御部２１０は、第１の駆動部１１０及び第２の駆動部１２０を制御する第１のサーボ制御部２２０及び第２のサーボ制御部２３０から構成される。第１のサーボ制御部２２０は、第１の角速度センサ１９０で得た角速度情報及び第１の指令算出部１７０から出力された角速度指令値に基づいて、第１の駆動部１１０を制御する。また、第２のサーボ制御部２３０は、第２の角速度センサ２００で得た情報及び第２の指令算出部１８０から出力された角速度指令値に基づいて、第２の駆動部１２０を制御する。

カメラ１００は、カメラセンサ２４０を内蔵しており、カメラ１００で撮影した画像はカメラセンサ２４０で画像データとして取得される。

カメラセンサ２４０で取得された画像データは、カメラセンサ２４０と接続された追尾誤差検出部２５０で、２値化によって白黒画像に変換される。この画像から、移動体画像追尾装置が検出する移動体画像の特徴点を抽出することで、カメラ１００視野内の位置が識別され、視野中心から２方向のずれ量（第１の追尾誤差）を追尾誤差検出値とする。

これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。つまり、追尾誤差検出値を得る際には、多少の遅延が生じることとなる。

また、追尾誤差検出部２５０は、仮想カメラ追尾誤差計算部２６０（追尾誤差計算部とも称する）と接続されている。

この仮想カメラ追尾誤差計算部２６０は、遅延器１５０及び角速度生成指令部１６０とも接続されている。即ち、追尾誤差検出部２５０から転送された２方向の追尾誤差検出値及び遅延器１５０から転送された一時刻前の角度情報により、第２のジンバル３０から得た画像データを計算し、角速度生成指令部１６０へ計算結果を転送する。ここで、一時刻前の角度情報とは、追尾誤差検出部２５０が追尾誤差検出値を得る際に生じた遅延の長さを意味する。なお、仮想カメラとは、開口入力部４０に入射した映像を撮影したように見えるカメラを意味する。

次に、追尾誤差検出部２５０における検出方法について具体的に説明する。

図４は、アジマス軸の回転が０°の移動体画像追尾装置の断面図を示し、図５はそのときに、カメラ１００によって撮影されて、追尾誤差検出部２５０で処理された画像を示す。

また、図４においては、カメラ１００が撮影可能な範囲である視野２７０を示し、視野２７０の範囲内に移動体２８０が存在している様子を示している。なお、移動体２８０は移動している物体であってもよいし、静止している物体であってもよい。

図４に示すように、視野２７０内の移動体２８０をカメラ１００で撮影している場合、追尾誤差検出部２５０によって図５のように、カメラ１００の中心から（ΔＸ_１、ΔＹ_１）だけずれた追尾誤差検出値が得られる。

次に、図６は、アジマス軸が図４の状態から４５°回転した移動体画像追尾装置の断面図を示し、図７はそのときに、カメラ１００によって撮影されて、追尾誤差検出部２５０で処理された画像を示す。

図６に示すように、視野２７０の範囲内に移動体２８０が存在すると仮定して、カメラ１００で撮影している場合、追尾誤差検出部２５０によって図７のように、カメラ１００中心から（ΔＸ_２、ΔＹ_２）だけずれた追尾誤差検出値が得られ、ΔＸ_２及びΔＹ_２の何れもがずれた値となる。このように、エレベーション軸と移動体２８０との相対位置関係は変化していないにも関わらず、カメラ１００で検出された追尾誤差検出値が変化してしまう。これは、第１のジンバル２０及び第２のジンバル３０内に設けられた第１乃至第５のミラー５０、６０、７０、８０、９０とで画像の回転が生じたためである。

また、エレベーション軸が回動した場合も同様に、カメラ１００で撮影した画像の回動がミラーによって生じる。

このように、アジマス軸、エレベーション軸のそれぞれの回転・回動に応じて、カメラ１００で検出される追尾誤差検出値が変化してしまう。

次に、その追尾制御系について、図８を用いて具体的に説明する。

図８は、アジマス軸及びエレベーション軸の２軸をまとめて表したブロック図である。

ジンバル駆動部２９０は、第１の駆動部１１０及び第２の駆動部１２０をまとめて表現している。また、角速度センサ３００は、第１の角速度センサ１９０及び第２の角速度センサ２００をまとめて表現している。また、角度センサ３１０は、第１の角度センサ１３０及び第２の角度センサ１４０をまとめて表現している。

仮想カメラ追尾誤差計算部２６０では、第１のジンバル２０及び第２のジンバル３０の角度を検出する角度データ、並びにカメラセンサ２４０からの追尾誤差検出値に基づいて、第２のジンバル３０の開口入力部４０付近に仮想的に備わった仮想カメラで検出される仮想カメラ追尾誤差検出値（第２の追尾誤差）を計算する。

カメラ１００で検出されるＸ−Ｙ追尾誤差（ΔＸ_ｆ、ΔＹ_ｆ）と、仮想カメラで検出される仮想Ｘ−Ｙ追尾誤差（ΔＸ_ｊ、ΔＹ_ｊ）との関係は、角度センサ３１０、つまり第１の角度センサ１９０と第２の角度センサ２００のそれぞれから検出される第１のジンバル２０及び第２のジンバル３０を構成するアジマス軸及びエレベーション軸の回転角（θ_１、θ_２）に応じた座標変換から、以下の１式のようになる。

ここで、各座標行列は、以下の２式〜４式で表される。

このことから、カメラ１００で検出された追尾誤差（ΔＸ_ｆ、ΔＹ_ｆ）を用いて、第２のジンバル３０の開口入力部４０付近に仮想的に備わった仮想カメラで検出される追尾誤差（ΔＸ_ｊ、ΔＹ_ｊ）は、逆座標変換により以下の５式のようになる。

なお、逆座標変換行列は、以下の６式のように表される。

６式の行列を整理することにより、以下の７式のように簡易にすることができる。

ここで、カメラ１００で検出された追尾誤差（ΔＸｆ、ΔＹｆ）は、追尾誤差検出部２５０における画像処理のため遅延が生じている。角度センサ３１０によって検出される角度（θ_１、θ_２）は、角度に基づくジンバル指向制御にも適用できるため、追尾誤差検出部２５０のサンプリングよりも高速でサンプリングされている。仮想カメラ追尾誤差計算部２６０による仮想カメラ追尾誤差計算としては、追尾誤差も角度も同時刻の情報を用いる必要がある。移動体２８０が低速で動く場合に追尾する場合には７式による仮想カメラ追尾誤差計算で影響があまりないが、移動体２８０が高速で動く場合にはこの遅延の影響が顕著に現れる。

そこで、本実施形態では、遅延器１５０を用いて角度データを追尾誤差検出部２５０の遅延と同時間検出させてから、仮想カメラ追尾誤差計算部２６０に入力する。なお、遅延器１５０が備え付けられていない場合は、仮想カメラ追尾誤差計算部２６０を設ける必要はなく、追尾誤差検出部２５０で処理した追尾誤差が直接角速度生成指令部１６０へ転送されることになる。この場合、多少の遅延が生じるだけである。

角速度生成指令部１６０は、仮想カメラ追尾誤差計算部２６０から取得する２方向の追尾誤差と、角度センサ３１０によって検出される角度（θ_１、θ_２）とにより、移動体２８０を追尾するように第１のジンバル２０及び第２のジンバル３０を駆動する角速度指令値（θｒ_１、θｒ_２）を生成する。２方向画像（ΔＸ、ΔＹ）からアジマス軸及びエレベーション軸の２軸へ角速度を分配する手法の一つとして、追尾誤差を角度に対する角度指令値の関係式を表すと、以下の８式のように表される。

ここで、Ｋ_ｃは追尾ゲインである。また、secθ_２は、θ_２に関する正割関数であり、θ_２＝９０で無限大となる。このため、天頂や、天頂付近では第１のジンバル２０に対して非常に大きな角速度指令が発生することとなり注意が要する。

以上、本実施形態によれば、仮想カメラ追尾誤差計算を行うことで、第２のジンバル３０の開口入力部４０付近に仮想的に備わった仮想カメラで検出される仮想カメラ追尾誤差検出値を用いて移動体２８０を追尾することが可能となる。また、カメラ１００を第１のジンバル２０及び第２のジンバル３０に設けていないので、第１のジンバル２０及び第２のジンバル３０は俊敏な動きをすることが可能となる。

（第２の実施形態）
図９は、第２の実施形態に係わる移動体画像追尾装置の制御動作を示す。

本実施形態の移動画像追尾装置では、移動体の画像追尾と伴に画像データの記録と再生を行う。移動体２８０を追跡し、継続した監視や詳細な情報を入手する場合、第１の実施形態で説明したようにカメラ１００で移動体２８０の画像追尾を行うと、カメラ１００で撮影される画像は回転してしまう。

このため、カメラ１００で撮影した画像をそのまま取り扱おうとすると、回転の影響を受けて、必要な監視情報が得られなくなってしまう。

回転の影響を取り除くためには、第２のジンバル３０の開口入力部４０付近に仮想的に備わった仮想カメラで検出して処理を行わなければならない。しかしながら、画像処理に時間が掛かってしまい、追尾性能を低下させてしまう。

これに対して、映像撮影部にも回転機構を設けて、ジンバルに角度による光学系の回転に合わせて、受光部を回転させるという手法がある。しかし、機構系を増やしてしまうため、制御の複雑化や、装置のコストが高くなるという課題がある．
そこで、本実施形態では、画像追尾制御のサンプリング時間はそのままで、画像データの記録と同時に、第１のジンバル２０及び第２のジンバル３０の角度情報を記録する記録部を設ける構成としている。

図９に示すように、初めに移動体画像追尾装置は移動体２８０の追尾を行う（Ｓ１０）。

移動体２８０の追尾を行いながら、カメラ１００により移動体２８０の画像データを取得すると同時に、角度センサ３１０により角度データを取得する（Ｓ２０）。これらの画像データ及び角度データは移動体画像追尾装置に設けられた記録部（図示せず）に記録される。また、カメラ１００で撮影した画像は、第１のジンバル２０及び第２のジンバル３０内に設けられたミラーによる回転の影響を受けている。

次に、取得した画像データの再生時においては、移動体画像追尾装置は引き続き移動体２８０の追尾を行っており、Ｓ２０で得た画像データ及び角度データに基づいて、オフラインで画像データ回転変換処理を行う（Ｓ３０）。最後に、Ｓ３０の処理により回転の影響を受けていない画像データを取得する（Ｓ４０）。

以上、本実施形態によれば、第２のジンバル３０にカメラ１００が設けられている従来機と同様の画像データを得ることが可能となる。また、角度データも記録されているため、移動画像追尾装置の設置場所により何れかの方向を指向しているときの映像がわかることとなる。

（第３の実施形態）
図１０は、第３の実施形態に係わる移動体画像追尾装置の制御動作を示す。

本実施形態の移動体画像追尾装置では、第２の実施形態と同様に、移動体の画像追尾と伴に画像データの記録と再生を行う。

本実施形態の移動体画像追尾装置におけるデータの記録・再生で、第２の実施形態体と異なる点は、角度データではなく、予め第１のジンバル２０の角度と第２のジンバル３０の角度より定まる画像データ回転変換を行う画像データ補正角度を画像データとともに移動体画像追尾装置が記録する（Ｓ５０）点である。記録された画像データを再生する場合には、オフラインによる処理で、画像データを画像データ補正角度情報に基づいて画像データ回転変換処理を行う（Ｓ３０）。このようにすることで、画像追尾性能を低下させることなく、画像データを得ることができる。

以上、本実施形態によれば、画像データ補正角度のみを画像データと伴に記録し、再生時の画像データ回転変換に利用するために、記録時の情報量を低減して、第２のジンバル３０にカメラ１００が固定されている従来機器と同様の画像データを得ることが可能である。

（第４の実施形態）
図１１は、第４の実施形態に係わる移動体画像追尾装置の制御動作を示す。

本実施形態の移動体画像追尾装置では、移動体２８０の画像追尾と伴に画像データの表示を行う。

上記した通り、カメラ１００で撮影される移動体２８０の追尾に伴う画像は複数のミラーによる回転の影響を受け、回転した画像を処理する時間がかかってしまう。

そこで、カメラ１００で移動体２８０の画像追尾制御を、サンプリング周波数Ｆｓ−ｖｓｒｖで行う。また、画像追尾制御のサンプリング周波数よりも低いサンプリング周波数Ｆｓ−ｄｉｓｐにて、第１のジンバル２０の角度と第２のジンバル３０の角度とを用いて、画像データ回転変換部３２０にて画像データ回転変換を行い、表示部３３０に出力する。つまり、画像追尾制御を行いつつ、処理した画像を表示部３３０でモニタリングするのである。

以上、本実施形態によれば、低サンプリング周波数で回転変換処理を行うため、追尾特性を劣化させることなく、第２のジンバル３０にカメラ１００が固定されている従来機器と同様の情報を得ることが可能となる。

以上、本発明を実施例に基づいて具体的に説明した。しかし、本発明はこれらの記述に限定されるものではない。上記の実施例に関して、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、本発明の実施例が備える各要素およびその配置などは、例示したものに限定されるわけではなく適宜変更することができる。

また、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。

１０ … 土台
２０ … 第１のジンバル
３０ … 第２のジンバル
３５ … 開口部
４０ … 開口入力部
４５ … 映像導入通路
４５ａ、４５ｂ、４５ｃ、４５ｄ、４５ｅ … 通路
５０ … 第１のミラー
６０ … 第２のミラー
７０ … 第３のミラー
８０ … 第４のミラー
９０ … 第５のミラー
１００ … カメラ
１１０ … 第１の駆動部
１２０ … 第２の駆動部
１３０、１９０ … 第１の角度センサ
１４０、２００ … 第２の角度センサ
１５０ … 遅延器
１６０ … 角速度生成指令部
１７０ … 第１の指令算出部
１８０ … 第２の指令算出部
２１０ … 駆動制御部
２２０ … 第１のサーボ制御部
２３０ … 第２のサーボ制御部
２４０ … カメラセンサ
２５０ … 追尾誤差検出部
２６０ … 仮想カメラ追尾誤差計算部
２７０ … 視野
２８０ … 移動体
２９０ … ジンバル駆動部
３００ … 角速度センサ
３１０ … 角度センサ
３２０ … 画像データ回転変換部
３３０ … 表示部

Claims

土台と、
前記土台に対して回動可能に、前記土台上に設けられ、開口部を有する第１のジンバルと、
前記土台に対して回動可能に、前記第１のジンバルの前記開口部内に設けられ、追尾対象の移動体の映像を導入するための開口入力部が設けられた第２のジンバルと、
前記第２のジンバルの前記開口入力部から入射した前記移動体の前記映像を、前記第２のジンバルから前記第１のジンバルを経由して前記土台側へ導くために形成された映像導入通路と、
前記土台内に設けられ、前記導かれた前記映像を撮影し、前記映像を画像データとして出力する撮影装置と、
前記第１及び前記第２のジンバルの回転角度を測定するための角度センサと、
前記撮影装置で出力された複数の前記画像データの複数の特徴点を抽出し、複数の前記特徴点に基づいて前記画像データの第１の追尾誤差を検出する追尾誤差検出部と、
前記角度センサにより測定した前記回転角度を出力する遅延器と、
前記第１の追尾誤差及び前記遅延器により出力された前記回転角度に基づいて、前記画像データの第２の追尾誤差を計算する追尾誤差計算部と、
前記第１及び前記第２のジンバルの前記回転角度及び前記第２の追尾誤差に基づいて、前記第１及び前記第２のジンバルの回転の角速度を生成し、指令する角速度生成指令部と、
前記角速度に基づいて、前記第１及び前記第２のジンバルの駆動を制御する駆動制御部と、
を備えたことを特徴とする移動体画像追尾装置。
前記撮影装置で出力された前記画像データ及び前記角度センサにより測定した前記回転角度を記録するための第１の記録部を更に備えたことを特徴とする請求項１に記載の移動体画像追尾装置。
前記角度センサにより測定した前記回転角度に基づいて、前記画像データを回転変換する画像データ回転変換部と、
前記画像データ回転変換部によって回転変換された前記画像データを表示する表示部と、
を更に備えたことを特徴とする請求項１に記載の移動体画像追尾装置。