JP3741681B2 - 追尾雲台 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は追尾雲台に関し、特に撮像部の出力の画像とテンプレート画像との相関演算により追尾指令信号を生成し、追尾指令信号に基づき、撮像部の視軸方位を追尾対象物に指向するように自動追尾する追尾雲台に関する。
【０００２】
【従来の技術】
図３は、従来の追尾雲台の構成を示すブロック図である。この従来の追尾雲台は、撮像部１、追尾指令生成部２、操作部６および視軸変更部８でなる。追尾指令生成部２は、テンプレート生成回路３、相関演算回路４および動き量演算回路５でなる。
【０００３】
この追尾雲台は、撮像部１の出力の画像とテンプレート生成回路３の出力のテンプレート画像との相関演算を相関演算回路４で行い、その相関演算により偏差量を生成し、動き量演算回路５で偏差量に応じた追尾指令信号を生成し、視軸変更部８において追尾指令信号に応じて撮像部１の視軸を追尾対象物に指向する。このように図３の追尾雲台は、撮像部１の視軸を追尾対象物へ自動的に指向する機能を有する。追尾の対象物が車両などの移動体であっても、図３の追尾雲台は対象物を自動追尾する。この追尾雲台は、ヘリコプターや車両に搭載されるのが通常である。
【０００４】
撮像部１は、ジンバル構造に装着されて、視軸方向の所定視野内の物の画像を生成し、画像信号１０１を出力する。視軸変更部８は、撮像部１の視軸方向を追尾指令信号１０６に応じて制御する。追尾指令生成回路２は、画像信号１０１を受けて追尾指令信号１０６を生成する。操作部６は、操作者による手動の操作１０９に応じ駆動指令信号１０２を生成する。なお、図３では、本従来例の動作説明にかかわる主要構成要素のみが抽出され、描かれている。このことは、図1を参照し後に述べる本発明の実施の形態においても同様である。
【０００５】
テンプレート生成回路３は、追尾開始時においては、画像信号１０１を受けて、受像画面中心部における追尾対象物の画像を含む領域を、テンプレート画像として切り出して保存するとともに、追尾対象物に対する追尾状態においては、テンプレート画像信号１０４を相関演算回路４へ出力する。相関演算回路４は、画像信号１０１の画像を探索領域として、該画像とテンプレート画像との間の相関演算（テンプレートマッチング）を行い、該テンプレート画像と最も良く適合する領域座標、および該領域座標の画面中心からの偏差量を検出し、該偏差量１０５を動き量演算回路５へ出力する。動き量演算回路５は、偏差量１０５に対応する追尾指令信号１０６を生成する。視軸変更部８は、追尾指令信号１０６を受け、追尾指令信号１０６に応じた視軸変更出力１０８を生成する。視軸変更出力１０８は、機械出力であり、撮像部１の視軸を追尾対象物へ指向する。このような作動により、図３の追尾雲台は、撮像部１の視軸を追尾対象物に指向し、追尾対象物の画像を画面中心部に保持する。
【０００６】
図４は、図３の従来の追尾雲台において追尾対象を変更する原理を説明するために、その従来の追尾雲台における受像画面を示す模式図である。以下、図３および図４を参照し、図３の従来の追尾雲台において追尾対象を変更する原理を説明する。いま、図４（ａ）に示すように、撮像部１で撮像した画像が撮像画面１０に表示され、撮像画面１０の画像には車両ＡおよびＢの画像が含まれており、車両Ａを追尾している状態において、操作者が追尾対象を車両Ａから車両Ｂへ変更しようとしているとする。
【０００７】
このように、追尾対象を現時点における車両Ａ（第１の追尾対象物）から車両Ｂ（第２の追尾対象物）に変更する際には、操作者は、撮像部１の視軸を変更対象の車両Ｂの方向に向けるように指令操作を行う。操作部６は、例えばジョイスティックでなり、操作者による手動操作１０９に応じ、駆動指令信号１０２を生成する。駆動指令信号１０２は、第１の追尾対象物の画像位置から第２の追尾対象物の画像位置へ向かう方向102aを表す。この方向102aは、テンプレート３１が移動するべき方向を示す。符号３２は、移動後のテンプレート３１が存在するべき領域を示す。テンプレート生成回路３は、駆動指令信号１０２で表されるテンプレート移動方向102aへ、テンプレート３１を移動させ、記憶するテンプレートデータを移動後のものに更新する（図４（ａ）参照）。テンプレート生成回路３は、駆動指令信号１０２を入力している期間には一定の速度で画面内のテンプレート３１を移動させる。そこで、テンプレートの移動距離は、操作者による手動操作１０９を操作部６に加えている時間、ひいてはテンプレート生成回路３が駆動指令信号１０２を入力する時間により定まる。テンプレート生成回路３は、テンプレート３１内の画像をテンプレート画像信号１０４として出力する。
【０００８】
図４（ａ）では、車両Ａを追尾対象として指定するテンプレートを符号３１で表し、車両Ｂを追尾対象として指定するテンプレート（更新されたテンプレート）を符号３２で表してある。更新されたテンプレート３２は点線にて表示してある。テンプンレート３２の中には、車両Ｂが存在している。相関演算回路４は、更新されたテンプレート３２に基づくテンプレート画像信号１０４を受けて、上述の自動追尾状態の場合と同様に、画像信号１０１で表される撮像画像とテンプレート画像信号１０４の画像との相関演算を行い、該テンプレート画像と最も良く適合する領域座標の画像中心位置が画像信号１０１の撮像画像の中心部位置からずれている距離を偏差量１０５として算出する（図４（ｂ）参照）。
【０００９】
動き量演算回路５は、偏差量１０５に対応する追尾指令信号１０６を生成する。視軸変更部８は、追尾指令信号１０６に応じた機械出力である視軸変更出力１０８により、撮像部１の視軸を車両Ｂに指向させる。かくして、図３の追尾雲台は、車両Ｂを自動追尾する（図４（ｃ）参照）。
【００１０】
追尾雲台に関する発明としては、本願出願人による特願２００２−０２４６９３の発明「追尾雲台および自動追尾判定部」、および特願２００２−２５２７４６の発明「追尾雲台」がある。特願２００２−０２４６９３の「追尾雲台および自動追尾判定部」は、自動追尾指令生成部（２）を備えることにより、手動追尾から自動追尾への切り替えが自動的に行えるようにしている。特願２００２−２５２７４６の「追尾雲台」は、追尾指令切替部（３）を備え、自動追尾中に操作部（４）から手動指令信号（１０３）が出力されたとき、手動指令信号（１０３）で示される方向にテンプレート座標を更新し、更新された座標のテンプレートの画像に追尾対象を自動的に変更する。
【００１１】
【発明が解決しようとする課題】
図３および図４を参照して上に説明した従来の追尾雲台は、操作者による追尾対象の変更操作開始の時点から、追尾雲台が駆動されて撮像部１の視軸が新しい第２の追尾対象物の画像中心に移行するまでに、自動追尾系の特性に依存する或る時間を要する。前記特願２００２−２５２７４６の「追尾雲台」も、追尾対象の切替に要する時間に関し、図３の追尾雲台と同様である。この特願２００２−２５２７４６の「追尾雲台」では、自動追尾状態を維持しながら追尾対象の変更をするので、追尾対象の変更時に操作部（４）の出力の手動指令信号（１０３）は撮像部（１）の駆動系である視軸変更部（５）には供給されず、自動追尾系の特性に依存する或る時間を要する。そこで、従来の追尾雲台には、追尾対象の変更において即応性に欠けるという欠点がある。
【００１２】
また、画像中心とテンプレート座標との間に偏差量が存在している状態においては、該偏差量に応じて追尾雲台が駆動されて撮像部の視軸が変更制御される。そのような視軸の変更制御過程において、更に操作者による操作制御が行われると、相関演算回路４から出力される偏差量１０５にも変化が生じ、第２の追尾対象物に対する撮像部１の視軸の移行状態の予測がつかなくなり、追尾対象物の変更という微妙な操作の難度を高めるという欠点がある。
【００１３】
更に、前記テンプレート座標は、撮像部１による撮像画面内の座標に設定することが求められるので、該撮像画面１０に表示される追尾対象物以外の追尾対象に対しては、変更が不可能であるという欠点がある。
【００１４】
本発明の目的は、従来の追尾雲台に残された課題を解決し、追尾対象物を他の追尾対象物に変更する際の所要時間を短縮して即応性を改善するとともに、追尾対象の変更操作が既存の操作方法と同様な平易な操作方法で行えるようにし、併せて撮像画面外の対象物をも新たな追尾対象物として選択できる追尾雲台を提供することにある。
【００１５】
【課題を解決するための手段】
前述の課題を解決するために本発明は次の手段を提供する。
【００１６】
（１）ジンバル構造に装着される撮像部の視軸方向を、追尾対象物の撮像画像とテンプレート画像とを比較する相関演算処理を介して、該追尾対象物に対し指向するように自動追尾する追尾雲台において、
手動操作により前記撮像部の視軸方向の変更制御を指令する際には、前記撮像部による追尾対象物の画像情報を参照して、操作者の行う制御操作を介して駆動指令信号を出力する操作部と、
追尾対象物に対する自動追尾時に、前記撮像部の視軸方向の追尾制御を指令する際には、前記撮像部により取得された画像情報の入力を受けて、追尾指令信号を生成して出力する追尾指令生成部と、
前記駆動指令信号、追尾指令信号またはこれらの駆動指令信号と追尾指令信号とを含む複合指令信号の入力を受けて、それぞれの指令信号に対応して、前記撮像部の視軸方向を変更制御する視軸変更信号を生成して出力する視軸変更部と、前記駆動指令信号または追尾指令信号の一方の指令信号が入力される際には、それぞれ単独にて前記視軸変更部に出力し、駆動指令信号と追尾指令信号が同時に入力される際には、これらの両指令信号を加算して複合指令信号として前記視軸変更部に出力する加算回路と、
前記ジンバル構造に装着される該撮像部とを備えて構成され、
追尾対象物を、第１の追尾対象物から第２の追尾対象物に変更する際には、前記操作者による追尾対象変更操作を介して、前記操作部より視軸変更部に対し駆動指令信号を出力して、撮像部の視軸を該第２の追尾対象物の方向に移動させるともに、前記追尾指令生成部に対しテンプレート更新指示信号を出力して、第２の追尾対象物を追尾対象物として捕捉することにより、該第２の追尾対象物に対する追尾状態に入ることを特徴とする追尾雲台。
【００１７】
（２）前記追尾指令生成部は、自動追尾時に、前記撮像部により取得された画像信号の入力を受けて、受像画面中心部の追尾対象物の撮像画像を含む領域を、テンプレート画像として切り出して保存するとともに、テンプレート画像信号を出力するテンプレート生成回路と、
前記追尾対象物の画像信号と前記テンプレート画像信号の入力を受けて、これらの両画像間の二次元相関演算を行い、テンプレート画像との適合度が最も高い領域座標を演算出力するとともに、該領域座標の画像中心からの偏差量を演算出力する相関演算回路と、
前記偏差量の入力を受けて、該偏差量に比例した数量値を指令値とする追尾指令信号を生成して出力する動き量演算回路と、
を備えて構成され、
前記第１の追尾対象物を前記第２の追尾対象物に変更する際には、前記駆動指令信号による撮像部の視軸の移動に並行して、前記テンプレート生成回路において、前記テンプレート更新指示信号の入力を介して、第２の追尾対象物の方向に向かうテンプレートの移動および更新を行い、該第２の追尾対象物の撮像画像を含む領域を、第２のテンプレート画像として切り出して保存することにより、第２の追尾対象物に対する追尾状態に移行することを特徴とする前記（１）に記載の追尾雲台。
【００１８】
【作用】
上記の構成によれば、操作者による変更操作により追尾対象物を変更する際に、該変更操作から撮像部の駆動までの時間差は殆ど発生することがなく、操作部から出力される駆動指令信号による視軸変更部の追尾雲台に対する駆動量は、追尾指令生成回路不在のシステム構成における操作状況と同等であり、新たに操作方法を習得するまでもなく直感的な操作を行うことが可能となる。また、撮像部を視軸変更部を介して直接的に駆動することができるために、そのまま撮像部を画面外に移動させて、画面外の追尾対象物に対する変更も可能になる。
【００１９】
【発明の実施の形態】
次に、本発明の実施形態について説明する。
【００２０】
本発明の実施形態は、ジンバル構造に装着される撮像部の視軸方向を、相関演算処理により追尾対象物に対し指向するように自動追尾する追尾雲台において、追尾中の追尾対象物を他の追尾対象物に変更する際に、操作部より、撮像部の視軸を、新たに追尾対象とする追尾対象物の方向に駆動する駆動指令信号を出力するとともに、追尾指令生成部に含まれるテンプレート生成回路に対し、テンプレート更新指示信号を出力し、該テンプレート更新指示信号を介して追尾指令生成部より出力される追尾指令信号と、前記駆動指令信号とを加算して撮像部を駆動することにより、操作者による極めて平易な操作により、速かに追尾対象の追尾対象物を捕捉して追尾状態に入ることができる。
【００２１】
次に、本発明の実施の形態について図面を参照して説明する。図１は本実施の形態の主要部を示すブロック図である。図２は、図１の追尾雲台において追尾対象を変更する原理を説明するために、その追尾雲台における受像画面を示す模式図である。図１に示されるように、本実施の形態は、追尾雲台のジンバル構造に装着されて、追尾対象物を捕捉して画像信号１０１を出力する撮像部１と、撮像部１の視軸方向を追尾対象物に対して指向するように変更する視軸変更部８と、テンプレート生成回路３、相関演算回路４および動き量演算回路５を含み、撮像部１において取り込まれた画像信号１０１の入力を受けて視軸変更部８を制御する追尾指令信号１０６を生成して出力する追尾指令生成部２と、操作者による手動操作１０９を介して駆動指令信号１０２とテンプレート更新指示信号１０３を出力する操作部６と、駆動指令信号１０２と追尾指令信号１０６の入力を受けて両指令信号を加算して出力する加算回路７とを備えて構成される。なお、図１においては、従来例の場合と同様に、動作説明にかかわる主要構成要素のみを抽出して記載している。
【００２２】
図１において、テンプレート生成回路３は、追尾開始時において、画像信号１０１を受けて、受像画面中心部の追尾対象の撮像画像を含む領域を、テンプレート画像として切り出して保存するとともに、追尾対象に対する追尾状態においては、テンプレート画像信号１０４が出力されて相関演算回路４に入力される。相関演算回路４においては、画像信号１０１の出力画像を探索領域として、該出力画像とテンプレート画像との間の相関演算が行われ、該テンプレート画像と最も良く適合する領域座標、および該領域座標の画面中心からの偏差量が検出されて、該偏差量１０５は動き量演算回路５に入力される。動き量演算回路５においては、偏差量１０５の数量値に対応する追尾指令信号１０６が生成され、加算回路７を経由して視軸変更部８に出力される。これを受けて視軸変更部８からは視軸変更信号１０８が出力されて撮像部１に入力され、受像画面における追尾対象物の画像は画面中心部に保持されて、追尾雲台に搭載される撮像部１の視軸が、追尾対象物に対して指向する自動追尾状態が維持される。
【００２３】
この追尾動作状態において、追尾対象を現時点における第１の追尾対象物Ａから第２の追尾対象物Ｂに変更する際には、操作者による手動操作１０９を介して、操作部６からは、撮像部１の視軸の方向が第２の追尾対象物Ｂの方向に向くように駆動指令信号１０２が出力され（図２（ａ）参照）、加算回路７を経由して視軸変更部８に入力される。また同時に、操作者による手動操作１０９を介して、テンプレート更新指示信号１０３が出力されて、テンプレート生成回路３に入力される。この状態においては、視軸変更部８に対しては、操作部６より出力される駆動指令信号１０２と、追尾指令生成部２より出力される追尾指令信号１０６が、加算回路７において加算されて複合指令信号１０７として入力される。複合指令信号１０７の入力を受けて、視軸変更部８からは視軸変更信号１０８が出力され、撮像部１は視軸変更信号１０８により駆動されて、その視軸は、第２の追尾対象物Ｂの方向に移動する。駆動指令信号１０２による視軸の移動に対応して、テンプレート生成回路３においては、テンプレート更新指示信号１０３が入力されると、受像画面中心部に位置していたテンプレート３１の座標は固定され、入力画像に対応して所定の周期において更新される。この動作状態においては、テンプレート３１の座標は画面中心部に保持されたままの状態で、画面自体は視軸の移動とともに第２の追尾対象物Ｂの方向に移動してゆき、画面上にはテンプレート３１に第２の追尾対象物Ｂが含まれた画像が表示される状態となり（図２（ｂ）参照）、結果的に撮像部１の視軸の方向は第２の追尾対象物Ｂに対し指向して追尾状態に入り、第２の追尾対象物Ｂに対する追尾対象の変更が終了する。
【００２４】
即ち、第２の追尾対象物Ｂに対する変更操作は、図５に示されるように、恰も追尾指令生成部が存在しないシステム構成において、操作者による手動の操作１０９により、操作部６から駆動指令信号１０２を出力し、視軸変更部８より出力される視軸変更信号１０８により撮像部１を駆動して、撮像部１の視軸を変更制御する際の操作内容と同等であり、操作は極めて平易に行われる。
【００２５】
【発明の効果】
以上説明したように、本発明は、追尾対象を変更する際に、操作者の操作を介して、操作部より撮像部の視軸の方向を、変更対象の第２の追尾対象に対して指向する向きに駆動する駆動指令信号を出力するとともに、テンプレート座標を更新するテンプレート更新指示信号を追尾指令生成部に対して出力し、該テンプレート更新指示信号の入力を介して追尾指令生成部より出力される追尾指令信号と、前記駆動指令信号とを加算して撮像部を駆動して、該撮像部の視軸の向きを第２の追尾対象物Ｂに指向させることにより、操作上の時間差を排除して追尾対象物を変更することが可能になるという効果がある。
【００２６】
また操作者による操作部からの追尾変更の操作感覚については、恰も手動操作の駆動指令信号により、撮像部の視軸を変更する場合と同等の操作によって行うことができるために、従来の操作手法より違和感なく変更制御の操作を行うことができるという効果がある。
【００２７】
更に、視軸の変更操作を行う際には、手動操作による駆動指令信号により、随意に撮像部の視軸を変更移動して追尾対象物の変更を行うことができるために、受像画面の枠外に存在する追尾対象物に対しても、追尾対象として適用することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示すブロック図である。
【図２】図１の追尾雲台において追尾対象を変更する原理を説明するために、その追尾雲台における受像画面を示す模式図である。
【図３】従来例を示すブロック図である。
【図４】図３の従来の追尾雲台において追尾対象を変更する原理を説明するために、その従来の追尾雲台における受像画面を示す模式図である。
【図５】追尾指令生成部が存在しないシステム構成を示す図である。
【符号の説明】
１ 撮像部
２ 追尾指令生成部
３ テンプレート生成回路
４ 相関演算回路
５ 動き量演算回路
６ 操作部
７ 加算回路
８ 視軸変更部
１０ 撮像部１で撮像した画像が表示される画面（撮像画面）
３１ テンプレート
１０１ 画像信号
１０２ 駆動指令信号
１０２ａ テンプレート３１が移動するべき方向を示す矢印
１０３ テンプレート更新指示信号
１０４ テンプレート画像信号
１０５ 偏差量
１０６ 追尾指令信号
１０７ 駆動指令信号１０２と追尾指令信号１０６とを加算回路７において加算してなる複合指令信号
１０８ 視軸変更出力
１０９ 操作者による手動操作
Ａ 第１の追尾対象物
Ｂ 第２の追尾対象物

Claims (2)

1. ジンバル構造に装着される撮像部の視軸方向を、追尾対象物の撮像画像とテンプレート画像とを比較する相関演算処理を介して、該追尾対象物に対し指向するように自動追尾する追尾雲台において、
   手動操作により前記撮像部の視軸方向の変更制御を指令する際には、前記撮像部による追尾対象物の画像情報を参照して、操作者の行う制御操作を介して駆動指令信号を出力する操作部と、
   追尾対象物に対する自動追尾時に、前記撮像部の視軸方向の追尾制御を指令する際には、前記撮像部により取得された画像情報の入力を受けて、追尾指令信号を生成して出力する追尾指令生成部と、
   前記駆動指令信号、追尾指令信号またはこれらの駆動指令信号と追尾指令信号とを含む複合指令信号の入力を受けて、それぞれの指令信号に対応して、前記撮像部の視軸方向を変更制御する視軸変更信号を生成して出力する視軸変更部と、
   前記駆動指令信号または追尾指令信号の一方の指令信号が入力される際には、それぞれ単独にて前記視軸変更部に出力し、駆動指令信号と追尾指令信号が同時に入力される際には、これらの両指令信号を加算して複合指令信号として前記視軸変更部に出力する加算回路と、
   前記ジンバル構造に装着される該撮像部とを備えて構成され、
   追尾対象物を、第１の追尾対象物から第２の追尾対象物に変更する際には、前記操作者による追尾対象変更操作を介して、前記操作部より視軸変更部に対し駆動指令信号を出力して、撮像部の視軸を該第２の追尾対象物の方向に移動させるともに、前記追尾指令生成部に対しテンプレート更新指示信号を出力して、第２の追尾対象物を追尾対象物として捕捉することにより、該第２の追尾対象物に対する追尾状態に入ることを特徴とする追尾雲台。
2. 前記追尾指令生成部は、自動追尾時に、前記撮像部により取得された画像信号の入力を受けて、受像画面中心部の追尾対象物の撮像画像を含む領域を、テンプレート画像として切り出して保存するとともに、テンプレート画像信号を出力するテンプレート生成回路と、
   前記追尾対象物の画像信号と前記テンプレート画像信号の入力を受けて、これらの両画像間の二次元相関演算を行い、テンプレート画像との適合度が最も高い領域座標を演算出力するとともに、該領域座標の画像中心からの偏差量を演算出力する相関演算回路と、
   前記偏差量の入力を受けて、該偏差量に比例した数量値を指令値とする追尾指令信号を生成して出力する動き量演算回路と、
   を備えて構成され、
   前記第１の追尾対象物を前記第２の追尾対象物に変更する際には、前記駆動指令信号による撮像部の視軸の移動に並行して、前記テンプレート生成回路において、前記テンプレート更新指示信号の入力を介して、第２の追尾対象物の方向に向かうテンプレートの移動および更新を行い、該第２の追尾対象物の撮像画像を含む領域を、第２のテンプレート画像として切り出して保存することにより、第２の追尾対象物に対する追尾状態に移行することを特徴とする請求項１記載の追尾雲台。

Images