JPH04123580A - 画像追尾装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　要〕 撮像センサが取得した画像と目標となる参照画像との相
関演算により目標を抽出して撮像センサの視軸を変向さ
せるジンバル機構への駆動信号を生成する画像追尾装置
に関し、 相関演算量をできるだけ削減することを目的とし、 撮像センサからの実画像信号を記憶する第１のフレーム
メモリと、参照画像を予め記憶した第２のフレームメモ
リと、探索基準点及びその隣接点との相関値を該実画像
と参照画像との間で画素毎に演算し、各相関値同士を比
較してその内の最大の相関値を有する点を次の探索基準
点とし、この演算を順次繰り返すことにより、新たな探
索基準点の相関値がその隣接点の相関値よりも高い値を
有するに到った時点で該撮像センサへ追尾指令を出力す
る相関演算部とで構成する。

〔産業上の利用分野〕

本発明は画像追尾装置に関し、特に撮像センサが取得し
た画像と目標となる参照画像との相関演算により目標を
抽出して撮像センサの視軸を変向させるジンバル機構へ
の駆動信号を生成する画像追尾装置に関するものである
。

〔従来の技術〕

第１図は、かかる画像追尾装置を原理的に示したもので
、１は撮像センサ、２ば撮像センサ１からの実画像信号
を記憶する第１のフレームメモリ、３は参照画像を予め
記憶した第２のフレームメモリ、そして、４は第１のフ
レームメモリ】からの実画像と第２のフレームメモリ３
からの参照画像との間の相関値同士を比較してその内の
最大の相関値を有する点を目標値１として撮像センサ１
に対して追尾指令を与える相関演算部である。

このような構成において、相関演算部４では、撮像セン
サ１から得られた第５図（ａ）に示すような例えばＬＸ
Ｃ画素から成る１フレ一ム分の実画像の全域で、同図（
ｂ）に示すようなｌ×ｃ　（Ｌ＞ｆ　；Ｃ＞ｃ）画素か
ら成る参照画像との間で画素毎に下記の式に示す相関演
算を行う。

・・・・■ 即ち、この式では、第５図（ロ）に示す参照画像Ｒ（Ｘ
、ｙ）を、対応する同図（ａ）の実画像ｆ　（ｘ、ｙ）
　と畳込み演算を行いながら、ｘ、　ｙ方向においてそ
れぞれＸ、Ｙだけずらして実画像全域Ａについて正規化
（分母）された相関値を求めている。

このようにして実画像全域と参照画像との間で画像相関
演算を行って第６図に示すような相関画像を生成し、そ
の相関画像において最大値を検出し、その相関値が最大
となる画像位置を目標位置として、その位置をフレーム
画像毎に追跡するように撮像センサｌに追尾指令を出し
ている。

〔発明が解決しようとする課題〕

このような従来の画像追尾装置においては、上記の相関
演算を実画像全域について行うと、相関追尾に要する積
和演算の数は、 演算量＝３　・ｃ−１（Ｃ−ｃ）　　（Ｌ−４りとなり
、例えば、Ｃ＝　Ｌ　＝２５６．　　ｃ＝　１！　＝３
２の場合は、１４７　Ｘ２”　＃１．５　ＸＩＯ’とな
って膨大な演算量となってしまう。

そのため、相関演算に用いるリアルタイム処理を実現で
きる並列処理やパイプライン処理等のための高速ハード
ウェアが大規模なものとなってしまうという問題点があ
った。

従って、本発明は、撮像センサが取得した画像と目標と
なる参照画像との相関演算により目標を抽出して撮像セ
ンサの視軸を変向させるジンバル機構への駆動信号を生
成する画像追尾装置において、相関演算量をできるだけ
削減することを目的とする。

〔課題を解決するための手段と作用〕

本発明に係る画像追尾装置の基本的な構成は従来例と同
様の第１図に示すような構成であるが、異なるのは相関
演算部４の演算において、探索基準点及びその隣接点と
の相関値を該実画像と参照画像との間で画素毎に演算し
、各相関値同士を比較してその内の最大の相関値を有す
る点を次の探索基準点とし、この演算を順次繰り返すこ
とにより、新たな探索基準点の相関値がその隣接点の相
関値よりも高い値を有するに到った時点で撮像センサｌ
へ追尾指令を出力する点である。

即ち、本発明では、最大の相関値を探索するため、従来
のように実画像（第５図（ａ））全域と参照画像（同図
Ｑ）））との相関値をとるのではなく、第２図（ａ）に
示すように、前回サンプリングしたフレームでの目標位
置は相関分布の丘陵部分に存在すると考えることができ
、この前回の目標点から最短距離で今回の目標位置を探
し出そうとするものである。

これを行うため、相関演算部４では、第２図〜）に示す
ように探索基準点についての実画像と参照画像との相関
値ｇｏ（Ｘａ、）’ｅ）を画素毎に上記の式■のように
して求め、更にこの探索基準点に隣接する点（第２図由
）の例では４つの隣接点となってぃるが、これｔこは限
定されない）についての実画像と参＠百像との相関値ｇ
＋（ＸｚＶ＋）　〜ｇａ（Ｘ４＋Ｙａ）を求め、これら
の中で最も値の大きい点を探索する。

そして、この相関値の中で最も大きい点を次の探索基準
点として同様の相関値探索を行う。

このようにして探索基準点を順次探して行くことにより
第２図（ａｌに示すように目標位置に至る探索経路とな
る。

そして、探索基準点の相関値ｇｏ（Ｘｏ、Ｖｏ）が、そ
の隣接点の相関ｆＩｇ＋（ｘ＋、ｙ＋）　〜ｇａ（Ｘｓ
、ｙ、）のいずれよりも大きいときには、第２図ｆａ）
に示す頂上の目標位置に達したことを示すので、この時
点にて相関演算部４は今回のフレーム画像においてこの
目標位置に追尾する指令を撮像センサ１に対して与える
。

従って、画像相関演算を探索基準点とその隣接点に附定
するため、演算量が大幅に削減され、処理速度を向上さ
せることができ、装置規模も小型となる。

〔実　施　例〕

第３図は、第１図に示した本発明に係る画像追尾装置の
一実施例を示したもので、この実施例では撮像センサ】
の出力信号をＡ／Ｄ変換器５で画素サンプリングしてデ
ィジタル信号として第１のフレームメモリ２に１フレ一
ム分記憶している。

また、相関演算部４は、フレームメモリ２の実画像の画
素データとフレームメモリ３の参照画像の画素データと
の相関値を演算する相関処理器４１と、この相関処理器
４１で演算した相関値の内、各比較時点での最大の相関
値を記憶する相関値レジスタ４２と、相関処理器４１で
演算した相関価と相関値レジスタ４２に蓄積した相関値
とを比較して比較結果を出力する相関値比較器４３と、
相関値比較器４３からの比較結果から最大相関値位置を
判定して目標座標を出力する最大値位置判定器４４と、
判定器４４からの目標座標に従って追尾指令の演算を行
って該追尾指令を視軸変向機構６に与える追尾指令演算
器４５と、相関値比較器４３からの比較結果に応して更
に探索点の移動を行う探索経路生成器４６と、生成器４
６からの探索点の移動を行うための探索方位に従ってフ
レームメモリ２．３に対してそれぞれ続出アドレスを与
えるアドレス発生器４７とで構成されている。

尚、相関値レジスタ４２は相関値比較器４３での比較結
果により相関値処理器４１で演算した相関値を記憶する
ものである。また、追尾指令演算器４５からの追尾指令
を受けた視軸変向機構６は撮像センサｌの目標方位を修
正するための視軸方位を与えるものである。

以下、この実施例の動作を第４図に示した演算過程を参
照して説明する。尚、この第４図は相関演算部４をマイ
クロプロセッサで構成した場合にはそのソフトウェア・
プログラムに相当するものである。

まず、前回のフレームサンプリングにおいて求めた目標
位置（最初は適当に設定する）が探索開始点として探索
経路生成器４６からアドレス発生器４７に与えられ、ア
ドレス発生器４７からその目標位置のアドレスがフレー
ムメモリ２及び３に与えられる（第４図のステップＳ１
）。

この時点では、撮像センサ１の視軸方位が修正された形
で実画像が得られ、これがＡ／Ｄ変換器５でサンプリン
グされて画素データが１フレ一ム分メモリ２に蓄積され
ている。

従って、アドレス発生器４７から続出アドレスが与えら
れたフレームメモリ２．３では探索開始点の画素データ
が読み出され、相関処理器４１ではこれらの画素データ
に基づいて探索開始点の相関値ｇｏ（Ｘｏ＋Ｖｏ）を算
出する（同Ｓ２）。

そして、この算出した相関値ｇｏ（Ｘｏ＋ｙａ）を比較
の対象とするために相関値レジスタ４２に格納して探索
点の基準相関値訃とする（同Ｓ３）。

この後、探索開始点の周りの例えば４つの隣接点（第２
図ｏ））に対応）の相関値を求めるために、ｎ＝ｏに設
定しく同Ｓ４）、このｎを１′だけインクリメントしく
同Ｓ５）、最初はｎ−１となる。

そして、ｎが探索開始点の周囲の全隣接点分だけ相関値
演算を行ったか否か（ｎ＝４７）を判定する（同３６）
。これらのステップ８４〜Ｓ６は比較毎に相関値比較器
４３において行うことができる。

現時点ではｎ＝１であるからまだ相関値演算が終わって
いないので、相関値比較器４３は相関処理部４１に指示
してｎ＝１に関する相関値ｇ＋（ｘｙ＋）を算出させる
（同Ｓ７）。

相関値比較器４３では、更に、この相関値ｇが比較対象
となるレジスタ４２に記憶された基準相関値ｇ、−を越
えているか否かを判定する（同Ｓこの結果、ｇ＋　＜　
ｇｒであれば相関値レジスタ４２に記憶していた相関値
針は第１の隣接点の相関値ｇ＋　より大きいことになる
ので、相関値レジスタ４２の相関値は更新せず、ステッ
プＳ５に戻ってｎを“°１″だけインクリメントしてｎ
＝２とするが、ｇＩ＞　ｇｒであれば相関値ｇ７は第１
の隣接点の相関値ｇ１　より小さいことになるので、相
関値比較器４３は相関値レジスタ４２に対して訃＝ｇ＋
　とするように指示し、相関値レジスタ４２は基準相関
値を８０からｇ、に更新しく同Ｓ９）、ステップＳ５に
戻ってｎを“ビだけインクリメントしてｎ＝２とする。

このようにして、相関値比較器４３ではｎが４になるま
で上記のステップを繰り返して実行し、ｎ＝４になった
時点で相関値レジスタ４２に記憶されている基準相関値
トが探索開始点の相関値ｇ０と同しであるか否かを判定
する（同５１０）。

この結果、ｇｒ　＝＃ｇｏであるときには、探索経路生
成器４６では、１フレーム内で更に探索点の移動を行う
ために相関値レジスタ４２に記憶されている訃の画素座
標を一旦相関値ｇ０の探索点として設定してアドレス発
生器４７に伝え（同５１１）で、ステップＳ４に戻る。

。尚、この場合、ステップ３１〜Ｓ３では探索開始点と
しているが、ステップＳｌｌでは１フレーム内での探索
が進んでいるので、単に探索点と称しており、いずれも
探索基準点を構成するものである。

一方、ｇｒ　＝ｇｏであるときには、探索点（又は探索
開始点）の相関値ｇ０がその全隣接点の相関価ｇ＋（Ｘ
＋＋ｙ＋）　〜ｇａ（Ｘａ＋Ｖａ）より大きいことにな
り、この探索点が第２図（ａ）に示した目標点となるの
で、相関値比較器４３の比較結果を受けて最大値判定器
４４が探索点を最大値位置として、その目標座標を追尾
指令演算器４５に指示する。

このようにして、第２図（ａｌに示す目標位置を探索す
ることができる。

〔発明の効果〕

以上説明したように、本発明によれば、探索基準点及び
その隣接点との画素相関値を実画像と参照画像との間で
演算し、各相関値同士を比較してその内の最大の相関値
を有する点を次の探索基準点とし、この演算を順次繰り
返すことにより、新たな探索基準点の相関値がその隣接
点の相関値よりも高い値を有するに到った時点で追尾指
令を出力するように構成したので、画像相関処理を相関
値最大値探索経路とその隣接点に限定することができ、
演算量が大幅に低減するので小規模なハードウェアが実
現できる。

【図面の簡単な説明】

第１図は、本発明及び従来例に係る画像追尾装置の原理
構成ブロック図、 第２図は、本発明による最大値探索手法の作用原理を説
明するための図、 第３図は、本発明に係る画像追尾装置の一実施例を示し
たブロック図、 第４図は、本発明の実施例の演算動作を説明するための
フローチャート図、 第５図は、実画像と参照画像を示す図、第６図は、相関
値の分布を示す図、である。 第１図において、 ｌ・・・撮像センサ、 ２・・・第１のフレームメモリ、 ３・・・第２のフレームメモリ、 ４・・・相関演算部。 図中、同一符号は同−又は相当部分を示す。

Claims (1)

1. 【特許請求の範囲】 撮像センサ（１）からの実画像信号を記憶する第１のフ
   レームメモリ（２）と、 参照画像を予め記憶した第２のフレームメモリ（３）と
   、 探索基準点及びその隣接点との相関値を該実画像と参照
   画像との間で画素毎に演算し、各相関値同士を比較して
   その内の最大の相関値を有する点を次の探索基準点とし
   、この演算を順次繰り返すことにより、新たな探索基準
   点の相関値がその隣接点の相関値よりも高い値を有する
   に到った時点で該撮像センサ（１）へ追尾指令を出力す
   る相関演算部（４）と、 を備えたことを特徴とする画像追尾装置。