JPS6017068B2 - 多重独立相関器を用いた影像追跡装置 - Google Patents

Description

【発明の詳細な説明】 この発明は一般に、テレビジョンカメラ、前方監視赤外
線センサ、ミリ波スキャナ等のような映像又は疑映像セ
ンサと共に使用する追跡装置に関する。

さらにこの発明は、多重独立相関器を用いた相関影像追
跡装置に関する。出願人の知る限りでは、この発明の特
徴を１つでも有するような相関追跡装置は今迄の所存在
しないし、いわんや４つの特徴を有した単一の追跡装置
は存在しない。

この発明の目的は、多重モードで同時に追跡する独特の
能力を有したプログラム可能なストア−ドプログラム方
式の新規な相関追跡装置を提供することである。

この発明の他の目的は、リアルタイムによる追跡処理中
に、その追跡処理を中断することなく、追跡のためのア
ルゴリズムを修正したり、変更したりすることのできる
、プログラム可能な、ストアードプログラム方式の新規
な相関追跡装置を提供することである。

この発明はテレビジョン、赤外線センサおよびレーダー
影像ミサイル追跡誘導装置における最新の追跡技術を提
供する。

すなわち、自動捕捉機能、クラッタ識別機能、逆逆探機
能、終末目的地点決定機能を有した空対地ミサイル追跡
誘導装置、空対地ミサイル追跡誘導装置、射撃統制、映
像安定化等に応用することができる。

この発明はプログラム可能なストアードプログラム方式
であるので、その中心は中央処理装置（ＣＰＵ）である
。

この発明の相関追跡装置はいくつかの機能モードで同時
に追跡することができる。

従って、ＩＪアルタィムによる追跡処理中に、その追跡
を中断することなく、その追跡アルゴリズムを修正又は
交換したりすることができるので、柔軟性に富み、効能
も大である。さらに、前記追跡装置はあらかじめ格納さ
れた判定基準を要素として意）志決定し、アルゴリズム
を選択するようにプログラムすることができる。

空対地のテレビジョンあるいは影像赤外線によるミサイ
ル追跡誘導装置のアプリケーションにおいては、影像相
関を高度にゲート化されたビデオ追跡技術と組合せるこ
とにより、移動目標検出技術による捕捉レンジでは分解
能が得られない点のような目標でも自動捕捉することが
できる。例えば、前記相関追跡菱瞳は多少計器レンジに
制限を加えるだけで、終期誘導に関する問題を取扱うこ
とができる。空対地のテレビジョン又は赤外線によるミ
サイル追跡譲導装置のアプリケーションにおいては、こ
の発明の追跡装置は、目標追随のロックオンが一時的に
できなくなった後で、目標を再び捕捉するのに相関追跡
装置を使用する場合や、相関終期追跡に伴い計器レンジ
を縮小することを含めて、すべての機能に適応すること
ができる。

この発明の追跡装置は、視野や走査フオーマットが必ず
しも同じでなくても、２つのミサイル追跡誘導装置の照
準規正を自動的に行うことができる。

例えば大きな視野の映像補促補助システムにおいて小さ
な視野のミサイル追跡誘導装置を発見することである。

所望の人口目標が視野で確認できる大きさになる迄、す
なわちこの人工目標を自動的に捕促し、追跡することが
できる迄、影像の相関追跡を行うことができる。この発
明の特定の実施例を以下図面を参照して述べるが、これ
ら実施例はあくまでも一例であり、その他この発明の要
旨を変えない範囲内で種々変形実施できることは勿論で
ある。

第１図は好適実施例の概念ブロック図である。

同図において、センサからのビデオ信号（図示せず）が
自己しきい値ビデオプロセッサ１０に入力され、２レベ
ルの２値化ビデオ信号が、今視野に入っている影像の唯
一の証拠を表わすビデオから作られる。デジタルビデオ
信号は未処理ビデオフオーマッタ２０に入力され、前記
未処理ビデオフオーマッタ２０は前記ビデオ信号をシー
ケンシャルのリアルタイム処理に通したビット列に編成
する。

さらにデジタルビデオ信号は前記ビット列の全部又は一
部がリフレツシュメモリ／ロジック回路３０１こ入力さ
れる。前記ビット列の一部又は全部は、次の有効性テス
トにおいて関係の無い相関機能を供給する、前記基準デ
ータメモリ４０の相関子と入れ替えるためにバッファリ
ングされる。

フオーマット化された未処理データは次に“Ｎ”ビット
のたたみこみ関数器５０に基準データメモリ４０からの
基準データと共に入力される。

前記たたみこみ関数器５０の機能は基準データと未処理
データ間の一致の程度、すなわち、相関関数を決定し、
出力することである。例えば、Ｎを６４とした場合、最
大一致回数はＭとなる。

一致回数の全合計は４．８ＭＨＺのクロックレートのマ
スタタィマ（第９図）によって決定される２１万砂毎に
計算される。デジタルピーク検出器７０１こよって決定
されるこの合計の最高値すなわち相関ピーク値はピーク
振幅メモリ８０に格納され、そのサーチ領域のＸ，Ｙ座
標はピーク座標メモリ９０に配置される。デジタルピー
ク検出器７０はさらに各セルをサーチして同じレベルの
ピーク又は一定値だけ下ったレベルのピークをサーチす
る。

多重ピーク検出器１００１こよって不明確さが検出され
た場合は、そのセルからのＸ，Ｙデータは有効とはなら
ず、無効であることを示す情報が無効ラッチ回路１１０
に格納される。デジタルデータプロセッサ１０２は、算
術演算、プール代数および恵ｖ志決定を含むすべての計
算を行う。

好適実施例では一群の命令の指示により動作するプログ
ラム可能な中央処理装置が用いられる。もちろん他の実
施例例えばハードワイヤドロジックで構成しても良い。
前記デジタルデータプロセッサ１２０の主な機能として
は、ピーク対ピークプラスサイドローブノイズ、不明確
さ等により、信頼度を決定する基準値を印加して全セル
の相関子の有効性試験を実施する機能；全ての有効な局
部相関ピーク座標から全体の相関座標を計算する機能（
この全体の相関座標は、単なる平均化、一次又は二次モ
ーメントあるいはいくつかの座標値に重みづけをするこ
とにより決定される）；無効セルの相関子（又は基準値
）の更新制御（この制御は、一致のとれた有効セルのロ
ケーションに基づいて、最も良く一致のとれたビット列
を前記リフレツシュメモリから選択することにより成さ
れる）：ゲート信号発生器１３０に対しリアルタイムで
ゲート座標値を発生する機能；相関器全体の管理とタイ
ミング制御機能がある。

前記基準データは、格納されたデータが実時間データに
相関している場合、その一意性が最大となるように、す
なわちその相関の不確定性が最４・となるように選択さ
れる。

トラックモードに切換えると、基準データの更新が停止
され、直前に格納された基準データが前記基準データメ
モリ４０に保持される。リアルタイム２値化ビデオ信号
は一度に６４ビットの割合で前記たたみこみ関数器５０
にクロツク入力され、基準データとクロツク入力された
りアルタィムの２値化ビデオ信号とｅｘｃｌｕｓｉｖｅ
ＮＯＲがとられる。第１図は、未処理のビデオ信号を、
このビデオ信号と唯一のコード化された関係を有した２
値化ビデオ信号に変換する自己しきし、値化ビデオプロ
セッサー０を示している。

相関器にこの自己しきい値化ビデオプロセッサー０を利
用するには前記自己しきい値化ビデオプロセッサ１０は
、顕著な目標又はその他の物体が必要十分に存在しない
ようなぼやけた、相対的に特徴のない影像から情報を抽
出する能力を必要とする。

それゆえ、ターゲットの振幅および背景の測定値からし
きい値を作り、このしきし、値を用いてこの影像の目標
を２値化するような一般的なしきし、値化技術を・使う
ことはできない。ある意味で１ビット振幅分解能を有し
たアナログーデジタル変換である簡単なしきし、値化を
考えることもできる。

この場合、前記ビデオ信号レベルが前記しきい値しベル
より４・さげれば、前記デジタルビデオ信号は“０”の
値を有する。前記ビデオレベルがしきし、値以上であれ
ば、デジタルビデオ信号は“１”の値を有する。第１図
の自己しきい値化ビデオプロセッサ１０の詳細を第２図
および第３図に示す。第２図の自己しきい値化ビデオプ
ロセッサ１０‘こおいて、リード線８上の合成ビデオ信
号はバッファ１０６２に入力される。その結果生ずる限
定されたビデオ信号はリード線１１６上の帯城フィル夕
１０６４に供給される。その結果帯城制限されたビデオ
信号は遅延ネットワーク１０６６と比較器１２１に印加
される。リード線１１９上の遅延ビデオ信号とりード線
１１８上の遅延されないビデオ信号は比較器１２１に印
加され、２値化ビデオ信号を出力する。前記比較器１２
１のデジタルビデオ出力信号はＩＪ−ド線１１３上のシ
ステムに供給される。デジタル化されたビデオパターン
は画面のコントラストがセンサーコヒレントノイズおよ
びランダムノイズを通過していさえすれば、目標やその
他の物体が無くても、全視野にわたって生ずる。第３図
の自己しきい値化ビデオプロセッサ１０では、零しきし
、値プロセッサすなわち接地された短かし、遅延線１０
７２は前記帯城制限されたビデオ信号に対して準微分器
として作用する。

前記デジタルビデオ信号は帯城制限された準微分ビデオ
信号の零点に相当する。この実施例で用いた帯域フィル
夕１０６４は３極べツセル帯城フィル夕として知られて
いる。第４図はそのようなフィル夕の周波数応答カープ
を示している。

カメラ又は他のセンサからの禾処理ビデオ信号は帯城フ
ィル夕を通過する。前記フィル夕はセンサシェーディン
グ信号、画面シェーディング信号、大影像特徴信号およ
びセンサマィクロホニック振動に相関する低周波成分を
減衰させるように低周波数でロールオフする。前記ロー
ルオフが線走査周波数（１５．７球ＨＺ）以上の周波数
で始まる限りその値は重要ではない。前記フィル夕の高
周波カットオフは約５００ｋＨＺである。１００ｋＨＺ
およびＩＭＨ２で最適のカットオフ値を調べた結果、こ
の範囲のカットオフ周波数は重要でないことがわかった
。

高周波の応答信号はプリシュートおよびオーバシュート
が無く線形位相応答が得られるように選択されたべッセ
ルフィルタによって整形される。第５図は、どのように
して未処理ビデオ信号が前記零点における２値化ビデオ
信号を作り出すために遅延されたビデオ信号と比較され
得るかを示している。

この技術によれば、ほとんど等しい時間でほとんどの画
面の帯城制限されたビデオ信号からロジック１およびロ
ジック０のデジタルビデオ信号が得られる。この技術は
相関関数を供給するのに理想的であり、さらにこのデジ
タルの形態はコントラストレベルおよび輝度に無関係な
非常に低いコントラストビデオ信号を処理するのに十分
感度が良いものである。このビデオプロセッサを用いた
実験では、前記画面における倍率変化に対してかなり感
度が悪い。与えられたビデオ影像に対するデジタルビデ
オパターンは、ノイズが問題となるようなレベル迄ビデ
オ信号の振幅が下っても、ほとんど変わらない。第６図
において、基準データメモリ４０はランダムアクセスメ
モリ（ＲＡＭＳ）で構成される。

しかしそれ以外のメモリでも構成し得る。例えば、ＩＣ
メモリ、磁気メモリ、ダイナミックメモリ等である。前
記ＲＡＭＳは全サーチセルの基準データを記憶している
。前記メモリ４０‘ま要求更新ロジックの要求に応じて
デジタルデータプロセッサ１２０‘こよって更新される
。このメモリ４０の出力はたたみこみ関数器５０に入力
される。第７図は前記未処理ビデオフオーマツタ２０を
示す。

たたみこみ関数器５０は前記未処理ビデオフオーマッタ
から未処理ビデオ情報を受取る。この未処理のデジタル
ビデオ信号はシリアルの形式からたたみこみ関数器によ
って受取得る形式に変換する必要がある。これは前記フ
オーマッタによって行われ、そのブロック図を第７図に
示す。次に第８図を用いて前記たたみこみ関数器の動作
を説明する。前記たたみこみ関数器は未処理のデジタル
ビデオ信号（図では６４のバィナリ成分が示されている
）を基準データ（６４のバィナリ成分）と比較し、各々
の一致を加算した２進数を出力する。

これは各クロック周期毎（この実施例では２１６ナノ秒
毎）に行われる。未処理ビデオの各バィナリ成分と基準
データの対応するバィナリ成分はｅｘｃｌｕｓｉｖｅＮ
ＯＲゲートに入力される。

このｅｘｃｌｕｓｉｖｅＮＯＲゲートは２つの入力が一
致すればロジック１の信号を出力し、一致しなければロ
ジック０の信号を出力する。前記たたみこみ関数器のそ
の他の部分は６４のｅｘｃｌｕｓｉｖｅＮＯＲゲートが
ロジック１の出力をいくつ有しているかを決定する。こ
れは初めに各ｅｘｃｌｕｓｉｖｅＮＯＲの出力を８つの
グループに分けることにより行われる。各グループの８
入力は２５６ワード×４ビット構成の８個のりードオン
メモリ（ＲＯＭ）の８ビットアドレスとして印加される
。

前記リードオンリメモリはＩＣメモリ、磁気メモリ等で
あっても良し、。従ってＲＯＭは、そのＲＯＭ出力が、
入力されたアドレスの各ビットが１である総数を出力す
るようにプログラムされている。前記８つのＲＯＭ出力
は最終合計が得られる迄デジタル加算器で−度に２個ず
つ加算される。前記デジタルたたみこみ関数器は非常に
高速で動作し得る。

この実施例では、前記たたみこみ関数器は６４ェレメン
トワード（格納された基準データに対するリアルタイム
の未処理データ）をたたみこみ、相関合計値（この実施
例では、前記合計値は、一致したェレメントの数）を２
１６ナノ秒毎に生じる。要約すれば、前記たたみこみ関
数器は２つの基本作用部で構成される。

１ ｅｘｃｌｕｓｉｖｅＮＯＲネットワークこれらの装
置は基準データ成分と未処理データワード成分の一致を
検出する。

なお、ｅｘｃｌｕｓｉｖｅＯＲゲートを用いて不一致の
数の合計を得るようにしても良い。

２ たたみこみ関数器加算ロジック このロジックは各サブセツトにおいて禾処理データの一
致数を加算する。

相関する基準データによって特定の未処理データサーチ
セル領域をサーチしている期間、従前に決定された値よ
りも大きい新しい和（一致数）をそれぞれ計算すること
により相関一致数と共に最新のピーク値のＸ，Ｙ座標を
格納するピーク検出器出力を生ずる。

この実施例において使用されるマスタタィマシステムの
ブロック図を第９図に示す。

１３．９ＭＨＺの発振器１３０１はＩＪ−ド線１８３お
よび１８５を介して２つの４．３ＭＨＺ信号を出力する
“３の割算”回路１３０３にリード線１８１を介して信
号を供給する。

“３の割算”回路１３０３の他の出力はリード線１７１
を介して水平ブリセット信号を受取る水平カウンタ／デ
コーダ１３０５に供Ｖ給される。水平カウンタノデコー
ダ１３０５はリード線１７５を介して垂直カウンタ／デ
コーダ１３０７に信号を出力する。垂直カウンタ／デコ
ーダ１３０７はリード線１７３を介して垂直プリセット
信号を受取る。水平カウンタノデコーダ１３０５はリー
ド線１７７上に水平アドレスを出力しさるにリード線１
６１上に水平タイミングパルスおよびリード線１６３上
に相関器クロック信号を出力する。垂直カウンタノデコ
ーダ１３０７はリード線１６５に垂直アドレス信号を出
力しリード線１６７上に垂直タイミングパルスを出力す
る。第１０図を参照してこの発明の動作を説明する。

この実施例では任意の信号源としてビデオテープを用い
ている。

ピデオテ−プレコーダ１００２のようなビデオ信号源か
らの操作の場合、通常の同期信号は利用できない。この
ような信号を処理する場合、前記ビデオ信号源１００２
からの入力ビデオ信号成分を取り除き、水平および垂直
同期成分を保持するようにリード線１００８を介して同
期信号分離器１００４に加えられる。分離された水平お
よび垂直同期信号はゲート／相関追跡器１００６にそれ
ぞれリード線１７１および１７３を介して印加される。
ゲート／相関追跡器１００６は又リード線１００８上に
現われるビデオ信号源からのオリジナルビデオ信号に応
答する。水平同期信号は各走査線の始めで、水平レート
カウンタをプリセットするためにマスタタイマに印力０
され、垂直同期信号は各フィールド時間の初めで、垂直
レートカウンタをプリセツトするように垂直カゥンタに
印加される。その結果前記ビデオ信号源はタイミング信
号を発生する。このタイミング信号は前記追跡器によっ
て受信され前記追跡器は前記ビデオ信号のタイミング信
号とその内部タイミングとの同期を取る。オリジナル入
力信号のある無効性により、多くのビデオ信号源は一定
のタイミング信号を出力しないので、そのような設計を
取る必要があることがわかっている。ビデオテープを選
択した場合は、前記ビデオ信号出力により生じるタイミ
ング信号は一定にならない。

この不定性はワウフラッタによる影響の場合もあるし、
単純に録音技術が悪いとか、オリジナルの入力信号その
ものが良くないといった場合も考えられる。このタイミ
ングは少なからず変り得るので前記ビデオ信号源の同期
が維持されるように各走査線毎および各画面毎にシステ
ムタイミングカウンタを連続的にプリセットする必要が
ある。次に第１１図乃至第１３図について説明する。

センサすなわちテレビカメラ、ＩＲスキヤナ等のセンサ
からの通常のアナログビデオ信号は初めに自己しきい値
化ビデオプロセッサ１０によってデジタルビデオ信号と
呼ばれる２レベルを有した信号に２値化（デジタル化）
される。影像すなわち視野は第１３図に示すように領域
すなわちサーチセルに分割される。この実施例では１５
セルが示されている。各領域の中心部からのデジタルビ
デオ信号は追跡モードを開始する前の最後の走査期間中
にメモ川こ格納される基準信号を供給する。各処理にお
いて連続走査された未処理ビデオ信号は次にリアルタイ
ムでその対応する基準信号と比較される。相関関数は各
セル毎に計算される。相関関数は基準デ‐‐夕および禾
処理データ間の一致又は不一致の程度の割合を示す。前
記セルから生じる相関情報の有効性を確かめるために前
記相関データに評価基準が印加される。有効に評価され
たセルから生じた置換のみが影像の位置計算に使用され
る。その相関関数が前記評価基準に適合しないセルから
のデー外ま次の処理から除外される。さらに、有効と評
価されなかったセルの基準データは新しい影像位置に相
当する影像空間から抽出された新しいデジタルビデオデ
ータに更新される。

第１２図は中心部に６４ェレメントの基準信号（１ライ
ン１６ェレメント４ライン）を有した代表的なサーチセ
ル構造を示している。

この実施例では前記基準信号は上方向に７ライン、下方
向に７ライン、左方向に７ェレメント、右方向に７ェレ
メントサーチする。これは前記サーチセルが１８ライン
（４十７十７）×３０（１６十７十７）エレメントのエ
リアで構成されていることを意味している。このため１
ラインの全セルの基準データは１つの連続したセグメン
トである。それゆえ隣接したセルの水平サーチ領域は重
り合っている。前記セルサ−チェリアは１ライン分室直
方向に離間されている。セルの配置および重り合いは視
野、ズームレート、影像の種類等によって異なる。各セ
ルは左方向に７ェレメント、右方向に７ェレメント、合
計１５の水平ロケーションがサーチされる。一般的な実
施例では同様に１５の垂直ロケーションもある。第１１
図はこれら２２５（１５×１５）ロケ−ションのマトリ
クスを示したものである。

前記基準信号と未処理データ間の“最良の一致”は２２
５のロケーションの１つで生じるはずである。各ロケー
ションにおいて“最良の一致”を有したセルの数がカウ
ントされこれらの数が第１１図に示す対応するます目に
書込まれたとすると、そのマトリクスは図示のようにな
る。この図は代表的な相関ピーク値分散パターンを示し
ている。前記ます目の数をすべて加算して得られるトー
タルの値はその走査に対する有効なセルの数である。こ
の実施例においては前記トータルの値は１５より大きく
なることはない。第１４図は１３．母ＭＨ２マスタオシ
レータＡ、４．８Ｍ日２クロック信号Ｂ、４．８の日２
クロックストローフ信号Ｃの代表的な方形波を示す。

これらの信号は第９図のりード線１８１，１８５および
１８３上に出力される。同図に示すように１３．母ＭＨ
２信号の周期は７２ナノ秒である。従って図に示すよう
にクｏック間すなわち４．肌日Ｚクｏック信号を表わす
カーブＢの立上りエッジ間は合計２１６ナノ秒である。
クロック信号Ｂとクロツクストローブ信号Ｃを発生する
目的は次の通りである。すなわち前記４．８ＭＨ２クロ
ック信号の立上りで、カウンタはインクリメントされ必
要な関数がィンシャラィズされる。この急速な立上り時
間によりシステムの各部がリップルし、セットリングす
る時間間隔を必要とする。データ転送を行う前にそのよ
うな過渡現象が無くなるように、この発明が適用された
システムにおいては７２ナノ砂のシステムセットリング
タイムを有している。波形Ｃに示すように、波形Ｂの７
２ナノ秒のシステムセットリングタイムに続いてすぐに
７２ナノ秒の中広のスト。

ープ信号が発生する。この７２ナノ秒のストローブ信号
により、その間システムの要求によってデータ転送を行
うことができる。前記７２ナノ秒のクロック信号の急速
な立下り時間により前記システムに過渡現象を生じる。
従ってこの信号の後端部に波形Ｂに見られるように次の
システムクロックパルスが生じる前に７２ナノ秒のシス
テムセットリング待時間インターバルが続く。このシス
テムにおけるクロツク信号Ｂの継続期間は１４４ナノ秒
であり他方この波形のパルス間のインターバルは１４４
ナノ秒である。第１５図は第９図の水平および垂直カウ
ンタの動作を理解するのに有効である。水平婦線波形Ｄ
では１１マイクロ秒パルスの後に５２．５マイクロ秒の
インターバルがあり、その後に次の１１マイクロ秒パル
スが続く。前記水平アドレスは合計２４３のアドレスで
構成され、同図に示すように５２．５マイクロ秒領域内
にある。前記中心部の位置はアドレス１２７である。こ
の水平アドレスの最初のアドレスはアドレス６で示され
、最後のアドレスはアドレス２４８で示される。従って
水平アドレスはアドレス６からアドレス２４８迄の値を
取り、前記中心部は６十２４８＝２５４を２で割り１２
７が前記中心部の水平アドレスである。第１５図に示す
ように、２５６の相関器クロツク信号があり、これらの
クロツク信号は前記５２．５マイクロ秒周期の少し前に
始まり、５２．５マイクロ秒周期の少し後に終了する。
この２５６の相関器クロック信号によって得られるアド
レスは０から２５５である。これは相関器にシステム遅
延線を有し、この遅延線に正確に２５６のクロックカウ
ント値を印加することにより、２４３の水平アドレスし
かなくても２５６の相関器クロック信号が得られるため
である。華直帰線パルス群は波形Ｅによって示され、正
確に２１ライン分のインターバルを有している。垂直ア
ドレスカウン夕はアドレス７からアドレス２４７の２４
１の垂直アドレスで構成され、中心のアドレスは１２７
であるので、前記表示部の正確な中心部は水平アドレス
１２７と垂直アドレス１２７で定義される。

従って帰線から見ると、インターバルが２１ラインの垂
直婦線信号の後に次の垂直婦線パルスが生じる前に２４
１．５ラインのアドレスインターバルが続く。従って２
×２４１．５＝４８３ラインから成る１フレーム当り５
２５ラインあることになる。何故なら代表的なシステム
における表示部は飛越し走査され「 ２×２１＝４２の
帰線ラインが加算されるので、一般的なテレビジョン表
示装置と同じ４８３十４２＝５２５ラインとなるからで
ある。従って１視野当り２４１．５の有効ラインと２１
の帰線ラインがある。しかし、この闇４８３ラインのう
ちの半分はデータ処理されないのでシステムは２４１の
アドレスしか出力しない。前記水平アドレスカウンタは
アドレス０からアドレス７をカウントする８ビットカウ
ンタであり、前記垂直アドレスカウンタもアドレス０か
らアドレス７をカウントする８ビットカウンタである。
従って垂直位置のアドレスを定義する８ビットノゞィナ
リワードと、水平位置のアドレスを定義する８ビットバ
ィナリワードの２ワード‘こより一意的に正確なポイン
トが定義される。上記ポイントとしては２４１×２４３
＝舷５６３ある。しかし前記相関器は実際には第１１図
の１５×１５のマトリクスによって示されるように１走
査当り合計２２５のポイントのみサーチする。この発明
の通常の動作モードでテレビジョン表示を行う場合、前
記追跡器マスタタィマは水平および垂直同期信号パルス
をテレビジョンカメラに送り、カメラの同期回路を追跡
器の同期回路に同期させる。

代表的なテレビジョンカメラでは、前記マスタオシレー
タ周波数は３１．球ＨＺであり、それゆえこの発明のシ
ステムでは前記直切込パルス周波数は３１．４ｋＨＺに
選択してある。しかしこの発明のシステムのデジタル座
標を発生させるにはさらに高い周波数が必要である。こ
の高周波数は４．８ＭＨ２のオーダである。この発明の
実施例では４．８ＭＨＺを３の係数で秦算し、第９図の
追跡器のマスタオシレータに１３．８ＭＨＺというシス
テム中最高周波数を発生させる。システムの安定性を最
良にするには、ｉ３．８ＭＨＺを３１．即日Ｚに分周し
、このシステムで使用する一般的なテレビジョンカメラ
に印加すれば良い。従って、前記テレビジョンカメラは
この発明のシステムのタイミングと同期が取られる。第
１６図および第１７図に前記相関器のタイミング波形を
示す。

前記未処理データをシフトレジスタにクロツク入力する
のに必要なシフトレジスタクロツクＳＲの数は、この実
施例では１６である。相関器セルは４ライン×１６ビッ
ト幅で構成されているので水平方向のデータ群を前記レ
ジスタにロードするのに１６のシフトレジスタクロツク
が必要になる。しかし前記第１の相関を行うには垂直方
向には４ライン分のデータをレジスタにロードする必要
がある。垂直方向に４ライン分のデータをクロツク入力
した後、すなわち４番目のラインでかつ１鏡蚤目のクロ
ツクカウントの後、最後のデータが前記シフトレジスタ
にクロック入力される。この結果前記システムは第１の
振幅の測定準備ができたことになる。１句蚤目のシフト
レジスタクロツク信号の後に、１クロック分遅延させる
ことにより、前記相関器は今の振幅を計算することがで
きる。

前記遅延期間の終端で前記振幅はラッチ回路にクロック
入力される。前記ラッチ回路の出力は次にそのセルの従
前迄の振幅ピーク値と比較される。一番最初はそのセル
の真のピーク値を得るために前記第１のたたみこみの前
に零をピーク振幅としてセットする必要がある。これは
前記ピーク検出器に最初に支以外の数字がセットされて
いると誤った振幅値がセットされたことになるからであ
る。上述したように垂直方向の４ライン分のデータをレ
ジスタにロードするのに１６クロツクカウント必要にな
る。

１母蚤目のクロックカウントの終端で最後のデータがシ
フトレジスタにシフト入力され、システムは１クロツク
分遅延される。その間前記たたみこみ関数器は第１の振
幅を計算する。この計算された振幅はピーク振幅メモリ
８０に格納される。次の走査では別のデータが前記シフ
トレジスタにクロック入力される。この結果、前記シフ
トレジスタ内の古いデータが追出され、新しいデータが
入力され、新しい１６のデータ（実際には１５の従前デ
ータと１の新データの和）が得られる。この結果次の振
幅値が得られ、１クロツク分遅延後、この振幅値がラツ
チされ、従前に格納されたピーク値と比較される。ラッ
チされた値がさらに大きければその振幅値がメモリにク
ロツク入力される。同時にもう一方の座標値が前記ピー
ク座標メモリにクロック入力され、座標×およびＹの値
が前記振幅値と共に格納される。この結果前記メモリは
水平方向に１９立檀、垂直方向に１８立檀のサーチ領域
内で最大の相関振幅を表わすピーク振幅値とそのピーク
振幅値が検出されたＸ，Ｙ座標を有したことになる。従
って１５セルをすべて処理した後、メモリとは１５の異
なる振幅および１５のピークが検出された場所を定義す
るそれぞれ１５のＸおよびＹのロケーションが格納され
、コンピュータによりアクセス可能となる。さらに良好
なピークを決定するのに使用される２つの有効性を評価
する基準がある。まず、始めに良好なピークの相関振幅
値は技小のしきし、値以上でなければならない。このし
きい値はコンビュー外こよって制御し得るダイナミック
な数である。さらに多重ピーク値が発見された場合、す
なわち、与えられたセルに同じ大きさの２つのピーク値
があるとどちらが正しい値か決定できない。従ってその
セルは無効になる。１５のピークを見つけても、必ずし
もこれらのピークがすべて有効である必要は無く、有効
なピークはさらに処理され、どこにその影像が移動した
かという評価を行う。

上述の場合に、所定サーチセル内の松５の各位層（第１
１図）にはセンサからデータを供鏡台するために水平
アドレスおよび垂直アドレスが害９当てられている。

すなわち所定サーチセル位檀の相関合計値は常に特定の
センサデータの水平および垂直のアドレスが発生してい
る間常に出力される。第１図のたたみこみ関数器用タイ
ミングユニット６川ま、前記センサの水平および垂直ア
ドレスに応答し、所定のあらかじめ決められた関係に従
って、現在処理されているサーチセル内の相対位贋（Ｘ
，Ｙロケーション）とセル番号を出力する。例えば、た
たみこみ関数器用タイミングユニット６０はライン１２
０やェレメント１２０（第１３図）のようなセンサ視野
アドレスをセル７、位鷹８（第１１および第１３図）の
ようなサーチセルァドレスに変換することができる。た
たみこみ関数器用タイミングユニット６０はリード線１
８を介して（第１図）、基準データメモリ４川こセル番
号を印加する。

このメモリ４０は前記セル番号に応答し、前記正しい基
準データ群、すなわち現在処理されているサーチレスの
基準データ群をたたみこみ関数器５川こ供給する。同様
にたたみこみ関数器用タイミングユニット６０はリード
線５６を介してセルナンバをたたみこみ関数器５０‘こ
印加する。たたみこみ関数器５０は前記情報を計算され
た相関合計値と共にデジタルピーク検出器７０に印加す
る。検出器７０は上述した基準に従って各サーチセルの
相関情報の和を処理するために、例えばセル番号情報を
使用して各サーチセル内のどの×，Ｙ位置が最大相関合
計を有しているかを決定する。上述したように、各サー
チセル位置が処理されると相関するＸ，Ｙ座標情報（第
１１図）はリード線２６を介してピーク座標メモリ９０
に印加される。

この結果前記相関ピークのセル内のロケーションが認識
し得、前記セル番号はリード線２８を介して、無効ラッ
チ回路１１０に印加される。従って相関値があらかじめ
選択された基準と合致しない場合、例えば単一のサーチ
セルに対して２つの相関ピークが所定値以上であるよう
なセルを判別することができる。この発明の他の実施例
では１５セル全てに全振幅が格納される。

従って２２５の振幅が１５セルの各々に格納される。最
小の振幅以下のデー外ま評価しない。これらの振幅は例
えば０から６４に設定できる。例えば３２を選択した場
合、３２又はそれより大きい振幅が観察されるとその値
はメモリに格納される。この実施例では３班比の相関表
面の面積中心が各セル毎に計算される。この計算では１
つのセルに多重ピークが発見されても構わない。前記面
積中心は各セルごとに計算され、１５のセルの各面積中
心と×，Ｙロケーションを用いてその影像が移動した場
所を見つける。前記面積中心情報を使用する主な利点は
単一のピーク値に関して計算すべきデータが増えるとい
うことである。前記面積中心は積分を使って求められる
。従ってデータが平滑され、それぞれが単独のポイント
データに比べて、その出力応答におけるノイズが低くな
り、かなりの精度が実現される。単一のポイントデータ
を用いた場合、分解能はせし、ぜし、１ビットである。
面積中心を実際に計算する場合にはモーメントの累積加
算値を割算する。１モーメントは前記振幅と×位置又は
Ｙ位置との積として定義される。

前記モーメントの累積加算値を振幅の累積加算値で割り
面積中心を求める。この割算を行う場合、丸めこみ処理
をする必要はなく、丸め込みしないビットを残しておく
ことができる。実験ではこの端数の精度は有効であるこ
とが確かめられた。それゆえ、ビット又はラインに最も
近い相関ピークの位置（×およびＹ）を評価できるだけ
でなく、１５のセルを全部結合することにより最終結果
が得られるように２ビット又は３ビットの副画素分解館
を得ることができる。この結果得られた答は１ラインも
しくは１画素の場合よりも良くなり、より正確な追跡さ
らにより低いノイズで追跡が可能となる。以上２つの方
法について述べた。

その１つは１つのセルに対して１つのピークを検出する
ピーク検出モードである。全セルが有効であればピーク
は１５あることになる。違うロケーションに２つのピー
ク値を有するセルは無効となる。第２の方法では単一の
ピーク値は評価せず、あるしきい値以上のすべての振幅
が考慮の対象となる。その結果得られた合成表面の面積
中心はいくつかの副画素分解能に計算され、この面積中
心により使用する基本データフオームが形成される。面
積中心が行われる実施例における有効性の評価基準は振
幅の合計を調べることである。この振幅の合計とはしき
し、値以上の大きさの累積加算値である。この加算値が
ある所定数より大きい場合、前記セルのどこかにかなり
良い相関表面が存在することを示す。第１６図および第
１７図はこの発明の実施例の動作タイミングを示す。

水平相関器ゲートに入力された後、第１のクロックカウ
ントの終端でデータの１ビットがシフトレジスタに入力
される。このプロセスはシフトレジスタに１６ビットの
データが入力される迄繰返される。これは前記シフトレ
ジスタクロツク上に１６のクロツクとして示されている
。このプロセス終了後シフトレジスタにはクロック入力
された１６ビットの禾処理データが保持されている。前
記たたみこみ関数器は前記１６ビットを前記基準メモリ
に格納された１６ビットの基準データと比較する。垂直
方向に合計４ライン走査されるので４ライン分のデータ
が得られる。すなわち現在のラインデータと４ライン分
の遅延データがある。この結果合計６４のデータビット
が前記たたみこみ関数器に供給される。前記シフトレジ
スタの１句蚤目のクロックカゥントの終端で前記たたみ
こみ関数器は最初の加算を行い、その後１クロック分の
遅延があり、前記振幅の加算結果はラツチ回路にクロツ
ク入力される。次に１／３のクロック遅延すなわち７２
ナノ秒の遅延がある。前記振幅値が格納された振幅値よ
り大きければ、サーチされるセルのピーク値からのデー
タがストローブ信号によりラツチ回路にラツチされる。
再び前記特定の走査上で前記セルのピーク値のみが存在
するように各セルの識別の開始時に前記ピーク検出器の
振幅をクリアする。第１７図は各セルに対してサーチ可
能な合計１５の位置を示している。アドレスは水平方向
に０から１４迄つけることができる。アドレス１５にな
ると書込みは禁止され、前記基準データは次のセルに変
わり、次のクロツクカウントで、水平アドレス０から又
始るが、セル番号は異る。前記プロセスはそのラインの
各セルに対して繰返される。その結果前記水平相関器ゲ
−トを通過した後、５つの異るセルに対して第１の垂直
サーチ位置の振幅値が記録される。垂直方向に１５の異
るサーチ位置があり、システムは１５の垂直位置の各々
に対して１抗立暦をサーチするので合計滋５のサーチ位
置をサーチすることになる。垂直相関器ゲートを通過後
１５セルは全てサーチされる。すなわち各セルに対して
２２５の位置がサーチされ識別される。このシステムは
しきし、値以上の振幅値の各位直に対する面積中心計算
を行う。実施例の場合には、振幅値を格納するか又は前
記１５セルの各々のピーク値を格納する。このピーク値
は振幅とＸおよびＹ座標さらに前記結果が有効か無効か
の表示から成る。前記相関器ゲート内で初めにターミナ
ルカウント信号がハイレベルになると、次のクロツクカ
ウントで水平の書込みコマンド‘まィネーブルとなるが
、水平方向のターミナルカウント信号がハイレベルとな
ると前記書込みコマンドは禁止される。前記振幅ラッチ
回路のクリア信号がリセットされると共に次のクロツク
カウントで第１の振幅値がたたみこみ関数器のラッチ回
路にクロツク入力されるようにターミナルカウント信号
がハイレベルになる。セルカウンタイネーブル信号は第
１ページに対し零からセル１、セル２……をカウントし
、第２ページに対してセル５、セル６、セル７……をカ
ウントし、第３ページに対しセルＩＱセル１１……をカ
ウントするために使用される。ページカウンタは水平相
関ゲート信号の期間中前記第１セルカゥンタィネーブル
信号の終端で１５，４又は９の値をセルカウンタにプリ
セットするのに用いられる。前記カウンタはカウントア
ップしどのページが考慮の対象になっているかによりセ
ルアドレス０，５又は１０を与える。垂直方向の動作は
第１７図に示すように、極めて類似している。

このシステムは４番目のラインで第１の振幅値を得る前
に４ライン処理しなければならない。４番目のラインで
書込み信号がイネーブルになる。

前記書込み信号は合計１５の異るラインに対してイネー
ブルとなり、垂直アドレス１５を有する１句蚤目のライ
ンで、前記書込み信号は禁止され同時にページカウンタ
はインクリメントされる。従ってページカウン外ま０，
１，２となり、これらの値は所定のページに対して正し
いセルアドレスロケーションを与えるようにカウンタを
プリセットするのに使用される。前記ラツチクリア信号
は前記水平ラッチクリア信号と共に供給され、前記シス
テムが振幅の加算を行う準備ができる迄前記たたみこみ
関数器のラッチ回路に相関振幅値がラッチされるのを禁
止する。ターミナルカウント１５が垂直方向に生じると
きは常に５つのセルから成る各グループのロケーション
の１つに書込まれる。第１８図はコンピュータプログラ
ムによる実施例のフローチャートである。

第１８図およびその他の図面を参照してＣＰＵによって
実行されるレギュラールーチンの説明を行う。このプロ
グラムは定数をあるオペランドメモリロケーションにロ
ードすることによりスタートする。

電源がオンになった時点で前記垂直婦線信号（フラッグ
９）はハイレベルになるので、このフラッグはクリアさ
れる。電源オン時前記相関器がしＯＡＤモードであると
仮定すると前記相関器ゲート座標は、相関器が独自に動
作する場合、視野の中心に位置すると仮定することによ
り計算され、前記相関器がゲートビデオ追跡器とインタ
フヱースしている場合とは、追跡器のセンタラィンに対
して水平、垂直又はその両方向に急速に移動されると仮
定することにより計算される。表示を行うために、前記
ゲート座標は垂直帰線期間のみ前記ゲート発生器にロー
ドされる。

次に、視野計算と干渉しないようにアキュムレータとス
クラツチパツドメモＩＪをクリアする。これが終了する
と、ＣＰＵは次の視野の準備ができたことになる。前記
相関器ゲート信号の終端で、（フラッグ１８がセットさ
れることにより認識される）前記相関器がＬＯＡＤモー
ドにある場合視野の中心における各セルのデ−夕により
自動的にすべてのセルがリフレッシュされる。

すなわち前記相関器にはＴＲＡＣＫモ−ド‘こ入る直前
に視野から得られるデータがロードされる。ＴＲＡＣＫ
モードではゲート期間中に得られるデータが、フラッグ
１ ８のセット後ＣＰＵ‘こ転送される。

各セルは次に、前記相関ピーク値がある最小数以上であ
ることをチェックすることによりその有効性が判断され
る。多量ピーク検出はリアルタイムで成されるので、ゲ
ート期間中にあるセルで多量ピークが検出されるとハー
ドウェアは最小の許容レベルより低い数を前記ＣＰＵに
入力する。これはこのセルを自動的に有効でないと評価
したことになる。各セルの有効性がチェックされた後、
前記視野期間に少くとも１つの有効に評価されたセルが
あったことの確認が成される。

もし有効に評価されたセルが無ければ何かが誤っている
ことを意味している。従って前記基準データはそのまま
保持され、前記データが次の視野で相関されることを考
慮してゲート位置が保持される。しかしながら、通常の
動作では、ほとんどのセルが有効に評価される。従って
１５の異る相関ロケーションを持つことが可能なので前
記有効と評価されたセルからの答は平均化される。この
平均値は影像が移動したところに前記ゲートを位置させ
るのに使用される。さらにどのロケーションをリフレツ
シユするかをリフレッシュロジックに伝達するのに使用
される。垂直婦線期間、全アキュムレータの座標および
スクラツチパツドメモＩＪがクリアされる。

以上、テレビジョンカメラ、前方監視赤外線センサ、ミ
リ波スキャナのような映像又は疑映像センサに用いられ
る映像追跡装置について記述した。この発明の影像追跡
装置は容易に認識できる目標が無い、ぼやけた、特徴の
ない影像から情報をを引き出す能力を有している。従っ
てこの発明によればシステムのノイズレベルよりわずか
に大きいビデオ信号の振幅変化で影像の相関追跡を行う
ことができる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図、第２図
は第１図に示した自己しきい値ビデオプロセッサの詳細
図、第３図は第１図に示したビデオプロセッサの他の変
形例を示す詳細図、第４図は３極べツセルロールオフフ
ィルタの周波数対振幅値の特性図、第５図は第２図に示
したビデオプロセッサの入力信号と出力信号を表わす特
性図、第６図は第１図に示した基準データメモリの詳細
ブロック図、第７図は第１図に示した未処理ビデオフオ
ーマッタの詳細ブロック図、第８図は第１図に示したた
たみこみ関数器の詳細ブロック図、第９図はこの発明に
使用されるマスタタィマの詳細ブロック図、第１０図は
外部信号に同期した追跡動作を例示したブロック図、第
１１図は特定のロケーションにおける有効に評価された
相関ピークを有したセルの数を表わす説明図、第１２図
は単一相関セルの動作説明図、第１３図は相関セル構成
を示す概念図、第１４図は第９図のマスタタィマのタイ
ミング図、第１５図はこの発明で使用される水平および
華直帰線およびアドレス時間のタイミングチャート、第
１６図および第１７図は相関器のタイミングチャート、
および第１８図はこの発明に使用されるプログラムのフ
ローチャートである。 １０・・・・・・ビデオプロセッサ、２０・・・・・・
未処理ビデオフオーマツタ、３０……リフレツシユメモ
リ／ロジック回路、４０・・・…基準データメモリ、５
０・・・・・・たたみこみ関数器、６０・・・・・・た
たみこみ関数器用タイミング発生器、７０・・・・・・
デジタルピーク検出器、８０・・・・・・ピーク振幅メ
モリ、９０・・・…ピーク座標メモリ、１００・・・・
・・多重ピーク検出器、１１０・・・・・・無効ラッチ
回路、１２０…・・・デジタルデータプロセッサ、１３
０・・・・・・ゲート信号発生器、１０６２・・・・・
・バッファ、１０６４・・・・・・帯城フィル夕、１０
６６・・・・・・遅延ネットワーク、１２１，１０７０
・・・・・・比較器、１０７２・・・・・・片側接地遅
延線、４０２・・・・・・並列出力シフトレジスタ、４
０４……マルチプレクサ、１３０１……１３．８Ｍ位発
振器、１ ３０５……水平カゥン夕／デコーダ、１３０
７……垂直カウンタノデコーダ、１００２・・・・・・
ビデオ信号源、１００６…・・・ゲート／相関追跡器、
１００４・・・・・・同期信号分離器。 第１図第２図 第４図 第５図 第９図 第３図 第６図 第１０図 第１１図 第１２図 第１３図 第１４図 第７図 第８図 第１５図 第１６図 第１７図 第１８図

Claims (1)

1. 【特許請求の範囲】 １ 異る視野データにより定義される影像間の相対空間
   配置を示す大域相関座標信号を供給するように、視野内
   の影像を各々定義する直列に印加された視野データに応
   答する影像追跡装置において、 前記直列と印加された
   視野データを未処理デジタルビデオ信号に変換する自己
   しきい値ビデオプロセツサと； ある視野データのあら
   かじめ選択された複数の部分からの基準セルデータとを
   格納する基準データメモリと； 前記基準データメモリ
   からの基準データと前記自己しきい値ビデオプロセツサ
   からの未処理デジタルビデオ信号と比較し、各々の一致
   を加算したバイナリ値を出力するたたみこみ関数器と；
   関連する基準セルの相対位置を含む後続の視野データ
   の一部から得られる各相関するサーチセルのデータに対
   し、各基準セルのデータを相関させ、前記たたみこみ関
   数器から出力されたバイナリ値の相関ピーク値を検出す
   るデジタルピーク検出手段と； 前記デジタルピーク検
   出手段からのデジタルピーク値およびそのデジタルピー
   ク値に対応するＸ，Ｙ座標を局部相関座標信号として格
   納する局部相関座標信号格納手段と；および 前記局部
   相関座標信号格納手段と接続され、前記にある視野デー
   タと後続する視野データにより、定義される影像間の相
   対空間配置を示す大域相間座標信号を供給するように複
   数の局部相関座標信号を処理するプロセツサ手段とで構
   成されることを特徴とする多重独立相関器を用いた影像
   追跡装置。 ２ 前記自己しきい値ビデオプロセツサは、前記データ
   のフイールドを構成するビデオ信号を受信しバツフアリ
   ングするバツフア手段と； 前記バツフア手段から前記
   バツフアリングされたビデオ信号を受信し帯域ろ過する
   帯域ろ過器手段と； 前記帯域ろ過器手段から前記帯域
   ろ過されたビデオ信号を受信し遅延する遅延ネツトワー
   ク手段と； 前記遅延ネツトワーク手段からの遅延化さ
   れたビデオ信号を受信し前記帯域ろ過器手段からの遅延
   されないビデオ信号と比較する比較器手段とで構成され
   ることを特徴とする特許請求の範囲第１項記載の多重独
   立相関器を用いた影像追跡装置。 ３ 前記帯域ろ過器手段は３極ベツセル帯域ろ過器であ
   ることを特徴とする特許請求の範囲第２項記載の多重独
   立相関器を用いた影像追跡装置。 ４ 前記自己しきい値ビデオプロセツサはデータの前記
   フイールドを構成するビデオ信号を受信し帯域ろ過する
   帯域ろ過器手段と； 前記帯域ろ過されたビデオ信号を
   準じて区別する短絡遅延線手段と； 前記帯域ろ過され
   準じて区別されたビデオ信号を受信し基準入力信号と比
   較する比較器手段とで構成されるとを特徴とする特許請
   求の範囲第１項記載の多重独立相関器を用いた影像追跡
   装置。 ５ 前記帯域ろ過器手段は３極ベツセル帯域フイルタで
   あることを特徴とする特許請求の範囲第４項記載の多重
   独立相関器を用いた影像追跡装置。 ６ 前記基準データ格納手段は複数のランダムアクセス
   メモリで構成されることを特徴とする特許請求の範囲第
   １項記載の多重独立相関器を用いた影像追跡装置。 ７ 前記たたみこみ関数器は、現在印加されたデータの
   フイールドから各ビデオ信号と前記基準データ格納手段
   からの基準セルデータ信号を受信する多数の排他的否論
   理和回路と； 前記否論理和回路の所定の数からの信号
   出力に応答する複数のリードオンメモリ装置と； 前記
   リードオンメモリ装置からの出力信号に応答し、前記出
   力信号から相関関数を作り出す複数のデジタル加算器と
   で構成されることを特徴とする特許請求の範囲第１項記
   載の多重独立相関器を用いた影像追跡装置。 ８ 前記たたみこみ関数器はストアードプログラム方式
   の中央処理装置を有していることを特徴とする特許請求
   の範囲第１項記載の多重独立相関器を用いた影像追跡装
   置。 ９ 前記たたみこみ関数器は前記あらかじめ選択された
   程度より大きい多重相関の一致を検出し、前記大域相関
   座標信号の発生において前記あらじめ選択された程度よ
   り大きい多重相関一致が得られる各サーチセルから生じ
   た局部相関座標信号の使用を排除することを特徴とする
   特許請求の範囲第１項、第７項および第８項記載の多重
   独立相関器を用いた影像追跡装置。 １０ 前記３極ベツセル帯域ろ過器は前記あらかじめ選
   択された相関程度より大きい多重相関一致を有した各サ
   ーチセルに相関した基準セルデータを更新することを特
   徴とする特許請求の範囲第３項乃至第５項記載の多重独
   立相関器を用いた影像追跡装置。