JPH06251153A - ターゲット追跡のための多重機能型前処理装置 - Google Patents

ターゲット追跡のための多重機能型前処理装置

Info

Publication number
JPH06251153A
JPH06251153A JP5041814A JP4181493A JPH06251153A JP H06251153 A JPH06251153 A JP H06251153A JP 5041814 A JP5041814 A JP 5041814A JP 4181493 A JP4181493 A JP 4181493A JP H06251153 A JPH06251153 A JP H06251153A
Authority
JP
Japan
Prior art keywords
algorithm
address
pipelines
analysis algorithms
tracking device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5041814A
Other languages
English (en)
Inventor
A Comboi Mark
マーク・エイ・コンボイ
Y Ichinose Richard
リチャード・ワイ・イチノセ
H Bog Ki
キ・エイチ・ベーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lockheed Martin Tactical Systems Inc
Original Assignee
Loral Aerospace Corp
Lockheed Martin Aerospace Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Loral Aerospace Corp, Lockheed Martin Aerospace Corp filed Critical Loral Aerospace Corp
Priority to JP5041814A priority Critical patent/JPH06251153A/ja
Publication of JPH06251153A publication Critical patent/JPH06251153A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 数個の画像分析アルゴリズムが同時に計算さ
れ改善されたリアルタイム方式のターゲット認識を行う
こと。 【構成】 本発明の前処理装置は、記憶手段と、追跡装
置および前処理装置間でデータを伝送するための接続手
段と、アドレス発生器と、複数のアキュミュレータパイ
プラインと、記憶手段とを具備し、前記パイプライン
は、入力画像情報がパイプラインのそれぞれに同時に適
用されるよう構成されており、画像分析アルゴリズム
が、パイプラインが種々の画像分析アルゴリズムを前記
画像情報へ同時適用するよう選択される構成を有する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ターゲット追跡装置に
関するものであり、詳述すると、種々の追跡アルゴリズ
ムを同時にまたは逐次にランすることのできる前処理装
置チップに関する。
【0002】
【従来の技術】高性能の航空機におけるターゲット追跡
はパイロット視認ビデオ画像を横切るパイロット選択タ
ーゲットの運動を分析する前処理装置の使用を包含しそ
して追跡情報を追跡センサの視野をターゲットに集中さ
せる追跡素子へ提供する。連続したビデオ走査フィール
ドにおける複雑なバックグラウンドに抗して種々の寸
法、形状および輝度の選択ターゲットを正確に認識かつ
探索することは簡単な仕事ではない。信頼性のある追跡
を行うために、画像は、異なる種類のターゲットについ
て相違し得る数個の前処理アルゴリズムにより検査され
ることを必要とする。追跡情報が使用されるアルゴリズ
ムの結果の比較から順次導出される。標準的には、かか
るアルゴリズムは、(大きなターゲットについて)幾何
学中心をそして(小さなターゲットについて)輝度中心
を包含し、そしてソーベルのエッジ検出アルゴリズム、
明るさ特徴一致相関(BFMA)アルゴリズムまたは積
和アルゴリズム、二乗差分(Δ2 )アルゴリズム、およ
び逐次類似度検出(SSDA)アルゴリズムなどの畳み
込み(convolution) をベースにしたアルゴリズムを含
む。
【0003】前処理タスクは、航空機の急激な運動期間
中、ターゲットの様相が画像回転の結果として急激に変
化するという事実によりさらに複雑化せられる。
【0004】追跡前処理装置の設計における意味のある
因子が新規な一組の結果が60Hzのビデオ走査の各フ
ィールドごとに発生せられるよう全ての計算がわずか1
5msで完了されねばならないという事実である。従来
は、利用可能な時間間隔内に全ての結果の同時計算を可
能にするために各アルゴリズムごとに別個の前処理装置
を提供することが必要であり、コスト、重量、寸法およ
びパワーの観点から見ると望ましくない状況であった。
【0005】この分野の従来技術には、同時処理を行う
ために複数の画像を生成するためのプロセスを取扱うNu
ssmeirerによる米国特許第4,363,104 号、ソーベルの平
方根エッジ抽出アルゴリズムを処理するための回路を開
示するCouturier による米国特許第4,433,438 号、連続
画像がそれらの間の運動について分析されるSternberg
による米国特許第4,464,789 号、複数のチップを一緒に
結合するが基本的には一連の3×3コンボリューション
のみを遂行するSternberg らによる米国特許第4,484,34
6 号、複数のパイプラインが画像マトリックスの隣接セ
グメント上で同時動作するMcCubbrey による米国特許第
4,484,349 号、中心計算を開示するAlves による米国特
許第4,499,597 号、畳み込み計算のための回路を開示す
るWilcoxによる米国特許第4,750,144 号およびモジュー
ル形式パイプライン処理画像プロセッサを論述している
Gennery による米国特許第4,790,026 号がある。
【0006】
【発明の構成】改善された性能とともに相当なコスト、
空間および重量の低減が、単一チップで実施され得る多
重機能型前処理装置10の提供により追跡装置で達成さ
れる。本発明の前処理装置は、同様のパイプラインで数
個のアルゴリズムを介して、完全なデータセットが60
Hzビデオ表示の各フィールドごとに発生されるのを許
容するある時間間隔内に画像データを選択的にかつ逐次
にすべて処理する一組のパイプライン処理装置16、1
8、20を提供することによって、これを遂行する。
【0007】多数の読取りおよび書込みが単一のアドレ
スポインタ入力15から発生されるようにするオンチッ
プアドレス発生器12の使用により有意なピン削減が達
成される。さらに、一対のパイプライン22、24を使
用することによりアドレス発生器12は画像の回転につ
いてチップ内部で補償できる。
【0008】
【実施例】図1は本発明の前処理装置10のアーキテク
チャを図示する。その好ましい実施例において、本発明
は1.5μCMOS技術を使用する22,000個以上のゲー
トを具備するVLSIゲートアレーで実施される。前処
理装置10は83MIPSを越えるできるだけ最大限の
スループット速度のため16.67MHzのクロック速
度でランする。
【0009】前処理装置10の制御は、1個のアドレス
ピンと17個のデータピンと5個の制御ピンを具備する
22ピン形汎用目的のマイクロプロセッサインターフェ
ース(接続部)12を通じて行われる。接続およびバッ
ファの相当な節約をもたらす単一のアドレスピンの提供
はアドレス発生器14の提供によって可能とされる。デ
ータの書込みまたは読取りの際に、単一のアドレスポイ
ンタ15がデータ線17を介してアドレス発生器14へ
送られる。その後、アドレス発生器14は各送信データ
のバイトごとにアドレスを1だけ単にインクリメントす
る。このようにして、記憶レジスタの並びがデータエン
トリまたは検索について単一のアドレス命令でアクセス
されることができる。
【0010】第1のデータパス期間中、パイプライン1
6が中心x値の和およびy値の和を計算する。同時に、
パイプライン18が前のフィールドの横方向および縦方
向画素計数と現在のフィールドのそれとの間の差分(D
RPCおよびDCPC)を計算する。同時に、パイプラ
イン20が中心について横方向および縦方向の画素の累
積並びに(もし輝度中心が選択されれば)画素輝度また
は(もし幾何中心が選択されれば)ターゲット輝度を計
算する。
【0011】第2のデータパス期間中、パイプライン1
6がBFMA(明るさ特徴一致相関)またはΔ2 (二乗
差分)相関アルゴリズムのいずれかを選択的に計算す
る。同時に、パイプライン18がSSDA(逐次類似度
検出)アルゴリズムを計算する。この第2のデータパス
期間中、パイプライン20はアイドル状態である。
【0012】パイプライン22および24が、以下で詳
述するように、それぞれ正弦および余弦回転補償因子を
計算する。これらのパイプラインはアドレス発生器の一
部でありそしてそれらの出力は、評価目的のため、航空
機が転回運動を遂行するに応じて、ターゲット像の配向
を維持するのに供される。
【0013】パイプライン16、18および20はイン
ターフェース制御部12により発生されるステータス信
号および時間基準信号に応じて種々の計算を遂行するよ
う構成される。これらの信号に加えて、制御部12は外
部モード選択入力に応答してモード制御信号を発生す
る。これもまた追跡装置と前処理装置10との間のイン
ターフェースとして供される。
【0014】前処理装置10の物理的な一部ではないが
その動作に直接関与するのが好ましい記憶レジスタが獲
得RAM26および結果/マスク/基準(Results, Mas
k and Reference 、RMR)RAM28により提供され
る。獲得RAM26は、前方向赤外(FLIR)ビデオ
画像などの移動入力画像から128×128画素までの
パイロット選択入力画像窓が記憶可能である16K×8
RAMが好ましい。結果/マスク/基準RAM28は8
K×16RAMが好ましくそして相関アルゴリズムに必
要とされるマスクおよび基準を記憶するのに使用され
る。すべてのアルゴリズムの結果はまた結果/マスク/
基準RAM28に記憶される。
【0015】前処理装置10の動作は図2〜図6のフロ
ーチャートにより最も良好に図示されている。前処理装
置10は状態0(アイドル状態)から開始しそして選択
中心モードがアクティブとなる。状態は順次1へインク
リメントされそしてパイプラインは4つの時間基準区間
中前にロードされた獲得メモリ26から満たされる。
【0016】状態が2へインクリメントされるとき、選
択された中心アルゴリズムの結果が計算される。計算は
窓の一行の終わりに到達する(EQGXアクティブ)ま
で一行方向に継続する。状態は4つの時間基準区間中3
へ順次インクリメントされ、その間、パイプラインは空
き状態とされそして一行における画素の最終和が決定さ
れる。これはRPCベクトルであり、状態が4へインク
リメントされるとき結果/マスク/基準RAM28に記
憶される。
【0017】中心計算において差分DRPCが状態5の
期間中計算される。状態6において、パイプライン1
6、18、20および横方向行(x)カウンタがクリヤ
される。縦方向列(y)カウンタは順次インクリメント
され、そして中心アルゴリズムはパイプラインにロード
された縦方向列データとともに繰り返される。すべての
縦方向列が加算されたとき(EQRYアクティブ)、状
態は7へインクリメントされ、そして割込みが追跡処理
装置へ発生され、前処理装置の結果が読み出されようと
していることを指示する。この目的のために、パイプラ
イン18により計算される横方向画素計数(RPC)お
よび縦方向画素計数(CPC)値は結果/マスク/基準
RAMに記憶され、最大および最小差分DRPCおよび
DCPCがパイプライン18の出力で保持される。
【0018】前処理装置10は相関モードにおいて同様
に機能する。しかし、相関モードにおいて、パイプライ
ン18からの結果は状態4にて記憶されそしてパイプラ
イン16からの結果は状態5にて記憶される。
【0019】図7A〜Cは、航空機の急激な転回運動中
の相関度喪失の反打消し動作の際に有用な本発明の特徴
を図示する。図7Aは一つのビデオフィールドの画像4
2におけるターゲット40を図示し、図7Bは、もし航
空機がその時間中に30°転回されたときの次のビデオ
フィールドのターゲット40を図示する。
【0020】前処理動作のために同様のターゲット様相
を保持するために、アドレス発生器14には一対のパイ
プライン22、24が設けられ、しかしてこれらパイプ
ラインは、追跡処理装置により提供される配向信号に応
答して、実際上、図7Aと同様の様相を有する図7Cの
画像が賦与されるパイプライン16、18、20を生ず
るアドレス変換を計算する。
【0021】アドレス発生器14は本質的に以下の数1
の転回解除計算を遂行する。
【数1】
【0022】ここで、X´およびY´は図7Cの転回解
除出力画像における所与の画素のxアドレスおよびyア
ドレスであり、XおよびYは図7Bの入力画像における
同じ(すなわち共役の)画素のxアドレスおよびyアド
レスであり、そしてθは回転角度である。
【0023】図7Bの入力基準フレームにおいて図7C
の出力画像における各点の場所を計算するための戦法は
以下の通りである(図8を参照されたい)。 1)入力フレームにおいて出力画像の最左端頂部座標を
計算せよ。 2)入力フレームにおいてΔXH 、ΔYH 単位進み、現
在フレームの次の画素に到達せよ。 3)ラインの終わりまで継続せよ。 4)前のラインの開始点からΔXV 、ΔYV 下降し、次
のラインの開始点の場所に到達せよ。 5)全出力画像が被覆されるまで、上述の横方向行およ
び縦方向列動作を継続せよ。
【0024】ΔXH 、ΔYH 、ΔXV およびΔYV 以下
のように計算される。出力フレームの任意の点X´、Y
´について、ラインの次の点へ進むことは、X´をイン
クリメントしかつY´を一定に保持することと等価であ
る。すなわち、以下の数2が、
【数2】 すなわち、以下の数3が、
【数3】 すなわち、以下の数4が、
【数4】 成り立つ。
【0025】同様に、出力フレームの任意の点X´、Y
´について、縦方向列の次の点へ下降することは、Y´
をデクリメントしかつX´を一定に保持することを等価
である。すなわち、数5が、
【数5】 すなわち、以下の数6が、
【数6】 すなわち、以下の数7が、
【数7】 成り立つ。
【0026】この動作を実行する動作の順序は図9のフ
ローチャート図に図示されており、自明であろう。
【図面の簡単な説明】
【図1】本発明の前処理装置のブロック図である。
【図2】前処理装置の動作を図示するフローチャート図
である。
【図3】前処理装置の動作を図示するフローチャート図
である。
【図4】前処理装置の動作を図示するフローチャート図
である。
【図5】前処理装置の動作を図示するフローチャート図
である。
【図6】前処理装置の動作を図示するフローチャート図
である。
【図7】本発明の回転補償プログラムの効果を図示する
図である。
【図8】回転補償プログラムの動作を図示する図であ
る。
【図9】回転補償プログラムのフローチャート図であ
る。
【符号の説明】
12 インターフェースおよび制御部 14 アドレス発生器 16 パイプライン#1 18 パイプライン#2 20 パイプライン#3 22 パイプライン#4 24 パイプライン#5 26 獲得RAM 28 結果/マスク/基準RAM28
───────────────────────────────────────────────────── フロントページの続き (72)発明者 キ・エイチ・ベーク アメリカ合衆国カリフォルニア州エル・ト ロ、アンジェラ・ストリート24172

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 ターゲット追跡装置のための前処理装置
    において、 a)入力画像、マスクおよび基準情報を記憶し、画像分
    析計算が生ずる記憶手段と、 b)前記追跡装置から前記前処理装置へモード信号およ
    びアドレス信号並びにポインタ信号を提供し、前記追跡
    装置および前記前処理装置間でデータを伝送するための
    接続手段と、 c)前記記憶手段の部分をアドレスするため、単一のア
    ドレスポインタに応答し一連のアドレスを発生するため
    のアドレス発生器と、 d)それぞれが、前記追跡装置により与えられる前記モ
    ード信号に応答して、アドレスされた入力画像情報に複
    数の画像分析アルゴリズムのうちから選択されるアルゴ
    リズムを逐次に適用するよう構成された複数のアキュミ
    ュレータパイプラインと、 e)前記アドレス発生器により発生されるアドレスに従
    って前記記憶手段にアルゴリズムの前記適用の結果を記
    憶するための手段とを具備し、 f)前記複数のパイプラインは、前記入力画像情報が当
    該複数のパイプラインのそれぞれに同時に適用されるよ
    う構成されており、そして、 g)前記画像分析アルゴリズムは、前記複数のパイプラ
    インが種々の画像分析アルゴリズムを前記画像情報へ同
    時適用するよう選択されるターゲット追跡装置のための
    前処理装置。
  2. 【請求項2】 前記アドレス発生器は、前記入力画像情
    報の回転を指示する信号に応答して、前記発生アドレス
    を修正し当該回転を補償するよう構成されている請求項
    1のターゲット追跡装置のための前処理装置。
  3. 【請求項3】 前記同時適用アルゴリズムは中心XSU
    MおよびYSUM、中心横方向および縦方向画素計数お
    よびそれらの間の差分を計算し、当該アルゴリズムは明
    るさ特徴一致相関(BFMA)および二乗差分(Δ2
    を含む群から選択される相関アルゴリズムおよび逐次類
    似度検出(SSDA)アルゴリズムの同時適用とともに
    逐次適用される請求項1のターゲット追跡装置のための
    前処理装置。
JP5041814A 1993-02-08 1993-02-08 ターゲット追跡のための多重機能型前処理装置 Pending JPH06251153A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5041814A JPH06251153A (ja) 1993-02-08 1993-02-08 ターゲット追跡のための多重機能型前処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5041814A JPH06251153A (ja) 1993-02-08 1993-02-08 ターゲット追跡のための多重機能型前処理装置

Publications (1)

Publication Number Publication Date
JPH06251153A true JPH06251153A (ja) 1994-09-09

Family

ID=12618782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5041814A Pending JPH06251153A (ja) 1993-02-08 1993-02-08 ターゲット追跡のための多重機能型前処理装置

Country Status (1)

Country Link
JP (1) JPH06251153A (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4484349A (en) * 1982-03-11 1984-11-20 Environmental Research Institute Of Michigan Parallel pipeline image processor
JPS6086675A (ja) * 1983-10-19 1985-05-16 Hitachi Ltd 自律移動ロボツトにおける視覚情報から三次元画像を得る方法
JPS60263271A (ja) * 1984-06-11 1985-12-26 Honda Motor Co Ltd 画像認識処理装置
JPS62154974A (ja) * 1985-12-27 1987-07-09 Toshiba Corp 原稿読取装置
JPS62186376A (ja) * 1986-02-12 1987-08-14 Toshiba Corp 画像診断装置
US4790026A (en) * 1985-12-31 1988-12-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Programmable pipelined image processor
JPH01312411A (ja) * 1988-06-10 1989-12-18 Hitachi Ltd 画像を用いた物体位置推定方法及びセンサ状態推定方法
JPH02187875A (ja) * 1989-01-17 1990-07-24 Mitsubishi Heavy Ind Ltd 画像処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4484349A (en) * 1982-03-11 1984-11-20 Environmental Research Institute Of Michigan Parallel pipeline image processor
JPS6086675A (ja) * 1983-10-19 1985-05-16 Hitachi Ltd 自律移動ロボツトにおける視覚情報から三次元画像を得る方法
JPS60263271A (ja) * 1984-06-11 1985-12-26 Honda Motor Co Ltd 画像認識処理装置
JPS62154974A (ja) * 1985-12-27 1987-07-09 Toshiba Corp 原稿読取装置
US4790026A (en) * 1985-12-31 1988-12-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Programmable pipelined image processor
JPS62186376A (ja) * 1986-02-12 1987-08-14 Toshiba Corp 画像診断装置
JPH01312411A (ja) * 1988-06-10 1989-12-18 Hitachi Ltd 画像を用いた物体位置推定方法及びセンサ状態推定方法
JPH02187875A (ja) * 1989-01-17 1990-07-24 Mitsubishi Heavy Ind Ltd 画像処理装置

Similar Documents

Publication Publication Date Title
US8989445B2 (en) Image processing apparatus and method
Chin et al. Star tracking using an event camera
US7181047B2 (en) Methods and apparatus for identifying and localizing an area of relative movement in a scene
CN110390685B (zh) 一种基于事件相机的特征点跟踪方法
EP1105842B1 (en) Image processing apparatus
WO2019006389A1 (en) DENSE OPTICAL FLOW PROCESSING IN AN ARTIFICIAL VISION SYSTEM
Correia et al. Real-time implementation of an optical flow algorithm
US5187777A (en) Multi-function pre-processor for target tracking
CN109508636A (zh) 车辆属性识别方法、装置、存储介质及电子设备
CN111583307A (zh) 运动目标实时检测跟踪系统及方法
Fisher et al. A programmable video image remapper
WO2019006405A1 (en) HIERARCHICAL DATA ORGANIZATION FOR DENSE OPTICAL FLOW
JPH06251153A (ja) ターゲット追跡のための多重機能型前処理装置
Sawasaki et al. Design and implementation of high-speed visual tracking system for real-time motion analysis
Burt et al. An architecture for multiresolution, focal, image analysis
Dawson-Howe et al. Active surveillance using dynamic background subtraction
Woergoetter et al. A parallel noise-robust algorithm to recover depth information from radial flow fields
Drake et al. Experimental position and ranging results for a mobile robot
JP3267383B2 (ja) 画像処理方法および画像プロセッサ
Cao et al. Recognition and instance segmentation of space non-cooperative satellite components based on deep learning
JP2510564B2 (ja) 画像特微点検出方法
Zhang et al. A pyramid approach to motion tracking
JP2001268431A (ja) 補正画像生成装置,補正画像生成方法,補正画像生成用プログラム記録媒体および補正画像生成用プログラム
Weddell et al. A neural network architecture for reconstruction of turbulence degraded point spread functions
Messom et al. Stream processing of geometric and central moments using high precision summed area tables

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19951212