JPH04204187A - 赤外線前方監視装置およびその自動捜索方法 - Google Patents

赤外線前方監視装置およびその自動捜索方法

Info

Publication number
JPH04204187A
JPH04204187A JP33527890A JP33527890A JPH04204187A JP H04204187 A JPH04204187 A JP H04204187A JP 33527890 A JP33527890 A JP 33527890A JP 33527890 A JP33527890 A JP 33527890A JP H04204187 A JPH04204187 A JP H04204187A
Authority
JP
Japan
Prior art keywords
section
search
image
narrow
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP33527890A
Other languages
English (en)
Inventor
Hideaki Yoshioka
英明 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP33527890A priority Critical patent/JPH04204187A/ja
Publication of JPH04204187A publication Critical patent/JPH04204187A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野」 この発明は、航空機等に搭載し夜間の飛行等を補助する
赤外線前方監視装置および該装置に用いる自動捜索方法
に関するものである。
〔従来の技術〕
第3図は従来の赤外線前方監視装置を示す機能構成図で
ある。図において、(1)は赤外線センサー。
(2)はこの赤外線センサーで得られる画像アナログ信
号をデジタル信号にf僕する画像前処理部、(3)は画
1前処理部(2)で得られる画像デジタル信号から目標
の位置を検出する目標検出部、(4)は目標検出部(3
)で検出された目標の位置とカーソルの位置を表示する
表示部、(5)はあらかじめ保持した捜索パターンに基
づき視軸駆動角度を指令する視軸制鍔部、(6)は視軸
制御部j5)から宿命された視軸枢動角度に従って赤外
線センサー(1)の視軸方向を変化させるセンサー駆動
部、(7)は視軸方向を示すカーソルを画面上で動かし
1表示部(4)に表示さnた複数の目標シンボルのいず
れかに一致させることによって次の視軸駆動方向をオペ
レータが指令するための操作部であろう 第6図は目標検出部・3)の構成を示す回路図である1
図において、 (61)は画像前処理部(21で得られ
る画像デジタル信号を保持するフレームメモリ。
(62)は画像デジタル信号にフィルタを通すことによ
る位置ズレを補正するビデオシフトレジスタ。
(63)は補正後の画像デジタル信号を平滑化する之め
08X8荷重平均フィルタ、  (64)はメジアン量
分フィルタ演算を行なうランクバリューフィルタ。
(65)は荷重平均とメジアン差分フィルタの出力を足
し合わすことによりスパイク状のノイズを除去するミキ
サ、  (66)はノイズ除去後の濃淡I[ji滓の各
画像濃度がある濃度レベル以上のもDを1.以下のもの
をOと21直化するコンパレータ、 (67)は2値画
像から領域の分割とラベリングを行ないラベル付けされ
た領域の重心と輝度と面積などの特徴量をL炎画澹から
計算し出力するラベリングプロセッサ、  (68)は
ラベル付けされた領域の特徴量を目標の輝度などの評価
基準に基づき評価値の高い順に並べかえるソーティング
プロセッサ、  (69)は目標検出部(3)を構成す
るノ・−ドウエアボード間の割り込み制御を行なうパス
アービタ、 (7C1)はプログラムとデータを保持す
る主メモリ、(7りは制御するOPσ、  (72)は
ソーティングプロセッサで評価付けされた目標の重心位
置を表示部に出力するデュアルポートメモリである。
1gT図は視軸制御部(5)の構成を示す回路図である
。図において、  (70)はプログラムとデータを保
持する主メモリ、  (71)は制御するc p U、
  (72)はセンサー駆動部(4)および操作部(7
)このデータのやり取りを行なうデュアルポートメモI
)、  (73)はセンサー駆動部(4)を指令するた
めの視軸駆動パターン保持用ROMである。
次に動作について説明する。
第4図は、従来の赤外線前方監視装置による捜索方法を
説明する手順図である。まず、赤外線センサー(1)の
瞬時視野に比べて広範囲の空間を捜索する広域捜索モー
ドでは、赤外線センサーの視軸をステップ状に移動させ
て捜索空間全体を漏れなく捜索する。視軸制御部(5)
はあらかじめ保持された視軸駆動パターンに基づいて赤
外線センサー(1)の視軸方向をセンサー駆動部(4)
に指令し、目標検出部(3)は画像前処理部(2)より
得られる各ステップ位置における画像から高輝度の塊を
検出したのち表示部(4)にシンボル表示する( 1f
fiiLikf4υ)。次にオペレータは表示部(4)
に表示された捜索空間内のシンボル表示(画像90)の
中から関心のあるシンボルに操作部(7)を操作してカ
ーソルを一致させ(画@(4B)、狭域捜索モードにな
る。視軸制御部(5)はセンサー駆動部(6)から得ら
れる現在の視軸角度と操作g(71から得られるカーソ
ル位置から次の視軸駆動角度を計算してセンサー駆動部
(6)に伝える。センサー駆動部(6)は赤外線センサ
ー(1)を回転することにより、オペレータの指示した
方向に視軸を向ける。表示部(7)には、この視軸方向
で得られる挟角瞬時視野の赤外線画l象を表示する(画
像(43)。
表示画l象がオペレータの矧りたい目標でない場合は、
再び広域捜索モードに戻り、知りたい目標が得られた時
点で捜索を終了する。
〔発明が解決しようとする課題〕
従来の赤外線前方監視装置では、広域捜索モードでは高
輝度の塊を物本と見做してシンボル表示するので9例え
ば航空機を捜索する目的の場合には航空機とともに1間
の太陽や海面の反射光なども同じシンボルとして表示し
、オペレータVCはその位置情報しかわからない。従っ
て、狭域捜索時の視軸制御はオペレータ操作が必要だっ
た。さらにその捜索方法では、捜索空間に多数のシンボ
ルが表示された場合にはその捜索手順が示されないタメ
、スべてのシンボルについて任意の順番に目視確認を繰
り返す必要があり、捜索時間は長くオペレータの操作が
煩雑という問題点があった。
この発明は、上記のような問題点を解消するためになさ
れたもので、広域捜索時には目標の位置情報とともに運
動特命も検出し、この特徴に基づいて視軸指向順序を計
画する赤外線前方監視装置を得ることを目的としており
、さらに、捜索空間が広い場合や捜索空間に多数の赤外
線放射物体がある場合でも、オペレータの視軸指定操作
を必要とせずに自動的に捜索する方法を提供することを
目的とする。
〔課題を解決するだめの手段〕
この発明による赤外線前方監視装置においては。
運動検出部では画像内の物体の相対運動を検出し。
捜索計画部では運動検出部で得られた相対運動量に応じ
て捜索パターンを生成する。
また、該装置の捜索計画部における捜索方法は。
1ず広域捜索モードにおいてあらかじめ決まった広域捜
索パターンに従ってセンサー駆動部を制御しながら画像
から各物体の位置と相対運動量を記憶したのち、相対運
動量の大きい物体の位置順に狭域捜索パターンを生成し
、最後に狭域捜索モードでこの狭域捜索パターンに従っ
て視軸を向ける。
〔作用〕
上記のように構成された赤外a前方監視装置を航空機な
どに搭載した場合、近距離の物体や遠距離であるが移動
速度の大きい物体は早期捜索段階で噴出する。
また、狭域夕索では、相対速度が大きい物体から順に捜
索する。
また、狭域捜索での捜索パターンは、広域捜索モードで
得られる運動物体のデータから自動的に獲得される。
〔実施例〕
第1図はこの発明の一実施例を示す機能構成図であシ、
(1)、 +2) 、 (41、(6)、(7)は上記
従来装置と全く同一のものである。αjは画像処理部(
2)より得られる異なる時刻の二枚の画像から移動物体
の位置と運動ベクトルを検出する運動検出部、αSは運
動検出部αJから得られた物体の位置と運動ベクトルを
保持し運動量の大きい物体順に捜索する視軸駆動パター
ンを決め、この視軸1g動パターンに基づいてセンサー
、駆動部(6)に視軸駆動角度を順次指令する捜索計画
部である。
第8図は運動検出部0の構成を示す回路図である。図に
おいて、  (61)は画1象前処理部(2)で得られ
る画1象デジタル信号を保持するフレームメモリ。
(81)は例えば128x128画素から構成されるフ
レームメモリの画1象を4×4画素の局所領域に分割し
、1フレーム前と新たに入力された画1象間の濃度から
近接する画素間の局所計算により各画素毎のオプチカル
フローを演算するための局所演算プロセッサ、  (8
2)は局所演算プロセッサ(81)で計算された局所領
域卓立のオプチカル70−を全画素について蓄積するデ
ュアルポートメモIJ、  (67)は各画素毎のオプ
チカルフローから領域分割と2ベリングを行ないラベル
付けされた領域のオプチカルフローの重心と平均を物体
の位置と速度ベクトルとして計算し出力するラベリング
プロセッサ。
(68)はラベル付けされた領域の速度ベクトルの大き
い順に並べかえるソーティングプロセッサ。
(69)は運動検出部(13を構成するハードウェアボ
ード間の割シ込み制御を行なうバスアーとり、  (7
0)はプログラムとデータを保持する主メモリ、  (
yl)は運動検出部α3の動作を制御glするCPU、
  (72)はソーティングプロセッサで評価付けされ
た目標の重心位置と速度ベクトルを表示部(4)と捜索
計画部四に出力するデュアルポートメモリである。
第9図は捜索計画部11!9の構成を示す回路図である
。図において、  (91)は広域捜索モードでの視軸
駆動角度を発生するだめの広域捜索パターン保持用RO
M、(92)は運動検出部0で測定した目標の重心位置
から狭域捜索モードでの視軸駆動角度を発生するための
狭域捜索パターン保持用RAM。
(96)は運動検出部0の動作制御を行なうI / O
レジスタ、  (70)はプログラムとデータを保持す
る主メモ!J、  (71)は捜索針1Ilii部US
の動作を制御するCPU、  (72)はセンサー駆動
部(6)および操作部(7)および運動検出部峙どデー
タの入量力を行なうデュアルポートメモリである。
第2図は捜索計画部Il!9の動作を示す処理手順であ
る。まず、オペレータが操作部(7)より自動捜索モー
ドを選択すると、捜索計画部a5はセンサー駆動部(6
)経由で赤外線センサー+11にセンサーの瞬時視野を
広視野に切り替える指令を送り(ステップC21))、
  あらかじめ保持している広域捜索パターンに基づい
て視軸、・駆動角度を発生しくステップ口)。
センサー駆動部(6)ニ指令する(ステップ@〕。この
広域捜索パターンは瞬時視野が捜索空間を漏れなく捜索
するように移動と停止を繰シ返すステップ状のパターン
である。捜索計画部0はセンサー駆動部(6)の視軸角
度の変化から視軸の停止を倹矧しくステップ@)、運動
検出部(13に起動指示する(ステップ@)。起動指示
を受けた運動検出部α3は9画111J処理部(2)よ
り送られた異なる時刻の二枚の#J像から相対移動する
高輝度の塊を検出し。
その座標と運動ベクトルを表示部(4)と捜索計画部α
[有]に送る。捜索計画部α9は運動噴出部0から検出
データを受信したのちに(ステップ(至))9次の視軸
駆動角度をセンサー駆動部(6)に指令する(ステップ
(至)、c14)。捜索計画部KL5は広域捜索モード
の広域捜索パターンが一巡するまでこれを繰り返しくス
テップ(至))、この間、運動検出部0から送られる運
動物体の座標と運動ベクトルを保持する(ステップt2
5)。次に、捜索t+画部d9はセンサー駆動部(6)
経由で赤外線センサー(1)にセンサーの瞬時視野を狭
視野に切り替える指令を送り(ステップ(至))、広域
捜索モード4に収集した運動物本の座標ト運動ベクトル
の保持データを相対速度の大きい順に並べ直してこれを
狭域捜索ノくターンとして生成する(ステップ@)。狭
域捜索モードでの捜索計画部αSの動作は、運動検出部
0にスルーモードの指令と終了確認を行なう以外は広域
捜索モードと同じである(ステップ吃叱制、(至))。
スルーモードの指示を受けた運動検出部(13は2両津
前処理部(2)より送られる赤外線画1象をそのまま表
示部(4)に送り、一定4司のちに捜索計画部d9にス
ルーモードの終了を云える(ステップ(至))。表示部
(4)は各瞬時視野で得られる赤外線両家を逐次表示し
、狭域捜索パターンが一巡した時点で捜索を終了する。
fl、5図はこの発明の赤外線前方監視装置による捜索
方法を説明する手順図である。広域捜索モード時は捜索
空間における相対、I!!動物体の位置と運動ベクトル
を表示する(画II(51))。広域捜索が終了すると
、運動ベクトルの最も大きい物体の挟角瞬時視野におけ
る赤外線画I象を一定時間表示しく画II(52))、
  その後運動ベクトルD大きい物体の順に視軸を向け
て赤外線両家を表示する(画1象(53)、 (54)
 )。
〔発明の効果〕
この発明は以上説明したように構成されているので、以
下に記載されるような効果を奏する。
地上で静止している自動車や遠方の高速飛翔体などは捜
索順位は高く、雲間の太陽などは捜索順位は低い。
広域捜索時に運動情報を得るには、物体が赤外線センサ
ー面上で数画素程度の面積を占めれば十分なため、広域
捜索モードでの瞬時視野を大きく取ることができ、従っ
て広域捜索時間を短縮できる。
狭域捜索モードでは、目標である可能曲が高い順に視軸
を指向するので、目標検出までの捜索時間は短い。
また、gIA軸を自動的に指向させるのでオペレータの
負荷が減る。
【図面の簡単な説明】
第1図はこの発明の一実施例による赤外線前方監視装置
を示す機能構成図、第2図は第1図の捜索計画部におけ
る処理手順を示すフローチャート。 第3図は従来の赤外線前方監視装置を示す機能構成図、
第4図は従来の捜索方法を説明する手順図。 第5図はこの発明の捜索方法を説明する手順図。 第6図は第3図の目標検出部(3)の構成を示す回路図
、第7図は第3図の視軸制御部(5)の構成を示す回路
図、第8図は第1図の運動噴出部αjの構成を示す回路
図、第9図は第1図の捜索計画部四の構成を示す回路図
である。 図において、(1)は赤外線センサー、(2)は1慮前
処理部、(3)は目標検出部、(4)は表示部、(5)
は視軸制御部、(6)はセンサー駆動部、(7)は操作
部、0階は運動検出部、αeは捜索計画7’、 I2υ
は広視野切り替え指令処理、(23は広域捜索パターン
発生処理、(至)はパターン終了判定処理、(24はセ
ンサー駆動部の制御処理、(2Sは運動検出部の制御処
理、(至)は狭視野切り替え指令処理、額は狭域捜索パ
ターンの生成処理、(至)は狭域捜索パターン発生処理
、(至)は通!JIh険出部の利、卸逃理、@Dは広域
捜索モードのシンボル表示画面、(社)は視軸指定表示
画面、(43は狭域捜索モードの赤外線1慮表示画面、
  (51)は広域捜索モードのシンボルと運動ベクト
ル表示画面。 (52)は狭域捜索モードの最大運動量物体の赤外線画
1象表示画面、  (53)は狭域捜索モードの第2番
目の運動量物体の赤外線画1象表示画面、  (54)
は狭域捜索モードの第3番目の運動量物体の赤外線画慮
表示画面、  (+51)はフレームメモリ、  (6
2)はビデオシフトレジスタ、  (65)は8X8加
重平均フィルタ。 (64)はランクバリューフィルタ、  (65)はミ
キサ。 (66)ハコンパレータ、  (67)i4ラベリング
プロセッサ、  (6B)はソーティングプロセッサ、
  (69)ババスアービタ、  (70)は主メモリ
、  (71)はcpty、(72)はデュアルポート
メモリ、  (73)は視軸駆動パターン保持用ROM
、(81)は局所演算プロセッサ。 (82)はデュアルポートメモ1,1.  (91)は
広域捜索パターン保持用ROM、(92)は狭域捜索パ
ターン保持用RAM、  (93)d工/○レジスタを
示す。 なお、各図中、同一符号は同−筐たは相当部分を示す。

Claims (2)

    【特許請求の範囲】
  1. (1)赤外線画像を撮像する赤外線センサー、この赤外
    線センサーで得られる画像アナログ信号をデジタル信号
    に変換する画像前処理部、この画像前処理部より得られ
    る画像内の物体の相対運動を検出する運動検出部、この
    運動検出部から得られる物体の位置と運動ベクトルを表
    示する表示部、運動検出部から得られる相対運動量に応
    じて捜索パターンを生成する捜索計画部、この捜索計画
    部から指令される視軸駆動角度に従つて赤外線センサー
    を向けるセンサー駆動部、自動捜索モードの起動および
    終了を指示する操作部を備えたことを特徴とする赤外線
    前方監視装置。
  2. (2)あらかじめ決まつた広域捜索パターンに従つてセ
    ンサー駆動部を制御しながら運動検出部を制御して各視
    軸方向における物体の位置と相対運動量を保持する広域
    捜索モードと、広域捜索時に検出された相対運動量の大
    きい物体の位置から順に視軸を向ける狭域捜索パターン
    の生成と、狭域捜索パターンに従つてセンサー駆動部を
    制御する狭域捜索モードを行なうことにより、広範囲の
    空間を高速に捜索する自動捜索方法。
JP33527890A 1990-11-30 1990-11-30 赤外線前方監視装置およびその自動捜索方法 Pending JPH04204187A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33527890A JPH04204187A (ja) 1990-11-30 1990-11-30 赤外線前方監視装置およびその自動捜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33527890A JPH04204187A (ja) 1990-11-30 1990-11-30 赤外線前方監視装置およびその自動捜索方法

Publications (1)

Publication Number Publication Date
JPH04204187A true JPH04204187A (ja) 1992-07-24

Family

ID=18286730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33527890A Pending JPH04204187A (ja) 1990-11-30 1990-11-30 赤外線前方監視装置およびその自動捜索方法

Country Status (1)

Country Link
JP (1) JPH04204187A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373063B2 (en) 2014-03-24 2019-08-06 Mitsubishi Heavy Industries, Ltd. Search schedule determining apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373063B2 (en) 2014-03-24 2019-08-06 Mitsubishi Heavy Industries, Ltd. Search schedule determining apparatus

Similar Documents

Publication Publication Date Title
US4734685A (en) Position control apparatus
US7050606B2 (en) Tracking and gesture recognition system particularly suited to vehicular control applications
US6778180B2 (en) Video image tracking engine
CN110244458A (zh) 抬头显示系统及其控制方法
US7173650B2 (en) Method for assisting an automated video tracking system in reaquiring a target
US4219847A (en) Method and apparatus of determining the center of area or centroid of a geometrical area of unspecified shape lying in a larger x-y scan field
US5023709A (en) Automatic follow-up lighting system
US5559695A (en) Apparatus and method for self-calibrating visual time-to-contact sensor
Broggi et al. ARGO and the MilleMiglia in Automatico Tour
JP3583873B2 (ja) 自動車の走行制御装置
AU2003246291A1 (en) Motion-based segmentor for occupant tracking
AU2003246335A1 (en) Motion-based image segmentor for occupant tracking using Hausdorf Distance heuristic
JPH06261863A (ja) 視線方向計測装置
US7027041B2 (en) Presentation system
JPH04204187A (ja) 赤外線前方監視装置およびその自動捜索方法
US11330162B2 (en) Moving object imaging device and moving object imaging method
JPH1123262A (ja) 三次元位置計測システム
Dagless et al. Visual road traffic monitoring and data collection
JP2002188914A (ja) 赤外線撮像装置
JP2001036798A (ja) パン/チルトカメラの制御方法及び装置
JPH0778823B2 (ja) 画像処理方法
JPH0868630A (ja) 車両用視線方向計測装置およびこれに用いる画像入力装置
WO1992011508A1 (en) Object location system
US11354896B2 (en) Display device, display method, and computer program
KR100322751B1 (ko) 팬/틸트 카메라 제어방법