JPH04204187A - 赤外線前方監視装置およびその自動捜索方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野」 この発明は、航空機等に搭載し夜間の飛行等を補助する
赤外線前方監視装置および該装置に用いる自動捜索方法
に関するものである。

〔従来の技術〕

第３図は従来の赤外線前方監視装置を示す機能構成図で
ある。図において、（１）は赤外線センサー。

（２）はこの赤外線センサーで得られる画像アナログ信
号をデジタル信号にｆ僕する画像前処理部、（３）は画
１前処理部（２）で得られる画像デジタル信号から目標
の位置を検出する目標検出部、（４）は目標検出部（３
）で検出された目標の位置とカーソルの位置を表示する
表示部、（５）はあらかじめ保持した捜索パターンに基
づき視軸駆動角度を指令する視軸制鍔部、（６）は視軸
制御部ｊ５）から宿命された視軸枢動角度に従って赤外
線センサー（１）の視軸方向を変化させるセンサー駆動
部、（７）は視軸方向を示すカーソルを画面上で動かし
１表示部（４）に表示さｎた複数の目標シンボルのいず
れかに一致させることによって次の視軸駆動方向をオペ
レータが指令するための操作部であろう 第６図は目標検出部・３）の構成を示す回路図である１
図において、　（６１）は画像前処理部（２１で得られ
る画像デジタル信号を保持するフレームメモリ。

（６２）は画像デジタル信号にフィルタを通すことによ
る位置ズレを補正するビデオシフトレジスタ。

（６３）は補正後の画像デジタル信号を平滑化する之め
０８Ｘ８荷重平均フィルタ、　　（６４）はメジアン量
分フィルタ演算を行なうランクバリューフィルタ。

（６５）は荷重平均とメジアン差分フィルタの出力を足
し合わすことによりスパイク状のノイズを除去するミキ
サ、　　（６６）はノイズ除去後の濃淡Ｉ［ｊｉ滓の各
画像濃度がある濃度レベル以上のもＤを１．以下のもの
をＯと２１直化するコンパレータ、　（６７）は２値画
像から領域の分割とラベリングを行ないラベル付けされ
た領域の重心と輝度と面積などの特徴量をＬ炎画澹から
計算し出力するラベリングプロセッサ、　　（６８）は
ラベル付けされた領域の特徴量を目標の輝度などの評価
基準に基づき評価値の高い順に並べかえるソーティング
プロセッサ、　　（６９）は目標検出部（３）を構成す
るノ・−ドウエアボード間の割り込み制御を行なうパス
アービタ、　（７Ｃ１）はプログラムとデータを保持す
る主メモリ、（７りは制御するＯＰσ、　　（７２）は
ソーティングプロセッサで評価付けされた目標の重心位
置を表示部に出力するデュアルポートメモリである。

１ｇＴ図は視軸制御部（５）の構成を示す回路図である
。図において、　　（７０）はプログラムとデータを保
持する主メモリ、　　（７１）は制御するｃ　ｐ　Ｕ、
　　（７２）はセンサー駆動部（４）および操作部（７
）このデータのやり取りを行なうデュアルポートメモＩ
）、　　（７３）はセンサー駆動部（４）を指令するた
めの視軸駆動パターン保持用ＲＯＭである。

次に動作について説明する。

第４図は、従来の赤外線前方監視装置による捜索方法を
説明する手順図である。まず、赤外線センサー（１）の
瞬時視野に比べて広範囲の空間を捜索する広域捜索モー
ドでは、赤外線センサーの視軸をステップ状に移動させ
て捜索空間全体を漏れなく捜索する。視軸制御部（５）
はあらかじめ保持された視軸駆動パターンに基づいて赤
外線センサー（１）の視軸方向をセンサー駆動部（４）
に指令し、目標検出部（３）は画像前処理部（２）より
得られる各ステップ位置における画像から高輝度の塊を
検出したのち表示部（４）にシンボル表示する（　１ｆ
ｆｉｉＬｉｋｆ４υ）。次にオペレータは表示部（４）
に表示された捜索空間内のシンボル表示（画像９０）の
中から関心のあるシンボルに操作部（７）を操作してカ
ーソルを一致させ（画＠（４Ｂ）、狭域捜索モードにな
る。視軸制御部（５）はセンサー駆動部（６）から得ら
れる現在の視軸角度と操作ｇ（７１から得られるカーソ
ル位置から次の視軸駆動角度を計算してセンサー駆動部
（６）に伝える。センサー駆動部（６）は赤外線センサ
ー（１）を回転することにより、オペレータの指示した
方向に視軸を向ける。表示部（７）には、この視軸方向
で得られる挟角瞬時視野の赤外線画ｌ象を表示する（画
像（４３）。

表示画ｌ象がオペレータの矧りたい目標でない場合は、
再び広域捜索モードに戻り、知りたい目標が得られた時
点で捜索を終了する。

〔発明が解決しようとする課題〕

従来の赤外線前方監視装置では、広域捜索モードでは高
輝度の塊を物本と見做してシンボル表示するので９例え
ば航空機を捜索する目的の場合には航空機とともに１間
の太陽や海面の反射光なども同じシンボルとして表示し
、オペレータＶＣはその位置情報しかわからない。従っ
て、狭域捜索時の視軸制御はオペレータ操作が必要だっ
た。さらにその捜索方法では、捜索空間に多数のシンボ
ルが表示された場合にはその捜索手順が示されないタメ
、スべてのシンボルについて任意の順番に目視確認を繰
り返す必要があり、捜索時間は長くオペレータの操作が
煩雑という問題点があった。

この発明は、上記のような問題点を解消するためになさ
れたもので、広域捜索時には目標の位置情報とともに運
動特命も検出し、この特徴に基づいて視軸指向順序を計
画する赤外線前方監視装置を得ることを目的としており
、さらに、捜索空間が広い場合や捜索空間に多数の赤外
線放射物体がある場合でも、オペレータの視軸指定操作
を必要とせずに自動的に捜索する方法を提供することを
目的とする。

〔課題を解決するだめの手段〕

この発明による赤外線前方監視装置においては。

運動検出部では画像内の物体の相対運動を検出し。

捜索計画部では運動検出部で得られた相対運動量に応じ
て捜索パターンを生成する。

また、該装置の捜索計画部における捜索方法は。

１ず広域捜索モードにおいてあらかじめ決まった広域捜
索パターンに従ってセンサー駆動部を制御しながら画像
から各物体の位置と相対運動量を記憶したのち、相対運
動量の大きい物体の位置順に狭域捜索パターンを生成し
、最後に狭域捜索モードでこの狭域捜索パターンに従っ
て視軸を向ける。

〔作用〕

上記のように構成された赤外ａ前方監視装置を航空機な
どに搭載した場合、近距離の物体や遠距離であるが移動
速度の大きい物体は早期捜索段階で噴出する。

また、狭域夕索では、相対速度が大きい物体から順に捜
索する。

また、狭域捜索での捜索パターンは、広域捜索モードで
得られる運動物体のデータから自動的に獲得される。

〔実施例〕

第１図はこの発明の一実施例を示す機能構成図であシ、
（１）、　＋２）　、　（４１、（６）、（７）は上記
従来装置と全く同一のものである。αｊは画像処理部（
２）より得られる異なる時刻の二枚の画像から移動物体
の位置と運動ベクトルを検出する運動検出部、αＳは運
動検出部αＪから得られた物体の位置と運動ベクトルを
保持し運動量の大きい物体順に捜索する視軸駆動パター
ンを決め、この視軸１ｇ動パターンに基づいてセンサー
、駆動部（６）に視軸駆動角度を順次指令する捜索計画
部である。

第８図は運動検出部０の構成を示す回路図である。図に
おいて、　　（６１）は画１象前処理部（２）で得られ
る画１象デジタル信号を保持するフレームメモリ。

（８１）は例えば１２８ｘ１２８画素から構成されるフ
レームメモリの画１象を４×４画素の局所領域に分割し
、１フレーム前と新たに入力された画１象間の濃度から
近接する画素間の局所計算により各画素毎のオプチカル
フローを演算するための局所演算プロセッサ、　　（８
２）は局所演算プロセッサ（８１）で計算された局所領
域卓立のオプチカル７０−を全画素について蓄積するデ
ュアルポートメモＩＪ、　　（６７）は各画素毎のオプ
チカルフローから領域分割と２ベリングを行ないラベル
付けされた領域のオプチカルフローの重心と平均を物体
の位置と速度ベクトルとして計算し出力するラベリング
プロセッサ。

（６８）はラベル付けされた領域の速度ベクトルの大き
い順に並べかえるソーティングプロセッサ。

（６９）は運動検出部（１３を構成するハードウェアボ
ード間の割シ込み制御を行なうバスアーとり、　　（７
０）はプログラムとデータを保持する主メモリ、　　（
ｙｌ）は運動検出部α３の動作を制御ｇｌするＣＰＵ、
　　（７２）はソーティングプロセッサで評価付けされ
た目標の重心位置と速度ベクトルを表示部（４）と捜索
計画部四に出力するデュアルポートメモリである。

第９図は捜索計画部１１！９の構成を示す回路図である
。図において、　　（９１）は広域捜索モードでの視軸
駆動角度を発生するだめの広域捜索パターン保持用ＲＯ
Ｍ、（９２）は運動検出部０で測定した目標の重心位置
から狭域捜索モードでの視軸駆動角度を発生するための
狭域捜索パターン保持用ＲＡＭ。

（９６）は運動検出部０の動作制御を行なうＩ　／　Ｏ
レジスタ、　　（７０）はプログラムとデータを保持す
る主メモ！Ｊ、　　（７１）は捜索針１Ｉｌｉｉ部ＵＳ
の動作を制御するＣＰＵ、　　（７２）はセンサー駆動
部（６）および操作部（７）および運動検出部峙どデー
タの入量力を行なうデュアルポートメモリである。

第２図は捜索計画部Ｉｌ！９の動作を示す処理手順であ
る。まず、オペレータが操作部（７）より自動捜索モー
ドを選択すると、捜索計画部ａ５はセンサー駆動部（６
）経由で赤外線センサー＋１１にセンサーの瞬時視野を
広視野に切り替える指令を送り（ステップＣ２１））、
　　あらかじめ保持している広域捜索パターンに基づい
て視軸、・駆動角度を発生しくステップ口）。

センサー駆動部（６）ニ指令する（ステップ＠〕。この
広域捜索パターンは瞬時視野が捜索空間を漏れなく捜索
するように移動と停止を繰シ返すステップ状のパターン
である。捜索計画部０はセンサー駆動部（６）の視軸角
度の変化から視軸の停止を倹矧しくステップ＠）、運動
検出部（１３に起動指示する（ステップ＠）。起動指示
を受けた運動検出部α３は９画１１１Ｊ処理部（２）よ
り送られた異なる時刻の二枚の＃Ｊ像から相対移動する
高輝度の塊を検出し。

その座標と運動ベクトルを表示部（４）と捜索計画部α
［有］に送る。捜索計画部α９は運動噴出部０から検出
データを受信したのちに（ステップ（至））９次の視軸
駆動角度をセンサー駆動部（６）に指令する（ステップ
（至）、ｃ１４）。捜索計画部ＫＬ５は広域捜索モード
の広域捜索パターンが一巡するまでこれを繰り返しくス
テップ（至））、この間、運動検出部０から送られる運
動物体の座標と運動ベクトルを保持する（ステップｔ２
５）。次に、捜索ｔ＋画部ｄ９はセンサー駆動部（６）
経由で赤外線センサー（１）にセンサーの瞬時視野を狭
視野に切り替える指令を送り（ステップ（至））、広域
捜索モード４に収集した運動物本の座標ト運動ベクトル
の保持データを相対速度の大きい順に並べ直してこれを
狭域捜索ノくターンとして生成する（ステップ＠）。狭
域捜索モードでの捜索計画部αＳの動作は、運動検出部
０にスルーモードの指令と終了確認を行なう以外は広域
捜索モードと同じである（ステップ吃叱制、（至））。

スルーモードの指示を受けた運動検出部（１３は２両津
前処理部（２）より送られる赤外線画１象をそのまま表
示部（４）に送り、一定４司のちに捜索計画部ｄ９にス
ルーモードの終了を云える（ステップ（至））。表示部
（４）は各瞬時視野で得られる赤外線両家を逐次表示し
、狭域捜索パターンが一巡した時点で捜索を終了する。

ｆｌ、５図はこの発明の赤外線前方監視装置による捜索
方法を説明する手順図である。広域捜索モード時は捜索
空間における相対、Ｉ！！動物体の位置と運動ベクトル
を表示する（画ＩＩ（５１））。広域捜索が終了すると
、運動ベクトルの最も大きい物体の挟角瞬時視野におけ
る赤外線画Ｉ象を一定時間表示しく画ＩＩ（５２））、
　　その後運動ベクトルＤ大きい物体の順に視軸を向け
て赤外線両家を表示する（画１象（５３）、　（５４）
　）。

〔発明の効果〕

この発明は以上説明したように構成されているので、以
下に記載されるような効果を奏する。

地上で静止している自動車や遠方の高速飛翔体などは捜
索順位は高く、雲間の太陽などは捜索順位は低い。

広域捜索時に運動情報を得るには、物体が赤外線センサ
ー面上で数画素程度の面積を占めれば十分なため、広域
捜索モードでの瞬時視野を大きく取ることができ、従っ
て広域捜索時間を短縮できる。

狭域捜索モードでは、目標である可能曲が高い順に視軸
を指向するので、目標検出までの捜索時間は短い。

また、ｇＩＡ軸を自動的に指向させるのでオペレータの
負荷が減る。

【図面の簡単な説明】

第１図はこの発明の一実施例による赤外線前方監視装置
を示す機能構成図、第２図は第１図の捜索計画部におけ
る処理手順を示すフローチャート。 第３図は従来の赤外線前方監視装置を示す機能構成図、
第４図は従来の捜索方法を説明する手順図。 第５図はこの発明の捜索方法を説明する手順図。 第６図は第３図の目標検出部（３）の構成を示す回路図
、第７図は第３図の視軸制御部（５）の構成を示す回路
図、第８図は第１図の運動噴出部αｊの構成を示す回路
図、第９図は第１図の捜索計画部四の構成を示す回路図
である。 図において、（１）は赤外線センサー、（２）は１慮前
処理部、（３）は目標検出部、（４）は表示部、（５）
は視軸制御部、（６）はセンサー駆動部、（７）は操作
部、０階は運動検出部、αｅは捜索計画７’、　Ｉ２υ
は広視野切り替え指令処理、（２３は広域捜索パターン
発生処理、（至）はパターン終了判定処理、（２４はセ
ンサー駆動部の制御処理、（２Ｓは運動検出部の制御処
理、（至）は狭視野切り替え指令処理、額は狭域捜索パ
ターンの生成処理、（至）は狭域捜索パターン発生処理
、（至）は通！ＪＩｈ険出部の利、卸逃理、＠Ｄは広域
捜索モードのシンボル表示画面、（社）は視軸指定表示
画面、（４３は狭域捜索モードの赤外線１慮表示画面、
　　（５１）は広域捜索モードのシンボルと運動ベクト
ル表示画面。 （５２）は狭域捜索モードの最大運動量物体の赤外線画
１象表示画面、　　（５３）は狭域捜索モードの第２番
目の運動量物体の赤外線画１象表示画面、　　（５４）
は狭域捜索モードの第３番目の運動量物体の赤外線画慮
表示画面、　　（＋５１）はフレームメモリ、　　（６
２）はビデオシフトレジスタ、　　（６５）は８Ｘ８加
重平均フィルタ。 （６４）はランクバリューフィルタ、　　（６５）はミ
キサ。 （６６）ハコンパレータ、　　（６７）ｉ４ラベリング
プロセッサ、　　（６Ｂ）はソーティングプロセッサ、
　　（６９）ババスアービタ、　　（７０）は主メモリ
、　　（７１）はｃｐｔｙ、（７２）はデュアルポート
メモリ、　　（７３）は視軸駆動パターン保持用ＲＯＭ
、（８１）は局所演算プロセッサ。 （８２）はデュアルポートメモ１，１．　　（９１）は
広域捜索パターン保持用ＲＯＭ、（９２）は狭域捜索パ
ターン保持用ＲＡＭ、　　（９３）ｄ工／○レジスタを
示す。 なお、各図中、同一符号は同−筐たは相当部分を示す。

Claims (2)

【特許請求の範囲】
1. （１）赤外線画像を撮像する赤外線センサー、この赤外
   線センサーで得られる画像アナログ信号をデジタル信号
   に変換する画像前処理部、この画像前処理部より得られ
   る画像内の物体の相対運動を検出する運動検出部、この
   運動検出部から得られる物体の位置と運動ベクトルを表
   示する表示部、運動検出部から得られる相対運動量に応
   じて捜索パターンを生成する捜索計画部、この捜索計画
   部から指令される視軸駆動角度に従つて赤外線センサー
   を向けるセンサー駆動部、自動捜索モードの起動および
   終了を指示する操作部を備えたことを特徴とする赤外線
   前方監視装置。
2. （２）あらかじめ決まつた広域捜索パターンに従つてセ
   ンサー駆動部を制御しながら運動検出部を制御して各視
   軸方向における物体の位置と相対運動量を保持する広域
   捜索モードと、広域捜索時に検出された相対運動量の大
   きい物体の位置から順に視軸を向ける狭域捜索パターン
   の生成と、狭域捜索パターンに従つてセンサー駆動部を
   制御する狭域捜索モードを行なうことにより、広範囲の
   空間を高速に捜索する自動捜索方法。