JP3502933B2 - 赤外線画像からの目標抽出のための画像処理方法、目標抽出方法、抽出目標を追尾する地上観測方法、飛しょう体の誘導方法及びそれらの装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、赤外線画像からの
目標抽出のための画像処理方法、その画像処理方法によ
り処理した画像から抽出すべき目標を正確に抽出する目
標抽出方法、その目標抽出方法により抽出した目標を追
尾する地上観測方法、目標を追尾し飛しょう体を目標に
誘導する誘導方法、及びそれらの装置に関する。

【０００２】

【従来の技術】従来、地表面を背景としてその上にある
目標（例えば車両）を赤外線カメラで撮像すると、目標
は背景よりも温度が高いことが多いため、ある温度（輝
度）以上の部分を目標として抽出する画像処理が一般的
に行われていた。これを２値化処理という。図８のａは
この目標抽出のための画像処理方法における原画像、図
８のｂは２値化処理により抽出した目標（車両）を示す
処理画像である。

【０００３】然し乍ら、太陽光等により部分的に暖めら
れた背景が目標（車両）よりも高温になることもしばし
ばあり、このような状況では目標（車両）以外の背景部
分が目標（車両）として誤抽出されるという問題があっ
た。図９のａは太陽光により背景が部分的に加熱された
状況における原画像、図９のｂは２値化処理により抽出
した目標（車両）及び誤抽出された背景を示す処理画像
である。

【０００４】また、一部分が背景よりも高温で、別の部
分が背景よりも低温である目標（車両）は、２値化処理
では目標（車両）全体を抽出することはできず、形状等
により抽出した部分が目標（車両）であるか正しく判断
できないという問題があった。図１０のａは目標（車
両）の一部分が背景より高温で、別の部分が背景より低
温の場合の原画像、図１０のｂは２値化処理により抽出
した目標（車両）を示す処理画像である。

【０００５】

【発明が解決しようとする課題】そこで本発明は、従来
の目標と背景の絶対的な温度差に基く目標抽出に代わっ
て、目標と背景の相対的な温度差に基く目標抽出を行っ
て、従来の２値化処理で問題となった、高温な部分背景
の誤抽出を無くすと共に目標全体の抽出を正確に行うこ
とにより目標識別精度を向上しようとするものであり、
さらに発展させて抽出した目標を追尾できるようにし、
その上追尾する目標に飛しょう体を誘導できるようにし
ようとするものである。

【０００６】

【課題を解決するための手段】上記課題を解決するため
の基本となる本発明による赤外線画像からの目標抽出の
ための画像処理方法は、赤外線画像の各画素を画素毎の
温度差に注目して温度差がある一定値以下の隣接する画
素同士を合わせて幾つかの部品に統合し、統合した部品
のうち、抽出すべき目標を想定した大きさ・形状の枠よ
りも大きな部品を排除することにより、不要な部分を削
除することを特徴とするものである。

【０００７】本発明の目標抽出方法は、上記の画像処理
方法による画像処理で残った部品から抽出すべき目標を
想定した大きさ・形状の枠内に部品が存在する密度の高
いところから部品同士を順次結合し、目標の形状を乱す
部品を排除して目標に最も近い大きさ・形の目標候補を
抽出することを特徴とするものである。

【０００８】本発明の抽出目標を追尾する地上観測方法
は、地上観測位置と目標との相対距離を計測し、この相
対距離と想定目標サイズ、赤外線画像の１画素当りの角
度から目標枠の大きさを演算し、この目標枠により前記
目標抽出方法により抽出する目標候補の大きさ・形状を
決定し、この目標候補の赤外線画像の中でのアドレスを
追尾することを特徴とするものである。

【０００９】本発明の誘導方法は、地上観測位置から計
測した目標の３次元位置と慣性位置演算方法により取得
した飛しょう体の３次元位置とにより目標と飛しょう体
との相対距離を演算し、この相対距離と想定目標サイ
ズ、赤外線画像の１画素当りの角度から目標枠の大きさ
を演算し、この目標枠により前記目標抽出方法により抽
出する目標候補の大きさ・形状を決定し、この目標候補
の赤外線画像の中でのアドレスを追尾し、飛しょう体を
目標に誘導することを特徴とする。

【００１０】前記の赤外線画像からの目標抽出のための
画像処理方法を実施するための本発明の画像処理装置
は、目標を撮像する赤外線画像撮像装置と、撮像した赤
外線画像のノイズを除去する前処理回路と、温度差があ
る一定値以下の隣接する画素同士を合わせて幾つかの部
品に統合する統合処理回路と、抽出すべき目標を想定し
た大きさ・形状の枠よりも大きな部品を排除する背景除
去回路とより成るものである。

【００１１】前記の目標抽出方法を実施するための本発
明の目標抽出装置は、前記００１０項に記載の画像処理
装置と、この画像処理装置による画像処理で残った部品
から抽出すべき目標の大きさと形状を想定した枠内に部
品が存在する密度が高いところから部品同士を順次結合
し、目標の形状を乱す部品を排除して目標に最も近い大
きさ・形の目標候補を抽出する部品統合回路とより成る
ものである。

【００１２】前記の地上観測方法を実施するための本発
明の地上観測装置は、前記００１１項に記載の目標抽出
装置と、地上観測位置と目標との相対距離を計測する相
対距離計測装置と、この相対距離計測装置により計測し
た相対距離と想定目標サイズ、赤外線画像の１画素当り
の角度から目標枠の大きさを演算する目標サイズ演算器
とより成り、前記目標サイズ演算器で演算して得た目標
枠を前記目標抽出装置の背景除去回路と部品統合回路に
おける想定目標枠として入力するように構成したことを
特徴とするものである。

【００１３】前記の誘導方法を実施するための本発明の
誘導装置は、前記００１１項に記載の目標抽出装置と、
目標の３次元位置を計測する目標計測装置と、飛しょう
体の３次元位置を演算する慣性位置演算装置と、目標計
測装置により計測した目標の３次元位置と慣性位置演算
装置により演算した飛しょう体の３次元位置とにより目
標と飛しょう体の相対距離を演算する相対距離演算器
と、この相対距離演算器により演算した相対距離と想定
目標サイズ、赤外線画像の１画素当りの角度から目標枠
の大きさを演算する目標サイズ演算器とより成り、前記
目標サイズ演算器で演算して得た目標枠を前記目標抽出
装置の背景除去回路と部品統合回路における想定目標枠
として入力するように構成されて飛しょう体に搭載され
ているものである。

【００１４】

【発明の実施の形態】本発明の実施形態を説明する。先
ず、本発明の赤外線画像からの目標抽出のための画像処
理方法を実施するための画像処理装置について説明する
と、この画像処理装置は、図１のブロック図に示すよう
に目標を撮像する赤外線画像撮像装置（赤外線カメラ）
１と、撮像した赤外線画像のノイズをメディアンフィル
タ等により除去する前処理回路２と、温度差（輝度差）
がある一定値以下の隣接する画素同士を合わせて幾つか
の部品に統合する統合処理回路３と、抽出すべき目標を
想定した大きさ・形状の枠よりも大きな部品を排除する
背景除去回路４とより成る。

【００１５】このように構成された画像処理装置５によ
る画像処理方法について説明する。赤外線画像撮像装置
（赤外線カメラ）１により目標（本例では車両）を撮像
すると、その赤外線画像は車両と背景に温度差（輝度
差）があり、材質・加熱条件が類似している部分同士で
は温度差が小さい。そこで本発明の画像処理方法では、
車両を撮像した赤外線画像のノイズを前処理回路２でメ
ディアンフィルタ等により除去した後、図２のａに示す
赤外線画像の各画素を画素毎の温度差（輝度差）に注目
して、温度差（輝度差）がある一定値以下の隣接する画
素同士を合わせて植生や加熱条件が類似した部分を統合
する。即ち、隣接する温度差（輝度差）の小さい画素同
士を同じ領域として統合し、図２のｂに示すように赤外
線画像をからの部分に分割した状態となす。そし
て、統合した領域のうち、抽出すべき目標（本例では車
両）を想定した大きさ・形状の長方形の枠よりも大きな
部分、図２のｂでは背景，，の部分を排除するこ
とにより、図２のｃのように不要な部分を削除して画像
処理を終える。これにより従来の２値化処理で問題とな
った高温な部分背景の誤抽出が排除される。

【００１６】上記画像処理方法により処理した画像から
抽出すべき目標を正確に抽出する本発明の目標抽出方法
を実施するための目標抽出装置について説明すると、こ
の目標抽出装置は、図３のブロック図に示すように図１
のブロック図に示す画像処理装置５と、この画像処理装
置５による画像処理で残った部品から抽出すべき目標の
大きさと形状を想定した枠内に部品が存在する密度の高
いところから部品同士を順次結合し、目標の形状を乱す
部品を排除して目標に最も近い大きさ・形の目標候補を
抽出する部品統合回路６とより成る。

【００１７】このように構成された目標抽出装置７によ
る目標抽出方法について説明する。前述の画像処理装置
５による赤外線画像の画像処理で残った部品から部品統
合回路６により抽出すべき目標（本例では車両）を想定
した大きさ・形状（例えば長方形）の枠内に部品が存在
する密度の高いところから部品同士を順次結合し、図２
のｃに示される枠外の目標の形状を乱すやのような
部品を排除して図４に示すように目標に最も近い大きさ
・形の目標候補を抽出する。部品統合回路６における細
部処理内容を図５のａ，ｂ，ｃによって説明すると、ａ
図は赤外線画像の画像処理で残った背景と目標の組合せ
で、これをｂ図に示すように抽出すべき目標を想定した
大きさの四角形の枠内に部品が存在する密度が高いとこ
ろから部品同士を結合することにより、四角形の枠内よ
りはみ出る背景は面積密度にカウントされず、また面積
密度の小さい背景は四角形の枠内に抽出されない。その
結果ｃ図のように目標と異なる形状を構成する背景を結
合することなく正確に目標を抽出することができる。

【００１８】かくして、従来の２値化処理で問題となっ
た高温な部分背景の誤抽出は、赤外線画像の隣接する画
素との温度差が少ないもの同士を統合する画像処理によ
り排除される。また、温度差により分割した画素を目標
の形状・大きさの枠を基準にしてこの枠内に画素が存在
する密度が高いところから画素を結合することにより、
目標の中で周囲よりも高温な部分も低温な部分も抽出で
き、従来の２値化処理に比べてより正確に目標全体の形
状を抽出することができる。

【００１９】次に本発明の抽出目標を追尾する地上観測
方法について説明する。この地上観測方法を実施するた
めの地上観測装置は、図６に示すように前記目標抽出装
置７と、地上観測位置と目標との相対距離を計測するミ
リ波レーダ等より成る相対距離計測装置８と、この相対
距離計測装置８により計測した相対距離と想定目標サイ
ズ、赤外線画像の１画素当りの角度から目標枠の大きさ
を演算する目標サイズ演算器９とより成り、前記目標サ
イズ演算器９で演算して得た目標枠を前記目標抽出装置
７の背景除去回路４と部品統合回路６における想定目標
枠として入力するように構成したことを特徴とする。

【００２０】このように構成された地上観測装置１０に
より抽出目標を追尾する地上観測方法について説明す
る。相対距離計測装置８により地上観測位置と目標との
相対距離を計測し、この相対距離を目標サイズ演算器９
に入力し、相対距離と想定目標サイズ、赤外線画像の１
画素当りの角度から目標枠の演算する。この目標枠の演
算は次のように行われる。即ち、地上観測装置と目標と
の相対距離をＲＧ、想定目標サイズをＴＷ（幅）、ＴＨ
（高さ）、赤外線画像の１画素当りの角度をΔΘｐ（ピ
ッチ）、ΔΘｙ（ヨー）とすると、目標枠のピクセル数
Ｗｐ（ピッチ）、Ｗｙ（ヨー）は、以下の式で求められ
る。 Ｗｐ＝ｔａｎ^-1（ＴＨ／ＲＧ）／ΔΘｐ Ｗｙ＝ｔａｎ^-1（ＴＷ／ＲＧ）／ΔΘｙ こうして演算した目標枠は、目標枠を目標抽出装置７の
背景除去回路４と部品統合回路６における想定目標枠と
して入力し、背景除去回路４で想定目標枠よりも大きい
部品を排除することにより、不要な部分を削除する画像
処理を行い、この画像処理で残った部品から部品統合回
路６により想定目標枠内に部品が存在する密度の高いと
ころから部品同士を順次結合し、目標を乱す部品を排除
して目標に最も近い大きさ・形の目標を抽出し、この抽
出した目標の赤外線画像の中でのアドレスを追尾する。

【００２１】次に本発明の飛しょう体の誘導方法につい
て説明する。この誘導方法を実施するための誘導装置
は、飛しょう体に搭載され、図７に示すように前記目標
抽出装置７と、目標の３次元位置を計測する目標計測装
置１１と、飛しょう体の３次元位置を演算する慣性位置
演算装置１２と、目標の３次元位置と飛しょう体の３次
元位置とにより目標と飛しょう体の相対距離を演算する
相対距離演算器１３と、この相対距離演算器１３により
演算した相対距離と想定目標サイズ、赤外線画像の１画
素当りの角度から目標枠の大きさを演算する目標サイズ
演算器１４とより成り、前記目標サイズ演算器１４で演
算して得た目標枠を前記目標抽出装置７の背景除去回路
４と部品統合回路６における想定目標枠として入力する
ように構成したことを特徴とする。

【００２２】このように構成された誘導装置１５により
飛しょう体を誘導する方法について説明する。目標計測
装置１１により目標の３次元位置を計測し、また慣性位
置演算装置１２により飛しょう体の３次元位置を演算す
る。こうして計測した目標の３次元位置と演算した飛し
ょう体の３次元位置とを相対距離演算器１３に入力して
目標と飛しょう体の相対距離を演算した後、この相対距
離を目標サイズ演算器１４に入力し、相対距離と想定目
標サイズ、赤外線画像の１画素当りの角度から目標枠を
演算する。この目標枠の演算は次のように行われる。即
ち、飛しょう体と目標との相対距離をＲＭ、想定目標サ
イズをＴＷ（幅）、ＴＨ（高さ）、赤外線画像の１画素
当りの角度をΔΘｐ（ピッチ）、ΔΘｙ（ヨー）とする
と、目標枠のピクセル数Ｗｐ（ピッチ）、Ｗｙ（ヨー）
は、以下の式で求められる。 Ｗｐ＝ｔａｎ^-1（ＴＨ／ＲＭ）／ΔΘｐ Ｗｙ＝ｔａｎ^-1（ＴＷ／ＲＭ）／ΔΘｙ こうして演算した目標枠は、目標枠を目標抽出装置７の
背景除去回路４と部品統合回路６における想定目標枠と
して入力し、背景除去回路４で想定目標枠よりも大きい
部品を排除することにより、不要な部分を削除する画像
処理を行い、この画像処理で残った部品から部品統合回
路６により想定目標枠内に部品が存在する密度の高いと
ころから部品同士を順次結合し、目標を乱す部品を排除
して目標に最も近い大きさ・形の目標を抽出し、この抽
出した目標の赤外線画像の中でのアドレスを追尾し、飛
しょう体を目標に誘導する。

【００２３】

【発明の効果】以上の説明で判るように、本発明の赤外
線画像からの目標抽出のための画像処理方法は、赤外線
画像における温度差が小さい隣接する画素同士を合わせ
て幾つかの部品に統合し、統合した部品のうち抽出すべ
き目標を想定した大きさ・形状の枠よりも大きな部品を
排除することにより、不要な部分を削除するので、従来
の２値化処理で問題となった高温な部分背景の誤抽出が
排除され、目標抽出の向上に寄与できる。また、本発明
の目標抽出方法は、上記画像処理方法による画像処理で
残った部品から抽出すべき目標を想定した大きさ・形状
の枠内に部品が存在する密度の高いところから部品同士
を順次結合し、目標の形状を乱す部分を排除して目標に
最も近い大きさ・形の目標候補を抽出するので、従来の
２値化処理に比べてより正確に目標全体の形状を抽出す
ることができて、後段の形状により目標を識別する目標
識別装置に正確な形状を提供することができ、目標識別
性能が向上する。さらに、本発明の地上観測方法は、目
標と地上観測位置との相対距離を計測して、この相対距
離と想定目標サイズと赤外線画像の１画素当りの角度と
により目標枠の大きさを演算し、この目標枠により前記
目標抽出方法により抽出する目標候補の大きさ・形状を
決定し、この目標候補の赤外線画像の中でのアドレスを
追尾するので、地上での目標観測を小型、低廉な装置で
精度よく行うことができる。さらにまた、本発明の飛し
ょう体の誘導方法は、計測した目標の３次元位置と慣性
位置演算方法により取得した飛しょう体の３次元位置と
により目標と飛しょう体の相対距離を演算し、この相対
距離と想定目標サイズ、赤外線画像の１画素当りの角度
から目標枠を演算し、この目標枠により前記目標抽出方
法により抽出する目標候補の大きさ・形状を決定し、こ
の目標候補の赤外線画像の中でのアドレスを追尾し、飛
しょう体を目標に誘導するので、飛しょう体を小型低廉
な装置で精度よく誘導できる。

【図面の簡単な説明】

【図１】本発明の画像処理方法を実施するための画像処
理装置のブロック図である。

【図２】本発明の画像処理方法の工程の説明図である。

【図３】本発明の目標抽出方法を実施するための目標抽
出装置のブロック図である。

【図４】本発明の目標抽出方法による目標抽出の結果を
示す図である。

【図５】ａ、ｂ、ｃは図３の目標抽出装置の部品統合回
路における細部処理内容の説明図である。

【図６】本発明の地上観測方法を実施するための地上観
測装置のブロック図である。

【図７】本発明の飛しょう体の誘導方法を実施するため
の誘導装置のブロック図である。

【図８】従来の目標抽出のための画像処理の説明図で、
ａは原画像、ｂは処理画像を示す。

【図９】従来の画像処理における誤抽出の説明図で、ａ
は太陽光により背景が部分的に加熱された状況における
原画像、ｂは２値化処理による誤抽出の処理画像を示
す。

【図１０】従来の画像処理において目標全体が抽出でき
ない場合の説明図で、ａは原画像、ｂは２値化処理によ
る抽出目標全体が不明な状態を示す。

【符号の説明】

１ 赤外線画像撮像装置 ２ 前処理回路 ３ 統合処理回路 ４ 背景除去回路 ５ 画像処理装置 ６ 部品統合回路 ７ 目標抽出装置 ８ 相対距離計測装置 ９ 目標サイズ演算器 １０ 地上観測装置 １１ 目標計測装置 １２ 慣性位置演算装置 １３ 相対距離演算器 １４ 目標サイズ演算器 １５ 誘導装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡邊 孝廣 東京都国分寺市光町２−13−19 ルミエ ール光町405 (72)発明者 岡崎 正 岐阜県各務原市川崎町１番地 川崎重工 業株式会社 岐阜工場内 (56)参考文献 特開 平９−101138（ＪＰ，Ａ) 特開2000−36031（ＪＰ，Ａ) 特開 平９−305761（ＪＰ，Ａ) 特開2000−275341（ＪＰ，Ａ) 特開 平２−56096（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01S 3/76 - 3/789 F41G 7/22

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 赤外線画像の各画素を画素毎の温度差に
   注目して温度差がある一定値以下の隣接する画素同士を
   合わせて幾つかの部品に統合し、統合した部品のうち、
   抽出すべき目標を想定した大きさ・形状の枠よりも大き
   な部品を排除することにより、不要な部分を削除するこ
   とを特徴とする赤外線画像からの目標抽出のための画像
   処理方法。
2. 【請求項２】 請求項１記載の画像処理方法による画像
   処理で残った部品から抽出すべき目標を想定した大きさ
   ・形状の枠内に部品が存在する密度が高いところから部
   品同士を順次結合し、目標の形状を乱す部品を排除して
   目標に最も近い大きさ・形の目標候補を抽出することを
   特徴とする目標抽出方法。
3. 【請求項３】 地上観測位置と目標との相対距離を計測
   し、この相対距離と想定目標サイズ、赤外線画像の１画
   素当りの角度から目標枠の大きさを演算し、この目標枠
   により請求項２記載の目標抽出方法により抽出する目標
   候補の大きさ・形状を決定し、この目標候補の赤外線画
   像の中でのアドレスを追尾することを特徴とする抽出目
   標を追尾する地上観測方法。
4. 【請求項４】 地上観測位置から計測した目標の３次元
   位置と慣性位置演算方法により取得した飛しょう体の３
   次元位置とにより目標と飛しょう体の相対距離を演算
   し、この相対距離と想定目標サイズ、赤外線画像の１画
   素当りの角度から目標枠の大きさを演算し、この目標枠
   により請求項２記載の目標抽出方法により抽出する目標
   候補の大きさ・形状を決定し、この目標候補の赤外線画
   像の中でのアドレスを追尾し、飛しょう体を目標に誘導
   することを特徴とする飛しょう体の誘導方法。
5. 【請求項５】 目標を撮像する赤外線画像撮像装置と、
   撮像した赤外線画像のノイズを除去する前処理回路と、
   温度差がある一定値以下の隣接する画素同士を合わせて
   幾つかの部品に統合する統合処理回路と、抽出すべき目
   標を想定した大きさ・形状の枠よりも大きな部品を排除
   する背景除去回路とより成る画像処理装置。
6. 【請求項６】 請求項５記載の画像処理装置と、この画
   像処理装置による画像処理で残った部品から抽出すべき
   目標の大きさと形状を想定した枠内に部品が存在する密
   度が高いところから部品同士を順次結合し、目標の形状
   を乱す部品を排除して目標に最も近い大きさ・形の目標
   候補を抽出する部品統合回路とより成る目標抽出装置。
7. 【請求項７】 請求項６記載の目標抽出装置と、地上観
   測位置と目標との相対距離を計測する相対距離計測装置
   と、この相対距離計測装置により計測した相対距離と想
   定目標サイズ、赤外線画像の１画素当りの角度から目標
   枠の大きさを演算する目標サイズ演算器とより成り、前
   記目標サイズ演算器で演算して得た目標枠を前記目標抽
   出装置の背景除去回路と部品統合回路における想定目標
   枠として入力するように構成したことを特徴とする地上
   観測装置。
8. 【請求項８】 請求項６記載の目標抽出装置と、目標の
   ３次元位置を計測する目標計測装置と、飛しょう体の３
   次元位置を演算する慣性位置演算装置と、目標計測装置
   により計測した目標の３次元位置と慣性位置演算装置に
   より演算した飛しょう体の３次元位置とにより目標と飛
   しょう体の相対距離を演算する相対距離演算器と、この
   相対距離演算器により演算した相対距離と想定目標サイ
   ズ、赤外線画像の１画素当りの角度から目標枠の大きさ
   を演算する目標サイズ演算器とより成り、前記目標サイ
   ズ演算器で演算して得た目標枠を前記目標抽出装置の背
   景除去回路と部品統合回路における想定目標枠として入
   力するように構成されて飛しょう体に搭載されている誘
   導装置。