JPH07318629A - 画像追尾装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 目標の輝度変化によらず、適切なしきい値を
決定でき、目標検出能力を大幅に改善した画像追尾装置
を得る。 【構成】 計測窓読み出し回路１４は計測窓制御データ
１５を受け、画面内で指定された位置の輝度データを読
み出し、背景輝度データ１６として背景輝度抽出回路１
９に供給する。背景輝度抽出回路１９は背景輝度データ
１６をうけ、背景輝度の抽出処理を行い、背景成分の平
均輝度データ２０をマイクロコンピュータ９に、背景成
分の輝度データ２１を輝度標準偏差算出回路１７に供給
する。輝度標準偏差算出回路は背景成分の輝度データ２
１を受け、その標準偏差を算出し輝度標準偏差データ１
８としてマイクロコンピュータ９に供給する。マイクロ
コンピュータ９は背景成分の平均輝度データ２０及び輝
度標準偏差データ１８からしきい値を決定し、しきい値
データ１０として二値化回路に供給する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、飛翔体誘導や火器管
制の画像追尾において、微小な目標の輝度変化によりし
きい値の設定が不安定になることを防止し、追尾目標を
安定に検出できる画像追尾装置に関するものである。

【０００２】

【従来の技術】図１０は、従来の画像追尾装置の一例を
示す図であって、１は外界を撮像する撮像装置、２は撮
像装置１から出力されるデジタルビデオ信号、３は多値
のデジタルビデオ信号を二値画像に変換する二値化回
路、４は目標領域が“１”、背景領域が“０”の二値画
像データ、５は二値画像中の値が“１”の画素からなる
連結閉領域の幾何学的特徴を計測する連結閉領域特徴計
測回路、６は各連結領域毎の特徴量データ、７は各領域
の特徴量データを記録する特徴ベクトルバッファ、８は
各領域の特徴ベクトル、９はマイクロコンピュータ、１
０はしきい値データ、１１は外部機器とのインターフェ
ース回路、１２は追尾誤差データ、１３は入出力インタ
ーフェースである。

【０００３】図において、外界の情景は撮像装置１によ
り撮像され、撮像装置１の走査順にデジタルビデオ信号
２として出力する。デジタルビデオ信号２は通常、走査
の区切りを示す同期信号と各画素の輝度データとからな
る。マイクロコンピュータ９は、あらかじめ設定したし
きい値をしきい値データ１０として、二値化回路３に供
給する。二値化回路３は、デジタルビデオ信号２の輝度
データと、しきい値データ１０とを比較し、輝度がしき
い値より大ならば“１”、そうでなければ“０”とする
画像の二値化を行ない、二値画像データ４として出力す
る。連結閉領域特徴計測回路５は、前記のデジタルビデ
オ信号２の輝度データ及び二値画像データ４をもとに、
二値画像中の各“１”となる画素について隣接画素との
連結を判定し、図１２で各連結閉領域２３ａ，２３ｂ，
２３ｃを，，というように二値画像を連結した
“１”領域毎に番号づけを行なう。そしてデジタルビデ
オ信号２の輝度データ及び二値画像データ４をもとに連
結した“１”領域毎に各種特徴量を計測し、その特徴量
データ６を出力する。特徴量データ６としては、各領域
の面積、重心座標、輝度、外接長方形座標等である。こ
れら計測された特徴量データ６は、各連結閉領域毎に１
つにまとめた構造の特徴ベクトルとして、特徴ベクトル
バッファ７に記録される。ここまでのステップは１フィ
ールド毎に随時行われている。次に、視野中に複数の領
域が存在した場合、どの領域を追尾するかを決定するた
めに、マイクロコンピュータ９は、１フィールド前の画
面内最大輝度と撮像装置ノイズの標準偏差からしきい値
データ１０を決定する。例えば、Ｇｍａｘを輝度の最も
高い領域を選択する為のしきい値の基準となる画面内の
最大輝度、σを最大輝度からの余裕度の基準となる撮像
装置ノイズの標準偏差、αを１０以下の整数とすれば、
しきい値ＴＨは“数１”のように決められる。

【０００４】

【数１】

【０００５】マイクロコンピュータ９は、特徴ベクトル
バッファ７から現在のフィールドにおける各領域の特徴
ベクトル８を読みだし、輝度の最も高い領域を追尾目標
と判定し、追尾動作を開始する。そして追尾動作を開始
した後は、１フィールド前に追尾目標と判定していた領
域の最大輝度と撮像装置ノイズの標準偏差からしきい値
データ１０を決定する。例えば、Ｔｍａｘを追尾を継続
するためのしきい値の基準となる追尾目標の最大輝度、
σを最大輝度からの余裕度の基準となる撮像装置ノイズ
の標準偏差、α実数（１０以下の整数）とすれば、しき
い値ＴＨは、“数２”のように決められる。

【０００６】

【数２】

【０００７】マイクロコンピュータ９は１フィールド前
に追尾目標と判定していた領域の特徴ベクトルと、現在
のフィールドにおける各領域の特徴ベクトルとの比較を
行ない、一番近い特徴ベクトルを持つ領域を選択し、そ
の領域の重心座標を、追尾誤差データ１２として、イン
ターフェース回路１１を通じ、外部機器に転送する。

【０００８】

【発明が解決しようとする課題】従来の装置において
は、追尾目標と判定していた領域の最大輝度を計測し、
その最大輝度からある一定の値を引いた値をしきい値と
して決めていた。目標の最大輝度は目標面積がある程度
大きい場合には安定しているが、目標が撮像装置の検出
限界に近い微小な場合には撮像装置の検出素子の開口率
に起因して輝度が大きく変化する場合がある。従って、
図１１に示すように追尾目標の最大輝度が１フィールド
前と比較してある一定の値以上に下がった場合はしきい
値が目標の最大輝度を越えてしまい、目標部を“１”領
域として安定に検出できないという問題点があった。

【０００９】この発明は、上記の問題点を解決するため
になされたもので、撮像装置からのデジタルビデオ信号
の画面中に計測窓を設定し、目標面積が小さい場合には
目標周辺の輝度を計測して二値化のしきい値を決定する
ことにより、目標の輝度変化によらず安定して目標領域
を検出することを目的とする。

【００１０】

【課題を解決するための手段】この発明に係わる画像追
尾装置は、撮像装置からの輝度データを計測する計測窓
を、上記演算器に有し、上記メモリに記憶された面積デ
ータと重心座標とを用いて、上記計測窓の位置を設定す
る計測窓設定手段と、上記計測窓で得られる輝度データ
を読み出すための読み出し回路と、上記読み出し回路の
輝度データを用いて標準偏差を求める輝度標準偏差算出
回路と、上記演算器に有し、上記読み出し回路と上記輝
度標準偏差算出回路の出力とを用いて上記しきい値を演
算し、上記二値化回路へしきい値を設定するしきい値設
定手段を設けたものである。

【００１１】また、上記読み出し回路の背景輝度を含む
目標輝度データから背景輝度を抽出し、かつ抽出された
背景輝度の平均輝度データを求める背景輝度抽出回路
と、上記背景輝度抽出回路の背景輝度を用いて背景輝度
の標準偏差を求める輝度標準偏差算出回路と、上記演算
器に有し、上記背景輝度抽出回路と上記輝度標準偏差算
出回路の出力とを用いて上記しきい値を演算し、上記二
値化回路へしきい値を設定するしきい値設定手段を設け
たものである。

【００１２】また、上記背景輝度抽出回路の平均輝度デ
ータから輝度変化率を求める輝度変化率算出回路と、上
記背景輝度抽出回路の背景輝度を用いて背景輝度の標準
偏差を求める輝度標準偏差算出回路と、上記演算器に有
し、上記輝度変化率が所定の範囲以内のときに、上記背
景輝度抽出回路と上記輝度標準偏差算出回路の出力とを
用いて上記しきい値を演算し、上記二値化回路へしきい
値を設定するしきい値設定手段を設けたものである。

【００１３】また、上記計測窓を構成する画素数を、上
記目標の面積に応じて可変させたものである。

【００１４】

【作用】上記のように構成された画像追尾装置において
は、撮像装置からの輝度データを計測する計測窓の位置
を、上記メモリに記憶された面積データと重心座標とを
用いて設定し、上記計測窓で得られる輝度データを上記
読み出し回路により読み出す。上記読み出された輝度デ
ータを用いて上記輝度標準偏差算出回路で標準偏差を求
め、上記読み出し回路と輝度標準偏差算出回路の出力を
用いてしきい値を演算し、上記二値化回路へしきい値を
設定する。

【００１５】また、上記読み出し回路で出力される背景
輝度を含む目標輝度データから背景輝度を抽出し、かつ
抽出された背景輝度の平均輝度データを上記背景輝度抽
出回路で求める。上記背景輝度抽出路の背景輝度を用い
て上記輝度標準偏差算出回路で標準偏差を求め、上記背
景輝度抽出回路と輝度標準偏差算出回路の出力を用いて
しきい値を演算し、上記二値化回路へしきい値を設定す
る。

【００１６】また、上記背景輝度抽出回路の平均輝度デ
ータから輝度変化率を上記輝度変化率算出回路で求め
る。上記背景輝度抽出回路の背景輝度を用いて上記輝度
標準偏差算出回路で標準偏差を求め、上記輝度変化率が
所定の範囲内のときに、上記背景輝度抽出回路と上記輝
度標準偏差算出回路の出力を用いてしきい値を演算し、
上記二値化回路へしきい値を設定する。

【００１７】また、上記計測窓を構成する画素数を、上
記目標の面積に応じて可変させる。

【００１８】

【実施例】

実施例１．図１は、この発明の１実施例の構成を示すも
のであって、１４はデジタルビデオ信号２の１画面中に
計測窓Ｗを設定し、計測窓内の輝度データを計測する計
測窓読み出し回路、１５は計測窓制御データ、１６は計
測した背景輝度データ、１７は背景輝度データの標準偏
差を算出する輝度標準偏差算出回路、１８は算出した輝
度標準偏差データである。図において、１〜１３は、図
１０に於けるものと同等である。

【００１９】図の構成において、マイクロコンピュータ
９は追尾動作を開始した後、１フィールド前に追尾目標
と判定していた領域の重心位置を基準に図２に示すよう
な計測窓を設定する計測窓制御データ１５を計測窓読み
出し回路１４に供給し、撮像装置から出力される画像デ
ータ構成画素内の一部に計測窓Ｗを設定する。図２に示
すＬは、目標重心から配置する計測窓Ｗまでの距離であ
り、目標が小さい場合には距離を小さく、目標が大きい
場合には距離を大きくし、目標領域を計測することな
く、かつ目標領域近くに配置する。例えば、Ｓを１フィ
ールド前の追尾目標の面積、αを定数（１０以下の整
数）とすると、目標重心から配置する計測窓Ｗまでの距
離Ｌは“数３”のように決めればよい。“数３”は１例
であり、追尾目標の面積のかわりに、目標領域の外接長
方形座標データを用いてもよいことはもちろんである。

【００２０】

【数３】

【００２１】計測窓読み出し回路１４は、計測窓制御デ
ータ１５をうけ、画面内で指定された位置（計測窓構成
画素）の輝度データを読み出し、背景輝度データ１６と
してマイクロコンピュータ９及び輝度標準偏差算出回路
１７に供給する。輝度標準偏差算出回路は背景輝度デー
タ１６をうけ、その標準偏差を算出し、輝度標準偏差デ
ータ１８としてマイクロコンピュータ９に供給する。マ
イクロコンピュータ９は背景輝度データ１６及び輝度標
準偏差データ１８からしきい値を決定し、しきい値デー
タ１０として二値化回路３に供給する。例えば、Ｗ
（ｉ）を計測窓構成画素（ｉ＝１．．Ｎ）の輝度デー
タ、σを計算窓構成画素（ｉ＝１．．Ｎ）の標準偏差、
αを定数（１０以下の整数）とすれば、しきい値ＴＨは
“数４”のように決められる。

【００２２】

【数４】

【００２３】そして二値化回路３以降の動作は、従来の
装置と同様である。

【００２４】このように上述の構成によれば、目標周辺
の背景の輝度及び標準偏差を基準にしきい値が算出で
き、図３に示すように追尾目標の最大輝度が１フィール
ド前と比較してある一定の値以上に下がった場合でも、
目標部を“１”領域として安定に検出することができ
る。

【００２５】ところで、上記実施例では目標が十分遠方
にある場合のように目標の縦横比が１対１に近い場合は
目標領域全てが計測窓構成画素の内側に存在するので、
安定して目標領域を検出するしきい値を設定することが
できるが、目標が近接した場合のように目標の縦横比が
大きい場合には、図４に示すように目標領域の一部が計
測窓構成画素にかかることによってしきい値ＴＨが高め
に定まってしまい、目標部を“１”領域として検出でき
ず、上述の構成では応用が困難となる。

【００２６】実施例２．図５は、上記問題点を解決する
ための、この発明の実施例２の構成を示すものであっ
て、１９は背景輝度抽出回路、２０は背景成分の平均輝
度データ、２１は背景成分の輝度データである。図５に
おいて、１〜１８は、図１に示したものと同等である。

【００２７】図の構成において、背景輝度抽出回路１９
は計測窓読み出し回路１４からの背景輝度データ１６を
うけ、背景輝度の抽出処理を行なう。目標領域の一部が
計測窓構成画素にかかった場合、その輝度分布は図６に
示すように背景輝度の分布及び目標輝度の分布が合成さ
れた形となる。背景輝度抽出回路１９は図７に示すよう
に、その合成された輝度分布から背景成分を抽出する為
に輝度の低い方から極大値を捜索し、その値を背景成分
の平均輝度データ２０としてマイクロコンピュータ９に
供給する。そして極大値から輝度の高い側の分布は、極
大値から輝度の低い側の分布と対称であるとみなし、そ
れを背景成分の輝度データ２１として輝度標準偏差算出
回路１７に供給する。輝度標準偏差算出回路は背景成分
の輝度データ２１をうけ、その標準偏差を算出し、輝度
標準偏差データ１８としてマイクロコンピュータ９に供
給する。マイクロコンピュータ９は背景成分の平均輝度
データ２０及び輝度標準偏差データ１８からしきい値を
決定し、しきい値データ１０として二値化回路３に供給
する。しきい値ＴＨは、Ｔｂｇを背景成分の平均輝度、
σを標準偏差、αを定数（１０以下の整数）とすれば、
例えば“数５”のように決められる。

【００２８】

【数５】

【００２９】そして二値化回路３以降の動作は、従来の
装置と同様である。

【００３０】このように上述の構成によれば、目標の縦
横比が大きい場合のように目標領域の一部が計測窓構成
画素にかかった場合でも、その構成画素をのぞいてしき
い値を算出することができ、目標部を“１”領域として
安定に検出することができる。

【００３１】ところで、上記実施例では目標周辺の背景
輝度が安定している場合には適切なしきい値を設定する
ことができるが、例えば背景が雲から空へ変わる瞬間の
様に背景輝度が大幅に変化する場合には図８に示すよう
にしきい値ＴＨが高めに定まってしまい、目標部を
“１”領域として検出できず、上述の構成では応用が困
難となる。

【００３２】実施例３．図９は、上記問題点を解決する
ための、この発明の実施例３の構成を示すものであっ
て、２２は輝度変化率算出回路、２３は輝度変化率デー
タである。図９において、１〜２１は、図５に示すもの
と同等である。

【００３３】図の構成において、輝度変化率算出回路２
２は背景輝度抽出回路１９からの背景輝度平均値２０を
うけ、背景輝度変化率２３を算出する。変化率を算出す
る期間をＮフィールドとすると、Ｎフィールド分の背景
輝度データを記憶しておき、その変化率を求める。ｉフ
ィールド目（ｉ＝１．．Ｎ）の背景輝度をＬ（ｉ）とす
ると背景輝度変化率をＬｔは“数６”により求められ
る。

【００３４】

【数６】

【００３５】マイクロコンピュータ９は、背景輝度変化
率２３とあらかじめ設定した判定基準値を比較し、判定
基準値を越えた場合には背景輝度平均値２０及び輝度標
準偏差データ１８を無効と見なし、背景輝度変化率２３
が判定基準値以内になるまで待つ。そして判定基準値以
内になった時の背景輝度平均値２０及び輝度標準偏差１
８を基準にしきい値を算出する。

【００３６】このように上述の構成によれば、背景輝度
が変化する場合でもその変化率が算出でき、背景輝度の
安定するのを待つことによって、目標部を“１”領域と
して安定に検出することができる。

【００３７】実施例４．上記実施例１から３では、目標
の重心座標から配置する計測窓までの距離Ｌの変化にか
かわらず、常に計測窓を構成する画素数が一定の場合に
ついて説明したが、上記Ｌが大きくなるに従い、計測窓
を構成する画素数を増やすことも可能である。

【００３８】このように、計測窓を構成する画素数を増
やすことにより、増やした画素数分多くの輝度データを
読み取ることができるので、輝度データを用いて算出さ
れる標準偏差及びその標準偏差を用いて算出されるしき
い値を精度よく算出できる。

【００３９】

【発明の効果】以上のように、この発明によれば、計測
窓読み出し回路、輝度標準偏差算出回路により、目標輝
度の変化によらず、適切なしきい値を決定することがで
き、目標部を“１”領域として安定に検出することがで
きる。

【００４０】また、計測窓読み出し回路、背景輝度抽出
回路、輝度標準偏差算出回路により、目標領域の一部が
計測窓にかかった場合でも、背景成分を抽出してしきい
値を決定することができ、目標部を“１”領域として安
定に検出することができる。

【００４１】また、計測窓読み出し回路、背景輝度抽出
回路、輝度変化算出回路、輝度標準偏差算出回路によ
り、背景輝度が不安定な場合には背景輝度が安定するま
で待ってからしきい値を決定することができ、目標部を
“１”領域として安定に検出することができる。

【００４２】また、目標の重心座標から配置する計測窓
までの距離Ｌが大きくなるに従い、計測窓を構成する画
素数を増やすことにより、増やした画素数分多くの輝度
データを読み取ることができるので、輝度データを用い
て算出される標準偏差及びその標準偏差を用いて算出さ
れるしきい値を精度よく算出できる。

【図面の簡単な説明】

【図１】この発明の実施例１を示す全体構成図である。

【図２】この発明の計測窓の配置を示す図である。

【図３】この発明の画像追尾装置によるしきい値と、目
標輝度との関係を示す図である。

【図４】この発明の計測窓の配置と、縦横比が大きい目
標との関係を示す図である。

【図５】この発明の実施例２を示す全体構成図である。

【図６】この発明の画像追尾装置による背景輝度の分布
と、目標輝度の分布との関係を示す図である。

【図７】この発明の画像追尾装置による抽出した背景輝
度分布とその平均値の関係を示す図である。

【図８】背景輝度が変化した時のしきい値と、目標輝度
との関係を示す図である。

【図９】この発明の実施例３を示す全体構成図である。

【図１０】従来の画像追尾装置の１例を示す全体構成図
である。

【図１１】従来の画像追尾装置によるしきい値と、目標
輝度との関係を示す図である。

【図１２】従来の連結閉領域特徴計測回路の動作説明図
である。

【符号の説明】

１ 撮像装置 ３ 二値化回路 ５ 連結閉領域特徴計測回路 ７ 特徴量ベクトルバッファ ９ マイクロコンピュータ １１ インターフェース回路 １３ 入出力インターフェース １４ 計測窓読み出し回路 １７ 輝度標準偏差算出回路 １９ 背景輝度抽出回路 ２２ 輝度変化率算出回路 ２３ 連結閉領域

Claims (4)

【特許請求の範囲】
1. 【請求項１】 目標を撮像する撮像装置と、上記撮像装
   置から出力されるデジタルビデオ信号をあらかじめ設定
   されたしきい値と比較して二値画像に変換する二値化回
   路と、上記撮像装置と二値化回路の出力を受けて目標に
   対応した領域を作成し、その領域毎に面積、重心座標お
   よび輝度などの特徴量を計測する特徴量計測回路と、上
   記特徴量計測回路の出力データを記憶するメモリと、上
   記メモリからのデータに基づいて上記二値化回路のしき
   い値を演算する演算器とを備えた画像追尾装置におい
   て、上記撮像装置からの輝度データを計測する計測窓
   を、上記演算器に有し、上記メモリに記憶された面積デ
   ータと重心座標とを用いて、上記計測窓の位置を設定す
   る計測窓設定手段と、上記計測窓で得られる輝度データ
   を読み出すための読み出し回路と、上記読み出し回路の
   輝度データを用いて標準偏差を求める輝度標準偏差算出
   回路と、上記演算器に有し、上記読み出し回路と上記輝
   度標準偏差算出回路の出力とを用いて上記しきい値を演
   算し、上記二値化回路へしきい値を設定するしきい値設
   定手段とを具備したことを特徴とする画像追尾装置。
2. 【請求項２】 目標を撮像する撮像装置と、上記撮像装
   置から出力されるデジタルビデオ信号をあらかじめ設定
   されたしきい値と比較して二値画像に変換する二値化回
   路と、上記撮像装置と二値化回路の出力を受けて目標に
   対応した領域を作成し、その領域毎に面積、重心座標お
   よび輝度などの特徴量を計測する特徴量計測回路と、上
   記特徴量計測回路の出力データを記憶するメモリと、上
   記メモリからのデータに基づいて上記二値化回路のしき
   い値を演算する演算器とを備えた画像追尾装置におい
   て、上記撮像装置からの輝度データを計測する計測窓
   を、上記演算器に有し、上記メモリに記憶された面積デ
   ータと重心座標とを用いて、上記計測窓の位置を設定す
   る計測窓設定手段と、上記計測窓で得られる輝度データ
   を読み出すための読み出し回路と、上記読み出し回路の
   背景輝度を含む目標輝度データから背景輝度を抽出し、
   かつ抽出された背景輝度の平均輝度データを求める背景
   輝度抽出回路と、上記背景輝度抽出回路の背景輝度を用
   いて背景輝度の標準偏差を求める輝度標準偏差算出回路
   と、上記演算器に有し、上記背景輝度抽出回路と上記輝
   度標準偏差算出回路の出力とを用いて上記しきい値を演
   算し、上記二値化回路へしきい値を設定するしきい値設
   定手段とを具備したことを特徴とする画像追尾装置。
3. 【請求項３】 目標を撮像する撮像装置と、上記撮像装
   置から出力されるデジタルビデオ信号をあらかじめ設定
   されたしきい値と比較して二値画像に変換する二値化回
   路と、上記撮像装置と二値化回路の出力を受けて目標に
   対応した領域を作成し、その領域毎に面積、重心座標お
   よび輝度などの特徴量を計測する特徴量計測回路と、上
   記特徴量計測回路の出力データを記憶するメモリと、上
   記メモリからのデータに基づいて上記二値化回路のしき
   い値を演算する演算器とを備えた画像追尾装置におい
   て、上記撮像装置からの輝度データを計測する計測窓
   を、上記演算器に有し、上記メモリに記憶された面積デ
   ータと重心座標とを用いて、上記計測窓の位置を設定す
   る計測窓設定手段と、上記計測窓で得られる輝度データ
   を読み出すための読み出し回路と、上記読み出し回路の
   背景輝度を含む目標輝度データから背景輝度を抽出し、
   かつ抽出された背景輝度の平均輝度データを求める背景
   輝度抽出回路と、上記背景輝度抽出回路の平均輝度デー
   タから輝度変化率を求める輝度変化率算出回路と、上記
   背景輝度抽出回路の背景輝度を用いて背景輝度の標準偏
   差を求める輝度標準偏差算出回路と、上記演算器に有
   し、上記輝度変化率が所定の範囲以内のときに、上記背
   景輝度抽出回路と上記輝度標準偏差算出回路の出力とを
   用いて上記しきい値を演算し、上記二値化回路へしきい
   値を設定するしきい値設定手段とを具備したことを特徴
   とする画像追尾装置。
4. 【請求項４】 上記計測窓を構成する画素数を、上記目
   標の面積に応じて可変させることを特徴とする請求項
   １，２又は３記載の画像追尾装置。