JPH05303624A

JPH05303624A - 画像追尾装置

Info

Publication number: JPH05303624A
Application number: JP4020959A
Authority: JP
Inventors: Kazutoshi Togano; 一利戸叶; Hisao Nanba; 久男難波; Hiroyuki Fujiwara; 宏之藤原; Hidekazu Nishiuchi; 秀和西内; Yoshio Matsuura; 義雄松浦
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-02-06
Filing date: 1992-02-06
Publication date: 1993-11-16

Abstract

(57)【要約】【目的】追尾点を画面上の目標に追尾させる画像追尾装
置に関し、追尾処理を行うゲートサイズが、適応的に更
新されるようにすることを目的とする。【構成】画像取得手段１によって視野内の画像を取得
し、追尾点算出手段２によって、画像中における追尾点
を算出し、追尾誤差算出手段３によって、追尾点と画像
取得手段１の視軸との追尾誤差を算出し、指向手段４に
よって、追尾誤差に応じて画像取得手段１を転向させる
画像追尾装置において、追尾点算出手段２が、追尾ゲー
トサイズ更新手段５によって、画像内における目標の変
化に対応して追尾ゲートのサイズを更新し、目標輝度レ
ベル更新手段６によって、画像内における目標の変化に
対応して追尾ゲート内の目標輝度レベルを更新し、レベ
ル相関算出手段７によって、目標輝度レベルと画像輝度
レベルとの最大相関によって追尾点を算出することで構
成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画面上の追尾点を画像
中に設定した目標に追尾させるように、画像取得装置を
転向させる画像追尾装置に関し、特に目標を追尾する処
理を行う追尾ゲートのサイズが、目標の変化に適応して
更新される画像追尾装置に関するものである。

【０００２】画像追尾装置は、移動する目標がモニタ画
面上において、常に所定の追尾点（通常は視野の中心）
にあるように、撮像装置等の画像取得装置を転向させる
指向装置を制御することによって、目標を画面上におい
て追尾するものである。

【０００３】近年における赤外線センサ等の画像取得デ
バイスの性能向上と、マイクロプロセッサを用いた画像
処理技術および制御技術の進歩に基づいて、高精度，高
安定度の目標追尾性能を有する画像追尾装置が開発され
ている。

【０００４】このような画像追尾装置においては、目標
の移動によって画面内における目標の形状や輝度レベル
が変化した場合には、目標を追尾するゲートのサイズを
アダプティブに変化させることによって、追尾性能をよ
り向上させ得ることが要望される。

【０００５】

【従来の技術】従来、画像追尾装置において、画像中に
最初に設定した目標が、その後その移動に伴って画像上
の位置が変化した場合、その位置を割り出すための追尾
方式としては、画面上において輝度がピークとなる点を
目標として追尾するピーク点追尾方式と、画面上に設定
された高輝度部分からなる目標図形の面積重心を算出し
て追尾する面積重心追尾方式と、画面上に設定された目
標とその後の画像との相関を求めて、相関最大の位置に
従って追尾する相関追尾方式とが知られている。

【０００６】また、相関追尾方式には、画像中に最初に
設定したレファレンス画像と、その後の画像とのマッチ
ングを行って、相関最大となる位置に従って追尾するレ
ファレンス相関追尾方式と、画面上に設定した捕捉ゲー
ト内の画像の輝度の平均レベルと、その後の画像の輝度
レベルとの相関最大となる位置に従って追尾するレベル
相関追尾方式とがある。本発明は、これらのうち、レベ
ル相関追尾方式の改良に関するものである。

【０００７】

【発明が解決しようとする課題】面積重心追尾方式にお
いては、目標の形状は二値画像によって明確に抽出され
ているので、目標と同じサイズのゲートを算出すること
は容易である。しかしながら、相関追尾方式において
は、目標と背景との分離が二値画像のように明確でない
ため、目標の変化に対応して目標サイズを定め、目標レ
ファレンスを更新することは、困難である。

【０００８】さらにレベル相関追尾方式においては、目
標輝度レベルと画像輝度レベルとの相関をとるべき処理
領域である追尾ゲートの大きさが一定であると、画像内
の目標の形状や輝度レベルが変化した場合に、正しく相
関を求めることができないという問題がある。

【０００９】本発明は、このような従来技術の課題を解
決しようとするものであって、画像中における目標をレ
ベル相関に応じて追尾する際に、目標の形状の変化や輝
度レベルの変化に対応して、追尾ゲートサイズをアダプ
ティブに変化させることによって、画像中における目標
追尾を行う際の追尾性能を向上させることができる画像
追尾装置を提供することを目的としている。

【００１０】

【課題を解決するための手段】図１は、本発明の原理的
構成を示したものである。本発明は、視野内の画像を取
得する画像取得手段１と、画像中における追尾点を算出
する追尾点算出手段２と、追尾点と画像取得手段１の視
軸との誤差（追尾誤差）を算出する追尾誤差算出手段３
と、追尾誤差に応じて画像取得手段１を転向させる指向
手段４とを有する画像追尾装置において、追尾点算出手
段２が、画像内における目標の変化に対応して追尾ゲー
トのサイズを更新する追尾ゲートサイズ更新手段５と、
画像内における目標の変化に対応して目標輝度レベルを
更新する目標輝度レベル更新手段６と、目標輝度レベル
と画像輝度レベルとの最大相関によって追尾点を算出す
るレベル相関算出手段７とを備えたものである。

【００１１】また本発明は、追尾ゲートサイズ更新手段
５が、追尾ゲートの各辺ごとに外側と内側の一定領域内
における追尾用画像の輝度レベルと目標輝度レベルとの
差の絶対値を求める差絶対値算出部４３と、この差の絶
対値に応じてゲート領域の拡大または縮小または固定の
更新判定を行う領域更新判定部４４と、同一処理サイク
ル内に拡大と縮小の両判定が行われたとき固定の更新判
定を行う更新振動回避部４５とを備えたものである。

【００１２】また本発明は、目標輝度レベル更新手段６
が、追尾ゲート内の所定領域における輝度平均値を求め
る輝度平均値算出部４１と、求められた輝度平均値によ
って目標輝度レベルを決定する目標輝度レベル算出部４
２とからなるものである。

【００１３】さらに本発明は、輝度平均値算出部４１
が、追尾ゲートの内部における内部ゲートと、追尾ゲー
トの外部における外部ゲートとにおけるそれぞれの輝度
平均値と、内部ゲートおよび外部ゲート内の輝度ヒスト
グラムにおける最大ブロックのそれぞれの輝度平均値と
を算出し、目標輝度レベル算出部４２が、これらの各輝
度平均値から選択して目標輝度レベルを決定するもので
ある。

【００１４】

【作用】画像追尾装置は、撮像装置等の画像取得手段１
によって取得した視野内の画像中において、追尾点算出
手段２によって追尾点を算出し、追尾誤差算出手段３に
よって、追尾点と画像取得手段１の視軸との追尾誤差を
算出して、指向手段４によって、追尾誤差に応じて画像
取得手段１を転向させることによって、画像中における
目標を追尾する。

【００１５】この場合、追尾点算出手段２は、追尾ゲー
トサイズ更新手段５によって、画像内における目標の変
化に対応して更新された、処理領域を定める追尾ゲート
内において、目標輝度レベル更新手段６によって、処理
サイクルごとにこの追尾ゲート内の平均レベルである目
標輝度レベルを更新しながら、レベル相関算出手段７に
よって、この目標輝度レベルと画像輝度レベルとの相関
が最大になる位置を算出して、これを追尾点として出力
する。

【００１６】処理開始時、処理領域（追尾ゲート）内の
目標輝度レベルを初期設定する。初期目標輝度レベル
は、入力画像に対して初期捕捉画像を設定して、これに
対して目標輝度レベルの自動更新と同様の手法によって
設定する。初期捕捉画像のゲートサイズは、マニュアル
設定によって定める。

【００１７】次に追尾段階で、フレームごとに、追尾用
画像と目標輝度レベルとのレベル相関を求めて、相関最
大の位置を追尾点とする。そして求められた追尾点に追
尾ゲートの中心を合わせ、目標の形状の変化に応じて、
ゲートサイズの拡大，縮小，固定のいずれかの処理を行
って、追尾ゲートサイズを更新する。

【００１８】図２は、追尾ゲートサイズの更新方法を説
明するものであって、（ａ）は相関値の算出方法を示
し、（ｂ）は追尾ゲートサイズの拡大，縮小，固定の判
定方法を示すグラフである。

【００１９】図２（ａ）において、１１で示す太線の枠
は、アダプティブゲートすなわち目標を追尾するゲート
のサイズを示し、１２で示す点線の枠は、この追尾ゲー
トサイズを拡大または縮小する際の、相関計算範囲を示
している。

【００２０】まず、アダプティブゲートサイズの左
辺に対して、外側（Ａで示す）または内側（Ｂで示す）
に、斜線を施して示す１画素またはそれ以上の範囲につ
いて、画像の輝度レベルと目標輝度レベルとのレベル相
関値を求めると、Ａについては、ＤＥＶ（LEFT,OUT) ＝Σ｜Ｐ（LEFT,OUT) −ＴＬ｜／ＮＢについては、ＤＥＶ（LEFT,IN) ＝Σ｜Ｐ（LEFT,IN)−ＴＬ｜／ＮただしＤＥＶ（ ) ：輝度レベル相関値ＴＬ：目標輝度レベルＰ（ｉ，ｊ）：追尾用画像の輝度レベルＮ：各斜線部分の画素数

【００２１】次に、に示す演算で求められた相関
値に対して、（ｂ）で示すグラフに当てはめることによ
って、アダプティブゲートサイズを拡大するか、または
縮小するかを決定する。図２（ｂ）において、ＯＵＴＣ
Ｒ１，２およびＩＮＣＲ１，２は、任意の定数（可変）
を示し、外側ゲート内ＤＥＶ，内側ゲート内ＤＥＶがそ
れぞれＯＵＴＣＲ１，ＩＮＣＲ１より小さいときは、ア
ダプティブゲートサイズを拡大し、外側ゲート内ＤＥ
Ｖ，内側ゲート内ＤＥＶがそれぞれＯＵＴＣＲ２，ＩＮ
ＣＲ２より大きいときは、アダプティブゲートサイズを
縮小し、外側ゲート内ＤＥＶ，内側ゲート内ＤＥＶが中
間の値をとるときは、アダプティブゲートサイズを固定
とする。

【００２２】の段階でアダプティブゲートサイズ
を拡大した場合は、さらに１ステップ分（１画素または
それ以上）外側に対して、，の処理を繰り返して行
うが、アダプティブゲートサイズを縮小すべき結果とな
ったときは、その段階でゲートサイズを固定する。ま
た、の段階でアダプティブゲートサイズを縮小した場
合は、同様に１ステップ分（１画素またはそれ以上）内
側に対して、，の処理を繰り返して行うが、アダプ
ティブゲートサイズを拡大すべき結果となったときは、
その段階でゲートサイズを固定する。

【００２３】〜の処理を上下左右の各辺に対し
て４通り行い、それぞれの辺の拡大，縮小の範囲を求め
て、新しいゲートサイズを決定する。このようにして、
目標の形状の変化に合わせて、追尾ゲートサイズの更新
を行うことが可能となる。

【００２４】次に、新しい追尾ゲートに対して、目標輝
度レベルの更新を行う。目標輝度レベルの更新は、数フ
レームまたは数十フレームごとに、目標の変化の度合い
に合わせて任意に設定する必要がある。

【００２５】図３は、目標輝度レベル値の設定および更
新の手法を説明するものであって、レベル相関に応じて
アダプティブに目標輝度レベルを定める方法を示してい
る。図中、（ａ）は外部ゲートと内部ゲートの設定を示
し、（ｂ）はゲート内輝度のヒストグラムによる目標輝
度レベル値の決定を示している。

【００２６】初期捕捉時の追尾ゲートまたは追尾処
理時の追尾ゲート（アダプティブゲート）に対して、斜
線を施して示す内部ゲート１５と外部ゲート１６とを任
意に設定する。例えば、水平辺に対して内部ゲート：ＩＬ＝Ｌ×３０％外部ゲート：ＯＬ＝Ｌ×１０％ただしＬ：水平辺長また、垂直辺に対して、内部ゲート：ＩＭ＝Ｍ×３０％外部ゲート：ＯＭ＝Ｍ×１０％ただしＭ：垂直辺長

【００２７】次に目標輝度レベル（ＴＬ）を、次の
４方法のいずれかによって求める。 (1) 内部ゲート内輝度平均値 (2) 外部ゲート内輝度平均値 (3) 内部ゲート内ヒストグラム（ブロック平均値） (4) 外部ゲート内ヒストグラム（ブロック平均値）

【００２８】図３（ｂ）においては、ゲート内の輝度レ
ベルと画素数とについて求められたヒストグラムが示さ
れている。このヒストグラムを、任意の閾値によってブ
ロックに分け、最大のブロックを決定して、そのブロッ
ク内の輝度平均値を目標輝度レベル（ＴＬ）とする。

【００２９】このように、目標の形状の変化に合わせて
ゲートサイズを更新された追尾ゲートに対して、レベル
相関をとる場合のレファレンスとなる、目標輝度レベル
の更新を行うことができる。

【００３０】

【実施例】図４は、本発明の一実施例を示したものであ
って、画像追尾処理装置の全体の構成を示している。図
４において、２１は撮像装置等の画像取得装置、２２は
画像取得装置のモニタ、２３は画像取得装置２１の画像
信号をディジタル信号からなる画像データに変換するア
ナログディジタル（Ａ／Ｄ）変換器、２４は画像中に初
期目標をマニュアルによって捕捉する初期目標捕捉部、
２５は追尾ゲート内の目標輝度レベルを更新する目標輝
度レベル更新部である。

【００３１】２６は追尾処理を行うべき画像を抽出する
追尾処理画像抽出部、２７は追尾用画像と目標輝度レベ
ルとの差の絶対値を求める差絶対値算出部、２８は追尾
用画像と追尾ゲートとの最大相関点を検索して追尾点を
決定する最大相関点検索部、２９は前回最大相関点が検
索された方向を保持する前回方向保持部、３０は決定さ
れた追尾点に応じて画像内に追尾処理を行うべき新領域
を抽出する新領域抽出部である。

【００３２】３１は追尾ゲートサイズを更新する追尾ゲ
ートサイズ更新部、３２は決定された追尾点から追尾誤
差角を求める追尾誤差算出部、３３は追尾誤差角とレー
ト・ジャイロ信号に応じて転向用駆動信号を発生するジ
ンバル制御器、３４はジンバル制御器３３からの駆動信
号に応じて画像取得装置２１を転向する２軸ジンバル、
３５はジンバル制御器３３にマニュアルで駆動レート信
号を入力するためるジョイスティックである。

【００３３】画像取得装置２１からのアナログ画像信号
は、モニタ２２において画像表示されるとともに、Ａ／
Ｄ変換器２３を経てディジタル信号に変換されて、追尾
の処理が行われる。

【００３４】追尾開始時に、オペレータは初期目標捕捉
部２４において、操作入力によって、画像上における追
尾したい目標の大きさに合わせて捕捉ゲートを設定す
る。この捕捉ゲートで抽出された画像データを基に、目
標輝度レベル更新部２５において目標輝度レベルの設定
が行われる。目標輝度レベルの設定は、輝度平均値算出
部４１において前述の(1) 〜(4) の方法で平均値を算出
し、これに基づいて目標輝度レベル算出部４２でいずれ
かの平均値を選択入力に応じて選択して、目標輝度レベ
ルを決定することによって行われる。

【００３５】一方、追尾処理画像抽出部２６では、追尾
ゲートサイズ更新部３１で決定された追尾ゲートサイズ
に応じて、追尾処理を行うべき画像を抽出し、差絶対値
算出部２７は追尾用画像と目標輝度レベル更新部２５で
決定された目標輝度レベルとの差の絶対値を求める。最
大相関点検索部２８は、差絶対値算出部２７で求められ
た差の絶対値から、追尾用画像と目標輝度レベルとの相
関が最大になる点を検索して、追尾点を決定する。

【００３６】この際、追尾処理用画像の全体に対してレ
ベル相関値を算出するためにサーチする方法よりも、初
期捕捉時の目標位置をスタート点として、レベル相関値
が高くなる方向に進んでレベル相関値を算出する方法の
方が、処理画素数が少なくなる。前回処理時の目標位置
に対しても同様であり、前回方向保持部２９は、このた
めに、前回処理時の処理方向を保持する。このようにす
ることによって、専用のハードウェア等を使用せず、汎
用のＣＰＵ等を用いてソフトウェアによって処理する場
合、処理時間を短くすることができる。

【００３７】相関値から追尾点が決定されたとき、新領
域抽出部３０は、追尾点を中心としてそれまでに決定さ
れた追尾ゲートサイズを当てはめて、追尾処理を行うべ
き新領域を抽出する。追尾ゲートサイズ更新部３１は、
この新領域に対して目標輝度レベルを適用して、追尾ゲ
ートサイズを更新する。

【００３８】すなわち、差絶対値算出部４３は、追尾ゲ
ートの各辺について、その外側と内側の一定領域内にお
いて、追尾用画像の輝度レベルと目標輝度レベルとの差
の絶対値を求める。領域更新判定部４４は、このように
して求められた差の絶対値に応じて輝度レベル相関値を
求めて、追尾ゲート領域を拡大すべきか、縮小すべき
か、または固定とすべきかの判定を行い、これによって
追尾ゲートサイズの更新が行われる。

【００３９】このような処理を、追尾ゲートの４辺の方
向について行うことによって、レベル相関に応じてアダ
プティブにゲートサイズを決定して、追尾ゲートの更新
を行うことができる。

【００４０】なおこの際、各方向（辺）について、１フ
レーム内で拡大または縮小の判定を２度ずつ行うように
し、更新振動回避部４５は、２度とも拡大または縮小の
判定が行われたときは、追尾ゲートを拡大または縮小す
るが、１フレーム内で、同じ辺について拡大と縮小の両
方が判定されたときは、その辺については拡大も縮小も
行わずに固定とすることによって、拡大と縮小の処理が
振動的に繰り返して行われることを防止する。

【００４１】このようにして更新された追尾ゲートサイ
ズを用いて、さらに目標輝度レベルを更新する。目標輝
度レベルの更新方法は、初期捕捉時と同様に行うが、更
新するか否か、またはどのくらいのレート（例えば数フ
レームごと、または数秒ごと等）で行うかは、目標の輝
度レベルまたは背景レベルの変化等によって、任意に設
定しておく必要がある。

【００４２】さらに、追尾点の決定によって、追尾誤差
算出部３２は、前回の追尾点との追尾誤差角を算出し
て、ジンバル制御器３３に入力する。ジンバル制御器３
３は、追尾誤差角と、２軸ジンバル３４からの指向角を
示すレート・ジャイロ信号とに応じて、２軸ジンバル３
４に対する駆動信号を出力する。

【００４３】２軸ジンバル３４は、駆動信号に応じて転
向して、その上に搭載された画像取得装置２１を指定方
向に指向させ、これによって画面上における目標の追尾
が行われる。オペレータは初期状態において、ジョイス
ティック３５を用いてジンバル制御器３３に対してマニ
ュアルで駆動レート信号を入力することによって、画像
取得装置２１の視軸を目標方向に合わせるように操作す
ることができる。

【００４４】

【発明の効果】以上説明したように本発明によれば、画
像取得装置の画像中において、目標の追尾を行う際に、
目標の形状の変化や輝度レベルの変化に対応して、追尾
ゲートサイズをアダプティブに変化させることができる
ので、画像中における目標追尾を行う際の追尾性能を向
上させる上で、非常に大きな効果を期待することができ
る。

【図面の簡単な説明】

【図１】本発明の原理的構成を示す図である。

【図２】追尾ゲートサイズの更新方法を説明する図であ
って、（ａ）は相関値の算出方法を示し、（ｂ）は追尾
ゲートサイズの拡大，縮小，固定の判定方法を示す。

【図３】目標輝度レベル値の設定および更新の手法を説
明する図であって、（ａ）は外部ゲートと内部ゲートの
設定を示し、（ｂ）はゲート内の輝度のヒストグラムに
よる目標輝度レベル値の決定を示す。

【図４】本発明の一実施例を示す図である。

【符号の説明】

１画像取得手段２追尾点算出手段３追尾誤差算出手段４指向手段５追尾ゲートサイズ更新手段６目標輝度レベル更新手段７レベル相関算出手段４１輝度平均値算出部４２目標輝度レベル算出部４３差絶対値算出部４４領域更新判定部４５更新振動回避部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/232 Ｃ 7/18 Ｇ (72)発明者西内秀和神奈川県川崎市中原区上小田中1333番地株式会社富士通システム統合研究所内 (72)発明者松浦義雄神奈川県川崎市中原区上小田中1333番地株式会社富士通システム統合研究所内

Claims

【特許請求の範囲】

【請求項１】視野内の画像を取得する画像取得手段
（１）と、該画像中における追尾点を算出する追尾点算
出手段（２）と、該追尾点と前記画像取得手段（１）の
視軸との誤差（追尾誤差）を算出する追尾誤差算出手段
（３）と、該追尾誤差に応じて前記画像取得手段（１）
を転向させる指向手段（４）とを有する画像追尾装置に
おいて、前記追尾点算出手段（２）が、画像内における目標の変化に対応して追尾ゲートサイズ
を更新する追尾ゲートサイズ更新手段（５）と、画像内
における目標の変化に対応して目標輝度レベルを更新す
る目標輝度レベル更新手段（６）と、該目標輝度レベル
と画像輝度レベルとの最大相関によって前記追尾点を算
出するレベル相関算出手段（７）とを備えたことを特徴
とする画像追尾装置。
【請求項２】前記追尾ゲートサイズ更新手段（５）
が、追尾ゲートの各辺ごとに外側と内側の一定領域内に
おける追尾用画像の輝度レベルと目標輝度レベルとの差
の絶対値を求める差絶対値算出部（４３）と、該差の絶
対値に応じて該ゲート領域の拡大または縮小または固定
の更新判定を行う領域更新判定部（４４）と、同一処理
サイクル内に拡大と縮小の両判定が行われたとき固定の
更新判定を行う更新振動回避部（４５）とを備えたこと
を特徴とする請求項１に記載の画像追尾装置。
【請求項３】前記目標輝度レベル更新手段（６）が、
追尾ゲート内の所定領域における輝度平均値を求める輝
度平均値算出部（４１）と、該求められた輝度平均値に
よって目標輝度レベルを決定する目標輝度レベル算出部
（４２）とからなることを特徴とする請求項１または２
に記載の画像追尾装置。
【請求項４】前記輝度平均値算出部（４１）が、該追
尾ゲートの内部における内部ゲートと、該追尾ゲートの
外部における外部ゲートとにおけるそれぞれの輝度平均
値と、該内部ゲートおよび外部ゲート内の輝度ヒストグ
ラムにおける最大ブロックのそれぞれの輝度平均値とを
算出し、前記目標輝度レベル算出部（４２）が、該各輝
度平均値から選択して目標輝度レベルを決定することを
特徴とする請求項３に記載の画像追尾装置。