JPH02274179A - 移動物体の自動追尾装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野〕 この発明は移動物体をＴＶカメラ等の画像装置にって撮
像し、これを画像処理することにより移動物体の位置を
求めこれを繰り返寸ことで、連続的に移動物体の自動追
尾を行なう装置に関づるものである。

〔従来の技術〕

この発明は出願人が先に出願した特隙昭６３２７７１６
２号に記載された発明の改良に関するものである。すな
わち、特開昭６３−２７７１６２号では撮像した画像を
予め定められた固定値を基に２値化し、これにより追尾
対象である移動物体と背景とを識別する構成を取ってい
た。

〔発明が解決する問題点〕 この為背景の一部が移動物体と同様の輝度を含む１合に
は、安定な移動物体の追尾が難しくなる場合があった。

そこでこの発明は上記のような先行出願の構成を改良し
て、移動物体を含む一フレームの囮急画面中の輝度を所
定のスレショールドレベルに基づ＜２（ｉｉｌＩ化像に
するのでは無く、各輝撮像旬の画素数に比率による複数
階調の多値画像とすることで対象物体である移動物体が
階調的に強調された変換画像を生成し、さらに２値像処
理で判別した移動物体像を含む対象物領域を背碩幼に置
き換えた背景モデルを形成し、この背景モデルを差し引
くことで移動物体を抽出し、これにより移動物体のデー
タを生成することで、背景中に存在する画素の輝度に影
響を受けずに、より確実な移動物体の追尾を行うもので
ある。

〔問題点を解決する為の手段） この発明の移動物体の自動追尾装置によれば、移動物体
を撮像して映像信号を出力する撮像装置と、この画像装
置からの撮像信号を処５ｒｔｒ　する画像処理装置と、
前記撮像装置を支承し前記画像処理装置からの１ｌｉｌ
ｌ闇信号に基づいて撮像装置の間作方向をＩ１１御する
駆動台と、からなる移動物体の自動追尾装置であって、
前記画像処理装置は撮像フレームｎで陽像された原画像
を当該原画像を構成する各画素輝度を所定数のレベルに
分割した評価基準を作成し、当該評価基準に基づいて撮
像フレームｎ＋１で得られた原画像を変換処理してｎ＋
４次の変換画像を作成し、前記画像フレームｎで１！１
られた原画像を前記評価基準で変換処理してｎ次の変換
画輸を作成し、当該ｎ次の変換画像を予め初Ｉｌ設定さ
れた移動物体データで嘔き換え処理してｎ次の１１ｍモ
デルを作成し、前記ｎ＋１次の変換画像から前記背狽モ
デルを差分して移動物体画像を抽出するよう構成された
点に特徴がある。

〔実施例〕

以下、図示するこの発明の実施例により説明する。

第１図に実施例仝休の１７４成ブ１コック図を示した。

ここでは、Ｔ　Ｖカメラ等の画像装置１が画像装置架台
２に支承されて画像方向調整自在となってｄ３す、さら
にこの装置には画鍮処Ｉ１１装η５、位置演算装置６及
び架台制御＋装置７とが設番ノられている。

戯ＳＡ装置１から得られる画像信号３は次段に設けられ
た画像処理装置５に入力されて、画像信号３内における
移動物体の幾何学田心データ９が算出される。

さらに、前記Ｊｌｆｉｆｌｌ装置１はズーム機１（図示
せず）を内蔵しており、画＠！１２Ｘ理装置５内でのデ
ジタル画像処理に必要な程度までに移動物体を自動的に
ズーミングする。位置演１３ｖｉ置６は摂に詳述するが
、画像処理装置５から入力される幾何学重心データから
の移動物体の方位角、角速度等の計測データ８を算出し
て、他の機器のυ制御情報とすることができる。さらに
、この位置演算装置６は幾何学重心データから１フレー
ムのｊｌｉｉ像信号中に幾何学重心座標を算出して、架
台１ｎＩ撮像装Ｐｆ７に出力する。架台制御信号７は撮
像装置１の方位角を制御するものであり、前記位置演算
装置６からの入力信号から幾何学重心が画面の中央に位
置するよう撮像装置架台２に対して架台制御信号を出力
する。これにより、＠＠装圃１は移動物体の画像を画面
の中央で捉えるよう方位角が制御される。

また駆動台制御装置７からは画像処理装置５を介して位
置演算ＩＡ置６に対して銀像装置１の現在の撮像方位を
示す方位角信号が出力される。これにより、位置演算装
置６はｉｍＩＡ置１装方位角信号及び画像画面中の幾何
学重心座標から移動物体の方位角、方位角速疫などの計
測データ８を出力する。次に、第２図に示した画像処Ｂ
ｆ！装＠５の詳細構成図に基づいて、その構成を説明す
る。

この画像処理装置５には撮像フレームである１／３０ｓ
ｅｃごとに撮像装置１からの画像信号３が入力され、第
１画像変換器２２によって処理されると共に１フレーム
毎の未処理の原画像を格納する原画像メモリ１５に格納
される。この原画像メモリ１５に格納されたデータは輝
度ヒストグラム演０器１４と第２画像変換器２３とに出
力されて処理される。各輝度毎の評価値を篩用する装置
として、Ｔｃ度ヒス１〜グラム１Ｂｉ１１４がある。次
に説明する評価値σ出処理は、時刻ｔ、での画像信号が
入力される前に実行される。輝度ヒストグラム演幹Ｐ！
ｉ１４は後述する画像演算装ｅ１１９からのＴＲ領域信
号と移動物体画像メモリ１７からの１フレーム前（時刻
ｔ。）の移動物体！、、　１Ｉｉ１信号２９を入力し、
原画像メ七り１５より読み出した１フレーム前（ｖＩ刻
ｔ。）の画像信号中の各１ｊ麿毎の画素数の比率を基に
各輝度の評価値Ｐ（１１）を求める。

の場合 ここで、１１は量子化した輝度であり、この実施例では
６４階調どしたので１１＝０〜６３で規定される。ここ
で られる移動物体領域内のｎ度 １１を右１−る画素の数 この実施例では、Ｐ’　　（＋　　）＝６３ＸＰ　（１
１）とし、各輝度毎の評価値を０＝６３の整数値に変換
した。求めた評価値はルックアップテーブル１２に設定
される。Ｊなわち、ルックアップテーブル１２には６４
段階の評価値が設定される。

このルックアップテーブル１２の出力は第１画像変換器
２２に接続されており、この第１画像変換器２２はルッ
クアップテーブル１２の評価値にｌ（づいて時刻［１の
画像信号３を変換して、多値画像からなる変換画像信号
２７を生成する。

また、背景モデルを生成するブロック構成群として第２
画像変換器２３、背頃モデル作成器２４が設けられてお
り、このうち第２画像変換器２３は原画像メｔす１５か
ら未処理の１フレーム前（時刻ｔ。）の画像信号２６を
入力し、ルックアップテーブル１２に格納された前記評
価値で′ｔ１換して変換画像信号２８を背景モデル作成
器２４に出力する。背型モデル作成器２４は、移動物体
画像メモリ１７から１フレーム前（時刻ｔ。）の移動物
体Ａ域信号２９を入力し、変換画像信号２８中の移動物
体領域を周囲の背明稙に置き換える処理を行う。この処
理により背景モデル作成器２４からは背景モデル信号３
０が出力される。

第１画像変換器２２からの変換画像信号２７と背景上デ
ル作成器２４からのｆＮＮモモデル３ｏ入力を交番ノる
差分器２５は、変換画像信号２７から背扮モデル３ｏを
差分して移動物体の抽出された差分画像３１を出力する
。この差分器２５には、全体の動作の説明の項でも明確
にするが、変換画像信号２７に対して背景モデル２４が
１フレーム前の遅れた時限のものを使用している。そこ
で、このフレーム差による相りの１ｌｉｆｉ９のズレを
修正する為に架台制御装置７からのその時点での撮像方
位１０が入力されて、両フレーム間のズレの修正が行わ
れる。

こうして得られさ差分画像３１はｉｉ！ｉ像８ｊｊ口装
置１つに入力され、撮像方位信号１０とともにＸ方向、
ｙ方向投影処理により重心を界出し１移動物体位置を把
握することが出来る。

ここで、画像処理装置１９は既に求められている時刻ｔ
。における移動物体の、位置（幾何学重心の座標）と大
きさから第３Ａ図に示したように、移動物体４１を囲む
矩形領［４２（以下ＭＲと記す）とこれとともに次のＩ
ｌ像フレームｎ　−）−１の時刻ｔ１におＧＪる移動物
体の４１の予想される移動範囲領域４３（以下、ＴＲ１
と記す）を決定し、ＴＲ及びＭＲ倍信号し、このうらＭ
Ｒ信号２０を移動物体領域判定器１８に出力し、丁Ｒ信
号２１を輝度ヒストグラム演算器１４にそれぞれ出力す
る。

また、移動物体の２値画像を作成するものとして２値画
像生成器１１．２値画象メ七り１６、移動物体領域判定
器１８及び移動物体画像メモリ１７のブロックが設けら
れている。このブロック群のなかで、２（Ｉｆｉｉｉ！
！ｉ像生成器１１には前述した差分画像３１が入力され
この２値画像生成器１１に設定された所定のスレッシコ
ールド値と比較されて背ｌ領域と移動物体領域との２（
ａ画像に生成されて、２値画像メモリ１６に格納される
。この２伯画像メモリ１６に格納されたデータは移動物
体領域判定器１８に入力される。２ｆｉｆ１画像上のノ
イズ等を除去する為、移動物体領域判定器１８では、画
像演算装置１９より、Ｍｒ＜領域信号２ｏを入力し、２
値画像の内、ＭＲ領域内のもののみを移動物体領域とし
て判定する。判定結果は、移動物体画像メモリ１７に格
納され、背景モデル作成器２４での前述した背景上デル
の生成演算にもちいられる。ここで、この装４の起動時
には囮像菰首１で撮影されたｍ像信号３が初１１設定さ
れたルックアップテーブル１２の内容によって変換され
た変換画像信号２７が（差分対象がまだ存在しない為）
２値画像生成Ｐ！１１に入力されて処理され初期値とし
ての移動物体画素が移動物体画像メモリ１７に格納され
てイニシアライズされる。

次に第３Ａ図、第３Ｂ図及び第４図（２）、０．（ロ）
の例示に基づいて、画像演葬装ｆｆ１１９及び、ブ〔１
ツク１１，１６．１８．１７の２値画像処理部分の処理
動作について説明する。１６時点の映像信号の差分信号
３１は時刻ｔ。＋１／６０ｓｅｃには２値画像生成器１
１により所定の判定用スレッショールドと比較され２値
画像に生成された後、２値画像メモリ１６に格納されて
おり、この画像のイメージは第３Ａ図のようになってい
る。ここで、画（や演算装置１９は既に求められている
時刻ｔ。

における移動物体の位′Ｊ１１（幾何学セ心の座標）と
大ぎさから第３Ａ図に示したように移動物体４１の近傍
を囲む矩形領域（以下ＭＲと記す）と、これとともに次
の撮像フレームｒ１←１の時刻ｔ１における移動物体４
１の予想される移＃ｌ範囲４３（以下ＴＲ１と記す）を
決定し、ＴＲ及びＭＲ倍信号してｌＩｖ麿ヒストグラム
演算器１４及び移動物体領域判定器１８に出力する。

ここで、１フレーム闇でのＩＩｓ像画面中の移動物体の
変移可１′１範囲について、以下に１１る。画面内での
移動物体の位置の変化量をΔＸ、２０１ｓｐａｎの移動
物体が最高３４０ｍ／ｓで画商を横切る方向に移動して
いるものとし、これを画面中の３０画素程度で捉え！こ
とりると、１／３０ｓｅｃ毎のずれは３４０ｍ／ｓＸ　
１／３０５ｅｃｘ３０画糸／２０ｍ−１７画索となる。

ずなわら、１フレ一ム間での位置の変化間ΔＸは、ΔＸ
≦１７画素で規定される。

以上の記載のようにｔ　から１１時までの１７シーム間
での移動物体の撮像フレーム範囲内での移動子ｉｌｌ範
囲位置は規定され、これに基づいて充分な余裕を持った
範囲Ｔ　Ｒ１設定することが出来る。こうして、画像演
算装置１９で規定される範囲ＴＲとＭＲとは、ＴＲ領域
信号は輝度ヒストグラム演ｌｌ器１４に人力されＴ　Ｒ
領域のヒストグラムを作成する際に使用される。一方、
ＭＲ領域信号２０は移動物体領域判定器１８で移動物体
の占める領域判定に使用される。−旦、移動物体画像メ
モリー７に格納され、１／３０ｓｅｃ前の移動物体領域
信号２９として輝度ヒストグラム演斡器１４と背景モデ
ル作成器２４に供給される。

輝度ヒストグラム演算器１４は、原画像メモリ１５の画
像の内移動物体領破とＴＲに関してヒスＲ トゲラムＨｌｉ）（ＭＲ領領域とＨ”１（ＴＲ領域）を
咋出する。この各ヒス１〜グラム例を第４図（２）、（
へ）に示した。ここで、第４図（２）のＭＲのヒストグ
ラムでは移動物体４１の輝度に該当する部分に画素数の
ピークが現れ、一方向量０のＴＲ，のヒストグラムでは
移動物体４１のピークと所見の輝度に該当する部分にも
画素数のピークが現れる。

こうして輝度ヒストグラム演０Ｐ！ｉ１４は、得られた
２つのヒストグラムから、 の演篩を行い、ＭＲおよびＴＲ１の各領域に含まれる各
輝度毎の画素数の比率を求め、第４図（φに示したよう
な比率特性が得られる。

ここで、第２図の構成に加えて、第５図のタイムスケジ
ュールを参照しながら、時刻ｔ１に得られた画像信号か
ら°対象物である移動物体の位置を算出１゛る手順を順
を追って説明する。ここで、予め時刻ｔ　　−１−１／
　６０　ｓｅｃには時刻１ｏにおけ６画像信号が原画像
メモリー５に格納されており、またその２ｆｎ画像が２
値画像メ上り１６に備えられ、時刻ｔ。における移ω）
物体の位置及び大き８は既に求まっているｂのと１゛る
。

ａ、　時刻ｔｏ−）１／６０　　Ｓｅｃから時刻ｔ１迄
の１／６０ＳＱＣｒｍに行う処理、 時刻ｔ１の画像から移動物体の位置を求めるＨＲ。

為に、時刻ｔ　の画像の２つの領域Ｈ（＋１）［Ｒ。

とＨ（＋１）のｎｔｘヒストグラムから各輝度毎の画素
数の比率を基に各輝度の評価値Ｐ（１１）求め、６４階
調として輝度ヒス］・グラム？Ｗ算器１４で算出し、ル
ックアップテーブル１２に設定する。

ｂ、　時刻ｔ　からｔｌ　＋１／６０　ｓｅｃまでに行
う処理 ■　撮像装置１から送られてくる画像信号３は、第１画
像変換器２２によりルックアップテーブル１２の内容に
従って６４段階に変換される。

変換された変換画像信２Ｊ２７は移動物体上に多く存在
する輝度の画素が大きな狛を（Ｐ（ｉｌ）が大きい為）
、また背景に上に多く存在する輝度の画素が小さな値を
（Ｐ（ｉｌ）が小さい為）有した画像となり、結果とし
て移動物体の強調された画像となる。時刻ｔ１の原画像
のイメージを第６図に、これを変換した画像のイメージ
を第７図に示した。（八：移動物体、８．Ｃ：移動物体
と等輝度の画素） ■　一方、これと同期して、１フレーム前のｉｉｌｊｆ
ｉＱ２６（Ｍ刻ｔ。の画像ンが原画像メモリ１５から読
み出され、第２画像変換器２３により、ルックアップテ
ーブル１２に内容に従って変換され、背景モデル作成器
２４に入力される。背景［デル作成器２４は移動物体メ
モリ１７から１フレーム前の画＠（時刻ｔ。の画像）内
での移動物体領域２９を読み出し、変換した画像の中で
移動物体領域部を周囲の背景値の画素に置ぎ換える処理
を行う。この処理は、移動物体の画像内での移ＯＪ分が
少なく５一つフレームのずれた２画面間での位置の重な
りを生じた場合でも移動物体を確実に安定して抽出出来
る用実行されるものである。置き換える背州値データを
Ｂとすると、 Ｂ＝移動物体領域周囲の背ｆＭ部の￥ｉ内部評１ｉＩＩ
Ｉ値の平均値十オフセツ１−（固定撮像１）等により決
定される。

時刻ｔ。の画像を変換した画像のイメージを第８図、又
時刻ｔ。の画像内での移動物体領域イメージを第９図に
示す。また、以上により求まった時刻ｔ。の前用モデル
のイメージを第１０図に示す。

■　作成された背鰭モデル３０は時刻ｔ１での変換画像
２７と同期して差分器２５に入力され、各画素毎の評価
値の差をとることによって、差分画像３１が作成される
。

ｏ（ｘ　　、Ｖ　　）”ｒ（ｘｌ、Ｖｌ　）−Ｇ（Ｘｌ
　、Ｖｌ　）Ｆ（ｘ、ｙ）：時刻ｔ、の変換画像の座標
（ｘｌ、ｙｌ）の評価値 Ｇ（ｘ、ｙ）：背景モデルの座ＨＡ　（ｘ、　、ｙｌ）
の評価値 ０（ｘｌ、ｙ、　）　：求めた差分画像の座標（ｘｌ、
ｙ、　）　ノ評ｌｉｎ ここで、求まった差分画像では、背景部分のノイズの低
減された画素となっている。この得られた差分画像のイ
メージを第１１図に示す。撮像装置１のフレーム間での
方位変化により、２画面間での座標のずれを住じるがこ
れは差分器２５によって＠像￥ｆｔ買方位１０に基づい
て補正される。

■　画像演算装置１９では桁られた差分画像をすにＸ方
向、ｙ方向のプロジェクションを作成し、その重心を求
める事で移動物体位置を４ＪＩることができる。このプ
ロジェクション作成時に各画素の評価値（多値）を用い
ることでノイズ等による影響の低減を図っている。

■　一方、得られた差分画像３１は２値画像生成鼎１１
により別途定められた一定のスレショールド値と比較さ
れて２ｆｌｔｆ画像に変換され、２（ｆ１画画像上りに
格納される。また、これと同時に画像演算装置１９に入
力され移動物体大きさの弾出処理に使用される。

こうした処理を繰り返すことで、安定的な移動物体の追
尾が行いつる。

（発明の効果） この発明による、移動物体の自動追尾装置の実ｍ例は以
上のと６りであり、追尾対象である移動物体の抽出に所
領モデルを用いることで、移動物体と同程匪の輝度を′
＃ｉ−！Ｉる画素が背景上に存在していても安定的に移
動物体を抽出出来、また移動物体位置口出に！７１１４
化された２値化を行って画像を用いずに多値画像のまま
停出するように構成したことで、外乱ノイズの影響の低
減を図った。

【図面の簡単な説明】

第１図はこの発明による移動物体の自動追尾装置の実施
例構成全体図、第２図は第１図の１！！ｌｉ像処理装置
の詳細構成ブロック図、第３Ａ図、第３Ｂ図はｔ。時に
おける画像信号による画像を表す概略図と１１時におけ
る画像の概略図、第４図はそれぞれ輝度ヒストグラム判
定過程での輝度ヒストグラム図、第５図は動作のタイム
スウジュール、第６図の時刻ｔ　の原画像、第７図は時
刻ｔ１の変換画像、第８図は時刻ｔ。の原画像、第９図
は時刻ｔ。の移動物体領域、第１０図は時刻ｔ。の背景
モデル、第１１図は時刻ｔ１の差分画像である。１・・
・・・・撮像装置、２・・・・・・撮像装置架台、３・
・・・・・画像信号、４・・・・・・架台制御信号、５
・・・・・・画像演算装置、６・・・・・・位置演算装
置、７・・・・・・架台制御装置、８・・・・・・計測
値出力、９・・・・・・幾何学重心、１０・・・・・・
撮像装置方位、１１・・・・・・２値画像生成器、１２
・・・・・・ルックアップテーブル、１４・・・・・・
輝度ヒストグラム、１５・・・・・・原画像メ七り、１
６・・・・・・２埴画像メ七り、１７・・・・・・移動
物体画像メモリ、１８−・・・・・移動物体領域判定器
、１９・・・・・・画像判定器、２ｏ・・・・・・Ｍ］
で伏目、２１・・・・・・Ｔ　Ｒ信号、２２・・・・・
・第１画像変換器、２３・・・・・・第２画像変換器、
２４・・・・・・背景モデル作成器、２６１／３０Ｓｅ
ｃ前のｉｔ！ｉ　１ｍ信号、２８　＝　１　／　３０　
ＳＱＣ前＋７）Ｒ換画像信号、２９・・・・・・１／３
０ｓｃｃ＃５の移動物体領域、４０・・・・・・踊像画
面、４１・・・・・・移？物体、４２・・・・・・移動
物体の近傍を囲む矩形領域、４３・・・・・・次のフレ
ーム抽出の移動物体の変移予測範囲を含む領域。 第１図

Claims (5)

【特許請求の範囲】
1. （１）移動物体を撮像して映像信号を出力する撮像装置
   と、当該撮像装置からの撮像信号を処理する画像処理装
   置と、前記撮像装置を支承し前記画像処理装置からの制
   御信号に基づいて撮像装置の撮像方向を制御する駆動台
   と、からなる移動物体の自動追尾装置において、 前記画像処理装置は撮像フレームｎで撮像された原画像
   を当該原画像を構成する各画素輝度を所定数のレベルに
   分割した評価基準を作成し、当該評価基準に基づいて撮
   像フレームｎ＋１で得られた原画像を変換処理してｎ＋
   １次の多値変換画像を作成し、前記撮像フレームｎで得
   られた原画像を前記評価基準で変換処理してｎ次の多値
   変換画像を作成し、当該ｎ次の変換画像を予め初期設定
   された移動物体データで置き換え処理してｎ次の背景モ
   デルを作成し、前記ｎ＋１次の変換画像から前記背景モ
   デルを差分して移動物体画像を抽出することを特徴とす
   る、 移動物体の自動追尾装置。
2. （２）請求項（１）において、前記評価基準は前記撮像
   装置のｎ次の撮像フレームでの移動物体領域の輝度ヒス
   トグラムをＨ＾Ｍ＾Ｒとし、またｎ＋１次の移動物体の
   予測変移位置を含む領域の輝度ヒストグラムをＨ＾Ｔ＾
   Ｒとし、これらから各輝度毎の画素数の比率を基に複数
   階調に規定されることを特徴とする移動物体の自動追尾
   装置。
3. （３）請求項（１）において、前記初期設定された移動
   物体データは所定の２値画像処理により生成されること
   を特徴とする。
4. （４）請求項（３）において、前記初期設定された移動
   物体データは前記差分して抽出された移動物体画像を各
   撮像フレーム毎に２値画像変換して更新されることを特
   徴とする移動物体の自動追尾装置。
5. （５）請求項（１）において、前記ｎ＋１次の変換画像
   から前記ｎ次の背景モデルの差分に際しては、差分時に
   前記撮像装置の方位に基づき、座標ずれを修正すること
   を特徴とする移動物体の自動追尾装置。