JPH07325906A

JPH07325906A - 移動体検出・追跡装置

Info

Publication number: JPH07325906A
Application number: JP6118145A
Authority: JP
Inventors: Yoshihiro Michiguchi; 由博道口; Shinji Naito; 紳司内藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-05-31
Filing date: 1994-05-31
Publication date: 1995-12-12

Abstract

(57)【要約】【目的】ウィンドウ内のあらかじめ特徴を設定した移
動体を背景から確実に分離し、屋外のような画像処理の
適用が困難な場合でも、ほかの物体の誤検出やその物体
への誤った追跡を防止することができ、かつ実時間処理
可能な移動体の検出・追跡装置を提供すること。【構成】テレビカメラなどの撮像装置１と、撮像装置
１を駆動する駆動機構２と、撮像画像内に移動対象を含
む領域に処理領域を設定する処理領域設定部５、その処
理領域であらかじめ設定した対象の特徴に近い部分を抽
出する特徴量抽出部６、及び抽出した像がそれ以前に判
定された検出対象像と同一であるか否かを判定する同一
性判定部７からなる複数の処理装置３と、さらに各処理
装置３の処理結果を表示する表示装置４とで構成され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビカメラや赤外線
カメラなどで得た画像を処理し、対象とする移動体のみ
を背景から抽出し、移動体が動いてもその移動体を追跡
する移動体検出・追跡装置に関する。

【０００２】

【従来の技術】従来、テレビカメラなどで得た画像を処
理する際、あらかじめ画像内の特定領域にウィンドウを
設け、そのウィンドウ内の画像のみを処理する方法が用
いられることがある。従来例は、１９９０年のＴｅｃ
ｈｎｉｃａｌＤｉｇｅｓｔｏｆ９ｔｈＳｅｎｓｏ
ｒＳｙｍｐｏｓｉｕｍのプロシーディングに掲載さ
れた「１２０ＨｚＲｅａｌ−ＴｉｍｅＩｍａｇｅ
ＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍＡｐｐｒｏａｃｈ
ｉｎｇｔｏａｎＡｄｖａｎｃｅｄＩｎｔｅｌｌｉ
ｇｅｎｔＳｅｎｓｉｎｇＤｅｖｉｃｅ」に詳しく述
べられている。つまり、あらかじめ大きさを設定したウ
ィンドウを画像内に設定し、この中の目標を実時間で追
跡するものである。従来例では、ロボットアームの動き
を追跡した例が記載されている。

【０００３】

【発明が解決しようとする課題】上述した従来例は、検
出対象にマークをつけ、背景画像と対象画像との識別が
容易な場合であり、複雑な背景の存在する屋外環境での
対象識別は困難であるとういう問題があった。。

【０００４】本発明は、このような事情に鑑みてなされ
たものであり、ウィンドウ内の予め特徴を設定した移動
体の画像を背景画像から確実に分離し、その移動体の移
動に追従させてウィンドウを自動的に移動させることに
より、屋外のような画像処理の適用が困難な場合でも、
他の物体の誤検出やその物体への誤った追跡を防止する
ことができ、かつ実時間処理可能な移動体の検出・追跡
装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明の移動体検出・追
跡装置は、採取画像内の移動対象を含む領域に処理領域
を設定する手段と、該処理領域設定手段により設定され
た処理領域において予め設定された検出対象の特徴に近
い画像部分を抽出する特徴量抽出手段と、該特徴量抽出
手段により抽出された画像がそれ以前に検出対象画像と
判定された画像と同一であるか否かを判定し、その判定
結果に基づいて処理領域を変化させるように前記処理領
域設定手段に指示する判定手段とからなる処理装置を複
数、有し、これら複数の処理装置で独立にそれぞれ異な
る対象を検出・追跡することを特徴とする。

【０００６】また本発明の移動体検出・追跡装置は、前
記判定手段は、抽出した像の同一性判定を行なう検出対
象物の大きさ、位置に関連する情報を予め学習させたニ
ューラルネットワークを含んで構成されたことを特徴と
する。

【０００７】更に本発明の移動体検出・追跡装置は、前
記特徴量抽出手段は、処理領域の対象の抽出に、予め採
取した背景画像と新たに採取した画像との差を取った画
像について特徴量を算出することを特徴とする。

【０００８】

【作用】テレビカメラや赤外線カメラで得た画像は、複
雑な背景像を含む。このため、処理領域を限定すること
で不要背景の除去と処理データの低減を図る。

【０００９】さらに、あらかじめ設定した対象の特徴
と、その特徴の変化に着目して検出像がそれ以前に検出
対象として判定された対象と同一であるか否かを判定
し、この判定結果をもとに処理領域を変化させる。これ
らの一連の処理を行なう処理装置を複数備えて、異なる
対象を検出・追跡する。

【００１０】したがって、実時間で確実な対象の検出・
追跡が可能となる。

【００１１】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図１には本発明に係る移動体検出・追跡装置の一
実施例の構成が示されている。同図において、１は撮像
装置であり、テレビカメラや赤外線カメラなどが使われ
る。２は撮像装置の駆動機構であり、カメラの撮像方向
などを制御する。３は、本発明の最も中核をなす部分で
ある処理装置であり、図１の例では３−１から３−Ｎま
でのＮ個、備えられている。処理装置３の詳細は、後述
する。４は、処理結果を表示する表示装置である。ここ
で、本発明の中心部分である処理装置３の説明を行う。
３−１から３−Ｎは、すべて同じ構成になっているた
め、以下添字を省略して説明する。

【００１２】処理装置３は図１に示すように、処理領域
設定部５と、特徴量抽出部６と、同一性判定部７とから
構成されている。

【００１３】処理領域設定部５は、撮像装置１からの画
像を得、画面の一部にウィンドウを設定する。この設定
のため、同一性判定部７から移動対象の位置情報を処理
領域設定部５に入力する。処理領域設定部５の動作およ
び構成を図２、図３を用いて説明する。撮像装置として
テレビカメラを考えると、図２（ａ）に示すように多数
の走査線によって画像が構成されている。この画面の走
査は、左から右及び、上から下に向けて行なわれ、１画
面の最初で垂直同期パルスが、また、左から右への水平
方向走査の最初で水平同期パルスが撮像装置から得られ
る。映像信号は、水平同期パルスの間に存在する。この
時間関係を図２（ｂ）に示す。画面内のある位置Ｐ
（ｘ、ｙ）は、水平方向位置ｘは水平同期パルスの出力
時点からの時間を求めることで、また、垂直方向位置ｙ
は垂直同期パルスから計数を開始した水平同期パルスの
数を計数することで、決定できる。

【００１４】以下、処理領域設定部５の構成を述べ、動
作を説明する。図３において、５０１、５０２、５０
３、５０４は、各々、減算計数器である。５０１、５０
２は、ウィンドウの水平方向開始位置と終了位置を、５
０３、５０４は、ウィンドウの垂直方向開始位置と終了
位置を規定する。前述したように、水平方向は水平同期
パルスの出力時点からの時間でウィンドウ位置を設定す
るため、クロック発生器５０５のクロックパルスを計数
器５０１、５０２の計数に用いる。これに対して、垂直
方向は、水平同期パルスを計数クロックとして用いる。
各計数器には、マイクロコンピュータ５０６からのデー
タが入力される。つまり、計数器５０１へは、水平方向
のウィンドウ開始位置のデータが、また、計数器５０２
へは、水平方向のウィンドウ終了位置のデータが送られ
る。このデータの転送は、水平同期パルスに同期して実
行される。

【００１５】一方、垂直方向の計数器５０３、５０４へ
は、垂直同期パルスに同期させてウィンドウの開始位置
と終了位置のデータが転送される。各計数器にセットさ
れたデータは、クロックパルス（水平方向は、クロック
発生器５０５のパルス、垂直方向は、水平同期パルス）
で減算され、０になるとパルスを出力する。この結果、
水平、垂直方向とも、ウィンドウの開始位置と終了位置
でパルス出力を得る。５０７、５０８は、フリップフロ
ップ素子であり、各々、ウィンドウ開始パルスでセット
され、ウィンドウ終了パルスでリセットされる。フリッ
プフロップ５０７は、水平方向のウィンドウを設定し、
フリップフロップ５０８は、垂直方向のウィンドウを設
定する。水平方向及び垂直方向のふたつのウィンドウ信
号の論理積ＡＮＤをＡＮＤ素子５０９で論理演算させる
と、マイクロコンピュータ５０６で与えたデータ領域、
つまり、水平、垂直の設定領域の共通部分にウィンドウ
を設定できる。

【００１６】５１０はスイッチング素子であり、上記の
ウィンドウ設定領域の画像信号のみを出力する。この結
果、設定領域のみの画像を出力できる。

【００１７】次に、マイクロコンピュータ５０６から各
計数器５０１〜５０４に転送するデータについて述べ
る。各画面ごとに、マイクロコンピュータ５０６へは移
動体の位置データ（Ｘｏ，Ｙｏ）とウィンドウの幅デー
タ（Ｘｇ，Ｙｇ）が入力される。移動体の位置データ
（Ｘｏ，Ｙｏ）とウインドウの幅データ（Ｘｇ，Ｙｇ）
の値は、同一性判定部７から得られるが、これについて
は後述する。この移動体の位置データ（Ｘｏ，Ｙｏ）を
もとに、マイクロコンピュータ５０６でウィンドウの開
始位置（Ｘｓ，Ｙｓ）と、ウィンドウの終了位置（Ｘ
ｅ，Ｙｅ）を下式で求める。

【００１８】

【数１】

【００１９】

【数２】

【００２０】

【数３】

【００２１】

【数４】

【００２２】以上に述べたように、処理領域設定部５に
おいて上記演算を実行することにより、ウィンドウを設
定し、その領域の画像を出力できる。

【００２３】次に特徴量抽出部６の構成及び動作につい
て説明する。特徴量抽出部６は、あらかじめ与えた検出
対象の特徴に合致する画像部分を取り出し、その画像の
大きさや位置を次の同一性判定部７に出力する。図４に
特徴量抽出部６の構成を示す。本実施例では、あらか
じめ与える特徴量を検出対象の色相としている。よく知
られているように、カラー画像はＲ、Ｇ、Ｂ（レッド、
グリーン、ブルー）の３原色で構成されている。

【００２４】６０１はカラーデコーダであり、画像信号
をＲ、Ｇ、Ｂの３原色に分離する。分離した各々の原色
成分に対し、窓型コンパレータ６０２、６０３、６０４
を適用する。各窓型コンパレータ６０２、６０３、６０
４は、それぞれレベル設定器６０５、６０６、６０７の
出力を受け、設定レベルの上限と下限の範囲内に原色成
分がある時、出力がある。この３箇の出力をＡＮＤ素子
６０８で論理積演算を行うと、Ｒ、Ｇ、Ｂの各原色成分
がそれぞれ３つのレベル設定器６０５、６０６、６０７
の設定レベル内にあるときのみ、ＡＮＤ素子６０８に出
力がある。つまり、レベル設定器の設定値を適切に選ぶ
ことにより、３原色Ｒ、Ｇ、Ｂの割合、つまり、検出対
象の色相を設定でき、この設定色相内にウィンドウ内の
像が合致するときのみＡＮＤ素子６０８から出力を得
る。６０９はスイッチング素子である。スイッチング素
子６０９により、ＡＮＤ素子６０８の出力がある部分の
み、映像信号を通過させる。このため、スイッチング素
子６０９からの出力画像は、ウィンドウ内画像のうち設
定色相に合致したものとなる。

【００２５】６１０はアナログ／デジタル変換器（Ａ／
Ｄ変換器）、６１１はメモリ素子である。Ａ／Ｄ変換器
６１０でウィンドウ内画像をデジタル値に変換し、メモ
リ素子６１１に書き込む。６１２はアドレス設定器であ
り、クロック信号、垂直同期パルス、水平同期パルスを
得てウィンドウ内の各位置に対応させたアドレスを発生
し、これにより、メモリ素子６１１への書き込みを行
う。

【００２６】アドレス設定器６１２は図５に示すように
計数器６１２Ａ、６１２Ｂを有しており、ＡＮＤ素子６
０８の出力を得てカウンタ６１２Ａ、６１２Ｂの計数動
作を停止させ、この時の計数値をアドレスとして出力す
る。この結果、メモリ素子６１１にはウィンドウの画像
が記憶されるが、前述のように、画像として存在するも
のは設定色相に合致する部分である。理想的にはその合
致像は１つであるが、不要像も含まれる場合もあり、図
６に示すような画像状態（検出対象像が１つでノイズ像
が２つの例）になる。これらの像を以下、対象候補像と
呼ぶことにする。

【００２７】マイクロコンピュータ６１３は、メモリ素
子６１１に記憶されている対象候補像の特徴量を算出す
る。ここで算出される特徴量は、各対象候補像の大き
さ、位置である。この特徴量の算出は、公知の演算法を
使う。マイクロコンピュータ６１３で算出された特徴デ
ータは、同一性判定部７に転送される。以上、特徴量抽
出部６について詳細に説明した。

【００２８】次に同一性判定部７について説明する。同
一性判定部７は、ウィンドウ内の検出対象候補像の特徴
量（大きさ、位置）を特徴量抽出部６から得て、検出対
象像のみを抽出するように機能する。図７に同一性判定
部７の構成を示す。図７において、７０１は特徴量を一
時的に格納するバッファメモリであり、上記のウィンド
ウ内の検出対象候補像の特徴量（大きさ、位置）が格納
される。また、７０２もバッファメモリであり、後述の
同一と判定された検出対象の特徴量と、設定するウィン
ドウ幅が一時的に格納される。７０３はマイクロコンピ
ュータ、７０４は公知のニューラルネットワークであ
る。

【００２９】マイクロコンピュータ７０３の処理内容を
図８のフローチャートを参照して説明する。まず垂直同
期パルスが入力されたか否か、すなわち１画面分の画像
が撮像装置１により撮像されたか否かが判定される（ス
テップ８０１）。１画面分の画像の撮像が終了している
場合にはバッファメモリ７０１に検出対象候補像の特微
量を示すデータが格納されているか否か判定される（ス
テップ８０２）。

【００３０】ある画面の検出対象候補像の特徴量は１画
面分の画像が撮像終了後にバッファメモリ７０１に格納
されている。また、１画面前の判定結果としてひとつ前
の画面の対象像が求まっているから、その検出対象候補
画像の位置、大きさと移動方向、画像上の移動量もバッ
ファメモリ７０２に格納されている。したがってバッフ
ァメモリ７０１に検出対象候補画像の特徴量を示すデー
タが格納されている場合にはバッファメモリ７０１、７
０２より特徴量データの読み込みが行なわれる（ステッ
プ８０３）いま、Ｉつの対象候補像の大きさ、位置を各々、（Ｌｘ
ｉ，Ｌｙｉ），（Ｘｉ，Ｙｉ）で表す（ｉ＝１、２、・
・、Ｉ）。また、１画面前で得られた検出対象の大きさ
を（Ｌｘｏ，Ｌｙｏ）、その位置を（Ｘｏ，Ｙｏ）と
し、移動方向をθｏ、移動量をＶｏとする。マイクロコ
ンピュータ７０３は、下記の演算を行う（ステップ８０
４）。

【００３１】

【数５】

【００３２】

【数６】

【００３３】

【数７】

【００３４】

【数８】

【００３５】

【数９】

【００３６】

【数１０】

【００３７】

【数１１】

【００３８】

【数１２】

【００３９】但し（ｉ＝１、２・・・、Ｉ）ここで、（Ｘｃ、Ｙｃ）は撮像装置の視野の移動量であ
る。また、変数の最初にΔをつけたものは、ある画面と
ひとつ前の画面との差を示す。データの組（ΔＬｘｉ、
ΔＬｙｉ、Δθｉ、ΔＶｉ）は、ｉ＝１からｉ＝Ｉまで
のＩ個ある。このデータの組（本実施例では４個）をニ
ューラルネットワーク７０４の入力とし、Ｉ個の組につ
いてニューラルネットワークの出力Ｎｉを得る（ステッ
プ８０５）。ニューラルネットワークの入力は、大き
さの変化量、移動方向の変化量、移動量の変化量を示し
ており、各々、ある範囲にある時出力が大きくなるよう
あらかじめ学習させてある。このため、像の大きさや、
移動方向、移動量が大きく変化しない場合、ネットワー
クの出力Ｎｉは大きくなる。Ｉ組あるデータのなかで、
ネットワーク出力が最大になるものを、検出対象である
と判定する。この時の像の大きさ、位置、移動量、移動
方向を、それぞれ、（Ｌｘｏ，Ｌｙｏ）、（Ｘｏ、Ｙ
ｏ）、θｏ、Ｖｏとして再格納する。また、同時に設定
するウィンドウ幅（Ｘｇ，Ｙｇ）もバッファメモリ７０
２に格納される（ステップ８０６、８０７）。さら
に、バッファメモリ７０２内にある（Ｘｏ，Ｙｏ）の位
置信号と、（Ｘｇ，Ｙｇ）のウィンドウ幅のデータは、
ウィンドウの設定のため、処理領域設定部５に転送され
る（ステップ５０８）。

【００４０】以上に説明したように、同一性判定部７で
は移動体の候補像に対し、大きさ、移動方向、移動量を
もとに最も確からしい対象を他のノイズ像から区別して
検出できる。

【００４１】これまでの同一性判定部７の説明では、装
置起動時やなんらかの原因でウィンドウ内に対象像がな
い状態から、次画面で対象候補像が出現した場合の処理
に触れなかった。このときはマイクロコンピュータ７０
３内で模擬的に像を作成し、ウィンド幅の設定を行なう
（ステップ８０９、８１０）。図７のフローチャートで
バッファメモリ７０１に特徴データがある場合が、通常
の移動体検出・追跡処理にあたり、特徴データがない場
合が模擬対象像をマイクロコンピュータ内で作成する処
理となる。

【００４２】また、処理の過程でマイクロコンピュータ
７０３は、前画面と同一と判断した像の判断結果を表示
装置４に出力・表示する。

【００４３】上述したように、本実施例では採取した画
像に対し、最初に色相判定による対象像候補の抽出と、
その特徴量にもとづいたニューラルネットワークによる
同一性判定を行っており、あらかじめ設定した対象を確
実に検出できる。これらの処理は、領域を限定して処理
量を減らし、また、上記の抽出・判定を並列的に実行す
ることで、処理の高速化を図っている。

【００４４】更に、処理装置３を複数用意し、並列的に
上記処理を行うことで、種類の異なる複数の移動体の検
出・追跡を高速で実行可能である。

【００４５】次に本発明に係る移物体検出・追跡装置の
他の実施例について説明する。本実施例では、前記実施
例と構成上、異なるのは特徴量抽出部６の構成を変更し
た点である。本実施例の特徴量抽出部６の構成を図９に
示す。同図において、６２１はＡ／Ｄ変換器、６２２は
１画面分の画像を記憶しているメモリである。メモリ６
２２には、あらかじめ背景画像を記憶させておく。６２
３は差演算器であり、アドレス設定器６１２からのウィ
ンドウアドレスとタイミング信号を受けて、Ａ／Ｄ変換
した画像とメモリ６２２に記憶されている背景画像との
差を求める。

【００４６】差演算器６２３の出力は、ウィンドウ内で
固定された背景画像と異なる部分、つまり、移動する画
像部分に対応する。この移動体候補の画像をメモリ６１
１に格納する。

【００４７】更に前記実施例と同様にマイクロコンピュ
ータ６１３で特徴量を求める。本実施例では、画面全体
の移動がすくない条件が不可欠であり、撮像装置１は完
全に固定、または、動きが極めて小さい状態で使用され
る。

【００４８】本実施例は、移動する対象画像のみを背景
画像から分離して抽出できる特長がある。本実施例と前
記実施例を組み合わせ、背景から分離した像の色相をあ
らかじめ設定する変形例も考えられる。

【００４９】

【発明の効果】本発明によれば、テレビカメラや赤外線
カメラ等で得た画像に対し、検出対象画像を他の部分の
画像と区別し、検出対象が存在する部分にウィンドウを
自動設定できる。

【００５０】また本発明によれば、検出対象が移動して
もウィンドウは高速で検出対象に自動追従するため、つ
ねに対象像を検出できる。

【００５１】更に本発明によれば、処理装置を複数、並
列に動作させるため、検出対象が複数個あっても各処理
装置が別個に各対象を検出・追跡できる。このため、屋
外のような画像条件が劣悪な場合でも、確実に移動体を
検出・追跡でき、その工学的効果は大きい。

【図面の簡単な説明】

【図１】本発明に係る移動体検出・追跡装置の一実施例
の構成を示すブロック図である。

【図２】テレビカメラ等の撮像装置の撮像走査と、同期
パルス及び映像信号との関係を示す説明図である。

【図３】図１に示した処理領域設定部の具体的構成を示
すブロック図である。

【図４】図１に示した特徴量抽出部の具体的構成を示す
ブロック図である。

【図５】図４におけるアドレス設定部の構成を示すブロ
ック図である。

【図６】ウィンドウ画面の一例を示す説明図である。

【図７】図１に示した同一性判定部の具体的構成を示す
ブロック図である。

【図８】図７に示す同一性判定部内の処理部の処理内容
を示すフローチャートである。

【図９】本発明に係る移動体検出・追跡装置の他の実施
例の要部の構成を示すブロック図である。

【符号の説明】

１撮像装置２撮像装置の駆動機構３処理装置４表示装置５処理領域設定部６特徴量抽出部７同一性判定部５０１減算計数器５０２減算計数器５０３減算計数器５０４減算計数器５０５クロック発生器５０６マイクロコンピュータ５０７フリップフロップ素子５０８フリップフロップ素子５０９ＡＮＤ素子５１０スイッチング素子６０１カラーデコーダ６０２窓型コンパレータ６０３窓型コンパレータ６０４窓型コンパレータ６０５レベル設定器６０６レベル設定器６０７レベル設定器６０８ＡＮＤ素子６０９スイッチング素子６１０アナログ／デジタル変換器６１１メモリ素子６１２アドレス設定器６１３マイクロコンピュータ７０１バッファメモリ７０２バッファメモリ７０３マイクロコンピュータ７０４ニューラルネットワーク６２１アナログ／デジタル変換器６２２メモリ６２３差演算器

Claims

【特許請求の範囲】

【請求項１】テレビカメラ等の撮像装置で得た画像を
処理して移動対象を検出・追跡する装置において、採取画像内の移動対象を含む領域に処理領域を設定する
手段と、該処理領域設定手段により設定された処理領域において
予め設定された検出対象の特徴に近い画像部分を抽出す
る特徴量抽出手段と、該特徴量抽出手段により抽出された画像がそれ以前に検
出対象画像と判定された画像と同一であるか否かを判定
し、その判定結果に基づいて処理領域を変化させるよう
に前記処理領域設定手段に指示する判定手段とからなる
処理装置を複数、有し、これら複数の処理装置で独立に
それぞれ異なる対象を検出・追跡することを特徴とする
移動体検出・追跡装置。
【請求項２】前記判定手段は、抽出した像の同一性判
定を行なう検出対象物の大きさ、位置に関連する情報を
予め学習させたニューラルネットワークを含んで構成さ
れたことを特徴とする請求項１に記載の移動体検出・追
跡装置。
【請求項３】前記特徴量抽出手段は、処理領域の対象
の抽出に、予め採取した背景画像と新たに採取した画像
との差を取った画像について特徴量を算出することを特
徴とする請求項１または２のいずれかに記載の移動体検
出・追跡装置。