JPH08241414A - 動物体検出・追跡装置と閾値決定装置 - Google Patents

Abstract

(57)【要約】 【目的】 動画像から動物体を検出、追跡する動画像追
跡装置に関し、動物体検出時の差分間隔や閾値の最適制
御、静止物体の特徴抽出などにより、安定した動物体の
検出、追跡を実現する。 【構成】 フレーム間差分型動物体検出部１１では、動
き情報抽出部で求めた動物体の移動速度に基づきフレー
ム間隔制御部が差分間隔を制御し、隣接画素間差分値算
出部により求めた差分値の頻度分布から求めた閾値を用
いて動物体を検出する。二つの動物体検出部１１、１２
の検出結果は、統合処理部１３で動物体の存在確率に変
換される。動物体追跡部１４では動物体特徴抽出部、並
びに、静止物体特徴抽出部で抽出した特徴量を動物体対
応付け部、静止物体対応付け部により対応付ける。前記
処理は画像分割部１０で分割された領域毎に最適実行さ
れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像から動物体を抽
出、追跡する動画像抽出・追跡装置、並びに、フレーム
間差分画像から動物体を抽出する際の閾値をフレーム画
像そのものから決定する閾値決定装置に関するものであ
る。

【０００２】

【従来の技術】近年、動画像から動物体を検出、追跡す
る装置は、監視カメラを用いた監視システムにおいて盛
んに利用されるようになってきた。この追跡装置とし
て、例えば、「移動物体追跡を利用した屋外駐車場にお
ける車両計測」（長谷川、小沢、１９９３年電子情報通
信学会論文誌Ｖｏｌ．Ｊ７６−Ｄ２ Ｎｏ．７）にフレ
ーム間差分を用いた装置が開示されている。また、複数
の動物体検出部を併用した動物体検出装置として、例え
ば、特開平６−１８０７４９号公報に開示されているも
のがある。

【０００３】以下、図１５を参照してフレーム間差分を
用いた従来の動物体追跡装置について説明する。図１５
において、１０００、１００５はフレームメモリ、１０
０１、１００６は遅延フレームメモリ、１００２は差分
器、１００３は２値化部、１００４はラベル付け部、１
００７は動物体追跡部、１００８、１００９は端子であ
る。

【０００４】以上のように構成された動物体追跡装置に
ついて、以下その動作を説明する。端子１００８から入
力された原画像はフレームメモリ１０００に記憶され
る。このとき、遅延フレームメモリ１００１には、予め
定められた遅延時間だけ前のフレームメモリ１０００の
内容が記憶される。差分器１００２は、フレームメモリ
１０００、並びに、遅延フレームメモリ１００１から対
応する画素値を読み出し、その差分値を２値化部１００
３へ出力する。２値化部１００３は、予め定められた閾
値により差分器１００２からの出力を、例えば、閾値以
上の値を動領域として１、それ以外の値を静止領域とし
て０にそれぞれ２値化し、ラベル付け部１００４へと出
力する。ラベル付け部１００４では、孤立点除去や、閉
領域の塗り潰し処理などにより２値化部１００３から入
力される画像を整形した後、閉領域毎にラベルを付け、
フレームメモリ１００５へ出力する。このとき、各ラベ
ルが一つの動物体に対応する。遅延フレームメモリ１０
０６には、予め定められた遅延時間だけ前のフレームメ
モリ１００５の内容が記憶される。動物体追跡部１００
７では、フレームメモリ１００５、並びに、遅延フレー
ムメモリ１００６から記憶内容を読み出し、例えば、各
動物体の重心位置を求め、フレームメモリ１００５、遅
延フレームメモリ１００６間で重心距離が一定の距離以
下となる最少の動物体同士を対応付けることで動物体を
追跡する。端子１００９からは、動物体追跡装置１００
７の追跡結果が出力される。

【０００５】次に、図１６を参照して背景差分とフレー
ム間差分とを併用した従来方式の動物体検出装置につい
て説明する。図１６において、１０１０はフレーム間差
分型動物体検出部、１０１１は背景差分型動物体検出
部、１０１２は統合処理部、１０１３、１０１４、１０
１５は端子である。

【０００６】以上のように構成された動物体検出装置に
ついて、以下その動作を説明する。フレーム間差分型動
物体検出部１０１０、並びに、背景差分型動物体検出部
１０１１では、端子１０１３から入力される原画像を動
物体は１、それ以外は０として２値化した後、その結果
を統合処理部１０１２に出力する。なお、端子１０１４
からは、予め背景画像が入力されている。統合処理部１
０１２では、フレーム間差分型動物体検出部１０１０、
並びに、背景差分型動物体検出部１０１１から入力され
る２値画像の論理積を取り、真の動物体のみを抽出し
て、その結果を端子１０１５から出力する。

【０００７】また、閾値を決定する装置は、監視システ
ムなどにおいて動画像から動物体を抽出する際の閾値決
定装置として盛んに利用されるようになってきた。この
閾値決定装置として、例えば、「判別および最少２乗規
準に基づく自動しきい値選定法」（大津、１９８０年電
子通信学会論文誌Ｖｏｌ．Ｊ６３Ｄ Ｎｏ．４）が開示
されている。従来、フレーム間差分画像を２値化する場
合、閾値決定装置は、２値化の対象となるフレーム間差
分画像そのものを入力とし、判別分析法などを用いて前
記入力画像を分析することにより最適な閾値を決定して
いた。

【０００８】以下、図１７を参照してフレーム間差分画
像から動物体を抽出する際の閾値を決定する従来の閾値
決定装置について説明する。図１７において、１０２０
はフレームメモリ、１０２１は遅延フレームメモリ、１
０２２は差分器、１０２３はヒストグラム算出部、１０
２４は判別分析部、１０２５、１０２６は端子である。

【０００９】以上のように構成された閾値決定装置につ
いて、以下その動作を説明する。端子１０２５から入力
された原画像は、フレームメモリ１０２０に記憶され
る。遅延フレームメモリ１０２１には、予め定められた
遅延時間だけ前のフレームメモリ１０２０の内容が記憶
される。差分器１０２２は、フレームメモリ１０２０、
並びに、遅延フレームメモリ１０２１から対応する画素
値を読み出し、その差分値をヒストグラム算出部１０２
３へ出力する。ヒストグラム算出部１０２３では、差分
器１０２２から出力される差分画像の画素値のヒストグ
ラムを求め、判別分析部１０２４へ出力する。判別分析
部１０２４では、ヒストグラム算出部１０２３から入力
されるヒストグラムから判別分析法を用いて閾値を決定
し、端子１０２６から出力する。

【００１０】

【発明が解決しようとする課題】しかしながら、前記、
従来の構成の動物体検出装置では、フレーム間差分を求
める際のフレーム間隔が予め設定された値に固定である
ため、特定の範囲の移動速度を持つ動物体しか安定して
抽出できないという課題を有していた。さらに、前記従
来の動物体検出装置では、ある範囲に動物体が存在する
かしないかの２者択一の出力であるため、追跡装置で動
物体検出装置での分析結果を十分に利用することが困難
であった。

【００１１】また、前記、従来の構成の動物体追跡装置
では、動物体検出装置により検出した動物体同士の対応
のみを取っているため、動物体が静止して動物体検出装
置で検出されなくなると、その動物体の追跡は打ち切ら
れていた。つまり、再び同一の物体が動き出して、再度
動物体検出装置により検出されても、以前追跡していた
動物体との対応が取れず、全く別の動物体として新たに
追跡を始めるという課題を有していた。

【００１２】さらに、前記、従来の構成の閾値決定装置
では、フレーム間差分画像そのものの分析により閾値を
決定するため、動物体の移動速度や大きさに応じて出力
される閾値が変動するという課題を有していた。

【００１３】さらに、前記従来の構成の動物体検出・追
跡装置、及び、閾値決定装置では、フレーム全体に同一
の条件を適用していたため、移動速度の異なる複数の動
物体が存在する場合や、フレーム内で環境条件が異なる
場合、必ずしも全ての動物体に対してフレーム間隔や閾
値といった変数を最適な値に設定出来ないという課題を
有していた。

【００１４】本発明は、前記従来の課題を解決するもの
で、動物体の移動速度に関らず、安定して動物体を検出
する動物体検出装置を提供することを第１の目的とす
る。

【００１５】本発明の第２の目的は、動物体検出装置で
の分析結果を追跡装置において有効に活用することで、
動物体追跡の精度、及び、検出の精度を向上させた動物
体検出装置を提供することである。

【００１６】本発明の第３の目的は、動物体が一旦静止
して、動物体検出装置により検出出来なくなった後に再
び動き出した場合でも、静止前と同一の動物体として追
跡を続けられる動物体追跡装置を提供することである。

【００１７】本発明の第４の目的は、フレーム間差分を
用いて動物体を抽出する際の最適な閾値を動物体の移動
速度や大きさの影響を受けずに決定する閾値決定装置を
提供することである。

【００１８】本発明の第５の目的は、同一画像内に移動
速度の異なる複数の動物体が存在する場合や、フレーム
内で照明条件が異なる場合でも、全ての動物体に対して
フレーム間隔や閾値といった変数を最適な値に設定する
ことで、常に安定して動物体を検出、追跡できる動物体
検出・追跡装置と閾値決定装置を提供することである。

【００１９】

【課題を解決するための手段】第１の目的を達成するた
め、本発明の動物体検出装置は、動き情報検出部とフレ
ーム間隔制御部とを有している。

【００２０】第２の目的を達成するため、本発明の動物
体検出装置は、複数の動物体検出部と、前記動物体検出
部の出力から領域毎に動物体の存在確率を求める統合処
理部とを有している。

【００２１】第３の目的を達成するため、本発明の動物
体追跡装置は、静止判定部、静止物体特徴記憶部、並び
に、静止物体対応付け部とを有している。

【００２２】第４の目的を達成するため、本発明の閾値
決定装置は、フレーム画像を入力として、フレーム間差
分画像の抽出閾値を決定する閾値決定部を有している。

【００２３】第５の目的を達成するため、本発明の動物
体検出・追跡装置と閾値決定装置は、画像分割部を有し
ている。

【００２４】

【作用】第１の目的を達成するための前記構成によっ
て、動き情報抽出部で抽出した動物体の動き情報がフレ
ーム間隔制御部に入力され、フレーム間隔制御部では、
検出対象となる動物体の動きに適したフレーム間隔を算
出することが可能となる。これにより、フレーム間隔制
御部は、フレーム間差分を取る際のフレーム間隔を常に
最適な値へと制御できる。

【００２５】第２の目的を達成するための前記構成によ
って、複数の動物体検出部からの出力結果を基に、統合
処理部では、領域毎の動物体の存在確率を求めることが
可能となる。この結果、動物体の追跡処理においても、
動物体検出装置での分析結果を有効に利用することが可
能となり、追跡精度が向上する。また、追跡処理の段階
で対応の取れない領域を除去出来るため、動物体の検出
精度も向上する。

【００２６】第３の目的を達成するための前記構成によ
って、静止判定部により動物体の静止を確認した後、静
止物体特徴記憶部に静止した動物体に間する特徴を記憶
しておくことが可能となる。これにより、一旦静止した
動物体が再び動き始めた場合でも、新たに検出された動
物体の特徴と静止物体特徴記憶部に記憶されている静止
物体の特徴とを照合することが可能となり、追跡を続行
できる。

【００２７】第４の目的を達成するための前記構成によ
って、フレーム間差分画像から動物体を検出する際の閾
値をフレーム画像から一意に決定できる。

【００２８】第５の目的を達成するための前記構成によ
って、画像分割部により画像を複数の領域に分割するこ
とで、フレーム間差分を取る際のフレーム間隔や、動物
体検出の際の閾値などを分割された領域毎に最適な値に
決定出来るので、安定した動物体の検出・追跡が可能と
なる。

【００２９】

【実施例】

（実施例１）以下本発明の第１の実施例について、図面
を参照しながら説明する。図１は本発明の第１の実施例
における動物体追跡装置の構成を示す図である。図１に
おいて、１０は画像分割部、１１はフレーム間差分型動
物体検出部、１２は背景差分型動物体検出部、１３は統
合処理部、１４は動物体追跡部、１５、１６は端子であ
る。

【００３０】以下、本実施例の動作を説明する。端子１
５から入力された原画像は、画像分割部１０、フレーム
間差分型動物体検出部１１、背景差分型動物体検出部１
２、動物体追跡部１４にそれぞれ入力される。画像分割
部１０では、例えば、水平１６画素、垂直１６画素の計
２５６画素を構成要素とする、予め定められた大きさの
ブロックに端子１５からの入力画像を分割する。分割し
た結果は、フレーム間差分型動物体検出部１１、背景差
分型動物体検出部１２にそれぞれ出力される。フレーム
間差分型動物体検出部１１では、画像分割部１０からの
分割結果毎に、フレーム間差分を用いて端子１５からの
入力画像中の動物体を検出する。このとき、フレーム間
差分型動物体検出部１１では、自己の検出結果、並び
に、背景差分型動物体検出部１２での検出結果を用いて
フレーム間差分を取る際のフレーム間隔を制御する。背
景差分型動物体検出部１２では、端子１５からの入力画
像と、これまでに入力された画像から画像分割部１０の
分割結果毎に作成した背景画像との差分を取ることによ
り動物体を検出する。フレーム間差分型動物体検出部１
１、並びに、背景差分型動物体検出部１２の検出結果
は、統合処理部１３へと入力され、画素毎に動物体の存
在確率が算出される。動物体追跡部１４では、統合処理
部１３から入力された動物体の存在確率に基づいて、フ
レーム間での動物体を対応付け、端子１６から出力す
る。

【００３１】次に、図２を参照して図１におけるフレー
ム間差分型動物体検出部１１のさらに詳細な構成、及
び、動作について説明する。図２において、２０は閾値
決定部、２１は動き情報抽出部、２２はフレーム間差分
動物体検出部、２３はフレーム間隔制御部である。

【００３２】以下、その動作を説明する。閾値決定部２
０は、画像分割部１０から入力される分割領域毎に、端
子１５から入力される原画像から動物体を検出する際の
２値化の閾値を直接決定する。動き情報抽出部２１で
は、端子１５から入力される原画像を用いて、動物体毎
のオプティカルフロー（水平、垂直の各成分を持つ２次
元ベクトル）を算出してフレーム間隔制御部２３へと出
力する。その際、動き情報抽出部２１では、背景差分型
動物体検出部１２、並びに、フレーム差分動物体検出部
２２から入力される検出結果を用いてオプティカルフロ
ーの検出範囲を制限する。なお、オプティカルフローと
しては、画像分割部１０から入力される分割領域毎の平
均値が出力される。また、オプティカルフローを検出し
ない領域のオプティカルフローは０とする。フレーム間
隔制御部２３では、動き情報抽出部２１から入力される
オプティカルフローの各成分が１以上の場合はフレーム
間隔として１を、１未満の場合は各成分を整数倍した値
の少なくとも１つが１以上になる最少の整数を、それぞ
れフレーム間隔として出力する。但し、フレーム間隔の
最大値を、例えば５に制限して、動きの小さすぎるもの
を検出から除外する。フレーム間差分動物体検出部２２
では、画像分割部１０から入力される分割領域毎に、フ
レーム間隔制御部２３から入力されるフレーム間隔で、
端子１５から入力される画像のフレーム間差分を取り、
閾値決定部２０から入力される閾値によって動物体を検
出する。検出結果は統合処理部１３へ出力される。

【００３３】次に、図３を参照して図２におけるフレー
ム間差分動物体検出部２２の更に詳細な構成、及び、動
作について説明する。図３において、３０はフレームメ
モリ、３１は遅延フレームメモリ、３２は差分器、３３
は２値化部、３４はラベル付け部である。

【００３４】以下、その動作を説明する。端子１５から
入力された原画像は、フレームメモリ３０に記憶され
る。遅延フレームメモリ３１は、分割領域毎にフレーム
間隔制御部２３から入力されるフレーム間隔数だけ以前
のフレーム内容を記憶する。差分器３２は、フレームメ
モリ３０と遅延フレームメモリ３１との画素毎の差分を
取り、２値化部３３へと出力する。２値化部３３では、
閾値決定部２０から入力される閾値により、差分器３２
からの出力を分割領域毎に２値化する。なお、画像分割
部１０からの画像分割結果が遅延フレームメモリ３１、
並びに、２値化部３３へと入力される。ラベル付け部３
４では、２値化部３３からの出力を閉領域の塗り潰し処
理した後、閉領域毎に異なったラベルをつけて統合処理
部１３へ出力する。

【００３５】次に、図４を参照して図２における動き情
報抽出部２１の更に詳細な構成、及び、動作について説
明する。図４において、４０はフレームメモリ、４１は
遅延フレームメモリ、４２は対象制限部、４３はオプテ
ィカルフロー算出部、４４はオプティカルフロー平均部
である。

【００３６】以下、その動作を説明する。端子１５から
入力された原画像は、フレームメモリ４０に記憶され
る。遅延フレームメモリ４１には、１フレーム前のフレ
ームメモリ４０の内容が記憶される。対象制限部４２で
は、画像分割部１０から入力される画像の分割結果毎
に、背景差分型動物体検出部１２、及び、フレーム間差
分動物体検出部２２から入力される動物体がその中に含
まれるかどうかを判定する。中に含まれる場合はオプテ
ィカルフローの算出対象とし、含まれない場合は算出対
象から除外して、オプティカルフローの算出範囲を制限
する。オプティカルフロー算出部４３では、オプティカ
ルフローの算出対象となった画素のオプティカルフロー
を勾配法により算出し、オプティカルフロー平均部４４
へ出力する。オプティカルフロー平均部４４では、画像
分割部１０から入力される分割領域毎にオプティカルフ
ローの平均を求め、フレーム間隔制御部２３へその結果
を出力する。

【００３７】次に、図５を参照して図１における背景差
分型動物体検出部１２の更に詳細な構成、及び、動作に
ついて説明する。図５において、５０はフレームメモ
リ、５１はモードフィルタ、５２は背景メモリ、５３は
差分器、５４は２値化部、５５はラベル付け部である。

【００３８】以下、その動作を説明する。端子１５から
入力された原画像は、フレームメモリ５０に記憶され
る。モードフィルタ５１では、画像分割部１０から入力
される画面の分割結果毎に予め定められた枚数のフレー
ムから画素毎の最頻値を求め、背景メモリ５２へ格納す
る。差分器５３は、フレームメモリ５０の現在のフレー
ムの値と、背景メモリ５２の値との差分値を画素毎に計
算する。２値化部５４では、差分器５３からの出力を予
め定められた閾値で２値化し、ラベル付け部５５に出力
する。ラベル付け部５５では、２値化部５４から入力さ
れる２値画像を領域毎にラベル付けし、統合処理部１３
へ出力する。

【００３９】次に、図６を参照して図１における統合処
理部１３の更に詳細な構成、及び、動作について説明す
る。図６において、６０は正規化部、６１は加算器、６
２はメモリ、６３は確率算出部である。

【００４０】以下、その動作を説明する。正規化部６０
では、フレーム間差分型動物体検出部１１、及び、背景
差分型動物体検出部１２から入力される動物体の検出結
果を予め定められた範囲の数値に変換する。例えば、２
つの動物体検出部１１、１２からその検出結果を入力さ
れる場合、それぞれの検出結果に、動物体が検出された
画素については１の値を、それ以外の画素については０
の値をつける。これらの出力は、動物体検出部１１、１
２毎に出力され、加算器６１によりメモリ６２に記憶さ
れているこれまでの画素毎の加算結果に加算される。確
率算出部６３では、メモリ６２から画素毎の加算結果を
読み出し、動物体の存在確率を計算する。例えば、前記
２つの動物体検出部１１、１２からの入力を処理する場
合は、メモリ６２に記憶されている各画素の加算結果を
１／２倍して、動物体の存在確率とする。メモリ６２内
のデータは、各フレームの処理が終了する度に全て０に
クリアされる。なお、正規化部６０では、例えば、主と
して動きの大きな動物体を検出したい場合には、フレー
ム間差分型動物体検出部１１からの出力に大きな値をつ
け、動きの小さな動物体を検出したい場合には、背景差
分型動物体検出部１２からの出力に大きな値をつけるな
どして、目的に応じて各動物体検出部からの出力を重み
付けることで、検出精度を向上することも可能である。

【００４１】次に、図７を参照して図１における動物体
追跡部１４の更に詳細な構成、及び、動作について説明
する。図７において、７０は動物体特徴抽出部、７１は
動物体特徴記憶部、７２は動物体対応付け部、７３は静
止判定部、７４は静止物体特徴記憶部、７５は静止物体
対応付け部、７６は静止物体特徴抽出部である。

【００４２】以下、その動作を説明する。動物体特徴抽
出部７０では、統合処理部１３から入力される動物体の
検出結果と端子１５から入力される原画像とから、各動
物体の特徴を抽出する。抽出した特徴は、動物体特徴記
憶部７１に格納するとともに、動物体対応付け部７２に
出力する。動物体対応付け部７２では、動物体特徴抽出
部７０から入力される現在の動物体の特徴と、動物体特
徴記憶部７１から呼び出した過去の動物体の特徴とを比
較して、フレーム間で動物体を対応付ける。静止判定部
７３では、動物体対応付け部７２の対応付け結果を用い
て、例えば、重心位置の移動距離から動物体の移動速度
を算出し、動物体が静止したかどうかを判定する。静止
判定部７３により、静止したと判定された動物体につい
ては、動物体特徴記憶部７１の対応する動物体に関する
記憶内容、並びに、静止物体特徴抽出部７６により新た
に抽出した特徴を静止物体特徴記憶部７４へと格納す
る。静止物体対応付け部７５では、静止物体が存在する
場合、つまり、静止物体特徴記憶部７４に静止物体の特
徴が格納されている場合は、静止物体特徴記憶部７４の
内容と、順次更新される動物体特徴記憶部７１の内容と
を比較して、現在検出されている動物体と、現存する静
止物体とを対応付けることで、静止物体が再び動き始め
たかどうかを逐次確認する。動物体と静止物体との対応
が取れて、静止物体が再び動きだしたと判定された場合
には、静止物体特徴記憶部７４の該当する静止物体に関
する特徴を消去する。動物体対応付け部７２、及び、静
止物体対応付け部７５の対応付け結果は、端子１６から
出力される。

【００４３】次に、図８を参照して図７における動物体
特徴抽出部７０の更に詳細な構成、及び、動作について
説明する。図８において、８０は重心算出部、８１は平
均輝度算出部である。

【００４４】以下、その動作を説明する。重心算出部８
０では、統合処理部１３から入力された動物体の検出結
果から各動物体の重心を求める。本実施例では、統合処
理部１３から動物体の存在確率が入力されるので、重心
の計算では存在確率の重心を求める。平均輝度算出部８
１では、統合処理部１３からの入力を基に、端子１５か
ら入力される原画像を用いて各動物体の平均輝度を求め
る。平均輝度の算出においては、存在確率で重み付けす
る。つまり、存在確率が１／２の場合、輝度、個数とも
に実際の値の１／２として平均する。重心算出部８０、
並びに、平均輝度算出部８１の算出結果は動物体対応付
け部７２へ出力される。

【００４５】次に、図９を参照して図７における動物体
対応付け部７２の更に詳細な構成、及び、動作について
説明する。図９において、９０は重心距離算出部、９１
は輝度距離算出部、９２は判定部である。

【００４６】以下、その動作を説明する。動物体特徴抽
出部７０から入力される各動物体の現在、及び、動物体
特徴記憶部７１から入力される過去の動物体の重心位置
から重心距離算出部９０では、現在と過去との重心距離
を算出して、判定部９２へ出力する。また、輝度距離算
出部９１では、輝度距離として、動物体特徴抽出部７
０、並びに、動物体特徴記憶部７１から入力される平均
輝度から輝度の絶対差分値を計算して、判定部９２へ出
力する。判定部９２では、予め定められた上限値よりも
小さい重心距離、輝度距離を持つ動物体同士のうち、重
心距離と輝度距離との和が最少となる動物体同士を対応
付ける。対応結果、並びに、対応した動物体の重心距
離、輝度距離は、端子１６、及び、静止判定部７３へ出
力される。

【００４７】次に、図１０を参照して図７における静止
物体対応付け部７５の更に詳細な構成、及び、動作につ
いて説明する。図１０において、１００は重心距離算出
部、１０１は輝度距離算出部、１０２は判定部である。

【００４８】以下、その動作を説明する。静止判定部７
３から静止物体が存在するとの信号を受けると、重心距
離算出部１００、及び、輝度距離算出部１０１は、静止
物体特徴記憶部７４から読み出した静止物体の重心位
置、輝度平均、並びに、動物体特徴記憶部７１から入力
される新たに検出された動物体の重心位置、輝度平均と
から、現在存在する静止物体と新たに検出された動物体
との重心距離、輝度距離をそれぞれ算出して、判定部１
０２へ出力する。判定部１０２では、重心距離と輝度距
離との和が予め定められた値よりも小さいときに既存の
静止物体と新たに検出された動物体とを対応付けて、端
子１６から出力する。また、静止物体と動物体との対応
が取れた場合、判定部１０２は、静止物体特徴記憶部７
４へ信号を送り、対応のついた静止物体に関する特徴デ
ータを消去する。

【００４９】次に、図１１を参照して図７における静止
物体特徴抽出部７６の更に詳細な構成、及び、動作につ
いて説明する。図１１において、１１０は平均輝度算出
部である。

【００５０】以下、その動作を説明する。平均輝度算出
部１１０は、静止判定部７３から静止物体が発生したと
の入力を受けた場合、又は、静止物体特徴記憶部７４に
静止物体の特徴が記憶されている場合に、静止物体特徴
記憶部７４に記憶されている静止物体の存在確率を基
に、端子１５から順次入力される原画像を用いて静止物
体の平均輝度を算出し、静止物体特徴記憶部７４の記憶
内容を更新する。

【００５１】次に、図１２を用いて図２における閾値決
定部２０の更に詳細な構成、及び、動作について説明す
る。図１２（ａ）において、１２０は隣接画素間差分値
算出部、１２１はメモリ、１２２は変化率算出部、１２
３は閾値算出部である。また、図１２（ｂ）は隣接画素
間差分値算出部１２０の構成を示す図であり、１２６は
遅延素子、１２７は差分素子である。

【００５２】以下、その動作を説明する。画像分割部１
０、及び、端子１５からは、原画像をラスタスキャンし
たときの順番で順次各画素の値が入力される。差分素子
１２７は、画像分割部１０、及び、端子１５から入力さ
れた画素値と遅延素子１２６とから入力される１画素だ
け前の画素値との差分を取り、メモリ１２１へ出力す
る。メモリ１２１では、このように動作する隣接画素間
差分値算出部１２０から出力された隣接画素間差分値を
差分値毎にその頻度を求め、差分値毎に定められたメモ
リ空間に格納する。これにより、フレーム内の隣接画素
間差分値の頻度分布を求めることが出来る。画像内の全
ての画素について差分を取り終えた後、変化率算出部１
２２は、メモリ１２１に格納された隣接画素間差分値の
頻度分布からその変化率を求める。変化率としては、例
えば、差分値をｉ、頻度分布をｈ（ｉ）としたとき、ｈ
（ｉ）／ｈ（ｉ−１）とする。閾値算出部１２３では、
例えば、ｉを０から順に１ずつ大きくしていき、変化率
算出部１２２で算出した変化率が、予め定められた値以
上となる最初の値を閾値として、フレーム間差分動物体
検出部２２へ出力する。

【００５３】以上、本実施例におけるフレーム間差分型
動物体検出部１１によれば、フレーム間差分動物体検出
部２２、動き情報抽出部２１、並びに、フレーム間隔制
御部２３を設けることにより、画像中の動物体の移動速
度に適したフレーム間隔でフレーム間差分を取ることが
可能となり、動物体の移動速度によらない安定した動物
体検出が実現出来る。なお、本実施例では、勾配法によ
りオプティカルフローを求め、動物体の移動速度を算出
しているが、例えば、ブロックマッチング法や動物体の
過去の位置の変化から移動速度を算出したりするなど、
様々な移動速度算出法と組み合わせることが出来る。

【００５４】また、本実施例における統合処理部１３に
よれば、正規化部６０と確率算出部６３とを設けること
により、単独、又は、複数の動物体検出部１１、１２か
らの出力を各画素における動物体の存在確率に変換する
ことで、安定した動物体の検出が可能になるとともに、
動物体検出部１１、１２での分析結果を動物体追跡部１
４において利用することが可能となり、動物体の追跡精
度を向上できる。なお、本実施例では、統合処理部１３
への入力が２値画像であるが、各動物体検出部１１、１
２に専用の統合処理部を設け、それを１つの動物体検出
部として、動物体の存在確率を統合処理部への入力とし
てもよい。

【００５５】また、本実施例の動物体追跡部１４によれ
ば、動物体特徴抽出部７０、動物体特徴記憶部７１、動
物体対応付け部７２、静止判定部７３、静止物体特徴記
憶部７４、並びに、静止物体対応付け部７５を設けるこ
とにより、画面内で動物体が静止して動物体検出部１
１、１２により検出できなくなった後に、再び動き出し
て動物体として再検出された場合でも、新たに検出され
た動物体と以前停止した動物体とを対応付けることが出
来る。つまり、追跡対象が一旦静止して、再度動き出し
た場合でも、引き続き同一の物体として追跡を続行する
ことが出来る。更に、静止物体特徴抽出部７６を設ける
ことにより、静止物体の特徴を逐次更新できるため、物
体が静止している間に照明条件が変化してその特徴が大
きく変化した場合にも、追跡を続行できる。なお、本実
施例では、動物体、静止物体の特徴として輝度平均を用
いているが、色情報や輝度の分散値など様々な特徴量を
使用出来る。

【００５６】また、本実施例における閾値決定部２０に
よれば、隣接画素間差分値算出部１２０、変化率算出部
１２２、並びに、閾値算出部１２３を設けることによ
り、隣接画素間差分値のヒストグラムの変化率を求める
ことが可能となり、原画像そのものからフレーム間差分
画像を２値化する際の閾値を決定出来る。つまり、動物
体の動き方や大きさによらない最適な閾値を一意に決定
できる。更に、差分画像の作成と独立して閾値を決定で
きるため、処理時間も短縮できる。なお、本実施例で
は、全ての水平方向の隣接画素間差分を用いているが、
８近傍全での隣接画素間差分を用いたり、サンプリング
により一部の隣接画素間差分のみを用いたりしても良
い。

【００５７】また、本実施例における画像分割部１０に
よれば、画面内に複数の動物体が存在する場合でも、２
値化の閾値やフレーム間差分を取る際のフレーム間隔な
どの変数を動物体毎に最適値に設定できる。また、照明
条件や背景の状態が画面内で大きく変化している場合に
も、その状態に応じて背景の作成方法や統合処理部での
存在確率の計算方法などを適宜変更することが出来るた
め、安定して動物体を検出、追跡出来る。なお、本実施
例では、予め定められた大きさのブロックに画面を分割
しているが、エッジに基づく分割方法や輝度平均に基づ
く分割方法など既存の画像分割アルゴリズムを用いて分
割してもよい。

【００５８】（実施例２）以下、本発明の第２の実施例
について、図面を参照しながら説明する。図１３は本発
明の第２の実施例における閾値決定部２０Ａの構成を示
す図であり、他の構成は第１の実施例と同じなので、重
複した説明は省略し、ここでは閾値決定部２０Ａについ
てのみ説明する。図１３において、１３０は隣接画素間
差分値算出部、１３１はメモリ、１３２はピーク検出
部、１３３は閾値算出部である。

【００５９】以下、その動作を説明する。画像分割部１
０、及び、端子１５からは、原画像をラスタスキャンし
たときの順番で順次各画素の値が入力される。隣接画素
間差分値算出部１３０は、図１２（ｂ）と同様にして隣
接画素間差分値を算出し、差分値毎に定められたメモリ
１３１内のメモリ空間内にその値が発生した頻度を格納
する。これにより、フレーム内の隣接画素間差分値の頻
度分布を求めることが出来る。ピーク検出部１３２で
は、メモリ１３１に格納された隣接画素間差分値の頻度
分布がピークとなる値、及び、その時の頻度を求め、画
面全体の画素数から、隣接画素間差分値がピーク値を取
る確率Ｐを求める。閾値算出部１３３は、ピーク検出部
１３２から入力されるピーク値を取る確率Ｐと、予め定
められた有意水準から求められる棄却域の上限値Ｒとか
ら、正規分布を仮定したときに得られる下記の式（１）
により閾値Ｔを求める。この閾値Ｔは、フレーム間差分
動物体検出部２２へ出力される。 Ｔ＝√（２π）Ｐ ・・・（１）

【００６０】以上、本実施例の閾値決定部２０Ａによれ
ば、隣接画素間差分値算出部１３０、ピーク検出部１３
２、並びに、閾値決定部１３３を設けることにより、隣
接画素間差分値のヒストグラムのピーク値を求めること
が可能となり、原画像そのものからフレーム間差分画像
を２値化する際の閾値を一意に決定出来る。つまり、動
物体の動き方や大きさによらない最適な閾値を決定でき
る。更に、差分画像の作成と独立して閾値を決定できる
ため、処理時間も短縮できる。

【００６１】（実施例３）以下、本発明の第３の実施例
について、図面を参照しながら説明する。図１４は本発
明の第３の実施例における閾値決定部２０Ｂの構成を示
す図であり、他の構成は第１の実施例と同じなので、重
複した説明は省略し、ここでは閾値決定部２０Ｂについ
てのみ説明する。図１４（ａ）において、１４０は隣接
画素間差分値算出部、１４１は頻度算出部、１４２は閾
値算出部である。また、図１４（ｂ）は頻度算出部１４
１の構成を示す図であり、１４５は判定部、１４６はカ
ウンタである。

【００６２】以下、その動作を説明する。画像分割部１
０、及び、端子１５からは、原画像をラスタスキャンし
たときの順番で順次各画素の値が入力される。隣接画素
間差分値算出部１４０は、図１２（ｂ）と同様にして隣
接画素間差分値を算出し、頻度算出部１４１へと出力す
る。頻度算出部１４１では、判定部１４５が、入力され
た隣接画素間差分値がピーク値として予め予測された値
に等しい場合に、その旨をカウンタ１４６に通知する。
カウンタ１４６は、判定部１４５からの通知数を画像毎
にカウントし、フレーム毎にその数を閾値算出部１４２
へ出力する。これにより、カウンタ１４６は、ピーク値
として予め予測された値と一致した隣接画素間差分値の
個数をカウントできる。閾値算出部１４２では、頻度算
出部１４１の出力と画面内の画素数とから、隣接画素間
差分値がピーク値として予め予測された値を取る確率Ｐ
を求め、予め定められた有意水準から求められる棄却域
の上限値Ｒを用いて正規分布を仮定したときに得られる
前記式（１）により閾値Ｔを求める。この閾値は、フレ
ーム間差分動物体検出部２２へ出力される。

【００６３】以上、本実施例の閾値決定部２０Ｂによれ
ば、隣接画素間差分値算出部１４０、頻度算出部１４
１、並びに、閾値決定部１４２を設けることにより、簡
易な構成により安定した閾値を決定出来る。更に、差分
処理の終了と同時に閾値を決定できるため処理時間が短
縮される。

【００６４】

【発明の効果】以上のように、本発明のフレーム間差分
型動物体検出装置によれば、、動き情報抽出部、並び
に、フレーム間隔制御部を設けることにより、動物体の
移動速度によらず常に安定して動物体を検出できる優れ
たフレーム間差分型動物体検出装置を実現できるもので
ある。

【００６５】また、本発明の動物体検出装置によれば、
確率算出部をその構成要素とする統合処理部を設けるこ
とにより、安定して動物体を検出でき、かつ、高精度の
動物体追跡を可能にする優れた動物体検出装置を実現で
きるものである。

【００６６】また、本発明の動物体追跡装置によれば、
静止判定部、静止物体特徴記憶部、並びに、静止物体対
応付け部を設けることにより、追跡対象が長時間静止し
た場合でも対象を追跡することができる優れた動物体追
跡装置を実現できるものである。

【００６７】また、本発明の閾値決定装置によれば、隣
接画素間差分値算出部と閾値算出部とを設けることによ
り、原画像そのものからフレーム間差分画像を２値化す
る際の閾値を決定することで、動物体の動き方や大きさ
によらず常に最適な閾値を決定出来る優れた閾値決定装
置を実現できるものである。

【００６８】また、本発明の動物体検出・追跡装置と閾
値決定装置によれば、画像分割部を設けることにより、
個々の動物体や領域毎に異なる照明条件に適した処理を
実現することで、安定して動物体を検出、追跡できる優
れた動物体検出・追跡装置と閾値決定装置を実現できる
ものである。

【図面の簡単な説明】

【図１】本発明の第１の実施例における動物体追跡装置
の構成を示すブロック図

【図２】第１の実施例におけるフレーム間差分型動物体
検出部の構成を示すブロック図

【図３】同フレーム間差分型動物体検出部におけるフレ
ーム間差分動物体検出部の構成を示すブロック図

【図４】同フレーム間差分型動物体検出部における動き
情報抽出部の構成を示すブロック図

【図５】第１の実施例における背景差分型動物体検出部
の構成を示すブロック図

【図６】第１の実施例における統合処理部の構成を示す
ブロック図

【図７】第１の実施例における動物体追跡部の構成を示
すブロック図

【図８】同動物体追跡部における動物体特徴抽出部の構
成を示すブロック図

【図９】同動物体追跡部における動物体対応付け部の構
成を示すブロック図

【図１０】同動物体追跡部における静止物体対応付け部
の構成を示すブロック図

【図１１】同動物体追跡部における静止物体特徴抽出部
の構成を示すブロック図

【図１２】（ａ）は第１の実施例のフレーム間差分型動
物体検出部における閾値決定部の構成を示すブロック図 （ｂ）同閾値決定部における隣接画素間差分値算出部の
構成を示すブロック図

【図１３】本発明の第２の実施例における閾値決定部の
構成を示すブロック図

【図１４】（ａ）は本発明の第３の実施例における閾値
決定部の構成を示すブロック図 （ｂ）同閾値決定部における頻度算出部の構成を示すブ
ロック図

【図１５】従来の動物体追跡装置の構成を示すブロック
図

【図１６】従来の背景差分とフレーム間差分とを併用し
た動物体検出装置の構成を示すブロック図

【図１７】従来の閾値決定装置の構成を示すブロック図

【符号の説明】

１０ 画像分割部 １１ フレーム間差分型動物体検出部 １２ 背景差分型動物体検出部 １３ 統合処理部 １４ 動物体追跡部 ２０ 閾値決定部 ２１ 動き情報抽出部 ２２ フレーム間差分動物体検出部 ２３ フレーム間隔制御部 ３０ フレームメモリ ３１ 遅延フレームメモリ ３２ 差分器 ３３ ２値化部 ３４ ラベル付け部 ４０ フレームメモリ ４１ 遅延フレームメモリ ４２ 対象制限部 ４３ オプティカルフロー算出部 ４４ オプティカルフロー平均部 ５０ フレームメモリ ５１ モードフィルタ ５２ 背景メモリ ５３ 差分器 ５４ ２値化部 ５５ ラベル付け部 ６０ 正規化部 ６１ 差分器 ６２ メモリ ６３ 確率算出部 ７０ 動物体特徴抽出部 ７１ 動物体特徴記憶部 ７２ 動物体対応付け部 ７３ 静止判定部 ７４ 静止物体特徴記憶部 ７５ 静止物体対応付け部 ７６ 静止物体特徴抽出部 ８０ 重心算出部 ８１ 平均輝度算出部 ９０ 重心距離算出部 ９１ 頻度距離算出部 ９２ 判定部 １００ 重心距離算出部 １０１ 頻度距離算出部 １０２ 判定部 １１０ 平均輝度算出部 １２０ 隣接画素間差分値算出部 １２１ メモリ １２２ 変化率算出部 １２３ 閾値算出部 １２６ 遅延素子 １２７ 差分器 １３０ 隣接画素間差分値算出部 １３１ メモリ １３２ ピーク検出部 １３３ 閾値算出部 １４０ 隣接画素間差分値算出部 １４１ 頻度算出部 １４２ 閾値算出部 １４５ 判定部 １４６ カウンタ １０００ フレームメモリ １００１ 遅延フレームメモリ １００２ 差分器 １００３ ２値化部 １００４ ラベル付け部 １００５ フレームメモリ １００６ 遅延フレームメモリ １００７ 動物体追跡部 １０１０ フレーム間差分型動物体検出部 １０１１ 背景差分型動物体検出部 １０１２ 統合処理部 １０２０ フレームメモリ １０２１ 遅延フレームメモリ １０２２ 差分器 １０２３ ヒストグラム算出部 １０２４ 判別分析部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 北 村 健 児 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 田 中 武 久 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 藤 岡 利 和 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 森 真 人 神奈川県横浜市鶴見区江ケ崎町４番１号 東京電力株式会社システム研究所内

Claims (20)

【特許請求の範囲】
1. 【請求項１】 画像中の動物体を検出する装置におい
   て、動画像のフレーム間差分を用いて動物体を検出する
   フレーム間差分動物体検出部と、前記フレーム間差分動
   物体検出部、あるいは、装置外部から入力される動物体
   の動き情報を抽出する動き情報抽出部と、前記動き情報
   抽出部の出力結果に応じて、前記フレーム間差分動物体
   検出部へ入力する動画像のフレーム間隔を制御するフレ
   ーム間隔制御部とを備えたフレーム差分型動物体検出装
   置。
2. 【請求項２】 画像中の動物体を検出する装置におい
   て、１つ以上の動物体検出部と、前記動物体検出部から
   出力された結果を統合処理して画素毎に動物体の存在確
   率を出力する統合処理部とを備えた動物体検出装置。
3. 【請求項３】 動物体検出部の１つとして、請求項１記
   載のフレーム差分型動物体検出装置を備えた請求項２記
   載の動物体検出装置。
4. 【請求項４】 動画像から動物体を検出する動物体検出
   部と、前記動物体検出部により検出した動物体の位置と
   特徴とを抽出する動物体特徴抽出部と、前記動物体特徴
   抽出部の出力を動物体毎に記憶する動物体特徴記憶部
   と、前記動物体特徴検出部の出力と前記動物体特徴記憶
   部の内容とを比較して前記動物体検出部により検出した
   動物体を対応付けて追跡する動物体対応付け部と、動物
   体が静止したことを判定する静止判定部と、静止した動
   物体の位置と特徴とを記憶する静止物体特徴記憶部と、
   前記動物体特徴記憶部と前記静止物体特徴記憶部との内
   容を比較して静止物体を再び動物体として追跡する静止
   物体対応付け部とを備えた動物体追跡装置。
5. 【請求項５】 検出された静止物体の位置と特徴とを抽
   出する静止物体特徴抽出部を備えた請求項４記載の動物
   体追跡装置。
6. 【請求項６】 動物体検出部として、請求項１記載のフ
   レーム間差分型動物体検出装置を備えた請求項４または
   請求項５記載の動物体追跡装置。
7. 【請求項７】 動物体検出部として、請求項２記載の動
   物体検出装置を備えた請求項４または請求項５記載の動
   物体追跡装置。
8. 【請求項８】 フレーム間差分画像から動物体を検出す
   る際の閾値を、差分画像を用いずに原画像から直接決定
   する閾値決定部を備えた閾値決定装置。
9. 【請求項９】 閾値決定部として、フレーム画像の隣接
   画素間差分値を算出する隣接画素間差分値算出部と、前
   記隣接画素間差分値算出部の出力を用いて動物体を検出
   する際の閾値を算出する閾値算出部とを備えた請求項８
   記載の閾値決定装置。
10. 【請求項１０】 閾値決定部として、隣接画素間差分値
    の頻度分布の変化率から動物体を抽出する際の閾値を算
    出する閾値算出部を備えた請求項９記載の閾値決定装
    置。
11. 【請求項１１】 閾値決定部として、隣接画素間差分値
    の頻度分布から正規分布の性質を用いて動物体を抽出す
    る際の閾値を算出する閾値算出部を備えた請求項９記載
    の閾値決定装置。
12. 【請求項１２】 閾値決定部として、隣接画素間差分値
    の頻度分布のピーク値から動物体を抽出する際の閾値を
    算出する閾値算出部を備えた請求項１１記載の閾値決定
    装置。
13. 【請求項１３】 閾値決定部として、隣接画素間差分値
    が予め定められた値となる頻度を求める頻度算出部と、
    予め定められた値となる頻度からエッジ検出の閾値を決
    定する閾値算出部とを備えた請求項１１記載の抽出閾値
    決定装置。
14. 【請求項１４】 フレーム間差分型動物体検出部の一部
    として、請求項８記載の閾値決定装置を備えた請求項１
    記載のフレーム間差分型動物体検出装置。
15. 【請求項１５】 構成要素の一部として請求項８記載の
    閾値決定装置を有する動物体検出部を備えた請求項２記
    載の動物体検出装置。
16. 【請求項１６】 動物体検出部の一部として、請求項８
    記載の閾値決定装置を備えた請求項４記載の動物体追跡
    装置。
17. 【請求項１７】 フレーム画像を複数の領域に分割する
    画像分割部を備え、分割した領域毎に閾値を決定する請
    求項８記載の閾値決定装置。
18. 【請求項１８】 フレーム差分型動物体検出部の一部と
    して請求項１７記載の閾値決定装置を備えた請求項１記
    載のフレーム間差分型動物体検出装置。
19. 【請求項１９】 構成要素の一部として請求項１７記載
    の閾値決定装置を有する動物体検出装置を動物体検出部
    の一つとして備えた請求項２記載の動物体検出装置。
20. 【請求項２０】 動物体検出部の一部として請求項１７
    記載の閾値決定装置を備えた動物体追跡装置。