JP3444160B2

JP3444160B2 - 動物体検出方法

Info

Publication number: JP3444160B2
Application number: JP27684297A
Authority: JP
Inventors: 武久田中; 和史水澤; 基孫中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1997-10-09
Filing date: 1997-10-09
Publication date: 2003-09-08
Anticipated expiration: 2017-10-09
Also published as: JPH11120363A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラや赤
外カメラにより撮像した動画像のフレーム画像の領域が
どのような状態にあるかを判定して動物体を検出する動
物体検出方法に関するものである。

【０００２】

【従来の技術】動画像から動物体を検出する従来の動物
体検出方法には、フレーム間差分を計算する方法、背景
差分を計算する方法、オプティカルフローを計算する方
法などがある。

【０００３】フレーム間差分を計算する方法は、時間的
に連続する２枚のフレーム画像から、対応する画素の輝
度の差が閾値を超える画素を１、その他の画素を０にし
た二値画像を生成し、その二値画像に対してノイズ除
去、領域抽出、領域整形、ラベリングといった一連の処
理を行って動領域を抽出し、その動領域を動物体として
検出するものである。

【０００４】背景差分を計算する方法は、何らかの方法
により動物体のいない撮像場所の画像、つまり背景画像
を作成し、その背景画像とフレーム画像から、対応する
画素の輝度の差が閾値を超える画素を１、その他の画素
を０にした二値画像を生成し、その二値画像に対してノ
イズ除去、領域抽出、領域整形、ラベリングといった一
連の処理を行って動領域を抽出し、その動領域を動物体
として検出するものである。

【０００５】また、オプティカルフローを利用した方法
では、過去のフレーム画像の各画素が現時刻でのフレー
ム画像のどの画素に移動したかを示すオプティカルフロ
ーを計算し、そのオプティカルフローにより画素をグル
ーピングして動領域を抽出し、その動領域を動物体とし
て検出するものである。

【０００６】そして、背景差分を計算する方法の例とし
て、１９９６年４月発行、電子情報通信学会論文誌、Ｄ
−II、vol.J79-D2、pp.568-576に記載の長屋他４による
「時間相関型背景判定法による移動物体検出」に記載さ
れた動物体検出方法がある。以下、長屋らによる従来の
動物体検出方法について説明する。

【０００７】長屋らによる動物体検出方法では、動画像
のフレーム画像をセル状の第１の領域に分割する。そし
て、各第１の領域毎にその第１の領域が実空間のどのよ
うな状態に対応するかを判定し、動物体に対応した第１
の領域をグループ化して動物体に対応する第２の領域、
つまり動領域を形成し、その動領域を動物体と見なして
動物体の検出および動物体の抽出を行う。図１５は、前
記第１の領域、つまり着目領域が実空間のどのような状
態に対応するかを判定する処理のアルゴリズムのＰＡＤ
図である。以下、図１５を参照しながら、着目領域の状
態の判定のアルゴリズムを説明する。

【０００８】最初に、着目領域において、シーン変化が
生じているか否かを判定する（処理９０１）。この判定
は、過去の一定時間内での着目領域と動物体がいない状
態に対応する背景領域との相関の最大値と最小値の差が
閾値を超えている場合には、シーン変化が生じていると
判定し、閾値を超えていない場合にはシーン変化が生じ
ていないと判断する。領域間の相関は、着目領域と背景
領域との画素毎の差の二乗を足し合わせ、その平方根を
計算することで行う。シーン変化が生じていると判定し
た場合は処理９０２に進み、照度変化が生じているか否
かを判定し（処理９０２）、照度変化が生じていない場
合は動物体に対応すると判定し（処理９０４）、照度変
化が生じている場合は急激な照度変化、つまり影などに
対応すると判定する（処理９０３）。照度変化が生じて
いるか否かの判定は、着目領域と背景領域との間の輝度
分布形状の類似度、本従来例では正規化距離が閾値を超
えている場合には照度変化が生じていないと判定し、閾
値より小さい場合には照度変化が生じていると判定す
る。

【０００９】一方、処理９０２でシーン変化が生じてい
ないと判定した場合には処理９０５に進み、着目領域に
おいて背景が変化しているか否かを判定する（処理９０
５）。背景が変化しているか否かの判定は、着目領域を
含めた時間区間で背景領域とその時間区間での領域との
相関を平均し、その値が閾値を超えている場合には背景
が変化していると判定し、超えていない場合には背景が
変化していないと判断する。そして背景が変化していな
いと判断した場合にはそのまま背景領域を維持する（処
理９０６）。一方背景が変換していると判断した場合に
は、処理９０７に進み、照度変化が生じているか否かを
判定し（処理９０７）、照度変化が生じている場合に
は、緩やかな照度変化と判断し（処理９０８）、照度変
化が生じていない場合には背景構造の変化と判断する
（処理９０９）。そして、緩やかな照度変化もしくは背
景構造の変化と判断した場合には、その時の着目領域の
画素の輝度値を新たな背景領域として更新する。

【００１０】以上のようにして、長屋らによる従来の動
物体検出方法では、動画像の各フレーム画像をセル状の
領域に分割し、各領域がどのような状態にあるかを判定
し、動物体に対応すると判定した領域から動領域を生成
して動物体を検出するとともに、背景の変化に対して背
景領域を更新する。

【００１１】動画像から動物体を検出する方法には、動
物体に対応する領域を過不足無く検出し、また、実時間
で動作するために計算量が少ないことが要求される。し
かし、フレーム間差分を計算する方法では、車のボディ
のようなテクスチャに乏しい部分は差分が生じず動物体
として検出されない上に、影や動物体の鏡像、さらには
照明条件や撮像条件の変化により画素の輝度が変化した
場合でも、それを動物体として検出してしまうという課
題があった。

【００１２】また、背景差分を計算する方法では一般
に、テクスチャに乏しい動物体でも検出できるが、影や
動物体の鏡像、さらには照明条件や撮像条件の変化によ
り画素の輝度が変化した場合でも、それを動物体として
検出してしまうという課題があった。さらに、信頼性の
高い背景画像の生成が難しいという課題があった。

【００１３】また、オプティカルフローを計算する方法
は、オプティカルフローを安定して計算することが困難
な上に、計算量が多いという課題があった。

【００１４】例えば、長屋らによる動物体検出方法で
は、影、動物体の鏡像、照明の変化を検出し、動物体を
安定して検出できると報告されているが、動物体が常に
存在している場所では背景の変化の判定が困難であるた
め良好な背景画像が得られず、また、状態の判定のため
にはある一定時間の輝度の時間相関の計算が必要であ
り、実時間の処理に適さないという課題があった。ま
た、正規化距離を照度変化の有無の判定に使用している
が、照度変化の閾値の設定や、輝度の時間相関の計算の
ための時間区間の設定も難しく、安定して動物体を検出
できないという課題があった。

【００１５】

【発明が解決しようとする課題】上記の従来の方法で
は、影や動物体の鏡像、さらには照明条件や撮像条件の
変化により画素の輝度が変化した場合でも、それを動物
体として検出してしまうという課題があった。また、背
景を認識するために一定時間必要としたり計算量が多く
実時間で処理できないなど、実用的な動物体検出方法が
なかった。

【００１６】本発明は、以上の課題に対応するもので、
動画像のフレーム画像の領域がどのような状態にあるか
を判定し、動物体に対応する領域を過不足なく正確に検
出する実時間処理に適した動物体検出方法を提供するこ
とを目的とする。

【００１７】

【課題を解決するための手段】この目的を達成するため
に本発明は第１に、動画像のフレーム画像と過去の１つ
以上のフレーム画像を１画素以上の領域に分割し、当該
領域の情報とそれに対応する１つ以上の過去の領域の情
報から動物体に対応する状態を判定した結果と、過去の
１つ以上のフレーム画像の当該領域に対応する領域とそ
の近傍領域の状態の判定結果とを統合して、当該領域の
領域の状態を判定するものである。

【００１８】これにより、時間的、空間的な情報を統合
することで、より正確な状態の判定を行うことができ
る。また、判定しようとするフレームより過去のフレー
ムの情報のみを利用するため、実時間処理にも適した方
法が得られる。

【００１９】本発明は第２に、動画像のフレーム画像と
過去の１つ以上のフレーム画像を１画素以上の領域に分
割し、当該領域の情報とそれに対応する１つ以上の過去
の領域の情報から動物体に対応する状態を判定した結果
と、過去の１つ以上のフレーム画像の当該領域に対応す
る領域とその近傍領域の状態の判定結果とを統合して、
当該領域の領域の状態を判定し、隣接する領域をグルー
プ化することにより動物体を検出するものである。

【００２０】これにより、各領域の状態を判定し、動物
体に対応すると判定した領域をグループ化し動領域を抽
出することで動物体を検出することにより、より正確に
動物体を検出することができるとともに、判定しようと
するフレームより以前の情報のみを用いるため、実時間
処理に適した動物体の検出ができるものである。

【００２１】

【発明の実施の形態】本発明の請求項１に記載の発明
は、動画像の現在のフレーム画像と少なくとも１つ以上
の過去のフレーム画像とを１画素以上の複数の領域に分
割し、当該領域の現在情報と前記当該領域に対応する少
なくとも１つ以上の過去情報とから前記当該領域の現在
状態を判定する場合に、前記当該領域の現在情報及び前
記過去情報から算出した正規化距離が予め定めた閾値を
超過する場合は、前記当該領域の現在状態を動物体及び
動物体の鏡像と判定し、前記正規化距離が前記閾値未満
である場合は、前記当該領域の現在状態を動物体の影及
び背景と判定する第１の工程と、前記当該領域の過去状
態及び前記当該領域の近傍領域の過去状態の判定結果を
統合して、前記第１の工程で判定された当該領域の現在
状態を再度判定する第２の工程と、動物体及び動物体の
鏡像と判定された複数の領域の実空間位置を用いて、領
域の現在状態が動物体又は動物体の鏡像であると判定す
る第３の工程とを含む動物体検出方法とするものであ
り、判定しようとする領域の当該領域の情報と過去の当
該領域の情報のみならず、過去の当該領域の領域の状態
やその近傍領域の過去の状態を統合して、当該領域の状
態を判定することにより、より正確な状態の判定を行う
ことができる。また、判定しようとするフレームより過
去のフレームの情報のみを利用するため、実時間処理に
も適している。

【００２２】請求項２記載の発明は、第３の工程は、同
じ前記現在状態の隣接する領域をグループとし、動物体
及び動物体の鏡像と判定された前記グループの実空間位
置を用いて、前記グループの現在状態が動物体又は動物
体の鏡像であると判定するものである請求項１記載の動
物体検出方法とするものであり、動物体に対応する状態
であると判定した領域から隣接する領域をグループ化し
て動物体を検出することにより、より正確に動物体を検
出することができる。

【００２３】

【００２４】請求項３記載の発明は、領域の現在情報及
び前記領域に対応する過去情報は、各画素の輝度の差、
平均輝度の差、平均の色の差、テクスチャ特徴量の差又
は輝度分布の類似度の１つ又はその組合せである請求項
１又は２記載の動物体検出方法とするものであり、判定
する情報として輝度、色、テクスチャ特徴量あるいは輝
度分布の類似度を用いることにより多くの情報から判定
することができるために、より正確に当該領域の状態や
動物体の検出の検出を行うことができる。

【００２５】請求項４記載の発明は、過去情報は、過去
の複数のフレーム画像の重み付け平均により求める請求
項１ないし３のいずれか記載の動物体検出方法とするも
のであり、過去のフレーム画像の対応する領域のみなら
ず、ある特定の状態に判定された過去の複数のフレーム
画像における当該領域の各情報の重み付け平均を用いて
判定を行うことにより、領域の状態の変化をより多くの
情報から判定することができるため、より正確に当該領
域の状態や動物体の検出の検出を行うことができる。

【００２６】

【００２７】請求項５記載の発明は、領域は、対象とな
る動物体の大きさに応じて異なる大きさに分割する請求
項１ないし４のいずれか記載の動物体検出方法とするも
のであり、解像度に応じた領域の大きさを設定すること
で無駄な処理や実空間での解像度の劣化を防ぎ、より正
確に動物体に対応する領域を検出することができる。

【００２８】請求項６記載の発明は、領域は、カメラ位
置からの距離に応じて、遠くになるほど領域サイズを細
かく分割する請求項１ないし４のいずれか記載の動物体
検出方法とするものであり、同じ空間解像度を維持する
ことにより、より正確に動物体に対応する領域を検出す
ることができる。

【００２９】

【００３０】請求項７記載の発明は、現在状態の再判定
は、近傍領域の現在状態の判定に占める割合を用いた判
定であり、前記近傍領域の現在状態の判定に占める割合
が予め定めた閾値を超えている場合には、当該領域の領
域が前記近傍領域の現在状態であると判定する請求項６
記載の動物体検出方法とするものであり、より正確に動
物体に対応する領域を検出することができる。

【００３１】請求項８記載の発明は、複数の動画像より
それぞれに検出した動物体の内、同一の動物体に対応す
るものは統合し、統合した動物体の情報を用いて領域毎
に領域の現在状態を、再度、判定する請求項１ないし７
のいずれか記載の動物体検出方法とするものであり、統
合した動物体の情報を用いて各領域毎に状態を判定し直
すことにより領域の判定精度が向上し、より正確に動物
体に対応する領域を検出することができる。

【００３２】請求項９記載の発明は、動画像の現在のフ
レーム画像と少なくとも１つ以上の過去のフレーム画像
とを１画素以上の領域に分割し、当該領域の現在情報と
前記当該領域に対応する少なくとも１つ以上の過去情報
とから判定した前記当該領域の現在状態と前記当該領域
に対応する少なくとも１つ以上の過去状態とから一旦仮
の現在状態を判定し、前記当該領域の仮の現在状態と前
記当該領域の近傍領域の現在状態の仮の判定結果とを統
合して前記当該領域の現在状態を判定する動物体検出方
法するものであり、近傍の領域の仮の状態と当該領域の
仮の状態とから最終的な当該領域の状態を判定すること
により、より正確に動物体に対応する領域を検出するこ
とができる。また、判定しようとするフレームより過去
のフレームの情報のみを利用するため、実時間処理にも
適している。

【００３３】請求項１０記載の発明は、仮の現在状態
は、当該領域の近傍領域のうち、ある一つの現在状態に
判定された領域の数が近傍領域の数に占める割合に応じ
て判定されるものである請求項９記載の動物体検出方法
とするものであり、動物体やその他の状態に対応する領
域はある一定の大きさの領域を占めるという知識を利用
して、領域の状態の判定や動物体の検出をより正確に行
うことができる。

【００３４】請求項１１記載の発明は、仮の現在状態
は、同じ現在状態の隣接する領域をグループとし、前記
グループ内の領域は全て同じ状態であると判定されるも
のである請求項９又は１０記載の動物体検出方法とする
ものであり、動物体などに対応する領域は通常は内部に
穴を生じないという知識を利用し、領域の状態の判定や
動物体の検出をより正確に行うことができる。請求項１
２記載の発明は、領域の状態は、動物体に対応する状
態、前記動物体の影に対応する状態、前記動物体の鏡像
に対応する状態、背景に対応する状態、動画像を撮像し
ている場所の照明条件の変化に対応する状態又は動画像
の撮像条件の変化に対応する状態から少なくとも１つ以
上の状態に判定される請求項９ないし１１のいずれか記
載の動物体検出方法とするものであり、判定する領域の
状態の種類に動物体か否かだけではなく背景、影、虚像
または照明や撮像条件の変化という状態を加え、過去の
当該領域の状態や近傍の領域の状態に関する情報量を用
いることにより、より正確に当該領域の状態や動物体の
検出の検出を行うことができる。

【００３５】以下、本発明の実施の形態について図面を
参照しながら説明する。（実施の形態１）図１は、本発明の実施の形態１の動物
体検出装置のブロック構成図である。図１において、１
１は動物体を撮像するカメラ、１０は動物体抽出処理を
行うコンピュータである。コンピュータ１０は、カメラ
１１からの映像を複数フレーム分記憶するフレームメモ
リ１２と、カメラ１１とフレームメモリ１２の映像から
動物体の状態かどうかを判定し、判定結果から動物体を
検出する動物体検出手段１３と、検出した動物体の位置
等の情報を外部に通知する出力Ｉ／Ｆ１４とから構成さ
れる。

【００３６】次に、上記のように構成された動物体検出
装置の動物体の検出処理について、図２に示すＰＡＤ図
を用いて説明する。なお、本実施の形態では二つの動画
像を処理し、二つのＹＵＶフォーマット（輝度Ｙ、色差
Ｒ−Ｇ、Ｙ−Ｂ）のフレーム画像を順次処理する。そし
てフレーム画像を入力する毎に図２に示した手順で処理
を行うものとする。

【００３７】まず、領域（ブロック）の分割方法につい
て説明する。図３は、本実施の形態におけるフレーム画
像を領域に分割する様子の模式図で、図３に示したよう
にフレーム画像は重複しない異なる大きさの領域に分割
し、各領域毎に状態を判定する。なお、実際には領域は
必要とする空間解像度を維持できる程度の大きさにより
細かく分割するが、図３ではわかりやすいように実際よ
りも荒く領域を分割している。一般の動画像において
は、上の方に遠くが、下の方に近くが撮像されるため、
上の方に撮像される動物体は小さい領域を、下の方に撮
像される動物体は大きい領域を占める。したがって、同
じ空間解像度を維持するため、図３に示したように上は
細かく、下は荒く領域を設定する。

【００３８】以降、状態を判定する単位である領域を混
同を避けるためにセルと呼ぶ。また、各セルの近傍のセ
ルを、そのセルと境界を接しているセルと定義する。注
目セルとその近傍のセルの例を図３に示す。

【００３９】以下、図２のＰＡＤ図を参照しながら本発
明による動物体検出処理について説明する。

【００４０】処理１は、フレーム単位に動画像が繰り返
し入力される。処理２は、セル単位で状態の判定を繰り
返す処理である。処理３は、現フレームをセル単位で特
徴量を計算する。

【００４１】処理４は、処理３からの各特徴量を基に、
各セルの状態を決定する。本実施の形態ではセルの状態
としては、動物体、影、背景、鏡像のみを考えるものと
する。処理４による状態の決定は、動物体、背景、影、
鏡像という状態毎にカウンタを設け、最初各カウンタを
０に設定しておき、その後、条件に応じて各カウンタに
値を加減していき、結果として最も大きな値を持つカウ
ンタに相当する状態が、そのセルの状態であると判定す
る。

【００４２】処理２から４の処理で各セルの状態を決定
した後に、処理５では、動物体に対応すると判定したセ
ルをグループ化して動領域を生成する。このグループ化
は境界を接している動物体に対応すると判定したセル同
士は同じグループに属するとし、互いに境界を接しない
領域のグループをいくつか形成し、それぞれに番号を振
ることにより行う。例えば、図６に示すように、動領域
と判定された領域が斜線で示される場合には２つの動領
域を形成する。

【００４３】以上のようにして、処理１から処理５では
２つの動画像の各フレーム画像で動領域を抽出する。

【００４４】次に処理６に進み、二つの動画像の間で抽
出した動領域同士を対応付ける。処理７は、対応付けた
動領域から動物体の実空間位置を、各動領域の実空間位
置を平均することにより計算し、その実空間位置を各動
領域の実空間位置と定める。つまり、二つの動画像間で
動領域が対応付けられた場合には、その動領域の実空間
位置を平均して計算した値に変更する。二つの動画像を
異なる角度で撮像する場合には、対応付けられた動領域
のそれぞれが誤って動領域と判定された領域を含んでい
ても、平均することによってより正確な実空間位置が得
られる。以下、図８を参照しながら、その理由をより詳
細に説明する。図８は、２台のビデオカメラ７０および
７１で人物７３を撮像している様子を真上と側面から見
た場合の模式図である。この時、床面に７２に示すよう
に人物７３の鏡像が生じ、それを誤って動領域と判定し
た場合、図中×印で示した場所がビデオカメラ７０およ
び７１で撮像した動画像から抽出される動領域の実空間
位置として求められる。したがって、図８に示したよう
に二つのカメラで人物を撮像した場合、二つのカメラで
撮像した動画像から抽出した動領域の位置を平均するこ
とで、より正確な動物体の位置を求めることができ、ひ
いては各動画像の動領域の本来の望ましい位置を得られ
る。

【００４５】処理８から処理１１では、セルの状態の修
正を行う。つまり、各動画像の各動領域毎に、処理１０
と処理１１を実行する。処理１０では、処理７で計算し
た動領域の実空間位置から、その実空間位置に対応する
フレーム画像の画素を計算する。

【００４６】処理１１では、その画素よりも下にあるセ
ルの状態を動物体から鏡像に変更し、また、その画素よ
りも上に鏡像もしくは影がある場合にはその状態を動物
体に変更する。例えば、図９に示すように各セルの現在
の状態が表され、図中×に示す画素が対応する動物体の
実空間位置に対応する画素とする。この時、図９のイ、
ロのセルは動物体であると判定されているが、その状態
を鏡像に変更する。また、図中ハのセルは影と判定され
ているが、動物体に変更するものである。

【００４７】次に、処理３の特徴量の計算の手順を図４
のＰＡＤ図に示し、各セル毎の特徴量の計算の手順を詳
細に説明する。処理３１では、差分の生じる画素の割合
を計算する。これは、現在のセルの各画素の輝度Ｙの値
と、前フレームの対応するセルの各画素の輝度Ｙの値と
の差を計算し、その差が閾値を超える画素の数を数え、
その数がセルの大きさに占める割合を計算する。処理３
２では、、セルの平均の色を計算する。これは、セル内
の画素の色差信号Ｕ（色差Ｒ−Ｇ）、色差信号Ｖ（色差
Ｙ−Ｂ）の平均値を計算することにより行う。処理３３
では、セルの輝度の標準偏差を計算する。これは、セル
内の画素のＹ値の標準偏差を求めることに対応し、この
値はセル内のテクスチャ特徴量と見なすことができる。

【００４８】処理３４では、セルの正規化距離を計算す
る。これは、

【００４９】

【数１】

【００５０】により計算する。ここでＤは正規化距離、
Ｙi、ｙiはそれぞれ現フレーム、前フレームの画素の輝
度値、Ｙ、ｙは現フレーム、前フレームでの画素の輝度
の平均値、Ｎはセルの画素の数である。（数１）の計算
は、まず前フレームの各画素に現フレームと前フレーム
の平均輝度の差を足した値を要素とするベクトルと、現
フレームの各画素の輝度の値を要素とするベクトルとを
ノルムが１になるように正規化し、この正規化した二つ
のベクトルの差ベクトルのノルムを画素の数で割る処理
にあたる。一般に、動物体による影は、もともとの床面
と輝度の形状の分布が類似している。一方、動物体はも
ともとの床面と輝度の形状の分布は全く異なる。したが
って、（数１）のように正規化距離を計算すると、セル
が動物体による影に対応する場合は値が小さく、動物体
に対応する場合は値が大きくなる。従って、適当に閾値
を設定することにより、動物体による影と動物体とを区
別することができる。

【００５１】次に、処理４の各セルの状態の決定の詳細
な手順について、図５のＰＡＤ図を参照しながら詳細に
説明する。なお、図５および以下の説明においては背景
のカウンタの「カウンタ」は適宜省略する。処理４０で
は、前フレームと同じ状態のカウンタに１を足す。例え
ば、過去が背景ならば背景に１を足す。なお、処理の開
始時など前フレームの状態がない場合には、背景に１を
足す。処理４１は、処理３で計算した特徴量の内、差分
を生じている画素の割合、平均の色の前フレームと現フ
レームとの差、輝度の標準偏差の前フレームと現フレー
ムとの差のいずれかが、それぞれ設定する閾値を超える
場合は、そのセルにおいて何らかの変化があったと判定
して処理４２に進み、閾値を超えなかった場合は変化は
なかったと判定して処理４５に進む。処理４２では、前
フレームにおける状態は背景であったか否かを判定し、
背景であった場合は処理４３に進む。処理４３は、背景
のカウンタから１を減じ、影、動物体、鏡像に１を足
す。処理４５では、前フレームにおける状態は背景であ
ったか否かを判定し、背景であった場合は処理４６に進
み背景のカウンタに１を足し、背景でなかった場合は処
理４７に進み前フレームと同じ状態に１を足す。処理４
１から処理４７で示した処理を終了した後には、処理４
８に進む。

【００５２】処理４８では、図２の処理３で計算した正
規化距離が閾値を超えているかを判定し、閾値を超えて
いる場合には処理４９に進み動物体および鏡像に１を足
し、超えていない場合には処理５０に進み影および背景
に１を足す。処理５１では、現在判定しようとしている
セルの近傍のセルの前フレームにおける判定結果の状態
を調べ、その中で最も多い状態とその状態のあるセルの
数を計算する。そして、その数が近傍のセルの数に占め
る割合が８割以上の場合には、処理５２に進みその多数
を占めている状態に１を加える。なお、処理の開始時な
ど、前フレームにおける状態が利用できない場合には、
処理５１はスキップする。処理５３では、最もカウンタ
の値が大きい状態をセルの状態として決定する。ただ
し、カウンタの値が等しい複数の状態が最大値をとる場
合は、動物体→鏡像→影→背景の順に優先順位を決めて
決定する。

【００５３】次に、処理６の応付け処理について、図７
のＰＡＤ図を用いて詳細に説明する。処理６０では、各
動領域に対応する動物体の実空間における位置を計算す
る。実空間の位置は、全ての動物体が同じ平面の上にあ
ると仮定し、動領域の外接矩形の下辺の中心点に対応す
る画素からあらかじめ求めたパラメータで計算する。例
えば、図６の場合は×印を付した点に相当する画素の座
標に対応する実空間位置をあらかじめ求めたパラメータ
で計算して求める。処理６１では、別々の動画像で検出
した動領域に対応する実空間位置の間の距離から定数を
引いたものを動領域の対応付けスコアとして計算する。
例えば、一方の動画像ではＡ１、Ａ２という動領域を検
出し、もう一方の動画像ではＢ１、Ｂ２という動領域を
検出し、Ａ１の実空間位置を（Ｘ_A1、Ｙ_A1）と表記する
とき、Ａ１とＢ１およびＢ２、Ａ２とＢ１およびＢ２の
間の対応付けスコアを、

【００５４】

【数２】

【００５５】のようにして計算する。ここで、Ｄｍａｘ
は定数である。処理６２では、正の対応付けスコアを持
つ動領域同士を対応付ける。例えば、Ａ１とＢ１、Ｂ２
との間の対応付けスコアがそれぞれ1.0、2.0だった場合
には、Ａ１とＢ２とを対応付け、Ａ２とＢ１、Ｂ２との
間の対応付けスコアがそれぞれ-1.0、1.0だった場合に
はＡ２とＢ２とを対応付ける。この例では、Ｂ１には動
領域が対応付けられず、また、Ｂ２には二つの動領域が
対応付けられるが構わない。Ｂ１に対応する動物体はＡ
の方の動画像には撮像されておらず、また、Ａ１、Ａ２
に対応する動物体がＢの方の動画像では重なって撮像さ
れている場合に、この例のような状況が生じるものであ
る。

【００５６】例えば、人物が動画像中に撮像されている
場合にはその人物の実空間位置、つまり、足下の位置よ
り下にはその人の鏡像や影が生じるが、その人物自体は
撮像されない。したがって、処理８から処理１１に示し
た処理により、特に鏡像のように正規化距離などでは判
断できない動物体と混同しやすいような状態を正しい状
態に判定し直すことができる。

【００５７】以上説明した図２の処理２から処理４のよ
うにして本実施の形態における動物体検出装置では、判
定しようとする領域と、その領域に対応する過去のフレ
ーム画像の領域と、判定しようとする領域の過去の状態
の判定結果と、判定しようとする領域の近傍の領域の過
去のフレーム画像における状態の判定結果とを統合し
て、領域の状態の判定を行う。したがって、より正確な
状態の判定を行うことができるとともに、判定しようと
するフレームより過去のフレームの情報のみを利用する
ため、実時間処理にも適している。また、判定の際には
動物体か否かだけではなく、背景、動物体による影、動
物体の鏡像という状態も判定することにより、過去の当
該領域の状態や近傍の領域の状態に関する情報量が増
え、より正確に当該領域の状態の判定を行うことができ
る。

【００５８】また、当該領域で前フレームと輝度の差分
の生じる画素の割合と前フレームとの輝度分布の類似度
に対応する正規化距離とを計算するとともに、前フレー
ムとの平均の色およびテクスチャ特徴量に対応する輝度
の標準偏差の差を計算し、それらを当該領域の状態の判
定に使用することで、より正確に当該領域の状態の判定
を行うことができる。

【００５９】なお、本実施の形態では、近傍の領域の定
義として領域と境界を接する領域を用いたが、これに限
定されるものではなく、例えば、領域の中心点間の距離
が閾値以内の領域とするなどその他の近傍の定義によっ
ても良い。また、本実施の形態では、セルの過去のフレ
ーム画像における状態の判定結果として前フレームの判
定結果のみを利用しているが、複数のフレームにおける
状態を使用しても良い。

【００６０】また、本実施の形態では色として、ＹＵＶ
表色系に基づく色を用いたが、ＲＧＢ表色系などの他の
表色系を用いたり、個別の距離尺度を導入して色の差を
計算しても良い。また、本実施の形態ではテクスチャ特
徴量として領域における輝度の標準偏差を使用したが、
エッジ成分の数などの他のテクスチャ特徴量を使用して
も良い。また、本実施の形態では、輝度分布の類似度と
して（数１）で示した正規化距離を用いたが、例えば、
１９９６年４月発行、電子情報通信学会論文誌、Ｄ−I
I、vol.J79-D2、pp.568-576に記載の長屋他４による
「時間相関型背景判定法による移動物体検出」に記載さ
れた正規化距離などのその他の尺度を用いても良い。

【００６１】また、本実施の形態では、各種の情報を統
合する方法として、状態毎にカウンタを設け、それが最
大になる状態を判定した状態としていたが、if-thenル
ールによる推論、ニューラルネットワーク、ファジィ推
論、線形・非線形の最適化手法といった手法を用いても
良い。

【００６２】以上のようにして本実施の形態における動
物体検出方法では、動画像のフレーム画像を相重複しな
い大きさの異なる領域に分割し、各領域毎に状態を判定
し、動物体に対応する状態であると判定した領域から隣
接する領域をグループ化することにより動物体を検出
し、領域の状態をより正確に判定することで、より正確
に動物体に対応する領域を検出することができる。ま
た、大きさの異なる領域に分割することにより、動物体
の写る大きさは場所により異なることを利用し、無駄な
処理や実空間での解像度の劣化を防ぎつつ、より正確に
動物体に対応する領域を検出することができる。

【００６３】また、複数の動画像から検出した動物体の
うち同一の動物体に対応するものは同一の動物体として
同定して動物体に関する情報を統合し、統合した動物体
の情報を用いて各動画像ごとに領域の状態を判定し直
し、その結果を過去のフレーム画像における状態の判定
結果として次のフレームでの領域の状態を判定すること
により、複数の動画像から得られる情報を統合すること
により動物体の検出精度を高めるだけではなく、複数の
動画像の情報から得られるより正確な情報を用いてより
正確に各領域の状態を判定し直し、その正確な各領域の
状態を次のフレームで使用することで、より正確に動物
体を検出することができる。

【００６４】なお、本実施の形態では、各動画像で検出
した動領域を対応付ける際に実空間位置の距離を用いて
いるが、これに限定されるものではなく、例えば、動領
域毎に各領域の色の平均を取りその色の平均の距離を用
いても良いし、実空間位置だけではなく実空間における
高さや幅も計算し、それを実空間位置の距離に適当な重
みを付けて足し合わせて対応付けスコアとして用いるな
どの方法を用いても良い。

【００６５】また、本実施の形態では動領域を対応付け
る際に、対応付けスコアが正で最も大きな値をとる動領
域同士を対応付けたが、例えば、必ず一つの動領域には
一つの動領域が対応付けられるなどの方法を用いても良
い。また、本実施の形態では、２つの動画像を用いてい
るが、３つ以上の動画像を用いても良い。

【００６６】また、本実施の形態では、実空間の位置を
対応付けた動領域の実空間位置のみから計算している
が、前フレームで計算した動物体の位置との重み付け平
均を計算するなどの方法を用いてもよい。

【００６７】また、本実施の形態では、領域の状態を判
定し直す方法として、動物体の位置に対応する画素をフ
レーム画像毎に計算し、その画素より上か下かで判定し
直しているが、例えば、動物体の幅および高さを計算
し、その幅と高さに画像で対応する領域を計算し、その
領域に含まれるか否かで領域の状態を修正するなどの方
法を用いても良い。

【００６８】（実施の形態２）以下、図面を参照しなが
ら本発明の実施の形態２による動物体検出装置について
説明する。

【００６９】図１０は、本発明の実施の形態２による動
物体検出装置の各フレームにおける処理のＰＡＤ図であ
る。本実施の形態においては、フレーム画像を領域、つ
まりセルに分割する際に、各セルが画素を重複するよう
に、１画素ずつずらして同一の形状・大きさで分割す
る。図１１はその分割の仕方を示す模式図である。図１
１は、フレーム画像の左上隅を示しており、図中斜線で
示した１２０の矩形領域をセル１とし、そこから１画素
右にずらした矩形領域１２１をセル２として設定する。
そして、画像の右隅まで同様に１画素ずつずらしてセル
を設定し、次の行のセルを設定する場合には、下に１画
素ずらした矩形領域１２２を最初のセルとし、再び右に
１画素ずつずらしてその行のセルを設定していく。

【００７０】また、本実施の形態では、あるセルの近傍
のセルとは、そのセルと画素を共有しているセルと定義
する。

【００７１】また、本実施の形態では、処理する動画像
は一つの白黒動画像である。さらに、各セルで判定する
状態は動物体、背景、照明条件の変化の３つとし、カメ
ラの絞りの変化などの撮像条件の変化はないとする。

【００７２】以下、図１０のＰＡＤ図を参照しながら、
本発明の実施の形態２による動物体検出方法の各フレー
ムにおける処理について説明する。

【００７３】図１０において、処理１００から１０４で
は、前のフレーム画像と現在のフレーム画像とから現在
の各セルの仮の状態をセル毎に決定する。処理１０１で
は、セルの平均輝度を計算する。処理１０２では、前の
フレームで計算した前のフレーム画像のセルの平均輝度
と処理１０１で計算した現フレームのセルの平均輝度と
の差を計算し、その差が閾値を超える場合には、そのセ
ルの状態を仮に動物体と設定（処理１０３）し、閾値を
超えない場合には、背景に仮に設定する（処理１０
４）。

【００７４】次に、処理１０５では、処理１００から１
０４で動物体と仮に判定したセルの数を数え、その数が
閾値を超える場合には、各セル毎（処理１０６）に現在
仮に設定されている状態とそのセルの前フレームにおけ
る状態とを比較（処理１０７）し、異なる場合には、仮
の状態を照明条件の変化に設定する（処理１０８）。例
えば、室内を撮像している場合に新たに照明を点灯した
場合には、ほとんどのセルで平均輝度が大きく変化し、
処理１００から１０４の処理では動物体に仮に設定され
るセルが多数を占める。

【００７５】このような場合、セルの状態を正確に判定
することは困難なため、過去のセルの状態をそのままセ
ルの現在の状態にする方法が考えられる。したがって、
本実施の形態では、動物体として仮に状態を判定されて
いるセルの内、過去の状態が動物体ではない場合には、
動物体か背景かはわからないので、照明条件の変化とし
て判定する。また、動物体として仮に状態を判定されて
おり、かつ、過去も動物体と判定されているセルや、背
景として仮に状態を判定されており、かつ、過去も背景
と判定されているセルは、それぞれ、動物体、背景と判
断する。本実施の形態では撮像条件の変化がないため、
後者の背景の判定が正しく成立する。

【００７６】なお、過去が動物体で仮に判定した状態が
背景という場合もありうるが、これは、照明条件の変化
によりたまたま動物体の輝度が背景と一致した場合に相
当すると考えられるため、動物体と判定する。

【００７７】以上のように、処理１０５から１０８で、
照明条件の変化に対する対応を行った後に、処理１０９
から処理１１２では、近傍のセルで仮に設定された状態
を用いて、セルの状態をセル毎に判定する。処理１１０
では、近傍のセルの仮に設定された状態を調べ、その状
態毎にセルの数をカウントし、そのうち最大となる状態
のカウント数が全近傍のセルの数に占める割合が８割以
上の場合には、その多数を占めている状態であるとその
セルの状態を判定する（処理１１１）。例えば、あるセ
ルが仮に動物体に設定されていても、近傍のセルの８割
以上が背景ならば背景に判定する。一方、処理１１２で
は、最大となる状態のカウント数が全近傍のセルの数に
占める割合が８割以上ではない場合には、現在そのセル
に設定されている仮の状態をそのセルの状態とする。

【００７８】処理１１３では、動物体と判定したセルを
グループ化し動領域を生成する。これは、動物体と判定
したセルの内お互いが近傍の関係にあるセルを集めグル
ープ化し、各グループのセルに含まれる画素から領域を
生成し、それをラベリングすることで行う。

【００７９】処理１１４では、処理１１３で生成した動
領域に含まれる画素を含むセルの内、背景、もしくは照
明条件の変化として判定されているセルの状態を動物体
に変更する。そして、最終的な動領域を動物体と見な
し、当該フレームにおける動物体の検出を終了するとと
もに、領域の状態を確定する。

【００８０】以上のようにして本実施の形態における動
物体検出方法では、判定しようとする領域の現在の画素
値と過去の当該領域の画素値と過去の当該領域の状態の
判定結果とからまず仮の状態を判定し、近傍の領域の仮
の状態と当該領域の仮の状態とから最終的な当該領域の
状態を判定することにより、より正確な状態の判定を行
うことができる。また、判定しようとするフレームより
過去のフレームの情報のみを利用するため、実時間処理
にも適している。

【００８１】また、平均輝度が変化した領域の数から照
明条件の変化を検出することにより、過去の領域の状態
や近傍の領域の状態に関する情報量が増え、より正確に
領域の状態の判定を行うことができる。また、平均輝度
の差を用いて領域の状態を判定することにより、簡便で
正確な領域の状態の判定を行うことができる。また、近
傍の領域で多数を占める状態がある場合にはその状態に
判定することで、動物体やその他の状態に対応する領域
はある一定の大きさの領域を占めるという知識を利用し
て、領域の状態の判定をより正確に行うことができる。
また、動物体などに対応する領域は内部に穴を生じない
という知識を利用し、領域の状態の判定をより正確に行
うことができる。

【００８２】さらに、本実施の形態における動物体検出
方法では、動画像のフレーム画像を重複する同じ大きさ
の領域に分割し、各領域毎に状態を判定し、動物体に対
応する状態であると判定した領域から近傍の領域をグル
ープ化することにより動物体を検出しており、領域の状
態をより正確に判定することで、より正確に動物体に対
応する領域を検出することができる。また、セルを重複
させることにより空間解像度の劣化を防ぎ、より正確に
動物体に対応する領域を検出することができる。

【００８３】なお、本実施の形態では、フレーム画像を
セルに分割する際には１画素ずつずらしたが、これに限
定されるものではなく、例えば必要とする空間解像度に
応じて場所により重複の程度を変えて処理を軽減しても
良いし、２画素ずつずらしても良い。

【００８４】また、本実施の形態では、平均輝度の差が
閾値を超えた領域の数が閾値を超えた場合に照明条件の
変化を判定しているが、例えば輝度が飽和またはアンダ
フローしている画素の数で照明条件の変化を判定しても
良い。

【００８５】また、本実施の形態では、撮像条件の変化
はないとして、照明条件の変化を検出しているが、逆に
照明条件の急激な変化がない場所を撮像した動画像の場
合には、同じ処理で照明条件の変化ではなく、撮像条件
の変化と判定し、照明条件の変化という状態を使用しな
いようにしても良い。例えば、屋外においてビデオカメ
ラの自動絞り機構をオンにして撮像する場合を想定する
と、明るい動物体がカメラの視野に入ると絞りが絞ら
れ、平均輝度の差を生じる画素が大幅に増える。このよ
うな場合は、撮像条件の変化と判断する方が良い。ま
た、屋外においては照明条件の急激な変化は通常ない。

【００８６】（実施の形態３）以下、図面を参照しなが
ら本発明の実施の形態３による動物体検出装置について
説明する。

【００８７】図１２は、本発明の実施の形態３における
動物体検出装置の各フレームにおける処理のＰＡＤ図で
ある。なお、本実施の形態では、フレーム画像はＹＵＶ
形式で、そのフレーム画像を実施の形態１における図２
で説明したように判定領域、つまりセルに分割する。ま
た、各領域の近傍も実施の形態１と同様に定義し、領域
の判定は一つの領域だけではなく、フレーム画像を分割
した全ての領域に対して行う。さらに、本実施の形態で
は、判定する状態は動物体と背景のみとし、判定不能と
いう状態もあり得るとする。

【００８８】図１２において、処理２０１から処理２０
３では、各セルの状態を、現フレームのセル、過去のフ
レームのセル、過去のセルの判定結果、近傍のセルの過
去の判定結果から決定する。処理２０２では、現在のフ
レームの特徴量を計算する。

【００８９】この特徴量の計算をＰＡＤ図で示したの
が、図１３である。図１３において処理２１１では、差
分の生じる画素がセルの全画素に占める割合を計算す
る。この差分が生じているか否かは、前フレームの画素
との画素毎の差分が閾値を超えているか否かで判定する
のではなく、背景に判定した過去の複数のフレーム画像
におけるセルの各画素のＹ値の平均と、セルの現フレー
ムにおける対応する画素のＹ値との差分が閾値を超えて
いるか否かで判定する。この背景に判定した過去の複数
のフレーム画像におけるセルの各画素のＹ値の平均の算
出に関しては後述するが、一度も背景に判定した過去が
ない場合、つまり、処理の開始時などには、差分はどの
画素でも生じないと見なす。つまり、差分の生じる画素
がセルの全画素に占める割合は０となる。

【００９０】次に処理２１２では、セルにおける平均の
輝度を計算する。これは、ＹＵＶのＹの全画素での平均
を計算する。さらに、処理２１３では、Ｕ、Ｖ値の平均
をそれぞれ計算し、処理２１４では、Ｙ値の標準偏差を
計算する。

【００９１】以上のようにして処理２０２で現在のフレ
ームの特徴量を計算した後に、処理２０３ではセルの状
態を判定する。この状態の判定処理をより詳細にＰＡＤ
図で示したのが、図１４である。

【００９２】本実施の形態における状態の判定は、背
景、動物体の２つの状態それぞれに対応してカウンタを
設け、そのカウンタの値を加減し、結果として値が大き
い方の状態をそのセルの状態と判定する。

【００９３】図１４の処理２２１では、セルが当該フレ
ームにおいて背景と異なるか否かを検出するために、差
分を生じている画素の割合、平均輝度の差、平均の色の
差、輝度の標準偏差の差が閾値を超えているか否かを調
べ、このうちいずれかで閾値を超えている場合には、処
理２２２で動物体に対応するカウンタに１を足し、いず
れも閾値を超えていない場合には処理２２４に進む。本
実施の形態では、実施の形態１と異なり、平均輝度の
差、平均の色の差、輝度の標準偏差の差などは、処理２
０２で計算した現フレームにおける各値と背景に判定さ
れた過去の複数のフレーム画像におけるセルの各特徴量
の重み付け平均との差を計算する。この背景に判定され
た過去の複数のフレーム画像におけるセルの各画素のＹ
値の平均の算出に関しては後述するが、一度も背景に判
定した過去のフレーム画像がない場合、つまり、処理の
開始時などには、いずれの特徴量においても閾値を超え
ないと判断する。つまり、この場合は自動的に処理２２
４に進む。

【００９４】処理２２４では、前フレームの状態が背景
か否かを調べ、背景であった場合は、処理２２５で背景
に対応するカウンタに１を足し、背景でなかった場合
は、処理２２６で動物体に対応するカウンタに１を足
す。

【００９５】次に処理２２７では、近傍のセルの過去の
判定結果を調べ、その内８割以上が背景、もしくは動物
体の場合には、処理２２８でその多数を占めている状態
に対応するカウンタに１を足す。なお、処理の開始時な
ど、過去の判定結果がない場合には処理２２７はスキッ
プする。

【００９６】そして、処理２２９で、動物体と背景のそ
れぞれに対応するカウンタを調べ、値が大きい方の状態
を現在のセルの状態と判定する。なお、このカウンタの
値が等しい場合には、判定不能であると判定する。

【００９７】以上のようにして、処理２０３では現在の
フレームにおけるセルの状態を判定する。

【００９８】次に、処理２０４から２０９では、背景と
判定したセルの特徴量の重み付け平均値をセル毎に更新
する。

【００９９】処理２０５では、セルの状態を背景と判定
した場合、もしくは、セルの状態を一定時間以上動物体
と判定し続けている場合に、処理２０６から処理２０９
の処理を行う。後者は動物体が動画像の中で静止した
り、過去のフレーム画像における特徴量の重み付け平均
を誤って設定もしくは更新している場合の処理である。

【０１００】処理２０６では、過去の複数のフレーム画
像におけるセルの各画素のＹ値の重み付け平均値を、

【０１０１】

【数３】

【０１０２】により更新する。ここで、Ｙaveは更新し
ようとする画素のＹ値の重み付け平均値、ｙは現フレー
ムにおけるその画素のＹ値、ｗは０を超え１未満の定数
である。なお、Ｙaveが一度も設定されていない場合に
は、ｙの値をそのまま設定する。この処理により、無限
時間のフレーム画像から得られる各画素のＹ値を、古さ
による重みを付けて平均することができる。

【０１０３】処理２０７では、過去の複数のフレーム画
像における平均輝度の重み付け平均値を（数３）と同様
に更新する。また、値が設定されていない場合は、その
時のフレームにおける平均輝度をそのまま設定する。

【０１０４】処理２０８では、過去の複数のフレーム画
像における平均の色の重み付け平均値、つまりセルの
Ｕ、Ｖ値の平均の重み付け平均値をを（数３）と同様に
更新する。また、値が設定されていない場合は、その時
のフレームにおける平均の色をそのまま設定する。

【０１０５】処理２０９では、過去の複数のフレーム画
像におけるテクスチャ特徴量の重み付け平均値を（数
３）と同様に更新する。また、値が設定されていない場
合は、その時のフレームにおけるテクスチャ特徴量をそ
のまま設定する。

【０１０６】以上のようにして、処理２０４から２０９
では、背景と判定したセルの特徴量の重み付け平均値を
セル毎に更新する。

【０１０７】以上のようにして本発明における動物体検
出方法では、判定しようとする領域と、その領域に対応
する過去のフレーム画像の領域と、判定しようとする領
域の過去の状態の判定結果と、判定しようとする領域の
近傍の領域の過去のフレーム画像における状態の判定結
果とを統合して、領域の状態の判定を行う。したがっ
て、より正確な状態の判定を行うことができるととも
に、判定しようとするフレームより過去のフレームの情
報のみを利用するため、実時間処理にも適している。ま
た、背景に判定した過去の複数のフレーム画像における
セルの各画素の輝度の重み付け平均値を、セルの状態の
判定に利用することにより、より正確な状態の判定を行
うことができる。また、背景に判定した過去の複数のフ
レーム画像におけるセルの平均輝度の重み付け平均値
を、セルの状態の判定に利用することにより、より正確
な状態の判定を行うことができる。また、背景に判定し
た過去の複数のフレーム画像におけるセルの平均の色の
重み付け平均値を、セルの状態の判定に利用することに
より、より正確な状態の判定を行うことができる。ま
た、背景に判定した過去の複数のフレーム画像における
セルのテクスチャ特徴量の重み付け平均値を、セルの状
態の判定に利用することにより、より正確な状態の判定
を行うことができる。なお、本実施の形態では、背景に
判定したセルでセルの各画素の輝度、セルの平均輝度、
セルの平均の色、セルのテクスチャ特徴量の重み付け平
均値を求めているが、これに限定されるものではなく、
動物体に判定したセルで更新したり、複数の状態の各々
で重み付け平均値を計算し、領域の状態の判定に用いて
も良い。

【０１０８】また、本実施の形態では、各画素の輝度、
セルの平均輝度、セルの平均の色、セルのテクスチャ特
徴量の重み付け平均値の更新を、（数３）に準じた式で
行っているが、例えば、過去背景に判定された一定枚数
のフレーム画像における値を記憶し、その単純平均を計
算するなどの方法を使用しても良い。

【０１０９】

【発明の効果】以上のようにして本発明によれば、動画
像のフレーム画像の領域がどのような状態にあるかを判
定し、動物体に対応する領域を検出することにより、動
物体に対応する領域を過不足なく正確に検出する実時間
処理に適した動物体検出方法を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態の動物体検出装置のブロッ
ク図

【図２】本発明の実施の形態１における動物体検出装置
の各フレーム毎の処理のＰＡＤ図

【図３】同動物体検出装置のフレーム画像を領域分割の
模式図

【図４】特徴量の計算処理のＰＡＤ図

【図５】同動物体検出装置のセルの状態の判定処理のＰ
ＡＤ図

【図６】同動物体検出装置の動領域の検出の例の図

【図７】同動物体検出装置の動領域の対応付け処理のＰ
ＡＤ図

【図８】同動物体検出装置の２台のビデオカメラで真上
と側面から見た場合の模式図

【図９】同動物体検出装置の動領域の状態の判定の変更
の例の図

【図１０】本発明の実施の形態２における動物体検出装
置の各フレーム毎の処理のＰＡＤ図

【図１１】同動物体検出装置の画像を領域分割を示した
図

【図１２】本発明の実施の形態３による動物体検出装置
の各フレームにおける処理のＰＡＤ図

【図１３】同動物体検出装置のセルの現フレームにおけ
る特徴量の計算処理のＰＡＤ図

【図１４】同動物体検出装置のセルの状態の判定処理の
ＰＡＤ図

【図１５】従来の動物体検出装置における領域の状態判
定のＰＡＤ図

【符号の説明】

１０コンピュータ１１カメラ１２フレームメモリ１３検出手段１４出力Ｉ／Ｆ７０カメラ７１カメラ７２鏡像７３人物

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平８−221577（ＪＰ，Ａ) 特開平７−212760（ＪＰ，Ａ) 特開平８−249471（ＪＰ，Ａ) 特開平８−241413（ＪＰ，Ａ) 特開平11−15981（ＪＰ，Ａ) 特開平６−311504（ＪＰ，Ａ) 特開平４−192693（ＪＰ，Ａ) ＰＲＭＵ96−178 形状特徴を用いたテンプレートマッチング法による複数移動物体の実時間追跡，電子情報通信学会技術研究報告，日本，1997年３月，ｐｐ．61−68 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/20

Claims

(57)【特許請求の範囲】

【請求項１】動画像の現在のフレーム画像と少なくと
も１つ以上の過去のフレーム画像とを１画素以上の複数
の領域に分割し、当該領域の現在情報と前記当該領域に
対応する少なくとも１つ以上の過去情報とから前記当該
領域の現在状態を判定する場合に、前記当該領域の現在
情報及び前記過去情報から算出した正規化距離が予め定
めた閾値を超過する場合は、前記当該領域の現在状態を
動物体及び動物体の鏡像と判定し、前記正規化距離が前
記閾値未満である場合は、前記当該領域の現在状態を動
物体の影及び背景と判定する第１の工程と、前記当該領
域の過去状態及び前記当該領域の近傍領域の過去状態の
判定結果を統合して、前記第１の工程で判定された当該
領域の現在状態を再度判定する第２の工程と、動物体及
び動物体の鏡像と判定された複数の領域の実空間位置を
用いて、領域の現在状態が動物体又は動物体の鏡像であ
ると判定する第３の工程とを含む動物体検出方法。
【請求項２】第３の工程は、同じ前記現在状態の隣接
する領域をグループとし、動物体及び動物体の鏡像と判
定された前記グループの実空間位置を用いて、前記グル
ープの現在状態が動物体又は動物体の鏡像であると判定
するものである請求項１記載の動物体検出方法。
【請求項３】領域の現在情報及び前記領域に対応する
過去情報は、各画素の輝度の差、平均輝度の差、平均の
色の差、テクスチャ特徴量の差又は輝度分布の類似度の
１つ又はその組合せである請求項１又は２記載の動物体
検出方法。
【請求項４】過去情報は、過去の複数のフレーム画像
の重み付け平均により求める請求項１ないし３のいずれ
か記載の動物体検出方法。
【請求項５】領域は、対象となる動物体の大きさに応
じて異なる大きさに分割する請求項１ないし４のいずれ
か記載の動物体検出方法。
【請求項６】領域は、カメラ位置からの距離に応じ
て、遠くになるほど領域サイズを細かく分割する請求項
１ないし４のいずれか記載の動物体検出方法。
【請求項７】現在状態の再判定は、近傍領域の現在状
態の判定に占める割合を用いた判定であり、前記近傍領
域の現在状態の判定に占める割合が予め定めた閾値を超
えている場合には、当該領域の領域が前記近傍領域の現
在状態であると判定する請求項１又は２記載の動物体検
出方法。
【請求項８】複数の動画像よりそれぞれに検出した動
物体の内、同一の動物体に対応するものは統合し、統合
した動物体の情報を用いて領域毎に領域の現在状態を、
再度、判定する請求項１ないし７のいずれか記載の動物
体検出方法。
【請求項９】動画像の現在のフレーム画像と少なくと
も１つ以上の過去のフレーム画像とを１画素以上の領域
に分割し、当該領域の現在情報と前記当該領域に対応す
る少なくとも１つ以上の過去情報とから判定した前記当
該領域の現在状態と前記当該領域に対応する少なくとも
１つ以上の過去状態とから一旦仮の現在状態を判定し、
前記当該領域の仮の現在状態と前記当該領域の近傍領域
の現在状態の仮の判定結果とを統合して前記当該領域の
現在状態を判定する動物体検出方法。
【請求項１０】仮の現在状態は、当該領域の近傍領域
のうち、ある一つの現在状態に判定された領域の数が近
傍領域の数に占める割合に応じて判定されるものである
請求項９記載の動物体検出方法。
【請求項１１】仮の現在状態は、同じ現在状態の隣接
する領域をグループとし、前記グループ内の領域は全て
同じ状態であると判定されるものである請求項９又は１
０記載の動物体検出方法。
【請求項１２】領域の状態は、動物体に対応する状
態、前記動物体の影に対応する状態、前記動物体の鏡像
に対応する状態、背景に対応する状態、動画像を撮像し
ている場所の照明条件の変化に対応する状態又は動画像
の撮像条件の変化に対応する状態から少なくとも１つ以
上の状態に判定される請求項９ないし１１のいずれか記
載の動物体検出方法。