JPH0568245A

JPH0568245A - 動物体検出および追跡処理方式

Info

Publication number: JPH0568245A
Application number: JP22762791A
Authority: JP
Inventors: Yuichi Fujino; 雄一藤野; Mamoru Nakanishi; 衛中西
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1991-09-09
Filing date: 1991-09-09
Publication date: 1993-03-19
Anticipated expiration: 2016-11-12
Also published as: JP3227179B2

Abstract

(57)【要約】【目的】本発明は、安定して人物顔面領域を検出し、
人物顔面領域などの動物体を安定して追跡できるように
することを目的としている。【構成】画像上での動物体を検出し追跡する処理に当
って、背景メモリ１０１と、差分画像作成手段１０２
と、２値化画像作成手段１０３と、中心点初期値算出手
段１０４と、枠切り出し手段１０５と、重心点を得る手
段１０６と、顔面領域切り出し手段１０７とをそなえて
構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばテレビ電話装置
に用いられ、テレビカメラで撮像された画像から、該画
像中に含まれる複数個の動物体を検出し、あらかじめ設
定された大きさの矩型枠で切り出し、該動物体の動きを
追跡して矩型枠を移動させて該動物体を追跡する動物体
検出および追跡処理方式に関するものである。

【０００２】

【従来の技術】従来、動物体検出および追跡処理方式に
は、フレームメモリを有し、該フレームメモリで遅延さ
せられた信号と入力された信号との画素毎の差分を基に
して動物体を検出し、矩型枠で切り出す装置があった
（特願昭61−305828）。

【０００３】図８は従来の動物体検出および追跡処理方
式を説明する図であり、１は撮像装置、２はフレームメ
モリ、３は画素演算処理部、４は２値化処理部、５は有
効ブロック判定処理部、６は顔面領域判定処理部、７は
同期抽出処理部、８は顔面領域切り出し処理部、９は間
引き処理部、１０は出力端子である。

【０００４】撮像装置１で撮像された映像信号は、フレ
ームメモリ２に入力され、ｎ（ｎはｎ≧１なる整数）フ
レーム期間遅延され、画素演算処理部３にて入力信号と
の差分が計算される。計算された画素差分信号は、２値
化処理部４にて２値化され、有効ブロック判定処理部５
にてしきい値以上の信号を動きがあったブロック、すな
わち有効差分ブロックと判定する。該有効ブロックを基
にして、顔面領域判定処理部６にて顔面領域が判定され
る。

【０００５】次に顔面領域判定処理部６の具体的判定方
法について詳細に説明する。図９は有効差分ブロックの
例を示す図である。図９に示す原点Ｏ（０、０）を座標
原点とし、水平右方向をｘ方向、垂直下方向をｙ方向と
する。まず、原点Ｏ（０、０）から水平方向に順次走査
し、有効ブロックの有無を調べ、最初に有効ブロックを
検出した点を頭頂部点ｐ（ｐ_x、ｐ_y）とする。該頭頂
部点ｙ座標ｐ_yから正の方向、すなわちｐ_yから下の領
域を顔面領域とし、該顔面領域で、左右方向からそれぞ
れ走査し、最初に有効ブロックを検出した点をそれぞれ
左顔面輪郭Ｗ₁（ｌ_x、ｌ_y）、右顔面輪郭Ｗ
_r（ｒ_x、ｒ_y）とし、顔の幅Ｗを以下の様に定義す
る。

【０００６】Ｗ＝ｒ_x−ｌ_x 上記Ｗをｐ_yより下の領域ですべて求めて、顔の中心ｘ
座標をＷから直接計算する。また顔の中心ｙ座標はＷを
基に顔の統計的性質を利用して求める。同時にＷから顔
面領域抽出範囲を決定し、前記中心座標、顔面領域抽出
範囲を同期抽出処理部７より抽出された同期信号に従っ
て顔面領域切り出し処理部８に入力する。

【０００７】顔面領域切り出し処理部８では、顔面領域
判定処理部６から入力された前記中心座標、顔面領域抽
出範囲に基づき、フレームメモリ２から入力された映像
信号の人物顔面領域を切り出す。切り出された信号は間
引き処理部９に入力され、テレビ電話などの高能率符号
化装置等を利用できるように画素を間引かれて出力端子
１０に出力され、符号化装置等に入力され低ビットレー
トで伝送される。

【０００８】

【発明が解決しようとする課題】以上説明した従来方式
では、まず第一に、フレーム間差分信号を動物体検出に
用いているため、人物像がほとんど動かない場合には有
効差分ブロックを検出することができない欠点がある。
この欠点は、たとえばあらかじめ人物顔面領域が検出さ
れ、矩型枠で切り出された後に人物像の動きが止まり有
効差分ブロックが検出できなくなった場合には、何も処
理を行わないようにする。すなわち前に検出した得領域
をそのまま利用することにより対処可能だが、一番最初
に人物頭頂部点ｐや顔面幅Ｗを検出するときに、該人物
像が動いていなければ初期値を与えることができず、矩
型枠で切り出すことができない欠点となる。

【０００９】第二に、有効差分ブロック信号から頭頂部
点ｐを検出する際、常に原点Ｏ（０、０）から水平方向
に順次走査して求めるため、頭頂部以外の動物体が新た
に画面内に侵入し、頭頂部ｙ座標ｐ_yよりも負の方向、
すなわち頭頂部よりも上に位置した場合には、該動物体
を頭頂部として検出してしまう欠点がある。図１０は人
物顔面領域以外の有効差分ブロックを、頭頂部点ｐから
上部の領域で検出した例を示し、１１は人物顔面領域以
外の動物体である。この例では、人物の手を検出した場
合である。従来方式では、該人物顔面領域以外の動物体
１１、すなわち手を人物頭頂部と認識し、顔面領域切り
出し処理部８にて該動物体を頭頂部点ｐとして切り出し
てしまう。図１０の点線内はその結果として切り出され
た領域を示す例である。

【００１０】第三に、顔の幅Ｗは頭頂部点ｐから下の範
囲を左右方向からそれぞれ走査し、最初に出会った有効
ブロックから求めているため、頭頂部点ｐより下の領域
に他の動物体が侵入した場合には、顔の幅Ｗを正確に検
出できなくなり、その結果として顔面領域の抽出範囲を
誤ってしまう欠点がある。図１１は人物顔面領域以外の
有効差分ブロックを、頭頂部点ｐから下部の領域で検出
した例であり、この例では人物像の手が頭頂部点ｐより
下に位置した場合を示す。人物顔面領域以外の動物体１
１により、顔の幅Ｗは誤って計算される。図１１の点線
はその結果として切り出された領域を示す例である。

【００１１】本発明は、安定して人物顔面領域を検出
し、人物顔面領域などの動物体を安定して追跡できるよ
うにすることを目的としている。即ち、フレーム間差分
信号を動物体検出に用いているため、人物像がほとんど
動かない場合には有効差分ブロックを検出することがで
きない従来方式の第一の欠点、有効差分ブロック信号か
ら頭頂部点ｐを検出する際、常に原点Ｏ（０、０）から
水平方向に順次走査して求めるため、頭頂部以外の動物
体が新たに画面内に侵入し、頭頂部よりも上に位置した
場合には、該動物体を頭頂部点ｐとして検出してしまう
従来方式の第二の欠点、顔の幅Ｗを検出する際、頭頂部
点ｐから下の範囲をそれぞれ左右方向から走査し、最初
に出会ったそれぞれの有効ブロックから求めているた
め、頭頂部点ｐより下の領域に他の動物体が侵入した場
合には、顔の幅Ｗを正確に検出できなくなる従来方式の
第三の欠点を解決することを目的としている。

【００１２】

【課題を解決するための手段】図１は本発明の原理構成
図を示す。図中の符号１０１は背景メモリ、１０２は差
分画像作成手段、１０３は２値化画像作成手段、１０４
は中心点初期値算出手段、１０５は枠切り出し手段、１
０６は重心点を得る手段、１０７は顔面領域切り出し手
段を示す。

【００１３】従来の技術ではフレーム間差分信号を動物
体検出に用い、人物顔面領域を抽出しているが、本発明
では、背景参照画像をあらかじめ蓄積しておき、該背景
参照画像と入力画像との差分から画面内への侵入物体、
すなわち人物顔面領域などの動物体を検出する。

【００１４】また従来の方式では最初に求めた差分画像
からｎ（ｎはｎ≧１なる整数）フレーム期間後以降のす
べての画像での動物体検出処理は全く同様の手段によ
り、フレーム間差分信号からフレーム間有効ブロックを
検出し、原点Ｏ（０、０）から水平方向に全画面を順次
走査して頭頂部点ｐ、左顔面輪郭Ｗ₁（ｌ_x、ｌ_y）、
右顔面輪郭Ｗ_r（ｒ_x、ｒ_y）、顔の幅Ｗ、顔面領域中
心座標、顔面領域抽出範囲を決定し、動領域すなわち人
物顔面領域を追跡しているのに対し、本発明では、最初
のフレームでは頭頂部点ｐを基にして顔面領域切り出し
中心点の初期値を求めているが、それ以降の処理、すな
わちｎフレーム期間以降の動物体検出処理は、以前に行
われたラベリング処理により得られた動領域の重心点を
開始点とする処理を行い、同じラベル番号を得られる動
領域を時間的に連続な領域、すなわち人物顔面領域と判
定し、新たに求められた動領域の重心点を求め、該重心
点を基に次のｎフレーム後の処理の切り出し中心点を決
定し、動領域の切り出し中心点を更新し、動領域の追跡
を行う。

【００１５】更に、従来の方式ではフレーム間有効ブロ
ックをすべての画面にわたって走査し、頭頂部点ｐ、左
顔面輪郭Ｗ₁（ｌ_x、ｌ_y）、右顔面輪郭Ｗ_r（ｒ_x、
ｒ_y）、顔の幅Ｗ、顔面領域中心座標、人物顔面領域抽
出範囲を決定しているのに対し、本発明では矩型領域外
での動物体の影響を避けるために、該人物顔面領域を含
む領域をあらかじめ設定された大きさの矩型領域で切り
出し、切り出された矩型領域内でのみラベリング処理を
実施し、人物顔面領域を検出している。

【００１６】

【作用】本発明は、フレーム間差分信号を動物体検出に
用いているため、人物像がほとんど動かない場合にはフ
レーム間有効差分ブロックを検出することができない従
来の第一の欠点を解決するため、あらかじめ蓄積した背
景参照画像と入力画像との差分を求めて背景／人物有効
差分ブロック画像を作成し、該背景／人物有効差分ブロ
ック画像から動物体を検出する。

【００１７】また、頭頂部以外の動物体が新たに画面内
に侵入し頭頂部点ｐよりも上部に位置した場合には、該
動物体を頭頂部点ｐとして検出してしまう従来の第二の
欠点、該動物体が頭頂部点ｐより下部に位置した場合に
は、顔の幅Ｗを正確に検出できなくなる従来の第三の欠
点を解決するため、あらかじめ設定された大きさの矩型
領域で該人物顔面領域を切り出し、該矩型領域外での動
物体の影響を避けるために、切り出された矩型領域内で
のみラベリング処理を実施し、人物顔面領域の重心点お
よびラベル番号を求め、該重心点を基に次の切り出し処
理の中心点を求め切り出し中心点を更新する点と、同じ
ラベル番号の領域を時間的に連続な動物体と認識するた
めに、前回のラベリング処理により得られた領域の重心
点を開始点として次のフレームのラベリング処理を実施
する。

【００１８】

【実施例】（実施例１）図２は、本発明の第一の実施例
を説明する図であり、符号１、３、４は図８に対応し、
更に１２は背景メモリ部、１３はブロック化処理部、１
４は２値化しきい値設定ボリューム、１５は頭頂部点検
出処理部、１６は切り出し中心点算出処理部（頭頂部
点）、１７はブロック化画像顔面領域切り出し処理部、
１８はラベリング処理部、１９は切り出し中心点算出処
理部（ラベル重心点）、２０は切り出し中心点オフセッ
ト設定ボリュームである。

【００１９】まず最初に、動物体がない状態で撮像装置
１で背景を撮像し、背景メモリ部１２に蓄積する。ここ
で、撮像された映像信号は水平方向１個、垂直方向ｍ個
の画素を持つものとする。次に人物がいる状態で撮像装
置１にて人物像を撮像する。撮像された人物映像信号
は、画素演算処理部３に入力され、ｎフレーム毎（ｎは
ｎ≧１なる整数）画素差分が演算される。本実施例で
は、単純に背景信号と入力信号の差分を演算しブロック
化処理部１３に入力しているが、後述する２値化処理部
での背景／人物有効差分ブロック画像の作成が困難な場
合には相関係数を用いることも考えられる。すなわち、
相関の低い画素の領域を人物領域、相関の高い画素の領
域を背景領域とすることができるから、ｎフレーム毎に
背景画像と入力画像の相関係数を演算し、求められた相
関係数を画素輝度値の代わりに有する相関係数画像を作
成する方法も考えられる。ここで、画素演算処理部３で
差分または相関係数が演算され、その結果得られる差分
または相関係数画像をＦ₁、Ｆ ₂、・・・、Ｆ_k（ｋは
自然数）フレームとする。

【００２０】次に、演算された差分または相関係数画像
Ｆ₁、Ｆ₂、・・・、Ｆ_kはブロック化処理部１３に入
力され、あらかじめ設定されたブロックに分割される。
ブロックの大きさは、認識する動物体の大きさに関係す
るが、人物像の場合にはたとえば１６×１６、または３
２×３２などを設定する。なお、本ブロック化処理部１
３は、演算処理数を減らし処理の高速化を図るために設
定されたものであり、処理時間の高速化を必要としない
場合や、より細かい差分が必要な場合には省略すること
ができる。

【００２１】ブロック化された映像信号は２値化処理部
４にて、あらかじめ２値化しきい値設定ボリューム１４
にて設定されたしきい値に基づき２値化され、背景／人
物有効差分ブロック画像ｆ₁、ｆ₂、・・・、ｆ_k（ｋ
は自然数）が得られる。ここで、該背景／人物有効差分
ブロックが検出されないとき、すなわち、人物像などの
動物体が画面上に無いときは、２値化処理部４から後の
処理は行わず、２値化処理部４から背景メモリ更新情報
を背景メモリ部１２に入力し、背景メモリ部１２では２
値化処理部４で処理された画像の原画像を背景画像とし
て蓄積し、背景画像を更新する。この処理により、背景
の時間的変化による輝度変化の影響を少なくすることが
できる。背景画像更新後、背景／人物有効差分ブロック
が検出されたとき、検出された最初の背景／人物有効差
分ブロック画像をｆ₁フレーム、以降のフレームを
ｆ₂、・・・、ｆ_kフレームとして上記処理を再び開始
する。

【００２２】図３は得られた背景／人物有効差分ブロッ
クの例を示す。ここで、背景／人物有効差分ブロック画
像ｆ₁、ｆ₂、・・・、ｆ_kのブロック番号を以下のよ
うに定義する。

【００２３】左上；Ｂ_1,1 右下；Ｂ_i,j ただし、ｉ＜ｌ，ｊ＜ｍ２値化処理部４以降の処理は、背景／人物有効差分ブロ
ック画像ｆ₁、ｆ₂、・・・、ｆ_kフレームによって次
に出力する機能ブロックが異なる。すなわち頭頂部点検
出処理部１５はｆ₁フレームのみが入力され、ブロック
化画像顔面領域切り出し処理部１７にはｆ₁、ｆ₂、・
・・、ｆ_kフレームが入力される。以下に入力された各
ブロックでの処理について説明する。

【００２４】まず、頭頂部点検出処理部１５での処理に
ついて説明する。ここでの処理は、人物顔面領域を切り
出す中心点の初期値を与える処理である。頭頂部点検出
処理部１５では、ｆ₁フレームをＢ_1,1から水平方向に
順次走査し、最初に検出した有効差分ブロック、すなわ
ち動領域の位置を頭頂部ブロックＢ_pとする。頭頂部ブ
ロックＢ_pの中心座標を頭頂部点ｐとし、該頭頂部点ｐ
は切り出し中心点算出処理部（頭頂部点）１６に入力さ
れ、切り出し中心点ｃ（ｘ_c、ｙ_c）を算出する。切り
出し中心点の算出法は、撮像された人物顔面領域が切り
出し矩型枠内に納まるように頭頂部点ｐから垂直方向に
適当な値のオフセット値を加算した座標点を中心点とす
る。なお、本中心点は最初の処理フレームｆ₁の切り出
し初期値であり、人物顔面領域の位置に応じて更新され
る中心座標点は後述する処理で決定されるため、オフセ
ット値をユーザが細かく設定する必要はない。次に切り
出し中心点算出処理部（頭頂部点）１６で算出された切
り出し中心点は、切り出し中心点の初期値として顔面領
域切り出し処理部１８に入力される。

【００２５】なお、本実施例１では頭頂部点ｐを検出す
るため、背景／人物有効差分ブロック画像ｆ₁フレーム
をＢ_1,1から水平方向に順次走査し、最初に検出した有
効差分ブロックの位置を頭頂部ブロックＢ_pとしている
が、他の方法も考えられる。たとえば、背景／人物有効
差分ブロックにラベリング処理（ラベリング処理につい
ては後述する）を実施し、ラベル化されたブロックの重
心点、最小ｙ座標を求め、最小ｙ座標を与える座標点を
頭頂部点ｐとする方法もある。この場合には、ラベリン
グ処理により得られたブロック毎に頭頂部点ｐを得るこ
とができるため、複数の人物の検出が可能となる。

【００２６】次に、ｆ₁、ｆ₂、・・・、ｆ_kフレーム
が入力されるブロック化画像顔面領域切り出し処理部１
７での処理について説明する。本機能ブロック以降での
処理は、上述した人物顔面領域を切り出す中心点の初期
値を人物顔面領域の位置に応じて更新する処理である。
入力された背景／人物有効差分ブロック画像ｆ₁フレー
ムは切り出し中心点算出処理部（頭頂部点）１６から入
力された切り出し中心点を用いて、またｆ₂、・・・、
ｆ_kフレームは、切り出し中心点算出処理部（ラベル重
心点）１９から入力された切り出し中心点を用いて、あ
らかじめ設定された水平方向ａ画素、垂直方向ｂ画素
（ａ＜ｌ、ｂ＜ｍ）の大きさの矩型枠を含む最小の矩型
ブロックで切り出しが行われる。ａ×ｂの画素を含む矩
型ブロックで切り出された背景／人物有効差分ブロック
画像はラベリング処理部１８に入力され、矩型領域内で
ラベリング処理が実施される。ここで、ラベリング処理
について簡単に説明する。

【００２７】図４は４近傍、４隣接点または８近傍、８
隣接点について説明する図である。ある画素ｘ_o（ｉ，
ｊ）（なお、ここで記述しているｉ、ｊは上述した切り
出しブロック数ｉ、ｊとは無関係である）を中心に３×
３のブロックを考える。このとき、ｘ_oを中心に画素の
集合｛ｘ₁、ｘ₃、ｘ₅、ｘ₇｝をｘ_oの４近傍または
４隣接点といい、また、画素の集合｛ｘ₁、ｘ₂、
ｘ₃、ｘ₄、ｘ₅、ｘ₆、ｘ₇、ｘ₈｝をｘ_oの８近傍
または８隣接点という。画像のラベリング処理は適当な
点を開始点としその画素の４近傍または８近傍を探索
し、そのなかに有効画素があれば同一の領域にある画素
と判断され、該画素は４連結点または８連結点となり、
同じラベル番号、例えばラベル１が与えられる。この処
理を次々と実施していくことにより、４連結点または８
連結点の集合で形成される同一ラベル番号を持った閉領
域が求められる。この処理がすべての画素で実施される
と、画像上のすべてのｎ個の閉領域にラベル番号１〜ｎ
が与えられる。背景／人物有効差分ブロック画像におけ
るラベリング処理は、上述した画素をブロックに置き換
えて実施する。

【００２８】上述したラベリング処理を背景／人物有効
差分ブロック画像に実施するのだが、通常ラベリング処
理は原点Ｏ（０、０）から水平方向または垂直方向に探
索が実施される。しかしながら、本発明では、求める人
物顔面領域の時間的連続性に着目し、背景／人物有効差
分ブロック画像ｆ_hフレーム（ｈ≧２）におけるラベル
化された人物顔面領域の重心点がｆ_h-1フレームで求め
られた重心点と大きく変化することはない、という点か
ら、ｆ_h-1フレームで求められた重心点、すなわち切り
出し中心点（ただし、後述する切り出し中心点オフセッ
ト値は含まない）から水平方向または垂直方向にラベリ
ング処理を開始し、最初に求められた有効領域、すなわ
ちラベル１を持った領域を人物顔面領域ブロックとし、
該ブロックの重心点を計算する。

【００２９】以上により求められた人物顔面領域のブロ
ックの重心点座標は切り出し中心点算出処理部（ラベル
重心点）１９に入力され、切り出し中心点ｃ（ｘ_c、ｙ
_c）が算出される。切り出し中心点ｃ（ｘ_c、ｙ_c）は
該重心点そのままの座標を用いるか、またはユーザの好
みにより、切り出し中心点オフセット設定ボリューム２
０により、上下または左右のオフセット値を与えられた
座標値を用いる。ただし、ブロック化画像顔面領域切り
出し処理部１７へはオフセット値を含まない座標値が入
力される。切り出し中心点算出処理部（ラベル重心点）
１９で求められた切り出し中心点ｃ（ｘ_c、ｙ_c）はブ
ロック化画像顔面領域切り出し処理部１７（ただし、オ
フセット値は含まない）と顔面領域切り出し処理部８に
入力される。ブロック化画像顔面領域切り出し処理部１
７に入力された中心点ｃ（ｘ_c、ｙ_c）はｆ_h+1フレー
ムを切り出す際の切り出し中心点を与え、切り出し中心
点の更新を行う。また、顔面領域切り出し処理部８に入
力された中心点ｃ（ｘ_c、ｙ_c）により、撮像装置１に
より入力された人物画像を切り出し、人物顔面領域の含
まれるａ×ｂ画素の画像が得られる。ここで、ｎ≧２の
場合には、前の処理の結果得られた中心点を使用して切
り出し、ｎフレーム後に切り出し中心点を更新し、切り
出す位置を人物顔面領域の動きに応じて変化させ、人物
顔面領域の追跡を行う。求められた画像は出力端子１０
に出力されるが、この後の処理は、使用される形態によ
り異なる。

【００３０】ここでは、ＣＣＩＴＴ標準化テレビ電話装
置に本発明を使用した例を示す。図５は、本発明の処理
以降のテレビ電話装置の構成の例を示す図であり、２１
は符号化処理部、２２は網インタフェース処理部であ
る。出力端子１０から出力された人物顔面領域を含む画
像は符号化処理部２１に入力される。ここで、本発明の
項で述べた切り出し範囲は、ＣＣＩＴＴ標準化画像（Ｃ
ＩＦ画像）に沿って水平方向３５２画素、垂直方向２８
８画素の矩型範囲とする。該矩型画像は符号化処理部２
１で高能率符号化され、網インタフェース処理部２２に
てネットワークに出力される。（実施例２）本方式はテレビ電話のみならず、防犯カメ
ラによる異常動物体の検出処理にも使用できる。防犯カ
メラは通常は人のいない深夜の重要な部屋や外部の様子
を撮像し、保安要員が常にテレビモニタを監視し侵入者
等の異常を検出するシステムである。この場合、監視箇
所が増えるに従い、複数のモニタを用意し、保安要員が
該複数のモニタを常に注視しなければならない。また、
別な方法として、一つのモニタ上にシーケンシャルに表
示し、保安要員が一つのモニタに順次表示される状況を
常に注意深く監視しなければならない。どちらの方法
も、常にモニタを監視しなければならず保安要員の負荷
が重くなる欠点がある。このシステムに本方式の動物体
検出を使用すれば、該動物体の検出時にアラームを発生
させ、該動物体を矩型枠で切り出し拡大表示することに
より、保安要員は異常時のみモニタを注視し、拡大表示
された動物体を見ればよいので、保安要員の負荷を軽減
させる効果がある。

【００３１】図６は、本発明の第二の実施例を説明する
図である。図中の符号は図２に対応しており、更に２３
は全画面ラベリング処理部、２４はブロック化画像動領
域切り出し処理部、２５は矩型領域ラベリング処理部、
２６は動領域切り出し処理部、２７は防犯アラーム発生
部、２８は切り出し画像メモリ部、２９は拡大処理部で
ある。

【００３２】まず、初期画像として、防犯カメラで監視
する場所の動物体がない状態の画像を背景画像として撮
像装置１により撮像し、背景メモリ部１２に蓄積する。
その後、該監視する場所を連続的に撮像し、撮像された
信号は画素演算処理部３に入力される。画素演算処理部
３にて、背景メモリ部１２の背景信号と撮像装置１から
入力された映像信号との差分または相関係数がｎフレー
ム毎（ｎはｎ≧１なる整数）に演算される。ここで、該
演算処理の結果得られる差分または相関係数画像を
Ｆ₁、Ｆ₂、・・・、Ｆ_k（ｋは自然数）フレームとす
る。

【００３３】次に、演算された差分または相関係数画像
Ｆ₁、Ｆ₂、・・・、Ｆ_kはブロック化処理部１３に入
力され、あらかじめ設定されたブロックに分割される。
ブロックの大きさは、認識する動物体の大きさに関係す
るが、防犯カメラに撮像される人物像等の大きさを考慮
して決定され、たとえば１６×１６などが設定される。
ブロック化された映像信号は２値化処理部４にて、あら
かじめ２値化しきい値設定ボリューム１４にて設定され
たしきい値に基づき２値化され、入力画像中に動物体が
侵入していたならば背景／動物体有効差分ブロックが得
られる。ここで、該背景／動物体有効差分ブロックが検
出されないとき、すなわち、人物像などの動物体が画面
上に無いときには、２値化処理部４から後の処理は行わ
ず、２値化処理部４から背景メモリ更新情報を背景メモ
リ部１２に入力し、背景メモリ部１２では２値化処理部
４で処理された画像の原画像を背景画像として蓄積し、
背景画像を更新する。

【００３４】動物体が侵入し、上記背景／動物体有効差
分ブロックが検出されたならば、検出された最初の背景
／動物体有効差分ブロック画像をｆ₁フレーム、以降の
フレームをｆ₂、・・・、ｆ_kフレームとし、ｆ₁フレ
ームが検出された時点で２値化処理部４から防犯アラー
ム発生部２７にアラーム信号が送出され、保安要員に通
報される。同時に、検出された背景／動物体有効差分ブ
ロック画像ｆ₁、ｆ₂、・・・、ｆ_kフレームを用い
て、以下の処理が行われる。

【００３５】最初に動物体が検出された背景／動物体有
効差分ブロック画像ｆ₁フレームは全画面ラベリング処
理部２３とブロック化画像動領域切り出し処理部２４に
入力される。また、背景／動物体有効差分ブロック画像
ｆ₁、ｆ₂、・・・、ｆ_kフレームは、ブロック化画像
動領域切り出し処理部２４に入力される。

【００３６】まず最初に、全画面ラベリング処理部２３
での処理について説明する。ここでの処理は、動物体を
切り出す中心点の初期値を与える処理である。入力され
た背景／動物体有効差分ブロック画像ｆ₁フレームは、
全画面ラベリング処理部２３でラベリング処理が行われ
る。ラベリング処理により検出した動物体の数、すなわ
ち有効動領域の数をna（na≧１なる整数）個とした場
合、得られるラベル番号は１〜naとなる。次に、検出さ
れたラベル番号毎のna個の重心点がブロック化画像動領
域切り出し処理部２４に送出される。

【００３７】次に、ｆ₁、ｆ₂、・・・、ｆ_kフレーム
が入力されるブロック化画像動領域切り出し処理部２４
での処理について説明する。本機能ブロック以降での処
理は、上述した動物体を切り出す中心点の初期値を動物
体の位置に応じて更新する処理である。ブロック化画像
動領域切り出し処理部２４に入力された背景／動物体有
効差分ブロック画像ｆ₁フレームは、全画面ラベリング
処理部２３から入力された動物体重心点を用いて、また
ｆ₂、・・・、ｆ_kフレームは、矩型領域ラベリング処
理部２５から入力された切り出し中心点、すなわち動物
体の重心点を用いて、あらかじめ設定された水平方向ａ
画素、垂直方向ｂ画素（ａ＜ｌ、ｂ＜ｍ）の大きさの矩
型枠を含む最小の矩型ブロックで切り出しが行われる。
ここで、切り出される矩型領域の数はna個である。ａ×
ｂの画素を含む矩型ブロックで切り出された背景／動物
体有効差分ブロック画像は矩型領域ラベリング処理部２
５に入力され、動物体の重心点を開始点として矩型領域
内でラベリング処理が実施され、ラベリングしたna個の
動物体の重心点とラベル番号が求められる。

【００３８】求められたna個の動物体の重心点は、ブロ
ック化画像動領域切り出し処理部２４と動領域切り出し
処理部２６に入力される。ブロック化画像動領域切り出
し処理部２４に入力されたna個の動物体の重心点はｆ
_h+1フレームを切り出す際の切り出し中心点を与え、切
り出し中心点の更新を行う。

【００３９】また、動領域切り出し処理部２６に入力さ
れたna個の動物体の重心点により、撮像装置１により入
力された画像を切り出し、ａ×ｂ画素の矩型枠範囲でna
個の画像が得られる。ここで、ｎ≧２の場合には、前の
処理の結果得られた中心点を使用して切り出し、ｎフレ
ーム後に切り出し中心点を更新し、切り出す位置を動物
体の動きに応じて変化させ、該動物体の追跡を行う。得
られた画像は、それぞれ切り出し画像メモリ部２８に蓄
積される。

【００４０】本実施例２では４個のメモリ部を有してい
る。もし、na≧５の場合には、検出した領域の大きい順
番に表示し残りの画像は無視する。またシーケンシャル
にすべて表示する等の方法が考えられる。切り出し画像
メモリ部２８に蓄積された動領域を含む画像は、同期抽
出処理部７で抽出された同期信号に従って読み出され、
それぞれ拡大処理部２９に入力され、標準のテレビジョ
ン画像の大きさに拡大され出力端子１０に出力され、モ
ニタ等に表示される。保安要員は防犯アラーム発生部２
７によりアラーム信号が発生された時点で、該当モニタ
を注視し、適切な処置を行うことが可能となる。

【００４１】図７に実施例２における背景／人物有効差
分ブロック画像のラベリング処理結果の例を示す。３個
の動物体が侵入し、背景／人物有効差分ブロック画像で
有効差分が検出され、ラベリング処理によりラベル化さ
れ、求められた重心点を切り出し中心点として、同図の
点線矩型枠の様に切り出す。

【００４２】

【発明の効果】以上説明したように、本発明によれば、
あらかじめ蓄積した背景参照画像と入力画像との差分を
求めて背景／人物有効差分ブロック画像を作成し、該背
景／人物有効差分ブロック画像から動物体を検出するた
め、人物等の動物体がほとんど動かない場合にも動領域
を検出できる利点がある。また、あらかじめ設定された
大きさの矩型領域で動物体領域を切り出し、切り出され
た矩型領域内でのみラベリング処理を実施しているた
め、該矩型領域外に侵入した他の動物体の影響を受ける
ことなしに目的とする動物体の検出ができる利点があ
る。さらに、前回のラベリング処理により得られた領域
の重心点を開始点として次のラベリング処理を実施する
ため、時間的に経過した同じラベル番号の領域を、時間
的に連続な動物体と認識でき、他の動物体の動きに影響
されず、複数の動物体の追跡が可能となる利点がある。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の第一の実施例を説明する図である。

【図３】本発明における背景／人物有効差分ブロックの
例を示す図である。

【図４】ラベリング処理における４近傍、４隣接点また
は８近傍、８隣接点について説明する図である。

【図５】本発明の処理以降のテレビ電話装置の構成の例
を示す図である。

【図６】本発明の第二の実施例を説明する図である。

【図７】実施例２における背景／人物有効差分ブロック
画像のラベリング処理結果を示す図である。

【図８】従来の動物体検出および追跡処理方式を説明す
る図である。

【図９】従来方式における有効差分ブロックの例を示す
図である。

【図１０】人物顔面領域以外の有効差分ブロックを、頭
頂部点ｐから上部の領域で検出した例を示す図である。

【図１１】人物顔面領域以外の有効差分ブロックを、頭
頂部点ｐから下部の領域で検出した例を示す図である。

【符号の説明】

１撮像装置２フレームメモリ３画素演算処理部４２値化処理部５有効ブロック判定処理部６顔面領域判定処理部７同期抽出処理部８顔面領域切り出し処理部９間引き処理部１０出力端子１１人物顔面領域以外の動物体１２背景メモリ部１３ブロック化処理部１４２値化しきい値設定ボリューム１５頭頂部点検出処理部１６切り出し中心点算出処理部（頭頂部点）１７ブロック化画像顔面領域切り出し処理部１８ラベリング処理部１９切り出し中心点算出処理部（ラベル重心点）２０切り出し中心点オフセット設定ボリューム２１符号化処理部２２網インタフェース処理部２３全画面ラベリング処理部２４ブロック化画像動領域切り出し処理部２５矩型領域ラベリング処理部２６動領域切り出し処理部２７防犯アラーム発生部２８切り出し画像メモリ部２９拡大処理部１０１背景メモリ１０２差分画像作成手段１０３２値化画像作成手段１０４中心点初期値算出手段１０５枠切り出し手段１０６重心点を得る手段１０７顔面領域切り出し手段

Claims

【特許請求の範囲】

【請求項１】背景画像をあらかじめ背景メモリに蓄積
する手段と、背景メモリに蓄積された背景画像と入力画像の差分をｎ
フレーム毎（ｎ≧１なる整数）に演算し、Ｆ₁、Ｆ₂、
・・・、Ｆ_k（ｋは自然数）フレームの差分画像を作成
する手段と、該演算により作成されたＦ₁、Ｆ₂、・・・、Ｆ_kフレ
ームの差分画像を適当なしきい値で有効動領域と背景領
域とに分けて２値化し、ｆ₁、ｆ₂、・・・、ｆ_kフレ
ーム（ｋは自然数）の２値化画像を作成する手段と、ｆ₁フレーム画像から有効動領域を検出して切り出し中
心点の初期値を算出する手段と、ｆ_kフレーム画像を、ｋ＝１の場合には、前記ｆ₁フレ
ーム画像から算出された切り出し中心点を基にして、ま
たｋ≧２の場合には、後述するｆ_k-1フレーム画像のラ
ベリング処理で得られた重心点から算出された切り出し
中心点を基にして矩型枠で切り出す手段と、切り出されたｆ_kフレーム画像を、ｋ＝１の場合には、
前記ｆ₁フレーム画像から算出された切り出し中心点を
開始点として、切り出された該矩型領域内でラベリング
処理を行い、また、ｋ≧２の場合には、ｆ_k-1フレーム
画像のラベリング処理で得られた動領域の重心点を開始
点として、切り出された該矩型領域内でラベリング処理
を行い、動領域のラベル番号および重心点を得る手段
と、ｆ₁、ｆ₂、・・・、ｆ_k毎に求められた切り出し中心
点を基にして入力画像を切り出す手段を有することを特
徴とする動物体検出および追跡処理方式。
【請求項２】背景メモリに蓄積された背景画像と入力
画像の相関係数をｎフレーム毎（ｎ≧１なる整数）に演
算し、該相関係数を値として有する相関画像Ｆ₁、
Ｆ₂、・・・、Ｆ_k（ｋは自然数）フレームを作成する
手段を有することを特徴とする請求項１記載の動物体検
出および追跡処理方式。
【請求項３】２値化されたｆ₁フレームの画像から動
領域を検出する際、該画像にラベリング処理を行い、検
出された閉領域毎に重心点を求め、該重心点を切り出し
中心点とすることを特徴とする請求項１記載の動物体検
出および追跡処理方式。
【請求項４】演算された差分画像または相関係数を値
として有する相関画像を適当なしきい値で２値化した結
果、有効動領域が存在しなかった場合、該差分または相
関係数演算に使用された入力画像を背景メモリに新たに
蓄積し、背景画像を更新する手段を有することを特徴と
する請求項１記載の動物体検出および追跡処理方式。