JP6838310B2 - 撮影画像内の個体の検出装置 - Google Patents

撮影画像内の個体の検出装置 Download PDF

Info

Publication number
JP6838310B2
JP6838310B2 JP2016156392A JP2016156392A JP6838310B2 JP 6838310 B2 JP6838310 B2 JP 6838310B2 JP 2016156392 A JP2016156392 A JP 2016156392A JP 2016156392 A JP2016156392 A JP 2016156392A JP 6838310 B2 JP6838310 B2 JP 6838310B2
Authority
JP
Japan
Prior art keywords
individual
image
index
region
stationary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016156392A
Other languages
English (en)
Other versions
JP2018025914A (ja
Inventor
創 清野
創 清野
毅 川崎
毅 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2016156392A priority Critical patent/JP6838310B2/ja
Publication of JP2018025914A publication Critical patent/JP2018025914A/ja
Application granted granted Critical
Publication of JP6838310B2 publication Critical patent/JP6838310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮影画像内の個体の検出装置に関し、特に、所定の撮影対象領域内に存在する個体を、撮影画像に基づいて、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置に関する。
定点に設置された監視カメラ等の撮影画像を解析して、人や車両などの対象物を検出する装置は、様々な技術分野において広く利用されている。所定の撮影対象領域内に侵入した人や車両などの対象物を検出する場合、通常、予め用意しておいた背景画像と現時点で撮影された入力画像との差分をとり、差分を構成する領域に、人や車両などの対象物が存在する、との認識を行う方法が採られている。また、時系列で並んだフレーム単位の撮影画像上で、対象物の移動を認識する手法も種々提案されており、人や車両などの移動個体を追跡する技術も実用化されている。
たとえば、下記の特許文献１には、入力画像と背景画像との差を求める第１の差分処理と、異なる時刻に入力された２つの入力画像の差を求める第２の差分処理とを行うことにより、移動物体を追跡することができる移動物体追跡装置が開示されている。また、特許文献２には、乗客がいない状態においてエレベータのドアが閉じた状態で撮影された第１の基本画像および毎回ドアが閉じた直後に撮影された第２の基本画像と、現時点の撮影画像と、の差分を求めることにより、かご内に静止物が存在するか否か、動態物が存在するか否か、を判定する機能をもったエレベータのかご内監視装置が開示されている。更に、特許文献３には、異なる時刻に入力された２つの入力画像の差に基づいて移動物体を検出し、予め設定した歩行者の歩幅や歩行周期に基づいて歩行者の検出を行う機能をもった歩行者検出装置が開示されている。
特許第５１５４４６１号公報 特許第４７０５８６２号公報 特許第５６２６０９９号公報
定点カメラによる撮影画像には、人や車両などが被写体として含まれており、これらの被写体をそれぞれ独立した個体として認識することは重要である。特に、監視業務などを行う担当者にとっては、それぞれの個体を視覚的に認識するだけでなく、各個体が何らかの動作を行っているか、じっと静止しているか、を把握することが必要になる。たとえば、定点カメラの撮影画像を見ながら、人や車両の挙動を監視する監視員にとっては、個々の人や車両をそれぞれ１つの個体として認識するだけでなく、その個体が何らかの動作中であるのか、あるいは静止中であるのか、を区別して把握することが重要になる。
具体的には、人混みの中に設置された定点カメラの撮影画像について、長時間静止している人物を特定することができれば、不審者の可能性、あるいは、傷病者の可能性を意識して注視することができる。また、駐車場内に設置された定点カメラの撮影画像について、駐車中の車両と移動中の車両とを区別して把握することができれば、混雑状況を把握することができ、車両誘導にも役立てることができる。
従来提案されている種々の装置は、前述したとおり、撮影画像を解析することにより、人や車両などの個体を認識することができ、また、動体であれば、これを追跡することが可能である。しかしながら、個々の個体が動作中の個体であるのか、静止中の個体であるのか、を区別して認識したり、これらを表示画像上で区別して表示したりすることはできない。前掲の特許文献２には、エレベータのかご内に存在する個体が静止物か動態物かを判定する技術が開示されているが、当該技術は、エレベータのかご内という限定された場所においてのみ適用可能な技術であり、一般的な監視システムに利用することはできない。
そこで本発明は、定点カメラによる撮影画像に基づいて、動作中か静止中かを区別して、個々の個体を検出することが可能な撮影画像内の個体の検出装置を提供することを目的とし、また、動作中の個体と静止中の個体とを区別して表示することが可能な撮影画像内の個体の検出装置を提供することを目的とする。
(1) 本発明の第１の態様は、所定の撮影対象領域内に存在する独立して移動可能な検出対象物としての個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
前記撮影対象領域についての背景画像を格納する背景画像格納部と、
前記原画像入力部が入力した各原画像について、前記背景画像との差分を示しており個々の前記個体が占有している個々の背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
前記背景差分画像内の前記個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる前記個体を静止個体もしくは動作個体と認識する個体認識部と、
を備え、
該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部を有するようにしたものである。
(2) 本発明の第２の態様は、上述した第１の態様に係る撮影画像内の個体の検出装置において、
前記静止個体認識部によって静止個体と認識された個体を示す静止個体指標を表示する検出個体表示部を更に設けるようにしたものである。
(3) 本発明の第３の態様は、上述した第２の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体を示す静止個体指標を、当該静止個体が占める背景差分領域に基づいて作成するようにしたものである。
(4) 本発明の第４の態様は、上述した第１の態様に係る撮影画像内の個体の検出装置において、
前記個体認識部が、前記重複有無判定部によって、少なくとも一部の領域についてフレーム間差分領域に対する実質的な重複部分が有る、との判定結果が得られた背景差分領域を占める個体を、動作個体と認識する動作個体認識部を有するようにしたものである。
(5) 本発明の第５の態様は、上述した第４の態様に係る撮影画像内の個体の検出装置において、
前記動作個体認識部によって動作個体と認識された個体を示す動作個体指標を表示する検出個体表示部を更に有するようにしたものである。
(6) 本発明の第６の態様は、上述した第５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、動作個体を示す動作個体指標を、当該動作個体が占める背景差分領域に基づいて作成するようにしたものである。
(7) 本発明の第７の態様は、上述した第５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、動作個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成するようにしたものである。
(8) 本発明の第８の態様は、所定の撮影対象領域内に存在する個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
前記撮影対象領域についての背景画像を格納する背景画像格納部と、
前記原画像入力部が入力した各原画像について、前記背景画像との差分を示す背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
前記背景差分画像内の個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる個体を静止個体もしくは動作個体と認識する個体認識部と、
を備え、
該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部と、
前記個体認識部が、前記重複有無判定部によって、少なくとも一部の領域についてフレーム間差分領域に対する実質的な重複部分が有る、との判定結果が得られた背景差分領域を占める個体を、動作個体と認識する動作個体認識部と
前記動作個体認識部によって動作個体と認識された個体を示す動作個体指標を表示する検出個体表示部と、
を有し、
前記検出個体表示部が、動作個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成するようにしたものである。
(9) 本発明の第９の態様は、上述した第７または第８の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、動作個体が占めるフレーム間差分領域と当該動作個体が占める背景差分領域とについて、領域を構成する図形の論理和演算を行うことにより、補正を実行するようにしたものである。
(10) 本発明の第１０の態様は、上述した第４の態様に係る撮影画像内の個体の検出装置において、
前記静止個体認識部によって静止個体と認識された個体を示す静止個体指標と、動作個体と認識された個体を示す動作個体指標とを、それぞれ視覚的に区別可能な態様で表示する検出個体表示部を更に有するようにしたものである。
(11) 本発明の第１１の態様は、上述した第１０の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体を示す静止個体指標を、当該静止個体が占める背景差分領域に基づいて作成し、動作個体を示す動作個体指標を、当該動作個体が占める背景差分領域に基づいて作成するようにしたものである。
(12) 本発明の第１２の態様は、上述した第１０の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体を示す静止個体指標を、当該静止個体が占める背景差分領域に基づいて作成し、動作個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成するようにしたものである。
(13) 本発明の第１３の態様は、所定の撮影対象領域内に存在する個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
前記撮影対象領域についての背景画像を格納する背景画像格納部と、
前記原画像入力部が入力した各原画像について、前記背景画像との差分を示す背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
前記背景差分画像内の個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる個体を静止個体もしくは動作個体と認識する個体認識部と、
を備え、
該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部と、
前記静止個体認識部によって静止個体と認識された個体を示す静止個体指標と、動作個体と認識された個体を示す動作個体指標とを、それぞれ視覚的に区別可能な態様で表示する検出個体表示部と
を有し、
前記検出個体表示部が、静止個体を示す静止個体指標を、当該静止個体が占める背景差分領域に基づいて作成し、動作個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成するようにしたものである。
(14) 本発明の第１４の態様は、上述した第１２または第１３の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、動作個体が占めるフレーム間差分領域と当該動作個体が占める背景差分領域とについて、領域を構成する図形の論理和演算を行うことにより、補正を実行するようにしたものである。
(15) 本発明の第１５の態様は、上述した第２，３，５〜９の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標または動作個体指標を原画像に重畳させることにより個体検出画像を作成し、この個体検出画像をディスプレイ画面上に表示するようにしたものである。
(16) 本発明の第１６の態様は、上述した第１５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された閉領域指標によって構成し、原画像に前記閉領域指標を重畳させることにより個体検出画像を作成するようにしたものである。
(17) 本発明の第１７の態様は、上述した第１６の態様に係る撮影画像内の個体の検出装置において、
閉領域指標が、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成され、原画像に前記閉領域指標を重畳させた場合に、原画像が前記閉領域指標を通して透けて表示されるようにしたものである。
(18) 本発明の第１８の態様は、上述した第１５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体を囲む枠状指標によって構成し、原画像に前記枠状指標を重畳させることにより個体検出画像を作成するようにしたものである。
(19) 本発明の第１９の態様は、上述した第１５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体の輪郭線を示す輪郭指標によって構成し、原画像に前記輪郭指標を重畳させることにより個体検出画像を作成するようにしたものである。
(20) 本発明の第２０の態様は、上述した第１５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体部分に開口窓が配置され、前記開口窓以外の部分が被覆されたマスク画像によって構成し、原画像に前記マスク画像を重畳させることにより個体検出画像を作成するようにしたものである。
(21) 本発明の第２１の態様は、上述した第１０〜第１４の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標および動作個体指標を原画像に重畳させることにより個体検出画像を作成し、この個体検出画像をディスプレイ画面上に表示するようにしたものである。
(22) 本発明の第２２の態様は、上述した第２１の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第１の閉領域指標によって構成し、動作個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第２の閉領域指標によって構成し、前記第１の閉領域指標と前記第２の閉領域指標とは、互いに異なる色によって塗られるかもしくは互いに異なるパターンが形成された閉領域となるようにし、原画像に前記第１の閉領域指標および前記第２の閉領域指標を重畳させることにより個体検出画像を作成するようにしたものである。
(23) 本発明の第２３の態様は、上述した第２２の態様に係る撮影画像内の個体の検出装置において、
第１の閉領域指標および第２の閉領域指標が、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成され、原画像に前記各閉領域指標を重畳させた場合に、原画像が前記各閉領域指標を通して透けて表示されるようにしたものである。
(24) 本発明の第２４の態様は、上述した第２１の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標を、対象となる静止個体を囲む第１の枠状指標によって構成し、動作個体指標を、対象となる動作個体を囲む第２の枠状指標によって構成し、前記第１の枠状指標と前記第２の枠状指標とは、線種、色、形状、太さのうちの少なくとも１つが互いに異なる枠線によって構成されるようにし、原画像に前記第１の枠状指標および前記第２の枠状指標を重畳させることにより個体検出画像を作成するようにしたものである。
(25) 本発明の第２５の態様は、上述した第２１の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標を、対象となる静止個体の輪郭線を示す第１の輪郭指標によって構成し、動作個体指標を、対象となる動作個体の輪郭線を示す第２の輪郭指標によって構成し、前記第１の輪郭指標と前記第２の輪郭指標とは、線種、色、太さのうちの少なくとも１つが互いに異なる輪郭線によって構成されるようにし、原画像に前記第１の輪郭指標および前記第２の輪郭指標を重畳させることにより個体検出画像を作成するようにしたものである。
(26) 本発明の第２６の態様は、上述した第２１〜第２５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、
ディスプレイ画面上に原画像を表示する原画像表示モードと、
ディスプレイ画面上に静止個体指標と動作個体指標と原画像とを重畳させた個体検出画像を表示する全個体表示モードと、
ディスプレイ画面上に静止個体指標と原画像とを重畳させた個体検出画像を表示する静止個体表示モードと、
ディスプレイ画面上に動作個体指標と原画像とを重畳させた個体検出画像を表示する動作個体表示モードと、
の４通りの表示モードによる表示機能を有し、任意の表示モードに切り替えて表示を行うようにしたものである。
(27) 本発明の第２７の態様は、上述した第１〜第２６の態様に係る撮影画像内の個体の検出装置において、
前記背景画像格納部が、前記原画像入力部が過去に入力した複数のフレーム単位の画像に基づいて背景画像を作成して格納する機能を有し、
前記背景差分画像作成部が、前記背景画像格納部に格納されている最新の背景画像を用いて背景差分画像を作成するようにしたものである。
(28) 本発明の第２８の態様は、上述した第１〜第２７の態様に係る撮影画像内の個体の検出装置において、
前記原画像入力部が、外部から与えられる時系列で並んだフレーム単位の画像を所定のサンプリング周期でサンプリングして入力し、
前記フレーム間差分画像作成部が、サンプリングされた各フレーム単位の画像について、時系列における直前の画像との間で差分演算を行うことによりフレーム間差分画像を作成するようにしたものである。
(29) 本発明の第２９の態様は、上述した第１〜第２８の態様に係る撮影画像内の個体の検出装置において、
前記原画像入力部が、三原色ＲＧＢの各画素値をもった画素の集合体からなるカラー画像を原画像として入力し、これを輝度Ｙを示す画素値をもった画素の集合体からなる輝度画像に変換する処理を行い、
前記背景画像格納部が、輝度Ｙを示す画素値をもった画素の集合体からなる背景画像を格納し、
前記背景差分画像作成部が、上記輝度画像と上記背景画像についての輝度値の差の絶対値ΔＹを示す画素値をもった画素の集合体からなる差分画像を、所定の閾値を用いて二値化することにより背景差分画像を作成し、
前記フレーム間差分画像作成部が、２枚のフレーム単位の画像についての輝度値の差の絶対値ΔＹを示す画素値をもった画素の集合体からなる差分画像を、所定の閾値を用いて二値化することによりフレーム間差分画像を作成するようにしたものである。
(30) 本発明の第３０の態様は、上述した第２９の態様に係る撮影画像内の個体の検出装置において、
前記背景差分画像作成部が、輝度値の差の絶対値ΔＹが閾値以上となる画素については画素値「１」を与え、輝度値の差の絶対値ΔＹが閾値未満となる画素については画素値「０」を与えることにより、画素値「１」をもった画素の連続領域を背景差分領域として含む背景差分画像を作成し、
前記フレーム間差分画像作成部が、輝度値の差の絶対値ΔＹが閾値以上となる画素については画素値「１」を与え、輝度値の差の絶対値ΔＹが閾値未満となる画素については画素値「０」を与えることにより、画素値「１」をもった画素の連続領域をフレーム間差分領域として含むフレーム間差分画像を作成するようにしたものである。
(31) 本発明の第３１の態様は、上述した第１〜第３０の態様に係る撮影画像内の個体の検出装置において、
前記重複有無判定部が、背景差分画像とフレーム間差分画像とに基づいて、背景差分領域とフレーム間差分領域との重複部分を示す重複部分領域を含む重複確認画像を作成し、
前記個体認識部が、前記背景差分画像に含まれている特定の背景差分領域について、前記重複確認画像上の対応領域を参照し、当該対応領域内に前記重複部分領域が実質的に含まれていない場合には、前記特定の背景差分領域を占める個体を静止個体と認識し、当該対応領域内に前記重複部分領域が実質的に含まれていた場合には、前記特定の背景差分領域を占める個体を動作個体と認識するようにしたものである。
(32) 本発明の第３２の態様は、所定の撮影対象領域内に存在する個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
前記撮影対象領域についての背景画像を格納する背景画像格納部と、
前記原画像入力部が入力した各原画像について、前記背景画像との差分を示す背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
前記背景差分画像内の個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる個体を静止個体もしくは動作個体と認識する個体認識部と、
を備え、
該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部を有し、
前記重複有無判定部が、背景差分画像とフレーム間差分画像とに基づいて、背景差分領域とフレーム間差分領域との重複部分を示す重複部分領域を含む重複確認画像を作成し、
前記個体認識部が、前記背景差分画像に含まれている特定の背景差分領域について、前記重複確認画像上の対応領域を参照し、当該対応領域内に前記重複部分領域が実質的に含まれていない場合には、前記特定の背景差分領域を占める個体を静止個体と認識し、当該対応領域内に前記重複部分領域が実質的に含まれていた場合には、前記特定の背景差分領域を占める個体を動作個体と認識するようにしたものである。
(33) 本発明の第３３の態様は、上述した第３１または第３２の態様に係る撮影画像内の個体の検出装置において、
前記個体認識部が、対応領域内に含まれている重複部分領域の面積が所定の基準に満たない場合には、当該対応領域内に重複部分領域が含まれていないと判断するようにしたものである。
(34) 本発明の第３４の態様は、上述した第３３の態様に係る撮影画像内の個体の検出装置において、
前記背景差分画像作成部が、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像であって、画素値「１」をもった画素の連続領域として背景差分領域を表現した背景差分画像を作成し、
前記フレーム間差分画像作成部が、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像であって、画素値「１」をもった画素の連続領域としてフレーム間差分領域を表現したフレーム間差分画像を作成し、
前記重複有無判定部が、前記背景差分画像と前記フレーム間差分画像とについて、対応する画素についての論理積演算を行うことにより、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像である重複確認画像を作成し、
前記個体認識部が、前記背景差分画像に含まれている特定の背景差分領域について、前記重複確認画像上の対応領域を参照し、当該対応領域内の画素のうち、画素値「１」をもった画素の総数が所定の基準に満たない場合には、前記特定の背景差分領域を占める個体を静止個体と認識し、当該対応領域内の画素のうち、画素値「１」をもった画素の総数が所定の基準以上である場合には、前記特定の背景差分領域を占める個体を動作個体と認識するようにしたものである。
(35) 本発明の第３５の態様は、上述した第１〜第３０の態様に係る撮影画像内の個体の検出装置において、
前記背景差分画像作成部が、個々の背景差分領域ごとに背景差分領域符号を付与し、個々の背景差分領域符号に対応する背景差分領域に含まれる画素を特定する画素特定情報を含む、背景差分領域のラベリング情報を作成する処理を行い、
前記フレーム間差分画像作成部が、個々のフレーム間差分領域ごとにフレーム間差分領域符号を付与し、個々のフレーム間差分領域符号に対応するフレーム間差分領域に含まれる画素を特定する画素特定情報を含む、フレーム間差分領域のラベリング情報を作成する処理を行い、
前記重複有無判定部が、所定の着目背景差分領域について重複部分の有無を判定する際に、前記着目背景差分領域のラベリング情報内の画素特定情報によって特定された個々の着目画素について、各フレーム間差分領域のラベリング情報内の画素特定情報に同位置の画素が存在するか否かを調べ、存在する場合に重複部分有りとの判定を行うようにしたものである。
(36) 本発明の第３６の態様は、上述した第１〜第３０の態様に係る撮影画像内の個体の検出装置において、
前記重複有無判定部が、背景差分画像内の背景差分領域について、フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する際に、前記背景差分領域の外接矩形と前記フレーム間差分領域の外接矩形とについての重複部分の有無を判定する簡易判定法を行うようにしたものである。
(37) 本発明の第３７の態様は、所定の撮影対象領域内に存在する独個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
前記撮影対象領域についての背景画像を格納する背景画像格納部と、
前記原画像入力部が入力した各原画像について、前記背景画像との差分を示す背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
前記背景差分画像内の個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる個体を静止個体もしくは動作個体と認識する個体認識部と、
を備え、
該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部を有し、
前記重複有無判定部が、背景差分画像内の背景差分領域について、フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する際に、前記背景差分領域の外接矩形と前記フレーム間差分領域の外接矩形とについての重複部分の有無を判定する簡易判定法を行うようにしたものである。
(38) 本発明の第３８の態様は、上述した第３６または第３７の態様に係る撮影画像内の個体の検出装置において、
前記個体認識部が、前記重複有無判定部が行った簡易判定法によって、外接矩形についての重複部分は無い、との判定結果が得られた背景差分領域を占める個体を静止個体と認識し、
静止個体と認識された個体を示す静止個体指標を、当該静止個体が占める背景差分領域の外接矩形に基づいて作成し、これを表示する検出個体表示部を更に有するようにしたものである。
(39) 本発明の第３９の態様は、上述した第３６または第３７の態様に係る撮影画像内の個体の検出装置において、
前記個体認識部が、前記重複有無判定部が行った簡易判定法によって、外接矩形についての重複部分が有る、との判定結果が得られた背景差分領域を占める個体を動作個体と認識し、
動作個体と認識された個体を示す動作個体指標を、当該動作個体が占める背景差分領域の外接矩形に基づいて作成し、これを表示する検出個体表示部を更に有するようにしたものである。
(40) 本発明の第４０の態様は、上述した第３６または第３７の態様に係る撮影画像内の個体の検出装置において、
前記個体認識部が、前記重複有無判定部が行った簡易判定法によって、外接矩形についての重複部分が有る、との判定結果が得られたフレーム間差分領域を占める個体を動作個体と認識し、
動作個体と認識された個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域の外接矩形に対して、当該動作個体が占める背景差分領域の外接矩形に基づく補正を施すことにより作成し、これを表示する検出個体表示部を更に有するようにしたもので
ある。
(41) 本発明の第４１の態様は、上述した第４０の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、動作個体が占めるフレーム間差分領域の外接矩形と当該動作個体が占める背景差分領域の外接矩形とについて、両外接矩形を包摂する包摂矩形を求め、求めた包摂矩形に基づいて動作個体指標を作成するようにしたものである。
(42) 本発明の第４２の態様は、上述した第１〜第４１の態様に係る撮影画像内の個体の検出装置を、コンピュータにプログラムを組み込むことにより構成したものである。
(43) 本発明の第４３の態様は、上述した第１〜第４１の態様に係る撮影画像内の個体の検出装置が組み込まれた監視システムを、
所定の撮影対象領域に対して動画撮影を行うことにより、時系列で並んだフレーム単位の画像を取得する定点カメラと、
前記定点カメラが取得したフレーム単位の画像を原画像として入力して、所定の処理を実行するコンピュータと、
前記コンピュータの指示に基づいて画像表示を行うディスプレイ装置と、
によって構成し、
前記コンピュータは、インストールされたプログラムに基づく動作により、前記個体の検出装置として機能するようにしたものである。
(44) 本発明の第４４の態様は、上述した第１〜第４１の態様に係る撮影画像内の個体の検出装置が組み込まれた監視システムを、
ネットワークによって相互に接続されたクライアントシステムとサーバシステムとによって構成し、
前記クライアントシステムは、
所定の撮影対象領域に対して動画撮影を行うことにより、時系列で並んだフレーム単位の画像を取得する定点カメラと、
前記定点カメラが取得したフレーム単位の画像を原画像として入力して、所定の処理を実行するクライアントコンピュータと、
前記クライアントコンピュータの指示に基づいて画像表示を行うディスプレイ装置と、を有し、
前記サーバシステムは、
前記クライアントコンピュータとネットワークを介した通信を行いながら、所定の処理を実行するサーバコンピュータを有し、
前記クライアントコンピュータは、インストールされたクライアントコンピュータ用プログラムに基づく動作により、上記個体の検出装置として必要な一部の処理を実行し、
前記サーバコンピュータは、インストールされたサーバコンピュータ用プログラムに基づく動作により、前記個体の検出装置として必要な他の一部の処理を実行するようにしたものである。
(45) 本発明の第４５の態様は、上述した第４４の態様に係る監視システムにおけるクライアントコンピュータ用プログラムまたはサーバコンピュータ用プログラムを独立して提供するようにしたものである。
(46) 本発明の第４６の態様は、上述した第４３または第４４の態様に係る監視システムにおいて、
コンピュータもしくはクライアントコンピュータが、静止個体もしくは動作個体の認識結果に基づいて、外部に対して警報を発するようにしたものである。
(47) 本発明の第４７の態様は、上述した第４３の態様に係る監視システムにおいて、
定点カメラの代わりに、または、定点カメラに加えて、所定の撮影対象領域に対して動画撮影を行うことにより得られた、時系列で並んだフレーム単位の画像を保存する入力用の画像保存装置を設け、
コンピュータが、前記入力用の画像保存装置に保存されているフレーム単位の画像を原画像として入力して、所定の処理を実行するようにしたものである。
(48) 本発明の第４８の態様は、上述した第４３または第４７の態様に係る監視システムにおいて、
ディスプレイ装置の代わりに、または、ディスプレイ装置に加えて、コンピュータから与えられる画像を保存する出力用の画像保存装置を設け、
コンピュータが、ディスプレイ装置に出力すべき画像を、前記出力用の画像保存装置に対して出力して保存させるようにしたものである。
(49) 本発明の第４９の態様は、上述した第２または第５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された閉領域指標によって構成し、原画像に前記閉領域指標を重畳させて表示するようにしたものである。
(50) 本発明の第５０の態様は、上述した第４９の態様に係る撮影画像内の個体の検出装置において、
閉領域指標が、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成され、原画像に前記閉領域指標を重畳させた場合に、原画像が閉領域指標を通して透けて表示されるようにしたものである。
(51) 本発明の第５１の態様は、上述した第２または第５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体を囲み、所定の線種、色、形状、太さを有する枠状指標によって構成し、原画像に前記枠状指標を重畳させて表示するようにしたものである。
(52) 本発明の第５２の態様は、上述した第２または第５の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体の輪郭線を示し、所定の線種、色、太さを有する輪郭指標によって構成し、原画像に前記輪郭指標を重畳させて表示するようにしたものである。
(53) 本発明の第５３の態様は、上述した第１０の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第１の閉領域指標によって構成し、動作個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第２の閉領域指標によって構成し、前記第１の閉領域指標と前記第２の閉領域指標とは、互いに異なる色によって塗られるかもしくは互いに異なるパターンが形成された閉領域となるようにし、原画像に前記第１の閉領域指標および前記第２の閉領域指標を重畳させて表示するようにしたものである。
(54) 本発明の第５４の態様は、上述した第５３の態様に係る撮影画像内の個体の検出装置において、
第１の閉領域指標および第２の閉領域指標が、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成され、原画像に前記各閉領域指標を重畳させた場合に、原画像が前記各閉領域指標を通して透けて表示されるようにしたものである。
(55) 本発明の第５５の態様は、上述した第１０の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標を、対象となる静止個体を囲む第１の枠状指標によって構成し、動作個体指標を、対象となる動作個体を囲む第２の枠状指標によって構成し、前記第１の枠状指標と前記第２の枠状指標とは、線種、色、形状、太さのうちの少なくとも１つが互いに異なる枠線によって構成されるようにし、原画像に前記第１の枠状指標および前記第２の枠状指標を重畳させて表示するようにしたものである。
(56) 本発明の第５６の態様は、上述した第１０の態様に係る撮影画像内の個体の検出装置において、
前記検出個体表示部が、静止個体指標を、対象となる静止個体の輪郭線を示す第１の輪郭指標によって構成し、動作個体指標を、対象となる動作個体の輪郭線を示す第２の輪郭指標によって構成し、前記第１の輪郭指標と前記第２の輪郭指標とは、線種、色、太さのうちの少なくとも１つが互いに異なる輪郭線によって構成されるようにし、原画像に前記第１の輪郭指標および前記第２の輪郭指標を重畳させて表示するようにしたものである。
(57) 本発明の第５７の態様は、上述した第４９〜第５６の態様に係る撮影画像内の個体の検出装置を、コンピュータにプログラムを組み込むことにより構成したものである。
本発明に係る撮影画像内の個体の検出装置によれば、背景差分画像とフレーム間差分画像について領域の重複有無を判定することにより、個々の個体が動作中か否かを区別するようにしたため、定点カメラによる撮影画像に基づいて、動作中か静止中かを区別して個々の個体を検出することが可能になる。また、動作中の個体と静止中の個体とを区別してディスプレイ画面上に表示することが可能になる。
本発明の基本的な実施形態に係る撮影画像内の個体の検出装置の構成を示すブロック図である。 図１の装置に入力された原画像Ｐ（ｔ）と図１の装置から出力された個体検出画像Ｑ（ｔ）−Ｓとの対応関係の具体例を示す図である。 図１の装置に入力された原画像Ｐ（ｔ）と図１の装置から出力された個体検出画像Ｑ（ｔ）−Ｍとの対応関係の具体例を示す図である。 図１の装置に入力された原画像Ｐ（ｔ）と図１の装置から出力された個体検出画像Ｑ（ｔ）−ＳＭとの対応関係の具体例を示す図である。 図１の装置の背景差分画像作成部１３０によって作成された背景差分画像Ｄ（ｔ）の具体例を示す図である。 図１の装置のフレーム間差分画像作成部１４０によって作成されたフレーム間差分画像Ｆ（ｔ）の具体例を示す図である。 図１の装置の重複有無判定部１５０によって、時刻ｔ１の時点で作成された重複確認画像Ｃ（ｔ１）の具体例を示す図である。 図１の装置の重複有無判定部１５０によって、時刻ｔ２の時点で作成された重複確認画像Ｃ（ｔ２）の具体例を示す図である。 図１の装置の重複有無判定部１５０によって、時刻ｔ３の時点で作成された重複確認画像Ｃ（ｔ３）の具体例を示す図である。 図１の装置の重複有無判定部１５０によって、時刻ｔ４の時点で作成された重複確認画像Ｃ（ｔ４）の具体例を示す図である。 図１の装置の重複有無判定部１５０によって、時刻ｔ１〜ｔ４の各時点で作成された重複確認画像Ｃ（ｔ１）〜Ｃ（ｔ４）の具体例を示す図である。 図４に示す静止個体および動作個体の個体検出画像Ｑ（ｔ）−ＳＭの第１の変形例を示す図である。 図４に示す静止個体および動作個体の個体検出画像Ｑ（ｔ）−ＳＭの第２の変形例を示す図である。 図４に示す静止個体および動作個体の個体検出画像Ｑ（ｔ）−ＳＭの第３の変形例を示す図である。 図２に示す静止個体の個体検出画像Ｑ（ｔ）−Ｓの変形例を示す図である。 図３に示す動作個体の個体検出画像Ｑ（ｔ）−Ｍの変形例を示す図である。 図１の装置の検出個体表示部１７０による４通りの表示モードを示す図である。 ２枚のカラー画像Ｕ，Ｖについて、二値化差分画像Ｗを作成し、その差分領域についてラベリング情報を作成する処理の一般的な手順を示す図である。 図１の装置の重複有無判定部１５０による重複判定処理の原理を示す図である。 図１の装置の重複有無判定部１５０、静止個体認識部１６１、検出個体表示部１７０の連携作業により静止個体指標を作成する手順を示す流れ図である。 図２０の流れ図に示す処理の具体例を示す図である。 図１の装置の重複有無判定部１５０、動作個体認識部１６２、検出個体表示部１７０の連携作業により動作個体指標を作成する手順を示す流れ図である。 図２２の流れ図に示す処理の具体例を示す図である。 図１の装置の重複有無判定部１５０、動作個体認識部１６２、検出個体表示部１７０の連携作業により動作個体指標を作成する手順の変形例を示す流れ図である。 図２４の流れ図に示す処理の具体例を示す第１の図である。 図２４の流れ図に示す処理の具体例を示す第２の図である。 図２４に示す変形例を実施した場合に表示される個体検出画像Ｑ（ｔ）−ＳＭの具体例を示す図である。 図２７に示す個体検出画像Ｑ（ｔ）−ＳＭの変形例を示す図である。 本発明の簡易判定法を導入した実施形態における矩形データの取り扱いを説明する図である。 本発明の簡易判定法を導入した実施形態において、重複有無判定部１５０、静止個体認識部１６１、検出個体表示部１７０の連携作業により静止個体指標を作成する手順を示す流れ図である。 図３０の流れ図に示す処理の具体例を示す図である。 本発明の簡易判定法を導入した実施形態において、重複有無判定部１５０、動作個体認識部１６２、検出個体表示部１７０の連携作業により動作個体指標を作成する手順を示す流れ図である。 図３２の流れ図に示す処理の具体例を示す図である。 本発明の簡易判定法を導入した実施形態において、重複有無判定部１５０、動作個体認識部１６２、検出個体表示部１７０の連携作業により動作個体指標を作成する手順の変形例を示す流れ図である。 図３４の流れ図に示す処理の具体例を示す第１の図である。 図３４の流れ図に示す処理の具体例を示す第２の図である。 本発明に係る個体の検出装置を用いた監視システムの一例を示すブロック図である。
以下、本発明を図示する実施形態に基づいて説明する。
＜＜＜ §１． 基本的実施形態に係る個体の検出装置の構成 ＞＞＞
はじめに、本発明に係る個体の検出装置の全体構成について説明する。図１は、本発明の基本的な実施形態に係る撮影画像内の個体の検出装置１００の構成を示すブロック図である。この検出装置１００は、所定の撮影対象領域内に存在する個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であり、図示のとおり、原画像入力部１１０と、背景画像格納部１２０と、背景差分画像作成部１３０と、フレーム間差分画像作成部１４０と、重複有無判定部１５０と、個体認識部１６０と、検出個体表示部１７０と、を備えている。
原画像入力部１１０は、時系列で並んだフレーム単位の画像として得られた各原画像Ｐ（ｔ）を入力する構成要素であり、図示の実施形態の場合、入力した各原画像Ｐ（ｔ）を一時的に保存する機能も有している。ここで、変数ｔは時刻を示しており、たとえば、時刻ｔ０で撮影された原画像Ｐ（ｔ０），時刻ｔ１で撮影された原画像Ｐ（ｔ１），時刻ｔ２で撮影された原画像Ｐ（ｔ２），... というように、フレーム単位の原画像が順次入力されることになる。各原画像Ｐ（ｔ）は、所定の撮影対象領域に対する撮影によって得られた画像であり、たとえば、所定の監視場所に設置された定点カメラによる撮影によって得られたデジタル画像である。
一方、背景画像格納部１２０は、上記撮影対象領域についての背景画像ＢＧを格納する構成要素である。ここで、背景画像ＢＧは、この検出装置１００による検出対象となる個体が存在しない基準状態において、上記撮影対象領域を撮影することによって得られた画像である。たとえば、この検出装置１００が、地下駐車場など、照明環境に変化が生じない屋内の場所に設置された定点カメラの撮影画像を原画像Ｐ（ｔ）として入力する装置の場合であれば、予め車両が存在しないときに撮影された原画像Ｐ（ｔ）を背景画像ＢＧとして背景画像格納部１２０に格納しておくようにすればよい。図１における原画像入力部１１０から背景画像格納部１２０への矢印は、このような原画像Ｐ（ｔ）を背景画像ＢＧとして格納する信号の流れを示している。
一方、この検出装置１００が、照明環境に変化が生じる屋外の場所などに設置された定点カメラの撮影画像を原画像Ｐ（ｔ）として入力する装置の場合は、たとえば、昼間用の背景画像や夜間用の背景画像といった複数の背景画像を背景画像格納部１２０内に用意して使い分けるようにしてもよい。ただ、実用上は、背景画像格納部１２０に、原画像入力部１１０が過去に入力した複数のフレーム単位の画像に基づいて背景画像ＢＧを作成して格納する機能をもたせておき、背景差分画像作成部１３０に対して、最新の背景画像ＢＧを提供するようにしておくのが好ましい。
たとえば、原画像入力部１１０が過去の所定時間内に入力した多数の原画像Ｐ（ｔ）を背景画像格納部１２０に取り込み、これら多数の原画像Ｐ（ｔ）についての平均画像を作成し、作成した平均画像をその時点の背景画像ＢＧとする取り扱いをすればよい。具体的には、たとえば、１時間といった長い時間について平均画像を作成すれば、それほど長時間にわたって同位置に存在し続ける検出対象物がない限り、作成した平均画像は背景画像として利用することができる。
背景差分画像作成部１３０は、原画像入力部１１０が逐次入力した各原画像Ｐ（ｔ）と背景画像格納部１２０から与えられる背景画像ＢＧとの差をとることにより、背景差分画像Ｄ（ｔ）を作成する構成要素である。上述したように、背景画像格納部１２０が、多数の原画像Ｐ（ｔ）の平均画像を作成する機能をもっている場合、背景差分画像作成部１３０は、背景画像格納部１２０に格納されている最新の背景画像ＢＧを用いて背景差分画像Ｄ（ｔ）を作成することになる。
これに対して、フレーム間差分画像作成部１４０は、原画像入力部１１０が逐次入力した各原画像Ｐ（ｔ）について、時系列における異なるフレームとの差分を示すフレーム間差分画像を作成する構成要素である。たとえば、時刻ｔ１に与えられた原画像Ｐ（ｔ１）については、その前のフレームである原画像Ｐ（ｔ０）との差を求め、得られた差分画像をフレーム間差分画像Ｆ（ｔ１）として出力する処理を行う。
重複有無判定部１５０は、背景差分画像作成部１３０が作成した背景差分画像Ｄ（ｔ）内の個々の背景差分領域ｄについて、フレーム間差分画像作成部１４０が作成したフレーム間差分画像Ｆ（ｔ）内のフレーム間差分領域ｆに対する重複部分の有無を判定する構成要素である。ここに示す実施例の場合、重複有無判定部１５０は、判定結果を重複確認画像Ｃ（ｔ）という形で出力する機能を有している。この重複確認画像Ｃ（ｔ）の作成方法については、後に具体例を示しながら説明する。
個体認識部１６０は、重複有無判定部１５０による判定結果に基づいて、原画像Ｐ（ｔ）に含まれる個体を静止個体もしくは動作個体と認識する構成要素であり、要するに、原画像Ｐ（ｔ）上に現れている個々の個体が、静止個体か動作個体かを認識する役割を果たす。より具体的に説明すれば、この個体認識部１６０は、背景差分画像作成部１３０が作成した背景差分画像Ｄ（ｔ）に含まれている個々の背景差分領域ｄについて、重複有無判定部１５０による判定結果（図示の実施例の場合、重複確認画像Ｃ（ｔ））に基づいて、当該背景差分領域ｄを占める個体を静止個体もしくは動作個体と認識する処理を行う構成要素であり、図示のとおり、静止個体認識部１６１と動作個体認識部１６２とを有している。静止個体認識部１６１は、静止個体の認識処理を行い、動作個体認識部１６２は、動作個体の認識処理を行う。
なお、本願にいう「個体」とは、１人の人間や、１台の車両、というように、独立して移動可能な検出対象物を指しており、人間の足とか、車両のタイヤといった一部分は、あくまでも「個体」の一部分であって、それ自体は「個体」ではない。また、本願にいう「動作個体」とは、「何らかの動作を行っている最中の個体」を指しており、必ずしも移動している個体（歩行中の人や走行中の車両）だけを指すものではない。たとえば、定位置に止まりながら手を振っている人や、停車しながらウインカーを点滅させている車両などは、本願にいう「動作個体」である。
これに対して、本願にいう「静止個体」とは、「何ら動作を行っていない個体」を指しており、撮影対象領域内に存在する個体のうち、上記「動作個体」以外の個体をいう。たとえば、座ったまま手足などを動かさない人や、駐車中の車両などは、本願にいう「動作個体」である。もっとも、「動作を行っているか否か」は、後述するように、フレーム間差分画像Ｆ（ｔ）上でフレーム間差分領域ｆと認識される部分があるか否かによって判断される事項であり、フレーム間の差分が所定の基準以下にしかならない微細な動作しかしていない個体（たとえば、呼吸動作しかしていない人）は、「静止個体」と判定されることになる。
検出個体表示部１７０は、個体認識部１６０によって静止個体もしくは動作個体と認識された個体を、ディスプレイ画面上で識別させるための個体指標を表示する構成要素である。すなわち、静止個体認識部１６１によって静止個体と認識された個体については静止個体指標ｓを表示し、動作個体認識部１６２によって動作個体と認識された個体については動作個体指標ｍを表示する処理を行う。静止個体指標ｓは、ディスプレイ画面上に表示されている個体のうち、静止個体と認識された個体を示す指標であり、動作個体指標ｍは、ディスプレイ画面上に表示されている個体のうち、動作個体と認識された個体を示す指標である。
ここに示す実施例の場合、検出個体表示部１７０には、原画像入力部１１０が入力した原画像Ｐ（ｔ）が逐次与えられている。したがって、検出個体表示部１７０は、静止個体指標ｓまたは動作個体指標ｍを、原画像Ｐ（ｔ）に重畳させることにより個体検出画像Ｑ（ｔ）を作成し、この個体検出画像Ｑ（ｔ）をディスプレイ画面上に表示する。なお、検出個体表示部１７０は、個体認識部１６０によって静止個体と認識された個体を示す静止個体指標ｓと、動作個体と認識された個体を示す動作個体指標ｍとの双方を、ディスプレイ画面上に表示する際には、両者をそれぞれ視覚的に区別可能な態様で表示する機能を有している。
したがって、この検出装置１００を、監視システムとして利用する場合、ディスプレイ画面を見ながら個々の個体を監視する監視員は、個体検出画像Ｑ（ｔ）に含まれている静止個体指標ｓと動作個体指標ｍとを区別して認識することにより、画面上の個体が静止個体であるのか動作個体であるのかを視覚的に把握することができる。静止個体指標ｓと動作個体指標ｍの具体的な態様については後述する。
以上、図１を参照しながら、本発明の基本的な実施形態に係る個体の検出装置１００の基本構成を、個々のブロックで示す機能要素の集合体として説明したが、実用上、この検出装置１００は、コンピュータに専用のアプリケーションプログラムを組み込むことにより構成することができる。したがって、実際には、図１に各ブロックで示した構成要素は、コンピュータのハードウェアとプログラムによるソフトウェアとの組み合わせによって実現されることになる。
また、図１に示す実施例では、個体認識部１６０内に静止個体認識部１６１と動作個体認識部１６２との双方が設けられているが、これらは必ずしも双方を設ける必要はない。たとえば、静止個体の認識だけを行えば足りる用途に利用する装置であれば、静止個体認識部１６１のみを設けておけば足り、検出個体表示部１７０は静止個体指標ｓを表示する処理を行えばよい。同様に、動作個体の認識だけを行えば足りる用途に利用する装置であれば、動作個体認識部１６２のみを設けておけば足り、検出個体表示部１７０は動作個体指標ｍを表示する処理を行えばよい。
更に、検出個体表示部１７０は、静止個体指標ｓまたは動作個体指標ｍを原画像Ｐ（ｔ）に重畳させることにより個体検出画像Ｑ（ｔ）を作成してディスプレイ画面上に表示する機能を果たす構成要素であるが、個体検出画像Ｑ（ｔ）を表示する必要がない用途に利用する装置の場合は、検出個体表示部１７０を設ける必要はない。たとえば、監視業務という用途ではなく、個体認識部１６０が認識した静止個体や動作個体の数を計数し、当該計数値に基づいて統計をとるような用途に利用する装置の場合は、個体認識部１６０が個々の静止個体や動作個体の認識を行い、これを計数することができれば足りる。このような用途では、監視員のためにディスプレイ画面上に個体検出画像Ｑ（ｔ）を表示する必要はなく、検出個体表示部１７０は不要である。
＜＜＜ §２． 本発明における静止個体と動作個体 ＞＞＞
§１で述べたとおり、図１に示す個体の検出装置１００の基本的な処理機能は、所定の監視場所に設置された定点カメラによる撮影などによって得られた原画像Ｐ（ｔ）を逐次入力して（原画像入力部１１０への入力）、個体検出画像Ｑ（ｔ）をディスプレイ画面上に逐次出力する（検出個体表示部１７０からの出力）ことにある。
たとえば、定点カメラによって３０フレーム／秒のフレームレートで撮影された原画像Ｐ（ｔ）を処理する場合、１／３０秒の間隔で与えられる原画像Ｐ（ｔ０），Ｐ（ｔ１），Ｐ（ｔ２），Ｐ（ｔ３），...を順次入力しながら、同じく１／３０秒の間隔で作成された個体検出画像Ｑ（ｔ１），Ｑ（ｔ２），Ｑ（ｔ３），...を順次出力する処理が行われることになる。なお、個体検出画像Ｑ（ｔ）の作成には、フレーム間差分画像Ｆ（ｔ）が必要になるので、上例の場合、時刻ｔ０における個体検出画像Ｑ（ｔ０）は作成されない。
ここで重要な点は、こうして作成された個体検出画像Ｑ（ｔ）には、検出された個々の個体を示す情報だけではなく、当該個体が静止中の個体（静止個体）か動作中の個体（動作個体）か、を示す情報も含まれている点である。以下、本発明にいう「静止個体」と「動作個体」の概念について、具体的な例を示しながら説明する。
図２は、図１の装置に入力された原画像Ｐ（ｔ）と図１の装置から出力された個体検出画像Ｑ（ｔ）−Ｓとの対応関係の具体例を示す図である。まず、図２の左側には、時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４の各時点で撮影された原画像Ｐ（ｔ０），Ｐ（ｔ１），Ｐ（ｔ２），Ｐ（ｔ３），Ｐ（ｔ４）が例示されている。これらの各原画像は、所定の撮影対象領域を撮影するために設置された定点カメラによって撮影されたものである。一般的な動画撮影用のカメラの場合、３０フレーム／秒程度のフレームレートでの撮影が行われることになるが、ここでは便宜上、１フレーム／秒程度のフレームレートで、２人の人物が撮影された例を用いて以下の説明を行うことにする。また、背景については図示を省略する。
原画像Ｐ（ｔ０）は、時刻ｔ０における撮影によって得られたフレーム画像を示すものであり、左端に第１の個体Ａ（符号Ａ０で示す。以下、大人と呼ぶ）が位置し、右端に第２の個体Ｂ（符号Ｂ０で示す。以下、子供と呼ぶ）が位置している。この例では、大人Ａは図の右側へと移動し、子供Ｂは図の左側へと移動しているため、時刻ｔ１に撮影された原画像Ｐ（ｔ１）では、大人Ａの位置（Ａ１）は若干右へずれ、子供Ｂの位置（Ｂ１）は若干左にずれている。ここでは、説明の便宜上、子供Ｂは時刻ｔ１に移動をやめたものとする。大人Ａは移動を続けているため、時刻ｔ２に撮影された原画像Ｐ（ｔ２）では、大人Ａの位置（Ａ２）は更に右へずれ、子供Ｂの位置（Ｂ２）は元の位置のままである。
ここで、大人Ａが時刻ｔ２に移動をやめたものとすると、時刻ｔ３に撮影された原画像Ｐ（ｔ３）では、大人Ａも子供Ｂも元の位置のままである。したがって、図示の原画像Ｐ（ｔ３）は原画像Ｐ（ｔ２）と同じになる。このように、時刻ｔ３に至った時点で、大人Ａも子供Ｂも、その移動動作は中止しているため、両者は定位置に立った状態にある。ただ、この後、大人Ａが片手を上げる動作をしたものとしよう。この場合、時刻ｔ４に撮影された原画像Ｐ（ｔ４）では、大人Ａの位置には変化は生じていないが、その形態が、片手を上げた状態（Ａ４）に変化している。子供Ｂについては、位置も形態も変化は生じていない。
このように、図２の左側に示す５枚の原画像Ｐ（ｔ０）〜Ｐ（ｔ４）は、上から下に向かった時系列で撮影されたフレーム単位の画像であり、２組の個体（大人Ａと子供Ｂ）を被写体として含む画像になっている。以下、説明の便宜上、原画像Ｐ（ｔ０）〜Ｐ（ｔ４）に含まれている大人Ａに対応する個体をＡ０〜Ａ４と呼び、子供Ｂに対応する個体をＢ０〜Ｂ４と呼ぶことにする。
もちろん、実際には、これら個体の画像は、背景画像の上に配置されていることになるが、ここでは説明の便宜上、背景を単なる無地の領域で示す。また、大人Ａや子供Ｂが徒歩で移動すれば、手足の動きに応じて、その形態に変化が生じることになるが、ここでは、説明の便宜上、大人Ａ０〜Ａ３は同じ形態として描き（大人Ａ４は手を上げているため、形態は異なったものになる）、子供Ｂ０〜Ｂ４も同じ形態として描いてある。
さて、ここでこの２つの個体の動きに着目すると、大人Ａについては、時刻ｔ０〜ｔ２まで歩行動作中であり、時刻ｔ３で静止し、時刻ｔ４で腕を上げる動作中ということになる。一方、子供Ｂについては、時刻ｔ０〜ｔ１まで歩行動作中であり、時刻ｔ２〜ｔ４までは静止中ということになる。もちろん、実際には、静止中であっても呼吸などにより微動が生じているが、本発明では、位置や形態に有意な変化が生じていない場合には、静止中と判断することになる。
要するに、本発明に係る検出装置１００では、位置および形態のいずれかに有意な実質的な変化が生じている個体を動作中と判断し、そのような個体を「動作個体」と呼んでいる。したがって、本発明にいう「動作個体」には、位置が変化する移動中の個体だけでなく、定位置であってもその形態を変えている個体も含まれることになる。これに対して、本発明にいう「静止個体」は、位置および形態がともに変化していない個体ということになる。もちろん、実際には、「変化していない」という意味は、「所定の基準を超える有意な変化が生じていない」という意味であり、位置変化や形態変化が基準以下である場合には、「静止個体」と認識されることになる。
ここに示す実施例では、ある１枚のフレーム画像上に現れている個体が、動作個体か静止個体かを決定する場合、１つ前のフレーム画像を基準として、位置や形態が有意な実質的な変化を生じているか否かを判定することになる。
たとえば、図示の例の場合、大人Ａ１は、１つ前のＡ０に対して位置を変えているため「動作個体」と判定され、大人Ａ２は、１つ前のＡ１に対して位置を変えているため「動作個体」と判定される。これに対して、大人Ａ３は、１つ前のＡ２に対して位置も形態も変えていないため、「静止個体」と判定される。そして、大人Ａ４は、１つ前のＡ３に対して位置は変えていないが、形態を変えているため、「動作個体」と判定される。同様に、子供Ｂ１は、１つ前のＢ０に対して位置を変えているため「動作個体」と判定されるが、子供Ｂ２〜Ｂ４は、１つ前に対して位置も形態も変えていないため、「静止個体」と判定される。
本発明の目的は、定点カメラによる撮影画像に基づいて、動作中か静止中かを区別して、個々の個体を検出することにある。すなわち、撮影画像中に現れている個々の個体を検出するだけでなく、検出した各個体について、それぞれ動作個体であるのか静止個体であるのかを認識することを目的としている。特に、図１に示す実施例の場合、個体認識部１６０において、各個体が動作個体か静止個体かを認識した上で、更に、検出個体表示部１７０によって、その認識結果をディスプレイ画面上に表示する機能を有している。
具体的には、検出個体表示部１７０は、静止個体指標ｓまたは動作個体指標ｍを原画像Ｐ（ｔ）に重畳させることにより個体検出画像Ｑ（ｔ）を作成してディスプレイ画面上に表示する機能を有している。図２の右側に示す個体検出画像Ｑ（ｔ）−Ｓは、検出個体表示部１７０による静止個体の検出結果の表示例を示すものであり、各時刻ｔ１〜ｔ４における原画像Ｐ（ｔ１）〜Ｐ（ｔ４）の上に、静止個体認識部１６１によって静止個体と認識された個体を示す静止個体指標ｓを重畳した画像になっている。図では、静止個体指標ｓが微細矩形ドットパターンによるハッチング領域として示されている。
まず、時刻ｔ１の原画像Ｐ（ｔ１）に対応して得られる個体検出画像Ｑ（ｔ１）−Ｓを見てみよう。図示の例の場合、個体検出画像Ｑ（ｔ１）−Ｓは、原画像Ｐ（ｔ１）と全く同じ画像になり、いずれも大人Ａ１と子供Ｂ１を含む画像になっている。この個体検出画像Ｑ（ｔ１）−Ｓには、静止個体指標ｓは表示されていない。これは、大人Ａ１と子供Ｂ１がいずれも動作個体であり（１つ前のＡ０，Ｂ０に対して位置を変えている）、静止個体は１つも存在しないためである。
次に、時刻ｔ２の原画像Ｐ（ｔ２）に対応して得られる個体検出画像Ｑ（ｔ２）−Ｓを見てみよう。図示の例の場合、個体検出画像Ｑ（ｔ２）−Ｓは、原画像Ｐ（ｔ２）の上に、静止個体指標ｓ１（ｔ２）を重畳した画像になっている。具体的には、静止個体指標ｓ１（ｔ２）は、子供Ｂ２の領域に重なる微細矩形ドットによるハッチング領域として示されている。これは、子供Ｂ２が、１つ前のＢ１に対して位置も形態も変えていない静止個体であるためである。
続いて、時刻ｔ３の原画像Ｐ（ｔ３）に対応して得られる個体検出画像Ｑ（ｔ３）−Ｓを見てみよう。図示の例の場合、個体検出画像Ｑ（ｔ３）−Ｓは、原画像Ｐ（ｔ３）の上に、静止個体指標ｓ１（ｔ３）およびｓ２（ｔ３）を重畳した画像になっている。具体的には、静止個体指標ｓ１（ｔ３）は、大人Ａ３の領域に重なる微細矩形ドットによるハッチング領域として示されており、静止個体指標ｓ２（ｔ３）は、子供Ｂ３の領域に重なる微細矩形ドットによるハッチング領域として示されている。これは、大人Ａ３が、１つ前のＡ２に対して位置も形態も変えていない静止個体であり、子供Ｂ３が、１つ前のＢ２に対して位置も形態も変えていない静止個体であるためである。
最後に、時刻ｔ４の原画像Ｐ（ｔ４）に対応して得られる個体検出画像Ｑ（ｔ４）−Ｓを見てみよう。図示の例の場合、個体検出画像Ｑ（ｔ４）−Ｓは、原画像Ｐ（ｔ４）の上に、静止個体指標ｓ１（ｔ４）を重畳した画像になっている。具体的には、静止個体指標ｓ１（ｔ４）は、子供Ｂ４の領域に重なる微細矩形ドットによるハッチング領域として示されている。これは、子供Ｂ４が、１つ前のＢ３に対して位置も形態も変えていない静止個体であるためである。大人Ａ４は、１つ前のＡ３に対して位置は変えていないが、形態を変えているため（片手を上げているため）、動作個体になる。
結局、図１に示す個体の検出装置１００を監視システムとして利用して、図２の右側に示すような個体検出画像Ｑ（ｔ）−Ｓをディスプレイ画面上に表示させるようにすれば、定点カメラによる撮影画像（原画像Ｐ（ｔ））とともに、各時刻において静止個体と判定された個体を示す静止個体指標ｓが提示されることになるので、監視員は、静止個体に注意を向けた監視を行うことが可能になる。
たとえば、図２に示す例の場合、時刻ｔ２〜ｔ４の間、ディスプレイ画面上には、子供Ｂの画像上に微細矩形ドットによるハッチング領域として静止個体指標ｓが重畳表示されるので、監視員は子供Ｂがずっと動かない状態であることを認識することができる。すなわち、微細矩形ドットによるハッチング領域からなる静止個体指標ｓは、子供Ｂという個体の検出結果を示すだけでなく、当該個体が静止個体であることを示す役割を果たす。したがって、この装置をプール用監視システムとして利用すれば、溺れた可能性のある利用客に注意を向けた監視を行うことができる。
一方、図３は、図１の装置に入力された原画像Ｐ（ｔ）と図１の装置から出力された個体検出画像Ｑ（ｔ）−Ｍとの対応関係の具体例を示す図である。図３の左側に示されている原画像Ｐ（ｔ０），Ｐ（ｔ１），Ｐ（ｔ２），Ｐ（ｔ３），Ｐ（ｔ４）は、時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４の各時点において定点カメラによって撮影されたフレーム単位の画像であり、図２の左側に示した画像と全く同じである。これに対して、図３の右側に示されている個体検出画像Ｑ（ｔ）−Ｍは、検出個体表示部１７０による動作個体の検出結果の表示例を示すものである。
上述したとおり、図２の右側に示す個体検出画像Ｑ（ｔ）−Ｓは、静止個体の検出結果を示す画像であり、各時刻ｔ１〜ｔ４における原画像Ｐ（ｔ１）〜Ｐ（ｔ４）の上に、静止個体認識部１６１によって静止個体と認識された個体を示す静止個体指標ｓを重畳した画像になっている。これに対して、図３の右側に示す個体検出画像Ｑ（ｔ）−Ｍは、動作個体の検出結果を示す画像であり、各時刻ｔ１〜ｔ４における原画像Ｐ（ｔ１）〜Ｐ（ｔ４）の上に、動作個体認識部１６２によって動作個体と認識された個体を示す動作個体指標ｍを重畳した画像になっている。図では、動作個体指標ｍが斜線網目パターンによるハッチング領域として示されている。
まず、時刻ｔ１の原画像Ｐ（ｔ１）に対応して得られる個体検出画像Ｑ（ｔ１）−Ｍを見てみよう。図示の例の場合、個体検出画像Ｑ（ｔ１）−Ｍは、原画像Ｐ（ｔ１）の上に、動作個体指標ｍ１（ｔ１）およびｍ２（ｔ１）を重畳した画像になっている。具体的には、動作個体指標ｍ１（ｔ１）は、大人Ａ１の領域に重なる斜線網目によるハッチング領域として示されており、動作個体指標ｍ２（ｔ１）は、子供Ｂ１の領域に重なる斜線網目によるハッチング領域として示されている。これは、大人Ａ１が、１つ前のＡ０に対して位置を変えた動作個体であり、子供Ｂ１が、１つ前のＢ０に対して位置を変えた動作個体であるためである。
次に、時刻ｔ２の原画像Ｐ（ｔ２）に対応して得られる個体検出画像Ｑ（ｔ２）−Ｍを見てみよう。図示の例の場合、個体検出画像Ｑ（ｔ２）−Ｍは、原画像Ｐ（ｔ２）の上に、動作個体指標ｍ１（ｔ２）を重畳した画像になっている。具体的には、動作個体指標ｍ１（ｔ２）は、大人Ａ２の領域に重なる斜線網目によるハッチング領域として示されている。これは、大人Ａ２が、１つ前のＡ１に対して位置を変えた動作個体であるためである。
続いて、時刻ｔ３の原画像Ｐ（ｔ３）に対応して得られる個体検出画像Ｑ（ｔ３）−Ｍを見てみよう。図示の例の場合、個体検出画像Ｑ（ｔ３）−Ｍは、原画像Ｐ（ｔ３）と全く同じ画像になり、動作個体指標ｍは表示されていない。これは、大人Ａ３と子供Ｂ３がいずれも静止個体であり（１つ前のＡ２，Ｂ２に対して位置および形態を変えていない）、動作個体は１つも存在しないためである。
最後に、時刻ｔ４の原画像Ｐ（ｔ４）に対応して得られる個体検出画像Ｑ（ｔ４）−Ｍを見てみよう。図示の例の場合、個体検出画像Ｑ（ｔ４）−Ｍは、原画像Ｐ（ｔ４）の上に、動作個体指標ｍ１（ｔ４）を重畳した画像になっている。具体的には、動作個体指標ｍ１（ｔ４）は、大人Ａ４の領域に重なる斜線網目によるハッチング領域として示されている。これは、大人Ａ４が、１つ前のＡ３に対して位置は変えていないが形態を変えている（片手を上げている）動作個体であるためである。
結局、図１に示す個体の検出装置１００を監視システムとして利用して、図３の右側に示すような個体検出画像Ｑ（ｔ）−Ｍをディスプレイ画面上に表示させるようにすれば、定点カメラによる撮影画像（原画像Ｐ（ｔ））とともに、各時刻において動作個体と判定された個体を示す動作個体指標ｍが提示されることになるので、監視員は、動作個体に注意を向けた監視を行うことが可能になる。
たとえば、図３に示す例の場合、時刻ｔ１，ｔ２，ｔ４において、ディスプレイ画面上には、大人Ａの画像上に斜線網目によるハッチング領域として動作個体指標ｍが重畳表示されるので、監視員は大人Ａが何らかの動作を行っていることを認識することができる。すなわち、斜線網目によるハッチング領域からなる動作個体指標ｍは、大人Ａという個体の検出結果を示すだけでなく、当該個体が動作個体であることを示す役割を果たす。したがって、この装置を講演会場などの警備システムとして利用すれば、不審な行動を行っている聴衆者に注意を向けた警備を行うことができる。
図４は、図１の装置に入力された原画像Ｐ（ｔ）と図１の装置から出力された個体検出画像Ｑ（ｔ）−ＳＭとの対応関係の具体例を示す図である。図４の左側に示されている原画像Ｐ（ｔ０），Ｐ（ｔ１），Ｐ（ｔ２），Ｐ（ｔ３），Ｐ（ｔ４）は、時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４の各時点において定点カメラによって撮影されたフレーム単位の画像であり、図２や図３の左側に示した画像と全く同じである。これに対して、図４の右側に示されている個体検出画像Ｑ（ｔ）−ＳＭは、検出個体表示部１７０による静止個体・動作個体の双方の検出結果の表示例を示すものである。
要するに、図４の右側に示す個体検出画像Ｑ（ｔ）−ＳＭは、各時刻ｔ１〜ｔ４における原画像Ｐ（ｔ１）〜Ｐ（ｔ４）の上に、静止個体認識部１６１によって静止個体と認識された個体を示す静止個体指標ｓと、動作個体認識部１６２によって動作個体と認識された個体を示す動作個体指標ｍと、の双方を重畳した画像になっている。図では、静止個体指標ｓが微細矩形ドットパターンによるハッチング領域として示され、動作個体指標ｍが斜線網目パターンによるハッチング領域として示されている。
すなわち、時刻ｔ１の原画像Ｐ（ｔ１）に対応して得られる個体検出画像Ｑ（ｔ１）−ＳＭ上では、動作個体である大人Ａ１および子供Ｂ１の双方に、動作個体指標ｍ１（ｔ１）およびｍ２（ｔ１）が重畳されている。また、時刻ｔ２の原画像Ｐ（ｔ２）に対応して得られる個体検出画像Ｑ（ｔ２）−ＳＭ上では、動作個体である大人Ａ２には動作個体指標ｍ１（ｔ２）が重畳されており、静止個体である子供Ｂ２には静止個体指標ｓ１（ｔ２）が重畳されている。そして、時刻ｔ３の原画像Ｐ（ｔ３）に対応して得られる個体検出画像Ｑ（ｔ３）−ＳＭ上では、静止個体である大人Ａ３および子供Ｂ３の双方に、静止個体指標ｓ１（ｔ３）およびｓ２（ｔ３）が重畳されている。最後に、時刻ｔ４の原画像Ｐ（ｔ４）に対応して得られる個体検出画像Ｑ（ｔ４）−ＳＭ上では、動作個体である大人Ａ４には動作個体指標ｍ１（ｔ４）が重畳されており、静止個体である子供Ｂ２には静止個体指標ｓ１（ｔ４）が重畳されている。
結局、図１に示す個体の検出装置１００を監視システムとして利用して、図４の右側に示すような個体検出画像Ｑ（ｔ）−ＳＭをディスプレイ画面上に表示させるようにすれば、定点カメラによる撮影画像（原画像Ｐ（ｔ））とともに、各時刻において、静止個体と判定された個体を示す静止個体指標ｓと、動作個体と判定された個体を示す動作個体指標ｍとが提示されることになる。しかも、静止個体指標ｓと動作個体指標ｍとは、それぞれ視覚的に区別可能な態様で表示されるので（図示の例の場合、微細矩形ドットパターンによるハッチング領域と斜線網目パターンによるハッチング領域）、監視員は、静止個体と動作個体とをそれぞれ区別して認識することができる。
すなわち、監視員は、ハッチングがなされた領域をそれぞれ独立した個体（この例の場合は人）として直観的に把握できるとともに、微細矩形ドットによるハッチングであれば静止中の個体、斜線網目によるハッチングであれば動作中の個体として、それぞれ区別して把握することができる。このため、様々な環境において、静止中の個体に注意を向けた監視や、逆に、動作中の個体に注意を向けた監視を行うことができる。
このように、図１に示す個体の検出装置１００は、図２の右側に示すように、静止個体の検出結果を示す個体検出画像Ｑ（ｔ）−Ｓを表示することもできるし、図３の右側に示すように、動作個体の検出結果を示す個体検出画像Ｑ（ｔ）−Ｍを表示することもできるし、図４の右側に示すように、静止個体と動作個体の双方の検出結果を示す個体検出画像Ｑ（ｔ）−ＳＭを表示することもできる。なお、個体検出画像Ｑ（ｔ）−Ｓを表示するだけで十分な装置の場合は、図１に示す動作個体認識部１６２を設ける必要はなく、動作検出画像Ｑ（ｔ）−Ｍを表示するだけで十分な装置の場合は、図１に示す静止個体認識部１６１を設ける必要はない。
図１に示す個体の検出装置１００を、図４の右側に示すように、静止個体と動作個体の双方の検出結果を示す個体検出画像Ｑ（ｔ）−ＳＭを表示する装置として捉えると、この装置は、所定の撮影対象領域内に存在する個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であり、所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られる原画像Ｐ（ｔ）を入力する原画像入力部１１０と、この原画像Ｐ（ｔ）上に現れている個々の個体を、静止個体もしくは動作個体と認識する個体認識部１６０と、この個体認識部１６０による認識結果に基づいて、原画像Ｐ（ｔ）上に、静止個体と認識された個体を示す静止個体指標ｓと、動作個体と認識された個体を示す動作個体指標ｍと、を重畳して、かつ、静止個体指標ｓと動作個体指標ｍとがそれぞれ視覚的に区別可能となるような態様で表示する検出個体表示部１７０と、を備えた装置ということができる。
＜＜＜ §３． 基本的実施形態に係る個体の検出装置の動作 ＞＞＞
上述した§２では、図１に示す個体の検出装置１００に対して原画像Ｐ（ｔ０）〜Ｐ（ｔ４）を入力したときに、どのような個体検出画像Ｑ（ｔ１）〜Ｑ（ｔ４）が出力されるかを、図２〜図４の具体的実例を参照しながら説明し、ディスプレイ画面上に表示された個体検出画像Ｑ（ｔ１）〜Ｑ（ｔ４）によって、監視員に付加的な情報を提供できるメリットがある点についても付言した。結局、図１に示す個体の検出装置１００は、与えられた原画像Ｐ（ｔ０）〜Ｐ（ｔ４）に基づいて、個体検出画像Ｑ（ｔ１）〜Ｑ（ｔ４）を作成して出力する処理を行う装置ということになる。ここでは、図２〜図４に示した具体的な画像を実例として用いながら、個体の検出装置１００の各部の具体的な処理動作を述べる。
＜３−１．原画像入力部１１０の動作＞
原画像入力部１１０は、定点カメラなどによる撮影画像を、時系列で並んだフレーム単位の原画像Ｐ（ｔ）として入力する処理を行い、必要に応じて、これら原画像Ｐ（ｔ）を一時的に保存する処理を行う。図２〜図４には、ｔ＝ｔ０，ｔ１，ｔ２，ｔ３，ｔ４の各時点において入力された原画像Ｐ（ｔ０）〜Ｐ（ｔ４）の実例が示されている。
前述したとおり、一般的な動画撮影用のカメラでは、３０フレーム／秒程度のフレームレートで撮影が行われるが、図２〜図４には、説明の便宜上、１フレーム／秒程度のフレームレートで撮影を行った場合を想定した原画像Ｐ（ｔ０），Ｐ（ｔ１），Ｐ（ｔ２），Ｐ（ｔ３），...が例示されている。後述するように、フレーム間差分画像作成部１４０は、時系列で連続的に入力される個々の原画像について、１つ前の原画像との間のフレーム間差分をとる処理を行うことになる。
したがって、定点カメラが３０フレーム／秒のフレームレートで撮影を行った場合に、原画像入力部１１０がこれら撮影画像をそのまま原画像Ｐ（ｔ）として入力した合、背景差分画像作成部１３０は、１／３０秒の周期で背景差分画像Ｄ（ｔ）を作成し、フレーム間差分画像作成部１４０は、１／３０秒の周期で、１／３０秒前の原画像との間で差分をとることによりフレーム間差分画像Ｆ（ｔ）を作成することになる。
もっとも、実用上は、背景差分画像Ｄ（ｔ）やフレーム間差分画像Ｆ（ｔ）を作成する周期は、必ずしも１／３０秒程度の短い周期に設定する必要はなく、より長い周期に設定してもかまわない。その場合は、原画像入力部１１０に、外部から与えられる時系列で並んだフレーム単位の画像を所定のサンプリング周期でサンプリングして入力する機能をもたせておけばよい。この場合、背景差分画像作成部１３０は、サンプリングされた（時間的に間引きされた）個々の原画像Ｐ（ｔ）について背景差分画像Ｄ（ｔ）を作成すれば足り、フレーム間差分画像作成部１４０は、サンプリングされた各フレーム単位の画像について、時系列における直前の画像との間で差分演算を行うことによりフレーム間差分画像Ｆ（ｔ）を作成すれば足りる。たとえば、サンプリング周期を１秒に設定すれば、１フレーム／秒程度のフレームレートの原画像を用いた場合と同じになる。
＜３−２．背景画像格納部１２０の動作＞
背景画像格納部１２０は、定点カメラの撮影対象領域についての背景画像ＢＧを格納する構成要素である。§１で述べたとおり、地下駐車場など、照明環境に変化が生じない屋内の場所に設置された定点カメラを利用する場合であれば、背景画像ＢＧとして、検出対象となる個体が存在しない基準状態において、予め撮影しておいた画像を利用することができる。
ただ、照明環境に変化が生じる屋外の場所などに設置された定点カメラを利用する場合は、背景画像格納部１２０に、原画像入力部１１０が過去に入力した複数のフレーム単位の画像の平均画像を自動的に作成する機能をもたせておき、所定タイミングで、作成した平均画像を最新の背景画像ＢＧとして切り替えるようにすればよい。このような背景画像の自動作成の技術は公知の技術であるため、本願では詳しい説明は省略する。
＜３−３．背景差分画像作成部１３０の動作＞
背景差分画像作成部１３０は、原画像入力部１１０が入力した各原画像Ｐ（ｔ）について、背景画像ＢＧとの差分を示す背景差分画像Ｄ（ｔ）を作成する。図５は、こうして作成された背景差分画像Ｄ（ｔ）の具体例を示す図であり、図の左に示す原画像Ｐ（ｔ１）〜Ｐ（ｔ４）に対して、それぞれ図の右に背景差分画像Ｄ（ｔ１）〜Ｄ（ｔ４）が作成された例が示されている。図の右上に示す画像ＢＧは背景画像である。
ここでは、説明の便宜上、背景画像ＢＧを無地の画像として図示しているが、実際の背景画像ＢＧは、撮影対象領域の背景のみが写った画像であり、原画像Ｐ（ｔ０）〜Ｐ（ｔ４）は、いずれもこの背景画像ＢＧの前景に各個体（大人Ａおよび子供Ｂ）が写った画像になっている。なお、原画像Ｐ（ｔ０）に対応する背景差分画像Ｄ（ｔ０）も作成することが可能であるが、以下の手順には必要ないため、ここでは背景差分画像Ｄ（ｔ０）の作成は省略されている。
背景差分画像Ｄ（ｔ）は、原画像Ｐ（ｔ）と背景画像ＢＧとの差分演算によって作成される画像である。差分演算の具体的な手順については後述するが、ここで述べる実施例における差分画像は、「０」もしくは「１」のいずれかの画素値を有する画素の集合体からなる画像であり、対象となる２組の画像の対応する画素の画素値が所定の近似範囲内であれば、当該画素を画素値「０」とし、所定の近似範囲外であれば、当該画素を画素値「１」とする演算によって求まる。図５の背景差分画像Ｄ（ｔ）では、画素値「１」の部分を黒、画素値「０」の部分を白で示してある。
図５に示す背景差分画像Ｄ（ｔ１）は、原画像Ｐ（ｔ１）と背景画像ＢＧとの差分演算によって作成される画像であり、大人Ａ１および子供Ｂ１が占有する領域部分が黒く示されている。ここでは、大人Ａ１が占有する領域部分を背景差分領域ｄ１（ｔ１）と呼び、子供Ｂ１が占有する領域部分を背景差分領域ｄ２（ｔ１）と呼ぶことにする。したがって、背景差分画像Ｄ（ｔ１）は、背景差分領域ｄ１（ｔ１）と背景差分領域ｄ２（ｔ１）とを含む画像ということになり、背景差分領域ｄ１（ｔ１）および背景差分領域ｄ２（ｔ１）は、画素値「１」をもった画素の集合体領域によって構成される。
同様に、背景差分画像Ｄ（ｔ２）は、原画像Ｐ（ｔ２）と背景画像ＢＧとの差分演算によって作成される画像であり、大人Ａ２に対応する背景差分領域ｄ１（ｔ２）と子供Ｂ２に対応する背景差分領域ｄ２（ｔ２）とを含む画像になる。また、背景差分画像Ｄ（ｔ３）は、原画像Ｐ（ｔ３）と背景画像ＢＧとの差分演算によって作成される画像であり、大人Ａ３に対応する背景差分領域ｄ１（ｔ３）と子供Ｂ３に対応する背景差分領域ｄ２（ｔ３）とを含む画像になり、背景差分画像Ｄ（ｔ４）は、原画像Ｐ（ｔ４）と背景画像ＢＧとの差分演算によって作成される画像であり、大人Ａ４に対応する背景差分領域ｄ１（ｔ４）と子供Ｂ４に対応する背景差分領域ｄ２（ｔ４）とを含む画像になる。
このように、背景差分画像作成部１３０は、原画像入力部１１０が入力した各原画像Ｐ（ｔ）について、背景画像ＢＧとの差分を示す背景差分領域ｄｉ（ｔ）を含む背景差分画像Ｄ（ｔ）を作成する構成要素ということになる。ここで、ｉは、画像中に含まれる背景差分領域（実質的に個々の個体に対応）の番号を示すパラメータであり、以下、「背景差分領域番号」と呼ぶことにする。図５に示す例の場合、ｉ＝１もしくは２であり、ｉ＝１は大人Ａに付与された番号、ｉ＝２は子供Ｂに付与された番号ということになる。
こうして得られた各背景差分領域ｄｉ（ｔ）は、結局、時刻ｔにおいて撮影された原画像Ｐ（ｔ）内に存在する各個体に対応していることになる。たとえば、背景差分画像Ｄ（ｔ１）内の背景差分領域ｄ１（ｔ１）は大人Ａ１に対応し、背景差分領域ｄ２（ｔ１）は子供Ｂ１に対応している。したがって、各時刻ｔにおいて、個々の個体を検出するだけなら、背景差分画像作成部１３０によって背景差分画像Ｄ（ｔ）を作成すれば足り、図５の右側に示された各背景差分画像Ｄ（ｔ１）〜Ｄ（ｔ４）に含まれている黒い人型（背景差分領域）が、個々の個体（人）を示していることになる。ただ、本発明では、動作中か静止中かを区別して、個々の個体を検出する必要があるため、以下に述べる処理が必要になる。
＜３−４．フレーム間差分画像作成部１４０の動作＞
フレーム間差分画像作成部１４０は、原画像入力部１１０が入力した各原画像Ｐ（ｔ）について、時系列における異なるフレーム（時間的に前のフレーム）との差分を示すフレーム間差分画像Ｆ（ｔ）を作成する。図６は、こうして作成されたフレーム間差分画像Ｆ（ｔ）の具体例を示す図であり、図の左に示す原画像Ｐ（ｔ０）〜Ｐ（ｔ４）に基づいて、それぞれ図の右に示すフレーム間差分画像Ｆ（ｔ１）〜Ｆ（ｔ４）が作成された例が示されている。すなわち、第ｎ番目のフレーム間差分画像は、第ｎ番目のフレームを構成する原画像と第（ｎ−１）番目のフレームを構成する原画像との差分画像になる。
やはり、このフレーム間差分画像も、「０」もしくは「１」のいずれかの画素値を有する画素の集合体からなる画像であり、対象となる２組の画像の対応する画素の画素値が所定の近似範囲内であれば、当該画素を画素値「０」とし、所定の近似範囲外であれば、当該画素を画素値「１」とする演算によって求まる。図６のフレーム間差分画像Ｆ（ｔ）では、画素値「１」の部分を黒、画素値「０」の部分を白で示してある。
具体的には、図６に示すフレーム間差分画像Ｆ（ｔ１）は、原画像Ｐ（ｔ０）と原画像Ｐ（ｔ１）との差分演算によって作成される画像であり、大人Ａおよび子供Ｂの移動に起因して生じた画像の変化領域が黒く示されている。ここでは、大人ＡがＡ０からＡ１に移動することにより生じた変化領域をフレーム間差分領域ｆ１（ｔ１）と呼び、子供ＢがＢ０からＢ１に移動することにより生じた変化領域をフレーム間差分領域ｆ２（ｔ１）と呼ぶことにする。したがって、フレーム間差分画像Ｆ（ｔ１）は、フレーム間差分領域ｆ１（ｔ１）とフレーム間差分領域ｆ２（ｔ１）とを含む画像ということになり、フレーム間差分領域ｆ１（ｔ１）およびフレーム間差分領域ｆ２（ｔ１）は、画素値「１」をもった画素の集合体領域によって構成される。
図示の例をよく見ると、フレーム間差分領域ｆ１（ｔ１）は、大人Ａの影を左右に若干ずらして重ねたような領域となっているが、腕の一部と足の一部に白抜き部分が生じている。この白抜き部分は、左右の大人Ａの重複部分に相当し、差分演算時に十分な差が得られなかった領域ということになる。別言すれば、黒い部分は、背景部分と人物部分との差分がとられたために、十分な差が得られた領域であるのに対して、上記白抜き部分は、人物部分同士の差分がとられたため、十分な差が得られなかった領域ということになる。フレーム間差分領域ｆ２（ｔ１）についても同様に、腕の一部と足の一部に白抜き部分が生じている。
なお、前述したとおり、ここでは説明の便宜上、１フレーム／秒程度のフレームレートで、２人の人物が撮影された実例を示しているため、フレーム間差分領域ｆ１（ｔ１）およびフレーム間差分領域ｆ２（ｔ１）は、人物の２つの影が左右にかなりずれて重なった誇張した例になっているが、一般的な動画撮影用のカメラの場合、３０フレーム／秒程度のフレームレートでの撮影が行われるので、このずれ量はより小さくなる。
同様に、フレーム間差分画像Ｆ（ｔ２）は、原画像Ｐ（ｔ１）と、原画像Ｐ（ｔ２）との差分演算によって作成される画像である。このフレーム間差分画像Ｆ（ｔ２）には、大人ＡがＡ１からＡ２に移動することにより生じた変化領域がフレーム間差分領域ｆ１（ｔ２）として含まれている。子供Ｂは移動していないため、子供Ｂに関するフレーム間差分領域は存在しない。
また、フレーム間差分画像Ｆ（ｔ３）は、原画像Ｐ（ｔ２）と、原画像Ｐ（ｔ３）との差分演算によって作成される画像である。このフレーム間差分画像Ｆ（ｔ３）は、図示のとおり、実際には空の画像になる。これは、時刻ｔ２〜ｔ３の間は、大人Ａも子供Ｂも移動しておらず、フレーム間差分領域が存在しないためである。
最後のフレーム間差分画像Ｆ（ｔ４）は、原画像Ｐ（ｔ３）と、原画像Ｐ（ｔ４）との差分演算によって作成される画像である。このフレーム間差分画像Ｆ（ｔ４）には、大人Ａの形態がＡ３からＡ４に変化する（手を上げる）ことにより生じた変化領域がフレーム間差分領域ｆ１（ｔ４），ｆ２（ｔ４）として含まれている。子供Ｂは移動も形態変化もしていないため、子供Ｂに関するフレーム間差分領域は存在しない。なお、ここでは、領域ｆ１（ｔ４）とｆ２（ｔ４）とが連結した領域ではなく、若干離れた領域であったものとし、２つの異なる領域として認識された例が示されている。
このように、フレーム間差分画像作成部１４０は、原画像入力部１１０が入力した各原画像Ｐ（ｔ）について、時系列における前のフレームとの差分を示すフレーム間差分領域ｆｊ（ｔ）を含むフレーム間差分画像Ｆ（ｔ）を作成する構成要素ということになる。ここで、ｊは、画像中に含まれるフレーム間差分領域を示すパラメータであり、以下、「フレーム間差分領域番号」と呼ぶことにする。このフレーム間差分領域番号ｊは、必ずしも個々の個体に対応するものではない。
たとえば、図示するフレーム間差分画像Ｆ（ｔ１）には、ｊ＝１として第１番目のフレーム間差分領域ｆ１（ｔ１）と、ｊ＝２として第２番目のフレーム間差分領域ｆ２（ｔ１）と、が含まれており、ｊ＝１はたまたま第１の個体（大人Ａ）に対応し、ｊ＝２はたまたま第２の個体（子供Ｂ）に対応している。しかしながら、図示するフレーム間差分画像Ｆ（ｔ４）には、やはり、ｊ＝１として第１番目のフレーム間差分領域ｆ１（ｔ４）と、ｊ＝２として第２番目のフレーム間差分領域ｆ２（ｔ４）と、が含まれているが、ｊ＝１もｊ＝２も、いずれも第１の個体（大人Ａ）に対応するものになる。
なお、ここで述べる実施形態では、フレーム間差分画像作成部１４０が、定点カメラから与えられる時系列的に連続した２つのフレーム間の差分画像を作成する典型的な例についての説明を行うことにするが、フレーム間差分画像は、必ずしも時系列的に連続した２つのフレーム間の差分画像である必要はない。たとえば、前述したように、原画像入力部１１０がサンプリング機能を有している場合、差分の演算対象となる２つのフレーム画像は、定点カメラの撮影によって得られる連続フレーム画像ではなく、サンプリング周期に応じた時間間隔をあけた２つのフレーム画像ということになる。
また、最近は、動体抽出精度を向上させるため、３以上のフレーム画像についての差分画像を作成する技術や、動きベクトルを利用して差分画像を作成する技術なども提案されている。本発明におけるフレーム間差分画像作成部１４０は、このような技術を用いてフレーム間差分画像を作成してもかまわない。要するに、本発明におけるフレーム間差分画像作成部１４０は、時系列をもって入力された個々のフレーム画像について、時間的に先行する別なフレーム（直前のフレームとは限らない、また、１つのフレームとは限らない）との差分を示すフレーム間差分領域を含むフレーム間差分画像を作成する処理を行えばよい。
＜３−５．重複有無判定部１５０の動作＞
重複有無判定部１５０は、背景差分画像Ｄ（ｔ）内の個々の背景差分領域ｄｉ（ｔ）について、フレーム間差分画像Ｆ（ｔ）内のフレーム間差分領域ｆｊ（ｔ）に対する重複部分の有無を判定する構成要素である。特に、ここに示す実施例の場合、重複有無判定部１５０は、背景差分画像Ｄ（ｔ）とフレーム間差分画像Ｆ（ｔ）とに基づいて、背景差分領域ｄｉ（ｔ）とフレーム間差分領域ｆｊ（ｔ）との重複部分を示す重複部分領域ｃｉ（ｔ）を含む重複確認画像Ｃ（ｔ）を作成する機能を有している。図７〜図１０は、こうして作成された重複確認画像Ｃ（ｔ）の具体例を示す図である。各重複確認画像Ｃ（ｔ）では、背景差分領域ｄｉ（ｔ）とフレーム間差分領域ｆｊ（ｔ）との重複部分が黒い領域として示されており、非重複部分が白い領域として示されている。
まず、図７には、図５の時刻ｔ１に示す背景差分画像Ｄ（ｔ１）と、図６の時刻ｔ１に示すフレーム間差分画像Ｆ（ｔ１）と、に基づいて、重複確認画像Ｃ（ｔ１）が作成された状態が示されている。図示のとおり、背景差分画像Ｄ（ｔ１）には、背景差分領域ｄ１（ｔ１），ｄ２（ｔ１）が含まれており、フレーム間差分画像Ｆ（ｔ１）には、フレーム間差分領域ｆ１（ｔ１），ｆ２（ｔ１）が含まれている。このため、重複確認画像Ｃ（ｔ１）上には、背景差分領域ｄ１（ｔ１）とフレーム間差分領域ｆ１（ｔ１）との重複部分に相当する重複部分領域ｃ１（ｔ１）と、背景差分領域ｄ２（ｔ１）とフレーム間差分領域ｆ２（ｔ１）との重複部分に相当する重複部分領域ｃ２（ｔ１）とが、黒い領域として示されている。
図示のとおり、重複部分領域ｃ１（ｔ１）の人型は、背景差分領域ｄ１（ｔ１）の人型の手足の一部を欠いたものになっており、重複部分領域ｃ２（ｔ１）の人型は、背景差分領域ｄ２（ｔ１）の人型の手足の一部を欠いたものになっている。これは、フレーム間差分領域ｆ１（ｔ１）の二重人型やフレーム間差分領域ｆ２（ｔ１）の二重人型が、手足の一部を欠いたものになっているためである。
上述したとおり、ここで述べる実施例の場合、背景差分画像作成部１３０が作成する背景差分画像Ｄ（ｔ）は、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像であり、画素値「１」をもった画素の連続領域（図における黒い領域）として各背景差分領域ｄｉ（ｔ）が表現されている。また、フレーム間差分画像作成部１４０が作成するフレーム間差分画像Ｆ（ｔ）も、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像であり、画素値「１」をもった画素の連続領域（図における黒い領域）としてフレーム間差分領域ｆｊ（ｔ）が表現されている。
したがって、重複有無判定部１５０は、背景差分画像Ｄ（ｔ）とフレーム間差分画像Ｆ（ｔ）とについて、対応する画素についての論理積演算を行うことにより、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像である重複確認画像Ｃ（ｔ）を作成することができる。この重複確認画像Ｃ（ｔ）において、画素値「１」をもつ領域（図における黒い領域）が重複部分領域ｃｉ（ｔ）ということになる。
同様に、図８には、図５の時刻ｔ２に示す背景差分画像Ｄ（ｔ２）と、図６の時刻ｔ２に示すフレーム間差分画像Ｆ（ｔ２）と、に基づいて、重複確認画像Ｃ（ｔ２）が作成された状態が示されている。図示のとおり、背景差分画像Ｄ（ｔ２）には、背景差分領域ｄ１（ｔ２），ｄ２（ｔ２）が含まれており、フレーム間差分画像Ｆ（ｔ２）には、フレーム間差分領域ｆ１（ｔ２）が含まれている。このため、重複確認画像Ｃ（ｔ２）上には、背景差分領域ｄ１（ｔ２）とフレーム間差分領域ｆ１（ｔ２）との重複部分に相当する重複部分領域ｃ１（ｔ２）が、黒い領域として示されている。
図示のとおり、重複部分領域ｃ１（ｔ２）の人型は、背景差分領域ｄ１（ｔ２）の人型の手足の一部を欠いたものになっているが、これは、フレーム間差分領域ｆ１（ｔ２）の二重人型が、手足の一部を欠いたものになっているためである。なお、背景差分領域ｄ２（ｔ２）については、重複するフレーム間差分領域が存在しないので、実際には、重複部分領域ｃ２（ｔ２）は形成されないことになるが、図８では、説明の便宜上、重複部分領域ｃ２（ｔ２）を仮想の領域として、その輪郭のみを描いてある。別言すれば、図示の重複部分領域ｃ２（ｔ２）は、その輪郭線部分を含めて実在しない領域であり、実際には、この部分には画素値「０」をもった画素が配置されている。
一方、図９には、図５の時刻ｔ３に示す背景差分画像Ｄ（ｔ３）と、図６の時刻ｔ３に示すフレーム間差分画像Ｆ（ｔ３）と、に基づいて、重複確認画像Ｃ（ｔ３）が作成された状態が示されている。図示のとおり、背景差分画像Ｄ（ｔ３）には、背景差分領域ｄ１（ｔ３），ｄ２（ｔ３）が含まれているが、フレーム間差分画像Ｆ（ｔ３）には、フレーム間差分領域は全く含まれていない。このため、重複確認画像Ｃ（ｔ３）は、重複部分領域を全く含まない空の画像（全領域が非重複部分）になる。ただ、図９では、説明の便宜上、重複部分領域ｃ１（ｔ３），ｃ２（ｔ３）を仮想の領域として、その輪郭のみを描いてある。すなわち、図９に示されている重複部分領域ｃ１（ｔ３），ｃ２（ｔ３）は、その輪郭線部分を含めて実在しない領域であり、実際には、この部分には画素値「０」をもった画素が配置されている。
最後に、図１０には、図５の時刻ｔ４に示す背景差分画像Ｄ（ｔ４）と、図６の時刻ｔ４に示すフレーム間差分画像Ｆ（ｔ４）と、に基づいて、重複確認画像Ｃ（ｔ４）が作成された状態が示されている。図示のとおり、背景差分画像Ｄ（ｔ４）には、背景差分領域ｄ１（ｔ４），ｄ２（ｔ４）が含まれており、フレーム間差分画像Ｆ（ｔ４）には、フレーム間差分領域ｆ１（ｔ４），ｆ２（ｔ４）が含まれている。このため、重複確認画像Ｃ（ｔ４）上には、背景差分領域ｄ１（ｔ４）とフレーム間差分領域ｆ１（ｔ４）との重複部分に相当する重複部分領域ｃ１（ｔ４）が、黒い領域として示されている。
なお、図１０でも、説明の便宜上、重複部分領域ｃ１（ｔ４），ｃ２（ｔ４）の輪郭を仮想の領域の輪郭として描いてある。すなわち、図１０に示されている重複部分領域ｃ１（ｔ４）は、本来は、黒い領域のみによって構成される領域であり、白い部分はその輪郭線部分を含めて実在しない領域である。同様に、重複部分領域ｃ２（ｔ４）も、その輪郭線部分を含めて実在しない領域である。結局、この重複確認画像Ｃ（ｔ４）では、黒く塗った腕の部分に相当する領域内の画素のみが画素値「１」をもち、他の画素はすべて画素値「０」をもっていることになる。
この図１０に示す例の場合、２組のフレーム間差分領域ｆ１（ｔ４），ｆ２（ｔ４）は、２組の背景差分領域ｄ１（ｔ４），ｄ２（ｔ４）にそれぞれ対応するものではなく、両者間の対応関係は１対１の関係にはなっていない。別言すれば、２組のフレーム間差分領域ｆ１（ｔ４），ｆ２（ｔ４）は、いずれも大人Ａの腕に対応する領域であり、いずれも背景差分領域ｄ１（ｔ４）に対応する領域ということになる。このように、背景差分画像Ｄ（ｔ）上の背景差分領域ｄｉ（ｔ）とフレーム間差分画像Ｆ（ｔ）上のフレーム間差分領域ｆｊ（ｔ）とは、必ずしも１対１の対応関係にはならないが、重複確認画像Ｃ（ｔ）を求める上では何ら支障は生じない。
＜３−６．個体認識部１６０の動作＞
個体認識部１６０は、前述したとおり、背景差分画像Ｄ（ｔ）に含まれている個々の背景差分領域ｄｉ（ｔ）について、重複有無判定部１５０による判定結果に基づいて、当該背景差分領域ｄｉ（ｔ）を占める個体を静止個体もしくは動作個体と認識する処理を行う構成要素である。ここで述べる実施例の場合、重複有無判定部１５０は、図７〜図１０に示すような重複確認画像Ｃ（ｔ１）〜Ｃ（ｔ４）を作成する機能を有している。したがって、個体認識部１６０は、これら重複確認画像Ｃ（ｔ１）〜Ｃ（ｔ４）を参照することにより重複部分の有無を確認することができ、各個体を静止個体もしくは動作個体と認識することができる。
図１１は、これまで例示してきた具体的な原画像Ｐ（ｔ０）〜Ｐ（ｔ４）と、これらに対応して作成された具体的な重複確認画像Ｃ（ｔ１）〜Ｃ（ｔ４）との対応関係を示す図である。すなわち、図示の重複確認画像Ｃ（ｔ１）〜Ｃ（ｔ４）は、図７〜図１０に示した重複確認画像Ｃ（ｔ１）〜Ｃ（ｔ４）と同じものである。
原画像Ｐ（ｔ１）〜Ｐ（ｔ４）上の各個体（大人Ａおよび子供Ｂ）は、図５に示す背景差分画像Ｄ（ｔ１）〜Ｄ（ｔ４）を利用すれば、容易に認識することができる。たとえば、図５に示す例において、時刻ｔ１の原画像Ｐ（ｔ１）上には、２組の個体Ａ１，Ｂ１が存在しているが、個体Ａ１は、背景差分画像Ｄ（ｔ１）上の第１の背景差分領域ｄ１（ｔ１）を占める個体として認識可能であり、個体Ｂ１は、背景差分画像Ｄ（ｔ１）上の第２の背景差分領域ｄ２（ｔ１）を占める個体として認識可能である。
そこで、図１１の左に示す原画像Ｐ（ｔ１）〜Ｐ（ｔ４）には、個々の個体を示す符号Ａ１〜Ａ４，Ｂ１〜Ｂ４の後ろに、括弧書きで、当該個体に対応する背景差分領域の符号を付記した。たとえば、時刻ｔ１の原画像Ｐ（ｔ１）の場合、個体Ａ１は第１の背景差分領域ｄ１（ｔ１）を占める個体として認識可能であるため、符号「Ａ１」の後ろに括弧書きで「ｄ１（ｔ１）」なる背景差分領域を示す符号を付記し、個体Ｂ１は第２の背景差分領域ｄ２（ｔ１）を占める個体として認識可能であるため、符号「Ｂ１」の後ろに括弧書きで「ｄ２（ｔ１）」なる背景差分領域を示す符号を付記した。
個体認識部１６０は、このように、背景差分画像Ｄ（ｔ）上の各背景差分領域ｄｉ（ｔ）を利用することにより、原画像Ｐ（ｔ）上で各個体を認識した上で、更に、重複確認画像Ｃ（ｔ）を利用することにより、認識した個々の個体が静止個体か動作個体かを判別することができる。
具体的には、静止個体の認識を担う静止個体認識部１６１は、重複有無判定部１５０によって、フレーム間差分領域ｆｊ（ｔ）に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域ｄｉ（ｔ）を占める個体を、静止個体と認識すればよい。同様に、動作個体の認識を担う動作個体認識部１６２は、重複有無判定部１５０によって、少なくとも一部の領域についてフレーム間差分領域ｆｊ（ｔ）に対する実質的な重複部分が有る、との判定結果が得られた背景差分領域ｄｉ（ｔ）を占める個体を、動作個体と認識すればよい。
別言すれば、個体認識部１６０は、背景差分画像Ｄ（ｔ）に含まれている特定の背景差分領域ｄｉ（ｔ）について、重複確認画像Ｃ（ｔ）上の対応領域を参照し、当該対応領域内に実質的な重複部分領域ｃｉ（ｔ）が含まれていない場合には、当該特定の背景差分領域ｄｉ（ｔ）を占める個体を静止個体と認識し、当該対応領域内に実質的な重複部分領域ｃｉ（ｔ）が含まれていた場合には、当該特定の背景差分領域を占める個体を動作個体と認識する処理を行えばよい。
なお、ここで「実質的な重複部分」や「実質的な重複部分領域」という文言を用いているのは、静止中の個体の一部が風などの影響でたなびいたり、画像にノイズが混入したりする要因によって、微細な重複部分が生じていても、そのような微細な重複部分については、本発明の処理上、重複部分としては取り扱わないためである。たとえば、わずか数画素からなる重複部分領域が存在していても、実用上、重複部分は無い、との判定を行うようにするのが好ましい。以下に述べる各実施例や変形例においても、重複部分の有無を判定する際には、実質的な重複部分の有無を判定するのが好ましい。
ここでは、図１１に示す具体例に即して、個体認識部１６０による認識処理をより詳細に説明する。はじめに、時刻ｔ１では、個体認識部１６０によって、次のような認識処理が行われる。まず、原画像Ｐ（ｔ１）上において、背景差分領域ｄ１（ｔ１）を占める個体として大人Ａ１が認識され、背景差分領域ｄ２（ｔ１）を占める個体として子供Ｂ１が認識される。
そこで、大人Ａ１に関して、重複確認画像Ｃ（ｔ１）上に、背景差分領域ｄ１（ｔ１）と同一位置を占め同一形状をもった対応領域を定義し、当該対応領域内にいずれかの重複部分領域が一部でも含まれているか否かを調べる。図１１に示す例の場合、重複確認画像Ｃ（ｔ１）上において、背景差分領域ｄ１（ｔ１）の対応領域と重複部分領域ｃ１（ｔ１）とは完全には一致しないが（重複部分領域ｃ１（ｔ１）の手足の一部に欠けがあるため）、当該対応領域内の一部分として、重複部分領域ｃ１（ｔ１）が含まれている。別言すれば、当該対応領域の少なくとも一部分に、黒く塗られた重複部分が存在することになる。そこで、個体認識部１６０は、大人Ａ１を動作個体と認識する。
続いて、子供Ｂ１に関して、重複確認画像Ｃ（ｔ１）上に、背景差分領域ｄ２（ｔ１）と同一位置を占め同一形状をもった対応領域を定義し、当該対応領域内にいずれかの重複部分領域が一部でも含まれているか否かを調べる。図１１に示す例の場合、重複確認画像Ｃ（ｔ１）上において、背景差分領域ｄ２（ｔ１）の対応領域と重複部分領域ｃ２（ｔ１）とは完全には一致しないが（重複部分領域ｃ２（ｔ１）の手足の一部に欠けがあるため）、当該対応領域内の一部分として、重複部分領域ｃ２（ｔ１）が含まれている。別言すれば、当該対応領域の少なくとも一部分に、黒く塗られた重複部分が存在することになる。そこで、個体認識部１６０は、子供Ｂ１を動作個体と認識する。
こうして、時刻ｔ１の時点において、原画像Ｐ（ｔ１）に含まれている２組の個体Ａ１，Ｂ１は、いずれも動作個体と認識されることになる。検出個体表示部１７０は、このような認識結果に基づいて、図４の時刻ｔ１の欄に示すような個体検出画像Ｑ（ｔ１）−ＳＭを表示することができる。
また、時刻ｔ２では、個体認識部１６０によって、次のような認識処理が行われる。まず、原画像Ｐ（ｔ２）上において、背景差分領域ｄ１（ｔ２）を占める個体として大人Ａ２が認識され、背景差分領域ｄ２（ｔ２）を占める個体として子供Ｂ２が認識される。
そこで、大人Ａ２に関して、重複確認画像Ｃ（ｔ２）上に、背景差分領域ｄ１（ｔ２）と同一位置を占め同一形状をもった対応領域を定義し、当該対応領域内にいずれかの重複部分領域が一部でも含まれているか否かを調べる。図１１に示す例の場合、重複確認画像Ｃ（ｔ２）上において、背景差分領域ｄ１（ｔ２）の対応領域と重複部分領域ｃ１（ｔ２）とは完全には一致しないが（重複部分領域ｃ１（ｔ２）の手足の一部に欠けがあるため）、当該対応領域内の一部分として、重複部分領域ｃ１（ｔ２）が含まれている。別言すれば、当該対応領域の少なくとも一部分に、黒く塗られた重複部分が存在することになる。そこで、個体認識部１６０は、大人Ａ２を動作個体と認識する。
続いて、子供Ｂ２に関して、重複確認画像Ｃ（ｔ２）上に、背景差分領域ｄ２（ｔ２）と同一位置を占め同一形状をもった対応領域を定義し、当該対応領域内にいずれかの重複部分領域が一部でも含まれているか否かを調べる。図１１に示す例の場合、重複確認画像Ｃ（ｔ２）上において、背景差分領域ｄ２（ｔ２）の対応領域には、黒く塗られた重複部分は全く存在しない。前述したとおり、図には便宜上、重複部分領域ｃ２（ｔ２）の輪郭線が描かれているが、実際には、この重複部分領域ｃ２（ｔ２）は存在しない領域である。したがって、背景差分領域ｄ２（ｔ２）の対応領域内には、重複部分領域は全く含まれていないことになる。そこで、個体認識部１６０は、子供Ｂ２を静止個体と認識する。
こうして、時刻ｔ２の時点において、原画像Ｐ（ｔ２）に含まれている２組の個体Ａ２，Ｂ２のうち、大人Ａ２は動作個体と認識され、子供Ｂ２は静止個体と認識されることになる。検出個体表示部１７０は、このような認識結果に基づいて、図４の時刻ｔ２の欄に示すような個体検出画像Ｑ（ｔ２）−ＳＭを表示することができる。
続く、時刻ｔ３では、個体認識部１６０によって、次のような認識処理が行われる。まず、原画像Ｐ（ｔ３）上において、背景差分領域ｄ１（ｔ３）を占める個体として大人Ａ３が認識され、背景差分領域ｄ２（ｔ３）を占める個体として子供Ｂ３が認識される。
そこで、大人Ａ３に関して、重複確認画像Ｃ（ｔ３）上に、背景差分領域ｄ１（ｔ３）と同一位置を占め同一形状をもった対応領域を定義し、当該対応領域内にいずれかの重複部分領域が一部でも含まれているか否かを調べる。図１１に示す例の場合、重複確認画像Ｃ（ｔ３）上において、背景差分領域ｄ１（ｔ３）の対応領域には、黒く塗られた重複部分は全く存在しない。前述したとおり、図には便宜上、重複部分領域ｃ１（ｔ３），ｃ２（ｔ３）の輪郭線が描かれているが、実際には、これら重複部分領域ｃ１（ｔ３），ｃ２（ｔ３）は存在しない領域であり、重複確認画像Ｃ（ｔ３）は、実質的に全画素が画素値「０」をもった空画像である。したがって、背景差分領域ｄ１（ｔ３）の対応領域内には、重複部分領域は全く含まれていないことになる。そこで、個体認識部１６０は、大人Ａ３を静止個体と認識する。
全く同様の理由により、個体認識部１６０は、子供Ｂ３を静止個体と認識する。こうして、時刻ｔ３の時点において、原画像Ｐ（ｔ３）に含まれている２組の個体Ａ３，Ｂ３はいずれも静止個体と認識されることになる。検出個体表示部１７０は、このような認識結果に基づいて、図４の時刻ｔ３の欄に示すような個体検出画像Ｑ（ｔ３）−ＳＭを表示することができる。
最後に、時刻ｔ４では、個体認識部１６０によって、次のような認識処理が行われる。まず、原画像Ｐ（ｔ４）上において、背景差分領域ｄ１（ｔ４）を占める個体として大人Ａ４が認識され、背景差分領域ｄ２（ｔ４）を占める個体として子供Ｂ４が認識される。
そこで、大人Ａ４に関して、重複確認画像Ｃ（ｔ４）上に、背景差分領域ｄ１（ｔ４）と同一位置を占め同一形状をもった対応領域を定義し、当該対応領域内にいずれかの重複部分領域が一部でも含まれているか否かを調べる。図１１に示す例の場合、重複確認画像Ｃ（ｔ４）上において、背景差分領域ｄ１（ｔ４）の対応領域と重複部分領域ｃ１（ｔ４）とは完全には一致しないが（重複部分領域ｃ１（ｔ４）は、実際には、黒く塗られた腕の部分だけである）、当該対応領域内の一部分として、重複部分領域ｃ１（ｔ４）が含まれている。別言すれば、当該対応領域の少なくとも一部分に、黒く塗られた重複部分が存在することになる。そこで、個体認識部１６０は、大人Ａ４を動作個体と認識する。
続いて、子供Ｂ４に関して、重複確認画像Ｃ（ｔ４）上に、背景差分領域ｄ２（ｔ４）と同一位置を占め同一形状をもった対応領域を定義し、当該対応領域内にいずれかの重複部分領域が一部でも含まれているか否かを調べる。図１１に示す例の場合、重複確認画像Ｃ（ｔ４）上において、背景差分領域ｄ２（ｔ４）の対応領域には、黒く塗られた重複部分は全く存在しない。前述したとおり、図には便宜上、重複部分領域ｃ２（ｔ４）の輪郭線が描かれているが、実際には、この重複部分領域ｃ２（ｔ４）は存在しない領域である。したがって、背景差分領域ｄ２（ｔ４）の対応領域内には、重複部分領域は全く含まれていないことになる。そこで、個体認識部１６０は、子供Ｂ４を静止個体と認識する。
こうして、時刻ｔ４の時点において、原画像Ｐ（ｔ４）に含まれている２組の個体Ａ４，Ｂ４のうち、大人Ａ４は動作個体と認識され、子供Ｂ４は静止個体と認識されることになる。検出個体表示部１７０は、このような認識結果に基づいて、図４の時刻ｔ４の欄に示すような個体検出画像Ｑ（ｔ４）−ＳＭを表示することができる。
このように、重複有無判定部１５０によって、背景差分領域ｄｉ（ｔ）とフレーム間差分領域ｆｊ（ｔ）との重複部分を示す重複部分領域を含む重複確認画像Ｃ（ｔ）を作成すれば、個体認識部１６０は、個々の個体に対応する背景差分領域について、重複確認画像Ｃ（ｔ）上の対応領域に重複部分があるか否かに基づいて、個々の個体が静止個体か動作個体かを判断することができる。
もっとも、実用上は、重複部分の有無を判定するために、何らかの基準を設けておくようにするのが好ましい。たとえば、図１１の右下に示す重複確認画像Ｃ（ｔ４）の場合、黒く塗って示されている重複部分領域ｃ１（ｔ４）は、大人Ａ４の片腕に相当する部分である。個体認識部１６０は、大人Ａ４を示す背景差分領域ｄ１（ｔ４）の対応領域内に、当該重複部分領域ｃ１（ｔ４）が含まれているため、大人Ａ４を動作個体と認識することになる。
上例のように、個体が手を上げる動作を行っている場合は、当該個体を動作個体とする判断は妥当なものになろう。しかしながら、たとえば、髪や服が風になびいたために、フレーム間差分画像Ｆ（ｔ）にフレーム間差分領域が生じることになり、その結果、重複確認画像Ｃ（ｔ）に微小な重複部分領域が生じた場合はどうであろう。このような場合、微小な重複部分の存在により、当該個体を動作個体と認識してしまうことは、必ずしも妥当とは言えない。
したがって、実用上、個体認識部１６０は、特定の個体について、その背景差分領域の対応領域内に重複部分が含まれているか否かを判断する際に、当該対応領域内に含まれている重複部分領域の面積が所定の基準に満たない場合には、当該対応領域内に重複部分領域が含まれていないと判断する処理を行うようにするのが好ましい。そうすれば、図１１の右下に示す重複確認画像Ｃ（ｔ４）のように、ある程度の面積をもった重複部分（腕に相当する重複部分領域ｃ１（ｔ４））が対応領域内に含まれている場合には、大人Ａ４は動作個体として認識されることになるが、髪がたなびく程度の微細な面積をもった重複部分が対応領域内に含まれていた場合には、重複部分領域は含まれていない、との判断がなされ、大人Ａ４は静止個体として認識されることになる。
実際には、前述したとおり、重複確認画像Ｃ（ｔ）における重複部分領域は、画素値「１」をもった画素の集合体になる。そこで、個体認識部１６０は、背景差分画像Ｄ（ｔ）に含まれている特定の背景差分領域について、重複確認画像Ｃ（ｔ）上の対応領域を参照し、当該対応領域内の画素のうち、画素値「１」をもった画素の総数が所定の基準に満たない場合には、当該特定の背景差分領域を占める個体を静止個体と認識し、当該対応領域内の画素のうち、画素値「１」をもった画素の総数が所定の基準以上である場合には、当該特定の背景差分領域を占める個体を動作個体と認識する処理を行うようにすればよい。
判断基準となる画素の総数は、個々の個体を静止個体として検出するか、動作個体として検出するかを決定する検出感度のパラメータということになる。当該パラメータの値は、装置の設置場所や用途に応じて、適宜、適切な値に設定するようにすればよい。
＜３−７．検出個体表示部１７０の動作＞
ここに示す実施例の場合、検出個体表示部１７０は、静止個体指標ｓおよび動作個体指標ｍを原画像Ｐ（ｔ）に重畳させることにより個体検出画像Ｑ（ｔ）を作成し、この個体検出画像Ｑ（ｔ）をディスプレイ画面上に表示する役割を果たす。別言すれば、個体認識部１６０によって静止個体もしくは動作個体と認識された個体に、静止個体もしくは動作個体であることを示す個体指標を付して表示する処理を実行することになる。たとえば、図４に示す実施例の場合、静止個体指標ｓは微細矩形ドットパターンによるハッチング領域として示され、動作個体指標ｍは斜線網目パターンによるハッチング領域として示されている。
このように、静止個体と動作個体の双方の検出結果を同じディスプレイ画面上に表示する場合は、静止個体指標ｓと動作個体指標ｍとを、それぞれ視覚的に区別可能な態様で表示すればよい。図４に示す例のように、微細矩形ドットパターンによるハッチングからなる静止個体指標ｓや斜線網目パターンによるハッチングからなる動作個体指標ｍは、下地が部分的に透けて見える指標であるため、原画像Ｐ（ｔ）の上に重ねて表示した場合でも、その下に位置する個体の内容を視覚的に確認することが可能である。
もちろん、原画像Ｐ（ｔ）上の各個体を視覚的に確認する必要がない場合には、不透明な指標を用いてもかまわない。たとえば、静止個体指標ｓとして、ベタ塗りの青色閉領域からなる図形を用い、動作個体指標ｍとして、ベタ塗りの赤色閉領域からなる図形を用いるようにしてもかまわない。この場合、静止個体指標ｓや動作個体指標ｍは、輪郭は個々の個体の輪郭と一致した人型の図形になるが、不透明のベタ塗りの閉領域から構成されるため、その下に位置する個体の内容（たとえば、人の顔や服装）を視覚的に確認することはできない。
要するに、検出個体表示部１７０は、各個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された閉領域指標によって構成し、原画像に当該閉領域指標を重畳させることにより個体検出画像Ｑ（ｔ）を作成すればよい。
図４に示す例のように、静止個体指標ｓと動作個体指標ｍとを同一画面上で同時に表示するのであれば、静止個体指標ｓを、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第１の閉領域指標によって構成し、動作個体指標ｍを、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第２の閉領域指標によって構成すればよい。
このとき、第１の閉領域指標と第２の閉領域指標とは、互いに異なる色によって塗られるかもしくは互いに異なるパターンが形成された閉領域となるようにし、原画像Ｐ（ｔ）に第１の閉領域指標および第２の閉領域指標を重畳させることにより個体検出画像Ｑ（ｔ）−ＳＭを作成すればよい。上述したように、第１の閉領域指標および第２の閉領域指標としては、不透明なベタ塗りの着色閉領域を用いてもよいし、不透明なベタ塗りのパターンが埋め込まれた閉領域を用いてもよい。この場合、その下に位置する個体の内容（たとえば、人の顔や服装）を視覚的に確認することはできない。
ただ、実用上は、原画像Ｐ（ｔ）上に位置する個体の内容（たとえば、人の顔や服装）を視覚的に確認できるようにした方が好ましい。その場合は、第１の閉領域指標および第２の閉領域指標を、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成し、原画像Ｐ（ｔ）に各閉領域指標を重畳させた場合に、原画像Ｐ（ｔ）が各閉領域指標を通して透けて表示されるようにすればよい。そうすれば、ディスプレイ画面上で、個々の個体の内容を視覚的に確認しつつ、個々の個体が静止個体か動作個体かを直観的に把握することができる。
図４に示す個体検出画像Ｑ（ｔ）−ＳＭは、静止個体指標ｓおよび動作個体指標ｍを、部分的に隙間のあるパターン（微細矩形ドットによるハッチングパターンおよび斜線網目によるハッチングパターン）が形成された閉領域指標によって構成した例である。静止個体指標ｓおよび動作個体指標ｍを、半透明の色で塗られた閉領域指標によって構成する場合は、たとえば、静止個体指標ｓを半透明な青色着色領域とし、動作個体指標ｍを半透明な赤色着色領域とすることができる。この場合、静止個体は、あたかも青色セロファンで覆われたように表示され、動作個体は、あたかも赤色セロファンで覆われたように表示されることになる。
もっとも、静止個体指標ｓや動作個体指標ｍは、ディスプレイ画面上を観察している監視員に対して、個々の個体の位置を知らしめるとともに、当該個体が静止個体か動作個体かを知らしめる役割を果たすことができればよいので、この他にも様々な形態の指標を用いることが可能である。以下、静止個体指標ｓや動作個体指標ｍとして、これまで説明してきた指標とは異なる形態を使用した変形例を、図１２〜図１６に例示しておく。
図１２は、図４に示す個体検出画像Ｑ（ｔ）−ＳＭの第１の変形例を示す図である。図の左に示す原画像Ｐ（ｔ）は、これまで述べてきたものと全く同じであるが、図の右に示す個体検出画像Ｑ（ｔ）−ＳＭは、対象となる個体を囲む矩形の枠状指標によって静止個体指標ｓおよび動作個体指標ｍを構成し、これを原画像Ｐ（ｔ）に重畳させたものになっている。
具体的には、静止個体指標ｓ１（ｔ２），ｓ１（ｔ３），ｓ２（ｔ３），ｓ１（ｔ４）は、いずれも対象となる静止個体Ｂ２，Ａ３，Ｂ３，Ｂ４を囲む第１の枠状指標（図では破線の枠として示されている）によって構成されており、動作個体指標ｍ１（ｔ１），ｍ２（ｔ１），ｍ１（ｔ２），ｍ１（ｔ４）は、いずれも対象となる動作個体Ａ１，Ｂ１，Ａ２，Ａ４を囲む第２の枠状指標（図では実線の枠として示されている）によって構成されている。
結局、図示されている第１の変形例に係る個体検出画像Ｑ（ｔ）−ＳＭは、原画像Ｐ（ｔ）の上に、２組の矩形枠を付加したものであり、個々の矩形枠が個々の個体（大人Ａおよび子供Ｂ）を示すことになる。個々の矩形枠は、個々の個体の移動とともに移動してゆくので、監視員は、ディスプレイ画面上に表示された個体検出画像Ｑ（ｔ）−ＳＭを見ることにより、個々の個体を直観的に把握することができる。しかも、静止個体指標ｓを構成する矩形枠は破線で示され、動作個体指標ｍを構成する矩形枠は実線で示されるため、各矩形枠で囲まれた個々の個体について、それが静止個体であるか動作個体であるかを視覚的に認識することができる。
図１２に示す第１の変形例は、各個体指標を矩形枠、特に、対象となる個体の外接矩形枠によって構成した例である。個々の個体の外接矩形枠は、図５の右に示す背景差分画像Ｄ（ｔ）に含まれる背景差分領域ｄｉ（ｔ）の外接矩形枠として作成することができる。
ただ、枠状指標は、必ずしも矩形枠にする必要はない。図１３は、図４に示す個体検出画像Ｑ（ｔ）−ＳＭの第２の変形例を示す図である。図の左に示す原画像Ｐ（ｔ）は、これまで述べてきたものと全く同じであるが、図の右に示す個体検出画像Ｑ（ｔ）−ＳＭは、対象となる個体を囲む楕円形の枠状指標によって静止個体指標ｓおよび動作個体指標ｍを構成し、これを原画像Ｐ（ｔ）に重畳させたものになっている。各枠状指標は楕円形の枠であるため、必ずしも対象となる個体に接しているわけではないが、静止個体指標ｓを構成する楕円枠は破線で示され、動作個体指標ｍを構成する楕円枠は実線で示されており、やはり、各楕円枠で囲まれた個々の個体について、それが静止個体であるか動作個体であるかを視覚的に認識することができる。
なお、静止個体指標ｓを構成する第１の枠状指標と動作個体指標ｍを構成する第２の枠状指標とは、図１２および図１３に示す例の場合、破線と実線とによって相互に区別できるようにしているが、視覚的に区別可能な態様であれば、別な方法で区別してもかまわない。たとえば、同じく線種によって区別する方法を採用する場合であっても、破線と一点鎖線とによって区別させることも可能である。また、青い枠と赤い枠というように色によって区別させてもよいし、太線と細線というように太さによって区別させてもよい。あるいは、静止個体指標ｓは矩形枠とし、動作個体指標ｍは楕円枠とする、というように、相互に形状を変えることにより区別させてもよい。
要するに、静止個体指標ｓとして第１の枠状指標を用い、動作個体指標ｍとして第２の枠状指標を用いる場合、第１の枠状指標と第２の枠状指標とは、線種、色、形状、太さのうちの少なくとも１つが互いに異なる枠線によって構成されるようにすればよい。図１２および図１３に示す例は、このような２種類の枠状指標を原画像Ｐ（ｔ）に重畳することにより個体検出画像Ｑ（ｔ）−ＳＭを作成した例である。なお、枠状指標は、必ずしも対象となる個体全体をそっくり囲う図形である必要はなく、たとえば、対象となる個体の一部分（たとえば、上半身の部分）のみを囲う図形であってもかまわない。また、図示の例のように、隣接する枠状指標が部分的に重なって表示されてもかまわない。
一方、図１４は、図４に示す個体検出画像Ｑ（ｔ）−ＳＭの第３の変形例を示す図である。図の左に示す原画像Ｐ（ｔ）は、これまで述べてきたものと全く同じであるが、図の右に示す個体検出画像Ｑ（ｔ）−ＳＭは、対象となる個体の輪郭線を示す輪郭指標によって静止個体指標ｓおよび動作個体指標ｍを構成し、これを原画像Ｐ（ｔ）に重畳させたものになっている。
具体的には、静止個体指標ｓ１（ｔ２），ｓ１（ｔ３），ｓ２（ｔ３），ｓ１（ｔ４）は、いずれも対象となる静止個体Ｂ２，Ａ３，Ｂ３，Ｂ４の輪郭線を示す輪郭指標（図では破線の輪郭線として示されている）によって構成されており、動作個体指標ｍ１（ｔ１），ｍ２（ｔ１），ｍ１（ｔ２），ｍ１（ｔ４）は、いずれも対象となる動作個体Ａ１，Ｂ１，Ａ２，Ａ４の輪郭線を示す輪郭指標（図では実線の輪郭線として示されている）によって構成されている。
結局、図１４に示されている第３の変形例に係る個体検出画像Ｑ（ｔ）−ＳＭは、原画像Ｐ（ｔ）上に現れている２組の個体のそれぞれに輪郭線を付加したものであり、個々の輪郭線が個々の個体（大人Ａおよび子供Ｂ）を示すことになる。個々の輪郭線は、個々の個体の移動とともに移動してゆくので、監視員は、ディスプレイ画面上に表示された個体検出画像Ｑ（ｔ）−ＳＭを見ることにより、個々の個体を直観的に把握することができる。しかも、静止個体指標ｓを構成する輪郭線は破線で示され、動作個体指標ｍを構成する輪郭線は実線で示されるため、各輪郭線で囲まれた個々の個体について、それが静止個体であるか動作個体であるかを視覚的に認識することができる。
なお、図１４に示す例の場合、静止個体指標ｓを構成する第１の輪郭指標と動作個体指標ｍを構成する第２の輪郭指標とは、破線と実線とによって相互に区別できるようにしているが、視覚的に区別可能な態様であれば、別な方法で区別してもかまわない。各輪郭指標は、図５の右に示す背景差分画像Ｄ（ｔ）に含まれる背景差分領域ｄｉ（ｔ）の輪郭線を抽出することによって作成することができ、その形状は、対象となる個体の輪郭形状によって定まる。したがって、上述した枠状指標のように、形を変えることによって、静止個体指標ｓを構成する第１の輪郭指標と動作個体指標ｍを構成する第２の輪郭指標とを区別することはできないが、輪郭線の線種、色、太さを変えることによって、両者を区別することは可能である。
結局、検出個体表示部１７０は、静止個体指標ｓを、対象となる静止個体の輪郭線を示す第１の輪郭指標によって構成し、動作個体指標ｍを、対象となる動作個体の輪郭線を示す第２の輪郭指標によって構成し、第１の輪郭指標と第２の輪郭指標とは、線種、色、太さのうちの少なくとも１つが互いに異なる輪郭線によって構成されるようにし、原画像Ｐ（ｔ）に第１の輪郭指標および第２の輪郭指標を重畳させることにより個体検出画像Ｑ（ｔ）−ＳＭを作成すればよい。
図１５は、図２に示す個体検出画像Ｑ（ｔ）−Ｓの変形例を示す図である。図の左に示す原画像Ｐ（ｔ）は、これまで述べてきたものと全く同じであるが、図の右に示す個体検出画像Ｑ（ｔ）−Ｓは、検出対象となる静止個体を、開口窓を有するマスク画像を用いて示す画像になっている。一方、図１６は、図３に示す個体検出画像Ｑ（ｔ）−Ｍの変形例を示す図である。図の左に示す原画像Ｐ（ｔ）は、これまで述べてきたものと全く同じであるが、図の右に示す個体検出画像Ｑ（ｔ）−Ｍは、検出対象となる動作個体を、開口窓を有するマスク画像を用いて示す画像になっている。
この図１５，図１６に示す変形例の場合、検出個体表示部１７０は、検出対象となる個体部分に開口窓が配置され、当該開口窓以外の部分が被覆されたマスク画像によって静止個体指標ｓまたは動作個体指標ｍを構成したものであり、原画像Ｐ（ｔ）にこのマスク画像を重畳させることにより個体検出画像Ｑ（ｔ）−ＳもしくはＱ（ｔ）−Ｍを作成することになる。
たとえば、図１５は、静止個体の検出結果のみを示す個体検出画像Ｑ（ｔ）−Ｓの例である。時刻ｔ１の欄に示された個体検出画像Ｑ（ｔ１）−Ｓは、全面がマスク画像（図では、網目状パターンで示すが、実際には、たとえば、グレーの領域として表示すればよい）で覆われた状態になっている。この場合、全面を覆うマスク画像が静止個体指標ｓということになる。原画像Ｐ（ｔ１）は、この静止個体指標ｓを構成するマスク画像によって全面被覆状態となっているため、ディスプレイ画面は、全体がグレーで表示された状態になる。これは、現時点では、静止個体は全く検出されていないことを示している。
一方、時刻ｔ２の欄に示された個体検出画像Ｑ（ｔ２）−Ｓは、静止個体である子供Ｂ２の領域に開口窓が配置され、それ以外の領域が被覆されたマスク画像からなる静止個体指標ｓを、原画像Ｐ（ｔ２）の上に重畳させることによって得られた画像である。開口窓が形成された領域のみ、下地の原画像Ｐ（ｔ２）が観察できるので、ディスプレイ画面を観察した場合、グレーの背景に静止個体である子供Ｂ２のみが配置されているように見える。
また、時刻ｔ３の欄に示された個体検出画像Ｑ（ｔ３）−Ｓは、静止個体である大人Ａ３および子供Ｂ３の領域に開口窓が配置され、それ以外の領域が被覆されたマスク画像からなる静止個体指標ｓを、原画像Ｐ（ｔ３）の上に重畳させることによって得られた画像である。開口窓が形成された領域のみ、下地の原画像Ｐ（ｔ３）が観察できるので、ディスプレイ画面を観察した場合、グレーの背景に静止個体である大人Ａ３と子供Ｂ３が配置されているように見える。
そして、時刻ｔ４の欄に示された個体検出画像Ｑ（ｔ４）−Ｓは、静止個体である子供Ｂ４の領域に開口窓が配置され、それ以外の領域が被覆されたマスク画像からなる静止個体指標ｓを、原画像Ｐ（ｔ４）の上に重畳させることによって得られた画像である。開口窓が形成された領域のみ、下地の原画像Ｐ（ｔ４）が観察できるので、ディスプレイ画面を観察した場合、グレーの背景に静止個体である子供Ｂ４のみが配置されているように見える。
このように、図１５に示した個体検出画像Ｑ（ｔ）−Ｓでは、グレーの背景に静止個体のみが表示されることになるので、静止個体のみを明瞭に把握したい用途には最適である。
これに対して、図１６は、動作個体の検出結果のみを示す個体検出画像Ｑ（ｔ）−Ｍの例である。時刻ｔ１の欄に示された個体検出画像Ｑ（ｔ１）−Ｍは、動作個体である大人Ａ１および子供Ｂ１の領域に開口窓が配置され、それ以外の領域が被覆されたマスク画像からなる動作個体指標ｍを、原画像Ｐ（ｔ１）の上に重畳させることによって得られた画像である。開口窓が形成された領域のみ、下地の原画像Ｐ（ｔ１）が観察できるので、ディスプレイ画面を観察した場合、グレーの背景に動作個体である大人Ａ１と子供Ｂ１が配置されているように見える。
一方、時刻ｔ２の欄に示された個体検出画像Ｑ（ｔ２）−Ｍは、動作個体である大人Ａ２の領域に開口窓が配置され、それ以外の領域が被覆されたマスク画像からなる動作個体指標ｍを、原画像Ｐ（ｔ２）の上に重畳させることによって得られた画像である。開口窓が形成された領域のみ、下地の原画像Ｐ（ｔ２）が観察できるので、ディスプレイ画面を観察した場合、グレーの背景に動作個体である大人Ａ２のみが配置されているように見える。
また、時刻ｔ３の欄に示された個体検出画像Ｑ（ｔ３）−Ｍは、全面がマスク画像で覆われた状態になっている。この場合、全面を覆うマスク画像が動作体指標ｍということになる。原画像Ｐ（ｔ３）は、この動作個体指標ｍを構成するマスク画像によって全面被覆状態となっているため、ディスプレイ画面は、全体がグレーで表示された状態になる。これは、現時点では、動作個体は全く検出されていないことを示している。
そして、時刻ｔ４の欄に示された個体検出画像Ｑ（ｔ４）−Ｍは、動作個体である大人Ａ４の領域に開口窓が配置され、それ以外の領域が被覆されたマスク画像からなる動作個体指標ｍを、原画像Ｐ（ｔ４）の上に重畳させることによって得られた画像である。開口窓が形成された領域のみ、下地の原画像Ｐ（ｔ４）が観察できるので、ディスプレイ画面を観察した場合、グレーの背景に動作個体である大人Ａ４のみが配置されているように見える。
このように、図１６に示した個体検出画像Ｑ（ｔ）−Ｍでは、グレーの背景に動作個体のみが表示されることになるので、動作個体のみを明瞭に把握したい用途には最適である。
なお、図１５に示す静止個体指標ｓを構成するマスク画像や、図１６に示す動作個体指標ｍを構成するマスク画像は、図５の右に示す背景差分画像Ｄ（ｔ）に含まれる所定の背景差分領域ｄｉ（ｔ）の輪郭線を用いて開口窓を形成することによって作成することができる。
図１のブロック図に示されているとおり、この実施例における検出個体表示部１７０には、原画像入力部１１０によって入力された原画像Ｐ（ｔ）が与えられている。したがって、検出個体表示部１７０は、ディスプレイ画面上に原画像Ｐ（ｔ）をそのまま表示することが可能である。また、個体認識部１６０には、静止個体認識部１６１と動作個体認識部１６２の双方が備わっているため、検出個体表示部１７０は、図２に例示するように、原画像Ｐ（ｔ）に静止個体指標ｓを重畳させることにより個体検出画像Ｑ（ｔ）−Ｓを作成し、これをディスプレイ画面上に表示することが可能であり、また、図３に例示するように、原画像Ｐ（ｔ）に動作個体指標ｍを重畳させることにより個体検出画像Ｑ（ｔ）−Ｍを作成し、これをディスプレイ画面上に表示することも可能である。更に、静止個体指標ｓと動作個体指標ｍの双方を用いて、図４に例示するような個体検出画像Ｑ（ｔ）−ＳＭを作成し、これをディスプレイ画面上に表示することも可能である。
そこで、実用上は、上述した４通りの表示態様をそれぞれ別個の表示モードに設定しておき、ユーザ（たとえば、監視員）の要求に応じて、表示モードを適宜切り替えることができるようにしておくのが好ましい。図１７は、検出個体表示部１７０による４通りの表示モードを示す図である。この図１７では、説明の便宜上、静止個体指標ｓおよび動作個体指標ｍとして図１２に示した矩形枠からなる個体指標を用い、時刻ｔ２において得られる画像を例示してある。
この図１７に示す実施例の場合、検出個体表示部１７０は、原画像表示モード、全個体表示モード、静止個体表示モード、動作個体表示モード、という４通りの表示モードによる表示機能を有しており、ユーザからの指示を受けて、任意の表示モードに切り替えて表示を行うことができる。
原画像表示モードは、図１７(a) に示すように、ディスプレイ画面上に原画像Ｐ（ｔ）のみを表示するモードであり、定点カメラによる撮影画像をそのまま表示するモードである。図示の例では、大人Ａ２および子供Ｂ２を個体として含む原画像Ｐ（ｔ２）が表示されている。もちろん、大人Ａ２および子供Ｂ２は、背景画像の中に溶け込んだ状態で表示されており、監視員は、脳内において、これらを個々の個体として認識することになるが、視覚的な情報として、大人Ａ２および子供Ｂ２が個々の個体として提示されているわけではなく、もちろん、静止個体か動作個体かといった情報の提示もなされていない。
一方、全個体表示モードは、図１７(b) に示すように、ディスプレイ画面上に静止個体指標ｓと動作個体指標ｍと原画像Ｐ（ｔ）とを重畳させた個体検出画像Ｑ（ｔ）−ＳＭを表示するモードである。図示の例では、大人Ａ２および子供Ｂ２を個体として含む原画像Ｐ（ｔ２）が表示されるとともに、実線の矩形枠からなる動作個体指標ｍ１（ｔ２）と破線の矩形枠からなる静止個体指標ｓ１（ｔ２）とが表示されている。監視員は、視覚的に、大人Ａ２を動作個体として認識し、子供Ｂ２を静止個体として認識することができる。
また、静止個体表示モードは、図１７(c) に示すように、ディスプレイ画面上に静止個体指標ｓと原画像Ｐ（ｔ）とを重畳させた個体検出画像Ｑ（ｔ）−Ｓを表示するモードであり、動作個体表示モードは、図１７(d) に示すように、ディスプレイ画面上に動作個体指標ｍと原画像Ｐ（ｔ）とを重畳させた個体検出画像Ｑ（ｔ）−Ｍを表示するモードである。前者のモードでは、監視員は、視覚的に、子供Ｂ２を静止個体として認識することができ、後者のモードでは、監視員は、視覚的に、大人Ａ２を動作個体として認識することができる。静止個体のみを直観的に認識したい場合は、前者の静止個体表示モードに切り替えるのが好ましく、動作個体のみを直観的に認識したい場合は、後者の動作個体表示モードに切り替えるのが好ましい。
このように、図１７に示すようなモード切替機能を設けておけば、ユーザは、監視用途に応じて、最適な表示形態を選択して利用することができるので、利便性を向上させることができる。
＜＜＜ §４． 画像演算処理の具体的な方法 ＞＞＞
図１に示す個体の検出装置１００では、背景差分画像作成部１３０によって背景差分画像Ｄ（ｔ）が作成され、フレーム間差分画像作成部１４０によってフレーム間差分画像Ｆ（ｔ）が作成され、重複有無判定部１５０によって重複確認画像Ｃ（ｔ）が作成される。これら各構成要素によって各画像を作成する処理は、実際には、コンピュータによる画像演算処理によって実行される。ここでは、この画像演算処理の具体的な方法を説明する。
図１８は、２枚のカラー画像Ｕ，Ｖについて、二値化差分画像Ｗを作成し、その差分領域についてラベリング情報を作成する処理の一般的な手順を示す図である。ここでは、図示のような２枚のカラー画像Ｕ，Ｖが与えられた場合を考える。いずれのカラー画像も、３原色Ｒ，Ｇ，Ｂの画素値をもった多数の画素の配列から構成されている。
ここに示す手順では、まず、これらカラー画像Ｕ，Ｖをそれぞれモノクロ化して、輝度画像Ｕ′，Ｖ′に変換する。具体的には、図示のとおり、カラー画像Ｕ上の任意の位置に配置された着目画素の画素値を（Ｒｕ，Ｇｕ，Ｂｕ）として、輝度画像Ｕ′上の同位置の画素の画素値（輝度値）Ｙｕを、「Ｙｕ＝０．２９９Ｒｕ＋０．５８７Ｇｕ＋０．１１４Ｂｕ」なる式で求める。同様に、カラー画像Ｖ上の任意の位置に配置された着目画素の画素値を（Ｒｖ，Ｇｖ，Ｂｖ）として、輝度画像Ｖ′上の同位置の画素の画素値（輝度値）Ｙｖを、「Ｙｖ＝０．２９９Ｒｖ＋０．５８７Ｇｖ＋０．１１４Ｂｖ」なる式で求める。
こうして、輝度値Ｙｕをもった画素の集合からなる輝度画像Ｕ′と、輝度値Ｙｖをもった画素の集合からなる輝度画像Ｖ′とが求められたら、これら輝度画像Ｕ′，Ｖ′の同位置にある画素の輝度値の差をとることにより、差分画像Ｗ′を作成する。すなわち、差分画像Ｗ′を構成する任意の画素の画素値（差分値）ΔＹは、輝度画像Ｕ′上の同位置にある画素の輝度値Ｙｕと、輝度画像Ｖ′上の同位置にある画素の輝度値Ｙｖとの差の絶対値として求められる。別言すれば、ΔＹは、「ΔＹ＝|Ｙｕ−Ｙｖ|」なる式で求まることになる。
続いて、この差分画像Ｗ′を二値化することにより、二値化差分画像Ｗを作成する。具体的には、予め所定の閾値を設定しておき、ΔＹが閾値以上となる画素については画素値「１」を与え、ΔＹが閾値未満となる画素については画素値「０」を与える処理を行えばよい。こうして得られた二値化差分画像Ｗは、画素値「１」もしくは「０」をもつ画素の集合体になり、画素値「１」をもった画素の連続領域は、元のカラー画像Ｕ，Ｖを比べた場合に、画素値の差が所定の基準以上の領域、すなわち、有意な差が認められた差分領域ということになる。
図１８の左下に示す図は、こうして得られた二値化差分画像Ｗの画素構成の一例を示す図である。この図において、ハッチングを施した画素は画素値「１」をもった画素であり、残りの白い画素は画素値「０」をもった画素である。図に太線で囲って示すように、画素値「１」をもった画素の連続領域によって２組の差分領域ｗ１，ｗ２が形成されている。これらの差分領域ｗ１，ｗ２は、図５の背景差分画像Ｄ（ｔ）に黒い領域として示されている背景差分領域ｄｉ（ｔ）や、図６のフレーム間差分画像Ｆ（ｔ）に黒い領域として示されているフレーム間差分領域ｆｊ（ｔ）に相当する。
もっとも、図示されている差分領域ｗ１，ｗ２は、人間が観察した場合、それぞれが画素値「１」をもった一群の画素の集合体領域として把握することができるが、コンピュータが取り扱うデータとしては、まだ、差分領域ｗ１，ｗ２という概念はない。そこで、コンピュータ上、これら差分領域ｗ１，ｗ２を取り扱うためには、ラベリング処理を実行して図１８の右下に示すようなラベリング情報Ｌを作成する必要がある。このラベリング情報Ｌは、差分画像上の個々の差分領域ごとに所定の差分領域符号を付与した上で、個々の差分領域符号と、対応する差分領域に含まれる画素を特定する画素特定情報と、の関係を示す情報ということになる。
図示の例の場合、ラベリング情報Ｌは表の形式で作成されており、差分領域符号の欄には、２組の符号ｗ１，ｗ２が収容されている。これらの符号は、図１８の左下に示す差分画像に太線で囲って示した２組の差分領域ｗ１，ｗ２に付与された符号である。一方、画素特定情報の欄には、差分領域を構成する個々の画素を特定する情報として、個々の画素の座標値が収容されている。たとえば、差分領域符号ｗ１に対応する画素特定情報の欄に収容されている座標値（１，３），（２，２），（２，３），（３，１），（３，２），（３，３），（４，２），（４，３），（４，４），（４，５）は、図１８の左下に示す差分領域ｗ１を構成する１０個の画素の座標値である。
このように、ラベリング情報Ｌは、特定の画素に特定の差分領域符号をラベルづけした情報であり、このラベリング情報Ｌによって、差分画像上に形成されている個々の差分領域を特定することができる。このようなラベリング情報Ｌは、差分画像上において画素値「１」をもった１つの画素に着目し、当該着目画素について、同じく画素値「１」をもった隣接画素を特定し、更に、当該隣接画素を着目画素として同様の処理を繰り返し実行する、という手法により作成することができる。このようなラベリング情報Ｌの作成処理アルゴリズムは、公知の技術であるため、ここでは詳しい説明は省略する。
以上、図１８に示す一般的なカラー画像Ｕ，Ｖについて、二値化差分画像Ｗを作成し、これについてラベリング情報Ｌを作成する基本手法を述べた。図１の装置における背景差分画像作成部１３０およびフレーム間差分画像作成部１４０は、このような基本手法に基づいて、背景差分画像Ｄ（ｔ）やフレーム間差分画像Ｆ（ｔ）を作成することができ、更に、上述したラベリング処理を行うことにより、背景差分領域のラベリング情報Ｌ（Ｄ（ｔ））や、フレーム間差分領域のラベリング情報Ｌ（Ｆ（ｔ））を作成することができる。
結局、図１に示す個体の検出装置１００で行う画像処理に、図１８に示す手順を導入する場合、各構成要素において次のような処理を行うようにすればよい。まず、原画像入力部１１０は、三原色ＲＧＢの各画素値をもった画素の集合体からなるカラー画像を原画像Ｐ（ｔ）として入力し、これを輝度Ｙを示す画素値をもった画素の集合体からなる輝度画像に変換する処理を行う。すなわち、定点カメラから得られる原画像Ｐ（ｔ）がカラー画像である場合には、原画像入力部１１０において、これをモノクロ化して輝度画像とし、背景差分画像作成部１３０およびフレーム間差分画像作成部１４０には、この輝度画像を原画像Ｐ（ｔ）として与えるようにする。この場合、背景画像格納部１２０には、輝度Ｙを示す画素値をもった画素の集合体からなる、モノクロ化された背景画像ＢＧを格納しておくようにする。
そして、背景差分画像作成部１３０は、原画像入力部１１０から与えられるモノクロ化された原画像Ｐ（ｔ）（輝度画像）と、背景画像格納部１２０に格納されているモノクロ化された背景画像ＢＧとについて、それぞれ対応する画素の画素値（輝度値Ｙ）の差の絶対値ΔＹを求める処理を行うようにする。こうして求められたΔＹを画素値としてもつ画素の集合体は、図１８に示す差分画像Ｗ′に相当する差分画像になる。そこで、背景差分画像作成部１３０は、この差分画像を一時的に格納した上で、所定の閾値を用いて二値化することにより二値化差分画像（図１８に示す二値化差分画像Ｗに相当する画像）を作成し、当該二値化差分画像を背景差分画像Ｄ（ｔ）として出力する。
より具体的に説明すれば、背景差分画像作成部１３０は、輝度値の差の絶対値ΔＹが閾値以上となる画素については画素値「１」を与え、輝度値の差の絶対値ΔＹが閾値未満となる画素については画素値「０」を与えることにより、背景差分画像Ｄ（ｔ）を作成することになる。ここで、画素値「１」をもった画素の連続領域は、背景差分領域ｄｉ（ｔ）になる。そこで、背景差分画像作成部１３０は、個々の背景差分領域ｄｉ（ｔ）ごとに背景差分領域符号を付与し、個々の背景差分領域符号に対応する背景差分領域に含まれる画素を特定する画素特定情報を示す背景差分領域のラベリング情報Ｌ（Ｄ（ｔ））を作成する。
一方、フレーム間差分画像作成部１４０は、原画像入力部１１０から時間差をもって与えられる２枚のモノクロ化された原画像Ｐ（ｔ）（２枚のフレーム単位の輝度画像）について、それぞれ対応する画素の画素値（輝度値Ｙ）の差の絶対値ΔＹを求める処理を行うようにする。こうして求められたΔＹを画素値としてもつ画素の集合体は、図１８に示す差分画像Ｗ′に相当する差分画像になる。そこで、フレーム間差分画像作成部１４０は、この差分画像を一時的に格納した上で、所定の閾値を用いて二値化することにより二値化差分画像（図１８に示す二値化差分画像Ｗに相当する画像）を作成し、当該二値化差分画像をフレーム間差分画像Ｆ（ｔ）として出力する。
より具体的に説明すれば、フレーム間差分画像作成部１４０は、輝度値の差の絶対値ΔＹが閾値以上となる画素については画素値「１」を与え、輝度値の差の絶対値ΔＹが閾値未満となる画素については画素値「０」を与えることにより、フレーム間差分画像Ｆ（ｔ）を作成することになる。ここで、画素値「１」をもった画素の連続領域は、フレーム間差分領域ｆｊ（ｔ）になる。そこで、フレーム間差分画像作成部１４０は、個々のフレーム間差分領域ｆｊ（ｔ）ごとにフレーム間差分領域符号を付与し、個々のフレーム間差分領域符号に対応するフレーム間差分領域に含まれる画素を特定する画素特定情報を示すフレーム間差分領域のラベリング情報Ｌ（Ｆ（ｔ））を作成する。
重複有無判定部１５０は、こうして作成された背景差分領域のラベリング情報Ｌ（Ｄ（ｔ））とフレーム間差分領域のラベリング情報Ｌ（Ｆ（ｔ））とを利用して、背景差分画像Ｄ（ｔ）内の個々の背景差分領域ｄｉ（ｔ）について、フレーム間差分画像Ｆ（ｔ）内のフレーム間差分領域ｆｊ（ｔ）に対する重複部分の有無を判定する重複有無判定処理を行うことができる。
図１９は、重複有無判定部１５０による重複有無判定処理の原理を示す図である。ここでは、時刻ｔについて作成された背景差分画像Ｄ（ｔ）とフレーム間差分画像Ｆ（ｔ）に基づいて重複確認画像Ｃ（ｔ）を作成する処理の基本原理を説明する。
図１９の上段左に示されている背景差分画像Ｄ（ｔ）は、背景差分画像作成部１３０によって作成された画像であり、原画像Ｐ（ｔ）と背景画像ＢＧとの間で差分演算を行うことにより得られる。上述した手順によれば、この背景差分画像Ｄ（ｔ）は、画素値「０」もしくは「１」をもった画素の集合からなる二値化差分画像になっている。図示の背景差分画像Ｄ（ｔ）には、ハッチングを施して示すように、２組の背景差分領域ｄ１（ｔ），ｄ２（ｔ）が含まれている。これらの領域は、画素値「１」をもった画素の集合体から構成されている。図では、説明の便宜上、背景差分領域ｄ１（ｔ）を構成する画素として、２つの画素ａ（ｘａ，ｙａ），ｂ（ｘｂ，ｙｂ）が例示されており、背景差分領域ｄ２（ｔ）を構成する画素として１つの画素ｃ（ｘｃ，ｙｃ）が例示されている（括弧内は各画素の座標値）。
上述したとおり、背景差分画像作成部１３０は、各背景差分領域ｄ１（ｔ），ｄ２（ｔ）について、当該領域に含まれる画素を特定する画素特定情報を含むラベリング情報Ｌ（Ｄ（ｔ））を作成する。図１９の上段右に示されている背景差分領域のラベリング情報Ｌ（Ｄ（ｔ））は、こうして作成されたラベリング情報である。たとえば、背景差分領域ｄ１（ｔ）については、画素ａ（ｘａ，ｙａ），画素ｂ（ｘｂ，ｙｂ）などの座標値が画素特定情報として収容されており、背景差分領域ｄ２（ｔ）については、画素ｃ（ｘｃ，ｙｃ）などの座標値が画素特定情報として収容されている。
一方、図１９の中段左に示されているフレーム間差分画像Ｆ（ｔ）は、フレーム間差分画像作成部１４０によって作成された画像であり、原画像Ｐ（ｔ）とその直前の原画像Ｐ（ｔ−１）との間で差分演算を行うことにより得られる。上述した手順によれば、このフレーム間差分画像Ｆ（ｔ）も、画素値「０」もしくは「１」をもった画素の集合からなる二値化差分画像になっている。図示のフレーム間差分画像Ｆ（ｔ）には、ハッチングを施して示すように、３組のフレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）が含まれている。これらの領域は、画素値「１」をもった画素の集合体から構成されている。
ここでは、説明の便宜上、図の上段に示す背景差分画像Ｄ（ｔ）内に例示した３つの画素ａ（ｘａ，ｙａ），ｂ（ｘｂ，ｙｂ），ｃ（ｘｃ，ｙｃ）と同じ位置にある画素を、図の中段に示すフレーム間差分画像Ｆ（ｔ）内に同じ符号を用いて例示してある。ただ、フレーム間差分画像Ｆ（ｔ）の場合、画素ａ（ｘａ，ｙａ）は、ハッチングを施して示すフレーム間差分領域ｆ１（ｔ）内の画素であるため、画素値「１」をもった画素になるが、画素ｂ（ｘｂ，ｙｂ），ｃ（ｘｃ，ｙｃ）は、フレーム間差分領域外の画素であるため、画素値「０」をもった画素になる。
上述したとおり、フレーム間差分画像作成部１４０は、各フレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）について、当該領域に含まれる画素を特定する画素特定情報を含むラベリング情報Ｌ（Ｆ（ｔ））を作成する。図１９の中段右に示されているフレーム間差分領域のラベリング情報Ｌ（Ｆ（ｔ））は、こうして作成されたラベリング情報である。たとえば、フレーム間差分領域ｆ１（ｔ）については、画素ａ（ｘａ，ｙａ）を含む座標値が画素特定情報として収容されている。
重複有無判定部１５０の基本的な役割は、背景差分画像Ｄ（ｔ）内の個々の背景差分領域ｄ１（ｔ），ｄ２（ｔ）について、フレーム間差分画像Ｆ（ｔ）内のフレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）に対する重複部分の有無を判定することである。このような判定は、ラベリング情報Ｌ（Ｄ（ｔ）），Ｌ（Ｆ（ｔ））を利用して行うことができる。
たとえば、背景差分領域ｄ１（ｔ）について、フレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）に対する重複部分の有無を判定する場合は、ラベリング情報Ｌ（Ｄ（ｔ））のｄ１（ｔ）の画素特定情報として収容されている座標値と同じ座標値が、ラベリング情報Ｌ（Ｆ（ｔ））内に、ｆ１（ｔ）〜ｆ３（ｔ）の画素特定情報として収容されているか否かを判定すればよい。図示の例の場合、ｄ１（ｔ）についての座標値（ｘａ，ｙａ）と同じ座標値（ｘａ，ｙａ）が、ｆ１（ｔ）についての画素特定情報として収容されている。このため、背景差分領域ｄ１（ｔ）については、フレーム間差分領域に対する重複部分が有る、との判定がなされ、背景差分領域ｄ１（ｔ）を占める個体は動作個体と認識されることになる。
要するに、基本原理として、重複有無判定部１５０は、所定の着目背景差分領域ｄ１（ｔ）について重複部分の有無を判定する際に、当該着目背景差分領域ｄ１（ｔ）のラベリング情報内の画素特定情報によって特定された個々の着目画素について、各フレーム間差分領域ｆ１（ｔ）〜ｆ３（ｔ）のラベリング情報内の画素特定情報に同位置の画素が存在するか否かを調べ、存在する場合に重複部分有りとの判定を行えばよい。
図１に示す重複有無判定部１５０は、このような基本原理に基づく判定を行うために、図７〜図１０に例示したような重複確認画像Ｃ（ｔ）を作成する機能を有している。具体的には、重複有無判定部１５０は、背景差分画像Ｄ（ｔ）とフレーム間差分画像Ｆ（ｔ）とについて、対応する画素についての論理積演算を行うことにより、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像である重複確認画像Ｃ（ｔ）を作成する。
たとえば、図１９に示す例の場合、上段左の背景差分画像Ｄ（ｔ）上の画素ａ（ｘａ，ｙａ）と中段左のフレーム間差分画像Ｆ（ｔ）上の画素ａ（ｘａ，ｙａ）との論理積演算の結果として、下段左の重複確認画像Ｃ（ｔ）上の画素ａ（ｘａ，ｙａ）が得られることになる。この場合、演算対象となる２組の画素の画素値はいずれも「１」であるので（ハッチング領域内）、重複確認画像Ｃ（ｔ）上の画素ａ（ｘａ，ｙａ）の画素値はその論理積「１」になる。
これに対して、画素ｂ（ｘｂ，ｙｂ），ｃ（ｘｃ，ｙｃ）については、背景差分画像Ｄ（ｔ）上の画素は画素値「１」（ハッチング領域内）であるが、フレーム間差分画像Ｆ（ｔ）上の画素は画素値「０」（白地領域内）であるため、重複確認画像Ｃ（ｔ）上の画素ｂ（ｘｂ，ｙｂ），ｃ（ｘｃ，ｙｃ）の画素値はその論理積「０」になる。
図１９の下段左の重複確認画像Ｃ（ｔ）では、画素値「１」が与えられた画素ａ（ｘａ，ｙａ）を黒画素として示し、画素値「０」が与えられた画素ｂ（ｘｂ，ｙｂ），ｃ（ｘｃ，ｙｃ）を白画素として示した。また、背景差分画像Ｄ（ｔ）上の背景差分領域ｄ１（ｔ），ｄ２（ｔ）に対応する対応領域を破線で示した。図には、３つの画素ａ（ｘａ，ｙａ），ｂ（ｘｂ，ｙｂ），ｃ（ｘｃ，ｙｃ）しか示されていないが、実際には、画像構成領域内の全画素について、画素値「０」または「１」のいずれかが与えられる。
個体認識部１６０は、この重複確認画像Ｃ（ｔ）を利用することにより、各背景差分領域ｄ１（ｔ），ｄ２（ｔ）を占める個体が、動作個体であるか静止個体であるかを認識することができる。すなわち、重複確認画像Ｃ（ｔ）上に、各背景差分領域ｄ１（ｔ），ｄ２（ｔ）の対応領域を定義し（図に破線で示す領域）、この対応領域内に、画素値「１」をもつ画素（黒画素）のみが存在している場合、および画素値「１」をもつ画素（黒画素）と画素値「０」をもつ画素（白画素）とが混在している場合は、当該背景差分領域を占める個体を動作個体と認識し、画素値「０」をもつ画素（白画素）のみが存在している場合は、当該背景差分領域を占める個体を静止個体と認識すればよい。
図示の例の場合、重複確認画像Ｃ（ｔ）上に定義された背景差分領域ｄ１（ｔ）の対応領域（図に破線で示す領域）には、黒画素と白画素とが混在しているので、背景差分領域ｄ１（ｔ）を占める個体は動作個体と認識されることになる。一方、重複確認画像Ｃ（ｔ）上に定義された背景差分領域ｄ２（ｔ）の対応領域（図に破線で示す領域）には、白画素のみが存在しているので、背景差分領域ｄ２（ｔ）を占める個体は静止個体と認識されることになる。
図１１の右に示す各重複確認画像Ｃ（ｔ１）〜Ｃ（ｔ４）における人型の輪郭をもった個々の領域は、図５の右に示す各背景差分画像Ｄ（ｔ１）〜Ｄ（ｔ４）に含まれている背景差分領域ｄ１（ｔ１），ｄ２（ｔ１），... に対応する対応領域であり、図１９の下段左に示す重複確認画像Ｃ（ｔ）に破線で示された領域に相当するものである。この図１１の右に示す各重複確認画像Ｃ（ｔ１）〜Ｃ（ｔ４）において、人型の輪郭内に黒い部分（重複部分）が一部でも含まれていた場合（すなわち、人型の輪郭内が黒い部分のみの場合、および人型の輪郭内に黒い部分と白い部分とが混在している場合）は、当該人型に対応する個体は動作個体と認識され、人型の輪郭内が白い部分（非重複部分）のみの場合は、当該人型に対応する個体は静止個体と認識される点は、既に説明したとおりである。
しかしながら、§３−６で述べたように、実際には、髪や服が風になびいたために、フレーム間差分画像Ｆ（ｔ）にフレーム間差分領域が生じることになり、その結果、重複確認画像Ｃ（ｔ）に微小な重複部分領域（黒い部分）が生じるケースもある。このようなケースを想定すると、図１９の下段左の重複確認画像Ｃ（ｔ）において、背景差分領域ｄ１（ｔ）の対応領域（図に破線で示されている領域）内に黒画素（画素値「１」をもった画素）が存在していたとしても、黒画素の数が微小である場合には、これを有意な重複部分として取り扱うのは好ましくない。別言すれば、図示の例において、重複確認画像Ｃ（ｔ）上の背景差分領域ｄ１（ｔ）の対応領域内に、黒画素が存在したとしても、その数が所定の基準に満たない場合には、背景差分領域ｄ１（ｔ）を示す個体は、動作個体ではなく、静止個体とするべきである。
このような点を考慮すると、実用上は、個体認識部１６０は、背景差分画像Ｄ（ｔ）に含まれている特定の背景差分領域ｄ１（ｔ）について、重複確認画像Ｃ（ｔ）上の対応領域を参照し、当該対応領域内の画素のうち、画素値「１」をもった画素（黒画素）の総数が所定の基準に満たない場合には、当該特定の背景差分領域ｄ１（ｔ）を占める個体を静止個体と認識し、当該対応領域内の画素のうち、画素値「１」をもった画素（黒画素）の総数が所定の基準以上である場合には、当該特定の背景差分領域ｄ１（ｔ）を占める個体を動作個体と認識する処理を行うのが好ましい。
＜＜＜ §５． コンピュータによる実用的な処理手順 ＞＞＞
図１に示す個体の検出装置１００では、背景差分画像作成部１３０によって背景差分画像Ｄ（ｔ）が作成され、フレーム間差分画像作成部１４０によってフレーム間差分画像Ｆ（ｔ）が作成された後、重複有無判定部１５０において重複部分の有無を判定する処理（重複確認画像Ｃ（ｔ）を作成する処理）が実行され、続いて、個体認識部１６０において、上記判定結果を踏まえて、静止個体および動作個体を認識する処理が実行され、更に、検出個体表示部１７０によって、静止個体を示す静止個体指標ｓおよび動作個体を示す動作個体指標ｍをディスプレイ画面上に表示する処理が実行される。ここでは、このような一連の処理を、コンピュータプログラムで実行する場合に適した実用的な処理手順を説明する。
＜５−１．静止個体指標ｓの作成手順＞
図２０は、図１の装置の重複有無判定部１５０、静止個体認識部１６１、検出個体表示部１７０の連携作業により静止個体指標ｓを作成する手順を示す流れ図である。ここでは、背景差分画像作成部１３０によって、図５に示すような背景差分画像Ｄ（ｔ１）〜Ｄ（ｔ４）が作成され、フレーム間差分画像作成部１４０によって、図６に示すようなフレーム間差分画像Ｆ（ｔ１）〜Ｆ（ｔ４）が作成されるものとして、これら両差分画像に基づいて、重複有無判定部１５０、静止個体認識部１６１、検出個体表示部１７０によって実行される手順を説明する。
まず、ステップＳ１１において、静止個体指標番号ｋが初期値０に設定される。この静止個体指標番号ｋは、認識された個々の静止個体に付される連続番号である。実際には、最初に認識された静止個体については、ステップＳ１８においてｋ＝１になるため、静止個体指標番号ｋ＝１が付与される。
続くステップＳ１２は、ステップＳ２０までの手順を、ｉ＝１〜Ｉmax まで繰り返し実行するループ処理である。ここで、ｉは、背景差分領域番号を示し、初期値は１、最大値はＩmax である。したがって、ステップＳ１２からステップＳ２０までのループ処理は、背景差分領域についてのループ処理ということになる。たとえば、図１９に示す例の場合、背景差分画像Ｄ（ｔ）には、２組の背景差分領域ｄ１（ｔ），ｄ２（ｔ）が含まれているため、Ｉmax ＝２である。したがって、背景差分領域ｄ１（ｔ）に着目した処理（ｉ＝１とする処理）と、背景差分領域ｄ２（ｔ）に着目した処理（ｉ＝２とする処理）と、が実行される。
次のステップＳ１３は、ステップＳ１７までの手順を、ｊ＝１〜Ｊmax まで繰り返し実行するループ処理である。ここで、ｊは、フレーム間差分領域番号を示し、初期値は１、最大値はＪmax である。したがって、ステップＳ１３からステップＳ１７までのループ処理は、フレーム間差分領域についてのループ処理ということになる。たとえば、図１９に示す例の場合、フレーム間差分画像Ｆ（ｔ）には、３組のフレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）が含まれているため、Ｊmax ＝３である。したがって、フレーム間差分領域ｆ１（ｔ）に着目した処理（ｊ＝１とする処理）と、フレーム間差分領域ｆ２（ｔ）に着目した処理（ｊ＝２とする処理）と、フレーム間差分領域ｆ３（ｔ）に着目した処理（ｊ＝３とする処理）と、が実行される。
そして、ステップＳ１４では、第ｉ番目の背景差分領域ｄｉ（ｔ）内の各画素について、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）内の同位置の画素とのＡＮＤをとった論理積画像ＩＭＧ（ＡＮＤ）を作成する処理が実行される。たとえば、最初に実行されるｉ＝１，ｊ＝１の場合の処理では、第１番目の背景差分領域ｄ１（ｔ）内の各画素について、第１番目のフレーム間差分領域ｆ１（ｔ）内の同位置の画素とのＡＮＤをとった論理積画像ＩＭＧ（ＡＮＤ）を作成する処理が実行される。これは、図１９に示す例の場合、領域ｄ１（ｔ）と領域ｆ１（ｔ）との論理積画像を求める処理ということになり、領域ｄ１（ｔ），ｆ１（ｔ）の重複部分に位置する画素を黒画素（画素値「１」の画素）、それ以外の画素を白画素（画素値「０」の画素）とする論理積画像ＩＭＧ（ＡＮＤ）が得られる。
続くステップＳ１５では、ステップＳ１４で得られた論理積画像ＩＭＧ（ＡＮＤ）内の全画素について、ＯＲをとった総合論理和ＶＡＬ（ＯＲ）が求められる。すなわち、ステップＳ１４で得られた論理積画像ＩＭＧ（ＡＮＤ）は、画素値「０」（白画素の場合）もしくは画素値「１」（黒画素の場合）のいずれかをもった画素の集合体からなる二値画像であり、当該二値画像を構成する全画素の画素値についての論理和として、総合論理和ＶＡＬ（ＯＲ）が計算される。この総合論理和ＶＡＬ（ＯＲ）は、「０」または「１」のいずれかをとる論理値になる。
別言すれば、総合論理和ＶＡＬ（ＯＲ）の値は、論理積画像ＩＭＧ（ＡＮＤ）内の全画素が画素値「０」をもつ画素（白画素）であった場合にのみ「０」になり、いずれか１つでも画素値「１」をもつ画素（黒画素）が含まれていた場合は「１」になる。ここで、黒画素は、領域ｄ１（ｔ），ｆ１（ｔ）の重複部分を示す画素であるから、結局、総合論理和ＶＡＬ（ＯＲ）＝０であれば、領域ｄ１（ｔ），ｆ１（ｔ）間に重複部分が全くないことを示し、総合論理和ＶＡＬ（ＯＲ）＝１であれば、領域ｄ１（ｔ），ｆ１（ｔ）間に重複部分が存在することを示している。
なお、実用上は、§３−６で述べたように、静止している人が、髪や服が風になびいたために動作個体と認識されてしまうことを避けるため、ＶＡＬ（ＯＲ）としては、数学的に完全な論理和を示す値ではなく、黒画素の数が所定の基準に満たない場合には、ＶＡＬ（ＯＲ）＝０とし、黒画素の数が所定の基準以上あった場合には、ＶＡＬ（ＯＲ）＝１とするような関数を定義するのが好ましい。
続く、ステップＳ１６では、総合論理和ＶＡＬ（ＯＲ）に基く重複部分の有無の判定が行われる。まず、総合論理和ＶＡＬ（ＯＲ）＝１の場合は、領域ｄ１（ｔ），ｆ１（ｔ）間に「重複部分有り」との判定がなされ、ｊのループを抜けて、ステップＳ２０への分岐が行われる。これは、「重複部分有り」の場合は、背景差分領域ｄ１（ｔ）を占める個体は動作個体と認識されるため、静止個体指標ｓを作成する必要がないためである。このような認識がなされた場合、ｉ＝１として行われた背景差分領域ｄ１（ｔ）についての処理は終了する。すなわち、ｉ＝１に関しては、ｊ＝２，３についての処理を行うまでもなく（領域ｄ１（ｔ），ｆ２（ｔ）についての重複部分の有無や、領域ｄ１（ｔ），ｆ３（ｔ）についての重複部分の有無を調べる必要なしに）、背景差分領域ｄ１（ｔ）を占める個体は動作個体と認識することができる。したがって、ステップＳ２０において、ｉ＝２への更新が行われ、ステップＳ１２へ戻り、ｉ＝２として、次の背景差分領域ｄ２（ｔ）についての処理が同様に行われる。
一方、ステップＳ１６で、総合論理和ＶＡＬ（ＯＲ）＝０と判定された場合は、領域ｄ１（ｔ），ｆ１（ｔ）間には「重複部分は無し」との判定がなされたことになる。この場合は、ステップＳ１７へと分岐し、ｊ＝２への更新が行われ、ステップＳ１３へと戻り、ｉ＝１，ｊ＝２として、領域ｄ１（ｔ），ｆ２（ｔ）についての重複部分の有無を調べる処理（ステップＳ１４，Ｓ１５）が実行される。ここでも、総合論理和ＶＡＬ（ＯＲ）＝０と判定された場合は、再びステップＳ１７へと分岐し、ｊ＝３への更新が行われ、ステップＳ１３へと戻り、ｉ＝１，ｊ＝３として、領域ｄ１（ｔ），ｆ３（ｔ）についての重複部分の有無を調べる処理（ステップＳ１４，Ｓ１５）が実行される。
こうして、ｉ＝１、ｊ＝１〜３の組み合わせのすべてについて、総合論理和ＶＡＬ（ＯＲ）＝０と判定された場合は、背景差分領域ｄ１（ｔ）は、第１〜第３のフレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）のいずれに対しても重複部分をもたないことになるので、背景差分領域ｄ１（ｔ）を占める個体は静止個体と認識できる。そこで、ステップＳ１７からステップＳ１８へと進み、静止個体指標番号ｋ＝１に更新し、更に、ステップＳ１９へと進み、第ｋ番目の静止個体指標ｓｋ（ｔ）を、第ｉ番目の背景差分領域ｄｉ（ｔ）に基づいて作成する処理が行われる。
図１９に示す例の場合、ｉ＝１として実行される背景差分領域ｄ１（ｔ）についての手順では、ｊ＝１として実行されるフレーム間差分領域ｆ１（ｔ）との重複確認処理において重複部分有りと判定されるため、ステップＳ１６からステップＳ２０へと分岐することになるが、続いて、ｉ＝２として実行される背景差分領域ｄ２（ｔ）についての手順では、ｊ＝１〜３として実行されるフレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）との重複確認処理において、すべて重複部分無しと判定されるため、ステップＳ１９が実行されることになり、第１番目の静止個体指標ｓ１（ｔ）が、第２番目の背景差分領域ｄ２（ｔ）に基づいて作成される。たとえば、図２に示す例の場合は、微細矩形ドットによるハッチング領域からなる静止個体指標ｓが作成され、図１２に示す例の場合は、破線の矩形枠からなる静止個体指標ｓが作成される。
なお、ステップＳ１４における論理積画像ＩＭＧ（ＡＮＤ）の作成処理は、第ｉ番目の背景差分領域ｄｉ（ｔ）を含む第１の二値画像と、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）を含む第２の二値画像と、を互いに同一座標系を用いた同一サイズの画像として作成し、第１の二値画像と第２の二値画像との間で画像の論理積演算を行うことにより実行することができる。
ここで、第１の二値画像および第２の二値画像は、図１９に示すようなラベリング情報Ｌを利用して作成すればよい。§４で述べたとおり、図１９に示す背景差分画像Ｄ（ｔ）上における各背景差分領域ｄ１（ｔ），ｄ２（ｔ）のコンピュータによる認識は、背景差分領域のラベリング情報Ｌ（Ｄ（ｔ））に基づいて行われ、フレーム間差分画像Ｆ（ｔ）上における各フレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）のコンピュータによる認識は、フレーム間差分領域のラベリング情報Ｌ（Ｆ（ｔ））に基づいて行われる。
したがって、図２０のステップＳ１４において、ｉ＝１，ｊ＝１として、２組の領域ｄ１（ｔ），ｆ１（ｔ）についての論理積画像ＩＭＧ（ＡＮＤ）を作成するためのコンピュータ上での実際の処理は、これらラベリング情報を用いた処理によって行うことができる。具体的には、所定サイズの空画像（画素値「０」をもった画素の集合体）を用意し、図１９に示すラベリング情報Ｌ（Ｄ（ｔ））内のｄ１（ｔ）についての画素特定情報として列挙されている座標に位置する画素のみの画素値を「１」に変更すれば、上述した第１の二値画像を作成することができる。同様に、同じサイズの空画像をもう１枚用意し、ラベリング情報Ｌ（Ｆ（ｔ））内のｆ１（ｔ）についての画素特定情報として列挙されている座標に位置する画素のみの画素値を「１」に変更すれば、上述した第２の二値画像を作成することができる。そこで、これら両二値画像について論理積演算を行えば、論理積画像ＩＭＧ（ＡＮＤ）が得られる。
もっとも、具体的な演算手法としては、ラベリング情報Ｌ（Ｄ（ｔ）），Ｌ（Ｆ（ｔ））を直接対比する方法を採用することもできる。たとえば、図１９に示すラベリング情報Ｌ（Ｄ（ｔ））内のｄ１（ｔ）についての画素特定情報として列挙されている各画素の座標値のそれぞれについて、ラベリング情報Ｌ（Ｆ（ｔ））内のｆ１（ｔ）についての画素特定情報として列挙されている各画素の座標値に一致するものがあるか否かを調べ、一致するものがある場合には、当該画素の位置に黒画素（画素値「１」の画素）を配置し、一致するものがない場合には、当該画素の位置に白画素（画素値「０」の画素）を配置する、という作業を行うことにより、論理積画像ＩＭＧ（ＡＮＤ）を作成してもよい。
続いて、図２０の流れ図に示す処理の各手順を、図８に示す時刻ｔ２における各画像Ｄ（ｔ２），Ｆ（ｔ２）を用いて実行する場合を例にとって具体的に説明する。
図２１の左側には、図２０の流れ図において、ｉ＝１，ｊ＝１としたときの処理内容が示されている。すなわち、図２１(a) は、第ｉ番目（ｉ＝１）の背景差分領域ｄ１（ｔ２）を含む第１の二値画像を示しており、図２１(b) は、第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ２）を含む第２の二値画像を示している。ここで、図２１(a) に示す背景差分領域ｄ１（ｔ２）は、図８に示す背景差分画像Ｄ（ｔ２）に含まれている２組の背景差分領域のうちの１つであり、実際には、ラベリング情報Ｌ（Ｄ（ｔ２））内のｄ１（ｔ２）についての画素特定情報として列挙されている各画素の集合体によって構成されている。同様に、図２１(b) に示すフレーム間差分領域ｆ１（ｔ２）は、図８に示すフレーム間差分画像Ｆ（ｔ２）に含まれているフレーム間差分領域であり、実際には、ラベリング情報Ｌ（Ｆ（ｔ２））内のｆ１（ｔ２）についての画素特定情報として列挙されている各画素の集合体によって構成されている。
図２１(a) に示す第１の二値画像および図２１(b) に示す第２の二値画像は、図示する矩形の外枠をもった同一サイズの二値画像であり、図の黒い部分は画素値「１」をもった画素によって構成され、図の白い部分は画素値「０」をもった画素によって構成される。上述したとおり、図の黒い部分は、ラベリング情報Ｌ内の画素特定情報（構成画素の座標値を羅列したデータ）によって特定される画素の集合体である。これは、後述する図２３，図２５，図２６についても同様である。
図２０の流れ図におけるステップＳ１４では、２組の領域ｄ１（ｔ２），ｆ１（ｔ２）についての論理積として、論理積画像ＩＭＧ（ＡＮＤ）が得られる。実際には、領域ｄ１（ｔ２）を含む第１の二値画像（図２１(a) ）と領域ｆ１（ｔ２）を含む第２の二値画像（図２１(b) ）との論理積演算によって、論理積画像ＩＭＧ（ＡＮＤ）を求めることができる。図２１(c) は、こうして得られた論理積画像ＩＭＧ（ＡＮＤ）を示したものである。
一方、図２０の流れ図におけるステップＳ１５では、この論理積画像ＩＭＧ（ＡＮＤ）内の全画素の画素値についての総合論理和ＶＡＬ（ＯＲ）が求められる。すなわち、図において矩形枠内の画像として示されている論理積画像ＩＭＧ（ＡＮＤ）内に、黒画素（画素値「１」の画素）が１つでもあれば、ＶＡＬ（ＯＲ）＝１となり、黒画素が１つもなければ、ＶＡＬ（ＯＲ）＝０となる。
なお、実用上は、上述したとおり、黒画素の数が所定の基準に満たない場合には、ＶＡＬ（ＯＲ）＝０とし、黒画素の数が所定の基準以上あった場合には、ＶＡＬ（ＯＲ）＝１とするのが好ましい。要するに、２組の領域ｄ１（ｔ２），ｆ１（ｔ２）についての重複部分が所定の面積に満たない場合は、重複部分無しとの判定を行うようにするのが好ましい。
図２１(c) に示す論理積画像ＩＭＧ（ＡＮＤ）の場合は、ＶＡＬ（ＯＲ）＝１となり、重複部分有りとの判定がなされることになるので、図２０の流れ図において、ステップＳ１６からステップＳ２０へと分岐し、ｉ＝１について（背景差分領域ｄ１（ｔ２）について）の静止個体指標は作成されない（ステップＳ１９は実行されない）。図２１(d) は、説明の便宜上、ｉ＝１についての静止個体指標が作成されないことを示している。
一方、図２１の右側には、図２０の流れ図において、ｉ＝２，ｊ＝１としたときの処理内容が示されている。すなわち、図２１(e) は、第ｉ番目（ｉ＝２）の背景差分領域ｄ２（ｔ２）を含む第１の二値画像を示しており、図２１(f) は、第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ２）を含む第２の二値画像を示している。図２１(e) に示す背景差分領域ｄ２（ｔ２）は、図８に示す背景差分画像Ｄ（ｔ２）に含まれている２組の背景差分領域のうちの１つであり、実際には、ラベリング情報Ｌ（Ｄ（ｔ２））内のｄ２（ｔ２）についての画素特定情報として列挙されている各画素の集合体によって構成されている。同様に、図２１(f) に示すフレーム間差分領域ｆ１（ｔ２）は、図８に示すフレーム間差分画像Ｆ（ｔ２）に含まれているフレーム間差分領域であり、実際には、ラベリング情報Ｌ（Ｆ（ｔ２））内のｆ１（ｔ２）についての画素特定情報として列挙されている各画素の集合体によって構成されている。
図２０の流れ図におけるステップＳ１４では、２組の領域ｄ２（ｔ２），ｆ１（ｔ２）についての論理積として、論理積画像ＩＭＧ（ＡＮＤ）が得られる。実際には、第１の二値画像（図２１(e) ）と第２の二値画像（図２１(f) ）との論理積演算によって、論理積画像ＩＭＧ（ＡＮＤ）を求めることができる。図２１(g) は、こうして得られた論理積画像ＩＭＧ（ＡＮＤ）を示したものである。この例の場合、領域ｄ２（ｔ２），ｆ１（ｔ２）間には重複部分が全く存在しないため、図２１(g) に示す論理積画像ＩＭＧ（ＡＮＤ）は空の画像になる。
よって、ＶＡＬ（ＯＲ）＝０となり、重複部分無しとの判定がなされることになるので、図２０の流れ図において、ステップＳ１６からステップＳ１７，Ｓ１８，Ｓ１９へと進み、ｉ＝２について（背景差分領域ｄ２（ｔ２）について）の静止個体指標ｓ１（ｔ２）が作成されることになる。ここで、「ｓ１」の「１」は、静止個体番号ｋ＝１に対応するものである。図２１(h) は、こうして作成されたｉ＝２についての静止個体指標ｓ１（ｔ２）を示すものである。ここでは、図２に示す例と同様に、背景差分領域ｄ２（ｔ２）に基づいて、微細矩形ドットによるハッチング領域からなる静止個体指標ｓ１（ｔ２）が作成された例が示されている。
＜５−２．動作個体指標ｍの作成手順＞
図２２は、図１の装置の重複有無判定部１５０、動作個体認識部１６２、検出個体表示部１７０の連携作業により動作個体指標ｍを作成する手順を示す流れ図である。ここでも、背景差分画像作成部１３０によって、図５に示すような背景差分画像Ｄ（ｔ１）〜Ｄ（ｔ４）が作成され、フレーム間差分画像作成部１４０によって、図６に示すようなフレーム間差分画像Ｆ（ｔ１）〜Ｆ（ｔ４）が作成されるものとして、これら両差分画像に基づいて、重複有無判定部１５０、動作個体認識部１６２、検出個体表示部１７０によって実行される手順を説明する。
まず、ステップＳ２１において、動作個体指標番号ｈが初期値０に設定される。この動作個体指標番号ｈは、認識された個々の動作個体に付される連続番号である。実際には、最初に認識された動作個体については、ステップＳ２８においてｈ＝１になるため、動作個体指標番号ｈ＝１が付与される。
続くステップＳ２２は、ステップＳ３０までの手順を、ｉ＝１〜Ｉmax まで繰り返し実行するループ処理である。図２０の流れ図と同様に、ｉは、背景差分領域番号を示し、初期値は１、最大値はＩmax である。したがって、ステップＳ２２からステップＳ３０までのループ処理は、背景差分領域についてのループ処理ということになる。
次のステップＳ２３は、ステップＳ２７までの手順を、ｊ＝１〜Ｊmax まで繰り返し実行するループ処理である。図２０の流れ図と同様に、ｊは、フレーム間差分領域番号を示し、初期値は１、最大値はＪmax である。したがって、ステップＳ２３からステップＳ２７までのループ処理は、フレーム間差分領域についてのループ処理ということになる。
ステップＳ２４の処理は、図２０の流れ図におけるステップＳ１４の処理と全く同じであり、第ｉ番目の背景差分領域ｄｉ（ｔ）内の各画素について、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）内の同位置の画素とのＡＮＤをとった論理積画像ＩＭＧ（ＡＮＤ）が作成される。具体的な処理については、既にステップＳ１４の処理として説明したため、ここでは説明は省略する。
また、ステップＳ２５の処理は、図２０の流れ図におけるステップＳ１５の処理と全く同じであり、ステップＳ２４で得られた論理積画像ＩＭＧ（ＡＮＤ）内の全画素について、ＯＲをとった総合論理和ＶＡＬ（ＯＲ）が求められる。具体的な処理については、既にステップＳ１５の処理として説明したため、ここでは説明は省略する。
ステップＳ２６の処理は、図２０の流れ図におけるステップＳ１６の処理に対応するものであるが、分岐後の処理が異なっている。これは、図２０の流れ図が静止個体指標ｓを作成する手順を示すものであるのに対して、ここで述べる図２２の流れ図は、動作個体指標ｍを作成する手順を示すものであるためである。
この、ステップＳ２６では、やはり総合論理和ＶＡＬ（ＯＲ）に基く重複部分の有無の判定が行われる。まず、総合論理和ＶＡＬ（ＯＲ）＝１の場合は、領域ｄ１（ｔ），ｆ１（ｔ）間に「重複部分有り」との判定がなされる。この場合、背景差分領域ｄ１（ｔ）を占める個体は動作個体と認識できるので、ｊのループを抜けて、ステップＳ２８への分岐が行われ、動作個体指標番号ｈを更新し、更に、ステップＳ２９へと進み、第ｈ番目の動作個体指標ｍｈ（ｔ）を、第ｉ番目の背景差分領域ｄｉ（ｔ）に基づいて作成する処理が行われる。
図１９に示す例の場合、ｉ＝１として実行される背景差分領域ｄ１（ｔ）についての手順において、ｊ＝１として実行されるフレーム間差分領域ｆ１（ｔ）との重複確認処理において重複部分有りと判定されるため、ステップＳ２６からステップＳ２８，Ｓ２９へと進み、第１番目の動作個体指標ｍ１（ｔ）が、第１番目の背景差分領域ｄ１（ｔ）に基づいて作成される。たとえば、図３に示す例の場合は、斜線網目によるハッチング領域からなる動作個体指標ｍが作成され、図１２に示す例の場合は、実線の矩形枠からなる動作個体指標ｍが作成される。
こうして、ステップＳ２９において、第１番目の動作個体指標ｍ１（ｔ）が作成されると、ｉ＝１として行われた背景差分領域ｄ１（ｔ）についての処理は終了する。そこで、ステップＳ３０において、ｉ＝２への更新が行われ、ステップＳ２２へ戻り、ｉ＝２として、次の背景差分領域ｄ２（ｔ）についての処理が同様に行われる。
一方、ステップＳ２６で、総合論理和ＶＡＬ（ＯＲ）＝０と判定された場合は、領域ｄ１（ｔ），ｆ１（ｔ）間には「重複部分は無し」との判定がなされたことになる。この場合は、ステップＳ２７へと分岐し、ｊ＝２への更新が行われ、ステップＳ２３へと戻り、ｉ＝１，ｊ＝２として、領域ｄ１（ｔ），ｆ２（ｔ）についての重複部分の有無を調べる処理（ステップＳ２４，Ｓ２５）が実行される。ここでも、総合論理和ＶＡＬ（ＯＲ）＝０と判定された場合は、再びステップＳ２７へと分岐し、ｊ＝３への更新が行われ、ステップＳ２３へと戻り、ｉ＝１，ｊ＝３として、領域ｄ１（ｔ），ｆ３（ｔ）についての重複部分の有無を調べる処理（ステップＳ２４，Ｓ２５）が実行される。
こうして、ｉ＝１、ｊ＝１〜３の組み合わせのすべてについて、総合論理和ＶＡＬ（ＯＲ）＝０と判定された場合は、背景差分領域ｄ１（ｔ）は、第１〜第３のフレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）のいずれに対しても重複部分をもたないことになるので、背景差分領域ｄ１（ｔ）を占める個体は静止個体と認識できる。このため、背景差分領域ｄ１（ｔ）については、動作個体指標ｍを作成する処理は実行されないまま、ｉ＝１の処理は終了する。そこで、ステップＳ３０において、ｉ＝２への更新が行われ、ステップＳ２２へ戻り、ｉ＝２として、次の背景差分領域ｄ２（ｔ）についての処理が同様に行われる。
図１９に示す例の場合、ｉ＝１として実行される背景差分領域ｄ１（ｔ）についての手順では、上述したとおり、第１番目の動作個体指標ｍ１（ｔ）が作成されることになるが、ｉ＝２として実行される背景差分領域ｄ２（ｔ）についての手順では、ｊ＝１〜３として実行されるフレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）との重複確認処理において、すべて重複部分無しと判定されるため、動作個体指標ｍを作成する処理は実行されないまま、ｉ＝２の処理は終了することになる。
ここでも、図２２の流れ図に示す処理の各手順を、図８に示す時刻ｔ２における各画像Ｄ（ｔ２），Ｆ（ｔ２）を用いて実行する場合を例にとって具体的に説明する。
図２３の左側には、図２２の流れ図において、ｉ＝１，ｊ＝１としたときの処理内容が示されている。すなわち、図２３(a) は、第ｉ番目（ｉ＝１）の背景差分領域ｄ１（ｔ２）を含む第１の二値画像を示しており、図２３(b) は、第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ２）を含む第２の二値画像を示している。また、図２３(c) には、図２２の流れ図におけるステップＳ２４により作成された論理積画像ＩＭＧ（ＡＮＤ）が示されている。これら図２３(a) ，(b) ，(c) の内容は、図２１(a) ，(b) ，(c) の内容と同じであり、詳しい説明は省略する。
図２３(c) に示す論理積画像ＩＭＧ（ＡＮＤ）については、ＶＡＬ（ＯＲ）＝１となり、重複部分有りとの判定がなされることになる。このため、図２２の流れ図において、ステップＳ２６からステップＳ２８へと分岐し、ｉ＝１について（背景差分領域ｄ１（ｔ２）について）、動作個体指標ｍ１（ｔ２）が作成されることになる。ここで、「ｍ１」の「１」は、動作個体番号ｈ＝１に対応するものである。図２３(d) は、こうして作成されたｉ＝１についての動作個体指標ｍ１（ｔ２）を示すものである。ここでは、図３に示す例と同様に、背景差分領域ｄ１（ｔ２）に基づいて、斜線網目によるハッチング領域からなる動作個体指標ｍ１（ｔ２）が作成された例が示されている。
一方、図２３の右側には、図２２の流れ図において、ｉ＝２，ｊ＝１としたときの処理内容が示されている。すなわち、図２３(e) は、第ｉ番目（ｉ＝２）の背景差分領域ｄ２（ｔ２）を含む第１の二値画像を示しており、図２３(f) は、第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ２）を含む第２の二値画像を示している。また、図２３(g) には、図２２の流れ図におけるステップＳ２４により作成された論理積画像ＩＭＧ（ＡＮＤ）が示されている。これら図２３(e) ，(f) ，(g) の内容は、図２１(e) ，(f) ，(g) の内容と同じであり、詳しい説明は省略する。
図２３(e) に示す論理積画像ＩＭＧ（ＡＮＤ）は、実際には空の画像であり、ＶＡＬ（ＯＲ）＝０となる。したがって、最終的には、図２２の流れ図において、ステップＳ２６からステップＳ２７，Ｓ３０へと進み、ｉ＝２について（背景差分領域ｄ２（ｔ２）について）の動作個体指標は作成されない（ステップＳ２９は実行されない）。図２３(h) は、説明の便宜上、ｉ＝２についての動作個体指標が作成されないことを示している。
＜５−３．動作個体指標ｍの作成手順の変形例＞
これまで述べてきたように、図１に示す個体の検出装置１００における検出個体表示部１７０は、静止個体認識部１６１によって静止個体と認識された個体を示す静止個体指標ｓと、動作個体認識部１６２によって動作個体と認識された個体を示す動作個体指標ｍと、を表示する機能を有している。そして、これまで述べてきた例では、静止個体指標ｓおよび動作個体指標ｍを、背景差分画像Ｄ（ｔ）に含まれている背景差分画像ｄｉ（ｔ）に基づいて作成している。
たとえば、図２０に示す静止個体指標の作成手順によれば、図２１(h) に示すような静止個体指標ｓ１（ｔ２）を作成することができる。この静止個体指標ｓ１（ｔ２）は、図２１(e) に示す背景差分領域ｄ２（ｔ２）に基づいて作成されたものである。具体的には、図２１(h) に示す静止個体指標ｓ１（ｔ２）は、図２１(e) に示す背景差分領域ｄ２（ｔ２）の内部に微細矩形ドットによるハッチングを施すことにより作成することができる。また、図１２の個体検出画像Ｑ（ｔ２）−ＳＭ内に示されている静止個体指標ｓ１（ｔ２）は、背景差分領域ｄ２（ｔ２）の外接矩形として作成することができる。図１３以降に示す様々なバリエーションに係る静止個体指標ｓ１（ｔ２）も、やはり背景差分領域ｄ２（ｔ２）に基づいて作成することができる。
同様に、図２２に示す動作個体指標の作成手順によれば、図２３(d) に示すような動作個体指標ｍ１（ｔ２）を作成することができる。この動作個体指標ｍ１（ｔ２）は、図２３(a) に示す背景差分領域ｄ１（ｔ２）に基づいて作成されたものである。具体的には、図２３(d) に示す静止個体指標ｍ１（ｔ２）は、図２３(a) に示す背景差分領域ｄ１（ｔ２）の内部に斜線網目によるハッチングを施すことにより作成することができる。また、図１２の個体検出画像Ｑ（ｔ２）−ＳＭ内に示されている動作個体指標ｍ１（ｔ２）は、背景差分領域ｄ１（ｔ２）の外接矩形として作成することができる。図１３以降に示す様々なバリエーションに係る動作個体指標ｍ１（ｔ２）も、やはり背景差分領域ｄ１（ｔ２）に基づいて作成することができる。
このように、これまで述べてきた実施例では、検出個体表示部１７０は、静止個体を示す静止個体指標ｓを、当該静止個体が占める背景差分領域ｄｉ（ｔ）に基づいて作成しており、動作個体を示す動作個体指標ｍを、当該動作個体が占める背景差分領域ｄｉ（ｔ）に基づいて作成している。
このため、図２０に示す静止個体指標の作成手順では、まず、第ｉ番目の背景差分領域ｄｉ（ｔ）に着目し（ステップＳ１２）、当該背景差分領域ｄｉ（ｔ）について重複部分無しとの判定がなされたときには（ステップＳ１６）、当該背景差分領域ｄｉ（ｔ）に基づいて静止個体指標ｓｋ（ｔ）が作成される（ステップＳ１９）。同様に、図２２に示す動作個体指標の作成手順では、まず、第ｉ番目の背景差分領域ｄｉ（ｔ）に着目し（ステップＳ２２）、当該背景差分領域ｄｉ（ｔ）について重複部分有りとの判定がなされたときには（ステップＳ２６）、当該背景差分領域ｄｉ（ｔ）に基づいて動作個体指標ｍｈ（ｔ）が作成される（ステップＳ２９）。
ここで述べる手順の基本的な考え方は、背景差分領域ｄｉ（ｔ）ではなく、フレーム間差分領域ｆｊ（ｔ）に基づいて指標を作成するというものである。ただ、背景差分領域ｄｉ（ｔ）が、図５の背景差分画像Ｄ（ｔ）に示されているような、背景画像に対する差分を示す領域であるのに対して、フレーム間差分領域ｆｊ（ｔ）は、図６のフレーム間差分画像Ｆ（ｔ）に示されているような、時間的変化を示す領域である。したがって、背景差分領域ｄｉ（ｔ）の代わりに、フレーム間差分領域ｆｊ（ｔ）に基づいて指標を作成する変形例を採用する場合は、次の２つの点に留意する必要がある。
この変形例についての第１の留意点は、動作個体指標ｍの作成に適用することはできるが、静止個体指標ｓの作成に適用することはできない、という点である。たとえば、図６の時刻ｔ１に示すフレーム間差分画像Ｆ（ｔ１）には、大人Ａ１と子供Ｂ１にそれぞれ対応するフレーム間差分領域ｆ１（ｔ１），ｆ２（ｔ１）が含まれている。しかしながら、時刻ｔ２に示すフレーム間差分画像Ｆ（ｔ２）には、大人Ａ２に対応するフレーム間差分領域ｆ１（ｔ２）しか含まれていない。これは、時刻ｔ２において、子供Ｂ２は静止しているためである。また、時刻ｔ３に示すフレーム間差分画像Ｆ（ｔ３）には、フレーム間差分領域は全く含まれていない。これは、時刻ｔ３において、大人Ａ３，子供Ｂ３は双方ともに静止しているためである。
このように、フレーム間差分画像Ｆ（ｔ）に含まれているフレーム間差分領域ｆｊ（ｔ）は、動作個体の動きによって形成される領域であり、静止個体の情報は含まれていない。このため、フレーム間差分領域ｆｊ（ｔ）に基づいて指標を作成するという変形例は、動作個体指標ｍの作成に利用することはできるが、静止個体指標ｓの作成に利用することはできない。
そして、この変形例についての第２の留意点は、図５の背景差分画像Ｄ（ｔ）に含まれている背景差分領域ｄｉ（ｔ）が、動作個体・静止個体を問わず、個体の外形（この例では人型）をそのまま表現した領域になっているのに対して、フレーム間差分領域ｆｊ（ｔ）は、図６のフレーム間差分画像Ｆ（ｔ）に含まれている各例を見ればわかるとおり、個体の外形をそのまま表現した領域になっているわけではない、という点である。したがって、フレーム間差分領域ｆｊ（ｔ）に基づいて動作個体指標ｍを作成する変形例を採用する場合は、フレーム間差分領域ｆｊ（ｔ）に対して、必要に応じた補正処理が必要になる。
たとえば、図６の時刻ｔ１に示すフレーム間差分画像Ｆ（ｔ１）には、２組のフレーム間差分領域ｆ１（ｔ１），ｆ２（ｔ１）が含まれているが、これらは大人Ａ１と子供Ｂ１の外形をそのまま示すものではなく、動きに応じた二重の人型を重ねた形状をなし、しかも手足の一部に白抜きの欠けが生じている。図６の時刻ｔ４に示すフレーム間差分画像Ｆ（ｔ４）に至っては、もはや元の個体の全体像は完全に失われ、一部の腕の部分に相当する２組のフレーム間差分領域ｆ１（ｔ４），ｆ２（ｔ４）が残されているだけである。
そこで、ここで述べる変形例の場合、検出個体表示部１７０は、動作個体を示す動作個体指標ｍを、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成する、という方法を採用することになる。具体的には、動作個体が占めるフレーム間差分領域と当該動作個体が占める背景差分領域とについて、領域を構成する図形の論理和演算を行うことにより、補正を実行すればよい。
たとえば、図６のフレーム間差分画像Ｆ（ｔ１）に含まれているフレーム間差分領域ｆ１（ｔ１）を利用して、大人Ａ１（動作個体）についての動作個体指標ｍを作成する場合であれば、手足の一部に白抜きの欠けが生じているフレーム間差分領域ｆ１（ｔ１）に対して、図５の背景差分画像Ｄ（ｔ１）に含まれている背景差分領域ｄ１（ｔ１）に基づく補正を行い、手足の欠けが修復された補正後のフレーム間差分領域ｆ１（ｔ１）に基づいて動作個体指標ｍを作成することになる。実際には、フレーム間差分領域ｆ１（ｔ１）を構成する図形と背景差分領域ｄ１（ｔ１）を構成する図形とについて、図形の論理和演算を行って論理和画像を作成し、この論理和画像に基づいて動作個体指標ｍを作成すればよい。
以下、図２４を参照しながら、この変形例に係る動作個体指標ｍの作成手順を説明する。この図２４は、図１の装置の重複有無判定部１５０、動作個体認識部１６２、検出個体表示部１７０の連携作業により動作個体指標ｍを作成する手順を示す流れ図である。ここでも、背景差分画像作成部１３０によって、図５に示すような背景差分画像Ｄ（ｔ１）〜Ｄ（ｔ４）が作成され、フレーム間差分画像作成部１４０によって、図６に示すようなフレーム間差分画像Ｆ（ｔ１）〜Ｆ（ｔ４）が作成されるものとして、これら両差分画像に基づいて、重複有無判定部１５０、動作個体認識部１６２、検出個体表示部１７０によって実行される手順を説明する。
まず、ステップＳ３１において、動作個体指標番号ｈが初期値０に設定される。この動作個体指標番号ｈは、前述したとおり、認識された個々の動作個体に付される連続番号である。実際には、最初に認識された動作個体については、ステップＳ３３においてｈ＝１になるため、動作個体指標番号ｈ＝１が付与される。
続くステップＳ３２は、ステップＳ４２までの手順を、ｊ＝１〜Ｊmax まで繰り返し実行するループ処理である。図２０，図２２の流れ図と同様に、ｊは、フレーム間差分領域番号を示し、初期値は１、最大値はＪmax である。したがって、ステップＳ３２からステップＳ４２までのループ処理は、フレーム間差分領域についてのループ処理ということになる。図２０，図２２に示す手順は、上述したとおり、静止個体指標ｓや動作個体指標ｍを、背景差分画像Ｄ（ｔ）に含まれている背景差分画領域ｄｉ（ｔ）に基づいて作成するため、個々の背景差分領域ｄｉ（ｔ）に着目した処理を行うことになるが、この図２４に示す手順では、フレーム間差分画像Ｆ（ｔ）に含まれているフレーム間差分領域ｆｊ（ｔ）に基づいて動作個体指標ｍを作成するため、個々のフレーム間差分領域ｆｊ（ｔ）に着目した処理が行われる。
次のステップＳ３３では、動作個体指標番号ｈがｈ＝ｈ＋１に更新され、ステップＳ３４において、第ｈ番目の仮動作個体指標ｍ′ｈ（ｔ）として、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）を設定する処理が行われる。たとえば、ステップＳ３２において、ｊ＝１のループ処理が開始すると、ステップＳ３３においてｈ＝１に設定され、ステップＳ３４において、第１番目のフレーム間差分領域ｆ１（ｔ）が、第１番目の仮動作個体指標ｍ′１（ｔ）として設定される。ここで、「仮動作個体指標」とは、現段階では正式な動作個体指標ｍではない「仮」の指標を意味する。
具体的には、たとえば、ステップＳ３２から開始するフレーム間差分領域のループが、図６のフレーム間差分画像Ｆ（ｔ１）内のフレーム間差分領域ｆ１（ｔ１）を処理対象とするループであった場合、まず、このフレーム間差分領域ｆ１（ｔ１）が仮動作個体指標ｍ′１（ｔ１）として設定される。当該仮動作個体指標ｍ′１（ｔ１）は、手足の一部に欠けが生じており、正式な動作個体指標ｍとして利用するためには、後続する手順を経て、ステップＳ３９において補正を行う必要がある。
続くステップＳ３５は、ステップＳ４０までの手順を、ｉ＝１〜Ｉmax まで繰り返し実行するループ処理である。図２０，図２２の流れ図と同様に、ｉは、背景差分領域番号を示し、初期値は１、最大値はＩmax である。したがって、ステップＳ３５からステップＳ４０までのループ処理は、背景差分領域についてのループ処理ということになる。このループ処理の目的は、仮動作個体指標ｍ′ｈ（ｔ）に対する補正を、重複している背景差分領域ｄｉ（ｔ）を利用して行うことにある。
まず、ステップＳ３６において、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）内の各画素について、第ｉ番目の背景差分領域ｄｉ（ｔ）内の同位置の画素とのＡＮＤをとった論理積画像ＩＭＧ（ＡＮＤ）が作成される。実際には、図２０のステップＳ１４や図２２のステップＳ２４と同様に、領域ｆｊ（ｔ）を含む第１の二値画像と領域ｄｉ（ｔ）を含む第２の二値画像との論理積演算によって、論理積画像ＩＭＧ（ＡＮＤ）を求めることができる。
続いて、ステップＳ３７において、ステップＳ３６で得られた論理積画像ＩＭＧ（ＡＮＤ）内の全画素について、ＯＲをとった総合論理和ＶＡＬ（ＯＲ）が求められる。この総合論理和ＶＡＬ（ＯＲ）の値は、既に図２０のステップＳ１５や図２２のステップＳ２５のおいて説明したとおり、論理積画像ＩＭＧ（ＡＮＤ）内の全画素が画素値「０」をもつ画素（白画素）であった場合にのみ「０」になり、いずれか１つでも画素値「１」をもつ画素（黒画素）が含まれていた場合は「１」になる。したがって、総合論理和ＶＡＬ（ＯＲ）＝０であれば、領域ｆｊ（ｔ），ｄｉ（ｔ）間に重複部分が全くないことを示し、総合論理和ＶＡＬ（ＯＲ）＝１であれば、領域ｆｊ（ｔ），ｄｉ（ｔ）間に重複部分が存在することを示している。
なお、実用上は、上述したとおり、黒画素の数が所定の基準に満たない場合には、ＶＡＬ（ＯＲ）＝０とし、黒画素の数が所定の基準以上あった場合には、ＶＡＬ（ＯＲ）＝１とするのが好ましい。
そこで、次のステップＳ３８において、総合論理和ＶＡＬ（ＯＲ）に基く分岐が行われる。まず、総合論理和ＶＡＬ（ＯＲ）＝１の場合は、領域ｆｊ（ｔ），ｄｉ（ｔ）間に「重複部分有り」との判定がなされる。この場合、背景差分領域ｄｉ（ｔ）はフレーム間差分領域ｆｊ（ｔ）と同一の個体についての領域と判定できるので、仮動作個体指標ｍ′ｈ（ｔ）に対する補正に利用することができる。そこで、ステップＳ３９へと進み、仮動作個体指標ｍ′ｈ（ｔ）内の各画素について、第ｉ番目の背景差分領域ｄｉ（ｔ）の同位置の画素とのＯＲをとった論理和画像ＩＭＧ（ＯＲ）を作成し、これを新たな仮動作個体指標ｍ′ｈ（ｔ）とする処理が行われる。
こうして、ステップＳ３５〜Ｓ４０のループ処理（ｉについてのループ処理）がｉ＝１〜Ｉmax まで繰り返し実行されると、フレーム間差分領域ｆｊ（ｔ）に対して重複部分有りと判定された背景差分領域ｄｉ（ｔ）が見つかる度に、当該領域ｄｉ（ｔ）と、その時点の仮動作個体指標ｍ′ｈ（ｔ）との間でＯＲをとった論理和画像ＩＭＧ（ＯＲ）が作成され、これを新たな仮動作個体指標ｍ′ｈ（ｔ）とする更新処理が行われる。これにより、欠け部分を含んでいた当初の仮動作個体指標ｍ′ｈ（ｔ）は徐々に修復されてゆくことになる。
こうして、ｉについてのループ処理が完了すると、ステップＳ４１へと進み、第ｈ番目の動作個体指標ｍｈ（ｔ）が、その時点での第ｈ番目の仮動作個体指標ｍ′ｈ（ｔ）、すなわち、欠け部分の修復が完了した仮指標に基づいて作成される。たとえば、図３に示す動作個体指標ｍを用いる場合は、仮動作個体指標ｍ′ｈ（ｔ）を構成する領域の内部に対して斜線網目によるハッチングを施すことにより、動作個体指標ｍｈ（ｔ）を作成することができ、図１２に示す動作個体指標ｍを用いる場合は、仮動作個体指標ｍ′ｈ（ｔ）を構成する領域の外接矩形を求めることにより、動作個体指標ｍｈ（ｔ）を作成することができる。
こうして、ステップＳ４１において、第ｈ番目の動作個体指標ｍｈ（ｔ）が作成されると、ステップＳ４２からステップＳ３２へと戻り、ｊを更新することにより、新たなフレーム間差分領域に基づいて新たな動作個体指標ｍを作成するため、ステップＳ３２〜Ｓ４２のループ処理（ｊについてのループ処理）がｊ＝１〜Ｊmax まで繰り返し実行される。
ここでは、図２４の流れ図に示す処理の各手順を、図７に示す時刻ｔ１における各画像Ｄ（ｔ１），Ｆ（ｔ１）に基づいて実行する具体例に即して説明しておく。
図２５の上段には、図２４の流れ図において、ｊ＝１，ｉ＝１としたときの処理内容が示されている。まず、図２５(a) には、ステップＳ３２において、ｊ＝１に設定したときの処理対象となる第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ１）を含む第１の二値画像が示されている（図７のＦ（ｔ１）内に示すものと同じ）。ステップＳ３４では、このフレーム間差分領域ｆ１（ｔ１）が、そのまま第ｈ番目（ｈ＝１）の仮動作個体指標ｍ′１（ｔ１）として設定されることになる。図２５(b) には、こうして設定された仮動作個体指標ｍ′１（ｔ１）を含む二値画像が示されている（「ｍ′１」の「１」は、動作個体番号ｈ＝１に対応する）。図示のとおり、この仮動作個体指標ｍ′１（ｔ１）は、手足の一部に欠けを生じた不完全なものになっており、補正が必要である。
一方、図２５(c) には、ステップＳ３５において、ｉ＝１に設定したときの処理対象となる第ｉ番目（ｉ＝１）の背景差分領域ｄ１（ｔ１）を含む第２の二値画像が示されている（図７のＤ（ｔ１）内に示すものと同じ）。上述したとおり、ステップＳ３６では、図２５(a) に示すフレーム間差分領域ｆ１（ｔ１）を含む第１の二値画像と図２５(c) に示す背景差分領域ｄ１（ｔ１）を含む第２の二値画像との間でＡＮＤをとった論理積画像ＩＭＧ（ＡＮＤ）が作成される。図２５(d) に示す画像は、このようにして作成された論理積画像ＩＭＧ（ＡＮＤ）である。
ステップＳ３７において、当該論理積画像ＩＭＧ（ＡＮＤ）内の全画素についてＯＲをとった総合論理和ＶＡＬ（ＯＲ）を求めれば、図示のＩＭＧ（ＡＮＤ）に対しては、ＶＡＬ（ＯＲ）＝１となり、重複部分有りとの判定がなされることになる。この判定結果は、図２５(c) に示す背景差分領域ｄ１（ｔ１）を利用して、図２５(b) に示す現時点での仮動作個体指標ｍ′１（ｔ１）に対して補正を行うことができることを意味する。そこで、ステップＳ３８からステップＳ３９へと移行し、補正処理（論理和画像ＩＭＧ（ＯＲ）を作成して置き換える処理）が実行される。すなわち、仮動作個体指標ｍ′１（ｔ１）を含む二値画像と背景差分領域ｄ１（ｔ１）を含む二値画像との間でＯＲをとることにより、論理和画像ＩＭＧ（ＯＲ）を作成し、これを新たな仮動作個体指標ｍ′１（ｔ１）とする処理が実行される。
図２５(e) は、こうして作成された新しい仮動作個体指標ｍ′１（ｔ１）を含む二値画像を示している。図２５(b) に示す古い仮動作個体指標ｍ′１（ｔ１）に存在していた手足の欠けの部分が、図２５(e) に示す新しい仮動作個体指標ｍ′１（ｔ１）では修復されていることがわかる。
続いて、ステップＳ４０において、ｉ＝２への更新が行われ、再びステップＳ３５からの処理が実行される。図２５の下段には、図２４の流れ図において、ｊ＝１，ｉ＝２としたときの処理内容が示されている。まず、図２５(f) には、ｉ＝２に設定したときの処理対象となる第ｉ番目（ｉ＝２）の背景差分領域ｄ２（ｔ１）を含む二値画像が示されている（図５のＤ（ｔ１）内に示すものと同じ）。ステップＳ３６では、図２５(a) に示すフレーム間差分領域ｆ１（ｔ１）と図２５(f) に示す背景差分領域ｄ２（ｔ１）との間でＡＮＤをとった論理積画像ＩＭＧ（ＡＮＤ）が作成される。図２５(g) に示す画像は、このようにして作成された論理積画像ＩＭＧ（ＡＮＤ）である。図示のとおり、領域ｆ１（ｔ１），ｄ２（ｔ１）には重複部分が全くないため、図２５(g) に示す論理積画像ＩＭＧ（ＡＮＤ）は、実際には空の画像になる。
したがって、ステップＳ３７において、当該論理積画像ＩＭＧ（ＡＮＤ）内の全画素についてＯＲをとった総合論理和ＶＡＬ（ＯＲ）を求めれば、図示のＩＭＧ（ＡＮＤ）に対しては、ＶＡＬ（ＯＲ）＝０となり、重複部分無しとの判定がなされることになる。この判定結果は、図２５(f) に示す背景差分領域ｄ２（ｔ１）を利用して、図２５(e) に示す現時点での仮動作個体指標ｍ′１（ｔ１）に対して補正を行うことはできないことを意味する。そこで、ステップＳ３８からステップＳ４０へと移行し、ステップＳ３９の補正処理（論理和画像ＩＭＧ（ＯＲ）を作成して置き換える処理）は実行されない。
こうして、ステップＳ３５からステップＳ４０までのループ処理が、ｉ＝１〜Ｉmax まで完了すると、ステップＳ４１において、図２５(e) に示す現時点での仮動作個体指標ｍ′１（ｔ１）に基づいて、正式な動作個体指標ｍ１（ｔ１）を作成する処理が行われる。図２５(h) は、こうして作成された正式な動作個体指標ｍ１（ｔ１）を示すものである。この例の場合、図２５(e) に示す仮動作個体指標ｍ′１（ｔ１）を構成する領域の内部に対して斜線網目によるハッチングを施すことにより、図２５(h) に示す正式な動作個体指標ｍ１（ｔ１）が作成されている。
以上の処理により、第１番目（ｈ＝１）の動作個体指標ｍ１（ｔ１）が、フレーム間差分領域ｆ１（ｔ１）に基づいて作成されたことになる。そこで、ステップＳ４２において、ｊ＝２への更新が行われ、再びステップＳ３２からの処理が実行される。
図２６の上段には、図２４の流れ図において、ｊ＝２，ｉ＝１としたときの処理内容が示されている。まず、図２５(a) には、ステップＳ３２において、ｊ＝２に設定したときの処理対象となる第ｊ番目（ｊ＝２）のフレーム間差分領域ｆ２（ｔ１）を含む第１の二値画像が示されている（図６のＦ（ｔ１）内に示すものと同じ）。ステップＳ３４では、このフレーム間差分領域ｆ２（ｔ１）が、そのまま第ｈ番目（ｈ＝２）の仮動作個体指標ｍ′２（ｔ１）として設定されることになる。図２６(b) には、こうして設定された仮動作個体指標ｍ′２（ｔ１）が示されている（「ｍ′２」の「２」は、動作個体番号ｈ＝２に対応する）。図示のとおり、この仮動作個体指標ｍ′２（ｔ１）は、手足の一部に欠けを生じた不完全なものになっており、補正が必要である。
一方、図２６(c) には、ステップＳ３５において、ｉ＝１に設定したときの処理対象となる第ｉ番目（ｉ＝１）の背景差分領域ｄ１（ｔ１）を含む第２の二値画像が示されている（図５のＤ（ｔ１）内に示すものと同じ）。上述したとおり、ステップＳ３６では、図２６(a) に示すフレーム間差分領域ｆ２（ｔ１）と図２６(c) に示す背景差分領域ｄ１（ｔ１）との間でＡＮＤをとった論理積画像ＩＭＧ（ＡＮＤ）が作成される。実際には、第１の二値画像（図２６(a) ）と第２の二値画像（図２６(c) ）との論理積演算によって、論理積画像ＩＭＧ（ＡＮＤ）を求めることができる。図２６(d) に示す画像は、このようにして作成された論理積画像ＩＭＧ（ＡＮＤ）である。図示のとおり、領域ｆ２（ｔ１），ｄ１（ｔ１）には重複部分が全くないため、図２６(d) に示す論理積画像ＩＭＧ（ＡＮＤ）は、実際には空の画像になる。
したがって、ステップＳ３７において、当該論理積画像ＩＭＧ（ＡＮＤ）内の全画素についてＯＲをとった総合論理和ＶＡＬ（ＯＲ）を求めれば、図示のＩＭＧ（ＡＮＤ）に対しては、ＶＡＬ（ＯＲ）＝０となり、重複部分無しとの判定がなされることになる。この判定結果は、図２６(c) に示す背景差分領域ｄ１（ｔ１）を利用して、図２６(b) に示す現時点での仮動作個体指標ｍ′２（ｔ１）に対して補正を行うことはできないことを意味する。そこで、ステップＳ３８からステップＳ４０へと移行する。このとき、ステップＳ３９の補正処理（論理和画像ＩＭＧ（ＯＲ）を作成して置き換える処理）は実行されない。
続いて、ステップＳ４０において、ｉ＝２への更新が行われ、再びステップＳ３５からの処理が実行される。図２６の下段には、図２４の流れ図において、ｊ＝２，ｉ＝２としたときの処理内容が示されている。まず、図２６(e) には、ｉ＝２に設定したときの処理対象となる第ｉ番目（ｉ＝２）の背景差分領域ｄ２（ｔ１）を含む二値画像が示されている（図５のＤ（ｔ１）内に示すものと同じ）。ステップＳ３６では、図２６(a) に示すフレーム間差分領域ｆ２（ｔ１）と図２６(e) に示す背景差分領域ｄ２（ｔ１）との間でＡＮＤをとった論理積画像ＩＭＧ（ＡＮＤ）が作成される。実際には、第１の二値画像（図２６(a) ）と第２の二値画像（図２６(e) ）との論理積演算によって、論理積画像ＩＭＧ（ＡＮＤ）を求めることができる。図２６(f) に示す画像は、このようにして作成された論理積画像ＩＭＧ（ＡＮＤ）である。
次のステップＳ３７において、当該論理積画像ＩＭＧ（ＡＮＤ）内の全画素についてＯＲをとった総合論理和ＶＡＬ（ＯＲ）を求めれば、図示のＩＭＧ（ＡＮＤ）に対しては、ＶＡＬ（ＯＲ）＝１となり、重複部分有りとの判定がなされることになる。この判定結果は、図２６(e) に示す背景差分領域ｄ２（ｔ１）を利用して、図２６(b) に示す現時点での仮動作個体指標ｍ′２（ｔ１）に対して補正を行うことができることを意味する。そこで、ステップＳ３８からステップＳ３９へと移行し、補正処理（論理和画像ＩＭＧ（ＯＲ）を作成して置き換える処理）が実行される。すなわち、仮動作個体指標ｍ′２（ｔ１）を含む二値画像と背景差分領域ｄ２（ｔ１）を含む二値画像との間でＯＲをとることにより、論理和画像ＩＭＧ（ＯＲ）を作成し、これを新たな仮動作個体指標ｍ′２（ｔ１）とする処理が実行される。
図２６(g) は、こうして作成された新しい仮動作個体指標ｍ′２（ｔ１）を含む二値画像を示している。図２６(b) に示す古い仮動作個体指標ｍ′２（ｔ１）に存在していた手足の欠けの部分が、図２６(g) に示す新しい仮動作個体指標ｍ′２（ｔ１）では修復されていることがわかる。
こうして、ステップＳ３５からステップＳ４０までのループ処理が、ｉ＝１〜Ｉmax まで完了すると、ステップＳ４１において、図２６(g) に示す現時点での仮動作個体指標ｍ′２（ｔ１）に基づいて、正式な動作個体指標ｍ２（ｔ１）を作成する処理が行われる。具体的には、図２６(g) に示す仮動作個体指標ｍ′２（ｔ１）を構成する領域の内部に対して斜線網目によるハッチングを施すことにより、正式な動作個体指標ｍ２（ｔ１）が作成される（図示省略）。
以上の処理により、第２番目（ｈ＝２）の動作個体指標ｍ２（ｔ１）が、フレーム間差分領域ｆ２（ｔ１）に基づいて作成されたことになる。
なお、図２５および図２６に示す実例の場合、ステップＳ３９に示す補正処理を１回行うだけで、仮動作個体指標ｍ′ｈ（ｔ）に対する補正は完了する。たとえば、図２５の例の場合、図２５(b) に示す仮動作個体指標ｍ′１（ｔ１）に対して、図２５(c) に示す背景差分領域ｄ１（ｔ１）とのＯＲをとる補正処理を１回行うだけで、図２５(e) に示す新しい仮動作個体指標ｍ′１（ｔ１）を得ることができ、欠けていた手足の一部は完全に修復されている。同様に、図２６の例の場合、図２６(b) に示す仮動作個体指標ｍ′２（ｔ１）に対して、図２６(e) に示す背景差分領域ｄ２（ｔ１）とのＯＲをとる補正処理を１回行うだけで、図２６(g) に示す新しい仮動作個体指標ｍ′２（ｔ１）を得ることができ、欠けていた手足の一部は完全に修復されている。
したがって、これらの実施例に関しては、図２４に示す流れ図において、ステップＳ３９の補正処理が実行された時点で、ｉのループを抜けて、ステップＳ４１へ分岐してしまっても問題はない。ただ、実用上は、補正に用いる背景差分領域ｄｉ（ｔ）が、必ずしも個体全体には対応していないケースもありうるので、図２４に示す流れ図では、ステップＳ３９の補正処理が実行された後も、ｉのループを抜けることなしにステップＳ４０へ進むようにしてある。
たとえば、図２５(c) に示す背景差分領域ｄ１（ｔ１）が、何らかの事情により、上半身領域ｄ１（ｔ１）−１と下半身領域ｄ１（ｔ１）−２とに分かれてしまっていた場合（この個体の腹部近傍が背景に近似していた場合、そのような現象が生じる）、領域ｄ１（ｔ１）−１と領域ｄ１（ｔ１）−２とは、ｉのループにおいて、別々の領域として取り扱われる。この場合、上半身領域ｄ１（ｔ１）−１を用いた補正処理だけでは完全な修復を行うことができないので、引き続いて、下半身領域ｄ１（ｔ１）−２を用いた補正処理が必要になる。図２４に示す手順によれば、ｉのループがｉ＝１〜Ｉmax のすべてについて実施されるため、上例のような場合にも、十分な修復を行うことが可能である。
また、上例は、図２４の流れ図に示す手順を、図７に示す時刻ｔ１における各画像Ｄ（ｔ１），Ｆ（ｔ１）に基づいて実行した例であるため、個々の個体について、それぞれ１つの動作個体指標ｍｈ（ｔ）が作成されているが、場合によっては、同一の個体について複数通りの動作個体指標ｍｈ（ｔ）が作成されるケースもある。
たとえば、図２４の流れ図に示す手順を、図１０に示す時刻ｔ４における各画像Ｄ（ｔ４），Ｆ（ｔ４）に基づいて実行した場合、大人Ａについて２通りの動作個体指標ｍ１（ｔ４），ｍ２（ｔ４）が作成される。これは、図１０に示すフレーム間差分画像Ｆ（ｔ４）には、２組のフレーム間差分領域ｆ１（ｔ４），f２（ｔ４）が含まれており、しかも、これらの領域ｆ１（ｔ４），f２（ｔ４）は、いずれも同一の個体（大人Ａ）についての領域になっているためである。
こうして作成された２通りの動作個体指標ｍ１（ｔ４），ｍ２（ｔ４）は、同一の個体（大人Ａ）に基づいて作成された領域であるため、相互に重複部分を有している。もちろん、同一個体に対して複数の動作個体指標ｍが作成された場合、検出個体表示部１７０により、これらをディスプレイ画面上に重複して表示してもかまわないが、実用上は、相互に重複部分を有する複数の指標があった場合には、いずれか１つ（たとえば、面積が最も大きな指標）のみを選択して表示するのが好ましい。
ところで、この§５−３で述べる変形例によって作成される動作個体指標ｍは、§５−２で述べた実施例によって作成された動作個体指標ｍとは若干異なる形態を有している。たとえば、図３の個体検出画像Ｑ（ｔ１）−Ｍに含まれている動作個体指標ｍ１（ｔ１）は、§５−２で述べた実施例の手順によって作成されたものであり、図２５(c) に示す背景差分領域ｄ１（ｔ１）を基本として作成されたものである。これに対して、図２５(h) に示されている動作個体指標ｍ１（ｔ１）は、§５−３で述べた変形例によって作成されたものであり、図２５(a) に示すフレーム間差分画像ｆ１（ｔ１）を基本として作成されたものである。いずれも、個体Ａが時刻ｔ１に占有している領域の近傍に配置されている閉領域から構成されているが、前者が個体Ａの時刻ｔ１の位置を示す指標になっているのに対して、後者は、個体Ａの時刻ｔ０〜ｔ１の動きを示す指標になっている。
図４は、静止個体指標ｓの作成手順として図２０に示す手順を用い、動作個体指標ｍの作成手順として図２２に示す手順を用いた場合について、ディスプレイ画面上に表示される個体検出画像Ｑ（ｔ）−ＳＭの具体例を示す図である。一方、図２７は、静止個体指標ｓの作成手順としては図２０に示す手順を用いつつ、動作個体指標ｍの作成手順として、図２４に示す変形例に係る手順を用いた場合について、ディスプレイ画面上に表示される個体検出画像Ｑ（ｔ）−ＳＭの具体例を示す図である。
図４と図２７とを比較すると、いずれも左側に示されている原画像Ｐ（ｔ）は全く同じであるが、右側に示されている個体検出画像Ｑ（ｔ）−ＳＭ上の動作個体指標ｍについて違いが生じている。たとえば、時刻ｔ１についての個体検出画像Ｑ（ｔ１）−ＳＭを比較すると、図４の場合、動作個体指標ｍ１（ｔ１），ｍ２（ｔ１）は、それぞれ個体Ａ１，Ｂ１の時刻ｔ１における位置を示す指標になっているのに対して、図２７の場合、動作個体指標ｍ１（ｔ１），ｍ２（ｔ１）は、それぞれ個体Ａ０〜Ａ１への移動，個体Ｂ０〜Ｂ１への移動を示す指標になっている
前述したとおり、動作個体指標ｍ１（ｔ１），ｍ２（ｔ１）は、原画像Ｐ（ｔ１）の上に重ねて表示されるため、図４に示す個体検出画像Ｑ（ｔ１）−ＳＭでは、各指標ｍ１（ｔ１），ｍ２（ｔ１）は、現時点で、原画像Ｐ（ｔ１）上に表示されている個体Ａ１，Ｂ１を示す役割を果たす。これに対して、図２７に示す個体検出画像Ｑ（ｔ１）−ＳＭでは、各指標ｍ１（ｔ１），ｍ２（ｔ１）は、現時点で、原画像Ｐ（ｔ１）上に表示されている個体Ａ１，Ｂ１だけではなく、その過去の位置に相当する個体Ａ０，Ｂ０を併せて示す役割を果たすことになる。
もちろん、原画像Ｐ（ｔ１）上には、個体Ａ０，Ｂ０は存在していないので、図２７に示す個体検出画像Ｑ（ｔ１）−ＳＭに表示されている指標ｍ１（ｔ１），ｍ２（ｔ１）は、個体Ａ１，Ｂ１が影を引きずって移動している状態を表現することができる。しかも、引きずる影の大きさは、個体の移動速度に応じたものになるので、速度感も表現されることになる。同様に、図２７に示す個体検出画像Ｑ（ｔ４）−ＳＭの場合、動作個体指標ｍ１（ｔ４）は、個体Ａ４の腕の動きを表現することができる（なお、図２７に示す動作個体指標ｍ１（ｔ４）は、説明の便宜上、図６のフレーム間差分画像Ｆ（ｔ４）に示す２組に分かれたフレーム間差分領域ｆ１（ｔ４），ｆ２（ｔ４）を用いた例ではなく、両差分領域ｆ１（ｔ４），ｆ２（ｔ４）が融合して１つの閉領域を形成していた場合に得られる動作個体指標を示す）。
このような効果は、別な形態の指標を採用した場合も同様である。たとえば、図１２に示す個体検出画像Ｑ（ｔ）−ＳＭは、静止個体指標ｓの作成手順として図２０に示す手順を用い、動作個体指標ｍの作成手順として図２２に示す手順を用いた場合について、ディスプレイ画面上に表示される個体検出画像Ｑ（ｔ）−ＳＭの具体例を示す図であるが、個々の指標ｓ，ｍとして、個体の外接矩形を用いた例である。一方、図２８は、静止個体指標ｓの作成手順としては図２０に示す手順を用いつつ、動作個体指標ｍの作成手順として、図２４に示す変形例に係る手順を用いた場合について、ディスプレイ画面上に表示される個体検出画像Ｑ（ｔ）−ＳＭの具体例を示す図である。ここで、静止個体指標ｓとしては、静止個体の外接矩形を用いているが、動作個体指標ｍとしては、最終的な仮動作個体指標ｍ′ｈ（ｔ）の外接矩形を用いている。
図１２に示す個体検出画像Ｑ（ｔ）−ＳＭと、図２８に示す個体検出画像Ｑ（ｔ）−ＳＭとを比較すると、やはり後者の動作個体指標ｍは、動作個体の動きを表現することができる。たとえば、図２８に示す個体検出画像Ｑ（ｔ１）−ＳＭを見ると、個体Ａ１は、矩形からなる動作個体指標ｍ１（ｔ１）の右端に位置しているため、左側に影を引きずりながら右側へ移動中である様子を感じさせることができる。同様に、個体Ｂ１は、矩形からなる動作個体指標ｍ２（ｔ１）の左端に位置しているため、右側に影を引きずりながら左側へ移動中である様子を感じさせることができる。
このように、§５−３で述べた変形例を実施すると、検出個体表示部１７０によって表示される個体検出画像上の動作個体指標ｍによって、動作個体の動きを表現することができ、しかも、引きずる影の大きさによって、個体が動く速度感も表現できる、という特別な作用効果が生まれることになる。
結局、§５−２で述べた実施例（背景差分画像Ｄ（ｔ）を基本として動作個体指標ｍを作成する実施例）を採用すれば、図４に示すような動作個体指標ｍを表示することができ、前時刻の残像がない正確な個体を示す指標を用いた表示が可能になる。図４に示す各動作個体指標ｍは、その時刻における個々の動作個体を、その輪郭線に沿って正確に切り出した形状を示している。
したがって、§５−２で述べた実施例は、個々の動作個体の正確な形状を示す図形の内部に所定パターンを形成したり、当該図形の内部を所定色で塗りつぶしたりする閉領域指標として、動作個体指標ｍを表現する場合に適している。また、図１４に示す例のように、個々の動作個体の輪郭線を示す輪郭指標として動作個体指標ｍを表現する場合や、図１６に示す例のように、個々の動作個体をマスクからの露出部分として示す指標として動作個体指標ｍを表現する場合にも適している。
これに対して、§５−３で述べた変形例（フレーム間差分画像Ｆ（ｔ）を基本として動作個体指標ｍを作成する実施例）を採用すれば、図２７に示すような動作個体指標ｍを表示することができ、前時刻の残像を含む動きのある動作個体を示すことが可能になる。すなわち、このような動作個体指標ｍは、観察者に対して、個々の動作個体の移動方向や移動速度を暗示することができ、動作個体の動きをより強調した表現を行いたい場合に好適である。したがって、この§５−３で述べた変形例は、図２８に示すような矩形枠（あるいは、楕円枠などでもよい）のような、動作個体を囲む枠状指標として動作個体指標ｍを表現する場合に適している。
＜＜＜ §６． 外接矩形を用いた簡易判定法 ＞＞＞
＜６−０．外接矩形を用いた簡易判定法の基本概念＞
図１に示す個体の検出装置１００では、重複有無判定部１５０によって、背景差分画像Ｄ（ｔ）内の個々の背景差分領域ｄｉ（ｔ）について、フレーム間差分画像Ｆ（ｔ）内のフレーム間差分領域ｆｊ（ｔ）に対する重複部分の有無が判定され、個体認識部１６０は、その判定結果に基づいて、特定の背景差分領域ｄｉ（ｔ）を占める個体を静止個体もしくは動作個体と認識することになる。具体的には、「重複部分無し」との判定結果が得られた場合には静止個体との認識がなされ、「重複部分有り」との判定結果が得られた場合には動作個体との認識がなされる。
この重複有無判定部１５０による重複有無判定処理は、たとえば図２１に示す例の場合、第ｉ番目の背景差分領域ｄｉ（ｔ）を含む第１の二値画像と、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）を含む第２の二値画像と、についての、画像間の論理積演算を行って論理積画像ＩＭＧ（ＡＮＤ）を作成し、この論理積画像ＩＭＧ（ＡＮＤ）内の全画素について、ＯＲをとった総合論理和ＶＡＬ（ＯＲ）を求める演算を行うことによりなされる。具体的には、この例の場合、総合論理和ＶＡＬ（ＯＲ）の値が「０」の場合は「重複部分無し」との判定がなされ、総合論理和ＶＡＬ（ＯＲ）の値が「１」の場合は「重複部分有り」との判定がなされる。
しかしながら、実際には、このような画像演算は、コンピュータにとって処理負担の重い演算になる。もちろん、重複有無判定部１５０としての処理を担当するコンピュータに、画像処理専用のグラフィックチップなどを設けるようにすれば、それなりに画像処理機能を向上させることが可能であるが、一般のパソコンにとっては、上記重複有無判定処理はかなり負担のかかる処理になる。特に、定点カメラとして高解像度カメラを用いた場合、１フレームの画素の数は膨大なものになり、演算負担は極めて重いものになる。
しかも、図１に示す個体の検出装置１００の場合、検出個体表示部１７０が、原画像Ｐ（ｔ）の上に静止個体指標ｓや動作個体指標ｍを重ねた個体検出画像Ｑ（ｔ）を作成してディスプレイ画面上に表示する処理を実行することになる。したがって、監視カメラで撮影された画像をリアルタイムで監視する業務に利用する場合、重複有無判定部１５０は、入力される各フレーム画像について、リアルタイムで重複有無判定処理を実行する必要があり、短時間で処理を完了させる必要がある。
このような事情を考慮して、ここでは、重複有無判定部１５０による重複有無判定処理の負担を軽減するための簡易判定法を説明する。一般的なパソコン程度のコンピュータを用いて、監視カメラで撮影された画像をリアルタイムで監視する業務に利用する装置の場合は、§５で述べた処理手順の代わりに、以下に説明する簡易判定法に基づく処理手順を行うようにするのが好ましい。
ここで述べる簡易判定法の特徴は、２つの領域についての重複部分の有無を判定する際に、当該領域自身の代わりに、これらの外接矩形を用いて簡易判定を行う点にある。すなわち、重複有無判定部１５０は、背景差分画像Ｄ（ｔ）内の背景差分領域ｄｉ（ｔ）について、フレーム間差分画像Ｆ（ｔ）内のフレーム間差分領域ｆｊ（ｔ）に対する重複部分の有無を判定する際に、当該背景差分領域ｄｉ（ｔ）の外接矩形と当該フレーム間差分領域ｆｊ（ｔ）の外接矩形とについて、重複部分の有無を判定する簡易判定法を実行することになる。
図２９は、この簡易判定法を導入した実施形態における矩形データの取り扱いを説明する図である。図２９(a) は、任意形状の図形とその外接矩形との関係を示す図である。図に示す人型図形は任意形状の図形であり、これまでの説明で述べてきた背景差分領域ｄｉ（ｔ）やフレーム間差分領域ｆｊ（ｔ）に対応するものである。このような任意形状の図形は、当該図形の内部に位置する個々の画素をラベリング情報等によって特定することにより表現せざるを得ず、その情報量は膨大なものになる。これに対して、図示の矩形Ｒは、この任意形状の人型図形に外接する矩形であり、かつ、当該人型図形を、左上位置に原点Ｏをもち、右方向をＸ軸、下方向をＹ軸とするＸＹ二次元座標系上に配置した場合に、上下両辺がＸ軸に平行になり、左右両辺がＹ軸に平行になる正則な矩形になる。
ここで、この外接矩形Ｒの４頂点をＡ，Ｂ，Ｃ，Ｄとすると、図２９(a) の右側に記載したとおり、その座標値は、Ａ（xmin ，ymin），Ｂ（xmax ，ymin），Ｃ（xmin ，ymax），Ｄ（xmax ，ymax）になり、外接矩形Ｒは、これら４頂点の座標値のみによって定義することができる（実際には、外接矩形Ｒの対角２頂点の座標のみで定義できる）。ここで、座標値「xmin 」は、人型図形を構成する各画素のもつＸ座標値の最小値、座標値「xmax 」は、その最大値である。同様に、座標値「ymin 」は、人型図形を構成する各画素のもつＹ座標値の最小値、座標値「ymax 」は、その最小値である。
このような外接矩形Ｒを用いると、２つの領域についての重複部分の有無を判定する処理は非常に簡単になる。図２９(b) は、２つの外接矩形について、重複部分の有無を判定する方法を示す図である。ここでは、第１の外接矩形Ｒａと第２の外接矩形Ｒｂとが、重複部分を有しているか否かを判定する方法が示されている。図示のとおり、この判定方法では、第１の外接矩形Ｒａの左上頂点座標（ｘ１，ｙ１）と、第１の外接矩形Ｒａの右下頂点座標（ｘ２，ｙ２）と、第２の外接矩形Ｒｂの左上頂点座標（ｘ３，ｙ３）と、第２の外接矩形Ｒｂの右下頂点座標（ｘ４，ｙ４）と、を用いて、図２９(b) の右側に記載した論理式を演算することにより、判定結果を得ることができる。
具体的には、図示のとおり、ＶＡＬ（Overlap）＝（ｘ１≦ｘ４）ＡＮＤ（ｘ３≦ｘ２）ＡＮＤ（ｙ１≦ｙ４）ＡＮＤ（ｙ３≦ｙ２）なる論理演算式で定義される矩形重複判定値ＶＡＬ（Overlap）の値を求めればよい。ＶＡＬ（Overlap）＝１であれば「重複部分有り」との判定結果が得られ、ＶＡＬ（Overlap）＝０であれば「重複部分無し」との判定結果が得られる。図示の例の場合は、ＶＡＬ（Overlap）＝１になるため「重複部分有り」との判定結果になる。
したがって、§５で述べた手順において、背景差分領域ｄｉ（ｔ）とフレーム間差分領域ｆｊ（ｔ）とについて論理積画像ＩＭＧ（ＡＮＤ）を求め、これについて総合論理和ＶＡＬ（ＯＲ）を計算する処理の代わりに、各領域ｄｉ（ｔ），ｆｊ（ｔ）について、図２９(a) に示す外接矩形の２頂点Ａ，Ｄの座標値を求め、図２９(b) に示す単純な論理演算式により矩形重複判定値ＶＡＬ（Overlap）の値を求めれば、２つの領域についての重複部分の有無を示す判定結果を得ることができる。このため、演算負担は大幅に軽減される。
もちろん、領域ｄｉ（ｔ），ｆｊ（ｔ）についての重複部分の有無を示す判定結果と、これらの外接矩形についての重複部分の有無を示す判定結果とは、正確には一致しないので、外接矩形を用いた簡易判定法を採用した場合、検出結果に誤差が含まれることになり、静止個体か動作個体かの認識に誤りが生じる可能性がある。しかしながら、そもそも静止個体か動作個体かの区分けは厳密なものではなく、区分けに多少の誤差が生じたとしても、実用上、大きな支障は生じない。
また、図２４の流れ図におけるステップＳ３９では、２つの画像についての論理和画像ＩＭＧ（ＯＲ）を作成する処理が必要になるが、外接矩形を用いると、この論理和画像ＩＭＧ（ＯＲ）を作成する処理も単純化することができる。
図２９(c) は、矩形Ｒａを含む画像と矩形Ｒｂを含む画像とについて、論理和画像ＩＭＧ（ＯＲ）を作成する方法を示す図である。具体的には、矩形Ｒａと矩形Ｒｂについて、これらを包摂する包摂矩形Ｒｃを求めれば、当該包摂矩形Ｒｃを含む画像が論理和画像ＩＭＧ（ＯＲ）ということになる。包摂矩形Ｒｃは、図に破線で示すとおり、２つの矩形Ｒａ，Ｒｂ全体についての外接矩形に相当するものである。したがって、この包摂矩形Ｒｃの４頂点の座標値は、矩形Ｒａ，Ｒｂの４頂点の座標値に基づいて簡単に決定することができる。
具体的には、図２９(c) の右側に記載したとおり、包摂矩形Ｒｃの左上頂点のＸ座標は、矩形Ｒａの左上頂点のＸ座標値ｘ１と矩形Ｒｂの左上頂点のＸ座標値ｘ３のうち、いずれか小さい方になり、包摂矩形Ｒｃの左上頂点のＹ座標は、矩形Ｒａの左上頂点のＹ座標値ｙ１と矩形Ｒｂの左上頂点のＹ座標値ｙ３のうち、いずれか大きい方になる。また、包摂矩形Ｒｃの右下頂点のＸ座標は、矩形Ｒａの右下頂点のＸ座標値ｘ２と矩形Ｒｂの右下頂点のＸ座標値ｘ４のうち、いずれか大きい方になり、包摂矩形Ｒｃの右下頂点のＹ座標は、矩形Ｒａの右下頂点のＹ座標値ｙ２と矩形Ｒｂの右下頂点のＹ座標値ｙ４のうち、いずれか小さい方になる。
このように、図２４のステップＳ３９において、２つの画像についての論理和画像ＩＭＧ（ＯＲ）を作成する代わりに、各領域の外接矩形の２頂点の座標値に基づいてその包摂矩形Ｒｃを作成し、この包摂矩形Ｒｃを含む画像を論理和画像ＩＭＧ（ＯＲ）の代わりに用いることにすれば、演算負担は大幅に軽減される。
もちろん、上記包摂矩形Ｒｃは、２つの画像についての論理和画像ＩＭＧ（ＯＲ）に含まれる論理和領域に一致するものではない。たとえば、図２５(e) に示す二値画像は、図２５(b) に示す二値画像と図２５(c) に示す二値画像とに基づいて作成された論理和画像ＩＭＧ（ＯＲ）であり、黒画素の集合として形成された領域ｍ′１（ｔ１）は、二重人型領域になっている。これに対して、図２５(b) に示す領域ｍ′１（ｔ１）の外接矩形と図２５(c) に示す領域ｄ１（ｔ１）の外接矩形に基づいて、その包摂矩形Ｒｃを作成した場合、得られる包摂矩形Ｒｃは、図２５(e) に示す領域ｍ′１（ｔ１）を囲う矩形枠に過ぎず、二重人型領域を示す図形にはならない。
しかしながら、この包摂矩形Ｒｃは、そのまま矩形状の動作個体指標ｍ１（ｔ１）として利用することができる。別言すれば、図２５に示す例の場合、最終的に作成される動作個体指標ｍ１（ｔ１）は、図２５(h) に示すように、斜線網目によるハッチング領域になるが、外接矩形を用いた簡易判定法を利用した場合には、図２８のＱ（ｔ１）−ＳＭに示されているような、矩形状の動作個体指標ｍ１（ｔ１）（すなわち、包摂矩形Ｒｃ）を表示するようにすればよい。
続いて、§５−１，§５−２，§５−３で述べた各処理手順に、外接矩形を用いた簡易判定法を適用した場合に、具体的にどのような処理が行われるかを、以下に述べる§６−１，§６−２，§６−３でそれぞれ簡単に説明する。
＜６−１．簡易判定法による静止個体指標ｓの作成手順＞
§５−１では、図２０の流れ図を参照しながら、静止個体指標ｓを作成する手順を説明した。ここでは、この図２０の流れ図に示す手順における重複有無判定処理に、上述した外接矩形を用いた簡易判定法を適用した場合の手順を説明する。
図３０は、この簡易判定法を適用した場合の手順を示す流れ図であり、基本的には、図２０に示す手順と同様の処理手順になっている。ただ、重複有無判定処理の内容が簡易判定法に置き換えられている。そこで、以下、図２０に示す手順（§５−１で述べた手順）と異なる部分についてのみ、説明を行うことにする。具体的には、ステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１７，Ｓ１８，Ｓ２０の各ステップは、図２０に示す手順の処理と全く同じであり、背景差分領域についてのｉのループおよびフレーム間差分領域についてのｊのループが繰り返し実行されることになる。
ただ、図２０に示すステップＳ１４，Ｓ１５，Ｓ１６（重複有無判定処理など）については、図３０の流れ図では、ステップＳ１４′およびステップＳ１６′に置き換えられている。また、ステップＳ１９は、ステップＳ１９′に置き換えられている。
まず、ステップＳ１４′では、第ｉ番目の背景差分領域ｄｉ（ｔ）の外接矩形ｄｄｉ（ｔ）と、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）の外接矩形ｆｆｊ（ｔ）とが作成される。ここで、各外接矩形を示すデータとしては、たとえば、左上頂点座標と右下頂点座標とを用いることができ、少なくとも２頂点の座標値のみにより、１つの外接矩形を特定することができる。この§６の説明に用いる各図では、便宜上、各外接矩形や包摂矩形を画像上の四角形として示しているが、実際には、これらの各矩形は、画素の集合からなる画像データとして特定されるわけではなく、２頂点の座標値（各頂点のＸ座標値とＹ座標値）のデータによって特定されることになる。
次に、これら両外接矩形ｄｄｉ（ｔ），ｆｆｊ（ｔ）について、矩形重複判定値ＶＡＬ（Overlap）が求められる。この矩形重複判定値ＶＡＬ（Overlap）は、図２９(b) の右側に示す論理演算式に基づいて算出される論理値であり、前述したとおり、両外接矩形ｄｄｉ（ｔ），ｆｆｊ（ｔ）について、重複部分があればＶＡＬ（Overlap）＝１となり、重複部分がなければＶＡＬ（Overlap）＝０になる。
続くステップＳ１６′では、この矩形重複判定値ＶＡＬ（Overlap）に基づく分岐が行われる。まず、矩形重複判定値ＶＡＬ（Overlap）＝１の場合は、両外接矩形ｄｄｉ（ｔ），ｆｆｊ（ｔ）に「重複部分有り」との判定がなされたことになるので、ｊのループを抜けて、ステップＳ２０への分岐が行われる。一方、矩形重複判定値ＶＡＬ（Overlap）＝０の場合は、両外接矩形ｄｄｉ（ｔ），ｆｆｊ（ｔ）に「重複部分無し」との判定がなされたことになるので、ステップＳ１７へと分岐し、ｊ＝２への更新が行われ、ステップＳ１３へと戻り、ｉ＝１，ｊ＝２として、領域ｄ１（ｔ），ｆ２（ｔ）についての重複部分の有無を調べる処理（外接矩形を用いた簡易判定法による判定処理）が実行される。ここでも、矩形重複判定値ＶＡＬ（Overlap）＝０と判定された場合は、再びステップＳ１７へと分岐し、ｊ＝３への更新が行われ、ステップＳ１３へと戻り、ｉ＝１，ｊ＝３として、領域ｄ１（ｔ），ｆ３（ｔ）についての重複部分の有無を調べる処理（外接矩形を用いた簡易判定法による判定処理）が実行される。
こうして、ｉ＝１、ｊ＝１〜３の組み合わせのすべてについて、矩形重複判定値ＶＡＬ（Overlap）＝０と判定された場合は、背景差分領域ｄ１（ｔ）の外接矩形ｄｄ１（ｔ）は、第１〜第３のフレーム間差分領域ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）の外接矩形ｆｆ１（ｔ），ｆｆ２（ｔ），ｆｆ３（ｔ）のいずれに対しても重複部分をもたないことになるので、背景差分領域ｄ１（ｔ）を占める個体は静止個体と認識できる。そこで、ステップＳ１７からステップＳ１８へと進み、静止個体指標番号ｋ＝１に更新し、更に、ステップＳ１９′へと進み、第ｋ番目の静止個体指標ｓｓｋ（ｔ）を、第ｉ番目の背景差分領域ｄｉ（ｔ）の外接矩形ｄｄｉ（ｔ）に基づいて作成する処理が行われる。
図２０に示すステップＳ１９では、背景差分領域ｄｉ（ｔ）に基づいて静止個体指標ｓｋ（ｔ）が作成されるので、たとえば、図２１(h) に示すような人型の静止個体指標ｓ１（ｔ２）を作成することができるが、図３０に示すステップＳ１９′では、外接矩形ｄｄｉ（ｔ）に基づいて静止個体指標ｓｓｋ（ｔ）が作成されるので、作成される静止個体指標ｓｓｋ（ｔ）は、図２１(h) に示すような人型ではなく、これを取り囲む矩形状の指標になる（たとえば、図１２の個体検出画像Ｑ（ｔ２）−ＳＭ内に示されている破線の矩形からなるｓ１（ｔ２）のような指標）。
もっとも、必要があれば、背景差分画像Ｄ（ｔ）に含まれている各背景差分領域ｄｉ（ｔ）の中から、外接矩形ｄｄｉ（ｔ）内に位置するものを選択し、選択された特定の背景差分領域ｄｉ（ｔ）に基づいて静止個体指標ｓｓｋ（ｔ）を作成するようにすれば、図２１(h) に示すような人型の指標を作成することができる。もちろん、図１３〜図１５に例示するようなバリエーションに係る指標を作成することも可能である。
続いて、図３０の流れ図に示す処理の各手順を、図８に示す時刻ｔ２における各画像Ｄ（ｔ２），Ｆ（ｔ２）を用いて実行する場合を例にとって具体的に説明する。
図３１の左側には、図３０の流れ図において、ｉ＝１，ｊ＝１としたときの処理内容が示されている。すなわち、図３１(a) は、第ｉ番目（ｉ＝１）の背景差分領域ｄ１（ｔ２）を含む第１の二値画像を示しており、図３１(b) は、第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ２）を含む第２の二値画像を示している。ただ、ここで説明する簡易判定法では、図示のとおり、背景差分領域ｄ１（ｔ２）については外接矩形ｄｄ１（ｔ２）が作成され、フレーム間差分領域ｆ１（ｔ２）については外接矩形ｆｆ１（ｔ２）が作成される。実際には、上述したとおり、各外接矩形の左上頂点座標と右下頂点座標とが決定され、データとして保存される。以後の演算は、実際には、これら２頂点の座標値を利用して行われる。
まず、図３１(c) に示すように、これら外接矩形ｄｄ１（ｔ２），ｆｆ１（ｔ２）についての重複有無判定がなされる（ステップＳ１４′）。具体的には、図２９(b) の右側に示す論理演算式に基づいて、外接矩形ｄｄ１（ｔ２），ｆｆ１（ｔ２）についての重複有無判定演算を行えばよい。図３１(c) に示す例の場合、両矩形はハッチングを施した部分において重複しているので、ＶＡＬ（Overlap）＝１となり、「重複部分有り」との判定結果が得られる。そこで、図３０の流れ図において、ステップＳ１６′からステップＳ２０へと分岐し、ｉ＝１について（背景差分領域ｄ１（ｔ２）について）の静止個体指標は作成されない（ステップＳ１９′は実行されない）。図３１(d) は、説明の便宜上、ｉ＝１についての静止個体指標が作成されないことを示している。
一方、図３１の右側には、図３０の流れ図において、ｉ＝２，ｊ＝１としたときの処理内容が示されている。すなわち、図３１(e) は、第ｉ番目（ｉ＝２）の背景差分領域ｄ２（ｔ２）を含む第１の二値画像を示しており、図３１(f) は、第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ２）を含む第２の二値画像を示している。ここでも、図示のとおり、背景差分領域ｄ２（ｔ２）については外接矩形ｄｄ２（ｔ２）が作成され、フレーム間差分領域ｆ１（ｔ２）については外接矩形ｆｆ１（ｔ２）が作成される。
そして、図３１(g) に示すように、これら外接矩形ｄｄ２（ｔ２），ｆｆ１（ｔ２）についての重複有無判定がなされる（ステップＳ１４′）。具体的には、図２９(b) の右側に示す論理演算式に基づいて、外接矩形ｄｄ２（ｔ２），ｆｆ１（ｔ２）についての重複有無判定演算を行えばよい。図３１(g) に示す例の場合、両矩形は全く重複していないので、ＶＡＬ（Overlap）＝０となり、「重複部分無し」との判定結果が得られる。そこで、図３０の流れ図において、ステップＳ１６′からステップＳ１７，Ｓ１８，Ｓ１９′へと進み、ｉ＝２について（背景差分領域ｄ２（ｔ２）について）の静止個体指標ｓｓ１（ｔ２）が作成されることになる。
図３１(h) は、こうして作成されたｉ＝２についての静止個体指標ｓｓ１（ｔ２）を示すものである。ステップＳ１９′に示す手順に従えば、静止個体指標ｓｓ１（ｔ２）は、背景差分領域ｄ２（ｔ２）の外接矩形ｄｄ２（ｔ２）に基づいて作成されることになる。図３１(h) に示されている静止個体指標ｓｓ１（ｔ２）は、図３１(e) に示されている外接矩形ｄｄ２（ｔ２）を破線で表現したものになっている。これは、図１２の個体検出画像Ｑ（ｔ２）−ＳＭ内に示されている静止個体指標ｓ１（ｔ２）と同じ指標である。
要するに、個体認識部１６０内の静止個体認識部１６１は、重複有無判定部１５０が行った上記簡易判定法によって、外接矩形についての重複部分は無い、との判定結果が得られた背景差分領域ｄ２（ｔ２）を占める個体Ｂ２を静止個体と認識する。そして、検出個体表示部１７０は、このような認識に基づいて、図３１の右側に示すように、静止個体と認識された個体Ｂ２を示す矩形枠からなる静止個体指標ｓｓ１（ｔ２）（図３１(h) ）を、当該静止個体Ｂ２が占める背景差分領域ｄ２（ｔ２）の外接矩形ｄｄ２（ｔ２）に基づいて作成し、これを個体検出画像Ｑ（ｔ）上に表示することになる。
もっとも、必要があれば、外接矩形ｄｄ２（ｔ２）と図５に示す背景差分画像Ｄ（ｔ２）とに基づく照合作業を行い、背景差分画像Ｄ（ｔ２）に含まれている背景差分領域ｄ１（ｔ２）およびｄ２（ｔ２）の中から、外接矩形ｄｄ２（ｔ２）内に位置するｄ２（ｔ２）を選択し、選択された背景差分領域ｄ２（ｔ２）に基づいて静止個体指標ｓｓ１（ｔ２）を作成するようにすれば、図２１(h) に示すような人型の静止個体指標ｓ１（ｔ２）を作成することもできる。もちろん、図１３〜図１５に例示するようなバリエーションに係る指標を作成することも可能である。
＜６−２．簡易判定法による動作個体指標ｍの作成手順＞
§５−２では、図２２の流れ図を参照しながら、動作個体指標ｍを作成する手順を説明した。ここでは、この図２２の流れ図に示す手順における重複有無判定処理に、上述した外接矩形を用いた簡易判定法を適用した場合の手順を説明する。
図３２は、この簡易判定法を適用した場合の手順を示す流れ図であり、基本的には、図２２に示す手順と同様の処理手順になっている。ただ、重複有無判定処理の内容が簡易判定法に置き換えられている。そこで、以下、図２２に示す手順（§５−２で述べた手順）と異なる部分についてのみ、説明を行うことにする。具体的には、ステップＳ２１，Ｓ２２，Ｓ２３，Ｓ２７，Ｓ２８，Ｓ３０の各ステップは、図２２に示す手順の処理と全く同じであり、背景差分領域についてのｉのループおよびフレーム間差分領域についてのｊのループが繰り返し実行されることになる。
ただ、図２２に示すステップＳ２４，Ｓ２５，Ｓ２６（重複有無判定処理など）については、図３２の流れ図では、ステップＳ２４′およびステップＳ２６′に置き換えられている。また、ステップＳ２９はステップＳ２９′に置き換えられている。
ここで、ステップＳ２４′の処理は、図３０に示すステップＳ１４′の処理と同じである。すなわち、第ｉ番目の背景差分領域ｄｉ（ｔ）の外接矩形ｄｄｉ（ｔ）と、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）の外接矩形ｆｆｊ（ｔ）とが作成され、これら両外接矩形ｄｄｉ（ｔ），ｆｆｊ（ｔ）について、矩形重複判定値ＶＡＬ（Overlap）が求められる。両外接矩形ｄｄｉ（ｔ），ｆｆｊ（ｔ）について、重複部分があればＶＡＬ（Overlap）＝１となり、重複部分がなければＶＡＬ（Overlap）＝０になる。
続くステップＳ２６′では、この矩形重複判定値ＶＡＬ（Overlap）に基づく分岐が行われる。まず、矩形重複判定値ＶＡＬ（Overlap）＝１の場合は、両外接矩形ｄｄｉ（ｔ），ｆｆｊ（ｔ）に「重複部分有り」との判定がなされたことになるので、ｊのループを抜けて、ステップＳ２８への分岐が行われ、動作個体指標番号ｈを更新し、更に、ステップＳ２９′へと進み、第ｈ番目の動作個体指標ｍｍｈ（ｔ）を、第ｉ番目の背景差分領域ｄｉ（ｔ）の外接矩形ｄｄｉ（ｔ）に基づいて作成する処理が行われる。
このステップＳ２９′では、外接矩形ｄｄｉ（ｔ）に基づいて動作個体指標ｍｍｈ（ｔ）が作成されるので、作成される動作個体指標ｍｍｈ（ｔ）は、図２３(d) に示すような人型ではなく、これを取り囲む矩形状の指標になる（たとえば、図１２の個体検出画像Ｑ（ｔ２）−ＳＭ内に示されている実線の矩形からなるｍ１（ｔ２）のような指標）。
もっとも、必要があれば、背景差分画像Ｄ（ｔ）に含まれている各背景差分領域ｄｉ（ｔ）の中から、外接矩形ｄｄｉ（ｔ）内に位置するものを選択し、選択された特定の背景差分領域ｄｉ（ｔ）に基づいて静止個体指標ｍｍｈ（ｔ）を作成するようにすれば、図２３(d) に示すような人型の指標を作成することができる。もちろん、図１３，図１４，図１６に例示するようなバリエーションに係る指標を作成することも可能である。
続いて、図３２の流れ図に示す処理の各手順を、図８に示す時刻ｔ２における各画像Ｄ（ｔ２），Ｆ（ｔ２）を用いて実行する場合を例にとって具体的に説明する。
図３３の左側には、図３２の流れ図において、ｉ＝１，ｊ＝１としたときの処理内容が示されている。すなわち、図３３(a) は、第ｉ番目（ｉ＝１）の背景差分領域ｄ１（ｔ２）を含む第１の二値画像を示しており、図３３(b) は、第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ２）を含む第２の二値画像を示している。ただ、ここで説明する簡易判定法では、図示のとおり、背景差分領域ｄ１（ｔ２）については外接矩形ｄｄ１（ｔ２）が作成され、フレーム間差分領域ｆ１（ｔ２）については外接矩形ｆｆ１（ｔ２）が作成される。
そして、図３３(c) に示すように、これら外接矩形ｄｄ１（ｔ２），ｆｆ１（ｔ２）についての重複有無判定がなされる（ステップＳ２４′）。具体的には、図２９(b) の右側に示す論理演算式に基づいて、外接矩形ｄｄ１（ｔ２），ｆｆ１（ｔ２）についての重複有無判定演算を行えばよい。図３３(c) に示す例の場合、両矩形はハッチングを施した部分において重複しているので、ＶＡＬ（Overlap）＝１となり、「重複部分有り」との判定結果が得られる。そこで、図３２の流れ図において、ステップＳ２６′からステップＳ２８，Ｓ２９′へと進み、ｉ＝１について（背景差分領域ｄ１（ｔ２）について）の動作個体指標ｍｍ１（ｔ２）が作成されることになる。
図３３(d) は、こうして作成されたｉ＝１についての動作個体指標ｍｍ１（ｔ２）を示すものである。ステップＳ２９′に示す手順に従えば、動作個体指標ｍｍ１（ｔ２）は、背景差分領域ｄ１（ｔ２）の外接矩形ｄｄ１（ｔ２）に基づいて作成されることになる。図３３(d) に示されている動作個体指標ｍｍ１（ｔ２）は、図３３(a) に示されている外接矩形ｄｄ１（ｔ２）をそのまま表現したものになっている。これは、図１２の個体検出画像Ｑ（ｔ２）−ＳＭ内に示されている動作個体指標ｍ１（ｔ２）と同じ指標である。
要するに、個体認識部１６０内の動作個体認識部１６２は、重複有無判定部１５０が行った上記簡易判定法によって、外接矩形についての重複部分が有る、との判定結果が得られた背景差分領域ｄ１（ｔ２）を占める個体Ａ２を動作個体と認識する。そして、検出個体表示部１７０は、このような認識に基づいて、図３３の左側に示すように、動作個体と認識された個体Ａ２を示す矩形枠からなる動作個体指標ｍｍ１（ｔ２）（図３３(d) ）を、当該動作個体Ａ２が占める背景差分領域ｄ１（ｔ２）の外接矩形ｄｄ１（ｔ２）に基づいて作成し、これを個体検出画像Ｑ（ｔ）上に表示することになる。
もっとも、必要があれば、外接矩形ｄｄ１（ｔ２）と図５に示す背景差分画像Ｄ（ｔ２）とに基づく照合作業を行い、背景差分画像Ｄ（ｔ２）に含まれている背景差分領域ｄ１（ｔ２）およびｄ２（ｔ２）の中から、外接矩形ｄｄ１（ｔ２）内に位置するｄ１（ｔ２）を選択し、選択された背景差分領域ｄ１（ｔ２）に基づいて動作個体指標ｍｍ１（ｔ２）を作成するようにすれば、図２３(d) に示すような人型の動作個体指標ｍ１（ｔ２）を作成することもできる。もちろん、図１３，図１４，図１６に例示するようなバリエーションに係る指標を作成することも可能である。
一方、図３３の右側には、図３２の流れ図において、ｉ＝２，ｊ＝１としたときの処理内容が示されている。すなわち、図３３(e) は、第ｉ番目（ｉ＝２）の背景差分領域ｄ２（ｔ２）を含む第１の二値画像を示しており、図３３(f) は、第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ２）を含む第２の二値画像を示している。ここでも、図示のとおり、背景差分領域ｄ２（ｔ２）については外接矩形ｄｄ２（ｔ２）が作成され、フレーム間差分領域ｆ１（ｔ２）については外接矩形ｆｆ１（ｔ２）が作成される。
そして、図３３(g) に示すように、これら外接矩形ｄｄ２（ｔ２），ｆｆ１（ｔ２）についての重複有無判定がなされる（ステップＳ２４′）。具体的には、図２９(b) の右側に示す論理演算式に基づいて、外接矩形ｄｄ２（ｔ２），ｆｆ１（ｔ２）についての重複有無判定演算を行えばよい。図３３(g) に示す例の場合、両矩形は全く重複していないので、ＶＡＬ（Overlap）＝０となり、「重複部分無し」との判定結果が得られる。
そこで、図３２の流れ図において、ステップＳ２６′からステップＳ２７，Ｓ３０へと進み、ｉ＝２について（背景差分領域ｄ２（ｔ２）について）の動作個体指標は作成されない（ステップＳ２９′は実行されない）。図３３(h) は、説明の便宜上、ｉ＝２についての動作個体指標が作成されないことを示している。
＜６−３．簡易判定法による動作個体指標ｍの作成手順の変形例＞
§５−３では、図２４の流れ図を参照しながら、動作個体指標ｍを作成する変形例に係る手順を説明した。ここでは、この図２４の流れ図に示す手順における重複有無判定処理に、上述した外接矩形を用いた簡易判定法を適用した場合の手順を説明する。
図３４は、この簡易判定法を適用した場合の手順を示す流れ図であり、基本的には、図２４に示す手順と同様の処理手順になっている。ただ、重複有無判定処理の内容が簡易判定法に置き換えられている。そこで、以下、図２４に示す手順（§５−３で述べた手順）と異なる部分についてのみ、説明を行うことにする。具体的には、ステップＳ３１，Ｓ３２，Ｓ３３，Ｓ３５，Ｓ４０，Ｓ４２の各ステップは、図２４に示す手順の処理と全く同じであり、フレーム間差分領域についてのｊのループおよび背景差分領域についてのｉのループが繰り返し実行されることになる。
ただ、図２４に示すステップＳ３４，Ｓ３６，Ｓ３７，Ｓ３８，Ｓ３９、Ｓ４１（重複有無判定処理など）については、図３４の流れ図では、ステップＳ３４′，Ｓ３６′，Ｓ３８′，Ｓ３９′、Ｓ４１′に置き換えられている。
ここで、ステップＳ３４′の処理では、第ｈ番目の仮動作個体指標ｍｍ′ｈ（ｔ）として、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）の外接矩形ｆｆｊ（ｔ）を設定する処理が行われる。ここで、「仮動作個体指標」とは、現段階では正式な動作個体指標ｍｍではない「仮」の指標を意味する。当該仮動作個体指標ｍｍ′ｈ（ｔ）は、正式な動作個体指標ｍｍとして利用するには不完全な形状であり、正式な動作個体指標ｍｍとして利用するためには、後続する手順を経て、ステップＳ３９′において補正を行う必要がある。
続くステップＳ３５は、ステップＳ４０までの手順を、ｉ＝１〜Ｉmax まで繰り返し実行するループ処理である。ｉは、背景差分領域番号を示し、初期値は１、最大値はＩmax である。したがって、ステップＳ３５からステップＳ４０までのループ処理は、背景差分領域についてのループ処理ということになる。このループ処理の目的は、仮動作個体指標ｍｍ′ｈ（ｔ）に対する補正を、重複している背景差分領域ｄｉ（ｔ）の外接矩形ｄｄｉ（ｔ）を利用して行うことにある。
まず、ステップＳ３６′において、第ｊ番目のフレーム間差分領域ｆｊ（ｔ）の外接矩形ｆｆｊ（ｔ）と、第ｉ番目の背景差分領域ｄｉ（ｔ）の外接矩形ｄｄｉ（ｔ）とが作成され、これら両外接矩形ｆｆｊ（ｔ），ｄｄｉ（ｔ）について、矩形重複判定値ＶＡＬ（Overlap）が求められる。両外接矩形ｆｆｊ（ｔ），ｄｄｉ（ｔ）について、重複部分があればＶＡＬ（Overlap）＝１となり、重複部分がなければＶＡＬ（Overlap）＝０になる。
続くステップＳ３８′では、この矩形重複判定値ＶＡＬ（Overlap）に基づく分岐が行われる。まず、矩形重複判定値ＶＡＬ（Overlap）＝１の場合は、両外接矩形ｆｆｊ（ｔ），ｄｄｉ（ｔ）に「重複部分有り」との判定がなされたことになるので、ステップＳ３９′への分岐が行われ、仮動作個体指標ｍｍ′ｈ（ｔ）と、第ｉ番目の背景差分領域ｄｉ（ｔ）の外接矩形ｄｄｉ（ｔ）とについて、包摂矩形を求め、当該包摂矩形を新たな仮動作個体指標ｍｍ′ｈ（ｔ）とする処理が行われる。任意の２組の矩形Ｒａ，Ｒｂについて包摂矩形Ｒｃを求める方法は、図２９(c) で説明したとおりである。
こうして、ステップＳ３５〜Ｓ４０のループ処理（ｉについてのループ処理）がｉ＝１〜Ｉmax まで繰り返し実行されると、フレーム間差分領域ｆｊ（ｔ）の外接矩形ｆｆｊ（ｔ）に対して重複部分有りと判定された背景差分領域ｄｉ（ｔ）の外接矩形ｄｄｉ（ｔ）が見つかる度に、当該外接矩形ｄｄｉ（ｔ）とその時点の仮動作個体指標ｍｍ′ｈ（ｔ）を構成する矩形とについての包摂矩形が求められ、これを新たな仮動作個体指標ｍｍ′ｈ（ｔ）とする更新処理が行われる。これにより、不完全な矩形であった当初の仮動作個体指標ｍｍ′ｈ（ｔ）は徐々に修復されてゆくことになる。
こうして、ｉについてのループ処理が完了すると、ステップＳ４１′へと進み、第ｈ番目の動作個体指標ｍｍｈ（ｔ）が、その時点での第ｈ番目の仮動作個体指標ｍｍ′ｈ（ｔ）、すなわち、不完全な形状について修復が完了した仮指標に基づいて作成される。たとえば、図２８の個体検出画像Ｑ（ｔ１）−ＳＭに含まれている矩形状の動作個体指標ｍ１（ｔ１）は、こうして作成された指標である。
こうして、ステップＳ４１′において、第ｈ番目の動作個体指標ｍｍｈ（ｔ）が作成されると、ステップＳ４２からステップＳ３２へと戻り、ｊを更新することにより、新たなフレーム間差分領域に基づいて新たな動作個体指標ｍｍを作成するため、ステップＳ３２〜Ｓ４２のループ処理（ｊについてのループ処理）がｊ＝１〜Ｊmax まで繰り返し実行される。
ここでは、図３４の流れ図に示す処理の各手順を、図７に示す時刻ｔ１における各画像Ｄ（ｔ１），Ｆ（ｔ１）に基づいて実行する具体例に即して説明しておく。
図３５の上段には、図３４の流れ図において、ｊ＝１，ｉ＝１としたときの処理内容が示されている。まず、図３５(a) には、ステップＳ３２において、ｊ＝１に設定したときの処理対象となる第ｊ番目（ｊ＝１）のフレーム間差分領域ｆ１（ｔ１）を含む第１の二値画像が示されている。ステップＳ３４′では、このフレーム間差分領域ｆ１（ｔ１）の外接矩形ｆｆ１（ｔ１）が作成される。なお、このフレーム間差分領域ｆ１（ｔ１）は、本来は、図７のＦ（ｔ１）内に示すものと同じであるが、ここでは便宜上、図示のように、すべての足の部分に欠けが生じていたものとして、以下の説明を行うことにする。したがって、フレーム間差分領域ｆ１（ｔ１）についての外接矩形ｆｆ１（ｔ１）は、図示のとおり、欠けた足の部分を含まない、若干高さが縮んだ矩形になる。
ステップＳ３４′では、この外接矩形ｆｆ１（ｔ１）が、第ｈ番目（ｈ＝１）の仮動作個体指標ｍｍ′１（ｔ１）として設定されることになる。図３５(b) には、こうして設定された仮動作個体指標ｍｍ′１（ｔ１）が示されている（「ｍｍ′１」の「１」は、動作個体番号ｈ＝１に対応する）。図示のとおり、この仮動作個体指標ｍｍ′１（ｔ１）は、一部に欠けを生じた不完全な矩形になっており、補正が必要である。
一方、図３５(c) には、ステップＳ３５において、ｉ＝１に設定したときの処理対象となる第ｉ番目（ｉ＝１）の背景差分領域ｄ１（ｔ１）を含む第２の二値画像が示されている。図示のとおり、この背景差分領域ｄ１（ｔ１）については外接矩形ｄｄ１（ｔ１）が作成される。背景差分領域ｄ１（ｔ１）は、足の部分に欠けを生じていない完全な個体領域であるので、外接矩形ｄｄ１（ｔ１）も欠けが生じていない完全な矩形になる。
そして、図３５(d) に示すように、これら外接矩形ｆｆ１（ｔ１），ｄｄ１（ｔ１）についての重複有無判定がなされる（ステップＳ３６′）。具体的には、図２９(b) の右側に示す論理演算式に基づいて、外接矩形ｆｆ１（ｔ１），ｄｄ１（ｔ１）についての重複有無判定演算を行えばよい。図３５(d) に示す例の場合、両矩形はハッチングを施した部分において重複しているので、ＶＡＬ（Overlap）＝１となり、「重複部分有り」との判定結果が得られる。
この判定結果は、図３５(c) に示す外接矩形ｄｄ１（ｔ１）を利用して、図３５(b) に示す現時点での仮動作個体指標ｍｍ′１（ｔ１）に対して補正を行うことができることを意味する。そこで、ステップＳ３８′からステップＳ３９′へと移行し、補正処理（包摂矩形を作成して置き換える処理）が実行される。すなわち、仮動作個体指標ｍｍ′１（ｔ１）と外接矩形ｄｄ１（ｔ１）とについて、包摂矩形を求め、当該包摂矩形を新たな仮動作個体指標ｍｍ′１（ｔ１）とする処理が行われる。
図３５(e) は、こうして作成された新しい仮動作個体指標ｍｍ′１（ｔ１）を示している。この新しい仮動作個体指標ｍｍ′１（ｔ１）内の破線は、包摂矩形の元になった２組の矩形の輪郭を示している。図３５(b) に示す古い仮動作個体指標ｍｍ′１（ｔ１）を構成する外接矩形において欠けていた部分が、図３５(e) に示す新しい仮動作個体指標ｍｍ′１（ｔ１）を構成する包摂矩形では修復されていることがわかる。
続いて、ステップＳ４０において、ｉ＝２への更新が行われ、再びステップＳ３５からの処理が実行される。図３５の下段には、図３４の流れ図において、ｊ＝１，ｉ＝２としたときの処理内容が示されている。まず、図３５(f) には、ｉ＝２に設定したときの処理対象となる第ｉ番目（ｉ＝２）の背景差分領域ｄ２（ｔ１）を含む二値画像が示されている（図５のＤ（ｔ１）内に示すものと同じ）。この背景差分領域ｄ２（ｔ１）については、図示のとおり、外接矩形ｄｄ２（ｔ１）が作成される。
そして、図３５(g) に示すように、外接矩形ｆｆ１（ｔ１），ｄｄ２（ｔ１）についての重複有無判定がなされる（ステップＳ３６′）。図３５(g) に示す例の場合、両矩形には重複部分が全くないため、ＶＡＬ（Overlap）＝０となり、「重複部分無し」との判定結果が得られる。
この判定結果は、図３５(g) に示す外接矩形ｄｄ２（ｔ１）は、図３５(e) に示す現時点の仮動作個体指標ｍｍ′１（ｔ１）に対する補正には利用できないことを意味する。そこで、ステップＳ３８′からステップＳ４０へと移行し、ステップＳ３９′の補正処理（包摂矩形を作成して置き換える処理）は実行されない。
こうして、ステップＳ３５からステップＳ４０までのループ処理が、ｉ＝１〜Ｉmax まで完了すると、ステップＳ４１′において、図３５(e) に示す現時点での仮動作個体指標ｍｍ′１（ｔ１）に基づいて、正式な動作個体指標ｍｍ１（ｔ１）を作成する処理が行われる。図３５(h) は、こうして作成された正式な動作個体指標ｍｍ１（ｔ１）を示すものである。この例の場合、正式な動作個体指標ｍｍ１（ｔ１）は、仮動作個体指標ｍｍ′１（ｔ１）と全く同じ矩形状の指標によって構成されており、図２８の個体検出画像Ｑ（ｔ１）−ＳＭに示されている動作個体指標ｍ１（ｔ１）と同じものになる。
要するに、個体認識部１６０内の動作個体認識部１６２は、重複有無判定部１５０が行った上記簡易判定法によって、外接矩形についての重複部分が有る、との判定結果が得られたフレーム間差分領域ｆ１（ｔ１）を占める個体Ａ１を動作個体と認識する。そして、検出個体表示部１７０は、このような認識に基づいて、図３５に示すように、動作個体と認識された個体Ａ１を示す矩形枠からなる動作個体指標ｍｍ１（ｔ１）（図３５(h) ）を、当該動作個体Ａ１が占めるフレーム間差分領域ｆ１（ｔ１）の外接矩形ｆｆ１（ｔ１）に対して、当該動作個体Ａ１が占める背景差分領域ｄ１（ｔ１）の外接矩形ｄｄ１（ｔ１）に基づく補正を施すことにより作成し、これを個体検出画像Ｑ（ｔ）上に表示することになる。
具体的には、検出個体表示部１７０は、動作個体Ａ１が占めるフレーム間差分領域ｆ１（ｔ１）の外接矩形ｆｆ１（ｔ１）と当該動作個体Ａ１が占める背景差分領域ｄ１（ｔ１）の外接矩形ｄｄ１（ｔ１）とについて、両外接矩形を包摂する包摂矩形を求め（図３５(e) ）、求めた包摂矩形に基づいて動作個体指標ｍｍ１（ｔ１）を作成する。
以上の処理により、第１番目（ｈ＝１）の動作個体指標ｍｍ１（ｔ１）が、矩形状図形として作成されたことになる。そこで、ステップＳ４２において、ｊ＝２への更新が行われ、再びステップＳ３２からの処理が実行される。
図３６の上段には、図３４の流れ図において、ｊ＝２，ｉ＝１としたときの処理内容が示されている。まず、図３６(a) には、ステップＳ３２において、ｊ＝２に設定したときの処理対象となる第ｊ番目（ｊ＝２）のフレーム間差分領域ｆ２（ｔ１）を含む第１の二値画像が示されている。ステップＳ３４′では、このフレーム間差分領域ｆ２（ｔ１）の外接矩形ｆｆ２（ｔ１）が作成される。なお、このフレーム間差分領域ｆ２（ｔ１）は、本来は、図７のＦ（ｔ１）内に示すものと同じであるが、ここでは便宜上、図示のように、すべての足の部分に欠けが生じていたものとして、以下の説明を行うことにする。したがって、フレーム間差分領域ｆ２（ｔ１）についての外接矩形ｆｆ２（ｔ１）は、図示のとおり、欠けた足の部分を含まない、若干高さが縮んだ矩形になる。
ステップＳ３４′では、この外接矩形ｆｆ２（ｔ１）が、第ｈ番目（ｈ＝２）の仮動作個体指標ｍｍ′２（ｔ１）として設定されることになる。図３６(b) には、こうして設定された仮動作個体指標ｍｍ′２（ｔ１）が示されている（「ｍｍ′２」の「２」は、動作個体番号ｈ＝２に対応する）。図示のとおり、この仮動作個体指標ｍｍ′２（ｔ１）は、一部に欠けを生じた不完全な矩形になっており、補正が必要である。
一方、図３６(c) には、ステップＳ３５において、ｉ＝１に設定したときの処理対象となる第ｉ番目（ｉ＝１）の背景差分領域ｄ１（ｔ１）を含む第２の二値画像が示されている。図示のとおり、この背景差分領域ｄ１（ｔ１）については外接矩形ｄｄ１（ｔ１）が作成される。背景差分領域ｄ１（ｔ１）は、足の部分に欠けを生じていない完全な個体領域であるので、外接矩形ｄｄ１（ｔ１）も欠けが生じていない完全な矩形になる。
そして、図３６(d) に示すように、これら外接矩形ｆｆ２（ｔ１），ｄｄ１（ｔ１）についての重複有無判定がなされる（ステップＳ３６′）。具体的には、図２９(b) の右側に示す論理演算式に基づいて、外接矩形ｆｆ２（ｔ１），ｄｄ１（ｔ１）についての重複有無判定演算を行えばよい。図３６(d) に示す例の場合、両矩形には重複部分が全くないため、ＶＡＬ（Overlap）＝０となり、「重複部分無し」との判定結果が得られる。
この判定結果は、図３６(c) に示す外接矩形ｄｄ１（ｔ１）は、図３６(b) に示す現時点の仮動作個体指標ｍｍ′２（ｔ１）に対する補正には利用できないことを意味する。そこで、ステップＳ３８′からステップＳ４０へと移行し、ステップＳ３９′の補正処理（包摂矩形を作成して置き換える処理）は実行されない。
続いて、ステップＳ４０において、ｉ＝２への更新が行われ、再びステップＳ３５からの処理が実行される。図３６の下段には、図３４の流れ図において、ｊ＝２，ｉ＝２としたときの処理内容が示されている。まず、図３６(e) には、ｉ＝２に設定したときの処理対象となる第ｉ番目（ｉ＝２）の背景差分領域ｄ２（ｔ１）を含む二値画像が示されている（図５のＤ（ｔ１）内に示すものと同じ）。この背景差分領域ｄ２（ｔ１）については、図示のとおり、外接矩形ｄｄ２（ｔ１）が作成される。
そして、図３６(f) に示すように、外接矩形ｆｆ２（ｔ１），ｄｄ２（ｔ１）についての重複有無判定がなされる（ステップＳ３６′）。図３６(f) に示す例の場合、両矩形はハッチングを施した部分において重複しているので、ＶＡＬ（Overlap）＝１となり、「重複部分有り」との判定結果が得られる。
この判定結果は、図３６(e) に示す外接矩形ｄｄ２（ｔ１）を利用して、図３６(b) に示す現時点での仮動作個体指標ｍｍ′２（ｔ１）に対して補正を行うことができることを意味する。そこで、ステップＳ３８′からステップＳ３９′へと移行し、補正処理（包摂矩形を作成して置き換える処理）が実行される。すなわち、仮動作個体指標ｍｍ′２（ｔ１）と外接矩形ｄｄ２（ｔ１）とについて、包摂矩形を求め、当該包摂矩形を新たな仮動作個体指標ｍｍ′２（ｔ１）とする処理が行われる。
図３６(g) は、こうして作成された新しい仮動作個体指標ｍｍ′２（ｔ１）を示している。この新しい仮動作個体指標ｍｍ′２（ｔ１）内の破線は、包摂矩形の元になった２組の矩形の輪郭を示している。図３６(b) に示す古い仮動作個体指標ｍｍ′２（ｔ１）を構成する外接矩形において欠けていた部分が、図３６(g) に示す新しい仮動作個体指標ｍｍ′２（ｔ１）を構成する包摂矩形では修復されていることがわかる。
こうして、ステップＳ３５からステップＳ４０までのループ処理が、ｉ＝１〜Ｉmax まで完了すると、ステップＳ４１′において、図３６(g) に示す現時点での仮動作個体指標ｍｍ′２（ｔ１）に基づいて、正式な動作個体指標ｍｍ２（ｔ１）を作成する処理が行われる。この例の場合、正式な動作個体指標ｍｍ２（ｔ１）は、仮動作個体指標ｍｍ′２（ｔ１）と全く同じ矩形状の指標によって構成されており、図２８の個体検出画像Ｑ（ｔ１）−ＳＭに示されている動作個体指標ｍ２（ｔ１）と同じものになる。
なお、この§６−３で述べる実施例の場合も、必要があれば、図３５(h) に示す包摂矩形ｍｍ１（ｔ１）や図３６(g) に示す包摂矩形ｍｍ２（ｔ１）に基づいて、その内部に含まれるべき人型の領域を探し出し、矩形ではなく人型の動作個体指標ｍを表示させることは可能であるが、こうして表示させた人型の動作個体指標ｍは、不適切な指標になる可能性があるため、実用上は避けた方が好ましい。
すなわち、§６−１，§６−２で述べた実施例の場合は、外接矩形をそのまま指標として表示する代わりに、背景差分画像Ｄ（ｔ）に含まれている背景差分領域ｄｉ（ｔ２）の中から、当該外接矩形内に位置するものを選択し、選択された背景差分領域ｄｉ（ｔ）に基づいて指標を作成するようにすれば、人型の静止個体指標ｓや動作個体指標ｍを作成することができ、図１３〜図１６に例示するようなバリエーションに係る指標を作成することも可能である。
しかしながら、この§６−３で述べる実施例の場合、たとえば、図３５(h) に示す包摂矩形ｍｍ１（ｔ１）は、特定の背景差分領域ｄｉ（ｔ）の外接矩形にはなっておらず、より広い領域を占める矩形になる。このため、当該包摂矩形ｍｍ１（ｔ１）内に位置する背景差分領域ｄｉ（ｔ）を正確に特定することはできない。もちろん、図３５(h) に示す包摂矩形ｍｍ１（ｔ１）は、図３５(a) に示すフレーム間差分領域ｆ１（ｔ１）を含む矩形ではあるが、フレーム間差分領域ｆ１（ｔ１）は、欠けた部分を含んだ不完全な個体形状を示すものであり、補正がなされていない状態のものであるから、これに基づいて動作個体指標ｍを作成することは好ましくない。
したがって、実用上、この§６−３で述べる実施例では、図３５(h) に示す例のように、最終的に仮動作個体指標ｍｍ′ｈ（ｔ）として得られた包摂矩形に基づいて、矩形状の動作個体指標ｍｍｈ（ｔ）を作成して表示するのが好ましい。
＜＜＜ §７．本発明に係る個体の検出装置を用いた監視システム ＞＞＞
これまで述べてきた実施例は、人を検出対象となる個体として用いた例であるが、もちろん、本発明は動物、車両、船舶、航空機、種々の機械器具、玩具など、様々な対象物を個体として検出する用途に利用することが可能である。
また、検出対象となる個体が密集している環境では、原画像Ｐ（ｔ）上において複数の個体が重なり合うため、背景差分領域ｄｉ（ｔ）やフレーム間差分領域ｆｉ（ｔ）が、複数の個体を含んだ融合領域になる可能性もあるが、上述した処理を行う上では、たとえば、手をつないだ２人の人物が１つの融合個体として認識されたとしても、何ら支障は生じない。この場合、動作個体指標ｍは、手をつないだ２人の人物を１つの動作個体として示すことになる。
したがって、図１に示す個体の検出装置１００は、種々の環境下で種々の対象物を監視するための監視システムとして利用することが可能である。図３７は、本発明に係る個体の検出装置を用いた監視システムの一例を示すブロック図である。図示のとおり、この監視システムは、クライアントシステム２００と、このクライアントシステム２００に対してネットワーク３００（たとえば、インターネット）を介して接続されたサーバシステム４００と、によって構成される。
図示のとおり、クライアントシステム２００は、定点カメラ２１０と、ディスプレイ装置２２０と、クライアントコンピュータ２３０と、を備えており、サーバシステム４００は、サーバコンピュータ４１０を備えている。クライアントコンピュータ２３０とサーバコンピュータ４１０とは、ネットワーク３００を介して相互に通信を行うことができる。
定点カメラ２１０は、所定の撮影対象領域に対して動画撮影を行うことにより、時系列で並んだフレーム単位の画像を取得する機能を有しており、この定点カメラ２１０が取得したフレーム単位の画像は、これまでの説明で述べた原画像Ｐ（ｔ）として、クライアントコンピュータ２３０に与えられる。クライアントコンピュータ２３０は、定点カメラ２１０から与えられた原画像Ｐ（ｔ）を入力して、所定の処理を実行する。ディスプレイ装置２２０は、クライアントコンピュータ２３０の指示に基づいて画像表示を行う。一方、サーバコンピュータ４１０は、クライアントコンピュータ２３０とネットワーク３００を介した通信を行いながら、所定の処理を実行する。
クライアントコンピュータ２３０には、専用のクライアントコンピュータ用プログラムがインストールされており、このクライアントコンピュータ用プログラムに基づく動作により、図１に示す個体の検出装置１００としての一部の処理を実行する。一方、サーバコンピュータ４１０には、専用のサーバコンピュータ用プログラムがインストールされており、このサーバコンピュータ用プログラムに基づく動作により、図１に示す個体の検出装置１００としての他の一部の処理（クライアントコンピュータ２３０側では行われない処理）を実行する。
クライアントコンピュータ２３０の機能により、ディスプレイ装置２２０の表示画面には、定点カメラ２１０による撮影画像（原画像Ｐ（ｔ））がリアルタイムで表示され、更に、個体認識部１６０による認識結果を示す情報（たとえば、静止個体と認識された個体を示す静止個体指標ｓや動作個体と認識された個体を示す動作個体指標ｍ）が表示される。この監視システムを利用する監視員は、ディスプレイ装置２２０の表示画面に表示された撮影画像と上記認識結果を示す情報とにより、リアルタイムで撮影画像上に現れている静止個体と動作個体とを視覚的に区別して把握することができる。
また、監視員は、必要に応じて、クライアントコンピュータ２３０に対して何らかの操作入力を与えることにより、個体の検出装置１００としての動作に対して指示を与えることができる。たとえば、図１７に例示するような表示モードの切替を行うことができる。このように、この監視システムを利用する監視員にとっては、クライアントシステム２００が直接の操作対象ということになるが、サーバシステム４００がクラウド環境を提供する役割を果たし、クライアントシステム２００に代わって一部の処理を実行することができる。
図１に示す個体の検出装置１００の各構成要素の役割を、クライアントシステム２００とサーバシステム４００との間でどのように分担するかは、当該監視システムの用途、定点カメラ２１０による撮影画像の情報量、クライアントコンピュータ２３０の処理能力などを考慮して、適宜定めればよいが、一般的には、リアルタイムでの処理を行うために高速性が要求される処理についてはクライアントシステム２００側に担当させるようにし、クライアントコンピュータ２３０によって処理させるには演算負担が大きすぎる処理についてはサーバシステム４００側に担当させるようにするのが好ましい。
なお、図３７に示す監視システムでは、図示のとおり、クライアントコンピュータ２３０が外部に対して警報を発する機能を有している。図示の例の場合、警報は監視員に対してなされるものであり、ランプの点灯やブザーの鳴動などによる報知がなされる。もちろん、ネットワーク３００を介して、サーバシステム４００やその他の場所に警報を伝えるようにしてもかまわない。
この警報は、個体認識部１６０による静止個体もしくは動作個体の認識結果に基づいて発せられるものであり、予め設定された発報条件が満たされた場合に、外部に対してなされるものである。たとえば、「静止個体の総数が所定の基準値を超えた場合」あるいは「動作個体の総数が所定の基準値を超えた場合」といった発報条件を設定しておき、個体認識部１６０に、各時点で認識された静止個体や動作個体の総数を計数する機能をもたせておけば、上記発報条件が満たされた場合に外部へ警報を発することができる。もちろん、「静止個体の総数が所定の基準値を超えた状態が所定の基準時間以上継続した場合」あるいは「動作個体の総数が所定の基準値を超えた状態が所定の基準時間以上継続した場合」というように、時間を含む発報条件を設定することも可能である。
なお、図３７に示す監視システムは、クライアントシステム２００とサーバシステム４００とによって構成され、図１に示す個体の検出装置１００として必要な処理を両システムで分担して実行するシステムであるが、もちろん、図示のクライアントコンピュータ２３０に必要な処理をすべて実行させるようにして、クライアントコンピュータ２３０のみが独立して、図１に示す個体の検出装置１００として機能するようにしてもかまわない。
この場合、クライアントコンピュータ２３０は、必ずしもネットワーク３００に接続されている必要はなく、いわゆるスタンドアロン型のコンピュータであってかまわない。この場合、監視システムは、所定の撮影対象領域に対して動画撮影を行うことにより、時系列で並んだフレーム単位の画像を取得する定点カメラ２１０と、この定点カメラが取得したフレーム単位の画像を原画像として入力して、所定の処理を実行するコンピュータ２３０と、このコンピュータ２３０の指示に基づいて画像表示を行うディスプレイ装置２２０と、によって構成されることになり、コンピュータ２３０は、インストールされたプログラムに基づく動作により、図１に示す個体の検出装置１００として機能することになる。
図３７に示すクライアントシステム２００は、定点カメラ２１０で撮影した画像をクライアントコンピュータ２３０で即座に処理し、その結果をディスプレイ装置２２０にリアルタイムで表示する機能をもった監視システムである。このような監視システムを用いれば、監視員は、リアルタイムで監視を行うことが可能になる。ただ、実用上は、必ずしも、このようなリアルタイムの監視が必要になるわけではなく、過去の撮影画像を後に確認しながら不審者の有無を確認するような業務（ここでは、便宜上、事後監視と呼ぶ）を行うケースもある。
このような事後監視を行うためには、たとえば、図３７に示すクライアントシステム２００において、定点カメラ２１０の代わりに、事前に撮影された動画データ（所定の撮影対象領域に対して動画撮影を行うことにより得られた、時系列で並んだフレーム単位の画像）を保存した入力用の画像保存装置を用いて監視システムを構成すればよい。入力用の画像保存装置としては、ビデオ録画再生機器やコンピュータ用のハードディスク装置を用いればよい。クライアントコンピュータ２３０は、定点カメラ２１０からのフレーム単位の画像を原画像として入力して所定の処理を実行する代わりに、入力用の画像保存装置に保存されているフレーム単位の画像を原画像として入力して、所定の処理を実行することになる。
たとえば、図３７に示すクライアントシステム２００において、定点カメラ２１０を入力用の画像保存装置（たとえば、ビデオ録画再生機器）に置き換えることにより事後監視システムを構成しておけば、ビデオ録画再生機器によって過去に撮影された動画を再生し、これをクライアントコンピュータ２３０によって処理することにより、ディスプレイ装置２２０上には、静止個体指標や動作個体指標を原画像（再生された動画）に重畳させた個体検出画像を表示させることができるので、リアルタイムではないものの、過去の撮影画像上に存在する不審者を発見する用途に役立てることができる。
もちろん、定点カメラ２１０と入力用の画像保存装置との双方を設けておけば、クライアントコンピュータ２３０は、定点カメラ２１０から入力した画像に基づいてリアルタイムでの監視を行うこともできるし、画像保存装置から入力した画像に基づいて事後監視を行うこともできる。
また、ディスプレイ装置２２０の代わりに、クライアントコンピュータ２３０から与えられる画像を保存する出力用の画像保存装置を設けることにより、事後監視に利用することも可能である。たとえば、図３７に示すクライアントシステム２００において、ディスプレイ装置２２０を出力用の画像保存装置に置き換えることにより事後監視システムを構成しておけば、クライアントコンピュータ２３０に、定点カメラ２１０で撮影された画像に基づいて個体検出画像を作成させ、この個体検出画像からなる動画を、ディスプレイ装置２２０上に表示させる代わりに、出力用の画像保存装置に保存させることができる。
たとえば、出力用の画像保存装置としてビデオ録画再生機器を用い、クライアントコンピュータ２３０から出力される個体検出画像からなる動画を、ＤＶＤ−Ｒなどの光学式情報記録媒体に保存するようにすれば、保存された動画は、定点カメラ２１０で撮影された動画に静止個体指標や動作個体指標を重畳させたものになるので、図示のシステムとは全く別のビデオ録画再生機器等によって再生しながら、事後監視業務を行うことも可能である。
もちろん、ディスプレイ装置２２０と出力用の画像保存装置との双方を設けておけば、クライアントコンピュータ２３０は、出力画像をディスプレイ装置２２０に表示させることもできるし、出力用の画像保存装置に保存させることもできる。
また、入力用の画像保存装置と出力用の画像保存装置との双方を設けるようにしてもかまわない。この場合、実用上は、１台の画像保存装置を、入力用の画像保存装置および出力用の画像保存装置として共用することもできる。あるいは、入力用の画像保存装置や出力用の画像保存装置を、クライアントシステム２００側ではなくサーバシステム４００側に設け、クライアントコンピュータ２３０が、ネットワーク３００を介して原画像を入力し、処理後の個体検出画像をネットワーク３００を介してサーバシステム４００側に出力して保存するような形態をとることも可能である。
１００：個体の検出装置
１１０：原画像入力部
１２０：背景画像格納部
１３０：背景差分画像作成部
１４０：フレーム間差分画像作成部
１５０：重複有無判定部
１６０：個体認識部
１６１：静止個体認識部
１６２：動作個体認識部
１７０：検出個体表示部
２００：クライアントシステム
２１０：定点カメラ
２２０：ディスプレイ装置
２３０：クライアントコンピュータ
３００：ネットワーク（インターネット）
４００：サーバシステム
４１０：サーバコンピュータ
Ａ，Ａ０〜Ａ４：第１の個体（大人）
ａ（ｘａ，ｙａ）：画素
Ｂ，Ｂ０〜Ｂ４：第２の個体（子供）
ＢＧ：背景画像
Ｂｕ，Ｂｖ：青色画素の画素値
ｂ（ｘｂ，ｙｂ）：画素
Ｃ（ｔ），Ｃ（ｔ１）〜Ｃ（ｔ４）：重複確認画像
ｃ１（ｔ１）〜ｃ２（ｔ４）：重複部分領域
ｃ（ｘｃ，ｙｃ）：画素
Ｄ（ｔ），Ｄ（ｔ１）〜Ｄ（ｔ４）：背景差分画像
ｄ１（ｔ），ｄ２（ｔ）：背景差分領域
ｄ１（ｔ１）〜ｄ２（ｔ４）：背景差分領域
ｄｉ（ｔ）：背景差分領域
ｄｄ１（ｔ１），ｄｄ１（ｔ２），ｄｄ２（ｔ１），ｄｄ２（ｔ２）：背景差分領域の外接矩形
ｄｄｉ（ｔ）：背景差分領域の外接矩形
Ｆ（ｔ），Ｆ（ｔ１）〜Ｆ（ｔ４）：フレーム間差分画像
ｆ１（ｔ），ｆ２（ｔ），ｆ３（ｔ）：フレーム間差分領域
ｆ１（ｔ１）〜ｆ２（ｔ４）：フレーム間差分領域
ｆｊ（ｔ）：フレーム間差分領域
ｆｆ１（ｔ１），ｆｆ１（ｔ２），ｆｆ２（ｔ１）：フレーム間差分領域の外接矩形
ｆｆｉ（ｔ）：フレーム間差分領域の外接矩形
Ｇｕ，Ｇｖ：緑色画素の画素値
ｈ：動作個体指標番号
ＩＭＧ（ＡＮＤ）：論理積画像
ＩＭＧ（ＯＲ）：論理和画像
Ｉmax：背景差分領域番号の最大値
ｉ：背景差分領域番号
Ｊmax：フレーム間差分領域番号の最大値
ｊ：フレーム間差分領域番号
ｋ：静止個体指標番号
Ｌ：ラベリング情報
ｍ，ｍ１（ｔ１），ｍ２（ｔ１），ｍ１（ｔ２），ｍ１（ｔ４）：動作個体指標
ｍｈ（ｔ）：動作個体指標
ｍ′１（ｔ１），ｍ′２（ｔ１）：仮動作個体指標
ｍ′ｈ（ｔ）：仮動作個体指標
ｍｍ１（ｔ１），ｍｍ１（ｔ２），ｍｍ２（ｔ１）：動作個体指標
ｍｍｈ（ｔ）：動作個体指標
ｍｍ′１（ｔ１），ｍｍ′２（ｔ１）：仮動作個体指標
ｍｍ′ｈ（ｔ）：仮動作個体指標
ｎ：フレーム番号
Ｐ（ｔ），Ｐ（ｔ０）〜Ｐ（ｔ４）：原画像（時系列で並んだフレーム単位の画像）
Ｑ（ｔ）：個体検出画像
Ｑ（ｔ）−Ｍ：動作個体の個体検出画像
Ｑ（ｔ１）−Ｍ：動作個体の個体検出画像
Ｑ（ｔ２）−Ｍ：動作個体の個体検出画像
Ｑ（ｔ３）−Ｍ：動作個体の個体検出画像
Ｑ（ｔ４）−Ｍ：動作個体の個体検出画像
Ｑ（ｔ）−Ｓ：静止個体の個体検出画像
Ｑ（ｔ１）−Ｓ：静止個体の個体検出画像
Ｑ（ｔ２）−Ｓ：静止個体の個体検出画像
Ｑ（ｔ３）−Ｓ：静止個体の個体検出画像
Ｑ（ｔ４）−Ｓ：静止個体の個体検出画像
Ｑ（ｔ）−ＳＭ：静止個体・動作個体の個体検出画像
Ｑ（ｔ１）−ＳＭ：静止個体・動作個体の個体検出画像
Ｑ（ｔ２）−ＳＭ：静止個体・動作個体の個体検出画像
Ｑ（ｔ３）−ＳＭ：静止個体・動作個体の個体検出画像
Ｑ（ｔ４）−ＳＭ：静止個体・動作個体の個体検出画像
Ｒ，Ｒａ，Ｒｂ，Ｒｃ：矩形
Ｒｕ，Ｒｖ：赤色画素の画素値
Ｓ１１〜Ｓ４２：流れ図の各ステップ
ｓ，ｓ１（ｔ２），ｓ１（ｔ３），ｓ２（ｔ３），ｓ１（ｔ４）：静止個体指標
ｓｋ（ｔ）：静止個体指標
ｓｓ１（ｔ２）：静止個体指標
ｓｓｋ（ｔ）：静止個体指標
ｔ，ｔ０〜ｔ４：時刻
Ｕ：カラー画像
Ｕ′：輝度画像
Ｖ：カラー画像
Ｖ′：輝度画像
ＶＡＬ（ＯＲ）：総合論理和
ＶＡＬ（Overlap）：矩形重複判定値
Ｗ：二値化差分画像
Ｗ′：差分画像
ｗ１，ｗ２：差分領域
ｘ１〜ｘ４：Ｘ座標値
ｘmax：Ｘ座標の最大値
ｘmin：Ｘ座標の最小値
Ｙｕ，Ｙｖ：輝度値
ｙ１〜ｙ４：Ｙ座標値
ｙmax：Ｙ座標の最大値
ｙmin：Ｙ座標の最小値
ΔＹ：輝度値の差の絶対値

Claims (57)

  1. 所定の撮影対象領域内に存在する独立して移動可能な検出対象物としての個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
    所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
    前記撮影対象領域についての背景画像を格納する背景画像格納部と、
    前記原画像入力部が入力した各原画像について、前記背景画像との差分を示しており個々の前記個体が占有している個々の背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
    前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
    前記背景差分画像内の前記個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
    前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる前記個体を静止個体もしくは動作個体と認識する個体認識部と、
    を備え、
    該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部を有することを特徴とする撮影画像内の個体の検出装置。
  2. 請求項１に記載の撮影画像内の個体の検出装置において、
    前記静止個体認識部によって静止個体と認識された個体を示す静止個体指標を表示する検出個体表示部を更に有することを特徴とする撮影画像内の個体の検出装置。
  3. 請求項２に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体を示す静止個体指標を、当該静止個体が占める背景差分領域に基づいて作成することを特徴とする撮影画像内の個体の検出装置。
  4. 請求項１に記載の撮影画像内の個体の検出装置において、
    前記個体認識部が、前記重複有無判定部によって、少なくとも一部の領域についてフレーム間差分領域に対する実質的な重複部分が有る、との判定結果が得られた背景差分領域を占める個体を、動作個体と認識する動作個体認識部を有することを特徴とする撮影画像内の個体の検出装置。
  5. 請求項４に記載の撮影画像内の個体の検出装置において、
    前記動作個体認識部によって動作個体と認識された個体を示す動作個体指標を表示する検出個体表示部を更に有することを特徴とする撮影画像内の個体の検出装置。
  6. 請求項５に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、動作個体を示す動作個体指標を、当該動作個体が占める背景差分領域に基づいて作成することを特徴とする撮影画像内の個体の検出装置。
  7. 請求項５に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、動作個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成することを特徴とする撮影画像内の個体の検出装置。
  8. 所定の撮影対象領域内に存在する個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
    所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
    前記撮影対象領域についての背景画像を格納する背景画像格納部と、
    前記原画像入力部が入力した各原画像について、前記背景画像との差分を示す背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
    前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
    前記背景差分画像内の個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
    前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる個体を静止個体もしくは動作個体と認識する個体認識部と、
    を備え、
    該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部と、
    前記個体認識部が、前記重複有無判定部によって、少なくとも一部の領域についてフレーム間差分領域に対する実質的な重複部分が有る、との判定結果が得られた背景差分領域を占める個体を、動作個体と認識する動作個体認識部と
    前記動作個体認識部によって動作個体と認識された個体を示す動作個体指標を表示する検出個体表示部と、
    を有し、
    前記検出個体表示部が、動作個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成することを特徴とする撮影画像内の個体の検出装置。
  9. 請求項７または８に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、動作個体が占めるフレーム間差分領域と当該動作個体が占める背景差分領域とについて、領域を構成する図形の論理和演算を行うことにより、補正を実行することを特徴とする撮影画像内の個体の検出装置。
  10. 請求項４に記載の撮影画像内の個体の検出装置において、
    前記静止個体認識部によって静止個体と認識された個体を示す静止個体指標と、動作個体と認識された個体を示す動作個体指標とを、それぞれ視覚的に区別可能な態様で表示する検出個体表示部を更に有することを特徴とする撮影画像内の個体の検出装置。
  11. 請求項１０に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体を示す静止個体指標を、当該静止個体が占める背景差分領域に基づいて作成し、動作個体を示す動作個体指標を、当該動作個体が占める背景差分領域に基づいて作成することを特徴とする撮影画像内の個体の検出装置。
  12. 請求項１０に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体を示す静止個体指標を、当該静止個体が占める背景差分領域に基づいて作成し、動作個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成することを特徴とする撮影画像内の個体の検出装置。
  13. 所定の撮影対象領域内に存在する個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
    所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
    前記撮影対象領域についての背景画像を格納する背景画像格納部と、
    前記原画像入力部が入力した各原画像について、前記背景画像との差分を示す背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
    前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
    前記背景差分画像内の個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
    前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる個体を静止個体もしくは動作個体と認識する個体認識部と、
    を備え、
    該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部と、
    前記静止個体認識部によって静止個体と認識された個体を示す静止個体指標と、動作個体と認識された個体を示す動作個体指標とを、それぞれ視覚的に区別可能な態様で表示する検出個体表示部と
    を有し、
    前記検出個体表示部が、静止個体を示す静止個体指標を、当該静止個体が占める背景差分領域に基づいて作成し、動作個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域に対して、当該動作個体が占める背景差分領域に基づく補正を施すことにより作成することを特徴とする撮影画像内の個体の検出装置。
  14. 請求項１２または１３に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、動作個体が占めるフレーム間差分領域と当該動作個体が占める背景差分領域とについて、領域を構成する図形の論理和演算を行うことにより、補正を実行することを特徴とする撮影画像内の個体の検出装置。
  15. 請求項２，３，５〜９のいずれかに記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標または動作個体指標を原画像に重畳させることにより個体検出画像を作成し、この個体検出画像をディスプレイ画面上に表示することを特徴とする撮影画像内の個体の検出装置。
  16. 請求項１５に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された閉領域指標によって構成し、原画像に前記閉領域指標を重畳させることにより個体検出画像を作成することを特徴とする撮影画像内の個体の検出装置。
  17. 請求項１６に記載の撮影画像内の個体の検出装置において、
    閉領域指標が、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成され、原画像に前記閉領域指標を重畳させた場合に、原画像が前記閉領域指標を通して透けて表示されるようにしたことを特徴とする撮影画像内の個体の検出装置。
  18. 請求項１５に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体を囲む枠状指標によって構成し、原画像に前記枠状指標を重畳させることにより個体検出画像を作成することを特徴とする撮影画像内の個体の検出装置。
  19. 請求項１５に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体の輪郭線を示す輪郭指標によって構成し、原画像に前記輪郭指標を重畳させることにより個体検出画像を作成することを特徴とする撮影画像内の個体の検出装置。
  20. 請求項１５に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体部分に開口窓が配置され、前記開口窓以外の部分が被覆されたマスク画像によって構成し、原画像に前記マスク画像を重畳させることにより個体検出画像を作成することを特徴とする撮影画像内の個体の検出装置。
  21. 請求項１０〜１４のいずれかに記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標および動作個体指標を原画像に重畳させることにより個体検出画像を作成し、この個体検出画像をディスプレイ画面上に表示することを特徴とする撮影画像内の個体の検出装置。
  22. 請求項２１に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第１の閉領域指標によって構成し、動作個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第２の閉領域指標によって構成し、前記第１の閉領域指標と前記第２の閉領域指標とは、互いに異なる色によって塗られるかもしくは互いに異なるパターンが形成された閉領域となるようにし、原画像に前記第１の閉領域指標および前記第２の閉領域指標を重畳させることにより個体検出画像を作成することを特徴とする撮影画像内の個体の検出装置。
  23. 請求項２２に記載の撮影画像内の個体の検出装置において、
    第１の閉領域指標および第２の閉領域指標が、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成され、原画像に前記各閉領域指標を重畳させた場合に、原画像が前記各閉領域指標を通して透けて表示されるようにしたことを特徴とする撮影画像内の個体の検出装置。
  24. 請求項２１に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標を、対象となる静止個体を囲む第１の枠状指標によって構成し、動作個体指標を、対象となる動作個体を囲む第２の枠状指標によって構成し、前記第１の枠状指標と前記第２の枠状指標とは、線種、色、形状、太さのうちの少なくとも１つが互いに異なる枠線によって構成されるようにし、原画像に前記第１の枠状指標および前記第２の枠状指標を重畳させることにより個体検出画像を作成することを特徴とする撮影画像内の個体の検出装置。
  25. 請求項２１に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標を、対象となる静止個体の輪郭線を示す第１の輪郭指標によって構成し、動作個体指標を、対象となる動作個体の輪郭線を示す第２の輪郭指標によって構成し、前記第１の輪郭指標と前記第２の輪郭指標とは、線種、色、太さのうちの少なくとも１つが互いに異なる輪郭線によって構成されるようにし、原画像に前記第１の輪郭指標および前記第２の輪郭指標を重畳させることにより個体検出画像を作成することを特徴とする撮影画像内の個体の検出装置。
  26. 請求項２１〜２５のいずれかに記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、
    ディスプレイ画面上に原画像を表示する原画像表示モードと、
    ディスプレイ画面上に静止個体指標と動作個体指標と原画像とを重畳させた個体検出画像を表示する全個体表示モードと、
    ディスプレイ画面上に静止個体指標と原画像とを重畳させた個体検出画像を表示する静止個体表示モードと、
    ディスプレイ画面上に動作個体指標と原画像とを重畳させた個体検出画像を表示する動作個体表示モードと、
    の４通りの表示モードによる表示機能を有し、任意の表示モードに切り替えて表示を行うことを特徴とする撮影画像内の個体の検出装置。
  27. 請求項１〜２６のいずれかに記載の撮影画像内の個体の検出装置において、
    前記背景画像格納部が、前記原画像入力部が過去に入力した複数のフレーム単位の画像に基づいて背景画像を作成して格納する機能を有し、
    前記背景差分画像作成部が、前記背景画像格納部に格納されている最新の背景画像を用いて背景差分画像を作成することを特徴とする撮影画像内の個体の検出装置。
  28. 請求項１〜２７のいずれかに記載の撮影画像内の個体の検出装置において、
    前記原画像入力部が、外部から与えられる時系列で並んだフレーム単位の画像を所定のサンプリング周期でサンプリングして入力し、
    前記フレーム間差分画像作成部が、サンプリングされた各フレーム単位の画像について、時系列における直前の画像との間で差分演算を行うことによりフレーム間差分画像を作成することを特徴とする撮影画像内の個体の検出装置。
  29. 請求項１〜２８のいずれかに記載の撮影画像内の個体の検出装置において、
    前記原画像入力部が、三原色ＲＧＢの各画素値をもった画素の集合体からなるカラー画像を原画像として入力し、これを輝度Ｙを示す画素値をもった画素の集合体からなる輝度画像に変換する処理を行い、
    前記背景画像格納部が、輝度Ｙを示す画素値をもった画素の集合体からなる背景画像を格納し、
    前記背景差分画像作成部が、前記輝度画像と前記背景画像についての輝度値の差の絶対値ΔＹを示す画素値をもった画素の集合体からなる差分画像を、所定の閾値を用いて二値化することにより背景差分画像を作成し、
    前記フレーム間差分画像作成部が、２枚のフレーム単位の画像についての輝度値の差の絶対値ΔＹを示す画素値をもった画素の集合体からなる差分画像を、所定の閾値を用いて二値化することによりフレーム間差分画像を作成することを特徴とする撮影画像内の個体の検出装置。
  30. 請求項２９に記載の撮影画像内の個体の検出装置において、
    前記背景差分画像作成部が、輝度値の差の絶対値ΔＹが閾値以上となる画素については画素値「１」を与え、輝度値の差の絶対値ΔＹが閾値未満となる画素については画素値「０」を与えることにより、画素値「１」をもった画素の連続領域を背景差分領域として含む背景差分画像を作成し、
    前記フレーム間差分画像作成部が、輝度値の差の絶対値ΔＹが閾値以上となる画素については画素値「１」を与え、輝度値の差の絶対値ΔＹが閾値未満となる画素については画素値「０」を与えることにより、画素値「１」をもった画素の連続領域をフレーム間差分領域として含むフレーム間差分画像を作成することを特徴とする撮影画像内の個体の検出装置。
  31. 請求項１〜３０のいずれかに記載の撮影画像内の個体の検出装置において、
    前記重複有無判定部が、背景差分画像とフレーム間差分画像とに基づいて、背景差分領域とフレーム間差分領域との重複部分を示す重複部分領域を含む重複確認画像を作成し、
    前記個体認識部が、前記背景差分画像に含まれている特定の背景差分領域について、前記重複確認画像上の対応領域を参照し、当該対応領域内に前記重複部分領域が実質的に含まれていない場合には、前記特定の背景差分領域を占める個体を静止個体と認識し、当該対応領域内に前記重複部分領域が実質的に含まれていた場合には、前記特定の背景差分領域を占める個体を動作個体と認識することを特徴とする撮影画像内の個体の検出装置。
  32. 所定の撮影対象領域内に存在する個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
    所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
    前記撮影対象領域についての背景画像を格納する背景画像格納部と、
    前記原画像入力部が入力した各原画像について、前記背景画像との差分を示す背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
    前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
    前記背景差分画像内の個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
    前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる個体を静止個体もしくは動作個体と認識する個体認識部と、
    を備え、
    該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部を有し、
    前記重複有無判定部が、背景差分画像とフレーム間差分画像とに基づいて、背景差分領域とフレーム間差分領域との重複部分を示す重複部分領域を含む重複確認画像を作成し、
    前記個体認識部が、前記背景差分画像に含まれている特定の背景差分領域について、前記重複確認画像上の対応領域を参照し、当該対応領域内に前記重複部分領域が実質的に含まれていない場合には、前記特定の背景差分領域を占める個体を静止個体と認識し、当該対応領域内に前記重複部分領域が実質的に含まれていた場合には、前記特定の背景差分領域を占める個体を動作個体と認識することを特徴とする撮影画像内の個体の検出装置。
  33. 請求項３１または３２に記載の撮影画像内の個体の検出装置において、
    前記個体認識部が、対応領域内に含まれている重複部分領域の面積が所定の基準に満たない場合には、当該対応領域内に重複部分領域が含まれていないと判断することを特徴とする撮影画像内の個体の検出装置。
  34. 請求項３３に記載の撮影画像内の個体の検出装置において、
    前記背景差分画像作成部が、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像であって、画素値「１」をもった画素の連続領域として背景差分領域を表現した背景差分画像を作成し、
    前記フレーム間差分画像作成部が、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像であって、画素値「１」をもった画素の連続領域としてフレーム間差分領域を表現したフレーム間差分画像を作成し、
    前記重複有無判定部が、前記背景差分画像と前記フレーム間差分画像とについて、対応する画素についての論理積演算を行うことにより、画素値「１」もしくは「０」をもった画素の集合体からなる二値画像である重複確認画像を作成し、
    前記個体認識部が、前記背景差分画像に含まれている特定の背景差分領域について、前記重複確認画像上の対応領域を参照し、当該対応領域内の画素のうち、画素値「１」をもった画素の総数が所定の基準に満たない場合には、前記特定の背景差分領域を占める個体を静止個体と認識し、当該対応領域内の画素のうち、画素値「１」をもった画素の総数が所定の基準以上である場合には、前記特定の背景差分領域を占める個体を動作個体と認識することを特徴とする撮影画像内の個体の検出装置。
  35. 請求項１〜３０のいずれかに記載の撮影画像内の個体の検出装置において、
    前記背景差分画像作成部が、個々の背景差分領域ごとに背景差分領域符号を付与し、個々の背景差分領域符号に対応する背景差分領域に含まれる画素を特定する画素特定情報を含む、背景差分領域のラベリング情報を作成する処理を行い、
    前記フレーム間差分画像作成部が、個々のフレーム間差分領域ごとにフレーム間差分領域符号を付与し、個々のフレーム間差分領域符号に対応するフレーム間差分領域に含まれる画素を特定する画素特定情報を含む、フレーム間差分領域のラベリング情報を作成する処理を行い、
    前記重複有無判定部が、所定の着目背景差分領域について重複部分の有無を判定する際に、前記着目背景差分領域のラベリング情報内の画素特定情報によって特定された個々の着目画素について、各フレーム間差分領域のラベリング情報内の画素特定情報に同位置の画素が存在するか否かを調べ、存在する場合に重複部分有りとの判定を行うことを特徴とする撮影画像内の個体の検出装置。
  36. 請求項１〜３０のいずれかに記載の撮影画像内の個体の検出装置において、
    前記重複有無判定部が、背景差分画像内の背景差分領域について、フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する際に、前記背景差分領域の外接矩形と前記フレーム間差分領域の外接矩形とについての重複部分の有無を判定する簡易判定法を行うことを特徴とする撮影画像内の個体の検出装置。
  37. 所定の撮影対象領域内に存在する独個体を、静止中の静止個体もしくは動作中の動作個体として検出する個体の検出装置であって、
    所定の撮影対象領域に対する撮影によって時系列で並んだフレーム単位の画像として得られた各原画像を入力する原画像入力部と、
    前記撮影対象領域についての背景画像を格納する背景画像格納部と、
    前記原画像入力部が入力した各原画像について、前記背景画像との差分を示す背景差分領域を含む背景差分画像を作成する背景差分画像作成部と、
    前記原画像入力部が入力した各原画像について、時系列における異なるフレームとの差分を示すフレーム間差分領域を含むフレーム間差分画像を作成するフレーム間差分画像作成部と、
    前記背景差分画像内の個々の背景差分領域について、前記フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する重複有無判定部と、
    前記重複有無判定部による判定結果に基づいて、前記原画像に含まれる個体を静止個体もしくは動作個体と認識する個体認識部と、
    を備え、
    該個体認識部が、前記重複有無判定部によって、フレーム間差分領域に対する実質的な重複部分は無い、との判定結果が得られた背景差分領域を占める個体を、静止個体と認識する静止個体認識部を有し、
    前記重複有無判定部が、背景差分画像内の背景差分領域について、フレーム間差分画像内のフレーム間差分領域に対する重複部分の有無を判定する際に、前記背景差分領域の外接矩形と前記フレーム間差分領域の外接矩形とについての重複部分の有無を判定する簡易判定法を行うことを特徴とする撮影画像内の個体の検出装置。
  38. 請求項３６または３７に記載の撮影画像内の個体の検出装置において、
    前記個体認識部が、前記重複有無判定部が行った簡易判定法によって、外接矩形についての重複部分は無い、との判定結果が得られた背景差分領域を占める個体を静止個体と認識し、
    静止個体と認識された個体を示す静止個体指標を、当該静止個体が占める背景差分領域の外接矩形に基づいて作成し、これを表示する検出個体表示部を更に有することを特徴とする撮影画像内の個体の検出装置。
  39. 請求項３６または３７に記載の撮影画像内の個体の検出装置において、
    前記個体認識部が、前記重複有無判定部が行った簡易判定法によって、外接矩形についての重複部分が有る、との判定結果が得られた背景差分領域を占める個体を動作個体と認識し、
    動作個体と認識された個体を示す動作個体指標を、当該動作個体が占める背景差分領域の外接矩形に基づいて作成し、これを表示する検出個体表示部を更に有することを特徴とする撮影画像内の個体の検出装置。
  40. 請求項３６または３７に記載の撮影画像内の個体の検出装置において、
    前記個体認識部が、前記重複有無判定部が行った簡易判定法によって、外接矩形についての重複部分が有る、との判定結果が得られたフレーム間差分領域を占める個体を動作個体と認識し、
    動作個体と認識された個体を示す動作個体指標を、当該動作個体が占めるフレーム間差分領域の外接矩形に対して、当該動作個体が占める背景差分領域の外接矩形に基づく補正を施すことにより作成し、これを表示する検出個体表示部を更に有することを特徴とする撮影画像内の個体の検出装置。
  41. 請求項４０に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、動作個体が占めるフレーム間差分領域の外接矩形と当該動作個体が占める背景差分領域の外接矩形とについて、両外接矩形を包摂する包摂矩形を求め、求めた包摂矩形に基づいて動作個体指標を作成することを特徴とする撮影画像内の個体の検出装置。
  42. 請求項１〜４１のいずれかに記載の個体の検出装置としてコンピュータを機能させるプログラム。
  43. 請求項１〜４１のいずれかに記載の個体の検出装置が組み込まれた監視システムであって、
    所定の撮影対象領域に対して動画撮影を行うことにより、時系列で並んだフレーム単位の画像を取得する定点カメラと、
    前記定点カメラが取得したフレーム単位の画像を原画像として入力して、所定の処理を実行するコンピュータと、
    前記コンピュータの指示に基づいて画像表示を行うディスプレイ装置と、
    を備え、
    前記コンピュータは、インストールされたプログラムに基づく動作により、前記個体の検出装置として機能することを特徴とする監視システム。
  44. 請求項１〜４１のいずれかに記載の個体の検出装置が組み込まれた監視システムであって、
    ネットワークによって相互に接続されたクライアントシステムとサーバシステムとを備え、
    前記クライアントシステムは、
    所定の撮影対象領域に対して動画撮影を行うことにより、時系列で並んだフレーム単位の画像を取得する定点カメラと、
    前記定点カメラが取得したフレーム単位の画像を原画像として入力して、所定の処理を実行するクライアントコンピュータと、
    前記クライアントコンピュータの指示に基づいて画像表示を行うディスプレイ装置と、を備え、
    前記サーバシステムは、
    前記クライアントコンピュータと前記ネットワークを介した通信を行いながら、所定の処理を実行するサーバコンピュータを備え、
    前記クライアントコンピュータは、インストールされたクライアントコンピュータ用プログラムに基づく動作により、前記個体の検出装置として必要な一部の処理を実行し、
    前記サーバコンピュータは、インストールされたサーバコンピュータ用プログラムに基づく動作により、前記個体の検出装置として必要な他の一部の処理を実行することを特徴とする監視システム。
  45. 請求項４４に記載の監視システムにおけるクライアントコンピュータにインストールされたクライアントコンピュータ用プログラムまたはサーバコンピュータにインストールされたサーバコンピュータ用プログラム。
  46. 請求項４３または４４に記載の監視システムにおいて、
    コンピュータもしくはクライアントコンピュータが、静止個体もしくは動作個体の認識結果に基づいて、外部に対して警報を発することを特徴とする監視システム。
  47. 請求項４３に記載の監視システムにおいて、
    定点カメラの代わりに、または、定点カメラに加えて、所定の撮影対象領域に対して動画撮影を行うことにより得られた、時系列で並んだフレーム単位の画像を保存する入力用の画像保存装置を備え、
    コンピュータが、前記入力用の画像保存装置に保存されているフレーム単位の画像を原画像として入力して、所定の処理を実行することを特徴とする監視システム。
  48. 請求項４３または４７に記載の監視システムにおいて、
    ディスプレイ装置の代わりに、または、ディスプレイ装置に加えて、コンピュータから与えられる画像を保存する出力用の画像保存装置を備え、
    コンピュータが、ディスプレイ装置に出力すべき画像を、前記出力用の画像保存装置に対して出力して保存させることを特徴とする監視システム。
  49. 請求項２または５記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された閉領域指標によって構成し、原画像に前記閉領域指標を重畳させて表示することを特徴とする撮影画像内の個体の検出装置。
  50. 請求項４９に記載の撮影画像内の個体の検出装置において、
    閉領域指標が、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成され、原画像に前記閉領域指標を重畳させた場合に、原画像が前記閉領域指標を通して透けて表示されるようにしたことを特徴とする撮影画像内の個体の検出装置。
  51. 請求項２または５に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体を囲み、所定の線種、色、形状、太さを有する枠状指標によって構成し、原画像に前記枠状指標を重畳させて表示することを特徴とする撮影画像内の個体の検出装置。
  52. 請求項２または５に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標または動作個体指標を、対象となる個体の輪郭線を示し、所定の線種、色、太さを有する輪郭指標によって構成し、原画像に前記輪郭指標を重畳させて表示することを特徴とする撮影画像内の個体の検出装置。
  53. 請求項１０に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第１の閉領域指標によって構成し、動作個体指標を、対象となる個体が占有する領域の近傍に配置され、内部が所定色によって塗られるかもしくは内部に所定パターンが形成された第２の閉領域指標によって構成し、前記第１の閉領域指標と前記第２の閉領域指標とは、互いに異なる色によって塗られるかもしくは互いに異なるパターンが形成された閉領域となるようにし、原画像に前記第１の閉領域指標および前記第２の閉領域指標を重畳させて表示することを特徴とする撮影画像内の個体の検出装置。
  54. 請求項５３に記載の撮影画像内の個体の検出装置において、
    第１の閉領域指標および第２の閉領域指標が、半透明の色で塗られるかもしくは部分的に隙間のあるパターンが形成された閉領域によって構成され、原画像に前記各閉領域指標を重畳させた場合に、原画像が前記各閉領域指標を通して透けて表示されるようにしたことを特徴とする撮影画像内の個体の検出装置。
  55. 請求項１０に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標を、対象となる静止個体を囲む第１の枠状指標によって構成し、動作個体指標を、対象となる動作個体を囲む第２の枠状指標によって構成し、前記第１の枠状指標と前記第２の枠状指標とは、線種、色、形状、太さのうちの少なくとも１つが互いに異なる枠線によって構成されるようにし、原画像に前記第１の枠状指標および前記第２の枠状指標を重畳させて表示することを特徴とする撮影画像内の個体の検出装置。
  56. 請求項１０に記載の撮影画像内の個体の検出装置において、
    前記検出個体表示部が、静止個体指標を、対象となる静止個体の輪郭線を示す第１の輪郭指標によって構成し、動作個体指標を、対象となる動作個体の輪郭線を示す第２の輪郭指標によって構成し、前記第１の輪郭指標と前記第２の輪郭指標とは、線種、色、太さのうちの少なくとも１つが互いに異なる輪郭線によって構成されるようにし、原画像に前記第１の輪郭指標および前記第２の輪郭指標を重畳させて表示することを特徴とする撮影画像内の個体の検出装置。
  57. 請求項４９〜５６のいずれかに記載の個体の検出装置としてコンピュータを機能させるプログラム。
JP2016156392A 2016-08-09 2016-08-09 撮影画像内の個体の検出装置 Active JP6838310B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016156392A JP6838310B2 (ja) 2016-08-09 2016-08-09 撮影画像内の個体の検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016156392A JP6838310B2 (ja) 2016-08-09 2016-08-09 撮影画像内の個体の検出装置

Publications (2)

Publication Number Publication Date
JP2018025914A JP2018025914A (ja) 2018-02-15
JP6838310B2 true JP6838310B2 (ja) 2021-03-03

Family

ID=61194081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016156392A Active JP6838310B2 (ja) 2016-08-09 2016-08-09 撮影画像内の個体の検出装置

Country Status (1)

Country Link
JP (1) JP6838310B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7244979B2 (ja) * 2018-08-27 2023-03-23 日本信号株式会社 画像処理装置及び監視システム
JP2020201674A (ja) 2019-06-07 2020-12-17 キヤノン株式会社 映像解析装置及びその制御方法及びプログラム
JP6935527B2 (ja) * 2020-02-27 2021-09-15 ソフトバンク株式会社 画像処理装置、プログラム、システム及び画像処理方法
CN112184773A (zh) * 2020-09-30 2021-01-05 华中科技大学 一种基于深度学习的安全帽佩戴检测方法及系统
CN113344967B (zh) * 2021-06-07 2023-04-07 哈尔滨理工大学 一种复杂背景下的动态目标识别追踪方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5040258B2 (ja) * 2006-10-23 2012-10-03 株式会社日立製作所 映像監視装置、映像監視システムおよび画像処理方法
JP5047007B2 (ja) * 2008-03-03 2012-10-10 三洋電機株式会社 撮像装置
JP5154461B2 (ja) * 2009-01-27 2013-02-27 セコム株式会社 移動物体追跡装置
JP4748250B2 (ja) * 2009-02-27 2011-08-17 ソニー株式会社 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム
JP2012023566A (ja) * 2010-07-14 2012-02-02 Toshiba Teli Corp 監視装置および挙動監視用プログラム
JP5286342B2 (ja) * 2010-09-29 2013-09-11 能美防災株式会社 煙検出用周波数成分特定方法、および煙検出装置

Also Published As

Publication number Publication date
JP2018025914A (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
JP6838310B2 (ja) 撮影画像内の個体の検出装置
US8634591B2 (en) Method and system for image analysis
US8254628B2 (en) Image processing device for detecting and suppressing shadows, method, and computer program
KR101064573B1 (ko) 입자 여과를 이용하여 이동 물체를 추적하는 시스템
Ambikapathy et al. Analysis of Object Following Robot Module Using Android, Arduino and Open CV, Raspberry Pi with OpenCV and Color Based Vision Recognition
Cavallaro et al. Shadow-aware object-based video processing
KR101492180B1 (ko) 비디오 분석
CN106296677B (zh) 一种基于双背景模型的双掩膜背景更新的遗留物检测方法
JP5832910B2 (ja) 画像監視装置
CN110532903B (zh) 一种交通灯图像处理的方法和设备
JP2008519376A (ja) ジェスチャ・インターフェースの適応型追跡
US10235607B2 (en) Control device, control method, and computer program product
JP4969291B2 (ja) 移動物体追跡装置
JP2008250746A (ja) 移動物体追跡装置
CN112232107A (zh) 一种图像式烟雾探测系统及方法
JP2014149716A (ja) 物体追跡装置及びその方法
François Real-time multi-resolution blob tracking
JP2023543120A (ja) 時空間推論および位置特定のためのマルチホップトランスフォーマー
JP6405606B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6934118B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP5329940B2 (ja) 画像処理装置、その制御方法、及び撮像装置
JP2018085118A (ja) 情報処理装置、情報処理方法およびプログラム
JP3601951B2 (ja) 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体
JP2016152467A (ja) 追尾装置、追尾方法及び追尾プログラム
CN107784665A (zh) 一种动态物体跟踪方法和系统

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190626

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R150 Certificate of patent or registration of utility model

Ref document number: 6838310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150