JP4021873B2

JP4021873B2 - 顔画像監視システム

Info

Publication number: JP4021873B2
Application number: JP2004166077A
Authority: JP
Inventors: 謙太朗横井; 彰夫岡崎
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-06-03
Filing date: 2004-06-03
Publication date: 2007-12-12
Anticipated expiration: 2019-02-09
Also published as: JP2004272933A

Description

この発明は、画像処理装置であって、特にカメラ等からの画像情報を用いる顔画像監視システムに関するものである。

最近、例えばコンビニエンスストア等の店舗においては、店内に設置されたＩＴＶカメラ等からの監視映像に基づく監視システムが非常に普及している。この監視システムには色々な形態があり、例えば以下の３種類が代表的に挙げられる。
一つは、店内に設置されたＩＴＶカメラが撮影した監視映像を監視センタに伝送し、監視員がモニタできるようにする監視システムがある。

又、同様にＩＴＶカメラが撮影した監視映像を、タイムラプスＶＴＲに一定間隔ごとに録画する監視システムがある。このシステムでは、監視員が常にモニタしている必要はなく、後に必要に応じて録画された画像を参照することができる。
更に、同様にＩＴＶカメラが撮影した監視映像から画像の変化に基づいて人物を検出し、ＶＴＲへの録画やディスクへの保存を行なう監視システムがある。このシステムでは、監視の対象となるべき画像変化があったときのみ画像を保存するので、少ない記憶容量でより効率的な監視画像の収集を行うことができる。

しかしながら上記した各々の監視システムでは、以下のようにそれぞれ問題を有している。
つまり、第１の監視システムでは、監視員が常時この監視画像をモニタしていなければならならず、人件費がシステムのコストとして非常に負担となるという問題がある。
第２の監視システムでは、一定時間ごとに録画されるだけなので、人物のいない無意味な画像が多く記録されるため、記憶容量の不足や、必要画像の検索の困難性などが問題としてある。
又更に第３の監視システムでは、人物のいる画像のみが得られるが、それが必ずしも後からの監視画像の確認に適切な画像だけではないという問題がある。
本発明は、カメラ等からの撮影画像から監視に最適な画像だけを抽出することで、より効率的な監視処理を実現する顔画像監視システムを提供することを目的とする。

本発明は、監視対象の複数の画像情報を外部から連続的に受け、前記画像情報中の移動物体を検出する移動物体検出手段と、前記移動物体検出手段が前記移動物体を検出したとき、そのＮ枚の移動物体画像情報から顔領域を検出する顔領域検出手段と、前記顔領域検出手段が顔領域を検出したとき、前記顔領域を目の開閉状態、及び口の開閉状態に基づいて評価した評価値を出力する顔領域評価手段と、前記顔領域評価手段により出力された評価値に基づいて、前記移動物体が含まれる前記Ｎ枚の画像情報から評価値の高いものを選択優先度を大きくし、選択優先度の大きい順番に所定枚数Ｐの画像情報を選択し出力する画像情報選択手段とを有することを特徴とする顔画像監視システムである。

又本発明は、監視対象の複数の画像情報を外部から連続的に受取る画像受取手段と、前記画像受取手段が受取った画像情報から顔領域を検出する顔領域検出手段と、前記顔領域検出手段が顔領域を検出したとき、そのＮ枚の画像情報の前記顔領域を目の開閉状態、及び口の開閉状態に基づいて評価した評価値を出力する顔領域評価手段と、前記顔領域評価手段により出力された評価値に基づいて、前記顔領域が含まれる前記Ｎ枚の画像情報から評価値の高いものを選択優先度を大きくし、選択優先度の大きい順番に所定枚数Ｐの画像情報を選択し出力する画像情報選択手段と、前記画像情報選択手段が選択した画像情報を記憶する画像情報記憶手段とを有することを特徴とする顔画像監視システムである。

この発明によれば、監視画像の人物の移動・顔の向きなど認識することで、より監視画像として適切な画像のみを選択することができ、監視に最適な画像だけを抽出することで、より効率的な監視処理を実現する顔画像監視システムを提供することが可能となる。

この発明の各々の実施形態について、図面を参照して以下に詳細に説明する。

（第１実施形態）
まず初めに第１実施形態について、図面を用いて説明する。図１は、第１乃至第４実施形態の全体構成を示すブロックダイアグラムである。

図１において、この監視システムの全体は、画像入力部１、Ａ／Ｄ変換部２、画像バッファ（画像メモリ）３、画像処理部４（処理プロセッサ）からなる。

画像入力部１によって撮像された画像はＡ／Ｄ変換部２によってディジタル信号に変換され、画像メモリ３に格納される。処理プロセッサ４はその画像データを読み込んでディジタル画像処理を行なう。画像入力部１は例えば通常のＣＣＤカメラであってよい。

以下に、処理プロセッサ４での処理内容について詳細に説明する。図２は、第１実施形態の処理プロセッサ部の処理の流れを示すフローチャートである。

図２において、処理プロセッサ４で行なわれる処理の流れを示す。処理手順は、同一人物が存在するＮ枚の連続画像系列を切り出す処理（Ｓ５）と、選択画像枚数Ｐを決定する処理（Ｓ６）と、Ｎ枚の画像系列からＰ枚を選択する処理（Ｓ７）からなる。

図３は、シーン抽出の様子を示す説明図であり、上記したＮ枚の連続画像系列の切り出し処理（Ｓ５）は、画像メモリ３から読み出された画像と、基準となる背景画像とを比較し、それらの違いから侵入した人物候補領域を検出し、人物が検出されている連続画像系列をシーンとして抽出するものである。

人物領域検出は、例えば、連続する画像に対して差分処理を行ない、ノイズの影響を抑えるために平滑化処理を行なった後ある一定しきい値で２値化し、４連結または８連結の意味で空間的に連結する領域として統合・ラベリングを行ない、その領域の大きさ・形状から人物としての尤度の高いものを選択すればよい。このとき、２値化のしきい値は、あらかじめ与えた値であってもよいし、頻度分布の分散比を最大化する値とする手法［１］で決定してもよい。

別手法として、事後確率にもとづく手法［２］を用いてもよい。事象θ０を背景、事象θ１を人物として、ある画像内の画素の輝度を観測する前のθ０，θ１の事前確率をそれぞれｗ０，ｗ１（ただし、ｗ０＋ｗ１＝１）とし、事象θｋのもとでの画像輝度Ｉの条件付き確率をＰ（Ｉ｜θｋ）とすれば、ベイズの定理により、Ｉが観測された後の事後確率ｗ１′は
ｗ１′＝ｗ１* Ｐ（Ｉ｜θ１）／｛ｗ０* Ｐ（Ｉ｜θ０）＋ｗ１* Ｐ（Ｉ｜θ０）｝で求められる。このｗ１′があるしきい値よりも大きい画素を人物に属する画素とし、この領域がある一定のものを人物として検出すればよい。

次に、同一人物が検出されている連続画像系列を一つのシーンとして切り出すための手順の一例を説明する。最初の画像（第１フレーム）の決定は、例えば監視画面の一方の端に初めて人物候補領域が検出された時（人物侵入時）とする。また、最後の画像（最終フレーム）の決定は、例えば監視画面の一方の端に人物候補領域が検出された後に人物候補領域が検出されなくなった時（人物退出時）とする。この結果、切り出された画像枚数をＮとする。

同一人物が含まれる連続画像の切り出しは、上記に限定されるものではなく、例えば、画面内検知位置によってあらかじめ定めておいたゾーンごとに分割して切り出してもよい。また、その位置・大きさ・移動速度・色情報の類似度などにより画像間で人物の対応づけを行ないながら追跡処理を行なうことにより、人物の動きとみなされない場合は、その人物候補領域を候補より除くなどの処理を行ない、人物判定の信頼性を高めることも可能である。

また、人物は一人に限定されるものではなく、複数人物が含まれる場合でもこれらの追跡を行なうことにより各自が存在する連続画像をそれぞれ切り出すことが可能である（この場合、画像は重複して切り出される）。あるいは、複数人物が存在している連続画像を一まとまりとして切り出してもよい。

最後に、選択画像枚数Ｐの決定方法を説明する。

ここでは、選択画像枚数Ｐを、選択率αをもとにＰ＝［α* Ｎを越えない最大整数］とする。選択率αはあらかじめユーザが与えておいたものでもよいし、画像伝送部５：の混雑具合いにしたがって動的に変更してもよい。そして、Ｎ枚の中から均等に間引いてＰ枚を選択するものとする。

以上の第１実施形態として示した手順により、従来のように移動物体が示された画像の全て（Ｎ枚）を選択出力するのではなく、これを一定の手法で選択することにより代表となるＰ枚を選択するものである。こうすることにより、画像の保存をする際にも非常に記憶容量の節約を行うことができ、更に後に照合検索等を行う場合も効率的な処理を行うことができる。

（第２実施形態）
次に本発明の第２実施形態について図面を用いて説明する。本発明の実施形態の全体構成は、図１に示した第１実施形態と同じである。

以下に、処理プロセッサ４での処理内容について詳細に説明する。

図４は、第２実施形態の処理プロセッサ部の処理の流れを示すフローチャートであり、処理プロセッサ４で行なわれる処理を示す。図４において処理手順は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ８）と、その連続画像系列の各画像に対して顔認識を行なって選択優先度を計算する処理（Ｓ９）と、その選択優先度に基づいて画像を選択する処理（Ｓ１０）とからなる。

処理Ｓ８は、単純に一定時間ごとにＮ枚をバッファリングしてもよいし、第１実施形態と同様に動き検知を行ない、人物が存在するＮ枚の連続画像を切り出してもよい。パラメータＰの値は、あらかじめ固定値として与えておいてもよいし（ＰがＮ以上の時は、選択を行なわない）、第１実施形態のように選択率αをもとにＰ＝［α* Ｎを越えない最大整数］としても良い。次に、与えられた連続画像系列の各画像に対して顔認識を行なって選択優先度を計算する方法について図５を用いて具体的に説明する。図５は、画像選択部における処理の具体例を示す説明図である。

２−１．人物の顔方向評価値
例えば、人物の顔が正面向きで写っている画像は、より人物検証に適した画像であると考えられる。そこでユーザの求める顔方向（例えば正面顔）に近い画像に高い評価値を与え、優先的に選択する。

人物の顔方向は、例えば正準判別分析［３］により求めることができる。これは、正面顔、左向き顔、右向き顔などのクラスに分類された学習用顔画像を用意して、以下のような正準判別分析による識別を行なうことで実現できる。

（ａ）Ａ×Ｂドットの顔領域の画素値をＡ×Ｂ次元のベクトルと考え、クラス内分散Ｓｂ、クラス間分散Ｓｗを計算する。

（ｂ）ｉｎｖ（Ｓｗ）Ｓｂｖ＝λｖなる固有値問題を解く（ｉｎｖ（Ｓｗ）はＳｗの逆行列）。

（ｃ）Ｖ＝固有ベクトルｖｉを列ベクトルとする射影行列を求める。

（ｄ）各クラス画像の平均ベクトルをＶに射影し、各クラスの平均射影ベクトルを計算する。

（ｅ）認識時に入力画像領域をＶに射影し、その結果を（ｄ）における平均射影ベクトルと比較し、最も距離の近いクラスが入力画像の属するクラスであるとする。

この識別処理を、Ｎ枚の画像選択処理で検出された人物候補領域に対して行なうことで、顔の検知と顔方向の識別を行なうことができる。

図６は、顔方向識別処理の概念を示す説明図であり、上記の説明を補うものである。

この手法の他に、目・鼻・口などの標準パターンを用意し、そのパターンと人物領域とのマッチングをとり、パターンの位置関係から顔の向きを認識してもよい。

このようにして得られた顔方向に対して、ユーザが与えた評価値
｛正面顔＝１００、左斜め顔＝７０、右斜め顔＝７０、
右顔＝４０、左顔＝４０、後ろ側＝１０、…｝
を適用することで、人物の顔方向評価値Ｅ１が決定できる。

２−２．人物の顔面積評価値
人物の顔が大きく写っている画像は、より人物検証に適した画像であると考えられる。そこで人物の顔面積が大きい画像に高い評価値を与え、優先的に選択する。顔領域の面積Ｓは、例えば連結した肌色領域の面積を求めることで得ることができる。よって、この値を人物の顔面積評価値とすればよい。

Ｅ２＝Ｓ
２−３．人物の顔コントラスト評価値
顔のコントラストが高い画像は、より人物検証に適した画像であると考えられる。そこでこのコントラストが高い画像に高い評価値を与え、優先的に選択する。顔コントラストは、顔領域の輝度の分散値μをもとに計算できる。分散が大きいほど輝度の違いが大きくコントラストが高いといえるので、これを評価値とすればよい。よって、
Ｅ３＝μ
とすることができる。

２−４．人物の肌色鮮明度評価値
肌色の鮮明度が高い画像は、より人物検証に適した画像であると考えられる。そこでこの鮮明度が高い画像に評価値を与え、優先的に選択する。肌色鮮明度は、ＲＧＢ画像をＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｖａｌｕｅ）空間に変換する式［３］にもとづいて、顔領域の平均彩度（Ｓａｔｕｒａｔｉｏｎ）をみることで評価することができる。

例えば彩度Ｓは、
Ｓ＝（Ｉ−ｉ）／Ｉ
ただしＩ＝ｍａｘ（Ｒ、Ｇ，Ｂ），ｉ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
または
Ｓ＝｛（Ｂ−Ｒ）^２＋（Ｒ−Ｇ）^２＋（Ｇ−Ｂ）^２｝／３
で求めることができる。よって肌色鮮明度評価値は、
Ｅ４＝Ｓ
とすることができる。

２−５．人物の顔表情評価値
顔の表情がニュートラル（目つぶりなどをしていない）な画像は、より人物検証に適した画像であると考えられる。そこでこの表情に優先度を与えて評価値を計算する。顔表情評価値は、例えば、普通の表情、目つぶり顔、口開き顔などのクラスに分類された学習用顔画像を用意して、前述した顔方向識別と同様の正準判別分析による識別を行ない、各クラスにユーザが与えた評価値
｛普通の表情＝１００、目つぶり顔＝７０、口開き顔＝６０、…｝
をもとにＥ５を決定すればよい。

また他の方法として、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを用意し、そのパターンと顔領域とのマッチングをとり、パターンの組合せから表情を識別する方法で行なってもよい。

実施形態は、上記に限定されるものではなく、シーン中に複数の人物が存在する場合は、例えば各人物に対する評価値を加算するなどすればよい。また、上記は、別々の独立した評価値としたが、これらを組み合わせて一つの評価値としてもよい。例えば、複数の評価値Ｅ１，Ｅ２，…，Ｅｘ（ｘは５以下）に対して重み付け係数ｗ１，ｗ２，…，ｗｘをあらかじめ定義しておき、重み付け加算すればよい。

Ｅ６＝ｗ１* Ｅ１＋ｗ２* Ｅ２＋…＋ｗｘ* Ｅｘ
また、評価尺度自身に優先順を定義し、Ｅ１で優先度順位をつけて同位の場合はＥ２で優先度順位をつけ、Ｅ２でも同位の場合はＥ３で優先度順位をつけていくという処理を行なってもよい。

次に、その選択優先度に基づいて画像を選択する処理について説明する。ここでは、Ｎ枚の画像系列から、選択優先度の大きい順番にＰ枚の画像を選択する（ＰはＮ以下の整数で、適当にシステムより与えられるものとする）。選択された画像は、ネットワーク画像伝送したり、磁気ディスクやＶＴＲなどの適当な画像記憶装置に保存する目的に使用することができ、選択された適切な画像のみを伝送・保存すればよいので伝送容量と保存容量が少なくて済む。

処理形態については、ここではＮ枚からＰ枚を選択するとしているが、画像が１枚入力されるごとにその優先度Ｅｉを計算し、優先度があるしきい値以上の時に選択画像とするような逐次処理であってもよい。

以上第２実施形態に示す方法で移動画像を選別し出力することで、様々な顔画像の諸条件に応じて、より効率的な顔画像の監視処理を実現することが可能となる。

（第３実施形態）
次に本発明の第３実施形態について図面を用いて説明する。本発明の実施形態の全体構成は、図１で示した第１実施形態と同じである。

図７は、第３実施形態の処理プロセッサ部の処理の流れを示すフローチャートであり、処理プロセッサ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ１１）と、その連続画像系列の各画像に対して人物の全身認識を行なって選択優先度を計算する処理（Ｓ１２）と、その選択優先度に基づいて画像を選択する処理（Ｓ１３）とからなる。処理（Ｓ１１）に関しては、第２実施形態と同様であってよい。

次に、与えられた連続画像系列の各画像に対して人物の全体認識を行なって選択優先度を計算する方法（処理Ｓ１２）について具体的に説明する。図８は、人物の計数、移動、全身性の認識処理を示す説明図であり、第３実施形態を説明するものである。

３−１．人物の人数評価値
人物数が多い画像は、監視領域の様子をよりよくとらえているとして、これらを適切な画像として選択することが考えられる。逆に、人物数が少ないシーンは、監視領域での不正行為が行なわれている可能性が高いとして、これらを適切な画像として選択することも考えられる。よって、画像中の人物数にもとづいて優先度の評価値を求めることができる。最初に第１実施形態と同様な方法で人物領域を抽出し、それらの領域数から画面中に含まれている人物数Ｎｈを求める。よって人数評価値は、
Ｅ７＝Ｎｈ（人数が多いものを優先する場合）
または
Ｅ７＝１／Ｎｈ（人数が少ないものを優先する場合）
とすることができる。

３−２．人物の全身性評価値
人物の全体像をとらえている画像は、身長の高さ・服の色柄などが分かるため後からの人物検証に役立つので、このような画像に高い評価値を与え、優先的に選択する。最初に、第１実施形態と同様な方法で各画像ごとの人物領域の面積を計算する、次に、第２実施形態と同様な方法で顔領域面積を計算する。すなわち、人物領域の面積をＳ０、顔領域の面積をＳ１とすると、
Ｅ８＝Ｓ０／Ｓ１
は全体像をどれだけとらえているかの評価値となる。例えば人物面積Ｓ０に対して顔面積Ｓ１が小さいということは、体部分までの全体像をよくとらえているということを意味し、その時Ｓ０／Ｓ１は大きな値をもつ。

実施形態は、上記に限定されるものではなく、シーン中に複数の人物が存在する場合は、例えば各人物に対する評価値を加算するなどすればよい。また、上記は、別々の独立した評価値としたが、これらを組み合わせて一つの評価値としてもよい。例えば、複数の評価値Ｅ７，Ｅ８に対して重み付け係数ｗ７，ｗ８をあらかじめ定義しておき、重み付け加算すればよい。

Ｅ９＝ｗ７* Ｅ７＋ｗ８* Ｅ８
また、評価尺度自身に優先順を定義し、Ｅ７で優先度順位をつけて同位の場合はＥ８で優先度順位をつけるという階層的な処理を行なってもよい。

次に、その選択優先度に基づいて画像を選択する処理（Ｓ１３）について説明する。ここでは、第２実施形態と同様に、Ｎ枚の画像系列から、選択優先度の大きい順番にＰ枚の画像を選択する（ＰはＮ以下の整数で、適当にシステムより与えられるものとする）。選択された画像は、ネットワーク画像伝送したり、磁気ディスクやＶＴＲなどの適当な画像記憶装置に保存する目的に使用することができ、選択された適切な画像のみを伝送・保存すればよいので伝送容量と保存容量が少なくて済む。

第３実施形態においても、人物の人数、人物の全身性等の条件を設けることで、より効率的な人物の監視処理を実現することができる。

（第４実施形態）
本発明の実施形態の全体構成は、図１に示す第１実施形態と同じである。

以下に、処理プロセッサ４での処理内容について詳細に説明する。図９は、第４実施形態の処理プロセッサ部の処理の流れを示すフローチャートであり、処理プロセッサ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ１４）と、与えられたＮ枚の連続画像系列のある画像Ｉ_ｉに対し、Ｉ_ｉ自身と過去のｋ枚の画像の情報をもとに選択優先度を求める関数Ｅ（ｆ_ｉ）＝ｆ（Ｉ_ｉ−ｋ，Ｉ_{ｉ−ｋ＋１}，…，Ｉ_ｉ）を定義し（Ｉ_ｉ−ｋは、「ｉ−ｋ番目の画像Ｉ」を表す）、この関数にもとづいて選択優先度を計算する処理（Ｓ１５）と、その選択優先度に基づいて画像を選択する処理（Ｓ１６）とからなる。処理（Ｓ１４）については、第２実施形態と同様でよい。

次に、関数にもとづいて、選択優先度を計算する処理（Ｓ１５）について説明する。図８は、人物の計数、移動、全身性の認識処理を示す説明図である。

４−１．人物の移動速度評価値
移動速度が小さいシーンは人物が安定して静止しており、より人物検証のしやすい適切な画像であると考えられる。よって、より移動速度が小さいシーンに高い評価値を与え、優先的に選択する。

画像Ｉ_ｉ−１とＩ_ｉに含まれる人物領域の情報に対して、位置・大きさ・色の類似性などをもとに人物領域の対応関係を求め（人物追跡）、それらの位置の変化から移動ベクトル（移動速度）Ｖが求まる。よって人物の移動速度評価値は
Ｅ１０＝１／（ｃ＋Ｖ）（ｃは、Ｖ＝０の時にゼロ除算を避けるための定数）
とすることができる。

４−２．人物の非定常性評価値
人物が通常とは異なる動作を行なったシーンは、なんらかの特殊なイベントが発生している可能性が高く、検証において重要である。よってこれらの非定常性に対して高い評価値を与え、優先的に選択する。

あらかじめ、定常的な動作・非定常的な動作に対する人物領域の特徴量（例えば移動ベクトル、位置、大きさ、形状）の変化系列の標準パターンを学習しておく。入力画像系列Ｉ_ｉ−ｋ，Ｉ_{ｉ−ｋ＋１}，…，Ｉ_ｉに対しても同様に人物領域の特徴量の変化系列を求め、これらをＤＰマッチングやＨＭＭモデルによるマッチングなどを行なって標準パターンとのマッチングを行なう。

このときの定常的な動作としては、例えばコンビニエンスストア内での監視システムであれば、一般の客が立ち入るはずのないレジカウンタ内への侵入等が考えられる。画像内のレジカウンタ領域を設定しておくことで、移動物体がこの画像領域に侵入することを特殊イベントと判断する場合などである。

ここで、入力画像系列に対して、定常動作の特徴量変化パターン群ではＡｍと最もマッチングスコアＳｃｏｒｅ（Ａｍ）が高く、非定常動作の特徴量変化パターン群ではＢｎと最もマッチングスコアＳｃｏｒｅ（Ｂｎ）が高かったとすれば、非定常性を表す評価値は
ＥＥ＝（非定常との類似度）−（定常との類似度）＝Score(Bn)−Score(Am)
で求めることができる。複数の特徴量系列に対する評価値ＥＥ１，ＥＥ２，…，ＥＥｘを用いる場合は、重み付け係数ｗｗ１，ｗｗ２，…，ｗｗｘにより重み付け加算すればよい。

Ｅ１１＝ｗｗ１* ＥＥ１＋ｗｗ２* ＥＥ２＋…＋ｗｗｘ* ＥＥｘ
上記は、別々の独立した評価値としたが、これらを組み合わせて一つの評価値としてもよい。例えば、複数の評価値Ｅ１０，Ｅ１１に対して重み付け係数ｗ１０，ｗ１１をあらかじめ定義しておき、重み付け加算すればよい。

Ｅ１２＝ｗ１０* Ｅ１０＋ｗ１１* Ｅ１１
また、評価尺度自身に優先順を定義し、Ｅ１０で優先度順位をつけて同位の場合はＥ１１で優先度順位をつけるという階層的な処理を行なってもよい。

次に、その選択優先度に基づいて画像を選択する処理（Ｓ１１）について説明する。ここでは、第２実施形態と同様に、Ｎ枚の画像系列から、選択優先度の大きい順番にＰ枚の画像を選択する（ＰはＮ以下の整数で、適当にシステムより与えられるものとする）。選択された画像は、ネットワーク画像伝送したり、磁気ディスクやＶＴＲなどの適当な画像記憶装置に保存する目的に使用することができ、選択された適切な画像のみを伝送・保存すればよいので伝送容量と保存容量が少なくて済む。

第４実施形態においても、人物の移動速度や、所定領域内への侵入の検出等を参考にして画像を選別することで、より効率的な画像監視処理を実現することができる。

（第５実施形態）
本発明の実施形態の全体構成は、図１に示された第１実施形態と同じである。

図１０は、第５実施形態の処理プロセッサ部の処理の流れを示すフローチャートであり、処理プロセッサ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ１７）と、シーンに含まれる全画像Ｎ枚（Ｉ_０からＩ_Ｎ）からＰ枚を選ぶ「組み合せ」ｎＣｐ通りに対して評価関数ｇ（）を定義し、この関数にもとづいて選択優先度を計算する処理（Ｓ１８）と、その選択優先度に基づいて画像を選択する処理（Ｓ１９）とからなる。処理（Ｓ１７）については、第２実施形態と同様でよい。

次に、関数に基づいて選択優先度を計算する処理１４について図１１を参照して説明する。図１１は、Ｐ枚の組み合わせに基づく画像選択部における処理の具体例を示す説明図である。

５−１．人物位置の多様性
ある人物が侵入してから退出するまでに移動した軌跡をできるだけ等間隔にサンプルする画像を選択すれば、それは人物の行動の全体をより適切に要約していると考えられる。よってこのような画像をＰ枚選択する。（画像枚数にもとづいた単純な等間隔サンプリングでは、立ち止まり状態ばかりが選択されてしまう場合がある）
画像Ｉ_ｉにおける人物の座標（Ｘ（Ｉ_ｉ），Ｙ（Ｉ_ｉ））は、Ｎ枚の画像系列の選択部８：において人物候補領域として求まっている。またＩ_ｉからＩ_ｊへの移動ベクトルは、Ｉ_ｉにおける座標とＩ_ｊにおける座標の差として求められる。よって、Ｎ枚の画像からＰ枚を選び出した｛Ｉ′_ｉ，…，Ｉ′_Ｐ｝の画像の組（ｎＣｐ通り）に対して、移動ベクトルの平均Ｖ_ａｖｅと移動ベクトルの分散Ｖ_ｄｉｓｐを求め、Ｖ_ａｖｅが最大、Ｖ_ｄｉｓｐが最小となるようなＰ枚の組を選択すればよい。つまり、Ｖ_ａｖｅが大きいということは画像間での移動が大きくなるよう適切に選択されていることを示しており、またＶ_ｄｉｓｐが小さいということはより等間隔に近いサンプリングが行なえていることを示している。図１２は、人物位置の多様性に基づく選択の例を示す図である。

５−２．人物顔の多様性
ある人物がより様々な方向を向いた画像を選択すれば、それは人物の特徴をより多くとらえており、検証に役立つと考えられる。よってこのような画像をＰ枚選択する。まず顔の方向とその尤度は、前述した正準判別分析による顔方向識別によって求められる。この時にシーンに含まれる顔方向クラスの種類数をＣとする。より多様な顔方向の画像を得るには、Ｎ枚からＰ枚選ぶ組み合せの中から、顔方向の分散の大きい組を選択すればよい。例えば、顔方向クラスに１，２，…，Ｃのクラス番号をつけ、Ｐ枚の画像のクラス番号値の分散が最大になるように選択する。（どのクラスもまんべんなく選択されると、クラス番号値の分散は大きくなる）またこのとき、各画像の顔尤度の高さを重み付けしてもよい。以上の処理により、より様々な方向を向いた顔画像を選択することができる。

上記の第１実施形態から第５実施形態は、リアルタイムで行なってもよいし、いったん画像を蓄積しておいて、後でバッチ型で処理してもよい。

以上第５実施形態においても、人物位置の多様性や人物顔の多様性を考慮した画像が選択出力されることにより、効率的な監視処理を実現できるものである。

（第６実施形態）
最後に本発明の実施形態の全体構成を図１３に示す。

図１３において、この画像監視システムは、画像入力部２０と、Ａ／Ｄ変換部２１と、画像バッファ（画像メモリ）２２と、画像処理部２３（処理プロセッサ）と、画像蓄積部２４とからなる。

画像入力部２０によって撮像された画像はＡ／Ｄ変換部２１によってディジタル信号に変換され、画像メモリ２２に格納される。処理プロセッサ２３はその画像データを読み込んでディジタル画像処理を行なう。画像入力部２０は例えば通常のＣＣＤカメラであってよく、画像蓄積部２４は通常の磁気ディスクであってよい。

以下に、処理プロセッサ２３での処理内容について詳細に説明する。

図１４に、処理プロセッサ２３で行なわれる処理の流を示す。処理手順は、同一人物が存在するＮ枚の連続画像系列を切り出す処理（Ｓ２５）と、各画像に対して人物及び顔画像認識を行なってＮ枚の画像系列からＰ枚を選択する処理（Ｓ２６）と、Ｐ枚の画像を画像蓄積部に登録する処理（Ｓ２７）と、画像蓄積部から画像を検索表示する処理（Ｓ２８）とからなる。

同一人物が存在するＮ枚の連続画像系列を切り出す処理（Ｓ２５）は、第１実施形態と同じである。また、各画像に対して人物及び顔画像認識を行なってＮ枚の画像系列からＰ枚を選択する処理（Ｓ２６）は、第２乃至第５実施形態と同様である。Ｐ枚の画像を画像蓄積部に登録する処理に関しては、その画像が撮影されたカメラＩＤ、時刻などの画像に関する付属情報とともにデータベース登録を行なう。データベースのデータ構造に関する定義はあらかじめ、例えば、リレーショナルテーブル形式により行なっておくものとする。ここでは、画像を検索表示する方法を具体的に説明する。図１５は、本発明に係る画像検索、照合の概念を示す説明図である。

画像選択された画像をサムネイル表示（代表画像表示）することで、ユーザが容易に監視画像を検証することができる。さらに、ユーザが提示した顔写真（例えば指名手配犯）を、これらの画像と自動的に照合を行なって類似度の高い顔画像または画像系列を表示させることが可能である。また、ユーザが指定するのは画像ではなく画像系列であってもよい。

人物の照合は、指定された人物の画像／画像系列とその他の人物の顔画像群をもとに、主成分分析や正準判別分析により、指定された人物と類似したパターンを検索する［４］［５］。また検索には、色情報の類似度を用いたり、第４実施形態で示したような特徴量系列の類似度を用いたりしてもよい。これらにより、監視画像系列から、例えばある人物を検索したり、ある挙動（例えばレジへの侵入）のみを取り出したりといったことが可能になる。

以上第６実施形態によって、監視システムに画像蓄積部を設けたことにより、所定条件に応じて選択出力された画像を自動的に順次格納することが可能となる。更にこれらの格納画像について、一定条件に応じた代表画像をサムネイル表示させることにより、より直感的な監視状況の把握を可能とするものである。

なお、参考文献を以下に列記する。

［１］大津：“判別および最小二乗基準に基づく自動しきい値選定法”，信学論，Vol.J63-D, No.4, pp.349-356,1980.
［２］中井：“事後確率を用いた移動物体検出手法”，情処研報，94-CV-90, pp.1-8,1994.
［３］高木，下田：“画像解析ハンドブック”，東京大学出版会，1991.
［４］ W Zhao, R.Chellappa他：“Discriminant Analysis of Principal Components for Face Recognition”，International Conference on Automatic Face & Gesture Recognition, Nara, Japan, April 1998.
［５］B.Moghaddam, A.Pentland他：“Beyond Eigenfaces: Probabilistic Matching for Face Recognition”，International Conference on Automatic Face & Gesture Recognition, Nara, Japan, April 1998.

図１は、第１乃至第４実施形態の全体構成を示すブロックダイアグラム。図２は、第１実施形態の処理プロセッサ部の処理の流れを示すフローチャート。図３は、シーン抽出の様子を示す説明図。図４は、第２実施形態の処理プロセッサ部の処理の流れを示すフローチャート。図５は、画像選択部における処理の具体例を示す説明図。図６は、顔方向識別処理の概念を示す説明図。図７は、第３実施形態の処理プロセッサ部の処理の流れを示すフローチャート。図８は、人物の計数、移動、全身性の認識処理を示す説明図。図９は、第４実施形態の処理プロセッサ部の処理の流れを示すフローチャート。図１０は、第５実施形態の処理プロセッサ部の処理の流れを示すフローチャート。図１１は、Ｐ枚の組み合わせに基づく画像選択部における処理の具体例を示す説明図。図１２は、人物位置の多様性に基づく選択の例を示す図。図１３は、第６実施形態の全体構成を示すブロックダイアグラム。図１４は、第６実施形態の処理プロセッサ部の処理の流れを示すフローチャート。図１５は、本発明に係る画像検索、照合の概念を示す説明図。

符号の説明

１ … 画像入力部
２ … Ａ／Ｄ変換部
３ … 画像メモリ
４ … 処理プロセッサ
２４ … 画像蓄積部

Claims

監視対象の複数の画像情報を外部から連続的に受け、前記画像情報中の移動物体を検出する移動物体検出手段と、
前記移動物体検出手段が前記移動物体を検出したとき、そのＮ枚の移動物体画像情報から顔領域を検出する顔領域検出手段と、
前記顔領域検出手段が顔領域を検出したとき、前記顔領域を目の開閉状態、及び口の開閉状態に基づいて評価した評価値を出力する顔領域評価手段と、
前記顔領域評価手段により出力された評価値に基づいて、前記移動物体が含まれる前記Ｎ枚の画像情報から評価値の高いものを選択優先度を大きくし、選択優先度の大きい順番に所定枚数Ｐの画像情報を選択し出力する画像情報選択手段と、を有することを特徴とする顔画像監視システム。
監視対象の複数の画像情報を外部から連続的に受取る画像受取手段と、
前記画像受取手段が受取った画像情報から顔領域を検出する顔領域検出手段と、
前記顔領域検出手段が顔領域を検出したとき、そのＮ枚の画像情報の前記顔領域を目の開閉状態、及び口の開閉状態に基づいて評価した評価値を出力する顔領域評価手段と、
前記顔領域評価手段により出力された評価値に基づいて、前記顔領域が含まれる前記Ｎ枚の画像情報から評価値の高いものを選択優先度を大きくし、選択優先度の大きい順番に所定枚数Ｐの画像情報を選択し出力する画像情報選択手段と、
前記画像情報選択手段が選択した画像情報を記憶する画像情報記憶手段と、
を有することを特徴とする顔画像監視システム。