JP7102137B2

JP7102137B2 - 不審者検知装置

Info

Publication number: JP7102137B2
Application number: JP2017243142A
Authority: JP
Inventors: 直幸高田; 友祐佐野; 健糸賀
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2022-07-19
Anticipated expiration: 2037-12-19
Also published as: JP2019110474A

Description

本発明は、顔画像を照合することによって不審者を検知する不審者検知装置に関する。

昨今、空港、駅、イベント会場のように不特定多数の人物が集まるエリアにおいて監視すべき対象のひとつとして、手配者などの不審者が挙げられる。

従来、監視を強化しているエリアに存在するすべての人物の顔画像と、既知の不審者の顔特徴情報とを照合して不審者の検出を行っていた。

例えば、特許文献１に記載の画像監視システムにおいては、特に監視の必要がある詳細監視エリアの設定を含んだエリア情報を記憶させておくと共に、指名手配犯（すなわち不審者）の顔画像などを異常判定データとして記憶させておき、個体特徴抽出手段が詳細監視エリア内に存在する人物の顔画像を抽出し、判定手段が、抽出された顔画像と異常判定データとして記憶されている顔画像と照合し、照合一致した人物を不審者と判定していた。

また、この画像監視システムにおいては、詳細監視エリアでない通常監視エリア内の人物については、顔画像の照合などの個体特徴の解析を行わずに移動速度などの移動特徴の解析に留めることによって、処理量を低減しつつプライバシーに配慮している。

特開２０１５－０８８８１６号公報

しかしながら、監視を強化しているエリアであっても、その中に存在する人物の大多数は不審者ではないため、不要な照合処理が多く生じるという問題があった。そのため、照合処理の処理量の低減、及びプライバシーへの配慮について改善の余地があった。

本発明の目的は、不特定多数の人物が集まるエリアにおいて、照合処理の処理量を低減すると共に、プライバシーに配慮して不審者を検知できる不審者検知装置を提供することにある。

本発明は、所定のエリアが撮影された時系列に並ぶ複数の画像から１又は複数の人物を検出して、前記複数の画像間において前記人物それぞれの人物領域を追跡する人物追跡部と、前記複数の画像における前記人物領域から前記人物の顔画像を検出し、検出した顔画像の種類が隠蔽顔画像であるか素顔画像であるかを判定する顔検出部と、前記顔検出部による顔画像の種類の判定結果と、前記顔検出部が検出した前記素顔画像を前記人物毎に区別して記憶する顔画像記憶部と、不審者の顔特徴量を記憶する不審者情報記憶部と、前記人物のうち、前記複数の画像から前記隠蔽顔画像と前記素顔画像の両方が検出された顔状態変化人物について、前記素顔画像の特徴量と前記不審者の顔特徴量を照合して照合結果を出力し、前記複数の画像から前記隠蔽顔画像が検出されず前記素顔画像が検出された顔状態不変化人物については、検出された前記素顔画像を照合する処理を行わない顔画像照合部と、を備えることを特徴とする不審者検知装置である。

望ましくは、前記顔画像記憶部は、さらに、前記顔検出部が検出した前記隠蔽顔画像を前記人物毎に区別して記憶し、前記顔画像照合部は、前記照合結果として、前記顔状態変化人物の前記隠蔽顔画像及び前記素顔画像を出力する、ことを特徴とする。

望ましくは、前記不審者情報記憶部は、前記不審者の顔特徴量と対応付けて当該不審者の顔画像を記憶し、前記顔画像照合部は、前記照合結果として、前記顔状態変化人物と照合一致した不審者の顔画像を出力する、ことを特徴とする。

本発明によれば、不特定多数の人物が集まるエリアにおいて、照合処理の処理量を低減すると共に、プライバシーに配慮して不審者を検知できる不審者検知装置を提供することができる。

本実施形態に係る不審者検知システムの構成概略図である。時系列画像から顔画像を検出し、各顔画像の顔状態が検出される様子を示す概念図である。顔画像ログのデータ構造の例を示す概念図である。本実施形態に係る不審者検知装置の処理の流れを示すフローチャートである。顔画像の種類の判定処理の流れを示すフローチャートである。

以下、本発明の実施形態について説明する。

図１は、本実施形態に係る不審者検知システムの構成概略図である。本実施形態に係る不審者検知システムは、カメラ１０及び不審者検知装置１２を含んで構成される。

カメラ１０は、ＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサなどから構成される。カメラ１０は所定のエリアに向けて設置され、すなわち所定のエリアを撮影する。本実施形態における所定のエリアとは、不特定多数の人物が集まるエリアであって、特に不審者の監視が必要なエリアであり、例えば、空港、駅、イベント会場などである。

カメラ１０は、時系列に並ぶ複数の画像（以下「時系列画像」と記載する）を取得する。カメラ１０は、所定の間隔（例えば２００［ｍｓ］間隔）で静止画を撮影することで時系列画像を取得してもよいし、動画像を撮影することで時系列画像を取得してもよい。動画像を撮影する場合は、各フレーム画像あるいは数フレーム間隔の各画像が時系列画像を構成する。

カメラ１０は通信部（図１において不図示）を有しており、時系列画像に含まれる各画像を順次、インターネットあるいはＬＡＮなどの通信回線を介して不審者検知装置１２に送信する。なお、カメラ１０は１台のカメラで構成してもよいが、複数台のカメラによって構成することもできる。この場合、時系列に並ぶ複数の画像のそれぞれは、複数台のカメラによって略同時刻に撮影された複数の画像から構成される。

不審者検知装置１２は、例えば、空港、駅、イベント会場などに設置される中央監視室に設置されるコンピュータにより構成される。なお、不審者検知装置１２としては、以下に説明する機能を発揮可能な限りにおいてどのような装置であってもよい。

通信部２０は、例えばネットワークアダプタなどを含んで構成される。通信部２０は、通信回線を介してカメラ１０と通信する機能を発揮する。具体的には、通信部２０は、カメラ１０が取得した時系列画像を順次受信する。

表示部２２は、例えば液晶ディスプレイなどを含んで構成される。表示部２２には、カメラ１０が取得した時系列画像がリアルタイムで表示される。あるいは、表示部２２には、後述の制御部３０による、時系列画像からの不審者の検出結果などが表示される。

記憶部２４は、ＲＯＭやＲＡＭなどの半導体メモリ、あるいはハードディスクなどの磁気記憶媒体などを含んで構成される。記憶部２４には、不審者検知装置１２の各部を動作させるための不審者検知プログラムが記憶される。また、図１に示される通り、記憶部２４には、不審者情報ＤＢ２６及び顔画像ログ２８が記憶される。

不審者情報ＤＢ２６には、不審者の顔特徴量が記憶される。したがって、記憶部２４は、不審者情報記憶部としても機能する。不審者の顔特徴量とは、例えば、不審者の顔画像から抽出された特徴点及び／又は領域単位の特徴量などを含んで構成されるものである。顔特徴量としての特徴点は、例えば、不審者の素顔から抽出された特徴点であってよい。不審者の顔特徴量は予め提供されて不審者情報ＤＢ２６に記憶される。もちろん、不審者情報ＤＢ２６は複数の不審者の顔特徴量が記憶されていてよい。

また、不審者情報ＤＢ２６には、不審者の顔特徴量に対応付けて、当該不審者の顔画像が記憶されていてもよい。顔特徴量は監視員が不審者の顔を視認不能な情報であり、顔画像は監視員が不審者の顔を視認可能な情報である。

顔画像ログ２８には、カメラ１０が取得した時系列画像に対する、後述の制御部３０による処理結果などが記憶される。顔画像ログ２８に記憶されるデータの詳細については後述する。

制御部３０は、例えばＣＰＵや画像処理ＩＣなどを含んで構成される。制御部３０は、記憶部２４に記憶された不審者検知プログラムに従って、不審者検知装置１２の各部を制御する。また、図１に示される通り、制御部３０は、人物追跡部３２、顔検出部３４、顔画像照合部３６、及び出力処理部３８としても機能する。

人物追跡部３２は、所定のエリアが撮影された時系列画像に含まれる複数の画像それぞれから当該エリアに現れた１又は複数の人物を検出し、人物毎に、人物が写っている領域である人物領域を設定する。

具体的には、本実施形態では、人物追跡部３２は、時系列画像に含まれる注目画像と、時系列画像において注目画像の直前の画像である直前画像との差分を抽出し、変化領域の大きさや縦横比などが人間らしい形状であるかに基づいて、注目画像において人物が写っている領域（すなわち人物領域）が存在するか否か判定する。なお、人物領域の検出方法としては、このフレーム差分法による人物領域抽出方法に代えて、移動物体が存在しない状態で撮影された背景画像との差分抽出を行う背景差分法、様々な人の画像と無人画像とを学習データとして用いて人の画像の識別モデルを学習させた学習識別器（人識別器）を利用した方法など、種々の方法を選択できる。

さらに、人物追跡部３２は、時系列画像に含まれる複数の画像間において、人物それぞれの人物領域を追跡する。ここで、人物領域の追跡とは、複数の画像間において、直前画像における特定の人物領域と同じ人物に対応する人物領域を注目画像において特定する処理である。

具体的には、本実施形態では、人物追跡部３２は、注目画像から抽出した人物領域（人物領域Ａ）と直前画像の人物領域（人物領域Ｂ）との同一性を、注目画像における人物領域Ａの位置と直前画像における人物領域Ｂの位置の距離に基づいて判定する。人物領域の位置とは、例えば、人物領域の重心位置や足元位置を採用することができる。直前画像において、人物領域Ａからの距離が閾値未満の人物領域Ｂが存在する場合には、人物領域Ａと人物領域Ｂに含まれる人物は同一の人物であるとみなし、人物領域Ａに対して、人物領域Ｂに付されている系列ＩＤと同じ系列ＩＤを付与する。すなわち、人物追跡部３２は、各人物領域に対し系列ＩＤを付し、同じ系列ＩＤが付された人物領域が同一の人物に対応する人物領域を示すこととなる。一方、直前画像において、人物領域Ａからの距離が所定の閾値未満となる人物領域Ｂが存在しない場合、人物領域Ａに含まれる人物は、注目画像から新たに撮影領域内に入ってきた人物とみなし、新たな系列ＩＤを付与する。なお、同一性の判定は、人物領域の位置に代えて、又は人物領域の位置に加えて、人物領域における色ヒストグラムなどの画像特徴量を用いて行うこともできる。なお、この場合、変化し得る顔領域を除いた人物領域の画像特徴量とすることによって追跡精度を向上させることができる。例えば人物領域の上４分の１を除いて下４分の３の領域の画像特徴量を用いる。また、視野を共有しないカメラの間で追跡する場合は、直前画像に限定せずに当該カメラ間の移動に要する時間範囲の過去画像において抽出された人物領域を対象として画像特徴量を用いた同一性の判定を行えばよい。

顔検出部３４は、時系列画像に含まれる複数の画像において、人物追跡部３２によって検出されたそれぞれの人物領域を解析して、各人物領域に含まれる人物の顔画像を検出する。

具体的には、本実施形態では、顔検出部３４は、人物領域から人物の顔を示す顔領域を検出し、顔領域を含む矩形状の領域を切り出し、それを顔画像として検出する。そして、検出した顔画像を当該人物領域に対応する系列ＩＤと対応付けて顔画像ログ２８に記憶させる。

詳しくは、顔検出部３４は、予め用意され記憶部２４に記憶された顔形状モデルを用いて人物領域上で顔領域を探索する。具体的には、人物領域においてエッジ画素を抽出する処理を施し、抽出したエッジ画素からなる画像から頭部の輪郭形状と近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。ここで、所定の抽出基準以上の大きさ（面積）である楕円領域を抽出対象とするようにしてもよい。ちなみに、楕円領域の大きさは、長軸の長さと短軸の長さを用いて算出される。あるいは、例えば、素顔時の頭部、顔隠蔽状態の頭部、後ろ向きの頭部を含む様々な頭部画像と頭部が写っていない画像とを学習データとして用いて頭部の画像の識別モデルが学習された学習識別器（頭部識別器）を用いて、顔領域を抽出する。

さらに、顔検出部３４は、各画像の各人物領域から検出した顔画像の種類が、隠蔽顔画像であるか、素顔画像であるのか、あるいは判定不能画像であるのかを判定する。

ここで、隠蔽顔画像とは、後述の顔画像照合部３６が、不審者情報ＤＢ２６に記憶された不審者の顔特徴量との間で照合不可能な程度に素顔が隠蔽された状態の顔画像を意味する。例えば、隠蔽顔画像としては、予め指定した装飾品を所定数以上（例えば２つ以上）装着しており、且つ／又は、顔のパーツが一定の割合以上（例えば半分以上）隠蔽された顔画像が挙げられる。装飾品とは、例えば、マスク、サングラス、帽子などである。

また、素顔画像とは、後述の顔画像照合部３６が、不審者情報ＤＢ２６に記憶された不審者の顔特徴量との間で照合可能な程度に素顔が露出した状態の顔画像を意味する。なお、メガネや髭などは、素顔の一部としてみなすようにしてもよい。

また、判定不能画像とは、顔検出部３４が隠蔽顔画像であるか素顔画像であるか識別できない画像を意味する。判定不能画像とは、例えば人物の後頭部を表す画像が挙げられる。

顔検出部３４による顔画像の種類の判定処理は、例えば以下のように実行される。まず、顔検出部３４は、顔画像が前向きであるか否かを判定する。前向き判定処理としては、例えば、顔画像から額、眼、鼻、口、顎といった顔を構成する部位の形状と近似するエッジ分布を検出し、楕円領域における額、眼、鼻、口、顎の大まかな位置関係が顔形状モデルと類似する場合に前向きと判定することができる。そうでない場合、例えば額、眼、鼻、口、顎といった顔を構成する部位が顔画像から検出されなかった場合に、後向きと判定することができる。あるいは、例えば、様々な方向を向いた顔を含む画像と当該顔の向きを示す情報との組を学習データとして用いて顔の向き毎の画像の識別モデルが学習された学習識別器（顔方向識別器）を用いて、顔画像が前向きであるのか後向きであるのかを判定するようにしてもよい。顔検出部３４は、顔画像を後向きと判定した場合、当該顔画像を判定不能画像と判定する。

顔画像が前向きであると判定した場合、次いで、顔検出部３４は、顔画像から装飾品を検出する装飾品検出処理を行う。顔検出部３４は、マスクやサングラスといった各種装飾品を着用した状態の顔画像と着用した装飾品を示す情報との組を学習データとして用いて装飾品毎の及び／又は装飾品の組み合わせ毎の画像の識別モデルが学習された学習識別器（装飾品識別器）に顔画像を入力することで、顔画像から装飾品を検出することができる。装飾品識別器は、例えば、サポートベクタマシン、又は、１又は複数の畳み込みニューラルネットワークなどでモデル化された学習識別器とすることができる。

顔検出部３４は、装飾品検出処理により、顔画像から所定数以上（本実施形態では２つ以上）の装飾品を検出した場合は、当該顔画像を隠蔽顔画像と判定し、所定数未満の装飾品が検出された場合、あるいは装飾品を検出しなかった場合には、当該顔画像を素顔画像と判定する。

図２は、時系列画像４０に含まれる各画像４０ａ～４０ｃに対する、人物追跡部３２及び顔検出部３４の処理結果を示す図である。図２の例では、人物追跡部３２により、各画像４０ａ～４０ｃにおいて、人物１に関する人物領域４２－１が検出及び追跡され、人物２に関する人物領域４２－２が検出及び追跡され、人物３に関する人物領域４２－３が検出及び追跡されている。

また、顔検出部３４により、各画像４０ａ～４０ｃの人物領域４２－１から人物１の顔画像４４ａ～４４ｃが検出され、各画像４０ａ～４０ｃの人物領域４２－２から人物２の顔画像４６ａ～４６ｃが検出され、各画像４０ａ～４０ｃの人物領域４２－３から人物３の顔画像４８ａ～４８ｃが検出されている。

さらに、顔検出部３４により、顔画像４４ａ～４４ｃ、顔画像４６ａ～４６ｃ、及び顔画像４８ａ～４８ｃの種類が判定されている。図２の例では、人物１の顔画像４４ａ、４４ｂは素顔画像であり、顔画像４４ｃは隠蔽顔画像となっている。また、人物２の顔画像４６ａ及び４６ｃは素顔画像であり、顔画像４６ｂは判定不能画像となっている。また、人物３の顔画像４８ａ～４８ｃはいずれも隠蔽顔画像となっている。

人物追跡部３２及び顔検出部３４の処理結果は、顔画像ログ２８に記憶される。具体的には、顔画像ログ２８には、系列ＩＤ毎に（すなわち人物毎に）区別して、時系列画像４０に含まれる各画像から検出された顔画像の種類の判定結果が記憶される。

図３は、顔画像ログ２８のデータ構造の例を示す図である。図３の例は、図２に示す時系列画像４０に対する人物追跡部３２及び顔検出部３４の処理結果である。顔画像ログ２８は、時系列画像４０に含まれる各画像における、各人物の顔画像の種類の履歴を示すものであるといえる。例えば、系列ＩＤ１（人物１）については、画像４０ｃの直前の画像までは素顔画像であったが画像４０ｃから隠蔽顔画像に変化したことが示されている。また、系列ＩＤ２（人物２）については、画像４０ｂで一旦判定不能画像となったが、その他は素顔画像であることが示されている。また、系列ＩＤ３（人物３）については、一貫して隠蔽顔画像であることが示されている。

また、顔画像ログ２８には、時系列画像４０から顔検出部３４が検出した、少なくとも素顔画像が記憶される。図２の例では、顔画像４４ａ、４４ｂ、４６ａ、及び４６ｃが記憶される。各素顔画像は、系列ＩＤ毎、すなわち人物毎に区別されて記憶される。好適には、顔画像ログ２８には、素顔画像のみならず隠蔽顔画像（図２の例では、顔画像４４ｃ、４８ａ～４８ｃ）も記憶される。隠蔽顔画像も系列ＩＤ、すなわち人物毎に区別されて記憶される。以上のように、記憶部２４は顔画像記憶部としても機能する。

図１に戻り、顔画像照合部３６は、顔検出部３４が時系列画像４０から検出した素顔画像の特徴量と、不審者情報ＤＢ２６に記憶されている不審者の顔特徴量とを照合する照合処理を実行する。特に、本実施形態では、顔画像照合部３６は、時系列画像４０から検出された素顔画像全てに対して照合処理を実行するのではなく、時系列画像４０から隠蔽顔画像と素顔画像の両方が検出された人物である顔状態変化人物についてのみ、照合処理を実行する。換言すれば、顔画像照合部３６は、時系列画像４０に含まれる複数の画像から隠蔽顔画像と素顔画像の両方が検出されなかった人物である顔状態不変化人物については、照合処理を実行しない。

ここで、顔状態不変化人物としては、時系列画像４０に含まれる複数の画像から、隠蔽顔画像と素顔画像の一方のみが検出された人物、隠蔽顔画像と判定不能画像が検出された人物、あるいは、素顔画像と判定不能画像が検出された人物を含む。

顔画像照合部３６は、顔画像ログ２８を参照して、照合処理の対象となる系列ＩＤ（すなわち人物）を特定する。図３の例においては、顔画像照合部３６は、顔状態変化人物である系列ＩＤ１（人物１）については照合処理の対象とし、顔状態不変化人物である系列ＩＤ２（人物２）及び系列ＩＤ３（人物３）については照合処理の対象としない。

これは、カメラ１０の撮影領域である監視エリアにおいて、素顔だった人物があるタイミングから隠蔽顔となった場合、あるいは、隠蔽顔だった人物が素顔となった場合には、当該人物は不審者である可能性が高いという知見に基づくものである。すなわち、本実施形態では、不審者である可能性が高い人物に絞って、当該人物の素顔画像の特徴量と不審者の顔特徴量とを照合する。

なお、時系列画像４０に含まれる複数の画像において、隠蔽顔画像のみが検出された人物、あるいは隠蔽顔画像と判定不能画像が検出された人物も、不審者である可能性が高いといえる。しかしながら、隠蔽顔画像あるいは判定不能画像では、不審者の顔特徴量との間で照合処理を行うことができないから、本実施形態においては、このような人物については照合処理を実行しない。しかしながら、このような人物については、要監視人物としてラベル付けした上で追跡を継続し、後に、当該人物の素顔画像が検出された場合には、当該素顔画像の特徴量と不審者の顔特徴量との間で照合を行う。

顔画像照合部３６は、不審者情報ＤＢ２６に記憶された複数の不審者の顔特徴量の中に、顔状態変化人物の素顔画像の特徴量との類似度が所定値以上であるものが存在する場合には、当該顔状態変化人物を不審者として特定する。一方、不審者情報ＤＢ２６に記憶された複数の不審者の顔特徴量の中に、顔状態変化人物の素顔画像の特徴量との類似度が所定値以上であるものが存在しない場合には、当該顔状態変化人物を不審者情報ＤＢ２６に記憶された不審者ではないと特定する。なお、類似度の算出方法としては、既知の方法を採用することができる。

出力処理部３８は、照合処理の結果を出力（報知）する。本実施形態では、照合処理の結果は表示部２２に表示される。上述のように、表示部２２には、カメラ１０が取得した時系列画像がリアルタイムで表示されるから、顔画像照合部３６の照合処理の結果を当該時系列画像に重ねて表示するようにしてもよい。例えば、不審者として特定された人物の人物領域を着色し、不審者ではない人物の人物領域には着色しないなどの表示態様で両者を区別可能に表示することができる。なお、不審者が検出された場合には、表示部２２への表示に加えて、音声による報知がなされてもよい。

また、出力処理部３８は、要監視人物（すなわち時系列画像４０に含まれる複数の画像において、隠蔽顔画像のみが検出された人物、あるいは隠蔽顔画像と判定不能画像が検出された人物）が検出されたことを出力するようにしてもよい。その場合においては、例えば、表示部２２において、不審者同様、要監視人物として特定された人物の人物領域を不審者とは異なる色で着色し、要監視人物ではない人物の人物領域には着色しないなどの表示態様で両者を区別可能に表示することができる。また、要監視人物が検出された場合にも、表示部２２への表示に加えて、音声による報知がなされてもよい。

また、好適には、出力処理部３８は、照合結果として、時系列画像から検出された、顔状態変化人物の隠蔽顔画像及び素顔画像を出力するようにしてもよい。出力された隠蔽顔画像及び素顔画像は、例えば、監視エリアを監視する監視員に提供される。監視員は、提供された隠蔽顔画像及び素顔画像を参照することで、当該顔状態変化人物を探し出す作業がより容易になる。

なお、出力処理部３８は、不審者と特定された顔状態変化人物のみの隠蔽顔画像及び素顔画像を出力するようにしてもよいが、不審者検知装置１２と監視員による不審者のダブルチェックを可能にするために、出力処理部３８は、不審者と特定された顔状態変化人物のみならず、不審者ではないと特定された顔状態変化人物の隠蔽顔画像及び素顔画像を出力するようにしてもよい。

また、出力処理部３８は、照合結果として、顔状態変化人物の素顔画像の特徴量と照合一致した不審者の顔特徴量に関連付けられた不審者の顔画像を出力するようにしてもよい。当該不審者の顔画像も、例えば、監視エリアを監視する監視員に提供される。監視員は、提供された不審者の顔画像を参照することで、当該顔状態変化人物を容易に探し出すことができる。

以上説明したように、本実施形態に係る不審者検知装置１２によれば、不審者である可能性が高い人物に絞って不審者の顔特徴量と照合するから、照合処理の処理量を低減することができる。また、時系列画像４０に含まれる人物（不審者である可能性が高くない人物）のプライバシーに配慮した上で、不審者を検知することができる。

以下、図４のフローチャートを参照して、本実施形態に係る不審者検知装置１２の処理の流れを説明する。図４のフローチャートは、カメラ１０から時系列画像に含まれる１つの画像を受信した際に実行される処理の流れが示されている。すなわち、本実施形態では、不審者検知装置１２は、カメラ１０から画像を受信する度に、図４のフローチャートの処理を実行する。

ステップＳ１０において、不審者検知装置１２は、カメラ１０が撮影した画像（時系列画像の１つ）を取得する。ここでは、不審者検知装置１２は、既に時系列画像に含まれる複数の画像を取得済みであるとする。

ステップＳ１２において、人物追跡部３２は、ステップＳ１０で取得した画像（注目画像）から１又は複数の人物領域を検出し、検出された各人物領域について追跡処理を実行する。すなわち、人物追跡部３２は、検出された各人物領域に系列ＩＤを付与する処理を実行する。

ステップＳ１４以下の処理は、ステップＳ１２で検出された人物（人物領域）毎に実行される。

ステップＳ１４において、顔検出部３４は、ステップＳ１２で検出された複数の人物領域から注目人物領域を特定し、注目人物領域内から注目人物の顔画像を検出する。その上で、当該顔画像の種類を判定する。すなわち、注目人物の顔画像が、隠蔽顔画像か、素顔画像か、あるいは判定不能画像かを判定する。

ステップＳ１６において、人物追跡部３２及び顔検出部３４は、人物検出と追跡処理の結果（注目人物領域に付された系列ＩＤ）、及び、注目人物の顔画像の種類の判定結果を顔画像ログ２８に記憶する。

ステップＳ１８において、人物追跡部３２は、注目人物領域が追跡状態であるか否かを判定する。本実施形態では、人物追跡部３２は、各系列ＩＤに対して注目人物領域の系列ＩＤが、注目画像より過去の画像に含まれるいずれかの人物領域の系列ＩＤと同じ（すなわち注目人物が過去の画像にも映っている場合）には、注目人物領域が追跡状態と判定され、注目人物領域の系列ＩＤが注目画像において新たに付与されたＩＤである場合（すなわち注目人物が注目画像から新たに映りこんできた場合）には、注目人物領域は追跡状態ではないと判定される。

注目人物領域が追跡状態でない場合、ステップＳ２０に進み、ステップＳ２０において、注目人物領域が追跡状態とされる。

ステップＳ２２において、顔検出部３４は、ステップＳ１４で判定された注目人物の顔画像の種類が隠蔽顔画像であるか否かを判定する。当該顔画像が隠蔽顔画像である場合、ステップＳ２４に進む。ステップＳ２４において、顔検出部３４は、注目人物領域に含まれる注目人物を要監視人物に設定（この設定は顔画像ログ２８に記憶される）し、出力処理部３８は、要監視人物が検出されたことを報知する。当該顔画像が隠蔽顔画像でない場合、すなわち素顔画像あるいは判定不能画像である場合は、何も処理を行わずに、注目人物領域に関する処理を終了する。その後、注目画像に含まれる他の人物領域についてステップＳ１４からの処理を繰り返す。

ステップＳ１８に戻り、注目人物領域が追跡状態であると判定された場合、ステップＳ２６に進み、ステップＳ２６において、人物追跡部３２は、注目人物が要監視人物であるか否かを判定する。過去に取得した複数の画像において、注目人物の隠蔽顔画像が検出されている場合は、当該注目人物が要監視人物に設定されているから、ステップＳ２８に進む。

ステップＳ２８において、顔検出部３４は、ステップＳ１４で判定された顔画像の種類が素顔画像であるか否かを判定する。当該顔画像が素顔画像でない場合、すなわち、過去に取得した複数の画像において注目人物の顔画像が隠蔽顔画像あるいは判定不能画像であり、注目画像においても、注目人物の顔画像が引き続き隠蔽顔画像あるいは判定不能画像である場合は、何も処理を行わずに、注目人物領域に関する処理を終了する。その後、注目画像に含まれる他の人物領域についてステップＳ１４からの処理を繰り返す。

ステップＳ２８において当該顔画像が素顔画像であると判定された場合、すなわち、過去に取得した複数の画像において注目人物の顔画像が隠蔽顔画像あるいは判定不能画像であったが、注目画像において注目人物の顔画像が素顔画像に変化した場合には、ステップＳ３０に進む。

ステップＳ３０において、顔画像照合部３６は、ステップＳ１４で取得した素顔画像の特徴量と、不審者情報ＤＢ２６に含まれる複数の不審者の顔特徴量との間でそれぞれ照合処理を実行する。

ステップＳ３２において、顔画像照合部３６は、不審者情報ＤＢ２６に含まれる複数の不審者の顔特徴量の中に、ステップＳ１４で取得した素顔画像の特徴量と照合一致した顔特徴量が有るか否かを判定する。照合一致した場合は、ステップＳ３４に進み、ステップＳ３４において、出力処理部３８は注目人物を不審者として報知する。一方、照合一致しなかった場合は、何も処理を行わずに、注目人物領域に関する処理を終了する。その後、注目画像に含まれる他の人物領域についてステップＳ１４からの処理を繰り返す。なお、ステップＳ３２で照合一致しなかった場合は、注目人物は不審者ではないと特定し、以後の照合処理の候補から除外するようにしてもよい。

ステップＳ２６に戻り、注目人物が要監視人物でない場合、すなわち、過去に取得した複数の画像において、注目人物の隠蔽顔画像が検出されていない場合は、ステップＳ３６に進む。

ステップＳ３６において、顔検出部３４は、ステップＳ１４で判定された顔画像の種類が隠蔽顔画像であるか否かを判定する。当該顔画像が隠蔽顔画像でない場合、すなわち、過去に取得した複数の画像において注目人物の顔画像が素顔画像あるいは判定不能画像であり、注目画像においても、注目人物の顔画像が引き続き素顔画像あるいは判定不能画像である場合は、何も処理を行わずに、注目人物領域に関する処理を終了する。その後、注目画像に含まれる他の人物領域についてステップＳ１４からの処理を繰り返す。

ステップＳ３６において当該顔画像が隠蔽顔画像であると判定された場合、すなわち、過去に取得した複数の画像において注目人物の顔画像が素顔画像あるいは判定不能画像であったが、注目画像において注目人物の顔画像が隠蔽顔画像に変化した場合には、ステップＳ３８に進む。

ステップＳ３８において、顔検出部３４は、顔画像ログ２８を参照して、過去に取得した複数の画像のうちの１つの画像における注目人物の顔画像の種類の判定結果を参照する。当該画像における注目人物の顔画像の判定結果が素顔画像でない場合は、再度のステップＳ３８において、過去に取得した複数の画像の他の画像における注目人物の顔画像の判定結果が素顔画像であるか否かを判定する。このように、顔検出部３４は、過去に取得した複数の画像から、注目人物の顔画像が素顔画像だと判定された画像を探していく。

過去に取得した画像の中から、注目人物の顔画像が素顔画像であると判定された画像が検出された場合はステップＳ４０に進み、ステップＳ４０において、顔画像照合部３６は、ステップＳ３８で判定された画像から検出された注目人物の素顔画像（これは顔画像ログ２８に記憶されている）を取得し、当該素顔画像の特徴量と、不審者情報ＤＢ２６に含まれる複数の不審者の顔特徴量との間でそれぞれ照合処理を実行する。

ステップＳ４２において、顔画像照合部３６は、不審者情報ＤＢ２６に含まれる複数の不審者の顔特徴量の中に、ステップＳ４０で取得した素顔画像の特徴量と照合一致した顔特徴量が有るか否かを判定する。照合一致した場合は、ステップＳ４４に進み、出力処理部３８は、注目人物を不審者として報知する。

一方、ステップＳ４２において照合一致しなかったと判定された場合は、再度ステップＳ３８のループに戻り、顔画像ログ２８を参照して、過去に取得した複数の画像の中から、注目人物の顔画像が素顔画像であると判定された画像が他にないかどうか探していく。これは、例えば、前回の照合処理の対象となった注目人物の素顔画像の条件が悪かったことなどによって、顔画像照合部３６の照合処理が適切に行えない場合が考えられるため、過去に取得した複数の画像からより条件のよい素顔画像を探すためである。

過去に取得した複数の画像の中に、不審者と照合一致した注目人物の素顔画像が発見されなかった場合には、ステップＳ４６に進む。ステップＳ４６において、顔検出部３４は、注目人物を要監視人物に設定し、出力処理部３８は、要監視人物が検出されたことを報知する。

以下、図５のフローチャートを参照して、顔検出部３４による顔状態の判定処理の流れを説明する。

ステップＳ５０において、顔検出部３４は、顔画像に対して前向き判定処理を行う。前向き判定処理は、上述のように、顔画像から検出された顔を構成する部位の形状と、顔形状モデルとの比較により行う。あるいは、顔方向識別器を用いて判定を行う。

ステップＳ５２において、顔検出部３４は、顔画像の前向き判定処理の結果、顔画像が前向きであるか否かを判定する。顔画像が前向きでない場合、例えば顔画像が後向きである場合、ステップＳ５４に進み、顔検出部３４は、当該顔画像を判定不能画像と判定する。

ステップＳ５２で顔画像が前向きであると判定された場合、ステップＳ５６に進み、ステップＳ５６において、顔検出部３４は、顔画像に対して装飾品検出処理を行う。装飾品検出処理は、上述のように装飾品識別器を用いて実行する。

ステップＳ５８において、顔検出部３４は、装飾品検出処理の結果に基づいて、当該顔画像が隠蔽顔画像であるか否かを判定する。本実施形態では、顔画像から２つ以上の装飾品が検出された場合には、当該顔画像は隠蔽状態であると判定し、ステップＳ６０に進む。ステップＳ６０において、顔検出部３４は当該顔画像を隠蔽顔画像と判定する。

顔画像から１つの装飾品が検出された場合、あるいは顔画像から装飾品が検出されなかった場合には、当該顔画像は隠蔽状態ではないと判定し、ステップＳ６２に進む。ステップＳ６２において、顔検出部３４は当該顔画像を素顔画像と判定する。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０カメラ、１２不審者検知装置、２０通信部、２２表示部、２４記憶部、２６不審者情報ＤＢ、２８顔画像ログ、３０制御部、３２人物追跡部、３４顔検出部、３６顔画像照合部、３８出力処理部。

Claims

所定のエリアが撮影された時系列に並ぶ複数の画像から１又は複数の人物を検出して、前記複数の画像間において前記人物それぞれの人物領域を追跡する人物追跡部と、
前記複数の画像における前記人物領域から前記人物の顔画像を検出し、検出した顔画像の種類が隠蔽顔画像であるか素顔画像であるかを判定する顔検出部と、
前記顔検出部による顔画像の種類の判定結果と、前記顔検出部が検出した前記素顔画像を前記人物毎に区別して記憶する顔画像記憶部と、
不審者の顔特徴量を記憶する不審者情報記憶部と、
前記人物のうち、前記複数の画像から前記隠蔽顔画像と前記素顔画像の両方が検出された顔状態変化人物について、前記素顔画像の特徴量と前記不審者の顔特徴量を照合して照合結果を出力し、前記複数の画像から前記隠蔽顔画像が検出されず前記素顔画像が検出された顔状態不変化人物については、検出された前記素顔画像を照合する処理を行わない顔画像照合部と、
を備えることを特徴とする不審者検知装置。
前記顔画像記憶部は、さらに、前記顔検出部が検出した前記隠蔽顔画像を前記人物毎に区別して記憶し、
前記顔画像照合部は、前記照合結果として、前記顔状態変化人物の前記隠蔽顔画像及び前記素顔画像を出力する、
ことを特徴とする請求項１に記載の不審者検知装置。
前記不審者情報記憶部は、前記不審者の顔特徴量と対応付けて当該不審者の顔画像を記憶し、
前記顔画像照合部は、前記照合結果として、前記顔状態変化人物と照合一致した不審者の顔画像を出力する、
ことを特徴とする請求項１又は２に記載の不審者検知装置。