JP6053504B2 - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP6053504B2 JP6053504B2 JP2012281633A JP2012281633A JP6053504B2 JP 6053504 B2 JP6053504 B2 JP 6053504B2 JP 2012281633 A JP2012281633 A JP 2012281633A JP 2012281633 A JP2012281633 A JP 2012281633A JP 6053504 B2 JP6053504 B2 JP 6053504B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- region
- input image
- area
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 102
- 238000011156 evaluation Methods 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims description 16
- 210000000746 body region Anatomy 0.000 claims description 12
- 238000000034 method Methods 0.000 description 33
- 238000012937 correction Methods 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 17
- 230000001815 facial effect Effects 0.000 description 11
- 241001465754 Metazoa Species 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Description
本発明は、入力された画像から検出対象を検出する対象検出装置に関する。 The present invention relates to a target detection apparatus that detects a detection target from an input image.
従来、画像から特定の検出対象を検出する技術が研究されている。例えば、非特許文献1には、機械学習により生成した識別器を用いて画像から検出対象を検出するシステムが開示されている。このシステムでは、正解画像と非正解画像を用いて、アダブースト(Adaboost)学習アルゴリズムにより、検出対象の識別に用いる特徴を決定し、識別器を事前学習させる。
Conventionally, techniques for detecting a specific detection target from an image have been studied. For example, Non-Patent
非特許文献1に開示されたシステムは、精度よく検出対象を検出することができる。しかしながら、非特許文献1に開示されたシステムは、画像内に、検出対象の識別に用いる特徴と同様の特徴を有する物体が写っている場合、検出対象が写っていないにも関わらず、検出対象が写っていると誤って判定してしまう場合がある。
The system disclosed in Non-Patent
本発明の目的は、画像内に検出対象が写っていると誤って判定することを抑制することができる対象検出装置を提供することにある。 An object of the present invention is to provide an object detection device that can suppress erroneous determination that a detection object is included in an image.
かかる課題を解決するための本発明は、対象検出装置を提供する。係る対象検出装置は、所定の撮影領域を撮影した入力画像を取得する画像取得部と、入力画像から動物体を表す動物体領域を抽出する動物体領域抽出手段と、入力画像から所定の物体を含む物体領域を検出する物体領域検出手段と、入力画像から物体領域と特定の位置関係にある識別領域を抽出する識別領域抽出手段と、識別領域から検出対象らしさを表す特徴量を算出しその特徴量を用いてその識別領域に検出対象が含まれていることの確からしさを表す評価値を出力するよう構成された識別器を含み、その評価値を用いて入力画像に検出対象が含まれるか否かを判定する判定手段と、を有し、判定手段は、識別領域に対するその識別領域と動物体領域が重複している領域の比率である重複率が低いほど入力画像に検出対象が含まれると判定しにくくする。 The present invention for solving this problem provides an object detection apparatus. The target detection apparatus includes an image acquisition unit that acquires an input image obtained by capturing a predetermined imaging region, an animal body region extracting unit that extracts an animal body region representing an animal body from the input image, and a predetermined object from the input image. An object area detecting means for detecting an object area, an identification area extracting means for extracting an identification area having a specific positional relationship with the object area from the input image, and calculating a feature amount representing the likelihood of detection from the identification area Whether or not an input image is included in the input image using an evaluation value that includes an identifier configured to output an evaluation value that represents the probability that the detection target is included in the identification region using a quantity Determination means for determining whether or not, and the determination means includes a detection target in the input image as the overlap ratio, which is the ratio of the area where the identification area overlaps the identification area and the moving body area, is lower. And Less likely to.
また、本発明に係る対象検出装置において、判定手段は、重複率が低いほど、特徴量を検出対象らしくないことを表すように補正することにより、入力画像に検出対象が含まれると判定しにくくすることが好ましい。 Further, in the target detection apparatus according to the present invention, the determination unit makes it difficult to determine that the detection target is included in the input image by correcting the feature amount so as not to be the detection target as the overlap rate is lower. It is preferable to do.
さらに、本発明に係る対象検出装置において、判定手段は、識別領域から、その識別領域と所定の位置関係にある部分領域を複数特定し、その部分領域のそれぞれについて、特徴量及び重複率を算出し、その重複率が低いほど、その特徴量を検出対象らしくないことを表すように補正することが好ましい。 Furthermore, in the target detection device according to the present invention, the determination unit specifies a plurality of partial areas having a predetermined positional relationship with the identification area from the identification area, and calculates a feature amount and a duplication rate for each of the partial areas. However, it is preferable that the lower the overlap rate, the more the correction is made so as to indicate that the feature amount is not likely to be detected.
または、本発明に係る対象検出装置において、判定手段は、重複率が低いほど、評価値を検出対象が含まれていないことを表すように補正することにより、入力画像に検出対象が含まれると判定しにくくすることが好ましい。 Alternatively, in the target detection device according to the present invention, when the determination unit includes the detection target in the input image by correcting the evaluation value so as to indicate that the detection target is not included, as the overlap rate is lower. It is preferable to make the determination difficult.
さらに、本発明に係る対象検出装置において、判定手段は、識別領域から、その識別領域と所定の位置関係にある部分領域を複数特定し、その部分領域のそれぞれについて、評価値及び重複率を算出し、その重複率が低いほど、その評価値を検出対象が含まれていないことを表すように補正することが好ましい。 Furthermore, in the target detection apparatus according to the present invention, the determination unit specifies a plurality of partial areas having a predetermined positional relationship with the identification area from the identification area, and calculates an evaluation value and a duplication rate for each of the partial areas. And it is preferable to correct | amend the evaluation value so that the detection target is not included, so that the duplication rate is low.
また、本発明に係る対象検出装置において、判定手段は、重複率が半分より低い所定値以下である場合に限り、その重複率が低いほど入力画像に検出対象が含まれると判定しにくくすることが好ましい。 Further, in the target detection apparatus according to the present invention, the determination unit makes it difficult to determine that the detection target is included in the input image as the overlap ratio is lower, only when the overlap ratio is less than a predetermined value lower than half. Is preferred.
また、本発明に係る対象検出装置において、識別領域抽出手段は、識別領域をそれぞれサイズが異なるように複数抽出し、判定手段は、複数の識別領域のそれぞれについて、評価値を算出し、その評価値を用いて入力画像に検出対象が含まれるか否かを表す度合いを算出し、複数の識別領域のうち、度合いの大きさが最も大きい識別領域を用いて、入力画像に検出対象が含まれるか否かを判定することが好ましい。 In the target detection device according to the present invention, the identification area extraction unit extracts a plurality of identification areas so that the sizes are different, and the determination unit calculates an evaluation value for each of the plurality of identification areas, A degree representing whether or not the detection target is included in the input image is calculated using the value, and the detection target is included in the input image using the identification area having the largest degree among the plurality of identification areas. It is preferable to determine whether or not.
本発明に係る対象検出装置は、検出対象の識別に用いる特徴と同様の特徴を有する物体が写っている場合、検出対象が写っていないにもかかわらず、画像内に検出対象が写っていると誤って判定することを抑制することができるという効果を奏する。 In the object detection device according to the present invention, when an object having the same characteristic as that used for identifying the detection object is captured, the detection object is captured in the image even though the detection object is not captured. There is an effect that it is possible to suppress erroneous determination.
以下、本発明にかかる対象検出装置を出入管理システムに適用した場合の一実施形態である顔画像認証装置について図を参照しつつ説明する。
従来、予め登録している顔画像に基づいて人物を認証する顔画像認証装置に対して、登録されていない未登録者が、予め登録された登録者の顔写真または登録顔画像を引き延ばして印刷した紙を自分の顔の前に掲げることにより、登録者と判定されようとする不正行為が行われる問題がある。この問題に対して、例えば、検出対象を顔写真とし、検出対象を識別する特徴を画像内において写真枠により顔の周囲に生じる直線成分として、非特許文献1に開示されたシステムを適用することにより、不正行為を検出することができる。しかし、画像内の顔の周囲に、写真枠と同様に直線成分を有する窓、柱、壁の模様等が写っている場合、顔写真が写っていないにも関わらず顔写真が写っていると誤って判定されるおそれがある。
そこで、本発明にかかる対象検出装置は、人物を撮影した入力画像から動物体を表す動物体領域を抽出する一方で、入力画像において人物の顔を含む領域と特定の位置関係にある識別領域を抽出して、識別領域について顔写真らしさを表す特徴量を算出する。
さらに対象検出装置は、識別領域に対する識別領域と動物体領域が重複している領域の比率が低いほど、その算出した特徴量を顔写真らしくないことを表すように補正して、補正した特徴量を用いて入力画像に顔写真が含まれるか否かを判定する。
これにより、対象検出装置は、入力画像に顔写真を掲げていない人物が写っており、且つその人物の顔の周囲に静止物体である窓、柱、壁の模様等が写っている場合に、窓、柱、壁の模様等による直線成分を写真枠と誤って判定し、窓、柱、壁の模様等で囲われた領域を顔写真と誤って検出することの抑制を図る。
Hereinafter, a face image authentication apparatus as an embodiment when the object detection apparatus according to the present invention is applied to an access control system will be described with reference to the drawings.
Conventionally, an unregistered unregistered person prints a previously registered registrant's face photo or registered face image for a face image authentication device that authenticates a person based on a pre-registered face image. There is a problem in that fraudulent acts that are determined to be a registrant are performed by placing the printed paper in front of your face. For example, the system disclosed in Non-Patent
Therefore, the object detection device according to the present invention extracts an animal body region representing a moving object from an input image obtained by photographing a person, while an identification region having a specific positional relationship with a region including a person's face in the input image. Extraction is performed to calculate a feature amount representing the likelihood of a face photograph for the identification region.
Further, the target detection device corrects the calculated feature amount so that it does not look like a face photograph, as the ratio of the region where the identification region and the moving object region overlap with the identification region is lower, and the corrected feature amount Is used to determine whether or not a face photograph is included in the input image.
As a result, the target detection device includes a person who does not have a face photo in the input image, and a window, a pillar, a wall pattern, etc., which are stationary objects, are reflected around the person's face. A straight line component due to a window, column, wall pattern, or the like is erroneously determined as a photo frame, and an area surrounded by a window, column, wall pattern, or the like is erroneously detected as a face photo.
図1(a)及び図1(b)は、本発明にかかる対象検出装置を適用した例として、部屋の入口の出入を管理する顔画像認証装置1に接続される撮像装置2の設置例を模式的に示している。以下、撮像装置2が撮影する撮影領域の状態について説明する。図1(a)及び図1(b)に示すように、顔画像認証装置1は、電気錠制御装置3を介して不図示の電気錠を制御することにより部屋の入口101の出入を管理する。撮像装置2は、入口101に通じる通路を撮影領域として撮影できるように入口101の近傍の壁面または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像装置2は、進行方向102に沿って入口101に向かう人物を撮像することができる。
図1(a)は、撮像装置2が、入口101に向かう人物110を撮影する様子を示し、図1(b)は、撮像装置2が、入口101に向かう人物120を撮影する様子を示している。この人物120は、顔画像認証装置1に登録されていない未登録者であり、顔画像認証装置1に予め登録されている登録者の顔写真121を自分の顔の前に掲げている。つまり、この人物120は、自分の顔の代わりに、登録者の顔写真121を撮像装置2に撮影させて、登録者の顔写真121により認証を受けようとする不正行為を行っている。このような人物の顔が写っている写真又はディスプレイ(以下、顔写真等と称する)を用いた不正行為を以下では写真画策と称する。
FIG. 1A and FIG. 1B show an installation example of an
FIG. 1A shows a state where the
図2(a)、(b)は、撮像領域を撮影した入力画像から人物の顔の周辺を含む領域を抽出した画像の例を示している。
図2(a)は、図1(a)の写真画策を行っていない人物110が撮影された入力画像から抽出された画像200の例を示し、図2(b)は、図1(b)の人物120が登録者の顔写真121を自分の顔の前に掲げた状態で撮影された入力画像から抽出された画像210の例を示している。
図2(b)に示すように、画像210には、顔写真121に写っている登録者の顔の周囲に顔写真121の枠が写っており、写真枠による直線成分が存在する。したがって、人物の顔の周囲に存在する直線成分を顔写真等の特徴とする機械学習により生成した識別器を用いることにより顔写真等を検出することができる。入力画像に顔写真等が写っているか否かを判定する識別器は、顔写真等が写っている多数の学習用画像と顔写真等が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用い、特徴量空間において顔写真等の特徴量が分布する空間とそれ以外の空間とを分ける識別境界を機械学習することによって生成される。
FIGS. 2A and 2B show examples of images obtained by extracting a region including the periphery of a person's face from an input image obtained by photographing the imaging region.
FIG. 2A shows an example of an
As shown in FIG. 2B, in the
図3に、顔写真等を検出するように生成される識別器についての確率密度関数の例を表すグラフを示す。図3に示すグラフ300の横軸は特徴量を示し、縦軸は確率密度を示す。グラフ300において、曲線301は、顔写真等が写っていない複数の学習用画像についての確率密度関数を表し、曲線302は、顔写真等が写っている複数の学習用画像についての確率密度関数を表す。この識別器は、曲線301と曲線302が交わる点における特徴量θを識別境界とし、入力画像から抽出した特徴量が特徴量空間において識別境界のどちら側に位置するかにより、入力画像において人物の顔の周囲に直線成分が存在するか否かを判定し、顔写真等が写っているか否かを精度よく判定することができる。
FIG. 3 shows a graph representing an example of a probability density function for a classifier generated so as to detect a facial photograph or the like. The horizontal axis of the
しかし、図2(a)に示すように、人物110の顔の周囲に窓103の枠が写っているような画像200には、写真画策を行っていない人物110の顔の周囲に窓枠による直線成分が存在している。したがって、画像200について算出される特徴量は、顔写真等の特徴量が分布する側の空間に存在する、すなわち図3の領域303に存在する可能性がある。この場合、画像200には、顔写真等が写っていないにも関わらず顔写真等が存在すると判定され、写真画策が行われたと誤って判定される。
However, as shown in FIG. 2A, an
このように、人物の背景に写っている窓枠等は、人物の顔の周囲に直線成分を生じさせ、写真枠と同様の特徴を有する。しかし、窓は静止物体であり、顔写真等は人物の移動とともに移動する動物体であるという違いがある。そこで、顔画像認証装置1は、入力画像から動物体を表す動物体領域を抽出し、特徴量を算出する領域のうち動物体領域が占める比率が小さいほど、特徴量を顔写真等の特徴を表す度合いが低くなるように補正する。これにより、入力画像に窓枠等が写っている場合に、顔写真等が写っていると判定しにくくし、窓枠等を写真枠と誤って判定することを抑制する。
As described above, the window frame or the like shown in the background of the person generates a linear component around the person's face and has the same characteristics as the photo frame. However, there is a difference that the window is a stationary object, and the face photograph is a moving object that moves as the person moves. Therefore, the face
以下、図4を参照し、顔画像認証装置1について詳細に説明する。図4は、本発明を適用した出入管理システム100の概略構成を示す図である。出入管理システム100は、顔画像認証装置1、撮像装置2及び電気錠制御装置3を有する。
Hereinafter, the face
撮像装置2は、図1(a)及び図1(b)に示したように所定の撮影領域を撮影する監視カメラである。撮像装置2は、例えば、2次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子(例えば、CCDセンサ、C−MOSなど)と、その光電変換素子上に撮影領域の像を結像するための結像光学系を有する。撮像装置2は、撮影領域内を通行する人物の顔を順次撮影できるように人物の通行方向の略正面に設置される。そして撮像装置2は、所定の時間間隔(例えば、200msec)ごとに、撮影領域を撮影して入力画像を取得する。入力画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、入力画像を、横1280画素×縦960画素を有し、RGB各色について8ビットの輝度分解能を持つカラー画像とした。ただし、入力画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。撮像装置2は、顔画像認証装置1と接続され、取得した入力画像を顔画像認証装置1へ渡す。
The
電気錠制御装置3は、不図示の電気錠を制御する制御装置である。電気錠制御装置3は、顔画像認証装置1と接続され、顔画像認証装置1からの信号に従って、電気錠を施錠又は解錠する。
The electric
顔画像認証装置1は、顔写真等を検出対象とする対象検出装置を出入管理システムに適用した例であり、図4に示すように、画像取得部10、出力部20、記憶部30及び画像処理部40を有する。以下、顔画像認証装置1の各部について詳細に説明する。
The face
画像取得部10は、撮像装置2と接続されるインターフェース回路、例えばビデオインターフェース及びオーディオインターフェースあるいはユニバーサル・シリアル・バスといったシリアルバスに準じるインターフェース回路を有する。画像取得部10は、撮像装置2から入力画像を取得して画像処理部40へ渡す。なお、本実施形態では、画像取得部10は、撮像装置2が撮影した順に入力画像を画像処理部40へ渡すが、ハードディスク等の媒体から入力画像を撮影時刻の古い順に取得し、画像処理部40へ渡すようにしてもよい。
The
出力部20は、外部の接続機器である電気錠制御装置3と接続するインターフェース及びその制御回路である。そして出力部20は、画像処理部40から人物についての認証成功を示す信号を受け取ると、接続されている電気錠制御装置3に対して解錠制御を行う信号を出力する。また、出力部20は、不図示の認証結果表示ランプと接続され、画像処理部40から人物についての認証成功、認証失敗または不正行為(写真画策)を示す信号を受け取ると、その認証結果に応じて認証結果表示ランプを点灯または消灯させる。あるいは、認証結果を不図示の監視センタ装置へ出力するようにしてもよい。
The
記憶部30は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部30は、顔画像認証装置1を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部40との間でこれらの情報を入出力する。各種データには、入口101の通行を許可されている登録者の氏名、登録者ID及び登録顔画像等の登録者データ31と、事前学習により決定された識別器に関する識別器情報32と、撮影領域に動物体が存在しないときに撮影領域を撮影した画像である背景画像33とが含まれる。なお、識別器情報32には、検出対象である顔写真等らしさを表す特徴量を算出するための部分領域についての情報が含まれる。
The
画像処理部40は、例えば、いわゆるコンピュータにより構成され、撮像装置2から取得した入力画像に対し記憶部30を参照しながら各種処理を実行し、その処理結果を出力部20に外部へ出力させる。そのために画像処理部40は、動物体領域抽出手段41、顔検出手段42、識別領域抽出手段43、判定手段44及び顔照合手段45を有する。
画像処理部40の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部40の各手段について詳細に説明する。
The
Each means of the
動物体領域抽出手段41は、画像取得部10から入力画像を取得する度に、取得した入力画像から動物体を表す動物体領域が存在するか否かを判定し、存在すればその動物体領域を抽出する。そのために、動物体領域抽出手段41は、入力画像と、記憶部30に記憶された背景画像33との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を作成する。動物体領域抽出手段41は、入力画像において、対応する差分画像内の画素値が所定の閾値Th1以上となる領域を動物体領域とし、閾値Th1未満となる領域を背景領域とする。例えば、閾値Th1は、差分画像の各画素値の平均値とすることができる。
Each time the moving object
顔検出手段42は、入力画像に人物の顔が写っているか否かを判定し、存在すれば、人物の顔を含む顔領域を検出し、入力画像から切り出して顔領域画像として抽出する。なお、顔領域は所定の物体を含む物体領域の例であり、顔検出手段42は、入力画像から物体領域を検出する物体領域検出手段の例である。
顔領域を検出するために、顔検出手段42は、Adaboost識別器を用いる(非特許文献1を参照)。
顔領域を検出する識別器は、顔が写っている画像に生じる明暗差やエッジ情報などを顔に関する特徴量として用いて、機械学習を行うことにより生成される。つまり、顔が写っている多数の学習用画像と顔が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用い、特徴量空間において顔の特徴量が分布する空間とそれ以外の空間とを分ける識別境界を機械学習することによって生成される。
なお、顔領域の検出方法は種々存在するので、他の方法を適宜採用してもよい。例えば、顔検出手段42は、動物体領域抽出手段41が抽出した動物体領域のうち、その動物体領域の大きさ、縦横比等から人物らしいと考えられる動物体領域を人物領域として抽出する。顔検出手段42は、抽出した人物領域に対して、周知のエッジフィルタを用いて、エッジ画素抽出を行う。そして顔検出手段42は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として検出してもよい。
The
In order to detect the face area, the face detection means 42 uses an Adaboost discriminator (see Non-Patent Document 1).
A discriminator that detects a face region is generated by performing machine learning using a difference in brightness or edge information generated in an image showing a face as a feature amount related to the face. In other words, using feature quantities extracted from a large number of learning images with faces and a large number of learning images without faces, a space in which feature values of faces are distributed in the feature quantity space and other spaces Is generated by machine learning of an identification boundary.
Since there are various face area detection methods, other methods may be adopted as appropriate. For example, the
識別領域抽出手段43は、入力画像から、顔領域と特定の位置関係にある識別領域を抽出する。識別領域は、例えば顔検出手段42が検出した顔領域を中心に含み、顔領域の2倍の面積を有する領域とすることができる。この識別領域は、判定手段44による検出対象の検出に用いられる。
The identification
判定手段44は、識別領域抽出手段43が抽出した識別領域から、その識別領域と所定の位置関係にある部分領域を記憶部30の識別器情報32を参照して特定する。判定手段44は、特定した部分領域について、検出対象らしさを表す特徴量を算出し、算出した特徴量を用いてその部分領域に検出対象が含まれていることの確からしさを表す評価値を出力するように構成された識別器を含む。そして、判定手段44は、識別器が出力した評価値を用いて入力画像に検出対象が含まれるか否かを判定する。そのために、判定手段44は、顔写真等に関する特徴量として、例えばハールライク(Haar-Like)特徴量とHOG(Histogram of Oriented Gradient)特徴量を用いたAdaboost識別器を有する。
ハールライク特徴量は、画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。ハールライク特徴量の詳細については、例えば、非特許文献1に開示されている。
The
The Haar-like feature amount is a luminance difference between a plurality of adjacent rectangular areas arbitrarily set in the image area. Details of the Haar-like feature are disclosed in
HOG特徴量は、画像領域中の各勾配方向の勾配強度の総和を度数としたヒストグラムから算出される。判定手段44は、識別領域を複数のブロックに分割し、さらに各ブロックを複数のセルに分割する。例えば、各セルは5画素×5画素の矩形領域であり、各ブロックは3セル×3セルの矩形領域である。そして、判定手段44は、入力された画像内の各画素における画素値の勾配方向及び勾配強度を算出する。なお、勾配方向は向きを考慮する必要がないため0°〜180°の範囲で算出され、例えば22.5°ごとに分割された8方向に定められる。
さらに、判定手段44は、セルごとに、各勾配方向について、各勾配方向の勾配強度の総和を度数としたヒストグラムを求め、求めたヒストグラムをブロックごとに正規化する。本実施形態の判定手段44は、正規化したヒストグラムの中で検出対象の特徴である写真枠の直線成分が表れやすい1つの勾配方向のみに着目し、その勾配方向の度数をHOG特徴量として用いる。
着目する勾配方向は、例えば顔検出手段42が検出した顔領域の上側部及び下側部では水平方向が望ましく、顔領域の左側部及び右側部では垂直方向が望ましい。または、学習によって最適な勾配方向を求めてもよい。
The HOG feature amount is calculated from a histogram in which the sum of the gradient intensities in each gradient direction in the image area is used as a frequency. The
Further, the
The gradient direction of interest is preferably the horizontal direction at the upper and lower portions of the face area detected by the face detection means 42, for example, and the vertical direction at the left and right sides of the face area. Alternatively, the optimum gradient direction may be obtained by learning.
Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器には、特徴量を算出するための部分領域を対応付けさせ、各弱識別器は、その部分領域からハールライク特徴量又はHOG特徴量を算出する。各弱識別器は、算出した特徴量に基づいて、その弱識別器に対応した部分領域に顔写真等が写っていると判定した場合、評価値として1を出力し、一方、その弱識別器に対応した部分領域に顔写真等が写っていないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値Θ(例えば、0)よりも高い場合、識別領域に顔写真等が写っていると判定する。
なお、特徴量の算出手段を別途設けて、弱識別器に入力することとしてもよい。
The Adaboost classifier includes a plurality of weak classifiers and a strong classifier that is determined by integrating the determination results of the weak classifiers. Each weak classifier is associated with a partial region for calculating a feature value, and each weak classifier calculates a Haar-like feature value or a HOG feature value from the partial region. Each
Note that a feature amount calculation unit may be provided separately and input to the weak classifier.
また、識別領域中のどの位置に関するハールライク特徴量又はHOG特徴量を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、顔写真等が写っていない複数のサンプル画像と顔写真等が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
(1)事前学習を行うコンピュータは、使用可能な全ての弱識別器について、各特徴量の値に基づいて、識別領域に顔写真等が写っているか否かを識別する閾値を設定する。
(2)コンピュータは、各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
(3)コンピュータは、全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。
(4)コンピュータは、重みの合計が最も小さい弱識別器をアダブースト識別器で使用する弱識別器として選択する。そして選択された弱識別器の出力に付される重みを決定する。
(5)コンピュータは、選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
(6)コンピュータは、(3)〜(5)の手順を繰り返す。
なお、Adaboost法の詳細については、例えば、非特許文献1に開示されている。このようにして決定された各弱識別器にて用いる特徴量を算出する部分領域を表す情報と、特徴量についての情報(ハールライク特徴量であるかHOG特徴量であるか、ハールライク特徴量である場合はどのハールライク特徴量であるか)と、各弱識別器の出力に付される重みを表す情報は、識別器情報32として記憶部30に記憶される。
このような事前学習では、識別領域に顔写真等が写っているか否かを明確に区別できるように、各部分領域は、識別領域内の顔領域に対して顔写真等の特徴である背景との境界(写真枠)が写っている可能性が高いと評価された領域に設定される。したがって、選択された弱識別器に対応するハールライク特徴量は、識別領域に顔写真等が写っている場合は顔写真等と背景の間の輝度差により高い値を取り、写っていない場合は低い値を取る傾向にある。また、選択された弱識別器に対応するHOG特徴量は、識別領域に顔写真等が写っている場合は写真枠により特定の画素値勾配方向が強くなって高い値を取り、写っていない場合は低い値を取る傾向にある。
In addition, a weak classifier that uses a Haar-like feature amount or an HOG feature amount for identification in which position in the identification region is used, and a weight for the weak classifier includes a plurality of sample images in which a face photograph or the like is not shown. It is determined by prior learning using a plurality of sample images in which a face photograph or the like is shown. The outline of the learning procedure is as follows.
(1) The computer that performs the pre-learning sets a threshold value for identifying whether or not a face photograph or the like is included in the identification region based on the value of each feature amount for all usable weak classifiers.
(2) The computer determines a weight for each sample image. The initial value of the weight is the same value for each sample image.
(3) The computer inputs each sample image to all weak classifiers, and sums the weights assigned to the sample images that failed to be identified for each weak classifier.
(4) The computer selects the weak classifier having the smallest weight as the weak classifier to be used in the Adaboost classifier. Then, the weight assigned to the output of the selected weak classifier is determined.
(5) The computer increases the weight of the sample image in which the selected weak classifier has failed to be identified.
(6) The computer repeats the procedures (3) to (5).
The details of the Adaboost method are disclosed in
In such pre-learning, each partial area has a background that is a characteristic of the face photograph or the like with respect to the face area in the identification area so that it can be clearly distinguished whether or not a facial photograph or the like is captured in the identification area. It is set to an area evaluated that it is highly possible that the border (photo frame) of the image is captured. Therefore, the Haar-like feature corresponding to the selected weak classifier takes a high value due to the luminance difference between the face photograph etc. and the background when the face photograph etc. is shown in the identification area, and is low when it is not shown. It tends to take a value. In addition, the HOG feature value corresponding to the selected weak classifier takes a high value because the specific pixel value gradient direction becomes stronger due to the photo frame when a facial photograph or the like is captured in the identification area, and is not captured. Tends to take a low value.
さらに、判定手段44は、各弱識別器に対応する部分領域に対する、その部分領域と動物体領域が重複している領域の比率である重複率を算出する。つまり、重複率は、部分領域の面積(画素数)に対する部分領域と動物体領域が重複している領域の面積(画素数)の比率である。重複率が高いときは、部分領域のうち動物体領域の占める割合が高く、その部分領域について算出された特徴量はほとんど検出対象について算出されていると考えられる。一方、重複率が低くなるほど、部分領域のうち背景領域の占める割合が高くなり、その部分領域について算出された特徴量はほとんど背景について算出されていることになる。この場合、その部分領域には検出対象が写っていない可能性が高く、その部分領域についての特徴量が高い値を有するときは、背景の特徴が検出対象の特徴と類似している可能性が高い。
そこで、判定手段44は、算出した重複率に応じて各弱識別器にて用いる特徴量を補正するための補正係数を算出し、各弱識別器は、その弱識別器に対応する特徴量に補正係数を乗じることにより補正特徴量を算出し、補正特徴量を用いて評価値を算出する。補正係数は、0から1の範囲の値である。判定手段44は、重複率が高いほど、特徴量を検出対象らしいことを表すように補正して、部分領域に検出対象が含まれると判定し易くし、重複率が低いほど、特徴量を検出対象らしくないことを表すように補正して、部分領域に検出対象が含まれると判定しにくくする。本実施形態では、各弱識別器にて用いる特徴量は、値が高いほど顔写真等の特徴を表す度合いが高く、値が低いほど顔写真等の特徴を表す度合いが低い。そのため、判定手段44は、重複率が高いほど、補正係数を大きくして補正特徴量を大きくし、重複率が低いほど、補正係数を小さくして補正特徴量を小さくする。
Further, the
Therefore, the
図5に、重複率と補正係数の関係の一例を表すグラフを示す。図5のグラフ500において、横軸は重複率を示し、縦軸は補正係数を示す。図5に示すように、重複率が閾値Dthより高い場合、補正係数は1とし、重複率が閾値Dth以下である場合、重複率が低くなるほど補正係数は低い値とする。なお、重複率が高いほど部分領域に動物体が含まれる割合が高く、重複率が低いほど部分領域に動物体が含まれる割合が低い。また、動物体領域と背景領域の境界は動物体の輪郭を表すため、重複率が半分(50%)である場合、動物体の輪郭が部分領域の中心を通過している可能性がある。例えば、部分領域を縦に分割した二つの領域間の輝度差をハールライク特徴量として用いる場合、動物体の輪郭が部分領域を縦に分割する境界を通過していれば、一方の領域には動物体が写り、他方の領域には背景が写るため、動物体の特徴を適切に抽出することができる。したがって、閾値Dthは50%より低い値とし、重複率が閾値Dth以上の場合は特徴量を補正せず、重複率が閾値Dth未満の場合に限り特徴量を補正することが好ましい。
FIG. 5 shows a graph showing an example of the relationship between the overlap rate and the correction coefficient. In the
i番目の弱識別器の出力関数hi(xi)は、次式により与えられる。
図6(a)〜(e)に、部分領域と動物体領域の関係の一例を表す模式図を示す。図6(a)〜(e)では、図2(a)に示した画像200及び図2(b)に示した画像210が識別領域として抽出されたものとして説明する。図6(a)は識別領域600、及び識別領域600内に設定された、各弱識別器についての特徴量が算出される部分領域601〜610を表す。図6(b)の斜線部分は図2(a)の識別領域200について抽出された動物体領域620を表し、図6(c)の斜線部分は図2(b)の識別領域210について抽出された動物体領域630を表す。図6(d)は部分領域601〜610と動物体領域620とを重ね合わせた画像640を表し、図6(e)は部分領域601〜610と動物体領域630とを重ね合わせた画像650を表す。
The schematic diagram showing an example of the relationship between a partial area | region and a moving body area | region is shown to Fig.6 (a)-(e). 6A to 6E, description will be made assuming that the
図6(d)に示すように、写真画策がされていない識別領域200の部分領域601〜610のうち、部分領域601、603、604、605、609及び610は、大部分が静止物体である窓103が写っている領域であり、動物体である人物が写っている領域と重複していないか、あるいはわずかに重複しているのみである。そこで、例えば閾値Dthを25%とすると、部分領域601、603、604、605、609及び610についての重複率が閾値Dth未満となり、補正係数が1未満となる。これにより、部分領域601、603、604、605、609及び610についての特徴量は小さくなるように補正され、窓103を顔写真等でないと判定することができる。
一方、図6(e)に示すように、写真画策がされている識別領域210の部分領域601〜610のうち、部分領域604以外の部分領域は、大部分が動物体である顔写真等が写っている領域である。したがって、例えば閾値Dthが25%である場合、部分領域604についての重複率のみが閾値Dth未満となり、補正係数が1未満となるが、他の部分領域についての重複率は閾値Dth以上となり、補正係数は1となる。これにより、部分領域604以外の部分領域についての特徴量は小さくなるように補正されず、顔写真121を顔写真等であると判定することができる。
As shown in FIG. 6D, the
On the other hand, as shown in FIG. 6 (e), among the
判定手段44は、写真画策が発生したと判定すると、出力部20に写真画策が行われたことを示す信号をさせ、不図示の警報ランプの点灯、不図示のブザーの鳴動等を行わせるとともに、顔照合手段45に写真画策が発生した旨を通知する。
When the
顔照合手段45は、写真画策が発生していないことを条件に、顔検出手段42が抽出した顔領域画像と記憶部30の登録者データ31に記憶されているすべての登録顔画像を照合する。顔照合手段45は、顔領域画像とすべての登録顔画像との類似度をそれぞれ算出し、最も値が高い類似度が認証閾値以上である場合に、その顔領域画像に写っている顔がその登録顔画像に対応する登録者の顔であると判定する。例えば、顔照合手段45は、顔領域画像と登録顔画像のそれぞれから顔の特徴点を抽出し、対応する特徴点同士の位置関係の一致の程度を類似度として算出する。なお、類似度は、二つの顔画像について類似している度合いを表すものであればどのようなものでもよい。顔照合手段45は、登録者の顔であると判定すると、出力部20に認証成功を示す信号を出力し、電気錠制御装置3に対して解錠制御を行う信号を出力させる。
The
以下、図7に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置1による認証処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部40を構成するマイクロプロセッサ上で動作し、顔画像認証装置1全体を制御する制御部(図示せず)により制御される。なお、以下に説明する動作は、入力画像を一つ取得するごとに実行される。
The operation of the authentication process by the face
最初に、顔画像認証装置1の画像取得部10は、撮像装置2が撮影領域を撮影した入力画像を取得する(ステップS101)。画像取得部10が入力画像を取得すると、動物体領域抽出手段41は、取得された入力画像から動物体領域を抽出する処理を行う(ステップS102)。動物体領域抽出手段41は、動物体領域が抽出されたか否かを判定し(ステップS103)、動物体領域が全く抽出されなかった場合、ステップS101へ処理を移行し、動物体領域が抽出されるまでステップS101〜S103の処理を繰り返す。
一方、ステップS103において、一つ以上の動物体領域を抽出した場合、動物体領域抽出手段41は、抽出した動物体領域についての情報(例えば、入力画像中での位置、形状等)を記憶部30に記憶する(ステップS104)。次に、顔検出手段42は、入力画像から顔領域を検出し、その顔領域を入力画像から切り出して顔領域画像を抽出する処理を行う(ステップS105)。顔検出手段42は、一つ以上の顔領域が検出されたか否か判定し(ステップS106)、顔領域が全く検出されなかった場合、ステップS101へ処理を移行し、顔領域が検出されるまでステップS101〜S106の処理を繰り返す。一方、一つ以上の顔領域が検出された場合、顔検出手段42は、ステップS107へ処理を移行させる。
First, the
On the other hand, when one or more moving object regions are extracted in step S103, the moving object region extracting means 41 stores information about the extracted moving object regions (for example, position, shape, etc. in the input image). 30 (step S104). Next, the face detection means 42 detects a face area from the input image, and performs a process of extracting the face area image by cutting out the face area from the input image (step S105). The face detection means 42 determines whether or not one or more face areas have been detected (step S106). If no face area has been detected, the process proceeds to step S101 until the face area is detected. The processes in steps S101 to S106 are repeated. On the other hand, when one or more face regions are detected, the
以下のステップS107〜S109の処理は、顔検出手段42が検出した各顔領域ごとに行われる。
画像処理部40は、顔領域の周囲に写真枠らしき物体が写っているか否かにより、入力画像に顔写真等が含まれるか否かを判定する不正行為判定処理を実施する(ステップS107)。不正行為判定処理の詳細については後述する。判定手段44は、不正行為判定処理において不正行為があったと判定したか否かを判定し(ステップS108)、不正行為があった場合、写真画策が行われたと判定し、写真画策が行われたことを示す信号を出力部20に出力し(ステップS109)、処理をステップS101へ戻す。写真画策が行われたことを示す信号が出力部20に出力された場合、出力部20を介して不図示の警報ランプの点灯、不図示のブザーの鳴動等が行われる。あるいは、出力部20を介して、その写真画策が行われたことを示す信号が不図示の監視センタ装置へ出力される。これにより監視センタ装置は、写真画策が行われたことを管理者に通知し、またその履歴を記録することができる。
全ての顔領域についてステップS107〜S109の処理の処理が終わり、不正行為がなかった場合、画像処理部40は、ステップS110へ処理を移行させる。
The following steps S107 to S109 are performed for each face area detected by the face detection means 42.
The
When the processes of steps S107 to S109 have been completed for all the face areas and there has been no fraud, the
以下のステップS110〜S112の処理は、顔検出手段42が検出した各顔領域ごとに行われる。
顔照合手段45は、顔領域画像と登録者データ31に記憶されている登録顔画像との類似度を算出し(ステップS110)、最も値が高い類似度が認証閾値以上であるか否かを判定する(ステップS111)。最も値が高い類似度が認証閾値以上である場合、その顔領域画像に写っている顔がその登録顔画像に対応する登録者の顔であると判定し、出力部20に認証成功を示す信号を出力する(ステップS112)。認証成功を示す信号が出力部20に出力された場合、出力部20から電気錠制御装置3に対して解錠制御を行う信号が出力される。一方、最も値が高い類似度が認証閾値未満である場合、顔照合手段45は、特に処理を行わない。
全ての顔領域についてステップS110〜S112の処理の処理が終わると、画像処理部40は、処理をステップS101へ戻す。
The following steps S110 to S112 are performed for each face area detected by the face detection means 42.
The
When the processes of steps S110 to S112 are completed for all face areas, the
このように、入力画像内に複数の人物の顔が写っている場合、そのうちの一つについて写真画策を検出したときは、他の人物の顔についても照合処理を行わず、電気錠を解錠しないので、セキュリティ性を高めることができる。 In this way, when a plurality of human faces are shown in the input image, if a photo strategy is detected for one of them, the matching process is not performed on the faces of other persons, and the electric lock is unlocked. Since it does not, security can be improved.
図8は、画像処理部40により実行される不正行為判定処理の動作を示すフローチャートである。図8に示す不正行為判定処理は、図7のステップS107において実行される。
FIG. 8 is a flowchart showing the operation of the fraud determination process executed by the
最初に、識別領域抽出手段43は、入力画像から、顔検出手段42が検出した顔領域を含む所定領域を識別領域として抽出する(ステップS201)。
First, the identification
以下のステップS202〜S206の処理は、判定手段44が有する各弱識別器に対して行われる。
判定手段44は、その弱識別器に対応する部分領域と動物体領域についての重複率を算出し(ステップS202)、算出した重複率に応じて補正係数を算出する(ステップS203)。さらに、判定手段44の各弱識別器は、その弱識別器に対応する部分領域について顔写真等に関する特徴量を算出する(ステップS204)。次に、判定手段44の各弱識別器は、ステップS204で算出した特徴量にステップS203で算出した補正係数を乗じることにより補正特徴量を算出し(ステップS205)、補正特徴量を用いて評価値を出力する(ステップS206)。
The following steps S202 to S206 are performed for each weak classifier included in the
The
全ての弱識別器に対してステップS202〜S206の処理が終わると、判定手段44は、各弱識別器から出力された評価値を強識別器に入力し、弱識別器から出力される各評価値の重み付け和を取得する(ステップS207)。判定手段44は、取得した重み付け和により不正行為の有無を判定する(ステップS208)。判定手段44は、重み付け和が所定の閾値Θよりも高い場合、識別領域に顔写真等が写っており、不正行為があったと判定し、重み付け和が所定の閾値Θよりも高くない場合、識別領域に顔写真等が写っておらず、不正行為がないと判定し、図8のステップS108に処理を移行させる。
When the processes of steps S202 to S206 are completed for all weak classifiers, the
以上説明してきたように、本発明にかかる対象検出装置は、人物を撮影した入力画像から動物体を表す動物体領域を抽出する一方で、入力画像において人物の顔を含む領域と特定の位置関係にある識別領域を抽出して、識別領域について顔写真等らしさを表す特徴量を算出する。さらに対象検出装置は、識別領域に対する識別領域と動物体領域が重複している領域の比率が低いほど、その算出した特徴量を顔写真等らしくないことを表すように補正して、補正した特徴量を用いて入力画像に顔写真が含まれるか否かを判定する。これにより、対象検出装置は、入力画像内の顔の周囲に静止物体である窓、柱、壁の模様等が写っている場合に、窓、柱、壁の模様等による直線成分を写真枠と誤って判定し、窓、柱、壁の模様等で囲われた領域を顔写真等と誤って検出することを抑制することができる。 As described above, the object detection apparatus according to the present invention extracts a moving object region representing a moving object from an input image obtained by photographing a person, while a specific positional relationship with a region including a human face in the input image. The identification area is extracted, and a feature amount representing the likelihood of a face photograph or the like is calculated for the identification area. Further, the target detection device corrects the calculated feature amount so as not to be a facial photograph or the like as the ratio of the region where the identification region and the moving object region overlap with the identification region is lower, and the corrected feature The amount is used to determine whether or not a face photograph is included in the input image. As a result, when the object detection device includes a window, a pillar, a wall pattern, or the like, which is a stationary object, around the face in the input image, the linear component due to the window, the pillar, the wall pattern, etc. It is possible to suppress erroneous determination and erroneous detection of a region surrounded by a window, a pillar, a wall pattern, or the like as a face photograph or the like.
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、判定手段が、重複率に応じて、各弱識別器にて用いる特徴量を補正する例を示したが、判定手段は、各弱識別器が出力した評価値を補正してもよい。その場合、判定手段は、重複率が高いほど、評価値を識別領域に検出対象が含まれていることを表すように補正し、重複率が低いほど、評価値を識別領域に検出対象が含まれていないことを表すように補正する。つまり、i番目の弱識別器の出力関数hi(xi)は、(1)式の代わりに、次式により与えられ、
また、判定手段が特徴量及び評価値を算出する部分領域は、複数でなく一つだけであってもよい。さらに、部分領域が一つのみである場合、その部分領域は識別領域と同じ領域であってよい。その場合、判定手段は、識別領域に対する、識別領域と動物体領域が重複している領域の比率を重複率として算出し、重複率に応じて特徴量又は評価値を補正する。 Further, the determination unit may calculate only one feature area and evaluation value instead of a plurality of partial regions. Furthermore, when there is only one partial area, the partial area may be the same area as the identification area. In this case, the determination unit calculates the ratio of the area where the identification area and the moving object area overlap with respect to the identification area as the overlap ratio, and corrects the feature amount or the evaluation value according to the overlap ratio.
また、判定手段が用いる特徴量は、識別領域に顔写真等が写っている場合に高い値を取り、写っていない場合に低い値を取るものではなく、識別領域に顔写真等が写っている場合に低い値を取り、写っていない場合に高い値を取るものでもよい。その場合、補正係数は1以上の値とし、重複率が高いほど、補正係数を小さくして補正特徴量を小さくし、重複率が低いほど、補正係数を大きくして補正特徴量を大きくする。そして、その特徴量に対応する弱識別器の出力関数は、補正特徴量が閾値θiより小さい場合、1を出力し、補正特徴量が閾値θi以上である場合、-1を出力するようにする。例えば、顔写真内の領域と顔写真外の領域とではテクスチャ情報が異なるため、所定距離だけ離れた二つの矩形領域のそれぞれの色ヒストグラムのマッチング等により求められる類似度が、識別領域に顔写真等が写っている場合に低い値を取り、写っていない場合に高い値を取る特徴量として利用される。 In addition, the feature amount used by the determination means takes a high value when a facial photograph or the like is captured in the identification area, and does not take a low value when the facial photograph or the like is not captured. In some cases, a low value may be taken, and a high value may be taken if no image is taken. In this case, the correction coefficient is set to a value of 1 or more. The higher the overlap rate, the smaller the correction coefficient and the correction feature amount. The lower the overlap rate, the greater the correction coefficient and the correction feature amount. The output function of the weak classifiers corresponding to the feature amount, when the correction characteristic amount is smaller than the threshold value theta i, and outputs a 1 if the correction feature amount is equal to or larger than the threshold theta i, to output a -1 To. For example, since the texture information is different between the area inside the face photo and the area outside the face photo, the similarity obtained by matching the color histograms of two rectangular areas separated by a predetermined distance, etc. It is used as a feature value that takes a low value when the image is captured and takes a high value when the image is not captured.
また、判定手段は、Adaboost識別器を用いて評価値を算出する代わりにサポートベクトルマシン、又は3層以上の層を持つパーセプトロン等を用いて評価値を算出してもよい。その場合、判定手段は、顔写真等が写っている複数の学習用画像と顔写真等が写っていない複数の学習用画像のそれぞれについて、設定された部分領域から顔写真等に関する特徴量を算出し、算出した特徴量を用いて事前学習を行う。この事前学習は、特定の画像から算出された特徴量が入力されたときに、特定の画像に顔写真等が写っているか否かを判別するように行われる。判定手段は、入力画像から抽出された識別領域内の部分領域から顔写真等に関する特徴量を算出する。なお、顔写真等に関する特徴量として、例えばハールライク特徴量、HOG特徴量を用いることができる。あるいはエッジ検出フィルタの出力を顔写真等に関する特徴量として用いてもよい。そして、判定手段は、算出した特徴量を重複率に応じて補正した補正特徴量をサポートベクトルマシン又はパーセプトロンに入力し、出力された評価値に基づいて入力画像内に顔写真等が含まれるか否かを判定する。 The determination means may calculate the evaluation value using a support vector machine or a perceptron having three or more layers instead of calculating the evaluation value using the Adaboost discriminator. In that case, the determination means calculates a feature amount related to the face photograph or the like from the set partial area for each of the plurality of learning images including the face photograph or the like and the plurality of learning images not including the face photograph or the like. Then, prior learning is performed using the calculated feature amount. This pre-learning is performed so as to determine whether or not a face photograph or the like is included in the specific image when a feature amount calculated from the specific image is input. The determination unit calculates a feature amount related to a face photograph or the like from a partial region in the identification region extracted from the input image. Note that, for example, a Haar-like feature value or a HOG feature value can be used as a feature value related to a face photograph or the like. Alternatively, the output of the edge detection filter may be used as a feature amount related to a face photograph or the like. Then, the determination means inputs a corrected feature value obtained by correcting the calculated feature value according to the overlap rate to a support vector machine or a perceptron, and whether a face photograph or the like is included in the input image based on the output evaluation value Determine whether or not.
また、識別領域抽出手段は、一つの顔領域に対して識別領域を一つだけ抽出するのではなく、複数抽出してもよい。その場合、識別領域抽出手段は、一つの顔領域に対してそれぞれサイズが異なるように複数の識別領域を抽出する。判定手段は、抽出された複数の識別領域のそれぞれについて、各弱識別器による出力結果の重み付け和を算出する。なお、この重み付け和は、正値である場合、入力画像に顔写真等が含まれることを表す度合いを示し、負値である場合、入力画像に顔写真等が含まれないことを表す度合いを示す。判定手段は、抽出された複数の識別領域のうち、算出した重み付け和の絶対値、即ち、入力画像に顔写真等が含まれるか否かを表わす度合いの大きさが最も大きくなる識別領域を用いて、入力画像に顔写真等が含まれるか否かを判定する。これにより、判定手段は、事前学習された識別器に最も適した識別領域を用いて、入力画像に顔写真等が含まれるか否かをより精度よく判定することができる。 Further, the identification area extracting means may extract a plurality of identification areas instead of extracting only one identification area for one face area. In this case, the identification area extracting unit extracts a plurality of identification areas so that the sizes are different from each other for one face area. The determination unit calculates a weighted sum of output results from the weak classifiers for each of the extracted plurality of identification regions. When the weighted sum is a positive value, the weighted sum indicates a degree indicating that the input image includes a face photograph or the like. When the weighted sum is negative, the weighted sum indicates a degree indicating that the input image does not include a face photograph or the like. Show. The determination unit uses an identification area that has the largest absolute value of the calculated weighted sum, that is, whether the input image includes a face photograph or the like, among the plurality of extracted identification areas. Then, it is determined whether or not a face photograph or the like is included in the input image. Thereby, the determination means can determine more accurately whether or not a face photograph or the like is included in the input image, using an identification region most suitable for a classifier that has been learned in advance.
また、動物体領域抽出手段は、背景差分処理を用いて動物体領域を抽出するのではなく、例えば、フレーム間差分処理を用いて動物体領域を抽出してもよい。その場合、動物体領域抽出手段は、画像取得部によって連続して取得される複数の入力画像から、輝度値の時間的な変化のある領域を動物体領域として抽出する。 In addition, the moving object region extracting unit may extract the moving object region using, for example, inter-frame difference processing, instead of extracting the moving object region using the background difference processing. In this case, the moving object region extracting unit extracts a region having a temporal change in luminance value as a moving object region from a plurality of input images acquired continuously by the image acquiring unit.
また、画像処理部は、画像取得部が順次取得した入力画像において、顔検出手段が検出した顔領域について、公知のトラッキング技術を用いて追跡処理を実行し、同一人物の顔として追跡された顔領域ごとに、不正行為判定処理及び顔照合処理を実施してもよい。画像処理部は、例えば、最新の入力画像内の顔領域のそれぞれについて、その顔領域の重心位置と、直前の入力画像から抽出された顔領域の重心位置との距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。あるいは、オプティカルフロー、パーティクルフィルタ等の方法を用いて追跡処理を実行してもよい。
さらに、複数の顔領域が検出された場合、ある顔領域について抽出した識別領域内の部分領域と他の顔領域が重複している場合、その部分領域について重複率を算出するときはその重複している領域は動物体領域でないものとして重複率を算出してもよい。これにより、注目する人物の近傍に他の人物が写っている場合に、注目する人物について求めた識別領域について、その近傍に写っている人物によって重複率が高くなり、顔写真が写っていると誤って判定しやすくなることを抑制することができる。
In addition, the image processing unit performs a tracking process using a known tracking technique on the face area detected by the face detection unit in the input image sequentially acquired by the image acquisition unit, and the face tracked as the face of the same person For each region, the cheating determination process and the face matching process may be performed. For example, for each face area in the latest input image, the image processing unit obtains the distance between the centroid position of the face area and the centroid position of the face area extracted from the immediately preceding input image. If it is equal to or less than a predetermined threshold, the face area is associated with the same person. Alternatively, the tracking process may be executed using a method such as an optical flow or a particle filter.
Furthermore, when a plurality of face areas are detected, if a partial area in the identification area extracted for a certain face area overlaps with another face area, the overlap ratio is calculated when calculating the overlap rate for that partial area. The overlapping ratio may be calculated assuming that the area that is present is not the moving body area. As a result, when there is another person in the vicinity of the person of interest, the identification area obtained for the person of interest has a high duplication rate depending on the person in the vicinity, and a face photo is taken. It can suppress that it becomes easy to judge accidentally.
また、対象検出装置の検出対象は、顔写真等に限定されず、両手を挙げている人物、つまりホールドアップの姿勢を取っている人物としてもよい。両手を挙げている人物が写っている画像には、人物の顔の左右に写っている両腕により直線成分が生じるため、人物の顔の左右に存在する直線成分を特徴とすることにより、顔写真等と同様にして、両手を挙げている人物を検出することができる。その場合、両手を挙げている人物が写っている多数の学習用画像と両手を挙げている人物が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用いた機械学習により識別器を生成しておく。判定手段は、重複率に応じて、各弱識別器についての特徴量又は評価値を補正することにより、窓、柱、壁の模様等の静止物体を人物が挙げている両手等と誤って検出することを抑制することができる。 In addition, the detection target of the target detection device is not limited to a face photograph or the like, and may be a person who raises both hands, that is, a person who holds a hold-up posture. In an image showing a person with both hands up, a straight line component is generated by the arms on the left and right sides of the person's face. A person with both hands raised can be detected in the same manner as in a photograph or the like. In that case, the discriminator is determined by machine learning using feature values extracted from a large number of learning images showing a person with both hands up and a large number of learning images without a person holding up both hands. Generate it. Judgment means mistakenly detects stationary objects such as windows, pillars, wall patterns, etc. as both hands holding a person by correcting the feature value or evaluation value for each weak classifier according to the overlap rate Can be suppressed.
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various modifications in accordance with the embodiment to be implemented within the scope of the present invention.
1 顔画像認証装置
2 撮像部
3 電気錠制御装置
10 画像取得部
20 出力部
30 記憶部
40 画像処理部
41 動物体領域抽出手段
42 顔検出手段
43 識別領域抽出手段
44 不正行為判定手段
45 顔照合手段
DESCRIPTION OF
Claims (7)
前記入力画像から動物体を表す動物体領域を抽出する動物体領域抽出手段と、
前記入力画像から所定の物体を含む物体領域を検出する物体領域検出手段と、
前記入力画像から前記物体領域と特定の位置関係にある識別領域を抽出する識別領域抽出手段と、
前記識別領域から検出対象らしさを表す特徴量を算出し当該特徴量を用いて当該識別領域に前記検出対象が含まれていることの確からしさを表す評価値を出力するよう構成された識別器を含み、当該評価値を用いて前記入力画像に前記検出対象が含まれるか否かを判定する判定手段と、を有し、
前記判定手段は、前記識別領域に対する当該識別領域と前記動物体領域が重複している領域の比率である重複率が低いほど前記入力画像に前記検出対象が含まれると判定しにくくすることを特徴とする対象検出装置。 An image obtaining unit for obtaining an input image obtained by photographing a predetermined photographing region;
Moving body region extracting means for extracting a moving body region representing a moving body from the input image;
Object region detection means for detecting an object region including a predetermined object from the input image;
An identification area extracting means for extracting an identification area having a specific positional relationship with the object area from the input image;
A discriminator configured to calculate a feature amount representing the likelihood of being detected from the identification region and to output an evaluation value representing the probability that the detection target is included in the identification region using the feature amount; Determination means for determining whether or not the detection target is included in the input image using the evaluation value,
The determination means makes it difficult to determine that the detection target is included in the input image as the overlap rate, which is a ratio of a region where the identification region and the moving body region overlap with the identification region, is lower. Target detection device.
前記判定手段は、前記複数の識別領域のそれぞれについて、前記評価値を算出し、当該評価値を用いて前記入力画像に前記検出対象が含まれるか否かを表す度合いを算出し、前記複数の識別領域のうち、前記度合いの大きさが最も大きい識別領域を用いて、前記入力画像に前記検出対象が含まれるか否かを判定する、請求項1〜6の何れか一項に記載の対象検出装置。 The identification area extracting means extracts a plurality of the identification areas so as to have different sizes,
The determination unit calculates the evaluation value for each of the plurality of identification regions, calculates a degree indicating whether or not the detection target is included in the input image using the evaluation value, and The object according to any one of claims 1 to 6, wherein it is determined whether or not the detection target is included in the input image using an identification area having the largest degree among the identification areas. Detection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012281633A JP6053504B2 (en) | 2012-12-25 | 2012-12-25 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012281633A JP6053504B2 (en) | 2012-12-25 | 2012-12-25 | Object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014126942A JP2014126942A (en) | 2014-07-07 |
JP6053504B2 true JP6053504B2 (en) | 2016-12-27 |
Family
ID=51406406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012281633A Active JP6053504B2 (en) | 2012-12-25 | 2012-12-25 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6053504B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3954484B2 (en) * | 2002-12-12 | 2007-08-08 | 株式会社東芝 | Image processing apparatus and program |
JP4548218B2 (en) * | 2005-05-24 | 2010-09-22 | パナソニック電工株式会社 | Face recognition device |
JP5155250B2 (en) * | 2009-05-29 | 2013-03-06 | セコム株式会社 | Object detection device |
-
2012
- 2012-12-25 JP JP2012281633A patent/JP6053504B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014126942A (en) | 2014-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107423690B (en) | Face recognition method and device | |
US11023757B2 (en) | Method and apparatus with liveness verification | |
CN107766786B (en) | Activity test method and activity test computing device | |
CN101853391B (en) | Information processing device and method | |
JP5955133B2 (en) | Face image authentication device | |
US10127439B2 (en) | Object recognition method and apparatus | |
KR20190075560A (en) | Liveness test method and apparatus | |
JP6148065B2 (en) | Face recognition system | |
JP6148064B2 (en) | Face recognition system | |
JP5106356B2 (en) | Image monitoring device | |
JP6222948B2 (en) | Feature point extraction device | |
KR100824757B1 (en) | Gait recognition method | |
JP2008146539A (en) | Face authentication device | |
JP5955031B2 (en) | Face image authentication device | |
US20120249297A1 (en) | Consent Biometrics | |
JP2011113313A (en) | Attitude estimation device | |
KR20140074303A (en) | Detection of fraud for access control system of biometric type | |
JP6396357B2 (en) | Face image authentication device | |
JP5955056B2 (en) | Face image authentication device | |
JP5726595B2 (en) | Image monitoring device | |
US11354940B2 (en) | Method and apparatus for foreground geometry and topology based face anti-spoofing | |
JP5955057B2 (en) | Face image authentication device | |
JP6053504B2 (en) | Object detection device | |
JP6150491B2 (en) | Face recognition device | |
KR101767051B1 (en) | Method and apparatus for extracting finger vein image based on fuzzy inference |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6053504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |