JP6053504B2 - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP6053504B2
JP6053504B2 JP2012281633A JP2012281633A JP6053504B2 JP 6053504 B2 JP6053504 B2 JP 6053504B2 JP 2012281633 A JP2012281633 A JP 2012281633A JP 2012281633 A JP2012281633 A JP 2012281633A JP 6053504 B2 JP6053504 B2 JP 6053504B2
Authority
JP
Japan
Prior art keywords
face
region
input image
area
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012281633A
Other languages
Japanese (ja)
Other versions
JP2014126942A (en
Inventor
健 糸賀
健 糸賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2012281633A priority Critical patent/JP6053504B2/en
Publication of JP2014126942A publication Critical patent/JP2014126942A/en
Application granted granted Critical
Publication of JP6053504B2 publication Critical patent/JP6053504B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、入力された画像から検出対象を検出する対象検出装置に関する。   The present invention relates to a target detection apparatus that detects a detection target from an input image.

従来、画像から特定の検出対象を検出する技術が研究されている。例えば、非特許文献1には、機械学習により生成した識別器を用いて画像から検出対象を検出するシステムが開示されている。このシステムでは、正解画像と非正解画像を用いて、アダブースト(Adaboost)学習アルゴリズムにより、検出対象の識別に用いる特徴を決定し、識別器を事前学習させる。   Conventionally, techniques for detecting a specific detection target from an image have been studied. For example, Non-Patent Document 1 discloses a system that detects a detection target from an image using a discriminator generated by machine learning. In this system, a correct image and a non-correct image are used to determine a feature used for identification of a detection target by an Adaboost learning algorithm, and a classifier is pre-learned.

Rapid Object Detection Using a Boosted Cascade of Simple Features, P.Viola & M.Jones(Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001)Rapid Object Detection Using a Boosted Cascade of Simple Features, P. Viola & M. Jones (Proc. The IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001)

非特許文献1に開示されたシステムは、精度よく検出対象を検出することができる。しかしながら、非特許文献1に開示されたシステムは、画像内に、検出対象の識別に用いる特徴と同様の特徴を有する物体が写っている場合、検出対象が写っていないにも関わらず、検出対象が写っていると誤って判定してしまう場合がある。   The system disclosed in Non-Patent Document 1 can detect a detection target with high accuracy. However, in the system disclosed in Non-Patent Document 1, when an object having the same feature as that used for identifying the detection target is shown in the image, the detection target is not shown. If it is reflected, it may be judged erroneously.

本発明の目的は、画像内に検出対象が写っていると誤って判定することを抑制することができる対象検出装置を提供することにある。   An object of the present invention is to provide an object detection device that can suppress erroneous determination that a detection object is included in an image.

かかる課題を解決するための本発明は、対象検出装置を提供する。係る対象検出装置は、所定の撮影領域を撮影した入力画像を取得する画像取得部と、入力画像から動物体を表す動物体領域を抽出する動物体領域抽出手段と、入力画像から所定の物体を含む物体領域を検出する物体領域検出手段と、入力画像から物体領域と特定の位置関係にある識別領域を抽出する識別領域抽出手段と、識別領域から検出対象らしさを表す特徴量を算出しその特徴量を用いてその識別領域に検出対象が含まれていることの確からしさを表す評価値を出力するよう構成された識別器を含み、その評価値を用いて入力画像に検出対象が含まれるか否かを判定する判定手段と、を有し、判定手段は、識別領域に対するその識別領域と動物体領域が重複している領域の比率である重複率が低いほど入力画像に検出対象が含まれると判定しにくくする。   The present invention for solving this problem provides an object detection apparatus. The target detection apparatus includes an image acquisition unit that acquires an input image obtained by capturing a predetermined imaging region, an animal body region extracting unit that extracts an animal body region representing an animal body from the input image, and a predetermined object from the input image. An object area detecting means for detecting an object area, an identification area extracting means for extracting an identification area having a specific positional relationship with the object area from the input image, and calculating a feature amount representing the likelihood of detection from the identification area Whether or not an input image is included in the input image using an evaluation value that includes an identifier configured to output an evaluation value that represents the probability that the detection target is included in the identification region using a quantity Determination means for determining whether or not, and the determination means includes a detection target in the input image as the overlap ratio, which is the ratio of the area where the identification area overlaps the identification area and the moving body area, is lower. And Less likely to.

また、本発明に係る対象検出装置において、判定手段は、重複率が低いほど、特徴量を検出対象らしくないことを表すように補正することにより、入力画像に検出対象が含まれると判定しにくくすることが好ましい。   Further, in the target detection apparatus according to the present invention, the determination unit makes it difficult to determine that the detection target is included in the input image by correcting the feature amount so as not to be the detection target as the overlap rate is lower. It is preferable to do.

さらに、本発明に係る対象検出装置において、判定手段は、識別領域から、その識別領域と所定の位置関係にある部分領域を複数特定し、その部分領域のそれぞれについて、特徴量及び重複率を算出し、その重複率が低いほど、その特徴量を検出対象らしくないことを表すように補正することが好ましい。   Furthermore, in the target detection device according to the present invention, the determination unit specifies a plurality of partial areas having a predetermined positional relationship with the identification area from the identification area, and calculates a feature amount and a duplication rate for each of the partial areas. However, it is preferable that the lower the overlap rate, the more the correction is made so as to indicate that the feature amount is not likely to be detected.

または、本発明に係る対象検出装置において、判定手段は、重複率が低いほど、評価値を検出対象が含まれていないことを表すように補正することにより、入力画像に検出対象が含まれると判定しにくくすることが好ましい。   Alternatively, in the target detection device according to the present invention, when the determination unit includes the detection target in the input image by correcting the evaluation value so as to indicate that the detection target is not included, as the overlap rate is lower. It is preferable to make the determination difficult.

さらに、本発明に係る対象検出装置において、判定手段は、識別領域から、その識別領域と所定の位置関係にある部分領域を複数特定し、その部分領域のそれぞれについて、評価値及び重複率を算出し、その重複率が低いほど、その評価値を検出対象が含まれていないことを表すように補正することが好ましい。   Furthermore, in the target detection apparatus according to the present invention, the determination unit specifies a plurality of partial areas having a predetermined positional relationship with the identification area from the identification area, and calculates an evaluation value and a duplication rate for each of the partial areas. And it is preferable to correct | amend the evaluation value so that the detection target is not included, so that the duplication rate is low.

また、本発明に係る対象検出装置において、判定手段は、重複率が半分より低い所定値以下である場合に限り、その重複率が低いほど入力画像に検出対象が含まれると判定しにくくすることが好ましい。   Further, in the target detection apparatus according to the present invention, the determination unit makes it difficult to determine that the detection target is included in the input image as the overlap ratio is lower, only when the overlap ratio is less than a predetermined value lower than half. Is preferred.

また、本発明に係る対象検出装置において、識別領域抽出手段は、識別領域をそれぞれサイズが異なるように複数抽出し、判定手段は、複数の識別領域のそれぞれについて、評価値を算出し、その評価値を用いて入力画像に検出対象が含まれるか否かを表す度合いを算出し、複数の識別領域のうち、度合いの大きさが最も大きい識別領域を用いて、入力画像に検出対象が含まれるか否かを判定することが好ましい。   In the target detection device according to the present invention, the identification area extraction unit extracts a plurality of identification areas so that the sizes are different, and the determination unit calculates an evaluation value for each of the plurality of identification areas, A degree representing whether or not the detection target is included in the input image is calculated using the value, and the detection target is included in the input image using the identification area having the largest degree among the plurality of identification areas. It is preferable to determine whether or not.

本発明に係る対象検出装置は、検出対象の識別に用いる特徴と同様の特徴を有する物体が写っている場合、検出対象が写っていないにもかかわらず、画像内に検出対象が写っていると誤って判定することを抑制することができるという効果を奏する。   In the object detection device according to the present invention, when an object having the same characteristic as that used for identifying the detection object is captured, the detection object is captured in the image even though the detection object is not captured. There is an effect that it is possible to suppress erroneous determination.

(a)及び(b)は、本発明を適用した顔画像認証装置に接続される撮像装置の設置例を表す模式図である。(A) And (b) is a schematic diagram showing the example of installation of the imaging device connected to the face image authentication apparatus to which this invention is applied. (a)及び(b)は、撮像装置が撮影した入力画像から人物の顔の周辺を含む領域を抽出した画像の例を示す模式図である。(A) And (b) is a schematic diagram which shows the example of the image which extracted the area | region including the periphery of a person's face from the input image image | photographed with the imaging device. 確率密度関数のグラフの例を示す模式図である。It is a schematic diagram which shows the example of the graph of a probability density function. 本発明を適用した出入管理システムの概略構成図である。It is a schematic block diagram of the entrance / exit management system to which this invention is applied. 重複率と補正係数の関係の一例を表すグラフを示す模式図である。It is a schematic diagram which shows the graph showing an example of the relationship between a duplication rate and a correction coefficient. (a)、(b)、(c)、(d)及び(e)は、部分領域と動物体領域の関係の一例を表す模式図である。(A), (b), (c), (d), and (e) are schematic diagrams showing an example of a relationship between a partial region and a moving body region. 本発明による顔画像認証装置の動作の例を示すフローチャートである。It is a flowchart which shows the example of operation | movement of the face image authentication apparatus by this invention. 画像処理部により実行される不正行為判定処理の動作の例を示すフローチャートである。It is a flowchart which shows the example of operation | movement of the fraud determination process performed by the image process part.

以下、本発明にかかる対象検出装置を出入管理システムに適用した場合の一実施形態である顔画像認証装置について図を参照しつつ説明する。
従来、予め登録している顔画像に基づいて人物を認証する顔画像認証装置に対して、登録されていない未登録者が、予め登録された登録者の顔写真または登録顔画像を引き延ばして印刷した紙を自分の顔の前に掲げることにより、登録者と判定されようとする不正行為が行われる問題がある。この問題に対して、例えば、検出対象を顔写真とし、検出対象を識別する特徴を画像内において写真枠により顔の周囲に生じる直線成分として、非特許文献1に開示されたシステムを適用することにより、不正行為を検出することができる。しかし、画像内の顔の周囲に、写真枠と同様に直線成分を有する窓、柱、壁の模様等が写っている場合、顔写真が写っていないにも関わらず顔写真が写っていると誤って判定されるおそれがある。
そこで、本発明にかかる対象検出装置は、人物を撮影した入力画像から動物体を表す動物体領域を抽出する一方で、入力画像において人物の顔を含む領域と特定の位置関係にある識別領域を抽出して、識別領域について顔写真らしさを表す特徴量を算出する。
さらに対象検出装置は、識別領域に対する識別領域と動物体領域が重複している領域の比率が低いほど、その算出した特徴量を顔写真らしくないことを表すように補正して、補正した特徴量を用いて入力画像に顔写真が含まれるか否かを判定する。
これにより、対象検出装置は、入力画像に顔写真を掲げていない人物が写っており、且つその人物の顔の周囲に静止物体である窓、柱、壁の模様等が写っている場合に、窓、柱、壁の模様等による直線成分を写真枠と誤って判定し、窓、柱、壁の模様等で囲われた領域を顔写真と誤って検出することの抑制を図る。
Hereinafter, a face image authentication apparatus as an embodiment when the object detection apparatus according to the present invention is applied to an access control system will be described with reference to the drawings.
Conventionally, an unregistered unregistered person prints a previously registered registrant's face photo or registered face image for a face image authentication device that authenticates a person based on a pre-registered face image. There is a problem in that fraudulent acts that are determined to be a registrant are performed by placing the printed paper in front of your face. For example, the system disclosed in Non-Patent Document 1 is applied to this problem, for example, using a face photograph as a detection target, and a feature that identifies the detection target as a linear component generated around the face by a photo frame in the image. Thus, it is possible to detect fraud. However, if there are windows, pillars, wall patterns, etc. that have a straight line component around the face in the image, the face photo is shown even though the face photo is not shown. There is a risk of erroneous determination.
Therefore, the object detection device according to the present invention extracts an animal body region representing a moving object from an input image obtained by photographing a person, while an identification region having a specific positional relationship with a region including a person's face in the input image. Extraction is performed to calculate a feature amount representing the likelihood of a face photograph for the identification region.
Further, the target detection device corrects the calculated feature amount so that it does not look like a face photograph, as the ratio of the region where the identification region and the moving object region overlap with the identification region is lower, and the corrected feature amount Is used to determine whether or not a face photograph is included in the input image.
As a result, the target detection device includes a person who does not have a face photo in the input image, and a window, a pillar, a wall pattern, etc., which are stationary objects, are reflected around the person's face. A straight line component due to a window, column, wall pattern, or the like is erroneously determined as a photo frame, and an area surrounded by a window, column, wall pattern, or the like is erroneously detected as a face photo.

図1(a)及び図1(b)は、本発明にかかる対象検出装置を適用した例として、部屋の入口の出入を管理する顔画像認証装置1に接続される撮像装置2の設置例を模式的に示している。以下、撮像装置2が撮影する撮影領域の状態について説明する。図1(a)及び図1(b)に示すように、顔画像認証装置1は、電気錠制御装置3を介して不図示の電気錠を制御することにより部屋の入口101の出入を管理する。撮像装置2は、入口101に通じる通路を撮影領域として撮影できるように入口101の近傍の壁面または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像装置2は、進行方向102に沿って入口101に向かう人物を撮像することができる。
図1(a)は、撮像装置2が、入口101に向かう人物110を撮影する様子を示し、図1(b)は、撮像装置2が、入口101に向かう人物120を撮影する様子を示している。この人物120は、顔画像認証装置1に登録されていない未登録者であり、顔画像認証装置1に予め登録されている登録者の顔写真121を自分の顔の前に掲げている。つまり、この人物120は、自分の顔の代わりに、登録者の顔写真121を撮像装置2に撮影させて、登録者の顔写真121により認証を受けようとする不正行為を行っている。このような人物の顔が写っている写真又はディスプレイ(以下、顔写真等と称する)を用いた不正行為を以下では写真画策と称する。
FIG. 1A and FIG. 1B show an installation example of an imaging device 2 connected to a face image authentication device 1 that manages the entrance and exit of a room as an example to which the object detection device according to the present invention is applied. This is shown schematically. Hereinafter, the state of the imaging region where the imaging device 2 captures images will be described. As shown in FIGS. 1A and 1B, the face image authentication device 1 manages the entrance / exit of the entrance 101 of the room by controlling an electric lock (not shown) via the electric lock control device 3. . The imaging device 2 is attached to a wall surface or ceiling near the entrance 101 so that the shooting direction is slightly downward and directed toward the passage so that the passage leading to the entrance 101 can be taken as a shooting area. Thereby, the imaging device 2 can image a person heading toward the entrance 101 along the traveling direction 102.
FIG. 1A shows a state where the imaging device 2 captures a person 110 heading toward the entrance 101, and FIG. 1B illustrates a state where the imaging device 2 captures a person 120 heading toward the entrance 101. Yes. The person 120 is an unregistered person who has not been registered in the face image authentication apparatus 1, and has a registered person's face photograph 121 registered in advance in the face image authentication apparatus 1 in front of his / her face. That is, the person 120 performs an illegal act of causing the imaging device 2 to take a photograph of the registrant's face 121 instead of his / her face and trying to be authenticated by the registrant's face photograph 121. Such a fraud using a photograph or a display (hereinafter referred to as a face photograph or the like) in which a person's face is reflected will be referred to as a photographic plan below.

図2(a)、(b)は、撮像領域を撮影した入力画像から人物の顔の周辺を含む領域を抽出した画像の例を示している。
図2(a)は、図1(a)の写真画策を行っていない人物110が撮影された入力画像から抽出された画像200の例を示し、図2(b)は、図1(b)の人物120が登録者の顔写真121を自分の顔の前に掲げた状態で撮影された入力画像から抽出された画像210の例を示している。
図2(b)に示すように、画像210には、顔写真121に写っている登録者の顔の周囲に顔写真121の枠が写っており、写真枠による直線成分が存在する。したがって、人物の顔の周囲に存在する直線成分を顔写真等の特徴とする機械学習により生成した識別器を用いることにより顔写真等を検出することができる。入力画像に顔写真等が写っているか否かを判定する識別器は、顔写真等が写っている多数の学習用画像と顔写真等が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用い、特徴量空間において顔写真等の特徴量が分布する空間とそれ以外の空間とを分ける識別境界を機械学習することによって生成される。
FIGS. 2A and 2B show examples of images obtained by extracting a region including the periphery of a person's face from an input image obtained by photographing the imaging region.
FIG. 2A shows an example of an image 200 extracted from an input image obtained by photographing a person 110 who has not performed the photographic plan of FIG. 1A, and FIG. 2B shows an example of FIG. The example of the image 210 extracted from the input image image | photographed in the state which raised the person's 120 photo of the registrant 121 in front of his / her face is shown.
As shown in FIG. 2B, in the image 210, the frame of the face photo 121 is shown around the face of the registrant in the face photo 121, and there is a linear component due to the photo frame. Therefore, it is possible to detect a face photograph or the like by using a discriminator generated by machine learning characterized by a straight line component existing around a human face such as a face photograph. The classifier that determines whether or not a face photo or the like is included in the input image is a feature extracted from each of a large number of learning images that include a face photo or the like and a large number of learning images that do not include a face photo or the like. This is generated by machine learning of an identification boundary that separates a space in which a feature amount such as a facial photograph is distributed in the feature amount space and a space other than that.

図3に、顔写真等を検出するように生成される識別器についての確率密度関数の例を表すグラフを示す。図3に示すグラフ300の横軸は特徴量を示し、縦軸は確率密度を示す。グラフ300において、曲線301は、顔写真等が写っていない複数の学習用画像についての確率密度関数を表し、曲線302は、顔写真等が写っている複数の学習用画像についての確率密度関数を表す。この識別器は、曲線301と曲線302が交わる点における特徴量θを識別境界とし、入力画像から抽出した特徴量が特徴量空間において識別境界のどちら側に位置するかにより、入力画像において人物の顔の周囲に直線成分が存在するか否かを判定し、顔写真等が写っているか否かを精度よく判定することができる。   FIG. 3 shows a graph representing an example of a probability density function for a classifier generated so as to detect a facial photograph or the like. The horizontal axis of the graph 300 illustrated in FIG. 3 indicates the feature amount, and the vertical axis indicates the probability density. In the graph 300, a curve 301 represents a probability density function for a plurality of learning images in which a face photograph or the like is not shown, and a curve 302 represents a probability density function for a plurality of learning images in which a face photograph or the like is shown. Represent. This discriminator uses the feature quantity θ at the point where the curve 301 and the curve 302 intersect as the discrimination boundary, and the feature quantity extracted from the input image is located on the side of the discrimination boundary in the feature quantity space. It can be determined whether or not there is a linear component around the face, and it can be accurately determined whether or not a face photograph or the like is shown.

しかし、図2(a)に示すように、人物110の顔の周囲に窓103の枠が写っているような画像200には、写真画策を行っていない人物110の顔の周囲に窓枠による直線成分が存在している。したがって、画像200について算出される特徴量は、顔写真等の特徴量が分布する側の空間に存在する、すなわち図3の領域303に存在する可能性がある。この場合、画像200には、顔写真等が写っていないにも関わらず顔写真等が存在すると判定され、写真画策が行われたと誤って判定される。   However, as shown in FIG. 2A, an image 200 in which the frame of the window 103 is reflected around the face of the person 110 is displayed by the window frame around the face of the person 110 that has not been photographed. A linear component exists. Therefore, there is a possibility that the feature amount calculated for the image 200 exists in the space where the feature amount such as a facial photograph is distributed, that is, in the region 303 in FIG. In this case, it is determined that a face photograph or the like is present in the image 200 even though the face photograph or the like is not shown, and it is erroneously determined that a photographic plan has been performed.

このように、人物の背景に写っている窓枠等は、人物の顔の周囲に直線成分を生じさせ、写真枠と同様の特徴を有する。しかし、窓は静止物体であり、顔写真等は人物の移動とともに移動する動物体であるという違いがある。そこで、顔画像認証装置1は、入力画像から動物体を表す動物体領域を抽出し、特徴量を算出する領域のうち動物体領域が占める比率が小さいほど、特徴量を顔写真等の特徴を表す度合いが低くなるように補正する。これにより、入力画像に窓枠等が写っている場合に、顔写真等が写っていると判定しにくくし、窓枠等を写真枠と誤って判定することを抑制する。   As described above, the window frame or the like shown in the background of the person generates a linear component around the person's face and has the same characteristics as the photo frame. However, there is a difference that the window is a stationary object, and the face photograph is a moving object that moves as the person moves. Therefore, the face image authentication device 1 extracts a moving object region representing a moving object from the input image, and the feature amount is represented by a feature such as a face photograph as the proportion of the moving object region in the region for calculating the feature amount decreases. Correction is performed so that the degree of expression is low. Accordingly, when a window frame or the like is included in the input image, it is difficult to determine that a face photograph or the like is included, and the window frame or the like is prevented from being erroneously determined as a photo frame.

以下、図4を参照し、顔画像認証装置1について詳細に説明する。図4は、本発明を適用した出入管理システム100の概略構成を示す図である。出入管理システム100は、顔画像認証装置1、撮像装置2及び電気錠制御装置3を有する。   Hereinafter, the face image authentication device 1 will be described in detail with reference to FIG. FIG. 4 is a diagram showing a schematic configuration of the access control system 100 to which the present invention is applied. The access management system 100 includes a face image authentication device 1, an imaging device 2, and an electric lock control device 3.

撮像装置2は、図1(a)及び図1(b)に示したように所定の撮影領域を撮影する監視カメラである。撮像装置2は、例えば、2次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子(例えば、CCDセンサ、C−MOSなど)と、その光電変換素子上に撮影領域の像を結像するための結像光学系を有する。撮像装置2は、撮影領域内を通行する人物の顔を順次撮影できるように人物の通行方向の略正面に設置される。そして撮像装置2は、所定の時間間隔(例えば、200msec)ごとに、撮影領域を撮影して入力画像を取得する。入力画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、入力画像を、横1280画素×縦960画素を有し、RGB各色について8ビットの輝度分解能を持つカラー画像とした。ただし、入力画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。撮像装置2は、顔画像認証装置1と接続され、取得した入力画像を顔画像認証装置1へ渡す。   The imaging device 2 is a surveillance camera that captures a predetermined imaging area as shown in FIGS. 1 (a) and 1 (b). The imaging device 2 is, for example, a two-dimensional array of photoelectric conversion elements (for example, a CCD sensor, C-MOS, etc.) that outputs an electrical signal corresponding to the amount of received light, and an image of a shooting area on the photoelectric conversion elements. An image forming optical system for forming an image. The imaging device 2 is installed substantially in front of the person's passing direction so that the face of the person passing through the shooting area can be sequentially shot. And the imaging device 2 image | photographs an imaging | photography area | region and acquires an input image for every predetermined time interval (for example, 200 msec). The input image can be a grayscale or color multi-tone image. In this embodiment, the input image is a color image having 1280 pixels wide × 960 pixels vertically and having a luminance resolution of 8 bits for each of the RGB colors. However, an input image having a resolution and gradation other than this embodiment may be used. The imaging device 2 is connected to the face image authentication device 1 and passes the acquired input image to the face image authentication device 1.

電気錠制御装置3は、不図示の電気錠を制御する制御装置である。電気錠制御装置3は、顔画像認証装置1と接続され、顔画像認証装置1からの信号に従って、電気錠を施錠又は解錠する。   The electric lock control device 3 is a control device that controls an electric lock (not shown). The electric lock control device 3 is connected to the face image authentication device 1 and locks or unlocks the electric lock according to a signal from the face image authentication device 1.

顔画像認証装置1は、顔写真等を検出対象とする対象検出装置を出入管理システムに適用した例であり、図4に示すように、画像取得部10、出力部20、記憶部30及び画像処理部40を有する。以下、顔画像認証装置1の各部について詳細に説明する。   The face image authentication device 1 is an example in which a target detection device that detects a face photograph or the like is applied to an access management system. As shown in FIG. 4, the image acquisition unit 10, the output unit 20, the storage unit 30, and the image A processing unit 40 is included. Hereinafter, each part of the face image authentication device 1 will be described in detail.

画像取得部10は、撮像装置2と接続されるインターフェース回路、例えばビデオインターフェース及びオーディオインターフェースあるいはユニバーサル・シリアル・バスといったシリアルバスに準じるインターフェース回路を有する。画像取得部10は、撮像装置2から入力画像を取得して画像処理部40へ渡す。なお、本実施形態では、画像取得部10は、撮像装置2が撮影した順に入力画像を画像処理部40へ渡すが、ハードディスク等の媒体から入力画像を撮影時刻の古い順に取得し、画像処理部40へ渡すようにしてもよい。   The image acquisition unit 10 includes an interface circuit connected to the imaging apparatus 2, for example, an interface circuit conforming to a serial bus such as a video interface and an audio interface, or a universal serial bus. The image acquisition unit 10 acquires an input image from the imaging device 2 and passes it to the image processing unit 40. In the present embodiment, the image acquisition unit 10 passes the input images to the image processing unit 40 in the order in which the imaging device 2 has taken the image. However, the image acquisition unit 10 acquires the input images from the medium such as a hard disk in the order of the shooting time. You may make it pass to 40.

出力部20は、外部の接続機器である電気錠制御装置3と接続するインターフェース及びその制御回路である。そして出力部20は、画像処理部40から人物についての認証成功を示す信号を受け取ると、接続されている電気錠制御装置3に対して解錠制御を行う信号を出力する。また、出力部20は、不図示の認証結果表示ランプと接続され、画像処理部40から人物についての認証成功、認証失敗または不正行為(写真画策)を示す信号を受け取ると、その認証結果に応じて認証結果表示ランプを点灯または消灯させる。あるいは、認証結果を不図示の監視センタ装置へ出力するようにしてもよい。   The output unit 20 is an interface connected to the electric lock control device 3 which is an external connection device and its control circuit. When the output unit 20 receives a signal indicating successful authentication of the person from the image processing unit 40, the output unit 20 outputs a signal for performing unlock control to the connected electric lock control device 3. Further, when the output unit 20 is connected to an unillustrated authentication result display lamp and receives a signal indicating a successful authentication, an unsuccessful authentication, or an improper act (photographic measure) for a person from the image processing unit 40, the output unit 20 responds to the authentication result. Turn on or off the authentication result display lamp. Or you may make it output an authentication result to the monitoring center apparatus not shown.

記憶部30は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部30は、顔画像認証装置1を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部40との間でこれらの情報を入出力する。各種データには、入口101の通行を許可されている登録者の氏名、登録者ID及び登録顔画像等の登録者データ31と、事前学習により決定された識別器に関する識別器情報32と、撮影領域に動物体が存在しないときに撮影領域を撮影した画像である背景画像33とが含まれる。なお、識別器情報32には、検出対象である顔写真等らしさを表す特徴量を算出するための部分領域についての情報が含まれる。   The storage unit 30 includes a semiconductor memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory), or a magnetic recording medium and its access device or an optical recording medium and its access device. The storage unit 30 stores a computer program and various data for controlling the face image authentication device 1, and inputs / outputs such information to / from the image processing unit 40. The various data includes registrant data 31 such as the name, registrant ID, and registered face image of the registrant permitted to pass through the entrance 101, classifier information 32 related to the classifier determined by prior learning, and photographing. A background image 33 that is an image obtained by photographing the photographing region when no moving object is present in the region is included. Note that the discriminator information 32 includes information on a partial region for calculating a feature amount representing the likelihood of a face photograph being detected.

画像処理部40は、例えば、いわゆるコンピュータにより構成され、撮像装置2から取得した入力画像に対し記憶部30を参照しながら各種処理を実行し、その処理結果を出力部20に外部へ出力させる。そのために画像処理部40は、動物体領域抽出手段41、顔検出手段42、識別領域抽出手段43、判定手段44及び顔照合手段45を有する。
画像処理部40の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部40の各手段について詳細に説明する。
The image processing unit 40 is configured by, for example, a so-called computer, and executes various processes on the input image acquired from the imaging device 2 while referring to the storage unit 30 and causes the output unit 20 to output the processing results to the outside. For this purpose, the image processing unit 40 includes a moving object region extraction unit 41, a face detection unit 42, an identification region extraction unit 43, a determination unit 44, and a face collation unit 45.
Each means of the image processing unit 40 is a functional module implemented by a microprocessor, a memory, a peripheral circuit thereof, and software operating on the microprocessor. These means may be integrated by firmware. Moreover, you may comprise some or all of these means with an independent electronic circuit, firmware, a microprocessor, etc. Hereinafter, each unit of the image processing unit 40 will be described in detail.

動物体領域抽出手段41は、画像取得部10から入力画像を取得する度に、取得した入力画像から動物体を表す動物体領域が存在するか否かを判定し、存在すればその動物体領域を抽出する。そのために、動物体領域抽出手段41は、入力画像と、記憶部30に記憶された背景画像33との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を作成する。動物体領域抽出手段41は、入力画像において、対応する差分画像内の画素値が所定の閾値Th1以上となる領域を動物体領域とし、閾値Th1未満となる領域を背景領域とする。例えば、閾値Th1は、差分画像の各画素値の平均値とすることができる。   Each time the moving object region extraction unit 41 acquires an input image from the image acquisition unit 10, the moving object region extraction unit 41 determines whether there is a moving object region representing the moving object from the acquired input image. To extract. For this purpose, the moving object region extraction unit 41 obtains a luminance difference between corresponding pixels between the input image and the background image 33 stored in the storage unit 30, and the pixel value of each pixel is an absolute value of the luminance difference. Create a difference image represented by a value. The moving object region extraction unit 41 sets a region in the input image where the pixel value in the corresponding difference image is equal to or greater than a predetermined threshold Th1 as a moving object region, and a region where the pixel value is less than the threshold Th1 as a background region. For example, the threshold value Th1 can be an average value of the pixel values of the difference image.

顔検出手段42は、入力画像に人物の顔が写っているか否かを判定し、存在すれば、人物の顔を含む顔領域を検出し、入力画像から切り出して顔領域画像として抽出する。なお、顔領域は所定の物体を含む物体領域の例であり、顔検出手段42は、入力画像から物体領域を検出する物体領域検出手段の例である。
顔領域を検出するために、顔検出手段42は、Adaboost識別器を用いる(非特許文献1を参照)。
顔領域を検出する識別器は、顔が写っている画像に生じる明暗差やエッジ情報などを顔に関する特徴量として用いて、機械学習を行うことにより生成される。つまり、顔が写っている多数の学習用画像と顔が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用い、特徴量空間において顔の特徴量が分布する空間とそれ以外の空間とを分ける識別境界を機械学習することによって生成される。
なお、顔領域の検出方法は種々存在するので、他の方法を適宜採用してもよい。例えば、顔検出手段42は、動物体領域抽出手段41が抽出した動物体領域のうち、その動物体領域の大きさ、縦横比等から人物らしいと考えられる動物体領域を人物領域として抽出する。顔検出手段42は、抽出した人物領域に対して、周知のエッジフィルタを用いて、エッジ画素抽出を行う。そして顔検出手段42は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として検出してもよい。
The face detection unit 42 determines whether or not a person's face is shown in the input image. If the face is present, the face detection unit 42 detects a face area including the person's face, extracts the face area from the input image, and extracts the face area image. The face area is an example of an object area including a predetermined object, and the face detection unit 42 is an example of an object area detection unit that detects an object area from an input image.
In order to detect the face area, the face detection means 42 uses an Adaboost discriminator (see Non-Patent Document 1).
A discriminator that detects a face region is generated by performing machine learning using a difference in brightness or edge information generated in an image showing a face as a feature amount related to the face. In other words, using feature quantities extracted from a large number of learning images with faces and a large number of learning images without faces, a space in which feature values of faces are distributed in the feature quantity space and other spaces Is generated by machine learning of an identification boundary.
Since there are various face area detection methods, other methods may be adopted as appropriate. For example, the face detection unit 42 extracts, as a person region, an animal body region that is considered to be a person from the size, aspect ratio, etc. of the animal body region among the animal body regions extracted by the animal body region extraction unit 41. The face detection means 42 performs edge pixel extraction on the extracted person region using a known edge filter. The face detection means 42 detects an elliptical edge distribution having a predetermined size and approximating the contour shape of the head from the extracted edge pixels, and detects an area surrounded by the edge distribution as a face area. May be.

識別領域抽出手段43は、入力画像から、顔領域と特定の位置関係にある識別領域を抽出する。識別領域は、例えば顔検出手段42が検出した顔領域を中心に含み、顔領域の2倍の面積を有する領域とすることができる。この識別領域は、判定手段44による検出対象の検出に用いられる。   The identification area extraction unit 43 extracts an identification area having a specific positional relationship with the face area from the input image. The identification area may be an area that includes, for example, the face area detected by the face detection unit 42 at the center and has an area twice that of the face area. This identification area is used for detection of a detection target by the determination means 44.

判定手段44は、識別領域抽出手段43が抽出した識別領域から、その識別領域と所定の位置関係にある部分領域を記憶部30の識別器情報32を参照して特定する。判定手段44は、特定した部分領域について、検出対象らしさを表す特徴量を算出し、算出した特徴量を用いてその部分領域に検出対象が含まれていることの確からしさを表す評価値を出力するように構成された識別器を含む。そして、判定手段44は、識別器が出力した評価値を用いて入力画像に検出対象が含まれるか否かを判定する。そのために、判定手段44は、顔写真等に関する特徴量として、例えばハールライク(Haar-Like)特徴量とHOG(Histogram of Oriented Gradient)特徴量を用いたAdaboost識別器を有する。
ハールライク特徴量は、画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。ハールライク特徴量の詳細については、例えば、非特許文献1に開示されている。
The determination unit 44 specifies a partial region having a predetermined positional relationship with the identification region from the identification region extracted by the identification region extraction unit 43 with reference to the classifier information 32 of the storage unit 30. The determination unit 44 calculates a feature amount that represents the likelihood of being detected for the identified partial region, and outputs an evaluation value that indicates the likelihood that the partial region includes the detection target using the calculated feature amount. A discriminator configured to: And the determination means 44 determines whether a detection target is contained in an input image using the evaluation value which the discriminator output. For this purpose, the determination unit 44 includes an Adaboost discriminator that uses, for example, a Haar-Like feature value and a HOG (Histogram of Oriented Gradient) feature value as feature values related to a facial photograph or the like.
The Haar-like feature amount is a luminance difference between a plurality of adjacent rectangular areas arbitrarily set in the image area. Details of the Haar-like feature are disclosed in Non-Patent Document 1, for example.

HOG特徴量は、画像領域中の各勾配方向の勾配強度の総和を度数としたヒストグラムから算出される。判定手段44は、識別領域を複数のブロックに分割し、さらに各ブロックを複数のセルに分割する。例えば、各セルは5画素×5画素の矩形領域であり、各ブロックは3セル×3セルの矩形領域である。そして、判定手段44は、入力された画像内の各画素における画素値の勾配方向及び勾配強度を算出する。なお、勾配方向は向きを考慮する必要がないため0°〜180°の範囲で算出され、例えば22.5°ごとに分割された8方向に定められる。
さらに、判定手段44は、セルごとに、各勾配方向について、各勾配方向の勾配強度の総和を度数としたヒストグラムを求め、求めたヒストグラムをブロックごとに正規化する。本実施形態の判定手段44は、正規化したヒストグラムの中で検出対象の特徴である写真枠の直線成分が表れやすい1つの勾配方向のみに着目し、その勾配方向の度数をHOG特徴量として用いる。
着目する勾配方向は、例えば顔検出手段42が検出した顔領域の上側部及び下側部では水平方向が望ましく、顔領域の左側部及び右側部では垂直方向が望ましい。または、学習によって最適な勾配方向を求めてもよい。
The HOG feature amount is calculated from a histogram in which the sum of the gradient intensities in each gradient direction in the image area is used as a frequency. The determination unit 44 divides the identification area into a plurality of blocks, and further divides each block into a plurality of cells. For example, each cell is a rectangular area of 5 pixels × 5 pixels, and each block is a rectangular area of 3 cells × 3 cells. Then, the determination unit 44 calculates the gradient direction and gradient strength of the pixel value at each pixel in the input image. In addition, since it is not necessary to consider the direction of the gradient direction, the gradient direction is calculated in a range of 0 ° to 180 °, and is set to, for example, 8 directions divided every 22.5 °.
Further, the determination unit 44 obtains a histogram with the sum of the gradient intensities in each gradient direction as a frequency for each gradient direction, and normalizes the obtained histogram for each block. The determination unit 44 of the present embodiment pays attention to only one gradient direction in which a linear component of a photo frame that is a feature to be detected appears in the normalized histogram, and uses the frequency in the gradient direction as the HOG feature amount. .
The gradient direction of interest is preferably the horizontal direction at the upper and lower portions of the face area detected by the face detection means 42, for example, and the vertical direction at the left and right sides of the face area. Alternatively, the optimum gradient direction may be obtained by learning.

Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器には、特徴量を算出するための部分領域を対応付けさせ、各弱識別器は、その部分領域からハールライク特徴量又はHOG特徴量を算出する。各弱識別器は、算出した特徴量に基づいて、その弱識別器に対応した部分領域に顔写真等が写っていると判定した場合、評価値として1を出力し、一方、その弱識別器に対応した部分領域に顔写真等が写っていないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値Θ(例えば、0)よりも高い場合、識別領域に顔写真等が写っていると判定する。
なお、特徴量の算出手段を別途設けて、弱識別器に入力することとしてもよい。
The Adaboost classifier includes a plurality of weak classifiers and a strong classifier that is determined by integrating the determination results of the weak classifiers. Each weak classifier is associated with a partial region for calculating a feature value, and each weak classifier calculates a Haar-like feature value or a HOG feature value from the partial region. Each weak classifier outputs 1 as an evaluation value when it is determined that a facial photograph or the like is captured in a partial region corresponding to the weak classifier based on the calculated feature amount, while the weak classifier When it is determined that a face photo or the like is not captured in the partial area corresponding to, -1 is output. On the other hand, the strong classifier weights the output result from each weak classifier, and obtains the weighted sum. When the obtained weighted sum is higher than a predetermined threshold value Θ (for example, 0), the strong classifier determines that a face photograph or the like is captured in the identification area.
Note that a feature amount calculation unit may be provided separately and input to the weak classifier.

また、識別領域中のどの位置に関するハールライク特徴量又はHOG特徴量を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、顔写真等が写っていない複数のサンプル画像と顔写真等が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
(1)事前学習を行うコンピュータは、使用可能な全ての弱識別器について、各特徴量の値に基づいて、識別領域に顔写真等が写っているか否かを識別する閾値を設定する。
(2)コンピュータは、各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
(3)コンピュータは、全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。
(4)コンピュータは、重みの合計が最も小さい弱識別器をアダブースト識別器で使用する弱識別器として選択する。そして選択された弱識別器の出力に付される重みを決定する。
(5)コンピュータは、選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
(6)コンピュータは、(3)〜(5)の手順を繰り返す。
なお、Adaboost法の詳細については、例えば、非特許文献1に開示されている。このようにして決定された各弱識別器にて用いる特徴量を算出する部分領域を表す情報と、特徴量についての情報(ハールライク特徴量であるかHOG特徴量であるか、ハールライク特徴量である場合はどのハールライク特徴量であるか)と、各弱識別器の出力に付される重みを表す情報は、識別器情報32として記憶部30に記憶される。
このような事前学習では、識別領域に顔写真等が写っているか否かを明確に区別できるように、各部分領域は、識別領域内の顔領域に対して顔写真等の特徴である背景との境界(写真枠)が写っている可能性が高いと評価された領域に設定される。したがって、選択された弱識別器に対応するハールライク特徴量は、識別領域に顔写真等が写っている場合は顔写真等と背景の間の輝度差により高い値を取り、写っていない場合は低い値を取る傾向にある。また、選択された弱識別器に対応するHOG特徴量は、識別領域に顔写真等が写っている場合は写真枠により特定の画素値勾配方向が強くなって高い値を取り、写っていない場合は低い値を取る傾向にある。
In addition, a weak classifier that uses a Haar-like feature amount or an HOG feature amount for identification in which position in the identification region is used, and a weight for the weak classifier includes a plurality of sample images in which a face photograph or the like is not shown. It is determined by prior learning using a plurality of sample images in which a face photograph or the like is shown. The outline of the learning procedure is as follows.
(1) The computer that performs the pre-learning sets a threshold value for identifying whether or not a face photograph or the like is included in the identification region based on the value of each feature amount for all usable weak classifiers.
(2) The computer determines a weight for each sample image. The initial value of the weight is the same value for each sample image.
(3) The computer inputs each sample image to all weak classifiers, and sums the weights assigned to the sample images that failed to be identified for each weak classifier.
(4) The computer selects the weak classifier having the smallest weight as the weak classifier to be used in the Adaboost classifier. Then, the weight assigned to the output of the selected weak classifier is determined.
(5) The computer increases the weight of the sample image in which the selected weak classifier has failed to be identified.
(6) The computer repeats the procedures (3) to (5).
The details of the Adaboost method are disclosed in Non-Patent Document 1, for example. Information representing the partial area for calculating the feature value used in each weak classifier determined in this way, and information about the feature value (whether it is a Haar-like feature value, an HOG feature value, or a Haar-like feature value) In this case, the information indicating the Haar-like feature value) and the weight assigned to the output of each weak classifier is stored in the storage unit 30 as the classifier information 32.
In such pre-learning, each partial area has a background that is a characteristic of the face photograph or the like with respect to the face area in the identification area so that it can be clearly distinguished whether or not a facial photograph or the like is captured in the identification area. It is set to an area evaluated that it is highly possible that the border (photo frame) of the image is captured. Therefore, the Haar-like feature corresponding to the selected weak classifier takes a high value due to the luminance difference between the face photograph etc. and the background when the face photograph etc. is shown in the identification area, and is low when it is not shown. It tends to take a value. In addition, the HOG feature value corresponding to the selected weak classifier takes a high value because the specific pixel value gradient direction becomes stronger due to the photo frame when a facial photograph or the like is captured in the identification area, and is not captured. Tends to take a low value.

さらに、判定手段44は、各弱識別器に対応する部分領域に対する、その部分領域と動物体領域が重複している領域の比率である重複率を算出する。つまり、重複率は、部分領域の面積(画素数)に対する部分領域と動物体領域が重複している領域の面積(画素数)の比率である。重複率が高いときは、部分領域のうち動物体領域の占める割合が高く、その部分領域について算出された特徴量はほとんど検出対象について算出されていると考えられる。一方、重複率が低くなるほど、部分領域のうち背景領域の占める割合が高くなり、その部分領域について算出された特徴量はほとんど背景について算出されていることになる。この場合、その部分領域には検出対象が写っていない可能性が高く、その部分領域についての特徴量が高い値を有するときは、背景の特徴が検出対象の特徴と類似している可能性が高い。
そこで、判定手段44は、算出した重複率に応じて各弱識別器にて用いる特徴量を補正するための補正係数を算出し、各弱識別器は、その弱識別器に対応する特徴量に補正係数を乗じることにより補正特徴量を算出し、補正特徴量を用いて評価値を算出する。補正係数は、0から1の範囲の値である。判定手段44は、重複率が高いほど、特徴量を検出対象らしいことを表すように補正して、部分領域に検出対象が含まれると判定し易くし、重複率が低いほど、特徴量を検出対象らしくないことを表すように補正して、部分領域に検出対象が含まれると判定しにくくする。本実施形態では、各弱識別器にて用いる特徴量は、値が高いほど顔写真等の特徴を表す度合いが高く、値が低いほど顔写真等の特徴を表す度合いが低い。そのため、判定手段44は、重複率が高いほど、補正係数を大きくして補正特徴量を大きくし、重複率が低いほど、補正係数を小さくして補正特徴量を小さくする。
Further, the determination unit 44 calculates an overlap rate, which is a ratio of a region where the partial region and the moving object region overlap with respect to the partial region corresponding to each weak classifier. That is, the overlapping rate is the ratio of the area (number of pixels) of the area where the partial area and the moving object area overlap to the area (number of pixels) of the partial area. When the overlapping rate is high, the proportion of the moving object region in the partial region is high, and it is considered that the feature amount calculated for the partial region is almost calculated for the detection target. On the other hand, the lower the overlap rate, the higher the proportion of the partial area occupied by the background area, and the feature amount calculated for the partial area is almost calculated for the background. In this case, there is a high possibility that the detection target is not shown in the partial area, and when the feature amount for the partial area has a high value, the background feature may be similar to the detection target feature. high.
Therefore, the determination unit 44 calculates a correction coefficient for correcting the feature value used in each weak classifier according to the calculated overlap rate, and each weak classifier has a feature value corresponding to the weak classifier. A correction feature amount is calculated by multiplying the correction coefficient, and an evaluation value is calculated using the correction feature amount. The correction coefficient is a value in the range of 0 to 1. The determination unit 44 corrects the feature amount so as to indicate that it is likely to be a detection target as the overlap rate is high, and easily determines that the detection target is included in the partial region. The determination unit 44 detects the feature amount as the overlap rate is low. Correction is made so as to indicate that it is not an object, and it is difficult to determine that a detection target is included in the partial area. In the present embodiment, the feature amount used in each weak classifier has a higher degree of representing a feature such as a face photograph as the value is higher, and a lower degree of representing a feature such as a face photograph as the value is lower. For this reason, the determination unit 44 increases the correction coefficient by increasing the correction coefficient as the overlap ratio is higher, and decreases the correction feature quantity by decreasing the correction coefficient as the overlap ratio is lower.

図5に、重複率と補正係数の関係の一例を表すグラフを示す。図5のグラフ500において、横軸は重複率を示し、縦軸は補正係数を示す。図5に示すように、重複率が閾値Dthより高い場合、補正係数は1とし、重複率が閾値Dth以下である場合、重複率が低くなるほど補正係数は低い値とする。なお、重複率が高いほど部分領域に動物体が含まれる割合が高く、重複率が低いほど部分領域に動物体が含まれる割合が低い。また、動物体領域と背景領域の境界は動物体の輪郭を表すため、重複率が半分(50%)である場合、動物体の輪郭が部分領域の中心を通過している可能性がある。例えば、部分領域を縦に分割した二つの領域間の輝度差をハールライク特徴量として用いる場合、動物体の輪郭が部分領域を縦に分割する境界を通過していれば、一方の領域には動物体が写り、他方の領域には背景が写るため、動物体の特徴を適切に抽出することができる。したがって、閾値Dthは50%より低い値とし、重複率が閾値Dth以上の場合は特徴量を補正せず、重複率が閾値Dth未満の場合に限り特徴量を補正することが好ましい。   FIG. 5 shows a graph showing an example of the relationship between the overlap rate and the correction coefficient. In the graph 500 of FIG. 5, the horizontal axis indicates the overlap rate, and the vertical axis indicates the correction coefficient. As shown in FIG. 5, when the overlap rate is higher than the threshold value Dth, the correction coefficient is 1, and when the overlap rate is equal to or less than the threshold value Dth, the correction coefficient is set to a lower value as the overlap rate is lower. Note that the higher the overlapping rate, the higher the proportion of moving objects included in the partial region, and the lower the overlapping rate, the lower the proportion of moving objects included in the partial region. Further, since the boundary between the moving object region and the background region represents the contour of the moving object, when the overlap rate is half (50%), the contour of the moving object may pass through the center of the partial region. For example, when the luminance difference between two regions obtained by dividing a partial region vertically is used as a Haar-like feature amount, if the contour of the moving object passes through the boundary dividing the partial region vertically, the animal in one region Since the body appears and the background appears in the other region, the features of the moving object can be extracted appropriately. Therefore, the threshold value Dth is preferably set to a value lower than 50%, and the feature value is not corrected when the overlap rate is equal to or greater than the threshold value Dth, and the feature value is preferably corrected only when the overlap rate is less than the threshold value Dth.

i番目の弱識別器の出力関数hi(xi)は、次式により与えられる。

Figure 0006053504
(1)式において、Liはi番目の弱識別器についての補正係数であり、xiはi番目の弱識別器に対応する部分領域について算出された特徴量であり、θiはi番目の弱識別器について設定した閾値である。強識別器の出力関数Hは、次式により与えられる。
Figure 0006053504
(2)式において、Tは弱識別器の数であり、αiはi番目の弱識別器の出力に付される重みであり、Θは強識別器について設定した閾値である。判定手段44は、強識別器が正値を出力する場合、識別領域に顔写真等が含まれると判定し、強識別器が負値を出力する場合、識別領域に顔写真等が含まれないと判定する。 The output function h i (x i ) of the i-th weak classifier is given by the following equation.
Figure 0006053504
In equation (1), L i is a correction coefficient for the i-th weak classifier, x i is a feature amount calculated for the partial region corresponding to the i-th weak classifier, and θ i is the i-th weak classifier. This is the threshold set for the weak classifier. The output function H of the strong classifier is given by the following equation.
Figure 0006053504
In equation (2), T is the number of weak classifiers, α i is a weight given to the output of the i-th weak classifier, and Θ is a threshold set for the strong classifier. When the strong classifier outputs a positive value, the determination unit 44 determines that the identification area includes a face photograph or the like, and when the strong classifier outputs a negative value, the identification area does not include a face photograph or the like. Is determined.

図6(a)〜(e)に、部分領域と動物体領域の関係の一例を表す模式図を示す。図6(a)〜(e)では、図2(a)に示した画像200及び図2(b)に示した画像210が識別領域として抽出されたものとして説明する。図6(a)は識別領域600、及び識別領域600内に設定された、各弱識別器についての特徴量が算出される部分領域601〜610を表す。図6(b)の斜線部分は図2(a)の識別領域200について抽出された動物体領域620を表し、図6(c)の斜線部分は図2(b)の識別領域210について抽出された動物体領域630を表す。図6(d)は部分領域601〜610と動物体領域620とを重ね合わせた画像640を表し、図6(e)は部分領域601〜610と動物体領域630とを重ね合わせた画像650を表す。   The schematic diagram showing an example of the relationship between a partial area | region and a moving body area | region is shown to Fig.6 (a)-(e). 6A to 6E, description will be made assuming that the image 200 shown in FIG. 2A and the image 210 shown in FIG. 2B are extracted as identification regions. FIG. 6A shows the identification area 600 and the partial areas 601 to 610 that are set in the identification area 600 and in which the feature amount for each weak classifier is calculated. The hatched portion in FIG. 6B represents the moving object region 620 extracted for the identification region 200 in FIG. 2A, and the hatched portion in FIG. 6C is extracted for the identification region 210 in FIG. Represents an animal body region 630. 6D shows an image 640 in which the partial areas 601 to 610 and the moving body area 620 are superimposed, and FIG. 6E shows an image 650 in which the partial areas 601 to 610 and the moving body area 630 are overlapped. Represent.

図6(d)に示すように、写真画策がされていない識別領域200の部分領域601〜610のうち、部分領域601、603、604、605、609及び610は、大部分が静止物体である窓103が写っている領域であり、動物体である人物が写っている領域と重複していないか、あるいはわずかに重複しているのみである。そこで、例えば閾値Dthを25%とすると、部分領域601、603、604、605、609及び610についての重複率が閾値Dth未満となり、補正係数が1未満となる。これにより、部分領域601、603、604、605、609及び610についての特徴量は小さくなるように補正され、窓103を顔写真等でないと判定することができる。
一方、図6(e)に示すように、写真画策がされている識別領域210の部分領域601〜610のうち、部分領域604以外の部分領域は、大部分が動物体である顔写真等が写っている領域である。したがって、例えば閾値Dthが25%である場合、部分領域604についての重複率のみが閾値Dth未満となり、補正係数が1未満となるが、他の部分領域についての重複率は閾値Dth以上となり、補正係数は1となる。これにより、部分領域604以外の部分領域についての特徴量は小さくなるように補正されず、顔写真121を顔写真等であると判定することができる。
As shown in FIG. 6D, the partial areas 601, 603, 604, 605, 609, and 610 are mostly stationary objects among the partial areas 601 to 610 of the identification area 200 that is not photographed. This is an area in which the window 103 is shown, and does not overlap or slightly overlaps with an area in which a person, which is a moving object, is shown. Therefore, for example, if the threshold value Dth is 25%, the overlapping rate for the partial regions 601, 603, 604, 605, 609 and 610 is less than the threshold value Dth, and the correction coefficient is less than 1. As a result, the feature amounts of the partial areas 601, 603, 604, 605, 609 and 610 are corrected to be small, and the window 103 can be determined not to be a face photograph or the like.
On the other hand, as shown in FIG. 6 (e), among the partial areas 601 to 610 of the identification area 210 where the photographic scheme is applied, the partial areas other than the partial area 604 are mostly facial photographs or the like that are moving objects. This is the reflected area. Therefore, for example, when the threshold value Dth is 25%, only the overlap rate for the partial region 604 is less than the threshold value Dth and the correction coefficient is less than 1, but the overlap rate for other partial regions is greater than or equal to the threshold value Dth, The coefficient is 1. Thereby, the feature amount of the partial area other than the partial area 604 is not corrected so as to be small, and the face photograph 121 can be determined to be a face photograph or the like.

判定手段44は、写真画策が発生したと判定すると、出力部20に写真画策が行われたことを示す信号をさせ、不図示の警報ランプの点灯、不図示のブザーの鳴動等を行わせるとともに、顔照合手段45に写真画策が発生した旨を通知する。   When the determination unit 44 determines that a photographic plan has occurred, the determination unit 44 causes the output unit 20 to signal that the photographic plan has been performed, and to turn on an alarm lamp (not shown), sound a buzzer (not shown), and the like. Then, the face collating means 45 is notified that a photographic image measure has occurred.

顔照合手段45は、写真画策が発生していないことを条件に、顔検出手段42が抽出した顔領域画像と記憶部30の登録者データ31に記憶されているすべての登録顔画像を照合する。顔照合手段45は、顔領域画像とすべての登録顔画像との類似度をそれぞれ算出し、最も値が高い類似度が認証閾値以上である場合に、その顔領域画像に写っている顔がその登録顔画像に対応する登録者の顔であると判定する。例えば、顔照合手段45は、顔領域画像と登録顔画像のそれぞれから顔の特徴点を抽出し、対応する特徴点同士の位置関係の一致の程度を類似度として算出する。なお、類似度は、二つの顔画像について類似している度合いを表すものであればどのようなものでもよい。顔照合手段45は、登録者の顔であると判定すると、出力部20に認証成功を示す信号を出力し、電気錠制御装置3に対して解錠制御を行う信号を出力させる。   The face collating unit 45 collates the face area image extracted by the face detecting unit 42 with all registered face images stored in the registrant data 31 of the storage unit 30 on the condition that no photographic scheme has occurred. . The face collating means 45 calculates the similarity between the face area image and all the registered face images, and when the similarity with the highest value is equal to or greater than the authentication threshold, the face reflected in the face area image The face of the registrant corresponding to the registered face image is determined. For example, the face matching unit 45 extracts face feature points from each of the face area image and the registered face image, and calculates the degree of coincidence of the positional relationships between corresponding feature points as the similarity. Any similarity may be used as long as it represents the degree of similarity between two face images. If the face collating means 45 determines that the face is the registrant's face, it outputs a signal indicating successful authentication to the output unit 20 and causes the electric lock control device 3 to output a signal for performing unlock control.

以下、図7に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置1による認証処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部40を構成するマイクロプロセッサ上で動作し、顔画像認証装置1全体を制御する制御部(図示せず)により制御される。なお、以下に説明する動作は、入力画像を一つ取得するごとに実行される。   The operation of the authentication process by the face image authentication apparatus 1 to which the present invention is applied will be described below with reference to the flowchart shown in FIG. The flow of operations described below is controlled by a control unit (not shown) that operates on the microprocessor constituting the image processing unit 40 and controls the entire face image authentication apparatus 1. The operation described below is executed every time one input image is acquired.

最初に、顔画像認証装置1の画像取得部10は、撮像装置2が撮影領域を撮影した入力画像を取得する(ステップS101)。画像取得部10が入力画像を取得すると、動物体領域抽出手段41は、取得された入力画像から動物体領域を抽出する処理を行う(ステップS102)。動物体領域抽出手段41は、動物体領域が抽出されたか否かを判定し(ステップS103)、動物体領域が全く抽出されなかった場合、ステップS101へ処理を移行し、動物体領域が抽出されるまでステップS101〜S103の処理を繰り返す。
一方、ステップS103において、一つ以上の動物体領域を抽出した場合、動物体領域抽出手段41は、抽出した動物体領域についての情報(例えば、入力画像中での位置、形状等)を記憶部30に記憶する(ステップS104)。次に、顔検出手段42は、入力画像から顔領域を検出し、その顔領域を入力画像から切り出して顔領域画像を抽出する処理を行う(ステップS105)。顔検出手段42は、一つ以上の顔領域が検出されたか否か判定し(ステップS106)、顔領域が全く検出されなかった場合、ステップS101へ処理を移行し、顔領域が検出されるまでステップS101〜S106の処理を繰り返す。一方、一つ以上の顔領域が検出された場合、顔検出手段42は、ステップS107へ処理を移行させる。
First, the image acquisition unit 10 of the face image authentication device 1 acquires an input image obtained by capturing an imaging region by the imaging device 2 (step S101). When the image acquisition unit 10 acquires the input image, the moving object region extraction unit 41 performs a process of extracting the moving object region from the acquired input image (step S102). The moving object region extraction means 41 determines whether or not the moving object region has been extracted (step S103). If no moving object region has been extracted, the process proceeds to step S101, where the moving object region is extracted. Steps S101 to S103 are repeated until
On the other hand, when one or more moving object regions are extracted in step S103, the moving object region extracting means 41 stores information about the extracted moving object regions (for example, position, shape, etc. in the input image). 30 (step S104). Next, the face detection means 42 detects a face area from the input image, and performs a process of extracting the face area image by cutting out the face area from the input image (step S105). The face detection means 42 determines whether or not one or more face areas have been detected (step S106). If no face area has been detected, the process proceeds to step S101 until the face area is detected. The processes in steps S101 to S106 are repeated. On the other hand, when one or more face regions are detected, the face detection unit 42 shifts the processing to step S107.

以下のステップS107〜S109の処理は、顔検出手段42が検出した各顔領域ごとに行われる。
画像処理部40は、顔領域の周囲に写真枠らしき物体が写っているか否かにより、入力画像に顔写真等が含まれるか否かを判定する不正行為判定処理を実施する(ステップS107)。不正行為判定処理の詳細については後述する。判定手段44は、不正行為判定処理において不正行為があったと判定したか否かを判定し(ステップS108)、不正行為があった場合、写真画策が行われたと判定し、写真画策が行われたことを示す信号を出力部20に出力し(ステップS109)、処理をステップS101へ戻す。写真画策が行われたことを示す信号が出力部20に出力された場合、出力部20を介して不図示の警報ランプの点灯、不図示のブザーの鳴動等が行われる。あるいは、出力部20を介して、その写真画策が行われたことを示す信号が不図示の監視センタ装置へ出力される。これにより監視センタ装置は、写真画策が行われたことを管理者に通知し、またその履歴を記録することができる。
全ての顔領域についてステップS107〜S109の処理の処理が終わり、不正行為がなかった場合、画像処理部40は、ステップS110へ処理を移行させる。
The following steps S107 to S109 are performed for each face area detected by the face detection means 42.
The image processing unit 40 performs a fraud determination process for determining whether or not a face photograph or the like is included in the input image depending on whether or not an object that looks like a photo frame is captured around the face area (step S107). Details of the fraud determination process will be described later. The determination means 44 determines whether or not it has been determined that there has been a fraud in the fraud determination process (step S108). If there has been a fraud, it is determined that a photographic plan has been performed, and the photographic plan has been performed. A signal indicating this is output to the output unit 20 (step S109), and the process returns to step S101. When a signal indicating that the photographic scheme has been performed is output to the output unit 20, an alarm lamp (not shown) is turned on, a buzzer (not shown) is sounded, and the like via the output unit 20. Alternatively, a signal indicating that the photograph plan has been performed is output to the monitoring center device (not shown) via the output unit 20. As a result, the monitoring center apparatus can notify the administrator that the photo plan has been taken, and can record the history.
When the processes of steps S107 to S109 have been completed for all the face areas and there has been no fraud, the image processing unit 40 shifts the process to step S110.

以下のステップS110〜S112の処理は、顔検出手段42が検出した各顔領域ごとに行われる。
顔照合手段45は、顔領域画像と登録者データ31に記憶されている登録顔画像との類似度を算出し(ステップS110)、最も値が高い類似度が認証閾値以上であるか否かを判定する(ステップS111)。最も値が高い類似度が認証閾値以上である場合、その顔領域画像に写っている顔がその登録顔画像に対応する登録者の顔であると判定し、出力部20に認証成功を示す信号を出力する(ステップS112)。認証成功を示す信号が出力部20に出力された場合、出力部20から電気錠制御装置3に対して解錠制御を行う信号が出力される。一方、最も値が高い類似度が認証閾値未満である場合、顔照合手段45は、特に処理を行わない。
全ての顔領域についてステップS110〜S112の処理の処理が終わると、画像処理部40は、処理をステップS101へ戻す。
The following steps S110 to S112 are performed for each face area detected by the face detection means 42.
The face matching unit 45 calculates the similarity between the face area image and the registered face image stored in the registrant data 31 (step S110), and determines whether or not the similarity with the highest value is equal to or greater than the authentication threshold. Determination is made (step S111). When the similarity having the highest value is equal to or greater than the authentication threshold, it is determined that the face shown in the face area image is the face of the registrant corresponding to the registered face image, and a signal indicating successful authentication is output to the output unit 20 Is output (step S112). When a signal indicating successful authentication is output to the output unit 20, a signal for performing unlocking control is output from the output unit 20 to the electric lock control device 3. On the other hand, when the similarity with the highest value is less than the authentication threshold, the face matching unit 45 does not perform any particular processing.
When the processes of steps S110 to S112 are completed for all face areas, the image processing unit 40 returns the process to step S101.

このように、入力画像内に複数の人物の顔が写っている場合、そのうちの一つについて写真画策を検出したときは、他の人物の顔についても照合処理を行わず、電気錠を解錠しないので、セキュリティ性を高めることができる。   In this way, when a plurality of human faces are shown in the input image, if a photo strategy is detected for one of them, the matching process is not performed on the faces of other persons, and the electric lock is unlocked. Since it does not, security can be improved.

図8は、画像処理部40により実行される不正行為判定処理の動作を示すフローチャートである。図8に示す不正行為判定処理は、図7のステップS107において実行される。   FIG. 8 is a flowchart showing the operation of the fraud determination process executed by the image processing unit 40. The cheating determination process shown in FIG. 8 is executed in step S107 in FIG.

最初に、識別領域抽出手段43は、入力画像から、顔検出手段42が検出した顔領域を含む所定領域を識別領域として抽出する(ステップS201)。   First, the identification area extraction unit 43 extracts a predetermined area including the face area detected by the face detection unit 42 from the input image as an identification area (step S201).

以下のステップS202〜S206の処理は、判定手段44が有する各弱識別器に対して行われる。
判定手段44は、その弱識別器に対応する部分領域と動物体領域についての重複率を算出し(ステップS202)、算出した重複率に応じて補正係数を算出する(ステップS203)。さらに、判定手段44の各弱識別器は、その弱識別器に対応する部分領域について顔写真等に関する特徴量を算出する(ステップS204)。次に、判定手段44の各弱識別器は、ステップS204で算出した特徴量にステップS203で算出した補正係数を乗じることにより補正特徴量を算出し(ステップS205)、補正特徴量を用いて評価値を出力する(ステップS206)。
The following steps S202 to S206 are performed for each weak classifier included in the determination unit 44.
The determination unit 44 calculates an overlap rate for the partial region and the moving object region corresponding to the weak classifier (step S202), and calculates a correction coefficient according to the calculated overlap rate (step S203). Further, each weak classifier of the determination unit 44 calculates a feature amount related to a face photograph or the like for a partial region corresponding to the weak classifier (step S204). Next, each weak classifier of the determination unit 44 calculates a correction feature amount by multiplying the feature amount calculated in step S204 by the correction coefficient calculated in step S203 (step S205), and evaluates using the correction feature amount. A value is output (step S206).

全ての弱識別器に対してステップS202〜S206の処理が終わると、判定手段44は、各弱識別器から出力された評価値を強識別器に入力し、弱識別器から出力される各評価値の重み付け和を取得する(ステップS207)。判定手段44は、取得した重み付け和により不正行為の有無を判定する(ステップS208)。判定手段44は、重み付け和が所定の閾値Θよりも高い場合、識別領域に顔写真等が写っており、不正行為があったと判定し、重み付け和が所定の閾値Θよりも高くない場合、識別領域に顔写真等が写っておらず、不正行為がないと判定し、図8のステップS108に処理を移行させる。   When the processes of steps S202 to S206 are completed for all weak classifiers, the determination unit 44 inputs the evaluation values output from the weak classifiers to the strong classifiers, and the evaluations output from the weak classifiers. A weighted sum of values is acquired (step S207). The determination unit 44 determines the presence or absence of fraudulent activity based on the acquired weighted sum (step S208). When the weighted sum is higher than the predetermined threshold Θ, the determination unit 44 determines that a face photograph or the like is captured in the identification area and that there is an illegal act. If the weighted sum is not higher than the predetermined threshold Θ, It is determined that a face photograph or the like is not shown in the area and there is no fraud, and the process proceeds to step S108 in FIG.

以上説明してきたように、本発明にかかる対象検出装置は、人物を撮影した入力画像から動物体を表す動物体領域を抽出する一方で、入力画像において人物の顔を含む領域と特定の位置関係にある識別領域を抽出して、識別領域について顔写真等らしさを表す特徴量を算出する。さらに対象検出装置は、識別領域に対する識別領域と動物体領域が重複している領域の比率が低いほど、その算出した特徴量を顔写真等らしくないことを表すように補正して、補正した特徴量を用いて入力画像に顔写真が含まれるか否かを判定する。これにより、対象検出装置は、入力画像内の顔の周囲に静止物体である窓、柱、壁の模様等が写っている場合に、窓、柱、壁の模様等による直線成分を写真枠と誤って判定し、窓、柱、壁の模様等で囲われた領域を顔写真等と誤って検出することを抑制することができる。   As described above, the object detection apparatus according to the present invention extracts a moving object region representing a moving object from an input image obtained by photographing a person, while a specific positional relationship with a region including a human face in the input image. The identification area is extracted, and a feature amount representing the likelihood of a face photograph or the like is calculated for the identification area. Further, the target detection device corrects the calculated feature amount so as not to be a facial photograph or the like as the ratio of the region where the identification region and the moving object region overlap with the identification region is lower, and the corrected feature The amount is used to determine whether or not a face photograph is included in the input image. As a result, when the object detection device includes a window, a pillar, a wall pattern, or the like, which is a stationary object, around the face in the input image, the linear component due to the window, the pillar, the wall pattern, etc. It is possible to suppress erroneous determination and erroneous detection of a region surrounded by a window, a pillar, a wall pattern, or the like as a face photograph or the like.

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、判定手段が、重複率に応じて、各弱識別器にて用いる特徴量を補正する例を示したが、判定手段は、各弱識別器が出力した評価値を補正してもよい。その場合、判定手段は、重複率が高いほど、評価値を識別領域に検出対象が含まれていることを表すように補正し、重複率が低いほど、評価値を識別領域に検出対象が含まれていないことを表すように補正する。つまり、i番目の弱識別器の出力関数hi(xi)は、(1)式の代わりに、次式により与えられ、

Figure 0006053504
強識別器の出力関数Hは、(2)式の代わりに、次式により与えられる。
Figure 0006053504
また、図5に示すグラフ500のように、重複率が閾値Dth以下である場合に限り評価値を識別領域に検出対象が含まれていないことを表すよう補正してもよい。この場合も、入力画像内の顔の周囲に窓、柱、壁の模様等が写っている場合に、強識別器の出力は低減され、対象検出装置は、窓、柱、壁の模様等で囲われた領域を顔写真等と誤って検出することを抑制することができる。 The preferred embodiments of the present invention have been described above, but the present invention is not limited to these embodiments. For example, in the present embodiment, an example in which the determination unit corrects the feature value used in each weak classifier according to the overlapping rate has been shown, but the determination unit corrects the evaluation value output by each weak classifier. May be. In that case, the determination unit corrects the evaluation value to indicate that the detection target is included in the identification region as the duplication rate is higher, and the evaluation value is included in the identification region as the duplication rate is lower. Correct it to indicate that it is not. That is, the output function h i (x i ) of the i-th weak classifier is given by the following equation instead of the equation (1):
Figure 0006053504
The output function H of the strong classifier is given by the following equation instead of the equation (2).
Figure 0006053504
In addition, as in the graph 500 illustrated in FIG. 5, the evaluation value may be corrected to indicate that the detection target is not included in the identification region only when the overlap rate is equal to or less than the threshold value Dth. In this case as well, the output of the strong discriminator is reduced when the pattern of the window, pillar, wall, etc. is shown around the face in the input image, and the object detection device has the pattern of the window, pillar, wall, etc. It is possible to suppress erroneous detection of the enclosed area as a face photograph or the like.

また、判定手段が特徴量及び評価値を算出する部分領域は、複数でなく一つだけであってもよい。さらに、部分領域が一つのみである場合、その部分領域は識別領域と同じ領域であってよい。その場合、判定手段は、識別領域に対する、識別領域と動物体領域が重複している領域の比率を重複率として算出し、重複率に応じて特徴量又は評価値を補正する。   Further, the determination unit may calculate only one feature area and evaluation value instead of a plurality of partial regions. Furthermore, when there is only one partial area, the partial area may be the same area as the identification area. In this case, the determination unit calculates the ratio of the area where the identification area and the moving object area overlap with respect to the identification area as the overlap ratio, and corrects the feature amount or the evaluation value according to the overlap ratio.

また、判定手段が用いる特徴量は、識別領域に顔写真等が写っている場合に高い値を取り、写っていない場合に低い値を取るものではなく、識別領域に顔写真等が写っている場合に低い値を取り、写っていない場合に高い値を取るものでもよい。その場合、補正係数は1以上の値とし、重複率が高いほど、補正係数を小さくして補正特徴量を小さくし、重複率が低いほど、補正係数を大きくして補正特徴量を大きくする。そして、その特徴量に対応する弱識別器の出力関数は、補正特徴量が閾値θiより小さい場合、1を出力し、補正特徴量が閾値θi以上である場合、-1を出力するようにする。例えば、顔写真内の領域と顔写真外の領域とではテクスチャ情報が異なるため、所定距離だけ離れた二つの矩形領域のそれぞれの色ヒストグラムのマッチング等により求められる類似度が、識別領域に顔写真等が写っている場合に低い値を取り、写っていない場合に高い値を取る特徴量として利用される。 In addition, the feature amount used by the determination means takes a high value when a facial photograph or the like is captured in the identification area, and does not take a low value when the facial photograph or the like is not captured. In some cases, a low value may be taken, and a high value may be taken if no image is taken. In this case, the correction coefficient is set to a value of 1 or more. The higher the overlap rate, the smaller the correction coefficient and the correction feature amount. The lower the overlap rate, the greater the correction coefficient and the correction feature amount. The output function of the weak classifiers corresponding to the feature amount, when the correction characteristic amount is smaller than the threshold value theta i, and outputs a 1 if the correction feature amount is equal to or larger than the threshold theta i, to output a -1 To. For example, since the texture information is different between the area inside the face photo and the area outside the face photo, the similarity obtained by matching the color histograms of two rectangular areas separated by a predetermined distance, etc. It is used as a feature value that takes a low value when the image is captured and takes a high value when the image is not captured.

また、判定手段は、Adaboost識別器を用いて評価値を算出する代わりにサポートベクトルマシン、又は3層以上の層を持つパーセプトロン等を用いて評価値を算出してもよい。その場合、判定手段は、顔写真等が写っている複数の学習用画像と顔写真等が写っていない複数の学習用画像のそれぞれについて、設定された部分領域から顔写真等に関する特徴量を算出し、算出した特徴量を用いて事前学習を行う。この事前学習は、特定の画像から算出された特徴量が入力されたときに、特定の画像に顔写真等が写っているか否かを判別するように行われる。判定手段は、入力画像から抽出された識別領域内の部分領域から顔写真等に関する特徴量を算出する。なお、顔写真等に関する特徴量として、例えばハールライク特徴量、HOG特徴量を用いることができる。あるいはエッジ検出フィルタの出力を顔写真等に関する特徴量として用いてもよい。そして、判定手段は、算出した特徴量を重複率に応じて補正した補正特徴量をサポートベクトルマシン又はパーセプトロンに入力し、出力された評価値に基づいて入力画像内に顔写真等が含まれるか否かを判定する。   The determination means may calculate the evaluation value using a support vector machine or a perceptron having three or more layers instead of calculating the evaluation value using the Adaboost discriminator. In that case, the determination means calculates a feature amount related to the face photograph or the like from the set partial area for each of the plurality of learning images including the face photograph or the like and the plurality of learning images not including the face photograph or the like. Then, prior learning is performed using the calculated feature amount. This pre-learning is performed so as to determine whether or not a face photograph or the like is included in the specific image when a feature amount calculated from the specific image is input. The determination unit calculates a feature amount related to a face photograph or the like from a partial region in the identification region extracted from the input image. Note that, for example, a Haar-like feature value or a HOG feature value can be used as a feature value related to a face photograph or the like. Alternatively, the output of the edge detection filter may be used as a feature amount related to a face photograph or the like. Then, the determination means inputs a corrected feature value obtained by correcting the calculated feature value according to the overlap rate to a support vector machine or a perceptron, and whether a face photograph or the like is included in the input image based on the output evaluation value Determine whether or not.

また、識別領域抽出手段は、一つの顔領域に対して識別領域を一つだけ抽出するのではなく、複数抽出してもよい。その場合、識別領域抽出手段は、一つの顔領域に対してそれぞれサイズが異なるように複数の識別領域を抽出する。判定手段は、抽出された複数の識別領域のそれぞれについて、各弱識別器による出力結果の重み付け和を算出する。なお、この重み付け和は、正値である場合、入力画像に顔写真等が含まれることを表す度合いを示し、負値である場合、入力画像に顔写真等が含まれないことを表す度合いを示す。判定手段は、抽出された複数の識別領域のうち、算出した重み付け和の絶対値、即ち、入力画像に顔写真等が含まれるか否かを表わす度合いの大きさが最も大きくなる識別領域を用いて、入力画像に顔写真等が含まれるか否かを判定する。これにより、判定手段は、事前学習された識別器に最も適した識別領域を用いて、入力画像に顔写真等が含まれるか否かをより精度よく判定することができる。   Further, the identification area extracting means may extract a plurality of identification areas instead of extracting only one identification area for one face area. In this case, the identification area extracting unit extracts a plurality of identification areas so that the sizes are different from each other for one face area. The determination unit calculates a weighted sum of output results from the weak classifiers for each of the extracted plurality of identification regions. When the weighted sum is a positive value, the weighted sum indicates a degree indicating that the input image includes a face photograph or the like. When the weighted sum is negative, the weighted sum indicates a degree indicating that the input image does not include a face photograph or the like. Show. The determination unit uses an identification area that has the largest absolute value of the calculated weighted sum, that is, whether the input image includes a face photograph or the like, among the plurality of extracted identification areas. Then, it is determined whether or not a face photograph or the like is included in the input image. Thereby, the determination means can determine more accurately whether or not a face photograph or the like is included in the input image, using an identification region most suitable for a classifier that has been learned in advance.

また、動物体領域抽出手段は、背景差分処理を用いて動物体領域を抽出するのではなく、例えば、フレーム間差分処理を用いて動物体領域を抽出してもよい。その場合、動物体領域抽出手段は、画像取得部によって連続して取得される複数の入力画像から、輝度値の時間的な変化のある領域を動物体領域として抽出する。   In addition, the moving object region extracting unit may extract the moving object region using, for example, inter-frame difference processing, instead of extracting the moving object region using the background difference processing. In this case, the moving object region extracting unit extracts a region having a temporal change in luminance value as a moving object region from a plurality of input images acquired continuously by the image acquiring unit.

また、画像処理部は、画像取得部が順次取得した入力画像において、顔検出手段が検出した顔領域について、公知のトラッキング技術を用いて追跡処理を実行し、同一人物の顔として追跡された顔領域ごとに、不正行為判定処理及び顔照合処理を実施してもよい。画像処理部は、例えば、最新の入力画像内の顔領域のそれぞれについて、その顔領域の重心位置と、直前の入力画像から抽出された顔領域の重心位置との距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。あるいは、オプティカルフロー、パーティクルフィルタ等の方法を用いて追跡処理を実行してもよい。
さらに、複数の顔領域が検出された場合、ある顔領域について抽出した識別領域内の部分領域と他の顔領域が重複している場合、その部分領域について重複率を算出するときはその重複している領域は動物体領域でないものとして重複率を算出してもよい。これにより、注目する人物の近傍に他の人物が写っている場合に、注目する人物について求めた識別領域について、その近傍に写っている人物によって重複率が高くなり、顔写真が写っていると誤って判定しやすくなることを抑制することができる。
In addition, the image processing unit performs a tracking process using a known tracking technique on the face area detected by the face detection unit in the input image sequentially acquired by the image acquisition unit, and the face tracked as the face of the same person For each region, the cheating determination process and the face matching process may be performed. For example, for each face area in the latest input image, the image processing unit obtains the distance between the centroid position of the face area and the centroid position of the face area extracted from the immediately preceding input image. If it is equal to or less than a predetermined threshold, the face area is associated with the same person. Alternatively, the tracking process may be executed using a method such as an optical flow or a particle filter.
Furthermore, when a plurality of face areas are detected, if a partial area in the identification area extracted for a certain face area overlaps with another face area, the overlap ratio is calculated when calculating the overlap rate for that partial area. The overlapping ratio may be calculated assuming that the area that is present is not the moving body area. As a result, when there is another person in the vicinity of the person of interest, the identification area obtained for the person of interest has a high duplication rate depending on the person in the vicinity, and a face photo is taken. It can suppress that it becomes easy to judge accidentally.

また、対象検出装置の検出対象は、顔写真等に限定されず、両手を挙げている人物、つまりホールドアップの姿勢を取っている人物としてもよい。両手を挙げている人物が写っている画像には、人物の顔の左右に写っている両腕により直線成分が生じるため、人物の顔の左右に存在する直線成分を特徴とすることにより、顔写真等と同様にして、両手を挙げている人物を検出することができる。その場合、両手を挙げている人物が写っている多数の学習用画像と両手を挙げている人物が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用いた機械学習により識別器を生成しておく。判定手段は、重複率に応じて、各弱識別器についての特徴量又は評価値を補正することにより、窓、柱、壁の模様等の静止物体を人物が挙げている両手等と誤って検出することを抑制することができる。   In addition, the detection target of the target detection device is not limited to a face photograph or the like, and may be a person who raises both hands, that is, a person who holds a hold-up posture. In an image showing a person with both hands up, a straight line component is generated by the arms on the left and right sides of the person's face. A person with both hands raised can be detected in the same manner as in a photograph or the like. In that case, the discriminator is determined by machine learning using feature values extracted from a large number of learning images showing a person with both hands up and a large number of learning images without a person holding up both hands. Generate it. Judgment means mistakenly detects stationary objects such as windows, pillars, wall patterns, etc. as both hands holding a person by correcting the feature value or evaluation value for each weak classifier according to the overlap rate Can be suppressed.

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。   As described above, those skilled in the art can make various modifications in accordance with the embodiment to be implemented within the scope of the present invention.

1 顔画像認証装置
2 撮像部
3 電気錠制御装置
10 画像取得部
20 出力部
30 記憶部
40 画像処理部
41 動物体領域抽出手段
42 顔検出手段
43 識別領域抽出手段
44 不正行為判定手段
45 顔照合手段
DESCRIPTION OF SYMBOLS 1 Face image authentication apparatus 2 Imaging part 3 Electric lock control apparatus 10 Image acquisition part 20 Output part 30 Memory | storage part 40 Image processing part 41 Moving body area | region extraction means 42 Face detection means 43 Identification area extraction means 44 Cheating act determination means 45 Face collation means

Claims (7)

所定の撮影領域を撮影した入力画像を取得する画像取得部と、
前記入力画像から動物体を表す動物体領域を抽出する動物体領域抽出手段と、
前記入力画像から所定の物体を含む物体領域を検出する物体領域検出手段と、
前記入力画像から前記物体領域と特定の位置関係にある識別領域を抽出する識別領域抽出手段と、
前記識別領域から検出対象らしさを表す特徴量を算出し当該特徴量を用いて当該識別領域に前記検出対象が含まれていることの確からしさを表す評価値を出力するよう構成された識別器を含み、当該評価値を用いて前記入力画像に前記検出対象が含まれるか否かを判定する判定手段と、を有し、
前記判定手段は、前記識別領域に対する当該識別領域と前記動物体領域が重複している領域の比率である重複率が低いほど前記入力画像に前記検出対象が含まれると判定しにくくすることを特徴とする対象検出装置。
An image obtaining unit for obtaining an input image obtained by photographing a predetermined photographing region;
Moving body region extracting means for extracting a moving body region representing a moving body from the input image;
Object region detection means for detecting an object region including a predetermined object from the input image;
An identification area extracting means for extracting an identification area having a specific positional relationship with the object area from the input image;
A discriminator configured to calculate a feature amount representing the likelihood of being detected from the identification region and to output an evaluation value representing the probability that the detection target is included in the identification region using the feature amount; Determination means for determining whether or not the detection target is included in the input image using the evaluation value,
The determination means makes it difficult to determine that the detection target is included in the input image as the overlap rate, which is a ratio of a region where the identification region and the moving body region overlap with the identification region, is lower. Target detection device.
前記判定手段は、前記重複率が低いほど、前記特徴量を前記検出対象らしくないことを表すように補正することにより、前記入力画像に前記検出対象が含まれると判定しにくくする、請求項1に記載の対象検出装置。   The determination unit makes it difficult to determine that the detection target is included in the input image by correcting the feature amount so as not to be the detection target as the overlap rate is lower. The object detection device described in 1. 前記判定手段は、前記識別領域から、当該識別領域と所定の位置関係にある部分領域を複数特定し、当該部分領域のそれぞれについて、前記特徴量及び前記重複率を算出し、当該重複率が低いほど、当該特徴量を前記検出対象らしくないことを表すように補正する、請求項2に記載の対象検出装置。   The determination unit specifies a plurality of partial areas having a predetermined positional relationship with the identification area from the identification area, calculates the feature amount and the overlap rate for each of the partial areas, and the overlap rate is low The target detection apparatus according to claim 2, wherein the target amount is corrected so as to indicate that the feature amount is not likely to be the detection target. 前記判定手段は、前記重複率が低いほど、前記評価値を前記検出対象が含まれていないことを表すように補正することにより、前記入力画像に前記検出対象が含まれると判定しにくくする、請求項1に記載の対象検出装置。   The determination means makes it difficult to determine that the detection target is included in the input image by correcting the evaluation value so as to indicate that the detection target is not included, as the duplication rate is lower. The object detection apparatus according to claim 1. 前記判定手段は、前記識別領域から、当該識別領域と所定の位置関係にある部分領域を複数特定し、当該部分領域のそれぞれについて、前記評価値及び前記重複率を算出し、当該重複率が低いほど、当該評価値を前記検出対象が含まれていないことを表すように補正する、請求項4に記載の対象検出装置。   The determination unit specifies a plurality of partial areas having a predetermined positional relationship with the identification area from the identification area, calculates the evaluation value and the overlap rate for each of the partial areas, and the overlap rate is low The target detection apparatus according to claim 4, wherein the evaluation value is corrected so as to indicate that the detection target is not included. 前記判定手段は、前記重複率が半分より低い所定値以下である場合に限り、当該重複率が低いほど前記入力画像に前記検出対象が含まれると判定しにくくする、請求項1〜5の何れか一項に記載の対象検出装置。   The determination unit according to any one of claims 1 to 5, wherein the determination unit makes it difficult to determine that the detection target is included in the input image as the overlap rate is low, only when the overlap rate is less than or equal to a predetermined value lower than half. The object detection device according to claim 1. 前記識別領域抽出手段は、前記識別領域をそれぞれサイズが異なるように複数抽出し、
前記判定手段は、前記複数の識別領域のそれぞれについて、前記評価値を算出し、当該評価値を用いて前記入力画像に前記検出対象が含まれるか否かを表す度合いを算出し、前記複数の識別領域のうち、前記度合いの大きさが最も大きい識別領域を用いて、前記入力画像に前記検出対象が含まれるか否かを判定する、請求項1〜6の何れか一項に記載の対象検出装置。
The identification area extracting means extracts a plurality of the identification areas so as to have different sizes,
The determination unit calculates the evaluation value for each of the plurality of identification regions, calculates a degree indicating whether or not the detection target is included in the input image using the evaluation value, and The object according to any one of claims 1 to 6, wherein it is determined whether or not the detection target is included in the input image using an identification area having the largest degree among the identification areas. Detection device.
JP2012281633A 2012-12-25 2012-12-25 Object detection device Active JP6053504B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012281633A JP6053504B2 (en) 2012-12-25 2012-12-25 Object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012281633A JP6053504B2 (en) 2012-12-25 2012-12-25 Object detection device

Publications (2)

Publication Number Publication Date
JP2014126942A JP2014126942A (en) 2014-07-07
JP6053504B2 true JP6053504B2 (en) 2016-12-27

Family

ID=51406406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012281633A Active JP6053504B2 (en) 2012-12-25 2012-12-25 Object detection device

Country Status (1)

Country Link
JP (1) JP6053504B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954484B2 (en) * 2002-12-12 2007-08-08 株式会社東芝 Image processing apparatus and program
JP4548218B2 (en) * 2005-05-24 2010-09-22 パナソニック電工株式会社 Face recognition device
JP5155250B2 (en) * 2009-05-29 2013-03-06 セコム株式会社 Object detection device

Also Published As

Publication number Publication date
JP2014126942A (en) 2014-07-07

Similar Documents

Publication Publication Date Title
CN107423690B (en) Face recognition method and device
US11023757B2 (en) Method and apparatus with liveness verification
CN107766786B (en) Activity test method and activity test computing device
CN101853391B (en) Information processing device and method
JP5955133B2 (en) Face image authentication device
US10127439B2 (en) Object recognition method and apparatus
KR20190075560A (en) Liveness test method and apparatus
JP6148065B2 (en) Face recognition system
JP6148064B2 (en) Face recognition system
JP5106356B2 (en) Image monitoring device
JP6222948B2 (en) Feature point extraction device
KR100824757B1 (en) Gait recognition method
JP2008146539A (en) Face authentication device
JP5955031B2 (en) Face image authentication device
US20120249297A1 (en) Consent Biometrics
JP2011113313A (en) Attitude estimation device
KR20140074303A (en) Detection of fraud for access control system of biometric type
JP6396357B2 (en) Face image authentication device
JP5955056B2 (en) Face image authentication device
JP5726595B2 (en) Image monitoring device
US11354940B2 (en) Method and apparatus for foreground geometry and topology based face anti-spoofing
JP5955057B2 (en) Face image authentication device
JP6053504B2 (en) Object detection device
JP6150491B2 (en) Face recognition device
KR101767051B1 (en) Method and apparatus for extracting finger vein image based on fuzzy inference

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161129

R150 Certificate of patent or registration of utility model

Ref document number: 6053504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250