JP6355306B2 - Face matching device, face matching method, and face matching program - Google Patents
Face matching device, face matching method, and face matching program Download PDFInfo
- Publication number
- JP6355306B2 JP6355306B2 JP2013144941A JP2013144941A JP6355306B2 JP 6355306 B2 JP6355306 B2 JP 6355306B2 JP 2013144941 A JP2013144941 A JP 2013144941A JP 2013144941 A JP2013144941 A JP 2013144941A JP 6355306 B2 JP6355306 B2 JP 6355306B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- illumination
- influence
- feature
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 96
- 238000005286 illumination Methods 0.000 claims description 308
- 238000004364 calculation method Methods 0.000 claims description 186
- 238000012545 processing Methods 0.000 claims description 73
- 239000011159 matrix material Substances 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 46
- 230000009467 reduction Effects 0.000 claims description 15
- 238000011946 reduction process Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims 1
- 238000009826 distribution Methods 0.000 description 37
- 239000013598 vector Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
この発明は、事前に登録された人物の顔画像又は該顔画像の特徴量からなる登録データと、照合対象となる人物(以下、「照合対象者」と言う)の顔画像又は該顔画像の特徴量からなる入力データとを照合する顔照合装置、顔照合方法及び顔照合プログラムに関する。 According to the present invention, registration data including a face image of a person registered in advance or a feature amount of the face image, a face image of a person to be collated (hereinafter referred to as “verification target person”), or the face image of the face image The present invention relates to a face collation apparatus, a face collation method, and a face collation program that collate input data composed of feature amounts.
従来、照合対象者が事前に登録された人物と一致するか否かを判定するために、事前に登録された人物の顔画像又は該顔画像の特徴量からなる登録データと、照合対象者の顔画像又は該顔画像の特徴量からなる入力データとを照合処理する顔照合技術が知られている。 Conventionally, in order to determine whether or not the person to be collated matches a person registered in advance, the registered data including the face image of the person registered in advance or the feature amount of the face image, and the person to be collated 2. Description of the Related Art A face matching technique that performs a matching process with a face image or input data composed of a feature amount of the face image is known.
例えば、特許文献1には、入力データを分割した小領域ごとの特徴量を抽出し、登録データを分割した小領域ごとの特徴量との類似度を求めて、入力データと登録データとを照合処理する技術が開示されている。また、特許文献2には、入力データにおける複数の部分領域と、登録データの該当する部分領域との距離値を算出し、距離値の小さい順に算出した統合距離値により入力データと登録データとを照合処理する技術が開示されている。 For example, in Patent Document 1, a feature amount for each small region obtained by dividing input data is extracted, a similarity with a feature amount for each small region obtained by dividing registered data is obtained, and the input data and the registered data are collated. Techniques for processing are disclosed. In Patent Document 2, distance values between a plurality of partial areas in input data and corresponding partial areas in registration data are calculated, and the input data and registration data are determined by the integrated distance values calculated in ascending order of the distance values. A technique for matching processing is disclosed.
このように、従来の顔照合技術によれば、入力データと登録データの類似度又は距離値を用いて顔照合処理が行われているが、顔照合装置が照明の影響を受けてその照合精度が低下する場合がある。このため、かかる照明の影響を低減しつつ顔照合処理を行う従来技術が知られており、例えば、照明が特定方向から照射される点を考慮して、照明の影響を受ける部分の画素値を補正する画像照合装置が開示されている(特許文献3参照)。 As described above, according to the conventional face matching technology, the face matching process is performed using the similarity or distance value between the input data and the registered data. May decrease. For this reason, a conventional technique for performing face matching processing while reducing the influence of such illumination is known.For example, in consideration of the point where the illumination is irradiated from a specific direction, the pixel value of the portion affected by the illumination is determined. An image collating apparatus for correction is disclosed (see Patent Document 3).
しかしながら、上記特許文献3のものは、常に照明が特定方向から照射される場合にしか適用することができず、顔画像のどの部分に照明の影響が生ずるかが特定できない場合には、どの画素の重みを低くすれば良いかが不定となるため、動的かつ適応的に照明の影響を除外することができないという問題点がある。 However, the method of Patent Document 3 can be applied only when illumination is always emitted from a specific direction, and when it is not possible to specify which part of the face image is affected by illumination, Therefore, there is a problem that it is not possible to exclude the influence of illumination dynamically and adaptively.
例えば、顔照合装置の近傍に移動式の照明装置が設置されている場合や、顔照合装置の設置場所を変更した場合には、その都度補正すべき画素を変更しなければ、照明の影響を除去することができない。 For example, if a mobile lighting device is installed near the face matching device, or if the installation location of the face matching device is changed, the effect of lighting will be affected if the pixel to be corrected is not changed each time. It cannot be removed.
このため、照明による顔照合処理に対する影響をいかにして動的かつ適応的に低減するかが重要な課題となっている。なお、かかる課題は、照明による顔照合装置に対する影響に限られるものではなく、日光等の各種光源による顔照合装置に対する影響においても同様に生ずる課題である。例えば、顔照合装置が、時間帯によって日光が入り込む屋内領域又は屋外に設置されている場合には、日光の照射方向は一定ではないので、上記特許文献3を用いたとしても日光の影響を効率良く除去できないからである。なお、本明細書では、人工の照明による光の当たり具合と、日光等の自然光による光の当たり具合とを含めて照明環境と称する。 For this reason, how to dynamically and adaptively reduce the influence of lighting on the face matching process is an important issue. Such a problem is not limited to the influence of the illumination on the face collation apparatus, but is similarly caused by the influence of various light sources such as sunlight on the face collation apparatus. For example, when the face matching device is installed in an indoor area or outdoors where sunlight enters depending on the time of day, the irradiation direction of sunlight is not constant. This is because it cannot be removed well. In addition, in this specification, the lighting environment including the lighting condition by artificial lighting and the lighting condition by natural light such as sunlight is referred to as an illumination environment.
本発明は、上記従来技術の課題を解決するためになされたものであって、日光及び照明等の光源による顔照合に対する影響を動的かつ適応的に低減することのできる顔照合装置、顔照合方法及び顔照合プログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems of the prior art, and is a face matching device and face matching capable of dynamically and adaptively reducing the influence on face matching by a light source such as sunlight and lighting. It is an object to provide a method and a face matching program.
上述した課題を解決し、目的を達成するため、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合装置であって、照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出手段と、前記照明影響基準データ算出手段により算出された照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手段と、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された各局所領域における特徴量の類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段とを備え、前記照明影響基準データ算出手段は、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出することを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention performs a collation process on input data consisting of a face image of a person to be collated or its feature quantity with registered data consisting of a previously registered face image or its feature quantity. Illumination influence reference data calculation that is a face collation device and calculates illumination influence reference data used as a reference when calculating the influence degree of a light source in a face image using learning data including a plurality of face images with different illumination environments An influence degree calculating means for calculating an influence degree of a light source in each local region of the input data and / or the registration data based on the illumination influence reference data calculated by the illumination influence reference data calculating means; Similarity calculating means for calculating the similarity between the feature amount in each local region of the input data and the feature amount in the corresponding local region of the registered data; Collation processing means for collating the input data with the registered data based on the similarity between the feature amounts in each local area calculated by the similarity calculation means and the influence degree calculated by the influence degree calculation means The lighting influence reference data calculation means includes, from the learning data including a plurality of face images with different lighting environments, lighting environment reference data serving as a reference when obtaining lighting parameters corresponding to the lighting environment; and wherein the calculation child a characteristic variation reference data serving as a reference for obtaining the characteristic variation occurring with the feature value in the local region under illumination environment corresponding to the illumination parameters as the lighting effect reference data.
また、本発明は、上記発明において、前記影響度算出手段は、前記照明環境基準データを用いて前記入力データ及び/又は前記登録データの照明パラメータを算出し、算出した照明パラメータと前記特徴変動基準データとを用いて前記入力データ及び/又は前記登録データの各局所領域における特徴変動率を算出し、前記特徴変動率に応じて各局所領域の重みを算出する領域重み算出手段をさらに備え、前記照合処理手段は、前記領域重み算出手段により算出された領域重みを用いて前記各局所領域の類似度に対する重み付けを行って前記入力データと前記登録データとを照合処理することを特徴とする。 Further, in the above invention, before Symbol influence calculation means, said calculating illumination parameters of the input data and / or the registration data using the illumination environment reference data, the feature change and the calculated illumination parameters A feature weight calculating means for calculating a feature variation rate in each local region of the input data and / or the registered data using reference data, and calculating a weight of each local region according to the feature variation rate; The collation processing unit performs a collation process on the input data and the registration data by weighting the similarity of each local region using the region weight calculated by the region weight calculation unit.
また、本発明は、上記発明において、前記照明影響基準データ算出手段は、前記照明環境の異なる複数の顔画像を含む前記学習データに対して解像度を低下させる低解像度化処理を行い、前記低解像度化処理を行った前記学習データから前記照明環境基準データを算出し、前記影響度算出手段は、前記入力データ及び/又は前記登録データに対して解像度を低下させる低解像度化処理を行い、前記低解像度化処理を行った前記入力データ及び/又は前記登録データと前記照明環境基準データとを用いて前記照明パラメータを算出することを特徴とする。 Further, the present invention is the above invention, wherein the illumination influence reference data calculation means performs a resolution reduction process for reducing resolution on the learning data including a plurality of face images having different illumination environments, and the low resolution The lighting environment reference data is calculated from the learning data subjected to the conversion process, and the influence calculation unit performs a resolution reduction process for reducing the resolution of the input data and / or the registration data, and The illumination parameter is calculated using the input data and / or the registration data subjected to resolution processing and the illumination environment reference data.
また、本発明は、上記発明において、前記照明影響基準データ算出手段は、前記低解像度化処理を行った前記学習データの画素数を行数又は列数、前記複数の顔画像データの数を列数又は行数とする画素値行列を生成し、前記画素値行列の固有ベクトルを前記照明環境基準データとして算出し、前記影響度算出手段は、前記低解像度化処理を行った前記入力データ及び/又は前記登録データの各画素値と前記照明環境基準データとの積を前記照明パラメータとして算出することを特徴とする。 Further, in the present invention according to the above invention, the illumination influence reference data calculation unit includes the number of pixels of the learning data subjected to the resolution reduction processing as the number of rows or columns, and the number of the plurality of face image data as columns. A pixel value matrix having a number or a row number is generated, an eigenvector of the pixel value matrix is calculated as the illumination environment reference data, and the influence calculation unit includes the input data and / or the resolution reduction process The product of each pixel value of the registration data and the illumination environment reference data is calculated as the illumination parameter.
また、本発明は、上記発明において、前記照明影響基準データ算出手段は、前記低解像度化処理を行った前記学習データの顔画像の各画素値と前記照明環境基準データとの積を前記照明パラメータとして算出するとともに、前記低解像度化処理前の学習データから各局所領域の特徴変動量を算出し、各局所領域について、当該局所領域の特徴変動量が前記照明パラメータの線形変換であると仮定した場合の前記線形変換の係数行列を前記特徴変動基準データとして算出し、前記影響度算出手段は、前記低解像度化処理を行った前記入力データ及び/又は前記登録データから算出した前記照明パラメータと、前記特徴変動基準データとの積を前記入力データ及び/又は前記登録データにおける特徴変動量として算出することを特徴とする。 Further, the present invention is the above invention, wherein the illumination influence reference data calculation means calculates a product of each pixel value of the face image of the learning data subjected to the resolution reduction processing and the illumination environment reference data as the illumination parameter. And calculating the feature variation amount of each local region from the learning data before the resolution reduction processing, and assuming that the feature variation amount of the local region is a linear transformation of the illumination parameter for each local region The linear transformation coefficient matrix is calculated as the feature variation reference data, and the influence calculation means includes the illumination parameter calculated from the input data and / or the registration data subjected to the resolution reduction processing, and A product with the feature variation reference data is calculated as a feature variation amount in the input data and / or the registered data.
また、本発明は、上記発明において、前記領域重み算出手段は、前記影響度算出手段が前記入力データと前記登録データの双方について各局所領域における特徴変動率を算出した場合に、前記各局所領域について、大きい方の特徴変動率を用いて領域重みを算出することを特徴とする。 Further, the present invention is the above invention, wherein the area weight calculation unit is configured such that when the influence degree calculation unit calculates a feature variation rate in each local area for both the input data and the registered data, The region weight is calculated using the larger feature variation rate.
また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合方法であって、照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出ステップと、前記照明影響基準データ算出ステップにより算出された照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出ステップと、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出ステップと、前記類似度算出ステップにより算出された各局所領域における特徴量の類似度と、前記影響度算出ステップにより算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理ステップとを含み、前記照明影響基準データ算出ステップにおいて、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出することを特徴とする。 The present invention is also a face collation method for collating input data consisting of a face image of a person to be collated or its feature quantity with registered data consisting of a face image or its feature quantity registered in advance, and having a different illumination environment By using the learning data including a plurality of face images, the lighting influence reference data calculating step for calculating the lighting influence reference data serving as a reference when calculating the influence degree of the light source in the face image, and the lighting influence reference data calculating step Based on the calculated illumination influence reference data, an influence degree calculating step for calculating an influence degree of a light source in each local area of the input data and / or the registration data, a feature amount in each local area of the input data, and the A similarity calculation step of calculating a similarity between the feature values in the corresponding local region of the registered data, and the similarity calculation step A similarity of the feature amount in each local region calculated Ri, based on the degree of influence calculated by the influence degree calculating step, viewed contains a collation processing step of collating processing the input data the registration data , In the lighting influence reference data calculation step, the lighting environment reference data serving as a reference when obtaining the lighting parameters corresponding to the lighting environment from the learning data including a plurality of face images having different lighting environments; and the lighting parameter the feature variation reference data serving as a reference for obtaining the characteristic variation occurring with the feature value in the local region under illumination environment corresponding features that you calculated as the lighting effect reference data.
また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合プログラムであって、照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出手順と、前記照明影響基準データ算出手順により算出された照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手順と、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手順と、前記類似度算出手順により算出された各局所領域における特徴量の類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順とをコンピュータに実行させ、前記照明影響基準データ算出手順において、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出することを特徴とする。
また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合装置であって、あらかじめ照明環境の異なる複数の顔画像を含む学習データを用いて算出した、顔画像における光源の影響度を算出する際の基準となる照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手段と、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された各局所領域における特徴量の類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段とを備え、前記照明影響基準データは、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを含むことを特徴とする。
また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合プログラムであって、あらかじめ照明環境の異なる複数の顔画像を含む学習データを用いて算出した、顔画像における光源の影響度を算出する際の基準となる照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手順と、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手順と、前記類似度算出手順により算出された各局所領域における特徴量の類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順とをコンピュータに実行させ、前記照明影響基準データは、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを含むことを特徴とする。
The present invention is also a face collation program for collating input data consisting of a face image of a person to be collated or its feature quantity with registered data consisting of a face image or its feature quantity registered in advance, and having a different illumination environment By using the learning data including a plurality of face images, the lighting influence reference data calculation procedure for calculating the lighting influence reference data serving as a reference when calculating the influence degree of the light source in the face image, and the illumination influence reference data calculation procedure Based on the calculated illumination influence reference data, an influence calculation procedure for calculating an influence degree of a light source in each local area of the input data and / or the registration data, a feature amount in each local area of the input data, and the The similarity calculation procedure for calculating the similarity between the feature values in the corresponding local region of the registered data, and the similarity calculation procedure A similarity of the feature amount in a local region, based on the degree of influence calculated by the influence degree calculation procedure, to execute a collation process procedure of collation processing and the input data and the registered data to the computer, the illumination In the influence reference data calculation procedure, the illumination environment reference data serving as a reference for obtaining the illumination parameter corresponding to the illumination environment from the learning data including a plurality of face images having different illumination environments, and the illumination parameter the feature variation reference data serving as a reference for obtaining the characteristic variation occurring with the feature value in the local region under illumination environment characterized that you calculated as the lighting effect reference data.
Further, the present invention is a face matching device that performs matching processing of input data consisting of a face image of a person to be matched or a feature amount thereof with registered data consisting of a face image registered in advance or the feature amount thereof, Each local area of the input data and / or the registration data is calculated based on illumination influence reference data, which is a reference for calculating the influence degree of the light source in the face image, calculated using learning data including a plurality of different face images. Influence degree calculation means for calculating the influence degree of the light source in the area, and similarity calculation means for calculating the similarity degree between the feature quantity in each local area of the input data and the feature quantity in the corresponding local area of the registered data Based on the similarity of the feature amount in each local area calculated by the similarity calculation means and the influence calculated by the influence calculation means. Collation processing means for collating input data with the registered data, and the illumination influence reference data includes illumination environment reference data serving as a reference for obtaining an illumination parameter corresponding to the illumination environment, and the illumination parameter. And feature variation reference data serving as a reference for obtaining a feature variation amount generated in the feature amount in the local region under a corresponding illumination environment.
The present invention is also a face matching program for matching input data consisting of a face image of a person to be matched or a feature value thereof with registered data consisting of a face image registered in advance or a feature value thereof. Each local area of the input data and / or the registration data is calculated based on illumination influence reference data, which is a reference for calculating the influence degree of the light source in the face image, calculated using learning data including a plurality of different face images. A degree-of-influence calculation procedure for calculating a degree of influence of a light source in a region, and a degree-of-similarity calculation procedure for calculating a similarity between a feature amount in each local region of the input data and a feature amount in a corresponding local region of the registered data And the similarity of the feature amount in each local area calculated by the similarity calculation procedure and the influence calculated by the influence calculation procedure , Causing the computer to execute a collation processing procedure for collating the input data with the registered data, and the illumination influence reference data includes illumination environment reference data serving as a reference when obtaining an illumination parameter corresponding to the illumination environment And feature variation reference data serving as a reference for obtaining a feature variation amount generated in the feature amount in the local region under an illumination environment corresponding to the illumination parameter.
本発明によれば、動的かつ適応的に光源による影響を低減することができる。 According to the present invention, it is possible to reduce the dynamic and adaptive affected by the light source.
以下に、添付図面を参照して、本発明に係る顔照合装置、顔照合方法及び顔照合プログラムの好適な実施例を詳細に説明する。以下に示す実施例では、照明の影響を除去する場合について説明するが、日光等の他の光源の影響を除去する場合にも同様に適用することができる。 Exemplary embodiments of a face matching device, a face matching method, and a face matching program according to the present invention will be described below in detail with reference to the accompanying drawings. In the embodiment described below, the case of removing the influence of illumination will be described, but the present invention can be similarly applied to the case of removing the influence of other light sources such as sunlight.
まず、本実施例に係る顔照合装置10の顔照合処理の概念について説明する。図1は、顔照合装置10による顔照合処理の概念を説明するための説明図である。同図に示す顔照合装置10は、従来の顔照合装置のように「特定方向の照明」の影響を除去するだけではなく、照明方向及び照度が変動したとしても動的かつ適応的に照明変動の影響を除去しつつ顔照合処理を行う。
First, the concept of the face matching process of the face matching
具体的には、かかる顔照合装置10は、登録データの登録処理及び入力データを用いた照合処理に先だって、学習データを用いた学習処理を行う。この学習データには、照明変動ありの学習データと、照明変動なしの学習データとが含まれる。照明変動ありの学習データは、照明方向及び照度の異なる照明環境下で撮像された複数人の顔画像データである。照明変動なしの学習データは、照明変動ありの学習データを生成したのと同一の人物の顔画像データで均一な照明環境下で撮像したものを複数人分集めたものである。
Specifically, the
顔照合装置10は、照明変動ありの学習データと照明変動なしの学習データとを用いて、後述する照明影響基準データ13aを生成する。この照明影響基準データ13aは、顔画像における照明の影響度を算出する際の基準となるデータである。
The
照明影響基準データ13aは、顔のパーツのうち、どこが照明の影響を受けやすく、どこが照明の影響を受けにくいかを示すものである。例えば、あごのライン等のパーツであれば、照明の影響があってもエッジ強度が変動するのみであり、エッジ自体は残るために個人の特徴を示すことができる。このため、あごのライン等のパーツは、照明の影響を比較的受けにくいパーツである。これに対し、鼻や口のように周囲のパーツとの画素値の差が小さいパーツは、照明によっては形状が不明瞭となり、個人の特徴を示すことが難しくなる場合がある。このため、鼻や口等は、照明の影響を比較的受けやすいパーツとなる。 The illumination influence reference data 13a indicates which of the facial parts is easily affected by the illumination and which is less susceptible to the illumination. For example, in the case of a part such as a chin line, even if there is an influence of illumination, the edge intensity only changes, and the edge itself remains, so that individual characteristics can be shown. For this reason, parts, such as a chin line, are parts which are comparatively hard to receive the influence of illumination. On the other hand, parts such as the nose and mouth that have a small difference in pixel value from the surrounding parts may become unclear depending on the illumination, making it difficult to show individual features. For this reason, the nose, mouth, and the like are parts that are relatively susceptible to illumination.
このようにして、学習段階において照明影響基準データ13aを生成したならば、顔照合装置10は、事前に登録された人物の顔画像そのもの又は顔画像の特徴量からなる登録データの入力を受け付け、登録データの複数の局所領域(区分した領域)における特徴量を算出する。また、学習データから生成した照明影響基準データ13aを用いて、各局所領域における特徴量が照明の影響によりどれだけ変動しているかを示す特徴変動率を算出する。
In this way, if the illumination influence reference data 13a is generated in the learning stage, the
次に、顔照合装置10は、被照合対象者の顔画像データからなる入力データを受け付けたならば、この入力データの複数の局所領域における特徴量を算出する。また、学習データから生成した照明影響基準データ13aを用いて、各局所領域の特徴量が照明の影響によりどれだけ変動しているかを示す特徴変動率を算出する。
Next, when the
そして、この顔照合装置10は、登録データの特徴変動率と入力データの特徴変動率とを用いて各局所領域における領域重みを算出する。この領域重みは、特徴変動率が大きいほど(照明の影響が大きいほど)小さな値とする。
Then, the
このようにして領域重みを算出したならば、顔照合装置10は、登録データと入力データの対応する局所領域における特徴量の類似度を求め、求めた類似度に当該局所領域における領域重みを適用して重み付き類似度を算出し、この重み付き類似度を用いて登録データと入力データの照合処理を行う。例えば、かかる重み付き類似度の総和が所定のしきい値以上であれば同一人物であると判定し、しきい値未満であれば異なる人物であると判定することになる。
If the area weight is calculated in this way, the
このように、顔照合装置10は、顔画像における照明の影響度を算出する際の基準となる照明影響基準データ13aを学習データから生成し、登録データ及び入力データの各局所領域における特徴変動率を照明影響基準データ13aから算出し、特徴変動率に応じた重み付き類似度を用いた照合処理を行う。
As described above, the
顔照合装置10は、照明方向及び照度の異なる種々の照明環境の下で撮像された複数人の顔画像データを学習データに用いることで、特定方向のみならず、多様な照明環境下において、顔の各パーツに対応する各局所領域が、どの程度照明の影響を受けやすいかを示す照明影響基準データ13aを生成するのである。
The
この照明影響基準データ13aを用いて登録データ及び入力データの各局所領域における特徴変動率、すなわち、照明による影響の大きさを評価し、照明の影響の大きいパーツに対応する局所領域の重みを下げて照合を行うことにより、登録データ及び入力データにおける照明環境が不明であったとしても、動的かつ適応的に照明影響を低減することができる。 Using this illumination influence reference data 13a, the feature variation rate in each local area of the registration data and the input data, that is, the magnitude of the influence by the illumination is evaluated, and the weight of the local area corresponding to the part having the large influence of the illumination is lowered. Thus, even if the lighting environment in the registration data and the input data is unknown, the lighting influence can be reduced dynamically and adaptively.
次に、図1に示した顔照合装置10の構成を図2のブロック図を用いて説明する。図2に示すように、この顔照合装置10は、画像入力受付部11、表示操作部12、記憶部13及び制御部14を有する。
Next, the configuration of the
画像入力受付部11は、学習データとしての顔画像、登録データとしての登録人の顔画像及び入力データとしての被顔照合人の顔画像をそれぞれカメラやスキャナ等から受け付けるインタフェースである。表示操作部12は、タッチパネルディスプレイ、キーボードやマウス等のインタフェースである。 The image input receiving unit 11 is an interface that receives a face image as learning data, a registrant's face image as registration data, and a face collator's face image as input data from a camera, a scanner, or the like. The display operation unit 12 is an interface such as a touch panel display, a keyboard, and a mouse.
記憶部13は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、照明影響基準データ13a及び登録特徴データ13bを記憶する。
The
照明影響基準データ13aは、学習データが入力された場合に生成されて記憶部13に格納される。登録特徴データ13bは、登録データの各局所領域の特徴量13c及び特徴変動率13dを含むデータであり、登録データが入力された場合に生成されて記憶部13に格納される。
The illumination influence reference data 13a is generated and stored in the
制御部14は、顔照合装置10を全体制御する制御部である。制御部14は、照明影響基準データ生成部14a、特徴量算出部14b、特徴変動率算出部14c、類似度算出部14d、領域重み算出部14e及び照合処理部14fを有する。
The control unit 14 is a control unit that controls the
照明影響基準データ生成部14aは、画像入力受付部11が学習データを受け付けた場合に、学習データから照明影響基準データ13aを生成し、記憶部13に格納する処理部である。
The illumination influence reference
特徴量算出部14bは、画像入力受付部11が登録データ又は入力データを受け付けた場合に、受け付けたデータの複数の局所領域について特徴量を算出する処理部である。 The feature amount calculation unit 14b is a processing unit that calculates feature amounts for a plurality of local regions of received data when the image input reception unit 11 receives registration data or input data.
特徴変動率算出部14cは、画像入力受付部11が登録データ又は入力データを受け付けた場合に、照明影響基準データ13aを用い、各局所領域の特徴量が照明の影響によりどれだけ変動しているかを示す特徴変動率を算出する処理部である。
When the image input reception unit 11 receives registration data or input data, the feature variation
類似度算出部14dは、登録データと入力データとの対応する局所領域について特徴量の類似度を算出する処理部である。領域重み算出部14eは、登録データの各局所領域の特徴変動率と入力データの局所領域の特徴変動率とを用い、各局所領域について領域重みを算出する。領域重みは、特徴変動率が大きいほど、すなわち、照明の影響が大きいほど小さな値とする。
The
照合処理部14fは、特徴変動率算出部14cにより算出された各局所領域の類似度に対し、領域重み算出部14eにより算出された各局所領域の領域重みをかけて各局所領域毎の重み付き類似度を算出し、この各局所領域毎の重み付き類似度を用いて登録データと入力データとの照合処理を行う処理部である。
The matching
次に、照明影響基準データ13aの生成についてさらに説明する。図3は、照明影響基準データ13aの生成について説明するための説明図である。照明影響基準データ13aには、照明変動ベクトル33、特徴変動係数行列32及び特徴量分布31が含まれる。照明影響基準データ生成部14aは、照明変動ありの学習データと、特徴変動なしの学習データとから、照明変動ベクトル33、特徴変動係数行列32及び特徴量分布31を生成するのである。
Next, generation of the illumination influence reference data 13a will be further described. FIG. 3 is an explanatory diagram for explaining generation of the illumination influence reference data 13a. The illumination influence reference data 13a includes an
照明影響基準データ生成部14aは、まず、照明変動ありの学習データを低解像度化する。例えば、縦80画素かつ横80画素の学習データでは、画素数「Q」の値は「80×80=6400」である。この学習データを縦10画素かつ横10画素の縮小データに低解像度化した場合には、縮小データの画素数「q」の値は「10×10=100」となる。低解像度化の具体的な手法としては、平滑化、画素値の平均、間引き等、任意の方法を用いることができる。
The illumination influence reference
このように、画素数「Q」の学習データを画素数「q」に低解像度化することにより、個人の特徴に対応する成分が減少し、照明の影響に対応する成分が残ることになる。従って、照明環境の異なるr枚の学習データについて、それぞれ縮小データを生成すると、それぞれの照明環境に対応するr枚の縮小データが得られる。 In this way, by reducing the resolution of the learning data for the number of pixels “Q” to the number of pixels “q”, the components corresponding to the individual characteristics are reduced, and the components corresponding to the influence of illumination remain. Therefore, when reduced data is generated for r pieces of learning data having different illumination environments, r pieces of reduced data corresponding to the respective illumination environments are obtained.
照明影響基準データ生成部14aは、画素数qの縮小データr枚を用い、r行q列の画素値行列を生成する。この画素値行列では、1つの行におけるq個の要素は、1つの縮小データにおけるq個の画素の画素値である。
The illumination influence reference
照明影響基準データ生成部14aは、r行q列の画素値行列の共分散行列を求める。そして、この共分散行列の固有値を算出し、大きい順にk個の固有値を選択する。照明影響基準データ生成部14aは、選択した固有値に対応するk個の固有ベクトルを照明変動ベクトル33とする。なお、kの値としては任意の数を用いることができる。この照明変動ベクトル33は、照明環境の異なる複数の顔画像データから、照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データとして使用される。ここで、照明パラメータは撮像画像から得られた照明の方向を示す。
The illumination influence reference
この照明変動ベクトル33により、縮小データの照明環境に対応する照明パラメータを得ることができる。具体的には、照明影響基準データ生成部14aは、縮小データのq個の画素値を1行q列の行列とし、照明変動ベクトル33との積を求めることで、当該縮小データの照明パラメータXを算出する。この照明パラメータXの算出をr枚の縮小データについて行うことにより、r個の照明パラメータXが得られる。
With this
また、照明影響基準データ生成部14aは、学習時には低解像度化を行う前の照明変動ありの学習データにおけるn個の局所領域P1〜Pnの特徴量を算出する。特徴量は、m次元であるものとする。例えば、1つの局所領域について、その周囲に5×5のサンプル点を設定し、各サンプル点のx方向微分値とy方向微分値をとる場合には、m=5×5×2=50次元となる。
In addition, the illumination influence reference
照明影響基準データ生成部14aは、学習時には、r枚の学習データのそれぞれに対し、局所領域P1〜Pnの特徴量の算出を行う。そして、局所領域P1〜Pnのそれぞれについて個人別の平均特徴量を算出する。そして、r枚の学習データのそれぞれについて、局所領域P1〜Pnの特徴量と、対応する個人の当該局所領域の平均特徴量とのずれを特徴変動量Y1〜Ynとして算出する。この結果、局所領域P1〜Pnの特徴変動量Y1〜Ynが、r枚分得られる。なお、特徴量がm次元であるので、特徴変動量Y1〜Ynもm次元となる。
At the time of learning, the illumination influence reference
照明影響基準データ生成部14aは、同一の学習データから得られた特徴変動量Y1〜Ynと、照明パラメータXとを用い、
Y1=A1X,・・・Yn=AnX
により、係数行列A1,・・・Anを算出する。係数行列A1,・・・Anは、m行k列の行列であり、局所領域P1〜Pnに対応して係数行列A1〜Anが得られる。この係数行列A1〜Anが特徴変動係数行列32であり、照明パラメータに対応する照明環境下において局所領域の特徴変動量を求める際の基準となる特徴変動基準データとして使用される。
The illumination influence reference
Y1 = A1X, ... Yn = AnX
To calculate the coefficient matrix A1,... An. The coefficient matrices A1,..., An are m rows and k columns, and the coefficient matrices A1 to An are obtained corresponding to the local regions P1 to Pn. The coefficient matrixes A1 to An are the feature variation coefficient matrix 32, and are used as feature variation reference data serving as a reference when obtaining the feature variation amount of the local region under the illumination environment corresponding to the illumination parameter.
さらに、照明影響基準データ生成部14aは、照明変動なしの学習データから特徴量分布を算出する。具体的には、照明影響基準データ生成部14aは、均一な照明環境下で撮像された照明変動なしの複数人の学習データから、各局所領域の特徴量を求め、局所領域ごとに特徴量の分布を求める。そして、特徴量の各次元の分布幅を合計し、その局所領域の特徴量分布31とする。
Furthermore, the illumination influence reference
顔照合装置10は、特徴量分布31を登録データ及び入力データの特徴変動率の算出に用いる。図4は、特徴量分布31と特徴変動量について説明するための説明図である。図4(a)は、特徴量分布のうち、1次元目と2次元目の分布を示している。図4(a)では、照明変動がない場合の特徴量は、1次元目の分布の幅(変動量)がL1であり、2次元目の分布の幅がL2である。図4(a)では2次元分を図示したが、特徴量の次元数mだけの分布の幅が存在する。照明変動がある場合の特徴量は、図4(b)に示す様に、1次元目の分布の幅(変動量)がl1であり、2次元目の分布の幅がl2である。但し、l1、l2は照明条件により異なる。この特徴変動量の算出は、後述する特徴変動率算出部14c内部の特徴変動量算出部53により行う。
The
次に、図2に示した照明影響基準データ生成部14aの詳細について説明する。図5は、図2に示した照明影響基準データ生成部14aの詳細について説明するための説明図である。図5に示すように照明影響基準データ生成部14aは、その内部に特徴量算出部41、特徴量分布算出部42、特徴変動量算出部43、低解像度化処理部44、照明変動ベクトル算出部45、照明パラメータ算出部46及び特徴変動係数行列算出部47を有する。
Next, details of the illumination influence reference
特徴量算出部41は、学習データの複数の局所領域について特徴量を算出する処理部である。特徴量算出部41は、照明変動なしの学習データの各局所領域について特徴量を算出した場合には、算出した特徴量を特徴量分布算出部42に出力する。また、特徴量算出部41は、照明変動ありの学習データの各局所領域について特徴量を算出した場合には、算出した特徴量を特徴変動量算出部43に出力する。
The feature
特徴量分布算出部42は、特徴量算出部41が照明変動なしの複数人の学習データから算出した特徴量の分布を局所領域ごとに求める。そして、特徴量の各次元の分布幅を合計し、その局所領域の特徴量分布31とする。
The feature amount
特徴変動量算出部43は、特徴量算出部41が照明変動ありの複数の学習データから算出した特徴量を用い、各局所領域の個人別の平均特徴量を算出する。そして、特徴変動量算出部43は、照明変動ありの複数の画像データについて、各局所領域の特徴量の個人別の平均特徴量からのずれを特徴変動量Yとして算出し、特徴変動係数行列算出部47に出力する。
The feature fluctuation
低解像度化処理部44は、照明変動ありの学習データを低解像度化する処理部である。低解像度化処理部44は、照明変動ありの学習データを低解像度化した縮小データを照明変動ベクトル算出部45及び照明パラメータ算出部46に出力する。
The resolution reduction processing unit 44 is a processing unit that reduces the resolution of learning data with illumination fluctuation. The resolution reduction processing unit 44 outputs reduced data obtained by reducing the resolution of the learning data with illumination variation to the illumination variation
照明変動ベクトル算出部45は、画素数qの縮小データr枚を用い、r行q列の画素値行列を生成し、画素値行列の共分散行列を求める。そして、この共分散行列の固有値を大きい順にk個選択し、選択した固有値に対応するk個の固有ベクトルを照明変動ベクトル33とする。照明変動ベクトル算出部45は、照明変動ベクトル33を照明パラメータ算出部46に出力する。
The illumination variation
照明パラメータ算出部46は、縮小データのq個の画素値を1行q列の行列とし、照明変動ベクトル33との積を求めることで、当該縮小データの照明パラメータXを算出する。この照明パラメータXの算出をr枚の縮小データについて行うことにより、r個の照明パラメータXが得られる。照明パラメータ算出部46は、r個の照明パラメータXを特徴変動係数行列算出部47に出力する。
The illumination
特徴変動係数行列算出部47は、特徴変動量算出部43により算出された特徴変動量Yと、照明パラメータ算出部46により算出された照明パラメータXとを用い、
Y1=A1X,・・・Yn=AnX
により、係数行列A1,・・・Anを算出する。係数行列A1,・・・Anは、m行k列の行列であり、局所領域P1〜Pnに対応して係数行列A1〜Anが得られる。特徴変動係数行列算出部47は、この係数行列A1〜Anを特徴変動係数行列32とする。
The feature variation coefficient matrix calculation unit 47 uses the feature variation amount Y calculated by the feature variation
Y1 = A1X, ... Yn = AnX
To calculate the coefficient matrix A1,... An. The coefficient matrices A1,..., An are m rows and k columns, and the coefficient matrices A1 to An are obtained corresponding to the local regions P1 to Pn. The feature variation coefficient matrix calculation unit 47 sets the coefficient matrices A1 to An as the feature variation coefficient matrix 32.
照明影響基準データ生成部14aは、特徴量分布算出部42が算出した特徴量分布31、特徴変動係数行列算出部47が算出した特徴変動係数行列32、並びに照明変動ベクトル算出部45が算出した照明変動ベクトル33を照明影響基準データ13aとして記憶部13に格納する。
The illumination influence reference
次に、登録特徴データ13bに含まれる特徴量13c及び特徴変動率13dの生成についてさらに説明する。図6は、特徴量13c及び特徴変動率13dの生成について説明するための説明図である。
Next, generation of the
特徴量算出部14bは、登録データから局所領域P1〜Pnの特徴量13cを算出する。特徴変動率算出部14cは、登録データから局所領域P1〜Pnの特徴変動率13dを算出する。
The feature amount calculation unit 14b calculates the
特徴変動率算出部14cは、まず、登録データを低解像度化する。例えば、縦80画素かつ横80画素の登録データでは、画素数「Q」の値は「80×80=6400」である。この登録データを縦10画素かつ横10画素の縮小データに低解像度化した場合には、縮小データの画素数「q」の値は「10×10=100」となる。低解像度化の具体的な手法としては、平滑化、画素値の平均、間引き等、任意の方法を用いることができる。
The feature variation
このように、画素数「Q」の登録データを画素数「q」に低解像度化することにより、個人の特徴に対応する成分が減少し、照明の影響に対応する成分が残ることになる。 As described above, by reducing the resolution of the registration data of the number of pixels “Q” to the number of pixels “q”, the component corresponding to the personal feature is reduced and the component corresponding to the influence of illumination remains.
特徴変動率算出部14cは、縮小データのq個の画素値を1行q列の行列とし、照明変動ベクトル33との積を求めることで、当該縮小データの照明パラメータXを算出する。
The feature variation
特徴変動率算出部14cは、照明パラメータXと特徴変動係数行列32による線形変換、すなわち、
Y=AX
により、特徴変動量Yを算出する。特徴変動係数行列32は、局所領域P1〜Pnに対応して係数行列A1〜Anを有する。係数行列A1〜Anは、それぞれm行k列の行列である。照明パラメータXと係数行列A1〜Anとの積を求めることで、局所領域P1〜Pnに対応する特徴変動量Y1〜Ynを得ることができる。
The feature variation
Y = AX
Thus, the feature fluctuation amount Y is calculated. The feature variation coefficient matrix 32 has coefficient matrices A1 to An corresponding to the local regions P1 to Pn. The coefficient matrices A1 to An are each a matrix of m rows and k columns. By obtaining the product of the illumination parameter X and the coefficient matrices A1 to An, the feature variation amounts Y1 to Yn corresponding to the local regions P1 to Pn can be obtained.
特徴変動率算出部14cは、特徴変動量Yの各次元の値の合計を特徴量分布31で除算することにより、特徴変動率rYを算出する。特徴変動率rYは、局所領域ごとに求められる。特徴変動率算出部14cは、局所領域P1〜Pnに対応する特徴変動率rY1〜rYnを特徴変動率13dとする。
The feature variation
次に、登録及び照合の詳細について説明する。図7は、登録及び照合の詳細について説明するための説明図である。図7に示すように、特徴量算出部14bは、登録データから局所領域の特徴量を算出した場合には、算出した特徴量を登録特徴データ13bの特徴量13cとする。また、特徴量算出部14bは、入力データから局所領域の特徴量を算出した場合には、算出した特徴量を類似度算出部14dに出力する。
Next, details of registration and verification will be described. FIG. 7 is an explanatory diagram for explaining details of registration and collation. As shown in FIG. 7, when the feature amount calculation unit 14b calculates the feature amount of the local region from the registration data, the feature amount calculation unit 14b sets the calculated feature amount as the
特徴変動率算出部14cは、登録データから局所領域の特徴変動率を算出した場合には、算出した局所領域の特徴変動率を登録特徴データ13bの特徴変動率13dとする。また、特徴変動率算出部14cは、入力データから局所領域の特徴変動率を算出した場合には、算出した局所領域の特徴変動率を領域重み算出部14eに出力する。
When calculating the feature variation rate of the local region from the registered data, the feature variation
ここで、特徴変動率は、照明変動が存在する場合に、特徴変動量の各次元の値の合計を特徴量分布で除算することにより得られる。図4(a)では特徴量の分布は1次元目がL1で2次元目がL2であり、図4(b)では特徴変動量の1次元目がl1、2次元目がl2である。この場合、特徴変動率rYは、
rY=(l1+l2+・・・+ln)/(L1+L2+・・・+L50)
により求められる。
Here, the feature variation rate is obtained by dividing the sum of the values of each dimension of the feature variation amount by the feature amount distribution when there is an illumination variation. In FIG. 4A, the distribution of the feature quantity is L1 in the first dimension and L2 in the second dimension. In FIG. 4B, the first dimension of the feature variation is l1, and the second dimension is l2. In this case, the feature variation rate rY is
rY = (l1 + l2 +... + ln) / (L1 + L2 +... + L50)
Is required.
類似度算出部14dは、特徴量算出部14bにより入力データの特徴量が出力された場合に、登録特徴データ13bの特徴量13cとの類似度を局所領域ごとに算出する。類似度算出部14dは、算出した局所領域ごとの類似度を照合処理部14fに出力する。
The
領域重み算出部14eは、特徴変動率算出部14cにより入力データの特徴変動率が出力された場合に、登録特徴データ13bの特徴変動率13dと入力データの特徴変動率とを用いて領域重みを算出し、照合処理部14fに出力する。
When the feature variation rate of the input data is output from the feature variation
照合処理部14fは、類似度算出部14dにより算出された局所領域毎の類似度に対し、領域重み算出部14eにより算出された局所領域毎の重みをかけて重み付き類似度を算出し、この重み付き類似度を用いて登録データと入力データと照合処理を行う。具体的には、照合処理部14fは、重み付き類似度の総和を算出し、重み付き類似度の総和が閾値以上である場合に、登録データと入力データとが同一人物であると判定する。
The matching
特徴変動率算出部14cは、その内部に低解像度化処理部51、照明パラメータ算出部52、特徴変動量算出部53及び変動率算出処理部54を有する。低解像度化処理部51は、登録データ及び入力データを低解像度化する処理部である。低解像度化処理部51は、低解像度化して得た縮小データを照明パラメータ算出部52に出力する。
The feature variation
照明パラメータ算出部52は、縮小データのq個の画素値を1行q列の行列とし、記憶部13から読み出した照明変動ベクトル33との積を求めることで、当該縮小データの照明パラメータXを算出する。照明パラメータ算出部52は、算出した照明パラメータXを特徴変動量算出部53に出力する。
The illumination
特徴変動量算出部53は、照明パラメータXと記憶部13から読み出した特徴変動係数行列32による線形変換により、特徴変動量Yを算出する処理部である。特徴変動量算出部53は、算出した特徴変動量Yを変動率算出処理部54に出力する。変動率算出処理部54は、特徴変動量Yの各次元の値の合計を特徴量分布31で除算することにより、特徴変動率rYを算出する。
The feature
次に、領域重みの算出について説明する。領域重みは、特徴変動率の値によって単調減少する関数であれば、ロジスティックシグモイド関数、2次関数又は3次関数等、任意の関数を用いることができる。 Next, calculation of region weights will be described. As the area weight, any function such as a logistic sigmoid function, a quadratic function, or a cubic function can be used as long as it is a function that monotonously decreases depending on the value of the feature variation rate.
図8は、ロジスティックシグモイド関数を領域重みの算出に用いる場合について説明するための説明図である。ロジスティックシグモイド関数は、(x,y)=(0,0.5)の点で点対称な関数であり、特徴変動率をx軸、領域重みをy軸とすれば、特徴変動率が大きくなるほど領域重みは小さくなる。 FIG. 8 is an explanatory diagram for explaining a case where the logistic sigmoid function is used for calculating the region weight. The logistic sigmoid function is a point-symmetrical function with respect to (x, y) = (0, 0.5). If the feature variation rate is the x axis and the region weight is the y axis, the feature variation rate increases. The area weight becomes smaller.
次に、顔照合装置10の学習及び登録に係る処理手順について説明する。図9は、顔照合装置10の学習及び登録に係る処理手順を示すフローチャートである。
Next, a processing procedure related to learning and registration of the
まず、画像入力受付部11は、学習データを受け付ける(ステップS101)。照明影響基準データ生成部14aは、学習データを用いて照明影響基準データ生成処理を行い(ステップS102)、生成した照明影響基準データ13aを記憶部13に格納する(ステップS103)。
First, the image input receiving unit 11 receives learning data (step S101). The illumination influence reference
そして、画像入力受付部11が登録データの入力を受け付けると(ステップS104)、特徴量算出部14bは、登録データの複数の局所領域について特徴量を算出する(ステップS105)。 When the image input receiving unit 11 receives input of registration data (step S104), the feature amount calculation unit 14b calculates feature amounts for a plurality of local regions of the registration data (step S105).
また、特徴変動率算出部14cは、画像入力受付部11が受け付けた登録データと、照明影響基準データ13aとを用い、特徴変動率を算出する処理を行う(ステップS106)。その後、顔照合装置10は、ステップS105で算出した特徴量と、ステップS106で算出した特徴変動率とを登録特徴データ13bとして記憶部13に格納し(ステップS107)、処理を終了する。
Further, the feature variation
次に、図9にステップS102として示した照明影響基準データ生成処理について説明する。図10は、照明影響基準データ生成処理の処理手順を示すフローチャートである。 Next, the illumination influence reference data generation process shown as step S102 in FIG. 9 will be described. FIG. 10 is a flowchart showing the processing procedure of the illumination influence reference data generation processing.
照明影響基準データ生成部14aの特徴量算出部41は、まず照明変動なしの学習データの複数の局所領域について特徴量を算出する(ステップS201)。
The feature
特徴量分布算出部42は、特徴量算出部41が照明変動なしの複数人の学習データから算出した特徴量の分布を局所領域ごとに求め、特徴量の各次元の分布幅を合計し、特徴量分布31とする(ステップS202)。
The feature quantity
特徴量算出部41は、照明変動ありの学習データの複数の局所領域について特徴量を算出する(ステップS203)。特徴変動量算出部43は、特徴量算出部41が照明変動ありの複数の学習データから算出した特徴量を用い、各局所領域の個人別の平均特徴量を算出し、各局所領域の特徴量の個人別の平均特徴量からのずれを特徴変動量Yとして算出する(ステップS204)。
The feature
低解像度化処理部44は、照明変動ありの学習データを低解像度化する(ステップS205)。照明変動ベクトル算出部45は、画素数qの縮小データr枚を用い、r行q列の画素値行列を生成し、画素値行列の共分散行列を求める。そして、この共分散行列の固有値を大きい順にk個選択し、選択した固有値に対応するk個の固有ベクトルを照明変動ベクトル33として算出する(ステップS206)。
The resolution reduction processing unit 44 reduces the resolution of the learning data with illumination variation (step S205). The illumination variation
照明パラメータ算出部46は、縮小データのq個の画素値を1行q列の行列とし、照明変動ベクトル33との積を求めることで、当該縮小データの照明パラメータXを算出する(ステップS207)。
The illumination
特徴変動係数行列算出部47は、ステップS204で算出された特徴変動量Yと、ステップS207で算出された照明パラメータXとを用い、
Y=AX
により、特徴変動係数行列32を求める。
The feature variation coefficient matrix calculation unit 47 uses the feature variation amount Y calculated in step S204 and the illumination parameter X calculated in step S207.
Y = AX
Thus, the feature variation coefficient matrix 32 is obtained.
照明影響基準データ生成部14aは、ステップS202で算出された特徴量分布31、ステップS208で算出された特徴変動係数行列32、並びにステップS206で算出された照明変動ベクトル33を照明影響基準データ13aとして(ステップS209)、処理を終了する。
The illumination influence reference
次に、図9にステップS106として示した特徴変動率算出処理について説明する。図11は、特徴変動率算出処理の処理手順を示すフローチャートである。 Next, the feature variation rate calculation process shown as step S106 in FIG. 9 will be described. FIG. 11 is a flowchart illustrating the processing procedure of the feature variation rate calculation processing.
特徴変動率算出部14cの低解像度化処理部51は、登録データ又は入力データを低解像度化し、縮小データを生成する処理を行う(ステップS301)。照明パラメータ算出部52は、縮小データのq個の画素値を1行q列の行列とし、記憶部13から読み出した照明変動ベクトル33との積を求めることで、当該縮小データの照明パラメータXを算出する(ステップS302)。
The resolution
特徴変動量算出部53は、照明パラメータXと記憶部13から読み出した特徴変動係数行列32による線形変換により、特徴変動量Yを算出する(ステップS303)。変動率算出処理部54は、特徴変動量Yの各次元の値の合計を特徴量分布31で除算することにより、特徴変動率rYを算出し(ステップS304)、処理を終了する。
The feature variation
次に、顔照合装置10の照合に係る処理手順について説明する。図12は、顔照合装置10の照合に係る処理手順を示すフローチャートである。
Next, a processing procedure related to collation of the
まず、画像入力受付部11は、入力データを受け付ける(ステップS401)。特徴量算出部14bは、入力データから複数の局所領域について特徴量を算出する(ステップS402)。 First, the image input receiving unit 11 receives input data (step S401). The feature amount calculation unit 14b calculates feature amounts for a plurality of local regions from the input data (step S402).
また、特徴変動率算出部14cは、画像入力受付部11が受け付けた入力データと、照明影響基準データ13aとを用い、特徴変動率を算出する特徴変動率算出処理を行う(ステップS403)。この特徴変動率算出処理としては、図11に示した処理を用いればよい。
Further, the feature variation
その後、顔照合装置10は、入力データと照合処理する登録特徴データ13bを選択する(ステップS404)。領域重み算出部14eは、各局所領域について、選択した登録特徴データ13bの特徴変動率と、入力データの特徴変動率とを比較し、特徴変動率の大きい方を選択する(ステップS405)。領域重み算出部14eは、選択した特徴変動率により各局所領域の領域重みを算出する(ステップS406)。
Thereafter, the
類似度算出部14dは、各局所領域について、選択した登録特徴データ13bの特徴量と、入力データの特徴量との類似度を算出する(ステップS407)。照合処理部14fは、ステップS407で算出された類似度に対し、ステップS406で算出された領域重みをかけて重み付き類似度を算出し、重み付き類似度を合計する(ステップS408)。
The
照合処理部14fは、合計した重み付き類似度(総和類似度)が閾値以上であるならば(ステップS409;Yes)、選択した登録特徴データ13bと入力データとが同一人物のものであると判定し、選択した登録特徴データ13bに関する情報(氏名等)を照合結果として出力して(ステップS412)、処理を終了する。
If the total weighted similarity (total similarity) is equal to or greater than the threshold (step S409; Yes), the matching
総和類似度が閾値未満であるならば(ステップS409;No)、照合処理部14fは、全ての登録特徴データ13bを選択済であるか否かを判定する(ステップS410)。
If the total similarity is less than the threshold (step S409; No), the
未選択の登録特徴データ13bが残っているならば(ステップS410;No)、照合処理部14fは、未選択の登録特徴データ13bから入力データと照合処理する登録特徴データ13bを選択する(ステップS404)。全ての登録特徴データ13bを選択済であるならば(ステップS410;Yes)、照合処理部14fは、「該当者無し」を照合結果として出力して、処理を終了する。
If unselected registered
次に、学習データの撮像について説明する。照明変動ありの学習データを撮像する場合には、照明方向及び照度の異なる照明環境下で人物の顔を撮像する。図13は、学習データの撮像について説明するための説明図である。 Next, imaging of learning data will be described. When imaging learning data with illumination variation, a human face is imaged in an illumination environment with different illumination directions and illuminance. FIG. 13 is an explanatory diagram for describing imaging of learning data.
図13に示すように、被写体となる人物の周囲に複数のLED(Light Emitting Diode)照明71を設置し、被写体となる人物の正面に撮像装置61を設ける。撮像装置61は、撮像制御装置60により撮像タイミングを制御され、撮像結果を撮像制御装置60に送信する。
As shown in FIG. 13, a plurality of LED (Light Emitting Diode) lights 71 are installed around a person who is a subject, and an
撮像制御装置60は、照明制御装置70と接続され、照明制御装置70に対して照明制御指示を送信可能である。照明制御装置70は、LED照明71の点灯状態を個別に制御可能することで、照明制御指示に応じた照明環境を実現する。
The
このため、撮像制御装置60は、LED照明71の点灯状態の違いにより、照明方向及び照度の異なる多様な照明環境を仮想的に実現し、各照明環境下で学習データの撮像を行うことできる。
For this reason, the
次に、図2に示した顔照合装置10の各機能部をプログラムにより実現する場合について説明する。図14は、図2に示した顔照合装置の各機能部をプログラムにより実現する場合の説明図である。同図に示すように、図2に示した顔照合装置10は、CPU111(メインメモリを含む)、フラッシュメモリ112、ディスプレイユニット113、操作受付ユニット114をバス119で接続した構成となる。
Next, the case where each function part of the
ここで、このフラッシュメモリ112に顔照合プログラム130を記憶しておき、CPU111は、この顔照合プログラム130をフラッシュメモリ112から読み出して図示しないメインメモリに展開し、顔照合プログラム130が有するプロセスを実行する。
Here, the
具体的には、かかる顔照合プログラム130により、照明影響基準データ生成プロセス120a、特徴量算出プロセス120b、特徴変動率算出プロセス120c、類似度算出プロセス120d、領域重み算出プロセス120e及び照合処理プロセス120fが生成される。
Specifically, the
この照明影響基準データ生成プロセス120aが図2に示した照明影響基準データ生成部14aに対応し、特徴量算出プロセス120bが図2に示した特徴量算出部14bに対応し、特徴変動率算出プロセス120cが図2に示した特徴変動率算出部14cに対応し、類似度算出プロセス120dが図2に示した類似度算出部14dに対応し、領域重み算出プロセス120eが図2に示した領域重み算出部14eに対応し、照合処理プロセス120fが図2に示した及び照合処理部14fに対応する。
The illumination influence reference
上述してきたように、本実施例に係る顔照合装置10は、顔画像における照明の影響度を算出する際の基準となる照明影響基準データ13aを学習データから生成し、登録データ及び入力データの各局所領域における特徴変動率を照明影響基準データ13aから算出し、特徴変動率に応じた重み付き類似度により照合処理を行う。このため、登録データ及び入力データにおける照明環境が不明であったとしても、動的かつ適応的に照明影響を低減することができる。
As described above, the
なお、上記実施例では、いずれかの登録特徴データと入力データとの総和類似度が閾値以上となった場合には報知を行なって処理を終了し、いずれの登録特徴データとの総和類似度も閾値未満であった場合にも報知を行なうこととしたが、照合結果をどのように出力するかは適宜設定可能である。 In the above embodiment, when the total similarity between any registered feature data and input data is equal to or greater than the threshold value, the process is terminated and the total similarity with any registered feature data is also set. The notification is also performed when the threshold value is less than the threshold value, but how to output the collation result can be appropriately set.
例えば、全ての登録特徴データについて総和類似度を算出し、総和類似度が最大となる登録特徴データに関する情報を照合結果として出力することとしてもよい。また、総和類似度が閾値を超えた登録特徴データを全て照合結果として出力してもよい。また、いずれの登録特徴データとの総和類似度も閾値未満であった場合には、報知を行なわなくともよい。 For example, the total similarity may be calculated for all the registered feature data, and information related to the registered feature data having the maximum total similarity may be output as a matching result. Further, all registered feature data whose total similarity exceeds a threshold value may be output as a matching result. Further, when the total similarity with any registered feature data is less than the threshold value, notification is not necessary.
また、上記実施例では、特徴変動率によって重み付けを行った重み付き類似度を全て合計した総和類似度に基づいて照合を行う場合について説明を行ったが、特徴変動率の小さい局所領域の類似度を選択的に用いて照合処理を行ってもよい。 Further, in the above-described embodiment, the case where the matching is performed based on the total similarity obtained by summing all the weighted similarities weighted by the feature variation rate has been described. However, the similarity of a local region having a small feature variation rate is described. The matching process may be performed using selectively.
また、上記実施例では、入力データと登録データの双方について特徴変動率を求め、その一方を類似度に対する重みの算出に使用する場合について説明を行ったが、入力データの特徴変動率と入力データの特徴変動率の双方を用いて類似度に対する重みを算出してもよい。また、入力データ又は登録データの一方についてのみ特徴変動率を算出し、類似度に対する重みを算出してもよい。例えば、登録データについては均一な照明環境下で撮像できるならば、入力データについてのみ特徴変動率を算出し、類似度に対する重みを算出すればよい。 In the above-described embodiment, the case where the feature variation rate is obtained for both the input data and the registered data and one of them is used to calculate the weight for the similarity is described. However, the feature variation rate of the input data and the input data are described. The weight for the similarity may be calculated using both of the feature variation rates. Alternatively, the feature variation rate may be calculated for only one of the input data and the registered data, and the weight for the similarity may be calculated. For example, if the registered data can be imaged in a uniform illumination environment, the feature variation rate may be calculated only for the input data, and the weight for the similarity may be calculated.
以上のように、本発明に係る顔照合装置、顔照合方法及び顔照合プログラムは、光源による影響を動的かつ適応的に低減することに適している。 As described above, the face matching device, the face matching method, and the face matching program according to the present invention are suitable for dynamically and adaptively reducing the influence of the light source.
10 顔照合装置
11 画像入力受付部
12 表示操作部
13 記憶部
13a 照明影響基準データ
13b 登録特徴データ
13c 特徴量
13d 特徴変動率
14 制御部
14a 照明影響基準データ生成部
14b 特徴量算出部
14c 特徴変動率算出部
14d 類似度算出部
14e 領域重み算出部
14f 照合処理部
31 特徴量分布
32 特徴変動係数行列
33 照明変動ベクトル
41 特徴量算出部
42 特徴量分布算出部
43,53 特徴変動量算出部
44,51 低解像度化処理部
45 照明変動ベクトル算出部
46,52 照明パラメータ算出部
47 特徴変動係数行列算出部
54 変動率算出処理部
60 撮像制御装置
61 撮像装置
70 照明制御装置
71 LED照明
DESCRIPTION OF
Claims (10)
照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出手段と、
前記照明影響基準データ算出手段により算出された照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手段と、
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された各局所領域における特徴量の類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段と
を備え、
前記照明影響基準データ算出手段は、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出する
ことを特徴とする顔照合装置。 A face collation device for collating input data consisting of a face image of a person to be collated or its feature quantity with registered data consisting of a face image registered beforehand or its feature quantity,
Illumination influence reference data calculating means for calculating illumination influence reference data serving as a reference when calculating the influence degree of the light source in the face image using learning data including a plurality of face images having different illumination environments ;
Based on the illumination influence reference data calculated by the illumination influence reference data calculation means, an influence degree calculation means for calculating the influence degree of the light source in each local region of the input data and / or the registration data;
Similarity calculating means for calculating a similarity between a feature amount in each local region of the input data and a feature amount in a corresponding local region of the registration data;
A collation process for collating the input data and the registered data based on the similarity between the feature amounts in each local region calculated by the similarity calculation unit and the influence calculated by the influence calculation unit and means,
The lighting influence reference data calculation means includes lighting environment reference data serving as a reference when obtaining lighting parameters corresponding to the lighting environment from the learning data including a plurality of face images having different lighting environments, and the lighting parameters. Feature variation reference data serving as a reference for obtaining a feature variation amount generated in the feature amount in the local region under the corresponding illumination environment is calculated as the illumination influence reference data.
Face matching device comprising a call.
前記特徴変動率に応じて各局所領域の重みを算出する領域重み算出手段をさらに備え、
前記照合処理手段は、前記領域重み算出手段により算出された領域重みを用いて前記各局所領域の類似度に対する重み付けを行って前記入力データと前記登録データとを照合処理する
ことを特徴とする請求項1に記載の顔照合装置。 Before Symbol influence calculation means, said calculating illumination parameters of the input data and / or the registration data using the illumination environment reference data, the input data and using the calculated and illumination parameters and the characteristic variation reference data / Or calculate a feature variation rate in each local region of the registration data,
Further comprising region weight calculating means for calculating the weight of each local region according to the feature variation rate;
The collation processing unit performs a collation process on the input data and the registration data by weighting the similarity of each local region using the region weight calculated by the region weight calculation unit. Item 2. The face matching device according to Item 1.
前記影響度算出手段は、前記入力データ及び/又は前記登録データに対して解像度を低下させる低解像度化処理を行い、前記低解像度化処理を行った前記入力データ及び/又は前記登録データと前記照明環境基準データとを用いて前記照明パラメータを算出する
ことを特徴とする請求項2に記載の顔照合装置。 The illumination influence reference data calculation means performs a resolution reduction process for reducing the resolution for the learning data including a plurality of face images having different illumination environments, and the learning data subjected to the resolution reduction process performs the resolution reduction process. Calculate lighting environment standard data,
The influence calculation means performs a resolution reduction process for reducing the resolution of the input data and / or the registration data, and the input data and / or the registration data and the illumination subjected to the resolution reduction process. The face verification device according to claim 2, wherein the illumination parameter is calculated using environmental reference data.
前記影響度算出手段は、前記低解像度化処理を行った前記入力データ及び/又は前記登録データの各画素値と前記照明環境基準データとの積を前記照明パラメータとして算出する
ことを特徴とする請求項3に記載の顔照合装置。 The illumination influence reference data calculation means is a pixel value matrix in which the number of pixels of the learning data subjected to the resolution reduction processing is the number of rows or columns, and the number of the plurality of face image data is the number of columns or rows. Generating the eigenvector of the pixel value matrix as the lighting environment reference data,
The influence degree calculating means calculates a product of each pixel value of the input data and / or the registration data subjected to the resolution reduction processing and the illumination environment reference data as the illumination parameter. Item 4. The face matching device according to Item 3.
前記影響度算出手段は、前記低解像度化処理を行った前記入力データ及び/又は前記登録データから算出した前記照明パラメータと、前記特徴変動基準データとの積を前記入力データ及び/又は前記登録データにおける特徴変動量として算出する
ことを特徴とする請求項4に記載の顔照合装置。 The illumination influence reference data calculation means calculates a product of each pixel value of the face image of the learning data subjected to the resolution reduction process and the illumination environment reference data as the illumination parameter, and the resolution reduction process The feature variation amount of each local region is calculated from the previous learning data, and for each local region, the linear transformation coefficient matrix when the local region feature variation amount is assumed to be a linear transformation of the illumination parameter Calculated as feature variation reference data,
The influence degree calculating means calculates the product of the illumination parameter calculated from the input data and / or the registration data subjected to the resolution reduction process and the feature variation reference data as the input data and / or the registration data. The face matching device according to claim 4, wherein the face matching device is calculated as a feature variation amount.
照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出ステップと、
前記照明影響基準データ算出ステップにより算出された照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出ステップと、
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出ステップと、
前記類似度算出ステップにより算出された各局所領域における特徴量の類似度と、前記影響度算出ステップにより算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理ステップと
を含み、
前記照明影響基準データ算出ステップにおいて、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出する
ことを特徴とする顔照合方法。 A face collation method for collating input data consisting of a face image of a person to be collated or its feature quantity with registered data consisting of a face image registered beforehand or its feature quantity,
Illumination influence reference data calculation step for calculating illumination influence reference data serving as a reference when calculating the influence degree of the light source in the face image using learning data including a plurality of face images with different illumination environments ;
Based on the illumination influence reference data calculated by the illumination influence reference data calculation step, an influence calculation step for calculating the influence degree of the light source in each local region of the input data and / or the registration data;
A similarity calculation step of calculating a similarity between a feature amount in each local region of the input data and a feature amount in a corresponding local region of the registration data;
A collation process for collating the input data with the registered data based on the similarity between the feature amounts in each local region calculated in the similarity calculation step and the influence calculated in the influence calculation step and a step seen including,
In the lighting influence reference data calculating step, the lighting environment reference data serving as a reference for obtaining the lighting parameter corresponding to the lighting environment from the learning data including a plurality of face images having different lighting environments, and the lighting parameter Feature variation reference data serving as a reference for obtaining a feature variation amount generated in the feature amount in the local region under the corresponding illumination environment is calculated as the illumination influence reference data.
Face matching wherein a call.
照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出手順と、
前記照明影響基準データ算出手順により算出された照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手順と、
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手順と、
前記類似度算出手順により算出された各局所領域における特徴量の類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順と
をコンピュータに実行させ、
前記照明影響基準データ算出手順において、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出する
ことを特徴とする顔照合プログラム。 A face collation program for collating input data consisting of a face image of a person to be collated or its feature quantity with registered data consisting of a face image registered beforehand or its feature quantity,
Illumination influence reference data calculation procedure for calculating illumination influence reference data to be a reference when calculating the influence degree of the light source in the face image using learning data including a plurality of face images with different illumination environments ;
Based on the illumination influence reference data calculated by the illumination influence reference data calculation procedure, an influence calculation procedure for calculating an influence degree of a light source in each local region of the input data and / or the registration data;
A similarity calculation procedure for calculating a similarity between a feature amount in each local region of the input data and a feature amount in a corresponding local region of the registration data;
A collation process for collating the input data with the registered data based on the similarity of the feature amount in each local area calculated by the similarity calculation procedure and the influence calculated by the influence calculation procedure Let the computer perform the steps and
In the lighting influence reference data calculation procedure, the lighting environment reference data serving as a reference for obtaining the lighting parameter corresponding to the lighting environment from the learning data including a plurality of face images having different lighting environments, and the lighting parameter Feature variation reference data serving as a reference for obtaining a feature variation amount generated in the feature amount in the local region under the corresponding illumination environment is calculated as the illumination influence reference data.
Face recognition program, wherein a call.
あらかじめ照明環境の異なる複数の顔画像を含む学習データを用いて算出した、顔画像における光源の影響度を算出する際の基準となる照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手段と、 The input data and / or the registration based on the illumination influence reference data, which is calculated in advance using learning data including a plurality of face images with different illumination environments and serves as a reference when calculating the influence degree of the light source in the face image An influence calculation means for calculating the influence degree of the light source in each local region of the data;
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手段と、 Similarity calculating means for calculating a similarity between a feature amount in each local region of the input data and a feature amount in a corresponding local region of the registration data;
前記類似度算出手段により算出された各局所領域における特徴量の類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段と A collation process for collating the input data and the registered data based on the similarity between the feature amounts in each local region calculated by the similarity calculation unit and the influence calculated by the influence calculation unit Means and
を備え、 With
前記照明影響基準データは、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを含む The illumination influence reference data includes illumination environment reference data serving as a reference for obtaining an illumination parameter corresponding to the illumination environment, and a feature variation amount generated in a feature amount in the local region under the illumination environment corresponding to the illumination parameter. Includes feature variation reference data that serves as a reference
ことを特徴とする顔照合装置。 A face matching apparatus characterized by the above.
あらかじめ照明環境の異なる複数の顔画像を含む学習データを用いて算出した、顔画像における光源の影響度を算出する際の基準となる照明影響基準データに基づいて、前記入力データ及び/又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手順と、 The input data and / or the registration based on the illumination influence reference data, which is calculated in advance using learning data including a plurality of face images with different illumination environments and serves as a reference when calculating the influence degree of the light source in the face image An influence calculation procedure for calculating the influence of the light source in each local region of the data;
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手順と、 A similarity calculation procedure for calculating a similarity between a feature amount in each local region of the input data and a feature amount in a corresponding local region of the registration data;
前記類似度算出手順により算出された各局所領域における特徴量の類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順と A collation process for collating the input data with the registered data based on the similarity of the feature amount in each local area calculated by the similarity calculation procedure and the influence calculated by the influence calculation procedure Procedure and
をコンピュータに実行させ、 To the computer,
前記照明影響基準データは、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを含む The illumination influence reference data includes illumination environment reference data serving as a reference for obtaining an illumination parameter corresponding to the illumination environment, and a feature variation amount generated in a feature amount in the local region under the illumination environment corresponding to the illumination parameter. Includes feature variation reference data that serves as a reference
ことを特徴とする顔照合プログラム。 A face matching program characterized by that.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013144941A JP6355306B2 (en) | 2013-07-10 | 2013-07-10 | Face matching device, face matching method, and face matching program |
PCT/JP2014/068429 WO2015005426A1 (en) | 2013-07-10 | 2014-07-10 | Face matching device, face matching method and face matching program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013144941A JP6355306B2 (en) | 2013-07-10 | 2013-07-10 | Face matching device, face matching method, and face matching program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015018399A JP2015018399A (en) | 2015-01-29 |
JP6355306B2 true JP6355306B2 (en) | 2018-07-11 |
Family
ID=52439335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013144941A Expired - Fee Related JP6355306B2 (en) | 2013-07-10 | 2013-07-10 | Face matching device, face matching method, and face matching program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6355306B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6858525B2 (en) * | 2016-10-07 | 2021-04-14 | グローリー株式会社 | Money classification device and money classification method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4238542B2 (en) * | 2002-08-30 | 2009-03-18 | 日本電気株式会社 | Face orientation estimation apparatus, face orientation estimation method, and face orientation estimation program |
JP4219151B2 (en) * | 2002-10-23 | 2009-02-04 | グローリー株式会社 | Image collation apparatus, image collation method, and image collation program |
JP4888217B2 (en) * | 2007-05-08 | 2012-02-29 | オムロン株式会社 | Person attribute estimation device |
-
2013
- 2013-07-10 JP JP2013144941A patent/JP6355306B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015018399A (en) | 2015-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110858286B (en) | Image processing method and device for target recognition | |
CN111353512B (en) | Obstacle classification method, obstacle classification device, storage medium and computer equipment | |
US9311564B2 (en) | Face age-estimation and methods, systems, and software therefor | |
US10572072B2 (en) | Depth-based touch detection | |
CN104680144B (en) | Based on the lip reading recognition methods and device for projecting very fast learning machine | |
US9443325B2 (en) | Image processing apparatus, image processing method, and computer program | |
US20160275339A1 (en) | System and Method for Detecting and Tracking Facial Features In Images | |
US10600208B2 (en) | Object detecting device, object detecting method and non-transitory computer-readable medium | |
US20130329970A1 (en) | Image authentication apparatus, image processing system, control program for image authentication apparatus, computer-readable recording medium, and image authentication method | |
US9245206B2 (en) | Image processing apparatus and image processing method | |
CN111325318B (en) | Neural network training method, neural network training device and electronic equipment | |
JP2014089626A (en) | Image detection device and control program and image detection method | |
US11941796B2 (en) | Evaluation system, evaluation device, evaluation method, evaluation program, and recording medium | |
Cheng et al. | Block-based cloud classification with statistical features and distribution of local texture features | |
JP6071002B2 (en) | Reliability acquisition device, reliability acquisition method, and reliability acquisition program | |
JP2011210126A (en) | Apparatus and method for recognizing pattern | |
JP2021503139A (en) | Image processing equipment, image processing method and image processing program | |
US7646915B2 (en) | Image recognition apparatus, image extraction apparatus, image extraction method, and program | |
Zhou et al. | Label denoising adversarial network (LDAN) for inverse lighting of faces | |
CN110826534B (en) | Face key point detection method and system based on local principal component analysis | |
JP2014021602A (en) | Image processor and image processing method | |
CN112102207A (en) | Method and device for determining temperature, electronic equipment and readable storage medium | |
Zhou et al. | Label denoising adversarial network (ldan) for inverse lighting of face images | |
CN109087240B (en) | Image processing method, image processing apparatus, and storage medium | |
JP6355306B2 (en) | Face matching device, face matching method, and face matching program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6355306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |