WO2018116560A1 - 照合装置及び照合方法 - Google Patents

照合装置及び照合方法 Download PDF

Info

Publication number
WO2018116560A1
WO2018116560A1 PCT/JP2017/034421 JP2017034421W WO2018116560A1 WO 2018116560 A1 WO2018116560 A1 WO 2018116560A1 JP 2017034421 W JP2017034421 W JP 2017034421W WO 2018116560 A1 WO2018116560 A1 WO 2018116560A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
score
captured
person
registered
Prior art date
Application number
PCT/JP2017/034421
Other languages
English (en)
French (fr)
Inventor
洋佑 野末
一樹 前野
宏明 由雄
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2018557543A priority Critical patent/JP6960572B2/ja
Priority to US16/470,864 priority patent/US10878225B2/en
Priority to CN201780078910.3A priority patent/CN110088765B/zh
Publication of WO2018116560A1 publication Critical patent/WO2018116560A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the present disclosure relates to a collation device and a collation method for collating a captured face image with a registered face image.
  • identity verification is performed by collating the face image registered in the passport with the face image of the person taken by the camera.
  • this type of collation device detects the feature amount of the registered face image and the feature amount of the captured face image, calculates a score indicating the similarity between the feature amounts, and is the person based on the score.
  • Patent Document 1 discloses a technique for detecting that an imaged person is wearing a mask or other shielding object.
  • Patent Document 1 simply detects a shielding object based on a captured face image, and stops a financial transaction when the shielding object is detected. It was n’t. In other words, regardless of the registered face image, if a shielding object is detected in the captured face image, the processing will be stopped.
  • Patent Document 1 When applying the technique of Patent Document 1 to a verification device, it is determined that the person to be verified is not the person, and the verification process is immediately stopped. However, it is common for the person being verified to wear spectacles, masks and other decorative items, and facial expressions and hairstyles to change instantaneously. In such cases, the verification process should be stopped immediately. It ’s inconvenient.
  • One aspect of the present disclosure provides a collation device and a collation method that can reduce the risk of determining that the person to be verified is not the person even though the person to be verified is the person.
  • the verification device of the present disclosure includes a processor, a storage unit, and a display unit.
  • the processor collates the captured face image obtained by capturing the face of the person to be verified with the registered face image registered in the storage unit.
  • the collation score indicating the collation result is equal to or less than Th1, and it is determined that the collated person captured in the captured face image is not the subject person of the registered face image, the collation score is Th2 (Th2 ⁇ Th1). ) Determine whether it is above.
  • a local score indicating a similarity between a part of the captured face image and the registered face image is calculated, and when the calculated local score is Th3 or less, the captured face image and A process for emphasizing a portion corresponding to the local score is performed on at least one of the registered face images, and the image is displayed on the display unit.
  • the present disclosure it is possible to reduce the risk of determining that the person to be verified is not the person, even though the person to be verified is the person.
  • FIG. 1 is a block diagram showing an overall configuration of a collation apparatus according to an embodiment.
  • FIG. 2 is a flowchart showing the matching process.
  • FIG. 3 is a flowchart showing the face registration process.
  • FIG. 4 is a flowchart showing the face authentication process.
  • FIG. 5 is a flowchart showing the feature amount calculation processing.
  • FIG. 6 is a diagram for explaining a face part (local region).
  • FIG. 7 is a diagram for explaining a face part (local region).
  • FIG. 8 is a flowchart showing the highlighting process.
  • FIG. 9 is a diagram for explaining an example of associating a local score level with a highlighted display level.
  • FIG. 10 is a diagram illustrating a result of the highlighting process.
  • FIG. 1 is a block diagram showing an overall configuration of a collation apparatus according to an embodiment.
  • the verification device 100 is applied to, for example, an airport gate opening / closing system.
  • the gate opening / closing system verifies whether the person to be verified who is going to pass through the gate is the person registered in the passport by the verification device 100, and when the person is authenticated, opens the gate and is not authenticated. In case you close the gate.
  • a processor 101 In the verification device 100, a processor 101, a storage unit 102, a wireless communication unit 103, an imaging unit 104, an input unit 105, and a display unit 106 are connected via a bus 110.
  • the processor 101 is responsible for the overall processing of the verification device 100 including face authentication processing by the verification device 100 and display processing on the display unit 106.
  • the storage unit 102 stores registered images.
  • the registered image is stored in the storage unit 102 via the input unit 105.
  • the input unit 105 is a scanner, for example, and reads a face image registered in a passport.
  • the wireless communication unit 103 wirelessly receives the detection result of the human sensor of the gate opening / closing system.
  • the collation device 100 controls the display timing on the display unit 106, the imaging timing of the imaging unit 104, and the like based on the detection result of the human sensor. Further, when the verification apparatus 100 authenticates that the person to be verified is the registered person, the wireless communication unit 103 wirelessly transmits this to the gate opening / closing control unit. As a result, the gate is controlled to open.
  • the imaging unit 104 includes a camera and captures a face image of the person to be verified who is in front of the gate.
  • the display unit 106 displays the face image of the person to be verified that has been captured by the imaging unit 104 and that has not yet been captured. In addition, an instruction regarding imaging is displayed on the display unit 106.
  • FIG. 2 is a flowchart showing the matching process performed by the matching device 100.
  • the face registration processing is performed in step S1, and the face authentication processing is performed in step S2.
  • the face registration process in step S ⁇ b> 1 is performed by inputting, for example, a passport face image via the input unit 105 and storing the face image in the storage unit 102.
  • the processor 101 calculates a score indicating the degree of similarity between the face image captured by the image capturing unit 104 and the face image registered in the storage unit 102 in step S1, and uses this score as a threshold value. It is done by judging.
  • FIG. 3 is a flowchart showing the processing contents of the face registration processing performed in step S1 of FIG.
  • the collation apparatus 100 receives a face image to be registered via the input unit 105 in step S ⁇ b> 11 and stores the registered face image in the storage unit 102.
  • the processor 101 calculates the feature amount of the registered face image.
  • FIG. 4 is a flowchart showing the contents of the face authentication process performed in step S2 of FIG.
  • the collation apparatus 100 first receives the captured face image captured by the imaging unit 104 in step S ⁇ b> 21.
  • the processor 101 calculates the feature amount of the captured face image. This feature quantity is the same type of feature quantity as the feature quantity used in step S12.
  • the processor 101 uses the local score to obtain an overall score by calculation.
  • the overall score can be obtained by, for example, an average of local scores of the forehead, right eye, left eye, nose, and mouth, or a total of local scores. For example, if the local region is P and the similarity of the local region p is S_p, the overall score S_all can be obtained by averaging as in the following equation.
  • FIG. 5 is a flowchart showing the processing content of the feature amount calculation processing performed in step S12 of FIG. 3 and step S22 of FIG.
  • the processor 101 detects a face area from the image.
  • a face region can be detected by using a Haar-like feature and a learning algorithm by boosting.
  • a local area is detected from the face area detected in step S121.
  • a technique for detecting a local area from a face area a known technique can be used.
  • a local region is detected from a face region using Random-Forest regression.
  • the method for detecting a local region from a face region is not limited to Random-Forest regression, and other regression methods, machine learning, or the like may be used.
  • the local area is an element constituting a face such as a left eye area, a right eye area, a nose area, a mouth area, and a forehead area.
  • the right eye region is a rectangular region having a radius R centered on the coordinates of the right eye as (x_reye, y_reye).
  • a feature amount is calculated for each local region. An example of a feature amount calculation method will be described. For example, an arbitrary N point in the right eye region is selected.
  • the score N is N ⁇ 1 and N ⁇ 4R 2 + 4R + 1.
  • a 128-dimensional SIFT feature value is extracted from each point, and is used as the feature value D_reye of the right eye region. Therefore, the dimension number of the feature D_reye of the right eye region is N ⁇ 128.
  • step S3 if the overall score is equal to or greater than the threshold Th1, the processor 101 determines that the user is the person himself (step S3; YES). If the processor 101 determines that the user is the person in step S3, the process proceeds to step S4. In step S4, the processor 101 displays an authentication success message (that is, that the captured face image belongs to the same person as the registered face image) on the display unit 106. On the other hand, in step S3, if the overall score is less than the threshold Th1 (step S3; NO), the processor 101 moves to step S5.
  • step S5 the processor 101 determines whether or not the overall score is greater than or equal to a threshold value Th2.
  • the threshold Th2 is smaller than the threshold Th1, that is, Th2 ⁇ Th1.
  • the process moves from step S5 to step S6, and the authentication failure message (that is, the face in which the captured face image is registered) is displayed on the display unit 106. The image is of a different person from the image).
  • the processor 101 determines that there is a possibility of the principal, and immediately proceeds to step S7 without displaying an authentication failure message.
  • Th2 when Th2 ⁇ total score ⁇ Th1 (when the total score is high but did not reach Th1), it is not immediately determined that the authentication has failed.
  • the reason for this is that if the overall score is high but it does not reach Th1, there is a possibility that the score has been lowered due to some reason, such as the presence of a shielding object, despite the identity of the person.
  • step S7 the processor 101 performs highlighting processing.
  • the content of the highlighting process will be described with reference to FIG.
  • FIG. 8 is a flowchart showing the highlighting process.
  • step S71 the processor 101 determines whether or not the local score is greater than or equal to the threshold Th3. Specifically, the processor 101 determines whether or not the value of some or all of the local scores acquired in S23 is greater than or equal to Th3. If there is only a local score equal to or greater than Th3 (Yes in step S71), the highlighting process ends.
  • the processor 101 defines the local region for which the local score is calculated in S72 as a different local.
  • step S73 the processor 101 calculates the highlight level based on the local score.
  • the highlighting degree is the degree of emphasis when characterizing and displaying a local area.
  • the level of local score may be associated with the degree of highlighting. An example of associating the local score level with the highlight level will be described with reference to FIG.
  • FIG. 9 is a diagram for explaining an example of associating the local score level with the highlight level.
  • the lower the local score the stronger the enhancement degree.
  • FIG. 10 is a diagram illustrating a result of the highlighting process.
  • captured face images with different mouth local scores are displayed on the display unit 106 with different highlighting.
  • the lower the local score of the mouth the stronger shading is applied around the mouth.
  • the means for performing the highlight display is not limited to the example shown in FIG.
  • highlighting is performed by performing image processing on the local region from which the local score is calculated.
  • Highlighting may be performed.
  • shading is performed as an example of image processing, but other processing such as blurring by a smoothing filter, reduction in luminance value, display of a mark such as x, and the like is performed. Can be highlighted.
  • the collation device and the collation method of the present disclosure are applied to the gate opening / closing system has been described.
  • the registered face image is not limited to a passport image.
  • the verification device of the present disclosure includes a processor, a storage unit, and a display unit.
  • the processor collates the captured face image obtained by capturing the face of the person to be verified with the registered face image registered in the storage unit.
  • the collation score indicating the collation result is equal to or less than Th1, and it is determined that the collated person captured in the captured face image is not the subject person of the registered face image, the collation score is Th2 (Th2 ⁇ Th1). ) Determine whether it is above.
  • a local score indicating a similarity between a part of the captured face image and the registered face image is calculated, and when the calculated local score is Th3 or less, the captured face image and A process for emphasizing a portion corresponding to the local score is performed on at least one of the registered face images, and the image is displayed on the display unit.
  • That the collation score is Th2 or more means that the probability that the person to be collated is the person is more than a predetermined value. In such a case, it is often the case that more appropriate matching can be performed by improving a factor that lowers the matching score locally. That is, the appearance of a person's face tends to change artificially due to decorations, openings, blinking, and the like. However, if such a change can be communicated to a person, it is easy to eliminate the change.
  • a factor that lowers the matching score locally is determined based on the local score, and a process of emphasizing a part of the face is performed, so that a change in appearance due to a decorative object, an opening, a blinking eye, or the like is transmitted to the person being checked. be able to.
  • the verification apparatus determines that the person to be verified is not the person himself / herself even though the person to be verified is the person himself / herself.
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the present disclosure is suitable for a collation device and a collation method that collate a captured face image and a registered face image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

被照合者の顔を撮像した撮像顔画像と、記憶部に登録されている登録顔画像とを照合し、照合の結果を示す照合スコアがＴｈ１以下であり、撮像顔画像に撮像されている被照合者が登録顔画像の被写体本人でないと判定した場合、照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定する。照合スコアがＴｈ２以上である場合、撮像顔画像と登録顔画像の一部分の類似度を示す、局所スコアを算出し、算出した局所スコアがＴｈ３以下である場合、撮像顔画像および登録顔画像の少なくとも一つの画像に、局所スコアに対応する一部分を強調する処理を行い、その画像を表示部に表示する。

Description

照合装置及び照合方法
　本開示は、撮像された顔画像と、登録された顔画像とを照合する照合装置及び照合方法に関する。
　例えば空港などに設けられる照合装置においては、パスポートに登録された顔画像と、カメラによって撮像した本人の顔画像とを照合することで、本人確認を行うようになっている。実際上、この種の照合装置は、登録顔画像の特徴量と、撮像顔画像の特徴量とを検出し、それら特徴量の類似度を示すスコアを算出し、このスコアに基づいて本人であるかを認証する。
　ところで、カメラによって撮像される被照合者が眼鏡、マスクなどの装飾物を付けていた場合や、撮像の瞬間に表情や髪型が変化した場合、本人であるにも拘わらず、本人ではないといった認証結果が得られるおそれがあり、不都合である。
　ここで、撮像された人物がマスクなどの遮蔽物を付けていることを検出する技術が特許文献１に記載されている。
特開２０００－２５１０７７号公報
　ところで、特許文献１に記載された技術は、単に、撮像された顔画像に基づいて遮蔽物を検出し、遮蔽物が検出された場合には金融取引を中止するものであり、照合を目的としたものではない。つまり、登録顔画像に関係なく、撮像された顔画像に遮蔽物が検出されれば、処理を中止してしまおうと言うものである。
　特許文献１の技術を照合装置に適用しようとした場合には、被照合者が本人で無いと判定される、直ちに照合処理を中止することとなる。しかし、被照合者が眼鏡、マスクなどの装飾物を付けていることや、表情や髪形が瞬間的に変化することはよくあることであり、このような場合に直ちに照合処理を中止するのは、はなはだ不都合である。
　本開示の一態様は、被照合者が本人であるにもかかわらず本人でないと判定するおそれを低減することができる照合装置及び照合方法を提供する。
　本開示の照合装置はプロセッサと、記憶部と、表示部を有する。プロセッサは、被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている登録顔画像とを照合する。前記照合の結果を示す照合スコアがＴｈ１以下であり、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の被写体本人でないと判定した場合、前記照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定する。前記照合スコアがＴｈ２以上である場合、前記撮像顔画像と前記登録顔画像の一部分の類似度を示す、局所スコアを算出し、前記算出した局所スコアがＴｈ３以下である場合、前記撮像顔画像および前記登録顔画像の少なくとも一つの画像に、前記局所スコアに対応する一部分を強調する処理を行い、当該画像を前記表示部に表示する。
　本開示によれば、被照合者が本人であるにもかかわらず本人でないと判定するおそれを低減することができる。
図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。 図２は、照合処理を示すフローチャートである。 図３は、顔登録処理を示すフローチャートである。 図４は、顔認証処理を示すフローチャートである。 図５は、特徴量計算処理を示すフローチャートである。 図６は、顔パーツ（局所領域）の説明に供する図である。 図７は、顔パーツ（局所領域）の説明に供する図である。 図８は、強調表示処理を示すフローチャートである。 図９は、局所スコアの高低度合いと強調表示度合いとを対応付ける例を説明する図である。 図１０は、強調表示処理の結果を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　以下、図１～１０を用いて、実施の形態１を説明する。
　［１－１．構成］
　図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。照合装置１００は、例えば空港のゲート開閉システムに適用される。ゲート開閉システムは、照合装置１００によってゲートを通過しようとする被照合者がパスポートに登録された本人であるかを照合し、本人であると認証された場合にはゲートを開き、認証されなかった場合にはゲートを閉じる。
　照合装置１００は、プロセッサ１０１、記憶部１０２、無線通信部１０３、撮像部１０４、入力部１０５及び表示部１０６が、バス１１０を介して接続されている。
　プロセッサ１０１は、照合装置１００による顔認証処理、表示部１０６への表示処理を含む照合装置１００の全体的な処理を担う。
　記憶部１０２には、登録画像が記憶される。記憶部１０２への登録画像の記憶は、入力部１０５を介して行われる。入力部１０５は、例えばスキャナであり、パスポートに登録されている顔画像を読み込む。
　無線通信部１０３は、ゲート開閉システムの人感センサの検知結果を無線受信する。照合装置１００は、人感センサの検知結果に基づいて、表示部１０６への表示タイミング及び撮像部１０４の撮像タイミングなどを制御する。また、無線通信部１０３は、照合装置１００によって被照合者が登録された本人であると認証されると、そのことをゲート開閉制御部に無線送信する。これにより、ゲートが開制御される。
　撮像部１０４は、カメラを含んで構成されており、ゲートの前にいる被照合者の顔画像を撮像する。
　表示部１０６には、撮像部１０４に撮像された及び撮像される前の被照合者の顔画像が表示される。また、表示部１０６には、撮像に関する指示が表示される。
　［１－２．動作］
　図２は、照合装置１００による照合処理を示すフローチャートである。
　照合装置１００は、照合処理を開始すると、ステップＳ１で顔登録処理を行い、ステップＳ２で顔認証処理を行う。ステップＳ１の顔登録処理は、入力部１０５を介して例えばパスポートの顔画像を入力され、この顔画像を記憶部１０２に記憶することにより行われる。ステップＳ２の顔認証処理は、プロセッサ１０１によって、撮像部１０４で撮像された顔画像と、ステップＳ１で記憶部１０２に登録された顔画像との類似度を示すスコアを算出し、このスコアを閾値判定することで行われる。
　図３は、図２のステップＳ１で行われる顔登録処理の処理内容を示すフローチャートである。図３に示すように、顔登録処理（ステップＳ１）では、照合装置１００は、ステップＳ１１において、入力部１０５を介して登録しようとする顔画像を入力され、この登録顔画像を記憶部１０２に記憶する。ステップＳ１２では、プロセッサ１０１が登録顔画像の特徴量を計算する。
　図４は、図２のステップＳ２で行われる顔認証処理の処理内容を示すフローチャートである。図４に示すように、顔認証処理（ステップＳ２）では、照合装置１００は、先ず、ステップＳ２１において、撮像部１０４によって撮像された撮像顔画像を入力される。ステップＳ２２において、プロセッサ１０１が撮像顔画像の特徴量を計算する。この特徴量はステップＳ１２で用いられた特徴量と同じ種類の特徴量である。ステップＳ２３では、プロセッサ１０１が局所スコア（局所ごとの類似度）を計算により取得する。具体的には、登録顔画像の局所領域の特徴量と、撮像顔画像の局所領域の特徴量とから、正規化相関等を用いて、局所領域ごとの類似度（＝局所スコア）を算出する。例えば、局所領域ごとの類似度の一例として右目の類似度（＝右目の局所スコア）Ｓ＿ｒｅｙｅは、登録顔画像から得られた右目の特徴量をＤ＿ｒｅｙｅ＿ｒｅｇｉｓｔ、撮像顔画像から得られた右目の特徴量をＤ＿ｒｅｙｅ＿ｖｅｒｉｆｙとすると、次式の正規化相関により求めることができる。
Figure JPOXMLDOC01-appb-M000001
　続くステップＳ２４において、プロセッサ１０１は、局所スコアを用いて、全体スコアを計算により取得する。全体スコアは、例えば、額、右目、左目、鼻、口の局所スコアの平均や、局所スコアの合計により求めることができる。例えば、局所領域をＰ、局所領域ｐの類似度をＳ＿ｐとすると、全体スコアＳ＿ａｌｌは、次式のような平均により求めることができる。
Figure JPOXMLDOC01-appb-M000002
　図５は、図３のステップＳ１２及び図４のステップＳ２２で行われる特徴量計算処理の処理内容を示すフローチャートである。特徴量計算処理では、ステップＳ１２１において、プロセッサ１０１が画像から顔領域を検出する。このとき、例えばＨａａｒ－ｌｉｋｅ特徴とｂｏｏｓｔｉｎｇによる学習アルゴリズムとを用いることで顔領域を検出できる。ステップＳ１２２では、ステップＳ１２１で検出した顔領域から局所領域を検出する。顔領域から局所領域を検出する手法の一例としては、既知の手法を用いることができる。本実施の形態ではＲａｎｄｏｍ－Ｆｏｒｅｓｔ回帰を用いて顔領域から局所領域を検出した。顔領域から局所領域を検出する方法はＲａｎｄｏｍ－Ｆｏｒｅｓｔ回帰に限られず、他の回帰手法や機械学習などを用いてもよい。図６に示すように、局所領域とは、左目領域、右目領域、鼻領域、口領域、額領域などの顔を構成する要素である。図７に示すように、例えば右目領域とは、右目の座標を（ｘ＿ｒｅｙｅ，ｙ＿ｒｅｙｅ）としたとき、そこを中心とした半径Ｒの矩形の領域である。ステップＳ１２３では、局所領域ごとに特徴量を計算する。特徴量の計算方法の一例を説明する。例えば、右目領域の任意のＮ点を選択する。点数Ｎは、Ｎ≧１かつＮ≦４Ｒ２＋４Ｒ＋１である。各点から、１２８次元のＳＩＦＴ特徴量を抽出し、それを右目領域の特徴量Ｄ＿ｒｅｙｅとする。よって、右目領域の特徴Ｄ＿ｒｅｙｅの次元数はＮ×１２８となる。
　ステップＳ３において、プロセッサ１０１は全体スコアが閾値Ｔｈ１以上ならば本人であると判断する（ステップＳ３；ＹＥＳ）。プロセッサ１０１がステップＳ３において本人であると判断すると、処理がステップＳ４に移る。ステップＳ４において、プロセッサ１０１は表示部１０６に認証成功メッセージ（つまり撮像された顔画像が登録された顔画像と同一人物のものであること）を表示する。これに対して、ステップＳ３において、プロセッサ１０１は全体スコアが閾値Ｔｈ１未満ならば（ステップＳ３；ＮＯ）、ステップＳ５に移る。
　ステップＳ５において、プロセッサ１０１は全体スコアが閾値Ｔｈ２以上か否かを判断する。ここで閾値Ｔｈ２は閾値Ｔｈ１よりも小さい値、つまりＴｈ２＜Ｔｈ１である。プロセッサ１０１は全体スコアが閾値Ｔｈ２未満であると判断した場合（ステップＳ５；ＮＯ）、ステップＳ５からステップＳ６に移って、表示部１０６に認証失敗メッセージ（つまり撮像された顔画像が登録された顔画像と異なる人物のものであること）を表示する。これに対して、プロセッサ１０１は、全体スコアが閾値Ｔｈ２以上ならば本人の可能性が有ると判断し、直ちに認証失敗メッセージを表示することなく、ステップＳ７に移る。つまり、Ｔｈ２≦全体スコア＜Ｔｈ１の場合（全体スコアが惜しくもＴｈ１に届かなかった場合）には、直ちに認証が失敗したとは判定しない。その理由は、全体スコアが惜しくもＴｈ１に届かなかった場合には遮蔽物が存在するなどの何らかの原因によって、本人であるにもかかわらずスコア低下がおきてしまった可能性があるためである。
　ステップＳ７において、プロセッサ１０１は強調表示処理を行う。強調表示処理の内容について図８を参照して説明を行う。
　図８は、強調表示処理を示すフローチャートである。
　ステップＳ７１において、プロセッサ１０１は局所スコアが閾値Ｔｈ３以上かどうかを判定する。具体的には、プロセッサ１０１はＳ２３で取得した局所スコアの一部または全てについてその値がＴｈ３以上であるか否かを判定する。局所スコアがＴｈ３以上のものしかない場合（ステップＳ７１でＹｅｓ）、強調表示処理が終了する。
　局所スコアがＴｈ３未満のものが存在する場合、プロセッサ１０１はＳ７２にて当該局所スコアを算出した局所領域を相違局所であると定義する。
　ステップＳ７３において、プロセッサ１０１は局所スコアに基づいて強調表示度合いの計算を行う。強調表示度合いとは、局所領域を特徴付けて表示する際の強調の度合いのことである。強調表示度合いの計算の仕方には様々なものが考えられる。一つは局所スコアがＴｈ３未満の局所領域については一律に同じ強調表示度合いを設定することである。またほかの方法として局所スコアの高低度合いと強調表示度合いとを対応付けてもよい。局所スコアの高低度合いと強調表示度合いとを対応付ける例を図９を用いて説明する。
　図９は、局所スコアの高低度合いと強調表示度合いとを対応付ける例を説明する図である。図９に示す例は、局所スコアが低ければ低いほど強調度合いをより強めるものである。
　全体スコアが惜しくも閾値（Ｔｈ１）に届かないにも関わらず、局所スコアが著しく低いということは当該局所スコアの算出の元となった局所領域に何らかの作為的な変化が生じている可能性が高い。作為的な変化とは、装飾物の装着による変化や、開口、目つぶりなどの動作による変化を含む。作為的な変化は、被照合者の努力によって排除可能である。局所領域が低ければ低いほどより強調表示度合いを強めることで、被照合者に作為的な変化の排除につきより確実に注意を喚起することができる。よってこのようにすると、確実な照合が可能になる。
　ステップＳ７４において、プロセッサ１０１は相違局所を強調表示度合いに基づいて強調表示する。図１０は、強調表示処理の結果を示す図である。図１０においては各々口の局所スコアが異なる撮像顔画像が、各々異なる強調表示を施されて表示部１０６に表示されている。図１０に示すように、口の局所スコアが低ければ低いほど、より強い網掛けが口周りに施されている。強調表示を行う手段は図１０に示した例の態様に限られない。例えば図１０においては、局所スコアを算出する元となった局所領域に画像の加工を施すことで強調表示を行ったが、当該局諸領域以外に画像の加工を施すことで当該局諸領域の強調表示を行ってもよい。また、図１０においては、画像の加工の一例として網掛けを行ったが、他にも平滑化フィルタによるぼかし、輝度値の低下、×のようなマークの表示、などを画像の加工として行うことで強調表示を行うことができる。
　以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
　上述の実施の形態では、本開示の照合装置及び照合方法をゲート開閉システムに適用した場合について述べたが、勿論、ゲート開閉システム以外にも適用可能である。また、登録顔画像は、勿論、パスポートの画像に限らない。
　［１－３．効果等］
　以上のように本実施の形態において、本開示の照合装置はプロセッサと、記憶部と、表示部を有する。プロセッサは、被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている登録顔画像とを照合する。前記照合の結果を示す照合スコアがＴｈ１以下であり、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の被写体本人でないと判定した場合、前記照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定する。前記照合スコアがＴｈ２以上である場合、前記撮像顔画像と前記登録顔画像の一部分の類似度を示す、局所スコアを算出し、前記算出した局所スコアがＴｈ３以下である場合、前記撮像顔画像および前記登録顔画像の少なくとも一つの画像に、前記局所スコアに対応する一部分を強調する処理を行い、当該画像を前記表示部に表示する。
　照合スコアがＴｈ２以上であるということは、被照合者が本人らしい確率は所定の値以上あるということである。その様な場合、局所的に照合スコアを下げている要因を改善することにより、より適切な照合が行える場合が多い。すなわち、人の顔は装飾物や開口、目つぶりなどで外観が作為的に変化しやすい。ただしそのような変化を人に伝えられれば当該変化を排除することは容易である。本開示は、局所的に照合スコアを下げている要因を局所スコアにより判定し、顔の一部分を強調する処理を行うため、装飾物や開口、目つぶりなどによる外観の変化を被照合者に伝えることができる。以上のようにして、本開示によれば照合装置において、被照合者が本人であるにもかかわらず本人でないと判定するおそれを低減することができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、撮像顔画像と登録顔画像とを照合する照合装置及び照合方法に好適である。
　１００　照合装置
　１０１　プロセッサ
　１０２　記憶部
　１０３　無線通信部
　１０４　撮像部
　１０５　入力部
　１０６　表示部

Claims (4)

  1. プロセッサと、記憶部と、表示部を有し、
    前記プロセッサは、
    　被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている登録顔画像とを照合し、
    　前記照合の結果を示す照合スコアがＴｈ１以下であり、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の被写体本人でないと判定した場合、
    　前記照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定し、
    　前記照合スコアがＴｈ２以上である場合、
    　前記撮像顔画像と前記登録顔画像の一部分の類似度を示す、局所スコアを算出し、
    　前記算出した局所スコアがＴｈ３以下である場合、
    　前記撮像顔画像および前記登録顔画像の少なくとも一つの画像に、前記局所スコアに対応する一部分を強調する処理を行い、当該画像を前記表示部に表示する、
    照合装置。
  2. 前記強調の度合いを、前記局所スコアに基づいて変更する、
    請求項１に記載の照合装置。
  3. プロセッサが、被照合者の顔を撮像した撮像顔画像と、記憶部に登録されている登録顔画像とを照合してその結果を出力する照合方法であって、
    　前記プロセッサは、
    　前記照合の結果を示す照合スコアがＴｈ１以下であり、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の被写体本人でないと判定した場合、
    　前記照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定し、
    　前記照合スコアがＴｈ２以上である場合、
    　前記撮像顔画像と前記登録顔画像の一部分の類似度を示す、局所スコアを算出し、
    　前記算出した局所スコアがＴｈ３以下である場合、
    　前記撮像顔画像および前記登録顔画像の少なくとも一つの画像に、前記局所スコアに対応する一部分を強調する処理を行う、
    照合方法。
  4. 前記強調の度合いを、前記局所スコアに基づいて変更する、
    請求項３に記載の照合方法。
PCT/JP2017/034421 2016-12-21 2017-09-25 照合装置及び照合方法 WO2018116560A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018557543A JP6960572B2 (ja) 2016-12-21 2017-09-25 照合装置及び照合方法
US16/470,864 US10878225B2 (en) 2016-12-21 2017-09-25 Comparison device and comparison method
CN201780078910.3A CN110088765B (zh) 2016-12-21 2017-09-25 对照装置和对照方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-247935 2016-12-21
JP2016247935 2016-12-21

Publications (1)

Publication Number Publication Date
WO2018116560A1 true WO2018116560A1 (ja) 2018-06-28

Family

ID=62627337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034421 WO2018116560A1 (ja) 2016-12-21 2017-09-25 照合装置及び照合方法

Country Status (4)

Country Link
US (1) US10878225B2 (ja)
JP (1) JP6960572B2 (ja)
CN (1) CN110088765B (ja)
WO (1) WO2018116560A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10872272B2 (en) * 2017-04-13 2020-12-22 L'oreal System and method using machine learning for iris tracking, measurement, and simulation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012128792A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 人物認証装置およびコンピュータプログラム
JP2013097760A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 認証システム、端末装置、認証プログラム、認証方法
JP2014071680A (ja) * 2012-09-28 2014-04-21 Secom Co Ltd 顔認証装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251077A (ja) 1999-02-24 2000-09-14 Chonho Computer Co Ltd 銀行取引システムの取引者顔面認識方法
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
EP1864245A2 (en) * 2005-03-18 2007-12-12 Philips Intellectual Property & Standards GmbH Method of performing face recognition
US7817826B2 (en) * 2005-08-12 2010-10-19 Intelitrac Inc. Apparatus and method for partial component facial recognition
JP2007148872A (ja) * 2005-11-29 2007-06-14 Mitsubishi Electric Corp 画像認証装置
CN101341507B (zh) * 2005-12-01 2012-07-04 株式会社资生堂 面部分类方法以及面部分类装置
JP5010905B2 (ja) * 2006-12-13 2012-08-29 パナソニック株式会社 顔認証装置
JP5777380B2 (ja) * 2011-04-05 2015-09-09 キヤノン株式会社 画像認識装置、画像認識方法、及びプログラム
WO2012169119A1 (ja) * 2011-06-10 2012-12-13 パナソニック株式会社 物体検出枠表示装置及び物体検出枠表示方法
US8948517B2 (en) * 2013-03-01 2015-02-03 Adobe Systems Incorporated Landmark localization via visual search
US9224066B2 (en) * 2013-03-01 2015-12-29 Adobe Systems Incorporated Object detection via validation with visual search
WO2015005426A1 (ja) * 2013-07-10 2015-01-15 グローリー株式会社 顔照合装置、顔照合方法及び顔照合プログラム
JP6389801B2 (ja) * 2015-05-27 2018-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2017100929A1 (en) * 2015-12-15 2017-06-22 Applied Recognition Inc. Systems and methods for authentication using digital signature with biometrics
CN110050276B (zh) * 2016-11-30 2023-09-29 皇家飞利浦有限公司 患者识别系统和方法
US10242291B2 (en) * 2017-02-08 2019-03-26 Idemia Identity & Security Device for processing images of people, the device seeking to sort these images as a function of contextual information
US10943096B2 (en) * 2017-12-31 2021-03-09 Altumview Systems Inc. High-quality training data preparation for high-performance face recognition systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012128792A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 人物認証装置およびコンピュータプログラム
JP2013097760A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 認証システム、端末装置、認証プログラム、認証方法
JP2014071680A (ja) * 2012-09-28 2014-04-21 Secom Co Ltd 顔認証装置

Also Published As

Publication number Publication date
US20190318160A1 (en) 2019-10-17
JP6960572B2 (ja) 2021-11-05
CN110088765A (zh) 2019-08-02
US10878225B2 (en) 2020-12-29
CN110088765B (zh) 2023-01-03
JPWO2018116560A1 (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
JP7365445B2 (ja) コンピューティング装置及び方法
JP7046625B2 (ja) 顔認証方法及び装置
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
WO2019127262A1 (zh) 基于云端的人脸活体检测方法、电子设备和程序产品
US20160379042A1 (en) Apparatuses, systems, and methods for confirming identity
JP6574988B2 (ja) 照合装置及び照合方法
JP5061563B2 (ja) 検出装置、生体判定方法、およびプログラム
US20220292883A1 (en) Judgement method, judgement device, and judgement program
JP5730044B2 (ja) 顔画像認証装置
CN116311549A (zh) 活体对象识别方法、设备和计算机可读存储介质
US20230360436A1 (en) Synthetic masked biometric signatures
WO2021025627A1 (en) A transaction processing system and a transaction method based on facial recognition
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
JP3970573B2 (ja) 顔画像認識装置および方法
JP2007300185A (ja) 画像監視装置
WO2018116560A1 (ja) 照合装置及び照合方法
KR101280439B1 (ko) 현금인출기 카메라에서 취득된 얼굴 영상에 대한 얼굴 인식 가능성 판단 방법
EP4120184A1 (en) Information processing device, information processing method, and program
KR20180108361A (ko) 얼굴 인증 방법 및 장치
JP2022178273A (ja) 画像認証装置、画像認証方法、コンピュータプログラム、及び記憶媒体
CN107153815A (zh) 一种身份验证方法、设备及存储介质
CN113096809A (zh) 一种基于云计算的健康管理系统
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
JPWO2020066776A1 (ja) 情報提供装置、情報提供方法、およびプログラム
JP2008000464A (ja) 認証装置および認証方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884288

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018557543

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17884288

Country of ref document: EP

Kind code of ref document: A1