WO2020213166A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2020213166A1
WO2020213166A1 PCT/JP2019/016869 JP2019016869W WO2020213166A1 WO 2020213166 A1 WO2020213166 A1 WO 2020213166A1 JP 2019016869 W JP2019016869 W JP 2019016869W WO 2020213166 A1 WO2020213166 A1 WO 2020213166A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
subject
change
image processing
image
Prior art date
Application number
PCT/JP2019/016869
Other languages
English (en)
French (fr)
Inventor
智明 松濤
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2021514780A priority Critical patent/JP7268725B2/ja
Priority to KR1020217032248A priority patent/KR20210136092A/ko
Priority to PCT/JP2019/016869 priority patent/WO2020213166A1/ja
Priority to EP19925334.5A priority patent/EP3958208A4/en
Priority to CN201980095279.7A priority patent/CN113678164A/zh
Publication of WO2020213166A1 publication Critical patent/WO2020213166A1/ja
Priority to US17/478,477 priority patent/US12033429B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • Biometric authentication technology is a technology that authenticates the person using the biometric information of the person to be authenticated.
  • the biometric authentication technology includes face authentication technology, fingerprint authentication technology, vein authentication technology, voiceprint authentication technology and the like.
  • biometric information obtained from the face image of the person to be authenticated is used when performing personal authentication.
  • biometric information obtained from the face image of the person to be authenticated is used when performing personal authentication.
  • it is possible for another person to impersonate the person by receiving the person's authentication using the person's photo it is possible to perform a spoofing attack more easily than other biometric authentication techniques.
  • the authenticity is determined by detecting the facial feature points indicating the position of the facial part from the face image and using the movement of the facial feature points when the person to be authenticated performs a predetermined action.
  • the technology is known (see, for example, Patent Document 1 and Patent Document 2).
  • the present invention aims to determine the authenticity of a subject using an image of the subject.
  • the image processing device includes a storage unit, an operation identification unit, and a determination unit.
  • the storage unit stores a plurality of time-series images taken of the subject when the subject is instructed to change the direction of the face.
  • the motion specifying unit extracts a face region from each of a plurality of images, obtains a change characteristic of pixel values of a plurality of pixels arranged in a predetermined direction in the face region, and obtains a time series of change characteristics obtained from each of the plurality of images. Identify the movement of the subject based on the change. The determination unit determines the authenticity of the subject based on the movement of the subject.
  • the authenticity of the subject can be determined using the captured image of the subject.
  • the positions of the eyes and nostrils are used as facial feature points, and the person to be authenticated is made to perform an arbitrary or predetermined movement, and the facial image is genuine from the movement of the eyes and nostrils during the movement. It is determined whether or not the face is.
  • facial feature points are not always correctly detectable. For example, it is difficult to accurately detect one eye when the face is largely facing left or right, the nostril when the face is facing greatly downward, and the like. Therefore, even if the person himself / herself performs the operation as instructed, the operation may not be correctly determined.
  • FIG. 1 shows an example of a functional configuration of the image processing device of the embodiment.
  • the image processing device 101 of FIG. 1 includes a storage unit 111, an operation specifying unit 112, and a determination unit 113.
  • the storage unit 111 stores a plurality of time-series images taken of the subject when the subject is instructed to change the direction of the face.
  • the operation specifying unit 112 and the determination unit 113 perform image processing using the image stored in the storage unit 111.
  • FIG. 2 is a flowchart showing an example of image processing performed by the image processing device 101 of FIG.
  • the motion specifying unit 112 extracts a face region from each of the plurality of images (step 201).
  • the motion specifying unit 112 obtains the change characteristics of the pixel values of the plurality of pixels arranged in a predetermined direction in the face region (step 202), and is based on the time-series change of the change characteristics obtained from each of the plurality of images.
  • the movement of the subject is specified (step 203).
  • the determination unit 113 determines the authenticity of the subject based on the movement of the subject (step 204).
  • the authenticity of the subject can be determined using the captured image of the subject.
  • FIG. 3 shows a functional configuration example showing a specific example of the image processing device 101 of FIG.
  • the image processing device 301 of FIG. 3 includes a storage unit 311, an image acquisition unit 312, a display unit 313, an operation instruction unit 314, an operation identification unit 315, a determination unit 316, a selection unit 317, a feature extraction unit 318, a registration unit 319, and The authentication unit 320 is included.
  • the storage unit 311, the operation identification unit 315, and the determination unit 316 correspond to the storage unit 111, the operation identification unit 112, and the determination unit 113 of FIG. 1, respectively.
  • the image pickup device 302 is a camera having an image pickup element such as a CCD (Charged-Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor), and captures an image of a subject.
  • the image captured by the image pickup apparatus 302 includes a plurality of time-series images. The image at each time is sometimes called a frame.
  • the image processing device 301 is, for example, a biometric authentication device, and performs biometric information processing based on the image of the person to be registered or the person to be authenticated.
  • biometric information processing is the registration process for registering the biometric information of the registration target person
  • the subject is the registration target person
  • the biometric information processing is the authentication process for authenticating the authentication target person
  • the subject is the authentication target person.
  • another person makes a spoofing attack using his / her own photo
  • the subject is his / her own photo.
  • the operation instruction unit 314 instructs the subject to perform a specific operation such as changing the direction of the face in the registration process or the authentication process.
  • the change of the face orientation includes an action of turning the face to the front toward the image pickup apparatus 302, an action of turning the face to the left or right, an action of turning the face up or down, and the like.
  • the operation instruction unit 314 can instruct the subject to perform a specific operation by using a text message, an illustration, a voice message, or the like.
  • the display unit 313 notifies the subject of the instruction by displaying a text message or an illustration output from the operation instruction unit 314 on the screen.
  • the image pickup device 302 photographs the face of the subject while the subject is performing the instructed operation, and outputs the captured image to the image processing device 301.
  • the image acquisition unit 312 acquires N time-series images (N is an integer of 2 or more) 331 from the video output by the image pickup apparatus 302 and stores them in the storage unit 311.
  • the motion specifying unit 315 detects the position of the face shown in the image 331 from each image 331, extracts a rectangular face area including the face, and generates a face image which is an image of the face area. N face images are generated from N images 331. At this time, the motion specifying unit 315 detects the positions of the left and right eyes and the nose from each image 331, and creates a face image such that the positions of the left and right eyes are horizontal and the position of the nose is in the center of the face image. Generate.
  • FIG. 4 shows an example of a face image generated from the image 331.
  • the x-axis and the y-axis are set as coordinate axes
  • the x-axis represents the direction of the short side of the face image (horizontal direction)
  • the y-axis is the direction of the long side of the face image (the direction of the long side of the face image). (Vertical direction).
  • the direction of the short side is the left-right direction of the face
  • the direction of the long side is the vertical direction of the face.
  • the nose is located on the center line 401 passing through the midpoint of the short side, and the left and right eyes are lined up on a straight line parallel to the short side.
  • the face image is divided into a left side region 411 and a right side region 412 by the center line 401.
  • the operation specifying unit 315 obtains the change characteristics of the pixel values of a plurality of pixels arranged in the left-right direction in each of the N face images, and the time series of the change characteristics of the pixel values obtained from the N face images. Seeking change. Further, the motion specifying unit 315 obtains the aspect ratio of each of the N face images, and obtains the time-series change of the aspect ratio obtained from the N face images.
  • the motion specifying unit 315 identifies the motion of the subject by using the time-series change of the pixel value change characteristic and the time-series change of the aspect ratio, and generates the motion information 333 indicating the specified motion.
  • the motion information 333 indicates an action of turning the face to the front, an action of turning the face to the left, an action of turning the face to the right, an action of turning the face upward, an action of turning the face downward, and the like.
  • the determination unit 316 updates the correct answer counter 334 and the incorrect answer counter 335 using the operation information 333, and also uses the time-series change of the pixel value change characteristic and the time-series change of the aspect ratio to make the abnormality counter 336. To update.
  • the correct answer counter 334, the incorrect answer counter 335, and the abnormal answer counter 336 are used when the subject is instructed to change the direction of the face multiple times.
  • the correct answer counter 334 indicates the number of times that the operation indicated by the operation information 333 matches the operation instructed for the subject.
  • the incorrect answer counter 335 indicates the number of times that the operation indicated by the operation information 333 does not match the operation instructed for the subject.
  • the abnormality counter 336 indicates the number of times that inappropriate movement of the subject is detected. For example, an act of trying to reproduce an instructed motion by another person holding the photograph of the person and changing the direction of the photograph or deforming the photograph is detected as an inappropriate motion.
  • the determination unit 316 determines the authenticity of the subject by using the count values indicated by the correct answer counter 334, the incorrect answer counter 335, and the abnormality counter 336. In the authenticity determination, it is determined whether or not the subject is genuine, that is, whether the subject is genuine or fake.
  • the determination unit 316 determines that the subject is genuine when the count value of the correct answer counter 334 is larger than the predetermined value, and the subject is a fake when the count value of the incorrect answer counter 335 is larger than the predetermined value. Is determined. Then, the determination unit 316 stores the determination result 337 indicating whether the subject is genuine or fake in the storage unit 311.
  • the selection unit 317 selects the image to be processed from the N face images generated from each of the N images 331. For example, as the image to be processed, a face image determined that the face is facing the front is selected.
  • the feature extraction unit 318 extracts the feature information of the face shown in the image to be processed.
  • the facial feature information position information indicating the position of each part of the face can be used.
  • a face image in which the face is facing the front as a processing target image, feature information suitable for registration processing and authentication processing can be extracted.
  • the registration unit 319 stores the extracted feature information in the storage unit 311 as the registered biometric information 338 of the registration target person.
  • the authentication unit 320 authenticates the person to be authenticated by collating the extracted feature information with the registered biometric information 338.
  • the face image area can use an image of a partial face area as a face image instead of an image of the entire face.
  • the partial region of the face may be an region including a portion from the eyes to the chin.
  • the motion specifying unit 315 can apply a predetermined image correction process to the pixels of the face image, and can obtain the change characteristic of the pixel value by using the face image to which the image correction process is applied.
  • a filter process by a frequency filter, a luminance correction process by flattening a histogram, and the like are used. For example, by applying a blur filter (low-pass filter), the influence of minute parts such as moles can be reduced, and by applying a histogram flattening process, the influence of a light source can be reduced.
  • the left-right symmetry of the pixel value can be used as the change characteristic of the pixel value in the left-right direction of the face image.
  • the motion specifying unit 315 calculates the left-right symmetry Sym by, for example, the following equation.
  • W represents the width of the face image
  • H represents the height of the face image.
  • I (x, y) in the formula (1) represents the luminance value at the coordinates (x, y) of the face image
  • I (W-x + 1, y) bisects the face image into two equal parts. Represents the luminance value at a position symmetrical to the coordinates (x, y) with respect to the line.
  • the Diff in the equation (1) represents the sum of the information on the difference between the brightness values of the two pixels existing at symmetrical positions with respect to the bisector of the face image, added to the entire face image.
  • the Sym of the formula (2) becomes larger as the Diff is smaller, and becomes maximum when the face image is completely symmetrical.
  • the maximum value of Sym is 1 and the minimum value is 0.
  • the operation specifying unit 315 may calculate the Diff by using RGB, a color difference signal, or the like of each pixel instead of the luminance value of each pixel.
  • a person's face has greater left-right symmetry when facing the front, and less left-right symmetry when facing left or right. Symmetry is maintained when the face is facing up or down. Therefore, by instructing the subject to change the direction of the face in a predetermined order and calculating Sym from the face image while the subject is performing the instructed action, the time-series change of left-right symmetry is performed. Can be calculated.
  • FIG. 5 shows an example of a time-series change in left-right symmetry when the subject changes the direction of the face in the order of front, left, front, right, and front.
  • the horizontal axis represents the angle of the face in the left-right direction. 0 ° represents the front, a positive value represents the left orientation when viewed from the subject, and a negative value represents the right orientation when viewed from the subject.
  • the vertical axis represents the left-right symmetry Sym.
  • FIG. 5A shows an example of a time-series change in left-right symmetry when the subject is a real face.
  • the time-series change appears as a smooth curve, and the larger the angle toward the left or right, the smaller the left-right symmetry.
  • FIG. 5B shows an example of a time-series change in left-right symmetry when the subject is a photograph and another person attempts to reproduce the real facial movement by rotating the photograph left and right.
  • the generated face image is an affine transformation of the original photo, the left-right symmetry hardly changes.
  • FIG. 5C shows an example of a time-series change in left-right symmetry when the subject is a photograph and another person applies a shape change such as bending when the photograph is rotated.
  • the left-right symmetry is reduced by adding a shape change to the photograph.
  • the motion specifying unit 315 determines that the subject has performed an motion facing left or right. For example, the motion specifying unit 315 can detect the time-series change in FIG. 5A by performing frequency analysis on the time-series change of Sym.
  • the motion specifying unit 315 records the statistical value of the Sym at each angle when a plurality of unspecified persons perform the same motion, and the Sym and the statistical value calculated from the face image of the subject. By evaluating the error, the time-series change in FIG. 5A can also be detected.
  • the statistical value the average value, the median value, the mode value and the like are used.
  • the motion identification unit 315 uses, for example, the following method to make the face left or right. Identify if it is suitable. (A1) When the nose shown in the face image is to the left of the center position of the left and right pupils, the motion specifying unit 315 determines that the subject's face is facing right, and the nose is left and right pupils. If it is to the right of the center position of, it is determined that the subject's face is facing left.
  • the operation specifying unit 315 compares the average value LV of the brightness values in the left region of the face image with the average value RV of the brightness values in the right region of the face image. Then, the motion specifying unit 315 determines that the subject's face is facing right when the LV is larger than the RV, and determines that the subject's face is facing left when the RV is larger than the LV.
  • the motion specifying unit 315 obtains the change characteristics of the pixel values of a plurality of pixels arranged in directions other than the left and right, such as the vertical direction of each face image, and uses the time-series change of the change characteristics to obtain the change characteristic of the subject.
  • the behavior may be specified.
  • the aspect ratio of the face image represents the ratio H / W of the height H to the width W of the face image, and can be obtained by dividing the height H by the width W.
  • the width W of the face image is almost the same as the face image with the face facing the front, but the height H is smaller than the face image facing the front. Therefore, by instructing the subject to change the orientation of the face in a predetermined order and calculating the aspect ratio from the face image while the subject is performing the instructed action, the aspect ratio changes in time series. Can be sought.
  • FIG. 6 shows an example of a time-series change in the aspect ratio when the subject changes the direction of the face in the order of front, top, front, bottom, and front.
  • the horizontal axis represents the angle of the face in the vertical direction. 0 ° represents the front, positive values represent upwards, and negative values represent downwards.
  • the vertical axis represents the aspect ratio.
  • the motion specifying unit 315 can detect the time-series change as shown in FIG. 6 by performing frequency analysis for the time-series change of the aspect ratio. Further, the motion specifying unit 315 records the statistical value of the aspect ratio at each angle when a plurality of unspecified persons perform the same motion, and the aspect ratio and the statistical value calculated from the face image of the subject. By evaluating the error with, the time-series change in FIG. 6 can also be detected. In this way, by using the time-series change in the aspect ratio of the face image, it is possible to detect the state in which the subject is facing upward or downward.
  • the operation instructing unit 314 instructs the subject to face the front
  • the operation specifying unit 315 indicates that the left-right symmetry is within the predetermined range R1 and the aspect ratio is within the predetermined range R2.
  • the face is facing the front.
  • the left-right symmetry and the aspect ratio at that time are stored in the storage unit 311 as the reference left-right symmetry and the reference aspect ratio, respectively.
  • the motion specifying unit 315 has the left-right symmetry calculated from the face image of the person to be registered facing the front in the registration process, or the left-right symmetry calculated from the face images of a plurality of people facing the front in the registration process.
  • the predetermined range R1 is determined by setting the tolerance.
  • the motion specifying unit 315 refers to the aspect ratio calculated from the face image of the person to be registered facing the front in the registration process, or the aspect ratio calculated from the face images of a plurality of people facing the front in the registration process.
  • the predetermined range R2 is determined by setting the tolerance.
  • the operation instruction unit 314 instructs the subject to face left, right, up, or down.
  • the motion specifying unit 315 calculates the difference D1 between the left-right symmetry obtained from the face image and the reference left-right symmetry, and calculates the difference D2 between the aspect ratio obtained from the face image and the reference aspect ratio. Then, the motion specifying unit 315 identifies whether the face is facing left or right based on the time-series change of the difference D1, and the face is either up or down based on the time-series change of the difference D2. Identify if you are facing.
  • the left-right symmetry and aspect ratio when the face is facing the front are affected by individual differences in the position of the face part, the shooting environment, etc., but these effects are absorbed by using the difference D1 and the difference D2. , It becomes possible to accurately identify the orientation of the face.
  • the operation instruction unit 314 may record the number of instructions for instructing the subject to perform an operation, and determine the authenticity of the subject based on the ratio of the count values of the correct answer counter 334 and the incorrect answer counter 335 to the number of instructions. It is possible.
  • the ratio of the count value of the correct answer counter 334 to the indicated number of times represents the correct answer rate, and the ratio of the count value of the incorrect answer counter 335 to the indicated number of times represents the incorrect answer rate.
  • the determination unit 316 determines that the subject is genuine when the accuracy rate is larger than a predetermined value. On the other hand, when the correct answer rate is equal to or less than the predetermined value and the incorrect answer rate is larger than the predetermined value, the determination unit 316 determines that the subject is a fake.
  • the determination unit 316 can determine the sharpness of each of the N facial images, and can determine the authenticity of the subject based on the time-series change in the sharpness of those facial images.
  • the sharpness of an image represents the magnitude of blurring or blurring of an image, and can be calculated using, for example, DOG (Difference of Gaussian) or the like. The smaller the blur or blur, the greater the sharpness.
  • FIG. 5 (c) As shown in, sudden changes are likely to occur.
  • the determination unit 316 calculates the difference between the maximum value and the minimum value for each of the left-right symmetry, aspect ratio, and sharpness of the past M facial images, and any difference is larger than the predetermined value. If so, it is determined that an inappropriate movement has been performed. M may be an integer of 2 or more and N or less. Then, the determination unit 316 increments the abnormality counter 336, and when the count value of the abnormality counter 336 exceeds the threshold value, determines that the subject is a fake. In this way, inappropriate movement can be detected by utilizing the time-series changes in the left-right symmetry, aspect ratio, and sharpness of the facial image.
  • the subject may be stationary without following the instructions, or the subject may be fake and no change may appear. There is. In such a case, it is not preferable to determine that the subject is genuine.
  • the determination unit 316 calculates the difference between the maximum value and the minimum value for each of the left-right symmetry, aspect ratio, and sharpness of the past M facial images, and when all the differences are smaller than the predetermined values. , Increment the stationary state detection counter. Then, when the count value of the rest state detection counter exceeds the threshold value, the determination unit 316 determines that the subject is a fake.
  • the selection unit 317 selects a face image having a sharpness larger than a predetermined value from the face images determined that the face is facing the front as the processing target image. You may.
  • FIG. 7 is a flowchart showing a specific example of image processing performed by the image processing device 301 of FIG.
  • the operation instruction unit 314 instructs the subject to perform an operation such as changing the direction of the face (step 901)
  • the image acquisition unit 312 instructs the subject to perform an operation such as changing the direction of the face (step 901). (Step 902).
  • the motion specifying unit 315 generated a face image from each of the N images 331 (step 903), specified the motion of the subject using a part or all of the N face images, and specified the motion.
  • the operation information 333 indicating the operation is generated (step 904).
  • the determination unit 316 makes an authenticity determination using the operation information 333 (step 905).
  • the determination unit 316 When the subject is genuine, the determination unit 316 generates a determination result 337 indicating that the subject is genuine, and when the subject is fake, the determination unit 316 generates a determination result 337 indicating that the subject is fake. If it is unknown whether it is genuine or fake, the determination result 337 is not generated.
  • the selection unit 317 checks whether or not the determination result 337 indicates the real thing (step 906), and if the determination result 337 shows the real thing (step 906, YES), processes from N face images.
  • the target image is selected (step 907).
  • the feature extraction unit 318 extracts facial feature information from the selected image to be processed.
  • the registration unit 319 or the authentication unit 320 performs biometric information processing (step 908).
  • the biometric information processing is a registration process
  • the registration unit 319 registers the extracted feature information in the storage unit 311 as the registered biometric information 338 of the subject.
  • the biometric information processing is an authentication process
  • the authentication unit 320 authenticates the subject by collating the extracted feature information with the registered biometric information 338.
  • the operation instruction unit 314 checks whether the determination result 337 indicates a fake (step). 909). When the determination result 337 indicates a fake (step 909, YES), the operation instruction unit 314 performs error processing (step 910). In the error processing, the operation instruction unit 314 generates error information indicating that the subject is not genuine, and the display unit 313 displays the error information on the screen.
  • step 909, NO the image processing device 301 repeats the processes after step 901.
  • FIG. 8 is a flowchart showing an example of the operation specifying process in step 904 of FIG.
  • the motion specifying unit 315 selects one face image from the N face images and calculates the left-right symmetry of the selected face image (step 1001). Then, the motion specifying unit 315 determines the direction of the face from the time-series change of the left-right symmetry (step 1002), and checks whether or not the face is facing left or right (step 1003). When the face is facing left or right (step 1003, YES), the motion specifying unit 315 generates motion information 333 indicating the motion of turning the face to the left or right (step 1010).
  • the motion specifying unit 315 calculates the aspect ratio of the selected face image (step 1004). Then, the motion specifying unit 315 determines the direction of the face from the time-series change of the aspect ratio (step 1005), and checks whether or not the face is facing up or down (step 1006). When the face is facing up or down (steps 1006, YES), the motion specifying unit 315 generates motion information 333 indicating the motion of turning the face up or down (step 1010).
  • the motion specifying unit 315 determines the direction of the face from the time-series changes in the left-right symmetry and the aspect ratio (step 1007), and the face faces the front. Check whether or not (step 1008).
  • the motion specifying unit 315 generates motion information 333 indicating the motion of facing the front (step 1010).
  • the motion specifying unit 315 checks whether or not the selected face image is the last face image (step 1009). When an unselected face image remains (step 1009, NO), the motion specifying unit 315 repeats the processes from step 1001 onward for the next face image. Then, when the selected face image is the last face image (step 1009, YES), the motion specifying unit 315 ends the process.
  • FIG. 9 is a flowchart showing an example of the authenticity determination process in step 905 of FIG.
  • the determination unit 316 obtains the sharpness of each of the past M face images, and calculates the difference between the maximum value and the minimum value for each of the left-right symmetry, aspect ratio, and sharpness of those face images. .. Then, the determination unit 316 determines whether or not the subject has made an inappropriate movement based on the calculated difference (step 1101).
  • the determination unit 316 checks whether or not the movement of the subject indicated by the operation information 333 is as instructed by the operation instruction unit 314 (step). 1102). When the operation of the subject is as instructed (step 1102, YES), the determination unit 316 increments the correct answer counter 334 by 1 (step 1103). On the other hand, when the movement of the subject is not as instructed (step 1102, NO), the determination unit 316 increments the incorrect answer counter 335 by 1 (step 1104).
  • the determination unit 316 compares the count value of the correct answer counter 334 with the threshold value TH1 (step 1105). When the count value of the correct answer counter 334 is larger than TH1 (step 1105, YES), the determination unit 316 determines that the subject is genuine and generates a determination result 337 indicating that the subject is genuine (step 1107). ).
  • the determination unit 316 compares the count value of the incorrect answer counter 335 with the threshold value TH2 (step 1106). When the count value of the incorrect answer counter 335 is larger than TH2 (step 1106, YES), the determination unit 316 determines that the subject is a fake, and generates a determination result 337 indicating that the subject is a fake (step 1106, YES). 1108).
  • step 1106, NO the determination unit 316 ends the process.
  • the determination unit 316 increments the abnormality counter 336 by 1 (step 1109), and compares the count value of the abnormality counter 336 with the threshold value TH3 (step 1110). ). When the count value of the abnormality counter 336 is larger than TH3 (step 1110, YES), the determination unit 316 determines that the subject is a fake, and generates a determination result 337 indicating that the subject is a fake (step 1111). ).
  • the determination unit 316 ends the process.
  • the determination unit 316 is a subject that matches the instructed face orientation change from the image 331 taken within a predetermined time after the operation instruction unit 314 instructs the subject to change the face orientation. If the operation of is not specified, it is determined that the subject is a fake.
  • the configuration of the image processing device 101 of FIG. 1 and the image processing device 301 of FIG. 3 is only an example, and some components may be omitted or changed depending on the use or conditions of the image processing device.
  • the image processing device 301 of FIG. 3 when N images 331 of the time series are stored in the storage unit 311 in advance, the image acquisition unit 312, the display unit 313, and the operation instruction unit 314 are omitted. be able to.
  • the selection unit 317, the feature extraction unit 318, the registration unit 319, and the authentication unit 320 can be omitted.
  • the image processing device 301 may perform another information processing using the face image instead of performing the biometric information processing using the face image.
  • FIGS. 2 and 7 to 9 are merely examples, and some processing may be omitted or changed depending on the configuration or conditions of the image processing device.
  • the processing of steps 901 and 902 can be omitted.
  • steps 907 and 908 can be omitted.
  • the image processing device 301 may perform another information processing instead of the biometric information processing.
  • step 1101 and steps 1109 to 1111 can be omitted.
  • step 1104, step 1106, and step 1108 can be omitted.
  • Equations (1) and (2) are merely examples, and the left-right symmetry of the face image may be calculated using another calculation equation.
  • FIG. 10 shows a configuration example of an information processing device (computer) used as the image processing device 101 of FIG. 1 and the image processing device 301 of FIG.
  • the information processing device of FIG. 10 includes a CPU (Central Processing Unit) 1201, a memory 1202, an input device 1203, an output device 1204, an auxiliary storage device 1205, a medium drive device 1206, and a network connection device 1207. These components are connected to each other by bus 1208.
  • the imaging device 302 of FIG. 3 may be connected to bus 1208.
  • the memory 1202 is, for example, a semiconductor memory such as a ROM (ReadOnlyMemory), a RAM (RandomAccessMemory), or a flash memory, and stores a program and data used for processing.
  • the memory 1202 can be used as the storage unit 111 of FIG. 1 or the storage unit 311 of FIG.
  • the CPU 1201 (processor) operates as the operation specifying unit 112 and the determination unit 113 in FIG. 1 by executing a program using, for example, the memory 1202.
  • the CPU 1201 executes an image acquisition unit 312, an operation instruction unit 314, an operation identification unit 315, a determination unit 316, a selection unit 317, a feature extraction unit 318, and a registration unit 319 in FIG. , And also operates as the authentication unit 320.
  • the input device 1203 is, for example, a keyboard, a pointing device, or the like, and is used for inputting instructions or information from an operator or a user.
  • the output device 1204 is, for example, a display device, a printer, a speaker, or the like, and is used for inquiring or instructing an operator or a user and outputting a processing result.
  • the instruction to the operator or the user may be an operation instruction to the subject, and the processing result may be the determination result 337.
  • the output device 1204 can be used as the display unit 313 of FIG.
  • the auxiliary storage device 1205 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, a tape device, or the like.
  • the auxiliary storage device 1205 may be a hard disk drive or a flash memory.
  • the information processing device can store programs and data in the auxiliary storage device 1205 and load them into the memory 1202 for use.
  • the auxiliary storage device 1205 can be used as the storage unit 111 of FIG. 1 or the storage unit 311 of FIG.
  • the medium drive device 1206 drives the portable recording medium 1209 and accesses the recorded contents.
  • the portable recording medium 1209 is a memory device, a flexible disk, an optical disk, a magneto-optical disk, or the like.
  • the portable recording medium 1209 may be a CD-ROM (CompactDiskReadOnlyMemory), a DVD (DigitalVersatileDisk), a USB (UniversalSerialBus) memory, or the like.
  • the operator or the user can store the programs and data in the portable recording medium 1209 and load them into the memory 1202 for use.
  • the computer-readable recording medium that stores the programs and data used for processing is physical (non-temporary) recording such as memory 1202, auxiliary storage device 1205, or portable recording medium 1209. It is a medium.
  • the network connection device 1207 is a communication interface circuit that is connected to a communication network such as LAN (Local Area Network) or WAN (Wide Area Network) and performs data conversion associated with communication.
  • the information processing device can receive programs and data from an external device via the network connection device 1207, load them into the memory 1202, and use them.
  • the information processing device does not have to include all the components of FIG. 10, and some components may be omitted depending on the application or conditions. For example, if an interface with an operator or a user is not required, the input device 1203 and the output device 1204 may be omitted. When the portable recording medium 1209 or the communication network is not used, the medium driving device 1206 or the network connecting device 1207 may be omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

記憶部は、被写体に対して顔の向きの変更が指示された際に被写体を撮影した、時系列の複数の画像を記憶する。動作特定部は、複数の画像それぞれから顔領域を抽出し、顔領域において所定方向に並んでいる複数の画素の画素値の変化特性を求め、複数の画像それぞれから求められた変化特性の時系列変化に基づいて、被写体の動作を特定する。判定部は、被写体の動作に基づいて、被写体の真正性を判定する。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　生体認証技術は、認証対象者の生体情報を利用して、本人認証を行う技術である。生体認証技術には、顔認証技術、指紋認証技術、静脈認証技術、声紋認証技術等が含まれる。
　顔認証技術では、本人認証を行う際に、認証対象者の顔画像から得られる生体情報が用いられる。この場合、他人が本人の写真を用いて本人認証を受けることで、本人になりすますことが可能なため、他の生体認証技術よりも容易になりすまし攻撃を行うことができる。なりすまし攻撃を防ぐためには、認証対象者から取得された顔画像が本物の顔であるか否かを判定する真贋判定を行うことが望ましい。
　顔画像の真贋判定に関して、顔画像から顔の部位の位置を示す顔特徴点を検出し、認証対象者が所定の動作を行ったときの顔特徴点の動きを利用して、真贋判定を行う技術が知られている（例えば、特許文献１及び特許文献２を参照）。
特開２００８－７１１７９号公報 特開２００３－９９７６３号公報
　従来の顔特徴点に基づく真贋判定では、写真を用いたなりすまし攻撃を完全に防ぐことは困難であり、正しい判定結果が得られないことがある。
　なお、かかる問題は、顔画像を用いた本人認証に限らず、顔画像を用いた様々な情報処理において生ずるものである。
　１つの側面において、本発明は、被写体を撮影した画像を用いて被写体の真正性を判定することを目的とする。
　１つの案では、画像処理装置は、記憶部、動作特定部、及び判定部を含む。記憶部は、被写体に対して顔の向きの変更が指示された際に被写体を撮影した、時系列の複数の画像を記憶する。
　動作特定部は、複数の画像それぞれから顔領域を抽出し、顔領域において所定方向に並んでいる複数の画素の画素値の変化特性を求め、複数の画像それぞれから求められた変化特性の時系列変化に基づいて、被写体の動作を特定する。判定部は、被写体の動作に基づいて、被写体の真正性を判定する。
　１つの側面によれば、被写体を撮影した画像を用いて被写体の真正性を判定することができる。
画像処理装置の機能的構成図である。 画像処理のフローチャートである。 画像処理装置の具体例を示す機能的構成図である。 顔画像を示す図である。 左右対称性の時系列変化を示す図である。 アスペクト比の時系列変化を示す図である。 画像処理の具体例を示すフローチャートである。 動作特定処理のフローチャートである。 真贋判定処理のフローチャートである。 情報処理装置の構成図である。
　以下、図面を参照しながら、実施形態を詳細に説明する。
　特許文献１の技術では、顔特徴点として目、口、及び鼻の位置が用いられ、顔画像の登録時に、登録対象者に所定の顔の動作を行わせ、そのときの目、口、及び鼻の動きが登録される。そして、認証時に、認証対象者に同じ動作を行わせ、そのときの目、口、及び鼻の動きから、顔画像が本物の顔であるか否かが判定される。
　特許文献２の技術では、顔特徴点として目及び鼻孔の位置が用いられ、認証対象者に任意又は所定の方向を向く動作を行わせ、動作中の目及び鼻孔の動きから、顔画像が本物の顔であるか否かが判定される。
　しかしながら、顔特徴点に基づく真贋判定では、写真を用いたなりすまし攻撃を完全に防ぐことは困難であり、正しい判定結果が得られないことがある。例えば、他人が写真をかざした場合でも、その写真を撮影した画像から顔特徴点を検出することは可能であり、写真に対して平行移動、回転移動、折り曲げ等の変化を加えることで、顔特徴点の動きを再現することができる。
　また、顔特徴点は常に正しく検出可能であるとは限らない。例えば、顔が大きく左又は右を向いた場合の片方の目、顔が大きく下を向いた場合の鼻孔等を、正確に検出することは困難である。このため、本人が指示通りの動作を行ったとしても、その動作が正しく判定されないことがある。
　図１は、実施形態の画像処理装置の機能的構成例を示している。図１の画像処理装置１０１は、記憶部１１１、動作特定部１１２、及び判定部１１３を含む。記憶部１１１は、被写体に対して顔の向きの変更が指示された際に被写体を撮影した、時系列の複数の画像を記憶する。動作特定部１１２及び判定部１１３は、記憶部１１１が記憶する画像を用いて、画像処理を行う。
　図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。まず、動作特定部１１２は、複数の画像それぞれから顔領域を抽出する（ステップ２０１）。
　次に、動作特定部１１２は、顔領域において所定方向に並んでいる複数の画素の画素値の変化特性を求め（ステップ２０２）、複数の画像それぞれから求められた変化特性の時系列変化に基づいて、被写体の動作を特定する（ステップ２０３）。
　そして、判定部１１３は、被写体の動作に基づいて、被写体の真正性を判定する（ステップ２０４）。
　図１の画像処理装置１０１によれば、被写体を撮影した画像を用いて被写体の真正性を判定することができる。
　図３は、図１の画像処理装置１０１の具体例を示す機能的構成例を示している。図３の画像処理装置３０１は、記憶部３１１、画像取得部３１２、表示部３１３、動作指示部３１４、動作特定部３１５、判定部３１６、選択部３１７、特徴抽出部３１８、登録部３１９、及び認証部３２０を含む。記憶部３１１、動作特定部３１５、及び判定部３１６は、図１の記憶部１１１、動作特定部１１２、及び判定部１１３にそれぞれ対応する。
　撮像装置３０２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、被写体の映像を撮影する。撮像装置３０２によって撮影された映像には、時系列の複数の画像が含まれている。各時刻の画像は、フレームと呼ばれることもある。
　画像処理装置３０１は、例えば、生体認証装置であり、登録対象者又は認証対象者の画像に基づく生体情報処理を行う。生体情報処理が、登録対象者の生体情報を登録する登録処理である場合、被写体は登録対象者であり、生体情報処理が、認証対象者を認証する認証処理である場合、被写体は認証対象者である。一方、他人が本人の写真を用いてなりすまし攻撃を行う場合、被写体は本人の写真である。
　動作指示部３１４は、登録処理又は認証処理において、被写体に対して、顔の向きの変更等の特定の動作を行うように指示する。顔の向きの変更には、撮像装置３０２に向かって正面に顔を向ける動作、左又は右に顔を向ける動作、上又は下に顔を向ける動作等が含まれる。動作指示部３１４は、テキストメッセージ、イラスト、音声メッセージ等を用いて、被写体に対して特定の動作を行うように指示することができる。
　表示部３１３は、動作指示部３１４から出力されるテキストメッセージ又はイラストを画面上に表示することで、被写体に対して指示を通知する。
　撮像装置３０２は、被写体が指示された動作を行っている間に被写体の顔を撮影し、撮影した映像を画像処理装置３０１へ出力する。画像取得部３１２は、撮像装置３０２が出力する映像から、時系列のＮ枚（Ｎは２以上の整数）の画像３３１を取得して、記憶部３１１に格納する。
　動作特定部３１５は、各画像３３１から、画像３３１に写っている顔の位置を検出し、顔が含まれる矩形の顔領域を抽出して、顔領域の画像である顔画像を生成する。Ｎ枚の画像３３１からＮ枚の顔画像が生成される。このとき、動作特定部３１５は、各画像３３１から左右の目と鼻の位置を検出し、左右の目の位置が水平になり、鼻の位置が顔画像の中央になるような、顔画像を生成する。
　図４は、画像３３１から生成された顔画像の例を示している。図４の顔画像にはｘ軸及びｙ軸が座標軸として設定されており、ｘ軸は、顔画像の短辺の方向（水平方向）を表し、ｙ軸は、顔画像の長辺の方向（垂直方向）を表す。短辺の方向は顔の左右の方向であり、長辺の方向は顔の上下の方向である。
　鼻は、短辺の中点を通る中心線４０１上に位置し、左右の目は、短辺と平行な直線上に並んでいる。顔画像は、中心線４０１によって、左側領域４１１と右側領域４１２とに分割される。
　動作特定部３１５は、Ｎ枚の顔画像各々において、左右の方向に並んでいる複数の画素の画素値の変化特性を求め、Ｎ枚の顔画像から求められた画素値の変化特性の時系列変化を求める。また、動作特定部３１５は、Ｎ枚の顔画像各々のアスペクト比を求め、Ｎ枚の顔画像から求められたアスペクト比の時系列変化を求める。
　そして、動作特定部３１５は、画素値の変化特性の時系列変化と、アスペクト比の時系列変化とを用いて、被写体の動作を特定し、特定された動作を示す動作情報３３３を生成して、記憶部３１１に格納する。例えば、動作情報３３３は、正面に顔を向ける動作、左に顔を向ける動作、右に顔を向ける動作、上に顔を向ける動作、下に顔を向ける動作等を示す。
　判定部３１６は、動作情報３３３を用いて、正解カウンタ３３４及び不正解カウンタ３３５を更新するとともに、画素値の変化特性の時系列変化と、アスペクト比の時系列変化とを用いて、異常カウンタ３３６を更新する。
　正解カウンタ３３４、不正解カウンタ３３５、及び異常カウンタ３３６は、被写体に対して顔の向きの変更が複数回指示された場合に用いられる。正解カウンタ３３４は、動作情報３３３が示す動作が被写体に対して指示された動作と一致した回数を示す。不正解カウンタ３３５は、動作情報３３３が示す動作が被写体に対して指示された動作と一致しない回数を示す。
　また、異常カウンタ３３６は、被写体の不適切な動きが検出された回数を示す。例えば、他人が本人の写真をかざし、写真の向きを変えたり、写真を変形させたりすることで、指示された動作の再現を試みる行為が、不適切な動きとして検出される。
　判定部３１６は、正解カウンタ３３４、不正解カウンタ３３５、及び異常カウンタ３３６が示すカウント値を用いて、被写体の真贋判定を行う。真贋判定では、被写体が真正であるか否か、すなわち、被写体が本物又は偽物のいずれであるかが判定される。
　例えば、判定部３１６は、正解カウンタ３３４のカウント値が所定値よりも大きい場合、被写体は本物であると判定し、不正解カウンタ３３５のカウント値が所定値よりも大きい場合、被写体は偽物であると判定する。そして、判定部３１６は、被写体が本物又は偽物のいずれであるかを示す判定結果３３７を、記憶部３１１に格納する。
　被写体に対して顔の向きの変更を複数回指示し、被写体が指示された動作を行った回数をカウントすることで、１回の動作に基づいて真贋判定を行う場合よりも、判定精度が向上する。
　選択部３１７は、判定結果３３７が本物を示している場合、Ｎ枚の画像３３１からそれぞれ生成されたＮ枚の顔画像の中から、処理対象画像を選択する。例えば、処理対象画像としては、顔が正面を向いていると判定された顔画像が選択される。
　特徴抽出部３１８は、処理対象画像に写っている顔の特徴情報を抽出する。例えば、顔の特徴情報としては、顔の各部位の位置を示す位置情報を用いることができる。顔が正面を向いている顔画像を処理対象画像として用いることで、登録処理及び認証処理に適した特徴情報を抽出することができる。
　登録処理において、登録部３１９は、抽出された特徴情報を、登録対象者の登録生体情報３３８として記憶部３１１に格納する。認証処理において、認証部３２０は、抽出された特徴情報を登録生体情報３３８と照合することで、認証対象者に対する認証を行う。
　顔画像における画素値の変化特性の時系列変化、及び顔画像のアスペクト比の時系列変化は、写真等を用いても再現することは難しい。したがって、このような情報を用いて真贋判定を行うことで、本物の顔と偽物とを精度良く識別することができ、なりすまし攻撃に対して頑健で安全な顔認証が実現される。
　動作特定部３１５は、顔画像領域は、顔全体の画像の代わりに、顔の部分領域の画像を、顔画像として用いることもできる。顔の部分領域は、目から顎にかけての部分を含む領域であってもよい。顔の部分領域を用いることで、髪の毛等のように、人物又は撮影日時によって大きく変化する部位の影響を低減することができる。
　また、動作特定部３１５は、顔画像の画素に対して所定の画像補正処理を適用し、画像補正処理が適用された顔画像を用いて、画素値の変化特性を求めることもできる。画像補正処理としては、周波数フィルタによるフィルタ処理、ヒストグラム平坦化による輝度補正処理等が用いられる。例えば、ブラーフィルタ（ローパスフィルタ）を適用することで、ホクロ等の微小な部位の影響を低減することができ、ヒストグラム平坦化処理を適用することで、光源の影響を低減することができる。
　顔画像の左右の方向における画素値の変化特性としては、画素値の左右対称性を用いることができる。動作特定部３１５は、例えば、次式により、左右対称性Ｓｙｍを計算する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　Ｗは、顔画像の幅を表し、Ｈは、顔画像の高さを表す。式（１）のＩ（ｘ，ｙ）は、顔画像の座標（ｘ，ｙ）における輝度値を表し、Ｉ（Ｗ－ｘ＋１，ｙ）は、顔画像を左右に２等分する２等分線に関して、座標（ｘ，ｙ）と対称な位置における輝度値を表す。
　ｗｅｉｇｈｔ（ｘ）は、座標ｘに依存する重み係数である。顔画像の中央（ｘ＝Ｗ／２）から離れるほど、輝度値は髪の毛等の左右対称性が高い部位の影響を受けやすいため、ｗｅｉｇｈｔ（ｘ）は、ｘ座標が中央に近いほど大きな値に設定される。
　この場合、式（１）のＤｉｆｆは、顔画像の２等分線に関して対称な位置に存在する２つの画素の輝度値の差分に関する情報を、顔画像全体について加算した総和を表す。式（２）のＳｙｍは、Ｄｉｆｆが小さいほど大きくなり、顔画像が完全に左右対称である場合に最大となる。Ｓｙｍの最大値は１であり、最小値は０である。動作特定部３１５は、各画素の輝度値の代わりに、各画素のＲＧＢ、色差信号等を用いて、Ｄｉｆｆを計算してもよい。
　人物の顔は、正面を向いた場合に左右対称性が大きくなり、左又は右を向いた場合に左右対称性が小さくなる。顔が上又は下を向いた場合は、左右対称性が保たれる。したがって、被写体に対して所定の順序で顔の向きを変更する動作を指示し、被写体が指示された動作を行っている間に顔画像からＳｙｍを計算することで、左右対称性の時系列変化を求めることができる。
　図５は、被写体が正面、左、正面、右、及び正面の順序で顔の向きを変更した場合の左右対称性の時系列変化の例を示している。横軸は、左右の方向における顔の角度を表す。０°は正面を表し、正の値は被写体から見て左の向きを表し、負の値は被写体から見て右の向きを表す。縦軸は、左右対称性Ｓｙｍを表す。
　図５（ａ）は、被写体が本物の顔である場合の左右対称性の時系列変化の例を示している。この場合、時系列変化は滑らかな曲線となって現れ、左又は右を向く角度が大きくなるほど、左右対称性が小さくなる。
　図５（ｂ）は、被写体が写真であり、他人が写真を左右に回転させて本物の顔の動きを再現しようと試みた場合の左右対称性の時系列変化の例を示している。この場合、生成される顔画像は元の写真をアフィン変換したものになるため、左右対称性はほとんど変化しない。
　図５（ｃ）は、被写体が写真であり、他人が写真を回転させる際に折り曲げる等の形状的変化を加えた場合の左右対称性の時系列変化の例を示している。この場合、写真に形状的変化を加えることで、左右対称性が小さくなっている。しかし、２次元画像である写真の形状的変化では、左右対称性の急激な変化が発生するため、図５（ａ）のような滑らかな曲線を再現することは困難である。
　そこで、動作特定部３１５は、図５（ａ）のような時系列変化が検出された場合に、被写体が左又は右を向く動作を行ったものと判定する。例えば、動作特定部３１５は、Ｓｙｍの時系列変化に対する周波数解析を行うことで、図５（ａ）の時系列変化を検出することができる。
　また、動作特定部３１５は、不特定の複数の人物に同じ動作を行わせたときの各角度におけるＳｙｍの統計値を記録しておき、被写体の顔画像から計算されたＳｙｍと統計値との誤差を評価することで、図５（ａ）の時系列変化を検出することもできる。統計値としては、平均値、中央値、最頻値等が用いられる。
　このように、画素値の左右対称性の時系列変化を利用することで、被写体が左又は右を向いている状態を検出することができる。左右対称性が減少したことによって、被写体が左又は右を向いている状態が検出された場合、動作特定部３１５は、例えば、以下のような方法を用いて、顔が左又は右のいずれを向いているかを特定する。
（Ａ１）動作特定部３１５は、顔画像に写っている鼻が、左右の瞳の中央の位置よりも左にある場合、被写体の顔が右を向いていると判定し、鼻が左右の瞳の中央の位置よりも右にある場合、被写体の顔が左を向いていると判定する。
（Ａ２）動作特定部３１５は、顔画像の左側領域の輝度値の平均値ＬＶと、顔画像の右側領域の輝度値の平均値ＲＶとを比較する。そして、動作特定部３１５は、ＬＶがＲＶよりも大きい場合、被写体の顔が右を向いていると判定し、ＲＶがＬＶよりも大きい場合、被写体の顔が左を向いていると判定する。
　動作特定部３１５は、各顔画像の上下の方向のように、左右以外の方向に並んでいる複数の画素の画素値の変化特性を求め、その変化特性の時系列変化を用いて、被写体の動作を特定してもよい。
　顔画像のアスペクト比は、顔画像の幅Ｗに対する高さＨの比率Ｈ／Ｗを表し、高さＨを幅Ｗで除算することで求めることができる。顔が上又は下を向いている場合、顔画像の幅Ｗは、顔が正面を向いている顔画像とほとんど変わらないが、高さＨは、正面を向いている顔画像よりも小さくなる。したがって、被写体に対して所定の順序で顔の向きを変更する動作を指示し、被写体が指示された動作を行っている間に顔画像からアスペクト比を計算することで、アスペクト比の時系列変化を求めることができる。
　図６は、被写体が正面、上、正面、下、及び正面の順序で顔の向きを変更した場合のアスペクト比の時系列変化の例を示している。横軸は、上下の方向における顔の角度を表す。０°は正面を表し、正の値は上向きを表し、負の値は下向きを表す。縦軸は、アスペクト比を表す。
　例えば、動作特定部３１５は、アスペクト比の時系列変化に対する周波数解析を行うことで、図６のような時系列変化を検出することができる。また、動作特定部３１５は、不特定の複数の人物に同じ動作を行わせたときの各角度におけるアスペクト比の統計値を記録しておき、被写体の顔画像から計算されたアスペクト比と統計値との誤差を評価することで、図６の時系列変化を検出することもできる。このように、顔画像のアスペクト比の時系列変化を利用することで、被写体が上又は下を向いている状態を検出することができる。
　顔が正面を向いているときの左右対称性及びアスペクト比を基準値として用いて、各時刻における左右対称性及びアスペクト比を評価することも可能である。この場合、動作指示部３１４は、被写体に対して正面を向くように指示し、動作特定部３１５は、左右対称性が所定範囲Ｒ１内であり、かつ、アスペクト比が所定範囲Ｒ２内である場合に、顔が正面を向いていると判定する。そして、そのときの左右対称性及びアスペクト比を、それぞれ、基準左右対称性及び基準アスペクト比として記憶部３１１に格納する。
　例えば、動作特定部３１５は、登録処理において登録対象者が正面を向いている顔画像から計算された左右対称性、又は正面を向いている複数の人物の顔画像から計算された左右対称性に対して、許容誤差を設定することで、所定範囲Ｒ１を決定する。また、動作特定部３１５は、登録処理において登録対象者が正面を向いている顔画像から計算されたアスペクト比、又は正面を向いている複数の人物の顔画像から計算されたアスペクト比に対して、許容誤差を設定することで、所定範囲Ｒ２を決定する。
　次に、動作指示部３１４は、被写体に対して左、右、上、又は下を向くように指示する。動作特定部３１５は、顔画像から求められた左右対称性と基準左右対称性との差分Ｄ１を計算し、顔画像から求められたアスペクト比と基準アスペクト比との差分Ｄ２を計算する。そして、動作特定部３１５は、差分Ｄ１の時系列変化に基づいて、顔が左又は右のいずれを向いているかを特定し、差分Ｄ２の時系列変化に基づいて、顔が上又は下のいずれを向いているかを特定する。
　顔が正面を向いているときの左右対称性及びアスペクト比は、顔の部位の位置の個人差、撮影環境等の影響を受けるが、差分Ｄ１及び差分Ｄ２を用いることでそれらの影響が吸収され、顔の向きを精度良く特定することが可能になる。
　動作指示部３１４が被写体に対して動作を指示した指示回数を記録しておき、指示回数に対する、正解カウンタ３３４及び不正解カウンタ３３５のカウント値の割合に基づいて、被写体の真贋判定を行うことも可能である。指示回数に対する正解カウンタ３３４のカウント値の割合は、正解率を表し、指示回数に対する不正解カウンタ３３５のカウント値の割合は、不正解率を表す。
　例えば、判定部３１６は、正解率が所定値よりも大きい場合、被写体は本物であると判定する。一方、正解率が所定値以下であり、かつ、不正解率が所定値よりも大きい場合、判定部３１６は、被写体は偽物であると判定する。
　判定部３１６は、Ｎ枚の顔画像それぞれの鮮明性を求め、それらの顔画像の鮮明性の時系列変化に基づいて、被写体の真贋判定を行うこともできる。画像の鮮明性は、画像のボケ又はブレの大きさを表し、例えば、ＤＯＧ（Difference of Gaussian）等を用いて計算することができる。ボケ又はブレが小さいほど、鮮明性は大きくなる。
　被写体が本物である場合、顔画像の左右対称性、アスペクト比、及び鮮明性は、時系列に滑らかに変化するが、偽物の被写体による不適切な動きが行われた場合、図５（ｃ）に示したように、急激な変化が生じやすくなる。
　そこで、判定部３１６は、過去のＭ枚の顔画像の左右対称性、アスペクト比、及び鮮明性それぞれについて、最大値と最小値との差分を計算し、いずれかの差分が所定値よりも大きい場合、不適切な動きが行われたものと判定する。Ｍは、２以上Ｎ以下の整数であってもよい。そして、判定部３１６は、異常カウンタ３３６をインクリメントし、異常カウンタ３３６のカウント値が閾値を超えた場合、被写体は偽物であると判定する。このように、顔画像の左右対称性、アスペクト比、及び鮮明性の時系列変化を利用することで、不適切な動きを検出することができる。
　一方、左右対称性、アスペクト比、及び鮮明性の時系列変化がほとんど見られない場合、被写体が指示に従わずに静止しているか、又は、被写体が偽物であるために変化が現れない可能性がある。このような場合、被写体が本物であると判定することは好ましくない。
　そこで、判定部３１６は、過去のＭ枚の顔画像の左右対称性、アスペクト比、及び鮮明性それぞれについて、最大値と最小値との差分を計算し、すべての差分が所定値よりも小さい場合、静止状態検出カウンタをインクリメントする。そして、判定部３１６は、静止状態検出カウンタのカウント値が閾値を超えた場合、被写体は偽物であると判定する。
　選択部３１７は、判定結果３３７が本物を示している場合、顔が正面を向いていると判定された顔画像のうち、所定値よりも大きな鮮明性を有する顔画像を、処理対象画像として選択してもよい。
　図７は、図３の画像処理装置３０１が行う画像処理の具体例を示すフローチャートである。まず、動作指示部３１４は、被写体に対して顔の向きの変更等の動作を指示し（ステップ９０１）、画像取得部３１２は、撮像装置３０２が出力する映像から時系列のＮ枚の画像３３１を取得する（ステップ９０２）。
　次に、動作特定部３１５は、Ｎ枚の画像３３１各々から顔画像を生成し（ステップ９０３）、Ｎ枚の顔画像の一部又は全部を用いて被写体の動作を特定して、特定された動作を示す動作情報３３３を生成する（ステップ９０４）。
　次に、判定部３１６は、動作情報３３３を用いて真贋判定を行う（ステップ９０５）。判定部３１６は、被写体が本物である場合、被写体が本物であることを示す判定結果３３７を生成し、被写体が偽物である場合、被写体が偽物であることを示す判定結果３３７を生成する。本物又は偽物のいずれであるかが不明な場合、判定結果３３７は生成されない。
　選択部３１７は、判定結果３３７が本物を示しているか否かをチェックし（ステップ９０６）、判定結果３３７が本物を示している場合（ステップ９０６，ＹＥＳ）、Ｎ枚の顔画像の中から処理対象画像を選択する（ステップ９０７）。そして、特徴抽出部３１８は、選択された処理対象画像から顔の特徴情報を抽出する。
　次に、登録部３１９又は認証部３２０は、生体情報処理を行う（ステップ９０８）。生体情報処理が登録処理である場合、登録部３１９は、抽出された特徴情報を、被写体の登録生体情報３３８として記憶部３１１に登録する。生体情報処理が認証処理である場合、認証部３２０は、抽出された特徴情報を登録生体情報３３８と照合することで、被写体に対する認証を行う。
　判定結果３３７が生成されていないか、又は判定結果３３７が本物を示していない場合（ステップ９０６，ＮＯ）、動作指示部３１４は、判定結果３３７が偽物を示しているか否かをチェックする（ステップ９０９）。判定結果３３７が偽物を示している場合（ステップ９０９，ＹＥＳ）、動作指示部３１４は、エラー処理を行う（ステップ９１０）。エラー処理において、動作指示部３１４は、被写体が真正ではないこと示すエラー情報を生成し、表示部３１３は、そのエラー情報を画面上に表示する。
　判定結果３３７が生成されていない場合（ステップ９０９，ＮＯ）、画像処理装置３０１は、ステップ９０１以降の処理を繰り返す。
　図８は、図７のステップ９０４における動作特定処理の例を示すフローチャートである。まず、動作特定部３１５は、Ｎ枚の顔画像の中から１枚の顔画像を選択して、選択された顔画像の左右対称性を計算する（ステップ１００１）。そして、動作特定部３１５は、左右対称性の時系列変化から顔の向きを判定し（ステップ１００２）、顔が左又は右を向いているか否かをチェックする（ステップ１００３）。顔が左又は右を向いている場合（ステップ１００３，ＹＥＳ）、動作特定部３１５は、左又は右に顔を向ける動作を示す動作情報３３３を生成する（ステップ１０１０）。
　顔が左又は右を向いていない場合（ステップ１００３，ＮＯ）、動作特定部３１５は、選択された顔画像のアスペクト比を計算する（ステップ１００４）。そして、動作特定部３１５は、アスペクト比の時系列変化から顔の向きを判定し（ステップ１００５）、顔が上又は下を向いているか否かをチェックする（ステップ１００６）。顔が上又は下を向いている場合（ステップ１００６，ＹＥＳ）、動作特定部３１５は、上又は下に顔を向ける動作を示す動作情報３３３を生成する（ステップ１０１０）。
　顔が上又は下を向いていない場合（ステップ１００６，ＮＯ）、動作特定部３１５は、左右対称性及びアスペクト比の時系列変化から顔の向きを判定し（ステップ１００７）、顔が正面を向いているか否かをチェックする（ステップ１００８）。顔が正面を向いている場合（ステップ１００８，ＹＥＳ）、動作特定部３１５は、正面に顔を向ける動作を示す動作情報３３３を生成する（ステップ１０１０）。
　顔が正面を向いていない場合（ステップ１００８，ＮＯ）、動作特定部３１５は、選択された顔画像が最後の顔画像であるか否かをチェックする（ステップ１００９）。未選択の顔画像が残っている場合（ステップ１００９，ＮＯ）、動作特定部３１５は、次の顔画像について、ステップ１００１以降の処理を繰り返す。そして、選択された顔画像が最後の顔画像である場合（ステップ１００９，ＹＥＳ）、動作特定部３１５は、処理を終了する。
　図９は、図７のステップ９０５における真贋判定処理の例を示すフローチャートである。まず、判定部３１６は、過去のＭ枚の顔画像それぞれの鮮明性を求め、それらの顔画像の左右対称性、アスペクト比、及び鮮明性それぞれについて、最大値と最小値との差分を計算する。そして、判定部３１６は、計算された差分に基づいて、被写体が不適切な動きを行ったか否かを判定する（ステップ１１０１）。
　被写体が不適切な動きを行っていない場合（ステップ１１０１，ＮＯ）、判定部３１６は、動作情報３３３が示す被写体の動作が、動作指示部３１４の指示通りであるか否かをチェックする（ステップ１１０２）。被写体の動作が指示通りである場合（ステップ１１０２，ＹＥＳ）、判定部３１６は、正解カウンタ３３４を１だけインクリメントする（ステップ１１０３）。一方、被写体の動作が指示通りでない場合（ステップ１１０２，ＮＯ）、判定部３１６は、不正解カウンタ３３５を１だけインクリメントする（ステップ１１０４）。
　次に、判定部３１６は、正解カウンタ３３４のカウント値を閾値ＴＨ１と比較する（ステップ１１０５）。正解カウンタ３３４のカウント値がＴＨ１よりも大きい場合（ステップ１１０５，ＹＥＳ）、判定部３１６は、被写体が本物であると判定し、被写体が本物であることを示す判定結果３３７を生成する（ステップ１１０７）。
　一方、正解カウンタ３３４のカウント値がＴＨ１以下である場合（ステップ１１０５，ＮＯ）、判定部３１６は、不正解カウンタ３３５のカウント値を閾値ＴＨ２と比較する（ステップ１１０６）。不正解カウンタ３３５のカウント値がＴＨ２よりも大きい場合（ステップ１１０６，ＹＥＳ）、判定部３１６は、被写体が偽物であると判定し、被写体が偽物であることを示す判定結果３３７を生成する（ステップ１１０８）。
　一方、不正解カウンタ３３５のカウント値がＴＨ２以下である場合（ステップ１１０６，ＮＯ）、判定部３１６は、処理を終了する。
　被写体が不適切な動きを行った場合（ステップ１１０１，ＹＥＳ）、判定部３１６は、異常カウンタ３３６を１だけインクリメントし（ステップ１１０９）、異常カウンタ３３６のカウント値を閾値ＴＨ３と比較する（ステップ１１１０）。異常カウンタ３３６のカウント値がＴＨ３よりも大きい場合（ステップ１１１０，ＹＥＳ）、判定部３１６は、被写体が偽物であると判定し、被写体が偽物であることを示す判定結果３３７を生成する（ステップ１１１１）。
　一方、異常カウンタ３３６のカウント値がＴＨ３以下である場合（ステップ１１１０，ＮＯ）、判定部３１６は、処理を終了する。
　なお、真贋判定処理において、被写体の動作に対してタイムアウト時間を設けることも可能である。この場合、判定部３１６は、動作指示部３１４が被写体に対して顔の向きの変更を指示した後、所定時間内に撮影された画像３３１から、指示された顔の向きの変更と一致する被写体の動作が特定されない場合、被写体は偽物であると判定する。
　被写体の動作に対してタイムアウト時間を設けることで、被写体が指示に従わない場合にエラー処理を行って、登録生体情報３３８の登録又は被写体に対する認証を拒絶することができる。
　図１の画像処理装置１０１及び図３の画像処理装置３０１の構成は一例に過ぎず、画像処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の画像処理装置３０１において、時系列のＮ枚の画像３３１が事前に記憶部３１１に格納されている場合は、画像取得部３１２、表示部３１３、及び動作指示部３１４を省略することができる。
　生体情報処理が外部の装置によって行われる場合は、選択部３１７、特徴抽出部３１８、登録部３１９、及び認証部３２０を省略することができる。画像処理装置３０１は、顔画像を用いて生体情報処理を行う代わりに、顔画像を用いて別の情報処理を行ってもよい。
　図２及び図７～図９のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図７の画像処理において、時系列のＮ枚の画像３３１が事前に記憶部３１１に格納されている場合は、ステップ９０１及びステップ９０２の処理を省略することができる。
　生体情報処理が外部の装置によって行われる場合は、ステップ９０７及びステップ９０８の処理を省略することができる。画像処理装置３０１は、ステップ９０８において、生体情報処理の代わりに別の情報処理を行ってもよい。
　図８の動作特定処理において、顔画像の左右対称性のみに基づいて被写体の動作を特定する場合は、ステップ１００４～ステップ１００６の処理を省略することができる。
　図９の真贋判定処理において、被写体の不適切な動きを真贋判定に用いない場合は、ステップ１１０１及びステップ１１０９～ステップ１１１１の処理を省略することができる。被写体が指示された動作を行わなかった回数を真贋判定に用いない場合は、ステップ１１０４、ステップ１１０６、及びステップ１１０８の処理を省略することができる。
　図４の顔画像、図５の左右対称性の時系列変化、及び図６のアスペクト比の時系列変化は一例に過ぎず、顔画像と左右対称性及びアスペクト比の時系列変化は、被写体に応じて変化する。式（１）及び式（２）は一例に過ぎず、別の計算式を用いて、顔画像の左右対称性を計算してもよい。
　図１０は、図１の画像処理装置１０１及び図３の画像処理装置３０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１０の情報処理装置は、ＣＰＵ（Central Processing Unit）１２０１、メモリ１２０２、入力装置１２０３、出力装置１２０４、補助記憶装置１２０５、媒体駆動装置１２０６、及びネットワーク接続装置１２０７を含む。これらの構成要素はバス１２０８により互いに接続されている。図３の撮像装置３０２は、バス１２０８に接続されていてもよい。
　メモリ１２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１２０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。
　ＣＰＵ１２０１（プロセッサ）は、例えば、メモリ１２０２を利用してプログラムを実行することにより、図１の動作特定部１１２及び判定部１１３として動作する。ＣＰＵ１２０１は、メモリ１２０２を利用してプログラムを実行することにより、図３の画像取得部３１２、動作指示部３１４、動作特定部３１５、判定部３１６、選択部３１７、特徴抽出部３１８、登録部３１９、及び認証部３２０としても動作する。
　入力装置１２０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１２０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。オペレータ又はユーザへの指示は、被写体に対する動作指示であってもよく、処理結果は、判定結果３３７であってもよい。出力装置１２０４は、図３の表示部３１３として用いることができる。
　補助記憶装置１２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１２０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１２０５にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。補助記憶装置１２０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。
　媒体駆動装置１２０６は、可搬型記録媒体１２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１２０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１２０９にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。
　このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１２０２、補助記憶装置１２０５、又は可搬型記録媒体１２０９のような、物理的な（非一時的な）記録媒体である。
　ネットワーク接続装置１２０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１２０７を介して受信し、それらをメモリ１２０２にロードして使用することができる。
　なお、情報処理装置が図１０のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１２０３及び出力装置１２０４を省略してもよい。可搬型記録媒体１２０９又は通信ネットワークを使用しない場合は、媒体駆動装置１２０６又はネットワーク接続装置１２０７を省略してもよい。
　開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

Claims (14)

  1. 　被写体に対して顔の向きの変更が指示された際に前記被写体を撮影した、時系列の複数の画像を記憶する記憶部と、
    　前記複数の画像それぞれから顔領域を抽出し、前記顔領域において所定方向に並んでいる複数の画素の画素値の変化特性を求め、前記複数の画像それぞれから求められた変化特性の時系列変化に基づいて、前記被写体の動作を特定する動作特定部と、
    　前記被写体の動作に基づいて、前記被写体の真正性を判定する判定部と、
    を備えることを特徴とする画像処理装置。
  2. 　前記被写体に対して指示された前記顔の向きの変更は、前記顔を左又は右に向ける動作を表し、
    　前記所定方向は前記顔の左右の方向であり、
    　前記所定方向に並んでいる複数の画素の画素値の変化特性は、前記複数の画素の画素値の左右対称性を表し、
    　前記被写体の動作は、前記被写体が前記顔を左又は右に向ける動作であることを特徴とする請求項１記載の画像処理装置。
  3. 　前記動作特定部は、前記顔領域の画素に対して画像補正処理を適用し、前記画像補正処理が適用された顔領域から、前記複数の画素の画素値の変化特性を求めることを特徴とする請求項１又は２記載の画像処理装置。
  4. 　前記動作特定部は、前記顔領域のアスペクト比をさらに求め、前記複数の画像それぞれから求められたアスペクト比の時系列変化に基づいて、前記被写体の動作を特定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  5. 　前記動作特定部は、前記顔領域のアスペクト比をさらに求め、前記左右対称性が所定範囲内であり、かつ、前記アスペクト比が所定範囲内である場合に、前記被写体を撮影した撮像装置に対して前記顔が正面を向いていると判定し、前記顔が正面を向いていると判定されたときの左右対称性及びアスペクト比を、基準左右対称性及び基準アスペクト比として前記記憶部にそれぞれ格納し、前記基準左右対称性及び前記基準アスペクト比が前記記憶部に格納された後に求められた左右対称性と、前記基準左右対称性との差分の時系列変化に基づいて、前記顔が左又は右のいずれを向いているかを特定することを特徴とする請求項２記載の画像処理装置。
  6. 　前記動作特定部は、前記基準左右対称性及び前記基準アスペクト比が前記記憶部に格納された後に求められたアスペクト比と、前記基準アスペクト比との差分の時系列変化に基づいて、前記顔が上又は下のいずれを向いているかを特定することを特徴とする請求項５記載の画像処理装置。
  7. 　前記複数の画像それぞれから抽出された顔領域のうち、前記顔が正面を向いていると判定された顔領域の画像を、登録対象又は認証対象の顔画像として選択する選択部をさらに備えることを特徴とする請求項５又は６記載の画像処理装置。
  8. 　前記判定部は、前記被写体に対して前記顔の向きの変更が複数回指示され、かつ、前記動作特定部によって特定された前記被写体の動作が前記被写体に対して指示された前記顔の向きの変更と一致した回数が、所定値よりも大きい場合、前記被写体は真正であると判定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
  9. 　前記判定部は、前記被写体に対して前記顔の向きの変更が指示された後、所定時間内に撮影された画像から、前記顔の向きの変更と一致する被写体の動作が特定されない場合、前記被写体は真正ではないと判定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
  10. 　前記判定部は、前記顔領域の鮮明性を求め、前記複数の画像それぞれから求められた鮮明性の時系列変化に基づいて、前記被写体の真正性を判定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 　コンピュータによって実行される画像処理方法であって、
    　前記コンピュータが、
    　被写体に対して顔の向きの変更が指示された際に前記被写体を撮影した、時系列の複数の画像それぞれから、顔領域を抽出し、
    　前記顔領域において所定方向に並んでいる複数の画素の画素値の変化特性を求め、
    　前記複数の画像それぞれから求められた変化特性の時系列変化に基づいて、前記被写体の動作を特定し、
    　前記被写体の動作に基づいて、前記被写体の真正性を判定する、
    ことを特徴とする画像処理方法。
  12. 　前記被写体に対して指示された前記顔の向きの変更は、前記顔を左又は右に向ける動作を表し、
    　前記所定方向は前記顔の左右の方向であり、
    　前記所定方向に並んでいる複数の画素の画素値の変化特性は、前記複数の画素の画素値の左右対称性を表し、
    　前記被写体の動作は、前記被写体が前記顔を左又は右に向ける動作であることを特徴とする請求項１１記載の画像処理方法。
  13. 　被写体に対して顔の向きの変更が指示された際に前記被写体を撮影した、時系列の複数の画像それぞれから、顔領域を抽出し、
    　前記顔領域において所定方向に並んでいる複数の画素の画素値の変化特性を求め、
    　前記複数の画像それぞれから求められた変化特性の時系列変化に基づいて、前記被写体の動作を特定し、
    　前記被写体の動作に基づいて、前記被写体の真正性を判定する、
    処理をコンピュータに実行させるための画像処理プログラム。
  14. 　前記被写体に対して指示された前記顔の向きの変更は、前記顔を左又は右に向ける動作を表し、
    　前記所定方向は前記顔の左右の方向であり、
    　前記所定方向に並んでいる複数の画素の画素値の変化特性は、前記複数の画素の画素値の左右対称性を表し、
    　前記被写体の動作は、前記被写体が前記顔を左又は右に向ける動作であることを特徴とする請求項１３記載の画像処理プログラム。
PCT/JP2019/016869 2019-04-19 2019-04-19 画像処理装置、画像処理方法、及び画像処理プログラム WO2020213166A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021514780A JP7268725B2 (ja) 2019-04-19 2019-04-19 画像処理装置、画像処理方法、及び画像処理プログラム
KR1020217032248A KR20210136092A (ko) 2019-04-19 2019-04-19 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
PCT/JP2019/016869 WO2020213166A1 (ja) 2019-04-19 2019-04-19 画像処理装置、画像処理方法、及び画像処理プログラム
EP19925334.5A EP3958208A4 (en) 2019-04-19 2019-04-19 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING PROGRAM
CN201980095279.7A CN113678164A (zh) 2019-04-19 2019-04-19 图像处理装置、图像处理方法以及图像处理程序
US17/478,477 US12033429B2 (en) 2019-04-19 2021-09-17 Image processing device of determining authenticity of object, image processing method of determining authenticity of object, and storage medium storing program of determining authenticity of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/016869 WO2020213166A1 (ja) 2019-04-19 2019-04-19 画像処理装置、画像処理方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/478,477 Continuation US12033429B2 (en) 2019-04-19 2021-09-17 Image processing device of determining authenticity of object, image processing method of determining authenticity of object, and storage medium storing program of determining authenticity of object

Publications (1)

Publication Number Publication Date
WO2020213166A1 true WO2020213166A1 (ja) 2020-10-22

Family

ID=72837237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016869 WO2020213166A1 (ja) 2019-04-19 2019-04-19 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (6)

Country Link
US (1) US12033429B2 (ja)
EP (1) EP3958208A4 (ja)
JP (1) JP7268725B2 (ja)
KR (1) KR20210136092A (ja)
CN (1) CN113678164A (ja)
WO (1) WO2020213166A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7033228B1 (ja) 2021-07-14 2022-03-09 日本コンピュータビジョン株式会社 認証システム、認証方法および認証プログラム
WO2023144929A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 認証システム、認証装置、認証方法、およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210295504A1 (en) * 2020-03-19 2021-09-23 Unitedhealth Group Incorporated Systems and methods for automated digital image content extraction and analysis
JP7457991B1 (ja) * 2023-03-14 2024-03-29 有限会社バラエティーエム・ワン なりすまし検知システムおよびなりすまし検知プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (ja) * 1998-05-29 1999-12-10 Omron Corp 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2003099763A (ja) 2001-05-25 2003-04-04 Toshiba Corp 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
JP2006235718A (ja) * 2005-02-22 2006-09-07 Nec Corp 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
JP2008071179A (ja) 2006-09-14 2008-03-27 Toshiba Corp 顔照合装置、通行制御装置、顔照合方法、および、通行制御方法
JP2015041307A (ja) * 2013-08-23 2015-03-02 日本電気株式会社 照合装置及び照合方法、照合システム、並びにコンピュータ・プログラム
JP2016173813A (ja) * 2015-03-16 2016-09-29 株式会社リコー 情報処理装置、情報処理システム、認証方法、及びプログラム
WO2019017080A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150963A (ja) 2001-11-13 2003-05-23 Japan Science & Technology Corp 顔画像認識方法及び顔画像認識装置
KR100608595B1 (ko) * 2004-11-16 2006-08-03 삼성전자주식회사 얼굴 인식 방법 및 장치
JP2010267257A (ja) 2009-04-16 2010-11-25 Panasonic Corp 画像処理装置、画像処理方法及び画像処理プログラム
US9202105B1 (en) * 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
US10129251B1 (en) * 2014-02-11 2018-11-13 Morphotrust Usa, Llc System and method for verifying liveliness
US20160057138A1 (en) * 2014-03-07 2016-02-25 Hoyos Labs Ip Ltd. System and method for determining liveness
US11256792B2 (en) * 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US9767358B2 (en) * 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
US10331291B1 (en) * 2014-12-31 2019-06-25 Morpho Trust USA, LLC Visual verification of digital identifications
CN105893920B (zh) * 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
US10339362B2 (en) * 2016-12-08 2019-07-02 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN106960177A (zh) * 2015-02-15 2017-07-18 北京旷视科技有限公司 活体人脸验证方法及系统、活体人脸验证装置
US10079827B2 (en) * 2015-03-16 2018-09-18 Ricoh Company, Ltd. Information processing apparatus, information processing method, and information processing system
US9852543B2 (en) * 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
US9922238B2 (en) * 2015-06-25 2018-03-20 West Virginia University Apparatuses, systems, and methods for confirming identity
US9898674B2 (en) * 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
CN106897658B (zh) * 2015-12-18 2021-12-14 腾讯科技（深圳）有限公司 人脸活体的鉴别方法和装置
US9619723B1 (en) * 2016-02-17 2017-04-11 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of identification and authentication using facial expression
US10698998B1 (en) * 2016-03-04 2020-06-30 Jpmorgan Chase Bank, N.A. Systems and methods for biometric authentication with liveness detection
US10956544B1 (en) * 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10084776B2 (en) * 2016-04-04 2018-09-25 Daon Holdings Limited Methods and systems for authenticating users
US10157323B2 (en) * 2016-08-30 2018-12-18 Qualcomm Incorporated Device to provide a spoofing or no spoofing indication
US10282530B2 (en) * 2016-10-03 2019-05-07 Microsoft Technology Licensing, Llc Verifying identity based on facial dynamics
JP6897082B2 (ja) * 2016-12-13 2021-06-30 富士通株式会社 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法
US10764281B1 (en) * 2017-01-09 2020-09-01 United Services Automobile Association (Usaa) Systems and methods for authenticating a user using an image capture device
WO2018225642A1 (ja) * 2017-06-05 2018-12-13 日本電気株式会社 顔認証システム、顔認証方法、生体認証システム、生体認証方法及び記録媒体
US10579783B1 (en) * 2017-07-31 2020-03-03 Square, Inc. Identity authentication verification
EP4156129A1 (en) * 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric enrollment
DE102017216837A1 (de) * 2017-09-22 2019-03-28 Audi Ag Gestik- und Mimiksteuerung für ein Fahrzeug
WO2019056310A1 (en) * 2017-09-22 2019-03-28 Qualcomm Incorporated SYSTEMS AND METHODS FOR DETECTING FACIAL ACTIVITY
US10606994B2 (en) * 2017-11-16 2020-03-31 Bank Of America Corporation Authenticating access to a computing resource using quorum-based facial recognition
US10728241B2 (en) * 2018-01-26 2020-07-28 Jumio Corporation Triage engine for document authentication
US10963681B2 (en) * 2018-01-30 2021-03-30 Alarm.Com Incorporated Face concealment detection
CN109260593B (zh) * 2018-09-27 2020-09-08 武汉资联虹康科技股份有限公司 一种经颅磁刺激治疗方法及设备
CN109492551B (zh) * 2018-10-25 2023-03-24 腾讯科技（深圳）有限公司 活体检测方法、装置及应用活体检测方法的相关系统
CN109492550B (zh) 2018-10-25 2023-06-06 腾讯科技（深圳）有限公司 活体检测方法、装置及应用活体检测方法的相关系统
SG11202104685WA (en) * 2018-11-05 2021-06-29 Nec Corp Information processing apparatus, information processing method, and storage medium
US11138302B2 (en) * 2019-02-27 2021-10-05 International Business Machines Corporation Access control using multi-authentication factors
US10977355B2 (en) * 2019-09-11 2021-04-13 Lg Electronics Inc. Authentication method and device through face recognition
US20210397945A1 (en) * 2020-06-18 2021-12-23 Nvidia Corporation Deep hierarchical variational autoencoder

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (ja) * 1998-05-29 1999-12-10 Omron Corp 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2003099763A (ja) 2001-05-25 2003-04-04 Toshiba Corp 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
JP2006235718A (ja) * 2005-02-22 2006-09-07 Nec Corp 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
JP2008071179A (ja) 2006-09-14 2008-03-27 Toshiba Corp 顔照合装置、通行制御装置、顔照合方法、および、通行制御方法
JP2015041307A (ja) * 2013-08-23 2015-03-02 日本電気株式会社 照合装置及び照合方法、照合システム、並びにコンピュータ・プログラム
JP2016173813A (ja) * 2015-03-16 2016-09-29 株式会社リコー 情報処理装置、情報処理システム、認証方法、及びプログラム
WO2019017080A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOTOO YAMAMOTO, TAKAYOSHI YAMASHITA, MASATO KAWADE: "A method of anti-imposter for face recognition using user interaction", INTERACTION 2007, PAPERS; MARCH 15TH - 16TH, 2007, 2 July 2013 (2013-07-02) - 16 March 2007 (2007-03-16), JP, pages 1 - 2, XP009530419 *
See also references of EP3958208A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7033228B1 (ja) 2021-07-14 2022-03-09 日本コンピュータビジョン株式会社 認証システム、認証方法および認証プログラム
JP2023012581A (ja) * 2021-07-14 2023-01-26 日本コンピュータビジョン株式会社 認証システム、認証方法および認証プログラム
WO2023144929A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 認証システム、認証装置、認証方法、およびプログラム

Also Published As

Publication number Publication date
US12033429B2 (en) 2024-07-09
CN113678164A (zh) 2021-11-19
EP3958208A4 (en) 2022-04-20
JP7268725B2 (ja) 2023-05-08
JPWO2020213166A1 (ja) 2021-11-04
KR20210136092A (ko) 2021-11-16
EP3958208A1 (en) 2022-02-23
US20220019771A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
WO2020213166A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP2580711B1 (en) Distinguishing live faces from flat surfaces
US8515136B2 (en) Image processing device, image device, image processing method
CN108549886A (zh) 一种人脸活体检测方法及装置
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
WO2010137157A1 (ja) 画像処理装置、方法、プログラム
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
WO2006051607A1 (ja) 顔特徴点検出装置、特徴点検出装置
US11315360B2 (en) Live facial recognition system and method
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN107798279A (zh) 一种人脸活体检测方法及装置
WO2019003973A1 (ja) 顔認証装置、顔認証方法およびプログラム記録媒体
CN107944395B (zh) 一种基于神经网络验证人证合一的方法及系统
JP6025557B2 (ja) 画像認識装置、その制御方法及びプログラム
CN109087429B (zh) 基于人脸识别技术的图书馆借书证人证一致性检验的方法
WO2019078310A1 (ja) 顔三次元形状推定装置、顔三次元形状推定方法、及び、非一時的なコンピュータ可読媒体
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
JP2011159030A (ja) 被写体認証装置、被写体認証方法及びプログラム
JP5048691B2 (ja) 画像認識方法およびその装置
WO2017114285A1 (zh) 眼球识别方法及系统
JP2005084979A (ja) 顔認証システムおよび方法並びにプログラム
JP4446383B2 (ja) 画像処理装置および画像認識装置
JP2021043914A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7457991B1 (ja) なりすまし検知システムおよびなりすまし検知プログラム
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925334

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514780

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217032248

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019925334

Country of ref document: EP