WO2010050206A1 - なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム - Google Patents

なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム Download PDF

Info

Publication number
WO2010050206A1
WO2010050206A1 PCT/JP2009/005709 JP2009005709W WO2010050206A1 WO 2010050206 A1 WO2010050206 A1 WO 2010050206A1 JP 2009005709 W JP2009005709 W JP 2009005709W WO 2010050206 A1 WO2010050206 A1 WO 2010050206A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
image
feature
coordinates
impersonation
Prior art date
Application number
PCT/JP2009/005709
Other languages
English (en)
French (fr)
Inventor
鈴木哲明
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010535673A priority Critical patent/JP5445460B2/ja
Priority to US13/126,339 priority patent/US8860795B2/en
Priority to CN200980142953.9A priority patent/CN102197412B/zh
Publication of WO2010050206A1 publication Critical patent/WO2010050206A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63KRACING; RIDING SPORTS; EQUIPMENT OR ACCESSORIES THEREFOR
    • A63K1/00Race-courses; Race-tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces

Definitions

  • the present invention relates to an impersonation detection system, an impersonation detection method, and an impersonation detection program capable of authenticating an individual using a photograph of a registered person or a face image taken on a monitor, in particular when authenticating the person.
  • An impersonation detection system refers to a system that performs identity authentication using a photograph of a registered person or a face image on a monitor, for example, when performing identity authentication using a face or head.
  • An impersonation detection system and impersonation detection method there exists a thing described in patent document 1, for example.
  • Paragraph [0015] of the same document describes that an illumination environment is changed using an illuminating lamp, and impersonation is excluded based on the similarity of face images in different illumination environments.
  • paragraph [0061] of the same document describes that various images whose face orientations are changed in advance are acquired, and the acquired face images from a specific direction are registered as an authentication dictionary. .
  • Patent Document 2 three-dimensional information of a user is generated using a plurality of user images and respective imaging angles, and the face of the person's face stored in advance is stored. It is described that the identity impersonation by a photograph is eliminated by collating with a three-dimensional shape.
  • Patent Document 3 Non-Patent Document 1, Non-Patent Document 2, and Non-Patent Document 3 will be described later.
  • Kanazawa, Kanaya “Extraction of image feature points for computer vision”
  • IEICE Vol.87, No.12, 2004 T. K. Leung, M. C. Burl, and P. Perona "Finding Faces in Cluttered Scenes using Random Labeled Graph Matching", Fifth International Conference on Computer Vision pp.637-644, 1995 R. Suk thankar, R. G. Stockton, M. D. Mullin, “Smarter presentations: Exploiting Homography in Camera-Projector Systems", Proceedings of International Conference on Computer Vision, Vol. 1, pp. 247-253, July 2001
  • an additional device other than the image capturing device used for authentication is required.
  • controllable external lighting is required to create different lighting environments
  • dedicated distance detection devices are required for distance measurement
  • complicated processing devices are required to acquire the three-dimensional information of the person. It is.
  • impersonation of a photograph or the like is erroneously accepted due to a change in the lighting environment at the time of authentication.
  • impersonation is determined using variations in luminance of the subject, but it is easy to increase variations in luminance of the subject by changing the lighting environment during authentication. As a result, the probability of accepting a photograph as a real thing increases.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an impersonation detection system that can detect impersonation with high accuracy based on a captured image without using an additional apparatus other than the image photographing apparatus. It is to provide an impersonation detection method and an impersonation detection program. Another object of the present invention is to provide an impersonation determination system that is robust against changes in the lighting environment.
  • a first image is obtained by photographing the inspection target object from the first angle
  • a second image is obtained by photographing the inspection target object from a second angle different from the first angle.
  • the first feature point is detected from the imaging unit and the first image
  • the first feature point coordinates representing the position of the detected feature point are obtained
  • the second feature point is detected from the second image.
  • a calculation unit that obtains second feature point coordinates representing the position of the detected feature point, a feature point association unit that associates the first feature point with the second feature point, and the second feature point coordinate
  • a feature conversion unit that performs a planar projective transformation from the second image to the first image to obtain conversion coordinates, and an error between the conversion coordinates and the first feature point coordinates is a certain value or less.
  • a similarity determination unit that determines that impersonation has been attempted. And detection system, to provide.
  • the step of photographing the inspection object from the first angle to obtain the first image, the step of calculating the first feature point coordinates from the first image, and the inspection object from the second angle A step of obtaining a second image by photographing an object, a step of calculating second feature point coordinates from the second image, and a feature for associating the first feature point coordinates with the second feature point coordinates
  • a point correspondence step a feature conversion step of executing a planar projective transformation from the second image to the first image with respect to the second feature point coordinate, and obtaining a converted coordinate, the converted coordinate and the first
  • a spoofing detection method including a similarity determination step of determining that impersonation has been attempted when an error from one feature point coordinate is equal to or less than a certain value.
  • the first feature point coordinates which are the positions of the first feature points are obtained from the first image of the inspection object photographed from the first angle, and the first feature point is different from the first angle.
  • a system, an impersonation detection method, and an impersonation detection program can be provided.
  • the determination is performed based only on the image information of the inspection object, it is possible to provide an impersonation detection system, an impersonation detection method, and an impersonation detection program without requiring an additional device other than the imaging device.
  • the determination is based on the variation in the position of the feature point rather than the variation in the brightness of the inspection target object, it is possible to provide an impersonation detection system, an impersonation detection method, and an impersonation detection program that are robust against variations in the lighting environment.
  • FIG. 1 is a diagram illustrating a configuration example of an impersonation detection system.
  • the inspection target object is imaged from the first angle to obtain the first image
  • the inspection target object is imaged from the second angle different from the first angle to obtain the second image.
  • the first feature point is detected from the imaging unit 2 and the first image
  • the first feature point coordinates representing the position of the detected feature point are obtained
  • the second feature point is detected from the second image.
  • a feature point coordinate calculation unit 101 that obtains second feature point coordinates representing the position of the detected feature point, a feature point association unit 102 that associates the first feature point with the second feature point,
  • a feature conversion unit 104 that performs a planar projective transformation from the second image to the first image on the second feature point coordinates to obtain conversion coordinates, the conversion coordinates, the first feature point coordinates, Class that determines that impersonation was attempted when the error of the error is below a certain value
  • a degree determination unit 105 provides impersonation detection system, the comprises a.
  • the plane transformation matrix estimation unit 103 may not perform any processing.
  • a transformation matrix is calculated using the plane transformation matrix estimation unit 103 each time, as described later, and similarity determination is performed.
  • the impersonation detection system includes a data processing device 1 that operates under program control and an imaging unit 2 that captures an object to be inspected.
  • the data processing device 1 includes the feature point coordinate calculation unit 101, the feature point association unit 102, the plane transformation matrix estimation unit 103, the feature conversion unit 104, and the similarity determination unit. 105.
  • the imaging unit 2 is a digital still camera, a digital video camera, a CCD camera module, or the like, and has a function of photographing the inspection target object and a function of outputting the photographed image data to the data processing device 1.
  • the feature point coordinate calculation unit 101 is based on a first angle image (hereinafter referred to as a first image) and an image at a second angle (hereinafter referred to as a second image) of the inspection object captured by the imaging unit 2.
  • the first feature point coordinates representing the position of the feature point of the first image and the second feature point coordinate representing the position of the feature point of the second image are obtained.
  • a feature point means a point that looks the same when the part is viewed from a specific angle, such as the position of the eye, the edge of the mouth, the mole or nose tip, the highest part of the cheekbone, or a part of the beard.
  • An area where a specific pattern exists, such as a hairline or a corner of a frame of glasses, may exist.
  • Non-patent Document 1 a KLT method (Non-patent Document 1), a specific pattern to be detected is registered in advance, and template matching is performed. This refers to a place that is detected using a method for detecting the part (Non-Patent Document 2).
  • template matching refers to a method in which a specific pattern (template image) registered in advance is compared with a captured image, and an image region similar to the specific pattern is searched from the captured image.
  • specific patterns representing various feature points such as facial features and backgrounds are prepared in advance, and the first feature points are extracted by comparing the specific pattern with the first image.
  • the second feature point is extracted by comparing with the second image.
  • the degree of correlation between the specific pattern and the image area determined to correspond to this is called “reliability”. The higher the reliability, the more similar the specific pattern and the corresponding image area are determined to be. Can do.
  • the feature points are described as positions on the face.
  • the obtained feature points may be feature points obtained from a background, a face, a concealed object in front of the head, or the like. This is because the feature points of the background and the concealed object move in a plane like a face in the case of a photograph, and a change different from the change in the angle of the face can be expected in the case of a real object.
  • the feature point association unit 102 associates the first feature point with the second feature point. That is, the second feature point coordinates calculated by the feature point coordinate calculation unit 101 are associated with the first feature point coordinates calculated by the feature point coordinate calculation unit 101.
  • the correspondence relationship between the first feature point and the second feature point associated by the feature point correspondence unit 102 is determined by the luminance pattern around the first feature point and the second feature point. Obtained on the basis.
  • the correspondence relationship is such that the first feature point and the second feature point are associated with feature points having similar brightness patterns, frequencies, edge components, etc. around the feature points.
  • the association is performed such that the feature points detected using template matching are associated. This association is performed, for example, by calculating the degree of correlation between the image area representing the first feature point and the image area representing the second feature point, and the pair having the high correlation degree (the first and first pairs forming a pair). 2 feature points) can be extracted.
  • a set of the first feature point and the second feature point is referred to as a corresponding point.
  • the plane transformation matrix estimation unit 103 transforms the second image into the first image in a planar manner using some of the feature point coordinates among the feature points associated by the feature point association unit 102. Ask for.
  • Non-Patent Document 3 may be used to calculate the transformation matrix for planar transformation.
  • Non-Patent Document 3 describes a method for calculating a transformation matrix called a homography matrix.
  • the homography matrix H can be expressed by the following formula 1.
  • the homography matrix is a coordinate transformation matrix between two cameras that capture the same point of the object to be inspected, and the coordinates of that point on the first image obtained by the camera 1 when the same point is captured.
  • (x, y) be the coordinates of that point on the second image obtained by the camera 2 (X, Y).
  • the coordinates on two cameras on an object surface (n ⁇ 4) are (x i , y i ) and (X i , Y i )
  • the matrix A is defined as follows.
  • an optimal homography matrix H that defines a projection between two images is obtained.
  • the symbol T means transposition of the matrix.
  • (Xw, yw, w) can be obtained by performing the following projective transformation using this homography matrix H as a transformation matrix.
  • the second feature point coordinates can be converted on the first image by the plane conversion matrix estimated in this way, and the converted coordinates can be calculated. Note that, at the time of calculating the conversion matrix, the conversion matrix may be obtained using some corresponding points that are highly likely to be matched.
  • the plane transformation matrix estimation unit 103 uses the first feature point and the second feature point associated with the feature point association unit 102 to correspond to the second feature point transformation coordinate and the second feature point transformation coordinate. What is necessary is just to obtain
  • the first provisional transformation is performed using four pairs of the eight feature point pairs associated with each other. Compute a provisional homography matrix that is a matrix.
  • the second feature point coordinates forming a pair of four points are projected onto the first image, thereby obtaining four converted coordinates. Then, an error (difference) between the converted coordinates of these four points and the first feature point coordinates corresponding thereto is calculated.
  • a provisional homography matrix that is a second provisional transformation matrix is calculated using the remaining four pairs of points.
  • the second feature point coordinates forming a pair of four points are projected onto the first image, thereby obtaining four converted coordinates. Then, an error (difference) between the converted coordinates of these four points and the first feature point coordinates corresponding thereto is calculated.
  • the provisional transformation matrix having the smallest error (difference) is estimated as a formal transformation matrix (homography matrix).
  • the above contents are generally expressed as follows. Assume that there are N correspondences (pairs) between the first feature point and the second feature point. First to Mth groups G 1 to G M each including four pairs are generated from the N pairs. Note that pairs included in the groups G 1 to G M may overlap each other.
  • the provisional homography matrices PH 1 to PH M are calculated for the groups G 1 to G M , respectively.
  • transformed coordinates are calculated for each of these groups G 1 to G M , and an error (for example, a norm in the Euclidean space or Manhattan between the transformed coordinates and the coordinates representing the first feature point corresponding to these transformed coordinates is calculated. Distance). Then, the provisional transformation matrix having the smallest sum of errors is estimated as a transformation matrix (homography matrix).
  • the feature conversion unit 104 uses the conversion matrix calculated by the plane conversion matrix estimation unit 103 to perform a planar projective conversion from the second coordinates to the converted coordinates on the first image, and to project the second image onto the first image. Get the transformation coordinates.
  • the similarity determination unit 105 obtains an error (difference) between the projective transformation coordinates of the second image on the first image obtained by the feature transformation unit 104 and the first coordinates on the first image. If this error (difference) is less than or equal to a certain value, it is determined that the object to be inspected in the first image and the second image has a planar correspondence, and it is determined that the person is impersonating the photograph.
  • the high similarity means that the inspection object is close to the real object.
  • the projective transformation coordinates of the second image on the first image and the first coordinates on the first image are This means that the error (difference) is large.
  • the subject appearing in the first image and the second image is deformed in a planar manner for a certain period of time, it may be determined that the subject is a photograph.
  • the spoofing detection method shown in FIG. 2 includes step A01 in which a first image is obtained by photographing an inspection target object from a first angle, a first feature point is detected from the first image, and the detected feature point is detected.
  • the transformation matrix step A06 described later is calculated in advance, and the plane transformation matrix estimation step A06 in FIG. You can omit it.
  • the conversion matrix estimation step A06 is calculated each time, the similarity calculation step A08 is performed, and the similarity determinations A09 to A11 are performed. It will be.
  • Step A01 First, an image of the subject at a first angle is taken by the imaging unit 2.
  • Step A02 Next, in the first feature coordinate calculation step A02 that has received the first image, the first coordinate that is the position of the first feature point is calculated from the first image.
  • a feature point means a point that looks the same when the part is viewed from a specific angle, such as the position of the eye, the edge of the mouth, the mole or nose tip, the highest part of the cheekbone, or a part of the beard.
  • An area where a specific pattern exists such as a hairline or a corner of a frame of glasses, may exist.
  • the feature point is described as a position on the face.
  • the obtained feature point may be a feature point obtained from a background, a face, a concealed object in front of the head, or the like. This is because the feature points of the background and the concealed object of the face and head move in a plane like a face in the case of a photograph, and it can be expected that a change different from the change in the angle of the face can be obtained in the real object .
  • feature points may be obtained by, for example, a method of extracting a point with a large change in shading on an image or a method of registering a detected specific pattern in advance and detecting the part by template matching. .
  • the feature point is comprised by 1 or more various site
  • Step A03 Subsequently, the imaging unit 2 captures an image of the subject at the second angle.
  • Step A04 The feature point coordinate calculation unit 101 that has received the second image calculates a second coordinate that is the position of the second feature point from the second image.
  • Step A05 Association is performed using the two feature point coordinates calculated in the first feature point coordinate calculation step A02 and the second feature point coordinate calculation step A04.
  • the correspondence relationship associates feature points having similar brightness patterns, frequencies, edge components, and the like around the feature points between the first feature points and the second feature points.
  • it can be obtained by a method such as detecting feature points that are matched using template matching.
  • Step A06 Using the first feature point coordinates and the second feature point coordinates for which correspondence has been obtained as described above, a conversion matrix for planarly converting the second image into the first image is obtained. That is, the plane transformation matrix estimation step performs a projective transformation of the second image to the first image in a planar manner using some of the feature point coordinates among the feature points associated with the feature points.
  • a plane conversion matrix estimation step can be performed if a conversion matrix is calculated in advance. A06 can be omitted.
  • the correspondence between the first feature point and the second feature point associated by the feature point correspondence unit 102 is the relationship between the first feature point and the second feature point.
  • An impersonation detection method obtained based on a peripheral luminance pattern may be used.
  • an impersonation detection method that obtains a transformation matrix using a part of corresponding points that are highly likely to be matched when calculating the transformation matrix may be used.
  • the plane transformation matrix estimation step uses the first feature point and the second feature point associated in the feature point association step to perform coordinate transformation of the second feature point using a provisional transformation matrix. And a spoofing detection method in which a provisional matrix that minimizes an error (difference) between the calculated transformed coordinates and the first feature point corresponding to the feature point is used as the transformation matrix.
  • the impersonation detection method whose transformation matrix is the homography matrix mentioned above may be sufficient. If the first angle and the second angle are given in advance, the transformation coordinates by the plane transformation matrix may be obtained in advance.
  • the feature point conversion process includes a feature conversion (pseudo front feature calculation) step for executing the projective transformation using the transformation matrix obtained by the plane transformation matrix processing.
  • the feature conversion (pseudo front feature calculation) step is a step of projective conversion of the second coordinates onto the first image using the conversion matrix calculated in the plane conversion matrix estimation step A06.
  • Step A08 Finally, in the similarity calculation step A08, the coordinates between the projected conversion coordinates of the second image projected on the first image obtained in the feature conversion (pseudo front feature calculation) step A07 and the conversion coordinates of the first image. Find the error (difference).
  • Step A09 An error (difference) between the first image conversion coordinates and the projection conversion coordinates of the projected second image is compared with a threshold value as a similarity.
  • Steps A10 and A11 If this error (difference) is less than or equal to a certain value, it is determined that the object to be inspected in the first image and the second image has a planar correspondence, and it is determined that the person is impersonating the photograph.
  • the high similarity means that the similarity is close to the real thing, and this determination means that the error (difference) is large.
  • the subject appearing in the first image and the second image is deformed in a planar manner for a certain period of time, it may be determined that the subject is a photograph.
  • the photo is determined A10, and if the similarity is small, the photo is determined A11, and the process is terminated.
  • the impersonation inspection can be performed by the method of converting the second image onto the first image by the plane conversion matrix and calculating the conversion coordinates, the object to be inspected is different when performing personal authentication. Since it is configured to perform spoofing detection only based on whether or not a plurality of images taken from an angle are in a planar projection relationship with each other, it is not necessary to register the three-dimensional information of the certifier himself at the time of identity registration. Accordingly, since it is not necessary to take a person image from a plurality of directions at the time of user registration, convenience for the user is improved.
  • FIG. 3 is a diagram showing a specific correspondence of FIG. 1 described later.
  • the data processing device 1 in FIG. 1 and the data processing device 6 in FIG. 3 can each be constituted by an integrated circuit including a microprocessor, a ROM, a RAM, a signal transmission bus, and an input / output interface. All or a part of the functional blocks 101, 102, 103, 104, 601 and 602 of the data processing devices 1 and 6 may be realized by hardware such as a semiconductor integrated circuit, or a non-volatile memory or an optical disk. It may be realized by a program or a program code recorded on the recording medium. Such a program or program code causes a computer having an arithmetic device such as a CPU to execute all or part of the processing of the functional blocks 101, 102, 103, 104, 601 and 602.
  • the impersonation detection program obtains the first feature point coordinates that are the positions of the first feature points from the first image of the object to be inspected taken from the first angle, and the first angle.
  • Impersonation is attempted when a feature conversion process for obtaining a transformed coordinate by executing a planar projective transformation to an image and an error between the transformed coordinate and the first coordinate of the first feature point is below a certain value.
  • the similarity determination process for determining that the That.
  • a process of acquiring an image of the first angle of the subject by the imaging unit 2 and calculating the first coordinate of the first feature point from the first image The computer is caused to execute a process of calculating the second coordinates of the second feature point from the second image of the inspection target object photographed from a second angle different from the first angle.
  • a feature point means a point that looks the same when the part is viewed from a specific angle, such as the position of the eye, the edge of the mouth, the mole or nose tip, the highest part of the cheekbone, or a part of the beard.
  • An area where a specific pattern exists such as a hairline or a corner of a frame of glasses, may exist.
  • the feature points are described as positions on the face, but the obtained feature points may be feature points obtained on the background, an object in front of the face, the head, or the like.
  • feature points may be obtained by, for example, a method of extracting a point with a large shade change on an image or a method of registering a specific pattern to be detected in advance and detecting the part by template matching. It doesn't matter.
  • the feature point is comprised by 1 or more various site
  • the feature point coordinate calculation unit 101 uses the two feature point coordinates subjected to the feature point calculation process by the feature point coordinate calculation unit 101 to cause the computer to execute the feature point association process.
  • the correspondence relationship is such that the first feature point and the second feature point correspond to feature points having similar brightness patterns, frequencies, edge components, and the like around the feature point.
  • it can be obtained by a method such as detecting feature points that are matched using template matching.
  • the plane transformation matrix estimation unit 103 in FIG. 1 estimates a plane transformation matrix from the first feature point coordinates and the second feature point coordinates for which correspondence has been obtained as described above, and sets the second feature point coordinates by the estimated plane transformation matrix.
  • a process of converting to one image and obtaining converted coordinates is executed by a computer. If the angle formed by the first angle at which the first image is photographed and the second angle at which the second image is photographed is fixed, if a transformation matrix is calculated in advance, a plane transformation matrix estimation unit 103 can be omitted.
  • the comparison between the first feature point and the second feature point associated by the feature point correspondence unit 102 is, for example, the vicinity of the first feature point and the second feature point as described above. Processing obtained based on the luminance pattern may be used.
  • a spoofing detection program that obtains a transformation matrix using a part of corresponding points that are highly likely to be matched when calculating the transformation matrix may be used.
  • a temporary conversion matrix is calculated using some of the corresponding points, the second feature points that are not used for the calculation of the temporary conversion matrix are converted using the temporary conversion matrix, and the conversion coordinates are calculated and calculated.
  • the spoofing detection program may use a provisional transformation matrix that minimizes an error (difference) between the transformed coordinates and the first feature point corresponding to the feature point as a transformation matrix.
  • the transformation matrix may be an impersonation detection program that is a transformation matrix that projects the second image onto the first image in a planar manner.
  • the transformation matrix may be a spoofing detection program that is a homography matrix. If the first angle and the second angle are given in advance, the transformation coordinates by the plane transformation matrix may be obtained in advance.
  • First to M-th groups G 1 to G M each including four pairs are generated from the N pairs, and the provisional homography matrices PH 1 to PH are respectively obtained for these groups G 1 to G M.
  • Processing for calculating M and then obtaining transformed coordinates for each of these groups G 1 to G M , and an error (for example, Euclidean space) between the transformed coordinates and the coordinates representing the first feature point corresponding thereto.
  • the computer executes a process for calculating the above norm or Manhattan distance) and a process for selecting a provisional transformation matrix having the smallest sum of errors as a transformation matrix (homography matrix). Note that the pairs included in the groups G 1 to G M may overlap each other.
  • the similarity determination unit 105 in FIG. 1 performs a process of calculating an error (difference) between the conversion coordinates on the first image obtained by the feature conversion unit 104 and the image of the projective transformation coordinates of the second image subjected to the projective transformation. To run.
  • the computer is caused to execute a process of comparing an error (difference) between the converted coordinates and the corresponding second coordinates as a similarity with a threshold value. If this error (difference) is less than or equal to a certain value, it is determined that the object to be inspected in the first image and the second image has a planar correspondence, and it is determined that the person is impersonating the photograph.
  • the high similarity means that the similarity is close to the real thing, and this determination means that the error (difference) is large.
  • the subject appearing in the first image and the second image is deformed in a planar manner for a certain period of time, it may be determined that the subject is a photograph.
  • the similarity is greater than the threshold, it is determined as a photograph, and if it is small, it is determined as a real thing, and the computer ends the process.
  • the impersonation inspection can be performed by the method of converting the second image onto the first image by the plane conversion matrix and calculating the conversion coordinates, the object to be inspected is different when performing personal authentication. Since it is configured to perform spoofing detection only based on whether or not a plurality of images taken from an angle are in a planar projection relationship with each other, it is not necessary to register the three-dimensional information of the certifier himself at the time of identity registration. Accordingly, since it is not necessary to take a person image from a plurality of directions at the time of user registration, convenience for the user is improved.
  • FIG. 3 is a diagram in which the impersonation detection system of FIG. 1 is applied to the mobile phone 5.
  • the specific aspect of this embodiment assumes a mobile phone 5 with a camera, the imaging unit 2 is a CCD camera 7 attached to the mobile phone 5, and the mobile phone 5 is preliminarily security-locked. .
  • the user When the user unlocks the security lock of the mobile phone 5, the user presses the key button of the mobile phone 5, opens the mobile phone 5 if the mobile phone 5 is a foldable mobile phone 5, or slides the mobile phone 5. If there is, an operation for using the mobile phone 5 such as sliding is performed.
  • the mobile phone 5 acquires an image of the inspection object 12 from the CCD camera 7 using these operations as a trigger. Subsequently, the personal authentication unit 601 determines whether the biometric information in the acquired image is obtained from the same person as the feature registered in advance in the registered feature storage unit 801 of the storage device 8.
  • the collation between the input image and the registered feature is performed based on, for example, a face collation method described in Patent Document 3 or the like. As a result of this collation, if it is determined that the image of the inspection target object 12 is an image of the same person as the person from whom the registered feature is obtained, the image is sent to the user through the monitor 9, the speaker 10, the LED display 11, etc. An instruction is issued to change the angle at which the biological information is captured.
  • the image used for the personal authentication is sent to the feature point coordinate calculation unit 101 as an image of the first angle, and the feature point coordinate calculation unit 101 obtains the first coordinates of the first feature point. .
  • the feature point coordinate calculation unit 101 acquires an image of a second angle different from the first image from the CCD camera 7 and calculates the second feature point coordinates.
  • the feature point association unit 102 associates the first feature point with the second feature point. That is, the second feature point coordinates calculated by the feature point coordinate calculation unit 101 are associated with the first feature point coordinates calculated by the feature point coordinate calculation unit 101.
  • the correspondence relationship is such that the first feature point and the second feature point are associated with feature points having similar brightness patterns, frequencies, edge components, etc. around the feature points.
  • it can be obtained by a method such as detecting feature points that are matched using template matching.
  • the correspondence relationship associates feature points having similar brightness patterns, frequencies, edge components, and the like around the feature points between the first feature points and the second feature points.
  • it can be obtained by detecting feature points that correspond to each other using template matching.
  • the plane transformation matrix estimation unit 103 uses the first feature point and the second feature point associated with the feature point association unit 102 and the second feature point coordinate and the corresponding feature point. The transformation matrix is obtained so that the error (difference) from the first feature point coordinates is minimized.
  • the transformation coordinates obtained by planarly transforming the coordinates of the feature points of the second image onto the first image are A position error (difference) occurs with respect to the first coordinates.
  • the image 14 is shown on the uppermost side.
  • Below the feature point coordinates 15 and the second image feature point coordinates 16 of the first image the feature point coordinates of the first image and the feature point coordinates of the second image are planarly displayed on the first image.
  • the projected feature point coordinates are indicated by stars.
  • the inspection target object is three-dimensional and can be determined as a real face.
  • FIG. 4B shows a flow of determination when a face of a photograph is taken.
  • the first image 23 obtained by photographing the inspection target object from the first angle and the image 24 photographed from the second angle (on the left side of the frame 23 of the inspection object object) are rotated. Shown at the top.
  • Below the feature point coordinates 25 of the first image and the second image feature point coordinates 26, the feature point coordinates of the first image and the feature point coordinates of the second image are planarly displayed on the first image.
  • the projected feature point coordinates are indicated by stars.
  • a comparison is made between the feature point coordinates of the first image and the coordinates obtained by projecting the feature point coordinates of the second image onto the first image in a plane.
  • a thick arrow indicates that the feature point coordinates obtained by projecting the feature point coordinates of the first image and the feature point coordinates of the second image onto the first image substantially coincide with each other. . From this, the object to be inspected is a planar photograph and can be determined to be impersonation.
  • the process is terminated without releasing the security lock.
  • the processing is immediately terminated.
  • the second image is repeated for a certain time until the coordinate error (difference) exceeds the threshold value. You may acquire and impersonate.
  • the effect of the first embodiment since it is configured to detect impersonation based only on an image obtained by imaging the inspection target object 12, it is possible to detect impersonation without requiring an additional device other than the imaging device.
  • the illumination environment around the inspection object 12 is not affected. Impersonation can be detected by being robust against fluctuations.
  • it is further configured to perform spoofing detection only based on whether or not a plurality of images obtained by photographing the inspection target object 12 from different angles are in a planar projection relationship when performing personal authentication. Therefore, it is not necessary to register the three-dimensional information of the certifier himself at the time of identity registration. Accordingly, since it is not necessary to take a person image from a plurality of directions at the time of user registration, convenience for the user is improved.
  • the first imaging unit 2 that captures 12 from a first angle to obtain a first image, and the inspection target object 12 from a second angle different from the first angle are captured.
  • a second imaging unit 3 that obtains a second image to be detected, a first feature point is detected from the first image, a first feature point coordinate representing the position of the detected feature point is obtained, and the second feature point A feature point coordinate calculation unit 401 that detects a second feature point from the image and obtains a second feature point coordinate representing the position of the detected feature point, and the first feature point and the second feature point A feature point associating unit 102 to be associated, a feature converting unit 104 that planarly converts the second feature point coordinates to the first image to obtain converted coordinates, and the converted coordinates and the first feature point coordinates.
  • Similarity determination unit 1 that determines that impersonation has been attempted when the error (difference) is a certain value or less. 5, provides impersonation detection system, the comprises a.
  • the data processing device 4 operating by program control is the same as the data processing device 1 in the first embodiment shown in FIG.
  • the difference is that the unit 101 is replaced with a feature point coordinate calculation unit 401 and the imaging unit 3 is added to the first embodiment.
  • the imaging unit 2 and the imaging unit 3 are arranged so as to shoot the inspection target object 12 from different angles.
  • the imaging devices 2 and 3 may be provided with two CCD cameras 7 in the mobile phone 5.
  • the feature point coordinate calculation unit 401 acquires the first image of the first angle from the imaging unit 2 and the imaging unit 3 and the second image of the second angle different from the first angle almost simultaneously, and each of the first feature The point coordinates and the second feature point coordinates are acquired.
  • the feature point association unit 102 associates the first feature point with the second feature. That is, the second feature point coordinate calculated by the feature point coordinate calculation unit 401 is associated with the first feature point coordinate calculated by the feature point coordinate calculation unit 401.
  • the correspondence relationship is such that the first feature point and the second feature point are associated with feature points having similar brightness patterns, frequencies, edge components, etc. around the feature points. Alternatively, it can be obtained by a method such as detecting feature points that are matched using template matching. In addition, the correspondence relationship associates feature points having similar brightness patterns, frequencies, edge components, and the like around the feature points between the first feature points and the second feature points. Alternatively, it can be obtained by detecting feature points that correspond to each other using template matching. *
  • the plane conversion matrix estimation unit 103 obtains a conversion matrix for planarly converting the second image into the first image based on the first coordinate and the second coordinate extracted by the feature point coordinate calculation unit 401.
  • the transformation matrix may be calculated in advance from the angle formed by the imaging unit 2 and the imaging unit 3.
  • the plane transformation matrix estimation unit 103 performs no processing.
  • the embodiment of the present invention can obtain the same effects as those of the first embodiment. Further, with this configuration, it is not necessary to request the inspection target object 12 to change the shooting angle, and it can be expected that convenience is improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

 第1の角度から検査対象物体(12)を撮影して第1画像を得ると共に、その第1の角度と異なる第2の角度からその検査対象物体を撮影して第2画像を得る撮像部(2)と、その第1画像から第1の特徴点を検出し、その検出された特徴点の位置を表す第1特徴点座標を得、その第2画像から第2の特徴点を検出し、その検出された特徴点の位置を表す第2特徴点座標を得る特徴点座標算出部(101)と、その第1の特徴点とその第2の特徴点を対応付ける特徴点対応付部(102)と、その第2特徴点座標に対してその第2画像からその第1画像への平面的な射影変換を実行して変換座標を得る特徴変換部(104)と、その変換座標とその第1特徴点座標との誤差が一定値以下の場合になりすましが試みられたと判定する類似度判定部(105)と、を備える。

Description

なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
 本発明は、特に本人認証を行う際に、登録本人を写した写真やモニターに写した顔画像などを用いて本人認証を行うことができる、なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラムに関する。
 なりすまし検知システムは、たとえば、顔部や頭部を用いた本人認証を行う際に、登録者本人を写した写真やモニターに写した顔画像を用いて本人認証を行うシステムをいう。関連するなりすまし検知システム、なりすまし検知方法としては、例えば特許文献1に記載されたものがある。同文献の段落[0015]には、照明灯を用いて照明環境を変更し、異なる照明環境の顔画像の類似度により、なりすましを排除することが記載されている。また、同文献の段落[0061]には、予め顔向きを変化させた様々な画像を取得し、その取得された特定方向からの顔画像を認証辞書として登録しておくことが記載されている。
 また、特許文献2の段落[0015]から段落[0021]には、複数の利用者画像とそれぞれの撮像角度を用いて利用者の3次元情報を生成し、あらかじめ保持している本人の顔の3次元形状と照合することで、写真による本人なりすましを排除することが記載されている。尚、特許文献3,非特許文献1,非特許文献2及び非特許文献3については後述する。
特開2003-178306号公報 特開2004-362079号公報 特開2006-338092号公報
金澤、金谷:「コンピュータビジョンのための画像の特徴点の抽出」、電子情報通信学会誌Vol.87,No.12,2004 T. K. Leung, M. C. Burl, and P. Perona, "Finding Faces in Cluttered Scenes using Random Labeled Graph Matching", Fifth International Conference on Computer Vision pp.637-644, 1995 R. Sukthankar, R. G.Stockton, M. D. Mullin, "Smarter presentations: Exploiting Homography in Camera-Projector Systems", Proceedings of International Conference on Computer Vision, Vol. 1, pp. 247-253, July 2001
 しかしながら、上記文献記載の関連技術は、以下の点で改善の余地を有していた。
 第1に、本人なりすましを検知するために、認証に用いる画像撮影装置以外の付加装置が必要なことである。例えば、異なる照明環境を作り出すには制御可能な外部照明を、また距離測定には専用の距離検出装置を、そして本人の3次元情報を取得するには、複雑な処理装置が必要とされるからである。
 第2に、認証時の照明環境の変動により写真などのなりすましを誤って受け入れてしまう確率が高くなるということである。例えば、主成分分析を利用する手法では、被写体の輝度のばらつきを用いてなりすましを判定することとなるが、認証中に照明環境を大きく変更するなどで容易に被写体の輝度のばらつきを大きくすることとなり、結果として、写真を実物として受け入れてしまう確率が高まるからである。
 本発明は上記事情に鑑みてなされたものであり、その目的とするところは、画像撮影装置以外に付加装置を用いることなく、撮像画像に基づいて、なりすましを高精度に検知できる、なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラムを提供することにある。また、本発明の別の目的は、照明環境の変動に対して頑健ななりすまし判定システムを提供することにある。
 本発明によれば、第1の角度から検査対象物体を撮影して第1画像を得るとともに、その第1の角度と異なる第2の角度からその検査対象物体を撮影して第2画像を得る撮像部と、その第1画像から第1の特徴点を検出し、その検出された特徴点の位置を表す第1特徴点座標を得るとともに、その第2画像から第2の特徴点を検出し、その検出された特徴点の位置を表す第2特徴点座標を得る算出部と、その第1の特徴点とその第2の特徴点を対応付ける特徴点対応付部と、その第2特徴点座標に対してその第2画像からその第1画像への平面的な射影変換を実行して変換座標を得る特徴変換部と、その変換座標とその第1特徴点座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定部と、を備えるなりすまし検知システム、を提供する。
 本発明によれば、第1の角度から検査対象物体を撮影して第1画像を得るステップと、その第1画像から第1特徴点座標を算出するステップと、第2の角度からその検査対象物体を撮影して第2画像を得るステップと、その第2画像から第2特徴点座標を算出するステップと、その第1特徴点座標と、その第2特徴点座標との対応付けを行う特徴点対応付ステップと、その第2特徴点座標に対してその第2画像からその第1画像への平面的な射影変換を実行して変換座標を得る特徴変換ステップと、その変換座標とその第1特徴点座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定ステップと、を備えるなりすまし検知方法、を提供する。
 本発明によれば、第1の角度から撮影された検査対象物体の第1画像から、第1の特徴点の位置である第1特徴点座標を得るとともに、その第1の角度とは異なる第2の角度から撮影されたその検査対象物体の第2画像から、第2の特徴点の位置である第2特徴点座標を得る特徴点座標算出処理と、その第1の特徴点とその第2の特徴点を対応付ける特徴点対応付処理と、その第1の特徴点とその第2の特徴点を用いて対応付けられた、その第2の特徴点の第2の座標に対してその第2画像からその第1画像への平面的な射影変換を実行して変換座標を得る特徴変換処理と、その変換座標とその第1の特徴点の第1座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定処理と、をコンピュータに実行させる、なりすまし検知プログラム、を提供する。
 このような構成を採用し、複数の入力画像が互いに平面的な対応関係にあるか否かを判定することで、画像装置以外の付加装置を用いることなく、なりすましを高精度に検知できるなりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラムを提供できる。
 本発明によれば、検査対象物の画像情報のみに基づき、判定を行うので、撮影装置以外の付加装置を要することなく、なりすまし検知システム、なりすまし検知方法及び、なりすまし検知プログラムを提供できる。また、検査対象物体の輝度のばらつきではなく、特徴点の位置の変動に基づき判定するので、照明環境の変動に対し頑健ななりすまし検知システム、なりすまし検知方法及び、なりすまし検知プログラムを提供できる。
 上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第1の実施形態にかかるなりすまし検知システムの機能ブロック図である。 第1の実施形態の動作を示すフローチャート図である。 第1の実施の形態の具体的態様の機能ブロック図である。 第1の実施形態にかかる具体的態様を示す図である。 第2の実施形態にかかるなりすまし検知システムの機能ブロック図である。
 以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
(第1の実施形態)
 図1はなりすまし検知システムの構成例を示す図である。本実施の形態は、第1の角度から検査対象物体を撮影して第1画像を得るとともに、その第1の角度と異なる第2の角度からその検査対象物体を撮影して第2画像を得る撮像部2と、その第1画像から第1の特徴点を検出し、その検出された特徴点の位置を表す第1特徴点座標を得るとともに、その第2画像から第2の特徴点を検出し、その検出された特徴点の位置を表す第2特徴点座標を得る特徴点座標算出部101と、その第1の特徴点とその第2の特徴点を対応付ける特徴点対応付部102と、その第2特徴点座標に対してその第2画像からその第1画像への平面的な射影変換を実行して変換座標を得る特徴変換部104と、その変換座標とその第1特徴点座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定部105と、を備えるなりすまし検知システム、を提供する。
 ここで、その検査対象物体に対する撮像部2の第1の角度と、第2の角度とのなす角度を一定とすることができる場合、後述する変換行列は事前に算出しておき、図1の平面変換行列推定部103は、何も処理を行わなくても良い。その第1の角度と、第2の角度とのなす角度が変わる場合は、後述するように、その都度平面変換行列推定部103を用いて変換行列を計算し、類似判定を行うことになる。
 なりすまし検知システムは、図1に示すように、プログラム制御により動作するデータ処理装置1とその検査対象物体を撮影する撮像部2とで構成されている。
 ここで、データ処理装置1には、先に述べたように特徴点座標算出部101と、特徴点対応付部102と、平面変換行列推定部103と、特徴変換部104と、類似度判定部105とを備えている。
 撮像部2は、デジタルスチルカメラやデジタルビデオカメラ、CCDカメラモジュールなどであり、その検査対象物体を撮影する機能と、撮影された画像データをデータ処理装置1へ出力する機能を備える。
 特徴点座標算出部101は、撮像部2で撮影されたその検査対象物体の第1の角度の画像(以下、第1画像という)と第2の角度の画像(以下、第2画像という)から、それぞれ第1画像の特徴点の位置をあらわす第1特徴点座標と、第2画像の特徴点の位置をあらわす第2特徴点座標を得る。
 ここで、特徴点とは、その部位を特定の角度から見た場合に同じように見える点を意味し、目の位置や口の端、ほくろや鼻尖、頬骨の最も高い所、ひげの一部、髪の生え際、眼鏡のフレームの角など、周囲に比べ特定のパターンが存在する領域がなりうる。
 これらの特徴点は、例えば画像上の濃淡の変化が大きい点を抽出する手法であるHarris作用素、KLT手法(非特許文献1)や、検出したい特定パターンを事前に登録しておき、テンプレートマッチングにより当該部位を検出する手法(非特許文献2)などを用いて検出される場所を言う。
 一般に、テンプレートマッチングとは、予め登録された特定パターン(テンプレート画像)と撮像画像とを比較し、撮像画像の中から特定パターンと類似する画像領域を探索する方法をいう。本実施形態では、顔の特徴や背景などの種々の特徴点を表す特定パターンが予め用意され、特定パターンと第1画像とを比較することにより上記第1の特徴点が抽出され、特定パターンと第2画像とを比較照合することにより上記第2の特徴点が抽出される。特定パターンとこれに対応すると判定された画像領域との間の相関度は「信頼度」と呼ばれ、この信頼度が高いほど、特定パターンとこれに対応する画像領域とが類似すると判断することができる。
 また、上記では、特徴点を顔上の位置として説明しているが、得られる特徴点は、背景や顔や頭部の前にある隠蔽物体などに得られる特徴点でも構わない。背景や隠蔽物体の特徴点は、写真であれば顔と同様に平面的に移動し、実物であれば顔の角度の変化とは異なる変化が得られることが期待できるためである。
 特徴点対応付部102は、第1の特徴点と第2の特徴点の対応付けを行う。すなわち特徴点座標算出部101で算出された第1特徴点座標と同様に特徴点座標算出部101で算出された第2特徴点座標との対応付けを行う。その特徴点対応付部102で対応付けられたその第1の特徴点とその第2の特徴点との対応関係は、その第1の特徴点とその第2の特徴点の周辺の輝度パターンに基づいて得られる。
 具体的には、その対応関係は、第1の特徴点と第2の特徴点とで、特徴点の周辺の輝度パターンや周波数、エッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて検出された特徴点を対応付けするなどのように対応付けが行われる。この対応付けは、たとえば、第1の特徴点を表す画像領域と第2の特徴点を表す画像領域との間の相関度を算出し、この相関度が高いペア(一対をなす第1および第2の特徴点)を抽出することで実行することができる。以下このように第1の特徴点と第2の特徴点との組を対応点と呼ぶ。
 平面変換行列推定部103は、特徴点対応付部102で対応付けが取れた特徴点の内、一部の特徴点座標を用いて、第2画像を第1画像へ平面的に変換する変換行列を求める。
 平面的に変換する変換行列の算出は、例えば、非特許文献3に記載された方法を使用すればよい。この非特許文献3には、ホモグラフィ行列と呼ばれる変換行列の算出法が記載されている。
 ホモグラフィ行列Hは以下の数1で表せる。
Figure JPOXMLDOC01-appb-M000001
 ここで、ベクトルp=(p1,・・・,p9)とすると、このベクトルのノルムは、|p|=1である。
 ホモグラフィ行列は、検査対象物体の同じ点を撮影する2つのカメラ間の座標変換行列であり、その同じ点を撮影した時の、カメラ1で得られた第1画像上のその点の座標を(x,y)、カメラ2で得られた第2画像上のその点の座標を(X,Y)とする。
 物体表面上のあるn点(n≧4)の二つのカメラ上の座標を、(xi,yi)、(Xi,Yi)とすると、n点を表す第1画像上の点(xi,yi)と第2画像上の点(Xi、Yi)とが対応付けられているとする(i=1・・・n)。
 ここで、行列Aを以下のように定義する。
Figure JPOXMLDOC01-appb-M000002
 この時、|Ap|を最小化するベクトルpを求めることで、二つの画像間の射影を定義する最適ホモグラフィ行列Hが求まる。ここで、記号Tは行列の転置を意味する。このホモグラフィ行列Hを変換行列として用い以下の射影変換を実行することで(xw、yw、w)を得ることができる。
Figure JPOXMLDOC01-appb-M000003
 xw、ywをwで割ることにより、第1画像上の(x、y)が得られる。
 尚、ここではカメラが2台有ることを想定しているが、1台のカメラで撮影角度を変えて撮影することで上記第1画像と第2画像とを得ても良い。
 このように推定した平面変換行列により第2特徴点座標を第1画像上に変換し、変換座標を算出することができる。尚、その変換行列算出時に、対応付けが合っている可能性の高い一部の対応点を用いて変換行列を求めても良い。
 平面変換行列推定部103では、その特徴点対応付部102で対応付けられたその第1の特徴点と、その第2の特徴点とを用いてその第2特徴点変換座標とこれに対応するその第1特徴点座標との誤差(差)が最小となるようにその変換行列を求めればよい。
 次に、対応関係の一部を用いて最適なホモグラフィ行列を推定する方法の具体例を以下に示す。
 ここで、8個の特徴点の対応付けが得られたとする。先ず、上述した通り、ホモグラフィ行列の計算には最低4点の対応付けがあれば足りるので、対応付けされた8点の特徴点のペアのうち4点のペアを用いて第1の暫定変換行列である暫定ホモグラフィ行列を計算する。次に、この暫定ホモグラフィ行列を用いて、4点のペアをなす第2の特徴点座標を第1画像上に射影することにより、4点の変換座標を得る。そして、これら4点の変換座標とこれらとそれぞれ対応する第1の特徴点座標との間の誤差(差)を算出する。一方、残る4点のペアを用いて第2の暫定変換行列である暫定ホモグラフィ行列を計算する。次に、この暫定ホモグラフィ行列を用いて、4点のペアをなす第2の特徴点座標を第1画像上に射影することにより、4点の変換座標を得る。そして、これら4点の変換座標とこれらとそれぞれ対応する第1の特徴点座標との間の誤差(差)を算出する。以上のようにして得られた第1の暫定変換行列と第2の暫定変換行列のうち、誤差(差)の最も小さな暫定変換行列を正式な変換行列(ホモグラフィ行列)として推定する。
 ここで、このホモグラフィ行列の計算の際に、8点の特徴点の対応付けの全てを用いたが、先に得られた対応付けの相関度を閾値処理し、十分に高い相関度が得られている特徴点の対応付けのみを用いて上記の計算をすることで、さらに高精度にホモグラフィ行列を推定することが可能となる。
 上記内容を一般的に表すと、以下のようになる。第1の特徴点と第2の特徴点の対応関係(ペア)がN個存在するとする。N個のペアから、各々が4個のペアを含む第1~第MのグループG~Gを生成する。なお、グループG~Gに含まれるペアは、互いに重複しても構わない。これらグループG~Gについて、それぞれ上記の暫定ホモグラフィ行列PH~PHを算出する。次に、これらグループG~Gについてそれぞれ変換座標を算出し、当該変換座標とこれらに対応する第1の特徴点を表す座標との間の誤差(たとえば、ユークリッド空間上のノルム、あるいはマンハッタン距離)を算出する。そして、誤差の総和の最も小さな暫定変換行列を変換行列(ホモグラフィ行列)として推定する。
 特徴変換部104は、平面変換行列推定部103で算出した変換行列を用いて、第2の座標を第1画像上の変換座標へ平面的な射影変換し第1画像上に第2画像の射影変換座標を得る。
 類似度判定部105は、特徴変換部104で求めた第1画像上の第2画像の射影変換座標と第1画像上の第1座標との誤差(差)を求める。この誤差(差)が一定値以下であれば、第1画像と第2画像に写る検査対象物体は平面的な対応関係があると判定し、写真による本人なりすましが発生していると判定する。尚、ここで類似度が大きいとは、検査対象物体が実物に近いという意味であり、この判定においては、第1画像上の第2画像の射影変換座標と第1画像上の第1座標との誤差(差)が大きいことを言う。
 このような構成とすることにより、第1画像と第2画像とで被写体を撮影する角度が異なる場合に、被写体が写真でなければ平面的な変形が得られず非平面であると判定されるようになる。この結果、被写体が平面か非平面かの判定を行うことが可能となる。
 また、本実施形態では、第1画像と第2画像に写る被写体が平面的に変形しているという判定が一定時間得られた場合に、被写体が写真であると判定しても構わない。
 本実施の形態では、このように、本人認証を行う際に検査対象物体を異なる角度から撮影したお互いに角度が異なる2方向からの画像が互いに平面的な射影影関係にあるか否かのみでなりすまし検知を行うように構成されているため、本人登録時に認証者本人の3次元情報を登録する必要はない。
 従って、本人登録時に3次元情報を得る時のように多方向から本人画像を撮影する必要がないので、ユーザの利便性がよくなる。
 次に第1の実施形態のなりすまし検知方法を図2のフローチャートを用いて説明する。
 図2のなりすまし検知方法は、第1の角度から検査対象物体を撮影して第1画像を得るステップA01と、その第1画像から第1の特徴点を検出し、この検出された特徴点の位置を表す第1特徴点座標を算出するステップA02と、第2の角度から前記検査対象物体を撮影して第2画像を得るステップA03と、その第2画像から第2の特徴点を検出し、この検出された特徴点の位置を表す第2特徴点座標を算出するステップA04と、その第1特徴点座標と、その第2特徴点座標との対応付けを行う特徴点対応付ステップA05と、その第2特徴点座標に対してその第2画像からその第1画像への平面的な射影変換を実行して変換座標を得る特徴変換ステップA07と、その変換座標とその第1特徴点座標との誤差が一定値以下となる場合に、なりすましが試みられたと判定する類似度判定ステップA10と、を備える。
 ここで、その第1の角度と第2の角度とのなす角度を一定とすることができる場合、後述する変換行列ステップA06は事前に算出しておき、図2の平面変換行列推定ステップA06は省略して構わない。第1の角度と第2の角度とのなす角度が変わる場合は、後述するように、その都度変換行列推定ステップA06の計算行い、類似度計算ステップA08を行い類似度の判定A09~A11を行うことになる。
 次に各ステップの説明を行う。
(ステップA01)
 まず、撮像部2により被写体の第1の角度の画像を撮影する。
(ステップA02)
 次に、第1画像を受けた第1の特徴座標算出ステップA02では、第1画像から第1の特徴点の位置である第1の座標を算出する。
 ここで、特徴点とは、その部位を特定の角度から見た場合に同じように見える点を意味し、目の位置や口の端、ほくろや鼻尖、頬骨の最も高い所、ひげの一部、髪の生え際、眼鏡のフレームの角など、周囲に比べ特定のパターンが存在する領域がなりうる。また、上記では、特徴点を顔上の位置として説明しているが、得られる特徴点は、背景や顔や頭部の前にある隠蔽物体などに得られる特徴点でも構わない。背景や顔や頭の隠蔽物体の特徴点は、写真であれば顔と同様に平面的に移動し、実物であれば顔の角度の変化とは異なる変化が得られることが期待できるためである。
 これらの特徴点は、例えば画像上の濃淡の変化が大きい点を抽出する手法や、検出した特定パターンを事前に登録しておき、テンプレートマッチングにより当該部位を検する手法によって得られるものでもかまわない。また、特徴点は、1つ以上の様々な部位で構成されているが、第1の特徴点と第2の特徴点が全て同じ部位である必要はない。
 (ステップA03)
 続いて、撮像部2により被写体の第2の角度の画像を撮影する。
 (ステップA04)
 第2画像を受けた特徴点座標算出部101は、第2画像から第2の特徴点の位置である第2の座標を算出する。
 (ステップA05)
 第1の特徴点座標算出ステップA02と第2の特徴点座標算出ステップA04で算出した2つの特徴点座標を用いて対応付けを行う。
 また、その対応関係は、第1の特徴点と第2の特徴点とで、特徴点の周辺の輝度パターン、周波数、そしてエッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどの方法により得られる。
 (ステップA06)
 上記により対応が得られた第1特徴点座標と第2特徴点座標とを用いて、その第2画像を第1画像へ平面的に変換する変換行列を求める。すなわち、平面変換行列推定ステップは、特徴点対応付が取れた特徴点の内、一部の特徴点座標を用いて、第2画像を第1画像へ平面的に射影変換する。
 尚、第1画像を撮影した第1の角度と、第2画像を撮影した第2の角度とがなす角度が固定されている場合、予め変換行列の計算をしておけば平面変換行列推定ステップA06は省略できる。
 その特徴点対応付部102で対応付けられた第1の特徴点と第2の特徴点との対応関係は、たとえば、上述した通り、その第1の特徴点とその第2の特徴点との周辺の輝度パターンに基づいて得られるなりすまし検知方法であってもよい。
  また、変換行列算出時に、対応付けが合っている可能性の高い一部の対応点を用いて変換行列を求めるなりすまし検知方法であってもよい。
 ここで、第1の特徴点と第2の特徴点の対応関係(ペア)がN個存在するとする。N個のペアから、各々が4個のペアを含む第1~第MのグループG~Gを生成し、これらグループG~Gについて、それぞれ複数の暫定変換行列を算出するステップと、その暫定行列を用いてその第2の特徴点に対し射影変換を実行して暫定変換座標を得て、その暫定変換座標とこれに対応する第1の特徴点を表す座標との誤差(たとえば、ユークリッド空間上のノルム、あるいはマンハッタン距離)を算出するステップと、次に、これらグループG~Gについてそれぞれ複数の暫定変換行列のうち最も小さな誤差を持つ暫定変換行列をその変換行列として選択するステップと、を含む、なりすまし検知方法であっても良い。
 その平面変換行列推定ステップは、その特徴点対応付ステップにて対応付けられたその第1の特徴点とその第2の特徴点とを用いて、第2の特徴点を暫定変換行列により座標変換を算出するステップと、算出した変換座標とその特徴点に対応する第1の特徴点との誤差(差)が最小となる暫定行列を変換行列とするなりすまし検知方法であっても良い。
 そして、その変換行列が、上述したホモグラフィ行列である、なりすまし検知方法であっても良い。
 尚、その第1の角度とその第2の角度はあらかじめ与えられている場合は、平面変換行列による変換座標は予め求めて置いても良い。
 (ステップA07)
 特徴点変換処理(擬似正面特長算出ステップ)は、その平面変換行列処理によって得られた変換行列を用いて、その射影変換を実行する特徴変換(擬似正面特徴算出)ステップを備えている。
 特徴変換(擬似正面特徴算出)ステップは、平面変換行列推定ステップA06で算出した変換行列を用いて、第2の座標を第1画像上に射影変換するステップである。
 (ステップA08)
 最後に、類似度計算ステップA08は、特徴変換(擬似正面特徴算出)ステップA07で求めた第1画像上に射影された第2画像の射影された変換座標と第1画像の変換座標との座標の誤差(差)を求める。
 (ステップA09)
 この第1画像変換座標と射影された第2画像の射影変換座標との誤差(差)を類似度として閾値と比較する。
 (ステップA10、A11)
 この誤差(差)が一定値以下であれば、第1画像と第2画像に写る検査対象物体は平面的な対応関係があると判定し、写真による本人なりすましが発生していると判定する。尚、ここで類似度が大きいとは、実物に近いという意味であり、この判定においては、誤差(差)が大きいことを言う。
 このような構成とすることにより、第1画像と第2画像とで被写体を撮影する角度が異なる場合に、被写体が写真でなければ平面的な変形が得られず非平面であると判定されるようになる。この結果、被写体が平面か非平面かの判定を行うことが可能となる。
 また、本実施形態では、第1画像と第2画像に写る被写体が平面的に変形しているという判定が一定時間得られた場合に、被写体が写真であると判定しても構わない。
 類似度がしきい値より大きければ写真と判定A10し、小さければ実物と判定A11し、処理を終了する。
 本願の構成では、このように、平面変換行列により、第2画像を第1画像上に変換し、変換座標を算出する方法によって、なりすまし検査をできるので、本人認証を行う時に検査対象物体を異なる角度から撮影した複数の画像が互いに平面的な射影関係にあるか否かのみでなりすまし検知を行うように構成されているため、本人登録時に認証者本人の3次元情報を登録する必要はない。
 従って、本人登録時に複数方向から本人画像を撮影する必要がないので、ユーザの利便性がよくなる。
 次に、図1及び図3を用いて、第1の実施形態のプロプラムについて説明する。尚、図3は後述する図1の具体的対応を示す図である。
 図1のデータ処理装置1、図3のデータ処理装置6はそれぞれ、マイクロプロセッサ、ROM、RAM、信号伝達用バスおよび入出力インターフェースを備えた集積回路で構成することができる。データ処理装置1および6の機能ブロック101、102、103、104、601及び602の全部または一部は、半導体集積回路などのハードウェアで実現されてもよいし、あるいは、不揮発性メモリや光ディスクなどの記録媒体に記録されたプログラムまたはプログラムコードで実現されてもよい。このようなプログラムまたはプログラムコードは、機能ブロック101、102、103、104、601及び602の全部または一部の処理を、CPUなどの演算装置を有するコンピュータに実行させるものである。
 図1において、なりすまし検知プログラムは、第1の角度から撮影された検査対象物体の第1画像から、第1の特徴点の位置である第1の特徴点座標を得るとともに、その第1の角度とは異なる第2の角度から撮影されたその検査対象物体の第2画像から、第2の特徴点の位置である第2特徴点座標を得る特徴点算出処理と、その第1の特徴点とその第2の特徴点を対応付ける特徴点対応処理と、その第1の特徴点を用いて対応付けられた、その第2の特徴点の第2の座標に対してその第2画像からその第1画像への平面的な射影変換を実行して変換座標を得る特徴変換処理と、その変換座標とその第1の特徴点の第1座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定処理と、をコンピュータに実行させる。
 ここで、その検査対象物体に対する撮像部2の第1の角度と、第2の角度とのなす角度を一定とすることができる場合、後述する変換行列は事前に算出しておけば、図1の平面変換行列推定処理は、何も処理を行わなくても良い。その第1の角度と、第2の角度とのなす角度が変わる場合は、後述するように、その都度平面変換行列推定処理により変換行列を計算し、類似判定処理を行うことになる。
 図1の特徴点座標算出部101では、撮像部2により被写体の第1の角度の画像を取得し、第1画像から第1の特徴点の第1の座標を算出する処理と、続いて、その第1の角度とは異なる第2の角度から撮影されたその検査対象物体の第2画像から、第2の特徴点の第2の座標を算出する処理とをコンピュータに実行させる。
 ここで、特徴点とは、その部位を特定の角度から見た場合に同じように見える点を意味し、目の位置や口の端、ほくろや鼻尖、頬骨の最も高い所、ひげの一部、髪の生え際、眼鏡のフレームの角など、周囲に比べ特定のパターンが存在する領域がなりうる。また、上記では、特徴点を顔上の位置として説明しているが、得られる特徴点は、背景や顔や頭部の前にある物体などに得られる特徴点でも構わない。
 そして、これらの特徴点は、例えば画像上の濃淡の変化が大きい点を抽出する手法や、検出しい特定パターンを事前に登録しておき、テンプレートマッチングにより当該部位を検出する手法によって得られるものでもかまわない。また、特徴点は、1つ以上の様々な部位で構成されているが、第1の特徴点と第2の特徴点が全て同じ部位である必要はない。
 図1の特徴点対応部は、特徴点座標算出部101で特徴点算出処理された2つの特徴点座標を用いて特徴点対応付け処理をコンピュータに実行させる。
 ここで、その対応関係は、第1の特徴点と第2の特徴点とで、特徴点の周辺の輝度パターン、周波数、そしてエッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどの方法により得られる。
 図1の平面変換行列推定部103では、上記により対応が得られた第1特徴点座標と第2特徴点座標から平面変換行列を推定し、推定した平面変換行列により第2特徴点座標を第1画像上に変換し、変換座標を得る処理をコンピュータに実行させる。
 尚、第1画像を撮影した第1の角度と、第2画像を撮影した第2の角度とがなす角度が固定されている場合は予め変換行列の計算をしておけば平面変換行列推定部103は省略できる。
 その特徴点対応部102で対応付けられたその第1の特徴点とその第2の特徴点との対比関係は、例えば上述の通りその第1の特徴点とその第2の特徴点との周辺の輝度パターンに基づいて得らる処理であっても良い。
 また、その変換行列算出時に、対応付けがあっている可能性の高い一部の対応点を用いて変換行列を求めるなりすまし検知プログラムであってもよい。
 その変換行列算出時に、一部の対応点を用いて暫定変換行列を算出し、その暫定変換行列の算出に用いていない第2の特徴点を暫定変換行列により変換し変換座標を算出し、算出した変換座標とその特徴点に対応する第1の特徴点との誤差(差)が最小となる暫定変換行列を変換行列とするなりすまし検知プログラムであってもよい。
 その変換行列は、その第2画像をその第1画像へ平面的に射影する変換行列であるなりすまし検知プログラムあってもよい。
 そして、その変換行列が、ホモグラフィ行列であるなりすまし検知プログラムであっても良い。
 尚、その第1の角度とその第2の角度はあらかじめ与えられている場合は、平面変換行列による変換座標は予め求めて置いても良い。
 第1の特徴点と第2の特徴点の対応関係(ペア)がN個存在するとする。N個のペアから、各々が4個のペアを含む第1~第MのグループG~Gを生成し、これらグループG~Gについて、それぞれ上記の暫定ホモグラフィ行列PH~PHを算出する処理と、次に、これらグループG~Gについてそれぞれ変換座標を得、当該変換座標とこれらに対応する第1の特徴点を表す座標との間の誤差(たとえば、ユークリッド空間上のノルム、あるいはマンハッタン距離)を算出する処理と、そして、誤差の総和の最も小さな暫定変換行列を変換行列(ホモグラフィ行列)として選択する処理とをコンピュータに実行させる。なお、そのグループG~Gに含まれるペアは、互いに重複しても構わない。
 図1の特徴変換部104は、平面変換行列推定処理で得た変換行列を用いて、第2の特徴点標を第1特徴点座標への射影変換処理をコンピュータに実行させる。
 図1の、類似度判定部105は、特徴変換部104で求めた第1画像上の変換座標と射影変換された第2画像の射影変換座標の画像との誤差(差)を求める処理をコンピュータに実行させる。
 類似判定処理では、変換座標と対応する第2の座標との誤差(差)を類似度として閾値と比較する処理をコンピュータに実行させる。この誤差(差)が一定値以下であれば、第1画像と第2画像に写る検査対象物体は平面的な対応関係があると判定し、写真による本人なりすましが発生していると判定する。尚、ここで類似度が大きいとは、実物に近いという意味であり、この判定においては、誤差(差)が大きいことを言う。
 このような構成とすることにより、第1画像と第2画像とで被写体を撮影する角度が異なる場合に、被写体が写真でなければ平面的な変形が得られず非平面であると判定されるようになる。この結果、被写体が平面か非平面かの判定を行うことが可能となる。
 また、本実施形態では、第1画像と第2画像に写る被写体が平面的に変形しているという判定が一定時間得られた場合に、被写体が写真であると判定しても構わない。
 類似度がしきい値より大きければ写真と判定し、小さければ実物と判定し、コンピュータに処理を終了させる。
 本願の構成では、このように、平面変換行列により、第2画像を第1画像上に変換し、変換座標を算出する方法によって、なりすまし検査をできるので、本人認証を行う時に検査対象物体を異なる角度から撮影した複数の画像が互いに平面的な射影関係にあるか否かのみでなりすまし検知を行うように構成されているため、本人登録時に認証者本人の3次元情報を登録する必要はない。従って、本人登録時に複数方向から本人画像を撮影する必要がないので、ユーザの利便性が良くなる。
(第1の実施形態の具体的態様)
 次に、第1の実施形態の具体的態様を説明する。図3は、図1のなりすまし検知システムを携帯電話5に適用した図である。
 かかる実施の形態の具体的態様は、カメラ付き携帯電話5を想定し、撮像部2は携帯電話5付属のCCDカメラ7であり、事前にこの携帯電話5はセキュリティロックがかかっているものとする。
 ユーザは、本携帯電話5のセキュリティロックの解除を行う際に、携帯電話5のキーボタンを押したり、折り畳み式携帯電話5であれば、携帯電話5を開いたり、あるいはスライド式携帯電話5であれば、スライドするなど、携帯電話5を使用するための動作を行う。
 これらの動作をトリガーとして、携帯電話5はCCDカメラ7から検査対象物体12の画像を取得する。続いて、取得した画像中の生体情報が、記憶装置8の登録特徴記憶部801に予め登録されている特徴と同一人物から得られたか否かを本人認証部601で判定する。ここで、入力画像と登録特徴との照合は、例えば特許文献3などに記載の顔照合手法などに基づき行われる。この照合の結果、検査対象物体12の画像は、登録特徴が得られた人物と同一人物の画像であると判定されると、携帯電話5のモニター9やスピーカー10やLEDディスプレイ11などを通してユーザに対し生体情報を撮影する角度を変更するように指示を出す。
 またユーザに対する指示の前後に、本人認証に用いた画像を第1の角度の画像として特徴点座標算出部101に送り、特徴点座標算出部101で第1の特徴点の第1の座標を得る。
 続いて、特徴点座標算出部101は、第1画像と異なる第2の角度の画像をCCDカメラ7から取得し、第2の特徴点座標を算出する。
 特徴点対応付部102は、第1の特徴点と第2の特徴点の対応付けを行う。すなわち特徴点座標算出部101で算出された第1特徴点座標と同様に特徴点座標算出部101で算出された第2特徴点座標との対応付けを行う。
 また、その対応関係は、第1の特徴点と第2の特徴点とで、特徴点の周辺の輝度パターン、周波数、そしてエッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどの方法により得られる。また、その対応関係は、第1の特徴点と第2の特徴点とで、特徴点の周辺の輝度パターンや周波数、エッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどにより得られる。
 平面変換行列推定部103では、その特徴点対応付部102で対応付けられたその第1の特徴点と、その第2の特徴点とを用いてその第2特徴点座標とこれに対応するその第1特徴点座標との誤差(差)が最小となるようにその変換行列を求める。
 この際、検査対象物体12が、実物の顔である場合、図4(a)のように第2の画像の特徴点の座標を第1画像上に平面的に射影変換した変換座標は、対応する第1の座標に対して位置の誤差(差)が発生する。
 図4(a)には、第1の角度でから検査対象物体を撮影した第1の画像13と第1の画像13の検査対象物体を左側に回り込んで第2の角度から撮影した第2の画像14とが一番上側に示されている。第1の画像13の下側にはその特徴点の座標を算出した特徴点座標15が、第2の画像14の下側にはその特徴点の座標を算出した特徴点座標16が示されている。そして第1画像の特徴点座標15と第2の画像特徴点座標16の下側には、第1の画像の特徴点座標と第2の画像の特徴点座標を第1画像上に平面的に射影した特徴点座標とがそれぞれ星印で示されている。更にその下側には第1の画像の特徴点座標と第2の画像の特徴点座標を第1画像上に平面的に射影した特徴点座標との比較が示してある。この図で第1の画像の特徴点座標と、第2の画像の特徴点座標を第1画像上に平面的に射影した特徴点座標とのずれている部分(鼻の頭など)を矢印で示してある。このことより検査対象物体は立体的であり、実顔と判定できる。
 一方、図4(b)には写真の顔を撮影した場合の判定の流れを示す。
 第1の角度から検査対象物体を撮影した第1の画像23と検査対象物体である額縁21を回転させ(検査対処物体の額縁23の左側の)第2の角度から撮影した画像24とが一番上側に示されている。第1の画像23の下側にはその特徴点の座標を算出した特徴点座標25が、第2の画像24の下側にはその特徴点の座標を算出した特徴点座標26が示されている。そして第1画像の特徴点座標25と第2の画像特徴点座標26の下側には、第1の画像の特徴点座標と第2の画像の特徴点座標を第1画像上に平面的に射影した特徴点座標とがそれぞれ星印で示されている。更にその下側には第1の画像の特徴点座標と第2の画像の特徴点座標を第1画像上に平面的に射影した座標との比較が示してある。この図で、第1の画像の特徴点座標と第2の画像の特徴点座標を第1画像上に平面的に射影した特徴点座標とがほぼ一致していることを太い矢印で示している。このことより検査対象物体は平面的な写真であり、なりすましであると判定できる。
 この座標の誤差(差)が、閾値以上である場合に、検査対象物体12は実物の顔であると判定し、図3のロック解除部602にて携帯電話5のセキュリティロックを解除する。
 座標の誤差(差)が閾値未満である場合、セキュリティロックを解除せずに処理を終了する。尚、本実施例では、座標の誤差(差)が閾値未満である場合に、処理をすぐに終了しているが、座標の誤差(差)が閾値を越えるまで一定時間、第2画像を繰り返し取得してなりすまし判定を行っても構わない。
 このように、実装することで、写真やモニター9に表示した顔画像を用いて、携帯電話5のセキュリティロックの解除を試みられた場合に、撮影装置以外の付加装置を要せず、また、照明環境の変動に対し頑健に、また、被写体の3次元情報を登録することなくなりすまし検知を行うことができ、携帯電話5への不正アクセスを防止することが可能である。
 次に、第1の実施形態の効果について説明する。
 本実施の形態では、検査対象物体12を撮影した画像のみに基づき、なりすまし検知を行うように構成されているため、撮影装置以外の付加装置を要することなくなりすまし検知ができる。
 また、本実施の形態では、さらに、検査対象物の輝度のばらつきではなく、特徴点の位置の変動に基づきなりすまし検知を行うように構成されているため、検査対象物体12の周囲の照明環境の変動に対し頑健になりすまし検知できる。
 また、本実施の形態では、さらに、本人認証を行う時に検査対象物体12を異なる角度から撮影した複数の画像が互いに平面的な射影関係にあるか否かのみでなりすまし検知を行うように構成されているため、本人登録時に認証者本人の3次元情報を登録する必要はない。従って、本人登録時に複数方向から本人画像を撮影する必要がないので、ユーザの利便性がよくなる。
(第2の実施形態)
 次に、本発明の第2の実施の形態について図5を用いて説明する。
 第2の実施形態は、第1の角度から12を撮影して第1画像を得る第1の撮像部2と、その第1の角度とは異なる第2の角度からその検査対象物体12を撮影する第2画像を得る第2の撮像部3と、その第1画像から第1の特徴点を検出し、その検出された特徴点の位置を表す第1特徴点座標を得るとともに、その第2画像から第2の特徴点を検出し、当該検出された特徴点の位置を表す第2特徴点座標を得る特徴点座標算出部401と、その第1の特徴点とその第2の特徴点を対応付ける特徴点対応付部102と、その第2特徴点座標をその第1画像へ平面的に変換して、変換座標を得る特徴変換部104と、その変換座標とその第1特徴点座標との誤差(差)が一定値以下となる場合になりすましが試みられたと判定する類似度判定部105と、を備えるなりすまし検知システム、を提供する。
 図5を参照すると、本発明の第2の実施の形態は、プログラム制御による動作するデータ処理装置4が、図1に示された第1の実施の形態におけるデータ処理装置1、特徴点座標算出部101が特徴点座標算出部401に置き換わっている点と、第1の実施の形態に撮像部3が追加されている点が異なる。
 撮像部2と撮像部3は、検査対象物体12を互いに異なる角度から撮影するように配置されている。この撮像装置2及び3は、具体的態様において、携帯電話5に2台のCCDカメラ7を設けることにしても良い。このようにすることにより、第1の角度と第2の角度を固定できるので予め平面変換行列を計算して置き、平面変換行列推定部103を削除できる。
 特徴点座標算出部401は、撮像部2と撮像部3から第1の角度の第1画像と第1の角度とは異なる第2の角度の第2画像をほぼ同時に取得し、それぞれ第1特徴点座標と第2特徴点座標を取得する。
 特徴点対応付部102は、第1の特徴点と第2の特徴の対応付けを行う。すなわち特徴点座標算出部401で算出された第1特徴点座標と同様に特徴点座標算出部401で算出された第2特徴点座標との対応付けを行う。
 また、その対応関係は、第1の特徴点と第2の特徴点とで、特徴点の周辺の輝度パターン、周波数、そしてエッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどの方法により得られる。また、その対応関係は、第1の特徴点と第2の特徴点とで、特徴点の周辺の輝度パターンや周波数、エッジ成分などが類似する特徴点を対応付ける。あるいはテンプレートマッチングを用いて対応が取れている特徴点を検出するなどにより得られる。 
 平面変換行列推定部103は、前記特徴点座標算出部401で抽出された第1の座標と第2の座標に基づき、第2画像を第1画像へ平面的に変換する変換行列を求める。
 この時、撮像部2と撮像部3は、なす角度が固定であると仮定できる場合、変換行列は撮像部2と撮像部3のなす角度から事前に算出して置いても良い。この場合、平面変換行列推定部103では何も処理を行わない。 
 以降は、第1の実施形態と同様に処理される。
 次に、第2の実施形態の効果について説明する。
 第1にこのように構成することで、本発明の実施の形態は、第1の実施の形態と同様の効果を得ることができる。また、この構成により、検査対象物体12に撮影角度を変える動作を要求する必要がなくなり、利便性が改善されることが期待できる。
 この出願は、2008年10月28日に出願された日本出願特願2008-277212号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (33)

  1.  第1の角度から検査対象物体を撮影して第1画像を得るとともに、前記第1の角度と異なる第2の角度から前記検査対象物体を撮影して第2画像を得る撮像部と、
     前記第1画像から第1の特徴点を検出し、当該検出された特徴点の位置を表す第1特徴点座標を得るとともに、前記第2画像から第2の特徴点を検出し、当該検出された特徴点の位置を表す第2特徴点座標を得る特徴点座標算出部と、
     前記第1の特徴点と前記第2の特徴点を対応付ける特徴点対応付部と、
     前記第2特徴点座標に対して前記第2画像から前記第1画像への平面的な射影変換を実行して変換座標を得る特徴変換部と、
     前記変換座標と前記第1特徴点座標との誤差が一定値以下となる場合に、なりすましが試みられたと判定する類似度判定部と、
    を備える、なりすまし検知システム。
  2.  請求項1記載のなりすまし検知システムにおいて、
     前記第1の特徴点と前記第2の特徴点は、画像上の濃淡の変化が大きい点である、なりすまし検知システム。
  3.  請求項1記載のなりすまし検知システムにおいて、
     前記第1の特徴点と前記第2の特徴点は、予め登録された部位に対応する点である、なりすまし検知システム。
  4.  請求項1乃至3いずれか記載のなりすまし検知システムにおいて、
     前記第1の特徴点と前記第2の特徴点は、前記検査対象物体の特徴点に加えて、検査対象物体以外の物体の特徴点を含む、なりすまし検知システム。
  5.  請求項1乃至4いずれか記載のなりすまし検知システムにおいて、
     前記第1特徴点座標と前記第2特徴点座標とを用いて前記第2画像から前記第1画像への変換行列を求める平面変換行列推定部を備え、前記特徴変換部は、前記変換行列を用いて前記射影変換を実行する、なりすまし検知システム。
  6.  請求項5記載のなりすまし検知システムにおいて、
     前記特徴点対応付部で対応付けられた前記第1の特徴点と前記第2の特徴点との対応関係は、前記第1の特徴点と前記第2の特徴点との周辺の輝度パターンに基づいて得られる、なりすまし検知システム。
  7.  請求項5又は6記載のなりすまし検知システムにおいて、
     前記平面変換行列推定部は、前記特徴点対応付部で対応付けられた前記第1の特徴点と第2の特徴点の内、一部の対応付けられた特徴点のペアから、各々が4個のペアを含む複数のグループを生成し、前記複数のグループについてそれぞれ複数の暫定変換行列を算出し、前記暫定変換行列を用いて前記第2の特徴点に対し前記射影変換を実行して暫定変換座標を得、前記暫定変換座標とこれに対応する第1の特徴点を表す座標との誤差を算出し、前記複数の暫定変換行列のうち最も小さな誤差を持つ暫定変換行列を前記変換行列として選択する、なりすまし検知システム。
  8.  請求項5又は6記載のなりすまし検知システムにおいて、
     前記平面変換行列推定部は、前記特徴点対応付部で対応付けられた前記第1の特徴点と、前記第2の特徴点とを用いて前記変換座標とこれに対応する前記第1特徴点座標との誤差が最小となるように前記変換行列を求める、なりすまし検知システム。
  9.  請求項5乃至8いずれか記載のなりすまし検知システムにおいて、
     前記変換行列が、ホモグラフィ行列である、なりすまし検知システム。
  10.  請求項5記載のなりすまし検知システムにおいて、
     前記第1の角度と前記第2の角度とが予め決められており、前記第2画像から前記第1画像への変換行列が予め用意されている、なりすまし検知システム。
  11.  請求項1乃至10いずれか記載のなりすまし検知システムにおいて、
     予め前記検査対象物体の特徴が登録されている登録特徴記憶部と、
     前記撮像部により前記第1の角度から前記検査対象物体を撮影して得た第1画像と、前記登録特徴記憶部に登録されていた特徴とのパターン照合を行う本人認証部と、
     前記パターン照合により比較した結果、同一人物であると判断したときに、
    前記検査対象物体を撮影する角度を変えるように指示を出すスピーカーと、
    を備える、なりすまし検知システム。
  12.  請求項1乃至11いずれか記載のなりすまし検知システムにおいて、
     当該なりすまし検知システムが通信装置に組み込まれており、 
     前記類似度判定部がなりすましでないと判定したときに通信装置のセキュリティロックを解除し、なりすましと判定したときに前記通信装置のセキュリティロックを解除しないロック解除部を備える、なりすまし検知システム。
  13.  請求項1乃至12いずれか記載のなりすまし検知システムにおいて、
     前記撮像部は、前記第1画像を得る第1の撮像部と、前記第2画像を得る第2の撮像部と、を有するなりすまし検知システム。
  14.  第1の角度から検査対象物体を撮影して第1画像を得るステップと、
     前記第1画像から第1の特徴点を検出し、当該検出された特徴点の位置を表す第1特徴点座標を算出するステップと、
     第2の角度から前記検査対象物体を撮影して第2画像を得るステップと、
     前記第2画像から第2の特徴点を検出し、当該検出された特徴点の位置を表す第2特徴点座標を算出するステップと、
     前記第1特徴点座標と、前記第2特徴点座標との対応付けを行う特徴点対応付ステップと、
     前記第2特徴点座標に対して前記第2画像から前記第1画像への平面的な射影変換を実行して変換座標を得る特徴変換ステップと、
     前記変換座標と前記第1特徴点座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定ステップと、
    を備える、なりすまし検知方法。
  15.  請求項14記載のなりすまし検知方法において、
     前記第1の特徴点と前記第2の特徴点は、画像上の濃淡の変化が大きい点とする、なりすまし検知方法。
  16.  請求項14記載のなりすまし検知方法において、
     前記第1の特徴点と前記第2の特徴点は、予め登録された部位に対応する点である、なりすまし検知方法。
  17.  請求項14乃至16いずれか記載のなりすまし検知システムにおいて、
     前記第1の特徴点と前記第2の特徴点は、前記検査対象物体の特徴点に加えて、検査対象物体以外の物体の特徴点を含む、なりすまし検知方法。
  18.  請求項14乃至17いずれか記載のなりすまし検知方法において、
     前記第1特徴点座標と前記第2特徴点座標とを用いて前記第2画像から前記第1画像への変換行列を求める平面変換行列推定ステップを備え、前記特徴変換ステップでは、前記変換行列を用いて前記射影変換が実行される、なりすまし検知方法。
  19.  請求項18記載のなりすまし検知方法において、
     前記特徴点対応付ステップで対応付けられた前記第1の特徴点と前記第2の特徴点との対応関係は、前記第1の特徴点と前記第2の特徴点との周辺の輝度パターンに基づいて得られる、なりすまし検知方法。
  20.  請求項18又は19記載のなりすまし検知方法において、
     前記平面変換行列推定ステップは、
     前記特徴点対応付ステップで対応付けられた前記第1の特徴点と第2の特徴点の内、一部の対応付けられた特徴点のペアから、各々が4個のペアを含む複数のグループを生成し、前記複数のグループについてそれぞれ複数の暫定変換行列を算出するステップと、
     前記暫定変換行列を用いて前記第2の特徴点に対し前記射影変換を実行して暫定変換座標を得、前記暫定変換座標とこれに対応する前記第1の特徴点を表す座標との誤差を算出するステップと、
     前記複数の暫定変換行列のうち最も小さな誤差を持つ暫定変換行列を前記変換行列として選択するステップと、
    を含む、なりすまし検知方法。
  21.  請求項18又は19記載のなりすまし検知方法において、
     前記平面変換行列推定ステップは、前記特徴点対応付ステップにて対応付けられた前記第1の特徴点と前記第2の特徴点とを用いて、前記変換座標とこれに対応する前記第1特徴点座標との誤差が最小となるように前記変換行列を求める、なりすまし検知方法。
  22.  請求項18乃至21いずれか記載のなりすまし検知方法において、
     前記変換行列が、ホモグラフィ行列である、なりすまし検知方法。
  23.  請求項18項記載のなりすまし検知方法において、
     前記第1の角度と前記第2の角度とが予め決められており、前記第2画像から前記第1画像への変換行列が予め用意されている、なりすまし検知方法。
  24.  第1の角度から撮影された検査対象物体の第1画像から、第1の特徴点の位置である第1特徴点座標を得るとともに、前記第1の角度とは異なる第2の角度から撮影された前記検査対象物体の第2画像から、第2の特徴点の位置である第2特徴点座標を得る特徴点座標算出処理と、
     前記第1の特徴点と前記第2の特徴点を対応付ける特徴点対応付処理と、
     前記第1の特徴点と前記第2の特徴点を用いて対応付けられた、前記第2の特徴点の第2の座標に対して前記第2画像から前記第1画像への平面的な射影変換を実行して変換座標を得る特徴変換処理と、
     前記変換座標と前記第1の特徴点の第1座標との誤差が一定値以下となる場合になりすましが試みられたと判定する類似度判定処理と、
    をコンピュータに実行させる、なりすまし検知プログラム。
  25.  請求項24記載のなりすまし検知プログラムにおいて、
     前記第1の特徴点と前記第2の特徴点は、画像上の濃淡の変化が大きい点である、
    なりすまし検知プログラム。
  26.  請求項24記載のなりすまし検知プログラムにおいて、
     前記第1の特徴点と前記第2の特徴点は、予め登録された部位に対応する点である、なりすまし検知プログラム。
  27.  請求項24乃至26いずれか記載のなりすまし検知プログラムにおいて、
    前記第1の特徴点と前記第2の特徴点は、前記検査対象物体の特徴点に加えて、検査対象物体以外の物体の特徴点を含む、なりすまし検知プログラム。
  28.  請求項24乃至27いずれか記載のなりすまし検知プログラムにおいて、
     前記第1特徴点座標と前記第2特徴点座標とを用いて前記第2画像から前記第1画像への変換行列を求める平面変換行列推定処理をコンピュータに実行させ、前記特徴変換処理は、前記変換行列を用いた前記射影変換である、なりすまし検知プログラム。
  29.  請求項28記載のなりすまし検知プログラムにおいて、
     前記特徴点対応付処理で対応付けられた前記第1の特徴点と前記第2の特徴点との対応関係は、前記第1の特徴点と前記第2の特徴点との周辺の輝度パターンに基づいて得られる、なりすまし検知プログラム。
  30.  請求項28又は29記載のなりすまし検知プログラムにおいて、
     前記平面変換行列推定処理は、
     前記特徴点対応付処理で対応付けられた前記第1の特徴点と第2の特徴点の内、一部の対応付けられた特徴点のペアから、各々が4個のペアを含む複数のグループを生成し、前記複数のグループについてそれぞれ複数の暫定変換行列を算出する処理と、
     前記暫定変換行列を用いて前記第2の特徴点に対し前記射影変換を実行して暫定変換座標を得、前記暫定変換座標とこれに対応する第1の特徴点を表す座標との誤差を算出する処理と、
     前記複数の暫定変換行列のうち最も小さな誤差を持つ暫定変換行列を前記変換行列として選択する処理と、
    を含む、なりすまし検知プログラム。
  31.  請求項28又は29記載のなりすまし検知プログラムにおいて、
     前記平面変換行列推定処理は、前記特徴点対応付処理で対応付けられた前記第1の特徴点と、前記第2の特徴点とを用いて前記変換座標とこれに対応する前記第1特徴点座標との誤差が最小となるように前記変換行列を求める、なりすまし検知プログラム。
  32.  請求項28乃至31いずれか記載のなりすまし検知プログラムにおいて、
     前記変換行列が、ホモグラフィ行列である、なりすまし検知プログラム。
  33.  請求項28記載のなりすまし検知プログラムにおいて、
     前記第1の角度と前記第2の角度とが予め決められており、前記第2画像から前記第1画像への変換行列が予め用意されている、なりすまし検知プログラム。



     
PCT/JP2009/005709 2008-10-28 2009-10-28 なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム WO2010050206A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010535673A JP5445460B2 (ja) 2008-10-28 2009-10-28 なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
US13/126,339 US8860795B2 (en) 2008-10-28 2009-10-28 Masquerading detection system, masquerading detection method, and computer-readable storage medium
CN200980142953.9A CN102197412B (zh) 2008-10-28 2009-10-28 伪装检测系统和伪装检测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008277212 2008-10-28
JP2008-277212 2008-10-28

Publications (1)

Publication Number Publication Date
WO2010050206A1 true WO2010050206A1 (ja) 2010-05-06

Family

ID=42128577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/005709 WO2010050206A1 (ja) 2008-10-28 2009-10-28 なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム

Country Status (4)

Country Link
US (1) US8860795B2 (ja)
JP (1) JP5445460B2 (ja)
CN (1) CN102197412B (ja)
WO (1) WO2010050206A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012052884A (ja) * 2010-08-31 2012-03-15 Honda Motor Co Ltd 車載カメラを用いた測距装置
CN103021004A (zh) * 2012-11-30 2013-04-03 中国人民解放军61517部队 与起伏地表空间特征相匹配的遮障面制作方法
JP2015007919A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
US9424487B2 (en) 2014-01-22 2016-08-23 Fujitsu Limited Image matching method and image processing system
US9641523B2 (en) 2011-08-15 2017-05-02 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
KR101877816B1 (ko) * 2017-02-20 2018-07-12 주식회사 에스원 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템
JP2019509545A (ja) * 2016-04-21 2019-04-04 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 生きた人の顔検証方法およびデバイス
JP2019095345A (ja) * 2017-11-24 2019-06-20 国立大学法人 岡山大学 物体識別システム
WO2019216091A1 (ja) * 2018-05-10 2019-11-14 パナソニックIpマネジメント株式会社 顔認証装置、顔認証方法および顔認証システム
JPWO2022049690A1 (ja) * 2020-09-03 2022-03-10

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9165188B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US11321772B2 (en) 2012-01-12 2022-05-03 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
KR101899978B1 (ko) * 2012-07-11 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP2015529365A (ja) 2012-09-05 2015-10-05 エレメント,インク. カメラ付きデバイスに関連する生体認証のためのシステム及び方法
KR101937323B1 (ko) * 2012-09-18 2019-01-11 한국전자통신연구원 위장 얼굴 판별 장치 및 방법
FR2997211B1 (fr) * 2012-10-18 2021-01-01 Morpho Procede d'authentification d'une capture d'image d'une entite tridimensionnelle
US10783615B2 (en) * 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
CN104933389B (zh) * 2014-03-18 2020-04-14 北京细推科技有限公司 一种基于指静脉的身份识别方法和装置
JP6528764B2 (ja) * 2014-03-28 2019-06-12 日本電気株式会社 顔照合装置、方法、及び、記録媒体
JP6376873B2 (ja) * 2014-07-16 2018-08-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP4047551A1 (en) * 2014-10-15 2022-08-24 NEC Corporation Impersonation detection device, impersonation detection method, and recording medium
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US9934443B2 (en) * 2015-03-31 2018-04-03 Daon Holdings Limited Methods and systems for detecting head motion during an authentication transaction
CN104966316B (zh) * 2015-05-22 2019-03-15 腾讯科技(深圳)有限公司 一种3d人脸重建方法、装置及服务器
KR102410300B1 (ko) * 2015-06-26 2022-06-20 한국전자통신연구원 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US9898674B2 (en) 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
JP6845612B2 (ja) * 2016-03-07 2021-03-17 中村留精密工業株式会社 工作機械における機械精度の測定方法及び装置
US11115408B2 (en) 2016-08-09 2021-09-07 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10217009B2 (en) 2016-08-09 2019-02-26 Daon Holdings Limited Methods and systems for enhancing user liveness detection
US10628661B2 (en) 2016-08-09 2020-04-21 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10210380B2 (en) * 2016-08-09 2019-02-19 Daon Holdings Limited Methods and systems for enhancing user liveness detection
JP6886260B2 (ja) * 2016-09-07 2021-06-16 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
WO2018058554A1 (en) * 2016-09-30 2018-04-05 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
KR20200073222A (ko) 2017-09-18 2020-06-23 엘리먼트, 인크. 모바일 인증에서 스푸핑을 검출하기 위한 방법, 시스템 및 매체
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN109873978B (zh) * 2018-12-26 2020-10-16 深圳市天彦通信股份有限公司 定位追踪方法及相关装置
EP3674973A1 (en) 2018-12-28 2020-07-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection and object recognition
CA3133229C (en) 2019-03-12 2023-04-04 Element Inc. Detecting spoofing of facial recognition with mobile devices
EP4018366A4 (en) * 2019-08-20 2023-08-16 Technology Innovation Momentum Fund (Israel) Limited Partnership METHOD AND DEVICE FOR AUTHENTICATION OF A THREE-DIMENSIONAL OBJECT
US11557124B2 (en) * 2019-10-25 2023-01-17 7-Eleven, Inc. Homography error correction
US11551454B2 (en) * 2019-10-25 2023-01-10 7-Eleven, Inc. Homography error correction using marker locations
US11074340B2 (en) 2019-11-06 2021-07-27 Capital One Services, Llc Systems and methods for distorting CAPTCHA images with generative adversarial networks
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192378A (ja) * 2002-12-12 2004-07-08 Toshiba Corp 顔画像処理装置およびその方法
JP2007304801A (ja) * 2006-05-10 2007-11-22 Nec Corp 立体性認証方法、立体性認証装置および立体性認証プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1314464B1 (en) * 2001-11-22 2013-01-02 Konami Digital Entertainment Co., Ltd. Billiard game input device, billiard game system, game input device, and computer program
JP2003178306A (ja) 2001-12-12 2003-06-27 Toshiba Corp 個人認証装置および個人認証方法
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US7532750B2 (en) * 2002-04-17 2009-05-12 Sony Corporation Image processing apparatus and method, program, and image processing system
JP2004362079A (ja) 2003-06-02 2004-12-24 Fuji Photo Film Co Ltd 本人認証装置
US7218760B2 (en) * 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
JP2006338092A (ja) 2005-05-31 2006-12-14 Nec Corp パタン照合方法、パタン照合システム及びパタン照合プログラム
WO2006138643A2 (en) * 2005-06-16 2006-12-28 Nomos Corporation System, tracker, and program product to facilitate and verify proper target alignment for radiation delivery, and related methods
JP2007249585A (ja) 2006-03-15 2007-09-27 Omron Corp 認証装置およびその制御方法、認証装置を備えた電子機器、認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP2008054754A (ja) 2006-08-29 2008-03-13 Toshiba Corp 個人認証装置及び個人認証システム
JP4902316B2 (ja) * 2006-11-10 2012-03-21 東芝機械株式会社 斜め加工のための5軸加工機の姿勢保証システム
KR101404527B1 (ko) * 2007-12-26 2014-06-09 다이니폰 인사츠 가부시키가이샤 화상 변환 장치 및 화상 변환 방법
JP5159950B2 (ja) * 2009-05-28 2013-03-13 株式会社東芝 画像処理装置、方法、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192378A (ja) * 2002-12-12 2004-07-08 Toshiba Corp 顔画像処理装置およびその方法
JP2007304801A (ja) * 2006-05-10 2007-11-22 Nec Corp 立体性認証方法、立体性認証装置および立体性認証プログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012052884A (ja) * 2010-08-31 2012-03-15 Honda Motor Co Ltd 車載カメラを用いた測距装置
US10984271B2 (en) 2011-08-15 2021-04-20 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US10503991B2 (en) 2011-08-15 2019-12-10 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US11462055B2 (en) 2011-08-15 2022-10-04 Daon Enterprises Limited Method of host-directed illumination and system for conducting host-directed illumination
US9641523B2 (en) 2011-08-15 2017-05-02 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US10002302B2 (en) 2011-08-15 2018-06-19 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US10169672B2 (en) 2011-08-15 2019-01-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
CN103021004A (zh) * 2012-11-30 2013-04-03 中国人民解放军61517部队 与起伏地表空间特征相匹配的遮障面制作方法
JP2015007919A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
US9424487B2 (en) 2014-01-22 2016-08-23 Fujitsu Limited Image matching method and image processing system
JP2019509545A (ja) * 2016-04-21 2019-04-04 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 生きた人の顔検証方法およびデバイス
KR101877816B1 (ko) * 2017-02-20 2018-07-12 주식회사 에스원 단일 가시광 카메라를 이용한 복합 사진 동영상 위조 얼굴 판단방법 및 이를 이용한 위조 얼굴 판단 시스템
JP2019095345A (ja) * 2017-11-24 2019-06-20 国立大学法人 岡山大学 物体識別システム
WO2019216091A1 (ja) * 2018-05-10 2019-11-14 パナソニックIpマネジメント株式会社 顔認証装置、顔認証方法および顔認証システム
JPWO2022049690A1 (ja) * 2020-09-03 2022-03-10
WO2022049690A1 (ja) * 2020-09-03 2022-03-10 日本電信電話株式会社 移動量推定装置、移動量推定方法およびプログラム
JP7464135B2 (ja) 2020-09-03 2024-04-09 日本電信電話株式会社 移動量推定装置、移動量推定方法およびプログラム

Also Published As

Publication number Publication date
CN102197412B (zh) 2014-01-08
US8860795B2 (en) 2014-10-14
CN102197412A (zh) 2011-09-21
JPWO2010050206A1 (ja) 2012-03-29
US20110254942A1 (en) 2011-10-20
JP5445460B2 (ja) 2014-03-19

Similar Documents

Publication Publication Date Title
JP5445460B2 (ja) なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
KR102120241B1 (ko) 얼굴 생체 검증 방법 및 장치
JP4734980B2 (ja) 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP5106459B2 (ja) 立体物判定装置、立体物判定方法及び立体物判定プログラム
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
KR20200116138A (ko) 안면 인식을 위한 방법 및 시스템
WO2018042996A1 (ja) 生体検知装置
JP2003178306A (ja) 個人認証装置および個人認証方法
JP5915664B2 (ja) 静脈認証方法及び静脈認証装置
JP2007241402A (ja) 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
US11315360B2 (en) Live facial recognition system and method
JP5416489B2 (ja) 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
JP4141090B2 (ja) 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体
US11216679B2 (en) Biometric authentication apparatus and biometric authentication method
JP4446383B2 (ja) 画像処理装置および画像認識装置
KR101711307B1 (ko) 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템
KR101718244B1 (ko) 얼굴 인식을 위한 광각 영상 처리 장치 및 방법
JP2001331804A (ja) 画像領域検出装置及び方法
US20220392256A1 (en) Authentication device, registration device, authentication method, registration method, and storage medium
JP2018088064A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101845419B1 (ko) 이미지의 보정여부 분석방법 및 프로그램
KR20210001270A (ko) 블러 추정 방법 및 장치
JP2019200522A (ja) 個人識別システム、個人識別方法及びプログラム
JP2016201637A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980142953.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09823319

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010535673

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13126339

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09823319

Country of ref document: EP

Kind code of ref document: A1