WO2020050413A1 - 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 - Google Patents

認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2020050413A1
WO2020050413A1 PCT/JP2019/035250 JP2019035250W WO2020050413A1 WO 2020050413 A1 WO2020050413 A1 WO 2020050413A1 JP 2019035250 W JP2019035250 W JP 2019035250W WO 2020050413 A1 WO2020050413 A1 WO 2020050413A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
attribute
face
authentication
score
Prior art date
Application number
PCT/JP2019/035250
Other languages
English (en)
French (fr)
Inventor
一秀 梅田
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2020541324A priority Critical patent/JP7107598B2/ja
Priority to SG11202102210TA priority patent/SG11202102210TA/en
Priority to US17/273,751 priority patent/US11816923B2/en
Publication of WO2020050413A1 publication Critical patent/WO2020050413A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Definitions

  • the present invention relates to an authentication face image candidate determination device, an authentication face image candidate determination method, a program, and a recording medium.
  • face image authentication personal authentication by face image analysis
  • the face image of the person to be registered is stored in advance as a master image
  • the face image of the person to be authenticated obtained live is compared with the master image as a query image. Is done.
  • the query image is not limited to, for example, a face image captured in a state in which the modeling of the face of the person to be authenticated can be clearly understood, such as an identification photograph, and the user wears a hat, mask, sunglasses, or the like.
  • states such as a state, a horizontal state, an upward state, or a down state.
  • the master image is not limited to a face image such as the ID photograph. For this reason, the accuracy of face image authentication may be insufficient depending on the state of the master image or the query image.
  • an object of the present invention is to provide a face image candidate determination system for authentication that can improve the accuracy of face image authentication that is finally performed.
  • an object of the present invention is to provide an authentication face image candidate determination device, an authentication face image candidate determination method, a program, and a recording medium in the above system.
  • a face image candidate determination device of the present invention includes: Including a storage unit, an image acquisition unit, an attribute determination unit, a score calculation unit, and a selection unit,
  • the storage unit includes a reference storage unit, and a threshold storage unit,
  • the reference storage unit stores a reference face image and an attribute of the reference face image in association with each other for each registration target person
  • the threshold storage unit stores a score threshold for each combination of a face image to be compared and an attribute of the face image
  • the attribute is an attribute based on a feature of the face image
  • the score threshold is a threshold for determining that there is a possibility that the face image and the face image to be collated are the same person,
  • the image acquisition unit As the determination face image, the face image of the person to be determined is acquired,
  • the attribute determining unit includes: Determining the attribute of the determined face image,
  • the score calculation unit, The reference face image and the determined face image are collated, and a score indicating the degree of coincidence is calculated
  • the selection unit
  • the face image candidate determination method of the present invention includes: Including a storage step, an image acquisition step, an attribute determination step, a score calculation step, and a selection step,
  • the storage step includes a reference storage step, and a threshold storage step,
  • the reference storage step stores, for each registered person, a reference face image and an attribute of the reference face image in association with each other
  • the threshold storing step stores a score threshold for each combination of the face image to be compared and the attribute of the face image,
  • the attribute is an attribute based on a feature of the face image
  • the score threshold is a threshold for determining that there is a possibility that the face image and the face image to be collated are the same person
  • the image obtaining step includes: As the determination face image, the face image of the person to be determined is acquired,
  • the attribute determining step includes: Determining the attribute of the determined face image,
  • the score calculating step includes: The reference face image and the determined face image are collated, and a score indicating the degree of coincidence is calculated
  • the program of the present invention causes a computer to execute the face image candidate determining method of the present invention.
  • the computer-readable recording medium of the present invention is characterized by recording the program of the present invention.
  • the accuracy of face image authentication that is finally performed can be improved.
  • FIG. 2 is a block diagram illustrating an example of a face image candidate determination device according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the face image candidate determination device according to the first embodiment.
  • 5 is a flowchart illustrating an example of a face image candidate determination method according to the first embodiment.
  • the reference face image is also referred to as “master image”, and the determined face image is also referred to as “query image”.
  • a query image obtained live is collated with a master image registered in advance, and authentication is performed if they match.
  • the master image generally, a plurality of face images are respectively registered for a plurality of registration target persons.
  • feature points are extracted from the query image, and then, for a plurality of master images, the same feature point is searched, and a master image having the feature points is searched. Is selected as a master image candidate for personal authentication. Further, among the master image candidates, the query image having the highest matching degree with the query image is authenticated as the principal.
  • the present inventors have found that the accuracy of face image authentication is influenced by the method of selecting the master image candidate.
  • the query image is a face image wearing a hat, and a hat is extracted as a feature point.
  • the master image candidates are selected from the plurality of master images. If the master X of the query image does not register a master image wearing a hat as the registration target X, the master image of the registration target X indicates that the hat X Since the feature points cannot be extracted, the master image of the registration target person X is not selected as the master image candidate. That is, the master image of the person X leaks from the candidates.
  • the authentication may sometimes result in an error.
  • the registration target person registers a large number of master images in all states, respectively, but this is not realistic.
  • the master image and the query image have a high degree of coincidence, even if face images whose face details are difficult to understand, even if they are authenticated, the authentication may result in an error.
  • the attribute of the face image is an attribute based on a feature of the face image, and is a face and a feature around the face that can be a feature point as described above. Specifically, a face direction (for example, front Face, side face), facial expression (for example, smile), attachment to the face (for example, sunglasses, mask) and the like.
  • the combination of attributes is, for example, a front face and a front face, a front face and a sunglass face, a sunglass face and a sunglass face, and the like.
  • the score indicating the degree of coincidence between the front face image (master) and the front face image (query) is 60%
  • the score indicating the degree of coincidence between the sunglasses face image (master) and the sunglasses face image (query) is 60%
  • the degree of coincidence is the same, but the degree of coincidence between front face images with clear face details is 60%
  • the degree of coincidence between sunglass face images with indistinguishable eyes is 60%.
  • the reliability is low. That is, when it is determined that there is a possibility of the same person based on a combination of the attributes of the two face images to be compared, it can be said that the threshold value of the matching degree can be set for each of them.
  • a reference face image of a registration target and an attribute of the reference face image are stored in association with each other.
  • the score threshold set arbitrarily set is stored for each combination of the attributes of the two face images in the case of collation.
  • the attribute is determined for the determined face image to be the query image, and regardless of the attributes of the determined face image and the reference face image, both are collated to calculate a score indicating the degree of coincidence.
  • the reference face image is used for authentication.
  • the threshold is set according to the combination of the attributes of the two.
  • the attributes include, for example, the orientation of the face, the facial expression, and the attachment to the face, as described above.
  • the direction of the face is, for example, a front face, a side face, a down face, an upward face, a diagonally right-facing face, a diagonally left-facing face, or the like.
  • wearing a hat, wearing a mask, wearing sunglasses, or the like are examples of the orientation of the face, the facial expression, and the attachment to the face, as described above.
  • the direction of the face is, for example, a front face, a side face, a down face, an upward face, a diagonally right-facing face, a diagonally left-facing face, or the like.
  • FIG. 1 is a block diagram showing a configuration of an example of a face image candidate determination device 1 according to the first embodiment of the present invention.
  • the face image candidate determination device 1 includes a storage unit 10, an image acquisition unit 11, an attribute determination unit 12, a score calculation unit 13, and a selection unit 14.
  • the face image candidate determination device 1 is also referred to as, for example, a face image candidate determination system.
  • the face image candidate determination device 1 is not limited to the above configuration, and may include, for example, an extraction unit, an output unit, and the like.
  • the face image candidate determination device 1 may be, for example, a single face image candidate determination device including the above-described units, or the respective units may be a face image candidate determination device connectable via a communication network.
  • the communication line network is not particularly limited, and a known network can be used. For example, a wired or wireless network may be used. Examples of the communication line network include an Internet line, a telephone line, a LAN (Local Area Network), and a WiFi (Wireless Fidelity).
  • FIG. 2 illustrates a block diagram of a hardware configuration of the face image candidate determination device 1 in FIG.
  • the face image candidate determination device 1 includes, for example, a CPU (central processing unit) 101, a memory 102, a bus 103, an input device 104, a display 105, a communication device 106, a storage device 107, and the like.
  • the respective units are connected to each other via the bus 103 by, for example, respective interfaces (I / F).
  • the CPU 101 controls the entire face image candidate determination device 1.
  • the CPU 101 executes, for example, the program 108 and other programs of the present invention, and reads and writes various information.
  • the CPU 101 functions as the image acquisition unit 11, the attribute determination unit 12, the score calculation unit 13, and the selection unit 14.
  • the face image candidate determination device 1 can be connected to a communication network by, for example, the communication device 106 connected to the bus 103, and can be connected to an external device via the communication network.
  • the external device is not particularly limited, and examples thereof include an imaging device such as a camera, an external terminal in which a captured face image is stored, and the like. Examples of the external terminal include a personal computer (PC), a tablet, and a smartphone.
  • the connection method between the face image candidate determination device 1 and the external device is not particularly limited, and may be, for example, a wired connection or a wireless connection.
  • the wired connection may be, for example, a connection by a cord or a connection by a cable or the like for using a communication network.
  • the wireless connection may be, for example, a connection using a communication network or a connection using wireless communication.
  • the communication network is not particularly limited.
  • a known communication network can be used, and is the same as described above.
  • the connection form between the face image candidate determination device 1 and the external device may be, for example, USB.
  • the memory 102 includes, for example, a main memory, and the main memory is also referred to as a main storage device.
  • the main memory is, for example, a RAM (random access memory).
  • the memory 102 further includes, for example, a ROM (read only memory).
  • the storage device 107 is also referred to as, for example, a so-called auxiliary storage device for the main memory (main storage device).
  • the storage device 107 includes, for example, a storage medium and a drive that reads from and writes to the storage medium.
  • the storage medium is not particularly limited, and may be, for example, a built-in type or an external type, such as HD (hard disk), FD (floppy (registered trademark) disk), CD-ROM, CD-R, CD-RW, MO, Examples include a DVD, a flash memory, and a memory card, and the drive is not particularly limited.
  • Examples of the storage device 107 include a hard disk drive (HDD) in which a storage medium and a drive are integrated, a solid state drive (SSD), and the like.
  • HDD hard disk drive
  • SSD solid state drive
  • the storage device 107 stores, for example, an operation program such as the program 108 of the present invention.
  • the storage device 107 is the storage unit 10 and stores, for example, a reference face image 109 of the registration target person and an attribute 110 of the reference face image in association with each other.
  • the score threshold 111 is stored for each combination of. The score threshold 111 will be described later.
  • the face image candidate determination device 1 further includes, for example, an input device 104 and a display 105 arbitrarily.
  • the input device 104 is, for example, a touch panel, a keyboard, a mouse, and the like.
  • the display 105 is, for example, an LED display, a liquid crystal display, or the like.
  • the storage unit 10 includes a reference storage unit 112 and a threshold storage unit 113.
  • the reference storage unit 112 stores a reference face image and an attribute of the reference face image in association with each registration target person.
  • the threshold storage unit 113 stores a score threshold for each combination of the face image to be compared and the attribute of the face image.
  • the image acquisition unit 11 acquires the face image of the person to be determined as the face image to be determined.
  • the determination face image is, for example, a face image used as a query image in face image authentication.
  • the image acquisition unit 11 may be, for example, an imaging unit that itself captures a face image, or may be an input unit that inputs a captured face image.
  • the image acquisition unit 11 is the imaging unit, for example, the camera is used.
  • the face image candidate determination device 1 may be electrically connected to the camera, for example, and may input face image information captured by the camera.
  • the connection between the face image candidate determination device 1 and the camera is not particularly limited, and may be, for example, wired or wireless.
  • the face image candidate determination device 1 and the camera can be connected, for example, via a communication network, and the communication network is not particularly limited, and is, for example, as described above.
  • the attribute determining unit 12 determines the attribute of the determined face image.
  • a known image analysis unit can be used as the attribute of the determined face image.
  • the score calculation unit 13 compares the reference face image with the determination face image, and calculates a score indicating the degree of coincidence.
  • the degree of coincidence means, for example, the degree of coincidence, and can also be called similarity.
  • the score is, for example, an index relatively indicating the degree of matching.
  • a known similarity degree calculation can be used as the degree of coincidence.
  • the collation method by the score calculation unit 13 is not particularly limited, and is, for example, a known method such as a method using a characteristic amount such as a ratio of a distance between characteristic points such as eyes, a nose, and a mouth, and a direction of a line connecting the characteristic points. Face authentication method can be used.
  • ⁇ ⁇ ⁇ For the calculation of the score, for example, machine learning and AI can be used.
  • learning data for example, by combining a reference face image of various attributes and a determination face image of various attributes, and using the result of whether or not they are the same person, learning is performed, It is possible to generate a learning model relating to the reliability of determining whether or not the attribute of the reference face image and the attribute of the determination face image are the same person. By using such a learning model, a more reliable score can be calculated, for example.
  • the selection unit 14 selects a reference face image satisfying the score threshold as a face image candidate for authentication, and selects the face image candidate and its calculated score as authentication information.
  • the attributes of the reference face image are stored in association with each other, and the attributes of the determined face image are determined. it is obvious. Therefore, among the reference face images, an image satisfying a threshold corresponding to a combination between the face images is selected as a face image candidate for authentication.
  • the score threshold can be arbitrarily determined according to, for example, the attributes of the face image.
  • a frontal face image has clear features such as eyes, a nose, and a mouth, and thus is more suitable for matching than a mask face image in which most of the face is hidden, a sunglasses face image in which eyes are hidden, and the like. It can be said that the face image has high reliability.
  • the sunglass face image has more feature points that can be compared between the images than in the case where the reference face image is the mask face image, and reliability is high. Is high.
  • the score threshold can be set from the viewpoint of the reliability of the face image and the number of feature points that can be compared between the reference face image and the determination face image.
  • the score threshold is, for example, as the reliability of the face image is relatively high, the score threshold can be set relatively low, and the feature points that can be compared between the reference face image and the determination face image are relatively
  • the score threshold can be set lower as the number increases.
  • the matching between the reference face image and the determination face image can be performed using, for example, an existing matching engine (matching software). In general, it is known that even with the same combination of the reference face image and the determination face image, the score indicating the degree of coincidence differs depending on the type of the matching engine. For this reason, for example, it is preferable to set the score threshold according to the matching engine used for matching.
  • the score threshold can be set, for example, as shown in Table 1 below.
  • Table 1 is an illustration, does not limit the present invention at all, and the score threshold can be arbitrarily set, for example, from the viewpoint as described above.
  • the “front face (none)” is a face image of the front without any attachment to the face such as a hat or sunglasses.
  • the face image candidate determination method according to the present embodiment can be implemented using, for example, the face image candidate determination device 1 illustrated in FIGS. 1 and 2.
  • the face image candidate determination method according to the first embodiment of the present invention is not limited to the use of the face image candidate determination device 1. Further, the description in the face image candidate determination method of the present embodiment can be applied to the face image candidate determination device 1 described above.
  • the storing step includes a reference storing step and a threshold storing step.
  • the reference storage step stores a reference face image and an attribute of the reference face image in association with each other for each registration target person.
  • the threshold value storing step stores a score threshold value for each combination of a face image to be compared and an attribute of the face image.
  • the storage step can be executed by, for example, the storage unit 10 of the face image candidate determination device 1.
  • the image acquisition step acquires a face image of the person to be determined as the face image to be determined.
  • the image acquisition step can be executed by, for example, the image acquisition unit 11 of the face image candidate determination device 1.
  • the attribute determining step determines an attribute of the determined face image.
  • the attribute determination step can be executed by, for example, the attribute determination unit 12 of the face image candidate determination device 1.
  • the score calculation step compares the reference face image with the determination face image to calculate a score indicating the degree of coincidence.
  • the score calculation step can be executed by, for example, the score calculation unit 13 of the face image candidate determination device 1.
  • the selection step selects a reference face image satisfying the score threshold as a face image candidate for authentication, and selects the face image candidate and its calculated score as authentication information of the determined face image.
  • the selection step can be performed by, for example, the selection unit 14 of the face image candidate determination device 1.
  • the face image candidate determination method according to the first embodiment of the present invention will be described more specifically with reference to the flowchart of FIG. Note that the face image candidate determination method of the present invention is not limited to these examples.
  • the reference storage image is stored in the reference storage unit 112 in association with the reference face image and the attribute of the reference face image for each registration target person.
  • the score threshold is stored in the unit 113 for each combination of the face image to be compared and the attribute of the face image, and these are used.
  • the reference storage unit 112 stores a reference face image and an attribute thereof in association with each other for each registration target person.
  • the reference face image of the registration target person may be, for example, one type or two or more types.
  • the threshold storage unit 113 stores the score thresholds shown in Table 1 for each combination of the face image to be compared and the attribute of the face image.
  • the image acquisition unit 11 of the face image candidate determination device 1 acquires a face image of the person to be determined as the determination face image (S101).
  • the attribute of the determined face image is determined by the attribute determining unit 12 of the face image candidate determination device 1 (S102).
  • the image is a frontal face image wearing sunglasses.
  • the score calculation unit 13 of the face image candidate determination device 1 collates the reference face image with the determination face image for each attribute (S103), and calculates a score indicating the degree of coincidence. (S104).
  • the selection unit 14 of the face image candidate determination device 1 determines whether the calculated score satisfies the score threshold of the combination of attributes (S105).
  • Table 2 also shows the threshold values of Table 1 according to combinations of the respective attributes of the determination face image and the reference face images (A, B, C). For example, when the score indicating the degree of coincidence in Table 2 is determined based on the threshold value in Table 1 for each combination of attributes, the coincidence score between the determined face image and the reference face image wearing the sunglasses in B Only (80) can be determined to satisfy the threshold 70.
  • the reference face image is selected as a face image candidate for authentication (S106), and the face image candidate and its calculated score are selected as authentication information (S107) and output. Then (S109), the process ends (END).
  • the score threshold is not satisfied (NO)
  • the reference face image is excluded from the face image candidates for authentication (S108), and the process ends (END). That is, in the example of Table 2, the reference face image wearing the sunglasses B is selected as a face image candidate, and the other reference face images (A and C) are excluded from the face image candidates.
  • the authentication information thus selected is output (S109).
  • the authentication information can be used, for example, to finally determine whether or not authentication can be performed.
  • the face image candidates when there are a plurality of face image candidates for authentication selected as satisfying the score threshold, for example, for each attribute, the face image candidates are output in order according to the degree of deviation of the attribute from the threshold. You may. Specifically, for example, the threshold value may be output in order from a relatively higher value and a value having a relatively larger divergence.
  • the difference between the B reference face images is larger than the difference between the A reference face images, only the B reference face image may be selected, or the B reference face image may be selected.
  • the first candidate, the reference face image of A may be selected as a second candidate in a ranking format.
  • the face image candidate determination device of the present embodiment further includes an extraction unit and an output unit, and the extraction unit is configured to output a face image candidate having the highest score for each attribute based on the authentication information of the determination face image.
  • the output unit outputs, for each of the attributes, that the registration target person linked to the extracted face image candidate is highly likely to be the determined person.
  • the face image candidate determination method of the present embodiment further includes an extraction step and an output step, wherein the extraction step includes, for each of the attributes, a face having the highest score based on the authentication information of the determination face image.
  • An image candidate is extracted, and the output step outputs, for each of the attributes, that the registration target person associated with the extracted face image candidate is highly likely to be the determined person.
  • the extraction step can be executed by, for example, the extraction unit, and the CPU 101 functions as the extraction unit in a hardware configuration.
  • a score indicating the degree of coincidence between the determined face image and each of the reference face images is calculated, and the face image candidate is selected based on a combination threshold. Based on the authentication information, a face image candidate having the highest score can be extracted for each attribute among the face image candidates that have been collated with the determination face image.
  • the extraction unit may determine the face image candidate in the score order for each attribute based on the authentication information of the determined face image. And the output unit outputs, for each of the attributes, that the registration target person in the order of the score associated with the extracted face image candidate is in the order of the highest possibility of being the determined person. May be.
  • the extraction step extracts face image candidates in the order of scores for each of the attributes, based on the authentication information of the determined face image. The step may output, for each of the attributes, that the registration target person in the order of the score associated with the extracted face image candidate is in the order of high possibility of being the determined person. That is, the ranking of the degree of coincidence of the face image candidate may be output for each attribute.
  • the ranking may be output for each attribute in an order according to the degree of divergence of the attribute from the threshold (for example, the above-described difference).
  • the attribute of the face image for example, since the accuracy of the front face is basically high, the face image candidate of the front face may be determined as the first priority.
  • the face image candidate determination device and the face image candidate determination device of the present embodiment extract the face image candidates in the order of the possibility of being the determined person for each attribute, as described above. And a face image authentication method.
  • the program of the present embodiment is a program that can execute the face image candidate determination method of the first and second embodiments on a computer.
  • the program of the present embodiment may be recorded on, for example, a computer-readable recording medium.
  • the recording medium is not particularly limited, and includes, for example, the above-described storage medium.
  • This embodiment is an example of the face authentication apparatus and the face authentication method of the present invention. This embodiment is the same as the face image candidate determination device and the face image candidate determination method of the first and second embodiments, unless otherwise specified, and the description thereof can be referred to.
  • the face authentication device of the present embodiment includes a face image candidate determination unit and an authentication unit.
  • the face image candidate determination unit includes the authentication face image candidate determination device of the present invention, for each attribute of the reference face image, a face image that satisfies the score threshold as a face image candidate for authentication,
  • the authentication unit authenticates the face image of the person to be determined based on the authentication information of the face image candidate.
  • the feature of the face authentication device of the present embodiment is that face image candidates are determined based on attributes, and other configurations are not limited at all.
  • the face authentication device of the present embodiment may be, for example, the face image candidate determination device of the first or second embodiment, and the face image candidate determination device of the first or second embodiment further includes the authentication unit. Thereby, a face authentication device may be provided.
  • the face authentication method includes a face image candidate determination step and an authentication step.
  • the face image candidate determination step includes the face image candidate determination method for authentication of the present invention, for each attribute of the reference face image, a face image that satisfies the score threshold as a face image candidate for authentication,
  • the authentication step authenticates the face image of the person to be determined based on the authentication information of the face image candidate.
  • the program of the present embodiment is a program that can execute the face authentication method of the fourth embodiment on a computer.
  • the program of the present embodiment may be recorded on, for example, a computer-readable recording medium.
  • the recording medium is not particularly limited, and includes, for example, the above-described storage medium.
  • the storage unit includes a reference storage unit, and a threshold storage unit,
  • the reference storage unit stores a reference face image and an attribute of the reference face image in association with each registration target person
  • the threshold storage unit stores a score threshold for each combination of a face image to be compared and an attribute of the face image
  • the attribute is an attribute based on a feature of the face image
  • the score threshold is a threshold for determining that there is a possibility that the face image and the face image to be collated are the same person
  • the image acquisition unit As the determination face image, the face image of the person to be determined is acquired,
  • the attribute determining unit includes: Determining the attribute of the determined face image, The score calculation unit, The reference face image and the determined face image are collated, and a score indicating the
  • Candidate determination device (Appendix 2) 2. The face image candidate determination device according to claim 1, wherein the attribute of the face image is at least one selected from the group consisting of a face orientation, a facial expression, and an attachment to the face. (Appendix 3) The attribute of the face image is at least one selected from the group consisting of a front face, a side face, a down face, an upward face, a diagonally right face, a diagonally left face, a smile, a hat, a mask, and sunglasses.
  • a face image candidate determination device according to attachment 2. (Appendix 4) Furthermore, an extraction unit and an output unit are included, The extraction unit extracts a face image candidate having the highest score for each attribute based on the authentication information of the determined face image, 4.
  • Face image candidate determination device (Appendix 5) Furthermore, an extraction unit and an output unit are included, The extracting unit, based on the authentication information of the determined face image, for each attribute, extracts face image candidates in the order of score, The output unit outputs, for each of the attributes, that the registration target person in the order of the score associated with the extracted face image candidate is in the order of high possibility of being the determined person. 5.
  • the facial image candidate determination device according to any one of items 1 to 4.
  • the storage step includes a reference storage step, and a threshold storage step
  • the reference storage step stores, for each registered person, a reference face image and an attribute of the reference face image in association with each other
  • the threshold storing step stores a score threshold for each combination of the face image to be compared and the attribute of the face image
  • the attribute is an attribute based on a feature of the face image
  • the score threshold is a threshold for determining that there is a possibility that the face image and the face image to be collated are the same person
  • the image obtaining step includes: As the determination face image, the face image of the person to be determined is acquired,
  • the attribute determining step includes: Determining the attribute of the determined face image,
  • the score calculating step includes: The reference face image and the determined face image are collated, and a score indicating the degree of coincidence is calculated,
  • the selecting step includes: A reference face image satisfying the score threshold is selected as a face
  • Candidate determination method (Appendix 7) 7. The face image candidate determination method according to claim 6, wherein the attribute of the face image is at least one selected from the group consisting of a face orientation, a facial expression, and an attachment to the face. (Appendix 8) The attribute of the face image is at least one selected from the group consisting of a front face, a side face, a down face, an upward face, a diagonally right face, a diagonally left face, a smile, a hat, a mask, and sunglasses. 7.
  • the face image candidate determining method according to supplementary note 7, wherein (Appendix 9) Furthermore, including an extraction step and an output step, The extracting step is to extract a face image candidate having the highest score for each of the attributes based on the authentication information of the determined face image, 9.
  • the output process according to any one of claims 6 to 8, wherein the output step outputs, for each of the attributes, that the registration target person linked to the extracted face image candidate is highly likely to be the determined person. Face image candidate determination method.
  • (Appendix 10) Furthermore, including an extraction step and an output step, The extraction step, based on the authentication information of the determined face image, for each attribute, extract face image candidates in the order of score, The output step outputs, for each of the attributes, that the registration target persons in the order of scores associated with the extracted face image candidates are in the order of the highest possibility of being the determined person.
  • Supplementary Note 6 10.
  • the face image candidate determination method according to any one of items 1 to 9.
  • (Appendix 11) A program for causing a computer to execute the face image candidate determination method according to any one of supplementary notes 6 to 10.
  • (Appendix 12) A computer-readable recording medium on which the program according to supplementary note 11 is recorded.
  • the face image candidate determination unit includes: A face image candidate determination device for authentication according to any one of supplementary notes 1 to 5, For each attribute of the reference face image, a face image satisfying the score threshold is used as a face image candidate for authentication, The authentication unit, A face image authentication apparatus, wherein authentication of a face image of a person to be determined is performed based on the authentication information of the face image candidate.
  • the face image candidate determining step includes: A face image candidate determination method for authentication according to any one of supplementary notes 6 to 10, For each attribute of the reference face image, a face image satisfying the score threshold is used as a face image candidate for authentication,
  • the authentication step includes: A face image authentication method, wherein authentication of a face image of a person to be determined is performed based on the authentication information of the face image candidate.
  • Appendix 15 A program for causing a computer to execute the face image authentication method according to supplementary note 14.
  • Appendix 16 A computer-readable recording medium on which the program according to supplementary note 15 is recorded.
  • the face image candidate determination device the face image candidate determination method, the program for executing the same, and the computer-readable recording medium on which the program is recorded according to the present invention, for example, Regardless, since image authentication can be performed with high accuracy, it is optimal for, for example, face image authentication.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

顔画像認証の精度を向上できる顔画像判定システムの提供を目的とする。顔画像候補判定装置（１）は、基準記憶部（１１２）が、登録対象者ごとに基準顔画像とその属性とを紐づけて記憶し、閾値記憶部（１１３）が、照合する顔画像と顔画像との属性の組合せごとにスコア閾値を記憶し、画像取得部（１１）が、被判定者の顔画像を取得し、属性決定部（１２）が、前記判定顔画像の属性を決定し、スコア算出部（１３）が、前記基準顔画像と前記判定顔画像との一致度を示すスコアを算出し、選択部（１４）は、前記閾値を満たす基準顔画像を認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する。前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、前記属性は、顔画像の特徴に基づく属性である。

Description

認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
　本発明は、認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体に関する。
　様々な分野において、顔画像解析による本人認証（以下、顔画像認証という）が利用されている。前記顔画像認証は、予め、登録対象者の顔画像がマスター画像として記憶され、ライブで得られた被認証者の顔画像をクエリー画像として、前記マスター画像と照合し、一致する場合に本人認証される。
　しかし、前記クエリー画像は、例えば、証明写真のように、被認証対象者の顔の造形がはっきりとわかるような状態で撮像された顔画像とは限らず、帽子、マスクまたはサングラス等を着用した状態、横向き、上向きまたは俯きの状態等、様々である。また、前記マスター画像も、同様に、前記証明写真のような顔画像には限られない。このため、前記マスター画像や前記クエリー画像の状態によっては、顔画像認証の精度が不十分な場合がある。
　そこで、本発明は、最終的に行われる顔画像認証の精度を向上できる認証用顔画像候補判定システムの提供を目的とする。
　より具体的には、本発明は、上記システムにおいて、認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、記録媒体を提供することを目的とする。
　前記目的を達成するために、本発明の顔画像候補判定装置は、
記憶部、画像取得部、属性決定部、スコア算出部、および選択部を含み、
前記記憶部は、基準記憶部、および閾値記憶部を含み、
　　前記基準記憶部は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
　　前記閾値記憶部は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
　　前記属性は、顔画像の特徴に基づく属性であり、
　　前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得部は、
　　判定顔画像として、被判定者の顔画像を取得し、
前記属性決定部は、
　　前記判定顔画像の属性を決定し、
前記スコア算出部は、
　　前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択部は、
　　前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする。
　本発明の顔画像候補判定方法は、
記憶工程、画像取得工程、属性決定工程、スコア算出工程、および選択工程を含み、
前記記憶工程は、基準記憶工程、および閾値記憶工程を含み、
　　前記基準記憶工程は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
　　前記閾値記憶工程は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
　　前記属性は、顔画像の特徴に基づく属性であり、
　　前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得工程は、
　　判定顔画像として、被判定者の顔画像を取得し、
前記属性決定工程は、
　　前記判定顔画像の属性を決定し、
前記スコア算出工程は、
　　前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択工程は、
　　前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする。
　本発明のプログラムは、前記本発明の顔画像候補判定方法をコンピュータに実行させることを特徴とする。
　本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録したことを特徴とする。
　本発明によれば、例えば、最終的に行われる顔画像認証の精度を向上できる。
実施形態１の顔画像候補判定装置の一例を示すブロック図である。 実施形態１の顔画像候補判定装置のハードウェア構成の一例を示すブロック図である。 実施形態１の顔画像候補判定方法の一例を示すフローチャートである。
　以下、本発明において、基準顔画像は「マスター画像」、判定顔画像は、「クエリー画像」ともいう。
　顔画像認証では、前述のように、予め登録されているマスター画像に対して、ライブで得られたクエリー画像を照合し、一致する場合に認証が行われる。この際、マスター画像としては、一般に、複数の登録対象者について、それぞれ複数の顔画像が登録されている。そして、マスター画像とクエリー画像を照合する際は、例えば、まず、前記クエリー画像から特徴点が抽出され、つぎに、複数のマスター画像について、同じ特徴点を検索し、前記特徴点を有するマスター画像が、本人認証のためのマスター画像候補として選択される。そして、さらに、前記マスター画像候補のうち、最もクエリー画像との一致度が高いものに対して、前記クエリー画像は、本人として認証されることなる。ここで、本発明者らは、顔画像認証の精度が、前記マスター画像候補の選択の方法に影響されているとの知見を得た。例えば、前記クエリー画像が帽子を着用した顔画像であり、特徴点として帽子が抽出されたとする。その場合、複数のマスター画像からは、帽子という特徴点を有するもののみが、前記マスター画像候補として選択されることになる。仮に、前記クエリー画像の本人Ｘが、登録対象者Ｘとして、帽子を着用したマスター画像を登録していなければ、本人Ｘであるにもかかわらず、登録対象者Ｘのマスター画像からは、帽子の特徴点が抽出できないため、登録対象者Ｘのマスター画像は、前記マスター画像候補としては選択されないことになる。つまり、本人Ｘのマスター画像が候補から漏れてしまう。このため、前記マスター画像候補との一致度から認証を行っても、その認証が誤りという結果につながる場合がある。このような問題に対して、例えば、登録対象者が、それぞれ、あらゆる状態のマスター画像を大量に登録することが考えられるが、それは現実的ではない。また、仮に、前記マスター画像と前記クエリー画像との一致度が高くても、顔の詳細がわかりにくい顔画像同士の場合、認証されても、その認証が誤りという結果につながる場合がある。
　そこで、本発明者らは、顔画像の属性と、照合する顔画像の属性の組合せに着目し、本発明に至った。前記顔画像の属性とは、顔画像の特徴に基づく属性であり、前述のような、特徴点となり得る顔および顔周りの特徴であり、具体的には、後述する顔の向き（例えば、正面顔、横顔）、顔の表情（例えば、笑顔）、顔への装着物（例えば、サングラス、マスク）等である。属性の組合せとは、例えば、正面顔と正面顔、正面顔とサングラス顔、サングラス顔とサングラス顔等である。仮に、正面顔画像（マスター）と正面顔画像（クエリー）との一致度を示すスコアが、６０％であり、サングラス顔画像（マスター）とサングラス顔画像（クエリー）との一致度を示すスコアが、同様に６０％であったとする。一致度は、それぞれ同じであるが、顔の詳細がクリアである正面顔画像間の一致度６０％に対して、目が判別できないサングラス顔画像間の一致度６０％は、照合する両顔画像が同一人物である可能性としては、信頼性が低いと考えられる。つまり、照合する２つの顔画像の属性の組合せによって、同一人物の可能性があると判断する場合、一致度の閾値は、それぞれについて設定できるといえる。
　このため、本発明は、まず、マスター画像となる基準顔画像の情報として、登録対象者の基準顔画像と、前記基準顔画像の属性を紐づけて記憶させ、さらに、顔画像と顔画像とを照合した場合における、前記両顔画像の属性の組合せごとに、任意で設定したスコア閾値を記憶する。一方、クエリー画像となる判定顔画像について、属性を決定し、前記判定顔画像および前記基準顔画像の属性にかかわらず、両者を照合し、一致度を示すスコアを算出する。そして、照合した判定顔画像と前記基準顔画像との属性の組合せに応じて、前記スコアが、前記組合せの閾値を満たすか否かを判断し、満たす場合に、その基準顔画像を、認証のための顔画像候補として選択する。これによれば、前述のように、判定顔画像（クエリー）の特徴点を有する基準顔画像（マスター）が記憶されていない登録対象者であっても、候補から外れることを防止し、候補からの取りこぼしが抑制できる。また、判定顔画像（クエリー）および基準顔画像（マスター）の少なくとも一方が、顔の詳細が分かりにくい顔画像であっても、両者の属性の組合せに応じて閾値が設定されているため、例えば、一致度が高いというだけで、認証のための顔画像候補として選択されることを防止できる。このため、本発明により得られた顔画像候補を用いることで、結果的に、本人認証の精度の向上が可能となる。
　本発明において、前記属性は、前述のように、例えば、顔の向き、顔の表情、および顔への装着物等があげられる。前記顔の向きは、例えば、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔等であり、顔の表情は、例えば、笑顔、真顔等であり、顔への装着物は、例えば、帽子着用、マスク着用、サングラス着用等である。
　本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
［実施形態１］
　本発明の顔画像候補判定装置および顔画像候補判定方法の一例について、図を用いて説明する。
　図１は、本発明の実施形態１による顔画像候補判定装置１の一例の構成を示すブロック図である。図１を参照すると、顔画像候補判定装置１は、記憶部１０、画像取得部１１、属性決定部１２、スコア算出部１３、選択部１４を有する。顔画像候補判定装置１は、例えば、顔画像候補判定システムともいう。顔画像候補判定装置１は、前記構成に限定されず、例えば、抽出部、出力部等を有してもよい。
　顔画像候補判定装置１は、例えば、前記各部を含む１つの顔画像候補判定装置でもよいし、前記各部が、通信回線網を介して接続可能な顔画像候補判定装置でもよい。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local　Area　Network）、ＷｉＦｉ（Wireless　Fidelity）等があげられる。
　図２に、図１の顔画像候補判定装置１のハードウェア構成のブロック図を例示する。図２を参照すると、顔画像候補判定装置１は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ１０２、バス１０３、入力装置１０４、ディスプレイ１０５、通信デバイス１０６、記憶装置１０７等を有する。前記ハードウェア構成において各部は、例えば、それぞれのインターフェイス（Ｉ／Ｆ）により、バス１０３を介して、相互に接続されている。
　ＣＰＵ１０１は、顔画像候補判定装置１の全体の制御を担う。顔画像候補判定装置１において、ＣＰＵ１０１により、例えば、本発明のプログラム１０８やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、顔画像候補判定装置１は、例えば、ＣＰＵ１０１が、画像取得部１１、属性決定部１２、スコア算出部１３、選択部１４として機能する。
　顔画像候補判定装置１は、例えば、バス１０３に接続された通信デバイス１０６により、通信回路網に接続でき、前記通信回路網を介して、外部機器とも接続できる。前記外部機器は、特に制限されず、例えば、カメラ等の撮像装置、撮像された顔画像が記憶された外部端末等があげられる。前記外部端末は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等があげられる。顔画像候補判定装置１と前記外部機器との接続方式は、特に制限されず、例えば、有線による接続でもよいし、無線による接続でもよい。前記有線による接続は、例えば、コードによる接続でもよいし、通信回線網を利用するためのケーブル等による接続でもよい。前記無線による接続は、例えば、通信回線網を利用した接続でもよいし、無線通信を利用した接続でもよい。前記通信回線網は、特に制限されず、例えば、公知の通信回線網を使用でき、前述と同様である。顔画像候補判定装置１と前記外部機器との接続形式は、例えば、ＵＳＢ等であってもよい。
　メモリ１０２は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム１０８を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、前記プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。
　記憶装置１０７は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置１０７は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０７は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等も例示できる。記憶装置１０７は、例えば、本発明のプログラム１０８等の動作プログラムが格納される。記憶装置１０７は、記憶部１０であり、例えば、登録対象者の基準顔画像１０９と、前記基準顔画像の属性１１０とが紐づけて格納され、また、照合する顔画像と顔画像との属性の組み合わせごとに、スコア閾値１１１が格納される。スコア閾値１１１については、後述する。
　顔画像候補判定装置１は、例えば、さらに、入力装置１０４、ディスプレイ１０５を任意で有する。入力装置１０４は、例えば、タッチパネル、キーボード、マウス等である。ディスプレイ１０５は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等である。
　つぎに、顔画像候補判定装置１の各部について、説明する。まず、記憶部１０は、基準記憶部１１２、および閾値記憶部１１３を含み、基準記憶部１１２は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、閾値記憶部１１３は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶する。
　画像取得部１１は、判定顔画像として、被判定者の顔画像を取得する。前記判定顔画像は、例えば、顔画像認証において、クエリー画像として使用する顔画像である。画像取得部１１は、例えば、それ自体が顔画像を撮像する撮像部でもよいし、撮像された顔画像を入力する入力部であってもよい。画像取得部１１が前記撮像部の場合、例えば、前記カメラがあげられる。画像取得部１１が前記入力部の場合、顔画像候補判定装置１は、例えば、前記カメラと電気的に接続され、前記カメラで撮像された顔画像情報が入力されてもよい。顔画像候補判定装置１と前記カメラとの接続は、特に制限されず、例えば、有線でも無線でもよい。顔画像候補判定装置１と前記カメラとは、例えば、通信回線網を介して接続可能であり、前記通信回線網は、特に制限されず、例えば、前述の通りである。
　属性決定部１２は、前記判定顔画像の属性を決定する。前記判定顔画像の属性は、例えば、例えば、公知の画像解析手段が使用できる。
　スコア算出部１３は、前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出する。前記一致度とは、例えば、一致の程度を意味し、類似度ということもできる。前記スコアは、例えば、一致の程度を、相対的に示す指標である。前記一致度は、例えば、公知の類似度計算が利用できる。スコア算出部１３による照合方法は、特に制限されず、例えば、目、鼻、口等の特徴点の距離の比や、前記特徴点を結んだ線の向き等の特徴量を用いる方法等、公知の顔認証方法を使用できる。
　また、スコアの算出は、例えば、機械学習およびＡＩ等を利用することもできる。この場合、学習データとして、例えば、様々な属性の基準顔画像と様々な属性の判定顔画像とを組み合わせ、および、それらが同一人であるか否かの結果を使用し、学習させることで、基準顔画像の属性と判定顔画像の属性と同一人か否かの判断の信頼性に関する学習モデルを生成できる。このような学習モデルを使用することで、例えば、より信頼性のあるスコアの算出が可能である。
　選択部１４は、前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、認証用情報として選択する。前述のように、前記基準顔画像は、その属性が紐づけて記憶されており、前記判定顔画像は、属性が決定されているため、それらに基づき、照合した顔画像間の属性の組み合わせは明らかである。そこで、前記基準顔画像のうち、前記顔画像間の組合せに応じた閾値を満たすものを、認証のための顔画像候補として選択する。
　前記スコア閾値は、前述のように、例えば、顔画像の属性に応じて、任意で決定できる。例えば、正面顔画像は、目、鼻、口等の顔の特徴部が明確であるため、顔の大部分が隠れているマスク顔画像、目が隠れているサングラス顔画像等よりも、照合において、信頼性が高い顔画像といえる。また、例えば、判定顔画像が前記サングラス顔画像である場合、基準顔画像が前記マスク顔画像である場合に比べ、前記サングラス顔画像の方が、画像同士で照合できる特徴点が多く、信頼性が高い顔画像といえる。このように、例えば、顔画像の信頼性と、前記基準顔画像と前記判定顔画像との照合できる特徴点の多さ等の観点から、前記スコア閾値を設定できる。前記スコア閾値は、例えば、前記顔画像の信頼性が相対的に高い程、前記スコア閾値を相対的に低く設定でき、前記基準顔画像と前記判定顔画像との照合できる特徴点が相対的に多いほど、前記スコア閾値を低く設定できる。また、前記基準顔画像と前記判定顔画像との照合は、例えば、既存の照合エンジン（照合ソフト）が使用できる。一般に、同じ基準顔画像と判定顔画像との組み合わせであっても、前記照合エンジンの種類によって、一致度を示すスコアが異なることが知られている。このため、例えば、照合に使用する照合エンジンに応じて、前記スコア閾値を設定することが好ましい。
　前記スコア閾値は、具体的に、例えば、下記表１のように設定できる。なお、下記表１は、例示であり、本発明を何ら制限せず、前記スコア閾値は、例えば、前述のような観点から任意に設定できる。下記表１において、「正面顔（無）」とは、例えば、帽子、サングラス等の顔への装着物がない正面の顔画像である。
Figure JPOXMLDOC01-appb-T000001
　つぎに、本実施形態１の顔画像候補判定方法について説明する。本実施形態の顔画像候補判定方法は、例えば、図１および図２に示す顔画像候補判定装置１を用いて実施できる。なお、本発明の実施形態１による顔画像候補判定方法は、顔画像候補判定装置１の使用には限定されない。また、本実施形態の顔画像候補判定方法における記載は、前述した顔画像候補判定装置１に援用できる。
　前記記憶工程は、基準記憶工程、および閾値記憶工程を含む。前記基準記憶工程は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶する。前記閾値記憶工程は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶する。前記記憶工程は、例えば、顔画像候補判定装置１の記憶部１０により実行できる。
　前記画像取得工程は、判定顔画像として、被判定者の顔画像を取得する。前記画像取得工程は、例えば、顔画像候補判定装置１の画像取得部１１により実行できる。
　前記属性決定工程は、前記判定顔画像の属性を決定する。前記属性決定工程は、例えば、顔画像候補判定装置１の属性決定部１２により実行できる。
　前記スコア算出工程は、前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出する。前記スコア算出工程は、例えば、顔画像候補判定装置１のスコア算出部１３により実行できる。
　前記選択工程は、前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する。前記選択工程は、例えば、顔画像候補判定装置１の選択部１４により実行できる。
　つぎに、本発明の実施形態１による顔画像候補判定方法について、図３のフローチャートを用いて、より具体的に説明する。なお、本発明の顔画像候補判定方法は、これらの例に制限されない。
　まず、予め、顔画像候補判定装置１の記憶部１０において、基準記憶部１１２に、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶させ、閾値記憶部１１３に、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶させておき、これらを使用する。具体的に、前述のように、基準記憶部１１２には、登録対象者について、それぞれ、基準顔画像と、その属性とが、紐づけて記憶されている。前記登録対象者の基準顔画像は、例えば、１種類でもよいし、２種類以上であってもよい。また、閾値記憶部１１３には、照合する顔画像と顔画像との属性の組合せごとに、前記表１に示すスコア閾値が記憶されている。
　前記画像取得工程として、顔画像候補判定装置１の画像取得部１１により、判定顔画像として、被判定者の顔画像を取得する（Ｓ１０１）。
　前記属性決定工程として、顔画像候補判定装置１の属性決定部１２により、前記判定顔画像の属性を決定する（Ｓ１０２）。本例では、仮に、サングラス着用の正面の顔画像であると仮定する。
　そして、前記スコア算出工程として、顔画像候補判定装置１のスコア算出部１３により、前記属性ごとに、前記基準顔画像と、前記判定顔画像を照合し（Ｓ１０３）、一致度を示すスコアを算出する（Ｓ１０４）。
　ここで、例えば、登録対象者Ａ、Ｂ、Ｃについて、それぞれ、サングラス等の装着物が無い正面の顔画像（Ａ）、サングラス着用の正面の顔画像（Ｂ）、マスク着用の正面の顔画像（Ｃ）が記憶されているとする。そして、前記判定顔画像と前記基準顔画像とを照合することによって得られる、一致度を示すスコアを、一例として下記表２に示す。一致度を示すスコアは、例えば、既存の照合エンジン等を使用できる。
Figure JPOXMLDOC01-appb-T000002
　つぎに、前記選択工程として、顔画像候補判定装置１の選択部１４により、算出したスコアが、属性の組合せのスコア閾値を満たすか否かを判断する（Ｓ１０５）。ここで、前記表２に、前記判定顔画像と基準顔画像（Ａ、Ｂ、Ｃ）とのそれぞれの属性の組み合わせに応じて、前記表１の閾値を合わせて示す。例えば、前記表２の一致度を示すスコアについて、それぞれの属性の組合せに関する前記表１の閾値に基づいて判断すると、前記判定顔画像と、前記Ｂのサングラス着用の基準顔画像との一致度スコア（８０）のみが、閾値７０を満たしていると判断できる。
　前記スコア閾値を満たす場合（ＹＥＳ）、その基準顔画像を、認証用の顔画像候補として選択し（Ｓ１０６）、前記顔画像候補およびその算出スコアを、認証用情報として選択し（Ｓ１０７）、出力して（Ｓ１０９）、終了する（ＥＮＤ）。他方、前記スコア閾値を満たさない場合（ＮＯ）、その基準顔画像を、認証用の顔画像候補から外して（Ｓ１０８）、終了する（ＥＮＤ）。つまり、前記表２の例においては、前記Ｂのサングラス着用の基準顔画像を、顔画像候補として選択し、それ以外の基準顔画像（ＡおよびＣ）を、顔画像候補から外す。
　このようにして選択した前記認証用情報を、出力する（Ｓ１０９）。前記認証用情報は、例えば、最終的に、認証できるか否かの判断に利用できる。
　本実施形態において、前記スコア閾値を満たすとして選択された前記認証用の顔画像候補が、複数ある場合、例えば、属性ごとに、その属性の閾値に対する乖離度に応じた順次に沿って、出力してもよい。具体的には、例えば、前記閾値に対して、相対的により高い値、相対的に乖離度が大きいものから順に、出力してもよい。
　前記表２の例においては、前記選択工程の結果、スコア閾値を満たすものが１つである場合を示したが、例えば、スコア閾値を満たすものが２つ以上存在する場合には、一致度スコアと閾値との差分を求め、差分の最も大きい基準顔画像を、最も可能性が高い基準顔画像として選択してもよい。また、例えば、スコア閾値を満たす複数の基準顔画像を、差分が大きい順に、可能性が高いランキングとして選択し、出力してもよい。例えば、下記表３に示すように、前記Ａの基準顔画像の一致度スコアと、前記Ｂの基準顔画像の一致度スコアとが、それぞれの閾値を満たす場合、例えば、一致度スコアと閾値との差分を求める。この例においては、前記Ｂの基準顔画像の差分は、前記Ａの基準顔画像の差分よりも大きいため、前記Ｂの基準顔画像のみを選択してもよいし、前記Ｂの基準顔画像を第１候補、前記Ａの基準顔画像を第２候補として、ランキング形式で選択してもよい。
Figure JPOXMLDOC01-appb-T000003
［実施形態２］
　本実施形態は、さらに、属性ごとに、最も高いスコアの顔画像候補を抽出する形態である。特に示さない限り、本実施形態は、前記実施形態１の記載を援用できる。
　本実施形態の顔画像候補判定装置は、さらに、抽出部および出力部を含み、前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する。
　また、本実施形態の顔画像候補判定方法は、さらに、抽出工程および出力工程を含み、前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する。
　前記抽出工程は、例えば、前記抽出部により実行でき、ハードウェア構成において、ＣＰＵ１０１が前記抽出部として機能する。
　前記実施形態１に示すように、前記判定顔画像と前記各基準顔画像との一致度を示すスコアが算出され、組み合わせの閾値によって、前記顔画像候補が選択される。その認証用情報に基づけば、前記判定顔画像と照合した各顔画像候補のうち、属性ごとに、最も高いスコアの顔画像候補を抽出することができる。具体例として、前記表２を例にあげると、顔画像候補の属性が正面顔の場合、登録対象者Ａの正面顔画像が、最も高いスコアを示し、属性が横顔の場合、登録対象者Ｂの横顔画像が、最も高いスコアを示し、属性がマスク顔の場合、登録対象者Ａのマスク顔画像が、最も高いスコアを示し、属性がサングラスの場合、登録対象者Ａのサングラス顔画像が、最も高いスコアを示す。そして、この結果を、属性ごとの結果として、つまり、前記顔画像候補の各属性について、前記判定顔画像と最も一致している顔画像候補を出力できる。
　なお、本実施形態の顔画像候補判定装置は、この例には制限されず、例えば、前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力してもよい。また、本実施形態の顔画像候補判定方法も同様に、例えば、前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力してもよい。つまり、各属性について、前記顔画像候補の一致度のランキングを出力してもよい。
　本実施形態において、ランキングは、例えば、前述のように、属性ごとに、その属性の閾値に対する乖離度（例えば、前述のような差分）に応じた順序として出力してもよい。また、前記顔画像の属性として、例えば、基本的に正面顔の精度が高いことから、正面顔の顔画像候補をファーストプライオリティとして、判定してもよい。
　本実施形態の顔画像候補判定装置および顔画像候補判定装置は、前述のように、属性ごとに、前記被判定者である可能性の高い順に顔画像候補を抽出することから、顔画像認証装置および顔画像認証方法ということもできる。
［実施形態３］
　本実施形態のプログラムは、前記実施形態１および２の顔画像候補判定方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
［実施形態４］
　本実施形態は、本発明の顔認証装置および顔認証方法の一例である。本実施形態は、特に示さない限り、前記実施形態１および２の顔画像候補判定装置および顔画像候補判定方法と同様であり、その記載を援用できる。
　本実施形態の顔認証装置は、顔画像候補判定部と、認証部とを含む。前記顔画像候補判定部は、前記本発明の認証用の顔画像候補判定装置を含み、前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、前記認証部は、前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う。本実施形態の顔認証装置は、属性に基づいて顔画像候補を判定することが特徴であり、その他の構成は、何ら制限されない。本実施形態の顔認証装置は、例えば、前記実施形態１または２の顔画像候補判定装置であってもよく、前記実施形態１または２の顔画像候補判定装置が、さらに、前記認証部を含むことによって、顔認証装置となってもよい。
　本実施形態の顔認証方法は、顔画像候補判定工程と、認証工程とを含む。前記顔画像候補判定工程は、前記本発明の認証用の顔画像候補判定方法を含み、前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、前記認証工程は、前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う。
［実施形態５］
　本実施形態のプログラムは、前記実施形態４の顔認証方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年９月６日に出願された日本出願特願２０１８－１６７１２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
＜付記＞
　上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
記憶部、画像取得部、属性決定部、スコア算出部、および選択部を含み、
前記記憶部は、基準記憶部、および閾値記憶部を含み、
　　前記基準記憶部は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
　　前記閾値記憶部は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
　　前記属性は、顔画像の特徴に基づく属性であり、
　　前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得部は、
　　判定顔画像として、被判定者の顔画像を取得し、
前記属性決定部は、
　　前記判定顔画像の属性を決定し、
前記スコア算出部は、
　　前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択部は、
　　前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする認証用の顔画像候補判定装置。
（付記２）
前記顔画像の属性が、顔の向き、顔の表情、および顔への装着物からなる群から選択された少なくとも一つである、付記１に記載の顔画像候補判定装置。
（付記３）
前記顔画像の属性が、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔、笑顔、帽子着用、マスク着用、およびサングラス着用からなる群から選択された少なくとも一つである、付記２に記載の顔画像候補判定装置。
（付記４）
さらに、抽出部および出力部を含み、
前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、
前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する、付記１から３のいずれかに記載の顔画像候補判定装置。
（付記５）
さらに、抽出部および出力部を含み、
前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、
前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力する、付記１から４のいずれかに記載の顔画像候補判定装置。
（付記６）
記憶工程、画像取得工程、属性決定工程、スコア算出工程、および選択工程を含み、
前記記憶工程は、基準記憶工程、および閾値記憶工程を含み、
　　前記基準記憶工程は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
　　前記閾値記憶工程は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
　　前記属性は、顔画像の特徴に基づく属性であり、
　　前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
前記画像取得工程は、
　　判定顔画像として、被判定者の顔画像を取得し、
前記属性決定工程は、
　　前記判定顔画像の属性を決定し、
前記スコア算出工程は、
　　前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
前記選択工程は、
　　前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
ことを特徴とする認証用の顔画像候補判定方法。
（付記７）
前記顔画像の属性が、顔の向き、顔の表情、および顔への装着物からなる群から選択された少なくとも一つである、付記６に記載の顔画像候補判定方法。
（付記８）
前記顔画像の属性が、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔、笑顔、帽子着用、マスク着用、およびサングラス着用からなる群から選択された少なくとも一つであることを特徴とする付記７に記載の顔画像候補判定方法。
（付記９）
さらに、抽出工程および出力工程を含み、
前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、
前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する、付記６から８のいずれかに記載の顔画像候補判定方法。
（付記１０）
さらに、抽出工程および出力工程を含み、
前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、
前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力する、付記６から９のいずれかに記載の顔画像候補判定方法。
（付記１１）
付記６から１０のいずれかに記載の顔画像候補判定方法をコンピュータに実行させることを特徴とするプログラム。
（付記１２）
付記１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１３）
顔画像候補判定部と、認証部とを含み、
前記顔画像候補判定部は、
　　付記１から５のいずれかに記載の認証用の顔画像候補判定装置を含み、
　　前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、
前記認証部は、
　　前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う
ことを特徴とする顔画像認証装置。
（付記１４）
顔画像候補判定工程と、認証工程とを含み、
前記顔画像候補判定工程は、
　　付記６から１０のいずれかに記載の認証用の顔画像候補判定方法を含み、
　　前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、
前記認証工程は、
　　前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う
ことを特徴とする顔画像認証方法。
（付記１５）
付記１４に記載の顔画像認証方法をコンピュータに実行させることを特徴とするプログラム。
（付記１６）
付記１５に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
　本発明の顔画像候補判定装置、顔画像候補判定方法、それを実行するためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、例えば、登録されているマスター画像の種類に関わらず、精度よく画像認証できるため、例えば、顔画像認証に最適である。
１　　　　　　顔画像候補判定装置
１０　　　　　記憶部
１１２　　　　基準記憶部
１１３　　　　閾値記憶部
１１　　　　　画像取得部
１２　　　　　属性決定部
１３　　　　　スコア算出部
１４　　　　　選択部
１０１　　　　ＣＰＵ
１０２　　　　メモリ
１０３　　　　バス
１０４　　　　入力装置
１０５　　　　ディスプレイ
１０６　　　　通信デバイス
１０７　　　　記憶装置
１０８　　　　プログラム
１０９　　　　基準顔画像
１１０　　　　顔画像の属性
１１１　　　　スコア閾値

Claims (16)

  1. 記憶部、画像取得部、属性決定部、スコア算出部、および選択部を含み、
    前記記憶部は、基準記憶部、および閾値記憶部を含み、
    　　前記基準記憶部は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
    　　前記閾値記憶部は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
    　　前記属性は、顔画像の特徴に基づく属性であり、
    　　前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
    前記画像取得部は、
    　　判定顔画像として、被判定者の顔画像を取得し、
    前記属性決定部は、
    　　前記判定顔画像の属性を決定し、
    前記スコア算出部は、
    　　前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
    前記選択部は、
    　　前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
    ことを特徴とする認証用の顔画像候補判定装置。
  2. 前記顔画像の属性が、顔の向き、顔の表情、および顔への装着物からなる群から選択された少なくとも一つである、請求項１に記載の顔画像候補判定装置。
  3. 前記顔画像の属性が、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔、笑顔、帽子着用、マスク着用、およびサングラス着用からなる群から選択された少なくとも一つである、請求項２に記載の顔画像候補判定装置。
  4. さらに、抽出部および出力部を含み、
    前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、
    前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する、請求項１から３のいずれか一項に記載の顔画像候補判定装置。
  5. さらに、抽出部および出力部を含み、
    前記抽出部は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、
    前記出力部は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力する、請求項１から４のいずれか一項に記載の顔画像候補判定装置。
  6. 記憶工程、画像取得工程、属性決定工程、スコア算出工程、および選択工程を含み、
    前記記憶工程は、基準記憶工程、および閾値記憶工程を含み、
    　　前記基準記憶工程は、登録対象者ごとに、基準顔画像と、前記基準顔画像の属性とを、紐づけて記憶し、
    　　前記閾値記憶工程は、照合する顔画像と顔画像との属性の組合せごとに、スコア閾値を記憶し、
    　　前記属性は、顔画像の特徴に基づく属性であり、
    　　前記スコア閾値は、照合する顔画像と顔画像とが同一人の可能性があると判定する閾値であり、
    前記画像取得工程は、
    　　判定顔画像として、被判定者の顔画像を取得し、
    前記属性決定工程は、
    　　前記判定顔画像の属性を決定し、
    前記スコア算出工程は、
    　　前記基準顔画像と前記判定顔画像とを照合し、一致度を示すスコアを算出し、
    前記選択工程は、
    　　前記スコア閾値を満たす基準顔画像を、認証のための顔画像候補とし、前記顔画像候補およびその算出スコアを、前記判定顔画像の認証用情報として選択する
    ことを特徴とする認証用の顔画像候補判定方法。
  7. 前記顔画像の属性が、顔の向き、顔の表情、および顔への装着物からなる群から選択された少なくとも一つである、請求項６に記載の顔画像候補判定方法。
  8. 前記顔画像の属性が、正面顔、横顔、俯き顔、上向き顔、斜め右向き顔、斜め左向き顔、笑顔、帽子着用、マスク着用、およびサングラス着用からなる群から選択された少なくとも一つであることを特徴とする請求項７に記載の顔画像候補判定方法。
  9. さらに、抽出工程および出力工程を含み、
    前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、最も高いスコアの顔画像候補を抽出し、
    前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられた登録対象者が、前記被判定者である可能性が高いと出力する、請求項６から８のいずれか一項に記載の顔画像候補判定方法。
  10. さらに、抽出工程および出力工程を含み、
    前記抽出工程は、前記判定顔画像の認証用情報に基づいて、前記属性ごとに、スコア順に顔画像候補を抽出し、
    前記出力工程は、前記属性ごとに、前記抽出された顔画像候補に紐づけられたスコア順の登録対象者が、前記被判定者である可能性の高い順であることを出力する、請求項６から９いずれか一項に記載の顔画像候補判定方法。
  11. 請求項６から１０のいずれか一項に記載の顔画像候補判定方法をコンピュータに実行させることを特徴とするプログラム。
  12. 請求項１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
  13. 顔画像候補判定部と、認証部とを含み、
    前記顔画像候補判定部は、
    　　付記１から５のいずれかに記載の認証用の顔画像候補判定装置を含み、
    　　前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、
    前記認証部は、
    　　前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う
    ことを特徴とする顔画像認証装置。
  14. 顔画像候補判定工程と、認証工程とを含み、
    前記顔画像候補判定工程は、
    　　請求項６から１０のいずれか一項に記載の認証用の顔画像候補判定方法を含み、
    　　前記基準顔画像の属性ごとに、前記スコア閾値を満たす顔画像を、認証のための顔画像候補とし、
    前記認証工程は、
    　　前記顔画像候補の認証用情報に基づいて、被判定者の顔画像に対する認証を行う
    ことを特徴とする顔画像認証方法。
  15. 請求項１４に記載の顔画像認証方法をコンピュータに実行させることを特徴とするプログラム。
  16. 請求項１５に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

     
PCT/JP2019/035250 2018-09-06 2019-09-06 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 WO2020050413A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020541324A JP7107598B2 (ja) 2018-09-06 2019-09-06 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
SG11202102210TA SG11202102210TA (en) 2018-09-06 2019-09-06 Device for deciding face image candidate for authentication, method for deciding face image candidate for authentication, program, and recording medium
US17/273,751 US11816923B2 (en) 2018-09-06 2019-09-06 Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018167128 2018-09-06
JP2018-167128 2018-09-06

Publications (1)

Publication Number Publication Date
WO2020050413A1 true WO2020050413A1 (ja) 2020-03-12

Family

ID=69722842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035250 WO2020050413A1 (ja) 2018-09-06 2019-09-06 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体

Country Status (4)

Country Link
US (1) US11816923B2 (ja)
JP (1) JP7107598B2 (ja)
SG (1) SG11202102210TA (ja)
WO (1) WO2020050413A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022137720A1 (ja) * 2020-12-21 2022-06-30 パナソニックＩｐマネジメント株式会社 在席情報管理システムおよび在席情報管理方法
KR20220121184A (ko) * 2021-02-24 2022-08-31 (주)소프트제국 인공지능 딥러닝 모델을 이용한 마스크 착용 얼굴 인식 방법 및 서버
WO2023276877A1 (ja) * 2021-07-01 2023-01-05 パナソニックＩｐマネジメント株式会社 在席状況提示方法および在席状況提示システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6249263B2 (ja) * 2015-09-08 2017-12-20 日本電気株式会社 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム
US11477249B2 (en) * 2021-01-29 2022-10-18 Okta, Inc. Security guidance for creation of multi factor authentication policy

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116373A1 (ja) * 2016-12-20 2018-06-28 三菱電機株式会社 車載画像認証装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5730044B2 (ja) 2011-01-31 2015-06-03 セコム株式会社 顔画像認証装置
CN103136533B (zh) 2011-11-28 2015-11-25 汉王科技股份有限公司 基于动态阈值的人脸识别方法及装置
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
JP5955057B2 (ja) 2012-03-30 2016-07-20 セコム株式会社 顔画像認証装置
CN107590474B (zh) 2017-09-21 2020-08-14 Oppo广东移动通信有限公司 解锁控制方法及相关产品

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116373A1 (ja) * 2016-12-20 2018-06-28 三菱電機株式会社 車載画像認証装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022137720A1 (ja) * 2020-12-21 2022-06-30 パナソニックＩｐマネジメント株式会社 在席情報管理システムおよび在席情報管理方法
KR20220121184A (ko) * 2021-02-24 2022-08-31 (주)소프트제국 인공지능 딥러닝 모델을 이용한 마스크 착용 얼굴 인식 방법 및 서버
KR102439216B1 (ko) * 2021-02-24 2022-09-01 (주)소프트제국 인공지능 딥러닝 모델을 이용한 마스크 착용 얼굴 인식 방법 및 서버
KR20220123212A (ko) * 2021-02-24 2022-09-06 (주)소프트제국 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치
KR102530141B1 (ko) * 2021-02-24 2023-05-10 (주)소프트제국 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치
WO2023276877A1 (ja) * 2021-07-01 2023-01-05 パナソニックＩｐマネジメント株式会社 在席状況提示方法および在席状況提示システム

Also Published As

Publication number Publication date
JPWO2020050413A1 (ja) 2021-08-30
SG11202102210TA (en) 2021-04-29
US11816923B2 (en) 2023-11-14
JP7107598B2 (ja) 2022-07-27
US20210334520A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
WO2020050413A1 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
JP6013241B2 (ja) 人物認識装置、及び方法
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
US11341770B2 (en) Facial image identification system, identifier generation device, identification device, image identification system, and identification system
JP6268960B2 (ja) 画像認識装置及び画像認識装置に対するデータ登録方法
JP5801601B2 (ja) 画像認識装置、画像認識装置の制御方法、およびプログラム
JP5385759B2 (ja) 画像処理装置及び画像処理方法
US9864902B2 (en) Apparatus and method of collating categories of images
EP2763102A1 (en) Face recognition method, apparatus, and computer-readable recording medium for executing the method
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
CN110069989B (zh) 人脸图像处理方法及装置、计算机可读存储介质
JP6798798B2 (ja) ユーザ認証のためのデータを更新する方法及び装置
KR20120114564A (ko) 대표 지문 템플릿 생성 장치 및 방법
CN108596079B (zh) 手势识别方法、装置及电子设备
JP5787686B2 (ja) 顔認識装置、及び顔認識方法
JP6287827B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110232331B (zh) 一种在线人脸聚类的方法及系统
JP6225460B2 (ja) 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
JP6492746B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
KR20220042335A (ko) 자동 수어 인식 방법 및 시스템
JP5755046B2 (ja) 画像認識装置、画像認識方法及びプログラム
JP2020187763A (ja) 情報処理装置、容疑者情報生成方法及びプログラム
EP4266242A1 (en) Authentication method, information processing device, and authentication program
JPWO2013145249A1 (ja) 生体認証装置、生体認証方法、および生体認証プログラム
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856559

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020541324

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19856559

Country of ref document: EP

Kind code of ref document: A1