WO2022201411A1 - 準同型暗号を用いた顔認証のアプリケーション - Google Patents

準同型暗号を用いた顔認証のアプリケーション Download PDF

Info

Publication number
WO2022201411A1
WO2022201411A1 PCT/JP2021/012487 JP2021012487W WO2022201411A1 WO 2022201411 A1 WO2022201411 A1 WO 2022201411A1 JP 2021012487 W JP2021012487 W JP 2021012487W WO 2022201411 A1 WO2022201411 A1 WO 2022201411A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
image
server
user
public key
Prior art date
Application number
PCT/JP2021/012487
Other languages
English (en)
French (fr)
Inventor
公之 茶谷
雅丈 豊田
直樹 千葉
Original Assignee
株式会社KPMG Ignition Tokyo
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社KPMG Ignition Tokyo filed Critical 株式会社KPMG Ignition Tokyo
Priority to JP2022580443A priority Critical patent/JP7236042B2/ja
Priority to PCT/JP2021/012487 priority patent/WO2022201411A1/ja
Publication of WO2022201411A1 publication Critical patent/WO2022201411A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials

Definitions

  • This disclosure relates to face authentication applications using homomorphic encryption.
  • Facial authentication has the privacy issue that features of facial images are retained in the authentication server. No one likes their facial data sent to and stored on a third party server. Even if the face authentication system side declares that the face data has been erased and that it will not be used for any other purpose, such anxiety on the user side will remain.
  • Non-Patent Document 1 discloses a remote biometric authentication system based on secret matching of biometric features. This system realizes safe biometric authentication even on the Internet or between different organizations by storing and verifying bio-feature codes extracted from palm veins in a server while protecting them with homomorphic encryption.
  • Non-Patent Document 1 by replacing the palm vein data with the face feature amount of the face image, face authentication can be performed while the face feature amount of the user's face image is protected by homomorphic encryption. It becomes possible.
  • Non-Patent Document 2 describes that secure computation such as homomorphic encryption is used for security management of registrant's face feature amount information in a face authentication system.
  • the present invention was made in view of these problems, and its purpose is to provide a solution using technology that applies homomorphic encryption to face authentication.
  • An aspect of the present invention relates to an on-premises server.
  • This on-premises server includes holding means for holding a public key used in homomorphic encryption, and facial image acquisition means for acquiring an image of the visitor's face obtained by taking an image of the visitor with a camera installed at the reception desk. and an encryption means for homomorphically encrypting the face feature amount of the obtained face image with the public key held by the holding means, and homomorphically encrypting the homomorphically encrypted face feature amount.
  • a transmitting means for transmitting to a cloud server that realizes face authentication as it is via a network, and a selecting means for selecting an action for a visitor according to the result of face authentication realized by the cloud server.
  • FIG. 1 is a schematic diagram of a face authentication system to which homomorphic encryption is applied
  • FIG. 1 is a schematic diagram of a first embodiment of a face authentication system to which homomorphic encryption is applied
  • FIG. FIG. 2 is a schematic diagram of a second embodiment of a face authentication system to which homomorphic encryption is applied
  • 4 is a flow chart showing the flow of pre-registration processing when the second embodiment of FIG. 3 is applied to face authentication at the reception of a company
  • FIG. 4 is a flow chart showing the flow of authentication processing when the second embodiment of FIG. 3 is applied to face authentication at the reception of a company
  • FIG. FIG. 11 is a data structure diagram showing an example of a configuration of a registered face information holding unit according to a modified example
  • FIG. 4 is a flow chart showing the flow of preliminary face registration processing when the second embodiment of FIG. 3 is applied to face authentication using a surveillance camera;
  • FIG. 4 is a flow chart showing the flow of suspect verification processing when the second embodiment of FIG. 3 is applied to face authentication using a surveillance camera;
  • FIG. 11 is a schematic diagram of a third embodiment of a face authentication system to which homomorphic encryption is applied;
  • FIG. 10 is a flow chart showing the flow of preliminary face registration processing in the face authentication system according to the third embodiment shown in FIG. 9;
  • FIG. FIG. 10 is a representative screen diagram of an event/facility list screen displayed on the display of the user's terminal in the face authentication system according to the third embodiment of FIG. 9;
  • FIG. 10 is a representative screen diagram of a face imaging guide screen displayed on the display of the user's terminal in the face authentication system according to the third embodiment of FIG. 9;
  • FIG. 10 is a representative screen diagram of a transmission completion notification screen displayed on the display of the user's terminal in the face authentication system according to the third embodiment of FIG. 9;
  • FIG. 12 is a schematic diagram of a fourth embodiment of a face authentication system to which homomorphic encryption is applied;
  • FIG. 12 is a schematic diagram of a fifth embodiment of a face authentication system to which homomorphic encryption is applied;
  • 1 is a schematic diagram of an embodiment of a seal impression removal system to which homomorphic encryption is applied;
  • Non-Patent Document 2 mentions that the risk of data leakage can be reduced because there is no need for decryption on a server. The inventors have found that there are many other advantages of applying homomorphic encryption to face authentication.
  • homomorphic encryption used in the present disclosure is not limited, and any type of homomorphic encryption may be used.
  • one of RSA encryption, ElGamal encryption, modified-ElGamal encryption, and Pillier encryption may be used, or other homomorphic encryption algorithms may be used.
  • FIG. 1 is a schematic diagram of a face authentication system 2 that applies homomorphic encryption.
  • System 2 There are three entities in System 2: Data Owners, Data Processors, and Data Consumers.
  • the data owner generates digital face data, and homomorphically encrypts the generated face data.
  • the data owner transmits the homomorphically encrypted facial data to the data processor.
  • the data processor performs authentication using the obtained face data and the reference face data held in a homomorphically encrypted state.
  • the data processor transmits the authentication result homomorphically encrypted to the data consumer.
  • the data consumer decrypts the obtained authentication result.
  • FIG. 2 is a schematic diagram of a first embodiment of a face authentication system 4 to which homomorphic encryption is applied.
  • the face authentication system 4 includes a registration terminal 6 , an authentication terminal 8 , a non-trusted cloud server 10 , and a trusted authentication server 12 .
  • Each component of the face authentication system 4 is communicably connected to each other via a network such as the Internet.
  • the registration terminal 6 includes a camera for capturing an image of the user's face for registration of face authentication and its control section, an encryption section for homomorphically encrypting the face feature amount of the face image, and the encryption section for a holding unit that holds the public key of the homomorphic encryption used.
  • the registration terminal 6 acquires the public key from the authentication server 12 .
  • the authentication terminal 8 includes a camera for capturing an image of the user's face for face authentication and its control unit, an encryption unit for homomorphically encrypting the face feature amount of the face image, and an encryption unit used in the encryption unit. a holding unit that holds a homomorphic encryption public key. The authentication terminal 8 acquires a public key from the authentication server 12 .
  • the cloud server 10 realizes face authentication while homomorphic encryption is performed by using the known technology described in Non-Patent Document 1 and Non-Patent Document 2.
  • the cloud server 10 has a registered face information holding unit that holds the homomorphically encrypted facial features sent from the registration terminal 6, and a homomorphically encrypted face feature sent from the authentication terminal 8.
  • a calculating unit for calculating a difference between the facial feature amount and the homomorphically encrypted facial feature amount held in the registered face information holding unit. The difference is calculated in a homomorphically encrypted state.
  • the authentication server 12 matches a decryption unit that decrypts the homomorphically encrypted difference value sent from the cloud server using a homomorphic encryption secret key based on the difference value obtained as a result of decryption. and a determination unit that performs determination. If the determining unit determines that they match, the face authentication succeeds, and if it determines that they do not match, the face authentication fails.
  • the user photographs his/her face in advance using the registration terminal 6, and the registration terminal 6 homomorphically encrypts the face feature quantity extracted from the face image and transmits it to the cloud server 10. do.
  • the cloud server 10 stores the received face feature amount (homomorphically encrypted, hereinafter "HE" is added to the beginning of the name of the information and data in the homomorphically encrypted state) in the registered face information holding unit.
  • HE homomorphically encrypted
  • the user takes a picture of his/her face using the authentication terminal 8, and the authentication terminal 8 homomorphically encrypts the face feature quantity extracted from the face image and transmits it to the cloud server 10. do.
  • the cloud server 10 calculates the difference between the received HE face feature quantity and the HE face feature quantity held in the registered face information holding unit, and transmits the calculated HE difference value to the authentication server 12 .
  • the authentication server 12 decrypts the received HE difference value, and based on the obtained difference value, determines whether or not the HE face feature amount sent from the authentication terminal 8 is registered in the registered face information holding unit. judge.
  • the authentication server 12 notifies the authentication terminal 8 of the success of the face authentication when the face is registered, and notifies the authentication terminal 8 of the failure of the face authentication when the face is not registered.
  • FIG. 3 is a schematic diagram of a second embodiment of a face authentication system 20 to which homomorphic encryption is applied.
  • Each block shown in FIG. 3 and the following similar figures can be realized by elements such as a CPU of a computer or a mechanical device in terms of hardware, and realized by computer programs etc. in terms of software.
  • the functional blocks realized by their cooperation are drawn. Therefore, those skilled in the art who have read this specification will understand that these functional blocks can be implemented in various ways by combining hardware and software.
  • the face authentication system 20 includes a user terminal 22 , a non-trusted cloud server 24 , and a trusted on-premises server 26 .
  • Each component of the face authentication system 20 is communicably connected to each other via a network such as the Internet.
  • the user terminal 22 includes a camera for capturing an image of the user's face for registration of face authentication, a control section thereof, an encryption section for homomorphically encrypting the face feature amount of the face image, and a and a holding unit that holds a public key for homomorphic encryption.
  • the user terminal 22 acquires the public key from the on-premises server 26 .
  • the cloud server 24 realizes face authentication while homomorphic encryption is performed by using the known technology described in Non-Patent Document 1 and Non-Patent Document 2.
  • the cloud server 24 has a registered face information holding unit that holds homomorphically encrypted face feature amounts sent from the user terminal 22, and a homomorphic encryption included in the face authentication request sent from the on-premises server 26.
  • the on-premise server 26 is owned and/or managed by a company (or entity).
  • the owner/administrator of the on-premise server 26 and the owner/administrator of the cloud server 24 are different.
  • the on-premises server 26 includes a facial image acquisition unit, an encryption unit, a transmission unit, a decryption unit, a determination unit, a selection unit, and a key holding unit.
  • the key holding unit holds a pair of public and private keys used in homomorphic encryption.
  • the facial image acquisition unit acquires an image of the visitor's face obtained by imaging the visitor (the user whose face is registered via the user terminal 22) with a camera installed at the reception desk of the building of the company.
  • the encryption unit extracts a face feature amount from the face image acquired by the face image acquisition unit, and homomorphically encrypts the extracted face feature amount with the public key held in the key holding unit.
  • the transmission unit transmits a face authentication request including the face feature quantity homomorphically encrypted by the encryption unit to the cloud server 24 via the network.
  • the decryption unit decrypts the homomorphically encrypted difference value sent from the cloud server 24 using the secret key held in the key holding unit.
  • the determination unit performs match determination based on the difference value obtained as a result of decoding by the decoding unit.
  • the selection unit selects an action for the visitor according to the face recognition result realized by the cloud server 24 . For example, when the determination unit determines that there is a match, the selection unit determines that the face authentication is successful and performs processing for accepting the visitor (for example, opening the entrance gate, starting automatic guidance, etc.), If it is determined that they do not match, it is determined that face authentication has failed, and predetermined visitor confirmation processing is performed.
  • the visitor confirmation process includes, for example, reporting to a management center, calling a security guard, and requesting face-to-face confirmation by an employee.
  • the user photographs his/her face using the user terminal 22 in advance.
  • the user terminal 22 homomorphically encrypts the face feature amount extracted from the face image, and transmits a face registration request including the HE face feature amount to the cloud server 22 via the network.
  • the cloud server 22 stores the HE face feature amount included in the received face registration request in the registered face information holding unit.
  • the user visits the company building and faces the reception camera.
  • the camera at the reception takes a picture of the user's face.
  • the on-premises server 26 homomorphically encrypts the face feature amount extracted from the face image, and transmits a face authentication request including the HE face feature amount to the cloud server 24 via the network.
  • the cloud server 24 calculates the difference between the received HE face feature quantity and the HE face feature quantity held in the registered face information holding unit, and transmits the calculated HE difference value to the on-premises server 26 .
  • the on-premises server 26 decodes the received HE difference value, and based on the obtained difference value, determines whether the HE face feature amount of the user's face captured by the reception camera is registered in the registered face information holding unit. judge. If registered, the on-premise server 26 determines that the face authentication has succeeded, and performs processing for opening the reception gate, for example. The on-premises server 26 determines that the face authentication has failed if the face is not registered, and performs processing to call the person in charge.
  • FIG. 4 is a flow chart showing the flow of preliminary face registration processing when the second embodiment of FIG. 3 is applied to face authentication at the reception of a company.
  • a user who wishes to visit a company operates a user terminal 22 such as a smart phone or a laptop PC to access the company's website.
  • the user terminal 22 may be any terminal as long as it is used by the user. For example, if a vending machine installed in the city has an imaging function, the vending machine may be used as the user terminal.
  • the user terminal 22 sends a visit request to the on-premises server 26 via the website.
  • the on-premises server 26 identifies the user terminal 22 of the user scheduled to visit the company by analyzing the received visit request (step S202).
  • the on-premise server 26 distributes the public key held in the key holding unit to the user terminal 22 identified in step S202 via the network (step S204), and the user terminal 22 receives the distributed public key. get.
  • the user terminal 22 captures an image of the user's face using an imaging means such as a camera of the user terminal 22 (step S206).
  • the user terminal 22 extracts facial features from the image of the user's face obtained as a result of imaging, and homomorphically encrypts the extracted facial features with the public key received in step S204 (step S208).
  • the user terminal 22 transmits the HE facial feature quantity obtained in step S208 to the cloud server 24 for registration in face authentication (step S210).
  • the user terminal 22 generates a face registration request including the HE face feature quantity and transmits it to the cloud server 24 via the network.
  • the cloud server 24 stores the HE face feature amount included in the received face registration request in the registered face information holding unit (step S212).
  • the processing in the user terminal 22 may be realized by the browser of the user terminal 22 or may be realized by an application program installed in the user terminal 22 .
  • FIG. 5 is a flow chart showing the flow of authentication processing when the second embodiment of FIG. 3 is applied to face authentication at the reception of a company.
  • a user who has completed the pre-registration procedure described above visits the company (step S214).
  • An imaging means such as a camera installed at the reception takes an image of the face of the user who has come to the office (step S216).
  • the on-premises server 26 acquires an image of the user's face from the camera at the reception, extracts facial features of the user's face from the acquired image, and homomorphically encrypts the extracted facial features (step S218).
  • the on-premises server 26 transmits a face authentication request including the HE facial features obtained in step S218 to the cloud server 24 via the network (step S220).
  • the cloud server 24 calculates the difference between the HE face feature amount included in the received face authentication request and the HE face feature amount held in the registered face information holding unit in a homomorphically encrypted state (step S222).
  • the cloud server 24 transmits the HE difference calculated in step S222 to the on-premises server 26 (step S224).
  • the on-premises server 26 decrypts the received HE difference with the private key held in the key holding unit (step S226).
  • the on-premises server 26 determines whether or not there is a match from the decryption result of step S226 (step S230), and if there is a match (YES in step S230), performs processing for permitting entry (step S234).
  • the on-premises server 26 determines whether or not all face feature amounts held in the registered face information holding unit of the cloud server 24 have been confirmed (step S232). If not confirmed (NO in step S232), the process returns to step S222. Specifically, the on-premises server 26 generates a recalculation request and transmits it to the cloud server 24, and the cloud server 24 that receives the recalculation request updates the new HE face feature amount registered in the registered face information holding unit. Select to calculate the difference. If all facial features have been confirmed (YES in step S232), the on-premises server 26 performs processing for denying the user entry (step S236). Note that the criteria for determining whether or not there is a match in the on-premises server 26 may be, for example, that the difference obtained as a result of decoding falls below a predetermined threshold.
  • FIG. 6 is a data structure diagram showing an example of the configuration of a registered face information holding unit according to a modification.
  • This registered face information holding unit holds HE face feature values, user attributes, photographing time periods, and photographing locations in association with each other.
  • the user terminal 22 captures an image of the user's face, it also acquires a shooting time zone representing the time when the image was taken and a shooting location representing the location where the image was taken.
  • the user terminal 22 may determine the user attribute from the image of the user's face, or may determine the user attribute from information registered in the user terminal 22 in advance.
  • the user terminal 22 generates a face registration request including the HE facial feature amount of the user's face, user attributes of the user, shooting time period, and shooting location, and transmits the face registration request to the cloud server 24 via the network.
  • the granularity of each of the user attribute, shooting time period, and shooting location may be set according to the required degree of privacy protection.
  • the on-premises server 26 registers the user attributes of the visiting user and the face of the user by communicating with the speech recognition means, contact input means such as a mouse and keyboard provided at the reception desk, communication with the user terminal 22, and analysis of the user's image. Identify the shooting time zone and shooting location at the time of shooting. For example, a message inquiring about the time and place of face registration may be output from the speaker at the reception desk, and the microphone at the reception desk may receive the user's verbal response.
  • User attributes may be determined from images captured by reception cameras. Alternatively, a touch panel display provided at the reception desk may display guidance for inquiring about the user attributes, the shooting time period, and the shooting location, and accept touch input from the user.
  • the on-premises server 26 generates a face authentication request including the HE facial feature amount of the visiting user's face, the user's attributes, the shooting time zone, and the shooting location, and sends it to the cloud server 24 via the network.
  • the cloud server 24 narrows down the HE face feature amount to be matched using the user attribute, the shooting time period, and the shooting location included in the face authentication request.
  • the cloud server 24 extracts the user attribute, the shooting time period, and the shooting location that match the user attribute, the shooting time period, and the shooting location included in the face authentication request from the HE face feature amount held in the registered face information holding unit. Extract the HE facial features with The cloud server 24 calculates the difference between each of the HE facial feature amounts thus extracted and the HE facial feature amount included in the face authentication request. This reduces the time required for the verification process while still providing the required level of privacy protection.
  • the on-premises server 26 If the on-premises server 26 does not determine the user attributes, shooting time period, and shooting location of the visiting user, the on-premises server 26 generates a face authentication request including the HE facial feature amount of the visiting user's face, and sends the request to the network. to the cloud server 24 via. As in steps S222 and S224, the cloud server 24 transmits the HE difference between the HE face feature amount included in the face authentication request and one HE face feature amount held in the registered face information holding unit to the on-premises server 26. return to As a result of matching determination in the on-premises server 26, when it is determined that they do not match, the cloud server 24 is notified of recalculation.
  • the cloud server 24 Upon receiving the recalculation notification, the cloud server 24 designates the metadata (user attribute, shooting time zone, shooting location) of the previously selected HE face feature amount from the registered face information holding unit as non-applicable metadata.
  • the cloud server 24 filters out, or excludes from the population for selection, HE face features having metadata that is the same as, similar to, or corresponding to non-applicable metadata. As a result, even if metadata is not or cannot be acquired at the time of face authentication, it is possible to reduce the time required for verification processing using the metadata recorded at the time of registration.
  • the HE face feature values held in the registered face information holding unit may be classified into several categories by metadata.
  • the cloud server 24 may calculate the difference between the HE facial feature amount of the visitor's face and any one HE facial feature amount belonging to each category.
  • On-premises server 26 may decode the deltas and calculate a match or match score for each category.
  • the cloud server 24 may select the HE facial feature amount to be collated from among the HE facial feature amounts of the category with the highest degree of matching.
  • the cloud server 24 stores the HE face feature amount included in the visitor registration request in the registered face information holding unit.
  • the registered face information holding unit holds the HE face feature amounts of all the faces of users who have visited in the past.
  • a match at step S230 indicates that the visitor has visited before
  • a YES at step S232 indicates a first time visit. That is, by the process of this modified example, the company that is the owner/manager of the on-premises server 26 can check whether the visitor has been visited in the past or not by the registered face information holding unit. It is possible to judge without accessing a database of faces such as. (Second Embodiment: Modified Example 3) In the example of FIG. 5, the following processing is repeatedly performed.
  • the cloud server receives a face authentication request from the on-premises server, the HE face feature quantity included in the received face authentication request, each HE face feature quantity held in the registered face information holding unit, may be calculated in a homomorphically encrypted state. As a result, the difference between the HE face feature amount included in the face authentication request and each of the HE face feature amounts held in the registered face information holding unit is calculated.
  • the cloud server collectively transmits the HE difference calculated for each HE face feature value held in the registered face information holding unit to the on-premise server.
  • the on-premises server decrypts the received multiple HE differentials with the private key held in the key holding unit.
  • the on-premises server determines that there is a match if there is a difference that satisfies a predetermined matching criterion among the multiple differences obtained as a result of decoding, and otherwise determines that there is no match. If it is determined that there is a match, it corresponds to success of face authentication, and if it is determined that there is no match, it corresponds to failure of face authentication.
  • transmission of the HE difference from the cloud server to the on-premises server only needs to be done once, so the number of times of communication between the cloud server and the on-premises server can be reduced. Similar modifications are possible for other embodiments.
  • FIG. 7 is a flow chart showing the flow of preliminary face registration processing when the second embodiment of FIG. 3 is applied to face authentication using a surveillance camera.
  • the police request stores such as bookstores to participate in a program for facilitating the identification of shoplifters.
  • the on-premises server 26 of the police identifies the user terminals 22 (laptop PCs, desktop PCs, etc.) of the stores participating in the program (step S302).
  • the on-premise server 26 distributes the public key held in the key holding unit to the user terminal 22 identified in step S302 via the network (step S304), and the user terminal 22 receives the distributed public key. get.
  • the user terminal 22 acquires an image of the face of a person (for example, a customer in a store) captured in an image captured by a monitoring camera connected to the user terminal 22, and extracts facial features from the acquired face image (step S306).
  • the user terminal 22 homomorphically encrypts the facial features extracted in step S306 with the public key received in step S304 (step S308).
  • the user terminal 22 transmits the HE facial feature amount obtained in step S308, together with the imaging time and store identification information, to the cloud server 24 for registration in face authentication (step S310).
  • the user terminal 22 generates a face registration request including the HE face feature amount, the imaging time, and the shop identification information, and transmits it to the cloud server 24 via the network.
  • the cloud server 24 associates the HE face feature amount, the imaging time, and the shop identification information included in the received face registration request, and stores them in the registered face information holding unit (step S312).
  • FIG. 8 is a flow chart showing the flow of suspect verification processing when the second embodiment of FIG. 3 is applied to face authentication using a surveillance camera.
  • the police arrest the shoplifting suspect (step S314).
  • Imaging means such as a police camera images the arrested suspect's face (step S316).
  • the on-premises server 26 of the police acquires an image of the suspect's face from the camera, extracts the facial feature amount of the suspect's face from the acquired image, and homomorphically encrypts the extracted facial feature amount (step S318). ).
  • the on-premises server 26 transmits a face authentication request including the HE facial features obtained in step S318 to the cloud server 24 via the network (step S320).
  • the cloud server 24 calculates the difference between the HE face feature amount included in the received face authentication request and the HE face feature amount held in the registered face information holding unit in a homomorphically encrypted state (step S322). At this time, from among the HE face feature values held in the registered face information holding unit, the HE face feature value corresponding to the shop specific information of the shop where the shoplifting damage report has been filed is extracted, and the difference is calculated. It is said that The cloud server 24 transmits the HE difference calculated in step S322 to the on-premises server 26 (step S324). The on-premises server 26 decrypts the received HE difference with the private key held in the key holding unit (step S326). The on-premises server 26 determines whether or not there is a match from the decoding result of step S326 (step S328). A video is requested (step S330). This may be done manually by police officers.
  • the on-premises server 26 determines whether or not all facial features held in the registered face information holding unit of the cloud server 24 have been confirmed (step S332). If not confirmed (NO in step S332), the process returns to step S322. Specifically, the on-premises server 26 generates a recalculation request and transmits it to the cloud server 24, and the cloud server 24 that receives the recalculation request updates the new HE face feature amount registered in the registered face information holding unit. Select to calculate the difference. If all facial features have been confirmed (YES in step S332), the process ends.
  • FIGS. 7 and 8 Although shoplifting has been described as an example in FIGS. 7 and 8, the techniques shown in FIGS. 7 and 8 may be used to identify suspects and collect evidence for crimes other than shoplifting.
  • the facial feature values obtained from the surveillance camera images are homomorphically encrypted and stored in the cloud, and are not decrypted in the cloud. Therefore, images (faces) from surveillance cameras can be stored in the cloud in a manner that ensures privacy. This will allow the police to automate the work of checking surveillance camera images on a cloud basis.
  • the image of the surveillance camera with which the store was equipped was used in this Embodiment, it is not restricted to this. For example, if a vending machine installed in the city has an image capturing function, an image obtained from the image capturing function of the vending machine may be used.
  • FIG. 9 is a schematic diagram of a third embodiment of a face authentication system 30 to which homomorphic encryption is applied.
  • the face authentication system 30 includes a user terminal 32, a server 34 of a face authentication service platform, a server 36 of a company A that uses the face authentication service provided by the administrator of the platform, and a company that uses the same face authentication service. B's server 38;
  • the server 34 of the face recognition service platform may be a cloud server.
  • Each component of the face authentication system 30 is communicably connected to each other via a network such as the Internet.
  • the user terminal 32 has the same configuration as the user terminal 22 of the second embodiment, and the server 36 of company A and the server 38 of company B are the same as those of the second embodiment. It has the same configuration as the on-premises server 26 in the form.
  • each entity (Company A, Company B) has a separate public key/private key pair, and the server 34 of the face authentication service platform is configured in consideration of this point. It differs from the second embodiment.
  • the case where there are two entities, company A and company B is explained as an example, but there is no limit to the number of entities, and even if there are three or more entities, The technical idea of this embodiment is equally applicable.
  • the keys used by companies differ, so users need to manage and use different keys for each company in order to perform face authentication.
  • users can use services accompanied by face authentication provided by various companies without worrying about the difference in keys by using the platform. be able to
  • the server 34 of the face authentication service platform includes a key holding unit, a registered face holding unit for company A, a registered face holding unit for company B, a company information holding unit, a billing control unit, a public key providing unit, and a face A data registration unit and a difference calculation unit are provided.
  • the server 34 is connected to the company A server 36, the company B server 38, and the user terminal 32 via a network.
  • the key holding unit stores a first public key used in homomorphic encryption at company A and a second public key (different from the first public key) used in homomorphic encryption at company B, which is different from company A. Hold.
  • the registered face holding unit for company A holds face feature values homomorphically encrypted with the first public key.
  • the registered face holding unit for company B holds face feature values homomorphically encrypted with the second public key.
  • the company information holding unit holds information on services related to company A (for example, service content, date and time of service provision, location, fees for services) and information on services related to company B.
  • the services include, for example, events such as outdoor live performances, concerts, and shows, entrance to facilities, identity verification in examinations, and the like, and may be services that require face authentication in order to receive service provision.
  • the billing control unit reads information on services related to company A and information on services related to company B from the company information holding unit, and provides them to the user terminal 32 via the network.
  • the billing control unit identifies the service selected by the user of the user terminal 32 in response to the provision of information, and performs billing processing for the identified service.
  • Billing processing may be realized using known billing techniques such as credit card payment, prepaid, electronic money, bank transfer, virtual currency payment, cryptocurrency payment, and point payment.
  • the public key providing unit acquires the public key corresponding to the service selected by the user from the key holding unit under one of the conditions that the billing process in the billing control unit is completed, and sends it to the user terminal 32 via the network.
  • the public key provider acquires the first public key (second public key) corresponding to company A (B) from the key holder, and is provided to the user terminal 32 .
  • the facial data registration unit acquires from the user terminal 32 via the network the facial feature amount of the user's face image homomorphically encrypted with the public key provided by the public key providing unit.
  • the face data registration unit registers the acquired HE face feature amount in the registered face holding unit corresponding to the service selected by the user. For example, when a service involving company A (B) is selected by the user, the face data registration unit registers the acquired HE face feature amount in the registered face holding unit for company A (registered face holding unit for company B). .
  • the difference calculation unit acquires a face authentication request including the HE face feature amount from the server 36 of company A or the server 38 of company B via the network.
  • the difference calculation unit homomorphically encrypts the difference between the HE face feature amount registered in the registered face holding unit corresponding to the transmission source of the acquired face authentication request and the HE face feature amount included in the face authentication request. calculated as it is.
  • the difference calculator transmits the calculation result to the transmission source via the network. For example, when a face authentication request is transmitted from the server 36 (38) of company A (B), the difference calculation unit stores a registered face holding unit for company A (registered face holding unit for company B) corresponding to company A (B). section) and the HE facial feature amount included in the face authentication request. The difference calculation unit transmits the calculated HE difference to the server 36 (38) of company A (B) via the network.
  • FIG. 10 is a flow chart showing the flow of preliminary face registration processing in the face authentication system 30 according to the third embodiment shown in FIG.
  • the user terminal 32 accesses the server 34 of the face authentication service platform via the network (step S402).
  • the server 34 transmits information including a list of services that can be provided by companies registered in the face authentication service platform (hereinafter referred to as a list of services that can be provided) to the accessing user terminal 32 via the network (step S404).
  • a user selects a desired service from the list displayed on the display of the user terminal 32 .
  • the user terminal 32 notifies the server 34 of the service selected by the user via the network (step S406).
  • Billing processing for the selected service is performed between the server 34 and the user terminal 32 (step S408).
  • the server 34 acquires the public key of the company that provides the selected service from the key holder (step S410).
  • the server 34 transmits the obtained public key to the user terminal 32 via the network, and the user terminal 32 obtains the public key (step S412).
  • the user terminal 32 takes an image of the user's face with a camera attached to the user terminal 32 (step S414).
  • the user terminal 32 extracts facial features from the image of the user's face obtained as a result of imaging.
  • the user terminal 32 homomorphically encrypts the face feature quantity with the public key received in step S412 (step S416).
  • the user terminal 32 generates a face registration request including the HE face feature quantity, and transmits the generated face registration request to the server 34 via the network (step S418).
  • the server 34 stores the received HE face feature quantity in the registered face information holding unit for the company that provides the selected service (step S420).
  • FIG. 11 is a representative screen diagram of an event/facility list screen 350 displayed on the display of the user's terminal 32 in the face authentication system 30 according to the third embodiment of FIG.
  • the user terminal 32 that has received the service available list in step S404 of FIG. 10 generates an event/facility list screen 350 based on the content of the service available list and displays it on the display.
  • the event/facility list screen 350 displays details of the services provided by companies registered in the face authentication service platform, the date and place of service provision, the name of the company providing the service, and the fee for the service. View by service.
  • "Outdoor Live” provided by Company A and "Museum Admission” provided by Company B are displayed in an individually selectable format.
  • the user taps the "purchase” button displayed corresponding to the desired service.
  • the user terminal 32 notifies the server 34 of the service for which the "purchase” button was tapped as the service selected by the user. This is realized, for example, by the user terminal 32 generating a selection request including a service ID specifying the service for which the "purchase” button was tapped, and transmitting the selection request to the server 34 via the network.
  • FIG. 12 is a representative screen diagram of a face imaging guide screen 352 displayed on the display of the user's terminal 32 in the face authentication system 30 according to the third embodiment of FIG.
  • the user terminal 32 Upon receiving the public key in step S412 of FIG. 10, the user terminal 32 generates a face imaging guidance screen 352 including a first guidance message 354 prompting the user to capture an image of the user's face, and displays it on the display.
  • Face capture guidance screen 352 further includes a selected service information display area 356 displaying information about the service selected by the user, and a second guidance message 358 that includes a notification that the captured face image will not be decoded at server 34 .
  • the user confirms the contents of the service selected by the user by looking at the selected service information display area 356, and by looking at the second guidance message 358, the image of his/her face is processed without being decoded by the server 34. know. Then, the user sees the first guide message 354 and is prompted by it to press the "photograph” button. When the "face capture” button is pressed, the user terminal 32 activates the camera to capture an image of the user's face.
  • the user terminal 32 may cause the speaker to output guidance prompting the camera to take an image of the user's face as voice.
  • FIG. 13 is a representative screen diagram of a transmission completion notification screen 360 displayed on the display of the user's terminal 32 in the face authentication system 30 according to the third embodiment shown in FIG.
  • the user terminal 32 generates a transmission completion notification screen 360 and displays it on the display in accordance with the transmission of the HE facial feature amount to the server 34.
  • the transmission completion notification screen 360 has an image 364 of the user's face captured by the camera, and an image 362 corresponding to the HE face feature amount of the face.
  • the image 362 may be, for example, an image obtained by reconstructing a facial image from the HE facial features themselves (not decoded). Become.
  • the case of applying homomorphic encryption to face authentication has been described, but this is not the only option, and the present embodiment can also apply homomorphic encryption to other biometric authentication such as fingerprint authentication and iris authentication.
  • Technical ideas in the form of can be applied.
  • FIG. 14 is a schematic diagram of a fourth embodiment of a face authentication system 40 to which homomorphic encryption is applied.
  • the face authentication system 40 includes a user terminal 42 , an entity 1 server 44 , an entity 2 server 46 , an entity 3 server 48 , and an on-premises server 49 .
  • Entity 1, Entity 2, and Entity 3 are all distinct and independent.
  • Each entity's server may be hosted in the cloud.
  • Each component of the face authentication system 40 is communicably connected to each other via a network such as the Internet.
  • the case where there are three entities is described as an example, but there is no limit to the number of entities. The technical idea of this embodiment is equally applicable to
  • a face image is decomposed into components, and each component is homomorphically encrypted for verification.
  • the success or failure of face authentication is determined by statistically or comprehensively judging the matching result for each component.
  • the user terminal 42 includes a camera for capturing an image of the user's face for face authentication registration, a face image acquisition unit for acquiring the image of the user's face from the camera, a parts decomposition unit, a parts-by-parts encryption unit, A holding unit for holding a public key of homomorphic encryption used in the encryption unit, and a part-by-part transmission unit.
  • the user terminal 42 acquires the public key distributed via the network from the on-premises server 49 and stores it in the holding unit.
  • the parts decomposition unit decomposes the user's face image acquired by the face image acquisition unit into components.
  • an image of a face may be decomposed into facial parts such as eyes, nose and mouth.
  • the face image may be decomposed into components in color spaces such as RGB, CMYK or YCrCb (luminance and color difference).
  • RGB, CMYK or YCrCb luminance and color difference.
  • a face image is decomposed into an eye image, a mouth image, and a luminance image.
  • the decomposition of the face image into components in the parts decomposition unit may be realized using a known face recognition technique.
  • the parts-by-parts encryption unit extracts an eye feature amount from an image of the user's eyes obtained as a result of decomposition in the parts decomposition unit, and homomorphically encrypts the extracted eye feature amount with a public key held in the holding unit. do.
  • the part-by-part encryption unit extracts a mouth feature amount from the image of the user's mouth obtained as a result of decomposition in the parts decomposition unit, and homomorphically encrypts the extracted mouth feature amount with a public key held in the holding unit. do.
  • the part-by-part encryption unit extracts a luminance feature amount from the luminance component of the image of the user's face obtained as a result of decomposition in the parts decomposition unit, and prepares the extracted luminance feature amount with the public key held in the holding unit. Homomorphic encryption.
  • the part-by-part transmission unit generates an eye registration request containing the HE eye feature amount and transmits it to the server 44 of entity 1 via the network.
  • the part-by-part transmission unit generates a mouth registration request including the HE mouth feature and transmits it to the server 46 of the entity 2 via the network.
  • the part-by-part transmission unit generates a luminance registration request including the luminance feature quantity and transmits it to the server 48 of the entity 3 via the network.
  • the server 44 of Entity 1 realizes face component authentication while homomorphic encryption is performed by using the known technology described in Non-Patent Document 1 and Non-Patent Document 2.
  • the server 44 stores the HE eye feature amount included in the eye registration request sent from the user terminal 42, and the HE eye feature amount included in the eye authentication request sent from the on-premises server 49.
  • a calculation unit for calculating a difference from the HE eye feature amount held in the eye feature holding unit hereinafter referred to as an eye difference.
  • the eye difference is calculated after being homomorphically encrypted.
  • the server 44 transmits the calculated HE eye difference to the on-premises server 49 .
  • the server 46 of Entity 2 implements face component authentication with homomorphic encryption intact by using the known technology described in Non-Patent Document 1 and Non-Patent Document 2.
  • the server 46 stores the HE mouth feature amount included in the mouth registration request sent from the user terminal 42 and the HE mouth feature amount included in the mouth authentication request sent from the on-premises server 49 .
  • a calculation unit that calculates a difference (hereinafter referred to as mouth difference) from the HE mouth feature amount held in the mouth feature holding unit. The difference is calculated after being homomorphically encrypted.
  • the server 46 transmits the calculated HE mouth difference to the on-premises server 49 .
  • the server 48 of Entity 3 uses the known technology described in Non-Patent Document 1 and Non-Patent Document 2 to realize face component authentication with homomorphic encryption intact.
  • the server 48 includes a luminance component feature holding unit that holds the HE luminance feature amount included in the luminance registration request sent from the user terminal 42, and an HE luminance feature amount included in the luminance authentication request sent from the on-premises server 49. and a calculation unit for calculating a difference (hereinafter referred to as a luminance difference) from the HE luminance feature amount held in the luminance component feature holding unit.
  • the luminance difference is calculated in a homomorphically encrypted state.
  • the server 48 transmits the calculated HE luminance difference to the on-premises server 49 .
  • the on-premises server 49 includes a key holding unit, a facial image acquisition unit, a parts decomposition unit, a parts encryption unit, a parts transmission unit, a parts difference decryption unit, a parts difference update unit, and a match determination unit. and a difference table.
  • the key holding unit holds a pair of public and private keys used in homomorphic encryption.
  • the face image obtaining unit obtains a face image of a person to be face-authenticated by capturing an image of the person to be face-authenticated (a user whose face is registered via the user terminal 42) with a camera.
  • the parts decomposition unit decomposes the user's face image acquired by the face image acquisition unit into components in the same manner as the decomposition performed by the parts decomposition unit of the user terminal 42 .
  • the part-by-part encryption unit extracts an eye feature amount from an image of the user's eyes obtained as a result of decomposition in the parts decomposition unit, and homomorphically encrypts the extracted eye feature amount with the public key held in the key holding unit.
  • the part-by-part encryption unit extracts a mouth feature amount from the image of the user's mouth obtained as a result of decomposition in the parts decomposition unit, and homomorphically encrypts the extracted mouth feature amount with the public key held in the key holding unit.
  • the part-by-part encryption unit extracts a luminance feature amount from the luminance component of the image of the user's face obtained as a result of decomposition in the parts decomposition unit, and encrypts the extracted luminance feature amount with the public key held in the key holding unit. Homomorphic encryption.
  • the part-by-part transmission unit generates an eye authentication request containing the HE eye feature amount and transmits it to the server 44 of entity 1 via the network.
  • the part-by-part transmission unit generates a mouth authentication request including the HE mouth feature and transmits it to the server 46 of the entity 2 via the network.
  • the part-by-part transmission unit generates a luminance authentication request including the luminance feature amount, and transmits it to the server 48 of the entity 3 via the network.
  • the part-by-part difference decryption unit decrypts the HE-th difference sent from the server 44 of entity 1 using the secret key held in the key holding unit.
  • the part-by-part difference decryption unit decrypts the HE difference sent from the server 46 of the entity 2 using the secret key held in the key holding unit.
  • the part-by-part difference decryption unit decrypts the HE luminance difference sent from the server 48 of the entity 3 using the secret key held in the key holding unit.
  • the part-by-part difference update unit updates the difference table with the eye difference, mouth difference, and luminance difference obtained as a result of decoding in the part-by-part difference decoding unit.
  • the difference table holds the degree of matching (hereinafter referred to as degree of matching) for each component.
  • the part-by-part difference updating unit performs similar processing for the mouth and brightness. After that, the part-by-part difference updating unit transmits a recalculation request to each of the servers 44, 46, and 48 to calculate the difference again by changing the comparison target.
  • the part-by-part difference decoding unit and the part-by-part difference update unit repeat the processing of HE difference acquisition, decoding, and difference table update for all the feature amounts held in the feature holding units of the servers 44, 46, and 48.
  • the difference table holds the maximum degree of matching for each component.
  • the match determination unit determines the result of face component authentication realized by the server 44 of entity 1, the result of face component authentication achieved by the server 46 of entity 2, and the face component authentication achieved by the server 48 of entity 3.
  • the success or failure of the face authentication of the person to be face-authenticated is determined based on the results.
  • the results of facial component authentication achieved by the server 44 of entity 1, the results of facial component authentication achieved by the server 46 of entity 2, and the results of facial component authentication achieved by the server 48 of entity 3 are respectively stored in the difference table. It corresponds to the maximum eye matching value, the maximum mouth matching value, and the maximum brightness component matching value that are retained.
  • the match determination unit may determine the success or failure of face authentication by statistically processing the maximum value of the degree of match for each component held in the difference table.
  • the maximum value of the degree of matching of a predetermined number or more of components is greater than a first threshold, it may be determined that face authentication has succeeded. Specifically, when it is determined that face authentication is successful when there are two or more components with a maximum matching degree greater than 75%, face authentication is determined to be successful with respect to the difference table shown in FIG. be. Alternatively, the average of the maximum values of the degree of matching for each component held in the difference table may be calculated, and if the average exceeds the second threshold, it may be determined that face authentication has succeeded.
  • the face authentication system 40 instead of homomorphically encrypting the feature amount of the entire face image, the feature amount of the component (eyes, mouth, etc.) of the face image is homomorphically encrypted. Therefore, the amount of data to be encrypted can be reduced. This reduces the computational load.
  • the case of applying homomorphic encryption to face authentication has been described, but this is not the only option, and the present embodiment can also apply homomorphic encryption to other biometric authentication such as fingerprint authentication and iris authentication.
  • biometric authentication such as fingerprint authentication and iris authentication.
  • FIG. 15 is a schematic diagram of a fifth embodiment of a face recognition system 50 to which homomorphic encryption is applied.
  • the face recognition system 50 includes a user terminal 52 , a cloud server 54 and an on-premises server 56 . Each component of the face recognition system 50 is communicably connected to each other via a network such as the Internet.
  • the face recognition system 50 recognizes the facial expression of the user of the user terminal 52 while it is homomorphically encrypted.
  • the user terminal 52 extracts a camera for imaging a user's face and its control unit, extracts a facial feature amount of an image of the user's face obtained by imaging the user with the camera, and extracts the extracted facial feature
  • the user terminal 52 acquires the public key from the on-premises server 56 via the network.
  • the user terminal 52 generates a face recognition request including the HE face feature quantity and transmits it to the cloud server 54 via the network.
  • the cloud server 54 includes an angry face feature holding unit that holds HE face feature amounts of angry faces of various users, and a smiling face feature holding unit that holds HE face feature amounts of laughing faces of various users. , a sleepy face feature holding unit holding HE face feature amounts of sleeping faces of various users, and a satisfied face feature holding unit holding HE face feature amounts of satisfied faces of various users.
  • the cloud server 54 collects in advance the HE face feature amounts of angry faces from the user of the user terminal 52 and other users, and registers them in the angry face feature holding unit.
  • a smiling face, a sleeping face, and a satisfied face are similarly collected and registered.
  • the present invention is not limited to this, and is configured to recognize other facial expressions such as surprise and sadness. You may
  • the cloud server 54 calculates the difference between the HE facial feature amount included in the face recognition request sent from the user terminal 52 and the HE facial feature amount held in the feature holding unit corresponding to each facial expression. and a transmitter that transmits the HE difference calculated for each facial expression to the on-premises server 56 via the network.
  • the on-premises server 56 includes a decryption section, a match determination section, an expression processing section, a key holding section, and a difference table.
  • the key holding unit holds a pair of public key and private key used in homomorphic encryption.
  • the decryption unit decrypts the HE difference for each facial expression sent from the cloud server 54 using the secret key held in the key holding unit.
  • the match determination unit performs match determination based on the difference for each facial expression obtained as a result of decoding by the decoding unit. Specifically, similarly to the example of the difference table in the fourth embodiment, the processing of HE difference acquisition, decoding, and difference table update is repeated. As a result, the difference table holds the maximum matching degree for each facial expression.
  • the matching determination unit determines the facial expression with the highest maximum matching degree held in the difference table as the facial expression of the user.
  • the match determination unit determines that the facial expression of the user is "satisfied".
  • the facial expression processing unit performs predetermined processing based on the determination result of the facial expression of the user in the matching determination unit.
  • the face recognition system 50 it is possible to recognize facial expressions in the cloud while the facial features of the user's face are homomorphically encrypted. Therefore, the user's facial expression can be recognized while protecting the privacy of the user's face. This is useful, for example, in applications such as: - In E-Learning, it is possible to determine whether the user is concentrating on the lecture or asleep by having the camera turned on and taking the lecture. In this case, the on-premises server 56 provides E-learning, and the user uses the user terminal 52 to take lectures.
  • the on-premises server 56 determines that the user is asleep, the on-premises server 56 causes the user terminal 52 to perform processing for waking up the user, such as generating an alarm sound or vibrating the user terminal 52.
  • the avatar may take an action to wake up the user.
  • - Taking an image of the user's face while viewing an online shopping site with the user's consent.
  • the on-premises server 56 that provides online shopping obtains the user's reaction to the provided site from the determination result of the user's facial expression.
  • the on-premises server 56 that provides online content and videos obtains the user's reaction to the provided content and videos from the determination result of the user's facial expression.
  • FIG. 16 is a schematic diagram of an embodiment of a seal impression removal system 60 to which homomorphic encryption is applied.
  • a seal impression such as a contract with OCR
  • the client uploads the pdf or image of the contract with the seal impression to the cloud to remove the seal impression.
  • clients tend to dislike uploading imprinted documents to a non-trusted cloud due to the risk of forgery and misuse.
  • the portion with the seal impression is cut out from the document with the seal impression, and the cut out portion is homomorphically encrypted and transmitted to the cloud.
  • the imprint is removed while the part is homomorphically encrypted.
  • the seal impression is not decrypted in the cloud, so the client can use the cloud-based OCR service with peace of mind.
  • the seal imprint removal system 60 includes a user terminal 62 and a cloud server 64 that implements the removal of the seal imprint while it is homomorphically encrypted.
  • the user terminal 62 includes a pre-registration section, a seal impression processing section, and a key holding section.
  • the key holding unit holds a pair of public key and private key used in homomorphic encryption.
  • the pre-registration unit acquires in advance the image of the seal imprint to be removed, homomorphically encrypts it, and transmits it to the cloud server 64 for registration.
  • the seal impression processing unit acquires the image of the document with the seal impression, extracts the seal impression portion, homomorphically encrypts the extracted portion, and transmits it to the cloud server 64 .
  • the seal impression processing unit decodes the stamp-removed portion returned from the cloud server 64 and reconstructs the document.
  • the pre-registration unit includes a seal impression image acquisition unit, a homomorphic encryption unit, and a transmission unit.
  • the seal impression image obtaining unit obtains an image of the seal impression obtained by imaging the seal impression to be removed by the camera.
  • the homomorphic encryption unit homomorphically encrypts the obtained image of the seal impression using the public key held in the key holding unit.
  • the transmission unit generates a seal impression registration request including the HE seal image, and transmits it to the cloud server 64 via the network.
  • the seal impression processing unit includes a document image acquisition unit, a seal impression part extraction unit, a homomorphic encryption unit, a transmission unit, a decryption unit, and a document reconstruction unit.
  • the document image acquisition unit acquires an image of a document obtained by capturing an image of a document with a seal to be processed by a camera.
  • the seal impression portion extracting section extracts a portion of a predetermined size including the seal impression (hereinafter referred to as a seal impression portion) from the acquired image of the document.
  • the homomorphic encryption unit homomorphically encrypts the extracted seal imprint portion using the public key held in the key holding unit.
  • the transmission unit generates a seal imprint removal request including the HE seal imprint portion and transmits it to the cloud server 64 via the network.
  • the cloud server 64 includes a seal impression holding section and a seal impression removal section.
  • the seal impression holding unit holds the HE seal image included in the seal impression registration request received from the pre-registration unit.
  • the seal impression removal section refers to the HE seal image held in the seal impression holding section, and removes the seal impression in units of pixels from the HE seal impression portion included in the seal impression removal request received from the seal impression processing section.
  • the seal impression removing unit transmits the HE processed partial image in which the seal impression is removed from the HE seal impression portion to the user terminal 62 via the network.
  • the decoding unit acquires HE-processed partial images from the cloud server 64.
  • the decryption unit decrypts the HE-processed partial image with the private key held by the key holding means.
  • the document reconstruction unit reconstructs the document using the processed partial images obtained as a result of decoding in the decoding unit.
  • the document reconstruction unit replaces a portion of a predetermined size including the seal imprint in the image of the document acquired by the document image acquisition unit with the decoded processed partial image.
  • the user terminal 62 may perform processing such as OCR on the reconstructed document, or send the reconstructed document to a cloud-based OCR service.
  • examples of holding units are hard disks and semiconductor memories.
  • each part is implemented by a CPU (not shown), an installed application program module, a system program module, a semiconductor memory that temporarily stores the contents of data read from the hard disk, etc.
  • a case has been described in which facial features of a face image are extracted, homomorphically encrypted, and transmitted.
  • the present invention is not limited to this. You may send.
  • the case of one-factor authentication using the face has been described, but it is not limited to this, for example, two-factor authentication such as face and password or face and PIN code, and in the case of multi-factor authentication (multi-factor authentication)
  • multi-factor authentication multi-factor authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

オンプレミスサーバは、準同型暗号で用いられる公開鍵を保持する保持手段と、受付に設置されたカメラで来訪者を撮像することによって得られる当該来訪者の顔の画像を取得する顔画像取得手段と、取得された顔の画像の顔特徴量を、保持手段によって保持されている公開鍵で準同型暗号化する暗号化手段と、準同型暗号化された顔特徴量を、準同型暗号化したままの顔認証を実現するクラウドサーバにネットワークを介して送信する送信手段と、クラウドサーバによって実現される顔認証の結果にしたがい来訪者に対するアクションを選択する選択手段と、を備える。

Description

準同型暗号を用いた顔認証のアプリケーション
　本開示は、準同型暗号を用いた顔認証のアプリケーションに関する。
　昨今のコロナ禍により、接触を伴う認証から非接触認証への転換が進んでいる。非接触認証のなかでも顔認証は、カメラさえあれば導入でき、専用の端末が不要であることからコスト面で有利であり、適用範囲が広い。
　顔認証には、顔の画像の特徴が認証サーバに保持されるというプライバシーの課題がある。誰しも、自分の顔のデータが第三者のサーバに送られ、そこに記憶されることを好まない。仮に顔認証のシステム側が顔のデータを消去していることや目的外使用を行わないことを宣言したとしても、このようなユーザ側の不安は残るものである。
　一方、近年の計算機の能力向上により、準同型暗号（Homomorphic Encryption）を様々なシステムに応用できるようになってきた。顔認証を含む生体認証もその応用分野のひとつであり、例えば非特許文献１には、生体特徴の秘匿マッチングに基づくリモート生体認証システムが開示されている。このシステムは、手のひら静脈から抽出したバイオ特徴コードを、準同型暗号で保護したままサーバに保存および照合することにより、インターネット上や異組織間であっても安全に生体認証を実現する。非特許文献１に記載のシステムにおいて、手のひら静脈のデータを顔の画像の顔特徴量に置き換えることで、ユーザの顔の画像の顔特徴量を準同型暗号で保護したまま顔認証を行うことが可能となる。また、非特許文献２には、顔認証システムにおける登録者の顔特徴量情報の安全管理に、準同型暗号などの秘密計算を用いることが記載されている。
「生体特徴の秘匿マッチングに基づくリモート生体認証システムの試作」、小倉孝夫他、マルチメディア，分散，協調とモバイル (DICOMO2014)シンポジウム、平成26年7月 「1秘密計算による安全なデータ共有」、竹之内隆夫、情報処理 Vol.59 No.10 Oct. 2018
　このように、準同型暗号を顔認証に適用する技術は確立されている。しかしながら、そのような技術を用いたソリューションの提案はまだ少ない。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、準同型暗号を顔認証に適用する技術を用いたソリューションの提供にある。
　本発明のある態様は、オンプレミスサーバに関する。このオンプレミスサーバは、準同型暗号で用いられる公開鍵を保持する保持手段と、受付に設置されたカメラで来訪者を撮像することによって得られる当該来訪者の顔の画像を取得する顔画像取得手段と、取得された顔の画像の顔特徴量を、保持手段によって保持されている公開鍵で準同型暗号化する暗号化手段と、準同型暗号化された顔特徴量を、準同型暗号化したままの顔認証を実現するクラウドサーバにネットワークを介して送信する送信手段と、クラウドサーバによって実現される顔認証の結果にしたがい来訪者に対するアクションを選択する選択手段と、を備える。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
準同型暗号を適用した顔認証のシステムの模式図である。 準同型暗号を適用した顔認証システムの第１の実施の形態の模式図である。 準同型暗号を適用した顔認証システムの第２の実施の形態の模式図である。 図３の第２の実施の形態を企業の受付における顔認証に適用した場合の事前顔登録処理の流れを示すフローチャートである。 図３の第２の実施の形態を企業の受付における顔認証に適用した場合の認証処理の流れを示すフローチャートである。 変形例に係る登録顔情報保持部の構成の一例を示すデータ構造図である。 図３の第２の実施の形態を監視カメラを用いた顔認証に適用した場合の事前顔登録処理の流れを示すフローチャートである。 図３の第２の実施の形態を監視カメラを用いた顔認証に適用した場合の被疑者照合処理の流れを示すフローチャートである。 準同型暗号を適用した顔認証システムの第３の実施の形態の模式図である。 図９の第３の実施の形態に係る顔認証システムにおける事前顔登録処理の流れを示すフローチャートである。 図９の第３の実施の形態に係る顔認証システムにおいてユーザの端末のディスプレイに表示されるイベント・施設一覧画面の代表画面図である。 図９の第３の実施の形態に係る顔認証システムにおいてユーザの端末のディスプレイに表示される顔撮像案内画面の代表画面図である。 図９の第３の実施の形態に係る顔認証システムにおいてユーザの端末のディスプレイに表示される送信完了通知画面の代表画面図である。 準同型暗号を適用した顔認証システムの第４の実施の形態の模式図である。 準同型暗号を適用した顔認証システムの第５の実施の形態の模式図である。 準同型暗号を適用した印影除去システムの実施の形態の模式図である。
　以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。
（概要）
　顔認証に準同型暗号を適用することの利点として、例えば非特許文献２には、サーバで復号する必要がないのでデータ漏洩のリスクを減らすことができることが挙げられている。本発明者等は、顔認証に準同型暗号を適用することの利点はそれ以外にも数多くあることを見出した。
　例えば、クラウドネイティブ時代における秘匿性を担保した顔認証を提供することができることがある。オンプレミスで顔認証を行う場合、顔認証の全てのコンポーネント、全ての登録データを自社のサーバに搭載することとなり、導入・メンテナンスコストが嵩み、スケーラビリティに乏しい。近年、コストやスケーラビリティの面でより有利なクラウドネイティブが台頭し、オンプレミスからクラウドへの移行が進んでいる。そのようなクラウドにおいてユーザの顔のセキュリティを担保したまま顔認証を行うための直感的な解は、シンクライアントとクラウドとで秘密鍵を共有し、シンクライアントで顔特徴量を暗号化してクラウドに送り、クラウドで復号して顔認証し、結果を暗号化して送り返す、という手法であろう。しかしながら、秘密鍵をクラウドに預ける必要があり、かつ、復号済みの顔特徴量やその認証結果がそのままクラウドに残りうるのでプライバシー上好ましくない。クラウドおよびその管理者・提供者は基本的に第３者であってnon-trustedとみなければならない。クラウドネイティブ時代のプライバシー保護の要諦は、いかにクラウドに生のデータを残さないか、である。
　そこで、顔認証に準同型暗号を適用することにより、クラウドに生の顔特徴量や認証結果を残さずにクラウド上で顔認証を行うことができる。これにより、クラウド管理者・提供者による顔特徴量の悪用を防止することができるので、プライバシー保護を担保しつつ顔認証システムのクラウドへの移行を進めることができる。さらに、このような利点がユーザに周知されることにより、これまでクラウドに自分の顔の情報が残ることを嫌っていたユーザの懸念が軽減または払拭され、顔認証サービスを利用することに対する心理的なしきいが下がり、顔認証の利用が促進される。
　本開示において用いられる準同型暗号の種類に制限はなく、任意の種類の準同型暗号が用いられてもよい。例えば、RSA暗号、ElGamal暗号、modified-ElGamal暗号、Pillier暗号のうちのいずれかが用いられてもよいし、他の準同型暗号アルゴリズムが用いられてもよい。
　図１は、準同型暗号を適用した顔認証のシステム２の模式図である。システム２には３つのエンティティ：データ所有者、データ処理者、データ消費者、が登場する。システム２の処理フローでは、まずデータ所有者にてデジタルの顔データを生成し、生成された顔データを準同型暗号化する。データ所有者は、準同型暗号化された顔データをデータ処理者に伝送する。データ処理者は、取得した顔データと、準同型暗号化された状態で保持されている参照用の顔データと、を用いて認証を行う。データ処理者は、準同型暗号化された状態の認証結果をデータ消費者に伝送する。データ消費者は、取得した認証結果を復号する。
（第１の実施の形態）
　図２は、準同型暗号を適用した顔認証システム４の第１の実施の形態の模式図である。顔認証システム４は、登録用端末６と、認証用端末８と、non-trustedのクラウドサーバ１０と、trusted の認証サーバ１２と、を備える。顔認証システム４の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。
　登録用端末６は、顔認証の登録用にユーザの顔を撮像するためのカメラおよびその制御部と、顔の画像の顔特徴量を準同型暗号化する暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、を含む。登録用端末６は、認証サーバ１２から公開鍵を取得する。
　認証用端末８は、顔認証用にユーザの顔を撮像するためのカメラおよびその制御部と、顔の画像の顔特徴量を準同型暗号化する暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、を含む。認証用端末８は、認証サーバ１２から公開鍵を取得する。
　クラウドサーバ１０は、非特許文献１や非特許文献２に記載される公知の技術を用いることにより、準同型暗号化したままの顔認証を実現する。クラウドサーバ１０は、登録用端末６から送られてくる準同型暗号化された顔特徴量を保持する登録顔情報保持部と、認証用端末８から送られてくる準同型暗号化された状態の顔特徴量と、登録顔情報保持部に保持されている準同型暗号化された状態の顔特徴量と、の差分を計算する計算部と、を含む。当該差分は準同型暗号化された状態で算出される。
　認証サーバ１２は、クラウドサーバから送られてくる準同型暗号化された状態の差分値を、準同型暗号の秘密鍵を用いて復号する復号部と、復号の結果得られた差分値に基づき一致判定を行う判定部と、を含む。判定部において一致するとの判定がなされると、顔認証の成功となり、一致しないとの判定がなされると顔認証の失敗となる。
　顔認証システム４では、事前にユーザは登録用端末６を用いて自分の顔を撮影し、登録用端末６はその顔画像から抽出された顔特徴量を準同型暗号化してクラウドサーバ１０に送信する。クラウドサーバ１０は受信した顔特徴量（準同型暗号化済み、以下、準同型暗号化された状態の情報やデータの名称の頭に「HE」を付す）を登録顔情報保持部に格納する。
　顔認証が必要になると、ユーザは、認証用端末８を用いて自分の顔を撮影し、認証用端末８はその顔画像から抽出された顔特徴量を準同型暗号化してクラウドサーバ１０に送信する。クラウドサーバ１０は受信したHE顔特徴量と、登録顔情報保持部に保持されているHE顔特徴量と、の差分を算出し、算出されたHE差分値を認証サーバ１２に送信する。認証サーバ１２は、受信したHE差分値を復号し、得られた差分値に基づいて、認証用端末８から送られてきたHE顔特徴量が登録顔情報保持部に登録されているか否かを判定する。認証サーバ１２は、登録されている場合は顔認証の成功を認証用端末８に通知し、登録されていない場合は顔認証の失敗を認証用端末８に通知する。
（第２の実施の形態）
　図３は、準同型暗号を適用した顔認証システム２０の第２の実施の形態の模式図である。図３および以降の同様の図に示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。顔認証システム２０は、ユーザ端末２２と、non-trustedのクラウドサーバ２４と、trustedのオンプレミスサーバ２６と、を備える。顔認証システム２０の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。
　ユーザ端末２２は、顔認証の登録用にユーザの顔を撮像するためのカメラおよびその制御部と、顔の画像の顔特徴量を準同型暗号化する暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、を含む。ユーザ端末２２は、オンプレミスサーバ２６から公開鍵を取得する。
　クラウドサーバ２４は、非特許文献１や非特許文献２に記載される公知の技術を用いることにより、準同型暗号化したままの顔認証を実現する。クラウドサーバ２４は、ユーザ端末２２から送られてくる準同型暗号化された顔特徴量を保持する登録顔情報保持部と、オンプレミスサーバ２６から送られてくる顔認証要求に含まれる準同型暗号化された状態の顔特徴量と、登録顔情報保持部に保持されている準同型暗号化された状態の顔特徴量と、の差分を計算する計算部と、を含む。当該差分は準同型暗号化された状態で算出される。
　オンプレミスサーバ２６は企業（またはエンティティ）によって所有および／または管理される。オンプレミスサーバ２６の所有者／管理者とクラウドサーバ２４の所有者／管理者とは異なる。オンプレミスサーバ２６は、顔画像取得部と、暗号化部と、送信部と、復号部と、判定部と、選択部と、鍵保持部と、を含む。
　鍵保持部は、準同型暗号で用いられる一対の公開鍵と秘密鍵とを保持する。顔画像取得部は、企業の建物の受付に設置されたカメラで来訪者（ユーザ端末２２を介して顔を登録したユーザ）を撮像することによって得られる当該来訪者の顔の画像を取得する。暗号化部は、顔画像取得部によって取得された顔の画像から顔特徴量を抽出し、抽出された顔特徴量を、鍵保持部に保持されている公開鍵で準同型暗号化する。送信部は、暗号化部によって準同型暗号化された顔特徴量を含む顔認証要求を、クラウドサーバ２４にネットワークを介して送信する。復号部は、クラウドサーバ２４から送られてくる準同型暗号化された状態の差分値を、鍵保持部に保持されている秘密鍵を用いて復号する。判定部は、復号部による復号の結果得られた差分値に基づき一致判定を行う。選択部は、クラウドサーバ２４によって実現される顔認証の結果にしたがい来訪者に対するアクションを選択する。例えば、選択部は、判定部において一致するとの判定がなされると、顔認証の成功と判断して来訪者を受け入れるための処理（例えば、入場ゲートの開放、自動案内の開始など）を行い、一致しないとの判定がなされると顔認証の失敗と判断して、所定の来訪者確認処理を行う。来訪者確認処理は、例えば管理センターへの通報や、警備員の呼び出し、社員による対面での確認の要求などである。
　顔認証システム２０では、事前にユーザはユーザ端末２２を用いて自分の顔を撮影する。ユーザ端末２２はその顔画像から抽出された顔特徴量を準同型暗号化し、HE顔特徴量を含む顔登録要求を、ネットワークを介してクラウドサーバ２２に送信する。クラウドサーバ２２は受信した顔登録要求に含まれるHE顔特徴量を登録顔情報保持部に格納する。
　上記の事前登録を完了した後、ユーザは、企業の建物を訪問し、受付のカメラに自分の顔を向ける。受付のカメラは、ユーザの顔を撮影する。オンプレミスサーバ２６は、その顔画像から抽出された顔特徴量を準同型暗号化し、HE顔特徴量を含む顔認証要求を、ネットワークを介してクラウドサーバ２４に送信する。クラウドサーバ２４は受信したHE顔特徴量と、登録顔情報保持部に保持されているHE顔特徴量と、の差分を算出し、算出されたHE差分値をオンプレミスサーバ２６に送信する。オンプレミスサーバ２６は、受信したHE差分値を復号し、得られた差分値に基づいて、受付のカメラで撮像したユーザの顔のHE顔特徴量が登録顔情報保持部に登録されているか否かを判定する。オンプレミスサーバ２６は、登録されている場合は顔認証が成功したと判断し、例えば受付の入場ゲートを開けるための処理を行う。オンプレミスサーバ２６は、登録されていない場合は顔認証が失敗したと判断し、係員を呼び出すための処理を行う。
（第２の実施の形態：受付対応）
　図４は、図３の第２の実施の形態を企業の受付における顔認証に適用した場合の事前顔登録処理の流れを示すフローチャートである。企業への訪問を希望するユーザは、スマートフォンやラップトップPCなどのユーザ端末２２を操作して企業のウェブサイトにアクセスする。ユーザ端末２２はユーザが用いる端末であれば任意の端末であればよく、例えば街中に設置されている自動販売機が撮像機能を有する場合は、その自動販売機をユーザ端末としてもよい。ユーザ端末２２は当該ウェブサイトを介してオンプレミスサーバ２６に訪問要求を送信する。オンプレミスサーバ２６は、受信した訪問要求を解析することで、来社予定のユーザのユーザ端末２２を特定する（ステップS202）。オンプレミスサーバ２６は、ステップS202で特定されたユーザ端末２２に、ネットワークを介して、鍵保持部に保持されている公開鍵を配布し（ステップS204）、ユーザ端末２２は、配布された公開鍵を取得する。ユーザ端末２２は、ユーザ端末２２のカメラなどの撮像手段でユーザの顔を撮像する（ステップS206）。ユーザ端末２２は、撮像の結果得られたユーザの顔の画像から顔特徴量を抽出し、抽出された顔特徴量をステップS204で受信した公開鍵で準同型暗号化する（ステップS208）。ユーザ端末２２は、ステップS208で得られたHE顔特徴量を、顔認証における登録用として、クラウドサーバ２４に送信する（ステップS210）。特にユーザ端末２２は、HE顔特徴量を含む顔登録要求を生成し、ネットワークを介してクラウドサーバ２４に送信する。クラウドサーバ２４は、受信した顔登録要求に含まれるHE顔特徴量を登録顔情報保持部に格納する（ステップS212）。なお、上記の処理のうちユーザ端末２２における処理はユーザ端末２２のブラウザにより実現されてもよいし、ユーザ端末２２にインストールされているアプリケーションプログラムにより実現されてもよい。
　図５は、図３の第２の実施の形態を企業の受付における顔認証に適用した場合の認証処理の流れを示すフローチャートである。上記の事前登録手続きを完了したユーザが来社する（ステップS214）。受付に設置されているカメラなどの撮像手段は、来社したユーザの顔を撮像する（ステップS216）。オンプレミスサーバ２６は、受付のカメラからユーザの顔の画像を取得し、取得した画像からユーザの顔の顔特徴量を抽出し、抽出された顔特徴量を準同型暗号化する（ステップS218）。オンプレミスサーバ２６は、ステップS218で得られたHE顔特徴量を含む顔認証要求をクラウドサーバ２４にネットワークを介して送信する（ステップS220）。
　クラウドサーバ２４は、受信した顔認証要求に含まれるHE顔特徴量と、登録顔情報保持部に保持されているHE顔特徴量と、の差分を、準同型暗号化された状態で算出する（ステップS222）。クラウドサーバ２４は、ステップS222で算出されたHE差分をオンプレミスサーバ２６に送信する（ステップS224）。オンプレミスサーバ２６は、受信したHE差分を、鍵保持部に保持されている秘密鍵で復号する（ステップS226）。オンプレミスサーバ２６はステップS226の復号の結果から一致するか否かを判定し（ステップS230）、一致する場合（ステップS230のYES）は入館を許可するための処理を行う（ステップS234）。一致しない場合（ステップS230のNO）、オンプレミスサーバ２６はクラウドサーバ２４の登録顔情報保持部に保持されている全ての顔特徴量を確認したか否かを判定する（ステップS232）。確認していない場合（ステップS232のNO）、処理はステップS222に戻る。具体的には、オンプレミスサーバ２６は再計算要求を生成してクラウドサーバ２４に送信し、再計算要求を受信したクラウドサーバ２４は登録顔情報保持部に登録されている新たなHE顔特徴量を選択して差分を算出する。全ての顔特徴量が確認された場合（ステップS232のYES）、オンプレミスサーバ２６はユーザの入館を拒否するための処理を行う（ステップS236）。なお、オンプレミスサーバ２６における一致するか否かの判定基準は、例えば復号の結果得られた差分が所定の閾値を下回ることであってもよい。
（第２の実施の形態：変形例１）
　図５の例では以下の処理が繰り返して行われる。登録されているHE顔特徴量をひとつ選択（クラウド）、差分を計算（クラウド）、差分を復号（オンプレミス）、一致判定（オンプレミス）、一致しない場合の差し戻し（オンプレミス）、登録されているHE顔特徴量から新たにひとつ選択（クラウド）。この繰り返し処理はクラウドサーバ２４とオンプレミスサーバ２６との通信を含んでおり、比較的時間がかかるが、登録されているHE顔特徴量の匿名化の度合いは高いのでより高い程度のプライバシー保護が実現される。
　処理のスピードが求められるようなアプリケーションでは、HE顔特徴量にメタデータを付与して登録することで、照合処理を高速化することができる。図６は、変形例に係る登録顔情報保持部の構成の一例を示すデータ構造図である。この登録顔情報保持部は、HE顔特徴量と、ユーザ属性と、撮影時間帯と、撮影場所と、を対応付けて保持する。本変形例では、ユーザ端末２２がユーザの顔を撮像するとき、併せて撮像が行われた時刻を表す撮影時間帯と、撮像が行われた場所を表す撮影場所と、を取得する。ユーザ端末２２はユーザの顔の画像からユーザ属性を決定してもよいし、予めユーザ端末２２に登録された情報からユーザ属性を決定してもよい。ユーザ端末２２は、ユーザの顔のHE顔特徴量と、当該ユーザのユーザ属性と、撮影時間帯と、撮影場所と、を含む顔登録要求を生成し、ネットワークを介してクラウドサーバ２４に送信する。ユーザ属性、撮影時間帯、撮影場所それぞれの粒度は、要求されるプライバシー保護の程度に応じて設定されてもよい。
　オンプレミスサーバ２６は、受付に設けられた音声認識手段やマウス・キーボード等接触型入力手段やユーザ端末２２との通信やユーザの画像の解析により、来訪したユーザのユーザ属性並びに当該ユーザが顔を登録したときの撮影時間帯および撮影場所を特定する。例えば、顔登録を行った時間や場所を問い合わせるメッセージを受付のスピーカーから出力し、受付のマイクロフォンがユーザの口頭回答を取得してもよい。受付のカメラの画像からユーザ属性を決定してもよい。あるいはまた、受付に設けられたタッチパネルディスプレイに、ユーザ属性や撮影時間帯や撮影場所を問い合わせる案内を表示し、ユーザによるタッチ入力を受け付けてもよい。
　オンプレミスサーバ２６は、来訪したユーザの顔のHE顔特徴量と、当該ユーザのユーザ属性と、撮影時間帯と、撮影場所と、を含む顔認証要求を生成し、ネットワークを介してクラウドサーバ２４に送信する。クラウドサーバ２４は、顔認証要求に含まれるユーザ属性と撮影時間帯と撮影場所とを用いて、照合するHE顔特徴量を絞り込む。クラウドサーバ２４は、登録顔情報保持部に保持されているHE顔特徴量のなかから、顔認証要求に含まれるユーザ属性、撮影時間帯、撮影場所と合致するユーザ属性、撮影時間帯、撮影場所を有するHE顔特徴量を抽出する。クラウドサーバ２４は、そのように抽出されたHE顔特徴量のひとつひとつと顔認証要求に含まれるHE顔特徴量との差分を計算する。これにより、必要なレベルのプライバシーの保護を実現しつつ照合の処理にかかる時間を削減できる。
　オンプレミスサーバ２６が来訪したユーザのユーザ属性と、撮影時間帯と、撮影場所と、を決定しない場合、オンプレミスサーバ２６は来訪したユーザの顔のHE顔特徴量を含む顔認証要求を生成し、ネットワークを介してクラウドサーバ２４に送信する。クラウドサーバ２４は、ステップS222、S224と同様にして、顔認証要求に含まれるHE顔特徴量と登録顔情報保持部に保持されているあるひとつのHE顔特徴量とのHE差分をオンプレミスサーバ２６に返す。オンプレミスサーバ２６における一致判定の結果、一致しないと判定された場合、クラウドサーバ２４に再計算通知がなされる。再計算通知を受けると、クラウドサーバ２４は、登録顔情報保持部から先に選択したHE顔特徴量のメタデータ（ユーザ属性、撮影時間帯、撮影場所）を非該当メタデータとして指定する。クラウドサーバ２４は、非該当メタデータと同じか類似するか対応するメタデータを有するHE顔特徴量をフィルタアウトするか、選択の母集団から除外する。これにより、顔認証時にメタデータを取得しなくてもまたはできなくても、登録時に記録されたメタデータを用いて照合の処理にかかる時間を削減できる。
　あるいはまた、登録顔情報保持部に保持されているHE顔特徴量をメタデータでいくつかのカテゴリに分類してもよい。この場合、クラウドサーバ２４は、来訪者の顔のHE顔特徴量と、各カテゴリに属する任意のひとつのHE顔特徴量と、の差分を算出してもよい。オンプレミスサーバ２６は、差分を復号し、カテゴリごとに一致度または一致スコアを算出してもよい。次の照合時、クラウドサーバ２４は、一致度が最も高かったカテゴリのHE顔特徴量のなかから照合対象のHE顔特徴量を選択してもよい。
（第２の実施の形態：変形例２）
　図５の例においてステップS232でYESとなり、来訪者の顔が事前登録されていないと判定された場合、来訪者の入館が拒否される場合を説明したが、本開示はこれに限られない。例えば、来訪者の顔が事前登録されていないと判定された場合、係員を受付に呼び出す処理が開始されてもよい。係員は来訪者に来訪の要件を伺うなど通常の対応をする。来訪者を入館させてもよいと係員が判断した場合、オンプレミスサーバ２６は来訪者の顔のHE顔特徴量を含む訪問者登録要求を生成し、クラウドサーバ２４に送信する。クラウドサーバ２４は、訪問者登録要求に含まれるHE顔特徴量を登録顔情報保持部に格納する。これにより、登録顔情報保持部は過去に来訪したユーザ全ての顔のHE顔特徴量を保持することとなる。また、ステップS230での一致は当該訪問者が以前に訪問したことがあることを示し、ステップS232のYESは初めての訪問であることを示す。すなわち、本変形例の処理により、オンプレミスサーバ２６の所有者／管理者である企業は、訪問者が過去にも訪問を受けたことがある訪問者であるか否かを、登録顔情報保持部などの顔のデータベースにアクセスすることなしに、判断することができる。
（第２の実施の形態：変形例３）
　図５の例では以下の処理が繰り返して行われる。登録されているHE顔特徴量をひとつ選択（クラウド）、差分を計算（クラウド）、差分を復号（オンプレミス）、一致判定（オンプレミス）、一致しない場合の差し戻し（オンプレミス）、登録されているHE顔特徴量から新たにひとつ選択（クラウド）。これに代えて、クラウドサーバは、オンプレミスサーバから顔認証要求を受信すると、受信した顔認証要求に含まれるHE顔特徴量と、登録顔情報保持部に保持されている各HE顔特徴量と、の差分を、準同型暗号化された状態で算出してもよい。これにより、顔認証要求に含まれるHE顔特徴量と登録顔情報保持部に保持されている全てのHE顔特徴量のそれぞれとの差分が算出される。クラウドサーバは、登録顔情報保持部に保持されている各HE顔特徴量について算出されたHE差分をまとめてオンプレミスサーバに送信する。オンプレミスサーバは、受信した複数のHE差分を、鍵保持部に保持されている秘密鍵で復号する。オンプレミスサーバは、復号の結果得られた複数の差分のなかに、所定の一致基準を充たす差分があれば一致があると判定し、そうでなければ一致がないと判定する。一致があると判定された場合は顔認証の成功に対応し、一致がないと判定された場合は顔認証の失敗に対応する。この変形例ではクラウドサーバからオンプレミスサーバへのHE差分の送信が一度で済むので、クラウドサーバとオンプレミスサーバとの通信の回数を削減できる。他の実施の形態についても同様の変形例が可能である。
（第２の実施の形態：警察DX）
　現在、警察は事件が起こってから現場周辺の監視カメラの映像の提供を依頼するようであり、監視カメラの映像を警察に常時、リアルタイムで共有することはなされていない。共有がなされない原因のひとつは、監視カメラに映る不特定多数の人のプライバシー保護である。このプライバシー保護の問題をクリアし、監視カメラの映像から得られる顔特徴量をクラウドにアップロードして警察がいつでも照会できるようになれば警察における監視カメラ画像確認作業が効率化される。これは警察の業務のDX（Digital Transformation）と言えよう。
　図７は、図３の第２の実施の形態を監視カメラを用いた顔認証に適用した場合の事前顔登録処理の流れを示すフローチャートである。この例では、まず、警察が書店などの店舗に、万引き犯特定容易化のためのプログラムへの参加を要請する。警察のオンプレミスサーバ２６は、プログラムに参加する店舗のユーザ端末２２（ラップトップPCやデスクトップPCなど）を特定する（ステップS302）。オンプレミスサーバ２６は、ステップS302で特定されたユーザ端末２２に、ネットワークを介して、鍵保持部に保持されている公開鍵を配布し（ステップS304）、ユーザ端末２２は、配布された公開鍵を取得する。ユーザ端末２２は、ユーザ端末２２に接続された監視カメラの画像に映る人物（例えば、店舗内の客）の顔の画像を取得し、取得された顔の画像から顔特徴量を抽出する（ステップS306）。ユーザ端末２２は、ステップS306で抽出された顔特徴量をステップS304で受信した公開鍵で準同型暗号化する（ステップS308）。ユーザ端末２２は、ステップS308で得られたHE顔特徴量を、撮像時刻および店舗特定情報と共に、顔認証における登録用として、クラウドサーバ２４に送信する（ステップS310）。特にユーザ端末２２は、HE顔特徴量と撮像時刻と店舗特定情報とを含む顔登録要求を生成し、ネットワークを介してクラウドサーバ２４に送信する。クラウドサーバ２４は、受信した顔登録要求に含まれるHE顔特徴量と撮像時刻と店舗特定情報とを対応付けて登録顔情報保持部に格納する（ステップS312）。
　図８は、図３の第２の実施の形態を監視カメラを用いた顔認証に適用した場合の被疑者照合処理の流れを示すフローチャートである。警察が万引きの被疑者を逮捕する（ステップS314）。警察のカメラなどの撮像手段は、逮捕された被疑者の顔を撮像する（ステップS316）。警察のオンプレミスサーバ２６は、カメラから被疑者の顔の画像を取得し、取得した画像から被疑者の顔の顔特徴量を抽出し、抽出された顔特徴量を準同型暗号化する（ステップS318）。オンプレミスサーバ２６は、ステップS318で得られたHE顔特徴量を含む顔認証要求をクラウドサーバ２４にネットワークを介して送信する（ステップS320）。
　クラウドサーバ２４は、受信した顔認証要求に含まれるHE顔特徴量と、登録顔情報保持部に保持されているHE顔特徴量と、の差分を、準同型暗号化された状態で算出する（ステップS322）。この際、登録顔情報保持部に保持されているHE顔特徴量のなかから、万引きの被害届が出されている店舗の店舗特定情報に対応するHE顔特徴量が抽出されて差分計算の対象とされる。クラウドサーバ２４は、ステップS322で算出されたHE差分をオンプレミスサーバ２６に送信する（ステップS324）。オンプレミスサーバ２６は、受信したHE差分を、鍵保持部に保持されている秘密鍵で復号する（ステップS326）。オンプレミスサーバ２６はステップS326の復号の結果から一致するか否かを判定し（ステップS328）、一致する場合（ステップS328のYES）は、対応する店舗に対応する撮像時刻頃の監視カメラの画像または映像を要求する（ステップS330）。これは警官により人手で行われてもよい。
　一致しない場合（ステップS328のNO）、オンプレミスサーバ２６はクラウドサーバ２４の登録顔情報保持部に保持されている全ての顔特徴量を確認したか否かを判定する（ステップS332）。確認していない場合（ステップS332のNO）、処理はステップS322に戻る。具体的には、オンプレミスサーバ２６は再計算要求を生成してクラウドサーバ２４に送信し、再計算要求を受信したクラウドサーバ２４は登録顔情報保持部に登録されている新たなHE顔特徴量を選択して差分を算出する。全ての顔特徴量が確認された場合（ステップS332のYES）、処理は終了する。
　なお、図７、図８の例では万引きを例として説明したがこれに限られず、図７、図８に示される技術を万引き以外の犯罪の被疑者特定、証拠集めに用いてもよい。
　図７、図８に示される技術によれば、監視カメラの画像から得られた顔特徴量は準同型暗号化されてクラウドに保存され、クラウドで復号されることはない。したがって、プライバシーが担保された形で監視カメラの画像（顔）をクラウドに貯めることができる。これにより、警察は監視カメラの画像を確認する作業をクラウドベースで自動化することができる。
　なお、本実施の形態では店舗に備え付けられた監視カメラの画像を用いる場合を説明したが、これに限られない。例えば、街中に設置されている自動販売機が撮像機能を備える場合には、その自動販売機の撮像機能から得られる画像を用いてもよい。
（第３の実施の形態）
　図９は、準同型暗号を適用した顔認証システム３０の第３の実施の形態の模式図である。顔認証システム３０は、ユーザ端末３２と、顔認証サービスプラットフォームのサーバ３４と、当該プラットフォームの管理者により提供される顔認証サービスを利用する企業Aのサーバ３６と、同じ顔認証サービスを利用する企業Bのサーバ３８と、を備える。顔認証サービスプラットフォームのサーバ３４はクラウドサーバであってもよい。顔認証システム３０の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。準同型暗号を用いた顔認証について、ユーザ端末３２は第２の実施の形態のユーザ端末２２と同様な構成を有し、企業Aのサーバ３６および企業Bのサーバ３８はそれぞれ第２の実施の形態のオンプレミスサーバ２６と同様な構成を有する。第３の実施の形態では、各エンティティ（企業A、企業B）が別個の公開鍵・秘密鍵ペアを有しており、その点を考慮して顔認証サービスプラットフォームのサーバ３４を構成する点が第２の実施の形態と異なる。なお、第３の実施の形態では企業A、企業Bの２つのエンティティが存在する場合を例として説明しているが、エンティティの数に制限はなく、３つ以上のエンティティが存在する場合にも等しく本実施の形態の技術的思想を適用可能である。
　一般に、企業により用いる鍵が異なることから、顔認証を行うためにユーザは企業ごとに鍵を管理し、使い分ける必要がある。これに対し、本実施の形態に係る顔認証サービスプラットフォームによると、ユーザは当該プラットフォームを利用することで、鍵の違いを気にすることなく様々な企業が提供する顔認証を伴うサービスを利用することができるようになる。
　顔認証サービスプラットフォームのサーバ３４は、鍵保持部と、企業A用登録顔保持部と、企業B用登録顔保持部と、企業情報保持部と、課金制御部と、公開鍵提供部と、顔データ登録部と、差分算出部と、を備える。サーバ３４は企業Aのサーバ３６、企業Bのサーバ３８、ユーザ端末３２にネットワークを介して接続される。
　鍵保持部は、企業Aにおける準同型暗号で用いられる第１公開鍵と、企業Aとは異なる企業Bにおける準同型暗号で用いられる第２公開鍵（第１公開鍵とは異なる）と、を保持する。企業A用登録顔保持部は、第１公開鍵で準同型暗号化された顔特徴量を保持する。企業B用登録顔保持部は、第２公開鍵で準同型暗号化された顔特徴量を保持する。企業情報保持部は、企業Aが関わるサービスの情報（例えば、サービスの内容、サービス提供の日時、場所、サービスにかかる料金）と、企業Bが関わるサービスの情報と、を保持する。サービスは例えば野外ライブやコンサートやショーなどのイベントや、施設への入館や、試験における本人確認などであり、特にサービス提供を受けるために顔認証が求められるサービスであってもよい。
　課金制御部は、企業情報保持部から、企業Aが関わるサービスの情報と、企業Bが関わるサービスの情報と、を読み出し、ネットワークを介してユーザ端末３２に提供する。課金制御部は、情報の提供に応じてユーザ端末３２のユーザによって選択されたサービスを特定し、特定されたサービスの料金の課金処理を行う。課金処理は、クレジットカード決済、プリペイド、電子マネー、銀行振込、仮想通貨決済、暗号通貨決済、ポイント決済などの公知の課金技術を用いて実現されてもよい。
　公開鍵提供部は、課金制御部における課金処理が完了することを条件の一つとして、ユーザによって選択されたサービスに対応する公開鍵を鍵保持部から取得し、ネットワークを介してユーザ端末３２に提供する。例えば、ユーザによって企業A（B）が関わるサービスが選択された場合、公開鍵提供部は鍵保持部から企業A（B）に対応する第１公開鍵（第２公開鍵）を取得し、それをユーザ端末３２に提供する。
　顔データ登録部は、公開鍵提供部によって提供された公開鍵で準同型暗号化されたユーザの顔の画像の顔特徴量を、ネットワークを介してユーザ端末３２から取得する。顔データ登録部は、取得したHE顔特徴量を、ユーザによって選択されたサービスに対応する登録顔保持部に登録する。例えば、ユーザによって企業A（B）が関わるサービスが選択された場合、顔データ登録部は、取得したHE顔特徴量を企業A用登録顔保持部（企業B用登録顔保持部）に登録する。
　差分算出部は、企業Aのサーバ３６または企業Bのサーバ３８から、HE顔特徴量を含む顔認証要求を、ネットワークを介して取得する。差分算出部は、取得した顔認証要求の送信元に対応する登録顔保持部に登録されているHE顔特徴量と、当該顔認証要求に含まれるHE顔特徴量と、の差分を準同型暗号化したままで算出する。差分算出部は、算出結果を送信元にネットワークを介して送信する。例えば、企業A（B）のサーバ３６（３８）から顔認証要求が送信された場合、差分算出部は、企業A（B）に対応する企業A用登録顔保持部（企業B用登録顔保持部）に登録されているHE顔特徴量と、当該顔認証要求に含まれるHE顔特徴量と、の差分を算出する。差分算出部は、算出されたHE差分を企業A（B）のサーバ３６（３８）にネットワークを介して送信する。
　図１０は、図９の第３の実施の形態に係る顔認証システム３０における事前顔登録処理の流れを示すフローチャートである。ユーザ端末３２はネットワークを介して顔認証サービスプラットフォームのサーバ３４にアクセスする（ステップS402）。サーバ３４は、顔認証サービスプラットフォームに登録されている企業から提供可能なサービスのリスト（以下、サービス提供可能リストという）を含む情報を、アクセスしてきたユーザ端末３２にネットワークを介して送信する（ステップS404）。ユーザはユーザ端末３２のディスプレイに表示される上記リストのなかから所望のサービスを選択する。ユーザ端末３２は、ユーザによって選択されたサービスをサーバ３４にネットワークを介して通知する（ステップS406）。サーバ３４とユーザ端末３２との間で、選択されたサービスに係る料金の課金処理が行われる（ステップS408）。サーバ３４は、課金処理が完了すると、選択されたサービスを提供する企業の公開鍵を鍵保持部から取得する（ステップS410）。サーバ３４は、取得した公開鍵をユーザ端末３２にネットワークを介して送信し、ユーザ端末３２はその公開鍵を取得する（ステップS412）。ユーザ端末３２は、ユーザ端末３２に備え付けのカメラでユーザの顔を撮像する（ステップS414）。ユーザ端末３２は、撮像の結果得られたユーザの顔の画像から顔特徴量を抽出する。ユーザ端末３２は、顔特徴量を、ステップS412で受信した公開鍵で準同型暗号化する（ステップS416）。ユーザ端末３２は、HE顔特徴量を含む顔登録要求を生成し、生成された顔登録要求をサーバ３４にネットワークを介して送信する（ステップS418）。サーバ３４は、受信したHE顔特徴量を、選択されたサービスを提供する企業用の登録顔情報保持部に格納する（ステップS420）。
　図１１は、図９の第３の実施の形態に係る顔認証システム３０においてユーザの端末３２のディスプレイに表示されるイベント・施設一覧画面３５０の代表画面図である。図１０のステップS404でサービス提供可能リストを受信したユーザ端末３２は、当該サービス提供可能リストの内容に基づいてイベント・施設一覧画面３５０を生成し、ディスプレイに表示させる。イベント・施設一覧画面３５０は、顔認証サービスプラットフォームに登録されている企業が提供するサービスの内容と、サービス提供の日時および場所と、サービスを提供する企業の名称と、サービスにかかる料金と、をサービスごとに表示する。図１１の例では、企業Aが提供する「野外ライブ」と、企業Bが提供する「博物館入館」と、がそれぞれ個別に選択可能な形式で表示されている。ユーザは、所望のサービスに対応して表示されている「購入」ボタンをタップする。ユーザ端末３２は、「購入」ボタンがタップされたサービスを、ユーザが選択したサービスとしてサーバ３４に通知する。これは例えば、ユーザ端末３２が、「購入」ボタンがタップされたサービスを特定するサービスIDを含む選択要求を生成し、ネットワークを介してサーバ３４に送信することにより実現される。
　図１２は、図９の第３の実施の形態に係る顔認証システム３０においてユーザの端末３２のディスプレイに表示される顔撮像案内画面３５２の代表画面図である。図１０のステップS412で公開鍵を受信したユーザ端末３２は、カメラによるユーザの顔の撮像を促す第１案内メッセージ３５４を含む顔撮像案内画面３５２を生成し、ディスプレイに表示させる。顔撮像案内画面３５２はさらに、ユーザによって選択されたサービスの情報を表示する選択サービス情報表示領域３５６と、撮られた顔の画像がサーバ３４において復号されない旨の通知を含む第２案内メッセージ３５８と、を有する。ユーザは、選択サービス情報表示領域３５６を見ることにより自分が選択したサービスの内容を確認し、第２案内メッセージ３５８を見ることで自分の顔の画像がサーバ３４で復号されずに処理されることを知る。そしてユーザは、第１案内メッセージ３５４を見てそれに促され、「顔撮影」ボタンを押下する。「顔撮影」ボタンが押下されると、ユーザ端末３２はユーザの顔を撮像するためにカメラを起動する。
　なお、図１２の例では第１案内メッセージ３５４を表示することによりカメラによるユーザの顔の撮像を促す場合を説明したが、これに限られない。例えば、ユーザ端末３２はカメラによるユーザの顔の撮像を促す案内を音声としてスピーカーに出力させてもよい。
　図１３は、図９の第３の実施の形態に係る顔認証システム３０においてユーザの端末３２のディスプレイに表示される送信完了通知画面３６０の代表画面図である。図１０のステップS418でHE顔特徴量をサーバ３４に送信することに合わせて、ユーザ端末３２は送信完了通知画面３６０を生成し、ディスプレに表示させる。送信完了通知画面３６０は、カメラにより撮像したユーザの顔の画像３６４と、当該顔のHE顔特徴量に対応する画像３６２と、を有する。画像３６２は、例えばHE顔特徴量そのもの（復号しない）から顔の画像を再構成することで得られる画像であってもよく、その場合画像３６２は顔を示すことはなくほぼランダムなノイズ画像となる。
　本実施の形態では顔認証に準同型暗号を適用する場合を説明したが、これに限られず、例えば指紋認証や虹彩認証などの他の生体認証に準同型暗号を適用する場合にも、本実施の形態の技術的思想を適用することができる。
（第４の実施の形態）
　図１４は、準同型暗号を適用した顔認証システム４０の第４の実施の形態の模式図である。顔認証システム４０は、ユーザ端末４２と、エンティティ１のサーバ４４と、エンティティ２のサーバ４６と、エンティティ３のサーバ４８と、オンプレミスサーバ４９と、を備える。エンティティ１、エンティティ２、エンティティ３、はいずれも他とは異なっており、いずれも独立している。各エンティティのサーバはクラウドにホストされていてもよい。顔認証システム４０の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。なお、第４の実施の形態では３つのエンティティが存在する場合を例として説明しているが、エンティティの数に制限はなく、２つのエンティティが存在する場合および４つ以上のエンティティが存在する場合にも等しく本実施の形態の技術的思想を適用可能である。
　顔認証システム４０では、顔の画像を成分に分解し、成分ごとに準同型暗号化された状態で照合を行う。成分ごとの照合結果を統計的または総合的に判断することで顔認証の成否が決定される。これにより、仮に上記照合を行うサーバのひとつでデータの漏洩が発生し、さらに漏洩したデータが復号されてしまったとしても、流出するのは成分の特徴量のみであって顔の画像全体の特徴量ではない。成分の特徴量のみから元の顔全体の特徴量はわからない。したがって、サーバからのデータ漏洩による顔特徴量流出のリスクをさらに低減することができる。
　ユーザ端末４２は、顔認証の登録用にユーザの顔を撮像するためのカメラと、カメラからユーザの顔の画像を取得する顔画像取得部と、パーツ分解部と、パーツ毎暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、パーツ毎送信部と、を備える。ユーザ端末４２は、オンプレミスサーバ４９からネットワークを介して配布される公開鍵を取得し、上記保持部に格納する。
　パーツ分解部は、顔画像取得部によって取得されたユーザの顔の画像を成分に分解する。例えば、顔の画像を目、鼻、口などの顔のパーツに分解してもよい。あるいはまた、顔の画像をRGBやCMYKやYCrCb（輝度と色差）などの色空間における成分に分解してもよい。本実施の形態では顔の画像を目の画像と口の画像と輝度画像とに分解する場合を説明する。パーツ分解部における顔の画像の成分への分解は、公知の顔認識の技術を用いて実現されてもよい。
　パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの目の画像から目特徴量を抽出し、抽出された目特徴量を保持部に保持されている公開鍵で準同型暗号化する。パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの口の画像から口特徴量を抽出し、抽出された口特徴量を保持部に保持されている公開鍵で準同型暗号化する。パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの顔の画像の輝度成分から輝度特徴量を抽出し、抽出された輝度特徴量を保持部に保持されている公開鍵で準同型暗号化する。
　パーツ毎送信部は、HE目特徴量を含む目登録要求を生成し、ネットワークを介してエンティティ１のサーバ４４に送信する。パーツ毎送信部は、HE口特徴量を含む口登録要求を生成し、ネットワークを介してエンティティ２のサーバ４６に送信する。パーツ毎送信部は、輝度特徴量を含む輝度登録要求を生成し、ネットワークを介してエンティティ３のサーバ４８に送信する。
　エンティティ１のサーバ４４は、非特許文献１や非特許文献２に記載される公知の技術を用いることにより、準同型暗号化したままの顔成分認証を実現する。サーバ４４は、ユーザ端末４２から送られてくる目登録要求に含まれるHE目特徴量を保持する目特徴保持部と、オンプレミスサーバ４９から送られてくる目認証要求に含まれるHE目特徴量と目特徴保持部に保持されているHE目特徴量との差分（以下、目差分という）を計算する計算部と、を含む。当該目差分は準同型暗号化された状態で算出される。サーバ４４は、算出されたHE目差分をオンプレミスサーバ４９に送信する。
　エンティティ２のサーバ４６は、非特許文献１や非特許文献２に記載される公知の技術を用いることにより、準同型暗号化したままの顔成分認証を実現する。サーバ４６は、ユーザ端末４２から送られてくる口登録要求に含まれるHE口特徴量を保持する口特徴保持部と、オンプレミスサーバ４９から送られてくる口認証要求に含まれるHE口特徴量と口特徴保持部に保持されているHE口特徴量との差分（以下、口差分という）を計算する計算部と、を含む。当該口差分は準同型暗号化された状態で算出される。サーバ４６は、算出されたHE口差分をオンプレミスサーバ４９に送信する。
　エンティティ３のサーバ４８は、非特許文献１や非特許文献２に記載される公知の技術を用いることにより、準同型暗号化したままの顔成分認証を実現する。サーバ４８は、ユーザ端末４２から送られてくる輝度登録要求に含まれるHE輝度特徴量を保持する輝度成分特徴保持部と、オンプレミスサーバ４９から送られてくる輝度認証要求に含まれるHE輝度特徴量と輝度成分特徴保持部に保持されているHE輝度特徴量との差分（以下、輝度差分という）を計算する計算部と、を含む。当該輝度差分は準同型暗号化された状態で算出される。サーバ４８は、算出されたHE輝度差分をオンプレミスサーバ４９に送信する。
　オンプレミスサーバ４９は、鍵保持部と、顔画像取得部と、パーツ分解部と、パーツ毎暗号化部と、パーツ毎送信部と、パーツ毎差分復号部と、パーツ毎差分更新部と、一致判定部と、差分テーブルと、を含む。
　鍵保持部は、準同型暗号で用いられる一対の公開鍵と秘密鍵とを保持する。顔画像取得部は、カメラで被顔認証者（ユーザ端末４２を介して顔を登録したユーザ）を撮像することによって得られる当該被顔認証者の顔の画像を取得する。パーツ分解部は、顔画像取得部によって取得されたユーザの顔の画像を、ユーザ端末４２のパーツ分解部で行われる分解と同じ態様で、成分に分解する。
　パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの目の画像から目特徴量を抽出し、抽出された目特徴量を鍵保持部に保持されている公開鍵で準同型暗号化する。パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの口の画像から口特徴量を抽出し、抽出された口特徴量を鍵保持部に保持されている公開鍵で準同型暗号化する。パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの顔の画像の輝度成分から輝度特徴量を抽出し、抽出された輝度特徴量を鍵保持部に保持されている公開鍵で準同型暗号化する。
　パーツ毎送信部は、HE目特徴量を含む目認証要求を生成し、ネットワークを介してエンティティ１のサーバ４４に送信する。パーツ毎送信部は、HE口特徴量を含む口認証要求を生成し、ネットワークを介してエンティティ２のサーバ４６に送信する。パーツ毎送信部は、輝度特徴量を含む輝度認証要求を生成し、ネットワークを介してエンティティ３のサーバ４８に送信する。
　パーツ毎差分復号部は、エンティティ１のサーバ４４から送られてくるHE目差分を、鍵保持部に保持されている秘密鍵を用いて復号する。パーツ毎差分復号部は、エンティティ２のサーバ４６から送られてくるHE口差分を、鍵保持部に保持されている秘密鍵を用いて復号する。パーツ毎差分復号部は、エンティティ３のサーバ４８から送られてくるHE輝度差分を、鍵保持部に保持されている秘密鍵を用いて復号する。
　パーツ毎差分更新部は、パーツ毎差分復号部における復号の結果得られる目差分、口差分、輝度差分で、差分テーブルを更新する。差分テーブルは成分ごとに一致の度合い（以下、一致度）を保持する。パーツ毎差分更新部は、パーツ毎差分復号部における復号の結果得られた目差分（例えば、差分＝５％）に対応する一致度（例えば、一致度＝９５％）と、差分テーブルに保持されている目の一致度と、を比較し、前者が後者より大きければ差分テーブルの目の一致度を前者に置き換え、そうでなければ差分テーブルの目の一致度を変えずに維持する。パーツ毎差分更新部は口、輝度についても同様の処理を行う。その後、パーツ毎差分更新部は、照合対象を変えて再度差分を計算させるための再計算要求を各サーバ４４、４６、４８に送信する。
　パーツ毎差分復号部およびパーツ毎差分更新部は、各サーバ４４、４６、４８の特徴保持部に保持されている特徴量の全てについて、HE差分取得、復号、差分テーブル更新、の処理を繰り返す。その結果、差分テーブルには成分ごとに一致度の最大値が保持される。
　一致判定部は、エンティティ１のサーバ４４によって実現される顔成分認証の結果と、エンティティ２のサーバ４６によって実現される顔成分認証の結果と、エンティティ３のサーバ４８によって実現される顔成分認証の結果と、に基づいて、被顔認証者の顔認証の成否を判定する。エンティティ１のサーバ４４によって実現される顔成分認証の結果、エンティティ２のサーバ４６によって実現される顔成分認証の結果、エンティティ３のサーバ４８によって実現される顔成分認証の結果、はそれぞれ差分テーブルに保持される目の一致度の最大値、口の一致度の最大値、輝度成分の一致度の最大値、に対応する。一致判定部は、差分テーブルに保持される成分ごとの一致度の最大値を統計処理することにより顔認証の成否を判定してもよい。例えば、所定数以上の成分の一致度の最大値が第１閾値より大きければ顔認証の成功と判定してもよい。具体的には、一致度の最大値が７５％より大きい成分が２つ以上あれば顔認証の成功と判定するよう設定した場合、図１４に示される差分テーブルについては顔認証の成功と判定される。あるいはまた、差分テーブルに保持される成分ごとの一致度の最大値の平均を算出し、当該平均が第２閾値を超える場合に顔認証の成功と判定してもよい。
　本実施の形態に係る顔認証システム４０によると、顔の画像全体の特徴量を準同型暗号化するのではなく、顔の画像の成分（目、口等）の特徴量を準同型暗号化するので、暗号化する対象のデータの量を少なくすることができる。これにより計算の負荷が軽減される。
　本実施の形態では顔認証に準同型暗号を適用する場合を説明したが、これに限られず、例えば指紋認証や虹彩認証などの他の生体認証に準同型暗号を適用する場合にも、本実施の形態の技術的思想を適用することができる。
（第５の実施の形態）
　図１５は、準同型暗号を適用した顔認識システム５０の第５の実施の形態の模式図である。顔認識システム５０は、ユーザ端末５２と、クラウドサーバ５４と、オンプレミスサーバ５６と、を備える。顔認識システム５０の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。顔認識システム５０では、ユーザ端末５２のユーザの顔の表情を準同型暗号化したまま認識する。
　ユーザ端末５２は、ユーザの顔を撮像するためのカメラおよびその制御部と、当該カメラでユーザを撮像することによって得られる当該ユーザの顔の画像の顔特徴量を抽出し、抽出された顔特徴量を準同型暗号化する暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、を含む。ユーザ端末５２は、ネットワークを介してオンプレミスサーバ５６から公開鍵を取得する。ユーザ端末５２は、HE顔特徴量を含む顔認識要求を生成し、ネットワークを介してクラウドサーバ５４に送信する。
　クラウドサーバ５４は、様々なユーザの怒った顔のHE顔特徴量を保持する怒った顔特徴保持部と、様々なユーザの笑った顔のHE顔特徴量を保持する笑った顔特徴保持部と、様々なユーザの眠った顔のHE顔特徴量を保持する眠った顔特徴保持部と、様々なユーザの満足顔のHE顔特徴量を保持する満足顔特徴保持部と、を備える。クラウドサーバ５４は予め、ユーザ端末５２のユーザや他のユーザから怒った顔のHE顔特徴量を収集し、怒った顔特徴保持部に登録しておく。笑った顔、眠った顔、満足顔についても同様に収集、登録を行っておく。なお、本実施の形態では４種類の表情（怒り、笑い、眠り、満足）のうちからひとつを認識する場合を説明するが、これに限られず、驚きや悲しみなど他の表情を認識するよう構成してもよい。
　クラウドサーバ５４は、ユーザ端末５２から送られてくる顔認識要求に含まれるHE顔特徴量と、各表情に対応する特徴保持部に保持されているHE顔特徴量と、の差分を計算する計算部と、各表情について算出されたHE差分をオンプレミスサーバ５６にネットワークを介して送信する送信部と、を含む。
　オンプレミスサーバ５６は、復号部と、一致判定部と、表情処理部と、鍵保持部と、差分テーブルと、を含む。鍵保持部は、準同型暗号で用いられる一対の公開鍵と秘密鍵とを保持する。復号部は、クラウドサーバ５４から送られてくる各表情についてのHE差分を、鍵保持部に保持されている秘密鍵を用いて復号する。一致判定部は、復号部による復号の結果得られた各表情についての差分に基づき一致判定を行う。具体的には、第４の実施の形態の差分テーブルの例と同様に、HE差分取得、復号、差分テーブル更新、の処理を繰り返す。その結果、差分テーブルには表情ごとに一致度の最大値が保持される。一致判定部は、差分テーブルに保持される一致度の最大値が最も大きな表情を、ユーザの顔の表情として判定する。図１５の例では、一致判定部は、ユーザの顔の表情を「満足」と判定する。表情処理部は、一致判定部におけるユーザの顔の表情の判定結果に基づく所定の処理を行う。
　本実施の形態に係る顔認識システム５０によると、ユーザの顔の顔特徴量を準同型暗号化したまま、クラウドで顔の表情を認識することができる。したがって、ユーザの顔のプライバシーを保護したままユーザの顔の表情を認識することができる。これは例えば以下のようなアプリケーションにおいて有益である。
・E-Learningにおいて、カメラをオンにして講義を受けさせることで、ユーザが講義に集中しているか、眠っているか、を判定することができる。この場合、オンプレミスサーバ５６がE-learningを提供し、ユーザはユーザ端末５２を用いて講義を受ける。オンプレミスサーバ５６は、ユーザが眠っていると判定された場合、ユーザ端末５２に警告音を発生させるか、ユーザ端末５２を振動させるなど、ユーザを起こすための処理をユーザ端末５２に行わせる。あるいはまた、ユーザ端末５２のディスプレイに講師のアバターを表示させる場合には、当該アバターに、ユーザを起こすためのアクションを取らせてもよい。
・ユーザの同意を得てユーザがオンラインショッピングのサイトを見ているときのユーザの顔を撮像する。オンラインショッピングを提供するオンプレミスサーバ５６は、ユーザの顔の表情の判定結果から、提供しているサイトに対するユーザの反応を取得する。
・ユーザの同意を得てユーザがオンラインコンテンツや動画を見ているときのユーザの顔を撮像する。オンラインコンテンツや動画を提供するオンプレミスサーバ５６は、ユーザの顔の表情の判定結果から、提供しているコンテンツや動画に対するユーザの反応を取得する。
（第６の実施の形態）
　図１６は、準同型暗号を適用した印影除去システム６０の実施の形態の模式図である。契約書などの印影がある文書をOCRで読み取る際、そのままでは印影と重なる部分の文字を読み取ることが困難なので、印影を除去する前処理を行う。クラウドベースのOCRサービスでは、クライアントに、印影が付いた状態の契約書のｐｄｆまたは画像をクラウドにアップロードさせて印影の除去を行うこととなる。しかしながら、偽造や悪用のおそれから、印影付きの文書をnon-trustedなクラウドにアップロードすることはクライアントに嫌がられる傾向にある。
　そこで、本実施の形態に係る印影除去システム６０では、印影付きの文書から印影がある部分を切り出し、切り出された部分を準同型暗号化してクラウドに送信する。クラウドでは、当該部分を準同型暗号化したまま印影除去を行う。これにより、クラウドにおいて印影が復号されることはないので、クライアントは安心してクラウドベースのOCRサービスを利用することができる。
　印影除去システム６０は、ユーザ端末６２と、準同型暗号化したままの印影除去を実現するクラウドサーバ６４と、を備える。ユーザ端末６２は、事前登録部と、印影処理部と、鍵保持部と、を含む。鍵保持部は、準同型暗号で用いられる公開鍵と秘密鍵とのペアを保持する。事前登録部は、予め、除去の対象となる印影の画像を取得し、準同型暗号化してクラウドサーバ６４に送信して登録させる。印影処理部は、印影付きの文書の画像を取得して印影部分を抽出し、抽出された部分を準同型暗号化してクラウドサーバ６４に送信する。印影処理部は、クラウドサーバ６４から返信されてきた、印影除去済みの部分を復号し、文書を再構成する。
　事前登録部は、印影画像取得部と、準同型暗号化部と、送信部と、を含む。印影画像取得部は、カメラが除去の対象となる印影を撮像することにより得られる印影の画像を取得する。準同型暗号化部は、取得された印影の画像を、鍵保持部に保持されている公開鍵を用いて準同型暗号化する。送信部は、HE印影画像を含む印影登録要求を生成し、ネットワークを介してクラウドサーバ６４に送信する。
　印影処理部は、文書画像取得部と、印影部分抽出部と、準同型暗号化部と、送信部と、復号部と、文書再構成部と、を含む。文書画像取得部は、カメラが処理対象の印影付き文書を撮像することにより得られる文書の画像を取得する。印影部分抽出部は、取得された文書の画像から、印影を含む所定の大きさの部分（以下、印影部分という）を抽出する。準同型暗号化部は、抽出された印影部分を、鍵保持部に保持されている公開鍵を用いて準同型暗号化する。送信部は、HE印影部分を含む印影除去要求を生成し、ネットワークを介してクラウドサーバ６４に送信する。
　クラウドサーバ６４は、印影保持部と、印影除去部と、を含む。印影保持部は、事前登録部から受信した印影登録要求に含まれるHE印影画像を保持する。印影除去部は、印影保持部に保持されているHE印影画像を参照し、印影処理部から受信した印影除去要求に含まれるHE印影部分から画素単位で印影を除去する。印影除去部は、HE印影部分から印影を除去したHE処理済み部分画像をユーザ端末６２にネットワークを介して送信する。
　復号部は、クラウドサーバ６４から、HE処理済み部分画像を取得する。復号部は、HE処理済み部分画像を、鍵保持手段によって保持されている秘密鍵で復号する。文書再構成部は、復号部における復号の結果得られる処理済み部分画像を用いて文書を再構成する。文書再構成部は、文書画像取得部によって取得された文書の画像において、印影を含む所定の大きさの部分を、復号された処理済み部分画像で置き換える。ユーザ端末６２は、再構成された文書に対してOCRなどの処理を行ってもよいし、再構成された文書をクラウドベースのOCRサービスに送信してもよい。
　上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。
　以上、実施の形態に係る顔認証システム、顔認識システムの構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。
　実施の形態では、顔の画像の顔特徴量を抽出し、それを準同型暗号化して送信する場合について説明したが、これに限られず、例えば、取得した顔の画像そのものを準同型暗号化して送信してもよい。
　実施の形態では、顔を用いる１要素認証の場合を説明したが、これに限られず、例えば顔とパスワードや顔とPINコードなどの２要素認証、ひいてはMulti-Factor Authentication（多要素認証）の場合にも実施の形態の技術的思想を適用可能である。
　本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び/又は複数のモジュールによって実行され得る。また、本明細書中で説明されるデータ、テーブル、又はデータベースが単一の記憶装置（ストレージやメモリ)に格納される旨説明されたとしても、そのようなデータ、テーブル、又はデータベースは、単一の装置に備えられた複数の記憶装置または複数の装置に分散して配置された複数の記憶装置に分散して格納され得る。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

Claims (17)

  1. 　準同型暗号で用いられる公開鍵を保持する保持手段と、
    　受付に設置されたカメラで来訪者を撮像することによって得られる当該来訪者の顔の画像を取得する顔画像取得手段と、
    　取得された顔の画像の顔特徴量を、前記保持手段によって保持されている公開鍵で準同型暗号化する暗号化手段と、
    　準同型暗号化された顔特徴量を、準同型暗号化したままの顔認証を実現するクラウドサーバにネットワークを介して送信する送信手段と、
    　前記クラウドサーバによって実現される顔認証の結果にしたがい来訪者に対するアクションを選択する選択手段と、を備えるオンプレミスサーバ。
  2. 　請求項１の来訪者の端末に、
    　前記オンプレミスサーバがネットワークを介して配布する公開鍵を取得する機能と、
    　前記端末のカメラで来訪者を撮像することによって得られる当該来訪者の顔の画像を取得する機能と、
    　取得された顔の画像の顔特徴量を、前記オンプレミスサーバから取得した公開鍵で準同型暗号化する機能と、
    　準同型暗号化された顔特徴量を、顔認証における登録用として、前記クラウドサーバにネットワークを介して送信する機能と、を実現させるためのコンピュータプログラム。
  3. 　監視カメラに接続された端末に、
    　警察のサーバがネットワークを介して配布する、準同型暗号で用いられる公開鍵を取得する機能と、
    　前記監視カメラの画像に映る人物の顔の画像を取得する機能と、
    　取得された顔の画像の顔特徴量を、前記警察のサーバから取得した公開鍵で準同型暗号化する機能と、
    　準同型暗号化された顔特徴量を、顔認証における登録用として、準同型暗号化したままの顔認証を実現するクラウドサーバにネットワークを介して送信する機能と、を実現させるためのコンピュータプログラム。
  4. 　準同型暗号で用いられる公開鍵を保持する保持手段と、
    　警察が使用するカメラで被疑者を撮像することによって得られる当該被疑者の顔の画像を取得する顔画像取得手段と、
    　取得された顔の画像の顔特徴量を、前記保持手段によって保持されている公開鍵で準同型暗号化する暗号化手段と、
    　準同型暗号化された顔特徴量を、請求項３に記載されるクラウドサーバにネットワークを介して送信する送信手段と、
    　前記クラウドサーバによって実現される顔認証の結果を取得する取得手段と、を備える警察のサーバ。
  5. 　第１エンティティにおける準同型暗号で用いられる第１公開鍵と、第２エンティティにおける準同型暗号で用いられる第２公開鍵と、を保持する鍵保持手段と、
    　第１公開鍵で準同型暗号化された顔の顔特徴量を保持する第１顔特徴量保持手段と、
    　第２公開鍵で準同型暗号化された顔の顔特徴量を保持する第２顔特徴量保持手段と、
    　第１エンティティが関わるサービスの情報と、第２エンティティが関わるサービスの情報と、を、ネットワークを介してユーザの端末に提供する情報提供手段と、
    　ユーザによって選択されたサービスに対応する公開鍵を前記鍵保持手段から取得し、ネットワークを介して前記端末に提供する鍵提供手段と、
    　提供された公開鍵で準同型暗号化されたユーザの顔の画像の顔特徴量を、ネットワークを介して前記端末から取得する取得手段と、
    　取得した顔特徴量を、ユーザによって選択されたサービスに対応する顔特徴量保持手段に登録する登録手段と、を備えるサーバ。
  6. 　第１エンティティまたは第２エンティティから、準同型暗号化された顔特徴量を含む顔認証要求を、ネットワークを介して取得する要求取得手段と、
    　顔認証要求の送信元に対応する顔画像保持手段に登録されている顔特徴量と、当該顔認証要求に含まれる顔特徴量と、の差分を準同型暗号化したままで算出する算出手段と、
    　算出結果を送信元にネットワークを介して送信する送信手段と、をさらに備える請求項５に記載のサーバ。
  7. 　前記情報提供手段は、サービスにかかる料金の情報を前記端末に提供し、
    　当該サーバはさらに、
    　ユーザによって選択されたサービスの料金の課金処理を行う課金手段を備え、
    　前記鍵提供手段は、前記課金手段における課金処理が完了することを条件の一つとして公開鍵の提供を行う請求項５または６に記載のサーバ。
  8. 　カメラを備える端末に、
    　ネットワークを介して配布される、準同型暗号で用いられる公開鍵を取得する機能と、
    　前記カメラによるユーザの顔の撮像を促す案内を、前記端末の出力手段に出力させる機能と、
    　前記カメラにより取得されたユーザの顔の画像の顔特徴量を、取得された公開鍵で準同型暗号化する機能と、
    　準同型暗号化された顔特徴量を、顔認証における登録用として、準同型暗号化したままの顔認証を実現するクラウドサーバにネットワークを介して送信する機能と、を実現させるためのコンピュータプログラム。
  9. 　案内は、撮られた顔の画像が前記クラウドサーバにおいて復号されない旨の通知を含む請求項８に記載のコンピュータプログラム。
  10. 　準同型暗号化された顔特徴量に対応する画像を、前記端末のディスプレイに表示させる機能をさらに前記端末に実現させる請求項８または９に記載のコンピュータプログラム。
  11. 　カメラを備える端末に、
    　ネットワークを介して配布される、準同型暗号で用いられる公開鍵を取得する機能と、
    　前記カメラにより取得されたユーザの顔の画像を成分に分解する機能と、
    　分解の結果得られるユーザの顔の画像の第１成分の特徴量を、取得された公開鍵で準同型暗号化する機能と、
    　分解の結果得られるユーザの顔の画像の第２成分の特徴量を、取得された公開鍵で準同型暗号化する機能と、
    　準同型暗号化された顔の画像の第１成分の特徴量を、顔成分認証における登録用として、準同型暗号化したままの顔成分認証を実現する第１サーバにネットワークを介して送信する機能と、
    　準同型暗号化された顔の画像の第２成分の特徴量を、顔成分認証における登録用として、準同型暗号化したままの顔成分認証を実現する第２サーバにネットワークを介して送信する機能と、を実現させるためのコンピュータプログラム。
  12. 　成分は顔のパーツを含む請求項１１に記載のコンピュータプログラム。
  13. 　成分は顔の画像の色空間における成分を含む請求項１１または１２に記載のコンピュータプログラム。
  14. 　準同型暗号で用いられる公開鍵を保持する保持手段と、
    　カメラで被顔認証者を撮像することによって得られる当該被顔認証者の顔の画像を取得する顔画像取得手段と、
    　前記カメラにより取得された被顔認証者の顔の画像を成分に分解する分解手段と、
    　分解の結果得られる被顔認証者の顔の画像の第１成分の特徴量を、前記保持手段によって保持されている公開鍵で準同型暗号化する第１暗号化手段と、
    　分解の結果得られる被顔認証者の顔の画像の第２成分の特徴量を、前記保持手段によって保持されている公開鍵で準同型暗号化する第２暗号化手段と、
    　準同型暗号化された顔の画像の第１成分の特徴量を、請求項１１に記載の第１サーバにネットワークを介して送信する第１送信手段と、
    　準同型暗号化された顔の画像の第２成分の特徴量を、請求項１１に記載の第２サーバにネットワークを介して送信する第２送信手段と、
    　前記第１サーバによって実現される顔成分認証の結果と、前記第２サーバによって実現される顔成分認証の結果と、に基づいて、被顔認証者の顔認証の成否を判定する判定手段と、を備えるサーバ。
  15. 　端末のカメラでユーザを撮像することによって得られる当該ユーザの顔の画像の顔特徴量を、準同型暗号で用いられる公開鍵で暗号化する暗号化手段と、
    　それぞれが異なる種類の表情の顔の画像の顔特徴量を準同型暗号化された状態で保持する複数の保持手段と、
    　準同型暗号化されたユーザの顔特徴量と、各保持手段に保持されている顔特徴量と、を準同型暗号化したまま比較することで、ユーザの顔の表情を判定する判定手段と、を備えるシステム。
  16. 　準同型暗号で用いられる公開鍵と秘密鍵とを保持する保持手段を備える端末に、
    　カメラで印影付きの文書を撮像することによって得られる当該文書の画像を取得する機能と、
    　取得された文書の画像から、印影を含む部分を抽出する機能と、
    　抽出された印影を含む部分を、前記保持手段によって保持されている公開鍵で準同型暗号化する機能と、
    　準同型暗号化された印影を含む部分を、準同型暗号化したままの印影除去を実現するクラウドサーバにネットワークを介して送信する機能と、
    　前記クラウドサーバから、印影を含む部分から印影を除去した処理済み部分画像を準同型暗号化された状態で取得する機能と、
    　準同型暗号化された状態の処理済み部分画像を、前記保持手段によって保持されている秘密鍵で復号する機能と、
    　復号の結果得られる処理済み部分画像を用いて文書を再構成する機能と、を実現させるためのコンピュータプログラム。
  17. 　生体情報センサを備える端末に、
    　ネットワークを介して配布される、準同型暗号で用いられる公開鍵を取得する機能と、
    　前記生体情報センサにより取得されたユーザの生体情報を成分に分解する機能と、
    　分解の結果得られるユーザの生体情報の第１成分の特徴量を、取得された公開鍵で準同型暗号化する機能と、
    　分解の結果得られるユーザの生体情報の第２成分の特徴量を、取得された公開鍵で準同型暗号化する機能と、
    　準同型暗号化された生体情報の第１成分の特徴量を、生体情報成分認証における登録用として、準同型暗号化したままの生体情報成分認証を実現する第１サーバにネットワークを介して送信する機能と、
    　準同型暗号化された生体情報の第２成分の特徴量を、生体情報成分認証における登録用として、準同型暗号化したままの生体情報成分認証を実現する第２サーバにネットワークを介して送信する機能と、を実現させるためのコンピュータプログラム。
PCT/JP2021/012487 2021-03-25 2021-03-25 準同型暗号を用いた顔認証のアプリケーション WO2022201411A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022580443A JP7236042B2 (ja) 2021-03-25 2021-03-25 準同型暗号を用いた顔認証のアプリケーション
PCT/JP2021/012487 WO2022201411A1 (ja) 2021-03-25 2021-03-25 準同型暗号を用いた顔認証のアプリケーション

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/012487 WO2022201411A1 (ja) 2021-03-25 2021-03-25 準同型暗号を用いた顔認証のアプリケーション

Publications (1)

Publication Number Publication Date
WO2022201411A1 true WO2022201411A1 (ja) 2022-09-29

Family

ID=83395429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012487 WO2022201411A1 (ja) 2021-03-25 2021-03-25 準同型暗号を用いた顔認証のアプリケーション

Country Status (2)

Country Link
JP (1) JP7236042B2 (ja)
WO (1) WO2022201411A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727100B1 (en) 2022-06-09 2023-08-15 The Government of the United States of America, as represented by the Secretary of Homeland Security Biometric identification using homomorphic primary matching with failover non-encrypted exception handling
US11909854B2 (en) 2022-06-09 2024-02-20 The Government of the United States of America, as represented by the Secretary of Homeland Security Third party biometric homomorphic encryption matching for privacy protection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189706A (ja) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 制御コンテンツ伝送方法および蓄積型放送システム
JP2005222352A (ja) * 2004-02-06 2005-08-18 Matsushita Electric Ind Co Ltd 認証方法、情報処理装置および認証システム
JP2005309973A (ja) * 2004-04-23 2005-11-04 Daiwa Institute Of Research Ltd 電子印鑑装置、処理方法及びプログラム
JP2015139014A (ja) * 2014-01-20 2015-07-30 富士通株式会社 情報処理プログラム、情報処理装置および情報処理方法
JP2016031736A (ja) * 2014-07-30 2016-03-07 株式会社リコー 情報処理システム、出力方法、クライアント端末、出力制御装置、出力装置、プログラム及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189706A (ja) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 制御コンテンツ伝送方法および蓄積型放送システム
JP2005222352A (ja) * 2004-02-06 2005-08-18 Matsushita Electric Ind Co Ltd 認証方法、情報処理装置および認証システム
JP2005309973A (ja) * 2004-04-23 2005-11-04 Daiwa Institute Of Research Ltd 電子印鑑装置、処理方法及びプログラム
JP2015139014A (ja) * 2014-01-20 2015-07-30 富士通株式会社 情報処理プログラム、情報処理装置および情報処理方法
JP2016031736A (ja) * 2014-07-30 2016-03-07 株式会社リコー 情報処理システム、出力方法、クライアント端末、出力制御装置、出力装置、プログラム及び記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727100B1 (en) 2022-06-09 2023-08-15 The Government of the United States of America, as represented by the Secretary of Homeland Security Biometric identification using homomorphic primary matching with failover non-encrypted exception handling
US11843699B1 (en) * 2022-06-09 2023-12-12 The Government of the United States of America, as represented by the Secretary of Homeland Security Biometric identification using homomorphic primary matching with failover non-encrypted exception handling
US20230403158A1 (en) * 2022-06-09 2023-12-14 The Government of the United States of America, as represented by the Secretary of Homeland Security Biometric identification using homomorphic primary matching with failover non-encrypted exception handling
US11909854B2 (en) 2022-06-09 2024-02-20 The Government of the United States of America, as represented by the Secretary of Homeland Security Third party biometric homomorphic encryption matching for privacy protection
US11924349B2 (en) 2022-06-09 2024-03-05 The Government of the United States of America, as represented by the Secretary of Homeland Security Third party biometric homomorphic encryption matching for privacy protection

Also Published As

Publication number Publication date
JP7236042B2 (ja) 2023-03-09
JPWO2022201411A1 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
US11611553B2 (en) Online identity verification platform and process
US11818265B2 (en) Methods and systems for creating and recovering accounts using dynamic passwords
US20220179943A1 (en) Artificial intelligence-based generation of anthropomorphic signatures anduse thereof
JP6273185B2 (ja) 監視情報共有システム、監視装置及びプログラム
US20220029799A1 (en) System and method for creating one or more hashes for biometric authentication in real-time
US11768957B2 (en) Privacy-preserving image distribution
CN112949545B (zh) 识别人脸图像的方法、装置、计算设备和介质
US11695975B1 (en) System and method for live web camera feed and streaming transmission with definitive online identity verification for prevention of synthetic video and photographic images
JP7236042B2 (ja) 準同型暗号を用いた顔認証のアプリケーション
WO2019047567A1 (zh) 服务提供方法、装置、存储介质和计算设备
WO2019048574A1 (en) DIGITAL IDENTITY SYSTEM
GB2517949A (en) Ticket authorisation
CN113821780A (zh) 视频解析方法、装置、电子设备及存储介质
CN115114667A (zh) 一种安全芯片的隐私信息处理分类方法及装置
CN112367314B (zh) 身份认证的方法、装置、计算设备和介质
WO2010140191A1 (ja) 情報通信ネットワーク
CN113052045A (zh) 识别指静脉图像的方法、装置、计算设备和介质
US11244415B2 (en) Personal IP protection system and method
JP2011002938A (ja) 認証カード、カード認証端末、カード認証サーバおよびカード認証システム
CN116456127A (zh) 一种视频处理系统、方法、装置、电子设备及存储介质
TR2021020535A2 (tr) Blok zi̇nci̇r aği üzeri̇nde vasi̇yet birakma si̇stemi̇

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21933021

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022580443

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21933021

Country of ref document: EP

Kind code of ref document: A1