WO2024095627A1 - 認証装置、プログラム、及び認証方法 - Google Patents

認証装置、プログラム、及び認証方法 Download PDF

Info

Publication number
WO2024095627A1
WO2024095627A1 PCT/JP2023/033892 JP2023033892W WO2024095627A1 WO 2024095627 A1 WO2024095627 A1 WO 2024095627A1 JP 2023033892 W JP2023033892 W JP 2023033892W WO 2024095627 A1 WO2024095627 A1 WO 2024095627A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
spherical
neural network
face
convolutional neural
Prior art date
Application number
PCT/JP2023/033892
Other languages
English (en)
French (fr)
Inventor
和人 須田
裕子 石若
駿 小川
Original Assignee
ソフトバンク株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトバンク株式会社 filed Critical ソフトバンク株式会社
Publication of WO2024095627A1 publication Critical patent/WO2024095627A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to an authentication device, a program, and an authentication method.
  • Patent Literature 1 describes a technology for acquiring a face image of a user and authenticating the user using information on feature points included in the face image.
  • Non-Patent Literature 1 describes a spherical convolutional neural network (SCNN) specialized for image data on a sphere.
  • SCNN spherical convolutional neural network
  • an authentication device may include a data acquisition unit that acquires spherical data including an image of a person captured by a fisheye camera.
  • the authentication device may include an authentication execution unit that executes face authentication using a spherical convolutional neural network on the spherical data.
  • the authentication device may include a tracking unit that tracks the position of a person included in the spherical data continuously acquired by the data acquisition unit.
  • the authentication device may include an identification unit that identifies a person for which authentication processing is to be performed based on a tracking result by the tracking unit.
  • the authentication execution unit may perform face authentication using the spherical convolutional neural network on the spherical data for the person identified by the identification unit.
  • the identification unit may identify a person who has passed a boundary line virtually set around the fisheye camera as a person for which authentication processing is to be performed.
  • the identification unit may identify a person who is closest among the people included in the imaging range of the fisheye camera as a person for which authentication processing is to be performed.
  • the authentication device may include a determination unit that determines whether to perform face authentication using the spherical convolutional neural network or face authentication using a convolutional neural network for the person identified by the identification unit.
  • the authentication execution unit may perform face authentication using the spherical convolutional neural network on the spherical data when the determination unit determines that face authentication using the spherical convolutional neural network is to be performed.
  • the authentication execution unit may extract a partial image of the part of the person's face identified by the identification unit from the spherical data, adjust the orientation of the person's face in the partial image, perform distortion correction processing on the partial image to correct distortion caused by a fisheye camera, and then perform face authentication on the partial image using the convolutional neural network.
  • the convolutional neural network may be a convolutional neural network that is not specialized for a sphere.
  • the convolutional neural network may be a convolutional neural network that is not the spherical convolutional neural network.
  • the determination unit may determine to perform face authentication using the spherical convolutional neural network when the security level required for the face authentication is a first level, and may determine to perform face authentication using the convolutional neural network when the security level required for the face authentication is a second level higher than the first level.
  • the determination unit may determine to perform face authentication using the spherical convolutional neural network if the moving speed of the person who is the subject of the authentication process is faster than a predetermined threshold, and may determine to perform face authentication using the convolutional neural network if the moving speed is slower than the threshold.
  • the determination unit may determine to perform face authentication using the spherical convolutional neural network if the value relating to the number of people within the imaging range of the fisheye camera is greater than a predetermined threshold, and may determine to perform face authentication using the convolutional neural network if the value is less than the threshold.
  • the data acquisition unit may acquire first spherical data including an image captured by a first fisheye camera and second spherical data including an image captured by a second fisheye camera arranged at a higher position than the first fisheye camera, and the authentication execution unit may execute face authentication using the spherical convolutional neural network on at least one of the first spherical data and the second spherical data.
  • the authentication execution unit may execute face authentication using both the first spherical data and the second spherical data.
  • the authentication execution unit may determine a final authentication result by executing face authentication using SCNN on the first spherical data and executing face authentication using SCNN on the second spherical data and merging the results.
  • the authentication execution unit may execute face authentication using SCNN on the first spherical data and executing face authentication using SCNN on the second spherical data, and adopt the result with higher accuracy as the final authentication result.
  • the authentication execution unit may select one of the first spherical data and the second spherical data, and perform face authentication using the selected one.
  • the authentication execution unit may select the first spherical data or the second spherical data depending on how the face of the person to be authenticated is captured.
  • the authentication execution unit may select the first spherical data or the second spherical data, which includes a larger range of the face of the person to be authenticated.
  • the authentication execution unit may select the first spherical data or the second spherical data, which includes a larger range of the eye, nose, and mouth features of the person to be authenticated.
  • an authentication device may include a data acquisition unit that acquires spherical data including an image of a person captured by a fisheye camera.
  • the authentication device may include an authentication execution unit that extracts a partial image of a portion of the person's face from the spherical data, adjusts the orientation of the person's face in the partial image, performs distortion correction processing on the partial image to correct distortion caused by the fisheye camera, and then performs face authentication on the partial image using a convolutional neural network.
  • a program for causing a computer to function as the authentication device.
  • an authentication method executed by a computer may include a spherical data acquisition step of acquiring spherical data including an image of a person captured by a fisheye camera.
  • the authentication method may include an authentication execution step of executing face authentication using a spherical convolutional neural network on the spherical data.
  • an authentication method executed by a computer may include a spherical data acquisition step of acquiring spherical data including an image of a person captured by a fisheye camera.
  • the authentication method may include an authentication execution step of extracting a partial image of a portion of the person's face from the spherical data, adjusting the orientation of the person's face in the partial image, performing distortion correction processing on the partial image to correct distortion caused by the fisheye camera, and then performing face authentication on the partial image using a convolutional neural network.
  • FIG. 1 illustrates a schematic diagram of an example authentication system 10.
  • 1 illustrates an example of a processing flow by the authentication device 100.
  • FIG. 1 is an explanatory diagram for explaining pre-processing of CNN by the authentication device 100.
  • 2 illustrates an example of a functional configuration of the authentication device 100.
  • 1 shows an example of a hardware configuration of a computer 1200 that functions as the authentication device 100.
  • a face recognition method in which a camera equipped with a fisheye lens is used to obtain wide-angle images.
  • a fisheye camera and a distance measurement sensor, if necessary
  • a distorted image is obtained from the fisheye camera.
  • the image is converted to spherical data based on the projection law (it is preferable to obtain spherical data directly from the fisheye camera).
  • the position of the person's face is identified from the data on the sphere (for example, by attaching a bounding box) and tracking is performed. If the tracked person crosses a certain boundary line, or if the distance can be estimated and the closest person can be processed directly with SCNN, face recognition is performed using SCNN. If there are problems with using SCNN, a Defish Eye (a projection onto a plane using the central projection law) is performed locally within the bounding box, and face recognition is performed using a normal CNN.
  • the authentication system 10 may control whether or not to open the gate based on the face recognition result, or may report the result to security personnel or investigative agencies.
  • FIG. 1 shows a schematic diagram of an example of an authentication system 10.
  • the authentication system 10 may be a system that performs face authentication of a person.
  • the authentication system 10 includes an authentication device 100.
  • the authentication system 10 may include a camera 210.
  • the authentication system 10 may include a camera 220.
  • the authentication system 10 may include a distance measurement sensor 230.
  • the authentication system 10 may include only the camera 210 and the camera 220, or may include only the camera 210 and the distance measurement sensor 230, or may include only the camera 220 and the distance measurement sensor 230.
  • the authentication system 10 may include only the camera 210, or may include only the camera 220, of the cameras 210, 220, and 230.
  • Camera 210 and camera 220 may be fisheye cameras having fisheye lenses. Camera 220 may be placed at a higher position than camera 210. For example, camera 210 is placed on the lower side, and camera 220 is placed on the upper side. As a specific example, as illustrated in FIG. 1, camera 210 is placed on a stand installed on the lower side, and camera 220 is placed on the ceiling side. Camera 210 and camera 220 may be placed so that no blind spots are created for the faces of people passing near camera 210 and camera 220. Camera 210 may be an example of a first fisheye camera, and camera 220 may be an example of a second fisheye camera.
  • the distance measurement sensor 230 measures the distance to a person.
  • the distance measurement sensor 230 may be installed near the camera 210 or the camera 220.
  • the distance measurement sensor 230 may also be installed at the gate 40 or near the gate 40.
  • the authentication device 100 acquires spherical data including an image of a person captured by the camera 210. For example, the authentication device 100 receives from the camera 210 the spherical data generated by the camera 210. For example, the authentication device 100 receives from the camera 210 data of an image of a person captured by the camera 210, and generates spherical data from the received data.
  • the authentication device 100 and the camera 210 may communicate with each other via a network 20, as illustrated in FIG. 1. Note that the authentication device 100 may communicate with the camera 210 without going through the network 20. For example, the authentication device 100 is placed near the location where the camera 210 is installed, and communicates with the camera 210 via a wired or wireless connection.
  • the authentication device 100 acquires spherical data including an image of a person captured by the camera 220. For example, the authentication device 100 receives from the camera 220 the spherical data generated by the camera 220. For example, the authentication device 100 receives from the camera 220 data of an image of a person captured by the camera 220, and generates spherical data from the received data.
  • the authentication device 100 and the camera 220 may communicate with each other via a network 20, as illustrated in FIG. 1. Note that the authentication device 100 may communicate with the camera 220 without going through the network 20. For example, the authentication device 100 is placed near the location where the camera 220 is installed, and communicates with the camera 220 via a wired or wireless connection.
  • the authentication device 100 acquires the distance to the person measured by the distance measurement sensor 230.
  • the authentication device 100 receives the distance to the person measured by the distance measurement sensor 230 from the distance measurement sensor 230.
  • the authentication device 100 and the distance measurement sensor 230 may communicate with each other via the network 20, as illustrated in FIG. 1. Note that the authentication device 100 may also communicate with the distance measurement sensor 230 without going through the network 20. For example, the authentication device 100 is placed near the location where the distance measurement sensor 230 is installed, and communicates with the camera distance measurement sensor 230 via a wired or wireless connection.
  • the network 20 may include the Internet.
  • the network 20 may include a LAN (Local Area Network).
  • the network 20 may include a mobile communication network.
  • the mobile communication network may conform to any of the following communication methods: 3G (3rd Generation) communication method, LTE (Long Term Evolution) communication method, 5G (5th Generation) communication method, and 6G (6th Generation) communication method or later.
  • the authentication device 100 may be connected to the network 20 by wire.
  • the authentication device 100 may be connected to the network 20 wirelessly.
  • the authentication device 100 may be connected to the network 20 via a wireless base station.
  • the authentication device 100 may be connected to the network 20 via a Wi-Fi (registered trademark) access point.
  • the camera 210 may be connected to the network 20 by wire.
  • the camera 210 may be connected to the network 20 wirelessly.
  • the camera 210 may be connected to the network 20 via a wireless base station.
  • the camera 210 may be connected to the network 20 via a Wi-Fi access point.
  • the camera 220 may be connected to the network 20 by wire.
  • the camera 220 may be connected to the network 20 wirelessly.
  • the camera 220 may be connected to the network 20 via a wireless base station.
  • the camera 220 may be connected to the network 20 via a Wi-Fi access point.
  • the distance measurement sensor 230 may be connected to the network 20 by wire.
  • the distance measurement sensor 230 may be connected to the network 20 wirelessly.
  • the distance measurement sensor 230 may be connected to the network 20 via a wireless base station.
  • the distance measurement sensor 230 may be connected to the network 20 via a Wi-Fi access point.
  • the authentication device 100 performs facial authentication of people captured by the cameras 210 and 220.
  • facial authentication using a normal CNN has been performed on planar images captured by a normal camera, rather than on spherical images captured by a fisheye camera, for example.
  • There is a demand for authentication processing on spherical images, and a method of converting the spherical image into a planar image and then applying a normal CNN can be considered, but various distortions occur due to the conversion, which creates problems with authentication accuracy, etc.
  • the calculations in a normal CNN have translational symmetry and are therefore strong against parallel movements in the vertical and horizontal directions, but do not have rotational symmetry, so in the case of images in which the orientation of the subject is rotated, such as in spherical images, the same object may be erroneously determined to be different.
  • SCNN is specialized for spherical data and has the characteristic of being robust against rotation.
  • Non-Patent Document 1 tests were conducted using a rotated MNIST to compare the performance of a normal CNN with SCNN. When the training data and test data were rotated, the accuracy rate of the CNN method was 11%, which is almost the same as answering at random, while the accuracy rate of SCNN was 95%. This is because CNN has translational symmetry and is strong against parallel translations up, down, left, and right, but has no rotational symmetry and is weak against rotational transformations, whereas SCNN has rotational symmetry.
  • the authentication device 100 performs face authentication using SCNN. This makes it possible to achieve sufficient authentication accuracy even for spherical data.
  • the authentication device 100 may selectively use face recognition by SCNN and face recognition by CNN.
  • FIG. 2 shows an example of a processing flow by the authentication device 100.
  • the processing flow is described when the authentication device 100 detects a person approaching the gate 40 from images captured by the cameras 210 and 220, performs facial authentication on the person approaching the gate 40, and executes a process to open the gate 40 if authentication is successful.
  • step (sometimes abbreviated to S) 102 authentication device 100 acquires spherical data including images of a person captured by camera 210 and camera 220.
  • step (104) authentication device 100 identifies the position of the person's face from the spherical data and tracks it.
  • the authentication device 100 determines whether or not to perform facial authentication of the person based on the person's tracking status. For example, the authentication device 100 determines to perform facial authentication of the person being tracked when the person crosses a virtually set boundary line in front of the gate 40. For example, the authentication device 100 determines to perform facial authentication of the person closest to the gate 40 or the camera 210 and the camera 220 among the multiple people included in the spherical data.
  • the process returns to S102, and if it is determined that facial recognition will be performed (YES in S106), the process proceeds to S108.
  • the authentication device 100 determines whether to perform facial recognition using SCNN or facial recognition using CNN. If it is determined that facial recognition will be performed using SCNN, the process proceeds to S110, and if it is determined that facial recognition will be performed using CNN, the process proceeds to S112.
  • the authentication device 100 performs face authentication using SCNN on the spherical data acquired in S102.
  • the authentication device 100 extracts a partial image of the face of the person to be authenticated from the spherical data acquired in S102.
  • the authentication device 100 adjusts the orientation of the person's face in the partial image extracted in S112. For example, the authentication device 100 detects the person's eyes, nose, and mouth, and adjusts the orientation of the person's face so that the chin is at the bottom and the top of the head is at the top.
  • the authentication device 100 locally performs Defish eye on the spherical data.
  • Defish eye may be a distortion correction process that corrects distortion caused by a fisheye camera.
  • the authentication device 100 may perform Defish eye on the partial image in which the orientation of the person's face has been adjusted in S114.
  • the authentication device 100 performs face authentication using CNN on the partial image on which Defish eye was performed in S116.
  • the authentication device 100 executes processing according to the authentication result. If the authentication of the person to be authenticated is OK, the authentication device 100 controls the gate 40 to open the gate 40, and if the authentication is not OK, the authentication device 100 does not open the gate 40.
  • the authentication device 100 determines whether or not to end the authentication process. For example, when the authentication device 100 receives an end instruction from the administrator of the authentication system 10, the authentication device 100 determines to end the authentication process. If the authentication process is not to be ended, the process returns to S102.
  • FIG. 3 is an explanatory diagram for explaining the pre-processing of the CNN by the authentication device 100.
  • the spherical data 300 includes a face image in a state rotated and distorted from the normal face orientation in which the chin is located at the bottom and the top of the head is located at the top, as illustrated in FIG. 3.
  • the authentication device 100 cuts out a partial image 310 of the person's face from the spherical data 300, adjusts the orientation, and converts it into a planar image according to the projection law with the area in which the face is located as the center, and inputs the data into a CNN for normal face recognition to perform authentication.
  • This is an application of the fact that, for example, while it is difficult to properly represent a world map on a flat surface while maintaining distance and angle, a map of Japan can be represented on a flat surface with better accuracy.
  • the authentication device 100 projects a face image onto the tangent plane of a sphere near the person's nose in the partial image 310 (the central projection method of a normal camera).
  • the authentication device 100 uses something like a bounding box, and corrects distortion of the partial image 310 by tracking and using a coordinate system centered on the bounding box for the data within that range.
  • FIG. 4 shows an example of the functional configuration of the authentication device 100.
  • the authentication device 100 includes a memory unit 102, a data acquisition unit 104, a tracking unit 106, an identification unit 108, a determination unit 110, an authentication execution unit 112, and an authentication result processing unit 114.
  • the memory unit 102 stores various data.
  • the data acquisition unit 104 acquires various data.
  • the data acquisition unit 104 stores the acquired data in the storage unit 102.
  • the data acquisition unit 104 acquires spherical data including images of people captured by a fisheye camera.
  • the data acquisition unit 104 receives spherical data generated by the camera 210 from the camera 210.
  • the data acquisition unit 104 receives data of images of people captured by the camera 210 from the camera 210, and generates spherical data from the received data based on the projection law.
  • the data acquisition unit 104 receives spherical data generated by the camera 220 from the camera 220.
  • the data acquisition unit 104 for example, receives data of images of people captured by the camera 220 from the camera 220, and generates spherical data from the received data based on the projection law.
  • the data acquisition unit 104 acquires the distance to a person within the imaging range of the fisheye camera, based on the fisheye camera or the distance measurement sensor 230. For example, the data acquisition unit 104 calculates the distance to a person, based on the cameras 210 and 220, using images captured by the cameras 210 and 220. The data acquisition unit 104 may calculate the distance to a person by using the cameras 210 and 220 as a stereo camera. The data acquisition unit 104 acquires, for example, the distance between the distance measurement sensor 230 and a person, measured by the distance measurement sensor 230, from the distance measurement sensor 230.
  • the tracking unit 106 tracks the position of a human face included in the spherical data continuously acquired by the data acquisition unit 104.
  • the tracking unit 106 may track the human face included in the spherical data by attaching a bounding box to the human face.
  • the tracking unit 106 may identify the position of the human face included in the spherical data by using an SCNN on the spherical data.
  • the tracking unit 106 may identify the position of the human face included in the spherical data by using various methods having rotational symmetry, such as a capsule network.
  • the tracking unit 106 may determine the moving speed of the person included in the spherical data and store it in the storage unit 102.
  • the tracking unit 106 may determine the moving speed of the person included in the spherical data by analyzing the spherical data continuously acquired by the data acquisition unit 104.
  • the tracking unit 106 may calculate a value related to the number of people included in the spherical data and store it in the storage unit 102. For example, the tracking unit 106 stores in the storage unit 102 number of people data indicating the number of people included in the spherical data. For example, the tracking unit 106 stores in the storage unit 102 population density information indicating the population density of people included in the spherical data.
  • the identification unit 108 identifies the person for whom the authentication process is to be performed based on the tracking results by the tracking unit 106.
  • the identification unit 108 for example, sets a virtual boundary line around the camera 210 and the camera 220.
  • the identification unit 108 sets a virtual boundary line in front of the gate. Then, based on the tracking results by the tracking unit 106, when a person passes through the boundary line, the identification unit 108 identifies the person as a target for which authentication processing is to be performed.
  • the identification unit 108 also identifies a person for whom authentication processing is to be performed, for example, based on the distance to a person within the imaging range of a fisheye camera, which is based on the fisheye camera or the distance measuring sensor 230, etc., acquired by the data acquisition unit 104. For example, the identification unit 108 identifies the person who is closest among the people included in the imaging range of the fisheye camera as the person for whom authentication processing is to be performed. The identification unit 108 may also identify, among multiple people, a person whose distance is shorter than a preset distance threshold as the person for whom authentication processing is to be performed.
  • the determination unit 110 determines whether to perform face recognition using SCNN or CNN for the person identified by the identification unit 108. That is, the determination unit 110 may determine whether to perform face recognition using a CNN specialized for spherical surfaces or face recognition using a CNN not specialized for spherical surfaces for the person identified by the identification unit 108. Specialized for spherical surfaces may mean that it is compatible with distortion and rotation, and not specialized for spherical surfaces may mean that it is not compatible with distortion and rotation. Face recognition using CNN here may be face recognition using a CNN not specialized for spherical surfaces, for example, face recognition using a CNN other than SCNN.
  • the authentication execution unit 112 performs face authentication using SCNN on the spherical data acquired by the data acquisition unit 104. Since SCNN is specialized for spherical surfaces, it can perform face authentication with high accuracy on people included in the spherical data acquired by the data acquisition unit 104.
  • the authentication execution unit 112 may execute face authentication using SCNN for a person identified by the identification unit 108.
  • SCNN By executing SCNN on spherical data including a person identified by the identification unit 108 among the people tracked by the tracking unit 106, it is possible to authenticate with high accuracy a person approaching a gate, for example, among multiple people included in a wide range captured by the fisheye camera.
  • the authentication execution unit 112 may execute SCNN-based face authentication on the spherical data when the determination unit 110 determines that CNN-based face authentication is to be executed.
  • the authentication execution unit 112 may perform preprocessing on the spherical data when the determination unit 110 determines that CNN-based face authentication is to be executed. For example, the authentication execution unit 112 extracts a partial image of the part of the person's face identified by the identification unit 108 from the spherical data, adjusts the orientation of the person's face in the partial image, and performs distortion correction processing on the partial image to correct distortion caused by the fisheye camera.
  • the authentication execution unit 112 may execute CNN-based face authentication on the partial image after preprocessing.
  • the determination unit 110 determines to perform face authentication by SCNN, and when the security level required for the face authentication of the authentication system 10 is a second level higher than the first level, the determination unit 110 determines to perform face authentication by CNN. Between face authentication by SCNN and CNN with preprocessing by the authentication execution unit 112, the former has a lower processing load than the latter, but the latter can achieve higher authentication accuracy than the former. When a higher security level is required, high authentication accuracy is required even at the expense of a higher processing load, and therefore the determination unit 110 can make a determination appropriate to such actual conditions.
  • the determination unit 110 may determine whether to perform face authentication using SCNN or CNN based on the moving speed of the person to be subjected to the authentication process, as determined by the tracking unit 106. For example, the determination unit 110 determines to perform face authentication using SCNN when the moving speed of the person to be subjected to the authentication process is faster than a predetermined threshold, and determines to perform face authentication using CNN when the moving speed is slower than the threshold.
  • the determination unit 110 determines whether to perform facial recognition by SCNN or by CNN, for example, based on a value related to the number of people within the imaging range of the fisheye camera. For example, the determination unit 110 determines to perform facial recognition by SCNN when the value related to the number of people within the imaging range of the fisheye camera is greater than a predetermined threshold, and determines to perform facial recognition by CNN when the value is less than the threshold.
  • the data acquisition unit 104 acquires first spherical data including an image captured by the camera 210 and second spherical data including an image captured by the camera 220.
  • the authentication execution unit 112 performs face authentication on at least one of the first spherical data and the second spherical data.
  • the authentication execution unit 112 performs face authentication using both the first spherical data and the second spherical data.
  • the authentication execution unit 112 performs face authentication using SCNN on the first spherical data and performs face authentication using SCNN on the second spherical data, and determines the final authentication result by merging the results.
  • the authentication execution unit 112 performs face authentication using SCNN on the first spherical data and performs face authentication using SCNN on the second spherical data, and adopts the result with the higher accuracy as the final authentication result.
  • the authentication execution unit 112 selects one of the first spherical data and the second spherical data, and executes face authentication using the selected one. For example, the authentication execution unit 112 selects the first spherical data or the second spherical data depending on how the face of the person to be authenticated is reflected from the first spherical data or the second spherical data. As a specific example, the authentication execution unit 112 selects the first spherical data or the second spherical data, which includes a larger range of the face of the person to be authenticated. Also, for example, the authentication execution unit 112 selects the first spherical data or the second spherical data, which includes a larger range of the eyes, nose, and mouth of the person to be authenticated.
  • FIG. 5 shows a schematic diagram of an example of a hardware configuration of a computer 1200 functioning as the authentication device 100.
  • a program installed on the computer 1200 can cause the computer 1200 to function as one or more "parts" of the device according to the present embodiment, or to execute operations or one or more "parts” associated with the device according to the present embodiment, and/or to execute a process or steps of the process according to the present embodiment.
  • Such a program can be executed by the CPU 1212 to cause the computer 1200 to execute specific operations associated with some or all of the blocks of the flowcharts and block diagrams described herein.
  • the computer 1200 includes a CPU 1212, a RAM 1214, and a graphics controller 1216, which are interconnected by a host controller 1210.
  • the computer 1200 also includes input/output units such as a communication interface 1222, a storage device 1224, a DVD drive, and an IC card drive, which are connected to the host controller 1210 via an input/output controller 1220.
  • the DVD drive may be a DVD-ROM drive, a DVD-RAM drive, or the like.
  • the storage device 1224 may be a hard disk drive, a solid state drive, or the like.
  • the computer 1200 also includes a ROM 1230 and a legacy input/output unit such as a keyboard, which are connected to the input/output controller 1220 via an input/output chip 1240.
  • the CPU 1212 operates according to the programs stored in the ROM 1230 and the RAM 1214, thereby controlling each unit.
  • the graphics controller 1216 acquires image data generated by the CPU 1212 into a frame buffer or the like provided in the RAM 1214 or into itself, and causes the image data to be displayed on the display device 1218.
  • the communication interface 1222 communicates with other electronic devices via a network.
  • the storage device 1224 stores programs and data used by the CPU 1212 in the computer 1200.
  • the DVD drive reads programs or data from a DVD-ROM or the like and provides them to the storage device 1224.
  • the IC card drive reads programs and data from an IC card and/or writes programs and data to an IC card.
  • ROM 1230 stores therein a boot program or the like executed by computer 1200 upon activation, and/or a program that depends on the hardware of computer 1200.
  • I/O chip 1240 may also connect various I/O units to I/O controller 1220 via USB ports, parallel ports, serial ports, keyboard ports, mouse ports, etc.
  • the programs are provided by a computer-readable storage medium such as a DVD-ROM or an IC card.
  • the programs are read from the computer-readable storage medium, installed in storage device 1224, RAM 1214, or ROM 1230, which are also examples of computer-readable storage media, and executed by CPU 1212.
  • the information processing described in these programs is read by computer 1200, and brings about cooperation between the programs and the various types of hardware resources described above.
  • An apparatus or method may be constructed by realizing the operation or processing of information according to the use of computer 1200.
  • CPU 1212 may execute a communication program loaded into RAM 1214 and instruct communication interface 1222 to perform communication processing based on the processing described in the communication program.
  • communication interface 1222 reads transmission data stored in a transmission buffer area provided in RAM 1214, storage device 1224, a DVD-ROM, or a recording medium such as an IC card, and transmits the read transmission data to the network, or writes received data received from the network to a reception buffer area or the like provided on the recording medium.
  • the CPU 1212 may also cause all or a necessary portion of a file or database stored in an external recording medium such as the storage device 1224, a DVD drive (DVD-ROM), an IC card, etc. to be read into the RAM 1214, and perform various types of processing on the data on the RAM 1214. The CPU 1212 may then write back the processed data to the external recording medium.
  • an external recording medium such as the storage device 1224, a DVD drive (DVD-ROM), an IC card, etc.
  • CPU 1212 may perform various types of processing on data read from RAM 1214, including various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, information search/replacement, etc., as described throughout this disclosure and specified by the instruction sequence of the program, and write back the results to RAM 1214.
  • CPU 1212 may also search for information in a file, database, etc. in the recording medium.
  • CPU 1212 may search for an entry whose attribute value of the first attribute matches a specified condition from among the multiple entries, read the attribute value of the second attribute stored in the entry, and thereby obtain the attribute value of the second attribute associated with the first attribute that satisfies a predetermined condition.
  • the above-described programs or software modules may be stored in a computer-readable storage medium on the computer 1200 or in the vicinity of the computer 1200.
  • a recording medium such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, thereby providing the programs to the computer 1200 via the network.
  • the blocks in the flowcharts and block diagrams in this embodiment may represent stages of a process where an operation is performed or "parts" of a device responsible for performing the operation. Particular stages and “parts" may be implemented by dedicated circuitry, programmable circuitry provided with computer-readable instructions stored on a computer-readable storage medium, and/or a processor provided with computer-readable instructions stored on a computer-readable storage medium.
  • the dedicated circuitry may include digital and/or analog hardware circuitry and may include integrated circuits (ICs) and/or discrete circuits.
  • the programmable circuitry may include reconfigurable hardware circuitry including AND, OR, XOR, NAND, NOR, and other logical operations, flip-flops, registers, and memory elements, such as, for example, field programmable gate arrays (FPGAs) and programmable logic arrays (PLAs).
  • FPGAs field programmable gate arrays
  • PDAs programmable logic arrays
  • a computer-readable storage medium may include any tangible device capable of storing instructions that are executed by a suitable device, such that a computer-readable storage medium having instructions stored thereon comprises an article of manufacture that includes instructions that can be executed to create a means for performing the operations specified in the flowchart or block diagram.
  • Examples of computer-readable storage media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like.
  • Computer-readable storage media may include floppy disks, diskettes, hard disks, random access memories (RAMs), read-only memories (ROMs), erasable programmable read-only memories (EPROMs or flash memories), electrically erasable programmable read-only memories (EEPROMs), static random access memories (SRAMs), compact disk read-only memories (CD-ROMs), digital versatile disks (DVDs), Blu-ray disks, memory sticks, integrated circuit cards, and the like.
  • RAMs random access memories
  • ROMs read-only memories
  • EPROMs or flash memories erasable programmable read-only memories
  • EEPROMs electrically erasable programmable read-only memories
  • SRAMs static random access memories
  • CD-ROMs compact disk read-only memories
  • DVDs digital versatile disks
  • Blu-ray disks memory sticks, integrated circuit cards, and the like.
  • the computer readable instructions may include either assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
  • ISA instruction set architecture
  • machine instructions machine-dependent instructions
  • microcode firmware instructions
  • state setting data or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
  • the computer-readable instructions may be provided to a processor of a general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or to a programmable circuit, either locally or over a local area network (LAN), a wide area network (WAN) such as the Internet, so that the processor of the general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or to a programmable circuit, executes the computer-readable instructions to generate means for performing the operations specified in the flowcharts or block diagrams.
  • processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, etc.
  • 10 authentication system 20 network, 40 gate, 100 authentication device, 102 memory unit, 104 data acquisition unit, 106 tracking unit, 108 identification unit, 110 judgment unit, 112 authentication execution unit, 114 authentication result processing unit, 210 camera, 220 camera, 230 distance measurement sensor, 300 spherical data, 310 partial image, 1200 computer, 1210 host controller, 1212 CPU, 1214 RAM, 1216 graphics controller, 1218 display device, 1220 input/output controller, 1222 communication interface, 1224 storage device, 1230 ROM, 1240 input/output chip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部と、前記球面データに対して球面畳み込みニューラルネットワークによる顔認証を実行する認証実行部とを備える認証装置を提供する。魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部と、前記球面データから、前記人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して畳み込みニューラルネットワークによる顔認証を実行する認証実行部とを備える認証装置を提供する。

Description

認証装置、プログラム、及び認証方法
　本発明は、認証装置、プログラム、及び認証方法に関する。
　特許文献１には、ユーザの顔画像を取得し、顔画像に含まれる特徴点に関する情報を用いてユーザを認証する技術が記載されている。非特許文献１には、球面上の画像データに特化した球面畳み込みニューラルネットワーク（ＳＣＮＮ：Ｓｐｈｅｒｉｃａｌ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）について記載されている。
　［先行技術文献］
　［特許文献］
　［特許文献１］特開２０２１－１７０２０５号公報
　［非特許文献］
　［非特許文献１］Taco S. Cohen, Mario Geiger, Jonas Koehler, Max Welling, Spherical CNNs, ICLR 2018
一般的開示
　本発明の一実施態様によれば、認証装置が提供される。前記認証装置は、魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部を備えてよい。前記認証装置は、前記球面データに対して球面畳み込みニューラルネットワークによる顔認証を実行する認証実行部を備えてよい。
　前記認証装置は、前記データ取得部が連続的に取得する前記球面データに含まれる人の位置を追跡する追跡部を備えてよい。前記認証装置は、前記追跡部による追跡結果に基づいて、認証処理を実行する対象の人を特定する特定部を備えてよい。前記認証実行部は、前記特定部によって特定された人について、前記球面データに対して前記球面畳み込みニューラルネットワークによる顔認証を実行してよい。前記特定部は、前記魚眼カメラの周辺に仮想的に設定した境界線を通過した人を、認証処理を実行する対象の人として特定してよい。前記特定部は、前記魚眼カメラの撮像範囲に含まれる人のうち、距離が最も近い人を、認証処理を実行する対象として特定してよい。前記認証装置は、前記特定部によって特定された人について、前記球面畳み込みニューラルネットワークによる顔認証を実行するか、畳み込みニューラルネットワークによる顔認証を実行するかを判定する判定部を備えてよい。前記認証実行部は、前記判定部によって前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定された場合に、前記球面データに対して前記球面畳み込みニューラルネットワークによる顔認証を実行してよい。前記認証実行部は、前記判定部によって前記畳み込みニューラルネットワークによる顔認証を実行すると判定された場合に、前記球面データから、前記特定部によって特定された人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して前記畳み込みニューラルネットワークによる顔認証を実行してよい。前記畳み込みニューラルネットワークは、球面に特化していない畳み込みニューラルネットワークであってよい。前記畳み込みニューラルネットワークは、前記球面畳み込みニューラルネットワークではない畳み込みニューラルネットワークであってよい。
　前記いずれかの認証装置において、前記判定部は、前記顔認証に要求されるセキュリティレベルが第１のレベルである場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記顔認証に要求されるセキュリティレベルが前記第１のレベルよりも高い第２のレベルである場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定してよい。
　前記いずれかの認証装置において、前記判定部は、前記認証処理を実行する対象の人の移動速度が予め定められた閾値より速い場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記閾値より遅い場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定してよい。
　前記いずれかの認証装置において、前記判定部は、前記魚眼カメラの撮像範囲内の人の数に関する値が予め定められた閾値より多い場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記閾値より少ない場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定してよい。
　前記いずれかの認証装置において、前記データ取得部は、第１の魚眼カメラによって撮像された映像を含む第１球面データと、前記第１の魚眼カメラよりも高い位置に配置された第２の魚眼カメラによって撮像された映像を含む第２球面データとを取得してよく、前記認証実行部は、前記第１球面データ及び前記第２球面データの少なくともいずれかに対して、前記球面畳み込みニューラルネットワークによる顔認証を実行してよい。前記認証実行部は、前記第１球面データ及び前記第２球面データの両方を用いて、顔認証を実行してよい。前記認証実行部は、前記第１球面データに対してＳＣＮＮによる顔認証を実行するとともに、前記第２球面データに対してＳＣＮＮによる顔認証を実行し、結果を併合することによって、最終的な認証結果を判定してよい。認証実行部は、前記第１球面データに対してＳＣＮＮによる顔認証を実行するとともに、前記第２球面データに対してＳＣＮＮによる顔認証を実行し、結果の精度がより高い方の結果を、最終的な認証結果として採用してよい。前記認証実行部は、前記第１球面データ及び前記第２球面データのうちの一方を選択して、選択した方を用いて顔認証を実行してよい。前記認証実行部は、前記第１球面データ及び前記第２球面データのうち、認証対象となる人の顔の映り具合によって、前記第１球面データ又は前記第２球面データを選択してよい。前記認証実行部は、前記第１球面データ及び前記第２球面データのうち、認証対象となる人の顔のうち、より多くの範囲が含まれる方を、選択してよい。前記認証実行部は、前記第１球面データ及び前記第２球面データのうち、認証対象となる人の目、鼻、口のパーツがより多く含まれる方を選択してよい。
　本発明の一実施態様によれば、認証装置が提供される。前記認証装置は、魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部を備えてよい。前記認証装置は、前記球面データから、前記人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して畳み込みニューラルネットワークによる顔認証を実行する認証実行部を備えてよい。
　本発明の一実施態様によれば、コンピュータを、前記認証装置として機能させるためのプログラムが提供される。
　本発明の一実施態様によれば、コンピュータによって実行される認証方法が提供される。前記認証方法は、魚眼カメラによって撮像された人の映像を含む球面データを取得する球面データ取得段階を備えてよい。前記認証方法は、前記球面データに対して球面畳み込みニューラルネットワークによる顔認証を実行する認証実行段階を備えてよい。
　本発明の一実施態様によれば、コンピュータによって実行される認証方法が提供される。前記認証方法は、魚眼カメラによって撮像された人の映像を含む球面データを取得する球面データ取得段階を備えてよい。前記認証方法は、前記球面データから、前記人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して畳み込みニューラルネットワークによる顔認証を実行する認証実行段階を備えてよい。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
認証システム１０の一例を概略的に示す。 認証装置１００による処理の流れの一例を概略的に示す。 認証装置１００によるＣＮＮの前処理について説明するための説明図である。 認証装置１００の機能構成の一例を概略的に示す。 認証装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。
　従来の顔認証システムでは、カメラの前で人が屈んだり背伸びをしたりするなどしてカメラの前に顔を近づける必要があった。また、そのために身長が高い人と低い人用に複数種類の装置をセットする必要があった。本実施形態に係る認証システム１０では、その問題を軽減するべく、魚眼レンズを搭載したカメラを用い広角映像を取得して行う顔認証の方法を採用する。認証システム１０では、例えば、天井と台の上に魚眼カメラと（もし必要ならば距離測定用のセンサー等）を設置する。魚眼カメラによる歪んだ映像を得る。射影則を元に球面データへ変換する（魚眼カメラから直接球面データを取れると良い）。球面上のデータから、人の顔の位置を特定し（Ｂｏｕｎｄｉｎｇ　Ｂｏｘをつけるなど）追跡を行う。追跡した人がある境界線を超えたら、あるいは、距離を推定し最も近い者から、ＳＣＮＮでそのまま処理できれば、ＳＣＮＮを用いて顔認証を行う。ＳＣＮＮを用いるのに問題等があれば、Ｂｏｕｎｄｉｎｇ　Ｂｏｘの範囲内を局所的にＤｅｆｉｓｈ　Ｅｙｅ（中心射影則で平面に写すこと）をし、通常のＣＮＮを用いた顔認証を行う。認証システム１０では、顔認証の結果ゲートを開ける、開けない、を制御したり、警備担当や捜査機関に通報したりしてよい。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、認証システム１０の一例を概略的に示す。認証システム１０は、人の顔認証を行うシステムであってよい。
　認証システム１０は、認証装置１００を備える。認証システム１０は、カメラ２１０を備えてよい。認証システム１０は、カメラ２２０を備えてよい。認証システム１０は、測距センサ２３０を備えてよい。認証システム１０は、カメラ２１０、カメラ２２０、及び測距センサ２３０のうち、カメラ２１０及びカメラ２２０のみを備えてもよく、カメラ２１０及び測距センサ２３０のみを備えてもよく、カメラ２２０及び測距センサ２３０のみを備えてもよい。また、別実施形態として、認証システム１０は、カメラ２１０、カメラ２２０、及び測距センサ２３０のうち、カメラ２１０のみを備えてもよく、カメラ２２０のみを備えてもよい。
　カメラ２１０及びカメラ２２０は、魚眼レンズを有する魚眼カメラであってよい。カメラ２２０は、カメラ２１０よりも高い位置に配置されてよい。例えば、カメラ２１０が下側に配置され、カメラ２２０が上側に配置される。具体例として、図１に例示するように、カメラ２１０が、下側に設置された台の上に配置され、カメラ２２０が、天井側に配置される。カメラ２１０及びカメラ２２０は、カメラ２１０及びカメラ２２０の付近を通過する人の顔に死角が生じないように配置されてよい。カメラ２１０は、第１の魚眼カメラの一例であってよく、カメラ２２０は、第２の魚眼カメラの一例であってよい。
　測距センサ２３０は、人との距離を測定する。測距センサ２３０は、カメラ２１０又はカメラ２２０の付近に設置されてよい。また、測距センサ２３０は、ゲート４０又はゲート４０の付近に設置されてもよい。
　認証装置１００は、カメラ２１０によって撮像された人の映像を含む球面データを取得する。認証装置１００は、例えば、カメラ２１０によって生成された球面データを、カメラ２１０から受信する。認証装置１００は、例えば、カメラ２１０によって撮像された人の映像のデータをカメラ２１０から受信して、受信したデータから球面データを生成する。
　認証装置１００とカメラ２１０とは、図１に例示するように、ネットワーク２０を介して通信してよい。なお、認証装置１００は、ネットワーク２０を介さずにカメラ２１０と通信してもよい。例えば、認証装置１００は、カメラ２１０が設置されている場所の近辺に配置され、カメラ２１０と、有線又は無線で通信する。
　認証装置１００は、カメラ２２０によって撮像された人の映像を含む球面データを取得する。認証装置１００は、例えば、カメラ２２０によって生成された球面データを、カメラ２２０から受信する。認証装置１００は、例えば、カメラ２２０によって撮像された人の映像のデータをカメラ２２０から受信して、受信したデータから球面データを生成する。
　認証装置１００とカメラ２２０とは、図１に例示するように、ネットワーク２０を介して通信してよい。なお、認証装置１００は、ネットワーク２０を介さずにカメラ２２０と通信してもよい。例えば、認証装置１００は、カメラ２２０が設置されている場所の近辺に配置され、カメラ２２０と、有線又は無線で通信する。
　認証装置１００は、測距センサ２３０によって測定された人との距離を取得する。認証装置１００は、測距センサ２３０から、測距センサ２３０によって測定された人との距離を受信する。
　認証装置１００と測距センサ２３０とは、図１に例示するように、ネットワーク２０を介して通信してよい。なお、認証装置１００は、ネットワーク２０を介さずに測距センサ２３０と通信してもよい。例えば、認証装置１００は、測距センサ２３０が設置されている場所の近辺に配置され、カメラ測距センサ２３０と、有線又は無線で通信する。
　ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、３Ｇ（３ｒｄ　Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ　Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ　Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。
　認証装置１００は、ネットワーク２０に有線接続されてよい。認証装置１００は、ネットワーク２０に無線接続されてよい。認証装置１００は、無線基地局を介してネットワーク２０に接続されてよい。認証装置１００は、Ｗｉ－Ｆｉ（登録商標）アクセスポイントを介してネットワーク２０に接続されてよい。
　カメラ２１０は、ネットワーク２０に有線接続されてよい。カメラ２１０は、ネットワーク２０に無線接続されてよい。カメラ２１０は、無線基地局を介してネットワーク２０に接続されてよい。カメラ２１０は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。
　カメラ２２０は、ネットワーク２０に有線接続されてよい。カメラ２２０は、ネットワーク２０に無線接続されてよい。カメラ２２０は、無線基地局を介してネットワーク２０に接続されてよい。カメラ２２０は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。
　測距センサ２３０は、ネットワーク２０に有線接続されてよい。測距センサ２３０は、ネットワーク２０に無線接続されてよい。測距センサ２３０は、無線基地局を介してネットワーク２０に接続されてよい。測距センサ２３０は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。
　認証装置１００は、カメラ２１０及びカメラ２２０によって撮像された人の顔認証を行う。従来は、例えば、魚眼カメラによって撮像される球面画像ではなく、通常のカメラによって撮像された平面画像に対して、通常のＣＮＮを用いた顔認証が行われていた。球面画像に対する認証処理の需要はあり、球面画像を平面画像に変換してから通常のＣＮＮを適用するという方法が考えられるが、変換によって様々な歪が生じるので、認証精度等に問題がある。また、通常のＣＮＮにおける演算は、並進対称性を有するので縦や横への並行移動には強いが、回転対称性を有していないので、球面画像のように被写体の向きが回転してしまう画像の場合、同じ物なのに別の物であると誤判定してしまう場合がある。
　それに対して、ＳＣＮＮは、球面データに特化しており、回転に対してロバストであるという特徴がある。非特許文献１において、通常のＣＮＮとＳＣＮＮの性能比較のために回転させたＭＮＩＳＴを用いたテストが行われている。訓練データ、テストデータを回転させた場合のＣＮＮを用いた手法での正答率は１１％であり、ほぼ当てずっぽうに答えているのと全く変わらないが、ＳＣＮＮの方の正答率は９５％である。これは、ＣＮＮは並進対称性を持ち上下左右の平行移動には強いが、回転対称性が無く、回転変換には弱いのに対し、ＳＣＮＮは回転対称性を持っているということに依る。
　本実施形態に係る認証装置１００は、ＳＣＮＮによる顔認証を実行する。これにより、球面データに対しても、十分な認証精度を実現することができる。
　認証装置１００は、ＳＣＮＮによる顔認証と、ＣＮＮによる顔認証とを使い分けてもよい。
　図２は、認証装置１００による処理の流れの一例を概略的に示す。ここでは、認証装置１００が、カメラ２１０及びカメラ２２０による撮像画像によって、ゲート４０に近づく人を検出し、ゲート４０に近づく人の顔認証を行って、認証可の場合にゲート４０を開く処理を実行する場合の処理の流れを説明する。
　ステップ（ステップをＳと省略して記載する場合がある。）１０２では、認証装置１００が、カメラ２１０及びカメラ２２０によって撮像された人の映像を含む球面データを取得する。Ｓ１０４では、認証装置１００が、球面データから、人の顔の位置を特定し、追跡を行う。
　Ｓ１０６では、認証装置１００が、人の追跡状況から、人の顔認証を実行するか否かを判定する。例えば、認証装置１００は、追跡している人が、ゲート４０の前に仮想的に設定された境界線を越えた場合に、当該人の顔認証を実行すると判定する。例えば、認証装置１００は、球面データに含まれる複数の人のうち、ゲート４０又はカメラ２１０及びカメラ２２０に対して最も近い人について、顔認証を実行すると判定する。
　顔認証を実行しないと判定した場合（Ｓ１０６でＮＯ）、Ｓ１０２に戻り、顔認証を実行すると判定した場合（Ｓ１０６でＹＥＳ）、Ｓ１０８に進む。Ｓ１０８では、認証装置１００が、ＳＣＮＮによる顔認証と、ＣＮＮによる顔認証のいずれを実行するかを判定する。ＳＣＮＮによる顔認証を実行すると判定した場合、Ｓ１１０に進み、ＣＮＮによる顔認証を実行すると判定した場合、Ｓ１１２に進む。
　Ｓ１１０では、認証装置１００が、Ｓ１０２において取得した球面データに対して、ＳＣＮＮによる顔認証を実行する。
　Ｓ１１２では、認証装置１００が、Ｓ１０２において取得した球面データから、認証対象の人の顔の部分の部分画像を抽出する。Ｓ１１４では、認証装置１００が、Ｓ１１２において抽出した部分画像における人の顔の向きを調整する。認証装置１００は、例えば、人の目、鼻、及び口を検出して、顎が下側、頭頂部が上側になるように、人の顔の向きを調整する。
　Ｓ１１６では、認証装置１００が、球面データに対して、局所的にＤｅｆｉｓｈ　ｅｙｅを実行する。Ｄｅｆｉｓｈ　ｅｙｅとは、魚眼カメラによる歪を補正する歪補正処理であってよい。認証装置１００は、Ｓ１１４において人の顔の向きを調整した部分画像に対してＤｅｆｉｓｈ　ｅｙｅを実行してよい。
　Ｓ１１８では、認証装置１００が、Ｓ１１６においてＤｅｆｉｓｈ　ｅｙｅを実行した部分画像に対してＣＮＮによる顔認証を実行する。
　Ｓ１２０では、認証装置１００が、認証結果に応じた処理を実行する。認証装置１００は、認証対象の人について、認証ＯＫの場合、ゲート４０を開くようにゲート４０を制御し、認証ＮＧの場合、ゲート４０を開かない。
　Ｓ１２２では、認証装置１００が、認証処理を終了するか否かを判定する。認証装置１００は、例えば、認証システム１０の管理者等による終了指示を受領した場合に、認証処理を終了すると判定する。認証処理を終了しない場合、Ｓ１０２に戻る。
　図３は、認証装置１００によるＣＮＮの前処理について説明するための説明図である。球面データ３００には、図３に例示するように、顎が下側に位置し、頭頂部が上側に位置するという通常の顔の向きに対して回転した状態、かつ、歪んだ状態で、顔の画像が含まれる。認証装置１００は、球面データ３００から、人の顔の部分の部分画像３１０を切り取り、向きを調整し、顔が写っている範囲を中心に、射影則に従って平面画像へ変換し、通常の顔認証用のＣＮＮにデータを入力して、認証を行う。これは、例えば、世界地図を距離や角度を保ったまま平面の図で適切に表すことは難しいが、日本地図であれば、それよりも良い精度で平面上の地図でも表すことがきるということの応用である。
　具体例として、認証装置１００は、図３に例示するように、部分画像３１０の人の鼻付近における球面の接平面に顔画像を投射する（通常のカメラの中心射影方式）。認証装置１００は、Ｂｏｕｎｄｉｎｇ　ｂｏｘのようなものを用い、トラッキングとその範囲内のデータをＢｏｕｎｄｉｎｇ　ｂｏｘを中心とする座標系を用いて、部分画像３１０の歪を補正する。
　従来の顔認証システムでは、認証対象となる人が、カメラの前に並んで、順番にカメラに向かい、顔の向きを調整して撮像されることによって、顔認証を実行されていた。それに対して、認証装置１００によれば、魚眼カメラを用いることによって、認証対象となる人の位置の自由度を高めることによって、カメラの前に並んで順番にカメラに向かう必要を無くすことができ、ＳＣＮＮを実行するか、前処理を行った上でＣＮＮを実行することによって、魚眼カメラによる球面データに対しても、十分な精度の顔認証を実現することができる。
　図４は、認証装置１００の機能構成の一例を概略的に示す。認証装置１００は、記憶部１０２、データ取得部１０４、追跡部１０６、特定部１０８、判定部１１０、認証実行部１１２、及び認証結果処理部１１４を備える。記憶部１０２は、各種データを記憶する。
　データ取得部１０４は、各種データを取得する。データ取得部１０４は、取得したデータを記憶部１０２に記憶させる。
　データ取得部１０４は、魚眼カメラによって撮像された人の映像を含む球面データを取得する。データ取得部１０４は、例えば、カメラ２１０によって生成された球面データをカメラ２１０から受信する。データ取得部１０４は、例えば、カメラ２１０によって撮像された人の映像のデータをカメラ２１０から受信して、射影則を元に、受信したデータから球面データを生成する。データ取得部１０４は、例えば、カメラ２２０によって生成された球面データをカメラ２２０から受信する。データ取得部１０４は、例えば、カメラ２２０によって撮像された人の映像のデータをカメラ２２０から受信して、射影則を元に、受信したデータから球面データを生成する。
　データ取得部１０４は、魚眼カメラや測距センサ２３０等を基準とする、魚眼カメラの撮像範囲内にいる人との距離を取得する。データ取得部１０４は、例えば、カメラ２１０及びカメラ２２０による撮像画像によって、カメラ２１０及びカメラ２２０を基準とする、人との距離を算出する。データ取得部１０４は、カメラ２１０及びカメラ２２０をステレオカメラとして用いることによって、人との距離を算出してよい。データ取得部１０４は、例えば、測距センサ２３０によって測定された、測距センサ２３０と人との距離を、測距センサ２３０から取得する。
　追跡部１０６は、データ取得部１０４が連続的に取得する球面データに含まれる人の顔の位置を追跡する。追跡部１０６は、球面データに含まれる人の顔にＢｏｕｎｄｉｎｇ　ｂｏｘをつけて追跡してよい。追跡部１０６は、球面データに対してＳＣＮＮを用いることによって、球面データに含まれる人の顔の位置を特定してよい。追跡部１０６は、例えばカプセルネットワーク等の、回転対照性を有する各種手法を用いることによって、球面データに含まれる人の顔の位置を特定してもよい。
　追跡部１０６は、球面データに含まれる人の移動速度を判定して、記憶部１０２に記憶させてもよい。追跡部１０６は、データ取得部１０４が連続的に取得する球面データを解析することによって、球面データに含まれる人の移動速度を判定してよい。
　追跡部１０６は、球面データに含まれる人の数に関する値を算出して記憶部１０２に記憶させてもよい。追跡部１０６は、例えば、球面データに含まれる人の数を示す人数データを記憶部１０２に記憶させる。追跡部１０６は、例えば、球面データに含まれる人の、人口密度を示す人口密度情報を記憶部１０２に記憶させる。
　特定部１０８は、追跡部１０６による追跡結果に基づいて、認証処理を実行する対象の人を特定する。
　特定部１０８は、例えば、カメラ２１０及びカメラ２２０の周辺に仮想的な境界線を設定する。具体例として、特定部１０８は、ゲートを通過する人を認証する場合、ゲートの手前に仮想的な境界線を設定する。そして、特定部１０８は、追跡部１０６による追跡結果に基づいて、人が当該境界線を通過した場合に、当該人を、認証処理を実行する対象として特定する。
　また、特定部１０８は、例えば、データ取得部１０４が取得する、魚眼カメラや測距センサ２３０等を基準とする魚眼カメラの撮像範囲内にいる人との距離に基づいて、認証処理を実行する対象の人を特定する。例えば、特定部１０８は、魚眼カメラの撮像範囲に含まれる人のうち、距離が最も近い人を、認証処理を実行する対象として特定する。特定部１０８は、複数の人のうち、距離が、予め設定された距離閾値より短くなった人を、認証処理を実行する対象として特定してもよい。
　判定部１１０は、特定部１０８によって特定された人について、ＳＣＮＮによる顔認証を実行するか、ＣＮＮによる顔認証を実行するかを判定する。すなわち、判定部１１０は、特定部１０８によって特定された人について、球面に特化したＣＮＮを用いた顔認証を実行するか、球面に特化していないＣＮＮを用いた顔認証を実行するかを判定してよい。球面に特化したとは、歪、回転に対応していることであってよく、球面に特化していないとは、歪、回転に対応していないことであってよい。ここでいうＣＮＮによる顔認証とは、球面に特化していないＣＮＮを用いた顔認証であってよく、例えば、ＳＣＮＮ以外のＣＮＮを用いた顔認証であってよい。
　認証実行部１１２は、データ取得部１０４が取得した球面データに対してＳＣＮＮによる顔認証を実行する。ＳＣＮＮは球面に特化しているので、データ取得部１０４が取得した球面データに含まれる人に対して、高い精度で顔認証を実行することができる。
　認証実行部１１２は、特定部１０８によって特定された人について、ＳＣＮＮによる顔認証を実行してもよい。追跡部１０６が追跡している人のうち、特定部１０８が特定した人について、当該人を含む球面データに対してＳＣＮＮを実行することにより、魚眼カメラによって撮影される、広い範囲に含まれる複数の人のうち、例えば、ゲートに近づいた人を、高い精度で認証することができる。
　認証実行部１１２は、判定部１１０によってＳＣＮＮによる顔認証を実行すると判定された場合に、球面データに対してＳＣＮＮによる顔認証を実行してよい。認証実行部１１２は、判定部１１０によって、ＣＮＮによる顔認証を実行すると判定された場合に、球面データに対して前処理を施してよい。例えば、認証実行部１１２は、球面データから、特定部１０８によって特定された人の顔の部分の部分画像を抽出し、当該部分画像における人の顔の向きを調整し、部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施す。認証実行部１１２は、前処理を施した後の部分画像に対して、ＣＮＮによる顔認証を実行してよい。
　判定部１１０は、例えば、認証システム１０の顔認証に要求されるセキュリティレベルが第１のレベルである場合、ＳＣＮＮによる顔認証を実行すると判定し、認証システム１０の顔認証に要求されるセキュリティレベルが第１のレベルよりも高い第２のレベルである場合、ＣＮＮによる顔認証を実行すると判定する。ＳＣＮＮによる顔認証と、認証実行部１１２による前処理が加わったＣＮＮとでは、前者の方が後者よりも処理負荷が低い一方、後者の方が前者よりも高い認証精度を実現することができる。要求されるセキュリティレベルがより高い場合には、処理負荷が高くても高い認証精度が必要となることから、判定部１１０によれば、このような実情に見合った判定をすることができる。
　判定部１１０は、例えば、追跡部１０６によって判定された、認証処理を実行する対象の人の移動速度に基づいて、ＳＣＮＮによる顔認証を実行するか、ＣＮＮによる顔認証を実行するかを、判定してもよい。判定部１１０は、例えば、認証処理を実行する対象の人の移動速度が予め定められた閾値より速い場合、ＳＣＮＮによる顔認証を実行すると判定し、当該閾値より遅い場合、ＣＮＮによる顔認証を実行すると判定する。これにより、対象の人の移動速度が速い場合には、ＣＮＮによる顔認証よりも処理負荷が低く、より高速に結果を出力できるＳＣＮＮによる顔認証を実行することによって、対象の人の移動速度が速くて認証が間に合わずエラーになってしまうという事態が発生する可能性を低減することができ、対象の人の移動速度が遅い場合には、高い認証精度を実現することができる。
　判定部１１０は、例えば、魚眼カメラの撮像範囲内の人の数に関する値に基づいて、ＳＣＮＮによる顔認証を実行するか、ＣＮＮによる顔認証を実行するかを判定する。判定部１１０は、例えば、魚眼カメラの撮像範囲内の人の数に関する値が予め定められた閾値より多い場合、ＳＣＮＮによる顔認証を実行すると判定し、当該閾値より少ない場合、ＣＮＮによる顔認証を実行すると判定する。これにより、対象の人の数が多い場合には、ＣＮＮによる顔認証よりも処理負荷が低いＳＣＮＮによる顔認証を実行することによって、いずれかの人について認証が間に合わずにエラーになってしまうという事態が発生する可能性を低減することができ、対象の人が少ない場合には、高い認証精度を実現することができる。
　認証システム１０がカメラ２１０及びカメラ２２０を備える場合、データ取得部１０４は、カメラ２１０によって撮像された映像を含む第１球面データと、カメラ２２０によって撮像された映像を含む第２球面データとを取得する。認証実行部１１２は、ＳＣＮＮによる顔認証を実行する場合に、第１球面データ及び第２球面データの少なくともいずれかに対して、顔認証を実行する。
　例えば、認証実行部１１２は、第１球面データ及び第２球面データの両方を用いて、顔認証を実行する。具体例として、認証実行部１１２は、第１球面データに対してＳＣＮＮによる顔認証を実行するとともに、第２球面データに対してＳＣＮＮによる顔認証を実行し、結果を併合することによって、最終的な認証結果を判定する。また、具体例として、認証実行部１１２は、第１球面データに対してＳＣＮＮによる顔認証を実行するとともに、第２球面データに対してＳＣＮＮによる顔認証を実行し、結果の精度がより高い方の結果を、最終的な認証結果として採用する。
　例えば、認証実行部１１２は、第１球面データ及び第２球面データのうちの一方を選択して、選択した方を用いて顔認証を実行する。認証実行部１１２は、例えば、第１球面データ及び第２球面データのうち、認証対象となる人の顔の映り具合によって、第１球面データ又は第２球面データを選択する。具体例として、認証実行部１１２は、第１球面データ及び第２球面データのうち、認証対象となる人の顔のうち、より多くの範囲が含まれる方を、選択する。また、例えば、第１球面データ及び第２球面データのうち、認証対象となる人の目、鼻、口のパーツがより多く含まれる方を選択する。
　図５は、認証装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
　本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。
　ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。
　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
　ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。
　プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
　例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
　また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
　様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
　上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
　本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
　コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。
　コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
　コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　認証システム、２０　ネットワーク、４０　ゲート、１００　認証装置、１０２　記憶部、１０４　データ取得部、１０６　追跡部、１０８　特定部、１１０　判定部、１１２　認証実行部、１１４　認証結果処理部、２１０　カメラ、２２０　カメラ、２３０　測距センサ、３００　球面データ、３１０　部分画像、１２００　コンピュータ、１２１０　ホストコントローラ、１２１２　ＣＰＵ、１２１４　ＲＡＭ、１２１６　グラフィックコントローラ、１２１８　ディスプレイデバイス、１２２０　入出力コントローラ、１２２２　通信インタフェース、１２２４　記憶装置、１２３０　ＲＯＭ、１２４０　入出力チップ

Claims (14)

  1. 　魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部と、
    　前記球面データに対して球面畳み込みニューラルネットワークによる顔認証を実行する認証実行部と
    　を備える認証装置。
  2. 　前記データ取得部が連続的に取得する前記球面データに含まれる人の位置を追跡する追跡部と、
    　前記追跡部による追跡結果に基づいて、認証処理を実行する対象の人を特定する特定部と
    　を備え、
    　前記認証実行部は、前記特定部によって特定された人について、前記球面データに対して前記球面畳み込みニューラルネットワークによる顔認証を実行する、請求項１に記載の認証装置。
  3. 　前記特定部によって特定された人について、前記球面畳み込みニューラルネットワークによる顔認証を実行するか、畳み込みニューラルネットワークによる顔認証を実行するかを判定する判定部
    　を備え、
    　前記認証実行部は、前記判定部によって前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定された場合に、前記球面データに対して前記球面畳み込みニューラルネットワークによる顔認証を実行する、請求項２に記載の認証装置。
  4. 　前記認証実行部は、前記判定部によって前記畳み込みニューラルネットワークによる顔認証を実行すると判定された場合に、前記球面データから、前記特定部によって特定された人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して前記畳み込みニューラルネットワークによる顔認証を実行する、請求項３に記載の認証装置。
  5. 　前記畳み込みニューラルネットワークは、球面に特化していない畳み込みニューラルネットワークである、請求項４に記載の認証装置。
  6. 　前記畳み込みニューラルネットワークは、前記球面畳み込みニューラルネットワークではない畳み込みニューラルネットワークである、請求項５に記載の認証装置。
  7. 　前記判定部は、前記顔認証に要求されるセキュリティレベルが第１のレベルである場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記顔認証に要求されるセキュリティレベルが前記第１のレベルよりも高い第２のレベルである場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定する、請求項４に記載の認証装置。
  8. 　前記判定部は、前記認証処理を実行する対象の人の移動速度が予め定められた閾値より速い場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記閾値より遅い場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定する、請求項４に記載の認証装置。
  9. 　前記判定部は、前記魚眼カメラの撮像範囲内の人の数に関する値が予め定められた閾値より多い場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記閾値より少ない場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定する、請求項４に記載の認証装置。
  10. 　前記データ取得部は、第１の魚眼カメラによって撮像された映像を含む第１球面データと、前記第１の魚眼カメラよりも高い位置に配置された第２の魚眼カメラによって撮像された映像を含む第２球面データとを取得し、
    　前記認証実行部は、前記第１球面データ及び前記第２球面データの少なくともいずれかに対して、前記球面畳み込みニューラルネットワークによる顔認証を実行する、請求項１に記載の認証装置。
  11. 　魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部と、
    　前記球面データから、前記人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して畳み込みニューラルネットワークによる顔認証を実行する認証実行部と
    　を備える認証装置。
  12. 　コンピュータを、請求項１から１１のいずれか一項に記載の認証装置として機能させるためのプログラム。
  13. 　コンピュータによって実行される認証方法であって、
    　魚眼カメラによって撮像された人の映像を含む球面データを取得する球面データ取得段階と、
    　前記球面データに対して球面畳み込みニューラルネットワークによる顔認証を実行する認証実行段階と
    　を備える認証方法。
  14. 　コンピュータによって実行される認証方法であって、
    　魚眼カメラによって撮像された人の映像を含む球面データを取得する球面データ取得段階と、
    　前記球面データから、前記人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して畳み込みニューラルネットワークによる顔認証を実行する認証実行段階と
    　を備える認証方法。
PCT/JP2023/033892 2022-11-02 2023-09-19 認証装置、プログラム、及び認証方法 WO2024095627A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-176208 2022-11-02
JP2022176208A JP2024066658A (ja) 2022-11-02 2022-11-02 認証装置、プログラム、及び認証方法

Publications (1)

Publication Number Publication Date
WO2024095627A1 true WO2024095627A1 (ja) 2024-05-10

Family

ID=90930239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/033892 WO2024095627A1 (ja) 2022-11-02 2023-09-19 認証装置、プログラム、及び認証方法

Country Status (2)

Country Link
JP (1) JP2024066658A (ja)
WO (1) WO2024095627A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP2020154408A (ja) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
JP2020184331A (ja) * 2019-05-02 2020-11-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ライブネス検査方法及び装置、顔認証方法及び装置
JP2020201880A (ja) * 2019-06-13 2020-12-17 富士通クライアントコンピューティング株式会社 画像処理装置、および、画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP2020154408A (ja) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
JP2020184331A (ja) * 2019-05-02 2020-11-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ライブネス検査方法及び装置、顔認証方法及び装置
JP2020201880A (ja) * 2019-06-13 2020-12-17 富士通クライアントコンピューティング株式会社 画像処理装置、および、画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TACO S. COHEN; MARIO GEIGER; JONAS KOEHLER; MAX WELLING: "Spherical CNNs", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 30 January 2018 (2018-01-30), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081174460 *

Also Published As

Publication number Publication date
JP2024066658A (ja) 2024-05-16

Similar Documents

Publication Publication Date Title
US10579865B2 (en) Facial verification method and apparatus
WO2022134337A1 (zh) 人脸遮挡检测方法、系统、设备及存储介质
JP6304999B2 (ja) 顔検出装置、方法およびプログラム
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
WO2017092679A1 (zh) 一种眼球跟踪的方法及装置、设备
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
KR20180053108A (ko) 홍채 영역 추출 방법 및 장치
CN110852310B (zh) 三维人脸识别方法、装置、终端设备及计算机可读介质
TW202011315A (zh) 資源轉移方法、裝置及系統
CN110826521A (zh) 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
WO2021218568A1 (zh) 图像深度确定方法及活体识别方法、电路、设备和介质
KR102214652B1 (ko) 이미지 분석 장치 및 이미지 분석 방법
US11321552B2 (en) Face authentication device having database with small storage capacity
KR102137060B1 (ko) 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
US20230080861A1 (en) Automatic Iris Capturing Method And Apparatus, Computer-Readable Storage Medium, And Computer Device
CN112017212B (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
CN108875556A (zh) 用于人证核验的方法、装置、系统及计算机存储介质
JP2020106970A (ja) 人検出装置および人検出方法
JP2020107070A (ja) 人検出装置および人検出方法
WO2024095627A1 (ja) 認証装置、プログラム、及び認証方法
US20220245834A1 (en) Image processing method and apparatus
US20170109569A1 (en) Hybrid face recognition based on 3d data
JP2013029996A (ja) 画像処理装置
US20220406094A1 (en) Authentication apparatus, authentication method and recording medium
US20230419513A1 (en) Object detection and tracking in extended reality devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23885392

Country of ref document: EP

Kind code of ref document: A1