WO2021145285A1 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2021145285A1
WO2021145285A1 PCT/JP2021/000511 JP2021000511W WO2021145285A1 WO 2021145285 A1 WO2021145285 A1 WO 2021145285A1 JP 2021000511 W JP2021000511 W JP 2021000511W WO 2021145285 A1 WO2021145285 A1 WO 2021145285A1
Authority
WO
WIPO (PCT)
Prior art keywords
contact
registration
information
authentication
image
Prior art date
Application number
PCT/JP2021/000511
Other languages
English (en)
French (fr)
Inventor
小形　崇
鎌田　恭則
鈴木　謙治
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180008500.8A priority Critical patent/CN114930389A/zh
Priority to US17/791,691 priority patent/US20230036182A1/en
Publication of WO2021145285A1 publication Critical patent/WO2021145285A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Definitions

  • This technology relates to information processing devices, information processing methods, and information processing programs.
  • Biometric authentication includes, for example, fingerprint authentication using a finger fingerprint.
  • a fingerprint is a pattern formed by a raised line (ridge) at the opening of a sweat gland on the skin of a fingertip, and the shape of the fingerprint varies from person to person and is characterized by being immutable for life. Therefore, an authentication processing device using a fingerprint that can be used as information for identifying and authenticating an individual user has been proposed (Patent Document 1).
  • Fingerprint authentication includes a registration process for registering a fingerprint as authentication information and an authentication process for confirming whether the registered fingerprint matches the fingerprint of a user who uses the device 100 or the like.
  • the registration process and the authentication process are performed by the user pressing a finger against the fingerprint sensor.
  • the user does not always press the fingerprint sensor with the same pressing condition at the time of registration and authentication, and the positions of the fingers to be touched are not always the same.
  • the accuracy of fingerprint authentication is affected if the contact mode such as the pressing condition and the position of the finger to be contacted differs between the registration stage and the authentication stage.
  • This technology was made in view of these points, and is an information processing device and information processing that can perform highly accurate biometric authentication even if the contact mode of a part of the living body is different between registration and authentication.
  • the purpose is to provide methods and information processing programs.
  • the first technique is that an image of a part of the living body generated in a state where a part of the user's living body is in contact with the contact surface and a part of the living body are in contact with the contact surface. It is an information processing device including a processing unit that performs biological-related processing based on contact information acquired in a state.
  • the second technique is an image of a part of the living body generated when a part of the user's living body is in contact with the contact surface and contact information acquired when a part of the living body is in contact with the contact surface. It is an information processing method that performs biological-related processing based on.
  • the third technique includes an image of a part of the living body generated when a part of the user's living body is in contact with the contact surface and contact information acquired when a part of the living body is in contact with the contact surface. It is an information processing program that causes a computer to execute an information processing method that performs biological-related processing based on.
  • First Embodiment> [1-1. Device 100 configuration] [1-2. Configuration of information processing device 200] [1-3. Processing in the information processing device 200] [1-3-1. registration process] [1-3-2. Authentication process] [1-3-3. UI processing] ⁇ 2. Second Embodiment> ⁇ 3. Third Embodiment> ⁇ 4. Modification example>
  • the device 100 includes a control unit 101, an interface 102, a storage unit 103, an input unit 104, a display unit 105, a speaker 106, an image pickup sensor 107, a pressing sensor 108, and an information processing device 200.
  • the control unit 101 is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the CPU controls the entire device 100 and each part by issuing commands by executing various processes according to the program stored in the ROM.
  • Interface 102 is an interface between other devices and the Internet.
  • Interface 102 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface is cellular communication such as 3TTE, Wi-Fi, Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark), HDMI (registered trademark). (High-Definition Multimedia Interface), USB (Universal Serial Bus), etc. can be included.
  • the interface 102 may include a bus in the device, a data reference in the program module, and the like (hereinafter, these are devices). Also called the interface inside).
  • the interface 102 may include different types of interfaces for each device. For example, the interface 102 may include both a communication interface and an interface within the device.
  • the storage unit 103 is a large-capacity storage medium such as a hard disk or a flash memory. Various applications and data used by the device 100 are stored in the storage unit 103. Further, when the information processing device 200 operates on the device 100, the fingerprint image generated by the image pickup sensor 107, the registration database, and the like are also stored in the storage unit 103.
  • the input unit 104 is for the user to input various instructions to the device 100.
  • a control signal corresponding to the input is generated and supplied to the control unit 101.
  • the control unit 101 performs various processes corresponding to the control signal.
  • the input unit 104 includes a touch panel, voice input by voice recognition, gesture input by human body recognition, and the like.
  • the display unit 105 is a display or the like that displays an image / video, a GUI (Graphical User Interface) for generating a fingerprint image, and the like.
  • GUI Graphic User Interface
  • the speaker 106 outputs the sound of the content, the sound for the user interface, and the like.
  • the image sensor 107 relates to an image pickup device (CCD (Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor), etc.) that converts incident light into a charge amount and outputs an image pickup signal, and an image pickup signal. It is provided with an image signal processing unit that generates image data by performing decoding processing, A / D (Analog / Digital) conversion, and the like.
  • a fingerprint image is generated by the image pickup sensor 107, and the information processing apparatus 200 performs registration processing and authentication processing using the fingerprint image.
  • the image sensor 107 irradiates a finger with light from a light source by utilizing the fact that the light is reflected differently between the convex portion and the concave portion of the fingerprint, and receives the shadow of the incident light reflected by the finger with the image sensor to obtain the fingerprint. Generate an image.
  • a part of the living body is a user's finger, and an image of the fingerprint of the finger is generated by the image sensor 107, and authentication is performed using the fingerprint image.
  • the pressing sensor 108 detects that the user has brought a finger into contact with the contact surface T in order to generate a fingerprint image, and also detects the degree of pressing (pressing pressure) against the contact surface T at the time of contact as contact information.
  • a strain gauge is used as the pressing sensor 108.
  • the pressing sensor 108 is not limited to the strain gauge, and may be a capacitance sensor described later, or any other sensor such as a metal gauge, a semiconductor gauge, or a load cell that can detect the pressing condition. good.
  • This technology improves the accuracy and speed of biometric authentication by arranging a pressing sensor 108 that detects the pressing condition of a finger around the imaging sensor 107 and using the pressing condition detected by the pressing sensor 108 as contact information. It is intended.
  • the arrangement configuration of the contact surface T, the image pickup sensor 107, and the pressing sensor 108 will be described with reference to FIGS. 2 and 3.
  • the X-axis direction is the width direction
  • the Y-axis direction is the vertical direction
  • the Z-axis direction is the downward direction (the direction in which the user touches the finger).
  • a glass plate GL whose upper surface is a contact surface T, a strain gauge 108A as a pressing sensor 108, a strain gauge 108B, a strain gauge 108C and a strain gauge 108D, and an imaging sensor 107. They are arranged in a hierarchical structure in order. In FIG. 2B, the glass plate GL is omitted.
  • strain gauges 108A, strain gauge 108B, strain gauge 108C, and strain gauge 108D are arranged around the image sensor 107 so as to surround the image sensor 107.
  • the opposing strain gauge 108A and strain gauge 108B can detect the load position in the Y direction. Further, the load position in the X direction can be detected by the opposing strain gauge 108C and the strain gauge 108D. Further, the pressing force in the Z direction can be calculated by the total of the pressing pressure values detected by the strain gauge 108A to the strain gauge 108D. In this technology, the pressing condition is calculated as the pressing pressure.
  • the imaging sensor 107 When the pressing sensor 108 detects that the user has brought the finger into contact with the contact surface T, the imaging sensor 107 generates a fingerprint image. Further, when the pressing sensor 108 is pressed by the contact of the finger with the contact surface T, the pressing sensor 108 acquires the pressing condition as information (contact information) regarding the contact of the finger. Since it is sufficient that the pressing condition by the finger can be indirectly detected in this way, the glass plate GL may be arranged on the pressing sensor 108. Since it is sufficient that the pressing condition can be indirectly detected, the pressing sensor 108 may be arranged below the imaging sensor 107.
  • the device 100 includes a smartphone, a personal computer, a card-type device, an IOT (Internet of Things) device, a security system, a door locking system for a house or a car, and a wearable such as a wristwatch type, a glasses type, a wristband type, and a ring type. Any device such as a device that can be equipped with a biometric authentication function using a fingerprint may be used.
  • the interface 102, the input unit 104, the display unit 105, and the speaker 106 are not indispensable configurations.
  • the communication function with the outside in the interface is not necessary.
  • the speaker 106 is unnecessary when the instruction or information is presented to the user only by the display on the display unit 105, and conversely, when the instruction or information is presented to the user only by voice, the display unit 105 is used. Not needed.
  • the information processing device 200 includes a photographing processing unit 201, a pressing processing unit 202, a registration processing unit 203, an authentication processing unit 204, a UI (User Interface) processing unit 205, and an image data processing unit 206.
  • the processing in this technology is divided into two stages, a fingerprint image registration stage and an authentication stage using the fingerprint image.
  • the contact of the finger with the contact surface T for the registration process is the contact for registration within the scope of the claims.
  • the fingerprint image which is an image of a part of the user's living body, which is generated by the contact for registration and used for registration, is the image for registration within the scope of the claims.
  • the contact information in the contact for registration is the contact information at the time of registration within the scope of claims.
  • the finger contact with the contact surface T for the authentication process after the registration process is completed is the authentication contact within the scope of the claims.
  • the fingerprint image generated by the contact for authentication and used for authentication is the image for authentication within the scope of the claims.
  • the contact information in the contact for authentication is the contact information at the time of authentication in the claims.
  • the photographing processing unit 201 controls the operation of the imaging sensor 107 to generate a fingerprint image. Further, the photographing processing unit 201 supplies the fingerprint image to the registration processing unit 203 or the authentication processing unit 204 depending on whether the contact of the finger with the contact surface T by the user is for the purpose of registration or for the purpose of authentication.
  • the pressing processing unit 202 acquires contact information from the pressing sensor 108, and registers the contact information depending on whether the contact of the finger with the contact surface T by the user is for the purpose of registration or the purpose of authentication. Supply to 204. Further, the pressing processing unit 202 supplies contact information to the UI processing unit 205 as needed for UI processing.
  • Whether the user's finger contact with the contact surface T is for registration or authentication can be confirmed by referring to, for example, the state of the device 100.
  • the setting screen of the device 100 or the application requests the registration of the fingerprint image
  • the contact of the finger with the contact surface T by the user is the purpose of registration.
  • the device 100 requires fingerprint authentication for activation or use of an application
  • the user's finger contact with the contact surface T is for the purpose of authentication.
  • the registration processing unit 203 registers the fingerprint image for registration as the biometric information for authentication as the biometric processing.
  • the registered fingerprint image for registration is stored in, for example, a registration database configured in the storage unit 103.
  • the authentication processing unit 204 performs biometric authentication processing by fingerprint by comparing the fingerprint image for authentication and the fingerprint image for registration in the registration database as the biometric processing.
  • Authentication processing unit 204 performs biometric authentication processing based on the feature information.
  • the feature information is a general term for information used in authentication using a finger, and includes various information that can be obtained from a fingerprint image.
  • the feature information includes the overall shape of the ridge, the breaks, branch points, and end points of the ridge, which are the characteristic configurations of the ridge. Further, the position of the sweat glands, the texture of the fingers, etc. may be included. The accuracy of authentication can be improved by using more information. Details will be described later, but in the present technology, the degree of pressing the finger against the contact surface T, the contact position of the finger, and the like can be included in the feature information.
  • the authentication processing unit 204 compares the feature information that can be obtained from the registration fingerprint image registered in the registration database with the feature information that can be obtained from the authentication fingerprint image, and detects a matching point by a known fingerprint authentication method to detect a fingerprint. Authenticate.
  • the UI processing unit 205 performs UI selection for prompting the user to bring a finger into contact with the contact surface T for fingerprint image generation, UI display processing in the display unit 105, and the like.
  • the image data processing unit 206 performs processing for confirming whether the captured fingerprint image is of a quality that can be used as biometric information for authentication.
  • the information processing device 200 is realized by executing a program, and the program may be installed in the device 100 in advance, or may be distributed by download, storage medium, or the like so as to be installed by a manufacturer, a business operator, a user, or the like. May be good. Further, the information processing device 200 may operate in an external device different from the device, for example, a server, a cloud, or the like. Further, the information processing device 200 may be realized not only by a program but also by combining a dedicated device, a circuit, or the like by hardware having the function.
  • the registration process is a process of registering a user's fingerprint image for registration, which is biometric information, for use in fingerprint authentication.
  • step S101 the user is instructed to bring his / her finger into contact with the contact surface T in order to generate the fingerprint image for registration.
  • This instruction can be given, for example, by outputting voice from the speaker 106, which displays a message on the display unit 105 of the device 100.
  • step S102 When the user touches the contact surface T with a finger, the image sensor 107 then generates a fingerprint image for registration in step S102. Further, in step S103, the pressing sensor 108 acquires the pressing condition of the user against the contact surface T as contact information at the time of registration.
  • step S102 is used to generate a fingerprint image
  • step S103 is used to obtain a pressing condition, but in reality, these are performed in parallel at almost the same time.
  • the image data processing unit 206 performs the image confirmation process.
  • the image confirmation process confirms whether the fingerprint image for registration is of a quality that can be used for registration. For example, the brightness of the image is detected, and if the brightness is equal to or less than the first predetermined value, it is determined that the image is too dark and the fingerprint image is not of a quality that can be used for registration. Further, when the brightness is equal to or higher than the second predetermined value due to excessive external light or the like, it is determined that the image is too bright and the fingerprint image is not of a quality that can be used for registration. Further, even when an unclear part is detected in a part of the registration fingerprint image, it is determined that the registration fingerprint image is not of a quality that can be used for registration.
  • step S105 If the registration fingerprint image is of a quality that can be used for registration, the process proceeds from step S105 to step S106 (Yes in step S105). On the other hand, if the registration fingerprint image is not of a quality that can be used for registration, the process returns to step S101 and again instructs the user to bring his or her finger into contact with the contact surface T to generate the registration fingerprint image.
  • the registration processing unit 203 registers the fingerprint image for registration in the registration database.
  • the registration database as shown in Area A, Area B, Area C, and Area N of FIGS. 6A to 6D, the user's finger is divided into a plurality of areas in advance, and the overlap area in consideration of the positional deviation of the finger contact is obtained. Provide and divide into multiple areas. In FIG. 6, as an example, one area is composed of four 2 ⁇ 2 areas, and the two areas overlap each other. The reason why the overlap area is provided in this way is that the user does not always touch the finger accurately at the position indicated to the user by the UI, and it is difficult to accurately touch the user with the finger by the guidance by the UI. .. As shown by the rectangular frame on the fingerprint in FIG. 7A, the registration fingerprint image obtained in the actual shooting has a positional deviation with respect to the area, but the fingerprint image of the target area is finally leaked. It suffices if it can be obtained without being covered.
  • the fingerprint image for registration is registered for each area according to the level of pressing on the contact surface T by the user.
  • the registration process is a process of registering a plurality of registration images generated by a plurality of registration contacts with the contact surface T according to the level of pressing, and registering the registration fingerprint image in all areas.
  • the plurality of registration images registered corresponding to the level of pressing in the registration database are images of different regions of the fingerprint of the finger, which is a part of the living body.
  • the value of the number N of the pressing degree level depends on the resolution of the pressing sensor 108, it is considered that it will be obtained experimentally.
  • the pressure sensor 108 is a pressure gauge, the pressure is used, and when the pressure sensor 108 is a capacitance type, the contact area is used.
  • the level boundary may be set to a predetermined number in advance according to the resolution of the pressing sensor 108. Further, after measuring the maximum value and the minimum value of the pressing condition of the user, the number of levels may be set according to the range of the pressing condition. For example, when the range of pressing is large, the boundary is set so that the number of levels is large. also. If the range of pressing is small, set the boundary so that the number of levels is large. It is also possible to perform clustering and divide the levels by the inner product of the feature vectors.
  • a plurality of temporary levels are set in advance, and after the pressing sensor 108 actually detects the plurality of pressing conditions, the level is adjusted according to the pressing condition. May be reset. For example, if five levels of levels 1 to 5 are set in advance and a plurality of pressing conditions are detected by the pressing sensor 108 and the pressing is not performed at level 4 or higher, the level 4 or higher is regarded as unnecessary and the level is set. Reset to only 1 to 3. Alternatively, if the degree of pressing of level 4 and level 5 is extremely small as compared with levels 1 to 3, it is possible to reset level 4 and level 5 so that they are combined into one level.
  • step S107 the registration processing unit 203 confirms whether or not there is an area in which the fingerprint image for registration is not registered in the registration database.
  • the process ends (No in step S107).
  • step S108 If there is an area where the fingerprint image for registration is not registered, the process proceeds to step S108 (Yes in step S107).
  • step S108 the UI processing unit 205 performs UI selection and UI display processing in the display unit 105.
  • the process by the UI processing unit 205 is a UI that confirms the registration database and prompts the user to touch the finger to generate a fingerprint image of an area in which the fingerprint image is not yet registered. A specific example of the UI will be described later.
  • the registration process is performed as described above.
  • all the fingerprint images of each pressing degree level and each area are registered in the registration database.
  • the fingerprint images of all areas are registered, the fingerprint images of the entire user's finger are registered for each level of pressing condition.
  • the level of pressing may be set in advance, and the registration process may be performed until fingerprint images of all areas at all levels of pressing are registered, or when the pressing condition of the user is biased. Does not have to register fingerprint images at all levels.
  • the registration database may exclude level 4 or higher.
  • level 1 to level 3 and level 4 or higher are merely examples for convenience of explanation, and the present technology is not limited to that level.
  • the bias and distribution are also authenticated as contact information. It can be used for processing.
  • a plurality of adjacent areas may be combined into one area, and a plurality of fingerprint images may be joined by stitching and registered as a fingerprint image of the combined area.
  • steps S201 to S204 are the same as steps S101 to S104 in the registration process, the description thereof will be omitted.
  • step S205 If the fingerprint image for authentication is of a quality that can be used for the authentication process in step S205, the process proceeds to step S206 (Yes in step S205). On the other hand, if the fingerprint image for authentication is not of a quality that can be used for the authentication process, the process returns to step S201, and again instructs the user to touch the contact surface T to generate the fingerprint image for authentication (step S205). No).
  • the authentication process is performed by the authentication processing unit 204 in step S206.
  • contact and fingerprint image generation were performed repeatedly until the registration fingerprint image was registered in all areas, but in the authentication process, the quality of the authentication fingerprint image may not be usable for the authentication process. Except for this, the fingerprint image needs to be generated once.
  • processing is performed using the fingerprint image for registration, the contact information at the time of registration, the fingerprint image for authentication, and the contact information at the time of authentication.
  • the fingerprint image for registration is registered corresponding to the same level of pressing (contact information at the time of registration) as the level of pressing the finger against the contact surface T at the time of contact for authentication (contact information at the time of authentication).
  • the authentication process is performed by referring to the registration fingerprint image registered corresponding to the degree of pressing of the level 2 in the registration database. I do. Then, the biometric authentication process is performed by comparing the feature information that can be obtained from the fingerprint image for authentication and the feature information that can be obtained from all the corresponding fingerprint images for registration of level 2 and checking whether they match.
  • the shape of the ridge of the fingerprint changes depending on how the finger is pressed, but by using the degree of pressing as contact information for authentication, the accuracy of fingerprint authentication can be improved.
  • the registration fingerprint image corresponding to the pressing level of the neighboring level You may perform the authentication process with. For example, if the degree of pressing of the finger of the contact for authentication is level 2 and the authentication is not successful by referring to the fingerprint image for registration registered corresponding to the degree of pressing of level 2 in the registration database, the pressing of the vicinity is performed.
  • the authentication process is performed using the registration fingerprint image at level 1 or level 3, which is the condition. As a result, the authentication process can be efficiently performed even if the pressing conditions are different.
  • step S207 If the authentication is successful because the fingerprint image for authentication matches the fingerprint image for registration registered in the registration database by the authentication process, the process ends (Yes in step S207). On the other hand, the process that could not be authenticated returns from step S207 to step S201, and instructs the user again to bring the finger into contact with the contact surface T for taking a fingerprint registration (No in step S207).
  • the fake finger has different flexibility from the real finger, even if the fingerprint feature information is similar, if the pressing condition is different, the fake finger can be regarded as a fake finger and the authentication can be failed.
  • FIG. 9 is the first example of the UI.
  • the display unit 105 also serves as the contact surface T
  • an image showing a fingerprint for urging the display unit 105 to bring a finger into contact with the display unit 105 is displayed.
  • the image of the fingerprint is changed so as to show how the shape changes depending on the pressing condition with the passage of time.
  • the image sensor 107 can efficiently generate a plurality of fingerprint images of the pressing condition when the user touches the finger by changing the pressing condition according to the change of the display.
  • FIG. 10 is a second example of the UI.
  • the display unit 105 also serves as the contact surface T
  • an icon indicating a position on the contact surface T where the finger is brought into contact is displayed. If the imaging sensor 107 is smaller than the finger, a single contact cannot generate a fingerprint image of the entire finger. Therefore, the position of the icon is changed and displayed so that the position of the overlapping finger on the image sensor 107 is different each time the contact is made.
  • the icon P1 is first displayed as shown in FIG. 10A, and when the user touches the icon P1 with a finger as shown in FIG. 10B, the icon P1 is then different from the icon P1 as shown in FIG. 10C.
  • the icon P2 is displayed at the position.
  • the next icon is displayed at a position different from the icon P2. This is repeated until a fingerprint image for registration of the entire area of the finger is generated.
  • a fingerprint image for registration of the entire finger can be generated by touching the finger to the position where the icon is displayed so that the user follows the icon.
  • FIG. 11 is a third example of the UI.
  • the icon P3 for instructing the pressing of the finger against the contact surface T is displayed.
  • a small circle, an inward arrow, and a dotted line indicating the destination of the arrow are drawn as the icon P3. indicate.
  • a small circle, an inward arrow, or a dotted line can be used to guide the user to come into contact with a weak pressing force.
  • a large circle, an outward arrow, a dotted circle, or the like is displayed as the icon P4 as shown in FIG. 11C.
  • a strong pressing force pressing pressure equal to or higher than a predetermined value
  • a large circle, an outward arrow, a dotted circle, or the like is displayed as the icon P4 as shown in FIG. 11C.
  • FIG. 11D the user can be guided to come into contact with the user with a strong pressing condition.
  • FIG. 12 is a fourth example of the UI.
  • the game of moving the character which is displayed on the display unit 105, guides the user to come into contact with the user with a strong pressing condition or a weak pressing condition.
  • a character P5 of a doll swimming in the air is operated so as to pass through a plurality of continuous virtual rings R, as shown in FIGS. 12B and 12C, depending on how a finger is pressed against the contact surface T.
  • the character P5 moves up and down.
  • the display unit 105 may also serve as the contact surface T, or the display unit 105 and the contact surface T may be separate.
  • the character changes so that the gas injection condition can be adjusted by making the change in the pressing condition on the contact surface T correspond to the vertical movement of the air pump P6.
  • the vertical movement of the air pump P6 changes according to how the finger is pressed against the contact surface T.
  • the pressing condition corresponds to a heart massage to a human character.
  • FIG. 14 is a sixth example of the UI.
  • the degree of pressing of the contact surface T of the finger is associated with the pitch of the sound output from the speaker 106.
  • the pitch of the output sound is lowered as the pressing condition is weakened
  • the pitch of the output sound is increased as the pressing condition is strengthened.
  • the user can intuitively grasp the strength of the pressing condition.
  • FIG. 14C by associating the pitch of a song in karaoke with the pressing condition, it is possible to induce the user to bring a finger into contact with the contact surface T with various pressing conditions.
  • the UI processing unit 205 acquires information on the pressing condition from the pressing processing unit 202, and performs display processing in association with the pressing condition and changes in the display (character movements, icon changes, etc.). It can be realized. For example, by repeatedly guiding the finger to come into contact with the contact surface T by the above-mentioned UI and repeatedly guiding the finger in the direction away from the contact surface T, a fingerprint image of a plurality of pressing conditions with one contact. Can be generated.
  • the registration database can be efficiently completed by inducing the ungenerated areas to come into contact with each other in order to complete the registration database.
  • FIGS. 15 and 16 a second embodiment of the present technology will be described with reference to FIGS. 15 and 16.
  • the image sensor 107 and the strain gauge 108A to the strain gauge 108D are the same as those in the first embodiment.
  • a strain gauge 108E and a strain gauge 108F are further provided as the pressing sensor 108.
  • Other configurations are the same as in the first embodiment.
  • the glass plate GL is omitted.
  • the strain gauge 108E is provided outside the strain gauge 108B in a plan view, and the strain gauge 108F is provided outside the strain gauge 108D. Further, the strain gauge 108E and the strain gauge 108F are provided so as to be located at the same height as the glass plate GL as the contact surface T in the side view.
  • the strain gauge 108E is for detecting the shearing force in the X direction. Further, the strain gauge 108F is for detecting a shearing force in the Y direction.
  • the glass plate GL moves, the strain gauge 108F is pressed against the glass plate GL in the X direction, and the strain gauge is pressed in the Y direction. 108E will be pressed against the glass plate GL.
  • the shear force can be detected by detecting the pressure on the strain gauge 108E and the strain gauge 108E by the glass plate GL.
  • Shear force is also a characteristic of user contact and can be used for authentication processing as one of the contact information.
  • a contact that generates a shearing force may deform the fingerprint and reduce the accuracy of the authentication process
  • the method of contacting the finger with the contact surface T should be changed. May notify the user.
  • the device 100 may be vibrated to forcibly eliminate the shear force.
  • the strain gauge 108E may be provided outside the strain gauge 108A, and the strain gauge 108F may be provided outside the strain gauge 108C. Further, strain gauges for detecting shear force may be provided in four directions so as to surround the strain gauge 108A, the strain gauge 108B, the strain gauge 108C, and the strain gauge 108D.
  • FIGS. 17 and 18 a third embodiment of the present technology will be described with reference to FIGS. 17 and 18.
  • the third embodiment is different from the first embodiment in that a capacitance sensor is used as the pressing sensor 108 instead of a strain gauge.
  • Other configurations are the same as in the first embodiment.
  • the glass plate GL is omitted.
  • the capacitance sensor is a non-contact type sensor that detects an object from the change in capacitance that occurs between the human hand and the like.
  • the capacitance sensor can detect the contact area of the finger on the contact surface T, the position of the center of gravity of the contact, and the like.
  • the capacitance sensor 108G is provided so as to be overlapped above the image pickup sensor 107 and below the glass plate GL.
  • the capacitance sensor 108G needs to be transparent.
  • FIG. 19A is an example of the second arrangement of the capacitance sensor, and the capacitance sensor 108G is provided so as to surround the image pickup sensor 107. In this case, since the image sensor 107 and the capacitance sensor 108G do not overlap, the capacitance sensor 108G does not need to be transparent.
  • FIG. 19B is a third arrangement example of the capacitance sensor, in which a plurality of cell-shaped capacitance sensors 108G are provided so as to surround the image pickup sensor 107. In this case, since the image sensor 107 and the capacitance sensor 108G do not overlap, the capacitance sensor 108G does not need to be transparent.
  • the capacitance sensor 108G can detect the contact area as contact information and the position of the center of gravity of the finger contact on the finger contact surface T, and can use it for biometric authentication processing. Therefore, the capacitance sensor 108G needs to be large enough to include the entire finger in contact with the contact surface T.
  • the pressing processing unit 202 can estimate the pressing condition from the contact area. Since the detected capacitance increases as the contact area of the finger increases, the degree of pressing of the finger against the contact surface T can be calculated. The larger the contact area of the finger, the larger the pressing condition, and the smaller the contact area, the smaller the pressing condition.
  • the area of the finger where the fingerprint image is generated and the area of the finger where the fingerprint image is not generated can be estimated from the position of the center of gravity.
  • the user can also be prompted to bring his finger into contact with the contact surface T to generate.
  • the position of the center of gravity cannot be detected unlike the capacitance sensor, but if it is arranged as shown in FIGS. 2 and 15, the finger can be the image sensor 107. It is possible to detect where the contact is made on the top, bottom, left, or right of. As a result, it is possible to narrow down which area of the fingerprint image for authentication and the fingerprint image for registration in the registration database corresponds to.
  • Both the strain gauge and the capacitance sensor may be used as the pressing sensor 108 by combining the first embodiment and the third embodiment.
  • This technology is configured as described above.
  • the shape of the ridge of a fingerprint changes depending on how the finger is pressed, but as in this technology, the degree of pressing as contact information is used for authentication, and the fingerprint images of the same pressing condition are compared at the time of registration and at the time of authentication. In doing so, the accuracy of fingerprint authentication can be improved. Therefore, highly accurate biometric authentication can be performed even if the mode of contact of the finger, which is a part of the living body, is different between the time of registration and the time of authentication.
  • the authentication process can be speeded up by preferentially collating the registration fingerprint image generated with the same pressing condition as the pressing condition in the authentication contact.
  • feedback can be given to the user to guide the user to make contact with the appropriate pressing condition.
  • the image sensor 107 for generating the fingerprint image becomes smaller, and even if the fingerprint image of the entire finger cannot be generated by one finger contact, the fingerprint image of the entire finger is efficiently generated. It becomes possible.
  • the degree of pressing the finger against the contact surface T itself can also be used as feature information. Since each person, such as a person who tends to push strongly and a person who tends to push weakly, has a unique way of pushing, the pressing condition itself can be used as characteristic information for authentication processing. Further, where the finger is brought into contact with the contact surface T can also be used as feature information.
  • Image-based authentication may use vein patterns in addition to fingerprints.
  • a part of the living body may be a part other than the fingers of the human body (arms, legs, head, torso, iris of eyes, etc.).
  • the device 100 that performs the registration process and the device 100 that performs the authentication process are different, the device 100 that performs the authentication process does not necessarily have to acquire contact information at the time of authentication such as the pressing condition. Further, even if the device 100 that performs the registration process and the device 100 that performs the authentication process are the same, it is not necessary to acquire the contact information at the time of authentication at the time of the contact for authentication. If the contact information at the time of authentication is not detected, the authentication fingerprint image is compared with the registration fingerprint image of any pressing degree level in the registration database to perform the authentication process.
  • the authentication process is a combination of only the fingerprint image, the pressing condition of the fingerprint image and the contact information, the position information of the center of gravity of the fingerprint image and the contact information, and the pressing condition and the position information of the fingerprint image and the contact information. It can be carried out.
  • the softness of the finger can be estimated from the change in the shape of the ridge due to the difference in the pressing condition, that softness can also be used as feature information.
  • the softness of the finger By using the softness of the finger as the information for authentication, it is possible to distinguish between a fake finger made of plastic or rubber and a real finger and improve the accuracy of authentication.
  • the blood flow can also be used as feature information.
  • the blood flow rate as characteristic information, plastic can distinguish between a fake finger made of rubber or the like and a real finger to improve the accuracy of authentication.
  • the user's heart rate can be obtained based on the blood flow
  • the user's state can be estimated from the heart rate. For example, it is possible to determine whether the authentication is successful but the procedure can be executed by estimating the user's state in the procedure for requesting the authentication process (transfer procedure, etc.). If the heart rate is above a predetermined value, the user is not in a normal state (hurried, deceived, etc.), so even if the authentication is successful, the procedure is not performed. This can be used, for example, as a measure against transfer fraud.
  • the finger color can be detected from the fingerprint image, the finger color can also be used as feature information. Since the color of a human finger changes when pressed, the change is used as characteristic information to improve the accuracy of authentication by distinguishing between a fake finger and a real finger, which are made of rubber or the like and whose color does not change. Can be done.
  • biological information that can be detected by a body temperature sensor, a heart rate sensor, or the like provided in a wristwatch-type wearable device may be used in parallel to improve the accuracy of authentication.
  • the present technology can also have the following configurations.
  • a living body based on an image of a part of the living body generated when a part of the user's living body is in contact with the contact surface and contact information acquired when the part of the living body is in contact with the contact surface.
  • An information processing device including a processing unit that performs related processing.
  • the information processing apparatus according to (1), wherein the biological-related process is a process of registering a plurality of registration images generated by a plurality of registration contacts with the contact surface.
  • the plurality of registration images are images of different regions of a part of the living body.
  • the information processing apparatus according to (2) or (4), wherein the plurality of registration images are registered in correspondence with a plurality of registration contact information for each of the plurality of registration contacts.
  • the biometric processing is a biometric authentication process using the registration image and the authentication image generated by the authentication contact with the contact surface after the registration process is completed (2) to (4). ) Is described in any of the information processing devices.
  • the biometric authentication process is performed by comparing the registration image registered corresponding to the registration contact information, which is the same as the authentication contact information in the authentication contact, with the authentication image (5). ).
  • the biometric authentication process is performed by comparing the feature information acquired from the registration image registered by the registration process with the feature information acquired from the authentication image (5) or (6).
  • the information processing device according to any one of (1) to (7), wherein the contact information is a pressing force on the contact surface by a part of the living body.
  • the contact information is the contact area of a part of the living body with respect to the contact surface.
  • the contact information is the position of the center of gravity of contact with the contact surface by a part of the living body.
  • the contact information is a shearing force with respect to the contact surface by a part of the living body.
  • the information processing apparatus according to any one of (1) to (11), comprising a UI processing unit that provides information to the user so that a part of the living body is brought into contact with the contact surface a plurality of times in different modes. (13) The information processing apparatus according to (12), which provides the user with the information so as to generate the image of a plurality of regions in a part of the living body. (14) The information processing apparatus according to (12) or (13), which provides the user with the information so that a part of the living body is brought into contact with the contact surface with different pressing conditions.
  • An information processing program that causes a computer to execute an information processing method that performs biological-related processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

ユーザの生体の一部が接触面に接触した状態で生成された生体の一部の画像と、生体の一部が接触面に接触した状態で取得された接触情報とに基づいて生体関連処理を行う処理部を備える情報処理装置である。

Description

情報処理装置、情報処理方法、情報処理プログラム
　本技術は、情報処理装置、情報処理方法、情報処理プログラムに関する。
　近年、スマートフォン、ウェアラブルデバイスなどにおいてユーザを認証する方法としてユーザの生体の一部を利用した生体認証が用いられている。生体認証には例えば指の指紋を用いた指紋認証がある。指紋とは、指先の皮膚にある汗腺の開口部が隆起した線（隆線）により出来る紋様であり、指紋の形状は人によって全て異なり、終生不変という特徴がある。よって、個々のユーザを識別して認証するための情報として用いることができる、指紋を使用した認証処理装置が提案されている（特許文献１）。
特開２０１７－１９６３１９号公報
　指紋認証においては指紋を認証情報として登録する登録処理と、デバイス１００などを使用するユーザの指紋が登録した指紋が一致するかを確認する認証処理とがある。この登録処理と認証処理はユーザが指紋センサに指を押し付けることで行われる。
　しかし、登録時と認証時でユーザが同一の押し付け具合で指紋センサを押し付けるとは限らず、また、接触させる指の位置も同一とは限らない。登録段階と認証段階で押し付け具合や接触させる指の位置などの接触の態様が異なると指紋認証の精度に影響がでてしまうという問題がある。
　本技術はこのような点に鑑みなされたものであり、登録時と認証時で生体の一部の接触の態様が異なっていても精度の高い生体認証を行うことができる情報処理装置、情報処理方法、情報処理プログラムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、ユーザの生体の一部が接触面に接触した状態で生成された生体の一部の画像と、生体の一部が接触面に接触した状態で取得された接触情報とに基づいて生体関連処理を行う処理部を備える情報処理装置である。
　また、第２の技術は、ユーザの生体の一部が接触面に接触した状態で生成された生体の一部の画像と、生体の一部が接触面に接触した状態で取得された接触情報とに基づいて生体関連処理を行う情報処理方法である。
　さらに、第３の技術は、ユーザの生体の一部が接触面に接触した状態で生成された生体の一部の画像と、生体の一部が接触面に接触した状態で取得された接触情報とに基づいて生体関連処理を行う情報処理方法をコンピュータに実行させる情報処理プログラムである。
デバイス１００の構成を示すブロック図である。 第１の実施の形態における撮像センサ１０７と押圧センサ１０８の配置を示す図である。 第１の実施の形態における撮像センサ１０７と押圧センサ１０８の配置を示す図である。 情報処理装置２００の構成を示すブロック図である。 登録処理を示すフローチャートである。 登録データベースの説明図である。 登録データベースの説明図である。 認証処理を示すフローチャートである。 ＵＩの第１の例を示す図である。 ＵＩの第２の例を示す図である。 ＵＩの第３の例を示す図である。 ＵＩの第４の例を示す図である。 ＵＩの第５の例を示す図である。 ＵＩの第６の例を示す図である。 第２の実施の形態における撮像センサ１０７と押圧センサ１０８の配置を示す図である。 第２の実施の形態における撮像センサ１０７と押圧センサ１０８の配置を示す図である。 第３の実施の形態における撮像センサ１０７と押圧センサ１０８の配置を示す図である。 第３の実施の形態における撮像センサ１０７と押圧センサ１０８の配置を示す図である。 第３の実施の形態における撮像センサ１０７と押圧センサ１０８の配置を示す図である。 接触の重心位置の説明図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．デバイス１００の構成］
［１－２．情報処理装置２００の構成］
［１－３．情報処理装置２００における処理］
［１－３－１．登録処理］
［１－３－２．認証処理］
［１－３－３．ＵＩ処理］
＜２．第２の実施の形態＞
＜３．第３の実施の形態＞
＜４．変形例＞
＜１．第１の実施の形態＞
［１－１．デバイス１００の構成］
　まず図１を参照してデバイス１００の構成について説明する。デバイス１００は、制御部１０１、インターフェース１０２、記憶部１０３、入力部１０４、表示部１０５、スピーカ１０６、撮像センサ１０７、押圧センサ１０８、情報処理装置２００を備えて構成されている。
　制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによってデバイス１００の全体および各部の制御を行う。
　インターフェース１０２は他の装置やインターネットなどとの間のインターフェースである。インターフェース１０２は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＴＴＥなどのセルラー通信、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、イーサネット（登録商標）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、ＵＳＢ（Universal　Serial　Bus）などを含みうる。また、デバイス１００と情報処理装置２００の少なくとも一部が同一の装置で実現される場合、インターフェース１０２は、装置内のバスや、プログラムモジュール内でのデータ参照などを含みうる（以下、これらを装置内のインターフェースともいう）。また、デバイス１００と情報処理装置２００が複数の装置に分散して実現される場合、インターフェース１０２は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース１０２は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
　記憶部１０３は、例えばハードディスク、フラッシュメモリなどの大容量記憶媒体である。記憶部１０３にはデバイス１００で使用する各種アプリケーションやデータなどが格納されている。また、情報処理装置２００がデバイス１００で動作する場合には撮像センサ１０７で生成した指紋画像や、登録データベースなども記憶部１０３に保存される。
　入力部１０４は、デバイス１００に対してユーザが各種指示などを入力するためのものである。入力部１０４に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部１０１に供給される。そして、制御部１０１はその制御信号に対応した各種処理を行う。入力部１０４は物理ボタンの他、タッチパネル、音声認識による音声入力、人体認識によるジェスチャ入力などがある。
　表示部１０５は、画像／映像、指紋画像生成のためのＧＵＩ（Graphical User Interface）などを表示するディスプレイなどである。
　スピーカ１０６はコンテンツの音声、ユーザインターフェース用の音声などを出力するものである。
　撮像センサ１０７は、入射光を光電変換して電荷量に変換して撮像信号を出力する撮像素子（ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）など）と、撮像信号に対して、デコード処理、Ａ／Ｄ（Analog/Digital）変換などを行ない画像データを生成する画像信号処理部などを備えるものである。撮像センサ１０７により指紋画像が生成され、その指紋画像を用いて情報処理装置２００による登録処理と認証処理が行われる。
　撮像センサ１０７は、指紋の凸部分と凹部分では光の反射の仕方が異なることを利用して、光源から指に光を照射し、指で反射した入射光の陰影を撮像素子で受けて指紋画像を生成する。
　本実施の形態においては生体の一部はユーザの指であり、撮像センサ１０７により指の指紋の画像を生成し、その指紋画像を用いて認証を行うとして説明を行う。
　押圧センサ１０８は、指紋画像生成のためにユーザが指を接触面Ｔに接触させたことを検出するとともに、接触の際の接触面Ｔへの押し付け具合（押圧力）を接触情報として検出するものである。第１の実施の形態では押圧センサ１０８としては歪みゲージを用いる。ただし、押圧センサ１０８は歪みゲージに限られず、後述する静電容量センサでもよいし、さらにその他、金属ゲージ、半導体ゲージ、ロードセルなど押し付け具合を検出することができるものであればどのようなものでもよい。本技術は、指の押し付け具合を検出する押圧センサ１０８を撮像センサ１０７の周辺に配置し、押圧センサ１０８で検出した押し付け具合を接触情報として利用することで生体認証の精度の向上および高速化を図るものである。
　ここで図２および図３を参照して接触面Ｔ、撮像センサ１０７、押圧センサ１０８の配置構成について説明する。なお、図２および図３においては、Ｘ軸方向を幅方向とし、Ｙ軸方向を縦方向とし、Ｚ軸方向を下方向（ユーザが指を接触させる方向）として説明する。
　図２Ａ、図３Ａ、図３Ｂ示すように上から、上面が接触面Ｔとなるガラス板ＧＬ、押圧センサ１０８としての歪みゲージ１０８Ａ、歪みゲージ１０８Ｂ、歪みゲージ１０８Ｃおよび歪みゲージ１０８Ｄ、撮像センサ１０７の順に階層構造となるように配置されている。なお、図２Ｂにおいてはガラス板ＧＬを省略している。
　図２Ｂの平面図に示すように撮像センサ１０７を囲むようにその周囲に４つの歪みゲージ１０８Ａ、歪みゲージ１０８Ｂ、歪みゲージ１０８Ｃ、歪みゲージ１０８Ｄがそれぞれ配置されている。
　対抗する歪みゲージ１０８Ａと歪みゲージ１０８ＢでＹ方向の荷重位置を検出することができる。また、対抗する歪みゲージ１０８Ｃと歪みゲージ１０８ＤでＸ方向の荷重位置を検出することができる。さらに、歪みゲージ１０８Ａ乃至歪みゲージ１０８Ｄが検出した押圧力の値の合計でＺ方向への押し付け具合を算出することができる。本技術は押し付け具合を押圧力として算出している。
　ユーザが指を接触面Ｔに接触させたことを押圧センサ１０８で検出すると撮像センサ１０７が指紋画像を生成する。また、押圧センサ１０８は接触面Ｔへの指の接触により押圧されると、指の接触に関する情報（接触情報）としての押し付け具合を取得する。このように指による押し付け具合が間接的に検出できればよいため、押圧センサ１０８上にガラス板ＧＬが配置されていてもよい。なお、押し付け具合は間接的に検出できればよいため、押圧センサ１０８は撮像センサ１０７の下に配置されていてもよい。
　デバイス１００は、スマートフォン、パーソナルコンピュータ、カード型デバイス、ＩＯＴ（Internet of Thing）機器、セキュリティシステム、家や車などのドア施錠システムの他、腕時計型、メガネ型、リストバンド型、指輪型などのウェアラブルデバイスなど、指紋を用いた生体認証機能を搭載できる装置であればどのようなものでもよい。
　なお、インターフェース１０２、入力部１０４、表示部１０５、スピーカ１０６は必須の構成ではない。外部との通信を必要とせずデバイス１００と情報処理装置２００のみで生体情報の登録と認証が完結する場合にはインターフェースにおける外部との通信機能は必要ない。また、ユーザに対する指示や情報の提示を表示部１０５における表示でのみ行う場合にはスピーカ１０６は不要であるし、逆にユーザに対する指示や情報の提示を音声でのみ行う場合には表示部１０５は不要である。
［１－２．情報処理装置２００の構成］
　次に図４を参照して情報処理装置２００の構成について説明する。情報処理装置２００は、撮影処理部２０１、押圧処理部２０２、登録処理部２０３、認証処理部２０４、ＵＩ（User Interface）処理部２０５、画像データ処理部２０６を備えて構成されている。
　本技術における処理は指紋画像の登録段階と、指紋画像を用いた認証段階の２つの段階に分けられる。登録処理のための接触面Ｔへの指の接触が特許請求の範囲における登録用接触である。また、登録用接触で生成され、登録に用いられる、ユーザの生体の一部の画像である指紋画像が特許請求の範囲における登録用画像である。さらに、登録用接触における接触情報が特許請求の範囲における登録時接触情報である。
　また、登録処理が完了した後の認証処理のための接触面Ｔへの指の接触が特許請求の範囲における認証用接触である。また、認証用接触で生成され、認証に用いられる指紋画像が特許請求の範囲における認証用画像である。さらに、認証用接触における接触情報が特許請求の範囲における認証時接触情報である。
　撮影処理部２０１は、押圧センサ１０８により接触面Ｔへの指の接触が検出されると、撮像センサ１０７の動作を制御して指紋画像を生成させる。また、撮影処理部２０１はユーザによる接触面Ｔへの指の接触が登録目的なのか、認証目的なのかに応じて指紋画像を登録処理部２０３または認証処理部２０４に供給する。
　押圧処理部２０２は、押圧センサ１０８から接触情報を取得し、ユーザによる接触面Ｔへの指の接触が登録目的なのか、認証目的なのかに応じて接触情報を登録処理部２０３または認証処理部２０４に供給する。また、押圧処理部２０２はＵＩ処理のために必要に応じてＵＩ処理部２０５に接触情報を供給する。
　なお、ユーザによる接触面Ｔへの指の接触が登録目的なのか認証目的なのかは、例えばデバイス１００の状態を参照することで確認することができる。デバイス１００の設定画面やアプリケーションが指紋画像の登録を要求している状態においてはユーザによる接触面Ｔへの指の接触は登録目的となる。また、デバイス１００が起動やアプリケーションの使用のために指紋認証を要求している場合にはユーザによる接触面Ｔへの指の接触は認証目的となる。
　登録処理部２０３は、生体関連処理として、登録用指紋画像を認証用の生体情報として登録するものである。登録された登録用指紋画像は例えば記憶部１０３内に構成された登録データベースに格納される。
　認証処理部２０４は、生体関連処理として、認証用指紋画像と登録データベースにおける登録用指紋画像を比較することにより指紋による生体認証処理を行うものである。
　認証処理部２０４は特徴情報に基づいて生体認証処理を行う。特徴情報とは指を用いた認証において使用する情報の総称であり、指紋画像から取得できる種々の情報が含まれる。特徴情報としては、隆線の全体的な形状、隆線の特徴的な構成である隆線の切れ目や分岐点や端点などがある。さらに汗腺の位置、指のテクスチャなどを含めてもよい。より多くの情報を用いることで認証の精度を高めることができる。詳細は後述するが、さらに本技術では接触面Ｔへの指の押し付け具合や指の接触位置なども特徴情報に含めることができる。
　認証処理部２０４は登録データベースに登録された登録用指紋画像から取得できる特徴情報と、認証用指紋画像から取得できる特徴情報とを比較して公知の指紋認証方法により一致点を検出することで指紋認証を行う。
　ＵＩ処理部２０５は、指紋画像生成のために接触面Ｔに指を接触させることをユーザに促すためのＵＩの選択や表示部１０５におけるＵＩ表示処理などを行うものである。
　画像データ処理部２０６は、撮影した指紋画像が認証用の生体情報として使用できる品質であるかを確認する処理などを行うものである。
　情報処理装置２００はプログラムの実行により実現され、そのプログラムは予めデバイス１００にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、メーカー、事業者、ユーザなどがインストールするようにしてもよい。また、情報処理装置２００はデバイスとは異なる外部装置、例えば、サーバ、クラウドなどにおいて動作してもよい。さらに、情報処理装置２００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
［１－３．情報処理装置２００における処理］
［１－３－１．登録処理］
　次に情報処理装置２００における処理について説明する。まず図５のフローチャートを参照して登録処理について説明する。登録処理とは、生体情報であるユーザの登録用指紋画像を指紋認証に使用するために登録する処理である。
　まずステップＳ１０１で、登録用指紋画像を生成するためにユーザに対して接触面Ｔに指を接触させるよう指示を行う。この指示は例えばデバイス１００の表示部１０５にメッセージを表示する、スピーカ１０６から音声を出力することにより行うことができる。
　ユーザが接触面Ｔに指を接触させると、次にステップＳ１０２で、撮像センサ１０７により登録用指紋画像が生成される。また、ステップＳ１０３で押圧センサ１０８により登録時接触情報としてのユーザの接触面Ｔへの押し付け具合が取得される。なお、フローチャートの都合上、ステップＳ１０２を指紋画像生成とし、ステップＳ１０３を押し付け具合の取得としているが、実際にはこれらは並行してほぼ同時に行われる。
　次にステップＳ１０４で、画像データ処理部２０６により画像確認処理が行われる。画像確認処理は登録用指紋画像が登録に使用できる品質であるかを確認するものである。例えば、画像の明るさを検出し、明度が第１の所定値以下である場合は画像が暗すぎるとして指紋画像が登録に使用できる品質ではないと判定する。また、外光が入りすぎているなどの理由により明度が第２の所定値以上である場合は画像が明るすぎるとして指紋画像が登録に使用できる品質ではないと判定する。また、登録用指紋画像の一部に不鮮明な部分が検出された場合にも登録用指紋画像が登録に使用できる品質ではないと判定する。
　登録用指紋画像が登録に使用できる品質である場合、処理はステップＳ１０５からステップＳ１０６に進む（ステップＳ１０５のＹｅｓ）。一方、登録用指紋画像が登録に使用できる品質ではない場合、処理はステップＳ１０１に戻り、再度ユーザに登録用指紋画像生成のために接触面Ｔに指を接触させるよう指示を行う。
　次にステップＳ１０６で、登録処理部２０３は登録用指紋画像を登録データベースに登録する。登録データベースは、図６Ａ乃至図６ＤのエリアＡ、エリアＢ、エリアＣ、エリアＮに示すようにユーザの指を予め複数の領域に分割し、指の接触の位置ブレを考慮したオーバーラップ領域を設けて複数のエリアに分ける。図６においては一例として２×２の４つの領域で一つのエリアを構成し、隣接するエリア同士で２つの領域が重なるようにしている。このようにオーバーラップ領域を設けるのは、ＵＩでユーザに示した位置にユーザが指を正確に接触させるとは限らず、ＵＩによる誘導ではユーザに指を正確に接触させるのは困難だからである。図７Ａにおける指紋上の矩形枠で示すように、実際の撮影で得られる登録用指紋画像はエリアに対して位置のずれを有することになるが、最終的に目的とするエリアの指紋画像が漏れなく網羅されて取得できていればよい。
　図７Ｂに示すようにユーザによる接触面Ｔへの押し付け具合のレベルに対応させてエリアごとに登録用指紋画像を登録する構成となっている。このように登録処理は、接触面Ｔへの複数回の登録用接触により生成された複数の登録用画像を押し付け具合のレベルに応じて登録し、全てのエリアに登録用指紋画像を登録する処理である。よって、登録データベースにおいて押し付け具合のレベルに対応して登録される複数の登録用画像は、それぞれ生体の一部である指の指紋のそれぞれ異なる領域の画像である。
　押し付け具合のレベルの数Ｎの値は、押圧センサ１０８の分解能に依存するため、実験的に求めることになると考えられる。押圧センサ１０８が圧力ゲージの場合は圧力を使用し、静電容量式の場合は接触面積を使用する。
　レベルの境界の設定は、押圧センサ１０８の分解能に応じて予め所定の数に決めてもよい。また、ユーザの押し付け具合の最大値と最小値を計測した上で、押し付け具合の範囲に応じてレベルの数を設定してもよい。例えば、押し付け具合の範囲が大きい場合にはレベルの数が多くなるように境界を設定する。また。押し付け具合の範囲が小さい場合にはレベルの数が多くなるように境界を設定する。また、特徴ベクトルの内積によって、クラスタリングを行いレベル分けとすることもできる。
　実際に接触がなされるまではユーザの押し付け具合は未知なので、仮の複数のレベルを予め設定しておき、押圧センサ１０８で実際に複数の押し付け具合を検出した後に、その押し付け具合に応じてレベルを再設定するようにしてもよい。例えば、レベル１～５の５段階のレベルを予め設定しておき、押圧センサ１０８で複数の押し付け具合を検出した結果レベル４以上で押し付けることがなかった場合、レベル４以上は不要として、レベルを１～３のみに再設定する。または、レベル１～３に比べてレベル４、レベル５の押し付け具合が極端に少ない場合にはレベル４とレベル５をまとめて一つのレベルにするように再設定する、ということも可能である。
　指は接触面Ｔへの押し付け具合によって変形したり、指紋の隆線が変形するため、ユーザの押し付け具合に応じて階層化して押し付け具合ごとに指紋画像を登録することによって、より正確な認証を実現することができる。
　次にステップＳ１０７で、登録処理部２０３は登録データベースに登録用指紋画像が登録されていないエリアがあるか否かが確認される。全ての押し付け具合における全てのエリアに対応して登録用指紋画像が登録された場合、処理は終了となる（ステップＳ１０７のＮｏ）。
　一方、登録用指紋画像が登録されていないエリアがある場合、処理はステップＳ１０８に進む（ステップＳ１０７のＹｅｓ）。
　そしてステップＳ１０８で、ＵＩ処理部２０５によりＵＩの選択および表示部１０５におけるＵＩ表示処理が行われる。このＵＩ処理部２０５による処理は、登録データベースを確認し、まだ指紋画像が登録されていないエリアの指紋画像を生成するようにユーザに指の接触を促すＵＩである。ＵＩの具体例については後述する。
　以上のようにして登録処理が行われる。登録処理が終了すると登録データベースにおいて各押し付け具合のレベルおよび各エリアの指紋画像が全て登録された状態になる。全てのエリアの指紋画像が登録されると、押し付け具合のレベルごとにユーザの指全体の指紋画像が登録されたことになる。
　なお、押し付け具合のレベルは予め設定しておき、全ての押し付け具合のレベルにおける全てのエリアの指紋画像が登録されるまで登録処理を行ってもよいし、ユーザの押し付け具合に偏りがある場合には全てのレベルにおける指紋画像を登録しなくてもよい。
　例えば、接触面Ｔへの複数回の接触の結果、レベル１乃至レベル３における全エリアの指紋画像は登録できたがユーザの押し付け具合が弱く、レベル４以上のエリアの指紋画像が登録されていない、または登録した指紋画像が所定数以下である場合には、レベル４以上を登録データベースが除外してもよい。
　また、レベル４以上の複数のレベルにおけるエリアの指紋画像の登録が所定数以下である場合には、複数のレベルをまとめて一つのレベルにしてもよい。なお、レベル１乃至レベル３、レベル４以上、というのはあくまで説明の便宜上の一例であり、本技術がそのレベルに限定されるものではない。
　また、所定回数指紋画像の生成を行っても押し付け具合のレベルおよび／またはエリアが偏り、全ての押し付け具合のレベルにおける全てのエリアの指紋画像を登録できない場合、その偏りや分布も接触情報として認証処理に用いることができる。
　なお、隣り合う複数のエリアにおいては、結合して一つのエリアとし、スティッチングで複数の指紋画像をつなぎ合わせてその結合したエリアの指紋画像として登録してもよい。
［１－３－２．認証処理］
　次に図８のフローチャートを参照して、認証処理について説明する。この認証処理は、登録データベースに登録された登録用指紋画像と認証用に生成された認証用指紋画像を用いて、接触面Ｔに接触した指が指紋を登録した指であるかを確認する処理である。
　ステップＳ２０１乃至ステップＳ２０４までは登録処理におけるステップＳ１０１乃至ステップＳ１０４と同一であるため説明を省略する。
　ステップＳ２０５で認証用指紋画像が認証処理に使用できる品質である場合、処理はステップＳ２０６に進む（ステップＳ２０５のＹｅｓ）。一方、認証用指紋画像が認証処理に使用できる品質ではない場合、処理はステップＳ２０１に戻り、再度ユーザに認証用指紋画像生成のために接触面Ｔに指を接触させるよう指示を行う（ステップＳ２０５のＮｏ）。
　認証用指紋画像が認証処理に使用できる品質である場合、ステップＳ２０６で認証処理部２０４により認証処理が行われる。なお、登録処理においては全てのエリアに登録用指紋画像が登録されるまで繰り返し接触と指紋画像の生成を行ったが、認証処理においては認証用指紋画像が認証処理に使用できる品質ではない場合を除いて指紋画像の生成は一回行えばよい。
　認証処理では、登録用指紋画像、登録時接触情報、認証用指紋画像、認証時接触情報を用いて処理を行う。認証処理では、認証用接触の際の接触面Ｔへの指の押し付け具合（認証時接触情報）のレベルと同じレベルの押し付け具合（登録時接触情報）に対応して登録された登録用指紋画像を参照して行う。
　例えば、認証用接触の際の接触面Ｔへの指の押し付け具合がレベル２であった場合、登録データベースにおけるレベル２の押し付け具合に対応して登録された登録用指紋画像を参照して認証処理を行う。そして、認証用指紋画像から取得できる特徴情報と、対応するレベル２の全ての登録用指紋画像から取得できる特徴情報を比較して一致するか否かで生体認証処理を行う。
　指紋は指の押し付け具合で隆線の形状が変化するものであるが、このように接触情報としての押し付け具合を認証に用いることにより、指紋認証の精度を高めることができる。
　なお、認証用接触の際の押し付け具合と同じレベルの押し付け具合に対応して登録された登録用指紋画像では認証が成功しなかった場合、近傍のレベルの押し付け具合レベルに対応する登録用指紋画像で認証処理を行ってもよい。例えば、認証用接触の指の押し付け具合がレベル２であり、登録データベースにおけるレベル２の押し付け具合に対応して登録された登録用指紋画像を参照して認証が成功しなかった場合、近傍の押し付け具合であるレベル１またはレベル３における登録用指紋画像で認証処理を行う。これにより異なる押し付け具合であっても効率よく認証処理を行うことができる。
　認証処理により、認証用指紋画像が登録データベースに登録されている登録用指紋画像と一致するとして認証が成功した場合、処理は終了となる（ステップＳ２０７のＹｅｓ）。一方、認証できなかった処理はステップＳ２０７からステップＳ２０１に戻り、再度ユーザに指紋登録の撮影のために接触面Ｔに指を接触させるよう指示を行う（ステップＳ２０７のＮｏ）。
　なお、偽指は本物の指とは柔軟性が異なると仮定し、指紋の特徴情報が近似している場合でも、押し付け具合が異なる場合には偽指であるとして認証失敗とすることもできる。
［１－３－３．ＵＩ処理］
　次にＵＩ処理部２０５により表示部１０５に表示されるＵＩについて説明する。このＵＩは登録データベースに指の複数の領域の登録用指紋画像を登録するために、指を様々な態様で、様々な押し付け具合で複数回接触させるようにユーザに情報を提供して誘導するためのものである。
　図９はＵＩの第１の例である。第１の例は、表示部１０５が接触面Ｔを兼ねている場合において、表示部１０５に指を接触させることを促すための指紋を表す映像を表示する。その指紋の映像は、時間の経過とともに押し付け具合により形状が変化する様子を表すように変化させる。ユーザがその表示の変化に合わせて押し付け具合を変えて指を接触させることにより、撮像センサ１０７は複数の押し付け具合の指紋画像を効率よく生成することができる。
　図１０はＵＩの第２の例である。第２の例は表示部１０５が接触面Ｔを兼ねている場合において、接触面Ｔにおける指を接触させる位置を示すアイコンを表示するものである。撮像センサ１０７が指より小さい場合、一度の接触では指の全体の指紋画像を生成することはできない。よって、接触のたびに撮像センサ１０７上に重なる指の位置が異なるようにアイコンの位置を変更して表示する。
　図１０の例では、まず図１０Ａに示すようにアイコンＰ１を表示し、図１０Ｂに示すようにユーザがアイコンＰ１上に指を接触させたら、図１０Ｃに示すように次にアイコンＰ１とは異なる位置にアイコンＰ２を表示させている。ユーザがアイコンＰ２上に指を接触させたらアイコンＰ２とは異なる位置に次のアイコンを表示させる。これを指の全エリアの登録用指紋画像が生成されるまで繰り返す。ユーザがアイコンを追うようにアイコンが表示された位置に指を接触させることにより指全体の登録用指紋画像を生成することができる。なお、ユーザがアイコンで示す位置に指を接触させた場合、その指に隠れてしまわない位置に次に指を接触させる位置を示すアイコンを表示させるとよい。
　図１１はＵＩの第３の例である。第３の例は、表示部１０５が接触面Ｔを兼ねている場合において、接触面Ｔに対する指の押し付けを指示するアイコンＰ３を表示するものである。例えば図１１Ａに示すように、弱い押し付け具合（所定値以下の押圧力）で接触させることを指示する場合には、アイコンＰ３として小さい円、内向きの矢印と矢印の誘導先を示す点線などを表示する。これにより図１１Ｂに示すように、小さい円や内向きの矢印や点線によりユーザに弱い押し付け具合で接触させるように誘導することができる。また、強い押圧力（所定値以上の押圧力）で接触させるように誘導する場合には、図１１Ｃに示すようにアイコンＰ４として大きい円、外向きの矢印、点線の円などを表示する。これにより図１１Ｄに示すように、ユーザに強い押し付け具合で接触させるように誘導することができる。
　図１２はＵＩの第４の例である。第４の例は、表示部１０５に表示する、キャラクタを動作させるゲームによりユーザに強い押し付け具合または弱い押し付け具合で接触させるように誘導するものである。例えば、空中遊泳をしている人形のキャラクタＰ５を連続する複数の仮想リングＲを通すように操作するゲームにおいて、図１２Ｂ、図１２Ｃに示すように接触面Ｔへの指の押し付け具合に応じてキャラクタＰ５が上下移動させる。仮想リングＲの位置を変化させることにより様々な押し付け具合で接触面Ｔに指を接触させることが可能となる。この例では、表示部１０５が接触面Ｔを兼ねていてもよいし、表示部１０５と接触面Ｔが別でもよい。
　また、ゲームとしては図１３の第５の例に示すように、接触面Ｔへの押し付け具合の変化をエアーポンプＰ６の上下動作に対応させて気体の注入具合を調節できるようにキャラクタが変化するという例もある。この例では図１３Ｂ、図１３Ｃに示すように接触面Ｔへの指の押し付け具合に応じてエアーポンプＰ６に対する上下動作が変化する。さらに、上下動をユーザに連想させるゲームとしては他にも押し付け具合を人間のキャラクタへの心臓マッサージに対応させるという例もある。
　図１４はＵＩの第６の例である。第６の例は指の接触面Ｔの接触の押し付け具合とスピーカ１０６から出力する音の音程を対応付けるものである。例えば、図１４Ａに示すように押し付け具合が弱くなるに従い出力する音の音程を低くし、図１４Ｂに示すように押し付け具合が強くなるに従い出力する音の音程が高くなるようにする。これにより、ユーザは押し付け具合の強弱を直感的に把握することができる。これを利用して例えば図１４Ｃに示すように、カラオケにおける歌の音程と押し付け具合を対応させることでユーザに様々な押し付け具合で接触面Ｔに指を接触させるように誘導することができる。
　上述のＵＩは全て、ＵＩ処理部２０５が押圧処理部２０２から押し付け具合の情報を取得し、押し付け具合と表示における変化（キャラクタの動作、アイコンの変化など）を対応付けて表示処理を行うことにより実現することができる。例えば、上述のＵＩにより指をゆっくりと接触面Ｔに接触させるように誘導し、かつ、指を接触面Ｔから離す方向に誘導することを繰り返すことにより一度の接触で複数の押し付け具合の指紋画像を生成することができる。また、登録データベースを完成させるために未生成のエリアを接触させるように誘導することにより効率よく登録データベースを完成させることができる。
＜２．第２の実施の形態＞
　次に図１５および図１６を参照して本技術の第２の実施の形態について説明する。第２の実施の形態は、押圧センサ１０８としての歪みゲージの配置が第１の実施の形態と異なっている。撮像センサ１０７および歪みゲージ１０８Ａ乃至歪みゲージ１０８Ｄは第１の実施の形態と同様である。第２の実施の形態ではさらに押圧センサ１０８としての歪みゲージ１０８Ｅ、歪みゲージ１０８Ｆが設けられている。その他の構成は第１の実施の形態と同様である。なお、図１５Ｂにおいてはガラス板ＧＬを省略している。
　図１５および図１６に示すように、歪みゲージ１０８Ｅは平面視において歪みゲージ１０８Ｂの外側に設けられ、歪みゲージ１０８Ｆは歪みゲージ１０８Ｄの外側に設けられている。さらに、歪みゲージ１０８Ｅおよび歪みゲージ１０８Ｆは側面視において接触面Ｔとしてのガラス板ＧＬと同じ高さに位置するように設けられている。歪みゲージ１０８ＥはＸ方向におけるせん断力を検出するためのものである。また、歪みゲージ１０８ＦはＹ方向におけるせん断力を検出するためのものである。
　ユーザが接触面Ｔに指を接触させた状態で指を回転させたり、指をずらすとガラス板ＧＬが動き、Ｘ方向においては歪みゲージ１０８Ｆがガラス板ＧＬに押圧され、Ｙ方向においては歪みゲージ１０８Ｅがガラス板ＧＬに押圧されることになる。このガラス板ＧＬによる歪みゲージ１０８Ｅ、歪みゲージ１０８Ｅへの押圧を検出することによりせん断力を検出することができる。
　せん断力もユーザの接触の特徴であり、接触情報の一つとして認証処理に利用することができる。また、せん断力が発生するような接触は指紋が変形して認証処理の精度が低下するおそれがあるため、せん断力が検出された場合には接触面Ｔへの指の接触方法を変化させるようにユーザに通知してもよい。さらに、デバイス１００が振動機能を有する場合でせん断力が検出された場合には、デバイス１００を振動させて強制的にせん断力を解消させるようにしてもよい。
　なお、歪みゲージ１０８Ｅは歪みゲージ１０８Ａの外側に設けられてもよく、歪みゲージ１０８Ｆは歪みゲージ１０８Ｃの外側に設けられてもよい。さらに、歪みゲージ１０８Ａ、歪みゲージ１０８Ｂ、歪みゲージ１０８Ｃ、歪みゲージ１０８Ｄを囲うように４方向にせん断力検出のための歪みゲージを設けてもよい。
＜３．第３の実施の形態＞
　次に図１７および図１８を参照して本技術の第３の実施の形態について説明する。第３の実施の形態は押圧センサ１０８として歪みゲージではなく静電容量センサを用いている点で第１の実施の形態と異なっている。その他の構成は第１の実施の形態と同様である。なお、図１７Ｂにおいてはガラス板ＧＬを省略している。
　静電容量センサとは、人の手などとの間に発生する静電容量の変化から物体を検知する非接触式のセンサである。静電容量センサにより接触面Ｔにおける指の接触面積、接触の重心位置などを検出することができる。
　図１７および図１８は静電容量センサの第１の配置例であり、撮像センサ１０７の上方かつガラス板ＧＬの下方において重ねるように静電容量センサ１０８Ｇが設けられている。この場合、静電容量センサ１０８Ｇの下にある撮像センサ１０７で指紋画像の生成を行うため、静電容量センサ１０８Ｇは透明である必要がある。
　図１９Ａは静電容量センサの第２の配置例であり、撮像センサ１０７を囲むように静電容量センサ１０８Ｇが設けられている。この場合、撮像センサ１０７と静電容量センサ１０８Ｇは重なっていないので静電容量センサ１０８Ｇは透明である必要はない。
　図１９Ｂは静電容量センサの第３の配置例であり、撮像センサ１０７を囲むように複数のセル状の静電容量センサ１０８Ｇが設けられている。この場合、撮像センサ１０７と静電容量センサ１０８Ｇは重なっていないので静電容量センサ１０８Ｇは透明である必要はない。
　静電容量センサ１０８Ｇでは指の接触面Ｔにおける、接触情報としての接触面積と指の接触の重心位置を検出し、それを生体認証処理に利用することができる。よって、静電容量センサ１０８Ｇは接触面Ｔに接触した指全体を含めることができる大きさである必要がある。
　静電容量センサ１０８Ｇにより指の接触面積を検出した場合、押圧処理部２０２は接触面積から押し付け具合を推定することができる。指の接触面積が増えると検出される静電容量は大きくなることから、接触面Ｔに対する指の押し付け具合を算出することができる。指の接触面積が大きいほど押し付け具合は大きくなり、接触面積が小さいほど押し付け具合も小さくなる。
　また、図２０に示すように静電容量センサ１０８Ｇにより指の接触の重心位置ＦＣを検出することにより、認証用の接触時において、指のどの範囲が撮像センサ１０７上に重なって認証用指紋画像が生成されたかを推定することができる。これにより、認証用指紋画像と登録データベースにおける登録用指紋画像のどのエリアが対応しているかを絞り込むことができる。例えば、図２０に示すように指の接触の重心位置が撮像センサ１０７の左側である場合、指の右側が撮像センサ１０７上には重なって認証用指紋画像が生成されると推定できる。よって、登録データベースにおけるエリアのうち、右側にあるエリアを優先して照合を行うことにより認証処理の効率化を図ることができる。
　さらに、指の接触の重心位置を検出することにより、その重心位置から指紋画像が生成された指の領域と指紋画像が生成されていない指の領域も推定できるので、その指の領域の指紋画像を生成するために指を接触面Ｔに接触させるようにユーザに促すこともできる。
　なお、押圧センサ１０８として歪みゲージを用いた場合、静電容量センサのように重心位置を検出することはできないが、図２や図１５に示すように配置していれば、指が撮像センサ１０７の上下左右のどこに接触したかは検出することができる。これにより、認証用指紋画像と登録データベースにおける登録用指紋画像のどのエリアが対応しているかを絞り込むことができる。
　第１の実施の形態と第３の実施の形態を組み合わせて押圧センサ１０８として歪みゲージと静電容量センサの両方を用いてもよい。
　本技術は以上のように構成されている。指紋は指の押し付け具合で隆線の形状が変化するものであるが、本技術のように接触情報としての押し付け具合を認証に用いて、登録時と認証時で同じ押し付け具合の指紋画像を比較することに、指紋認証の精度を高めることができる。よって、登録時と認証時で生体の一部である指の接触の態様が異なっていても精度の高い生体認証を行うことができる。
　また、認証用接触における押し付け具合と同じ押し付け具合で生成された登録用指紋画像から優先して照合することで、認証処理の高速化を図ることができる。また、認証時に指の押し付け具合が適切でない場合に、ユーザにフィードバックを行い、適切な押し付け具合で接触するように誘導できる。
　また、登録時に複数の押し付け具合ごとに指紋画像を登録することで、押し付け具合と隆線の変化とを関連付けて特徴情報を正規化することができ、押し付け具合に依存しない特徴情報生成が可能となる。また、登録時に複数の押し付け具合ごとに指紋画像を登録することで、認証時に想定される押し付け具合のバリエーションを確保できるため、認証時には押し付け具合を検出しなくても、認証精度を向上させることができる。また、登録に使用するデバイスと認証に使用するデバイスが異なる場合、認証時に押し付け具合を検出しなければ、認証に使用するデバイスを簡素化でき、電力の消費を抑えられる。
　また、デバイス１００のサイズが小さくなるに伴い指紋画像を生成するための撮像センサ１０７が小さくなり一度の指の接触では指全体の指紋画像を生成できない場合でも効率よく指全体の指紋画像を生成することが可能となる。
　また、接触面Ｔへの指の押し付け具合自体も特徴情報として用いることができる。強く押す傾向ある人、弱く押す傾向がある人など、人それぞれ押し方にも個性があるので押し付け具合自体を特徴情報として認証処理を行うこともできる。さらに、接触面Ｔのどこに指を接触させるかも特徴情報として用いることができる。
＜４．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　画像に基づく認証は指紋以外にも静脈パターンを用いてもよい。また、生体の一部は人体の指以外の部位（腕、脚、頭部、胴部、目の虹彩など）であってもよい。
　登録処理を行うデバイス１００と認証処理を行うデバイス１００が異なる場合、認証処理を行うデバイス１００においては必ずしも押し付け具合などの認証時接触情報を取得しなくてもよい。また、登録処理を行うデバイス１００と認証処理を行うデバイス１００が同一であっても認証用接触時に認証時接触情報を取得しなくてもよい。認証時接触情報を検出しない場合には認証用指紋画像と、登録データベースにおけるいずれかの押し付け具合レベルの登録用指紋画像とを比較して認証処理を行う。よって、本技術において認証処理は指紋画像のみ、指紋画像と接触情報としての押し付け具合、指紋画像と接触情報としての重心位置情報、指紋画像と接触情報としての押し付け具合および重心位置情報、という組み合わせで行うことができる。
　押し付け具合の違いによる隆線の形状の変化から指の柔らかさを推定することができる場合、その柔らかさも特徴情報として使用することができる。指の柔らかさを認証用の情報として使用することにより、プラスチックやゴムなどで作成された偽指と本物の指を区別して認証の精度を高めることができる。
　また、指紋画像から血流量を検出できる場合、血流量も特徴情報として使用することができる。例えば血流量を特徴情報として使用することにより、プラスチックはゴムなどで作成された偽指と本物の指を区別して認証の精度を高めることができる。
　また、血流量に基づいてユーザの心拍数を取得することもできるため、心拍数からユーザの状態を推定することもできる。例えば、認証処理を要求する手続き（振り込み手続きなど）においてユーザの状態を推定することにより認証は成功したが手続きを実行してよいかを判断することもできる。心拍数が所定値以上である場合にはユーザが通常の状態ではない（焦っている、騙されているなど）ため、認証が成功しても手続きを行わない、などである。これは例えば振り込め詐欺対策などに用いることができる。
　また、指紋画像から指の色を検出できる場合、指の色も特徴情報として使用することができる。人の指は押し付けることにより色が変化するため、その変化を特徴情報とすることにより、プラスチックはゴムなどで作成された色が変化しない偽指と本物の指を区別して認証の精度を高めることができる。
　さらに、腕時計型ウェアラブルデバイスが備える体温センサ、心拍センサなどにより検出できる生体情報も並行して使用して認証の精度を高めるようにしてもよい。
　本技術は以下のような構成も取ることができる。
（１）
　ユーザの生体の一部が接触面に接触した状態で生成された前記生体の一部の画像と、前記生体の一部が前記接触面に接触した状態で取得された接触情報とに基づいて生体関連処理を行う処理部を備える情報処理装置。
（２）
　前記生体関連処理は、前記接触面への複数回の登録用接触により生成された複数の登録用画像の登録処理である（１）に記載の情報処理装置。
（３）
　前記複数の登録用画像は、それぞれ前記生体の一部の異なる領域の画像である（２）に記載の情報処理装置。
（４）
　複数回の前記登録用接触ごとの複数の登録時接触情報に対応させて、前記複数の登録用画像を登録する（２）または（４）に記載の情報処理装置。
（５）
　前記生体関連処理は、前記登録用画像と、前記登録処理が完了した後の前記接触面への認証用接触により生成された認証用画像とを利用した生体認証処理である（２）から（４）のいずれかに記載の情報処理装置。
（６）
　前記生体認証処理は、前記認証用接触における認証時接触情報と同一の前記登録時接触情報に対応して登録された前記登録用画像と、前記認証用画像とを比較することにより行われる（５）に記載の情報処理装置。
（７）
　前記生体認証処理は、前記登録処理により登録された前記登録用画像から取得される特徴情報と、前記認証用画像から取得される特徴情報とを比較することにより行われる（５）または（６）に記載の情報処理装置。
（８）
　前記接触情報は、前記生体の一部による前記接触面への押圧力である（１）から（７）のいずれかに記載の情報処理装置。
（９）
　前記接触情報は、前記生体の一部による前記接触面に対する接触面積である（１）から（８）のいずれかに記載の情報処理装置。
（１０）
　前記接触情報は、前記生体の一部による前記接触面に対する接触の重心位置である（１）から（９）のいずれかに記載の情報処理装置。
（１１）
　前記接触情報は、前記生体の一部による前記接触面に対するせん断力である（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
　前記生体の一部を異なる態様で前記接触面に複数回接触させるように前記ユーザに情報を提供するＵＩ処理部を備える（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
　前記生体の一部における複数の領域の前記画像を生成するように前記ユーザに前記情報を提供する（１２）に記載の情報処理装置。
（１４）
　前記生体の一部を異なる押し付け具合で前記接触面に接触させるように前記ユーザに前記情報を提供する（１２）または（１３）に記載の情報処理装置。
（１５）
　前記接触面に対する前記生体の一部の接触の重心を検出し、前記生体認証処理において前記認証用画像と比較する前記登録用画像を決定する（１）から（１４）のいずれかに記載の情報処理装置。
（１６）
　前記生体の一部は指であり、前記画像は指紋画像である（１）から（１５）のいずれかに記載の情報処理装置。
（１７）
　ユーザの生体の一部が接触面に接触した状態で生成された前記生体の一部の画像と、前記生体の一部が前記接触面に接触した状態で取得された前記接触情報とに基づいて生体関連処理を行う
情報処理方法。
（１８）
　ユーザの生体の一部が接触面に接触した状態で生成された前記生体の一部の画像と、前記生体の一部が前記接触面に接触した状態で取得された前記接触情報とに基づいて生体関連処理を行う
情報処理方法をコンピュータに実行させる情報処理プログラム。
１００・・・デバイス
２００・・・情報処理装置
２０３・・・登録処理部
２０４・・・認証処理部
２０５・・・ＵＩ処理部
Ｔ・・・・・接触面

Claims (18)

  1. 　ユーザの生体の一部が接触面に接触した状態で生成された前記生体の一部の画像と、前記生体の一部が前記接触面に接触した状態で取得された接触情報とに基づいて生体関連処理を行う処理部を備える
    情報処理装置。
  2. 　前記生体関連処理は、前記接触面への複数回の登録用接触により生成された複数の登録用画像の登録処理である
    請求項１に記載の情報処理装置。
  3. 　前記複数の登録用画像は、それぞれ前記生体の一部の異なる領域の画像である
    請求項２に記載の情報処理装置。
  4. 　複数回の前記登録用接触ごとの複数の登録時接触情報に対応させて、前記複数の登録用画像を登録する
    請求項２に記載の情報処理装置。
  5. 　前記生体関連処理は、前記登録用画像と、前記登録処理が完了した後の前記接触面への認証用接触により生成された認証用画像とを利用した生体認証処理である
    請求項２に記載の情報処理装置。
  6. 　前記生体認証処理は、前記認証用接触における認証時接触情報と同一の前記登録時接触情報に対応して登録された前記登録用画像と、前記認証用画像とを比較することにより行われる
    請求項５に記載の情報処理装置。
  7. 　前記生体認証処理は、前記登録処理により登録された前記登録用画像から取得される特徴情報と、前記認証用画像から取得される特徴情報とを比較することにより行われる
    請求項５に記載の情報処理装置。
  8. 　前記接触情報は、前記生体の一部による前記接触面への押圧力である
    請求項１に記載の情報処理装置。
  9. 　前記接触情報は、前記生体の一部による前記接触面に対する接触面積である
    請求項１に記載の情報処理装置。
  10. 　前記接触情報は、前記生体の一部による前記接触面に対する接触の重心位置である
    請求項１に記載の情報処理装置。
  11. 　前記接触情報は、前記生体の一部による前記接触面に対するせん断力である
    請求項１に記載の情報処理装置。
  12. 　前記生体の一部を異なる態様で前記接触面に複数回接触させるように前記ユーザに情報を提供するＵＩ処理部を備える
    請求項１に記載の情報処理装置。
  13. 　前記生体の一部における複数の領域の前記画像を生成するように前記ユーザに前記情報を提供する
    請求項１２に記載の情報処理装置。
  14. 　前記生体の一部を異なる押し付け具合で前記接触面に接触させるように前記ユーザに前記情報を提供する
    請求項１２に記載の情報処理装置。
  15. 　前記接触面に対する前記生体の一部の接触の重心を検出し、前記生体認証処理において前記認証用画像と比較する前記登録用画像を決定する
    請求項１に記載の情報処理装置。
  16. 　前記生体の一部は指であり、前記画像は指紋画像である
    請求項１に記載の情報処理装置。
  17. 　ユーザの生体の一部が接触面に接触した状態で生成された前記生体の一部の画像と、前記生体の一部が前記接触面に接触した状態で取得された前記接触情報とに基づいて生体関連処理を行う
    情報処理方法。
  18. 　ユーザの生体の一部が接触面に接触した状態で生成された前記生体の一部の画像と、前記生体の一部が前記接触面に接触した状態で取得された前記接触情報とに基づいて生体関連処理を行う
    情報処理方法をコンピュータに実行させる情報処理プログラム。
PCT/JP2021/000511 2020-01-17 2021-01-08 情報処理装置、情報処理方法、情報処理プログラム WO2021145285A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180008500.8A CN114930389A (zh) 2020-01-17 2021-01-08 信息处理装置、信息处理方法、信息处理程序
US17/791,691 US20230036182A1 (en) 2020-01-17 2021-01-08 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020005939 2020-01-17
JP2020-005939 2020-01-17

Publications (1)

Publication Number Publication Date
WO2021145285A1 true WO2021145285A1 (ja) 2021-07-22

Family

ID=76864394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000511 WO2021145285A1 (ja) 2020-01-17 2021-01-08 情報処理装置、情報処理方法、情報処理プログラム

Country Status (3)

Country Link
US (1) US20230036182A1 (ja)
CN (1) CN114930389A (ja)
WO (1) WO2021145285A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023212448A1 (en) * 2022-04-28 2023-11-02 Qualcomm Incorporated System for managing a fingerprint sensor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274656A (ja) * 1996-04-03 1997-10-21 Chuo Spring Co Ltd 指紋照合装置
JP2004086866A (ja) * 2002-06-25 2004-03-18 Chuo Spring Co Ltd 指紋照合方法及び指紋画像の登録方法
JP2012141677A (ja) * 2010-12-28 2012-07-26 Lapis Semiconductor Co Ltd 指紋認証装置
JP2013164717A (ja) * 2012-02-10 2013-08-22 Fujitsu Broad Solution & Consulting Inc 認証プログラム、認証方法および情報処理装置
US20180276440A1 (en) * 2017-03-24 2018-09-27 Qualcomm Incorporated Multi-functional ultrasonic fingerprint sensor
JP2019079415A (ja) * 2017-10-26 2019-05-23 京セラ株式会社 電子機器、制御装置、制御プログラム及び電子機器の動作方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075135A (ja) * 2001-08-31 2003-03-12 Nec Corp 指紋画像入力装置および指紋画像による生体識別方法
KR102264808B1 (ko) * 2014-06-23 2021-06-14 삼성전자주식회사 지문 처리 방법 및 그 전자 장치
KR102396514B1 (ko) * 2015-04-29 2022-05-11 삼성전자주식회사 지문 정보 처리 방법 및 이를 지원하는 전자 장치
US9613245B1 (en) * 2015-10-22 2017-04-04 Motorola Mobility Llc Device and method for authentication by a biometric sensor
US10552658B2 (en) * 2017-03-24 2020-02-04 Qualcomm Incorporated Biometric sensor with finger-force navigation
KR102517692B1 (ko) * 2018-02-05 2023-04-03 삼성전자주식회사 혈압 측정 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274656A (ja) * 1996-04-03 1997-10-21 Chuo Spring Co Ltd 指紋照合装置
JP2004086866A (ja) * 2002-06-25 2004-03-18 Chuo Spring Co Ltd 指紋照合方法及び指紋画像の登録方法
JP2012141677A (ja) * 2010-12-28 2012-07-26 Lapis Semiconductor Co Ltd 指紋認証装置
JP2013164717A (ja) * 2012-02-10 2013-08-22 Fujitsu Broad Solution & Consulting Inc 認証プログラム、認証方法および情報処理装置
US20180276440A1 (en) * 2017-03-24 2018-09-27 Qualcomm Incorporated Multi-functional ultrasonic fingerprint sensor
JP2019079415A (ja) * 2017-10-26 2019-05-23 京セラ株式会社 電子機器、制御装置、制御プログラム及び電子機器の動作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023212448A1 (en) * 2022-04-28 2023-11-02 Qualcomm Incorporated System for managing a fingerprint sensor

Also Published As

Publication number Publication date
CN114930389A (zh) 2022-08-19
US20230036182A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
JP5740407B2 (ja) 動的手書き署名の真正を査定するシステム及び方法
KR102277453B1 (ko) 터치 센서를 구비한 전자 장치 및 그 구동 방법
US9990040B2 (en) Haptic CAPTCHA
KR101839860B1 (ko) 동적 키보드 및 터치스크린 생체 측정
Liu et al. uWave: Accelerometer-based personalized gesture recognition and its applications
CN112243510A (zh) 生物识别认证的实现
CN102043944B (zh) 生物体认证装置及生物体认证方法
US20170220843A1 (en) Fingerprint based smart phone user verification
JP2016212636A (ja) 生体撮影装置、生体撮影方法及び生体撮影プログラム
US20140359757A1 (en) User authentication biometrics in mobile devices
JP2016530602A (ja) ユーザ認証の改良又はユーザ認証に関する改良
US11494470B2 (en) Information processing apparatus and information processing method
KR102117261B1 (ko) 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
US10860699B2 (en) Terminal device and method for performing user authentication by means of biometric data
WO2013069372A1 (ja) 生体認証装置およびそれを備えた自動取引装置
US20160274670A1 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
WO2015066330A1 (en) User authentication biometrics in mobile devices
US20190278970A1 (en) Detection device, information processing device, and information processing method
Sae-Bae et al. Emerging NUI-based methods for user authentication: A new taxonomy and survey
US20210166047A1 (en) Method of multi-finger enrollment for a user
WO2021145285A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
Conti et al. Usability analysis of a novel biometric authentication approach for android-based mobile devices
JP2015018413A (ja) 携帯端末、画像表示方法、及びプログラム
JP2014130554A (ja) 情報機器、認証方法、認証システム
WO2016197815A2 (zh) 一种使用指纹操作的方法、装置及终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21741774

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21741774

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP