WO2021156919A1 - 電子機器、情報処理方法およびプログラム - Google Patents

電子機器、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2021156919A1
WO2021156919A1 PCT/JP2020/003962 JP2020003962W WO2021156919A1 WO 2021156919 A1 WO2021156919 A1 WO 2021156919A1 JP 2020003962 W JP2020003962 W JP 2020003962W WO 2021156919 A1 WO2021156919 A1 WO 2021156919A1
Authority
WO
WIPO (PCT)
Prior art keywords
fingerprint
information
electronic device
gesture
control unit
Prior art date
Application number
PCT/JP2020/003962
Other languages
English (en)
French (fr)
Inventor
弘貴 小川
健治 麻
裕貴 山本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to PCT/JP2020/003962 priority Critical patent/WO2021156919A1/ja
Priority to US17/759,504 priority patent/US20230073831A1/en
Priority to EP20917407.7A priority patent/EP4102348A4/en
Priority to CN202080094699.6A priority patent/CN115004144A/zh
Publication of WO2021156919A1 publication Critical patent/WO2021156919A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1671—Special purpose buttons or auxiliary keyboards, e.g. retractable mini keypads, keypads or buttons that remain accessible at closed laptop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0338—Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • the present invention relates to electronic devices, information processing methods and programs.
  • the above-mentioned conventional technique assigns a function other than fingerprint authentication to the fingerprint sensor.
  • User operation detection and fingerprint authentication are performed separately, not as an integrated process. Therefore, it is not possible to identify the operating subject and perform processing. After the security lock is released, a person other than the authenticated user can freely perform the operation. Therefore, there is a problem in terms of security.
  • this disclosure proposes highly secure electronic devices, information processing methods and programs.
  • the fingerprint sensor and the fingerprint and gesture of the finger that touch-operates the fingerprint sensor are detected, and the fingerprint is authenticated based on the fingerprint detected at the time of the touch operation, and is detected at the time of the touch operation.
  • An electronic device comprising the fingerprint and a control unit that performs a process associated with the gesture is provided. Further, according to the present disclosure, an information processing method in which information processing of an electronic device is executed by a computer, and a program for realizing information processing of the electronic device in the computer are provided.
  • FIG. 1 is a diagram showing an example of an electronic device 1.
  • a smartphone will be described as an example of the electronic device 1.
  • the electronic device 1 has a fingerprint sensor 31 and a control unit 10 (see FIG. 4).
  • the fingerprint sensor 31 is assigned a gesture operation function that is operated by a gesture.
  • the control unit 10 detects the fingerprint of the finger that touch-operates the fingerprint sensor 31 and the movement of the fingerprint based on the signal from the fingerprint sensor 31.
  • the control unit 10 detects the gesture based on the movement of the fingerprint.
  • the control unit 10 performs fingerprint authentication based on the fingerprint detected during the touch operation, and executes a process associated with the fingerprint and the gesture detected during the touch operation.
  • FIGS. 2 and 3 are diagrams showing a usage example of the electronic device 1.
  • FIG. 2 is an example in which the application is executed by tapping the fingerprint sensor 31.
  • the user double-taps the fingerprint sensor 31 with the thumb FR1 of the right hand.
  • the electronic device 1 detects the fingerprint of the finger when it is double-tapped, and collates it with the fingerprint data registered in the electronic device 1 in advance. If the person is authenticated as a result of the verification, the process associated with the fingerprint type (registered user's right thumb) and the gesture type (double tap) is executed. In the example of FIG. 2, the process of executing the weather forecast application is performed.
  • FIG. 3 is an example in which the camera is activated by a swipe operation on the fingerprint sensor 31.
  • the user swipes the fingerprint sensor 31 with the index finger FR2 of the right hand while the electronic device 1 is turned sideways.
  • the electronic device 1 detects the fingerprint of the finger when swiped and collates it with the fingerprint data registered in the electronic device 1 in advance. If the person is authenticated as a result of the verification, the process associated with the fingerprint type (registered user's right index finger) and the gesture type (swipe) is executed. In the example of FIG. 3, the process of activating the camera is performed.
  • the fingerprint sensor 31 can also function as a shutter button of the camera. For example, after the camera is activated, the user can tap the fingerprint sensor 31 to take a picture while checking the scenery reflected on the display screen 36S.
  • the fingerprint sensor 31 operates, for example, in a locked state in which a security lock is effective.
  • the gesture operation on the fingerprint sensor 31 is performed in the locked state.
  • the process executed by the gesture operation is performed in the locked state. While the process is being executed, operations other than the user who has registered the fingerprint in the electronic device 1 are not accepted. After the process is completed, the locked state can be maintained without releasing the security lock. Therefore, a highly secure electronic device 1 is provided.
  • FIG. 4 is a diagram showing an example of the functional configuration of the electronic device 1.
  • the electronic device 1 includes, for example, a control unit 10, a storage unit 20, a fingerprint sensor 31, an acceleration sensor 32, a proximity sensor 33, an illuminance sensor 34, a GPS (Global Positioning System) receiving unit 35, and a display unit. It has 36, a camera 37, a communication unit 38, and a speaker 39.
  • the control unit 10 is, for example, a computer composed of a processor and a memory.
  • the memory of the control unit 10 includes, for example, a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the control unit 10 executes an instruction included in the program 21 stored in the storage unit 20 while referring to various data and information stored in the storage unit 20 as necessary.
  • the storage unit 20 stores, for example, the program 21, the fingerprint information 22, the gesture operation information 23, the gesture information 24, the processing information 25, and the option information 26.
  • the program 21 causes the computer to execute the information processing of the electronic device 1.
  • the control unit 10 performs various processes according to the program 21 stored in the storage unit 20.
  • the storage unit 20 may be used as a work area for temporarily storing the processing result of the control unit 10.
  • the storage unit 20 includes any non-transient storage medium such as a semiconductor storage medium and a magnetic storage medium.
  • the storage unit 20 includes, for example, an optical disk, a magneto-optical disk, or a flash memory.
  • the program 21 is stored, for example, in a non-transient storage medium that can be read by a computer.
  • the program 21 is installed in the storage unit 20, for example, via wireless communication by the communication unit 38 or a non-transient storage medium.
  • the fingerprint sensor 31 detects the fingerprint on the fingerprint sensor 31.
  • a fingerprint detection method for example, known methods such as a finger capacitance method, an optical method, and an ultrasonic method are used.
  • the fingerprint sensor 31 operates in a locked state in which the security lock is effective.
  • the fingerprint sensor 31 outputs, for example, a signal indicating fingerprint information of a plurality of times detected in chronological order to the control unit 10.
  • the control unit 10 detects fingerprints and gestures based on the signal from the fingerprint sensor 31. Gestures are detected, for example, based on the number of times the finger touches the fingerprint sensor 31, the time interval at which the contact is detected, and the time variation of the fingerprint position (fingerprint movement).
  • Gestures detected by the control unit 10 include, for example, single tap, multi tap and swipe.
  • the control unit 10 can detect the swipe direction based on the time change of the fingerprint position.
  • the swipe operation is performed along the longitudinal direction and the lateral direction of the side surface of the electronic device 1 provided with the fingerprint sensor 31.
  • the direction from the mouthpiece 41 to the earpiece 40 is referred to as "upper”
  • the direction from the earpiece 40 to the mouthpiece 41 is referred to as "downward” in the longitudinal direction of the side surface.
  • the direction from the fingerprint sensor 31 toward the display screen 36S is referred to as "left”
  • the direction from the fingerprint sensor 31 toward the side opposite to the display screen 36S is referred to as "right”.
  • the control unit 10 detects an up swipe, a down swipe, a left swipe, and a right swipe as swipe types.
  • the fingerprint sensor 31 also serves as a power button for turning the power on and off, for example.
  • the fingerprint sensor 31 is provided, for example, in the central portion of the side surface of the electronic device 1, but the position of the fingerprint sensor 31 is not limited to this.
  • the fingerprint sensor 31 may be provided at a position adjacent to the display screen 36S on the front surface of the electronic device 1.
  • the fingerprint sensor 31 may be built in the display unit 36.
  • the acceleration sensor 32 detects the acceleration applied to the electronic device 1.
  • the control unit 10 detects the moving state of the electronic device 1 based on, for example, the acceleration detected by the acceleration sensor 32.
  • the moving state of the electronic device 1 includes, for example, walking and stationary of a user who possesses the electronic device 1.
  • the proximity sensor 33 detects the presence of an object close to the electronic device 1 in a non-contact manner.
  • the illuminance sensor 34 detects the ambient brightness of the electronic device 1.
  • the control unit 10 detects the holding state of the electronic device 1 based on the detection results of the proximity sensor 33, the illuminance sensor 34, and the acceleration sensor, for example.
  • the holding state of the electronic device 1 includes, for example, a state in which the electronic device 1 is held in the user's hand (handheld) and a state in which the electronic device 1 is stored in a pocket or a bag.
  • the GPS receiving unit 35 receives radio waves from GPS satellites.
  • the control unit 10 detects the position information of the current position of the electronic device 1 based on the radio wave detected by the GPS receiving unit 35, for example.
  • the display unit 36 displays various information including characters, images, symbols, and figures on the display screen 36S.
  • the display unit 36 for example, known displays such as LCD (Liquid Crystal Display) and OELD (Organic Electro-Luminescence Display) are used.
  • the display unit 36 has, for example, a touch panel function for detecting a user's touch operation.
  • the camera 37 captures an image of the surroundings of the electronic device 1.
  • the camera 37 includes, for example, an in-camera that captures an image on the entire surface side of the electronic device 1 and an out-camera that captures an image on the back surface side of the electronic device 1.
  • the camera 37 includes, for example, an image sensor such as a CCD (Charge Coupled Device Image Sensor) or a CMOS (Complementary Metal Oxide Sensor).
  • the communication unit 38 wirelessly communicates with other communication devices via the repeater.
  • the repeater is, for example, a short-range wireless base station (access point) provided in a home, an office, or the like.
  • the communication unit 3 communicates based on known communication standards such as LTE (Long Term Evolution), Bluetooth (registered trademark) and WiFi (registered trademark).
  • LTE Long Term Evolution
  • Bluetooth registered trademark
  • WiFi registered trademark
  • the speaker 39 outputs sound based on the sound signal input from the control unit 10.
  • the sound output from the speaker 39 includes a sound included in music and a moving image reproduced by the electronic device 1 and a ring tone.
  • the speaker 39 is provided in the earpiece 40, for example, as a receiver that outputs the voice of the other party during a call.
  • FIG. 5 is a diagram showing an example of fingerprint information 22.
  • the fingerprint information 22 includes one or more fingerprint data.
  • the fingerprint information 22 includes fingerprint data of a plurality of fingers owned by the owner of the electronic device 1.
  • Fingerprint data is data representing the characteristics of a fingerprint.
  • the fingerprint information 22 in FIG. 5 includes, for example, the fingerprint data CR 1 of the thumb of the right hand, the fingerprint data CR 2 of the index finger of the right hand, the fingerprint data CR 3 of the middle finger of the right hand, and the fingerprint data CR 4 of the index finger of the right hand.
  • Fingerprint data CR 5 of the small finger of the right hand fingerprint data CL 1 of the thumb of the left hand, fingerprint data CL 2 of the index finger of the left hand, fingerprint data CL 3 of the middle finger of the left hand, and fingerprint data CL 4 of the medicinal finger of the left hand.
  • the fingerprint data CL 5 of the small finger of the left hand and.
  • Fingerprint data is represented by, for example, the positions of a plurality of feature points included in the fingerprint and the distance between the feature points.
  • Fingerprint feature points include, for example, fingerprint center points, endpoints, deltas, and bifurcation points.
  • the center point is the center point of the fingerprint.
  • the bifurcation point is the point where the ridge of the fingerprint branches.
  • the end point is the point where the ridge is interrupted.
  • the delta is a point where ridges gather from three directions.
  • the control unit 10 collates the fingerprint detected based on the signal from the fingerprint sensor with the fingerprint information 22.
  • the control unit 10 calculates, for example, the matching rate (similarity) between the features included in the detected fingerprint and the features included in the fingerprint data.
  • the matching rate for example, a known method such as a maneuver matching method is used.
  • the control unit 10 compares the matching rate with the reference value and collates the fingerprint with the fingerprint data.
  • a second threshold value smaller than the first threshold value required to release the security lock is used.
  • the process is performed not by the main authentication using the first threshold value but by the provisional authentication using the second threshold value.
  • FIG. 6 is a diagram showing an example of gesture operation information 23.
  • the gesture operation information 23 defines a combination of gesture and processing for each fingerprint data.
  • the gesture operation information 23 may include one or more optional information associated with the process together with the fingerprint data.
  • the gesture operation information 23 defines a combination of gesture, option information, and processing for each fingerprint data.
  • Optional information includes, for example, position information of the electronic device 1, information on the holding state of the electronic device 1 by the user, time information, information on the movement status of the electronic device 1, information on the orientation of the electronic device 1, and surroundings of the electronic device 1. It includes at least one of brightness information, information on the network connection state of the electronic device 1, information on the remaining battery level of the electronic device 1, and information on the application being executed by the electronic device 1 in the locked state.
  • the control unit 10 detects fingerprints and gestures, for example, in a locked state in which a security lock is enabled.
  • the control unit 10 collates the fingerprint with the fingerprint data, and when the provisional authentication is performed, executes the process associated with the fingerprint and the gesture.
  • the control unit 10 can perform this authentication and release the security lock.
  • the gesture information includes, for example, information on whether or not to release the security lock after the processing is completed when a matching rate equal to or higher than the first threshold value is detected during fingerprint matching.
  • Authentication accuracy differs for each gesture. For example, in the swipe operation, the finger slides on the fingerprint sensor 31 and separates from the fingerprint sensor 31. Therefore, fingerprint distortion is likely to occur, and the authentication accuracy is expected to be low. In the tap operation, the finger is pressed against the fingerprint sensor 31 to stop. Therefore, fingerprint distortion and the like are unlikely to occur, and the authentication accuracy is expected to be high. In the gesture operation information 23, the necessity of releasing the security lock after processing is set in consideration of the authentication accuracy for each gesture.
  • the control unit 10 starts the weather forecast application. After the processing is completed, the security lock is not released and the locked state is maintained.
  • the control unit 10 When the user holds the electronic device 1 in his hand and a double tap operation with a finger matching the fingerprint data of the index finger of the right hand is detected, the control unit 10 notifies the schedule.
  • the schedule notification is a process of notifying the user of the user's schedule using the characters displayed on the display unit 36 or the voice output from the speaker 39. If a match rate equal to or higher than the first threshold value is detected during fingerprint verification, the security lock is released after the processing is completed.
  • the control unit 10 will perform the next song of the currently playing song. Play music. After the processing is completed, the locked state is maintained.
  • the control unit 10 activates the alarm setting setting screen. After the processing is completed, the locked state is maintained.
  • the control unit 10 interprets. After the processing is completed, the locked state is maintained.
  • the control unit 10 activates the camera 37. After the processing is completed, the locked state is maintained.
  • the control unit 10 controls the camera 37. Take a picture with. After the processing is completed, the locked state is maintained.
  • the control unit 10 shares the video. Start the service application. After the processing is completed, the locked state is maintained.
  • the control unit 10 When a left swipe operation by a finger matching the fingerprint data of the left middle finger is detected in a state where the surroundings are dark and the remaining battery level of the electronic device 1 is 5% or more, the control unit 10 performs the entire surface of the display unit 36. Is displayed in white to function as a light. After the processing is completed, the locked state is maintained.
  • FIG. 7 is a diagram showing an example of gesture information 24.
  • FIG. 8 is a diagram showing an example of processing information 25.
  • the gesture information 24 defines, for example, a plurality of gestures that can be assigned to the fingerprint sensor 31 and an authentication level for each gesture.
  • the authentication level is a label indicating an expected value of whether or not the registered user's finger is correctly authenticated at the time of gesture operation.
  • N pieces of gesture G 1 ⁇ G N are defined.
  • High level H and low level L are defined as the authentication level.
  • High level H indicates that it is unlikely that the detected fingerprint will be distorted or part of the fingerprint will not be detected. In the high level H gesture, even if a high matching rate required for this authentication is required at the time of fingerprint verification, authentication failure is unlikely to occur.
  • a low level L indicates that the detected fingerprint may be distorted or part of the fingerprint may not be detected. In a low level L gesture, if a high matching rate required for this authentication is required at the time of fingerprint verification, authentication failure is likely to occur.
  • the processing information 25 defines, for example, a plurality of processes that can be assigned to the fingerprint sensor 31 and a confidentiality level for each processing.
  • the confidentiality level is a label indicating the confidentiality of the information handled in the process.
  • M-number of process P 1 ⁇ P M are defined.
  • High level H and low level L are defined as confidentiality levels.
  • the authentication level information and the confidential level information are reference information RIs that are referred to for determining the appropriateness of the combination of gesture and processing.
  • the storage unit 20 is referred to for determining the appropriateness of the plurality of gestures that can be assigned to the fingerprint sensor 31, the plurality of processes that can be assigned to the fingerprint sensor 31, and the combination of the gestures and the processes. Memorize the reference information.
  • the control unit 10 determines whether or not the combination of the gesture and the process is appropriate while referring to, for example, the authentication level of the input gesture and the confidentiality level of the process.
  • the control unit 10 causes the display unit 36 to display a setting screen for setting a gesture operation, for example.
  • the user sets the gesture operation assigned to the fingerprint sensor 31 through the setting screen.
  • the control unit 10 notifies the user when an inappropriate combination of gesture and processing is input through the setting screen of the gesture operation information 23.
  • 9 and 10 are diagrams showing an example of the setting screen SU of the gesture operation information 23.
  • a processing input field IF1 On the setting screen SU, for example, a processing input field IF1, a finger input field IF2, a gesture input field IF3, and an option input field IF4 are displayed.
  • Each input field is, for example, a drum roll type pull-down menu.
  • FIG. 9 shows, for example, a state in which "right swipe" is selected from a plurality of gestures displayed in the menu.
  • the gesture information 24 defines a low level L as the authentication level for the right swipe.
  • the process input to the process input field IF1 is "schedule notification". Since the schedule notified by the schedule notification is the user's personal information, it is highly confidential. Therefore, the processing information 25 defines a high level H as the confidentiality level of the schedule notification.
  • the control unit 10 determines that the combination of the gesture and the process is inappropriate, and notifies the user.
  • a caution mark CM is displayed on the right side of the gesture input field IF3.
  • the control unit 10 notifies the user by the caution mark CM and prompts the user to make a decision to input an appropriate gesture.
  • FIG. 11 is a flowchart showing an example of an information processing method executed by the electronic device 1.
  • step S1 the control unit 10 activates the security lock.
  • the locked state in which the security lock is enabled operations by users other than the user authenticated by the fingerprint sensor 31 are not accepted.
  • step S2 the control unit 10 detects the fingerprint and the gesture based on the signal from the fingerprint sensor 31.
  • step S3 the control unit 10 detects one or more optional information based on the signals from the acceleration sensor 32, the proximity sensor 33, the illuminance sensor 34, the GPS receiving unit 35, and the communication unit 38.
  • step S4 the control unit 10 collates the fingerprint, the gesture, and the option information with the fingerprint information 22 and the gesture operation information 23.
  • the control unit 10 calculates the matching rate between the feature included in the fingerprint and the feature included in each fingerprint data registered in the fingerprint information 22.
  • the control unit 10 compares the matching rate with a second threshold value smaller than the first threshold value required to release the security lock, and collates the fingerprint with each fingerprint data.
  • step S5 the control unit 10 determines whether or not the match rate is equal to or higher than the second threshold value. If the match rate is equal to or higher than the second threshold value (step S5: Yes), the process proceeds to step S6.
  • step S6 the control unit 10 executes a process associated with the fingerprint data matching the fingerprint and the gesture. If the match rate is less than the second threshold value (step S5: No), the process returns to step S2.
  • step S7 the control unit 10 determines whether or not the match rate is equal to or higher than the first threshold value. If the match rate is equal to or higher than the first threshold value (step S7: Yes), the process proceeds to step S8.
  • step S8 the control unit 10 determines whether or not to release the security lock after the processing is completed, based on the gesture operation information 23. If it is determined that the security lock is released based on the gesture operation information 23 (step S8: Yes), the process proceeds to step S9. In step S9, the control unit 10 releases the security lock.
  • step S7: No If the match rate is less than the first threshold value in step S7 (step S7: No), or if it is determined in step S8 that the security lock is not released (step S8: No), the process proceeds to step S10. In step S10, the control unit 10 maintains the locked state without releasing the security lock even after the processing is completed.
  • the electronic device 1 is a smartphone.
  • the electronic device 1 is not limited to the smartphone.
  • the present disclosure is widely applicable to portable electronic devices such as smartphones, tablet terminals, notebook computers and mobile phones, and electronic devices including home appliances such as digital cameras.
  • the electronic device 1 has a fingerprint sensor 31 and a control unit 10.
  • the control unit 10 detects the fingerprint and gesture of the finger that touch-operates the fingerprint sensor 31.
  • the control unit 10 performs fingerprint authentication based on the fingerprint detected during the touch operation, and executes a process associated with the fingerprint and the gesture detected during the touch operation.
  • the information processing of the electronic device 1 described above is executed by the computer.
  • the program 21 of the present embodiment makes the computer realize the information processing of the electronic device 1 described above.
  • fingerprint authentication and gesture detection are performed as an integrated process. Since only the registered user can perform the operation, the electronic device 1 having high security is provided.
  • the electronic device 1 has a storage unit 20.
  • the storage unit 20 stores the fingerprint information 22 and the gesture operation information 23.
  • the fingerprint information 22 includes one or more fingerprint data.
  • the gesture operation information 23 defines a combination of gesture and processing for each fingerprint data.
  • the control unit 10 collates the fingerprint and the gesture with the fingerprint information 22 and the gesture operation information 23, and executes the process associated with the fingerprint and the gesture.
  • the control unit 10 detects fingerprints and gestures, for example, in a locked state in which a security lock is enabled.
  • the control unit 10 for example, executes the process associated with the fingerprint and the gesture without releasing the security lock.
  • the control unit 10 calculates, for example, the matching rate between the features included in the fingerprint and the features included in each fingerprint data.
  • the control unit 10 compares the matching rate with a second threshold value smaller than the first threshold value required to release the security lock, collates the fingerprint with each fingerprint data, and matches the fingerprint data with the fingerprint data. Performs the process associated with the gesture.
  • the detected fingerprint may be distorted or a part of the fingerprint may not be detected due to the movement of the finger. Therefore, if a high match rate is required at the time of authentication, the authentication is likely to fail and the operation may be stagnant. In the present embodiment, since the authentication is performed even with a low matching rate, the authentication is unlikely to fail. Therefore, an excellent operation feeling can be obtained.
  • control unit 10 maintains the locked state after the processing is completed.
  • control unit 10 releases the security lock after the processing is completed.
  • Gesture operation information 23 defines, for example, a combination of gesture, option information, and processing for each fingerprint data.
  • the processing content can be different not only by the combination of the fingerprint and the gesture but also by the combination with the option information. Therefore, the number of processes that can be assigned to the fingerprint sensor 31 increases.
  • Optional information includes, for example, position information of the electronic device 1, information on the holding state of the electronic device 1 by the user, time information, information on the movement status of the electronic device 1, information on the orientation of the electronic device 1, and surroundings of the electronic device 1. It includes at least one of brightness information, information on the network connection state of the electronic device 1, information on the remaining battery level of the electronic device 1, and information on the application being executed by the electronic device 1 in the locked state.
  • the storage unit 20 is referred to, for example, to determine the appropriateness of a plurality of gestures that can be assigned to the fingerprint sensor 31, a plurality of processes that can be assigned to the fingerprint sensor 31, and a combination of the gestures and the processes.
  • the reference information RI to be obtained is stored.
  • the control unit 10 notifies the user when, for example, an inappropriate combination of gesture and processing is input through the setting screen AU of the gesture operation information 23.
  • Fingerprint sensor and The fingerprint and gesture of the finger that touch-operates the fingerprint sensor are detected, and fingerprint authentication is performed based on the fingerprint detected during the touch operation, while processing associated with the fingerprint and the gesture detected during the touch operation.
  • the control unit that executes Electronic equipment with.
  • It has a storage unit that stores fingerprint information including one or more fingerprint data and gesture operation information in which a combination of gesture and processing is defined for each fingerprint data.
  • the control unit collates the fingerprint and the gesture with the fingerprint information and the gesture operation information, and executes a process associated with the fingerprint and the gesture.
  • the electronic device according to (1) above.
  • the control unit detects the fingerprint and the gesture in a locked state in which the security lock is enabled, and executes the process associated with the fingerprint and the gesture without releasing the security lock according to the above (2).
  • the control unit calculates a match rate between the feature included in the fingerprint and the feature included in each fingerprint data, and sets the match rate to a second threshold value smaller than the first threshold value required to release the security lock.
  • the electronic device according to (3) above wherein the fingerprint is collated with each fingerprint data, and a process associated with the fingerprint data matching the fingerprint and the gesture is executed.
  • the electronic device according to any one of (2) to (6), wherein the gesture operation information defines a combination of the gesture, optional information, and the processing for each fingerprint data.
  • the optional information includes position information of the electronic device, information on the holding state of the electronic device by the user, time information, information on the movement status of the electronic device, information on the orientation of the electronic device, and brightness around the electronic device.
  • the above (7) including at least one of the above information, information on the network connection state of the electronic device, information on the remaining battery level of the electronic device, and information on the application in which the electronic device is running in the locked state. ) Described in electronic devices.
  • the storage unit is referred to for determining the appropriateness of the plurality of gestures that can be assigned to the fingerprint sensor, the plurality of processes that can be assigned to the fingerprint sensor, and the combination of the gestures and the processes.
  • Memorize the reference information and The control unit notifies the user when an inappropriate combination of gesture and processing is input through the gesture operation information setting screen.
  • the method according to any one of (2) to (8). Electronics.
  • (11) Touch the fingerprint sensor to detect finger fingerprints and gestures While performing fingerprint authentication based on the fingerprint detected during the touch operation, the process associated with the fingerprint and the gesture detected during the touch operation is executed.
  • Control unit 20 Storage unit 22 Fingerprint information 23 Gesture operation information 31 Fingerprint sensor RI Reference information SU setting screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Telephone Function (AREA)

Abstract

セキュリティの高い電子機器、情報処理方法およびプログラムを提案する。電子機器は、指紋センサと制御部とを有する。制御部は、指紋センサをタッチ操作する指の指紋およびジェスチャを検出する。制御部は、タッチ操作時に検出された指紋に基づいて指紋認証を行いつつ、タッチ操作時に検出された指紋およびジェスチャに関連付けられた処理を実行する。

Description

電子機器、情報処理方法およびプログラム
　本発明は、電子機器、情報処理方法およびプログラムに関する。
　スマートフォンなどの電子機器の操作は、本人認証によってセキュリティロックが解除されてから行われる。本人認証の方法としては、指紋センサを用いた指紋認証が広く普及している。指紋センサ上の指の動きに基づいてスワイプ操作などのユーザの操作を検出する技術も提案されている（例えば、特許文献１ないし３を参照）。
特開２００４－３１８８９０号公報 特開２０１９－１２１３９６号公報 特開２０１９－０４０６２２号公報
　上述した従来の技術は、指紋センサに指紋認証以外の機能を割り当てるものである。ユーザの操作の検出と指紋認証とは別々に行われ、一体のプロセスとして行われない。そのため、操作主体を識別して処理を行うことはできない。セキュリティロックが解除された後は、認証されたユーザ以外の人間も自由に操作を行うことができる。そのため、セキュリティの面で課題がある。
　そこで、本開示では、セキュリティの高い電子機器、情報処理方法およびプログラムを提案する。
　本開示によれば、指紋センサと、前記指紋センサをタッチ操作する指の指紋およびジェスチャを検出し、タッチ操作時に検出された前記指紋に基づいて指紋認証を行いつつ、前記タッチ操作時に検出された前記指紋および前記ジェスチャに関連付けられた処理を実行する制御部と、を有する電子機器が提供される。また、本開示によれば、電子機器の情報処理がコンピュータにより実行される情報処理方法、ならびに、電子機器の情報処理をコンピュータに実現させるプログラムが提供される。
電子機器の一例を示す図である。 電子機器の使用例を示す図である。 電子機器の使用例を示す図である。 電子機器の機能構成の一例を示す図である。 指紋情報の一例を示す図である。 ジェスチャ操作情報の一例を示す図である。 ジェスチャ情報の一例を示す図である。 処理情報の一例を示す図である。 ジェスチャ操作情報の設定画面の一例を示す図である。 ジェスチャ操作情報の設定画面の一例を示す図である。 情報処理方法の一例を示すフローチャートである。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．概要］
［２．電子機器の構成］
［３．情報処理方法の説明］
［４．変形例］
［５．効果］
［１．概要］
　図１は、電子機器１の一例を示す図である。以下、電子機器１の一例としてスマートフォンを説明する。
　電子機器１は、指紋センサ３１と制御部１０（図４参照）とを有する。指紋センサ３１には、ジェスチャによって操作を行うジェスチャ操作機能が割り当てられている。制御部１０は、指紋センサ３１からの信号に基づいて、指紋センサ３１をタッチ操作する指の指紋および指紋の動きを検出する。制御部１０は、指紋の動きに基づいてジェスチャを検出する。制御部１０は、タッチ操作時に検出された指紋に基づいて指紋認証を行いつつ、タッチ操作時に検出された指紋およびジェスチャに関連付けられた処理を実行する。
　図２および図３は、電子機器１の使用例を示す図である。
　図２の例は、指紋センサ３１に対するタップ操作によってアプリケーションが実行される例である。図２において、ユーザは、右手の親指ＦＲ１で指紋センサ３１をダブルタップする。電子機器１は、ダブルタップしたときの指の指紋を検出し、予め電子機器１に登録された指紋データと照合する。照合の結果、本人認証がされた場合には、指紋の種別（登録ユーザの右手親指）およびジェスチャの種別（ダブルタップ）に関連付けられた処理が実行される。図２の例では、天気予報のアプリケーションを実行する処理が行われる。
　図３の例は、指紋センサ３１に対するスワイプ操作によってカメラが起動される例である。図３において、ユーザは、電子機器１を横向きにした状態で、右手の人差し指ＦＲ２で指紋センサ３１をスワイプする。電子機器１は、スワイプしたときの指の指紋を検出し、予め電子機器１に登録された指紋データと照合する。照合の結果、本人認証がされた場合には、指紋の種別（登録ユーザの右手人差し指）およびジェスチャの種別（スワイプ）に関連付けられた処理が実行される。図３の例では、カメラを起動する処理が行われる。
　指紋センサ３１は、カメラのシャッタボタンとしても機能させることができる。例えば、ユーザは、カメラが起動した後、表示画面３６Ｓに映る景色を確認しながら指紋センサ３１をタップして撮影を行うことができる。
　ユーザの操作の検出と指紋認証とは一体のプロセスとして同時に行われる。指紋センサ３１は、例えば、セキュリティロックが有効なロック状態で作動する。指紋センサ３１に対するジェスチャ操作は、ロック状態で行われる。ジェスチャ操作によって実行される処理はロック状態で行われる。処理が実行されている最中は、電子機器１に指紋登録したユーザ以外の操作は受け付けられない。処理が完了した後は、セキュリティロックを解除せずに、ロック状態を維持することができる。そのため、セキュリティの高い電子機器１が提供される。
［２．電子機器の構成］
　以下、電子機器１の構成を詳細に説明する。図４は、電子機器１の機能構成の一例を示す図である。
　電子機器１は、例えば、制御部１０と、記憶部２０と、指紋センサ３１と、加速度センサ３２と、近接センサ３３と、照度センサ３４と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部３５と、表示部３６と、カメラ３７と、通信部３８と、スピーカ３９と、を有する。
　制御部１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。制御部１０のメモリには、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）が含まれる。制御部１０は、記憶部２０に記憶されている各種データおよび情報を必要に応じて参照しつつ、記憶部２０に記憶されているプログラム２１に含まれる命令を実行する。
　記憶部２０は、例えば、プログラム２１と、指紋情報２２と、ジェスチャ操作情報２３と、ジェスチャ情報２４と、処理情報２５と、オプション情報２６と、を記憶する。プログラム２１は、電子機器１の情報処理をコンピュータに実行させる。制御部１０は、記憶部２０に記憶されているプログラム２１にしたがって各種の処理を行う。記憶部２０は、制御部１０の処理結果を一時的に記憶する作業領域として利用されてもよい。
　記憶部２０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶部２０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム２１は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。プログラム２１は、例えば、通信部３８による無線通信または非一過的な記憶媒体を介して記憶部２０にインストールされる。
　指紋センサ３１は、指紋センサ３１上の指紋を検出する。指紋の検出方法としては、例えば、指静電容量方式、光学方式および超音波方式などの公知の方法が用いられる。指紋センサ３１は、セキュリティロックが有効なロック状態において作動する。指紋センサ３１は、例えば、時系列順に検出された複数時刻の指紋の情報を示す信号を制御部１０に出力する。制御部１０は、指紋センサ３１からの信号に基づいて指紋およびジェスチャを検出する。ジェスチャは、例えば、指が指紋センサ３１に接触した回数、接触が検出された時間間隔および指紋の位置の時間変化（指紋の動き）に基づいて検出される。
　制御部１０によって検出されるジェスチャには、例えば、シングルタップ、マルチタップおよびスワイプが含まれる。制御部１０は、指紋の位置の時間変化に基づいて、スワイプの方向を検出することができる。スワイプ操作は、指紋センサ３１が設けられた電子機器１の側面の長手方向および短手方向に沿って行われる。以下では、便宜上、側面の長手方向において、送話口４１から受話口４０に向かう方向を「上」と称し、受話口４０から送話口４１へ向かう方向を「下」と称する。側面の短手方向において、指紋センサ３１から表示画面３６Ｓ側に向かう方向を「左」と称し、指紋センサ３１から表示画面３６Ｓとは反対側に向かう方向を「右」と称する。制御部１０は、スワイプの種別として、上スワイプ、下スワイプ、左スワイプおよび右スワイプを検出する。
　指紋センサ３１は、例えば、電源をＯＮおよびＯＦＦするための電源ボタンを兼ねる。指紋センサ３１は、例えば、電子機器１の側面の中央部に設けられるが、指紋センサ３１の位置はこれに限定されない。例えば、電子機器１の前面の表示画面３６Ｓと隣接する位置に指紋センサ３１が設けられてもよい。表示部３６に指紋センサ３１が内蔵されてもよい。
　加速度センサ３２は、電子機器１に加わる加速度を検出する。制御部１０は、例えば、加速度センサ３２によって検出された加速度に基づいて、電子機器１の移動状態を検出する。電子機器１の移動状態には、例えば、電子機器１を所持するユーザの歩行および静止が含まれる。
　近接センサ３３は、電子機器１に近接する物体の存在を非接触で検出する。照度センサ３４は、電子機器１の周囲の明るさを検出する。制御部１０は、例えば、近接センサ３３、照度センサ３４および加速度センサの検出結果に基づいて、電子機器１の保持状態を検出する。電子機器１の保持状態には、例えば、電子機器１がユーザの手に保持された状態（手持ち）と、電子機器１がポケットまたは鞄に収納された状態と、が含まれる。
　ＧＰＳ受信部３５は、ＧＰＳ衛星からの電波を受信する。制御部１０は、例えば、ＧＰＳ受信部３５によって検出された電波に基づいて、電子機器１の現在位置の位置情報を検出する。
　表示部３６は、表示画面３６Ｓに文字、画像、記号および図形を含む種々の情報を表示する。表示部３６としては、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）およびＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などの公知のディスプレイが用いられる。表示部３６は、例えば、ユーザのタッチ操作を検出するタッチパネルの機能を有する。
　カメラ３７は、電子機器１の周囲の画像を撮影する。カメラ３７は、例えば、電子機器１の全面側の画像を撮影するインカメラと、電子機器１の背面側の画像を撮影するアウトカメラと、を含む。カメラ３７は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを含む。
　通信部３８は、中継器を介して他の通信機器と無線通信を行う。中継器は、例えば、家庭、オフィス等に設けられた近距離無線の基地局（アクセスポイント）である。通信部３は、例えば、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）およびＷｉＦｉ（登録商標）などの公知の通信規格に基づいて通信を行う。制御部１０は、例えば、通信部３８に基地局をサーチさせて、通信部３８のネットワーク接続状態を検出する。
　スピーカ３９は、制御部１０から入力された音信号に基づいて音を出力する。スピーカ３９から出力される音には、電子機器１で再生される音楽および動画に含まれる音、および、着信音が含まれる。スピーカ３９は、例えば、通話時の相手の音声を出力するレシーバを兼ね、受話口４０に設けられる。
　図５は、指紋情報２２の一例を示す図である。
　指紋情報２２は、１以上の指紋データを含む。図５の例では、例えば、電子機器１の所有者が有する複数本の指の指紋データが指紋情報２２に含まれている。指紋データは、指紋の特徴を表すデータである。図５の指紋情報２２には、例えば、右手の親指の指紋データＣＲ１と、右手の人差し指の指紋データＣＲ２と、右手の中指の指紋データＣＲ３と、右手の薬指の指紋データＣＲ４と、右手の小指の指紋データＣＲ５と、左手の親指の指紋データＣＬ１と、左手の人差し指の指紋データＣＬ２と、左手の中指の指紋データＣＬ３と、左手の薬指の指紋データＣＬ４と、左手の小指の指紋データＣＬ５と、が含まれている。
　指紋データは、例えば、指紋に含まれる複数の特徴点の位置および特徴点間の距離によって表される。指紋の特徴点には、例えば、指紋の中心点、端点、三角州および分岐点が含まれる。中心点は、指紋の中心となる点である。分岐点は、指紋の隆線が分岐している点である。端点は、隆線が途切れている点である。三角州は、三方向から隆線が集まった点である。
　制御部１０は、指紋センサからの信号に基づいて検出された指紋を指紋情報２２と照合する。制御部１０は、例えば、検出された指紋に含まれる特徴と指紋データに含まれる特徴との一致率（類似度）を算出する。一致率の演算方法としては、例えば、マニューシャ・マッチング方式などの公知の方法が用いられる。制御部１０は、一致率を基準値と比較して、指紋と指紋データとの照合を行う。
　基準値としては、例えば、セキュリティロックを解除するために必要な第１閾値よりも小さい第２閾値が用いられる。指紋センサ３１上でジェスチャを行う場合、指の動きによって、検出される指紋に歪みが生じたり、指紋の一部が検出されなかったりする可能性がある。そのため、第１閾値を用いた本認証ではなく、第２閾値を用いた仮認証によって処理が行われる。
　図６は、ジェスチャ操作情報２３の一例を示す図である。
　ジェスチャ操作情報２３には、指紋データごとにジェスチャと処理との組み合わせが規定されている。ジェスチャ操作情報２３には、指紋データとともに処理に関連付けられる１以上のオプション情報が含まれてもよい。例えば、ジェスチャ操作情報２３には、指紋データごとに、ジェスチャとオプション情報と処理との組み合わせが規定される。
　オプション情報は、例えば、電子機器１の位置情報、ユーザによる電子機器１の保持状態に関する情報、時刻情報、電子機器１の移動状況に関する情報、電子機器１の向きに関する情報、電子機器１の周囲の明るさの情報、電子機器１のネットワーク接続状態に関する情報、電子機器１のバッテリ残量の情報、および、ロック状態において電子機器１が実行中のアプリケーションの情報、の少なくとも１つを含む。
　制御部１０は、例えば、セキュリティロックが有効なロック状態において指紋およびジェスチャを検出する。制御部１０は、指紋を指紋データと照合し、仮認証が行われた場合に、指紋およびジェスチャに関連付けられた処理を実行する。制御部１０は、指紋の照合時に第１閾値以上の一致率が検出された場合には、本認証をしてセキュリティロックを解除することができる。ただし、指紋の歪み等によって誤った認証が行われる場合もある。そのため、ジェスチャ情報には、例えば、指紋の照合時に第１閾値以上の一致率が検出された場合に、処理終了後にセキュリティロックを解除するか否かの情報が含まれる。
　認証精度は、ジェスチャごとに異なる。例えば、スワイプ操作では、指は、指紋センサ３１上を横滑りしながら指紋センサ３１から離れる。そのため、指紋の歪み等が生じやすく、認証精度は低いと予想される。タップ操作では、指は指紋センサ３１に押し付けられて停止する。そのため、指紋の歪み等は生じにくく、認証精度は高いと予想される。ジェスチャ操作情報２３では、ジェスチャごとの認証精度を考慮して、処理後のセキュリティロックの解除の要否が設定される。
　例えば、図６の例では、右手親指の指紋データの適合する指によるダブルタップ操作が検出された場合には、制御部１０は、天気予報のアプリケーションを起動する。処理完了後は、セキュリティロックは解除されず、ロック状態が維持される。
　ユーザが電子機器１を手に持った状態で、右手人差し指の指紋データに適合する指によるダブルタップ操作が検出された場合には、制御部１０は、予定通知を行う。予定通知は、ユーザの予定を表示部３６に表示された文字またはスピーカ３９から出力される音声を用いてユーザに通知する処理である。指紋の照合時に第１閾値以上の一致率が検出された場合には、処理完了後にセキュリティロックが解除される。
　ユーザが移動しながら音楽アプリケーションを実行している状態で右手親指の指紋データに適合する指による左スワイプ操作が検出された場合には、制御部１０は、現在流れている曲の次の曲の音楽を流す。処理完了後は、ロック状態が維持される。
　１９：００～２５：００の時間帯にユーザが自宅以外の場所で電子機器１を手に持った状態で、左手人差し指の指紋データに適合する指による右スワイプ操作が検出された場合には、制御部１０は、アラーム設定の設定画面を起動する。処理完了後は、ロック状態が維持される。
　ユーザが自宅以外の場所で電子機器１を収納しながら静止した状態で左手人差し指の指紋データに適合する指による右スワイプ操作が検出された場合には、制御部１０は、通訳を行う。処理完了後は、ロック状態が維持される。
　ユーザが電子機器１を手に持って横向きにした状態で右手人差し指の指紋データに適合する指による下スワイプが検出された場合には、制御部１０は、カメラ３７を起動する。処理完了後は、ロック状態が維持される。
　カメラが起動された後、ユーザが電子機器１を手に持って横向きにした状態で右手人差し指の指紋データに適合する指によるシングルタップ操作が検出された場合には、制御部１０は、カメラ３７による撮影を行う。処理完了後は、ロック状態が維持される。
　ユーザがＷｉｆｉ環境で静止し且つ電子機器１のバッテリ残量が２０％以上の状態で右手親指の指紋データに適合する指による右スワイプ操作が検出された場合には、制御部１０は、動画共有サービスのアプリケーションを起動する。処理完了後は、ロック状態が維持される。
　周囲が暗く且つ電子機器１のバッテリ残量が５％以上である状態で左手中指の指紋データに適合する指による左スワイプ操作が検出された場合には、制御部１０は、表示部３６の全面を白表示してライトとして機能させる。処理完了後は、ロック状態が維持される。
　図７は、ジェスチャ情報２４の一例を示す図である。図８は、処理情報２５の一例を示す図である。
　ジェスチャ情報２４には、例えば、指紋センサ３１に割り当てることが可能な複数のジェスチャと、ジェスチャごとの認証レベルと、が規定されている。認証レベルは、ジェスチャ操作時に、登録されたユーザの指が正しく本認証されるか否かの期待値を示すラベルである。図７の例では、指紋センサ３１に割り当てることが可能なジェスチャとして、Ｎ個のジェスチャＧ１～ＧＮが規定されている。認証レベルとして、高レベルＨと低レベルＬとが規定されている。
　高レベルＨは、検出される指紋に歪みが生じたり、指紋の一部が検出されなかったりする可能性が低いことを示す。高レベルＨのジェスチャでは、指紋の照合時に、本認証で必要となる高い一致率を要求しても、認証の失敗が生じにくい。低レベルＬは、検出される指紋に歪みが生じたり、指紋の一部が検出されなかったりする可能性があることを示す。低レベルＬのジェスチャでは、指紋の照合時に、本認証で必要となる高い一致率を要求すると、認証の失敗が生じやすい。
　処理情報２５には、例えば、指紋センサ３１に割り当てることが可能な複数の処理と、処理ごとの機密レベルと、が規定されている。機密レベルは、処理で扱われる情報の機密性を示すラベルである。図８の例では、指紋センサ３１に割り当てることが可能な処理として、Ｍ個の処理Ｐ１～ＰＭが規定されている。機密レベルとして、高レベルＨと低レベルＬとが規定されている。
　認証レベルの情報および機密レベルの情報は、ジェスチャと処理との組み合わせの適切性を判定するために参照される参照情報ＲＩである。記憶部２０は、指紋センサ３１に割り当てることが可能な複数のジェスチャと、指紋センサ３１に割り当てることが可能な複数の処理と、ジェスチャと処理との組み合わせの適切性を判定するために参照される参照情報と、を記憶する。制御部１０は、例えば、入力されたジェスチャの認証レベルと処理の機密レベルとを参照しながら、ジェスチャと処理との組み合わせが適切か否かを判定する。
　制御部１０は、例えば、ジェスチャ操作を設定するための設定画面を表示部３６に表示させる。ユーザは、設定画面を通じて、指紋センサ３１に割り当てられるジェスチャ操作を設定する。制御部１０は、ジェスチャ操作情報２３の設定画面を通じて、適切でないジェスチャと処理との組み合わせが入力されたときに、ユーザに通知を行う。
　図９および図１０は、ジェスチャ操作情報２３の設定画面ＳＵの一例を示す図である。
　設定画面ＳＵには、例えば、処理入力欄ＩＦ１と、指入力欄ＩＦ２と、ジェスチャ入力欄ＩＦ３と、オプション入力欄ＩＦ４と、が表示される。各入力欄は、例えば、ドラムロール式のプルダウンメニューとなっている。図９は、例えば、メニューに表示された複数のジェスチャの中から「右スワイプ」を選択する様子を示している。
　スワイプ操作では、指は、指紋センサ３１上を横滑りしながら指紋センサ３１から離れる。このような操作は、指紋の歪み等が生じやすく、認証精度は低いと予想される。そのため、ジェスチャ情報２４には、右スワイプの認証レベルとして、低レベルＬが規定される。一方、処理入力欄ＩＦ１に入力された処理は、「予定通知」である。予定通知で通知される予定はユーザの個人情報であるため、機密性が高い。よって、処理情報２５には、予定通知の機密レベルとして、高レベルＨが規定される。
　制御部１０は、低レベルＬのジェスチャに高レベルＨの処理が割り当てられると、ジェスチャと処理との組み合わせが不適切であると判定し、ユーザに通知を行う。図１０の例では、ジェスチャ入力欄ＩＦ３の右横に注意マークＣＭが表示されている。制御部１０は、注意マークＣＭによってユーザに通知を行い、適切なジェスチャを入力するようにユーザの意思決定を促す。
［３．情報処理方法の説明］
　図１１は、電子機器１によって実行される情報処理方法の一例を示すフローチャートである。
　ステップＳ１において、制御部１０はセキュリティロックを有効化する。セキュリティロックが有効なロック状態では、指紋センサ３１で認証されたユーザ以外のユーザの操作は受け付けられない。
　次に、ステップＳ２において、制御部１０は、指紋センサ３１からの信号に基づいて指紋およびジェスチャを検出する。
　次に、ステップＳ３において、制御部１０は、加速度センサ３２、近接センサ３３、照度センサ３４、ＧＰＳ受信部３５および通信部３８からの信号に基づいて１以上のオプション情報を検出する。
　次に、ステップＳ４において、制御部１０は、指紋、ジェスチャおよびオプション情報を指紋情報２２およびジェスチャ操作情報２３と照合する。ここでは、まず、制御部１０は、指紋に含まれる特徴と、指紋情報２２に登録された各指紋データに含まれる特徴と、の一致率を算出する。制御部１０は、一致率を、セキュリティロックを解除するために必要な第１閾値よりも小さい第２閾値と比較して、指紋と各指紋データとの照合を行う。
　次に、ステップＳ５において、制御部１０は、一致率が第２閾値以上であるか否かを判定する。一致率が第２閾値以上である場合には（ステップＳ５：Ｙｅｓ）、ステップＳ６に進む。ステップＳ６において、制御部１０は、指紋に適合する指紋データとジェスチャとに関連付けられた処理を実行する。一致率が第２閾値未満である場合には（ステップＳ５：Ｎｏ）、ステップＳ２に戻る。
　次に、ステップＳ７において、制御部１０は、一致率が第１閾値以上であるか否かを判定する。一致率が第１閾値以上である場合には（ステップＳ７：Ｙｅｓ）、ステップＳ８に進む。ステップＳ８において、制御部１０は、ジェスチャ操作情報２３に基づいて、処理完了後にセキュリティロックを解除するか否かを判定する。ジェスチャ操作情報２３に基づいてセキュリティロックを解除すると判定された場合には（ステップＳ８：Ｙｅｓ）、ステップＳ９に進む。ステップＳ９において、制御部１０は、セキュリティロックを解除する。
　ステップＳ７において一致率が第１閾値未満である場合（ステップＳ７：Ｎｏ）、および、ステップＳ８においてセキュリティロックを解除しないと判定された場合には（ステップＳ８：Ｎｏ）、ステップＳ１０に進む。ステップＳ１０において、制御部１０は、処理完了後もセキュリティロックを解除せずに、ロック状態を維持する。
［４．変形例］
　上記の実施形態では、電子機器１がスマートフォンである例を説明した。しかし、電子機器１はスマートフォンに限られない。本開示は、スマートフォン、タブレット端末、ノート型パソコンおよび携帯電話などの携帯電子機器、ならびに、デジタルカメラなどの家電製品を含む電子機器一般に広く適用可能である。
［５．効果］
　電子機器１は、指紋センサ３１と制御部１０とを有する。制御部１０は、指紋センサ３１をタッチ操作する指の指紋およびジェスチャを検出する。制御部１０は、タッチ操作時に検出された指紋に基づいて指紋認証を行いつつ、タッチ操作時に検出された指紋およびジェスチャに関連付けられた処理を実行する。本実施形態の情報処理方法は、上述した電子機器１の情報処理がコンピュータにより実行される。本実施形態のプログラム２１は、上述した電子機器１の情報処理をコンピュータに実現させる。
　この構成によれば、指紋認証とジェスチャの検出とが一体のプロセスとして行われる。登録されたユーザのみが操作を行うことができるため、セキュリティの高い電子機器１が提供される。
　電子機器１は、記憶部２０を有する。記憶部２０は、指紋情報２２とジェスチャ操作情報２３とを記憶する。指紋情報２２は、１以上の指紋データを含む。ジェスチャ操作情報２３には、指紋データごとにジェスチャと処理との組み合わせが規定されている。制御部１０は、指紋およびジェスチャを指紋情報２２およびジェスチャ操作情報２３と照合し、指紋およびジェスチャに関連付けられた処理を実行する。
　この構成によれば、指ごとに異なるジェスチャ操作を割り当てることができる。そのため、様々な処理を実現することができる。
　制御部１０は、例えば、セキュリティロックが有効なロック状態において指紋およびジェスチャを検出する。制御部１０は、例えば、セキュリティロックを解除せずに、指紋およびジェスチャに関連付けられた処理を実行する。
　この構成によれば、指紋認証によって処理が行われている最中であっても他者は操作を行うことができない。そのため、セキュリティの高い電子機器１が提供される。
　制御部１０は、例えば、指紋に含まれる特徴と各指紋データに含まれる特徴との一致率を算出する。制御部１０は、一致率を、セキュリティロックを解除するために必要な第１閾値よりも小さい第２閾値と比較して、指紋と各指紋データとの照合を行い、指紋に適合する指紋データとジェスチャとに関連付けられた処理を実行する。
　指紋センサ３１上でジェスチャを行う場合、指の動きによって、検出される指紋に歪みが生じたり、指紋の一部が検出されなかったりする可能性がある。そのため、認証時に高い一致率を要求すると、認証が失敗しやすくなり、操作が停滞する可能性がある。本実施形態では、低い一致率でも認証が行われるため、認証は失敗しにくい。よって、優れた操作感が得られる。
　制御部１０は、例えば、一致率が第１閾値より小さい場合には、処理が完了した後、ロック状態を維持する。
　この構成によれば、低い一致率で認証が行われた場合でもセキュリティは維持される。
　制御部１０は、例えば、一致率が第１閾値以上である場合には、処理が完了した後、セキュリティロックを解除する。
　この構成によれば、処理完了後にあらためて指紋認証を行う手間が省かれる。
　ジェスチャ操作情報２３は、例えば、指紋データごとに、ジェスチャとオプション情報と処理との組み合わせを規定する。
　この構成によれば、指紋とジェスチャとの組み合わせだけでなく、オプション情報との組み合わせによっても処理の内容を異ならせることができる。そのため、指紋センサ３１に割り当てることが可能な処理が増える。
　オプション情報は、例えば、電子機器１の位置情報、ユーザによる電子機器１の保持状態に関する情報、時刻情報、電子機器１の移動状況に関する情報、電子機器１の向きに関する情報、電子機器１の周囲の明るさの情報、電子機器１のネットワーク接続状態に関する情報、電子機器１のバッテリ残量の情報、および、ロック状態において電子機器１が実行中のアプリケーションの情報、の少なくとも１つを含む。
　この構成によれば、多様な処理を指紋センサ３１に割り当てることができる。
　記憶部２０は、例えば、指紋センサ３１に割り当てることが可能な複数のジェスチャと、指紋センサ３１に割り当てることが可能な複数の処理と、ジェスチャと処理との組み合わせの適切性を判定するために参照される参照情報ＲＩと、を記憶する。制御部１０は、例えば、ジェスチャ操作情報２３の設定画面ＡＵを通じて、適切でないジェスチャと処理との組み合わせが入力されたときに、ユーザに通知を行う。
　この構成によれば、ユーザが指紋センサにジェスチャ操作を割り当てる際に、適切なジェスチャと処理との組み合わせが促される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　指紋センサと、
　前記指紋センサをタッチ操作する指の指紋およびジェスチャを検出し、タッチ操作時に検出された前記指紋に基づいて指紋認証を行いつつ、前記タッチ操作時に検出された前記指紋および前記ジェスチャに関連付けられた処理を実行する制御部と、
　を有する電子機器。
（２）
　１以上の指紋データを含む指紋情報と、前記指紋データごとにジェスチャと処理との組み合わせが規定されたジェスチャ操作情報と、を記憶する記憶部を有し、
　前記制御部は、前記指紋および前記ジェスチャを前記指紋情報および前記ジェスチャ操作情報と照合し、前記指紋および前記ジェスチャに関連付けられた処理を実行する、
　前記（１）に記載の電子機器。
（３）
　前記制御部は、セキュリティロックが有効なロック状態において前記指紋および前記ジェスチャを検出し、前記セキュリティロックを解除せずに、前記指紋および前記ジェスチャに関連付けられた処理を実行する
　前記（２）に記載の電子機器。
（４）
　前記制御部は、前記指紋に含まれる特徴と各指紋データに含まれる特徴との一致率を算出し、前記一致率を、セキュリティロックを解除するために必要な第１閾値よりも小さい第２閾値と比較して、前記指紋と各指紋データとの照合を行い、前記指紋に適合する指紋データと前記ジェスチャとに関連付けられた処理を実行する
　前記（３）に記載の電子機器。
（５）
　前記制御部は、前記一致率が前記第１閾値より小さい場合には、前記処理が完了した後、前記ロック状態に維持する
　前記（４）に記載の電子機器。
（６）
　前記制御部は、前記一致率が前記第１閾値以上である場合には、前記処理が完了した後、前記セキュリティロックを解除する
　前記（５）に記載の電子機器。
（７）
　前記ジェスチャ操作情報は、前記指紋データごとに、前記ジェスチャとオプション情報と前記処理との組み合わせを規定する
　前記（２）ないし（６）のいずれか１つに記載の電子機器。
（８）
　前記オプション情報は、前記電子機器の位置情報、ユーザによる前記電子機器の保持状態に関する情報、時刻情報、前記電子機器の移動状況に関する情報、前記電子機器の向きに関する情報、前記電子機器の周囲の明るさの情報、前記電子機器のネットワーク接続状態に関する情報、前記電子機器のバッテリ残量の情報、および、前記ロック状態において前記電子機器が実行中のアプリケーションの情報、の少なくとも１つを含む
　前記（７）に記載の電子機器。
（９）
　前記記憶部は、前記指紋センサに割り当てることが可能な複数のジェスチャと、前記指紋センサに割り当てることが可能な複数の処理と、ジェスチャと処理との組み合わせの適切性を判定するために参照される参照情報と、を記憶し、
　前記制御部は、前記ジェスチャ操作情報の設定画面を通じて、適切でないジェスチャと処理との組み合わせが入力されたときに、ユーザに通知を行う
　前記（２）ないし（８）のいずれか１つに記載の電子機器。
（１０）
　指紋センサをタッチ操作する指の指紋およびジェスチャを検出し、
　タッチ操作時に検出された前記指紋に基づいて指紋認証を行いつつ、前記タッチ操作時に検出された前記指紋および前記ジェスチャに関連付けられた処理を実行する、
　ことを有する、コンピュータにより実行される情報処理方法。
（１１）
　指紋センサをタッチ操作する指の指紋およびジェスチャを検出し、
　タッチ操作時に検出された前記指紋に基づいて指紋認証を行いつつ、前記タッチ操作時に検出された前記指紋および前記ジェスチャに関連付けられた処理を実行する、
　ことをコンピュータに実現させるプログラム。
１　電子機器
１０　制御部
２０　記憶部
２２　指紋情報
２３　ジェスチャ操作情報
３１　指紋センサ
ＲＩ　参照情報
ＳＵ　設定画面

Claims (11)

  1. 　指紋センサと、
    　前記指紋センサをタッチ操作する指の指紋およびジェスチャを検出し、タッチ操作時に検出された前記指紋に基づいて指紋認証を行いつつ、前記タッチ操作時に検出された前記指紋および前記ジェスチャに関連付けられた処理を実行する制御部と、
    　を有する電子機器。
  2. 　１以上の指紋データを含む指紋情報と、前記指紋データごとにジェスチャと処理との組み合わせが規定されたジェスチャ操作情報と、を記憶する記憶部を有し、
    　前記制御部は、前記指紋および前記ジェスチャを前記指紋情報および前記ジェスチャ操作情報と照合し、前記指紋および前記ジェスチャに関連付けられた処理を実行する、
    　請求項１に記載の電子機器。
  3. 　前記制御部は、セキュリティロックが有効なロック状態において前記指紋および前記ジェスチャを検出し、前記セキュリティロックを解除せずに、前記指紋および前記ジェスチャに関連付けられた処理を実行する
    　請求項２に記載の電子機器。
  4. 　前記制御部は、前記指紋に含まれる特徴と各指紋データに含まれる特徴との一致率を算出し、前記一致率を、セキュリティロックを解除するために必要な第１閾値よりも小さい第２閾値と比較して、前記指紋と各指紋データとの照合を行い、前記指紋に適合する指紋データと前記ジェスチャとに関連付けられた処理を実行する
    　請求項３に記載の電子機器。
  5. 　前記制御部は、前記一致率が前記第１閾値より小さい場合には、前記処理が完了した後、前記ロック状態を維持する
    　請求項４に記載の電子機器。
  6. 　前記制御部は、前記一致率が前記第１閾値以上である場合には、前記処理が完了した後、前記セキュリティロックを解除する
    　請求項５に記載の電子機器。
  7. 　前記ジェスチャ操作情報は、前記指紋データごとに、前記ジェスチャとオプション情報と前記処理との組み合わせを規定する
    　請求項２に記載の電子機器。
  8. 　前記オプション情報は、前記電子機器の位置情報、ユーザによる前記電子機器の保持状態に関する情報、時刻情報、前記電子機器の移動状況に関する情報、前記電子機器の向きに関する情報、前記電子機器の周囲の明るさの情報、前記電子機器のネットワーク接続状態に関する情報、前記電子機器のバッテリ残量の情報、および、前記ロック状態において前記電子機器が実行中のアプリケーションの情報、の少なくとも１つを含む
    　請求項７に記載の電子機器。
  9. 　前記記憶部は、前記指紋センサに割り当てることが可能な複数のジェスチャと、前記指紋センサに割り当てることが可能な複数の処理と、ジェスチャと処理との組み合わせの適切性を判定するために参照される参照情報と、を記憶し、
    　前記制御部は、前記ジェスチャ操作情報の設定画面を通じて、適切でないジェスチャと処理との組み合わせが入力されたときに、ユーザに通知を行う
    　請求項２に記載の電子機器。
  10. 　指紋センサをタッチ操作する指の指紋およびジェスチャを検出し、
    　タッチ操作時に検出された前記指紋に基づいて指紋認証を行いつつ、前記タッチ操作時に検出された前記指紋および前記ジェスチャに関連付けられた処理を実行する、
    　ことを有する、コンピュータにより実行される情報処理方法。
  11. 　指紋センサをタッチ操作する指の指紋およびジェスチャを検出し、
    　タッチ操作時に検出された前記指紋に基づいて指紋認証を行いつつ、前記タッチ操作時に検出された前記指紋および前記ジェスチャに関連付けられた処理を実行する、
    　ことをコンピュータに実現させるプログラム。
PCT/JP2020/003962 2020-02-03 2020-02-03 電子機器、情報処理方法およびプログラム WO2021156919A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/003962 WO2021156919A1 (ja) 2020-02-03 2020-02-03 電子機器、情報処理方法およびプログラム
US17/759,504 US20230073831A1 (en) 2020-02-03 2020-02-03 Electronic device, information processing method, and program
EP20917407.7A EP4102348A4 (en) 2020-02-03 2020-02-03 ELECTRONIC DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN202080094699.6A CN115004144A (zh) 2020-02-03 2020-02-03 电子设备、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003962 WO2021156919A1 (ja) 2020-02-03 2020-02-03 電子機器、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021156919A1 true WO2021156919A1 (ja) 2021-08-12

Family

ID=77199881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003962 WO2021156919A1 (ja) 2020-02-03 2020-02-03 電子機器、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20230073831A1 (ja)
EP (1) EP4102348A4 (ja)
CN (1) CN115004144A (ja)
WO (1) WO2021156919A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318890A (ja) 2003-04-18 2004-11-11 Agilent Technol Inc 指認識及びフィンガ・ナビゲーションを組み合わせるための画像入力システム及び装置
US20130082974A1 (en) * 2011-09-30 2013-04-04 Apple Inc. Quick Access User Interface
JP2013232047A (ja) * 2012-04-27 2013-11-14 Konica Minolta Inc 画像処理装置、その制御方法、および、その制御プログラム
JP2015520456A (ja) * 2012-05-18 2015-07-16 アップル インコーポレイテッド 指紋センサ入力に基づくユーザインタフェースを操作するための機器、方法、及びグラフィカルユーザインタ−フェース
US20160098087A1 (en) * 2014-10-07 2016-04-07 Schneider Electric Buildings, Llc Systems and methods for gesture recognition
JP2017151551A (ja) * 2016-02-22 2017-08-31 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、情報処理方法、及びコンピュータが実行可能なプログラム
JP2018518751A (ja) * 2015-10-13 2018-07-12 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 指紋認識を用いる操作方法、装置、およびモバイル端末
JP2019040622A (ja) 2013-01-02 2019-03-14 カノニカル・リミテッドＣａｎｏｎｉｃａｌ Ｌｉｍｉｔｅｄ コンピュータデバイスのためのユーザインターフェイス
JP2019121396A (ja) 2017-12-29 2019-07-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ユーザー入力とモバイルデバイス動作とを動的に関連付けるデバイス及び方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318890A (ja) 2003-04-18 2004-11-11 Agilent Technol Inc 指認識及びフィンガ・ナビゲーションを組み合わせるための画像入力システム及び装置
US20130082974A1 (en) * 2011-09-30 2013-04-04 Apple Inc. Quick Access User Interface
JP2013232047A (ja) * 2012-04-27 2013-11-14 Konica Minolta Inc 画像処理装置、その制御方法、および、その制御プログラム
JP2015520456A (ja) * 2012-05-18 2015-07-16 アップル インコーポレイテッド 指紋センサ入力に基づくユーザインタフェースを操作するための機器、方法、及びグラフィカルユーザインタ−フェース
JP2019040622A (ja) 2013-01-02 2019-03-14 カノニカル・リミテッドＣａｎｏｎｉｃａｌ Ｌｉｍｉｔｅｄ コンピュータデバイスのためのユーザインターフェイス
US20160098087A1 (en) * 2014-10-07 2016-04-07 Schneider Electric Buildings, Llc Systems and methods for gesture recognition
JP2018518751A (ja) * 2015-10-13 2018-07-12 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 指紋認識を用いる操作方法、装置、およびモバイル端末
JP2017151551A (ja) * 2016-02-22 2017-08-31 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、情報処理方法、及びコンピュータが実行可能なプログラム
JP2019121396A (ja) 2017-12-29 2019-07-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ユーザー入力とモバイルデバイス動作とを動的に関連付けるデバイス及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4102348A4

Also Published As

Publication number Publication date
CN115004144A (zh) 2022-09-02
US20230073831A1 (en) 2023-03-09
EP4102348A4 (en) 2023-04-05
EP4102348A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
US10942580B2 (en) Input circuitry, terminal, and touch response method and device
EP3331226B1 (en) Method and device for reading messages
KR102041984B1 (ko) 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
EP3410346B1 (en) Oled panel
CN108388786A (zh) 指纹解锁方法及装置
KR20200003134A (ko) 알림 처리 방법 및 전자 기기
US10552660B2 (en) Method, apparatus and computer-readable medium for fingerprint identification
US10628649B2 (en) Fingerprint recognition proccess
US20160202779A1 (en) Apparatus for implementing touch control and fingerprint identification and terminal device comprising such apparatus
JP6230762B2 (ja) 指紋識別方法、装置、プログラム、記録媒体および移動端末
US10402619B2 (en) Method and apparatus for detecting pressure
KR20120009851A (ko) 이동 단말기에서 보호 모드 실행방법 및 그 방법을 이용한 이동 단말기
CN104571709B (zh) 移动终端及虚拟按键的处理方法
KR20150046852A (ko) 전자 장치 및 전자 장치의 암호를 이용한 인증 방법
CN107219948B (zh) 一种屏幕呼吸亮屏的控制装置及其方法
CN110096865B (zh) 下发验证方式的方法、装置、设备及存储介质
JP2018148286A (ja) 電子機器及び制御方法
WO2019159500A1 (ja) 情報処理装置、情報処理方法、プログラム及びウェアラブル機器
CN106778169B (zh) 指纹解锁方法及装置
US11146672B2 (en) Method, device and storage medium for outputting communication message
CN109165489B (zh) 一种终端、指纹验证方法及计算机可读存储介质
CN109164951B (zh) 移动终端操作方法及移动终端
WO2021156919A1 (ja) 電子機器、情報処理方法およびプログラム
CN110892372B (zh) 一种控制屏幕的方法和终端
KR101862216B1 (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20917407

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020917407

Country of ref document: EP

Effective date: 20220905

NENP Non-entry into the national phase

Ref country code: JP