WO2019159500A1 - 情報処理装置、情報処理方法、プログラム及びウェアラブル機器 - Google Patents

情報処理装置、情報処理方法、プログラム及びウェアラブル機器 Download PDF

Info

Publication number
WO2019159500A1
WO2019159500A1 PCT/JP2018/044586 JP2018044586W WO2019159500A1 WO 2019159500 A1 WO2019159500 A1 WO 2019159500A1 JP 2018044586 W JP2018044586 W JP 2018044586W WO 2019159500 A1 WO2019159500 A1 WO 2019159500A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
authentication
information processing
processing apparatus
Prior art date
Application number
PCT/JP2018/044586
Other languages
English (en)
French (fr)
Inventor
啓宏 王
倉田 雅友
茂井 博之
荘太 松澤
直子 小林
佐藤 真
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18906300.1A priority Critical patent/EP3754477A4/en
Priority to JP2020500289A priority patent/JPWO2019159500A1/ja
Priority to US16/968,404 priority patent/US11393257B2/en
Priority to CN201880084594.5A priority patent/CN111886570A/zh
Publication of WO2019159500A1 publication Critical patent/WO2019159500A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231Biological data, e.g. fingerprint, voice or retina
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/66Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667Preventing unauthorised calls from a telephone set
    • H04M1/67Preventing unauthorised calls from a telephone set by electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities

Definitions

  • the present disclosure relates to an information processing device, an information processing method, a program, and a wearable device.
  • Patent Literature 1 describes a wristband type authentication device.
  • This disclosure is intended to provide an information processing apparatus, an information processing method, a program, and a wearable device that are displayed for effective authentication.
  • a sensor unit for recognizing an operating body in contact with the display unit An information processing apparatus having a control unit that displays on a display unit a guidance display that guides operation of an operating tool.
  • the present disclosure for example, The sensor unit recognizes the operating body that touches the display unit, This is an information processing method in which the control unit displays a guidance display for guiding the operation of the operating tool on the display unit.
  • the present disclosure for example, The sensor unit recognizes the operating body that touches the display unit, A control unit causes a computer to execute an information processing method for displaying a guidance display for guiding an operation of an operating tool on a display unit.
  • a display unit for example, A display unit; A sensor unit for recognizing an operating body in contact with the display unit; It is a wearable device having a control unit that displays on the display unit a guidance display that guides the operation of the operating body.
  • a display for performing effective authentication can be performed.
  • the effects described here are not necessarily limited, and may be any effects described in the present disclosure. Further, the contents of the present disclosure are not construed as being limited by the exemplified effects.
  • FIG. 1 is a diagram illustrating an appearance example of a general smartphone.
  • FIG. 2 is a diagram illustrating an appearance example of the wristband type electronic apparatus according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of an internal structure of the wristband type electronic device according to the embodiment.
  • FIG. 4 is a diagram illustrating a circuit configuration example of the wristband type electronic device according to the embodiment.
  • FIG. 5A is a diagram showing an example of display displayed during one-touch authentication
  • FIG. 5B is a diagram showing an example of display displayed during slide authentication
  • FIG. 5C is displayed during multiple slide authentication. It is a figure which shows the example of the display performed.
  • FIG. 6 is a flowchart showing a flow of authentication processing according to the first embodiment.
  • FIG. 6 is a flowchart showing a flow of authentication processing according to the first embodiment.
  • FIG. 7 is a flowchart showing a flow of authentication processing according to the second embodiment.
  • FIG. 8 is a diagram for explaining an example of guidance display according to the third embodiment.
  • FIG. 9 is a diagram for explaining an example of guidance display according to the fourth embodiment.
  • FIG. 10 is a flowchart showing a flow of processing for displaying a guidance display according to the fifth embodiment.
  • FIG. 11A and FIG. 11B are diagrams for explaining an example of guidance display according to the fifth embodiment.
  • 12A to 12E are diagrams for explaining examples of guidance display according to the sixth embodiment.
  • FIG. 13A and FIG. 13B are diagrams for explaining processing performed when displaying the guidance display according to the sixth embodiment.
  • FIG. 14 is a diagram for explaining a modification.
  • FIG. 15 is a diagram for explaining a modification.
  • FIG. 1 shows the appearance of a smartphone (smartphone 1) that is an example of a mobile device.
  • the smartphone 1 includes, for example, a housing 2, a display 3, and a fingerprint sensor unit 4.
  • a display 3 is provided on one main surface of the housing 2, and a fingerprint sensor unit 4 is provided below the display 3 in the housing 2.
  • the fingerprint sensor unit 4 since the fingerprint sensor unit 4 is provided in a different area from the display 3, the entire apparatus cannot be designed compactly.
  • the fingerprint sensor unit 4 applied to the smartphone 1 is an electrostatic capacitance type and often has a principle of detecting a change in electrostatic capacitance due to fingerprint irregularities.
  • Such a fingerprint sensor unit 4 is susceptible to environmental humidity and has a problem that it is particularly difficult to detect wet fingers.
  • the first embodiment is an example in which the present disclosure is applied to an example of an information processing apparatus, more specifically, a wristband type electronic device that is an example of a wearable device.
  • FIG. 2 shows an example of the appearance of the wristband type electronic device (wristband type electronic device 10) according to the first embodiment.
  • the wristband type electronic device 10 is used like a watch, for example. More specifically, the wristband type electronic device 10 includes a band portion 11 wound around the user's wrist 5 and a main body portion 12. The main body 12 has a display 13.
  • FIG. 3 is a partial cross-sectional view for explaining an example of the internal structure of the main body 12 of the wristband type electronic device 10.
  • the main body 12 of the wristband type electronic device 10 includes, for example, the display 13, the light guide plate 14, the light emitting unit 15, the touch sensor unit 16 that is an example of a contact detection unit, and imaging that is an example of a sensor unit. It has an element 17 and a lens portion 18.
  • a touch operation with a fingertip F which is an example of an operation body is performed on the display 13, and the presence or absence of contact is detected by the touch sensor unit 16.
  • the main body 12 of the wristband type electronic device 10 has a structure in which a light guide plate 14, a display 13, a lens unit 18, and an image sensor 17 are sequentially stacked when viewed from the operation side.
  • the contact with the display 13 may include not only the direct contact with the display 13 but also the indirect contact with another member (for example, the light guide plate 14).
  • the contact with the display 13 may include, for example, not only the fingertip F touches the display 13 but also the proximity of the fingertip F to the display 13.
  • the display 13 includes a liquid crystal LCD (Liquid Crystal Display), an OLED (Organic Light Emitting Diode), and the like.
  • the light guide plate 14 is, for example, a light transmissive member that guides light from the light emitting unit 15 to an area AR where the fingertip F is in contact.
  • the light guide plate 14 is not limited to a transparent plate, but may be any plate that transmits light to the extent that the image pickup device 17 can capture a fingerprint of the fingertip F.
  • the light emitting unit 15 is configured by an LED (Light Emitting Diode) or the like, and is provided at least at a part of the periphery of the light guide plate 14.
  • the area AR is an area including a position corresponding to the image sensor 17, specifically, a position corresponding to at least a range of photographing by the image sensor 17. For example, the light emitting unit 15 is turned on when a fingerprint is photographed to provide light necessary for photographing.
  • the touch sensor unit 16 is a sensor that detects contact of the fingertip F with the display 13.
  • a capacitive touch sensor is applied.
  • Other types of touch sensors such as a resistive film type may be applied.
  • the touch sensor unit 16 is locally provided at a position near the lower portion of the area AR, but the touch sensor unit 16 may be provided over substantially the entire lower side of the display 13.
  • the image sensor 17 is composed of a CCD (Charge Coupled Device), a CMOS (Complementary Metal Metal Oxide Semiconductor) or the like.
  • the image sensor 17 photoelectrically converts subject light incident via the lens unit 18 to convert it into a charge amount, and generates a fingerprint image of the fingertip F.
  • Various processes in the subsequent stage are performed on the image signal obtained via the image sensor 17.
  • the lens unit 18 is configured by a lens (microlens) provided for each pixel of the image sensor 17.
  • FIG. 4 is a block diagram illustrating a circuit configuration example of the wristband type electronic device 10.
  • the wristband type electronic device 10 includes, for example, the control unit 21, the wireless communication unit 22, the antenna 23 connected to the wireless communication unit 22, NFC (in addition to the display 13, the touch sensor unit 16, the image sensor 17, and the like described above.
  • Near field communication) communication unit 24 antenna 25 connected to NFC communication unit 24, GPS (Global Positioning System) unit 26, antenna 27 connected to position sensor unit 26, memory unit 28, vibrator 29, motion sensor 30,
  • An audio processing unit 31, a microphone 32, and a speaker 33 are provided.
  • the control unit 21 includes, for example, a CPU (Central Processing Unit) and controls each unit of the wristband type electronic device 10. As a specific example, the control unit 21 controls information displayed on the display 13 so as to display a guidance display (to be described later) on the display 13. The control unit 21 performs various image processing on the fingerprint image of the fingertip F photographed by the image sensor 17 and performs fingerprint authentication based on a fingerprint image (fingerprint image) which is one of the biological information.
  • a CPU Central Processing Unit
  • the wireless communication unit 22 performs short-range wireless communication with other terminals based on, for example, Bluetooth (registered trademark) standards.
  • the wireless communication unit 22 performs modulation / demodulation processing, error correction processing, and the like in accordance with, for example, Bluetooth (registered trademark) standards.
  • the NFC communication unit 24 performs wireless communication with a nearby reader / writer based on the NFC standard.
  • electric power is supplied to each part of the wristband type
  • the battery may be wirelessly charged based on the NFC standard.
  • the position sensor unit 26 is a positioning unit that performs positioning of the current position using, for example, a system called GNSS (Global Navigation Satellite System). Data obtained by these wireless communication unit 22, NFC communication unit 24, and position sensor unit 26 is supplied to the control unit 21. And the control part 21 performs control based on the supplied data.
  • GNSS Global Navigation Satellite System
  • the memory unit 28 includes a ROM (Read Only Memory) in which a program executed by the control unit 21 is stored, a RAM (Random Access Memory) used as a work memory when the control unit 21 executes the program, and a data storage unit. It is a general term for nonvolatile memories and the like.
  • the memory unit 28 stores user fingerprint information for fingerprint authentication. This fingerprint information is initially registered when the wristband type electronic device 10 is used for the first time, for example.
  • the vibrator 29 is a member that vibrates the main body 12 of the wristband type electronic device 10, for example.
  • the vibration of the main body 12 by the vibrator 29 notifies the incoming call, the reception of an e-mail, and the like.
  • Motion sensor 30 detects the movement of the user wearing wristband type electronic device 10.
  • an acceleration sensor a gyro sensor, an electronic compass, an atmospheric pressure sensor, or the like is used.
  • the wristband type electronic device 10 may incorporate a sensor other than the motion sensor 30.
  • a biosensor that detects biological information other than fingerprints such as blood pressure, pulse, sweat gland (the position of the sweat gland or the degree of sweating from the sweat gland) of the user wearing the wristband type electronic device 10 and body temperature. It may be built in.
  • a pressure sensor or the like for detecting whether or not the user wears the wristband type electronic device 10 may be provided on the back side (side facing the wrist) of the band unit 11 or the main body unit 12.
  • a microphone 32 and a speaker 33 are connected to the voice processing unit 31, and the voice processing unit 31 processes a call with a partner connected by wireless communication in the wireless communication unit 22.
  • the voice processing unit 31 can also perform processing for voice input operation.
  • FIG. 5A shows a first example of a display displayed when fingerprint authentication is performed.
  • a display AA imitating a fingerprint is displayed on the display 13.
  • Such a display can indicate that the position where the display AA is displayed is a position where the fingertip F is brought into contact, and can prompt the user to perform fingerprint authentication.
  • the imaging element 17 is positioned below at least a part of the position where the display AA is displayed. In FIG. 5, the position of the image sensor 17 is illustrated for easy understanding.
  • the control unit 21 executes control for photographing a fingerprint.
  • a fingerprint image which is information on the fingertip F
  • the control unit 21 After performing appropriate image processing on the obtained fingerprint image, the control unit 21 performs matching processing between the fingerprint image and the user's fingerprint image stored in the memory unit 28 to perform authentication. For example, authentication is performed by comparing the degree of matching of feature points between fingerprint images. Of course, other known methods can be applied as the authentication method. Further, authentication based on any biological information or a combination thereof may be performed.
  • the display illustrated in FIG. 5A is an example in which authentication is performed with a single contact, and is not a display with a guidance display.
  • the location where fingerprint authentication is performed and the display can be integrated, so that the wristband electronic device 10 can be downsized.
  • a display for performing fingerprint authentication above a device for performing fingerprint authentication (the image sensor 17 in the present embodiment)
  • the user can easily recognize where to place the fingertip F, and intuitively A realistic UI can be realized.
  • authentication can be performed regardless of the humidity of the fingertip F, and the accuracy of authentication can be ensured.
  • FIG. 5B shows a second example of a display displayed when fingerprint authentication is performed.
  • a 2nd example is an example of the guidance display which guides operation of fingertip F with the position where fingertip F is touched.
  • the guidance display in the present embodiment is a display showing the moving direction of the fingertip F.
  • a display CC of three arrows pointing downward is displayed as an example of a guidance display.
  • Such display can prompt the user to move the fingertip F downward.
  • Fingerprinting is performed according to the operation of moving the fingertip F downward. As a result, more feature points of the fingerprint can be acquired. By comparing the feature points of the fingerprint image obtained by photographing with the feature points of the fingerprint image stored in the memory unit 28, more accurate fingerprint authentication can be performed.
  • FIG. 5C shows a third example of a display displayed when fingerprint authentication is performed.
  • the display shown on the left side of FIG. 5C is the same display as the display shown in FIG. 5B.
  • the display shown in the center of FIG. 5C includes a display DD of three arrows pointing to the right side as an example of a guidance display together with a display BB simulating a fingerprint.
  • the display shown on the right side of FIG. 5C includes display EE of three arrows pointing to the left side as an example of guidance display together with display BB simulating a fingerprint.
  • the three displays shown in FIG. 5C are continuously displayed, for example.
  • the fingertip F is slid and a fingerprint is taken.
  • the control unit 21 displays the display shown in the center of FIG. 5C on the display 13. In response to the display, the fingertip F is slid to the right and the fingerprint is photographed.
  • the control unit 21 displays the display shown on the right side of FIG. 5C on the display 13. In response to the display, the fingertip F is slid toward the left side and a fingerprint is photographed.
  • Such processing makes it possible to acquire more fingerprint feature points than, for example, fingerprint feature points obtained based on the display shown in FIG. 5B.
  • FIG. 5A authentication performed in response to an operation of bringing the fingertip F into contact with the display 13 once is appropriately referred to as one-touch authentication.
  • FIG. 5B after the fingertip F is once brought into contact with the display 13, the authentication performed in response to the operation of sliding once is appropriately referred to as slide authentication.
  • FIG. 5C authentication performed in response to an operation of sliding the fingertip F on the display 13 a plurality of times is appropriately referred to as “multiple slide authentication”.
  • the authentication process in the first embodiment is an authentication process performed when the wristband type electronic device 10 is worn on the wrist 5 and used. Note that the authentication process described below may be performed after a predetermined time has elapsed after the wristband type electronic device 10 is mounted.
  • the wristband type electronic device 10 Before the authentication succeeds by this authentication process, the wristband type electronic device 10 is in a locked state.
  • the locked state may be a state where use of all the functions of the wristband type electronic device 10 is prohibited, or a state where use of only a function that does not require authentication (for example, display of time) is permitted. If the authentication is successful, the lock state is released, and all the functions of the wristband type electronic device 10 are permitted.
  • a specific processing flow will be described. The following processing is performed according to the control of the control unit 21 unless otherwise specified.
  • step ST101 one-touch authentication is performed. That is, a shape imitating a fingerprint is displayed on the display 13, and when the user touches the display with the fingertip F, fingerprint authentication is performed. Then, the process proceeds to step ST102.
  • step ST102 it is determined whether or not the authentication is successful.
  • the control unit 21 compares the photographed fingerprint image with the fingerprint image stored in the memory unit 28, and determines that the authentication is successful when the feature points are equal to or greater than a threshold value, and otherwise. Determines that the authentication has failed. If the control unit 21 determines that the authentication is successful, the process proceeds to step ST110.
  • step ST110 since the authentication is successful, the control unit 21 releases the lock state of the wristband type electronic device 10. Thereafter, all functions of the wristband type electronic device 10 can be used.
  • step ST102 when the control unit 21 determines that the authentication has failed, the process proceeds to step ST103.
  • step ST103 it is determined whether or not the number of authentication failures is greater than or equal to a threshold value (for example, 3 times). If the number of authentication failures is less than 3, the process returns to step ST101, and one-touch authentication is performed again. If the number of authentication failures is 3 or more, the process proceeds to step ST104.
  • a threshold value for example, 3 times
  • step ST104 slide authentication is performed. That is, a shape imitating a fingerprint including a guidance display is displayed on the display 13, and the user touches the display with the fingertip F and slides the fingertip F once to perform fingerprint authentication.
  • slide authentication is performed in order to more accurately authenticate the person to be authenticated. Then, the process proceeds to step ST105.
  • step ST105 it is determined whether or not the authentication is successful. For example, the control unit 21 compares the photographed fingerprint image with the fingerprint image stored in the memory unit 28, and determines that the authentication is successful when the feature points are equal to or greater than a threshold value, and otherwise. Determines that the authentication has failed. If the control unit 21 determines that the authentication is successful, the process proceeds to step ST110.
  • step ST110 since the authentication is successful, the control unit 21 releases the lock state of the wristband type electronic device 10. Thereafter, all functions of the wristband type electronic device 10 can be used.
  • step ST105 if the control unit 21 determines that the authentication has failed, the process proceeds to step ST106.
  • step ST106 it is determined whether or not the number of authentication failures is greater than or equal to a threshold value (for example, 3 times). If the number of authentication failures is less than 3, the process returns to step ST104, and slide authentication is performed again. If the number of authentication failures is 3 or more, the process proceeds to step ST107.
  • a threshold value for example, 3 times
  • step ST107 multiple slide authentication is performed. That is, a shape imitating a fingerprint including a guidance display is displayed on the display 13, and the user touches the display with the fingertip F and slides the fingertip F a plurality of times to perform fingerprint authentication.
  • slide authentication since slide authentication has failed a plurality of times, multiple slide authentication is performed in order to more accurately authenticate the person to be authenticated. Then, the process proceeds to step ST108.
  • step ST108 it is determined whether or not the authentication is successful. For example, the control unit 21 compares the photographed fingerprint image with the fingerprint image stored in the memory unit 28, and determines that the authentication is successful when the feature points are equal to or greater than a threshold value, and otherwise. Determines that the authentication has failed. If the control unit 21 determines that the authentication is successful, the process proceeds to step ST110.
  • step ST110 since the authentication is successful, the control unit 21 releases the lock state of the wristband type electronic device 10. Thereafter, all functions of the wristband type electronic device 10 can be used.
  • step ST108 when the control unit 21 determines that the authentication has failed, the process proceeds to step ST109.
  • step ST109 since authentication in all of one-touch authentication, slide authentication, and multiple slide authentication has failed, it is determined that the person to be authenticated is not a genuine user of the wristband type electronic device 10. Therefore, the control unit 21 continues the locked state of the wristband type electronic device 10.
  • the authentication process may be a process of performing authentication based on slide authentication without performing one-touch authentication first, and performing multiple slide authentication when authentication based on slide authentication fails a plurality of times.
  • the second embodiment is an example in which different guidance displays are displayed depending on the security level.
  • the items described in the first embodiment for example, the appearance and configuration of the wristband type electronic device 10.
  • the wristband type electronic device 10 according to the second embodiment has a payment function that enables payment by bringing the wristband type electronic device 10 closer to the reader.
  • the authentication process in the second embodiment will be described with reference to the flowchart shown in FIG.
  • the authentication processing in the second embodiment is roughly authentication processing performed when the wristband type electronic device 10 is attached, in steps ST201 to ST204 in the processing shown in FIG.
  • the processing up to ST209 is authentication processing performed in response to a request from an application (also referred to as an application) that executes a payment function.
  • an application also referred to as an application
  • step ST201 the wearing state of the wristband type electronic device 10 is detected.
  • the wearing state of the wristband type electronic device 10 is detected based on the detection result by the pressure sensor provided in the band part 11 of the wristband type electronic device 10. If the wristband type electronic device 10 is worn, the process proceeds to step ST202.
  • step ST202 it is determined whether or not wearing authentication, which is authentication performed when the wristband type electronic device 10 is worn, has been completed.
  • the control unit 21 refers to a flag stored in the memory unit 28 indicating whether or not mounting authentication has been completed, and determines whether or not mounting authentication has been completed. If the mounting authentication has not been completed, the process proceeds to step ST203.
  • step ST203 for example, mounting authentication is performed by authentication based on one-touch authentication. Then, the process proceeds to step ST204.
  • step ST204 it is determined whether or not the mounting authentication is successful. If the mounting authentication fails, the process returns to step ST201, and the mounting authentication corresponding to the mounting state is performed. If the mounting authentication is successful, the control unit 21 updates the flag so as to indicate that the mounting authentication has been completed, for example. Then, the process proceeds to step ST205.
  • step ST205 the user uses the wristband type electronic device 10 to make a settlement with so-called electronic money.
  • step ST205 in order to make such a payment, a fingerprint authentication and a request for the result are made to the wristband type electronic device 10 from the application that performs the payment. Then, the process proceeds to step ST206.
  • the control unit 21 determines the security level.
  • the control unit 21 determines the security level according to the payment amount. For example, when the amount of payment is small (for example, 10,000 yen or less), it is determined that the required security level is “low”. Further, when the settlement amount is a predetermined amount (for example, 10,000 yen to 100,000 yen or less), it is determined that the required security level is “medium”. Further, when the amount of payment is high (for example, an amount larger than 100,000 yen), it is determined that the required security level is “high”.
  • step ST207 since the security level is “low”, the control unit 21 determines that only the mounting authentication has been completed, and that re-authentication is unnecessary.
  • the control unit 201 returns to the application that the mounting authentication has been completed and that re-authentication is unnecessary.
  • illustration is abbreviate
  • step ST208 since the security level is “medium”, slide authentication that enables more accurate authentication is performed. That is, for example, a display including the guidance display shown in FIG. 5B is performed, and slide authentication is performed. The result of slide authentication is returned to the application.
  • the result of the slide authentication is “success”
  • the function displayed on the display 13 is processed. For example, when the result of the slide authentication is “success”, settlement by the application is performed. Further, when the result of the slide authentication is “failure”, payment by the application is not permitted.
  • step ST209 since the security level is “high”, multi-slide authentication capable of performing authentication with higher accuracy is performed. That is, for example, the display including the guidance display shown in FIG. 5C is performed, and the multiple slide authentication is performed. The result of multiple slide authentication is returned to the application. When the result of the multiple slide authentication is “success”, payment by the application is performed, and when the result of the multiple slide authentication is “failure”, the payment by the application is not permitted.
  • Modification of Second Embodiment Multiple slide authentication may be performed when the security level is “medium”. When the security level is “high”, one-touch authentication and multiple slide authentication may be performed. Depending on the security level, what kind of guidance display is displayed and how authentication is performed can be appropriately changed.
  • the security level set on the assumption of face-to-face settlement has been described, but the present invention is not limited to this.
  • the security level is set according to the amount in non-face-to-face payment or the function in Internet banking as well as face-to-face payment, and the guidance display according to the security level is displayed. Is also possible.
  • the security level may be set not only for payment but also for room management, data access authority, and the like.
  • the third embodiment is an example in which the operation of the fingertip F is guided by erasing a predetermined display displayed on the display 13 along the moving direction of the fingertip F. Note that the matters described in the above embodiment can be applied to this embodiment unless otherwise specified.
  • characters including numbers of “ ⁇ 19,800” are displayed on the display 13 as an example of a predetermined display.
  • the image sensor 17 is positioned below the character “ ⁇ ”.
  • the user first touches the fingertip F at the location of “ ⁇ ”, and then slides the fingertip F along the character string. This operation of the fingertip F is called swipe. As shown in FIGS. 8B and 8C, the characters disappear in response to the operation of sliding the fingertip F.
  • the fingertip F passes over the image sensor 17, so that a fingerprint image of the fingertip F can be acquired.
  • slide authentication is performed based on the acquired fingerprint image and fingerprint authentication is established, for example, “Thank you!” Is displayed and settlement is performed as shown in FIG. 8D.
  • fingerprint authentication fails, the characters “ ⁇ 19,800” may be displayed again.
  • the user can confirm the amount of payment and perform an operation that approves the amount of payment as if it were actively signed.
  • the image sensor 17 should just be located in the at least one part lower part on the path
  • all characters were erased while sequentially erasing the character string from left to right.
  • the character “ ⁇ 19,800” may be displayed again later. Further, this display mode may be repeated.
  • the touch sensor unit 16 detects that the fingertip F has touched the place of “ ⁇ ”
  • the display density of the adjacent character (“1” in this example) may be reduced.
  • the direction in which the fingertip F is moved can be perceived by the user by guidance display as if the characters fade out. That is, erasing the display may include not only erasing the display but also changing the density of the display.
  • a rectangular frame 40 is displayed on the display 13.
  • the image sensor 17 is located below the frame part 40.
  • the characters A, B,... Displayed in the rectangular frame in FIGS. 9A and 9B indicate icons corresponding to the application.
  • a predetermined icon is displayed in the frame portion 40 in accordance with an operation of sliding the user's fingertip F.
  • an icon corresponding to the application B is displayed in the frame part 40.
  • the user performs fingerprint authentication by bringing the fingertip F into contact with the frame 40. If the authentication is successful, the application B can be logged in. By such processing, it becomes possible to simultaneously select application B and log in. It is possible to display a guidance display such as an arrow pointing upward or downward in the frame 40 and prompt the user to perform slide authentication or multiple slide authentication according to the display.
  • the fifth embodiment is an example in which different guidance displays are displayed according to the detection result of the motion sensor 30 which is an example of the posture detection unit.
  • FIG. 10 is a flowchart showing the flow of processing in the fifth embodiment.
  • step ST501 fingerprint authentication is requested from a predetermined application. Then, the process proceeds to step ST502.
  • step ST502 the control unit 21 detects the attitude of the wristband type electronic device 10 based on the sensor information supplied from the motion sensor 30. Then, the process proceeds to step ST503.
  • step ST503 the control unit 21 determines from the attitude of the wristband type electronic device 10 whether the hand wearing the wristband type electronic device 10 is lowered. If the control unit 21 determines that the hand wearing the wristband type electronic device 10 has been lowered, the process proceeds to step ST504. In step ST ⁇ b> 504, the control unit 21 performs control for displaying a finger vertical placement authentication GUI (Graphical User Interface) on the display 13. Then, the process proceeds to step ST506.
  • GUI Graphical User Interface
  • step ST503 when the control unit 21 determines that the hand wearing the wristband type electronic device 10 is not lowered, the process proceeds to step ST505.
  • step ST ⁇ b> 505 the control unit 21 performs control to display the finger placement authentication GUI on the display 13. Then, the process proceeds to step ST506.
  • step ST506 fingerprint authentication using the above-described GUI is performed. Then, it is determined whether or not the fingerprint authentication has been completed. When the fingerprint authentication is completed, the process ends after the process corresponding to the authentication result is performed. If fingerprint authentication has not ended, the process returns to step ST503, and the processes after step ST503 are repeated.
  • the request is not limited to a request from an application, but in other cases (for example, after a predetermined time has elapsed since the wristband type electronic device 10 was worn) Authentication).
  • FIG. 11A shows an example of a finger vertical placement authentication GUI
  • FIG. 11B shows an example of a finger horizontal placement authentication GUI.
  • a shape imitating a fingerprint is displayed in a direction substantially orthogonal to the extending direction of the user's wrist 5, and the fingertip F slides in that direction.
  • a guidance display (three arrows in the example shown in the figure) is displayed.
  • a shape imitating a fingerprint is displayed in a direction along the direction in which the user's wrist 5 extends, and the fingertip F slides in that direction. Is displayed (three arrows in the illustrated example).
  • different guidance displays can be displayed according to the detection result of the motion sensor 30.
  • By performing such processing for example, it is possible to display a guidance display with good operability even in a state where the user is holding his arm down with a heel.
  • 6th Embodiment is an example which performs a guidance display by changing the position of the display displayed on the display 13 roughly.
  • the display 13 displays a line-shaped display 60 that is composed of a plurality of rectangular dots and extends in the horizontal direction. Further, the shooting range by the image sensor 17 is indicated by a dotted rectangle. The imaging range overlaps with the position where at least some of the dots constituting the display 60 are displayed.
  • the user brings the fingertip F into contact with a location corresponding to the imaging range of the image sensor 17.
  • the dots that overlap the shooting range by the image sensor 17 may be colored and displayed or blinked.
  • control unit 21 When contact of the fingertip F with the display 13 is detected by the touch sensor unit 16, the control unit 21 performs control to change the display of the line-shaped display 60. Specifically, the control unit 21 changes the display position of the dots constituting the display 60 to change the display contents so that the display 60 moves downward as a whole as shown in FIGS. 12C and 12D. Control. By performing such display processing, it is possible to prompt the user to slide the fingertip F downward. When the user slides the fingertip F downward, slide authentication can be performed. Of course, the control unit 21 may control the display contents so that the display 60 moves as a whole in an upward direction or a horizontal direction.
  • the display 60 When the slide of the fingertip F or more by the touch sensor unit 16 is detected, for example, as shown in FIG. 12E, the display 60 is turned off. As a result, the user can understand that the operation for fingerprint authentication is completed and can move the fingertip F away from the display 13.
  • the guidance display can be performed by changing the position of the display displayed on the display 13.
  • the accuracy of fingerprint detection may be affected.
  • the display 13 is composed of OLEDs and dots are displayed by the light emission of the OLEDs, there is a possibility that the accuracy of fingerprint detection may be affected if light from the OLEDs is mixed during fingerprint shooting. Therefore, all the dots are displayed until the user touches the display 13 with the fingertip F. Then, when the touch sensor unit 16 detects that the fingertip F is in contact with the display 13, as shown in FIG. 13B, dots located within the shooting range may be erased.
  • a filter such as BPF (Band Pass Filter) is inserted in the incident direction of the light incident on the image sensor 17. Then, by displaying dots using light having a wavelength that does not pass through the filter, it is possible to prevent a decrease in the accuracy of fingerprint authentication due to the dot display.
  • BPF Band Pass Filter
  • the internal structure of the wristband type electronic device 10 described above can be changed as appropriate.
  • a structure without the light guide plate 14 and the light emitting unit 15 may be used.
  • a self-luminous display such as an OLED is applied as the display 13.
  • Light for shooting may be provided by irradiating light from the display 13 to a place where the fingertip F is contacted.
  • the touch sensor unit 16 may be provided on the other main surface side (for example, the upper surface side) in the embodiment of the display 13.
  • the shape and the like of the wristband type electronic device 10 can be changed as appropriate.
  • a device in which the band portion 11 and the main body portion 12 are integrally formed may be used.
  • the wearable device is not limited to the wristband type electronic device, and may be a smartphone or a portable audio player.
  • the present disclosure can also be applied to electronic devices such as personal computers and robot devices.
  • the present disclosure can also be applied to authentication performed when an in-vehicle device is used and authentication performed in a bank ATM (Automatic Teller Machine).
  • bank ATM Automatic Teller Machine
  • the wristband type electronic device 10 described above may have a message notification function to the other party using fingerprint authentication. For example, a plurality of messages are displayed on the display 13. When the user slides a predetermined message among the plurality of messages, the authentication described in the embodiment is performed, and when the authentication is established, the message is notified to the other party via the wireless communication unit 22.
  • the message for example, a message for a family such as “I will return now” can be exemplified. It may be a message to a boss, a friend, etc., and the content of the message can be set as appropriate.
  • the message destination may be specified in accordance with the type of the authenticated finger (thumb, forefinger, little finger). For example, a user sets a correspondence between a finger type and a destination, such as a father on the thumb, a mother on the index finger, and a sister on the little finger.
  • a finger type such as a father on the thumb, a mother on the index finger, and a sister on the little finger.
  • the user slides the index finger in the message. If the authentication is successful, the mother is notified of the message “I will return now”.
  • guidance display can be performed. For example, a plurality of messages may be displayed on the display, or a message to return home may be automatically displayed at a certain time (for example, evening).
  • a plurality of destinations may be displayed on the left side of the display, and authentication may be performed when a predetermined destination is touched with a finger.
  • a plurality of messages may be displayed as a guidance display on the right side of the display, and the finger touching the display for designating the destination may be guided to slide to the desired message as it is. .
  • a human fingertip is exemplified as an example of the operation body, but the present invention is not limited to this.
  • the operating body may be a pen-like device. And you may make it authenticate by recognizing the specific shape formed in the pen tip.
  • the movement direction of the fingertip F has been described as an example of the operation of the operating body (fingertip F) to be guided, but is not limited to this.
  • the number of contacts of the fingertip F and the type of finger may be used, or a combination of these may be used.
  • the guidance display which shows the frequency
  • the operation body may be guided by voice or the like.
  • the user's viewpoint pays attention to the contact location when touching the fingertip F
  • a configuration in which the user can recognize the guidance of the operating body with the same perception (vision) is preferable.
  • the image sensor 17 may be provided at a plurality of locations, and a plurality of positions where fingerprint authentication can be performed on the display 13 may be provided.
  • the present disclosure can also be realized by an apparatus, a method, a program, a system, and the like.
  • a program that performs the function described in the above-described embodiment can be downloaded, and a device that does not have the function described in the embodiment downloads and installs the program, so that the control described in the embodiment in the device is performed. Can be done.
  • the present disclosure can also be realized by a server that distributes such a program.
  • the items described in each embodiment and modification can be combined as appropriate.
  • This indication can also take the following composition.
  • An information processing apparatus comprising: a control unit configured to display a guidance display for guiding the operation of the operation body on the display unit.
  • the control unit performs authentication based on biological information of the operation body obtained by the sensor unit.
  • the biological information is at least authentication based on fingerprints, sweat glands, pulse, blood pressure, body temperature, or a combination thereof.
  • the control unit performs processing of a function displayed on the display unit based on authentication based on the biological information.
  • the information processing apparatus is a display indicating at least one of a moving direction of the operating body, a contact count of the operating body, and a type of the operating body. .
  • the control unit displays a different guidance display on the display unit according to a security level.
  • the control unit guides the operation of the operating body by erasing a predetermined display displayed on the display unit along a moving direction of the operating body.
  • (1) to (5) The information processing apparatus described.
  • the information processing apparatus displays the guidance display at a position corresponding to the sensor unit in the display unit.
  • the information processing apparatus (9) Having a posture detection unit, The information processing apparatus according to any one of (1) to (5), wherein the control unit displays a different guidance display according to a detection result by the posture detection unit. (10) The information processing apparatus according to any one of (1) to (5), wherein the control unit performs the guidance display by changing a position of a display displayed on the display unit. (11) The information processing apparatus according to any one of (1) to (10), wherein the control unit displays a display indicating the contact position of the operating body on the display unit without the guidance display. (12) The information processing according to any one of (1) to (11), wherein the display unit, the sensor unit, and a contact detection unit that detects contact of the operating body with the display unit are stacked. apparatus.
  • the display unit is a self-luminous display, and has a configuration in which light from the display unit is irradiated to a position where the operation body is contacted.
  • the said control part erase eliminates the display currently displayed on the position corresponding to the said sensor part, when the contact of the said operating body is detected by the said contact detection part.
  • the sensor unit recognizes the operating body that touches the display unit, An information processing method in which a control unit displays a guidance display for guiding an operation of the operating body on the display unit.
  • the sensor unit recognizes the operating body that touches the display unit, A program for causing a computer to execute an information processing method in which a control unit displays a guidance display for guiding an operation of the operating body on the display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

表示部に接触する操作体を認識するセンサ部と、操作体の操作を誘導する誘導表示を表示部に表示する制御部とを有する情報処理装置である。

Description

情報処理装置、情報処理方法、プログラム及びウェアラブル機器
 本開示は、情報処理装置、情報処理方法、プログラム及びウェアラブル機器に関する。
 従来から機器(デバイス)の使用者を認証する技術が提案されている。例えば、下記の特許文献1には、リストバンド型の認証デバイスが記載されている。
特開2002-312324号公報
 このような分野では、効果的な認証を行うための表示がなされることが望まれている。
 本開示は、効果的な認証を行うための表示がなされる情報処理装置、情報処理方法、プログラム及びウェアラブル機器を提供することを目的の一つとする。
 本開示は、例えば、
 表示部に接触する操作体を認識するセンサ部と、
 操作体の操作を誘導する誘導表示を表示部に表示する制御部とを有する
 情報処理装置である。
 本開示は、例えば、
 センサ部が、表示部に接触する操作体を認識し、
 制御部が、操作体の操作を誘導する誘導表示を表示部に表示する
 情報処理方法である。
 本開示は、例えば、
 センサ部が、表示部に接触する操作体を認識し、
 制御部が、操作体の操作を誘導する誘導表示を表示部に表示する
 情報処理方法をコンピュータに実行させるプログラムである。
 本開示は、例えば、
 表示部と、
 表示部に接触する操作体を認識するセンサ部と、
 操作体の操作を誘導する誘導表示を表示部に表示する制御部とを有する
 ウェアラブル機器である。
 本開示の少なくとも一つの実施形態によれば、効果的な認証を行うための表示を行うことができる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
図1は、一般的なスマートフォンの外観例を示す図である。 図2は、実施形態に係るリストバンド型電子機器の外観例を示す図である。 図3は、実施形態に係るリストバンド型電子機器の内部構造例を示す図である。 図4は、実施形態に係るリストバンド型電子機器の回路構成例を示す図である。 図5Aはワンタッチ認証の際に表示される表示の例を示す図であり、図5Bはスライド認証の際に表示される表示の例を示す図であり、図5Cは複数スライド認証の際に表示される表示の例を示す図である。 図6は、第1の実施形態にかかる認証処理の流れを示すフローチャートである。 図7は、第2の実施形態にかかる認証処理の流れを示すフローチャートである。 図8は、第3の実施形態にかかる誘導表示の例を説明するための図である。 図9は、第4の実施形態にかかる誘導表示の例を説明するための図である。 図10は、第5の実施形態にかかる誘導表示を表示する処理の流れを示すフローチャートである。 図11A及び図11Bは、第5の実施形態にかかる誘導表示の例を説明するための図である。 図12A~図12Eは、第6の実施形態にかかる誘導表示の例を説明するための図である。 図13A及び図13Bは、第6の実施形態にかかる誘導表示を表示する際に行われる処理を説明するための図である。 図14は、変形例を説明するための図である。 図15は、変形例を説明するための図である。
 以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<一般的な技術について>
<1.第1の実施形態>
<2.第2の実施形態>
<3.第3の実施形態>
<4.第4の実施形態>
<5.第5の実施形態>
<6.第6の実施形態>
<7.変形例>
 以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
<一般的な技術について>
 始めに、本開示の理解を容易とするために、図1を参照して一般的な技術について説明する。図1は、モバイル機器の一例であるスマートフォン(スマートフォン1)の外観を示している。スマートフォン1は、例えば、筐体2と、ディスプレイ3と、指紋センサ部4とを有している。筐体2の一主面にディスプレイ3が設けられており、筐体2におけるディスプレイ3の下部に指紋センサ部4が設けられている。
 かかる構成の場合には、ディスプレイ3とは別の領域に指紋センサ部4が設けられているので、装置全体をコンパクトに設計することができない。また、スマートフォン1に適用される指紋センサ部4は静電容量型で指紋の凹凸による静電容量の変化を検出する原理の場合が多い。このような指紋センサ部4は、環境の湿度に影響されやすく、特に濡れた指を検出しづらいという問題がある。
 また、図1に示した一般的な指紋認証システムは、例えばディスプレイ3に指紋認証を促す表示がなされる場合に、当該表示の位置と指紋センサ部4の位置とが離れているために、指紋認証を行う際に指と視線とをディスプレイ3外に移動させる必要があり、直感的なUI(User Interface)を提供できないという問題がある。かかる問題を踏まえつつ、本開示の実施形態について詳細に説明する。
<1.第1の実施形態>
[リストバンド型電子機器について]
(リストバンド型電子機器の外観例)
 次に、第1の実施形態について説明する。第1の実施形態は、本開示を情報処理装置の一例、より具体的にはウェアラブル機器の一例であるリストバンド型電子機器に適用した例である。図2は、第1の実施形態にかかるリストバンド型電子機器(リストバンド型電子機器10)の外観例を示している。
 図2に示すように、リストバンド型電子機器10は、例えば、時計のように用いられる。より詳細には、リストバンド型電子機器10は、ユーザの手首5に巻き付けられるバンド部11と、本体部12とを有している。本体部12は、ディスプレイ13を有している。
(リストバンド型電子機器の内部の構造例)
 図3は、リストバンド型電子機器10の本体部12の内部の構造例を説明するための部分断面図である。リストバンド型電子機器10の本体部12は、例えば、上述したディスプレイ13と、導光板14と、発光部15と、接触検出部の一例であるタッチセンサ部16と、センサ部の一例である撮像素子17と、レンズ部18とを有している。
 概略的には、図3に示すように、操作体の一例である指先Fによる接触操作がディスプレイ13に対してなされ、接触の有無がタッチセンサ部16により検出される。リストバンド型電子機器10の本体部12は、操作側から見て、導光板14、ディスプレイ13、レンズ部18及び撮像素子17が順次、積層された構造を有している。なお、ディスプレイ13に対する接触は、ディスプレイ13に対する直接的な接触だけでなく、他の部材(例えば、導光板14)を介した間接的な接触を含んでいても良い。また、ディスプレイ13に対する接触には、例えば指先Fがディスプレイ13に触れることだけでなく、指先Fがディスプレイ13に近接することを含んでいても良い。
 以下、各構成について説明する。ディスプレイ13は、液晶LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)等から構成されている。導光板14は、例えば、発光部15からの光を指先Fが接触される位置である領域ARに導光する光透過性部材である。導光板14は、透明のものに限らず、撮像素子17による指先Fの指紋の撮影が可能な程度、光を透過するものであれば良い。
 発光部15は、LED(Light Emitting Diode)等から構成されており、導光板14の周囲の少なくとも一部に設けられている。なお、領域ARは、撮像素子17に対応する位置、具体的には、少なくとも撮像素子17による撮影の範囲に対応する位置を含む領域である。発光部15は、例えば、指紋を撮影する際に点灯することで、撮影に必要とされる光を提供する。
 タッチセンサ部16は、ディスプレイ13に対する指先Fの接触を検出するセンサである。タッチセンサ部16としては、例えば、静電容量方式のタッチセンサが適用される。抵抗膜方式等、他の方式のタッチセンサが適用されても良い。なお、図3では、領域ARの下部付近の位置にタッチセンサ部16が局所的に設けられているが、ディスプレイ13の下側の略全面にわたってタッチセンサ部16が設けられていても良い。
 撮像素子17は、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等により構成されている。撮像素子17は、レンズ部18を介して入射する被写体光を光電変換して電荷量に変換し、指先Fの指紋の画像を生成する。撮像素子17を介して得られる画像信号に対して後段における種々の処理が行われる。レンズ部18は、撮像素子17の画素毎に設けられるレンズ(マイクロレンズ)により構成されるものである。
(リストバンド型電子機器の回路構成例)
 図4は、リストバンド型電子機器10の回路構成例等を示すブロック図である。リストバンド型電子機器10は、上述したディスプレイ13、タッチセンサ部16及び撮像素子17等の他に、例えば、制御部21、無線通信部22、無線通信部22に接続されるアンテナ23、NFC(Near Field Communication)通信部24、NFC通信部24に接続されるアンテナ25、GPS(Global Positioning System)部26、位置センサ部26に接続されるアンテナ27、メモリ部28、バイブレータ29、モーションセンサ30、音声処理部31、マイクロホン32及びスピーカ33を有している。
 制御部21は、例えばCPU(Central Processing Unit)から構成されており、リストバンド型電子機器10の各部を制御する。具体例としては、制御部21はディスプレイ13に表示される情報を制御して、後述する誘導表示をディスプレイ13に表示させる制御を行う。また、制御部21は、撮像素子17により撮影される指先Fの指紋画像に種々の画像処理を施すと共に、生体情報の一つである指紋の画像(指紋画像)に基づく指紋認証を行う。
 無線通信部22は、例えばBluetooth(登録商標)の規格に基づいて他の端末と近距離無線通信を行う。無線通信部22は、例えばBluetooth(登録商標)の規格に対応して、変調/復調処理やエラー訂正処理等を行う。
 NFC通信部24は、NFCの規格に基づいて、近接したリーダー/ライタと無線通信を行う。なお、図示は省略しているが、リストバンド型電子機器10の各部に対しては、リチウムイオン二次電池等のバッテリから電力が供給される。当該バッテリが、NFCの規格に基づいてワイヤレス充電されるようにしても良い。
 位置センサ部26は、例えば、GNSS(Global Navigation Satellite System)と称されるシステムを利用して、現在位置の測位を行う測位部である。これらの無線通信部22、NFC通信部24、位置センサ部26で得られたデータは、制御部21に供給される。そして、制御部21は、供給されたデータに基づく制御を実行する。
 メモリ部28は、制御部21が実行するプログラムが格納されるROM(Read Only Memory)や制御部21がプログラムを実行する際のワークメモリとして使用されるRAM(Random Access Memory)やデータ記憶用の不揮発性メモリ等を総称したものである。なお、メモリ部28には、指紋認証用のユーザの指紋情報が記憶される。この指紋情報は、例えば、リストバンド型電子機器10を初めて使用する際に初期登録される。
 バイブレータ29は、例えば、リストバンド型電子機器10の本体部12を振動させる部材である。バイブレータ29による本体部12の振動で、電話の着信や電子メールの受信等が通知される。
 モーションセンサ30は、リストバンド型電子機器10を装着したユーザの動きを検出する。モーションセンサ30としては、加速度センサ、ジャイロセンサ、電子コンパス、気圧センサなどが使用される。なお、リストバンド型電子機器10は、モーションセンサ30以外のセンサを内蔵しても良い。例えば、リストバンド型電子機器10を装着したユーザの血圧、脈拍、汗腺(汗腺の位置でも良いし、汗腺からの発汗の程度でも良い)、体温等の指紋以外の生体情報を検出するバイオセンサが内蔵されていても良い。また、リストバンド型電子機器10をユーザが装着したか否かを検出するための圧力センサ等がバンド部11や本体部12の裏側(手首に向く側)に設けられていても良い。
 音声処理部31には、マイクロホン32とスピーカ33とが接続され、音声処理部31が、無線通信部22での無線通信で接続された相手と通話の処理を行う。また、音声処理部31は、音声入力操作のための処理を行うこともできる。
 ディスプレイ13、タッチセンサ部16等については既に説明してあるので、重複した説明を省略する。
[指紋認証を行う際の表示例]
 次に、指紋認証を行う際の表示例について説明する。これらの表示例をディスプレイ13に表示させる制御は、例えば制御部21によって行われる。
 図5Aは、指紋認証を行う際に表示される表示の第1の例を示す。図5Aに示すように、例えば、指紋を模した表示AAがディスプレイ13に表示される。かかる表示により、表示AAが表示される位置が指先Fを接触させる位置であることを示すことができると共にユーザに対して指紋認証を促すことができる。表示AAが表示される位置の少なくとも一部における下方に撮像素子17が位置している。なお、図5では、理解を容易とするために撮像素子17の位置を図示している。
 ユーザは、指先Fを表示AAに対応する位置に接触させる。タッチセンサ部16により指先Fの接触が検知されると、制御部21は、指紋の撮影を行う制御を実行する。かかる制御に応じて、指先Fの情報である指紋画像が撮像素子17を介して得られる。制御部21は、得られた指紋画像に適宜な画像処理を施した後に、指紋画像とメモリ部28に記憶されているユーザの指紋画像とのマッチング処理を行い、認証を行う。例えば、指紋画像同士の特徴点の一致度を比較することにより認証を行う。勿論、認証方法は他の公知の方法を適用することができる。また、何れかの生体情報若しくはその組み合わせに基づく認証が行われても良い。なお、図5Aに例示する表示は、一度の接触で認証を行う例であり、誘導表示を伴う表示ではない。
 かかる構成により、指紋認証を行う箇所とディスプレイを一体化することができるので、リストバンド型電子機器10の小型化を実現することができる。また、指紋認証を行う表示を、指紋認証を行うためのデバイス(本実施形態では撮像素子17)の上方に表示させることにより、ユーザがどこに指先Fを置けば良いのかを認識し易くなり、直感的なUIを実現することができる。また、指先Fの湿度に関係なく認証を行うことができ、認証の精度を確保することができる。
 図5Bは、指紋認証を行う際に表示される表示の第2の例を示す。第2の例は、指先Fが接触される位置と共に、指先Fの操作を誘導する誘導表示の例である。本実施形態における誘導表示は、指先Fの移動方向を示す表示である。
 例えば、図5Bに示すように、指紋を模した表示BBと共に、誘導表示の一例として、下側を向く3個の矢印の表示CCが表示される。かかる表示により、ユーザ対して指先Fを下側に移動させることを促すことができる。
 指先Fを下側に移動させる操作に応じて、指紋の撮影が行われる。これにより、指紋の特徴点をより多く取得することが可能となる。撮影により得られた指紋画像の特徴点をメモリ部28に記憶される指紋画像の特徴点と比較することにより、より精度の高い指紋認証を行うことができる。
 図5Cは、指紋認証を行う際に表示される表示の第3の例を示す。図5Cの左側に示す表示は、図5Bで示した表示と同様の表示である。図5Cの中央に示す表示は、指紋を模した表示BBと共に、誘導表示の一例として、右側を向く3個の矢印の表示DDを含む。図5Cの右側に示す表示は、指紋を模した表示BBと共に、誘導表示の一例として、左側を向く3個の矢印の表示EEを含む。
 図5Cに示した3個の表示が例えば、連続的に表示される。例えば、図5Cの左側の表示に基づいて、指先Fがスライドされると共に指紋の撮影が行われる。そして指先Fがディスプレイ13から離間されたことがタッチセンサ部16により検出されると、制御部21は、図5C中央に示した表示をディスプレイ13に表示する。当該表示に応じて、指先Fが右側に向けてスライドされると共に指紋の撮影が行われる。そして指先Fがディスプレイ13から離間されたことがタッチセンサ部16により検出されると、制御部21は、図5C右側に示した表示をディスプレイ13に表示する。当該表示に応じて、指先Fが左側に向けてスライドされると共に指紋の撮影が行われる。
 かかる処理により、例えば図5Bに示した表示に基づいて得られる指紋の特徴点より、指紋の特徴点をより多く取得することが可能となる。撮影により得られた指紋画像の特徴点をメモリ部28に記憶される指紋画像の特徴点と比較することにより、より精度の高い指紋認証を行うことができる。
 なお、以下の説明において、図5Aに示すように指先Fをディスプレイ13に一度接触させる操作に応じて行われる認証をワンタッチ認証と適宜、称する。また、図5Bに示すように指先Fをディスプレイ13に一度接触させた後、一度スライドさせる操作に応じて行われる認証をスライド認証と適宜、称する。また、図5Cに示すように指先Fをディスプレイ13上で複数回スライドさせる操作に応じて行われる認証を複数スライド認証と適宜、称する。
「第1の実施形態における認証処理」
(認証処理の流れ)
 次に、第1の実施形態における認証処理について、図6に示すフローチャートを参照して説明する。第1の実施形態における認証処理は、リストバンド型電子機器10を手首5に装着して使用する際に行われる認証処理である。なお、以下に説明する認証処理が、リストバンド型電子機器10を装着した後、所定時間経過した後等に行われても良い。
 本認証処理により認証が成功する以前は、リストバンド型電子機器10はロック状態である。ロック状態とは、リストバンド型電子機器10の機能の全ての利用が禁止される状態でも良いし、認証を必要としない機能(例えば、時刻の表示)のみの利用が許可される状態でも良い。認証が成功した場合にはロック状態が解除され、リストバンド型電子機器10の機能の全ての利用が許可される。以下、具体的な処理の流れについて説明する。なお、以下の処理は特に断らない限り、制御部21の制御に応じて行われる。
 ステップST101では、ワンタッチ認証が行われる。即ち、ディスプレイ13に指紋を模した形状が表示され、当該表示にユーザが指先Fを接触させることにより、指紋認証が行われる。そして、処理がステップST102に進む。
 ステップST102では、認証が成功したか否かが判断される。例えば、制御部21は、撮影された指紋画像とメモリ部28に記憶されている指紋画像とを対比して、特徴点が閾値以上一致した場合には認証が成功したと判断し、そうでない場合は認証が失敗したと判断する。制御部21により認証が成功したと判断された場合には、処理がステップST110に進む。
 ステップST110では、認証が成功したことから、制御部21は、リストバンド型電子機器10のロック状態を解除する。以降、リストバンド型電子機器10の全ての機能の利用が可能となる。
 ステップST102の判断処理において、制御部21により認証が失敗したと判断された場合には、処理がステップST103に進む。ステップST103では、認証の失敗回数が閾値(例えば、3回)以上であるか否かが判断される。認証の失敗回数が3回未満であれば処理がステップST101に戻り、再度、ワンタッチ認証が行われる。認証の失敗回数が3回以上であれば、処理がステップST104に進む。
 ステップST104では、スライド認証が行われる。即ち、ディスプレイ13に誘導表示を含む指紋を模した形状が表示され、当該表示にユーザが指先Fを接触させると共に、指先Fを一度スライドさせることにより、指紋認証が行われる。ここでは、ワンタッチ認証に複数回失敗したことから、被認証者をより精度よく認証するためにスライド認証を行うようにしている。そして、処理がステップST105に進む。
 ステップST105では、認証が成功したか否かが判断される。例えば、制御部21は、撮影された指紋画像とメモリ部28に記憶されている指紋画像とを対比して、特徴点が閾値以上一致した場合には認証が成功したと判断し、そうでない場合は認証が失敗したと判断する。制御部21により認証が成功したと判断された場合には、処理がステップST110に進む。
 ステップST110では、認証が成功したことから、制御部21は、リストバンド型電子機器10のロック状態を解除する。以降、リストバンド型電子機器10の全ての機能の利用が可能となる。
 ステップST105の判断処理において、制御部21により認証が失敗したと判断された場合には、処理がステップST106に進む。ステップST106では、認証の失敗回数が閾値(例えば、3回)以上であるか否かが判断される。認証の失敗回数が3回未満であれば処理がステップST104に戻り、再度、スライド認証が行われる。認証の失敗回数が3回以上であれば、処理がステップST107に進む。
 ステップST107では、複数スライド認証が行われる。即ち、ディスプレイ13に誘導表示を含む指紋を模した形状が表示され、当該表示にユーザが指先Fを接触させると共に、指先Fを複数回スライドさせることにより、指紋認証が行われる。ここでは、スライド認証に複数回失敗したことから、被認証者をより精度よく認証するために複数スライド認証を行うようにしている。そして、処理がステップST108に進む。
 ステップST108では、認証が成功したか否かが判断される。例えば、制御部21は、撮影された指紋画像とメモリ部28に記憶されている指紋画像とを対比して、特徴点が閾値以上一致した場合には認証が成功したと判断し、そうでない場合は認証が失敗したと判断する。制御部21により認証が成功したと判断された場合には、処理がステップST110に進む。
 ステップST110では、認証が成功したことから、制御部21は、リストバンド型電子機器10のロック状態を解除する。以降、リストバンド型電子機器10の全ての機能の利用が可能となる。
 ステップST108の判断処理において、制御部21により認証が失敗したと判断された場合には、処理がステップST109に進む。ステップST109では、ワンタッチ認証、スライド認証、複数スライド認証の全てにおける認証が失敗したことから、被認証者がリストバンド型電子機器10の真正なユーザではないと判断される。従って、制御部21は、リストバンド型電子機器10のロック状態を継続する。
(認証処理の変形例)
 上述した認証処理では、認証の成否に応じてワンタッチ認証、スライド認証及び複数スライド認証の全てを行うようにしたが、これに限定されるものではない。例えば、認証処理が、始めにワンタッチ認証を行わずにスライド認証に基づく認証を行い、スライド認証に基づく認証が複数回失敗した場合に複数スライド認証を行う処理であっても良い。
<2.第2の実施形態>
 次に、第2の実施形態について説明する。第2の実施形態は、概略的には、セキュリティレベルに応じて異なる誘導表示を表示する例である。なお、第1の実施形態で説明した事項(例えば、リストバンド型電子機器10の外観、構成等)は、特に断らない限り第2の実施形態にも適用することができる。なお、第2の実施形態にかかるリストバンド型電子機器10は、リストバンド型電子機器10をリーダに近づけることで決済が可能となる決済機能を有している。
「第2の実施形態における認証処理」
 第2の実施形態における認証処理について、図7に示すフローチャートを参照して説明する。第2の実施形態における認証処理は、概略的には、図7に示す処理におけるステップST201~ステップST204までの処理がリストバンド型電子機器10の装着時に行われる認証処理であり、ステップST205~ステップST209までの処理が、決済機能を実行するアプリケーション(アプリとも略称される)の要求に応じて行われる認証処理である。なお、以下の説明では、リストバンド型電子機器10の装着時に行われる認証処理とアプリケーションの要求に応じて行われる認証処理とが連続的に行われるように説明しているが、必ずしも2つの認証処理が連続的に行われる必要は無い。
 ステップST201では、リストバンド型電子機器10の装着状態が検出される。例えば、リストバンド型電子機器10のバンド部11に設けられた圧力センサによる検出結果に基づいてリストバンド型電子機器10の装着状態が検出される。そして、リストバンド型電子機器10が装着されている場合には、処理がステップST202に進む。
 ステップST202では、リストバンド型電子機器10の装着時に行われる認証である装着認証が済んでいるか否かが判断される。例えば、制御部21は、メモリ部28に記憶されている、装着認証が済んだか否かを示すフラグを参照して、装着認証が済んでいるか否かを判断する。装着認証が済んでいない場合には、処理がステップST203に進む。
 ステップST203では、例えば、ワンタッチ認証に基づく認証により装着認証が行われる。そして、処理がステップST204に進む。
 ステップST204では、装着認証が成功したか否かが判断される。装着認証が失敗した場合には、処理がステップST201に戻り、装着状態に応じた装着認証が行われる。装着認証が成功した場合には、制御部21は、例えば装着認証が済んでいることを示すようにフラグを更新する。そして、処理がステップST205に進む。
 ステップST205では、ユーザがリストバンド型電子機器10を使用して所謂電子マネーによる決済を行う。ステップST205では、かかる決済を行うために、決済を行うアプリケーションから指紋認証及びその結果の要求がリストバンド型電子機器10に対して行われる。そして、処理がステップST206に進む。
 ステップST206では、制御部21がセキュリティレベルを判断する。本実施形態では、制御部21は、決済の額に応じてセキュリティレベルを判断する。例えば、決済の額が少額(例えば、1万円以下)の場合には、要求されるセキュリティレベルが「低」であると判断する。また、決済の額が所定額(例えば、1万円~10万円以下)の場合には、要求されるセキュリティレベルが「中」であると判断する。また、決済の額が高額(例えば、10万円より大きい額)の場合には、要求されるセキュリティレベルが「高」であると判断する。
 セキュリティレベルが「低」である場合には、処理がステップST207に進む。ステップST207では、セキュリティレベルが「低」であることから、制御部21は、装着認証のみが済んでいれば良く再度の認証が不要と判断する。ここでは、既にステップST202で装着認証が済んでいることから、制御部201は、装着認証が済んでおり再度の認証が不要である旨をアプリケーションに返される。なお、図示は省略しているが、この後、リストバンド型電子機器10を使用した決済が可能となる。
 ステップST206における判断処理の結果が、セキュリティレベルが「中」である場合には、処理がステップST208に進む。ステップST208では、セキュリティレベルが「中」であることから、より精度の高い認証を行うことができるスライド認証が行われる。即ち、例えば図5Bに示した誘導表示を含む表示がなされ、スライド認証が行われる。スライド認証の結果がアプリケーションに返される。スライド認証の結果が「成功」である場合には、ディスプレイ13に表示されている機能の処理が行われる。例えば、スライド認証の結果が「成功」である場合には、アプリケーションによる決済が行われる。また、スライド認証の結果が「失敗」である場合にはアプリケーションによる決済が不許可となる。
 ステップST206における判断処理の結果が、セキュリティレベルが「高」である場合には、処理がステップST209に進む。ステップST209では、セキュリティレベルが「高」であることから、より精度の高い認証を行うことができる複数スライド認証が行われる。即ち、例えば図5Cに示した誘導表示を含む表示がなされ、複数スライド認証が行われる。複数スライド認証の結果がアプリケーションに返される。複数スライド認証の結果が「成功」である場合にはアプリケーションによる決済が行われ、複数スライド認証の結果が「失敗」である場合にはアプリケーションによる決済が不許可となる。
 かかる処理を行うことで、装着認証が済んでいれば低額(例えば、100円程度のお茶)のものを購入することが許可され、低額のものを購入する度に認証を行う必要が無くなる。従って、一定程度のセキュリティとユーザの利便性とを両立させることができる。また、比較的高額のものを購入する際には、精度の高い認証が行われるので、なりすまし等による決済を防止することができる。
「第2の実施形態の変形例」
 セキュリティレベルが「中」の場合に複数スライド認証が行われても良い。そしてセキュリティレベルが「高」の場合には、ワンタッチ認証及び複数スライド認証が行われるようにしても良い。セキュリティレベルに応じてどのような誘導表示を表示し、どのようにして認証を行うかは、適宜、変更することができる。
 上述した説明では、対面決済を想定して設定されるセキュリティレベルについて説明したが、これに限定されるものではない。例えば、下記の表1に示すように、対面決済だけでなく、非対面決済における額や、インターネットバンキングにおける機能に応じて、セキュリティレベルを設定し、当該セキュリティレベルに応じた誘導表示を表示させることも可能である。
Figure JPOXMLDOC01-appb-T000001
 また、セキュリティレベルは、決済だけでなく、入室管理やデータへのアクセス権限等に対応して設定されるものであっても良い。
<3.第3の実施形態>
 次に、第3の実施形態について説明する。第3の実施形態は、ディスプレイ13に表示されている所定の表示を指先Fの移動方向に沿って消去させることにより指先Fの操作を誘導する例である。なお、上述した実施形態で説明した事項は、特に断らない限り本実施形態に適用することができる。
 例えば、図8Aに示すように、ディスプレイ13に所定の表示の一例として「¥19,800」の文字(数字を含む)が表示されている。例えば「¥」の文字の下側に撮像素子17が位置している。
 ユーザは、始めに「¥」の箇所に指先Fを接触させた後、文字列に沿って指先Fをスライドさせる。この指先Fの操作はスワイプと称される。図8B及び図8Cに示すように、指先Fをスライドさせる操作に応じて、文字が消えていく。指先Fをスライドさせる際に、指先Fが撮像素子17上を通過するので、指先Fの指紋画像を取得することが可能となる。当該取得した指紋画像に基づいてスライド認証が行われ、指紋認証が成立した場合には、図8Dに示すように、例えば「Thank you!」との表示がなされると共に、決済が行われる。なお、指紋認証が失敗した場合には「¥19,800」との文字が再度表示されても良い。
 かかる処理により、ユーザは、決済の額を確認し、あたかも能動的にサインをしたようにして決済の額を承認した操作を行うことが可能となる。
 なお、撮像素子17は、指先Fをスライドさせる経路上の少なくとも一部の下部に位置していれば良い。また、より指先Fの移動方向をユーザによりわかり易くするために「¥19,800」の文字を表示する際に、文字列を左から右側に向かって順次、消去しつつ、全ての文字が消去した後に「¥19,800」の文字を再度表示しても良い。また、この表示の態様を繰り返しても良い。さらに、例えば指先Fが「¥」の箇所を接触したことがタッチセンサ部16により検出された場合に、隣接する文字(本例では「1」)の表示濃度を薄くしても良い。あたかも文字がフェードアウトするような誘導表示により、ユーザに対して指先Fを移動する方向を知覚させることができる。即ち、表示の消去には表示を消すだけでなく、表示の濃度を変更することを含んでいても良い。
<4.第4の実施形態>
 次に、第4の実施形態について説明する。なお、上述した実施形態で説明した事項は、特に断らない限り本実施形態に適用することができる。
 図9Aに示すように、ディスプレイ13には矩形状の枠部40が表示されている。枠部40の下部に撮像素子17が位置している。図9A及び図9Bにおける矩形の枠内に表示されたA、B・・との文字は、アプリケーションに対応するアイコンを示している。ユーザの指先Fをスライドさせる操作に応じて、所定のアイコンが枠部40内に表示される。例えば、図9Bでは、枠部40内にアプリケーションBに対応するアイコンが表示されている。
 ユーザは、枠部40内に指先Fを接触させることで、指紋認証を行う。認証が成立した場合には、アプリケーションBにログインすることが可能となる。かかる処理によりアプリケーションBの選択とログインとを同時に行うことが可能となる。なお、枠部40内に例えば上方向又は下方向を向く矢印等による誘導表示を表示させ、当該表示に応じてユーザに対してスライド認証や複数スライド認証を行うことを促すことができる。
<5.第5の実施形態>
 次に、第5の実施形態について説明する。なお、上述した実施形態で説明した事項は、特に断らない限り本実施形態に適用することができる。第5の実施形態は、概略的には、姿勢検出部の一例であるモーションセンサ30の検出結果に応じて、異なる誘導表示を表示させる例である。
 図10は、第5の実施形態における処理の流れを示すフローチャートである。ステップST501では、所定のアプリケーションから指紋認証が要求される。そして、処理がステップST502に進む。
 ステップST502では、制御部21は、モーションセンサ30から供給されるセンサ情報に基づいて、リストバンド型電子機器10の姿勢を検出する。そして、処理がステップST503に進む。
 ステップST503では、制御部21が、リストバンド型電子機器10の姿勢から、リストバンド型電子機器10を装着している手を下ろしているか否かを判断する。制御部21が、リストバンド型電子機器10を装着している手を下ろしていると判断した場合には、処理がステップST504に進む。ステップST504では、制御部21は、指縦置き認証のGUI(Graphical User Interface)をディスプレイ13に表示する制御を行う。そして、処理がステップST506に進む。
 ステップST503の判断処理において、制御部21が、リストバンド型電子機器10を装着している手を下ろしていないと判断した場合には、処理がステップST505に進む。ステップST505では、制御部21は、指横置き認証のGUIをディスプレイ13に表示する制御を行う。そして、処理がステップST506に進む。
 ステップST506では、上述したGUIを使用した指紋認証が行われる。そして、指紋認証が終了したか否かが判断される。指紋認証が終了した場合には、認証結果に応じた処理が行われた後、処理が終了する。指紋認証が終了していない場合は、処理がステップST503に戻り、ステップST503以降の処理が繰り返される。
 なお、上述した処理において、指紋認証が行われる場合は、アプリケーションからの要求に限定されるものではなく、他の場合(例えば、リストバンド型電子機器10の装着時から所定時間経過後の再度の認証)であっても良い。
 図11Aは指縦置き認証のGUIの一例を示し、図11Bは指横置き認証のGUIの一例を示す。
 図11Aに示す指縦置き認証のGUIの場合は、例えば、ユーザの手首5の延在方向に対して略直交する方向に指紋を模した形状が表示されると共に、当該方向に指先Fのスライドを誘導するための誘導表示(図示の例では3個の矢印)が表示される。
 図11Bに示す指横置き認証のGUIの場合は、例えば、ユーザの手首5の延在方向に沿う方向に指紋を模した形状が表示されると共に、当該方向に指先Fのスライドを誘導するための誘導表示(図示の例では3個の矢印)が表示される。
 以上、説明したように、モーションセンサ30の検出結果に応じて、異なる誘導表示を表示することも可能である。かかる処理を行うことにより、例えば、ユーザが鞄をもって腕を下ろしている状態等であっても操作性の良い誘導表示を表示することが可能となる。
<6.第6の実施形態>
 次に、第6の実施形態について説明する。なお、上述した実施形態で説明した事項は、特に断らない限り本実施形態に適用することができる。第6の実施形態は、概略的には、ディスプレイ13に表示される表示の位置を変化させることにより、誘導表示を行う例である。
 例えば、図12Aに示すように、ディスプレイ13には、複数の矩形状のドットから成り水平方向に延在するライン状の表示60が表示されている。また、撮像素子17による撮影範囲が点線の矩形で示されている。撮影範囲は、表示60を構成する複数のドットのうちの少なくとも一部のドットが表示される位置と重なっている。
 図12Bに示すように、ユーザは、撮像素子17の撮影範囲に対応する箇所に指先Fを接触させる。このとき、ユーザに対して指先Fを接触させる箇所をわかり易くするために、撮像素子17による撮影範囲と重なる位置にあるドットを着色して表示したり、点滅させるようにしても良い。
 ディスプレイ13に対する指先Fの接触がタッチセンサ部16により検出されると、制御部21は、ライン状の表示60の表示を変化させる制御を行う。具体的には、制御部21は、表示60を構成するドットの表示位置を変化させることにより、図12C及び図12Dに示すように、表示60が全体として下側に移動するように表示内容を制御する。かかる表示処理を行うことにより、ユーザに対して指先Fを下側にスライドさせることを促すことができる。ユーザが指先Fを下側にスライドさせることにより、スライド認証を行うことができる。勿論、表示60が全体として、上方向や左右方向に移動するように制御部21が表示内容を制御しても良い。
 タッチセンサ部16による指先Fの所定以上のスライドが検出されると、例えば、図12Eに示すように、表示60を消す制御が行われる。これにより、ユーザは、指紋認証のための操作が終了したものと理解して、指先Fをディスプレイ13から離すことができる。
 以上説明したように、ディスプレイ13に表示される表示の位置を変化させることにより、誘導表示を行うことも可能である。
 ところで、図13Aに示すように、指紋撮影時に撮像素子17による撮影範囲にドットの表示がなされていると、指紋検出の精度に影響が出る虞がある。例えば、ディスプレイ13がOLEDで構成されOLEDの発光によりドットが表示されている場合に、指紋撮影時にOLEDの光が混入すると指紋検出の精度に影響が出る虞がある。そこで、ユーザがディスプレイ13に指先Fを接触させるまでは全てのドットを表示させておく。そして、ディスプレイ13に指先Fが接触されたことがタッチセンサ部16により検出されたら、図13Bに示すように、撮影範囲内に位置するドットを消去するようにしても良い。
 また、撮影範囲内に位置するドットを消去するのではなく、撮像素子17に入射する光の入射方向にBPF(Band Pass Filter)等のフィルタを挿入する。そして、フィルタを通過しない波長の光を使ってドットを表示することで、ドットの表示による指紋認証の精度の低下を防止するようにしても良い。
<7.変形例>
 以上、本開示の複数の実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
 上述したリストバンド型電子機器10における内部構造は、適宜、変更することができる。例えば、図14に示すように、導光板14及び発光部15が無い構造でも良い。この場合は、ディスプレイ13としてはOLED等の自発光のディスプレイが適用される。ディスプレイ13からの光を指先Fが接触される箇所に照射することで撮影のための光が提供されるようにしても良い。これにより導光板14が不要となり、装置の薄型化を実現することができる。また、タッチセンサ部16は、ディスプレイ13の実施形態における他方の主面側(例えば、上面側)に設けられていても良い。
 リストバンド型電子機器10の形状等も適宜、変更することができる。例えば、図15に示すような、バンド部11及び本体部12が一体的に形成された機器であっても良い。また、ウェアラブル機器は、リストバンド型電子機器に限定されることはなく、スマートフォン、携帯型のオーディオプレーヤでも良い。また、本開示は、パーソナルコンピュータ、ロボット機器等の電子機器に対しても適用することができる。また、本開示は、車載機器を使用される際に行われる認証や、銀行のATM(Automatic Teller Machine)で行われる認証に対しても適用することができる。
 上述したリストバンド型電子機器10が、指紋認証を用いた相手方へのメッセージ通知機能を有していても良い。例えば、ディスプレイ13に複数のメッセージが表示される。当該複数のメッセージの中のうちの所定のメッセージをユーザがスライドすると実施形態で説明した認証が行われ、認証が成立すると、無線通信部22を介して相手方にメッセージが通知される。メッセージとしては、例えば、「今から帰ります」等の家族に向けたメッセージを例示することができる。上司、友人等へのメッセージであっても良く、メッセージの内容は適宜、設定することができる。
 上述したメッセージを送るための指の認証において、認証された指の種別(親指、人差し指・・小指)に応じて、メッセージの送り先が特定されるようにしても良い。例えば、親指には父親、人差し指には母親、小指には妹のように、ユーザは、指の種別と送り先との対応付けを設定する。そして、ユーザは、「今から帰ります」というメッセージを母親に送りたい場合には、人差し指を当該メッセージでスライドさせる。認証が成立した場合は、母親に「今から帰ります」とのメッセージが通知される。このような場合にも、誘導表示を行うことができる。例えば、ディスプレイに複数のメッセージを表示しても良いし、ある時刻(例えば、夕方)になったら帰宅する旨のメッセージが自動で表示されるようにしても良い。ディスプレイ左側に複数の送り先を表示し、所定の送り先を指で触れた際に認証が行われるようにしても良い。そして、認証が成立した場合に、ディスプレイ右側に複数のメッセージを誘導表示として表示し、送り先を指定するためにディスプレイに接触させた指を、所望するメッセージにそのままスライドさせるように誘導しても良い。
 上述した実施形態では、操作体の一例として人の指先を挙げたが、これに限定されるものではない。例えば、操作体は、ペン状の機器であっても良い。そして、ペン先に形成された特定の形状を認識することにより、認証が行われるようにしても良い。
 上述した実施形態では、誘導する操作体(指先F)の操作として、指先Fの移動方向を例にして説明したが、これに限定されるものではない。例えば、指先Fの接触回数や指の種類(親指、人差し指等)であっても良いし、これらを組み合わせたものでも良い。そして、接触回数や指の種類を示す誘導表示が表示されるようにしても良い。例えば、セキュリティレベルの要求が高くなるにつれ、指先Fの接触回数を増やすように誘導して、指先Fの複数回の接触による複数回の認証が行われるようにしても良い。
 上述した実施形態において、音声等による操作体の誘導が行われるようにしても良い。但し、指先Fを接触する際はユーザの視点は接触箇所に注目していることから、ユーザが同じ知覚(視覚)で操作体の誘導を認識できる構成が好ましい。
 撮像素子17を複数箇所設け、ディスプレイ13上で指紋認証を行うことが可能な位置が複数設けられていても良い。
 本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。
 本開示は、以下の構成も採ることができる。
(1)
 表示部に接触する操作体を認識するセンサ部と、
 前記操作体の操作を誘導する誘導表示を前記表示部に表示する制御部とを有する
 情報処理装置。
(2)
 前記制御部は、前記センサ部により得られる前記操作体の生体情報に基づいて認証を行う
 (1)に記載の情報処理装置。
(3)
 前記生体情報は、少なくとも、指紋、汗腺、脈拍、血圧、体温による認証、若しくはその組み合わせである
 (2)に記載の情報処理装置。
(4)
 前記制御部は、前記生体情報に基づく認証に基づいて、前記表示部に表示されている機能の処理を行う
 (2)に記載の情報処理装置。
(5)
 前記誘導表示は、前記操作体の移動方向、前記操作体の接触回数及び前記操作体の種類の少なくとも一つを示す表示である
 (1)~(4)までの何れかに記載の情報処理装置。
(6)
 前記制御部は、セキュリティレベルに応じて異なる誘導表示を前記表示部に表示する
 (1)~(5)までの何れかに記載の情報処理装置。
(7)
 前記制御部は、前記表示部に表示されている所定の表示を前記操作体の移動方向に沿って消去することにより前記操作体の操作を誘導する
 (1)~(5)までの何れかに記載の情報処理装置。
(8)
 前記制御部は、前記表示部における前記センサ部に対応する位置に前記誘導表示を表示する
 (1)~(5)までの何れかに記載の情報処理装置。
(9)
 姿勢検出部を有し、
 前記制御部は、前記姿勢検出部による検出結果に応じて異なる誘導表示を表示する
 (1)~(5)までの何れかに記載の情報処理装置。
(10)
 前記制御部は、前記表示部に表示される表示の位置を変化させることにより、前記誘導表示を行う
 (1)~(5)までの何れかに記載の情報処理装置。
(11)
 前記制御部は、前記誘導表示を伴わず、且つ、前記操作体の接触位置を示す表示を前記表示部に表示する
 (1)~(10)までの何れかに記載の情報処理装置。
(12)
 前記表示部と、前記センサ部と、前記表示部への前記操作体の接触を検出する接触検出部とが積層された構造を有する
 (1)~(11)までの何れかに記載の情報処理装置。
(13)
 発光部と、
 前記表示部における前記操作体が接触される位置に前記発光部からの光を導光する導光部とを有する
 (12)に記載の情報処理装置。
(14)
 前記表示部は自発光のディスプレイであり、前記表示部からの光が、前記操作体が接触される位置に照射される構成を有する
 (12)に記載の情報処理装置。
(15)
 前記制御部は、前記接触検出部により前記操作体の接触が検出された場合に、前記センサ部に対応する位置に表示されている表示を消去する
 (14)に記載の情報処理装置。
(16)
 前記操作体が指先であり、且つ、前記センサ部が撮像素子である
 (1)~(15)までに何れかに記載の情報処理装置。
(17)
 センサ部が、表示部に接触する操作体を認識し、
 制御部が、前記操作体の操作を誘導する誘導表示を前記表示部に表示する
 情報処理方法。
(18)
 センサ部が、表示部に接触する操作体を認識し、
 制御部が、前記操作体の操作を誘導する誘導表示を前記表示部に表示する
 情報処理方法をコンピュータに実行させるプログラム。
(19)
 表示部と、
 前記表示部に接触する操作体を認識するセンサ部と、
 前記操作体の操作を誘導する誘導表示を前記表示部に表示する制御部とを有する
 ウェアラブル機器。
10・・・リストバンド型電子機器、13・・・ディスプレイ、14・・・導光板、15・・・発光部、16・・・タッチセンサ部、17・・・撮像素子、21・・・制御部、30・・・モーションセンサ

Claims (19)

  1.  表示部に接触する操作体を認識するセンサ部と、
     前記操作体の操作を誘導する誘導表示を前記表示部に表示する制御部とを有する
     情報処理装置。
  2.  前記制御部は、前記センサ部により得られる前記操作体の生体情報に基づいて認証を行う
     請求項1に記載の情報処理装置。
  3.  前記生体情報は、少なくとも、指紋、汗腺、脈拍、血圧、体温による認証、若しくはその組み合わせである
     請求項2に記載の情報処理装置。
  4.  前記制御部は、前記生体情報に基づく認証に基づいて、前記表示部に表示されている機能の処理を行う
     請求項2に記載の情報処理装置。
  5.  前記誘導表示は、前記操作体の移動方向、前記操作体の接触回数及び前記操作体の種類の少なくとも一つを示す表示である
     請求項1に記載の情報処理装置。
  6.  前記制御部は、セキュリティレベルに応じて異なる誘導表示を前記表示部に表示する
     請求項1に記載の情報処理装置。
  7.  前記制御部は、前記表示部に表示されている所定の表示を前記操作体の移動方向に沿って消去することにより前記操作体の操作を誘導する
     請求項1に記載の情報処理装置。
  8.  前記制御部は、前記表示部における前記センサ部に対応する位置に前記誘導表示を表示する
     請求項1に記載の情報処理装置。
  9.  姿勢検出部を有し、
     前記制御部は、前記姿勢検出部による検出結果に応じて異なる誘導表示を表示する
     請求項1に記載の情報処理装置。
  10.  前記制御部は、前記表示部に表示される表示の位置を変化させることにより、前記誘導表示を行う
     請求項1に記載の情報処理装置。
  11.  前記制御部は、前記誘導表示を伴わず、且つ、前記操作体の接触位置を示す表示を前記表示部に表示する
     請求項1に記載の情報処理装置。
  12.  前記表示部と、前記センサ部と、前記表示部への前記操作体の接触を検出する接触検出部とが積層された構造を有する
     請求項1に記載の情報処理装置。
  13.  発光部と、
     前記表示部における前記操作体が接触される位置に前記発光部からの光を導光する導光部とを有する
     請求項12に記載の情報処理装置。
  14.  前記表示部は自発光のディスプレイであり、前記表示部からの光が、前記操作体が接触される位置に照射される構成を有する
     請求項12に記載の情報処理装置。
  15.  前記制御部は、前記接触検出部により前記操作体の接触が検出された場合に、前記センサ部に対応する位置に表示されている表示を消去する
     請求項14に記載の情報処理装置。
  16.  前記操作体が指先であり、且つ、前記センサ部が撮像素子である
     請求項1に記載の情報処理装置。
  17.  センサ部が、表示部に接触する操作体を認識し、
     制御部が、前記操作体の操作を誘導する誘導表示を前記表示部に表示する
     情報処理方法。
  18.  センサ部が、表示部に接触する操作体を認識し、
     制御部が、前記操作体の操作を誘導する誘導表示を前記表示部に表示する
     情報処理方法をコンピュータに実行させるプログラム。
  19.  表示部と、
     前記表示部に接触する操作体を認識するセンサ部と、
     前記操作体の操作を誘導する誘導表示を前記表示部に表示する制御部とを有する
     ウェアラブル機器。
PCT/JP2018/044586 2018-02-15 2018-12-04 情報処理装置、情報処理方法、プログラム及びウェアラブル機器 WO2019159500A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18906300.1A EP3754477A4 (en) 2018-02-15 2018-12-04 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHODS, AND WEARABLE DEVICE
JP2020500289A JPWO2019159500A1 (ja) 2018-02-15 2018-12-04 情報処理装置、情報処理方法、プログラム及びウェアラブル機器
US16/968,404 US11393257B2 (en) 2018-02-15 2018-12-04 Information processor, information processing method, program, and wearable device
CN201880084594.5A CN111886570A (zh) 2018-02-15 2018-12-04 信息处理装置、信息处理方法、和可穿戴设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018024619 2018-02-15
JP2018-024619 2018-02-15

Publications (1)

Publication Number Publication Date
WO2019159500A1 true WO2019159500A1 (ja) 2019-08-22

Family

ID=67619240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044586 WO2019159500A1 (ja) 2018-02-15 2018-12-04 情報処理装置、情報処理方法、プログラム及びウェアラブル機器

Country Status (5)

Country Link
US (1) US11393257B2 (ja)
EP (1) EP3754477A4 (ja)
JP (1) JPWO2019159500A1 (ja)
CN (1) CN111886570A (ja)
WO (1) WO2019159500A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021260483A1 (ja) * 2020-06-26 2021-12-30 株式会社半導体エネルギー研究所 電子機器、及び電子機器の認証方法
KR20230049900A (ko) * 2021-10-07 2023-04-14 삼성전자주식회사 생체정보 추정 장치 및 방법
JP7476266B2 (ja) 2021-09-14 2024-04-30 アップル インコーポレイテッド フィット性検出を有するウォッチバンド
US12007727B2 (en) 2021-09-14 2024-06-11 Apple Inc. Watch band with fit detection

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD962989S1 (en) * 2019-10-15 2022-09-06 Beijing Xiaomi Mobile Software Co., Ltd. Mobile phone with graphical user interface

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312324A (ja) 2001-04-13 2002-10-25 Sony Corp リストバンド型認証デバイス、認証システム、情報出力デバイス
JP2003091509A (ja) * 2001-09-17 2003-03-28 Nec Corp 携帯通信機器の個人認証方法およびそれを記述したプログラム
JP2008217187A (ja) * 2007-03-01 2008-09-18 Matsushita Electric Ind Co Ltd 商品購入システム
JP2010130251A (ja) * 2008-11-26 2010-06-10 Kyocera Corp 携帯電子機器
JP2012070356A (ja) * 2010-09-21 2012-04-05 Sony Ericsson Mobilecommunications Japan Inc センサ付き表示装置および電子機器
JP2015018413A (ja) * 2013-07-11 2015-01-29 セイコーエプソン株式会社 携帯端末、画像表示方法、及びプログラム
US20170024597A1 (en) * 2015-02-05 2017-01-26 Samsung Electronics Co., Ltd. Electronic device with touch sensor and driving method therefor
US20170220838A1 (en) * 2015-06-18 2017-08-03 Shenzhen Huiding Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
JP2017182504A (ja) * 2016-03-30 2017-10-05 富士通株式会社 情報処理装置および検出支援プログラム
US20170364763A1 (en) * 2016-06-15 2017-12-21 Samsung Electronics Co., Ltd. Electronic device supporting fingerprint verification function and method for operating the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2787462B1 (en) * 2013-04-05 2019-02-13 BlackBerry Limited Authentication using fingerprint sensor in gesture path
US9412002B2 (en) * 2013-12-26 2016-08-09 Intel Corporation Wearable electronic device having a fingerprint identification display
JP6657593B2 (ja) * 2015-05-08 2020-03-04 富士通株式会社 生体撮影装置、生体撮影方法及び生体撮影プログラム
US10318958B2 (en) * 2015-07-28 2019-06-11 Jong Ho Kim Smart watch and operating method using the same

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312324A (ja) 2001-04-13 2002-10-25 Sony Corp リストバンド型認証デバイス、認証システム、情報出力デバイス
JP2003091509A (ja) * 2001-09-17 2003-03-28 Nec Corp 携帯通信機器の個人認証方法およびそれを記述したプログラム
JP2008217187A (ja) * 2007-03-01 2008-09-18 Matsushita Electric Ind Co Ltd 商品購入システム
JP2010130251A (ja) * 2008-11-26 2010-06-10 Kyocera Corp 携帯電子機器
JP2012070356A (ja) * 2010-09-21 2012-04-05 Sony Ericsson Mobilecommunications Japan Inc センサ付き表示装置および電子機器
JP2015018413A (ja) * 2013-07-11 2015-01-29 セイコーエプソン株式会社 携帯端末、画像表示方法、及びプログラム
US20170024597A1 (en) * 2015-02-05 2017-01-26 Samsung Electronics Co., Ltd. Electronic device with touch sensor and driving method therefor
US20170220838A1 (en) * 2015-06-18 2017-08-03 Shenzhen Huiding Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
JP2017182504A (ja) * 2016-03-30 2017-10-05 富士通株式会社 情報処理装置および検出支援プログラム
US20170364763A1 (en) * 2016-06-15 2017-12-21 Samsung Electronics Co., Ltd. Electronic device supporting fingerprint verification function and method for operating the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3754477A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021260483A1 (ja) * 2020-06-26 2021-12-30 株式会社半導体エネルギー研究所 電子機器、及び電子機器の認証方法
JP7476266B2 (ja) 2021-09-14 2024-04-30 アップル インコーポレイテッド フィット性検出を有するウォッチバンド
US12007727B2 (en) 2021-09-14 2024-06-11 Apple Inc. Watch band with fit detection
KR20230049900A (ko) * 2021-10-07 2023-04-14 삼성전자주식회사 생체정보 추정 장치 및 방법
KR102622725B1 (ko) * 2021-10-07 2024-01-08 삼성전자주식회사 생체정보 추정 장치 및 방법

Also Published As

Publication number Publication date
JPWO2019159500A1 (ja) 2021-03-18
CN111886570A (zh) 2020-11-03
US11393257B2 (en) 2022-07-19
US20200401828A1 (en) 2020-12-24
EP3754477A4 (en) 2021-03-31
EP3754477A1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
ES2946003T3 (es) Método y dispositivo electrónico de procesamiento de notificaciones
US10708396B2 (en) Mobile terminal having card unit and method for controlling same
WO2019159500A1 (ja) 情報処理装置、情報処理方法、プログラム及びウェアラブル機器
US20160260086A1 (en) Mobile terminal and method for controlling the same
CN106055944B (zh) 移动终端及其控制方法
EP3012732B1 (en) Mobile terminal and controlling method thereof
US20190392422A1 (en) Mobile terminal and control method therefor
EP3400565B1 (en) Mobile terminal and method for controlling the same
EP3096275B1 (en) Mobile terminal and method for controlling the same
US20160364715A1 (en) Mobile terminal and control method thereof
US10713640B2 (en) Mobile terminal and control method therefor
US20180189468A1 (en) Mobile terminal and method for controlling same
KR20160136013A (ko) 이동 단말기 및 그 제어 방법
CN109547495B (zh) 敏感操作处理方法、装置、服务器、终端及存储介质
US10474892B2 (en) Mobile terminal and control method therefor
CN110809775A (zh) 一种基于人脸识别的支付方法、装置及终端
CN110288332A (zh) 银行卡绑定的系统、方法、装置、设备及存储介质
KR20150046852A (ko) 전자 장치 및 전자 장치의 암호를 이용한 인증 방법
US20180253717A1 (en) Terminal apparatus and control method for terminal apparatus
EP3001282A1 (en) Mobile watch type terminal and controlling method thereof
US20170090603A1 (en) Mobile terminal and method for controlling the same
CN111523878A (zh) 业务处理方法、装置、系统及存储介质
JPWO2019176009A1 (ja) 携帯情報端末
US20170330167A1 (en) Mobile terminal and control method thereof
WO2021156919A1 (ja) 電子機器、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906300

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020500289

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018906300

Country of ref document: EP

Effective date: 20200915