WO2020218084A1 - リモコン装置、情報処理方法及びプログラム - Google Patents

リモコン装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020218084A1
WO2020218084A1 PCT/JP2020/016403 JP2020016403W WO2020218084A1 WO 2020218084 A1 WO2020218084 A1 WO 2020218084A1 JP 2020016403 W JP2020016403 W JP 2020016403W WO 2020218084 A1 WO2020218084 A1 WO 2020218084A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
user
terminal
unit
mobile terminal
Prior art date
Application number
PCT/JP2020/016403
Other languages
English (en)
French (fr)
Inventor
真旭 徳山
Original Assignee
真旭 徳山
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 真旭 徳山 filed Critical 真旭 徳山
Priority to US17/606,379 priority Critical patent/US20220417359A1/en
Priority to JP2021516020A priority patent/JP7299973B2/ja
Priority to CN202080030710.2A priority patent/CN113728656B/zh
Publication of WO2020218084A1 publication Critical patent/WO2020218084A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098Interfacing with an on-board device of a vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances

Definitions

  • the present invention relates to a remote control device, an information processing method and a program.
  • Remote control devices are used to control various devices such as home appliances and vehicles. Further, with the development of mobile terminals such as smartphones, mobile terminals having a function of a remote control device have been proposed.
  • Patent Document 1 discloses a mobile phone terminal that can be used as a remote control device for various controlled devices.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a remote control device, an information processing method, and a program that are highly secure and easy to operate.
  • the remote control device is An authentication means that automatically acquires the user's biometric information and authenticates the user based on the biometric information and the operation mode of the user's terminal.
  • a receiving unit that receives instructions for the user's controlled device, When the authentication by the authentication means is successful, the transmission unit that transmits a signal indicating the instruction received by the reception unit to the control target device, and the transmission unit. To be equipped.
  • the authentication means determines the usage mode of the user who operates the remote control device, accumulates the information, and authenticates the user based on the operation mode at the time of use and the accumulated usage mode.
  • the authentication means authenticates based on a first authentication means that authenticates based on the first biometric information and an operation mode of a user's terminal, and a second biometric information that is different from the first biometric information.
  • the transmission unit is configured to be able to transmit a signal indicating instructions having more limited contents than when authenticated by the first transmission means.
  • the user is valid when the total value of the authentication score value based on the biometric information acquired from the user and the score value based on the usage mode is equal to or more than a predetermined total value. Authenticate as a user.
  • the transmission unit transmits a signal indicating an instruction to control the same control target device as the other remote control device to the control target device based on the authority set by the setting means. It may be configured as follows.
  • the transmission unit transmits a signal indicating an instruction to control the same control target device as the other remote control device to the control target device based on the authority notified from the authority notification means. It may be configured as follows.
  • the information processing method Authenticate the user based on the user's biometric information and the operation mode of the terminal, Accepts instructions for the device to be controlled If the authentication is successful, the instruction is sent to the external controlled device.
  • the program according to the present invention On the computer Processing to authenticate the user based on the biological information and the operation mode of the terminal device, Processing to receive instructions for the controlled device, Processing to send the received instruction to the controlled device when the authentication is successful, To execute.
  • authentication is performed based on biometric information and the operation mode (behavior) of the terminal. Therefore, the authentication is easy and correct, and the remote control operation can be facilitated.
  • FIG. 2A The figure which shows the whole structure of the electronic control system which concerns on Embodiment 1 of this invention.
  • Front view of the mobile terminal according to the first embodiment Configuration diagram of the mobile terminal according to the first embodiment
  • Information processing block diagram of the terminal control unit according to the first embodiment A block diagram showing a configuration of a controlled device according to the first embodiment.
  • FIG. 2A The figure which shows the score value table used for the user authentication in the mobile terminal shown in FIG. 2A.
  • Flow chart of authentication process for authenticating user in mobile terminal shown in FIG. 2A Diagram showing an example of the remote control target list Diagram showing an example of the operation screen Flowchart of operation menu display process Flow chart of instruction processing Flowchart of control processing according to the first embodiment Sequence diagram of user registration process according to the second embodiment Sequence diagram of device operation processing according to the second embodiment
  • the remote controller device is composed of a mobile terminal which is an example of a terminal device.
  • the mobile terminal automatically determines whether or not the user has the legitimate use authority, and controls when it is determined that the user has the legitimate use authority. It has a function of receiving an operation instruction to the target device and notifying or transmitting the instruction to the control target device.
  • control target device is the vehicle 5, and the types of operations are the door lock and unlock by the door device 53, the air conditioner on / off by the air conditioner device 56, and the audio device 57. It will be described as on / off.
  • FIG. 1 shows the configuration of the electronic control system 100 according to the first embodiment.
  • the electronic control system 100 includes a mobile terminal 1 held by the user and used as a remote control device, and a vehicle 5 to be controlled.
  • the mobile terminal 1 is an example of an information processing device within the scope of claims.
  • the mobile terminal 1 is a so-called smartphone, and uses biological information such as a user's face image, fingerprint, and voiceprint, and user's habit information based on the user's peculiar behavior when operating the mobile terminal 1, the operation state, and the like. It has an authentication function.
  • the mobile terminal 1 displays an in-camera 11A for photographing a user's face, a speaker 12A, a microphone (microphone) 12B for calling, and an operation input unit 14 in front of the mobile terminal 1. It is equipped with a touch panel that also serves as a unit 19. Further, the mobile terminal 1 is provided with a left fingerprint sensor 15A and a right fingerprint sensor 15B for detecting the user's fingerprint on the side surface. The mobile terminal 1 includes an inclination detection unit 13 for detecting the inclination of the mobile terminal 1 and a position detection unit 16 for detecting the current position of the mobile terminal 1. Further, the mobile terminal 1 is provided with a main camera 11B on the back surface capable of photographing a person, a landscape, an object, etc. as seen by the user.
  • the in-camera 11A and the main camera 11B are collectively referred to as a shooting unit 11.
  • the speaker 12A and the microphone 12B for calling are collectively referred to as a voice input / output unit 12.
  • the left fingerprint sensor 15A and the right fingerprint sensor 15B are collectively referred to as a fingerprint detection unit 15.
  • FIG. 2B is a block diagram showing the configuration of the mobile terminal 1.
  • the mobile terminal 1 includes a short-range communication unit 10, a photographing unit 11, a voice input / output unit 12, a tilt detection unit 13, an operation input unit 14, a fingerprint detection unit 15, a position detection unit 16, and a terminal storage.
  • a unit 17, a terminal control unit 18, a display unit 19, and a telephone communication unit 20 are provided.
  • the short-range communication unit 10 is composed of short-range wireless communication devices such as Bluetooth (registered trademark), Wi-Fi, and infrared communication, and wirelessly communicates with the control device of the vehicle 5 to be controlled to transmit and receive signals.
  • the photographing unit 11 includes the in-camera 11A and the main camera 11B shown in FIG. 2A.
  • the photographing unit 11 captures a still image or a moving image such as a camera using an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Sensor) sensor, a video camera, or the like, and acquires the still image or the moving image.
  • Various cameras that can be used can be used.
  • the voice input / output unit 12 includes the speaker 12A shown in FIG. 2A and the microphone 12B for telephone calls.
  • the speaker 12A outputs the voice or the like received in the voice call.
  • the microphone 12B for a call is a device that picks up the voice of the user.
  • the tilt detection unit 13 is a sensor that detects tilt, shaking, etc. of the mobile terminal 1.
  • the tilt detection unit 13 can be configured by using various sensors such as an acceleration sensor and an angle sensor that can detect the tilt of the mobile terminal 1.
  • the number of sensors such as an acceleration sensor and an angle sensor may be singular or plural. Further, the sensor may be one type or a combination of a plurality of types.
  • the operation input unit 14 is a device capable of inputting an operation from the user.
  • the fingerprint detection unit 15 is a sensor that detects the user's fingerprint.
  • the fingerprint detection unit 15 includes the left fingerprint sensor 15A and the right fingerprint sensor 15B shown in FIG. 2A.
  • the position detection unit 16 is a device capable of detecting the current position of the mobile terminal 1.
  • the position detection unit 16 can be configured by using a device such as GPS (Global Positioning System) that can detect the current position of the mobile terminal 1.
  • GPS Global Positioning System
  • the terminal storage unit 17 controls the authentication processing program 170, the biometric information database 171 for authentication, the user's habit database 172 for authentication, the score value table 173, the ID / PW storage unit 174, and the remote control control program 175. Includes target table 176.
  • the authentication processing program 170 is a program that performs processing for authenticating a user.
  • the authentication biometric information database 171 is a database that stores information on the biometric information of the user and the authentication result.
  • the authentication user habit database 172 is a database that stores information on user-specific habits when operating the mobile terminal 1 and authentication results.
  • the habits peculiar to the user are the behavior when the user operates the mobile terminal 1, the distance between the screen of the display unit 19 and the user's face, the keystroke, the way of holding, the position where the mobile terminal 1 is used, and the communication. It refers to user-specific behavior when operating the mobile terminal 1, such as the environment.
  • the score value table 173 is a table that holds score values, which will be described later, for authentication processing.
  • the ID / PW storage unit 174 stores the terminal identification information (Identifier: ID) and the password preset in the mobile terminal 1.
  • the remote control control program 175 is a program that displays an operation screen and transmits an operation signal to the control target device in response to an operation on the operation screen of the user. The details of the program will be described later.
  • the control target table 176 is a table that holds a control target device and its control contents.
  • the terminal control unit 18 executes various programs stored in the terminal storage unit 17. Further, the terminal control unit 18 includes a short-range communication unit 10, a photographing unit 11, a voice input / output unit 12, a tilt detection unit 13, an operation input unit 14, a fingerprint detection unit 15, and a position detection unit 16. Various data are acquired from the telephone communication unit 20 and processed, and stored in the terminal storage unit 17.
  • the display unit 19 displays the processing contents of various programs executed by the terminal control unit 18. Further, the display unit 19 can also display images such as still images and moving images shot by the shooting unit 11, data input from the operation input unit 14, and the like.
  • the display unit 19 is laminated on the operation input unit 14 and constitutes the touch panel shown in FIG. 2A.
  • the telephone communication unit 20 transmits and receives radio signals for telephone communication to and from the base station under the control of the terminal control unit 18.
  • the mobile terminal 1 includes a processor 21 for executing various programs, a memory 22 for deploying various programs, a display controller 23 for outputting various display data, a display device 24 for displaying various display data, and photographing.
  • a short-range communication device 27 that transmits and receives communication data between the I / O port 25 for connecting the unit 11, the voice input / output unit 12, and the like, the storage unit 26 that stores various programs and various data, and the vehicle 5.
  • a telephone communication device 28 The processor 21, the memory 22, the display controller 23, the I / O port 25, the storage unit 26, the short-range communication device 27, and the telephone communication device 28 are connected to each other via the data bus 29. There is.
  • the processor 21 reads various programs stored in the storage unit 26, expands them in the memory 22, and executes them.
  • the processor 21 is composed of processing devices such as a CPU (Central Processing Unit) and an MPU (Micro-processing Unit).
  • the memory 22 is composed of a storage element such as a RAM (Random Access Memory), a volatile or non-volatile semiconductor memory such as a flash memory, and a storage medium.
  • the display controller 23 is a controller that outputs various display data to the display device 24.
  • the display controller 23 is composed of a video signal output device such as a video card, a GPU (Graphics Processing Unit), and a graphic board.
  • the display device 24 is composed of a display device such as an LCD (Liquid Crystal Display) monitor and an organic EL (Electroluminescence) monitor.
  • the I / O port 25 is for connection that can connect the photographing unit 11, the audio input / output unit 12, the tilt detection unit 13, the operation input unit 14, the fingerprint detection unit 15, and the position detection unit 16. It is a port.
  • the I / O port 25 is composed of various ports to which devices and sensors can be connected, such as a USB (Universal General Bus) port and an IEEE1394 port.
  • the storage unit 26 is a device that stores various programs executed by the processor 21 and various data used in the various programs.
  • the storage unit 26 is composed of a non-volatile storage device such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive).
  • the short-range communication device 27 can perform short-range wireless communication with the vehicle 5.
  • the short-range communication device 27 is composed of various devices such as wireless LAN (Local Area Network) and Bluetooth (registered trademark) that perform relatively short-range communication by wireless communication.
  • the short-range communication device 27 constitutes the short-range communication unit 10.
  • the telephone communication device 28 includes a communication device that performs telephone communication with a base station (not shown).
  • the telephone communication device 28 constitutes a telephone communication unit 20.
  • the processor 21 executes the authentication processing program 170 stored in the terminal storage unit 17, the personal authentication unit 181 is realized in the terminal control unit 18 as shown in FIG. 2D. As a result, the user's personal authentication is executed.
  • the processor 21 executes the remote control control program 175 stored in the terminal storage unit 17, as shown in FIG. 2D, the operation menu display unit 182 that displays the operation menu on the terminal control unit 18 and the operation menu are displayed.
  • An operation instruction unit 183 and an initial registration unit 184 that transmit an operation signal corresponding to the operation are realized.
  • the mobile terminal 1 can function as a remote control device for the vehicle 5.
  • the personal authentication unit 181 is based on the biometric authentication using the user's biometric information and the history information of the operation mode of the mobile terminal 1. Perform habit authentication, which gives high points.
  • the operation menu display unit 182 displays an operation menu including a button indicating an operation target and an operation content on the display unit 19 as illustrated in FIG.
  • the operation instruction unit 183 responds to the user's touch operation to the button on the displayed operation menu, and transmits an instruction corresponding to the touched button to the vehicle 5 via the short-range communication unit 10.
  • the initial registration unit 184 registers the information of the vehicle 5 and performs a process of enabling the mobile terminal 1 to be used as a remote controller.
  • the vehicle 5 has the configuration shown in FIG. 2E.
  • the vehicle 5 is a device to be remotely controlled by a remote control device composed of a mobile terminal 1, and is a short-range communication unit 50, a device control unit 51, a storage unit 52, and a door device. It includes 53, a window device 54, an ignition device 55, an air conditioner 56, an audio device 57, and so on.
  • the short-range communication unit 50 performs short-range wireless communication with the short-range communication unit 10 of the mobile terminal 1.
  • the device control unit 51 receives an operation instruction from the mobile terminal 1 via the short-range communication unit 50, and according to the instruction, the door device 53, the window device 54, the ignition device 55, the air conditioner device 56, which are the control target devices. Controls the audio device 57 ...
  • the device control unit 51 is composed of a processor such as a CPU.
  • the storage unit 52 stores an operation program for causing the device control unit 51 to execute a control operation.
  • the storage unit 52 stores the remote control target list that is the target of the remote control operation.
  • the remote control target list includes a device to be operated by the remote control, the content of the operation, and an identification number of the device.
  • the door device 53 is the target of remote control operation.
  • the contents of the operation are door lock and release.
  • the device ID of the door device 53 is D1.
  • the storage unit 52 stores the authentication information for authenticating the remote controller of this device.
  • biometric information such as the fingerprint, face, and iris pattern of the user is registered in advance in the biometric information database 171 for authentication by the operation of the user.
  • the terminal control unit 18 of the mobile terminal 1 shown in FIG. 2B provides biometric information when the user operates the mobile terminal 1 such as fingerprint detection by the fingerprint detection unit 15 or when requested by another program. To get.
  • the biometric information data acquired by the terminal control unit 18 includes an image of the user's face taken by the in-camera 11A shown in FIG. 2A, a user's voice picked up by the microphone 12B for calling, and a user's voice taken by the in-camera 11A. An image of the iris, a fingerprint detected by the fingerprint detection unit 15, and the like.
  • the terminal control unit 18 uses the in-camera 11A shown in FIG. 2A to display the user. An image of the face is taken and acquired as the user's biological information. Further, when the user makes a call from the mobile terminal 1 to another person and makes a call, the terminal control unit 18 acquires the user's voice picked up by the call microphone 12B as the user's biometric information. When the user holds the mobile terminal 1 and brings the front surface of the display unit 19 shown in FIG. 2A closer to the face than a certain distance, the terminal control unit 18 captures the image of the user's iris taken by the in-camera 11A. Acquired as biometric information of. When the user holds the mobile terminal 1 for a predetermined time or longer, the terminal control unit 18 acquires the fingerprint detected by the fingerprint detection unit 15 as the user's biological information.
  • the user brings the mobile terminal 1 to a position where the front surface of the display unit 19 shown in FIG. 2A faces the user's face. It shall be.
  • the terminal control unit 18 captures an image of the user's face from the in-camera 11A and stores it in the mobile terminal 1 as the user's biological information.
  • the terminal control unit 18 compares the feature amount in the user's face image registered in advance in the mobile terminal 1 with the feature amount in the user's face image acquired from the in-camera 11A, and obtains the similarity.
  • the score value is calculated from this similarity.
  • the score value is set as an upper limit value when the feature amount of the data registered in advance and the feature amount of the data acquired by the terminal control unit 18 match, and as a lower limit value when they do not match. If it is not a match or a mismatch, the score value is a value set according to the similarity of the features.
  • the upper limit value and the lower limit value of the score value are stored in the score value table 173 stored in the terminal storage unit 17 of the mobile terminal 1 shown in FIG. 2B.
  • the score values set in the score value table 173 are shown in FIG. 3D.
  • -100 to 100 are set as the upper limit value and the lower limit value of the score value in the biological information.
  • -50 to 50 are set as the upper limit value and the lower limit value of the score value in the user's habit data.
  • the terminal control unit 18 writes the acquired biometric information data and the obtained score value into the authentication biometric information database 171 shown in FIG. 2B.
  • the table of the biometric information database 171 for authentication is shown in FIG. 3B.
  • the table of the biometric information database 171 for authentication includes each item of the date and time when the terminal control unit 18 acquired the biometric information, the type of the acquired biometric information, the acquired information, and the score value.
  • the terminal control unit 18 writes 12:22:23 on March 1, 2019, which is the date and time when the biometric information was acquired, in the date and time item of the table of the biometric information database 171 for authentication shown in FIG. 3B.
  • the terminal control unit 18 writes a face in the item of the acquired biometric information type.
  • the terminal control unit 18 writes the data of the user's face image acquired from the in-camera 11A in the acquired information item.
  • the terminal control unit 18 writes 100 in the score value item.
  • the terminal control unit 18 acquires the user's habit data.
  • This user's habit refers to the behavior peculiar to the user, such as the behavior, operation state, location, communication state, etc. when the user uses the mobile terminal 1.
  • the user habit data acquired by the terminal control unit 18 is data on the same date and time as when the biometric information was acquired. For example, at 12:22:23 on March 1, 2019 shown in FIG. 3A, the terminal control unit 18 and the user's face obtained from the image of the user's face taken by the in-camera 11A shown in FIG. 2A.
  • the position information and the like of the mobile terminal 1 acquired from the position detection unit 16 are acquired as user habit data.
  • the terminal control unit 18 compares the feature amount in each data related to the user's habit registered in advance in the mobile terminal 1 with the feature amount in each data related to the acquired user's habit, and obtains the similarity.
  • the terminal control unit 18 obtains a score value in each data regarding the user's habit based on the obtained similarity. This score value is a value within the range of the upper limit value 50 to the lower limit value -50 set in the score value table 173 shown in FIG. 3D.
  • the terminal control unit 18 writes the acquired user habit data and the obtained score value into the authentication user habit database 172 stored in the terminal storage unit 17 of FIG. 2B.
  • a table of the authentication user habit database 172 is shown in FIG. 3C.
  • the table of the user habit database 172 for authentication includes each item of the date and time when the terminal control unit 18 acquired the user habit data, the type of the user habit, the acquired data, and the score value.
  • the terminal control unit 18 writes 12:22:23 on March 1, 2019, which is the same as the date and time when the biometric information was acquired, in the date and time item of the table of the authentication user habit database 172 shown in FIG. 3C. ..
  • the terminal control unit 18 writes the distance between the face and the screen in the item of the user's habit.
  • the terminal control unit 18 writes 250 mm in the item of acquired information. This 250 mm is the distance between the user's face and the screen obtained by the terminal control unit 18 from the image of the user's face taken by the in-camera 11A.
  • the terminal control unit 18 compares the obtained value of the distance between the user's face and the screen with the value of the distance between the user's face and the screen registered in the mobile terminal 1, and determines the score value from the similarity. Ask. Here, it is assumed that the distances do not match but the similarity is high, and the obtained score value is 35. The terminal control unit 18 writes 35 in the score value item of the table shown in FIG. 3C.
  • the terminal control unit 18 displays data on the obtained user habits such as the tilt angle of the mobile terminal 1 obtained by the tilt detection unit 13 in each item of the table of the authentication user habit database 172 shown in FIG. 3C. Write to. After writing the data related to the habits of all the users, the terminal control unit 18 sets the score values of the same date and time in the biometric information database 171 for authentication shown in FIG. 3B and the habit database 172 of the authentication user shown in FIG. 3C. To sum.
  • the score value of biometric information is 100 at the date and time of 12:22:23 on March 1, 2019 in the biometric information database 171 for authentication shown in FIG. 3B.
  • the score values of the user habits in the authentication user habit database 172 shown in FIG. 3C are 35, 40, -15, 25, and 42 in order from the top.
  • the total of the score value 100 of this biological information and the score values 35, 40, -15, 25, and 42 of the user's habit is 227.
  • the terminal control unit 18 acquires the score value set in the item of the total value from the score value table 173 shown in FIG. 3D.
  • the terminal control unit 18 compares the total score value of the biometric information and the user's habit with the score value set in the item of the total value from the score value table 173. If the total score value of the biometric information and the user's habit is equal to or greater than the score value set in the total value item of the score value table 173, the terminal control unit 18 corrects the user using the mobile terminal 1. Authenticate as a user, and if it is less than or equal to the score value, do not authenticate the user as not being the correct user.
  • the terminal control unit 18 compares the total value 227 of the obtained score values with the total value 200 of the score values set in the score value table 173. Since the total value of the obtained score values is equal to or greater than the total value of the score values set in the score value table 173, the terminal control unit 18 authenticates the user operating the mobile terminal 1 as a correct user.
  • the user authentication method in the mobile terminal 1 executed by the personal authentication unit 181 is stored in the terminal storage unit 17 as the authentication processing program 170.
  • the personal authentication unit 181 of the terminal control unit 18 executes the authentication processing program 170 when there is an operation of the mobile terminal 1 by the user such as fingerprint detection by the fingerprint detection unit 15 or when there is a request from another program. Authenticate the user.
  • the authentication process executed by the authentication process program 170 will be described below with reference to the flow chart of the authentication process shown in FIG.
  • the personal authentication unit 181 of the terminal control unit 18 acquires biometric information such as a user's face image and fingerprint (step S1). Subsequently, the personal authentication unit 181 of the terminal control unit 18 acquires data related to the user's habit (step S2).
  • the personal authentication unit 181 of the terminal control unit 18 compares the feature amount of the biometric information registered in advance in the mobile terminal 1 with the feature amount of the acquired biometric information, and obtains the similarity.
  • the personal authentication unit 181 of the terminal control unit 18 obtains a score value within the range of the upper limit value to the lower limit value of the score value of the biometric information set in the score value table 173 of FIG. 3D from the obtained similarity.
  • the personal authentication unit 181 of the terminal control unit 18 compares the feature amount in the user habit data registered in advance in the mobile terminal 1 with the feature amount in the acquired user habit data, and determines the degree of similarity. Ask.
  • the personal authentication unit 181 of the terminal control unit 18 obtains a score value within the range from the upper limit value to the lower limit value of the score value of the user's habit set in the score value table 173 of FIG. 3D from the obtained similarity (step). S3).
  • the personal authentication unit 181 of the terminal control unit 18 writes the acquired biometric information data and the obtained score value into the authentication biometric information database 171 shown in FIG. 2B. Further, the personal authentication unit 181 of the terminal control unit 18 writes the acquired user habit data and the obtained score value into the authentication user habit database 172 stored in the terminal storage unit 17 of FIG. 2B (step S4). ..
  • the personal authentication unit 181 of the terminal control unit 18 totals the score values in the biometric information and the user's habit data at the same date and time (step S5).
  • the personal authentication unit 181 of the terminal control unit 18 acquires the score value set in the item of the total value from the score value table 173 shown in FIG. 3D.
  • the personal authentication unit 181 of the terminal control unit 18 compares the total score value of the biometric information and the user's habit with the score value set in the item of the total value from the score value table 173 (step S6).
  • step S6 If the total biometric information and the user's habit score value are equal to or greater than the score value (threshold value) set in the total value item from the score value table 173, the personal authentication unit 181 of the terminal control unit 18 (step S6; YES), the user using the mobile terminal 1 is authenticated as a correct user (step S7).
  • the personal authentication unit 181 of the terminal control unit 18 obtains an average value of the feature amount of the biometric information registered in advance in the mobile terminal 1 and the feature amount of the acquired biometric information.
  • the personal authentication unit 181 of the terminal control unit 18 updates the feature amount of the biometric information registered in the mobile terminal 1 according to the obtained average value. Further, the personal authentication unit 181 of the terminal control unit 18 obtains an average value of the feature amount in the user habit data registered in advance in the mobile terminal 1 and the feature amount in the acquired user habit data.
  • the personal authentication unit 181 of the terminal control unit 18 updates the feature amount in the user's habit data registered in the mobile terminal 1 according to the obtained average value (step S8).
  • the authentication unit 181 causes the display unit 19 shown in FIG. 2B to display a message indicating that the user is different (step S9).
  • the personal authentication unit 181 of the terminal control unit 18 sets the mobile terminal 1 to a state in which it is difficult to operate, and then returns to step S1.
  • the state in which the operation of the mobile terminal 1 is difficult is, for example, a state in which the screen of the display unit 19 shown in FIG. 2A is grayed out so that the input from the operation input unit 14 is not accepted.
  • the authentication processing program 170 is an example of user authentication means within the scope of claims.
  • the user who uses the mobile terminal 1 it is possible to determine whether or not the user who uses the mobile terminal 1 is the user himself / herself.
  • the user who uses the mobile terminal 1 when the user who uses the mobile terminal 1 is authenticated as the user himself / herself, he / she can use it as a remote control device of the controlled device, and the mobile terminal 1 If the user who uses is not authenticated as the user himself / herself, he / she cannot use it as a remote control device.
  • the operation menu display unit 182 of the terminal control unit 18 starts the operation menu display process shown in FIG. 7.
  • the operation menu display unit 182 of the terminal control unit 18 first executes the authentication process (step S11) described with reference to FIG.
  • step S12 if the user is authenticated (step S12: Yes), the operation menu display unit 182 of the terminal control unit 18 is shown in FIG. 5 stored in the control target table 176. According to the remote control target list, the operation menus shown in FIG. 6 are combined and displayed on the display unit 19 (step S13). On the other hand, when the authentication is not established (step S12: No), the operation menu display unit 182 of the terminal control unit 18 does not display the operation menu shown in FIG. 6 and displays a message indicating that the user is not the correct user (step S14). .. The operation menu display unit 182 of the terminal control unit 18 sets the operation to a difficult state and ends the process.
  • step S13 When the operation menu shown in FIG. 6 is displayed in the process of step S13, the user presses (touches) the button corresponding to the operation to be instructed. In response to pressing the button, the operation instruction unit 183 of the terminal control unit 18 starts the operation instruction process shown in FIG. When the operation instruction process is started, the operation instruction unit 183 of the terminal control unit 18 first executes the authentication process (step S21) described with reference to FIG.
  • step S22 If the user is authenticated in the authentication process (step S22: Yes), the operation instruction unit 183 of the terminal control unit 18 transmits an instruction signal corresponding to the operated button via the short-range communication unit 10. Transmit (step S23).
  • This instruction signal includes the terminal ID of the transmission source mobile terminal 1, the authentication information for authenticating the transmission source mobile terminal 1, the device ID of the device to be operated, and the content of the operation.
  • step S22 when the authentication is not established (step S22: No), the operation instruction unit 183 of the terminal control unit 18 does not transmit the operation signal and displays a message indicating that the user is not the correct user on the display unit 19 shown in FIG. 2B. (Step S24).
  • the operation instruction unit 183 of the terminal control unit 18 sets the operation to a difficult state and ends the process.
  • the device control unit 51 of the vehicle 5 to be controlled receives the instruction signal transmitted in step S23 via the short-range communication unit 50. Upon receiving the operation signal, the device control unit 51 starts the device control process shown in FIG. First, a terminal authentication process for determining whether or not the source mobile terminal 1 has authority is executed based on the received terminal ID and authentication information (step S31).
  • step S32: Yes If the authentication is successful (step S32: Yes), the device specified by the device ID included in the received operation signal is made to execute the control specified by the operation content (step S33), and the process is terminated. On the other hand, if the authentication is unsuccessful (step S32: No), the process ends without doing anything.
  • the terminal control unit 18 of the mobile terminal 1 transmits a setting request to the vehicle 5 via the short-range communication unit 10 in response to an operation of the user, for example (step S101).
  • the device control unit 51 of the vehicle 5 receives a setting request via, for example, the short-range communication unit 50.
  • the device control unit 51 of the vehicle 5 transmits a setting permission signal in response to a user operation (step S501).
  • the terminal control unit 18 of the mobile terminal 1 receives the setting permission signal via the short-range communication unit 50.
  • the terminal control unit 18 transmits the terminal ID and PW (password) stored in the ID / PW storage unit 174 to the vehicle 5 (step S102).
  • the device control unit 51 stores the transmitted terminal ID and PW (password) in the storage unit 52.
  • the terminal control unit 18 generates a private key and a public key.
  • the terminal control unit 18 stores the private key in the secure area of the terminal storage unit 17 (step S103).
  • the secure area means an area of the storage area of the terminal storage unit 17 that cannot be accessed until the user authentication is successful.
  • the device control unit 51 of the vehicle 5 generates challenge data in order to confirm the validity of the mobile terminal 1.
  • the device control unit 51 transmits the generated challenge data to the mobile terminal 1 (step S502).
  • the terminal control unit 18 of the mobile terminal 1 attaches a digital signature to the challenge data received by the private key, and transmits the challenge data together with the public key to the vehicle 5 (step S104).
  • the device control unit 51 of the vehicle 5 receives the challenge data, the digital signature, and the public key.
  • the device control unit 51 verifies the validity of the mobile terminal 1 based on the received challenge data and the digital signature. If the verification is successful, the device control unit 51 stores the public key of the mobile terminal 1 in the storage unit 52 (step S503).
  • the device control unit 51 of the vehicle 5 generates a common key common to the mobile terminal 1 and the vehicle 5 by generating a random number, for example, and stores it in the storage unit 52. Further, the device control unit 51 of the vehicle 5 encrypts the generated common key with the public key of the mobile terminal 1 and transmits it to the mobile terminal 1 (step S504).
  • the terminal control unit 18 of the mobile terminal 1 receives the common key and decrypts it with the private key.
  • the terminal control unit 18 of the mobile terminal 1 stores the composite common key in the secure area of the terminal storage unit 17 (step S105).
  • the terminal control unit 18 of the mobile terminal 1 encrypts its own terminal ID and the application ID of the remote control control program 175 with the decrypted common key.
  • the terminal control unit 18 attaches a digital signature generated by a common key to the encrypted terminal ID and the application ID, and transmits the encrypted terminal ID to the vehicle 5 (step S106).
  • the device control unit 51 of the vehicle 5 receives the terminal ID, digital signature, etc. of the mobile terminal 1.
  • the device control unit 51 verifies the validity of the received information such as the terminal ID based on the received digital signature (step S505). If the verification is successful, the device control unit 51 of the vehicle 5 stores the received information such as the terminal ID in the storage unit 52 (step S506).
  • the device control unit 51 of the vehicle 5 obtains the hash value of its own digital key.
  • the device control unit 51 encrypts the obtained hash value with the public key and transmits it to the mobile terminal 1 (step S507).
  • the terminal control unit 18 of the mobile terminal 1 receives the hash value of the encrypted digital key and decrypts it with the private key.
  • the terminal control unit 18 stores the hash value of the decrypted digital key in the secure area of the terminal storage unit 17 (step S107).
  • the mobile terminal 1 is registered as the remote controller device of the vehicle 5.
  • the user causes, for example, display the operation menu illustrated in FIG. 6 on the display unit 19 of the mobile terminal 1.
  • the user touches a button on the operation menu according to the content to be operated.
  • the operation instruction unit 183 of the terminal control unit 18 shown in FIG. 2D specifies this as an operation request process (step S111).
  • the personal authentication unit 181 of the terminal control unit 18 shown in FIG. 2D executes an authentication process for determining the legitimacy of the user (step S112).
  • the content of the authentication process itself is the same as the process described with reference to FIG.
  • the operation instruction unit 183 of the terminal control unit 18 generates a control command according to the touched button and transmits it to the vehicle 5 (step S113). For example, if the lock button of the door device shown in FIG. 6 is touched, the operation instruction unit 183 of the terminal control unit 18 locks the device ID with reference to the remote control target list shown in FIG. A control command instructing this is generated and transmitted to the vehicle 5.
  • the device control unit 51 shown in FIG. 2E receives a control command and stores it in the storage unit 52. Subsequently, the device control unit 51 generates a random number to generate challenge data, encrypts the challenge data with a common key, transmits the random number to the mobile terminal 1, and requests authentication again (step S511).
  • the terminal control unit 18 of the mobile terminal 1 receives and stores the challenge data. Subsequently, the personal authentication unit 181 of the terminal control unit 18 shown in FIG. 2D executes the authentication process shown in FIG. 4 (step S114). As a result, the legitimacy of the user is determined.
  • the terminal control unit 18 determines the device ID of the vehicle 5, the terminal ID of the own mobile terminal 1, the application ID of the remote control control program 175, the hash value of the received challenge data, and the digital key received at the time of registration.
  • the hash value of is encrypted with a common key, and these are transmitted to the vehicle 5 (step S115).
  • one mobile terminal 1 can be used by only one user.
  • the present invention is not limited to this, and various modifications are possible.
  • an example in which one mobile terminal 1 can be used by a plurality of people will be described.
  • the user A and the user B share the mobile terminal 1 as a remote control device.
  • the number of people is arbitrary.
  • User A is the original user of the mobile terminal 1, and is authenticated by biometric information and user habits. Hereinafter, it is referred to as a main user.
  • the user B is a person whose use has been approved by the user A, and is hereinafter referred to as a sub-user.
  • the primary user and the sub-user are collectively referred to as a user.
  • the biometric information of the sub-user is stored in advance in the area for the sub-user of the biometric information database 171 for authentication stored in the terminal storage unit 17 of the mobile terminal 1 shown in FIG. 2B.
  • a face image for face recognition is stored.
  • the authentication data related to the user's habit is set to 0 in the score value table 137A shown in FIG.
  • the operation of the mobile terminal 1 as a remote control device is permitted.
  • restrictions are set on the devices that can be operated by the sub-user. There are no restrictions on the primary user.
  • the operable range of the primary user and the operable range of the secondary user may be the same.
  • the registration operation may be the same as the process shown in FIG. Next, when actually used as a remote control device, the operation process of FIG. 11 is executed.
  • the user causes the display unit 19 of the mobile terminal 1 to display the operation menu illustrated in FIG.
  • the user touches a button on the operation menu according to the content to be operated.
  • the operation instruction unit 183 of the terminal control unit 18 shown in FIG. 2D specifies this as an operation request process (step S111).
  • the personal authentication unit 181 of the terminal control unit 18 shown in FIG. 2D executes an authentication process for determining the legitimacy of the user (step S112).
  • the content of the authentication process itself is the same as the process described with reference to FIG.
  • the terminal control unit 18 of the mobile terminal 1 can determine in step S111 whether the user who operates the mobile terminal 1 at that time is the main user or the sub user.
  • step S113 the terminal control unit 18 of the mobile terminal 1 determines from the remote control target list shown in FIG. 14 whether or not the button operated in step S111 is recognized by the operating operator.
  • the terminal control unit 18 of the mobile terminal 1 transmits a control command to the vehicle 5 only when the operation is possible.
  • the terminal control unit 18 of the mobile terminal 1 does not transmit the control command to the vehicle 5.
  • the terminal control unit 18 of the mobile terminal 1 transmits a control command to the vehicle 5.
  • the main user can perform all operations using the remote control device, and the sub-user can perform only some limited operations. Therefore, different security levels can be set for the primary user and the secondary user.
  • the mobile terminal 1 may not determine the transmission / non-transmission of the control command, but the controlled device may determine the execution / non-execution of the operation command.
  • the signals transmitted in steps S113 and S115 include user identification information indicating whether the user is the primary user or the secondary user.
  • the device control unit 51 determines, based on the user identification information, whether or not the operation instructed by the control command is permitted to the user when executing the control command, and is permitted. Only in the case, control is performed according to the control command.
  • the number of people and the number of terminals are arbitrary. Further, all the mobile terminals 1 may be set to the third embodiment, and some mobile terminals 1 may be set to the third embodiment.
  • the user A is hereinafter referred to as a main user.
  • the mobile terminal 1A is a mobile terminal for the main user, and is hereinafter referred to as a main terminal 1A.
  • the user B is a person whose use has been approved by the user A, and is hereinafter referred to as a sub-user.
  • the mobile terminal used by the sub-user is hereinafter referred to as sub-terminal 1B.
  • the remote control target list shown in FIG. 14 is stored in the terminal storage unit 17 of the sub-terminal 1B and the storage unit 52 of the vehicle 5. As a result, restrictions can be set on the operation of the sub-terminal 1B.
  • the operation when such a setting is made will be described with reference to FIGS. 11 and 17.
  • the user registration process is the same as the process shown in FIG.
  • the sub-terminal 1B the following user registration process shown in FIG. 17 is required. The following processing is based on the premise that the authentication of the main terminal 1A and the sub terminal 1B is successful. Further, the main terminal 1A sets the authority information shown in FIG. 16 as a range that can be operated by the sub terminal 1B based on the remote control target list shown in FIG.
  • the terminal control unit 18 of the main terminal 1A sends the sub-terminal 1B a hash value of a digital key encrypted with a common key with the vehicle 5 and the authority information shown in FIG.
  • the signature of the main terminal 1A is transmitted to the sub terminal 1B (step S121).
  • the common key with the vehicle 5 is the common key received from the vehicle 5 in step S104 of the user registration process shown in FIG.
  • the terminal control unit 18 of the sub-terminal 1B receives the hash value of the encrypted digital key, the signature of the main terminal 1A, and the like, and stores it in the storage unit 52.
  • the terminal control unit 18 of the sub-terminal 1B sets the remote control target list shown in FIG. 14 stored in the terminal storage unit 17 based on the authority information received from the main terminal 1A.
  • step S121 is an example of authority notification means within the scope of claims.
  • the terminal control unit 18 of the sub-terminal 1B is an example of the setting means in the claims.
  • the terminal control unit 18 of the sub-terminal 1B generates a pair of the private key and the public key and stores them in the secure area of the terminal storage unit 17 (step S201).
  • the terminal control unit 18 of the sub-terminal 1B requests the vehicle 5 to authenticate the sub-terminal 1B (step S202).
  • the device control unit 51 of the vehicle 5 responds to the authentication request and transmits the authentication request information to the sub-terminal 1B (step S531).
  • the terminal control unit 18 of the sub terminal 1B responds to the public key generated in step S201, the authority information received from the main terminal 1A, the terminal ID of the sub terminal 1B, and the user of the sub terminal 1B.
  • the ID, the authentication response information for the authentication request, and the signature of the own terminal are generated and transmitted to the vehicle 5 (step S203).
  • the device control unit 51 of the vehicle 5 receives these information, verifies the authentication response information, the signature of the sub terminal 1B, and the signature of the main terminal 1A, and verifies the validity of the sub terminal 1B (step S532).
  • the device control unit 51 of the vehicle 5 stores information such as the terminal ID, application ID, and user authority of the sub-terminal 1B, and the public key of the sub-terminal 1B in the storage unit 52 (Ste S533).
  • the device control unit 51 of the vehicle 5 encrypts the common key (common key of the main terminal 1A and the vehicle 5) with the public key of the sub terminal 1B and transmits it to the sub terminal 1B (step S534).
  • the terminal control unit 18 of the sub-terminal 1B decrypts the received common key with the private key and stores it in the secure area of the terminal storage unit 17 (step S204).
  • the device control unit 51 of the vehicle 5 encrypts the terminal ID of the sub-terminal 1B with the public key of the sub-terminal 1B and transmits it to the main terminal 1A (step S535).
  • the device control unit 51 of the main terminal 1A decodes the terminal ID of the received sub terminal 1B and stores it in the secure storage area of the terminal storage unit 17 (step S122). The above process completes the registration of the sub-terminal 1B.
  • the procedure for controlling the vehicle 5 using the sub-terminal 1B is substantially the same as the device operation process in the third embodiment shown in FIG.
  • the operation for the device for which the sub-terminal 1B is not permitted or the operation for which the sub-terminal 1B is not permitted is selected, the operation is based on the authority information stored in the sub-terminal 1B or the vehicle 5. Ignored by discrimination.
  • the terminal control unit 18 of the sub-terminal 1B may hide or display non-selectable buttons that cannot be selected based on the authority information.
  • the process of deleting the sub-terminal once registered can be performed only by the main terminal 1A.
  • the user registration deletion process which is the process of deleting the once registered sub-terminal, will be described with reference to FIG.
  • the main user After authenticating with the main terminal 1A, the main user sends the terminal control unit 18 of the main terminal 1A shown in FIG. 2B to the sub terminal (here, the sub terminal 1B) to be deleted from the secure area of the terminal storage unit 17. ) Is read out.
  • the terminal control unit 18 of the main terminal 1A encrypts the read terminal ID with a common key (step S131).
  • the terminal control unit 18 of the main terminal 1A transmits a request for authentication of the own terminal to the vehicle 5 (step S132).
  • the device control unit 51 of the vehicle 5 generates challenge data for an authentication request and transmits it to the main terminal 1A (step S541).
  • the terminal control unit 18 of the main terminal 1A encrypts the terminal ID, application ID, and user information of the sub-terminal 1B to be deleted with a common key, creates signature information, and transmits it to the vehicle 5 (step S133).
  • the device control unit 51 of the vehicle 5 receives the encrypted terminal ID, signature information, and the like, and verifies the validity of the received terminal ID, user information, and the like based on the received signature information (step S542).
  • the device control unit 51 of the vehicle 5 notifies the main terminal 1A of the success of the authentication (step S543).
  • the terminal control unit 18 of the main terminal 1A encrypts the terminal ID of the sub-terminal 1B to be deleted with a common key and transmits it to the vehicle 5 (step S134).
  • the device control unit 51 of the vehicle 5 receives the encrypted terminal ID, and deletes the registration information of the sub-terminal 1B based on the received information (step S544).
  • the device control unit 51 of the vehicle 5 generates a new common key and encrypts it with the public key of the main terminal 1A.
  • the device control unit 51 of the vehicle 5 transmits the encrypted common key to the main terminal 1A (step S545).
  • the terminal control unit 18 of the main terminal 1A updates the common key stored in the secure area (step S135).
  • the information of the sub terminal 1B is deleted from the vehicle 5 and the main terminal 1A, and the sub terminal 1B cannot be used as a remote control device.
  • the user who uses the mobile terminal 1 when the result of authentication by biometric information is gray and it cannot be clearly determined whether or not the user is the user, the user's habit data is used for authentication. As a result, even when it is gray that it is not possible to clearly determine whether or not the user who uses the mobile terminal 1 is the user himself / herself by the authentication by the biometric information, the user himself / herself can be authenticated by using the user's habit data.
  • FIG. 19 shows a block diagram showing the configuration of the mobile terminal 1 according to the fifth embodiment.
  • the mobile terminal 1 is an authentication biometric information database in which the terminal storage unit 17A collects the authentication processing program 170A for performing the user authentication processing according to the fifth embodiment and the biometric information of the user acquired by the mobile terminal 1. It includes 171A, an authentication user habit database 172A that summarizes user habit data acquired by the mobile terminal 1, and a tilt information table 177 for storing the tilt state of the mobile terminal 1.
  • the authentication processing program 170A is a program that authenticates the user based on the user's biometric information and the user's habit data acquired by the mobile terminal 1.
  • the authentication biometric information database 171A is a database for storing information on the biometric information of the user and the authentication value used for authentication.
  • the authentication user habit database 172A is a database for storing information on user-specific habits when operating the mobile terminal 1, authentication pass conditions, and the like.
  • the habits peculiar to the user are the behavior when the user operates the mobile terminal 1, the distance between the screen of the display unit 19 and the user's face, the keystroke, the way of holding, the position where the mobile terminal 1 is used, and the identification. Refers to user-specific things such as the number of connections to the communication network, launching of a specific application, and operation.
  • the tilt information table 177 is a table for storing the tilt angle of the mobile terminal 1 detected by the tilt detection unit 13, the acquisition date and time, and the waiting time for acquisition.
  • the details of the authentication biometric information database 171A, the authentication user habit database 172A, and the inclination information table 177 will be described later.
  • the processor 21 of the mobile terminal 1 shown in FIG. 2C executes the authentication processing program 170A stored in the terminal storage unit 17A of the mobile terminal 1 shown in FIG. 19 to cause the terminal control unit 18 to process the information processing shown in FIG. 20.
  • the block is realized.
  • the mobile terminal 1 is based on biological information such as an image, fingerprint, and voice print of the user's own face, and data on the user's habits due to the user's unique behavior when operating the mobile terminal 1, the operation state, and the like. Therefore, the user can be authenticated and various functions on the mobile terminal 1 can be executed.
  • the information processing block includes an authentication information acquisition unit 185 that acquires biometric information for authentication and user habit data from the short-range communication unit 10, the photographing unit 11, and the like, and an authentication determination unit 186 that authenticates whether or not the user is the person himself / herself.
  • the authentication result display unit 187 that displays the authentication result on the display unit 19, and the authentication information update unit 188 that updates the information of various databases and tables stored in the terminal storage unit 17A according to the instruction from the authentication determination unit 186. To be equipped.
  • the authentication information acquisition unit 185 acquires biometric information for authentication and user habits from the short-range communication unit 10, the photographing unit 11, and the like.
  • the authentication determination unit 186 authenticates the user based on the biometric information for authentication acquired from the authentication information acquisition unit 185, the user's habit, the authentication value stored in various databases of the terminal storage unit 17A, the acceptance conditions, and the like. I do.
  • the authentication result display unit 187 receives the user's authentication result from the authentication determination unit 186, and causes the display unit 19 to display a message, an image, or the like according to the authentication result.
  • the authentication information update unit 188 updates the data stored in various databases and tables stored in the terminal storage unit 17A based on the instruction from the authentication determination unit 186.
  • each biometric information acquired by the authentication information acquisition unit 185 is an example of the first biometric information and the second biometric information within the claims. Further, the authentication of the user by each biometric information is an example of the first authentication means and the second authentication means in the claims.
  • each table of the authentication biometric information database 171A, the authentication user habit database 172A, and the tilt information table 177 stored in the terminal storage unit 17A is described below with reference to FIGS. 21A to 21C.
  • the types of biometric information such as face and voice
  • the registration information which is the biometric information of the user himself
  • the registration information and FIG. 20 are shown.
  • the average value of the authentication values obtained from the biometric information acquired by the authentication information acquisition unit 185 is stored.
  • the registered information stored in the table of the authentication biometric information database 171A is the biometric information of the user himself / herself.
  • the registration information is information registered in advance before the authentication process is performed on the mobile terminal 1, and is updated when the user himself / herself can be authenticated.
  • the registered information includes, for example, a feature amount obtained from a face image if the type of biometric information is a face, and a feature amount or voice data obtained from voice data or voice data if the type of biometric information is voice and its features. If the type of biometric information is iris, the iris data is stored, and if the type of biometric information is fingerprint, the feature amount obtained from the fingerprint image is stored.
  • the determination of similarity of biometric information is performed based on the authentication value.
  • the authentication value is a value obtained based on the result of comparing the registered information with the biometric information acquired by the authentication information acquisition unit 185 shown in FIG. 20.
  • the authentication value approaches 0 when the registered information and the biometric information acquired by the authentication information acquisition unit 185 are similar, and approaches 1 when they are not similar.
  • the biometric information database 171A for authentication includes an average value of authentication values, an authentication threshold value for determining the authentication value, and an authentication allowable range value indicating a case where the user is gray in the authentication threshold value. And are included.
  • the average value of the authentication value is the average value of the registration information and the authentication value obtained from the biometric information acquired by the authentication information acquisition unit 185.
  • the authentication threshold is obtained by comparing the registered information with the biometric information acquired by the authentication information acquisition unit 185, and if the authentication value obtained based on the comparison result is less than or equal to this value, the user is determined to be the user himself / herself. It is a standard value for.
  • the authentication threshold is a value that fluctuates according to the authentication status of the user, and an upper limit value is set in advance.
  • the upper limit value is a value at which the user should not be authenticated only with the user himself / herself and biometric information when the value exceeds the value.
  • the authentication threshold is 0.4 between 0, which approaches the case where the registered information and the biometric information acquired by the authentication information acquisition unit 185 are similar, and 1 which approaches the case where the information is not similar, the authentication is performed.
  • the upper limit of the threshold value is 0.45.
  • the authentication allowable value is obtained by comparing the registered information with the biometric information acquired by the authentication information acquisition unit 185, and when the authentication value obtained based on the comparison result is equal to or more than this value, the user is the user himself / herself. It is a reference value for determining that there is no such thing.
  • the authentication allowable value is a value including the authentication allowable range value indicating the case where the user is gray as described above, it is a value that fluctuates according to the fluctuation between the authentication threshold and the authentication allowable range value.
  • An upper limit is set in advance for the authentication tolerance, and this is called the maximum authentication tolerance. If the maximum authentication tolerance value is equal to or more than this value, the user should be judged as another person. For example, it is 0.5 between 0 that approaches the case where the registration information and the biometric information acquired by the authentication information acquisition unit 185 are similar and 1 that approaches the case where the registration information is not similar.
  • the value between the authentication threshold value and the authentication tolerance value is called the authentication tolerance range value, and is a value indicating whether or not the user is the user himself / herself in gray.
  • the authentication value is within the authentication allowable range value, it is not judged only by the biometric information whether or not the user is the user himself / herself, and when the user's peculiar habit of the user matches the pass condition, the user is authenticated If they do not match, the user will not be authenticated.
  • User authentication based on user habits is hereinafter referred to as auxiliary authentication.
  • the authentication allowable range value is a predetermined value that the user can generally consider as long as the authentication value falls within this range.
  • the authentication threshold becomes 0.08, which is less than 10% of 0 that approaches a similar case and 1 that approaches a dissimilar case.
  • the authentication threshold becomes the value obtained by subtracting the upper limit from the maximum authentication allowance. For example, if the upper limit of the authentication threshold is 0.45 and the maximum authentication value is 0.5, the authentication allowable range value is 0.05. Therefore, when the authentication threshold value is the upper limit value, the value of the authentication allowable range value is smaller than that when the authentication threshold value is not the upper limit value.
  • the table of the authentication user habit database 172A contains the types of user habits such as communication connection and event execution, the acquired information acquired by the authentication information acquisition unit 185 shown in FIG. 20, and the latest in each user's habit. The situation and the passing conditions of each user's habit are stored.
  • the acquired information includes, for example, if the user's habit type is a communication connection, the connection destination address, SSID (Service Set Identifier), BSSID (Basic Service Set Identifier), etc., and the user's habit type is event execution.
  • the location information such as the name and address of the place where the event is held, which is saved in the schedule book in advance, is the distance between the user's face and the terminal device, the distance is the distance, and if the device is connected, the connection destination The name, ID, and the like indicating the device are stored.
  • the latest status of each user's habit is, for example, if the type of user's habit is a communication connection, the total number of connections to the communication connection destination indicated in the acquired information. The initial value of the total number of connections to the communication connection destination is 0, and the number of times is added by the connection to the communication connection destination.
  • the user's habit type is event execution, the distance between the location stored in the acquired information and the user's current location is stored.
  • the type of habit of the user is the distance between the face and the mobile terminal 1, the average distance between the face and the mobile terminal 1 calculated when the user is authenticated as the user himself / herself is stored.
  • the average distance between the face and the mobile terminal 1 is updated each time the user is authenticated as the user himself / herself.
  • the initial value of the average distance between the face and the mobile terminal 1 is the distance obtained when the biometric information shown in FIG. 21A is registered in advance before the user is authenticated by the mobile terminal 1.
  • the user's habit type is device connection, whether or not the user is connected to the device indicated by the name, ID, etc. stored in the acquired information is stored.
  • the device connection is, for example, a connection between the device paired by Bluetooth (registered trademark) and the mobile terminal 1.
  • the pass condition of each user's habit is a condition in which the reliability of each user's habit can be guaranteed in advance.
  • the tilt information table 177 stores an angle indicating the tilt of the mobile terminal 1 acquired from the tilt detection unit 13 shown in FIG. 20, the acquisition date and time when the angle was acquired, and a waiting time which is an interval for detecting the tilt. doing.
  • the angle indicating the inclination of the mobile terminal 1 is acquired from the inclination detection unit 13 by the authentication information acquisition unit 185 shown in FIG. 20 and updated every time the standby time elapses. Also, when updating the angle, the acquisition date and time when the angle was acquired is also updated.
  • the mobile terminal 1 When the execution of the initialization process of the post-power-on processing is completed or the mobile terminal 1 according to the present embodiment returns from the sleep state, the mobile terminal 1 enters a locked state in which the operation of each function is not permitted until the authentication is successful.
  • the terminal control unit 18 of the mobile terminal 1 shown in FIG. 19 has the authentication processing program 170A stored in the terminal storage unit 17A. Is executed to determine whether or not the user is the user himself / herself. The user authentication process by the authentication process program 170A is performed in the background at a predetermined authentication interval.
  • the main user and the sub-user are in the background at any time while the main terminal 1A and the sub-terminal 1B are running. Is to be authenticated, and the authentication result may be used in each step of the flowchart shown in FIGS. 7 to 11, 17, and 18.
  • the processing of the authentication processing program 170A executed by the terminal control unit 18 will be described below with reference to the flowcharts of the authentication processing shown in FIGS. 22A and 22B.
  • the user's face image is used as the biometric information.
  • the authentication information acquisition unit 185 shown in FIG. 20 causes the photographing unit 11 to take a face photograph of the user operating the mobile terminal 1. Specifically, the authentication information acquisition unit 185 causes the in-camera 11A to take a photograph of the face of the user facing the front of the mobile terminal 1.
  • the authentication information acquisition unit 185 acquires a user's face photograph taken from the photographing unit 11 (step S601).
  • the authentication information acquisition unit 185 determines whether or not the acquired user's face photo is blurred (step S602).
  • the authentication information acquisition unit 185 causes the photographing unit 11 to retry taking the user's face photo (step S603). If the user's face photo is not blurred (step S602; YES), the authentication information acquisition unit 185 determines whether the user's face can be detected from the user's face photo taken by the photographing unit 11 (step). S604).
  • the authentication information acquisition unit 185 causes the photographing unit 11 to retry taking the user's face photograph (step S603). If the user's face cannot be detected from the user's face photo, lock the user who is currently operating to prevent further operations, display a message to the effect that another authentication method will be used, and so on. May be good.
  • the authentication information acquisition unit 185 obtains the feature amount of the detected user's face image. The authentication information acquisition unit 185 transmits the obtained feature amount of the user's face image to the authentication determination unit 186.
  • the authentication determination unit 186 acquires the authentication biometric information database 171A stored in the terminal storage unit 17A shown in FIG. From the table of the biometric information database 171A for authentication shown in FIG. 21A, the authentication determination unit 186 sets the feature amount of the face image stored in the registration information associated with the "face" among the types of biometric information and the authentication value. Acquire the authentication tolerance and the authentication threshold of. The authentication determination unit 186 compares the feature amount of the face image of the registered information acquired from the authentication biometric information database 171A with the feature amount of the face image received from the authentication information acquisition unit 185, and based on the comparison result. Find the face recognition value. The authentication determination unit 186 determines whether the obtained face authentication value is equal to or greater than the authentication threshold acquired from the authentication biometric information database 171A (step S605).
  • the authentication determination unit 186 determines whether the obtained face authentication value is equal to or less than the authentication allowable value acquired from the authentication biometric information database 171A (step). S606).
  • the authentication determination unit 186 causes the authentication information acquisition unit 185 to acquire the communication connection destination currently connected from the short-range communication unit 10.
  • the authentication determination unit 186 receives the current communication connection destination of the short-range communication unit 10 acquired from the authentication information acquisition unit 185.
  • the authentication determination unit 186 acquires the authentication user's habit database 172A from the terminal storage unit 17A shown in FIG.
  • the authentication determination unit 186 acquires the acquisition information, the number of times, and the pass conditions associated with the "communication connection" among the types of user habits stored in the table of the authentication user habit database 172A shown in FIG. 21B.
  • the SSIDs ABC_WLAN and 123WLAN are stored in the acquisition information of the "communication connection".
  • this ABC_WLAN it is stored that the number of connections is 31 times and the number of connections is 100 times or more as a pass condition.
  • the number of connections is 157 times, and the number of connections is 100 times or more as a pass condition.
  • the case where the passing condition is satisfied is referred to as trusting, and the case where the passing condition is not satisfied is referred to as not being trusted.
  • the authentication determination unit 186 compares the current communication connection destination of the short-range communication unit 10 received from the authentication information acquisition unit 185 with the acquisition information acquired from the authentication user's habit database 172A, and compares the current communication connection destination. Determines whether or not the connection destination is trusted (step S607).
  • the SSID ABC_WLAN has been acquired as the current communication connection destination of the short-range communication unit 10.
  • the ABC_WLAN in the acquisition information of the user habit type "communication connection" stored in the authentication user habit database 172A has 31 connections and 100 or more connections under the pass condition. Therefore, since the current communication connection destination is not a trusted communication connection destination (step S607; YES), it is determined whether or not a trusted event is being executed (step S608).
  • the authentication determination unit 186 causes the authentication information acquisition unit 185 to acquire the content of the event executed immediately before from the operation input unit 14.
  • the authentication determination unit 186 acquires from the calendar provided in the mobile terminal 1 whether or not there is a schedule at the current date and time, and information on the place where the schedule is performed. If there is no schedule on that day, the authentication determination unit 186 assumes that the event is not executed with confidence (step S608; YES), and calculates the distance between the face and the mobile terminal 1 (step S609). If there is a schedule on that day, the authentication determination unit 186 causes the authentication information acquisition unit 185 to acquire the current position information from the position detection unit 16. Subsequently, the authentication determination unit 186 acquires the authentication user's habit database 172A from the terminal storage unit 17A shown in FIG.
  • the authentication determination unit 186 acquires the acquisition information and the pass condition corresponding to the "event execution" among the types of user habits stored in the table of the authentication user habit database 172A shown in FIG. 21B. To do. For example, as shown in FIG. 21B, “ ⁇ ⁇ park” and “ ⁇ ⁇ movie theater” are stored as places where the event is held in the acquired information of "event execution", and “distance is 100 m” as a passing condition for both. It is assumed that "within” is remembered.
  • the authentication determination unit 186 compares the current position information acquired from the position detection unit 16 by the authentication information acquisition unit 185 with the position information of " ⁇ ⁇ park" which is the location of the event held at the current date and time. ..
  • the distance between the current location information and the location information of the event location " ⁇ ⁇ Park” is 113 m.
  • the event is not executed with confidence (step S608; YES), and the distance between the face and the mobile terminal 1 is calculated (step S609).
  • the distance between the user's face and the mobile terminal 1 is calculated based on the ratio of the user's face in the photograph of the user's face facing the front of the mobile terminal 1 taken by the in-camera 11A shown in FIG.
  • the authentication determination unit 186 acquires the authentication user's habit database 172A from the terminal storage unit 17A shown in FIG.
  • the authentication determination unit 186 passes the average distance corresponding to the "distance between the face and the terminal device" among the types of user habits stored in the table of the user habit database 172A for authentication shown in FIG. 21B. Get the condition. For example, as shown in FIG. 21B, the average distance of the "distance between the face and the terminal device" is 262 mm, and the passing condition is stored as plus or minus 20 mm of the average distance.
  • the authentication determination unit 186 determines whether or not the distance between the user's face and the mobile terminal 1 calculated in step S509 is within the setting range set in the pass condition acquired from the authentication user's habit database 172A (step S610). Specifically, the average distance acquired from the authentication user's habit database 172A is 262 mm, and the pass condition is plus or minus 20 mm of the average distance, so it is determined whether or not it is in the range of 242 mm to 282 mm.
  • the authentication determination unit 186 refers to the user who is using the mobile terminal 1 as the user himself / herself. Authenticate with.
  • the authentication information update unit 188 is made to update various data stored in the authentication biometric information database 171A and the authentication user habit database 172A shown in FIG. 19 (step S611).
  • the authentication information update unit 188 stores the registration information associated with the biometric information type "face” in the table of the authentication biometric information database 171A shown in FIG. 21A in the registration information.
  • the feature amount of the face image received by the authentication determination unit 186 from the authentication information acquisition unit 185 is added to the feature amount of the face image and updated.
  • the authentication information update unit 188 is set to 1 for the number of times stored in the latest status associated with the user habit type "communication connection" in the table of the authentication user habit database 172A shown in FIG. 21B. And update.
  • the latest status corresponding to the type of user habit "distance between the face and the terminal device" stored in the table of the user habit database 172A for authentication shown in FIG. 21B is stored as the average distance. And the average distance obtained from the "distance between the face and the terminal device" calculated in step S609.
  • the accuracy of the user biometric information and the user habits can be improved. improves. Therefore, the accuracy of user authentication can be improved.
  • the authentication determination unit 186 connects the authentication information acquisition unit 185 to the short-range communication unit 10. Get the currently connected communication connection destination.
  • the authentication determination unit 186 receives the current communication connection destination of the short-range communication unit 10 acquired from the authentication information acquisition unit 185.
  • the authentication determination unit 186 acquires the authentication user's habit database 172A from the terminal storage unit 17A shown in FIG.
  • the authentication determination unit 186 acquires the acquisition information, the number of times, and the pass conditions associated with the "communication connection" among the types of user habits stored in the table of the authentication user habit database 172A shown in FIG. 21B. To do.
  • the authentication determination unit 186 compares the current communication connection destination of the short-range communication unit 10 received from the authentication information acquisition unit 185 with the acquisition information acquired from the authentication user's habit database 172A, and compares the current communication connection destination. Determines whether or not the connection destination is trusted (step S612).
  • the SSID 123 WLAN has been acquired as the current communication connection destination of the short-range communication unit 10.
  • the 123 WLAN in the acquisition information of the user's habit type "communication connection" stored in the authentication user's habit database 172A has been connected 156 times, and the pass condition has been connected 100 times or more. Therefore, since the current communication connection destination is a reliable communication connection destination (step S612; YES), the authentication determination unit 186 authenticates the user using the mobile terminal 1 as the user himself / herself. After that, the authentication determination unit 186 makes the authentication interval longer than the current authentication interval (step S613).
  • the authentication interval may be made longer than the current authentication interval to reduce the frequency of authentication, and the authentication may be performed the minimum number of times necessary.
  • the SSID ABC_WLAN has been acquired as the current communication connection destination of the short-range communication unit 10.
  • the ABC_WLAN in the acquisition information of the user habit type "communication connection" stored in the authentication user habit database 172A has 31 connections and 100 or more connections under the pass condition. Therefore, since the current communication connection destination is not a reliable communication connection destination (step S612; NO), the authentication determination unit 186 does not authenticate the user using the mobile terminal 1 with the user himself / herself, and sets the authentication interval. Do not make it longer than the current authentication interval.
  • step S607 for example, it is assumed that 123 WLAN of SSID is acquired as the current communication connection destination of the short-range communication unit 10.
  • the 123 WLAN in the acquisition information of the user's habit type "communication connection" stored in the authentication user's habit database 172A has been connected 156 times, and the pass condition has been connected 100 times or more. Therefore, since the current communication connection destination is a reliable communication connection destination (step S607; NO), the authentication determination unit 186 authenticates the user using the mobile terminal 1 as the user himself / herself.
  • step S608 for example, it is assumed that " ⁇ ⁇ movie theater" is stored as the place of the event to be held at the current date and time in the calendar provided in the mobile terminal 1.
  • the authentication determination unit 186 compares the current position information acquired from the position detection unit 16 by the authentication information acquisition unit 185 with the position information of the “ ⁇ ⁇ movie theater” which is the location of the event to be held at the current date and time. To do. For example, the distance between the current location information and the location information of the event location “ ⁇ ⁇ movie theater” is 72 m.
  • the execution of the trusted event step S608; NO)
  • the authentication determination unit 186 authenticates the user using the mobile terminal 1 as the user himself / herself. After that, the authentication determination unit 186 makes the authentication interval longer than the current authentication interval (step S613).
  • the authentication determination unit 186 calculates the distance between the user's face and the mobile terminal 1 (step S614). Subsequently, the authentication determination unit 186 acquires the authentication user's habit database 172A from the terminal storage unit 17A shown in FIG. The authentication determination unit 186 determines whether or not the distance between the user's face and the mobile terminal 1 calculated in step S614 is within the setting range set in the pass condition acquired from the authentication user's habit database 172A (step S615). ). When the distance between the user's face and the mobile terminal 1 calculated in step S609 is within the set range (step S615; YES), the authentication determination unit 186 authenticates the user using the mobile terminal 1 as the user himself / herself. To do. The authentication determination unit 186 causes the authentication information update unit 188 to update various data stored in the authentication biometric information database 171A and the authentication user habit database 172A shown in FIG. 19 (step S611).
  • the authentication information update unit 188 stores the registration information associated with the biometric information type "face" in the table of the authentication biometric information database 171A shown in FIG. 21A in the registration information.
  • the feature amount of the face image received by the authentication determination unit 186 from the authentication information acquisition unit 185 in step S605 is added to the feature amount of the face image and updated.
  • the authentication information update unit 188 sets the number of times stored in the latest status corresponding to the user habit type "communication connection" in the table of the authentication user habit database 172A shown in FIG. 21B. Add 1 and update. Subsequently, the authentication information update unit 188 sets the latest status corresponding to the user habit type "event execution" in the table of the authentication user habit database 172A as the location of the event obtained in step S608; NO. Write and update the distance to and from the mobile terminal 1. Further, the latest status corresponding to the user habit type "distance between the face and the terminal device" stored in the table of the authentication user habit database 172A shown in FIG. 21B is stored in the latest status. The average distance is updated with the average distance obtained from the "distance between the face and the terminal device" calculated in step S614.
  • step S615 When the distance between the user's face and the mobile terminal 1 calculated in step S614 is not within the set range (step S615; NO), the authentication determination unit 186 sends the authentication information update unit 188 to the authentication information update unit 188 for authentication as shown in FIG. Various data stored in the biometric information database 171A and the user's habit database 172A for authentication are not updated.
  • step S610 determines that the user using the mobile terminal 1 is not the user himself / herself.
  • the authentication determination unit 186 causes the authentication result display unit 187 shown in FIG. 20 to display to the display unit 19 that the authentication has not been performed.
  • the authentication determination unit 186 calls the existing biometric authentication means provided in the mobile terminal 1.
  • fingerprint authentication is called as an existing biometric authentication means.
  • the authentication determination unit 186 executes fingerprint authentication (step S616).
  • the authentication information acquisition unit 185 causes the photographing unit 11 to take a face photograph of the user operating the mobile terminal 1 according to the instruction from the authentication determination unit 186.
  • the authentication information acquisition unit 185 acquires an image of the user's face photograph taken from the photographing unit 11 and obtains a feature amount of the user's face image.
  • the authentication information acquisition unit 185 transmits the feature amount of the user's face image obtained to the authentication determination unit 186.
  • the authentication determination unit 186 transmits the received feature amount of the user's face image to the authentication information update unit 188 shown in FIG.
  • the authentication information update unit 188 stores the feature amount of the received user's face image in the registration information associated with the biometric information type "face" in the table of the authentication biometric information database 171A shown in FIG. 21A. In addition to the feature amount of the face image that has been performed, the feature amount is updated (step S618). The authentication determination unit 186 returns to step S601 and executes the steps after step S601.
  • step S617 If fingerprint authentication cannot be performed (step S617; NO), the authentication determination unit 186 causes the authentication result display unit 187 shown in FIG. 20 to display to the display unit 19 that the authentication has not been performed. Subsequently, the authentication determination unit 186 causes the authentication result display unit 187 shown in FIG. 20 to display the login screen on the display unit 19 (step S619).
  • the authentication determination unit 186 determines whether or not the biometric authentication and the auxiliary authentication have succeeded in a predetermined set number of times (step S620).
  • the set number of times is an arbitrary number of times, for example, 10 times in a row, 20 times in total after the mobile terminal 1 is activated, and the like.
  • the authentication determination unit 186 obtains the average value of the face authentication values obtained by the set number of authentications (step S621). .. Specifically, the authentication determination unit 186 acquires the authentication biometric information database 171A shown in FIG. 19 from the terminal storage unit 17A.
  • the authentication determination unit 186 acquires the average value of the authentication values associated with the "face" among the types of biometric information from the table of the biometric information database 171A for authentication shown in FIG. 21A.
  • the authentication determination unit 186 adds the face authentication value obtained in step S605 and the average value of the authentication values acquired from the authentication biometric information database 171A and divides by 2, to calculate the average value of the face authentication values. If biometric authentication and auxiliary authentication are not successful for a predetermined set number of times (step S620; NO), the process of step S621 to step S623 is skipped and the process proceeds to step S624.
  • the authentication determination unit 186 transmits the average value of the face authentication values obtained in step S621 to the authentication information update unit 188.
  • the authentication information update unit 188 compares the average value of the received face authentication values with the preset upper limit value of the authentication threshold. When the average value of the face authentication values is equal to or more than the preset upper limit value of the authentication threshold value, the authentication information update unit 188 sets the type of biometric information in the table of the authentication biometric information database 171A shown in FIG. 21A. Of these, the upper limit of the authentication threshold is written and updated in the authentication threshold associated with the "face".
  • the authentication information update unit 188 describes the biometric information in the table of the authentication biometric information database 171A shown in FIG. 21A.
  • the average value of the face authentication values obtained in step S621 is written and updated in the authentication threshold associated with the "face" among the types (step S622).
  • the authentication information update unit 188 updates the authentication allowable value (step S623). Specifically, when the average value of the face authentication values obtained in step S621 is equal to or greater than the preset upper limit value of the authentication threshold value, the authentication information update unit 188 sets the preset maximum authentication allowable value. Set to the authentication tolerance. Further, when the average value of the face authentication values obtained in step S621 is equal to or less than the upper limit of the preset authentication threshold value, the average value of the face authentication values obtained in step S621 and the default authentication allowable range value are used. If the sum of the values is less than or equal to the maximum authentication tolerance, the sum is the authentication tolerance.
  • the authentication information update unit 188 acquires the authentication biometric information database 171A shown in FIG. 19 from the terminal storage unit 17A.
  • the authentication information update unit 188 writes the obtained authentication tolerance value in the authentication tolerance value associated with the "face" of the types of biometric information in the table of the authentication biometric information database 171A shown in FIG. 21A. Update.
  • the authentication information acquisition unit 185 shown in FIG. 20 acquires the inclination angle of the mobile terminal 1 from the inclination detection unit 13. Subsequently, the authentication information acquisition unit 185 acquires the current date and time information from a timer (not shown) (step S624). The authentication information acquisition unit 185 transmits the acquired tilt angle of the mobile terminal 1 and the current date and time information to the authentication determination unit 186. The authentication determination unit 186 transmits the received tilt angle of the mobile terminal 1 and the current date and time information to the authentication information update unit 188. The authentication information update unit 188 writes and saves the received tilt angle of the mobile terminal 1 and the current date and time information in the tilt information table 177 stored in the terminal storage unit 17A shown in FIG. 19 (step S625). ).
  • the authentication determination unit 186 acquires the waiting time stored in the table of the inclination information table 177 shown in FIG. 21C.
  • the authentication determination unit 186 transmits the acquired waiting time to the authentication information acquisition unit 185.
  • the authentication information acquisition unit 185 waits for data acquisition from the short-range communication unit 10, the photographing unit 11, and the like during the received standby time (step S626).
  • the authentication information acquisition unit 185 acquires the inclination angle of the mobile terminal 1 from the inclination detection unit 13.
  • the authentication information acquisition unit 185 acquires the current date and time information from a timer (not shown) (step S627).
  • the authentication information acquisition unit 185 transmits the acquired tilt angle of the mobile terminal 1 and the current date and time information to the authentication determination unit 186.
  • the authentication determination unit 186 acquires the angle of the mobile terminal 1 stored in the table of the tilt information table 177 shown in FIG. 21C.
  • the authentication determination unit 186 compares the tilt angle of the mobile terminal 1 received from the authentication information acquisition unit 185 with the angle of the mobile terminal 1 acquired from the tilt information table 177, and determines whether or not the angle has changed. Is determined (step S628).
  • the change in the angle of the mobile terminal 1 is an angle of a predetermined set value, for example, 30 degrees or more (step S628; NO)
  • the authentication determination unit 186 moves the mobile terminal 1 by the user to perform some operation. Is determined to have been performed, and the process returns to step S601 shown in FIG. 22A. After that, the authentication determination unit 186 executes the processes after step S601.
  • step S628 when the change in the angle of the mobile terminal 1 is equal to or less than the angle of the preset value (step S628; YES), the authentication determination unit 186 determines that the mobile terminal 1 has not been moved by the user. Subsequently, the authentication determination unit 186 determines whether or not it is time to authenticate the user (step S629).
  • the timing for authenticating the user is the timing at which the preset authentication interval time has elapsed.
  • step S629; YES the authentication determination unit 186 returns to step S601 shown in FIG. 22A. After that, the authentication determination unit 186 executes the processes after step S601. When it is not the timing to authenticate the user (step S629; NO), the authentication determination unit 186 returns to step S625.
  • the authentication determination unit 186 executes the processes from step S625 to step S629.
  • the authentication value obtained from the biometric information is equal to or less than the authentication threshold value, or is obtained from the biometric information. In either case, where the authenticated authentication value is equal to or greater than the authentication threshold value, it may be determined whether or not the authentication is successful. If the authentication value obtained from the biometric information and the authentication permissible value are the same, the authentication value obtained from the biometric information is less than or equal to the authentication permissible value, or the authentication value obtained from the biometric information is In either case, which is equal to or greater than the authentication allowable value, it may be determined whether or not the authentication is successful.
  • the authentication process executed by the mobile terminal 1 according to the fifth embodiment is gray when it cannot be clearly determined whether or not the result of the authentication by the biometric information of the user who uses the mobile terminal 1 is the user himself / herself. , Authenticate using user habit data.
  • the user authentication process performed on the mobile terminal 1 is executed in the background while the mobile terminal 1 is in operation, and the authentication system is established by updating the user's biometric information and the user's habits. Can be improved. As a result, security can be ensured while reducing the operational burden on the user.
  • the controlled device is described as the vehicle 5 for easy understanding.
  • the device to be controlled is not limited to the vehicle 5, and may be any device such as various home appliances, smart homes, PCs (Personal Computers), robots, and the like.
  • the user authentication process is realized by executing the authentication process program 170 shown in FIG. 2B or the authentication process program 170A shown in FIG. All or part of each step performed by the authentication processing program 170 or the authentication processing program 170A is composed of semiconductor chips such as ASIC (Application Specific Integrated Circuit) and system LSI (Large-scale Integration), and various circuit elements. It may be realized by a circuit or the like.
  • ASIC Application Specific Integrated Circuit
  • system LSI Large-scale Integration
  • the main terminal 1A and the sub terminal 1B can be realized by using a normal computer system without relying on a dedicated system.
  • a computer-readable CD-ROM Compact Disc Read Only Memory
  • DVD-ROM Digital Liberty Disc Read Only Memory
  • a computer capable of realizing each of the above-mentioned functions may be configured.
  • OS Operating System
  • only the application may be stored in the recording medium.
  • the present invention can be suitably used for an electronic control system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

リモコン装置は、携帯端末(1)にアプリケーションを導入することにより実現される。リモコン装置の端末制御部(18)は、ユーザの生体情報とユーザの端末の操作態様とに基づいて、本人を自動的に認証する。端末制御部(18)は、制御対象機器に対する指示を選択するための操作メニューを表示部(19)に表示する。端末制御部(18)は、ユーザが操作メニュー上のボタンにタッチすると、ユーザを認証し、認証に成功した場合には、タッチされたボタンが示す操作を指示する信号を制御対象装置に、近距離通信部(10)を介して送信する。

Description

リモコン装置、情報処理方法及びプログラム
 本発明は、リモコン装置、情報処理方法及びプログラムに関する。
 家庭電化製品、車両等様々な装置の制御にリモコン装置が利用されている。また、スマートフォン等の携帯端末の発展に伴い、リモコン装置の機能を有する携帯端末が提案されている。例えば、特許文献1は、各種制御対象装置のリモコン装置として利用可能な携帯電話端末を開示する。
特開2011-193426号公報
 しかしながら、この種のシステムでは、リモコン装置或いは携帯端末自体が盗まれた場合、操作対象の制御対象装置の操作を防止することが困難であり、場合によっては、制御対象装置が盗難或いは破壊される恐れがある。パスワード、生体認証等による認証等も設定可能であるが、使用の度に認証処理を行うことは煩雑である。
 このため、高セキュリティで且つ操作が容易なリモコン装置と情報処理方法等が望まれている。
 本発明はこのような事情に鑑みてなされたものであり、高セキュリティで且つ操作が容易なリモコン装置、情報処理方法及びプログラムを提供することを目的とする。
 上記の目的を達するため、本発明に係るリモコン装置は、
 ユーザの生体情報を自動的に取得して、生体情報とユーザの端末の操作態様とに基づいて、ユーザを認証する認証手段と、
 ユーザの制御対象装置に対する指示を受け付ける受け付け部と、
 前記認証手段による認証が成功した場合に、前記受け付け部で受け付けた指示を示す信号を、制御対象装置に送信する送信部と、
 を備える。
 前記認証手段は、例えば、リモコン装置を操作するユーザの使用態様を判別し、その情報を蓄積し、使用時の操作態様と蓄積された使用態様とに基づいて、使用者を認証する。
 例えば、前記認証手段は、第1の生体情報とユーザの端末の操作態様とに基づいて認証する第1の認証手段と、前記第1の生体情報とは異なる第2の生体情報に基づいて認証する第2の認証手段と、を含み、
 前記送信部は、前記第2の認証手段で認証された場合に、前記第1の送信手段により認証された場合よりも制限された内容の指示を示す信号を送信可能に構成されている。
 例えば、前記認証手段は、使用ユーザから取得した生体情報に基づく認証スコア値と、使用態様に基づくスコア値とを合計した値が、予め定められた合計値以上である場合に、ユーザが正当なユーザであると認証する。
 例えば、他のリモコン装置からの指示に従って、自己の指示しうる権限を設定する設定手段をさらに備え、
 前記送信部は、前記設定手段により設定された権限に基づいて、前記他のリモコン装置と同一の制御対象装置を制御する指示を示す信号を、前記制御対象装置に送信する、
 ように構成してもよい。
 他のリモコン装置に、そのリモコン装置の指示しうる権限を通知する権限通知手段をさらに備え、
 前記送信部は、前記権限通知手段から通知された権限に基づいて、前記他のリモコン装置と同一の制御対象装置を制御する指示を示す信号を、前記制御対象装置に送信する、
 ように構成してもよい。
 上記の目的を達するため、本発明に係る情報処理方法は、
 ユーザの生体情報と端末の操作態様とに基づいて、ユーザを認証し、
 制御対象装置に対する指示を受け付け、
 認証が成功した場合に、指示を外部の制御対象装置に向けて送信する。
 上記の目的を達するため、本発明に係るプログラムは、
 コンピュータに、
 生体情報と端末装置の操作態様とに基づいて、使用者を認証する処理、
 制御対象装置に対する指示を受け付ける処理、
 認証が成功した場合に、受け付けた指示を制御対象装置に向けて送信する処理、
 を実行させる。
 本発明では、認証が生体情報とその端末の操作態様(振る舞い)により認証される。このため、認証が簡単であると共に正しく認証ができ、リモコン操作を容易にすることができる。
本発明の実施の形態1に係る電子制御システムの全体構成を示す図 実施の形態1に係る携帯端末の正面図 実施の形態1に係る携帯端末の構成図 実施の形態1に係る携帯端末のハードウエア構成を示す図 実施の形態1における端末制御部の情報処理ブロック図 実施の形態1における制御対象装置の構成を示すブロック図 実施の形態1における端末から取得する本人認証用データの概要を示す図 図2Aに示す携帯端末から取得する認証用生体情報データベースのテーブルを示す図 図2Aに示す解体携帯端末から取得する認証用ユーザの癖データベースのテーブルを示す図 図2Aに示す携帯端末におけるユーザの認証に用いるスコア値テーブルを示す図 図2Aに示す携帯端末においてユーザを認証する認証処理のフローチャート リモコン対象リストの一例を示す図 操作画面の一例を示す図 操作メニュー表示処理のフローチャート 指示処理のフローチャート 実施の形態1における制御処理のフローチャート 実施の形態2における利用者登録処理のシーケンス図 実施の形態2における機器操作処理のシーケンス図 実施の形態3における使用場面を示す図 実施の形態3における副ユーザ用のスコア値テーブルの一例を示す図 実施の形態3におけるリモコン対象リストの一例を示す図 実施の形態4の使用場面を示す図 実施の形態4の権限情報の例を示す図 実施の形態4における利用者登録処理のシーケンス図 実施の形態4における利用者登録削除処理のシーケンス図 実施の形態5における携帯端末の構成図 図19に示す携帯端末の情報処理ブロック図 図19に示す携帯端末から取得する認証用生体情報データベースのテーブルを示す図 図19に示す携帯端末から取得する認証用ユーザの癖データベースのテーブルを示す図 図19に示す端末の傾き情報テーブルを示す図 実施の形態5に係る認証処理のフローチャート 図22Aに示す認証処理のフローチャートの続きのフローチャート
(実施の形態1)
 以下に、本発明を実施するための形態に係るリモコン装置、情報処理方法、プログラムについて、図面を参照して説明する。なお、図中同一または相当する部分には同一符号を付す。
 本実施の形態1に係るリモコン装置は、端末装置の一例である携帯端末から構成される。携帯端末は、通常のスマートフォンの機能に加えて、使用者が正当な使用権限を有しているか否かを自動的に判別し、正当な使用権限を有していると判別した場合に、制御対象装置への操作指示を受け付け、制御対象装置に指示を通知或いは送信する機能を備える。
 以下の説明では、理解を容易にするため、制御対象装置を車両5とし、操作の種類を、ドア装置53によるドアのロック及びその解除、エアコン装置56によるエアコンのオン・オフ、オーディオ装置57のオン・オフとして、説明する。
 実施の形態1に係る電子制御システム100の構成を、図1に示す。電子制御システム100は、ユーザが保持してリモコン装置として使用する携帯端末1と、制御対象の車両5とを含む。なお、携帯端末1は、特許請求の範囲における情報処理装置の一例である。
 携帯端末1は、いわゆるスマートフォンであり、ユーザの顔の画像、指紋、声紋等の生体情報と、ユーザが携帯端末1を操作する際の特有の挙動、操作状態等によるユーザの癖情報とを用いる認証機能を備える。
 携帯端末1は、図2Aに示すように、携帯端末1の正面に、ユーザの顔を撮影するインカメラ11Aと、スピーカ12Aと、通話用のマイク(マイクロフォン)12Bと、操作入力部14と表示部19とを兼ねるタッチパネルとを備えている。また、携帯端末1は側面に、ユーザの指紋を検出する左指紋センサ15A及び右指紋センサ15Bを備えている。携帯端末1は内部に、携帯端末1の傾きを検出する傾き検出部13と、携帯端末1の現在位置を検出する位置検出部16とを備える。また、携帯端末1は背面に、ユーザから見た人間、風景、物体等を撮影することができるメインカメラ11Bを備える。
 以下、インカメラ11Aとメインカメラ11Bとを総称して、撮影部11と称する。また、スピーカ12Aと通話用のマイク12Bとを総称して、音声入出力部12と称する。また、左指紋センサ15A及び右指紋センサ15Bを総称して、指紋検出部15と称する。
 図2Bは、携帯端末1の構成を示すブロック図である。携帯端末1は、近距離通信部10と、撮影部11と、音声入出力部12と、傾き検出部13と、操作入力部14と、指紋検出部15と、位置検出部16と、端末記憶部17と、端末制御部18と、表示部19と、電話通信部20とを備える。
 近距離通信部10は、Bluetooth(登録商標)、Wi-Fi、赤外線通信などの近距離無線通信装置から構成され、制御対象の車両5の制御装置と無線通信し、信号を送受信する。撮影部11は、図2Aに示したインカメラ11Aとメインカメラ11Bとを含む。撮影部11には、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子を用いたカメラ、ビデオカメラ等、静止画または動画を撮影し、静止画または動画を取得することが可能な各種カメラを用いることができる。
 音声入出力部12は、図2Aに示したスピーカ12Aと、通話用のマイク12Bとを含む。スピーカ12Aは、音声通話で受信した音声等を出力する。通話用のマイク12Bは、ユーザの音声をピックアップする装置である。
 傾き検出部13は、携帯端末1の傾き、揺れ等を検出するセンサである。傾き検出部13は、加速度センサ、角度センサ等の携帯端末1の傾きを検出できる各種センサを用いて構成することができる。なお、加速度センサ、角度センサ等のセンサの個数は単数及び複数のどちらでもよい。また、センサは一種類及び複数種類を組み合わせたものでもよい。
 操作入力部14は、ユーザからの操作を入力することができる装置である。
 指紋検出部15は、ユーザの指紋を検出するセンサである。指紋検出部15は、図2Aに示した左指紋センサ15A及び右指紋センサ15Bを含む。
 位置検出部16は、携帯端末1の現在位置を検出することができる装置である。位置検出部16は、GPS(Global Positioning System)等の、携帯端末1の現在位置を検出することができる装置を用いて構成することができる。
 端末記憶部17は、認証処理プログラム170と、認証用生体情報データベース171と、認証用ユーザの癖データベース172と、スコア値テーブル173と、ID/PW記憶部174と、リモコン制御プログラム175と、制御対象テーブル176とを含む。
 認証処理プログラム170は、ユーザを認証する処理を行うプログラムである。
 認証用生体情報データベース171は、ユーザの生体情報に関する情報と認証結果とを保存するデータベースである。認証用ユーザの癖データベース172は、携帯端末1を操作する際のユーザ特有の癖に関する情報と認証結果とを保存するデータベースである。ここで、ユーザ特有の癖とは、ユーザが携帯端末1を操作する際の挙動、表示部19の画面とユーザの顔の距離、キーストローク、持ち方、携帯端末1が使用される位置、通信環境等、携帯端末1の操作時におけるユーザ特有の振る舞いのことをいう。
 スコア値テーブル173は、認証処理のために、後述するスコア値を保持するテーブルである。
 ID/PW記憶部174は、携帯端末1に予め設定されている端末識別情報(Identifier:ID)とパスワードとを記憶する。
 リモコン制御プログラム175は、操作画面を表示し、ユーザの操作画面への操作に応答して、制御対象装置に操作信号を送信するプログラムである。プログラムの詳細は後述する。制御対象テーブル176は、制御対象の装置とその制御内容を保持するテーブルである。
 端末制御部18は、端末記憶部17に記憶された各種プログラムを実行する。また、端末制御部18は、近距離通信部10と、撮影部11と、音声入出力部12と、傾き検出部13と、操作入力部14と、指紋検出部15と、位置検出部16、電話通信部20とから各種データを取得して処理し、端末記憶部17に保存する。
 表示部19は、端末制御部18で実行される各種プログラムの処理内容を表示する。また、表示部19は、撮影部11で撮影された静止画、動画等の画像、操作入力部14から入力されたデータ等を表示することもできる。表示部19は、操作入力部14上に積層されており、図2Aに示したタッチパネルを構成する。
 電話通信部20は、端末制御部18の制御に従って、基地局との間で、電話通信用の無線信号を送受信する。
 次に、携帯端末1のハードウエア構成の一例を、図2Cを参照しつつ説明する。携帯端末1は、各種プログラムを実行するプロセッサ21と、各種プログラムを展開するためのメモリ22と、各種表示用データを出力する表示コントローラ23と、各種表示用データを表示する表示装置24と、撮影部11、音声入出力部12等を接続するためのI/Oポート25と、各種プログラム及び各種データを保存する記憶部26と、車両5との間で通信データを送受信する近距離通信装置27と、電話通信装置28とを備える。プロセッサ21と、メモリ22と、表示コントローラ23と、I/Oポート25と、記憶部26と、近距離通信装置27と、電話通信装置28と、はデータバス29を介して相互に接続されている。
 プロセッサ21は、記憶部26に記憶された各種プログラムを読み出してメモリ22に展開し、実行する。プロセッサ21は、CPU(Central Processing Unit)、MPU(Micro-processing Unit)等の処理装置から構成される。メモリ22は、RAM(Random Access Memory)、フラッシュメモリ等の揮発性または不揮発性の半導体メモリといった記憶素子および記憶媒体から構成される。
 表示コントローラ23は、表示装置24に各種表示用データを出力するコントローラである。表示コントローラ23は、ビデオカード、GPU(Graphics Processing Unit)、グラフィックボード等の映像信号出力装置から構成される。表示装置24は、LCD(Liquid Crystal Display)モニタ、有機EL(Electroluminescence)モニタ等の表示装置から構成される。
 I/Oポート25は、撮影部11と、音声入出力部12と、傾き検出部13と、操作入力部14と、指紋検出部15と、位置検出部16とを接続することができる接続用ポートである。I/Oポート25は、USB(Universal Serial Bus)ポート、IEEE1394ポート等、装置及びセンサを接続することができる各種ポートから構成される。
 記憶部26は、プロセッサ21で実行する各種プログラム、各種プログラムで使用する各種データを保存する装置である。記憶部26は、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の不揮発性記憶装置から構成される。
 近距離通信装置27は、車両5との間で近距離無線通信を行うことができる。近距離通信装置27は、無線LAN(Local Area Network)、Bluetooth(登録商標)等の、無線通信による比較的近距離の通信を行う各種器機から構成される。近距離通信装置27は、近距離通信部10を構成する。電話通信装置28は、図示せぬ基地局との間で電話通信を行う通信装置を備える。電話通信装置28は、電話通信部20を構成する。
 プロセッサ21が、端末記憶部17に記憶された認証処理プログラム170を実行することにより、図2Dに示すように、端末制御部18に、本人認証部181が実現される。これにより、ユーザの本人認証が実行される。プロセッサ21が、端末記憶部17に記憶されたリモコン制御プログラム175を実行することにより、図2Dに示すように、端末制御部18に、操作メニューを表示する操作メニュー表示部182、操作メニューへの操作に対応する操作信号を送信する操作指示部183、初期登録部184が実現される。これにより、携帯端末1は、車両5のリモコン装置として機能することができる。
 本人認証部181は、ユーザの生体情報を用いた生体認証と、携帯端末1の操作態様の履歴情報に基づいて、現在の携帯端末1の操作態様がユーザの操作の癖に合致していれば高いポイントを与える癖認証と、を実行する。
 操作メニュー表示部182は、表示部19に、図6に例示するように、操作対象と操作内容を示すボタンを含む操作メニューを表示する。
 操作指示部183は、表示された操作メニュー上のボタンへのユーザのタッチ動作に応答し、タッチされたボタンに相当する指示を、近距離通信部10を介して車両5に送信する。
 初期登録部184は、車両5の情報を登録して、携帯端末1をリモコン装置として使用可能とする処理を行う。
 一方、車両5は、図2Eに示す構成を有する。図示するように、車両5は、携帯端末1から構成されたリモコン装置による遠隔操作の対象とされる装置であり、近距離通信部50と、装置制御部51と、記憶部52と、ドア装置53と、ウインドウ装置54と、イグニッション装置55と、エアコン装置56と、オーディオ装置57と、...を備える。
 近距離通信部50は、携帯端末1の近距離通信部10との間で近距離無線通信を行う。
 装置制御部51は、近距離通信部50を介して、携帯端末1からの操作指示を受信し、指示に従って、制御対象装置であるドア装置53、ウインドウ装置54、イグニッション装置55、エアコン装置56、オーディオ装置57...を制御する。装置制御部51は、CPU等のプロセッサ等から構成される。
 記憶部52は、装置制御部51に制御動作を実行させるための動作プログラムを記憶する。
 また、記憶部52は、リモコン操作の対象となるリモコン対象リストを記憶する。図5に図示するように、リモコン対象リストは、リモコン操作の対象となる装置と、操作の内容と、装置の識別番号とを含む。例えば、図5に示すように、ドア装置53がリモコン操作の対象となっている。操作の内容は、ドアのロックとリリースである。ドア装置53の装置IDは、D1である。また、記憶部52は、この装置のリモコンを認証するための認証情報を記憶している。
 次に、本人認証部181で実行される携帯端末1におけるユーザの認証方法について、図3Aから図3Dを参照しつつ説明する。
 前提として、認証用生体情報データベース171には、ユーザの操作により、予め、ユーザの、指紋、顔、虹彩パターンなどの生体情報が登録されているものとする。
 図2Bに示した携帯端末1の端末制御部18は、指紋検出部15による指紋検出等のユーザによる携帯端末1の操作があった場合、他のプログラムから要求があった場合には、生体情報を取得する。端末制御部18の取得する生体情報のデータは、図2Aに示したインカメラ11Aで撮影したユーザの顔の画像、通話用のマイク12Bでピックアップしたユーザの音声、インカメラ11Aで撮影したユーザの虹彩の画像、指紋検出部15で検出した指紋等である。
 例えば、ユーザが、図2Aに示した表示部19の正面をユーザの顔と対向させる位置に携帯端末1を持ってきた場合、端末制御部18は、図2Aに示したインカメラ11Aでユーザの顔の画像を撮影し、ユーザの生体情報として取得する。また、ユーザが携帯端末1から他者へ電話をかけ通話をした場合、端末制御部18は、通話用のマイク12Bでピックアップしたユーザの音声を、ユーザの生体情報として取得する。ユーザが携帯端末1を持ち、図2Aに示した表示部19の正面と顔とを一定距離よりも近づけた場合、端末制御部18は、インカメラ11Aで撮影したユーザの虹彩の画像を、ユーザの生体情報として取得する。ユーザが携帯端末1を予め定められた時間以上持った場合、端末制御部18は、指紋検出部15で検出した指紋を、ユーザの生体情報として取得する。
 例えば、図3Aに示す、2019年3月1日の12時22分23秒において、ユーザが、図2Aに示した表示部19の正面をユーザの顔と対向させる位置に携帯端末1を持ってきたものとする。端末制御部18は、インカメラ11Aからユーザの顔が画像を撮影し、ユーザの生体情報として携帯端末1に保存する。端末制御部18は、携帯端末1に予め登録されているユーザの顔の画像における特徴量と、インカメラ11Aから取得したユーザの顔の画像における特徴量とを比較し、類似度を求める。
 この類似度からスコア値を求める。スコア値は、予め登録されているデータの特徴量と、端末制御部18の取得したデータの特徴量とが一致する場合に上限値、不一致の場合に下限値とする。一致または不一致以外の場合には、特徴量の類似度に応じて設定される値がスコア値となる。
 スコア値の上限値及び下限値は、図2Bに示した携帯端末1の端末記憶部17に記憶されているスコア値テーブル173に記憶されている。このスコア値テーブル173に設定されたスコア値を、図3Dに示す。スコア値テーブル173には、生体情報におけるスコア値の上限値及び下限値として、-100~100が設定されている。また、ユーザの癖のデータにおけるスコア値の上限値及び下限値として、-50~50が設定されている。
 ここでは、特徴量が一致し、図3Dに示したスコア値テーブル173に設定された生態情報の上限値100をスコア値に設定すると仮定する。端末制御部18は、取得した生体情報のデータ及び求めたスコア値を、図2Bに示す認証用生体情報データベース171に書き込む。認証用生体情報データベース171のテーブルを図3Bに示す。認証用生体情報データベース171のテーブルには、端末制御部18が生体情報を取得した日時と、取得した生体情報の種類と、取得した情報と、スコア値との各項目が含まれる。
 端末制御部18は、図3Bに示した認証用生体情報データベース171のテーブルの日時の項目に、生体情報を取得した日時である2019年3月1日の12時22分23秒を書き込む。端末制御部18は、取得した生体情報の種類の項目に顔と書き込む。端末制御部18は、取得した情報の項目に、インカメラ11Aから取得したユーザの顔の画像のデータを書き込む。端末制御部18は、スコア値の項目に100を書き込む。
 次に、端末制御部18は、ユーザの癖のデータを取得する。このユーザの癖とは、ユーザが携帯端末1を使用する時の挙動、操作状態、場所、通信状態等、ユーザ特有の振る舞いをいう。端末制御部18の取得するユーザの癖のデータは、生体情報を取得した時と同じ日時のデータである。例えば、図3Aに示す2019年3月1日の12時22分23秒において、端末制御部18は、図2Aに示したインカメラ11Aで撮影したユーザの顔の画像から求めたユーザの顔と表示部19の画面との距離、傾き検出部13で求めた携帯端末1の傾き角度、操作入力部14で求めたキー操作のストロークのデータ、近距離通信部10から取得した通信環境の情報、位置検出部16から取得した携帯端末1の位置情報等を、ユーザの癖のデータとして取得する。
 端末制御部18は、携帯端末1に予め登録されているユーザの癖に関する各データにおける特徴量と、取得したユーザの癖に関する各データにおける特徴量とを比較し、類似度を求める。端末制御部18は、求めた類似度をもとに、ユーザの癖に関する各データにおけるスコア値を求める。このスコア値は、図3Dに示したスコア値テーブル173に設定された上限値50から下限値-50の範囲内の値となる。
 端末制御部18は、取得したユーザの癖のデータと求めたスコア値とを、図2Bの端末記憶部17に保存した認証用ユーザの癖データベース172に書き込む。認証用ユーザの癖データベース172のテーブルを、図3Cに示す。認証用ユーザの癖データベース172のテーブルには、端末制御部18がユーザの癖のデータを取得した日時と、ユーザの癖の種類と、取得したデータと、スコア値との各項目が含まれる。
 例えば、端末制御部18は、図3Cに示した認証用ユーザの癖データベース172のテーブルの日時の項目に生体情報を取得した日時と同じ2019年3月1日の12時22分23秒を書き込む。端末制御部18は、ユーザの癖の項目に、顔と画面との距離と書き込む。端末制御部18は、取得した情報の項目に250mmを書き込む。この250mmは、インカメラ11Aで撮影したユーザの顔の画像から、端末制御部18により求められたユーザの顔と画面との距離である。
 端末制御部18は、求めたユーザの顔と画面との距離の値と、携帯端末1に登録されているユーザの顔と画面との距離の値とを比較し、その類似度からスコア値を求める。ここでは、距離は一致ではないが類似度が高いものとして、求められたスコア値を35とする。端末制御部18は、図3Cに示したテーブルのスコア値の項目に35と書き込む。
 続いて、端末制御部18は、傾き検出部13で求めた携帯端末1の傾き角度等、得られたユーザの癖に関するデータを図3Cに示した認証用ユーザの癖データベース172のテーブルの各項目に書き込む。全てのユーザの癖に関するデータの書き込みが終わると、端末制御部18は、図3Bに示した認証用生体情報データベース171及び図3Cに示した認証用ユーザの癖データベース172における同じ日時のスコア値とを合計する。
 例えば、図3Bに示した認証用生体情報データベース171における2019年3月1日の12時22分23秒の日時において、生体情報のスコア値100である。また、同じ日時において、図3Cに示した認証用ユーザの癖データベース172におけるユーザの癖のスコア値は、上から順に35、40、-15、25、42である。この生体情報のスコア値100とユーザの癖のスコア値35、40、-15、25、42とを合計すると227となる。
 端末制御部18は、図3Dに示したスコア値テーブル173から合計値の項目に設定されたスコア値を取得する。端末制御部18は、合計した生体情報及びユーザの癖のスコア値と、スコア値テーブル173から合計値の項目に設定されたスコア値とを比較する。端末制御部18は、合計した生体情報及びユーザの癖のスコア値が、スコア値テーブル173の合計値の項目に設定されたスコア値以上であれば、携帯端末1を使用しているユーザを正しいユーザとして認証し、スコア値以下であればユーザを正しいユーザではないとして認証しない。
 例えば、図3Dに示したスコア値テーブル173には、スコア値の合計値として200が設定されている。端末制御部18は、求めたスコア値の合計値227と、スコア値テーブル173に設定されたスコア値の合計値200とを比較する。求めたスコア値の合計値がスコア値テーブル173に設定されたスコア値の合計値以上であるため、端末制御部18は、携帯端末1を操作しているユーザを正しいユーザとして認証する。
 本人認証部181で実行される携帯端末1におけるユーザの認証方法は、認証処理プログラム170として端末記憶部17に記憶されている。端末制御部18の本人認証部181は、指紋検出部15による指紋検出等のユーザによる携帯端末1の操作があった場合、他のプログラムから要求があった場合に、認証処理プログラム170を実行してユーザの認証を行う。
 認証処理プログラム170が実行する認証処理について、図4に示す認証処理のフローチャートを参照しつつ、以下に説明する。端末制御部18の本人認証部181は、認証処理プログラム170が起動すると、ユーザの顔の画像、指紋等の生体情報を取得する(ステップS1)。続いて、端末制御部18の本人認証部181は、ユーザの癖に関するデータを取得する(ステップS2)。
 端末制御部18の本人認証部181は、携帯端末1に予め登録されている生体情報の特徴量と、取得した生体情報の特徴量とを比較し、類似度を求める。端末制御部18の本人認証部181は、求めた類似度から、図3Dのスコア値テーブル173に設定された生体情報のスコア値の上限値から下限値の範囲内でスコア値を求める。また、端末制御部18の本人認証部181は、携帯端末1に予め登録されているユーザの癖のデータにおける特徴量と、取得したユーザの癖のデータにおける特徴量とを比較し、類似度を求める。端末制御部18の本人認証部181は、求めた類似度から、図3Dのスコア値テーブル173に設定されたユーザの癖のスコア値の上限値から下限値の範囲内でスコア値を求める(ステップS3)。
 端末制御部18の本人認証部181は、取得した生体情報のデータ及び求めたスコア値を、図2Bに示す認証用生体情報データベース171に書き込む。また、端末制御部18の本人認証部181は取得したユーザの癖のデータと求めたスコア値とを、図2Bの端末記憶部17に保存した認証用ユーザの癖データベース172に書き込む(ステップS4)。
 端末制御部18の本人認証部181は、同じ日時における生体情報及びユーザの癖のデータにおけるスコア値を合計する(ステップS5)。端末制御部18の本人認証部181は、図3Dに示したスコア値テーブル173から合計値の項目に設定されたスコア値を取得する。端末制御部18の本人認証部181は、合計した生体情報及びユーザの癖のスコア値と、スコア値テーブル173から合計値の項目に設定されたスコア値とを比較する(ステップS6)。
 端末制御部18の本人認証部181は、合計した生体情報及びユーザの癖のスコア値が、スコア値テーブル173から合計値の項目に設定されたスコア値(閾値)以上であれば(ステップS6;YES)、携帯端末1を使用しているユーザを正しいユーザとして認証する(ステップS7)。
 続いて、端末制御部18の本人認証部181は、携帯端末1に予め登録されている生体情報の特徴量と取得した生体情報の特徴量との平均値を求める。端末制御部18の本人認証部181は、求めた平均値により携帯端末1に登録されている生体情報の特徴量を更新する。また、端末制御部18の本人認証部181は、携帯端末1に予め登録されているユーザの癖のデータにおける特徴量と、取得したユーザの癖のデータにおける特徴量との平均値を求める。端末制御部18の本人認証部181は、求めた平均値により携帯端末1に登録されているユーザの癖のデータにおける特徴量を更新する(ステップS8)。
 また、合計した生体情報及びユーザの癖のスコア値が、スコア値テーブル173から合計値の項目に設定されたスコア値(閾値)以下であれば(ステップS6;NO)、端末制御部18の本人認証部181は、図2Bに示した表示部19にユーザが異なる旨のメッセージを表示させる(ステップS9)。端末制御部18の本人認証部181は、携帯端末1の操作が困難な状態に設定した上で、ステップS1へ戻る。この携帯端末1の操作が困難な状態は、例えば、図2Aに示した表示部19の画面をグレーアウトさせ、操作入力部14からの入力を受け付けないようにした状態である。なお、この認証処理プログラム170は、特許請求の範囲におけるユーザ認証手段の一例である。
 このように、上述のユーザの認証方法を行うことにより、携帯端末1を使用するユーザが、ユーザ本人か否かを判別することができる。実施の形態1においては、上述のユーザの認証方法を行うことにより、携帯端末1を使用するユーザが、ユーザ本人と認証された場合、制御対象装置のリモコン装置として使用できるようにし、携帯端末1を使用するユーザが、ユーザ本人と認証されなかった場合、リモコン装置としての使用をできないようにする。
 ユーザは、携帯端末1をリモコンとして使用する場合、表示装置24に表示された初期画面に含まれている「リモコン」アイコンを操作(タッチ)する。「リモコン」アイコンの操作に応答して、端末制御部18の操作メニュー表示部182は、図7に示す操作メニュー表示処理を開始する。操作メニュー表示処理を開始すると、端末制御部18の操作メニュー表示部182は、まず、図4を参照して説明した認証処理(ステップS11)を実行する。
 図4に示した認証処理において、ユーザ本人であると認証されれば(ステップS12:Yes)、端末制御部18の操作メニュー表示部182は、制御対象テーブル176に記憶されている図5に示すリモコン対象リストに従って、図6に示す操作メニューを合成し、表示部19に表示させる(ステップS13)。一方、認証不成立の場合(ステップS12:No)、端末制御部18の操作メニュー表示部182は、図6に示す操作メニューを表示せず、正しいユーザでは無い旨のメッセージを表示する(ステップS14)。端末制御部18の操作メニュー表示部182は、操作が困難な状態に設定し、処理を終了する。
 ステップS13の処理で図6に示す操作メニューが表示されると、ユーザは指示したい操作に対応するボタンを押下(タッチ)する。ボタンの押下に応答して、端末制御部18の操作指示部183は、図8に示す操作指示処理を開始する。操作指示処理を開始すると、端末制御部18の操作指示部183は、まず、図4を参照して説明した認証処理(ステップS21)を実行する。
 認証処理において、ユーザ本人であると認証されれば(ステップS22:Yes)、端末制御部18の操作指示部183は、操作されたボタンに対応する指示信号を、近距離通信部10を介して送信する(ステップS23)。この指示信号は、送信元の携帯端末1の端末IDと、送信元の携帯端末1を認証するための認証情報と、操作対象の装置の装置IDと、操作の内容とを含む。
 一方、認証不成立の場合(ステップS22:No)、端末制御部18の操作指示部183は、操作信号を送信せず、正しいユーザでは無い旨のメッセージを図2Bに示した表示部19に表示させる(ステップS24)。端末制御部18の操作指示部183は、操作が困難な状態に設定し、処理を終了する。
 制御対象の車両5の装置制御部51は、ステップS23で送信された指示信号を、近距離通信部50を介して受信する。装置制御部51は、操作信号を受信すると、図9に示す装置制御処理を開始する。まず、受信した端末ID、認証情報に基づいて、送信元の携帯端末1が権限を有するか否を判別する端末認証処理を実行する(ステップS31)。
 認証成功の場合(ステップS32:Yes)、受信した操作信号に含まれている装置IDで特定される装置に、操作内容で指定される制御を実行させ(ステップS33)、処理を終了する。一方、認証不成功の場合(ステップS32:No)、何もせずに処理を終了する。
 このようにして、生体情報とユーザの操作の癖に基づいた認証処理を行うことにより、高い信頼度を有しつつ簡単な操作で装置を操作できるリモコン装置を提供できる。
(実施の形態2)
 次に、リモコン装置をよりセキュアに使用できる実施の形態2について説明する。
 まず、本実施の形態において、携帯端末1を、車両5のリモコンとして登録設定する利用者登録の処理について図10を参照して説明する。まず、携帯端末1の端末制御部18は、例えば、ユーザの操作に応答して、近距離通信部10を介して、車両5に、設定リクエストを送信する(ステップS101)。車両5の装置制御部51は、例えば、近距離通信部50を介して、設定リクエストを受信する。その携帯端末1をリモコンとして設定する場合、車両5の装置制御部51は、ユーザの操作に応答して、設定許可信号を送信する(ステップS501)。
 以後、携帯端末1の端末制御部18と車両5の装置制御部51との間の通信が自動的に繰り返される。まず、携帯端末1の端末制御部18は、近距離通信部50を介して、設定許可信号を受信する。端末制御部18は、受信した設定許可信号に応答して、ID/PW記憶部174に記憶されている端末IDとPW(パスワード)を車両5宛に送信する(ステップS102)。装置制御部51は、送信された端末IDとPW(パスワード)とを記憶部52に格納する。
 続いて、端末制御部18は、秘密鍵と公開鍵を生成する。端末制御部18は、秘密鍵を端末記憶部17のセキュアな領域に記憶する(ステップS103)。ここで、セキュアな領域とは、端末記憶部17の記憶領域のうち、ユーザ認証が成功するまではアクセスできない領域を意味する。
 車両5の装置制御部51は、携帯端末1の正当性を確認するために、チャレンジデータを生成する。装置制御部51は、生成したチャレンジデータを携帯端末1に送信する(ステップS502)。携帯端末1の端末制御部18は、秘密鍵で受信したチャレンジデータにデジタル署名を付け、公開鍵とともに車両5に送信する(ステップS104)。
 車両5の装置制御部51は、チャレンジデータとデジタル署名と公開鍵とを受信する。装置制御部51は、受信したチャレンジデータとデジタル署名とに基づいて、携帯端末1の正当性を検証する。検証成功の場合、装置制御部51は、携帯端末1の公開鍵を記憶部52に保存する(ステップS503)。車両5の装置制御部51は、例えば、乱数を発生させる等して、携帯端末1と車両5とに共通する共通鍵を生成し、記憶部52に保存する。さらに、車両5の装置制御部51は、生成した共通鍵を、携帯端末1の公開鍵で暗号化して、携帯端末1に送信する(ステップS504)。
 携帯端末1の端末制御部18は、共通鍵を受信し、秘密鍵でこれを復号化する。携帯端末1の端末制御部18は、複合化した共通鍵を端末記憶部17のセキュアな領域に保存する(ステップS105)。携帯端末1の端末制御部18は、復号化した共通鍵で、自己の端末IDとリモコン制御プログラム175のアプリケーションIDとを暗号化する。端末制御部18は、暗号化した端末IDと、アプリケーションIDとに、共通鍵で生成したデジタル署名を付け、車両5に送信する(ステップS106)。車両5の装置制御部51は、携帯端末1の端末ID、デジタル署名等を受信する。装置制御部51は、受信したデジタル署名に基づいて、端末ID等の受信情報の正当性を検証する(ステップS505)。検証成功の場合、車両5の装置制御部51は、端末ID等の受信情報を、記憶部52に保存する(ステップS506)。
 続いて、車両5の装置制御部51は、自己のデジタルキーのハッシュ値を求める。装置制御部51は、求めたハッシュ値を公開鍵で暗号化して、携帯端末1に送信する(ステップS507)。携帯端末1の端末制御部18は、暗号化されたデジタルキーのハッシュ値を受信し、秘密鍵でこれを復号する。端末制御部18は、復号したデジタルキーのハッシュ値を端末記憶部17のセキュアな領域に保存する(ステップS107)。以上の処理で、携帯端末1が車両5のリモコン装置として登録される。
 次に、このようにして初期登録した携帯端末1を用いて車両5を制御する処理を、図11を参照して説明する。実施の形態1で説明したように、ユーザは、例えば、図6に例示した操作メニューを携帯端末1の表示部19に表示させる。ユーザは、操作したい内容に応じて、操作メニュー上のボタンにタッチする。図2Dに示した端末制御部18の操作指示部183は、これを操作要求処理として特定する(ステップS111)。
 次に、図2Dに示した端末制御部18の本人認証部181は、ユーザの正当性を判別する認証処理を実行する(ステップS112)。認証処理の内容自体は、図4を参照して説明した処理と同一である。認証に成功すると、端末制御部18の操作指示部183は、タッチされたボタンに応じて、制御コマンドを生成し、車両5に送信する(ステップS113)。例えば、図6に示したドア装置のロックのボタンがタッチされていれば、端末制御部18の操作指示部183は、図5に示したリモコン対象リストを参照して、装置IDについて、ロックすることを指示する制御コマンドを生成し、車両5に送信する。
 図2Eに示した装置制御部51は、制御コマンドを受信し、記憶部52に保存する。続いて、装置制御部51は、乱数を発生してチャレンジデータを生成し、これを共通鍵で暗号化して、携帯端末1に送信し、再度の認証を要求する(ステップS511)。
 携帯端末1の端末制御部18は、チャレンジデータを受信して保存する。続いて、図2Dに示した端末制御部18の本人認証部181は、図4に示した認証処理を実行する(ステップS114)。これにより、ユーザの正当性を判別する。ここで、認証に成功すると、端末制御部18は、車両5の装置ID、自携帯端末1の端末ID及びリモコン制御プログラム175のアプリケーションID、受信したチャレンジデータのハッシュ値、登録時に受信したデジタルキーのハッシュ値、を共通鍵で暗号化し、これらを車両5に送信する(ステップS115)。
 車両5の装置制御部51は、受信したデータを共通鍵で復号し、各データが正しいものか検証する(ステップS512)。検証成功の場合、装置制御部51は、先に受信していた制御コマンドに従って装置を制御する(ステップS513)。例えば、受信したコマンドが、「装置ID=D1について、ロックする」という内容であれば、図5に示したリモコン対象リストを参照し、ドア装置53のキーをロックする制御を行う。このようにして、登録した携帯端末1を用いて車両5を制御することが可能となる。
(実施の形態3)
 実施の形態1及び2においては、1台の携帯端末1を1人のユーザしか使用することができない。しかし、この発明はこれに限定されず、種々の変形が可能である。以下、1台の携帯端末1を複数人で使用可能とする例を説明する。
 この例では、図12に示すように、ユーザAとユーザBが携帯端末1をリモコン装置として共用する例を説明する。ただし、人数は任意である。ユーザAは、この携帯端末1の本来のユーザであり、生体情報及びユーザの癖により認証される。以下、主ユーザと呼ぶ。一方、ユーザBは、ユーザAにより使用が認められた者であり、以下、副ユーザと呼ぶ。また、主ユーザと副ユーザとを総称して、ユーザと呼ぶ。
 副ユーザの生体情報は、予め、図2Bに示した携帯端末1の端末記憶部17に保存された認証用生体情報データベース171の副ユーザ用の領域に格納されている。ここでは、顔認証用の顔画像が格納されているものと仮定する。また、副ユーザに関しては、図13に示すスコア値テーブル137Aにおいて、ユーザの癖に関係する認証データが0に設定されている。これにより、生体認証が成功したときには、リモコン装置としての携帯端末1の操作が認められる。
 さらに、図14に示すリモコン対象リストのように、副ユーザが操作できる装置には制限が設定されている。主ユーザには制限はない。なお、主ユーザの操作可能範囲と副ユーザの操作可能範囲は、同一でもよい。
 次に、このように設定された場合の動作を図10及び図11を参照して説明する。まず、登録動作については、図10に示した処理と同一でよい。次に、リモコン装置として実際に使用する場合、図11の操作処理を実行する。まず、ユーザは、例えば、図6に例示した操作メニューを携帯端末1の表示部19に表示させる。ユーザは、操作したい内容に応じて、操作メニュー上のボタンにタッチする。図2Dに示した端末制御部18の操作指示部183は、これを操作要求処理として特定する(ステップS111)。
 続いて、図2Dに示した端末制御部18の本人認証部181は、ユーザの正当性を判別する認証処理を実行する(ステップS112)。認証処理の内容自体は、図4を参照して説明した処理と同一である。ここで、携帯端末1を操作するユーザが主ユーザの場合、ユーザは、生体認証とユーザの癖の認証により正当なユーザと判別される。一方、携帯端末1を操作するユーザが副ユーザの場合、ユーザは、専用エリアに記憶されている生体情報を用いた認証により正当なユーザと判別される。これにより、携帯端末1の端末制御部18は、ステップS111でその時点の、携帯端末1を操作するユーザが主ユーザであるか、副ユーザであるかを判別することができる。
 携帯端末1の端末制御部18は、ステップS113において、ステップS111で操作されたボタンが、操作している操作者に認められているか否かを、図14に示したリモコン対象リストから判別する。携帯端末1の端末制御部18は、操作可の場合のみ、制御コマンドを車両5に送信する。
 例えば、副ユーザが図2Eに示したドア装置53のロックのリリース、イグニッション装置55のオン(イグニッションオン)の操作を指示したものとする。図14に示したリモコン対象リストには、副ユーザは、ドア装置53、イグニッション装置55を操作不可と設定されている。したがって、この場合、携帯端末1の端末制御部18は、制御コマンドを車両5に送信しない。
 また、例えば、副ユーザが図2Eに示したエアコン装置56のオンの操作を指示したものとする。図14に示したリモコン対象リストには、副ユーザは、エアコン装置56を操作可と設定されている。したがって、この場合、携帯端末1の端末制御部18は、制御コマンドを車両5に送信する。
 したがって、主ユーザは、リモコン装置を用いて全ての操作ができ、副ユーザは一部の限られた操作のみが可能となる。このため、主ユーザ、副ユーザにそれぞれ、異なるセキュリティレベルの設定が可能となる。
 なお、携帯端末1では制御コマンドの送信/非送信を判断せず、制御対象装置が操作コマンドを実行/不実行を判別するようにしてもよい。この場合、例えば、ステップS113、ステップS115で送信する信号に主ユーザであるか、副ユーザであるかを示すユーザ識別情報を含める。装置制御部51は、ステップS513で、制御コマンドを実行する際に、ユーザ識別情報に基づいて、制御コマンドにより指示された操作がそのユーザに認められているか否かを判別し、認められている場合のみ、制御コマンドに沿って制御を行う。
 このような構成とすれば、1台の携帯端末1を複数人で使用し、かつ、操作できる内容に差を設定することが可能となる。
(実施の形態4)
 実施の形態1から3においては、1台の携帯端末1しか使用することができない。しかし、この発明はこれに限定されず、種々の変形が可能である。以下、複数台の携帯端末1を使用可能とする例を説明する。
 この例では、図15に示すように、ユーザAとユーザBとがそれぞれ、携帯端末1Aおよび携帯端末1Bをリモコン装置として使用して、1台の車両5を操作する例を説明する。ただし、人数と端末数は任意である。また、全ての携帯端末1に実施の形態3の設定がしてあってもよいし、一部の携帯端末1に実施の形態3の設定がしてあってもよい。ここで、ユーザAを、以下、主ユーザと呼ぶ。携帯端末1Aは、主ユーザ用の携帯端末であり、以下、主端末1Aと呼ぶ。一方、ユーザBは、ユーザAにより使用が認められた者であり、以下、副ユーザと呼ぶ。副ユーザの使用する携帯端末を、以下、副端末1Bと呼ぶ。
 なお、副端末1Bの端末記憶部17及び車両5の記憶部52には、図14に示したリモコン対象リストが保存されている。これにより、副端末1Bの操作に制限を設定することができる。
 次に、このように設定された場合の動作を図11及び図17を参照して説明する。
(利用者登録処理)
 まず、主端末1Aについては、利用者登録処理は、図10に示した処理と同一である。一方、副端末1Bについては、図17に示す、以下の利用者登録処理が必要となる。なお、以下の処理は、主端末1A及び副端末1Bの認証は成功していることを前提とする。また、主端末1Aは、副端末1Bで操作可能な範囲として、図14に示したリモコン対象リストに基づいて、図16に示す権限情報を設定しておく。
 続いて、副端末1Bの利用者登録処理について、図17を参照しつつ、以下に説明する。主端末1Aの端末制御部18は、例えば、ユーザからの操作に応答して、副端末1Bに、車両5との共通鍵で暗号化されたデジタルキーのハッシュ値と図16に示す権限情報と、主端末1Aの署名とを副端末1Bに送信する(ステップS121)。車両5との共通鍵は、図10に示した利用者登録処理のステップS104で車両5から受信した共通鍵である。副端末1Bの端末制御部18は、暗号化されたデジタルキーのハッシュ値、主端末1Aの署名等を受信し、記憶部52に保存する。また、副端末1Bの端末制御部18は、端末記憶部17に保存された図14に示したリモコン対象リストを、主端末1Aから受信した権限情報に基づいて設定する。なお、ステップS121は、請求の範囲における権限通知手段の一例である。また、副端末1Bの端末制御部18は、請求の範囲における設定手段の一例である。
 続いて、副端末1Bの端末制御部18は、秘密鍵と公開鍵のペアを生成し、端末記憶部17のセキュアな領域に記憶する(ステップS201)。副端末1Bの端末制御部18は、副端末1Bの認証を車両5にリクエストする(ステップS202)。
 車両5の装置制御部51は、認証のリクエストに応答して、認証要求情報を副端末1Bに送信する(ステップS531)。副端末1Bの端末制御部18は、認証要求情報に応答して、ステップS201で生成した公開鍵と、主端末1Aから受信した権限情報と、副端末1Bの端末IDと、副端末1BのユーザIDと、認証要求に対する認証応答情報と、自端末の署名とを生成し、車両5に送信する(ステップS203)。
 車両5の装置制御部51は、これらの情報を受信し、認証応答情報と副端末1Bの署名と主端末1Aの署名とを検証し、副端末1Bの正当性を検証する(ステップS532)。
 検証成功、即ち、認証に成功した場合、車両5の装置制御部51は、副端末1Bの端末ID、アプリケーションID、ユーザ権限等の情報、副端末1Bの公開鍵を記憶部52に保存する(ステップS533)。車両5の装置制御部51は、副端末1Bの公開鍵で、共通鍵(主端末1Aと車両5の共通鍵)を暗号化して副端末1Bに送信する(ステップS534)。
 副端末1Bの端末制御部18は、受信した共通鍵を秘密鍵で復号化し、端末記憶部17のセキュアな領域に保存する(ステップS204)。一方、車両5の装置制御部51は、副端末1Bの公開鍵で、副端末1Bの端末IDを暗号化して主端末1Aに送信する(ステップS535)。
 主端末1Aの装置制御部51は、受信した副端末1Bの端末IDを復号化し、端末記憶部17のセキュアな記憶領域に保存する(ステップS122)。以上の処理で副端末1Bの登録が完了する。
 副端末1Bの登録完了後、副端末1Bを用いて車両5を制御する手順は、図11に示した実施の形態3での機器操作処理と実質的に同一である。
 実施の形態3と同様に、副端末1Bが認められていない装置に対する操作または認められていない操作を選択した場合には、その操作は、副端末1B或いは車両5に保存された権限情報に基づく判別により、無視される。副端末1Bの端末制御部18が、権限情報に基づいて、選択出来ないボタンを非表示或いは非選択可能表示とする等してもよい。
 また、一度登録した副端末を削除する必要が生ずる場合がある。一度登録した副端末を削除する処理は、主端末1Aだけで可能とすることが望ましい。以下、一度登録した副端末を削除する処理である利用者登録削除処理について、図18を参照しつつ説明する。
 主ユーザは、主端末1Aで認証を行った後、図2Bに示した主端末1Aの端末制御部18に、端末記憶部17のセキュアな領域から、削除対象の副端末(ここでは副端末1B)の端末IDを読み出させる。主端末1Aの端末制御部18は、読み出した端末IDを共通鍵で暗号化する(ステップS131)。
 主端末1Aの端末制御部18は、自端末の認証のリクエストを車両5に送信する(ステップS132)。車両5の装置制御部51は、認証のリクエストのチャレンジデータを生成し、主端末1Aに送信する(ステップS541)。
 主端末1Aの端末制御部18は、削除対象の副端末1Bの端末IDとアプリケーションIDとユーザ情報とを共通鍵で暗号化すると共に署名情報を作成し、車両5に送信する(ステップS133)。車両5の装置制御部51は、暗号化された端末ID、署名情報等を受信し、受信した署名情報に基づいて、受信した端末ID、ユーザ情報等の正当性を検証する(ステップS542)。
 検証成功の場合、車両5の装置制御部51は、認証成功の旨を主端末1Aに通知する(ステップS543)。主端末1Aの端末制御部18は、削除する副端末1Bの端末IDを共通鍵で暗号化して、車両5に送信する(ステップS134)。車両5の装置制御部51は、暗号化された端末IDを受信し、受信した情報に基づき、副端末1Bの登録情報を削除する(ステップS544)。
 続いて、車両5の装置制御部51は、新しい共通鍵を生成し、主端末1Aの公開鍵で暗号化する。車両5の装置制御部51は、暗号化された共通鍵を主端末1Aに送信する(ステップS545)。主端末1Aの端末制御部18は、セキュア領域に保存されている共通鍵を更新する(ステップS135)。
 以上の処理により、車両5及び主端末1Aから副端末1Bの情報が削除され、副端末1Bはリモコン装置として使用できなくなる。
(実施の形態5)
 実施の形態5に係る携帯端末1では、上記実施の形態1から4に係る携帯端末1、主端末1A、および副端末1Bで実行される認証処理とは異なり、携帯端末1を使用するユーザの生体情報による認証の結果がユーザ本人か否か明確に判断できないグレーな場合に、ユーザの癖のデータを用いて認証する。これにより、生体情報による認証で携帯端末1を使用するユーザがユーザ本人か否か明確に判断できないグレーな場合にも、ユーザの癖のデータを用いてユーザ本人を認証することができる。
 実施の形態5に係る携帯端末1の構成を示すブロック図を、図19に示す。この携帯端末1は、端末記憶部17Aに、実施の形態5に係るユーザの認証処理を行うための認証処理プログラム170Aと、携帯端末1で取得したユーザの生体情報をまとめた認証用生体情報データベース171Aと、携帯端末1で取得したユーザの癖のデータをまとめた認証用ユーザの癖データベース172Aと、携帯端末1の傾き状態を記憶するための傾き情報テーブル177とを備える。
 認証処理プログラム170Aは、携帯端末1で取得したユーザの生体情報及びユーザの癖のデータに基づいてユーザを認証する処理を行うプログラムである。認証用生体情報データベース171Aは、ユーザの生体情報に関する情報と認証に用いる認証値とを保存するためのデータベースである。認証用ユーザの癖データベース172Aは、携帯端末1を操作する際のユーザ特有の癖に関する情報、認証の合格条件等を保存するためのデータベースである。ここで、ユーザ特有の癖とは、ユーザが携帯端末1を操作する際の挙動、表示部19の画面とユーザの顔の距離、キーストローク、持ち方、携帯端末1が使用される位置、特定の通信網への接続回数、特定のアプリケーションの起動、操作等、ユーザ固有のものをいう。
 傾き情報テーブル177は、傾き検出部13により検出された携帯端末1の傾き角度と、取得日時、取得のための待機時間を記憶するためのテーブルである。なお、認証用生体情報データベース171Aと、認証用ユーザの癖データベース172Aと、傾き情報テーブル177とについて、詳細は後述する。
 図2Cに示した携帯端末1のプロセッサ21により、図19示した携帯端末1の端末記憶部17Aに記憶された認証処理プログラム170Aを実行することにより、端末制御部18に図20に示す情報処理ブロックが実現される。これにより、携帯端末1は、ユーザ本人の顔の画像、指紋、声紋等の生体情報と、ユーザが携帯端末1を操作する際の特有の挙動、操作状態等によるユーザの癖のデータとに基づいて、ユーザ本人を認証し、携帯端末1における各種機能を実行することができる。
 情報処理ブロックは、近距離通信部10、撮影部11等から認証用の生体情報及びユーザの癖のデータを取得する認証用情報取得部185と、ユーザを本人か否か認証する認証判定部186と、表示部19に認証結果を表示させる認証結果表示部187と、認証判定部186からの指示により端末記憶部17Aに記憶された各種データベース及びテーブルの情報を更新する認証用情報更新部188とを備える。
 認証用情報取得部185は、近距離通信部10、撮影部11等から認証用の生体情報及びユーザの癖を取得する。認証判定部186は、認証用情報取得部185から取得した認証用の生体情報及びユーザの癖と、端末記憶部17Aの各種データベースに記憶された認証値、合格条件等に基づいて、ユーザの認証を行う。認証結果表示部187は、認証判定部186からユーザの認証結果を受信し、表示部19に認証結果に応じてメッセージ、画像等を表示させる。認証用情報更新部188は、認証判定部186からの指示に基づいて、端末記憶部17Aに記憶された各種データベース、テーブルに記憶されたデータを更新する。
 なお、認証用情報取得部185で取得される各生体情報は、請求の範囲における第1の生体情報、第2の生体情報の一例である。また、各生体情報によるユーザの認証は、請求の範囲における第1の認証手段、第2の認証手段の一例である。
 次に、端末記憶部17Aに記憶される認証用生体情報データベース171Aと、認証用ユーザの癖データベース172Aと、傾き情報テーブル177との各テーブルの構成について、図21Aから図21Cを参照しつつ以下に説明する。まず、認証用生体情報データベース171Aのテーブルには、図21Aに示すように、顔、音声等の生体情報の種類と、ユーザ本人の生体情報である登録情報と、登録情報と図20に示した認証用情報取得部185で取得した生体情報とから求められる認証値の平均値が記憶されている。認証用生体情報データベース171Aのテーブルに記憶されている登録情報は、ユーザ本人の生体情報である。登録情報には、携帯端末1で認証処理を行う前に予め登録された情報であり、ユーザ本人を認証できた場合に更新される。登録情報には、例えば、生体情報の種類が顔であれば顔画像から求めた特徴量が、生体情報の種類が音声であれば音声データまたは音声データから求めた特徴量または音声データとその特徴量の両方が、生体情報の種類が虹彩であれば虹彩データが、生体情報の種類が指紋であれば指紋の画像から求めた特徴量が、それぞれ記憶されている。
 本実施の形態において、生体情報の類似の判定は、認証値により行われる。認証値は、登録情報と、図20に示した認証用情報取得部185で取得した生体情報とを比較した結果を基に求められる値である。認証値は、登録情報と認証用情報取得部185で取得した生体情報とが類似する場合に0に近づき、類似しない場合に1に近づく。認証用生体情報データベース171Aには、認証値の平均値と、認証値を判定するための閾値である認証閾値と、認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた認証許容値とが含まれる。
 まず、認証値の平均値は、登録情報と、認証用情報取得部185で取得した生体情報から求められた認証値との平均の値である。認証閾値は、登録情報と、認証用情報取得部185で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以下の場合、ユーザをユーザ本人と判定するための基準となる値である。認証閾値は、ユーザの認証の状況に合わせて変動する値であり、予め上限値が定めされている。上限値は、その値以上となった場合、ユーザをユーザ本人と生体情報のみで認証すべきではないとされる値である。例えば、認証閾値のデフォルト値を、登録情報と認証用情報取得部185で取得した生体情報とが類似する場合に近づく0と類似しない場合に近づく1との間の0.4であれば、認証閾値の上限値は0.45といった具合である。また、認証許容値は、登録情報と認証用情報取得部185で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以上の場合、ユーザをユーザ本人ではないと判定するための基準となる値である。認証許容値は、上述のとおり認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値であるため、認証閾値と認証許容範囲値との変動に応じて、変動する値である。認証許容値には、予め上限値が定められており、これを最大認証許容値と呼ぶ。最大認証許容値は、この値以上の場合、ユーザを他人と判断すべきとされる値である。例えば、登録情報と認証用情報取得部185で取得した生体情報とが類似する場合に近づく0と類似しない場合に近づく1との中間の0.5である。
 認証閾値と認証許容値との間の値を認証許容範囲値といい、ユーザがユーザ本人か否かグレーな場合を示す値である。認証値が認証許容範囲値内である場合、ユーザがユーザ本人か否かを生体情報だけで判断せず、ユーザ特有のユーザの癖が合格条件に合致している場合に、ユーザ本人と認証し、合致してない場合、ユーザ本人と認証しないものとする。ユーザの癖によるユーザの認証を、以下では、補助認証と称する。認証許容範囲値は、この範囲に収まる認証値であればユーザ本人として概ね考えれば良いと思われる値を、予め定めたものである。例えば、類似する場合に近づく0と、類似しない場合に近づく1との一割以下の0.08である。なお、認証閾値が上限値になった場合、最大認証許容値から認証閾値が上限値を引いた値になる。例えば、認証閾値の上限値が0.45、最大認証値が0.5であれば、認証許容範囲値は0.05といった具合である。したがって、認証閾値が上限値になっている場合、認証閾値が上限値になっていない場合よりも認証許容範囲値の値は小さな値をとる。
 次に、認証用ユーザの癖データベース172Aのテーブルについて、図21Bを参照しつつ、以下に説明する。認証用ユーザの癖データベース172Aのテーブルには、通信接続、イベント実行等のユーザの癖の種類と、図20に示した認証用情報取得部185で取得した取得情報と、各ユーザの癖における最新状況と、各ユーザの癖の合格条件とが記憶されている。取得情報には、例えば、ユーザの癖の種類が通信接続であれば接続先のアドレス、SSID(Service Set Identifier)、BSSID(Basic Service Set Identifier)等が、ユーザの癖の種類がイベント実行であれば予めスケジュール帳に保存されたイベントの行われる場所の名称、住所等の場所情報が、ユーザの癖の種類が顔と端末装置との距離であれば距離が、デバイス接続であれば接続先のデバイスを示す名称、ID等が、それぞれ記憶されている。
 各ユーザの癖における最新状況には、例えば、ユーザの癖の種類が通信接続であれば、取得情報に示された通信接続先にこれまで接続等された合計回数である。通信接続先への接続等の合計回数は、初期値が0であり、通信接続先への接続等により回数が加算されていく。また、ユーザの癖の種類がイベント実行であれば、取得情報に記憶されている場所とユーザの現在地との間の距離が記憶される。ユーザの癖の種類が顔と携帯端末1との距離であれば、それまでユーザがユーザ本人と認証された際に算出された顔と携帯端末1との距離の平均距離が記憶される。顔と携帯端末1との平均距離は、ユーザがユーザ本人と認証される度に更新される。なお、顔と携帯端末1との平均距離の初期値は、図21Aに示した生体情報を、携帯端末1でユーザ本人の認証を行う前に予め登録する際に求められた距離とする。
 また、ユーザの癖の種類がデバイス接続であれば、取得情報に記憶された名称、ID等が示すデバイスに接続されているか否かが記憶されている。デバイス接続は、例えば、Bluetooth(登録商標)によりペア設定されたデバイスと携帯端末1との接続である。各ユーザの癖の合格条件は、各ユーザの癖の信頼性を担保できる条件を予め定めた条件である。
 次に、傾き情報テーブル177のテーブルを、図21Cに示す。傾き情報テーブル177は、図20に示した傾き検出部13から取得された携帯端末1の傾きを示す角度と、その角度を取得した取得日時、傾きを検出するめのインターバルとなる待機時間とを記憶している。携帯端末1の傾きを示す角度は、待機時間が経過する毎に図20に示した認証用情報取得部185により傾き検出部13から取得され、更新される。また、その角度を更新する際、角度を取得した取得日時も更新される。
 本実施の形態に係る携帯端末1は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図19に示した携帯端末1の端末制御部18は、端末記憶部17Aに記憶された認証処理プログラム170Aを実行し、ユーザがユーザ本人か否かを判別する。認証処理プログラム170Aによるユーザの認証処理は、予め定められた認証間隔によりバックグラウンドで行われる。
 このため、認証処理プログラム170Aによるユーザの認証処理を、実施の形態1から4における認証処理として用いる場合、主端末1A及び副端末1Bが起動している間、随時バックグランドで主ユーザ及び副ユーザを認証するようにしておき、その認証結果を図7から図11、図17、図18に示したフローチャートの各ステップで用いるようすればよい。端末制御部18により実行される認証処理プログラム170Aの処理について、図22A及び図22Bに示す認証処理のフローチャートを参照しつつ、以下に説明する。
 まず、図22Aを参照する。本実施の形態においては、生体情報としてユーザの顔画像を用いるものとする。図20に示した認証用情報取得部185は、撮影部11に携帯端末1を操作しているユーザの顔写真を撮影させる。具体的には、認証用情報取得部185は、携帯端末1の正面に向き合っているユーザの顔写真を、インカメラ11Aで撮影させる。認証用情報取得部185は、撮影部11から撮影したユーザの顔写真を取得する(ステップS601)。認証用情報取得部185は、取得したユーザの顔写真がブレていないか判定する(ステップS602)。ユーザの顔写真がブレていた場合(ステップS602;NO)、認証用情報取得部185は、撮影部11にユーザの顔写真の撮影をリトライさせる(ステップS603)。また、ユーザの顔写真がブレていなかった場合(ステップS602;YES)、認証用情報取得部185は、撮影部11に撮影させたユーザの顔写真からユーザの顔が検出できるか判定する(ステップS604)。
 ユーザの顔写真からユーザの顔が検出できない場合(ステップS604;NO)、認証用情報取得部185は、撮影部11にユーザの顔写真の撮影をリトライさせる(ステップS603)。なお、ユーザの顔写真からユーザの顔が検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。また、ユーザの顔写真からユーザの顔が検出できた場合(ステップS604;YES)、認証用情報取得部185は、検出したユーザの顔の画像の特徴量を求める。認証用情報取得部185は、求めたユーザの顔の画像の特徴量を認証判定部186に送信する。
 認証判定部186は、図19に示した端末記憶部17Aに記憶されている認証用生体情報データベース171Aを取得する。認証判定部186は、図21Aに示した認証用生体情報データベース171Aのテーブルから、生体情報の種類のうち「顔」に対応付けられた登録情報に記憶された顔画像の特徴量と、認証値の認証許容値及び認証閾値を取得する。認証判定部186は、認証用生体情報データベース171Aから取得した登録情報の顔画像の特徴量と、認証用情報取得部185から受信した顔画像の特徴量とを比較し、比較の結果を基に顔の認証値を求める。認証判定部186は、求めた顔の認証値が認証用生体情報データベース171Aから取得した認証閾値以上か判定する(ステップS605)。
 求めた顔の認証値が認証閾値以上の場合(ステップS605;YES)、認証判定部186は、求めた顔の認証値が認証用生体情報データベース171Aから取得した認証許容値以下か判定する(ステップS606)。求めた顔の認証値が認証許容値以下の場合(ステップS606;YES)、携帯端末1を使用しているユーザがユーザ本人か否かグレーであるため、認証判定部186はユーザの癖による認証である補助認証を実行する。まず、認証判定部186は、認証用情報取得部185に近距離通信部10から現在接続している通信接続先を取得させる。認証判定部186は、認証用情報取得部185から、取得させた近距離通信部10の現在の通信接続先を受信する。
 続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。認証判定部186は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。例えば、図21Bに示すように、「通信接続」の取得情報にはSSIDであるABC_WLANと123WLANとが記憶されている。このABC_WLANでは、接続した回数に31回、合格条件として接続回数が100回以上と記憶されている。また、123WLANでは、接続した回数に157回、合格条件として接続回数が100回以上と記憶されている。なお、以下では合格条件を満たす場合を信頼するものと呼び、合格条件を満たさない場合を信頼しないものと呼ぶ。
 認証判定部186は、認証用情報取得部185から受信した近距離通信部10の現在の通信接続先と、認証用ユーザの癖データベース172Aから取得した取得情報とを比較し、現在の通信接続先が信頼する接続先か否か判定する(ステップS607)。ここで、例えば、近距離通信部10の現在の通信接続先としてSSIDのABC_WLANが取得されているものとする。認証用ユーザの癖データベース172Aに記憶されたユーザの癖の種類「通信接続」の取得情報におけるABC_WLANは、接続した回数が31回であり、合格条件の接続回数が100回以上である。このため、現在の通信接続先は信頼する通信接続先ではないため(ステップS607;YES)、信頼するイベントを実行しているか否かを判定する(ステップS608)。
 認証判定部186は、認証用情報取得部185に操作入力部14から直前に実行したイベントの内容を取得させる。認証判定部186は、携帯端末1に備えられたカレンダーから現在の日時に予定があるか否かと、その予定が行われる場所の情報とを取得する。認証判定部186は、その日に予定が無かった場合、信頼するイベントの実行ではないものとし(ステップS608;YES)、顔と携帯端末1との距離を算出する(ステップS609)。また、その日に予定があった場合、認証判定部186は、認証用情報取得部185に位置検出部16から、現在の位置情報を取得させる。続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。
 認証判定部186は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類のうち、「イベント実行」に対応つけられた取得情報と合格条件とを取得する。例えば、図21Bに示すように、「イベント実行」の取得情報にはイベントが行われる場所として「○×公園」及び「△●映画館」が記憶され、その両方の合格条件として「距離が100m以内」と記憶されているものとする。
 ここで、例えば、携帯端末1に備えられたカレンダーに、現在の日時に行われるイベントの場所として「○×公園」が記憶されているものとする。認証判定部186は、認証用情報取得部185に位置検出部16から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「○×公園」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「○×公園」の位置情報との間の距離が113mとする。この場合、信頼するイベントの実行ではないものとし(ステップS608;YES)、顔と携帯端末1との距離を算出する(ステップS609)。ユーザの顔と携帯端末1との距離は、図1に示したインカメラ11Aで撮影した携帯端末1の正面に向き合うユーザの顔写真における、ユーザの顔の占める割合を基づいて算出する。
 続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。認証判定部186は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類のうち「顔と端末装置との距離」に対応つけられた平均距離、合格条件を取得する。例えば、図21Bに示すように、「顔と端末装置との距離」の平均距離には262mm、合格条件に平均距離のプラスマイナス20mmと記憶されている。
 認証判定部186は、ステップS509で算出したユーザの顔と携帯端末1との距離が、認証用ユーザの癖データベース172Aから取得した合格条件に設定された設定範囲内か否か判定する(ステップS610)。具体的には、認証用ユーザの癖データベース172Aから取得した平均距離は262mm、合格条件は、平均距離のプラスマイナス20mmであるので、242mmから282mmの範囲か否かを判定する。
 ステップS509で算出したユーザの顔と携帯端末1との距離が、242mmから282mmの範囲である場合(ステップS610;YES)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。認証用情報更新部188に、図19に示した認証用生体情報データベース171A及び認証用ユーザの癖データベース172Aに記憶された各種データを更新させる(ステップS611)。
 具体的には、認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの生体情報の種類「顔」に対応つけられた登録情報を、登録情報に記憶されていた顔画像の特徴量に認証判定部186が認証用情報取得部185から受信した顔画像の特徴量を加え、更新する。続いて、認証用情報更新部188は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルのユーザの癖の種類「通信接続」に対応つけられた最新状況に記憶されている回数に1を加え、更新する。また、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類「顔と端末装置との距離」に対応つけられた最新状況を、記憶されている平均距離とステップS609で算出された「顔と端末装置との距離」から求められた平均距離で更新する。
 このように、認証用生体情報データベース171Aに記憶された生体情報、及び、認証用ユーザの癖データベース172Aに記憶されたユーザの癖を更新することにより、ユーザの生体情報及びユーザの癖の精度が向上する。このため、ユーザの認証の精度を向上させることができる。
 また、認証判定部186により求められた顔の認証値が、認証値の認証閾値以上でない場合(ステップS605;NO)、認証判定部186は、認証用情報取得部185に近距離通信部10から現在接続している通信接続先を取得させる。認証判定部186は、認証用情報取得部185から、取得させた近距離通信部10の現在の通信接続先を受信する。続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。認証判定部186は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。認証判定部186は、認証用情報取得部185から受信した近距離通信部10の現在の通信接続先と、認証用ユーザの癖データベース172Aから取得した取得情報とを比較し、現在の通信接続先が信頼する接続先か否か判定する(ステップS612)。
 ここで、例えば、近距離通信部10の現在の通信接続先としてSSIDの123WLANが取得されているものとする。認証用ユーザの癖データベース172Aに記憶されたユーザの癖の種類「通信接続」の取得情報における123WLANは、接続した回数が156回であり、合格条件の接続回数が100回以上である。このため、現在の通信接続先は信頼する通信接続先であるため(ステップS612;YES)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。その後、認証判定部186は、認証間隔を現在の認証間隔よりも長くする(ステップS613)。これは、現在の通信接続先が信頼する通信接続先であれば、ユーザ本人は自宅、職場等の信頼する環境に居るものと考えられるためである。この場合、認証間隔を現在の認証間隔よりも長くして認証の頻度を下げ、必要最低限の回数、認証を行うようにすれば良い。
 ここで、例えば、近距離通信部10の現在の通信接続先としてSSIDのABC_WLANが取得されているものとする。認証用ユーザの癖データベース172Aに記憶されたユーザの癖の種類「通信接続」の取得情報におけるABC_WLANは、接続した回数が31回であり、合格条件の接続回数が100回以上である。このため、現在の通信接続先は信頼する通信接続先ではないため(ステップS612;NO)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証せず、認証間隔を現在の認証間隔よりも長くしない。
 ここで、ステップS607において、例えば、近距離通信部10の現在の通信接続先としてSSIDの123WLANが取得されているものとする。認証用ユーザの癖データベース172Aに記憶されたユーザの癖の種類「通信接続」の取得情報における123WLANは、接続した回数が156回であり、合格条件の接続回数が100回以上である。このため、現在の通信接続先は信頼する通信接続先であるため(ステップS607;NO)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。
 また、ここで、ステップS608において、例えば、携帯端末1に備えられたカレンダーに、現在の日時に行われるイベントの場所として「△●映画館」が記憶されているものとする。認証判定部186は、認証用情報取得部185に位置検出部16から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「△●映画館」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「△●映画館」の位置情報との間の距離が72mとする。この場合、信頼するイベントの実行であるもとのし(ステップS608;NO)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。その後、認証判定部186は、認証間隔を現在の認証間隔よりも長くする(ステップS613)。
 認証判定部186は、ユーザの顔と携帯端末1との距離を算出する(ステップS614)。続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。認証判定部186は、ステップS614で算出したユーザの顔と携帯端末1との距離が、認証用ユーザの癖データベース172Aから取得した合格条件に設定された設定範囲内か否か判定する(ステップS615)。ステップS609で算出したユーザの顔と携帯端末1との距離が、設定範囲内である場合(ステップS615;YES)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。認証判定部186は、認証用情報更新部188に、図19に示した認証用生体情報データベース171A及び認証用ユーザの癖データベース172Aに記憶された各種データを更新させる(ステップS611)。
 具体的には、認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの生体情報の種類「顔」に対応つけられた登録情報を、登録情報に記憶されていた顔画像の特徴量にステップS605で認証判定部186が認証用情報取得部185から受信した顔画像の特徴量を加え、更新する。
 続いて、認証用情報更新部188は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルのユーザの癖の種類「通信接続」に対応つけられた、最新状況に記憶されている回数に1を加え、更新する。続いて、認証用情報更新部188は、認証用ユーザの癖データベース172Aのテーブルのユーザの癖の種類「イベント実行」に対応つけられた最新状況を、ステップS608;NOで求めたイベントの場所と携帯端末1との間の距離を書き込み、更新する。また、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類「顔と端末装置との距離」に対応つけられた最新状況を、最新状況に記憶されている平均距離とステップS614で算出された「顔と端末装置との距離」から求められた平均距離で更新する。
 ステップS614で算出したユーザの顔と携帯端末1との距離が、設定範囲内でない場合(ステップS615;NO)、認証判定部186は、認証用情報更新部188に、図19に示した認証用生体情報データベース171A及び認証用ユーザの癖データベース172Aに記憶された各種データを更新させない。
 また、認証判定部186により求められた顔の認証値が、認証値の認証許容値以下でない場合(ステップS606;NO)、及び、ステップS610で顔と端末装置との距離が設定範囲内でなかった場合(ステップS610;NO)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人ではないと判断する。認証判定部186は、図20に示した認証結果表示部187に、表示部19へ認証できなかった旨を表示させる。続いて、認証判定部186は、携帯端末1に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。認証判定部186は、指紋認証を実行する(ステップS616)。
 指紋認証ができた場合(ステップS617;YES)、認証判定部186からの指示により、認証用情報取得部185は、撮影部11に携帯端末1を操作しているユーザの顔写真を撮影させる。認証用情報取得部185は、撮影部11から撮影したユーザの顔写真の画像を取得し、ユーザの顔の画像の特徴量を求める。認証用情報取得部185は、認証判定部186に求めたユーザの顔の画像の特徴量を送信する。認証判定部186は、受信したユーザの顔の画像の特徴量を図20に示した認証用情報更新部188に送信する。認証用情報更新部188は、受信したユーザの顔の画像の特徴量を、図21Aに示した認証用生体情報データベース171Aのテーブルの生体情報の種類「顔」に対応つけられた登録情報に記憶されていた顔画像の特徴量に加え、更新する(ステップS618)。認証判定部186は、ステップS601へ戻り、ステップS601以降のステップを実行する。
 また、指紋認証ができなかった場合(ステップS617;NO)、認証判定部186は、図20に示した認証結果表示部187に、表示部19へ認証できなかった旨を表示させる。続いて、認証判定部186は、図20に示した認証結果表示部187にログイン画面を表示部19に表示させる(ステップS619)。
 ここで、図22Bに移動する。認証判定部186は、生体認証及び補助認証が予め定めされた設定回数成功したか否かを判定する(ステップS620)。この設定回数は、例えば、連続で10回、携帯端末1が起動してから合計で20回等、任意の回数である。生体認証及び補助認証が予め定めされた設定回数成功した場合(ステップS620;YES)、認証判定部186は、設定回数分の認証で求められた顔の認証値の平均値を求める(ステップS621)。具体的には、認証判定部186は、図19に示した認証用生体情報データベース171Aを、端末記憶部17Aから取得する。認証判定部186は、図21Aに示した認証用生体情報データベース171Aのテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。認証判定部186は、ステップS605で求めた顔の認証値と、認証用生体情報データベース171Aから取得した認証値の平均値とを足して2で割り、顔の認証値の平均値を算出する。また、生体認証及び補助認証が予め定めされた設定回数成功しなかった場合(ステップS620;NO)、ステップS621からステップS623の処理をスキップし、ステップS624へ進む。
 認証判定部186は、ステップS621で求めた顔の認証値の平均値を、認証用情報更新部188に送信する。認証用情報更新部188は、受信した顔の認証値の平均値と、予め設定された認証閾値の上限値とを比較する。顔の認証値の平均値が予め設定された認証閾値の上限値以上である場合、認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、認証閾値の上限値を書き込み、更新する。また、顔の認証値の平均値が予め設定された認証閾値の上限値以下である場合、認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、ステップS621で求めた顔の認証値の平均値を書き込み、更新する(ステップS622)。
 続いて、認証用情報更新部188は、認証許容値を更新する(ステップS623)。具体的には、ステップS621で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以上である場合、認証用情報更新部188は、予め設定された最大認証許容値を認証許容値とする。また、ステップS621で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以下である場合、ステップS621で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以下であれば、その足した値を認証許容値とする。ステップS621で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以上であれば、最大認証許容値を認証許容値とする。認証用情報更新部188は、図19に示した認証用生体情報データベース171Aを、端末記憶部17Aから取得する。認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの、生体情報の種類のうち「顔」に対応付けられた認証許容値に、求めた認証許容値を書き込み、更新する。
 図20に示した認証用情報取得部185は、傾き検出部13から携帯端末1の傾きの角度を取得する。続いて、認証用情報取得部185は、図示しないタイマから現在の日時情報を取得する(ステップS624)。認証用情報取得部185は、取得した携帯端末1の傾きの角度と現在の日時情報とを認証判定部186に送信する。認証判定部186は、受信した携帯端末1の傾きの角度と現在の日時情報とを、認証用情報更新部188に送信する。認証用情報更新部188は、図19に示した端末記憶部17Aに記憶された傾き情報テーブル177に、受信した携帯端末1の傾きの角度と現在の日時情報とを書き込み、保存する(ステップS625)。
 認証判定部186は、図21Cに示した傾き情報テーブル177のテーブルに記憶されている待機時間を取得する。認証判定部186は、認証用情報取得部185に取得した待機時間を送信する。認証用情報取得部185は、受信した待機時間の間、近距離通信部10、撮影部11等からのデータの取得を待機する(ステップS626)。待機時間が終了すると、認証用情報取得部185は、傾き検出部13から携帯端末1の傾きの角度を取得する。続いて、認証用情報取得部185は、図示しないタイマから現在の日時情報を取得する(ステップS627)。認証用情報取得部185は、取得した携帯端末1の傾きの角度と現在の日時情報とを認証判定部186に送信する。
 認証判定部186は、図21Cに示した傾き情報テーブル177のテーブルに記憶されている携帯端末1の角度を取得する。認証判定部186は、認証用情報取得部185から受信した携帯端末1の傾きの角度と、傾き情報テーブル177から取得した携帯端末1の角度とを比較し、角度が変化してないか否かを判定する(ステップS628)。携帯端末1の角度の変化が、予め定められた設定値の角度、例えば、30度以上の場合(ステップS628;NO)、認証判定部186は、ユーザにより携帯端末1が動かされ何某かの操作が行われたものと判断し、図22Aに示したステップS601に戻る。その後、認証判定部186は、ステップS601以降の処理を実行する。
 また、携帯端末1の角度の変化が、予め定められた設定値の角度以下の場合(ステップS628;YES)、認証判定部186は、ユーザにより携帯端末1が動かされていないものと判断する。続いて、認証判定部186は、ユーザを認証するタイミングになったか否かを判定する(ステップS629)。ユーザを認証するタイミングは、予め設定された認証間隔の時間が経過したタイミングである。ユーザを認証するタイミングになっている場合(ステップS629;YES)、認証判定部186は、図22Aに示したステップS601に戻る。その後、認証判定部186は、ステップS601以降の処理を実行する。ユーザを認証するタイミングになっていない場合(ステップS629;NO)、認証判定部186はステップS625に戻る。認証判定部186は、ステップS625からステップS629までの処理を実行する。
 なお、上記の実施の形態において、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。
 以上の通り、上記実施の形態5に係る携帯端末1で実行される認証処理は、携帯端末1を使用するユーザの生体情報による認証の結果がユーザ本人か否か明確に判断できないグレーな場合に、ユーザの癖のデータを用いて認証する。これにより、生体情報による認証で携帯端末1を使用するユーザがユーザ本人か否か明確に判断できないグレーな場合にも、ユーザの癖のデータを用いてユーザ本人を認証することができる。また、携帯端末1において行われるユーザの認証処理は、携帯端末1の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報とユーザの癖とを更新していくことにより、認証の制度を向上させることができる。これにより、使用者の操作負担を軽減しつつ、セキュリティを確保することができる。
 (変形例1)
 上記の実施の形態1から5において、理解を容易にするため、制御対象装置を車両5として説明した。しかしながら、制御対象装置は車両5に限らず、例えば、各種家電、スマートホーム、PC(Personal Computer)、ロボット等、いずれの装置でもよい。
 (変形例2)
 上記の実施の形態1から5において、図3Dおよび図13に示したスコア値を求めるための、携帯端末1に登録された生体情報及びユーザの癖のデータは、ユーザを認証するごとに更新され、精度を高めるようにしてもよい。また、図3Dに示したスコア値テーブル173および図13に示したスコア値テーブル173Aのスコア値の項目に設定されている値は、ユーザが適宜設定できるようにしてもよい。
 (変形例3)
 上記の実施の形態1から5では、ユーザの認証処理を図2Bに示した認証処理プログラム170または図19に示した認証処理プログラム170Aを実行することにより実現するものとした。この認証処理プログラム170または認証処理プログラム170Aで行われる各ステップの全部または一部を、ASIC(Application Specific Integrated Circuit)、システムLSI(Large-scale Integration)等の半導体チップ、各種回路素子により構成される回路等により実現するようにしてもよい。
 なお、上記の実施の形態1から5では、保存する、登録する、記憶する、格納するとの語が用いられているが、これらは、同義の語として用いられているものとする。
 また、本発明の実施の形態1から5では、主端末1A及び副端末1Bは、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、主端末1A及び副端末1Bにおける各機能を実現するためのプログラムを、コンピュータが読み取り可能なCD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)などの記録媒体に格納して配布し、このプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をOS(Operating System)とアプリケーションとの分担、またはOSとアプリケーションとの協同により実現する場合には、アプリケーションのみを記録媒体に格納してもよい。
 本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。
 本出願は、2019年4月26日に出願された日本国特許出願特願2019-086866号に基づく。本明細書中に日本国特許出願特願2019-086866号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
 本発明は、電子制御システムに好適に利用することができる。
1 携帯端末、1A 主端末、1B 副端末、5 車両、10 近距離通信部、11A インカメラ、12 音声入出力部、 12A スピーカ、12B 通話用のマイク、13 傾き検出部、14 操作入力部、19 表示部、15 指紋検出部、15A 左指紋センサ、15B 右指紋センサ、16 位置検出部、17 端末記憶部、18 端末制御部、20 電話通信部、21 プロセッサ、22 メモリ、23 表示コントローラ、24 表示装置、25 I/Oポート、26 記憶部、27 近距離通信装置、28 データバス、100~102 電子制御システム。

Claims (8)

  1.  ユーザの生体情報を自動的に取得して、生体情報とユーザの端末の操作態様とに基づいて、ユーザを認証する認証手段と、
     ユーザの制御対象装置に対する指示を受け付ける受け付け部と、
     前記認証手段による認証が成功した場合に、前記受け付け部で受け付けた指示を示す信号を、制御対象装置に送信する送信部と、
     を備えるリモコン装置。
  2.  前記認証手段は、リモコン装置を操作するユーザの使用態様を判別し、その情報を蓄積し、使用時の操作態様と蓄積された使用態様とに基づいて、使用者を認証する、
     請求項1に記載のリモコン装置。
  3.  前記認証手段は、第1の生体情報とユーザの端末の操作態様とに基づいて認証する第1の認証手段と、前記第1の生体情報とは異なる第2の生体情報に基づいて認証する第2の認証手段と、を含み、
     前記送信部は、前記第2の認証手段で認証された場合に、前記第1の認証手段により認証された場合よりも制限された内容の指示を示す信号を送信可能に構成されている、
     請求項1又は2に記載のリモコン装置。
  4.  前記認証手段は、使用ユーザから取得した生体情報に基づく認証スコア値と、使用態様に基づくスコア値とを合計した値が、予め定められた合計値以上である場合に、ユーザが正当なユーザであると認証する、
     請求項1から3の何れか1項に記載のリモコン装置。
  5.  他のリモコン装置からの指示に従って、自己の指示しうる権限を設定する設定手段をさらに備え、
     前記送信部は、前記設定手段により設定された権限に基づいて、前記他のリモコン装置と同一の制御対象装置を制御する指示を示す信号を、前記同一の制御対象装置に送信する、
     請求項1から4の何れか1項に記載のリモコン装置。
  6.  他のリモコン装置に、そのリモコン装置の指示しうる権限を通知する権限通知手段をさらに備え、
     前記送信部は、前記権限通知手段から通知された権限に基づいて、前記他のリモコン装置と同一の制御対象装置を制御する指示を示す信号を、前記同一の制御対象装置に送信する、
     請求項1から5の何れか1項に記載のリモコン装置。
  7.  ユーザの生体情報と端末の操作態様とに基づいて、ユーザを認証し、
     制御対象装置に対する指示を受け付け、
     認証が成功した場合に、指示を外部の制御対象装置に向けて送信する、
     情報処理方法。
  8.  コンピュータに、
     生体情報と端末装置の操作態様とに基づいて、使用者を認証する処理、
     制御対象装置に対する指示を受け付ける処理、
     認証が成功した場合に、受け付けた指示を制御対象装置に向けて送信する処理、
     を実行させるプログラム。
PCT/JP2020/016403 2019-04-26 2020-04-14 リモコン装置、情報処理方法及びプログラム WO2020218084A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/606,379 US20220417359A1 (en) 2019-04-26 2020-04-14 Remote control device, information processing method and recording program
JP2021516020A JP7299973B2 (ja) 2019-04-26 2020-04-14 リモコン装置、情報処理方法及びプログラム
CN202080030710.2A CN113728656B (zh) 2019-04-26 2020-04-14 遥控装置、信息处理方法以及存储有程序的计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019086866 2019-04-26
JP2019-086866 2019-04-26

Publications (1)

Publication Number Publication Date
WO2020218084A1 true WO2020218084A1 (ja) 2020-10-29

Family

ID=72942572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016403 WO2020218084A1 (ja) 2019-04-26 2020-04-14 リモコン装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20220417359A1 (ja)
JP (1) JP7299973B2 (ja)
CN (1) CN113728656B (ja)
WO (1) WO2020218084A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6964174B1 (ja) * 2020-11-30 2021-11-10 真旭 徳山 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213638A1 (ja) * 2019-04-18 2020-10-22 日本電気株式会社 人物特定装置、人物特定方法および記録媒体
KR20220117715A (ko) * 2021-02-17 2022-08-24 현대자동차주식회사 커넥티드 서비스 제공 시스템 및 방법
US20230138176A1 (en) * 2021-11-01 2023-05-04 At&T Intellectual Property I, L.P. User authentication using a mobile device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173930A (ja) * 2003-12-10 2005-06-30 Sony Corp 電子機器、認証方法
JP2010074640A (ja) * 2008-09-19 2010-04-02 Panasonic Corp 制御端末、制御信号処理装置、および情報管理方法
WO2016175333A1 (ja) * 2015-04-30 2016-11-03 真旭 徳山 端末装置およびコンピュータプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049916A (ja) * 2007-08-22 2009-03-05 Sony Corp リモートコントロールシステム、受信装置および電子機器
JP5356099B2 (ja) * 2008-05-30 2013-12-04 シャープ株式会社 データ提供装置、操作装置、データ処理装置、操作システム、および制御プログラム
KR101549556B1 (ko) * 2009-03-06 2015-09-03 엘지전자 주식회사 휴대 단말기 및 그 제어방법
WO2014080508A1 (ja) * 2012-11-26 2014-05-30 日立マクセル株式会社 ネットワーク端末システム、表示装置、端末装置、表示装置における情報処理方法、プログラム
CN104618784A (zh) * 2015-02-28 2015-05-13 江苏惠通集团有限责任公司 网络电视的安全认证方法、遥控方法和装置以及认证系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173930A (ja) * 2003-12-10 2005-06-30 Sony Corp 電子機器、認証方法
JP2010074640A (ja) * 2008-09-19 2010-04-02 Panasonic Corp 制御端末、制御信号処理装置、および情報管理方法
WO2016175333A1 (ja) * 2015-04-30 2016-11-03 真旭 徳山 端末装置およびコンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6964174B1 (ja) * 2020-11-30 2021-11-10 真旭 徳山 情報処理装置、情報処理方法、及びプログラム
JP2022086525A (ja) * 2020-11-30 2022-06-09 真旭 徳山 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
CN113728656B (zh) 2024-03-19
US20220417359A1 (en) 2022-12-29
CN113728656A (zh) 2021-11-30
JPWO2020218084A1 (ja) 2020-10-29
JP7299973B2 (ja) 2023-06-28

Similar Documents

Publication Publication Date Title
WO2020218084A1 (ja) リモコン装置、情報処理方法及びプログラム
US20190028894A1 (en) Information processing apparatus, control method for information processing apparatus, and storage medium
EP3086296A2 (en) Mobile terminal and method for controlling the same
AU2019240620A1 (en) Account access recovery system, method and apparatus
KR20190101829A (ko) 화면 데이터를 공유하는 전자 장치 및 그 방법
JP6667628B2 (ja) 生体認証装置、携帯端末装置、制御プログラム
CN110570641B (zh) 便携终端装置
JP2017223068A (ja) 認証方法及び認証装置
JP7023139B2 (ja) 解錠システム、解錠装置、解錠方法、端末装置及びプログラム
JP6926351B1 (ja) 端末装置、情報処理方法、及びプログラム
JP6979135B2 (ja) 端末装置、情報処理方法、及びプログラム
KR20190015555A (ko) 서비스 제공 시스템, 서비스 통신 시스템, 서비스 제공 방법 및 기록 매체
JP6946592B1 (ja) 認証システム、認証装置、認証方法、及びプログラム
JP7299972B2 (ja) 情報処理システム、情報処理方法、及びプログラム
JP6114716B2 (ja) 情報処理端末、情報処理システム、および情報処理方法
JP7012190B1 (ja) 認証装置、認証方法、認証システム、及びプログラム
JP6964174B1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7015408B1 (ja) 端末装置、情報処理方法、及びプログラム
US20220374506A1 (en) Authentication device and authentication system
CN118044154A (en) Authentication device, authentication method, authentication system, and program
KR101115405B1 (ko) 단말기의 잠금 설정 해지 시스템 및 방법
JP7184870B2 (ja) 携帯情報端末及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20793960

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516020

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/02/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20793960

Country of ref document: EP

Kind code of ref document: A1