WO2021215267A1 - 制御装置、及び制御方法 - Google Patents

制御装置、及び制御方法 Download PDF

Info

Publication number
WO2021215267A1
WO2021215267A1 PCT/JP2021/014983 JP2021014983W WO2021215267A1 WO 2021215267 A1 WO2021215267 A1 WO 2021215267A1 JP 2021014983 W JP2021014983 W JP 2021014983W WO 2021215267 A1 WO2021215267 A1 WO 2021215267A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
signal
user
information
electroencephalogram
Prior art date
Application number
PCT/JP2021/014983
Other languages
English (en)
French (fr)
Inventor
高塚　進
鉄川　弘樹
至 清水
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180028840.7A priority Critical patent/CN115443462A/zh
Priority to US17/918,427 priority patent/US20230143234A1/en
Priority to DE112021002493.0T priority patent/DE112021002493T5/de
Publication of WO2021215267A1 publication Critical patent/WO2021215267A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2117—User registration

Definitions

  • the present technology relates to a control device and a control method, and more particularly to a control device and a control method that enable more secure authentication using brain information.
  • Patent Document 1 makes it possible to observe minute signal components of motion-related brain potentials buried in brain wave data in the form of time changes in frequency distribution, and also makes it possible to observe the time of frequency with respect to myoelectric potential digital data.
  • a method for analyzing and diagnosing cerebral motor function that automatically detects the exercise start time by seeking the change and detecting the occurrence time of the change occurring in the wide band is disclosed.
  • This technology was made in view of such a situation, and enables more secure authentication using brain information.
  • the control device of one aspect of the present technology is a first authentication that authenticates the user based on the first registration information based on the user's first brain information measured in response to the reproduction of the first trigger media.
  • the second authentication process for authenticating the user based on the control of the process and the second brain information of the user measured according to the reproduction of the second trigger media different from the first trigger media. It is a control device including a processing unit that controls the registration process of the second registration information to be used.
  • the control device is based on the first registration information based on the first brain information of the registered user measured in response to the reproduction of the first trigger media.
  • the user is authenticated based on the control of the first authentication process for authenticating the user and the second brain information of the user measured according to the reproduction of the second trigger media different from the first trigger media.
  • This is a control method for controlling the registration process of the second registration information used for the second authentication process.
  • the user is authenticated based on the first registration information based on the user's first brain information measured in response to the reproduction of the first trigger media.
  • the first authentication process is controlled, and the user is authenticated based on the second brain information of the user measured in response to the reproduction of the second trigger media different from the first trigger media.
  • the registration process of the second registration information used for the authentication process of 2 is controlled.
  • the control device on one side of the present technology may be an independent device or an internal block constituting one device.
  • multi-factor authentication systems that use multiple verification elements are often used for authentication that requires high security such as banks.
  • a user who intends to receive authentication needs to present two or more categories of authentication elements among (a) to (c) shown below.
  • A Knowledge: Information known only to the user (for example, password)
  • B Property: Items that only the user has (for example, an ATM card)
  • C Biological information: Features that only the user has (for example, fingerprint)
  • EEG Electroencephalograph
  • MRI Magnetic Resonance Imaging
  • NIRS Near-Infrared Spectroscopy
  • the pass-thought known only to the user can be read out with an accuracy that can identify an individual, the knowledge corresponding to the above-mentioned (a) that only the user knows is used as the first authentication factor, and the above-mentioned By simultaneously using the biometric information of the user's brain feature amount corresponding to (c) as the second authentication factor, authentication can be performed in one step.
  • Path sort is brain activity information peculiar to the perception and recall of an arbitrary object.
  • Arbitrary objects include audio, images, odors, touch, taste and the like. These may be the case of actually recognizing and perceiving them, or the case of not actually perceiving them but recalling or imagining them.
  • Recollection and imagination may be performed based on direct and concrete instructions indicating the object, or may be performed based on abstract instructions.
  • the brain activity information is information obtained by an electroencephalogram, MRI, or the like, and may be defined as a measurement signal, a feature amount extracted from the measurement signal, or a space composed of the feature amount.
  • EEG measurement has a large artifact due to the myoelectricity of the user's head, and at present, the usage scene is limited.
  • UI User Interface
  • an electroencephalogram having a natural and easy-to-understand user interface (UI) is provided.
  • UI user interface
  • FIGS. 1 and 2 show an example of registration of a trigger action and a path sort used in EEG personal authentication.
  • the user holds a mobile terminal 10A such as a smartphone in his hand, and wears an earphone 20A wirelessly or wiredly connected to the mobile terminal 10A in his ear.
  • a mobile terminal 10A such as a smartphone
  • an earphone 20A wirelessly or wiredly connected to the mobile terminal 10A in his ear.
  • the earphone 20A is provided with a plurality of electrodes, and can measure biological signals such as myoelectric signals and brain wave signals from the user's head.
  • the user operates the menu screen of the electroencephalogram personal authentication application running on the mobile terminal 10A, and selects the registration of the trigger action and the path sort (S11).
  • the electroencephalogram personal authentication application is an application that performs personal authentication using an electroencephalogram measured from the user's head, and is an example of an electroencephalogram application.
  • the trigger action is an action (a predetermined action of the user, etc.) that becomes a trigger when performing a predetermined process based on an electroencephalogram.
  • the mobile terminal 10A presents a user interface that encourages the user to perform a predetermined action by using an image, text, sound, or the like (S12).
  • the image and text display a screen with a message prompting you to close your eyes and start the pathsorting image according to the audio instructions.
  • a voice instruction is an instruction by voice and is an example of an instruction which is an explicit instruction from the system.
  • the myoelectric signal corresponding to the operation is measured by the electrodes of the earphone 20A (S13).
  • the myoelectric signal including the waveform W11 of FIG. 1 is measured and recorded as a trigger action signal according to the closing of the eyes of the user.
  • the brain wave signal is measured by the electrodes of the earphone 20A (S15).
  • the electroencephalogram signal including the waveform W12 of FIG. 2 is measured and recorded in association with the electroencephalogram personal authentication application as the electroencephalogram application and the eye closure as the trigger action.
  • the earphone 20A When the trigger action and the path sort are registered, the earphone 20A outputs a voice notifying the user that the registration is completed and that the eyes may be opened (S16). Further, in the mobile terminal 10A, a user interface indicating that the registration is completed is presented by an image, text, sound, or the like (S17). In this example, an image and text display a screen containing a message indicating the completion of registration.
  • the user performs an action that becomes a trigger action or the like according to a user interface (UI) such as a voice instruction, or imagines a thing used as a path sort, thereby performing a trigger action used in brain wave personal authentication. And the path sort is registered.
  • UI user interface
  • FIG. 1 presents a user interface that encourages actions such as lowering down and closing eyes, closing eyes and moving the mouth (chin) only four times at predetermined intervals, and other actions by the user are registered as trigger actions. It may be (S12').
  • the user performs actions such as blinking twice, closing the eyes with the neck down, and moving the mouth (chin) four times after closing the eyes.
  • a myoelectric signal including the waveform W11'corresponding to the above is measured and recorded as a trigger action signal (S13'). That is, the user interface presented here is an instruction that is an explicit instruction from the system, and prompts the user to execute a trigger action.
  • the electroencephalogram signal including the waveform W12'corresponding to the image of the user's answer to the more restricted favorite animal or secret question is measured and recorded in association with the electroencephalogram application or trigger action (S15'). ..
  • FIGS. 5 and 6 show an authentication example of EEG personal authentication (path sort authentication) using a trigger action and path sort.
  • the user holds a mobile terminal 10A such as a smartphone in his hand, and wears an earphone 20A wirelessly or wiredly connected to the mobile terminal 10A in his ear.
  • the earphone 20A is operating in the trigger action measurement mode (S21).
  • the myoelectric signal corresponding to the operation is measured by the electrodes of the earphone 20A (S22).
  • the myoelectric signal including the waveform W21 of FIG. 5 is detected as the trigger action signal, and the earphone 20A starts the trigger action recognition process.
  • the trigger action recognition process it is confirmed whether or not the trigger action signal recorded at the time of registration has a trigger action signal having a similarity within a predetermined threshold range. In addition, based on the relationship between the recorded trigger action signal and the brain wave application, the corresponding brain wave application is notified that the trigger action signal has been detected.
  • the myoelectric signal waveform W21 detected as the trigger action signal at the time of authentication has a similarity within a predetermined threshold with the myoelectric signal waveform W11 recorded as the trigger action signal at the time of registration. Therefore, the trigger action is closed eyes, and the corresponding electroencephalogram application is an electroencephalogram personal authentication application (S23).
  • a voice instruction is output from the earphone 20A to the user with closed eyes to image the registered path sort (S24).
  • the measurement mode is changed from the trigger action measurement mode to the brain wave measurement mode.
  • the brain wave signal is measured by the electrodes of the earphone 20A (S25).
  • the image of a cat by the user causes the electroencephalogram signal including the waveform W22 of FIG. 6 to be measured and the path sort recognition process to be started.
  • the electroencephalogram signal waveform W22 measured at the time of authentication has a similarity within a predetermined threshold range with the electroencephalogram signal waveform W12 recorded as the electroencephalogram signal of the electroencephalogram personal authentication application, the electroencephalogram.
  • the fact that the signals match is notified to the electroencephalogram personal authentication application (S26).
  • the electroencephalogram personal authentication application is notified that the electroencephalogram signal does not match.
  • the earphone 20A When the path sort recognition process is completed, the earphone 20A outputs a voice notifying the user that the authentication is completed and that the eyes may be opened (S27). Further, on the mobile terminal 10A, a screen including a message indicating that the authentication is completed is displayed by an image or text (S27).
  • brain wave personal authentication is performed by the user performing an action that becomes a trigger action or imagining a thing used as a path sort according to a user interface (UI) such as a voice instruction.
  • UI user interface
  • FIG. 7 shows an example of registration of EEG personal authentication using a hearing-induced reaction.
  • the user operates the menu screen of the EEG personal authentication application running on the mobile terminal 10A, and selects the registration of the trigger action and the path sort (S31). In this menu screen, it is possible to select to use the auditory evoked reaction.
  • the mobile terminal 10A presents a message prompting the user to close his eyes and listen to the sound output from the earphone 20A by means of an image, text, sound, or the like (S32). ..
  • the myoelectric signal corresponding to the operation is measured by the electrodes of the earphone 20A and recorded as a trigger action signal (S33).
  • a trigger sound is output from the earphone 20A to the user who has closed his eyes, and when the user reacts to this trigger sound, the brain wave signal corresponding to the reaction is measured by the electrodes of the earphone 20A, and the brain wave personal authentication application or It is recorded in association with the trigger action (S34).
  • the earphone 20A When the path sort according to the hearing-induced reaction is registered, the earphone 20A outputs a voice notifying the user that the registration is completed and that the eyes may be opened (S35).
  • the myoelectric signal corresponding to the operation is measured by the electrodes of the earphone 20A and recorded as a trigger action signal (S36). That is, in this example, the opening / closing action of the eyes is recorded as a trigger action by recording a series of actions when the user closes the eyes and opens the eyes.
  • FIG. 8 shows an authentication example of EEG personal authentication using an auditory evoked reaction.
  • the earphone 20A worn by the user in the ear is operating in the trigger action measurement mode (S41).
  • S41 the trigger action measurement mode
  • a myoelectric signal corresponding to the action is detected as a trigger action signal, and the trigger action recognition process is started.
  • the myoelectric signal detected as the trigger action signal at the time of authentication has a similarity within a predetermined threshold with the myoelectric signal recorded as the trigger action signal at the time of registration described above. Therefore, the trigger action is the opening and closing of the eyes, and the corresponding EEG application is the EEG personal authentication application (S42).
  • EEG Event-related potential
  • the EEG signal measured at the time of authentication has a similarity within a predetermined threshold with the EEG signal recorded as the EEG signal of the EEG personal authentication application.
  • the EEG personal authentication application is notified that they match.
  • the earphone 20A When the ERP recognition process is completed, the earphone 20A outputs a sound indicating that the authentication is completed (authentication clear sound) and a voice notifying the user that the eyes may be opened (S44).
  • Odd Ball Task which is a mixture of normal sounds and abnormal sounds, may be used.
  • the odd ball task presents two or more kinds of sounds in a random order with different appearance frequencies.
  • FIG. 9 shows an example of registration of EEG personal authentication using a visual evoked reaction.
  • steps S51 to S53 of FIG. 9 similarly to steps S31 to S33 of FIG. 7, when the user closes his / her eyes according to the message presented by the mobile terminal 10A or the earphone 20A, a myoelectric signal corresponding to the operation is generated. It is measured by the electrodes of the earphone 20A and recorded as a trigger action signal.
  • a user with closed eyes is irradiated with evoked light using the visual evoked lighting function of the mobile terminal 10A, and when the user reacts to this evoked light, an electroencephalogram signal corresponding to the reaction is measured by the electrodes of the earphone 20A. It is recorded in association with an electroencephalogram personal authentication application or a trigger action (S54).
  • a flash illuminating with a specific pulse may be used, and the flash may be enabled at a speed at which an evoked reaction occurs in the brain wave signal, although the user is not aware of it.
  • the visual evoked lighting function has been described as a function of the mobile terminal 10A, it may be provided as a function of another device.
  • steps S55 to S56 of FIG. 9 similarly to steps S35 and S36 of FIG. 7, after the completion of registration is notified, a myoelectric signal corresponding to the operation when the user opens his / her eyes is measured and triggered. Recorded as an action signal. That is, in this example, the opening / closing action of the eyes is recorded as a trigger action by recording a series of actions when the user closes the eyes and opens the eyes.
  • FIG. 10 shows an authentication example of EEG personal authentication using a visual evoked reaction.
  • steps S61 to S62 of FIG. 10 similarly to steps S41 to S42 of FIG. 8, a myoelectric signal corresponding to the operation when the user opens and closes the eyes is detected as a trigger action signal and recorded at the time of registration.
  • the ERP recognition process is started when the trigger action signal has a similarity within a predetermined threshold range (S63).
  • the brain wave signal corresponding to the reaction is measured, so that the measured brain wave signal is recorded as the brain wave signal of the brain wave personal authentication application.
  • the electroencephalogram signal has a similarity within a predetermined threshold range, the electroencephalogram personal authentication application is notified that the electroencephalogram signals match.
  • step S64 of FIG. 10 as in step S44 of FIG. 8, when the pass sort authentication is completed, the earphone 20A gives the user a sound indicating that the authentication is completed (authentication clear sound) and opens the eyes. A voice is output notifying that the user may do so.
  • the user can realize EEG personal authentication simply by receiving the evoked light output from the outside without imagining the path sort used for the authentication key. It will be possible.
  • EEG personal authentication may be performed. Further, at this time, the user's concentration may be measured by the electroencephalogram signal of the visual evoked reaction.
  • room lighting since room lighting is used, it is possible to simultaneously perform brain wave personal authentication not only for one user but also for a plurality of users in the room.
  • this brain wave personal authentication function as a function of the conference room application, when the conference room is used by a plurality of users, the brain wave personal authentication is performed for the users in the conference room, and the conference room can be used. You can grasp the participation status.
  • the electroencephalogram personal authentication using the auditory evoked reaction and the visual evoked reaction is illustrated, but in addition to this, the tactile sensation evoked reaction by the vibration of the device such as the mobile terminal 10A and the olfactory sensation induced by the scent generator.
  • a reaction or the like may be used.
  • Such an electroencephalogram signal evoked by hearing, sight, touch, or smell can be said to be an event-related potential (ERP).
  • FIG. 11 shows a first example of a recollection search using an electroencephalogram search application.
  • the user holds a mobile terminal 10A such as a smartphone in his hand, and wears an earphone 20A wirelessly or wiredly connected to the mobile terminal 10A in his ear. Further, on the mobile terminal 10A, applications such as an SNS (Social Networking Service) application and a news application are started.
  • SNS Social Networking Service
  • the brain wave signal of the user when browsing the featured article is measured and recorded by the electrodes of the earphone 20A.
  • this electroencephalogram signal for example, when an article with a fixed display for a certain period of time or longer is detected on the mobile terminal 10A, it is estimated that the user was paying attention to the article and viewing it. The brain wave signal at that time is automatically recorded.
  • the brain wave signal including the waveform W71 of FIG. 11 is measured and recorded as the user's brain wave signal when a fixedly displayed article for a certain period of time or longer is detected.
  • this electroencephalogram signal it can be associated with an electroencephalogram search application.
  • the recorded information on the electroencephalogram signal is associated with the information on the featured article by the information such as the history information.
  • the myoelectric signal corresponding to the operation is detected as a trigger action signal by the electrodes of the earphone 20A, and the trigger action recognition process is started (S73).
  • the action of closing the user's eyes is registered in advance as the trigger action of the electroencephalogram search application.
  • the trigger action recognition process if the detected trigger action signal has a similarity within a predetermined threshold with the recorded trigger action signal, the trigger action is closed and the corresponding EEG application. Becomes an electroencephalogram search application.
  • the brain wave signal corresponding to the image of the featured article is measured by the electrodes of the earphone 20A, and the brain log search process is performed. It is started (S73).
  • the brain wave search application identifies the information on the featured article linked to the information on the brain wave signal to be notified based on the information such as history information, and presents the featured article based on the information on the featured article. (S74). For example, when presenting this featured article, it can be presented by using the history option function of the mobile terminal 10A or the like. In addition, when presenting a noteworthy article, if there are a plurality of histories (records) in which the similarity of the waveforms of the electroencephalogram signals is within the threshold range, a plurality of matching results may be presented in descending order of similarity.
  • FIG. 12 shows a second example of a recollection search using an electroencephalogram search application.
  • the user's brain wave signal when checking the appearance of the building on the way to the destination is measured and recorded by the electrodes of the earphone 20A.
  • this brain wave signal for example, when a map is displayed by a map application running on the mobile terminal 10A and then a certain period of time is detected, the appearance of the building is displayed at that location. It is estimated that it was confirmed, and the brain wave signal at that time is automatically recorded.
  • the electroencephalogram signal including the waveform W81 of FIG. 12 is measured and recorded as the electroencephalogram signal of the user when the pause time for a certain period of time is detected.
  • this electroencephalogram signal it can be associated with an electroencephalogram search application.
  • the recorded information on the electroencephalogram signal is associated with the information on the place (position information, etc.) presumed to have confirmed the appearance of the building by the information such as the history information.
  • the myoelectric signal corresponding to the operation is measured by the electrodes of the earphone 20A, and the trigger action recognition process is started (S83).
  • eye closure is registered in advance as a trigger action.
  • the trigger action recognition process if the detected trigger action signal has a similarity within a predetermined threshold with the recorded trigger action signal, the trigger action is closed and the corresponding EEG application. Becomes an electroencephalogram search application.
  • the brain wave signal corresponding to the image of the building that came to mind is measured by the electrodes of the earphone 20A, and the brain.
  • the log search process is started (S83).
  • the brain wave search application identifies a place (location information, etc.) associated with information related to the brain wave signal to be notified based on information such as history information, and displays a map of the place, information on a building, and the like.
  • Present For example, when presenting a map of a specific place or information on a building, it can be presented by using a history option function of the mobile terminal 10A or the like.
  • a recollection search (brain log search) is performed by matching the brain wave signal that is automatically recorded when the user visits a specific place with the brain wave signal when the user recalls the memory of a building or the like that left an impression. Can be realized.
  • the mobile terminal 10A can use the mobile terminal 10A by remembering the memory of the building in his / her head. , You can browse information about the building, etc.
  • the trigger action of the electroencephalogram search application is closed eyes is shown, but other actions such as blinking twice may be registered. That is, the trigger actions of the EEG personal authentication application and the EEG search application can be different.
  • the electroencephalogram signal to be the target of the matching process the electroencephalogram signal relating to the user's thinking about the same object such as a specific article or a specific place has been described, but the same object is a still image.
  • Video, contacts, music, applications, and other information that can be presented by devices such as the mobile terminal 10A, and can include information provided by a specific medium.
  • FIG. 13 shows a configuration example of an electroencephalogram system to which the present technology is applied.
  • the electroencephalogram system is a system that can provide various services by using the electroencephalogram signal measured from the user's head.
  • the electroencephalogram system is composed of a terminal device 10 and a measuring device 20.
  • the terminal device 10 is an electronic device such as the above-mentioned mobile terminal 10A such as a smartphone, a game machine, a controller, a PC (Personal Computer), a display device, and a portable music player.
  • the terminal device 10 has a control unit 101 and a communication unit 102.
  • the control unit 101 is a central control device that controls various operations and performs various arithmetic processes.
  • the control unit 101 is composed of a processor such as a CPU (Central Processing Unit).
  • the control unit 101 can activate and execute the electroencephalogram application.
  • the communication unit 102 communicates with another device such as the measuring device 20 according to the control from the control unit 101.
  • the communication unit 102 is configured as a communication module corresponding to wireless communication or wired communication conforming to a predetermined communication method.
  • wireless communication includes wireless communication based on short-range wireless communication standards such as Bluetooth (registered trademark) and NFC (Near Field Communication), wireless communication such as wireless LAN (Local Area Network), LTE-Advanced and 5G (5th Generation). ) Etc., including cellular communication.
  • Wired communication also includes communication compatible with communication interfaces such as HDMI (High Definition Multimedia Interface) (registered trademark).
  • the measuring device 20 is an electronic device such as the earphone 20A described above, the HMD (Head Mounted Display) 20B described later, and a wearable terminal such as a glasses-type wearable device.
  • the HMD Head Mounted Display
  • the measuring device 20 includes electrodes 201-1 to 201-n (an integer of n: 1 or more), a reference electrode 202, a sensor unit 203, a sound output unit 204, a display unit 205, an input signal processing unit 206, and a signal. It has a recording unit 207, a communication unit 208, an output processing unit 209, and a battery 210.
  • Electrodes 211-1 to 201-n are measurement electrodes for measuring biological signals.
  • the reference electrode 202 is a reference electrode for measuring the reference potential used for calculating the difference from the potential measured at the electrodes 201-1 to 201-n.
  • the electrodes 201-1 to 201-n and the reference electrode 202 are attached so as to be in close contact with parts such as the user's head and ears.
  • the biological signals measured by the electrodes 201-1 to 201-n and the reference electrode 202 are supplied to the input signal processing unit 206.
  • the electrode may include a ground electrode.
  • the ground electrode here does not mean a ground electrode (an electrode having a ground potential) generally referred to, but an electrode having a potential that becomes a reference potential for the user. In the following description, when it is not necessary to distinguish the electrodes 201-1 to 201-n, it is simply referred to as the electrode 201.
  • the sensor unit 203 senses spatial information, time information, and the like, and supplies the sensor signal obtained as a result of the sensing to the input signal processing unit 206.
  • the sensor unit 203 has an acceleration sensor 221 and a gyro sensor 222.
  • Accelerometer 221 measures acceleration in three directions of the XYZ axes.
  • the gyro sensor 222 measures the angular velocities of the three axes of the XYZ axes.
  • An inertial measurement unit (IMU) may be provided to measure three-dimensional acceleration and angular velocity with a three-direction accelerometer and a three-axis gyroscope.
  • the sound output unit 204 outputs a sound corresponding to the sound signal from the output processing unit 209.
  • the sound output unit 204 is composed of a mechanism such as a driver unit constituting the earphone, a speaker, or the like.
  • the display unit 205 displays an image corresponding to the image signal from the output processing unit 209.
  • the display unit 205 is composed of a panel unit such as a liquid crystal panel or an OLED (Organic Light Emitting Diode) panel, a signal processing unit, and the like.
  • the input signal processing unit 206 processes biological signals from the electrodes 201-1 to 201-n and the reference electrode 202, and is a myoelectric signal or a human being, which is a weak signal generated in the nerve when a human moves a muscle. Reads the electroencephalogram signal, which is a signal corresponding to the electrical activity generated from the brain.
  • the input signal processing unit 206 performs predetermined signal processing based on the read myoelectric signal or brain wave signal.
  • the input signal processing unit 206 may use the sensor signal from the sensor unit 203 together with the myoelectric signal when detecting the trigger action.
  • the input signal processing unit 206 is a detection unit that detects brain waves included in the user's biological signal and detects an operation based on information other than the brain waves included in the biological signal (myoelectric signal, sensor signal, etc.). Has a function. Further, the input signal processing unit 206 has a function as a processing unit that performs a predetermined process based on the brain wave.
  • the input signal processing unit 206 records the data related to the read myoelectric signal or electroencephalogram signal in the signal recording unit 207.
  • the input signal processing unit 206 matches the read myoelectric signal or electroencephalogram signal with the myoelectric signal or electroencephalogram signal recorded in the signal recording unit 207, and supplies data related to the matching result to the communication unit 208. do.
  • the signal recording unit 207 records data related to various signals according to the control from the input signal processing unit 206.
  • the signal recording unit 207 is configured as an auxiliary storage device such as a semiconductor memory.
  • the signal recording unit 207 may be configured as an internal storage or may be an external storage such as a memory card.
  • the communication unit 208 communicates with another device such as the terminal device 10.
  • the communication unit 208 transmits the data from the input signal processing unit 206 to the terminal device 10. Further, the communication unit 208 receives the data transmitted from the terminal device 10 and supplies the data to the output processing unit 209.
  • the communication unit 208 is configured as a communication module corresponding to wireless communication or wired communication conforming to a predetermined communication method.
  • wireless communication includes wireless communication based on short-range wireless communication standards such as Bluetooth (registered trademark), wireless communication such as wireless LAN, and cellular communication such as LTE-Advanced and 5G.
  • Wired communication also includes communication compatible with communication interfaces such as HDMI (registered trademark).
  • the output processing unit 209 processes the data from the communication unit 208, supplies the sound signal to the sound output unit 204, and supplies the image signal to the display unit 205.
  • the battery 210 is detachably attached to the measuring device 20 and supplies power to each part of the measuring device 20 via a predetermined terminal.
  • FIG. 13 is an example of the terminal device 10 and the measuring device 20, and the illustrated components may be removed or new components may be added.
  • the sensor unit 203 having the acceleration sensor 221 and the gyro sensor 222 and the like may not be mounted.
  • the display unit 205 is not mounted.
  • the sound output unit 204 may not be mounted.
  • the configuration of the terminal device 10 shows the minimum configuration, an output processing unit, a sound output unit, a display unit, a signal recording unit, a battery, and the like may be provided as in the measuring device 20.
  • FIG. 14 shows an arrangement example of the electrode 201 and the reference electrode 202 provided on the earphone 20A.
  • Electrodes 201-1 to 201-3 and a reference electrode 202 are centered on a portion that outputs sound. They are arranged at substantially equal intervals on the same circumference, and the user's biological signal can be measured.
  • FIG. 15 shows an arrangement example of the electrode 201 and the reference electrode 202 provided on the HMD 20B.
  • electrodes 201-1 to 201-8 are linearly arranged at substantially equal intervals on the surface on the side in contact with the frontal region of the user, and the electrodes are detached from the electrodes 201-1 to 201-8.
  • the reference electrode 202 is arranged at a predetermined position on the back of the head side, and the biological signal of the user can be measured.
  • the three sensors of the electrodes 201-6 to 201-8 are blind spots and are not shown. Further, for convenience of explanation, the electrode 201 is shown so as to appear in the appearance of the HMD 20B, but it is not actually visible in the surface on the side in contact with the frontal region of the user, that is, the perspective view of FIG. It is provided at the position.
  • FIG. 16 shows a configuration example of a table recorded in the signal recording unit 207 of FIG.
  • the signal recording unit 207 records the trigger action signal recording table 231, the electroencephalogram application table 232 for each trigger action, and the electroencephalogram signal recording table 233.
  • the trigger action signal recording table 231 is a table in which data of a trigger action signal including a combination of head myoelectricity according to parts such as the user's eyes, chin, and neck is recorded.
  • the trigger action and the trigger action signal are recorded in association with each other.
  • the data of the myoelectric signal # 1 is recorded as the trigger action signal of the trigger action (TriggerAction # 1) that closes the eyes, and the muscle is used as the trigger action signal of the trigger action (TriggerAction # 2) that blinks twice.
  • the data of the electric signal # 2 is recorded, and the myoelectric signal # 3, the acceleration signal # 1, and the trigger action signal of the trigger action (Trigger Action # 3) that closes the eyes after standing down and blinking twice.
  • the data of the angular velocity signal # 1 is recorded.
  • a typical trigger action is eye closure, and the electroencephalogram signal is read when the user has his eyes closed. However, even if the eye is open, that is, the electroencephalogram signal is read when the user has his eyes open. good.
  • the myoelectric signal data is recorded as the trigger action signal for the trigger action of TriggerAction # 1 and TriggerAction # 2, but the input values of the acceleration signal and the angular velocity signal are 0 (zero). Data indicating that it is an input value) may be recorded.
  • the EEG application table 232 for each trigger action is a table in which the data of the EEG application for each trigger action recorded in the trigger action signal recording table 231 is recorded.
  • Trigger Action # 1 of FIG. 17 is associated with the EEG personal authentication application
  • Trigger Action # 2 of FIG. 17 is associated with the EEG search application. ing.
  • Authentication by the EEG personal authentication application is not limited to the user's personal authentication.
  • this brain wave personal authentication is applied to personal authentication implemented in Internet banking, online shopping, user selection when viewing content distributed on the Internet, answering questionnaires via the Internet, tests and interviews using the Internet, etc. It doesn't matter.
  • it may be applied to personal authentication of professional drivers of vehicles such as automobiles, airplanes, and trains.
  • the electroencephalogram signal recording table 233 is a table in which the electroencephalogram signal data registered for each electroencephalogram application recorded in the electroencephalogram application table 232 for each trigger action is recorded.
  • the electroencephalogram application and the electroencephalogram signal are recorded in association with each other.
  • EEG signal # 11, EEG signal # 12, and EEG signal # 13 are recorded as EEG signals of the EEG personal authentication application, and EEG signal # 21, EEG signal # 22, EEG signal # 22, as EEG signals of the EEG search application.
  • Data such as EEG signal # 23 is recorded.
  • (Other configuration examples) 20 to 22 show other configuration examples of the electroencephalogram system to which the present technology is applied.
  • FIG. 20 shows a first example of another configuration of an electroencephalogram system to which the present technology is applied.
  • the electroencephalogram system is composed of the terminal device 10 and the measuring device 20, but the same parts as those in the configuration example of FIG. 13 are designated by the same reference numerals, and the description thereof will be repeated and will be omitted. ..
  • the terminal device 10 in addition to the control unit 101 and the communication unit 102, the terminal device 10 has an input signal processing unit 103, a signal recording unit 104, an output processing unit 105, a sound output unit 106, and a display unit 107.
  • the measuring device 20 includes electrodes 201-1 to 201-n, a reference electrode 202, a sensor unit 203, a sound output unit 204, a display unit 205, a communication unit 208, and a battery 210.
  • the input signal processing unit 206, the signal recording unit 207, and the output processing unit 209 provided on the measuring device 20 side are located on the terminal device 10 side as compared with the configuration example of FIG. ,
  • the input signal processing unit 103, the signal recording unit 104, and the output processing unit 105 are located on the terminal device 10 side as compared with the configuration example of FIG. .
  • the communication unit 208 transmits the biological signals from the electrodes 201-1 to 201-n and the reference electrode 202 to the terminal device 10.
  • the communication unit 102 receives the biological signal transmitted from the measuring device 20 and supplies it to the input signal processing unit 103 via the control unit 101.
  • the input signal processing unit 103 processes the biological signal received by the communication unit 102, reads the myoelectric signal or the electroencephalogram signal, and performs predetermined signal processing.
  • the input signal processing unit 103 records the data related to the read myoelectric signal or brain wave signal in the signal recording unit 104 of the semiconductor memory or the like.
  • the input signal processing unit 103 matches the read myoelectric signal or brain wave signal with the myoelectric signal or brain wave signal recorded in the signal recording unit 104, and data on the matching result is transmitted via the control unit 101. Is supplied to the communication unit 102 or the output processing unit 105.
  • the output processing unit 105 processes the data from the input signal processing unit 103 and supplies it to the communication unit 102.
  • the communication unit 102 transmits the data from the control unit 101 to the measuring device 20.
  • the communication unit 208 receives the data transmitted from the terminal device 10, supplies the sound signal to the sound output unit 204, and supplies the image signal to the display unit 205.
  • the sound output unit 204 outputs a sound corresponding to the sound signal from the communication unit 208.
  • the display unit 205 displays an image corresponding to the image signal from the communication unit 208.
  • the output processing unit 105 may process the data input therein, supply the sound signal to the sound output unit 106, and supply the image signal to the display unit 107. At this time, the sound output unit 106 outputs a sound corresponding to the sound signal from the output processing unit 105. Further, the display unit 107 displays an image corresponding to the image signal from the output processing unit 105.
  • FIG. 21 shows a second example of another configuration of the electroencephalogram system to which the present technology is applied.
  • the electroencephalogram system is composed of a terminal device 10, a measuring device 20, and a server 30.
  • the same parts as those in the configuration example of FIG. 13 are designated by the same reference numerals, and the description thereof will be repeated and will be omitted.
  • the terminal device 10 has a communication unit 102.
  • the measuring device 20 includes electrodes 201-1 to 201-n, a reference electrode 202, a sensor unit 203, a sound output unit 204, a display unit 205, a communication unit 208, and a battery 210.
  • the server 30 includes a control unit 301, a communication unit 302, an input signal processing unit 303, a signal recording unit 304, and an output processing unit 305.
  • the input signal processing unit 206, the signal recording unit 207, and the output processing unit 209 provided on the measuring device 20 side are input to the server 30 side as compared with the configuration example of FIG. It is provided as a signal processing unit 303, a signal recording unit 304, and an output processing unit 305.
  • the communication unit 208 transmits the biological signals from the electrodes 201-1 to 201-n and the reference electrode 202 to the terminal device 10.
  • the communication unit 102 receives the biological signal transmitted from the measuring device 20 and transmits it to the server 30 via the network 40.
  • the communication unit 302 receives the biological signal transmitted from the terminal device 10 and supplies it to the input signal processing unit 303 via the control unit 301.
  • the input signal processing unit 303 processes the biological signal received by the communication unit 302, reads the myoelectric signal or the electroencephalogram signal, and performs a predetermined process.
  • the input signal processing unit 303 records data related to the read myoelectric signal or brain wave signal in a signal recording unit 304 such as a semiconductor memory or an HDD (Hard Disk Drive).
  • the input signal processing unit 303 matches the read myoelectric signal or brain wave signal with the myoelectric signal or brain wave signal recorded in the signal recording unit 304, and data on the matching result is transmitted via the control unit 301. Is supplied to the communication unit 302 or the output processing unit 305.
  • the output processing unit 305 processes the data from the input signal processing unit 303 and supplies it to the communication unit 302.
  • the communication unit 302 transmits the data from the control unit 301 to the measuring device 20 via the network 40 and the terminal device 10.
  • the communication unit 208 receives the data transmitted from the server 30, supplies the sound signal to the sound output unit 204, and supplies the image signal to the display unit 205.
  • the sound output unit 204 outputs a sound corresponding to the sound signal from the communication unit 208.
  • the display unit 205 displays an image corresponding to the image signal from the communication unit 208.
  • the network 40 is configured to include a communication network such as the Internet, an intranet, or a mobile phone network, and enables interconnection between devices using a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol). ..
  • FIG. 22 shows a third example of another configuration of the electroencephalogram system to which the present technology is applied.
  • the electroencephalogram system is composed of the measuring device 20 and the server 30, but the same parts as those in the configuration examples of FIGS. 13 and 21 are designated by the same reference numerals, and the description thereof will be repeated. Omit.
  • the measuring device 20 includes electrodes 201-1 to 201-n, a reference electrode 202, a sensor unit 203, a sound output unit 204, a display unit 205, an input signal processing unit 206, a signal recording unit 207, and a communication unit 208.
  • a control unit 211 In addition to the output processing unit 209 and the battery 210, it has a control unit 211.
  • the server 30 has a control unit 301, a communication unit 302, and a signal recording unit 304.
  • the terminal device 10 (control unit 101) is not provided, but the control unit 211 is provided on the measuring device 20 side, and the measuring device 20 is provided. However, it also has the function of the terminal device 10.
  • the server 30 is provided with only the signal recording unit 304 in addition to the control unit 301 and the communication unit 302, and the server 30 is on the cloud, so to speak. It is operating as a database server.
  • the configurations shown in FIGS. 20 to 22 are examples, and other configurations may be adopted. That is, in the electroencephalogram system, the input signal processing unit (103, 206, 303), the signal recording unit (104, 207, 304), and the output signal processing unit (105, 209, 305) are the terminal device 10, the measuring device 20. , And server 30 may be provided.
  • the terminal device 10, the measuring device 20, and the server 30 have an input signal processing unit (103, 206, 303) and an output signal processing unit (105, 209, 305) when a processor such as a CPU executes a program. It can be said that it is a control device because it realizes the function of).
  • the terminal device 10 or the measuring device 20 confirms the brain wave application for registering the trigger action to the user (S111), and waits for the user to specify the brain wave application to be registered (“Yes” in S112). ), The process proceeds to step S113.
  • step S113 the input signal processing unit 206 starts reading the trigger action signal detected as the myoelectric signal.
  • step S114 the input signal processing unit 206 processes the biological signals from the electrode 201 and the reference electrode 202 to determine whether or not the trigger action signal has been read. In the determination process of step S114, the process proceeds to step S115 after waiting for the determination that the trigger action signal has been read.
  • step S115 the input signal processing unit 206 records the read trigger action signal in the signal recording unit 207.
  • step S116 the output processing unit 209 controls the sound output unit 204 or the display unit 205, presents the user interface (UI) for prompting the user to perform the trigger action again, and the input signal processing unit 206 provides the trigger action signal. Start reading.
  • UI user interface
  • step S117 the input signal processing unit 206 processes the biological signals from the electrode 201 and the reference electrode 202 to determine whether or not the trigger action signal has been read. In the determination process of step S117, the process proceeds to step S118 after waiting for the determination that the trigger action signal has been read.
  • step S118 the input signal processing unit 206 calculates the similarity of the trigger action signals read in the processes of steps S114 and S117, respectively.
  • step S119 the input signal processing unit 206 determines whether or not the calculated similarity of the trigger action signal is within a predetermined threshold range.
  • step S119 If it is determined in the determination process of step S119 that the similarity is within a predetermined threshold value, the process proceeds to step S120.
  • step S120 the input signal processing unit 206 records the trigger action signal and the designated electroencephalogram application in the table of the signal recording unit 207.
  • a myoelectric signal is recorded as a trigger action signal in association with a trigger action such as closing the eyes or blinking twice.
  • a designated electroencephalogram application such as an electroencephalogram personal authentication application is recorded in association with a trigger action such as closing the eyes or blinking twice.
  • step S121 the output processing unit 209 controls the sound output unit 204 or the display unit 205, and presents the user with a user interface (UI) that prompts the user for the trigger action again. Then, the process returns to step S113, and the subsequent processes are repeated.
  • UI user interface
  • step S120 the process proceeds to step S122 of FIG. 24.
  • the output processing unit 209 controls the sound output unit 204 or the display unit 205, and presents a user interface (UI) that promotes an image of path sorting.
  • UI user interface
  • step S123 the input signal processing unit 206 starts reading the brain wave signal.
  • step S124 the input signal processing unit 206 processes the biological signals from the electrode 201 and the reference electrode 202 to determine whether or not the brain wave signal has been read. In the determination process of step S124, the process proceeds to step S125 after waiting for the determination that the electroencephalogram signal has been read.
  • step S125 the input signal processing unit 206 records the read electroencephalogram signal in the signal recording unit 207.
  • step S126 the output processing unit 209 controls the sound output unit 204 or the display unit 205, presents the user interface (UI) that prompts the user for the image of path sorting again, and the input signal processing unit 206 provides an electroencephalogram signal. Start reading.
  • UI user interface
  • step S127 the input signal processing unit 206 processes the biological signals from the electrode 201 and the reference electrode 202 to determine whether or not the brain wave signal has been read. In the determination process of step S127, the process proceeds to step S128 after waiting for the determination that the electroencephalogram signal has been read.
  • step S1208 the input signal processing unit 206 calculates the similarity of the electroencephalogram signals read in the processes of steps S124 and S127, respectively.
  • step S129 the input signal processing unit 206 determines whether or not the calculated similarity of the electroencephalogram signals is within a predetermined threshold range.
  • step S129 If it is determined in the determination process of step S129 that the similarity is within a predetermined threshold value, the process proceeds to step S130.
  • step S130 the input signal processing unit 206 records the electroencephalogram signal and the designated electroencephalogram application in the electroencephalogram signal recording table 233.
  • an electroencephalogram signal is recorded in association with a designated electroencephalogram application such as an electroencephalogram personal authentication application.
  • step S131 the output processing unit 209 controls the sound output unit 204 or the display unit 205, and presents the user with a user interface (UI) that prompts the user for the image of path sorting again. Then, the process returns to step S123, and the subsequent processes are repeated.
  • UI user interface
  • step S130 When the process of step S130 is completed, the trigger action and path sort registration process is completed.
  • step S151 the input signal processing unit 206 determines whether or not a trigger action signal has been detected as a myoelectric signal based on the biological signals from the electrode 201 and the reference electrode 202. In the determination process of step S151, the process proceeds to step S152 after waiting for the trigger action signal to be detected.
  • step S152 the input signal processing unit 206 matches the input trigger action signal with the registered trigger action signal by referring to the trigger action signal recording table 231 of the signal recording unit 207.
  • step S153 the input signal processing unit 206 determines whether or not a matched trigger action signal exists based on the matching result of the trigger action signal.
  • step S153 If it is determined in the determination process of step S153 that the matching trigger action signal does not exist, the process proceeds to step S154.
  • step S154 the error is notified to the electroencephalogram application executed by the terminal device 10 or the measuring device 20.
  • step S151 If the retry is defined by the electroencephalogram application, the process returns to step S151, the subsequent processes are repeated, and the matching of the trigger action signal is retried.
  • step S153 the input signal processing unit 206 reads the electroencephalogram signal in the electroencephalogram application corresponding to the trigger action.
  • step S156 the input signal processing unit 206 matches the input electroencephalogram signal with the registered electroencephalogram signal recorded in the electroencephalogram signal recording table 233 by an algorithm according to the corresponding electroencephalogram application.
  • step S157 the input signal processing unit 206 determines whether or not there is a matched electroencephalogram signal based on the matching result of the electroencephalogram signal.
  • step S157 If it is determined in the determination process of step S157 that the matching electroencephalogram signal does not exist, the process proceeds to step S158.
  • step S158 the error is notified to the electroencephalogram application executed by the terminal device 10 or the measuring device 20.
  • step S155 If the retry is defined by the electroencephalogram application, the process returns to step S155, the subsequent processes are repeated, and the matching of the electroencephalogram signal is retried.
  • step S157 if it is determined in the process of step S157 that a matching electroencephalogram signal exists, the process proceeds to step S159.
  • step S159 the matching result is notified to the electroencephalogram application executed by the terminal device 10 or the measuring device 20.
  • the electroencephalogram application executes various processes according to the matching result.
  • step S160 it is determined whether or not to end the operation. If it is determined in the determination process of step S160 that the operation is not completed, the process returns to step S151, and the subsequent processes are repeated. Further, when it is determined in the determination process of step S160 that the operation is terminated, the personal electroencephalogram authentication process is terminated.
  • event-related potential (ERP) reaction may be used as the trigger action described above.
  • the sequence (S91 to S94) is as follows.
  • step S91 as the presentation of the event, for example, the generation of a specific sound, the presentation of a human face, the presentation that causes a sense of discomfort, and the like are performed.
  • Event-related potentials include, for example, N170, which causes an electroencephalogram response about 170 ms after face recognition, MMN, which is about acoustic deviation to auditory stimuli, and electroencephalogram, about 300 ms after recognition of an event that causes unnaturalness or discomfort.
  • P300 in which a reaction occurs
  • N400 in which an electroencephalogram reaction occurs about 400 milliseconds after recognition of a deviation in meaning in language.
  • step S92 the generation of this event-related potential is recognized as a trigger action.
  • steps S93 and S94 similar to steps S24, S25 to S26 (FIG. 6) described above, processing such as a path sort recognition process is performed based on the waveform of the user's brain wave for the presentation of instructions and the like.
  • the measuring device 20 has the electrode 201 and the reference electrode 202, and the sensor unit 203 including the acceleration sensor 221 and the gyro sensor 222 in order to read the electroencephalogram signal and the myoelectric signal from the user's head.
  • the trigger action any combination of the movement of the user's eyelids, eyes, jaw, etc. and the movement of the head
  • the user can use the trigger action properly.
  • the reading of the electroencephalogram signal performed immediately after that is performed only for the corresponding electroencephalogram application. Therefore, the convenience and accuracy of the user interface by brain wave input can be improved.
  • the trigger action is “closed eyes” and the brain wave application is “brain wave personal authentication application"
  • the action of closing the eyes is triggered by the head myoelectricity generated when the user's eyes are closed, to the brain wave measurement with few artifacts. You can move naturally. In particular, with this flow, the user can comfortably perform the resting state and the operation as a series of flows.
  • the user's motion is detected based on the myoelectric signal (information other than the electroencephalogram), which is a biological signal having a larger fluctuation range of the potential difference than the electroencephalogram signal measured by the user, and the user's motion is predetermined.
  • the myoelectric signal information other than the electroencephalogram
  • a predetermined process is performed based on the electroencephalogram signal measured by the user. Therefore, it is possible to provide a more convenient electroencephalogram input user interface.
  • processing related to brain waves such as brain wave personal authentication having a user interface that is natural and easy for everyone to understand.
  • the artifact is, so to speak, noise when measuring a biological signal such as an electroencephalogram signal or a myoelectric signal.
  • the myoelectric signal of the head used for the trigger action is larger and characteristic than the electroencephalogram signal. Therefore, the measuring device 20 normally operates in the trigger action measurement mode, and the time resolution and the amplification factor of the signal amplifier at the time of reading the myoelectric signal are lower than those at the time of reading the electroencephalogram signal in the electroencephalogram measurement mode. By setting, it can contribute to low power consumption.
  • Bio-personal authentication is personal authentication that uses information about an individual's physical characteristics and behavioral characteristics as the key to personal authentication. Normally, in this type of personal authentication, first, at the time of registration, the key information is registered based on the user's biometric information, and then at the time of authentication, the user's biometric information is acquired and the biometric authentication originally registered. Matches with, and if there is a certain degree of correlation, the process of issuing authentication permission is performed.
  • event-related potentials The brain waves peculiar to specific stimuli such as hearing and vision are called event-related potentials, and various studies are underway.
  • N170, MMN, P300, N400, etc. are known as event-related potentials.
  • authentication can be performed by detecting the waveforms of these event-related potentials and the reaction components peculiar to the user in addition to the waveforms. For example, when a sound or video for stimulating a user is used as an evoked medium, the individual user emits a characteristic and unique reaction brain wave to a specific evoked medium, so that the reaction brain wave is different from the past reaction brain wave. There is brain wave personal authentication that authenticates an individual by performing matching.
  • the trigger media is generated with randomness and unpredictable content, and the above-mentioned authentication and registration process is continuously performed in a form compatible with the service to trigger. Increase security while changing media to reduce the risk of spoofing due to leakage of confidential information such as keys.
  • (First example) 26 and 27 show an example of authentication registration of EEG personal authentication using hearing induction.
  • the user wears an earphone 21A wirelessly or wiredly connected to a mobile terminal 11A such as a smartphone in his ear.
  • the earphone 21A is provided with a plurality of electrodes and can measure an electroencephalogram signal from the user's head.
  • fNIRS functional Near-Infrared Spectroscopy
  • the fNIRS signal may be measured. That is, in addition to the electroencephalogram signal as the electroencephalogram information, the electroencephalogram information measured by a measurement method for measuring cerebral blood flow such as fNIRS may be used. Examples of methods for measuring cerebral blood flow include NIRS and MRI, fNIRS is included in NIRS, and fMRI is included in MRI. In the following description, the case where fNIRS is used will be described as an example of the method for measuring cerebral blood flow.
  • FIG. 26 shows an authentication registration example of the Nth (integer of N: 1 or more) EEG personal authentication.
  • a evoked sound is output from the earphone 21A, and when the user reacts to the auditory evoked by this evoked sound, an electroencephalogram signal corresponding to the reaction is measured (S211).
  • the induced sound is a combination of the registered sound and the new sound, and a different combination of sounds is reproduced each time.
  • the first half of the evoked sound TS11 is the evoked sound in which the brain wave signal was registered in the previous time (N-1st time), and this time (Nth time) authentication is performed by using the brain wave signal according to the user's reaction to this evoked sound. I do.
  • the evoked sound TS12 in the latter half is a newly randomly generated evoked sound, and an electroencephalogram signal corresponding to the user's reaction to the evoked sound is registered for use in the next (N + 1) authentication.
  • the evoked sound TS12 is not limited to the newly randomly generated evoked sound, and the evoked sound generated in advance may be randomly selected and reproduced.
  • the electroencephalogram signal for authentication including the waveform W111 corresponding to the evoked sound TS11 and the electroencephalogram signal for registration including the waveform W112 corresponding to the evoked sound TS12 are measured, respectively, and the authentication process and the registration process are started. ..
  • the waveform W111 of the electroencephalogram signal (input electroencephalogram signal) for authentication has a similarity within a predetermined threshold with the waveform of the electroencephalogram signal (registered electroencephalogram signal) recorded in the previous registration process? If there is a matched EEG signal, it is authenticated as a legitimate user. In the registration process, the EEG signal for registration, including the waveform W112, is recorded for use in the next authentication process.
  • the earphone 21A When the authentication by the trigger sound is completed, the earphone 21A outputs a sound (authentication clear sound) or the like indicating that the authentication is completed (S212).
  • FIG. 27 shows an example of authentication registration for the N + 1th EEG personal authentication.
  • An evoked sound is output from the earphone 21A, and when the user reacts to this auditory evoked sound, an electroencephalogram signal corresponding to the reaction is measured, but the N + 1th evoked sound is different from the combination of the Nth evoked sound described above. (S213).
  • the first half of the evoked sound TS12 is the evoked sound in which the brain wave signal was registered in the previous time (Nth time), and this time (N + 1th time) authentication is performed by using the brain wave signal corresponding to the user's reaction to this evoked sound.
  • the evoked sound TS13 in the latter half is a newly randomly generated evoked sound, and an electroencephalogram signal corresponding to the user's reaction to the evoked sound is registered for use in the next (N + 2nd) authentication.
  • the electroencephalogram signal for authentication including the waveform W112 corresponding to the evoked sound TS12 and the electroencephalogram signal for registration including the waveform W113 corresponding to the evoked sound TS13 are measured, respectively, and the authentication process and the registration process are started. ..
  • the waveform W112 of the electroencephalogram signal (input electroencephalogram signal) for authentication has a similarity within a predetermined threshold with the waveform of the electroencephalogram signal (registered electroencephalogram signal) recorded in the previous registration process. Matching is performed, and if a matched brain wave signal exists, it is authenticated as a legitimate user.
  • the EEG signal for registration including the waveform W113, is recorded for use in the next authentication process.
  • the earphone 21A When the authentication by the trigger sound is completed, the earphone 21A outputs a sound (authentication clear sound) or the like indicating that the authentication is completed (S214).
  • authentication is performed using the registered brain wave signal registered at the time of the previous (N-1st) authentication and the input brain wave signal measured at the time of the current (Nth) authentication, and further, this time (Nth) authentication.
  • this time (Nth) authentication While changing the combination of evoked sounds, such as performing authentication using the registered brain wave signal that is registered at times and the input brain wave signal that is measured at the next (N + 1) authentication, the response of hearing induction by the evoked sound is continuous.
  • (Second example) 28 and 29 show an example of authentication registration of EEG personal authentication using visual induction.
  • the user wears an HMD 21B wirelessly or wiredly connected to a terminal device 11 such as a game machine on the head.
  • the HMD21B is provided with a plurality of electrodes and can measure an electroencephalogram signal from the user's head.
  • the fNIRS signal may be measured instead of the electroencephalogram signal.
  • FIG. 28 shows an example of authentication registration for the Nth EEG personal authentication.
  • the evoked image is displayed on the display of the HMD21B, and when the user reacts to the visual evoked by the evoked image, the brain wave signal corresponding to the reaction is measured (S221).
  • the induced video is a combination of the registered video and the new video, and a different combination of video is reproduced each time.
  • the first half of the evoked video TI21 is a evoked video in which an electroencephalogram signal was registered in the previous time (N-1st time), and this time (Nth time) authentication is performed by using an electroencephalogram signal according to the user's reaction to this evoked video. I do.
  • the evoked video TI22 in the latter half is a newly randomly generated evoked video, and an electroencephalogram signal corresponding to the user's reaction to the evoked video is registered for use in the next (N + 1) authentication.
  • the electroencephalogram signal for authentication including the waveform W121 corresponding to the induced image TI21 and the electroencephalogram signal for registration including the waveform W122 corresponding to the induced image TI22 are measured, respectively, and the authentication process and the registration process are started. ..
  • the waveform W121 of the electroencephalogram signal (input electroencephalogram signal) for authentication has a similarity within a predetermined threshold with the waveform of the electroencephalogram signal (registered electroencephalogram signal) recorded in the previous authentication process? If there is a matched EEG signal, it is authenticated as a legitimate user. In the registration process, the EEG signal for registration, including the waveform W122, is recorded for use in the next authentication process.
  • the user is displayed on the display of the HMD21B, such as an image (authentication clear image) indicating that the authentication is completed (S222).
  • FIG. 29 shows an example of authentication registration for the N + 1th EEG personal authentication.
  • the brain wave signal corresponding to the reaction is measured. It is different (S223).
  • the evoked video TI22 in the first half is the evoked video in which the brain wave signal was registered in the previous time (Nth time), and this time (N + 1th time) authentication is performed by using the brain wave signal according to the user's reaction to this evoked video.
  • the evoked video TI23 in the latter half is a newly randomly generated evoked video, and an electroencephalogram signal corresponding to the user's reaction to the evoked video is registered for use in the next (N + 2nd) authentication.
  • the electroencephalogram signal for authentication including the waveform W122 corresponding to the induced image TI22 and the electroencephalogram signal for registration including the waveform W123 corresponding to the induced image TI23 are measured, respectively, and the authentication process and the registration process are started. ..
  • the waveform W122 of the electroencephalogram signal (input electroencephalogram signal) for authentication has a similarity within a predetermined threshold with the waveform of the electroencephalogram signal (registered electroencephalogram signal) recorded in the previous registration process. Matching is performed, and if a matched brain wave signal exists, it is authenticated as a legitimate user.
  • the EEG signal for registration including the waveform W123, is recorded for use in the next authentication process.
  • a video authentication clear video or the like indicating that the authentication is completed is displayed to the user on the display of the HMD21B (S224).
  • authentication is performed using the registered EEG signal registered at the time of the previous (N-1st) authentication and the input EEG signal measured at the time of this (Nth) authentication, and further, this time (Nth) authentication.
  • this time (Nth) authentication While changing the combination of evoked images, such as performing authentication using the registered EEG signal registered at times and the input EEG signal measured at the next (N + 1) authentication, the reaction of visual induction by the evoked image is continuously performed.
  • an electroencephalogram signal may be used. In that case, the above description will be given.
  • "Brain wave signal” should be read as "fNIRS signal”.
  • EEG signals and fNIRS signals are examples of brain information.
  • the electroencephalogram personal authentication can be processed for each electroencephalogram application.
  • trigger media such as trigger sounds and trigger videos
  • continuous personal authentication and registration can be performed.
  • FIG. 30 shows an application example of music content distributed by a music distribution service.
  • the screens of music applications displayed on the display of the mobile terminal 11A such as a smartphone or a portable music player are shown in chronological order.
  • the evoked sound is included between the songs and the operation sound according to the user's operation. Therefore, it is possible to perform authentication using a brain wave signal according to the user's reaction due to the hearing induction. Further, a trigger sound may be inserted at the time of selecting, purchasing, downloading, etc. of music content.
  • the evoked sound TS31 in the first half is the evoked sound registered in the previous time (N-1st), and responds to the reaction of this evoked sound.
  • This time (Nth) authentication is performed using the brain wave signal.
  • the evoked sound TS32 in the latter half is a newly generated evoked sound, and the brain wave signal corresponding to the reaction of the evoked sound is registered for use in the next (N + 1) authentication.
  • the first half induced sound TS32 is the induced sound registered in the previous time (Nth), and the reaction of this induced sound This time (N + 1th time) authentication is performed using the corresponding brain wave signal.
  • the evoked sound TS33 in the latter half is a newly generated evoked sound, and the brain wave signal corresponding to the reaction of the evoked sound is registered for use in the next (N + 2nd) authentication.
  • the induced sound is played with a natural expression that blends into the music content, so continuous personal authentication and authentication brain wave registration can be performed without the user being aware of it. can.
  • the provider side of the music distribution service it is possible to appropriately authenticate the user who is viewing the music content.
  • FIG. 31 shows an application example of game content.
  • the game screens displayed on the display of the HMD 21B are shown in chronological order.
  • the first half of the trigger video TI41 is the trigger video registered in the previous time (N-1st), and the reaction of this trigger video This time (Nth time) authentication is performed using the corresponding brain wave signal.
  • the evoked image TI42 in the latter half is a newly generated evoked image, and the brain wave signal corresponding to the reaction of the evoked image is registered for use in the next (N + 1) authentication.
  • the first half of the trigger video TI42 is the trigger video registered in the previous time (Nth), and responds to the reaction of this trigger video.
  • This time (N + 1th time) authentication is performed using the brain wave signal.
  • the evoked image TI43 in the latter half is a newly generated evoked image, and the brain wave signal corresponding to the reaction of the evoked image is registered for use in the next (N + 2nd) authentication.
  • the induced video is displayed with a natural expression that blends into the game content, so continuous personal authentication and authentication brain wave registration can be performed without the user being aware of it. can.
  • the induced video is displayed with a natural expression that blends into the game content, so continuous personal authentication and authentication brain wave registration can be performed without the user being aware of it. can.
  • the perspective of the game content provider it is possible to appropriately authenticate the user who is playing the game content.
  • FIGS. 32 to 34 Examples of application of such a screen are shown in FIGS. 32 to 34.
  • FIG. 32 shows an application example of the loading screen.
  • FIG. 32 shows an example in which the induced video TI 51 is displayed when the loading screen is displayed in the game content or the online service.
  • the trigger image TI51 is displayed as a character indicating the progress of loading and a background of the progress bar.
  • FIG. 33 shows an application example of the user selection screen.
  • FIG. 33 shows an example in which the trigger image TI61 is displayed when the user selection screen is displayed in the game content or the online service.
  • the induced video TI61 is displayed as the background of the selectable icons corresponding to the three users.
  • FIG. 34 shows an application example of the user selection screen.
  • FIG. 34 shows an example of displaying the game content by including it in the induced video TI71 when the user selection screen is displayed.
  • the induced video TI71 is displayed as the background of the selectable characters corresponding to the three users.
  • the HMD21B is illustrated as a device for executing the game content, but the induced image is displayed on the screen of the TV receiver connected to the game machine, the screen of the portable game machine, and the screen of the display device. It does not matter if it is displayed.
  • the game content can include various contents such as VR (Virtual Reality) content and AR (Augmented Reality) content.
  • the induction medium is information for inducing and measuring the user's brain information according to the reproduction.
  • the trigger media includes a trigger sound or a trigger video, and is provided together with the distribution content (music content, game content, etc.) distributed by the content distribution service (music distribution service, Internet radio, podcast, game distribution service, etc.), for example. Will be done.
  • the data of the evoked sound or the evoked video is distributed as the data of one type of content constituting the distributed content (the other type distributes the data of music content, game content, etc.), or , It can be inserted into the data of the reproduced content that constitutes the distributed content (inserted between songs or in an operation sound according to the user's operation).
  • the data of the induced sound or the induced image may be generated on the device side such as the mobile terminal 11A or the HMD21B.
  • the data of the evoked sound or the evoked video is added by processing the data of the reproduced content that constitutes the distributed content (for example, the data of the beginning or end of the song, or the data of the video or music being played in the game is superposed). It doesn't matter if it is done.
  • FIG. 35 shows a configuration example of a brain information system to which the present technology is applied.
  • the brain information system is a system that can provide various services using brain wave signals measured from the user's head.
  • the brain information system is composed of a terminal device 11 and a measuring device 21, but the parts corresponding to the configuration example of FIG. 13 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the terminal device 11 is an electronic device such as a mobile terminal 11A such as the above-mentioned smartphone or portable music player.
  • the terminal device 11 has a control unit 101 and a communication unit 102, similarly to the terminal device 10 of FIG.
  • the measuring device 21 is an electronic device such as the earphone 21A and HMD21B described above. Similar to the measuring device 20 of FIG. 13, the measuring device 21 includes electrodes 201-1 to 201-n, a reference electrode 202, a sensor unit 203, a sound output unit 204, a display unit 205, an input signal processing unit 206, and a signal recording unit. It has a 207, a communication unit 208, an output processing unit 209, and a battery 210.
  • the input signal processing unit 206 processes biological signals from the electrodes 201-1 to 201-n and the reference electrode 202, reads the brain wave signal, and performs predetermined signal processing.
  • FIG. 36 shows another configuration example of the brain information system to which the present technology is applied.
  • the authentication system is composed of a terminal device 11 and a measuring device 22, but the same parts as those in the configuration example of FIG. 35 are designated by the same reference numerals, and the description thereof will be repeated and will be omitted. ..
  • the measuring device 22 is an electronic device such as an earphone or an HMD. Compared with the measuring device 21 of FIG. 35, the measuring device 22 replaces the electrodes 201-1 to 201-n, the reference electrode 202, and the input signal processing unit 206 with the fNIRS sensors 251-1 to 251-m (m:: It has an integer of 1 or more) and an fNIRS signal processing unit 252.
  • the fNIRS sensors 251-1 to 251-m are attached to parts such as the user's head and ears, respectively.
  • the fNIRS signals measured by the fNIRS sensors 251-1 to 251-m are supplied to the fNIRS signal processing unit 252.
  • the fNIRS signal processing unit 252 performs predetermined signal processing on the fNIRS signals from the fNIRS sensors 251-1 to 251-m.
  • FIG. 37 shows a configuration example of the fNIRS sensor 251.
  • the fNIRS sensor 251 has a light transmitting unit 261 and a light receiving unit 262.
  • the light transmitting unit 261 and the light receiving unit 262 are attached so as to be in close contact with the user's scalp, and the near-infrared light emitted by the light transmitting unit 261 passes through the skin tissue and is received by the light receiving unit 262.
  • the fNIRS signal is measured by using a measurement method that applies the principle of optical functional imaging that non-invasively maps brain function from above the scalp using near-infrared light.
  • FIG. 38 shows an arrangement example of the fNIRS sensor 251 provided on the earphone 22A.
  • the four sensors fNIRS sensor 251-1 to fNIRS sensor 251-4 have the same circumference centered on the part that outputs sound. They are arranged at approximately equal intervals on the top, making it possible to measure fNIRS signals.
  • FIG. 39 shows an arrangement example of the fNIRS sensor 251 provided on the HMD 22B.
  • fNIRS sensor 251-2 to fNIRS sensor 251-9 are arranged in a straight line at substantially equal intervals on the surface on the side in contact with the frontal region of the user.
  • the fNIRS sensor 251-1 is arranged at a predetermined position on the back of the head side away from the sensor, and the fNIRS signal can be measured.
  • the three sensors fNIRS sensors 251-7 to fNIRS sensors 251-9 are blind spots and are not shown. .. Further, for convenience of explanation, the fNIRS sensor 251 is shown so as to appear in the appearance of the HMD 22B, but it is actually visible in the surface on the side in contact with the frontal region of the user, that is, in the perspective view of FIG. 39. It is installed in a position that does not exist.
  • FIG. 40 shows a configuration example of a table recorded in the signal recording unit 207 of FIG. 35 or FIG.
  • the signal recording unit 207 records the CBPA table 234.
  • the CBPA table 234 records registered information in chronological order, which consists of evoked media such as evoked sounds and images, and data such as brain information such as electroencephalogram information (electroencephalogram signal) and cerebral blood flow information (fNIRS signal). It is a table to be done.
  • CBPA Continuous Brainwave Personal Authentication
  • the registration information including the evoked sound # 1 and the brain wave signal # 31, the registration information including the evoked sound # 2 and the brain wave signal # 32, the evoked sound # 3 and the brain wave signal # 33 are displayed.
  • Registration information including trigger sound # 4 registration information including brain wave signal # 34, registration information including trigger sound # 5 and brain wave signal # 35, registration information including trigger sound # 6 and brain wave signal # 36, etc. are in chronological order. It has been recorded.
  • the authentication process the previously registered evoked sound and its reaction EEG signal are read from the CBPA table 234, and authentication is performed.
  • the newly generated evoked sound and its reaction EEG signal are newly registered in the CBPA table 234.
  • the brain information system shown in FIG. 35 or FIG. 36 has a configuration in which the server 30 is provided in the same manner as the brain wave system shown in FIGS. 20 to 22 described above.
  • various configurations may be adopted, such as a configuration in which the terminal device 10 is omitted.
  • step S312 the process proceeds to step S312 after waiting for receiving the command to start the authentication process from the CBPA implementation application executed by the terminal device 11 or the measuring device 21 (“Yes” in S311).
  • step S312 the input signal processing unit 206 refers to the CBPA table 234 of the signal recording unit 207 and determines whether or not a registered electroencephalogram signal for personal authentication of the CBPA implementation application exists.
  • step S312 When it is recognized in the determination process of step S312 that the registered electroencephalogram signal does not exist, that is, it is the first time by the initial confirmation, the process proceeds to step S313.
  • the output processing unit 209 reproduces the new registration trigger media and outputs it from the sound output unit 204 or the display unit 205.
  • step S314 the input signal processing unit 206 processes the biological signals from the electrode 201 and the reference electrode 202 to determine whether or not the electroencephalogram signal corresponding to the reaction by the evoked media has been read.
  • step S314 If it is determined in the determination process of step S314 that the reaction EEG signal has not been read, the process proceeds to step S315.
  • step S315 the error is notified to the CBPA implementation application executed by the terminal device 11 or the measuring device 21.
  • the process returns to step S313, the subsequent processes are repeated, and the reading of the reaction EEG signal according to the new registration-inducing medium is retried. ..
  • step S316 the input signal processing unit 206 records information on the evoked media, the reaction EEG signal, and the time in the CBPA table 234 of the signal recording unit 207.
  • step S316 When the process of step S316 is completed, the process proceeds to step S317. If it is determined in the determination process of step S312 that the registered electroencephalogram signal exists, the process proceeds to step S317.
  • step S317 the output processing unit 209 reproduces the previously registered trigger media and outputs it from the sound output unit 204 or the display unit 205.
  • step S318 the input signal processing unit 206 processes the biological signals from the electrode 201 and the reference electrode 202 to determine whether or not the electroencephalogram signal corresponding to the reaction by the evoked media has been read.
  • step S318 If it is determined in the determination process of step S318 that the reaction EEG signal has not been read, the process proceeds to step S319. In step S319, the error is notified to the CBPA implementation application executed by the terminal device 11 or the measuring device 21.
  • the process returns to step S317, the subsequent processes are repeated, and the reading of the reaction EEG signal according to the previously registered evoked media is retried. ..
  • step S318 determines whether the reaction electroencephalogram signal has been read. If it is determined in the determination process of step S318 that the reaction electroencephalogram signal has been read, the process proceeds to step S320 of FIG. 42.
  • step S320 the input signal processing unit 206 matches the input electroencephalogram signal read in the process of step S318 with the registered electroencephalogram signal recorded in the CBPA table 234 of the signal recording unit 207. Further, in step S321, the input signal processing unit 206 calculates the similarity of the matched electroencephalogram signals.
  • step S322 the input signal processing unit 206 determines whether or not the calculated similarity is within a predetermined threshold range.
  • step S322 If it is determined in the determination process of step S322 that the similarity is out of the predetermined threshold range, the process proceeds to step S323. In step S323, an error is notified to the CBPA implementation application executed by the terminal device 11 or the measuring device 21, and the authentication registration process is terminated.
  • step S322 If it is determined in the determination process of step S322 that the similarity is within a predetermined threshold value, the process proceeds to step S324.
  • step S324 the output processing unit 209 reproduces the new registration trigger media and outputs it from the sound output unit 204 or the display unit 205.
  • step S325 the input signal processing unit 206 processes the biological signals from the electrode 201 and the reference electrode 202 to determine whether or not the electroencephalogram signal corresponding to the reaction by the evoked media has been read.
  • step S325 If it is determined in the determination process of step S325 that the reaction EEG signal has not been read, the process proceeds to step S326.
  • step S326 the error is notified to the CBPA implementation application executed by the terminal device 11 or the measuring device 21.
  • step S324 the process returns to step S324, the subsequent processes are repeated, and the reading of the reaction electroencephalogram signal according to the new registration trigger medium is retried. ..
  • step S325 the input signal processing unit 206 records information on the evoked media, the reaction EEG signal, and the time in the CBPA table 234 of the signal recording unit 207.
  • step S328 it is determined whether or not to end the operation, and if it is determined not to end the operation, the process returns to step S311 of FIG. 42, and the subsequent processes are repeated. If it is determined that the operation is terminated, the authentication registration process is terminated.
  • the brain wave signal according to the user's reaction to the reproduced evoked media can be obtained while changing the evoked media such as hearing induction and visual induction.
  • the evoked media such as hearing induction and visual induction.
  • the evoked sound as the auditory evoked sound and the evoked video as the visual evoked image are illustrated as the evoked media, but the evoked vibration as the tactile sensation evoked or the olfactory sensation evoked may be used.
  • playback is performed by combining the first trigger media and the second trigger media, and the combination of the first trigger media and the second trigger media played in each authentication is different.
  • the playback order of the first trigger media (for authentication) and the second trigger media (for registration) is not limited to the order of the first trigger media and the second trigger media, but the second trigger media and the first.
  • the order of the trigger media may be the same, or the order may be changed each time as well as continuing a certain order.
  • the series of processes of the terminal device 10, the measuring device 20, and the server 30 described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer of each device.
  • FIG. 44 is a block diagram showing a configuration example of the hardware of a computer that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 includes a speaker, a display, and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 and the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-mentioned series. Is processed.
  • the program executed by the computer (CPU1001) can be recorded and provided on the removable recording medium 1011 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers.
  • the program may be transferred to a distant computer for execution.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the present technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the first authentication process is performed in the Nth authentication.
  • the second authentication process is performed by N + 1th authentication, and is performed.
  • the first registration information is registered in the registration process performed in the N-1th authentication, and is registered.
  • the control device (7) The control device according to (6) above, wherein the first trigger media and the second trigger media include a trigger sound or a trigger image.
  • the evoked sound or the evoked video is provided together with the distributed content distributed by the content distribution service.
  • the control device (8), wherein the data of the evoked sound or the evoked video is distributed or generated as data of one type of content constituting the distributed content.
  • the control device (8), wherein the data of the evoked sound or the evoked video is inserted into the data of the reproduced content constituting the distributed content.
  • the control device (11) The control device according to (6) above, wherein the data of the evoked sound or the evoked video is added by processing the data of the reproduced content constituting the distributed content. (12) The processing unit controls the registration process of associating the information regarding the second induction media with the information regarding the second brain information and registering the information as the second registration information (1) to (11). The control device according to any one of. (13) The control device according to (12), wherein the processing unit manages the first registration information and the second registration information in chronological order. (14) The control device according to any one of (1) to (13) above, wherein the second evoking medium is newly randomly generated or is generated in advance and randomly selected.
  • the processing unit Matching processing is performed between the first brain information obtained from the first registration information registered in the N-1th authentication and the first brain information measured in the Nth authentication.
  • the control device according to any one of (1) to (14) above, which authenticates the user based on the result of the matching process.
  • the electroencephalogram information is obtained by measuring a signal from an electrode provided so as to come into contact with the user's head.
  • the cerebral blood flow information is obtained by measuring a signal from an fNIRS sensor provided so as to come into contact with the user's head.
  • the control device is configured as a measuring device that measures the first brain information and the second brain information, a terminal device that is connected to the measuring device by wire or wirelessly, or a server that is connected to the measuring device via a network.
  • the control device according to any one of (1) to (17).
  • the control device Control of the first authentication process for authenticating the user based on the first registration information based on the user's first brain information measured in response to the reproduction of the first trigger media, A second registration used in the second authentication process to authenticate the user based on the user's second brain information measured in response to the reproduction of the second trigger media different from the first trigger media. Control of information registration process and Control method to do.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本技術は、脳情報を用いてより安全性の高い認証を行うことができるようにする制御装置、及び制御方法に関する。 第１の誘発メディアの再生に応じて測定されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、ユーザを認証する第１の認証処理の制御と、第１の誘発メディアとは異なる第２の誘発メディアの再生に応じて測定されたユーザの第２の脳情報に基づいて、前記ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理の制御と、を行う処理部を備える制御装置が提供される。例えば、本技術は、脳情報を測定可能な測定装置に適用可能である。

Description

制御装置、及び制御方法
　本技術は、制御装置、及び制御方法に関し、特に、脳情報を用いてより安全性の高い認証を行うことができるようにした制御装置、及び制御方法に関する。
　近年、脳波等の脳情報を解析してインタフェースに応用する研究開発が盛んに行われている。
　例えば、特許文献１には、脳波データ中に埋没している運動関連脳電位の微小な信号成分を、周波数分布の時間変化の形で観測できるようにするとともに、筋電位デジタルデータに対する周波数の時間変化を求めてその広帯域で生じる変化の生起時間を検出することで、運動開始時間を自動的に検出する脳運動機能解析診断方法が開示されている。
特開2002-272692号公報
　ところで、脳波等の脳情報を用いて認証を行うに際しては、脳情報などの情報が外部に漏れる恐れがあり、安全性の高い認証を行うことが求められる。
　本技術はこのような状況に鑑みてなされたものであり、脳情報を用いてより安全性の高い認証を行うことができるようにするものである。
　本技術の一側面の制御装置は、第１の誘発メディアの再生に応じて測定されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、前記ユーザを認証する第１の認証処理の制御と、前記第１の誘発メディアとは異なる第２の誘発メディアの再生に応じて測定された前記ユーザの第２の脳情報に基づいて、前記ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理の制御と、を行う処理部を備える制御装置である。
　本技術の一側面の制御方法は、制御装置が、第１の誘発メディアの再生に応じて測定された登録されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、前記ユーザを認証する第１の認証処理の制御と、前記第１の誘発メディアとは異なる第２の誘発メディアの再生に応じて測定された前記ユーザの第２の脳情報に基づいて、前記ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理の制御と、を行う制御方法である。
　本技術の一側面の制御装置、及び制御方法においては、第１の誘発メディアの再生に応じて測定されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、前記ユーザを認証する第１の認証処理が制御され、前記第１の誘発メディアとは異なる第２の誘発メディアの再生に応じて測定された前記ユーザの第２の脳情報に基づいて、前記ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理が制御される。
　本技術の一側面の制御装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
トリガアクションとパスソートの登録例を示す図である。 トリガアクションとパスソートの登録例を示す図である。 トリガアクションのバリエーションの例を示す図である。 音声インストラクションのパターンの例を示す図である。 脳波個人認証の認証例を示す図である。 脳波個人認証の認証例を示す図である。 聴覚誘発反応を利用した脳波個人認証の登録例を示す図である。 聴覚誘発反応を利用した脳波個人認証の認証例を示す図である。 視覚誘発反応を利用した脳波個人認証の登録例を示す図である。 視覚誘発反応を利用した脳波個人認証の認証例を示す図である。 思い出し検索の第１の例を示す図である。 思い出し検索の第２の例を示す図である。 本技術を適用した脳波システムの構成例を示すブロック図である。 イヤホンに設けられた電極と基準電極の配置例を示す図である。 HMDに設けられた電極と基準電極の配置例を示す図である。 信号記録部に記録されるテーブルの構成例を示す図である。 トリガアクション信号記録テーブルの例を示す図である。 トリガアクション別脳波アプリケーションテーブルの例を示す図である。 脳波信号記録テーブルの例を示す図である。 本技術を適用した脳波システムの他の構成例を示すブロック図である。 本技術を適用した脳波システムの他の構成例を示すブロック図である。 本技術を適用した脳波システムの他の構成例を示すブロック図である。 トリガアクションとパスソートの登録処理の流れを説明するフローチャートである。 トリガアクションとパスソートの登録処理の流れを説明するフローチャートである。 脳波個人認証処理の流れを説明するフローチャートである。 聴覚誘発を利用した個人認証の認証登録例を示す図である。 聴覚誘発を利用した個人認証の認証登録例を示す図である。 視覚誘発を利用した個人認証の認証登録例を示す図である。 視覚誘発を利用した個人認証の認証登録例を示す図である。 音楽配信サービスの適用例を示す図である。 ゲーム画面の適用例を示す図である。 ローディング画面の適用例を示す図である。 ユーザ選択画面の適用例を示す図である。 ユーザ選択画面の適用例を示す図である。 本技術を適用した脳情報システムの構成例を示すブロック図である。 本技術を適用した脳情報システムの他の構成例を示すブロック図である。 fNIRSセンサの構成例を示すブロック図である。 イヤホンに設けられたfNIRSセンサの配置例を示す図である。 HMDに設けられたfNIRSセンサの配置例を示す図である。 信号記録部に記録されるテーブルの構成例を示す図である。 CBPAテーブルの例を示す図である。 認証登録処理の流れを説明するフローチャートである。 認証登録処理の流れを説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
＜１．第１の実施の形態＞
　現在、銀行などの高いセキュリティが必要とされる認証には、複数の検証要素を用いた多要素認証システムが多く使用されている。多要素認証であるためには、認証を受けようとするユーザは、以下に示した（ａ）乃至（ｃ）のうち、２つ以上のカテゴリの認証要素を提示する必要がある。
（ａ）知識：そのユーザしか知らない情報（例えばパスワード）
（ｂ）所有物：そのユーザしか持たないもの（例えばATMカード）
（ｃ）生体情報：そのユーザしか持たない特徴（例えば指紋）
　しかしながら、多要素認証システムは、システム的にも複雑で高コストである。また、ユーザ体験（UX：User Experience）の観点からも、工程が多いため、ユーザフレンドリであるとは言い難い。
　EEG(Electroencephalograph)から読み出せる脳波や、MRI(Magnetic Resonance Imaging)，NIRS(Near-Infrared Spectroscopy)から読み出せる脳活動にも個人差を表す特徴がある。
　ユーザだけが知っているパスソート（Pass-thought）を、個人を判別可能な精度で読み出すことができれば、上述の（ａ）に対応したそのユーザしか知らない知識を第１の認証要素とし、上述の（ｃ）に対応したそのユーザの脳特徴量という生体情報を第２の認証要素として同時に用いて、１回の工程で認証が可能となる。
　パスソートとは、任意の対象を知覚・想起した場合に特有の脳活動情報である。任意の対象には、音声、画像、匂い、触覚、味覚などが含まれる。これらを実際に認識・知覚した場合であってもよく、あるいは実際には知覚しないが想起や想像を行う場合でもよい。
　想起や想像は、対象を示す直接的・具体的な指示に基づき行われてもよく、あるいは抽象的な指示に基づき行われてもよい。前者の例としては、リンゴを想像してくださいとの指示に基づき、ユーザがリンゴを想像する場合が想定される。また、後者の例としては、好きな果物を想像してくださいとの指示に基づき、ユーザがリンゴを想像する場合が想定される。脳活動情報は、脳波やMRI等で得られる情報であって、その測定信号や、あるいは測定信号から抽出される特徴量や、特徴量からなる空間として定義されてもよい。
　一方で、脳波測定は、ユーザの頭部筋電によるアーチファクトが大きく、現状では、使用場面が限られている。
　すなわち、脳波測定時に、瞬目や顎の筋電によるアーチファクトが問題となっている。そのため、通常の脳波測定では、安静状態で閉眼での測定が行われている。このような理由から、脳波信号を入力信号としたユーザインタフェース（UI：User Interface）は、使用場面が限られていて、社会実装が難しいという問題があった。
　そこで、本技術では、頭部筋電を用いた脳波測定機のユーザインタフェースを提供することで、これらの問題を解決しつつ、自然で万人に理解しやすいユーザインタフェース（UI）を持った脳波個人認証等の脳波に関する処理が実現されるようにする。以下、図面を参照しながら、第１の実施の形態について説明する。
（第１の例）
　図１，図２は、脳波個人認証で用いられるトリガアクションとパスソートの登録例を示している。
　図１，図２において、ユーザは、スマートフォン等の携帯端末１０Ａを手に持っており、耳には、携帯端末１０Ａと無線又は有線で接続されたイヤホン２０Ａを装着している。詳細は後述するが、イヤホン２０Ａには、複数の電極が設けられ、ユーザの頭部から筋電信号や脳波信号等の生体信号を測定可能である。
　ユーザは、携帯端末１０Ａで起動中の脳波個人認証アプリケーションのメニュー画面を操作して、トリガアクションとパスソートの登録を選択する（Ｓ１１）。脳波個人認証アプリケーションは、ユーザの頭部から測定した脳波を利用して個人認証を行うアプリケーションであって、脳波アプリケーションの一例である。トリガアクションとは、脳波に基づく所定の処理を行う際のトリガとなるアクション（ユーザの所定の動作等）である。
　この選択操作に応じて、携帯端末１０Ａでは、画像やテキスト、音などにより、ユーザに対し、所定の行動を促すユーザインタフェースが提示される（Ｓ１２）。この例では、画像とテキストにより、目を閉じることと、音声インストラクションに従いパスソートのイメージを開始することを促すメッセージを含む画面が表示されている。音声インストラクションとは、音声による指示であり、システムからの明示的な指示であるインストラクションの一例である。
　携帯端末１０Ａに表示されたメッセージに従い、ユーザが目を閉じると、その動作に応じた筋電信号がイヤホン２０Ａの電極により測定される（Ｓ１３）。この例では、ユーザの閉眼に応じて、図１の波形Ｗ１１を含む筋電信号が測定されて、トリガアクション信号として記録される。
　その後、目を閉じているユーザに対し、イヤホン２０Ａから、脳波個人認証の鍵に使うパスソートをイメージすることを促す音声インストラクションが出力される（Ｓ１４）。
　この音声インストラクションに従い、ユーザがパスソートをイメージすると、その脳波信号がイヤホン２０Ａの電極により測定される（Ｓ１５）。この例では、ユーザにより猫がイメージされたことにより、図２の波形Ｗ１２を含む脳波信号が測定され、脳波アプリケーションとしての脳波個人認証アプリケーションや、トリガアクションとしての閉眼と対応付けて記録される。
　トリガアクションとパスソートが登録されると、ユーザに対し、イヤホン２０Ａから、登録が完了したことと、目を開けてもよいことを通知する音声が出力される（Ｓ１６）。また、携帯端末１０Ａでは、画像やテキスト、音などにより、登録が完了した旨を示すユーザインタフェースが提示される（Ｓ１７）。この例では、画像とテキストにより、登録の完了を示すメッセージを含む画面が表示されている。
　このように、ユーザが、音声インストラクション等のユーザインタフェース（UI）に従い、トリガアクションとなる動作等を行ったり、パスソートとして用いられる事物等をイメージしたりすることで、脳波個人認証で用いられるトリガアクションとパスソートが登録される。
　上述した説明では、トリガアクションとしてユーザが目を閉じる動作を登録する場合（図１のＳ１２，Ｓ１３）の例を示したが、図３に示すように、瞬きを２回することや、首を下に俯いて目を閉じること、目を閉じて口（顎）を４回だけ所定の間隔で動かすことなどの行動を促すユーザインタフェースを提示して、ユーザによる他の動作がトリガアクションとして登録されてもよい（Ｓ１２’）。
　これにより、提示されたユーザインタフェースに従い、ユーザが、瞬き２回、首を下に俯いた状態での閉眼、閉眼をした後に口（顎）を４回動かすなどの動作を行うことで、その動作に応じた波形Ｗ１１’を含む筋電信号が測定され、トリガアクション信号として記録される（Ｓ１３’）。すなわち、ここで提示されるユーザインタフェースは、システムからの明示的な指示であるインストラクションであり、ユーザに対してトリガアクションの実施を促している。
　また、上述した説明では、パスソートとしてユーザが任意の対象（事物など）をイメージする場合（図２のＳ１４，Ｓ１５）の例を示したが、図４に示すように、完全に自由に好きなイメージを想像することを促す音声インストラクションに限らず、「好きな動物を想像して下さい」等の音声インストラクションによって、パスソートのイメージ範囲を制限して、自由度を下げるようにしても構わない。あるいは、人物や風景、自身の身体の動き、単語、数字、メロディ、曲などを想像させたり、秘密の質問などのように選択形式としたりしても構わない。
　これにより、より制限された好きな動物や秘密の質問に対するユーザの回答のイメージに応じた波形Ｗ１２’を含む脳波信号が測定され、脳波アプリケーションやトリガアクションと対応付けて記録される（Ｓ１５’）。
　なお、上述したトリガアクションとパスソートの登録時に、図１，図２のステップＳ１２乃至Ｓ１７の工程を複数回繰り返して行うことで、より精度の高いトリガアクション信号や脳波信号の登録が可能となり、トリガアクションとパスソートを用いた脳波個人認証の精度を上げることが可能となる。
　図５，図６は、トリガアクションとパスソートを用いた脳波個人認証（パスソート認証）の認証例を示している。
　図５，図６において、ユーザは、スマートフォン等の携帯端末１０Ａを手に持っており、耳には、携帯端末１０Ａと無線又は有線で接続されたイヤホン２０Ａを装着している。イヤホン２０Ａは、トリガアクション測定モードで動作している（Ｓ２１）。
　このとき、ユーザが目を閉じると、その動作に応じた筋電信号がイヤホン２０Ａの電極により測定される（Ｓ２２）。この例では、図５の波形Ｗ２１を含む筋電信号がトリガアクション信号として検出されて、イヤホン２０Ａでは、トリガアクション認識プロセスが開始される。
　このトリガアクション認識プロセスでは、登録時に記録されたトリガアクション信号に、所定の閾値の範囲内の類似度を有するトリガアクション信号が存在するかどうかが確認される。また、記録されたトリガアクション信号と脳波アプリケーションの関係から、該当する脳波アプリケーションに対し、トリガアクション信号が検出されたことを通知する。
　この例では、認証時にトリガアクション信号として検出された筋電信号の波形Ｗ２１が、登録時にトリガアクション信号として記録された筋電信号の波形Ｗ１１と所定の閾値の範囲内の類似度を有しているため、トリガアクションは、閉眼となり、該当する脳波アプリケーションは、脳波個人認証アプリケーションとなる（Ｓ２３）。
　トリガアクションと脳波アプリケーションが特定されると、目を閉じているユーザに対し、イヤホン２０Ａから、登録したパスソートをイメージすることを促す音声インストラクションが出力される（Ｓ２４）。イヤホン２０Ａでは、測定モードが、トリガアクション測定モードから、脳波測定モードに変更される。
　この音声インストラクションに従い、ユーザがパスソートをイメージすると、その脳波信号がイヤホン２０Ａの電極により測定される（Ｓ２５）。この例では、ユーザにより猫がイメージされたことにより、図６の波形Ｗ２２を含む脳波信号が測定されて、パスソート認識プロセスが開始される。
　このパスソート認識プロセスでは、該当する脳波アプリケーション別に記録された脳波信号に、所定の閾値の範囲内の類似度を有する信号が存在するかどうかを確認する。
　この例では、認証時に測定された脳波信号の波形Ｗ２２が、脳波個人認証アプリケーションの脳波信号として記録された脳波信号の波形Ｗ１２と所定の閾値の範囲内の類似度を有しているため、脳波信号が一致した旨が、脳波個人認証アプリケーションに通知される（Ｓ２６）。
　なお、測定された脳波信号の波形Ｗ２２と所定の閾値の範囲内の類似度を有する脳波信号が存在しない場合には、脳波信号が不一致である旨が、脳波個人認証アプリケーションに通知される。
　パスソート認識プロセスが完了すると、ユーザに対し、イヤホン２０Ａから、認証が完了したことと、目を開けてもよいことを通知する音声が出力される（Ｓ２７）。また、携帯端末１０Ａでは、画像やテキストにより、認証が完了した旨を示すメッセージを含む画面が表示される（Ｓ２７）。
　このように、ユーザが、音声インストラクション等のユーザインタフェース（UI）に従い、トリガアクションとなる動作等を行ったり、パスソートとして用いられる事物等をイメージしたりすることで、脳波個人認証が行われる。
（外部誘発の例）
　上述した説明では、脳波個人認証での登録時と認証時において、ユーザが主体的にパスソートをイメージした場合の例を示したが、ユーザがイメージするパスソートは、外部から誘発されても構わない。まず、聴覚誘発反応を利用した脳波個人認証の例を、図７，図８を参照して説明する。
　図７は、聴覚誘発反応を利用した脳波個人認証の登録例を示している。
　ユーザは、携帯端末１０Ａで起動中の脳波個人認証アプリケーションのメニュー画面を操作して、トリガアクションとパスソートの登録を選択する（Ｓ３１）。なお、このメニュー画面で、聴覚誘発反応を利用することを選択可能である。
　この選択操作に応じて、携帯端末１０Ａでは、ユーザに対し、画像やテキスト、音などにより、目を閉じることと、イヤホン２０Ａから出力される音を聞くことを促すメッセージが提示される（Ｓ３２）。
　携帯端末１０Ａに提示されたメッセージに従い、ユーザが目を閉じると、その動作に応じた筋電信号がイヤホン２０Ａの電極により測定され、トリガアクション信号として記録される（Ｓ３３）。
　その後、目を閉じているユーザに対し、イヤホン２０Ａから誘発音が出力され、この誘発音にユーザが反応すると、その反応に応じた脳波信号がイヤホン２０Ａの電極により測定され、脳波個人認証アプリケーションやトリガアクションと対応付けて記録される（Ｓ３４）。
　聴覚誘発反応に応じたパスソートが登録されると、ユーザに対し、イヤホン２０Ａから、登録が完了したことと、目を開けてもよいことを通知する音声が出力される（Ｓ３５）。
　この音声インストラクションに従い、ユーザが目を開けると、その動作に応じた筋電信号がイヤホン２０Ａの電極により測定され、トリガアクション信号として記録される（Ｓ３６）。すなわち、この例では、ユーザが目を閉じたときと、目を開いたときの一連の動作を記録することで、目の開閉動作が、トリガアクションとして記録される。
　なお、上述したステップＳ３２乃至Ｓ３４の工程を複数回繰り返して、前回の波形と一致（又は類似）するかを確認することで、より高い精度で、聴覚誘発反応に応じたパスソートの登録が可能となる。
　図８は、聴覚誘発反応を利用した脳波個人認証の認証例を示している。
　ユーザが耳に装着したイヤホン２０Ａは、トリガアクション測定モードで動作している（Ｓ４１）。ユーザが目の開閉を行ったとき、その動作に応じた筋電信号がトリガアクション信号として検出され、トリガアクション認識プロセスが開始される。
　この例では、トリガアクション認識プロセスで、認証時にトリガアクション信号として検出された筋電信号が、上述の登録時にトリガアクション信号として記録された筋電信号と所定の閾値の範囲内の類似度を有しているため、トリガアクションは、目の開閉となり、該当する脳波アプリケーションは、脳波個人認証アプリケーションとなる（Ｓ４２）。
　トリガアクションと脳波アプリケーションが特定されると、測定モードが、脳波測定モードに変更される。そして、目を閉じているユーザに対し、イヤホン２０Ａから誘発音が出力され、この誘発音にユーザが反応すると、その反応に応じた脳波信号がイヤホン２０Ａの電極により測定されて、ERP認識プロセスが開始される（Ｓ４３）。事象関連電位（ERP：Event Related Potential）とは、ユーザの思考や認知の結果として何らかの形で計測された脳の反応（内的・外的刺激に対する類型的な電気生理学的反応）である。
　この例では、ERP認識プロセスで、認証時に測定された脳波信号が、脳波個人認証アプリケーションの脳波信号として記録された脳波信号と所定の閾値の範囲内の類似度を有しているため、脳波信号が一致した旨が脳波個人認証アプリケーションに通知される。
　ERP認識プロセスが完了すると、ユーザに対し、イヤホン２０Ａから、認証が完了したことを示す音（認証クリア音）と、目を開けてもよいことを通知する音声が出力される（Ｓ４４）。
　このように、聴覚誘発反応を利用することで、ユーザは、認証鍵に使うパスソートを自らイメージすることなく、外部から出力される誘発音を聞くだけで、脳波個人認証を実現することが可能となる。
　なお、誘発音としては、様々な音を用いることができるが、正常音に異常音を混ぜたオッドボールタスク（Odd Ball Task）などを用いても構わない。オッドボールタスクとは、２種以上の音を、出現頻度を変えてランダムな順序で提示するものである。
　次に、視覚誘発反応を利用した脳波個人認証の例を、図９，図１０を参照して説明する。
　図９は、視覚誘発反応を利用した脳波個人認証の登録例を示している。
　図９のステップＳ５１乃至Ｓ５３においては、図７のステップＳ３１乃至Ｓ３３と同様に、携帯端末１０Ａ又はイヤホン２０Ａにより提示されるメッセージに従い、ユーザが目を閉じると、その動作に応じた筋電信号がイヤホン２０Ａの電極により測定され、トリガアクション信号として記録される。
　目を閉じているユーザに対し、携帯端末１０Ａの視覚誘発照明機能を利用して誘発光が照射され、この誘発光にユーザが反応すると、その反応に応じた脳波信号がイヤホン２０Ａの電極により測定され、脳波個人認証アプリケーションやトリガアクションと対応付けて記録される（Ｓ５４）。
　例えば、視覚誘発照明としては、特定のパルスを伴ったフラッシュ照明を用いて、ユーザに意識されないが、脳波信号に誘発反応が生じる速度でフラッシュを有効にすればよい。なお、視覚誘発照明機能は、携帯端末１０Ａの機能として説明したが、他の機器の機能として提供されてもよい。
　図９のステップＳ５５乃至Ｓ５６においては、図７のステップＳ３５，Ｓ３６と同様に、登録の完了が通知された後に、ユーザが目を開いたときの動作に応じた筋電信号が測定され、トリガアクション信号として記録される。すなわち、この例では、ユーザが目を閉じたときと、目を開いたときの一連の動作を記録することで、目の開閉動作が、トリガアクションとして記録される。
　なお、上述したステップＳ５２乃至Ｓ５４の工程を複数回繰り返して、前回の波形と一致（又は類似）するかを確認することで、より高い精度で、視覚誘発反応に応じたパスソートの登録が可能となる。
　図１０は、視覚誘発反応を利用した脳波個人認証の認証例を示している。
　図１０のステップＳ６１乃至Ｓ６２においては、図８のステップＳ４１乃至Ｓ４２と同様に、ユーザが目の開閉を行ったときの動作に応じた筋電信号がトリガアクション信号として検出され、登録時に記録されたトリガアクション信号と所定の閾値の範囲内の類似度を有している場合に、ERP認識プロセスが開始される（Ｓ６３）。
　このERP認識プロセスでは、携帯端末１０Ａにより照射された誘発光にユーザが反応すると、その反応に応じた脳波信号が測定されるので、測定された脳波信号が、脳波個人認証アプリケーションの脳波信号として記録された脳波信号と所定の閾値の範囲内の類似度を有している場合、脳波信号が一致した旨が脳波個人認証アプリケーションに通知される。
　図１０のステップＳ６４においては、図８のステップＳ４４と同様に、パスソートの認証が完了すると、ユーザに対し、イヤホン２０Ａから、認証が完了したことを示す音（認証クリア音）と、目を開けてもよいことを通知する音声が出力される。
　このように、視覚誘発反応を利用することで、ユーザは、認証鍵に使うパスソートを自らイメージすることなく、外部から出力される誘発光の照射を受けるだけで、脳波個人認証を実現することが可能となる。
　なお、部屋の照明などに、ユーザの意識下に上がらない速度でのパルスを信号に挿入することで、事前に登録されている視覚誘発反応の脳波信号と一致させることにより、継続的に持続した脳波個人認証が行われるようにしても構わない。また、このとき、視覚誘発反応の脳波信号によるユーザの集中力の測定が行われてもよい。
　さらに、部屋の照明などを用いることから、１人のユーザだけでなく、部屋の中にいる複数人のユーザに対する脳波個人認証を同時に行うことができる。例えば、会議室アプリケーションの機能として、この脳波個人認証の機能を備えるようにすることで、会議室を複数人のユーザで使用する場合に、会議室内のユーザに対する脳波個人認証が行われ、会議の参加状況などを把握することができる。
　また、上述した説明では、聴覚誘発反応と視覚誘発反応を利用した脳波個人認証を例示したが、それ以外にも、携帯端末１０Ａ等の機器の振動による触覚誘発反応や、香り発生装置による嗅覚誘発反応などを用いても構わない。このような、聴覚、視覚、触覚、又は嗅覚に誘発される脳波信号は、事象関連電位（ERP）であるとも言える。
（第２の例）
　上述した説明では、脳波アプリケーションとして、脳波個人認証アプリケーションを実行する場合の例を示したが、他の脳波アプリケーションを用いた場合でも、本技術を適用可能である。脳波検索アプリケーションを利用した思い出し検索（ブレインログサーチ）の例を、図１１，図１２を参照して説明する。
　図１１は、脳波検索アプリケーションを利用した思い出し検索の第１の例を示している。
　図１１において、ユーザは、スマートフォン等の携帯端末１０Ａを手に持っており、耳には、携帯端末１０Ａと無線又は有線で接続されたイヤホン２０Ａを装着している。また、携帯端末１０Ａでは、SNS(Social Networking Service)アプリケーションや、ニュースアプリケーション等のアプリケーションが起動されている。
　このとき、ユーザが、携帯端末１０Ａを操作して、SNSアプリケーション等の記事を閲覧している場合に、注目している注目記事があった場面を想定する（Ｓ７１）。
　この場面において、注目記事を閲覧しているときのユーザの脳波信号がイヤホン２０Ａの電極により測定されて記録される。
　この脳波信号を記録するタイミングであるが、例えば、携帯端末１０Ａで一定時間以上の固定表示がなされた記事が検出されたとき、その記事をユーザが注目して閲覧していたことを推定し、そのときの脳波信号が自動的に記録されるようにする。
　この例では、一定時間以上の固定表示した記事が検出されたときのユーザの脳波信号として、図１１の波形Ｗ７１を含む脳波信号が測定されて記録される。この脳波信号の記録に際しては、脳波検索アプリケーションと対応付けることができる。また、記録される脳波信号に関する情報は、履歴情報等の情報により、注目記事に関する情報と紐付けられる。
　その後、ユーザが、注目記事を再度閲覧しようとしたが、どの記事だったか探しても見つからない場面を想定する（Ｓ７２）。このとき、ユーザは、どのアプリケーションで閲覧したのか、検索ワードすら思いつかないものとする。
　このとき、ユーザが目を閉じると、その動作に応じた筋電信号がイヤホン２０Ａの電極によりトリガアクション信号として検出され、トリガアクション認識プロセスが開始される（Ｓ７３）。なお、この例では、脳波検索アプリケーションのトリガアクションとして、ユーザの目を閉じる動作（閉眼）があらかじめ登録されているものとする。
　このトリガアクション認識プロセスでは、検出されたトリガアクション信号が、記録されたトリガアクション信号と所定の閾値の範囲内の類似度を有している場合に、トリガアクションは、閉眼となり、該当する脳波アプリケーションは、脳波検索アプリケーションとなる。
　トリガアクションと脳波アプリケーションが特定され、目を閉じているユーザが、注目記事のイメージを思い浮かべると、その注目記事のイメージに応じた脳波信号がイヤホン２０Ａの電極により測定され、ブレインログサーチプロセスが開始される（Ｓ７３）。
　このブレインログサーチプロセスでは、脳波検索アプリケーションの脳波信号として記録された脳波信号の波形のうち、測定された脳波信号の波形と所定の閾値の範囲内の類似度を有する波形が存在するかどうかのマッチングが行われる。この例では、測定された脳波信号の波形が、記録された脳波信号の波形Ｗ７１と所定の閾値の範囲内の類似度を有しているため、その脳波信号に関する情報が、脳波検索アプリケーションに通知される。
　携帯端末１０Ａでは、脳波検索アプリケーションが、履歴情報等の情報に基づき、通知対象の脳波信号に関する情報に紐付けられた注目記事に関する情報を特定し、当該注目記事に関する情報に基づき、注目記事を提示する（Ｓ７４）。例えば、この注目記事の提示に際しては、携帯端末１０Ａの履歴オプション機能などを用いて提示することができる。また、注目記事の提示に際して、脳波信号の波形の類似度が閾値の範囲内にある履歴（記録）が複数あった場合に、類似度が高い順に複数のマッチング結果を提示しても構わない。
　このように、ユーザが記事を閲覧するに際して自動的に記録される脳波信号と、ユーザが記事の記憶を想起した際の脳波信号とのマッチングによる思い出し検索（ブレインログサーチ）を実現することができる。これにより、ユーザは、閲覧していた記事に関する情報をはっきりと覚えていない場合でも、その記事の記憶を頭の中で思い出すことで、その記事を再度閲覧することができる。
　図１２は、脳波検索アプリケーションを利用した思い出し検索の第２の例を示している。
　図１２においては、ユーザが、屋外で、手に持った携帯端末１０Ａで起動している地図アプリケーションを確認しながら、打合せ先等の目的地に向かっている場面を想定する（Ｓ８１）。
　この場面において、目的地に向かっている途中で建物の外観を確認したときのユーザの脳波信号がイヤホン２０Ａの電極により測定されて記録される。
　この脳波信号を記録するタイミングであるが、例えば、携帯端末１０Ａで起動している地図アプリケーションにより地図を表示した後に、一定時間の立ち止まっている時間が検出されたとき、その場所で建物の外観を確認していたと推定し、そのときの脳波信号が自動的に記録されるようにする。
　この例では、一定時間の立ち止まっている時間が検出されたときのユーザの脳波信号として、図１２の波形Ｗ８１を含む脳波信号が測定されて記録される。この脳波信号の記録に際しては、脳波検索アプリケーションと対応付けることができる。また、記録される脳波信号に関する情報は、履歴情報等の情報により、建物の外観を確認していたと推定される場所に関する情報（位置情報等）と紐付けられる。
　その後、ユーザが、建物の外観は記憶しているが、どの場所で見た風景であるかを思い出せない場面を想定する（Ｓ８２）。
　このとき、ユーザが目を閉じると、その動作に応じた筋電信号がイヤホン２０Ａの電極により測定され、トリガアクション認識プロセスが開始される（Ｓ８３）。なお、この例でも、トリガアクションとして、閉眼があらかじめ登録されているものとする。
　このトリガアクション認識プロセスでは、検出されたトリガアクション信号が、記録されたトリガアクション信号と所定の閾値の範囲内の類似度を有している場合に、トリガアクションは、閉眼となり、該当する脳波アプリケーションは、脳波検索アプリケーションとなる。
　トリガアクションと脳波アプリケーションが特定され、目を閉じているユーザが、印象に残った建物のイメージを思い浮かべると、その思い浮かべた建物のイメージに応じた脳波信号がイヤホン２０Ａの電極により測定され、ブレインログサーチプロセスが開始される（Ｓ８３）。
　このブレインログサーチプロセスでは、脳波検索アプリケーションの脳波信号として記録された脳波信号の波形のうち、測定された脳波信号の波形と所定の閾値の範囲内の類似度を有する波形が存在するかどうかのマッチングが行われる。この例では、測定された脳波信号の波形が、記録された脳波信号の波形Ｗ８１と所定の閾値の範囲内の類似度を有しているため、その脳波信号に関する情報が、脳波検索アプリケーションに通知される。
　携帯端末１０Ａでは、脳波検索アプリケーションが、履歴情報等の情報に基づき、通知対象の脳波信号に関する情報に紐付けられた場所（位置情報等）を特定し、その場所の地図や建物に関する情報などを提示する（Ｓ８４）。例えば、特定の場所の地図や建物に関する情報の提示に際しては、携帯端末１０Ａの履歴オプション機能などを用いて提示することができる。
　このように、ユーザが特定の場所を訪れるに際して自動的に記録される脳波信号と、ユーザが印象に残った建物などの記憶を想起した際の脳波信号とのマッチングによる思い出し検索（ブレインログサーチ）を実現することができる。これにより、ユーザは、自身が訪れた場所で印象に残った建物などに関する情報をはっきりと覚えていない場合でも、その建物などの記憶を頭の中で思い出すことで、携帯端末１０Ａを利用して、その建物などに関する情報を閲覧することができる。
　なお、図１１，図１２では、説明の都合上、脳波検索アプリケーションのトリガアクションが、閉眼である場合を示したが、例えば、瞬き２回など、他の動作が登録されてもよい。すなわち、脳波個人認証アプリケーションと脳波検索アプリケーションのトリガアクションは、異なるようにすることができる。また、上述した例では、マッチング処理の対象となる脳波信号として、特定の記事や特定の場所等の同一の対象に対するユーザの思考に関する脳波信号を説明したが、当該同一の対象としては、静止画、動画、連絡先、音楽、アプリケーションなど、携帯端末１０Ａ等の機器により提示可能な情報であって、特定のメディアにより提供される情報を含めることができる。
（システム構成）
　図１３は、本技術を適用した脳波システムの構成例を示している。
　脳波システムは、ユーザの頭部から測定した脳波信号を利用して、各種のサービスを提供可能なシステムである。図１３において、脳波システムは、端末装置１０と測定装置２０から構成される。
　端末装置１０は、上述したスマートフォン等の携帯端末１０Ａ、ゲーム機、コントローラ、PC(Personal Computer)、ディスプレイ装置、携帯音楽プレイヤなどの電子機器である。図１３において、端末装置１０は、制御部１０１、及び通信部１０２を有する。
　制御部１０１は、各種の動作の制御や各種の演算処理を行う中心的な制御装置である。制御部１０１は、CPU(Central Processing Unit)等のプロセッサから構成される。制御部１０１は、脳波アプリケーションを起動して実行可能である。
　通信部１０２は、制御部１０１からの制御に従い、測定装置２０等の他の装置との間で通信を行う。通信部１０２は、所定の通信方式に準拠した無線通信又は有線通信に対応した通信モジュールとして構成される。
　例えば、無線通信は、Bluetooth（登録商標）やNFC(Near Field Communication)等の近距離無線通信規格による無線通信や、無線LAN(Local Area Network)等の無線通信、LTE-Advancedや5G(5th Generation)等のセルラー方式の通信などを含む。また、有線通信は、HDMI(High Definition Multimedia Interface)（登録商標）等の通信インタフェースに対応した通信などを含む。
　測定装置２０は、上述したイヤホン２０Ａ、後述するHMD(Head Mounted Display)２０Ｂ、眼鏡型ウェアラブルデバイス等のウェアラブル端末などの電子機器である。
　図１３において、測定装置２０は、電極２０１－１乃至２０１－ｎ（ｎ：１以上の整数）、基準電極２０２、センサ部２０３、音出力部２０４、表示部２０５、入力信号処理部２０６、信号記録部２０７、通信部２０８、出力処理部２０９、及び電池２１０を有する。
　電極２０１－１乃至２０１－ｎは、生体信号を測定する測定電極である。基準電極２０２は、電極２０１－１乃至２０１－ｎで測定した電位との差を計算するために用いられる基準電位を測定する参照電極である。
　電極２０１－１乃至２０１－ｎと基準電極２０２は、ユーザの頭部や耳部等の部位に密着するようにそれぞれ取り付けられる。電極２０１－１乃至２０１－ｎと基準電極２０２によりそれぞれ測定された生体信号は、入力信号処理部２０６に供給される。
　なお、電極には、アース電極が含まれても構わない。ここでのアース電極は、一般にいうグランド電極（接地電位を有する電極）のことではなく、ユーザにおいて基準電位となる電位を有する電極のことをいう。以下の説明では、電極２０１－１乃至２０１－ｎを特に区別する必要がない場合、単に電極２０１と記述する。
　センサ部２０３は、空間情報や時間情報等のセンシングを行い、そのセンシングの結果得られるセンサ信号を、入力信号処理部２０６に供給する。例えば、センサ部２０３は、加速度センサ２２１、及びジャイロセンサ２２２を有する。
　加速度センサ２２１は、XYZ軸の３方向の加速度を測定する。ジャイロセンサ２２２は、XYZ軸の３軸の角速度を測定する。なお、慣性計測装置（IMU：Inertial Measurement Unit）を設けて、３方向の加速度計と３軸のジャイロスコープにより、３次元の加速度と角速度を測定してもよい。
　音出力部２０４は、出力処理部２０９からの音信号に応じた音を出力する。音出力部２０４は、イヤホンを構成するドライバユニット等の機構、又はスピーカなどから構成される。
　表示部２０５は、出力処理部２０９からの画像信号に応じた画像を表示する。表示部２０５は、液晶パネルやOLED(Organic Light Emitting Diode)パネル等のパネル部と信号処理部などから構成される。
　入力信号処理部２０６は、電極２０１－１乃至２０１－ｎと基準電極２０２からの生体信号を処理して、人間が筋肉を動かす際に神経に発生する微弱な信号である筋電信号、又は人間の脳から生じる電気活動に応じた信号である脳波信号を読み取る。
　入力信号処理部２０６は、読み取った筋電信号又は脳波信号に基づいて、所定の信号処理を行う。なお、入力信号処理部２０６は、トリガアクションの検出時には、筋電信号とともに、センサ部２０３からのセンサ信号を用いても構わない。
　すなわち、入力信号処理部２０６は、ユーザの生体信号に含まれる脳波の検出と、生体信号に含まれる脳波以外の情報（筋電信号やセンサ信号等）に基づく動作の検出を行う検出部としての機能を有する。また、入力信号処理部２０６は、脳波に基づく所定の処理を行う処理部としての機能を有する。
　入力信号処理部２０６は、読み取った筋電信号又は脳波信号に関するデータを、信号記録部２０７に記録する。入力信号処理部２０６は、読み取った筋電信号又は脳波信号と、信号記録部２０７に記録している筋電信号又は脳波信号とのマッチングを行い、そのマッチング結果に関するデータを、通信部２０８に供給する。
　信号記録部２０７は、入力信号処理部２０６からの制御に従い、各種の信号に関するデータを記録する。信号記録部２０７は、半導体メモリ等の補助記憶装置として構成される。信号記録部２０７は、内部ストレージとして構成されてもよいし、メモリカード等の外部ストレージであってもよい。
　通信部２０８は、端末装置１０等の他の装置との間で通信を行う。通信部２０８は、入力信号処理部２０６からのデータを、端末装置１０に送信する。また、通信部２０８は、端末装置１０から送信されてくるデータを受信し、出力処理部２０９に供給する。
　通信部２０８は、所定の通信方式に準拠した無線通信又は有線通信に対応した通信モジュールとして構成される。例えば、無線通信は、Bluetooth（登録商標）等の近距離無線通信規格による無線通信や、無線LAN等の無線通信、LTE-Advancedや5G等のセルラー方式の通信などを含む。また、有線通信は、HDMI（登録商標）等の通信インタフェースに対応した通信などを含む。
　出力処理部２０９は、通信部２０８からのデータを処理し、音信号を音出力部２０４に供給し、画像信号を表示部２０５に供給する。
　電池２１０は、測定装置２０に着脱可能に装着され、所定の端子を介して測定装置２０の各部に電源電力を供給する。
　なお、図１３に示した構成は、端末装置１０と測定装置２０の一例であり、図示した構成要素を取り除いたり、新たな構成要素を追加したりしてもよい。
　例えば、測定装置２０において、加速度センサ２２１とジャイロセンサ２２２等を有するセンサ部２０３が、非搭載の場合がある。また、測定装置２０がイヤホン２０Ａである場合には、表示部２０５は非搭載となる。さらに、測定装置２０がHMD２０Ｂである場合には、音出力部２０４が非搭載となる場合がある。
　また、端末装置１０の構成は、最小限の構成を示しているが、測定装置２０と同様に、出力処理部、音出力部、表示部、信号記録部、電池などを設けても構わない。
（電極の配置例）
　図１４は、イヤホン２０Ａに設けられた電極２０１と基準電極２０２の配置例を示している。
　図１４に示すように、イヤホン２０Ａにおいて、ユーザの耳部と接触する側の面には、電極２０１－１乃至２０１－３と基準電極２０２の４つの電極が、音を出力する部分を中心にして同一の円周上に略等間隔に配置されており、ユーザの生体信号を測定可能となっている。
　図１５は、HMD２０Ｂに設けられた電極２０１と基準電極２０２の配置例を示している。
　図１５に示すように、HMD２０Ｂにおいて、ユーザの前頭部と接触する側の面には、電極２０１－１乃至２０１－８の８つの電極が一直線状に略等間隔に配置され、そこから外れた後頭部側の所定の位置に基準電極２０２が配置されており、ユーザの生体信号を測定可能となっている。
　なお、図１５の斜視図では、電極２０１－１乃至２０１－８のうち、電極２０１－６乃至２０１－８の３つのセンサは死角になっているため、図示していない。また、説明の都合上、電極２０１を、HMD２０Ｂの外観に現れるように図示しているが、実際には、ユーザの前頭部と接触する側の面、すなわち、図１５の斜視図では見えない位置に設けられる。
（テーブルの構成例）
　図１６は、図１３の信号記録部２０７に記録されるテーブルの構成例を示している。
　信号記録部２０７は、トリガアクション信号記録テーブル２３１、トリガアクション別脳波アプリケーションテーブル２３２、及び脳波信号記録テーブル２３３を記録している。
　トリガアクション信号記録テーブル２３１は、ユーザの目や顎、首などの部位による頭部筋電の組み合わせなどからなるトリガアクション信号のデータが記録されるテーブルである。
　図１７に示すように、トリガアクション信号記録テーブル２３１では、トリガアクションとトリガアクション信号とが対応付けて記録されている。
　例えば、閉眼であるトリガアクション（Trigger Action#1）のトリガアクション信号として、筋電信号#1のデータが記録され、瞬き２回であるトリガアクション（Trigger Action#2）のトリガアクション信号として、筋電信号#2のデータが記録され、俯いて両眼の瞬きを２回した後に閉眼であるトリガアクション（Trigger Action#3）のトリガアクション信号として、筋電信号#3、加速度信号#1、及び角速度信号#1のデータが記録されている。
　なお、代表的なトリガアクションは、閉眼であって、ユーザが目を閉じた状態で脳波信号が読み取られるが、開眼、つまり、ユーザが目を開けた状態で脳波信号が読み取られるようにしてもよい。図１７の例では、Trigger Action#1，Trigger Action#2であるトリガアクションに対するトリガアクション信号として、筋電信号のデータのみが記録されているが、加速度信号と角速度信号の入力値が0（ゼロ入力値）であることを示すデータが記録されても構わない。
　トリガアクション別脳波アプリケーションテーブル２３２は、トリガアクション信号記録テーブル２３１に記録されたトリガアクション別の脳波アプリケーションのデータが記録されるテーブルである。
　例えば、図１８に示すように、トリガアクション別脳波アプリケーションテーブル２３２では、図１７のTrigger Action#1が脳波個人認証アプリケーションに紐付けられ、図１７のTrigger Action#2が脳波検索アプリケーションと紐付けられている。
　脳波個人認証アプリケーションでの認証は、ユーザの本人認証に限定されるものではない。また、この脳波個人認証は、インターネットバンキング、インターネット通販、インターネット配信されるコンテンツの視聴時のユーザ選択、インターネット経由のアンケートの回答、インターネットを利用したテストや面接などで実装される個人認証に適用しても構わない。さらに、自動車、飛行機、電車などの乗り物の職業運転手の個人認証に適用しても構わない。
　脳波信号記録テーブル２３３は、トリガアクション別脳波アプリケーションテーブル２３２に記録された脳波アプリケーション別に登録された脳波信号のデータが記録されるテーブルである。
　図１９に示すように、脳波信号記録テーブル２３３では、脳波アプリケーションと脳波信号とが対応付けて記録されている。
　例えば、脳波個人認証アプリケーションの脳波信号として、脳波信号#11，脳波信号#12，脳波信号#13などのデータが記録され、脳波検索アプリケーションの脳波信号として、脳波信号#21，脳波信号#22，脳波信号#23などのデータが記録される。
（他の構成例）
　図２０乃至図２２は、本技術を適用した脳波システムの他の構成例を示している。
　図２０は、本技術を適用した脳波システムの他の構成の第１の例を示している。
　図２０において、脳波システムは、端末装置１０と測定装置２０により構成されるが、図１３の構成例と同一の部分には同一の符号を付してあり、その説明は繰り返しになるので省略する。
　図２０において、端末装置１０は、制御部１０１、及び通信部１０２に加えて、入力信号処理部１０３、信号記録部１０４、出力処理部１０５、音出力部１０６、及び表示部１０７を有する。測定装置２０は、電極２０１－１乃至２０１－ｎ、基準電極２０２、センサ部２０３、音出力部２０４、表示部２０５、通信部２０８、及び電池２１０を有する。
　すなわち、図２０の構成例では、図１３の構成例と比べて、測定装置２０側に設けられていた入力信号処理部２０６、信号記録部２０７、及び出力処理部２０９が、端末装置１０側に、入力信号処理部１０３、信号記録部１０４、及び出力処理部１０５として設けられる。
　測定装置２０において、通信部２０８は、電極２０１－１乃至２０１－ｎと基準電極２０２からの生体信号を、端末装置１０に送信する。
　一方で、端末装置１０において、通信部１０２は、測定装置２０から送信される生体信号を受信し、制御部１０１を介して入力信号処理部１０３に供給する。
　入力信号処理部１０３は、通信部１０２により受信された生体信号を処理して、筋電信号又は脳波信号を読み取り、所定の信号処理を行う。入力信号処理部１０３は、読み取った筋電信号又は脳波信号に関するデータを、半導体メモリ等の信号記録部１０４に記録する。
　入力信号処理部１０３は、読み取った筋電信号又は脳波信号と、信号記録部１０４に記録している筋電信号又は脳波信号とのマッチングを行い、そのマッチング結果に関するデータを、制御部１０１を介して通信部１０２又は出力処理部１０５に供給する。
　出力処理部１０５は、入力信号処理部１０３からのデータを処理し、通信部１０２に供給する。通信部１０２は、制御部１０１からのデータを、測定装置２０に送信する。測定装置２０において、通信部２０８は、端末装置１０から送信されるデータを受信し、音信号を音出力部２０４に供給し、画像信号を表示部２０５に供給する。
　音出力部２０４は、通信部２０８からの音信号に応じた音を出力する。表示部２０５は、通信部２０８からの画像信号に応じた画像を表示する。
　なお、出力処理部１０５は、そこに入力されるデータを処理し、音信号を音出力部１０６に供給し、画像信号を表示部１０７に供給しても構わない。このとき、音出力部１０６は、出力処理部１０５からの音信号に応じた音を出力する。また、表示部１０７は、出力処理部１０５からの画像信号に応じた画像を表示する。
　図２１は、本技術を適用した脳波システムの他の構成の第２の例を示している。
　図２１において、脳波システムは、端末装置１０、測定装置２０、及びサーバ３０から構成される。図２１において、図１３の構成例と同一の部分には同一の符号を付してあり、その説明は繰り返しになるので省略する。
　図２１において、端末装置１０は、通信部１０２を有する。測定装置２０は、電極２０１－１乃至２０１－ｎ、基準電極２０２、センサ部２０３、音出力部２０４、表示部２０５、通信部２０８、及び電池２１０を有する。サーバ３０は、制御部３０１、通信部３０２、入力信号処理部３０３、信号記録部３０４、及び出力処理部３０５を有する。
　すなわち、図２１の構成では、図１３の構成例と比べて、測定装置２０側に設けられていた入力信号処理部２０６、信号記録部２０７、及び出力処理部２０９が、サーバ３０側に、入力信号処理部３０３、信号記録部３０４、及び出力処理部３０５として設けられる。
　測定装置２０において、通信部２０８は、電極２０１－１乃至２０１－ｎと基準電極２０２からの生体信号を、端末装置１０に送信する。端末装置１０において、通信部１０２は、測定装置２０から送信される生体信号を受信し、ネットワーク４０を介して、サーバ３０に送信する。
　サーバ３０において、通信部３０２は、端末装置１０から送信される生体信号を受信し、制御部３０１を介して入力信号処理部３０３に供給する。
　入力信号処理部３０３は、通信部３０２により受信された生体信号を処理して、筋電信号又は脳波信号を読み取り、所定の処理を行う。入力信号処理部３０３は、読み取った筋電信号又は脳波信号に関するデータを、半導体メモリやHDD(Hard Disk Drive)等の信号記録部３０４に記録する。
　入力信号処理部３０３は、読み取った筋電信号又は脳波信号と、信号記録部３０４に記録している筋電信号又は脳波信号とのマッチングを行い、そのマッチング結果に関するデータを、制御部３０１を介して通信部３０２又は出力処理部３０５に供給する。
　出力処理部３０５は、入力信号処理部３０３からのデータを処理し、通信部３０２に供給する。通信部３０２は、制御部３０１からのデータを、ネットワーク４０及び端末装置１０を介して測定装置２０に送信する。測定装置２０において、通信部２０８は、サーバ３０から送信されるデータを受信し、音信号を音出力部２０４に供給し、画像信号を表示部２０５に供給する。
　音出力部２０４は、通信部２０８からの音信号に応じた音を出力する。表示部２０５は、通信部２０８からの画像信号に応じた画像を表示する。
　ネットワーク４０は、インターネット、イントラネット、又は携帯電話網などの通信網を含んで構成され、TCP/IP(Transmission Control Protocol / Internet Protocol)等の通信プロトコルを用いた機器間の相互接続を可能にしている。
　図２２は、本技術を適用した脳波システムの他の構成の第３の例を示している。
　図２２において、脳波システムは、測定装置２０とサーバ３０により構成されるが、図１３，図２１の構成例と同一の部分には同一の符号を付してあり、その説明は繰り返しになるので省略する。
　図２２において、測定装置２０は、電極２０１－１乃至２０１－ｎ、基準電極２０２、センサ部２０３、音出力部２０４、表示部２０５、入力信号処理部２０６、信号記録部２０７、通信部２０８、出力処理部２０９、及び電池２１０に加えて、制御部２１１を有する。サーバ３０は、制御部３０１、通信部３０２、及び信号記録部３０４を有する。
　すなわち、図２２の構成では、図１３の構成例と比べて、端末装置１０（の制御部１０１）が設けられていない代わりに、測定装置２０側に、制御部２１１が設けられ、測定装置２０が、端末装置１０の機能も有している。
　また、図２２の構成では、図２１の構成例と比べて、サーバ３０には、制御部３０１及び通信部３０２のほかに、信号記録部３０４のみが設けられ、サーバ３０は、いわばクラウド上のデータベースサーバとして動作している。
　以上、本技術を適用した脳波システムの他の構成例を説明したが、図２０乃至図２２に示した構成は一例であり、他の構成を採用してもよい。すなわち、脳波システムにおいて、入力信号処理部（１０３，２０６，３０３）、信号記録部（１０４，２０７，３０４）、及び出力信号処理部（１０５，２０９，３０５）は、端末装置１０、測定装置２０、及びサーバ３０のいずれに設けられても構わない。
　また、端末装置１０、測定装置２０、及びサーバ３０は、CPU等のプロセッサがプログラムを実行することで、入力信号処理部（１０３，２０６，３０３）と、出力信号処理部（１０５，２０９，３０５）の機能を実現しているため、制御装置であるとも言える。
（処理の流れ）
　図２３，図２４のフローチャートを参照して、トリガアクションとパスソートの登録処理を説明する。
　この登録処理では、端末装置１０又は測定装置２０によって、ユーザに対し、トリガアクションを登録する脳波アプリケーションが確認され（Ｓ１１１）、登録する脳波アプリケーションの指定があるのを待って（Ｓ１１２の「Yes」）、処理は、ステップＳ１１３に進められる。
　ステップＳ１１３において、入力信号処理部２０６は、筋電信号として検出されるトリガアクション信号の読み取りを開始する。
　ステップＳ１１４において、入力信号処理部２０６は、電極２０１と基準電極２０２からの生体信号を処理して、トリガアクション信号が読み取れたかどうかを判定する。ステップＳ１１４の判定処理では、トリガアクション信号が読み取れたと判定されるのを待って、処理は、ステップＳ１１５に進められる。
　ステップＳ１１５において、入力信号処理部２０６は、読み取ったトリガアクション信号を、信号記録部２０７に記録する。
　ステップＳ１１６において、出力処理部２０９は、音出力部２０４又は表示部２０５を制御し、ユーザに対し、再度トリガアクションを促すユーザインタフェース（UI）を提示して、入力信号処理部２０６によってトリガアクション信号の読み取りを開始する。
　ステップＳ１１７において、入力信号処理部２０６は、電極２０１と基準電極２０２からの生体信号を処理して、トリガアクション信号が読み取れたかどうかを判定する。ステップＳ１１７の判定処理では、トリガアクション信号が読み取れたと判定されるのを待って、処理は、ステップＳ１１８に進められる。
　ステップＳ１１８において、入力信号処理部２０６は、ステップＳ１１４，Ｓ１１７の処理でそれぞれ読み取られたトリガアクション信号の類似度を算出する。
　ステップＳ１１９において、入力信号処理部２０６は、算出したトリガアクション信号の類似度が所定の閾値の範囲内であるかどうかを判定する。
　ステップＳ１１９の判定処理で、類似度が所定の閾値の範囲内であると判定された場合、処理は、ステップＳ１２０に進められる。ステップＳ１２０において、入力信号処理部２０６は、トリガアクション信号と指定脳波アプリケーションを、信号記録部２０７のテーブルに記録する。
　例えば、図１７のトリガアクション信号記録テーブル２３１には、閉眼や瞬き２回などのトリガアクションに対応付けられて、筋電信号がトリガアクション信号として記録される。また、図１８のトリガアクション別脳波アプリケーションテーブル２３２には、閉眼や瞬き２回などのトリガアクションに対応付けられて、脳波個人認証アプリケーションなどの指定脳波アプリケーションが記録される。
　一方で、ステップＳ１１９の判定処理で、類似度が所定の閾値の範囲外であると判定された場合、処理は、ステップＳ１２１に進められる。ステップＳ１２１において、出力処理部２０９は、音出力部２０４又は表示部２０５を制御し、ユーザに対し、再度トリガアクションを促すユーザインタフェース（UI）を提示する。そして、処理は、ステップＳ１１３に戻り、それ以降の処理が繰り返される。
　ステップＳ１２０の処理が終了すると、処理は、図２４のステップＳ１２２に進められる。ステップＳ１２２において、出力処理部２０９は、音出力部２０４又は表示部２０５を制御し、パスソートのイメージを促すユーザインタフェース（UI）を提示する。
　ステップＳ１２３において、入力信号処理部２０６は、脳波信号の読み取りを開始する。
　ステップＳ１２４において、入力信号処理部２０６は、電極２０１と基準電極２０２からの生体信号を処理して、脳波信号が読み取れたかどうかを判定する。ステップＳ１２４の判定処理では、脳波信号が読み取られたと判定されるのを待って、処理は、ステップＳ１２５に進められる。
　ステップＳ１２５において、入力信号処理部２０６は、読み取った脳波信号を、信号記録部２０７に記録する。
　ステップＳ１２６において、出力処理部２０９は、音出力部２０４又は表示部２０５を制御し、ユーザに対し、再度パスソートのイメージを促すユーザインタフェース（UI）を提示して、入力信号処理部２０６によって脳波信号の読み取りを開始する。
　ステップＳ１２７において、入力信号処理部２０６は、電極２０１と基準電極２０２からの生体信号を処理して、脳波信号が読み取れたかどうかを判定する。ステップＳ１２７の判定処理では、脳波信号が読み取られたと判定されるのを待って、処理は、ステップＳ１２８に進められる。
　ステップＳ１２８において、入力信号処理部２０６は、ステップＳ１２４，Ｓ１２７の処理でそれぞれ読み取られた脳波信号の類似度を算出する。
　ステップＳ１２９において、入力信号処理部２０６は、算出した脳波信号の類似度が所定の閾値の範囲内であるかどうかを判定する。
　ステップＳ１２９の判定処理で、類似度が所定の閾値の範囲内であると判定された場合、処理は、ステップＳ１３０に進められる。ステップＳ１３０において、入力信号処理部２０６は、脳波信号と指定脳波アプリケーションを、脳波信号記録テーブル２３３に記録する。
　例えば、図１９の脳波信号記録テーブル２３３には、脳波個人認証アプリケーションなどの指定脳波アプリケーションに対応付けられて、脳波信号が記録される。
　一方で、ステップＳ１２９の判定処理で、類似度が所定の閾値の範囲外であると判定された場合、処理は、ステップＳ１３１に進められる。ステップＳ１３１において、出力処理部２０９は、音出力部２０４又は表示部２０５を制御し、ユーザに対し、再度パスソートのイメージを促すユーザインタフェース（UI）を提示する。そして、処理は、ステップＳ１２３に戻り、それ以降の処理が繰り返される。
　ステップＳ１３０の処理が終了すると、トリガアクションとパスソートの登録処理は終了する。
　次に、図２５のフローチャートを参照して、個人脳波認証処理を説明する。
　ステップＳ１５１において、入力信号処理部２０６は、電極２０１と基準電極２０２からの生体信号に基づいて、筋電信号としてトリガアクション信号を検出したかどうかを判定する。ステップＳ１５１の判定処理では、トリガアクション信号を検出するのを待って、処理は、ステップＳ１５２に進められる。
　ステップＳ１５２において、入力信号処理部２０６は、信号記録部２０７のトリガアクション信号記録テーブル２３１を参照して、入力トリガアクション信号と登録トリガアクション信号とのマッチングを行う。
　ステップＳ１５３において、入力信号処理部２０６は、トリガアクション信号のマッチング結果に基づき、マッチしたトリガアクション信号が存在するかどうかを判定する。
　ステップＳ１５３の判定処理で、マッチしたトリガアクション信号が存在しないと判定された場合、処理は、ステップＳ１５４に進められる。ステップＳ１５４では、端末装置１０又は測定装置２０により実行される脳波アプリケーションに対し、エラーが通知される。
　なお、脳波アプリケーションによりリトライが定義されていた場合には、処理は、ステップＳ１５１に戻り、それ以降の処理が繰り返され、トリガアクション信号のマッチングがリトライされる。
　一方で、ステップＳ１５３の判定処理で、マッチしたトリガアクション信号が存在すると判定された場合、処理は、ステップＳ１５５に進められる。ステップＳ１５５において、入力信号処理部２０６は、トリガアクションに該当する脳波アプリケーションで、脳波信号の読み取りを行う。
　ステップＳ１５６において、入力信号処理部２０６は、該当する脳波アプリケーションに従ったアルゴリズムで、入力脳波信号と、脳波信号記録テーブル２３３に記録されている登録脳波信号とのマッチングを行う。
　ステップＳ１５７において、入力信号処理部２０６は、脳波信号のマッチング結果に基づき、マッチした脳波信号が存在するかどうかを判定する。
　ステップＳ１５７の判定処理で、マッチした脳波信号が存在しないと判定された場合、処理は、ステップＳ１５８に進められる。ステップＳ１５８では、端末装置１０又は測定装置２０により実行される脳波アプリケーションに対し、エラーが通知される。
　なお、脳波アプリケーションによりリトライが定義されていた場合には、処理は、ステップＳ１５５に戻り、それ以降の処理が繰り返され、脳波信号のマッチングがリトライされる。
　一方で、ステップＳ１５７の処理で、マッチした脳波信号が存在すると判定された場合、処理は、ステップＳ１５９に進められる。ステップＳ１５９では、端末装置１０又は測定装置２０で実行される脳波アプリケーションに対し、マッチング結果が通知される。これにより、端末装置１０又は測定装置２０では、脳波アプリケーションが、マッチング結果に応じた各種の処理を実行する。
　ステップＳ１６０においては、動作を終了するかどうかが判定される。ステップＳ１６０の判定処理で、動作を終了しないと判定された場合、処理は、ステップＳ１５１に戻り、それ以降の処理が繰り返される。また、ステップＳ１６０の判定処理で、動作を終了すると判定された場合、個人脳波認証処理は終了する。
　なお、上述したトリガアクションとして、事象関連電位（ERP）の反応を用いても構わない。トリガアクションとして事象関連電位を用いる場合、例えば、次のようなシークエンス（Ｓ９１乃至Ｓ９４）となる。
（１）事象関連電位を誘発するイベントの提示を行う（Ｓ９１）。
（２）ユーザの脳波における事象関連電位の発生をトリガアクションと認定する（Ｓ９２）。
（３）パスソートのためのインストラクション等を提示する（Ｓ９３）。
（４）インストラクション等の提示に対するユーザの脳波の波形に基づき、パスソート等に関する処理を行う（Ｓ９４）。
　ステップＳ９１では、イベントの提示として、例えば、特定の音の発生や、人の顔の提示、違和感を惹起する提示などが行われる。これらの提示は、事象関連電位の種類に対応している。事象関連電位には、例えば顔の認識に対して約170ミリ秒後に脳波反応が起こるN170，聴覚刺激に対する音響的逸脱に関するMMN，不自然や違和感を惹起させる事象の認知から約300ミリ秒後に脳波反応が起こるP300，言語における意味の逸脱の認知から約400ミリ秒後に脳波反応が起こるN400などがある。
　このイベントの提示によって、N170，MMN，P300，N400などの事象関連電位が発生するので、ステップＳ９２では、この事象関連電位の発生をトリガアクションと認定する。
　すなわち、ユーザが提示イベントに対して意識を向けている場合には、トリガアクションとなる事象関連電位が生じるが、ユーザが提示イベントに意識を向けていない場合、事象関連電位は起こらず、トリガアクションにもならない。
　これは、例えば、ユーザが対象コンテンツに注意を向けているか否かによるものと捉えることができ、別のコンテンツをながら見しているなど、注意を向けていない場合には、事象関連電位の反応は起こらない。このため、ユーザが対象コンテンツに注意を向けている場合に、その後のパスソートに関する処理を行いたいときに有効になる。逆に言えば、ユーザが対象コンテンツに注意を向けていない場合には、その後のパスソートに関する処理を行いたくないときにそのような処理を抑制することができる。
　また、事象関連電位の反応を用いることで、瞬目など、明示的なユーザのアクションがなくとも、ユーザの脳波に完結して処理を行うことができる。例えば、明示的なインストラクションをしなくても、対象コンテンツ中に目立たないように（さりげなく）、トリガアクションとしての事象関連電位を誘発するイベントを埋め込んでおくだけで、以降の処理を実施することが可能となる。
　ステップＳ９３，Ｓ９４では、上述したステップＳ２４，Ｓ２５乃至Ｓ２６（図６）などと同様に、インストラクション等の提示に対するユーザの脳波の波形に基づき、パスソート認識プロセスなどの処理が行われる。
　なお、上述した説明では、事象関連電位を含むユーザ特有の反応を用いた例を示したが、これはパスソート等に関する処理を行うための脳波取得であって、ここで説明したものは上述した例とは別で、パスソート等に関する処理のためにユーザの脳波を取得するものではなく、トリガアクションとしてユーザの脳波の事象関連電位を用いた場合の例である。
　以上のように、測定装置２０は、ユーザの頭部から脳波信号と筋電信号を読み取るために、電極２０１及び基準電極２０２と、加速度センサ２２１及びジャイロセンサ２２２を含むセンサ部２０３を有しており、脳波を用いた脳波アプリケーションごとに、トリガアクション（ユーザの両瞼、眼球、顎等の動きと、頭部の動きの任意の組み合わせ）を記録しておき、ユーザがトリガアクションを使い分けることで、その直後に行われる脳波信号の読み取りが、該当する脳波アプリケーションに限定して行われる。そのため、脳波入力によるユーザインタフェースの利便性と精度を向上させることができる。
　例えば、トリガアクションを「閉眼」とし、脳波アプリケーションを「脳波個人認証アプリケーション」とした場合、ユーザの閉眼時に発生する頭部筋電をトリガにして、閉眼を行う動作からアーチファクトの少ない脳波測定へと自然に移行することができる。特に、この流れであると、ユーザにとって、安静状態と動作が一連の流れとして無理なく行うことができる。
　すなわち、本技術では、ユーザから測定される脳波信号よりも電位差の変動幅の大きい生体信号である筋電信号に（脳波以外の情報）基づき、ユーザの動作が検出され、当該ユーザの動作が所定の動作である場合に、ユーザから測定される脳波信号に基づく所定の処理が行われる。そのため、より利便性の高い脳波入力ユーザインタフェースを提供することができる。また、自然で万人に理解しやすいユーザインタフェースを持った脳波個人認証等の脳波に関する処理を実現可能である。なお、アーチファクトとは、いわば、脳波信号や筋電信号などの生体信号を測定する際のノイズである。
　また、一般的に、トリガアクションに用いられる頭部の筋電信号は、脳波信号に比べて大きく、特徴的である。そのため、測定装置２０において、通常時は、トリガアクション測定モードで動作して、筋電信号の読み取り時における時間解像度と信号増幅器の増幅率を、脳波測定モードにおける脳波信号の読み取り時と比べて低く設定することで、低消費電力に貢献することができる。
＜２．第２の実施の形態＞
　生体個人認証は、個人の身体的な特徴や、行動的な特徴に関する情報を、個人認証の鍵として用いて行う個人認証である。通常、この種の個人認証では、まず、登録時に、ユーザの生体情報を元に、鍵情報の登録を行い、その後、認証時に、ユーザの生体情報を取得して、元々登録してある生体認証とのマッチングを行い、一定以上の相関がある場合に、認証の許可を出すプロセスを行う。
　聴覚や視覚等の特定の刺激に対する特有の脳波を、事象関連電位といい、様々な研究が進められている。事象関連電位として、N170，MMN，P300，N400などが知られているのは先に述べた通りである。
　また、これら事象関連電位の波形や、これに加えてユーザ特有の反応成分を合わせて検出することにより、認証を行うことができる。例えば、ユーザに対して刺激を与えるための音や映像を誘発メディアとした場合に、特定の誘発メディアに対して、ユーザ個人は特徴的でユニークな反応脳波を出すので、過去の反応脳波とのマッチングを行うことで、個人を認証する脳波個人認証がある。
　事象関連電位を用いた個人認証技術としては、各種の技術が提案されている。しかしながら、現状の技術では、初回に行った事象関連電位での脳波の登録結果に基づき、個人認証を行うため、誘発メディアと反応脳波の情報が、ハッキングなどにより外部に漏れた場合には、なりすましが行われるリスクが残っていた。
　そこで、本技術では、誘発メディアを、ランダム性を持って、予測不能な内容で発生させて、上述の認証と登録のプロセスをサービス内に親和性のある形で継続的に行うことで、誘発メディアを変更しながらセキュリティを高めるようにして、鍵などの秘匿情報の漏洩によるなりすましのリスク低減を図るようにする。以下、図面を参照しながら、第２の実施の形態について説明する。
（第１の例）
　図２６，図２７は、聴覚誘発を利用した脳波個人認証の認証登録例を示している。
　図２６，図２７において、ユーザは、耳に、スマートフォン等の携帯端末１１Ａと無線又は有線で接続されたイヤホン２１Ａを装着している。イヤホン２１Ａには、複数の電極が設けられ、ユーザの頭部から脳波信号を測定可能である。
　詳細は後述するが、fNIRS(functional Near-Infrared Spectroscopy)と呼ばれる、近赤外光を用いて頭皮上から非侵襲的に脳機能をマッピングする光機能画像法の原理を応用した測定方法により測定されたfNIRS信号を測定してもよい。すなわち、脳波情報としての脳波信号のほかに、fNIRSなどの脳血流を測る測定方法を用いて測定された脳血流情報を用いても構わない。脳血流の測定方法としては、例えばNIRSやMRIがあり、fNIRSはNIRSに含まれ、fMRIはMRIに含まれる。以下の説明では、脳血流の測定方法の一例として、fNIRSを使った場合を説明する。
　図２６は、Ｎ回目（Ｎ：１以上の整数）の脳波個人認証の認証登録例を示している。
　イヤホン２１Ａから誘発音が出力され、この誘発音による聴覚誘発にユーザが反応すると、その反応に応じた脳波信号が測定される（Ｓ２１１）。
　このとき、誘発音は、前半と後半で異なる音が出力される。すなわち、誘発音は、登録済みの音と新規の音との組み合わせで、毎回異なる組み合わせの音が再生される。
　前半の誘発音ＴＳ１１は、前回（Ｎ－１回目）に脳波信号が登録されている誘発音であり、この誘発音に対するユーザの反応に応じた脳波信号を利用して今回（Ｎ回目）の認証を行う。後半の誘発音ＴＳ１２は、新規にランダムに生成される誘発音であり、この誘発音に対するユーザの反応に応じた脳波信号を、次回（Ｎ＋１回目）の認証に用いるために登録する。なお、誘発音ＴＳ１２は、新規にランダムに生成される誘発音に限らず、あらかじめ生成された誘発音をランダムに選択して再生してもよい。
　この例では、誘発音ＴＳ１１に応じた波形Ｗ１１１を含む認証用の脳波信号と、誘発音ＴＳ１２に応じた波形Ｗ１１２を含む登録用の脳波信号がそれぞれ測定され、認証プロセスと登録プロセスが開始される。
　認証プロセスでは、認証用の脳波信号（入力脳波信号）の波形Ｗ１１１が、前回の登録プロセスで記録されている脳波信号（登録脳波信号）の波形と所定の閾値の範囲内の類似度を有するかのマッチングを行い、マッチした脳波信号が存在する場合に、正当なユーザであると認証する。登録プロセスでは、波形Ｗ１１２を含む登録用の脳波信号が、次回の認証プロセスで用いるために記録される。
　誘発音による認証が完了すると、ユーザに対し、イヤホン２１Ａから、認証が完了したことを示す音（認証クリア音）などが出力される（Ｓ２１２）。
　図２７は、Ｎ＋１回目の脳波個人認証の認証登録例を示している。
　イヤホン２１Ａから誘発音が出力され、この聴覚誘発にユーザが反応すると、その反応に応じた脳波信号が測定されるが、Ｎ＋１回目の誘発音は、上述したＮ回目の誘発音の組み合わせとは異なっている（Ｓ２１３）。
　すなわち、前半の誘発音ＴＳ１２は、前回（Ｎ回目）に脳波信号が登録されている誘発音であり、この誘発音に対するユーザの反応に応じた脳波信号を利用して今回（Ｎ＋１回目）の認証を行う。後半の誘発音ＴＳ１３は、新規にランダムに生成される誘発音であり、この誘発音に対するユーザの反応に応じた脳波信号を、次回（Ｎ＋２回目）の認証に用いるために登録する。
　この例では、誘発音ＴＳ１２に応じた波形Ｗ１１２を含む認証用の脳波信号と、誘発音ＴＳ１３に応じた波形Ｗ１１３を含む登録用の脳波信号がそれぞれ測定され、認証プロセスと登録プロセスが開始される。
　認証プロセスでは、認証用の脳波信号（入力脳波信号）の波形Ｗ１１２が、前回の登録プロセスで記録された脳波信号（登録脳波信号）の波形と所定の閾値の範囲内の類似度を有するかのマッチングを行い、マッチした脳波信号が存在する場合に、正当なユーザであると認証する。登録プロセスでは、波形Ｗ１１３を含む登録用の脳波信号が、次回の認証プロセスで用いるために記録される。
　誘発音による認証が完了すると、ユーザに対し、イヤホン２１Ａから、認証が完了したことを示す音（認証クリア音）などが出力される（Ｓ２１４）。
　このように、前回（Ｎ－１回目）の認証時に登録した登録脳波信号と、今回（Ｎ回目）の認証時に測定した入力脳波信号を用いた認証を行い、さらに、今回（Ｎ回目）の認証時に登録する登録脳波信号と、次回（Ｎ＋１回目）の認証時に測定される入力脳波信号を用いた認証を行うなど、誘発音の組み合わせを変更しながら、継続的に、誘発音による聴覚誘発の反応に応じた脳波信号を用いた認証を行うことで、よりセキュリティを高めた認証を行うことができる。
（第２の例）
　図２８，図２９は、視覚誘発を利用した脳波個人認証の認証登録例を示している。
　図２８，図２９において、ユーザは、頭部に、ゲーム機等の端末装置１１と無線又は有線で接続されたHMD２１Ｂを装着している。HMD２１Ｂには、複数の電極が設けられ、ユーザの頭部から脳波信号を測定可能である。なお、脳波信号の代わりに、fNIRS信号を測定してもよい。
　図２８は、Ｎ回目の脳波個人認証の認証登録例を示している。
　HMD２１Ｂのディスプレイに誘発映像が表示され、この誘発映像による視覚誘発にユーザが反応すると、その反応に応じた脳波信号が測定される（Ｓ２２１）。
　このとき、誘発映像は、前半と後半で異なる映像が表示される。すなわち、誘発映像は、登録済みの映像と新規の映像との組み合わせで、毎回異なる組み合わせの映像が再生される。
　前半の誘発映像ＴＩ２１は、前回（Ｎ－１回目）に脳波信号が登録されている誘発映像であり、この誘発映像に対するユーザの反応に応じた脳波信号を利用して今回（Ｎ回目）の認証を行う。後半の誘発映像ＴＩ２２は、新規にランダムに生成される誘発映像であり、この誘発映像に対するユーザの反応に応じた脳波信号を、次回（Ｎ＋１回目）の認証に用いるために登録する。
　この例では、誘発映像ＴＩ２１に応じた波形Ｗ１２１を含む認証用の脳波信号と、誘発映像ＴＩ２２に応じた波形Ｗ１２２を含む登録用の脳波信号がそれぞれ測定され、認証プロセスと登録プロセスが開始される。
　認証プロセスでは、認証用の脳波信号（入力脳波信号）の波形Ｗ１２１が、前回の認証プロセスで記録されている脳波信号（登録脳波信号）の波形と所定の閾値の範囲内の類似度を有するかのマッチングを行い、マッチした脳波信号が存在する場合に、正当なユーザであると認証する。登録プロセスでは、波形Ｗ１２２を含む登録用の脳波信号が、次回の認証プロセスで用いるために記録される。
　誘発映像による認証が完了すると、ユーザに対し、HMD２１Ｂのディスプレイに、認証が完了したことを示す映像（認証クリア映像）などが表示される（Ｓ２２２）。
　図２９は、Ｎ＋１回目の脳波個人認証の認証登録例を示している。
　HMD２１Ｂのディスプレイに誘発映像が表示され、この視覚誘発にユーザが反応すると、その反応に応じた脳波信号が測定されるが、Ｎ＋１回目の誘発映像は、上述したＮ回目の誘発映像の組み合わせとは異なっている（Ｓ２２３）。
　すなわち、前半の誘発映像ＴＩ２２は、前回（Ｎ回目）に脳波信号が登録されている誘発映像であり、この誘発映像に対するユーザの反応に応じた脳波信号を利用して今回（Ｎ＋１回目）の認証を行う。後半の誘発映像ＴＩ２３は、新規にランダムに生成される誘発映像であり、この誘発映像に対するユーザの反応に応じた脳波信号を、次回（Ｎ＋２回目）の認証に用いるために登録する。
　この例では、誘発映像ＴＩ２２に応じた波形Ｗ１２２を含む認証用の脳波信号と、誘発映像ＴＩ２３に応じた波形Ｗ１２３を含む登録用の脳波信号がそれぞれ測定され、認証プロセスと登録プロセスが開始される。
　認証プロセスでは、認証用の脳波信号（入力脳波信号）の波形Ｗ１２２が、前回の登録プロセスで記録された脳波信号（登録脳波信号）の波形と所定の閾値の範囲内の類似度を有するかのマッチングを行い、マッチした脳波信号が存在する場合に、正当なユーザであると認証する。登録プロセスでは、波形Ｗ１２３を含む登録用の脳波信号が、次回の認証プロセスで用いるために記録される。
　誘発映像による認証が完了すると、ユーザに対し、ユーザに対し、HMD２１Ｂのディスプレイに、認証が完了したことを示す映像（認証クリア映像）などが表示される（Ｓ２２４）。
　このように、前回（Ｎ－１回目）の認証時に登録した登録脳波信号と、今回（Ｎ回目）の認証時に測定した入力脳波信号を用いた認証を行い、さらに、今回（Ｎ回目）の認証時に登録する登録脳波信号と、次回（Ｎ＋１回目）の認証時に測定される入力脳波信号を用いた認証を行うなど、誘発映像の組み合わせを変更しながら、継続的に、誘発映像による視覚誘発の反応に応じた脳波信号を用いた認証を行うことで、よりセキュリティを高めた認証を行うことができる。
　なお、図２６，図２７と、図２８，図２９の説明では、脳波信号を用いた例を説明したが、上述したように、fNIRS信号を用いてもよく、その場合には、上述した説明の「脳波信号」を、「fNIRS信号」に読み替えればよい。脳波信号とfNIRS信号は、脳情報の一例である。また、脳波個人認証は、脳波アプリケーションごとに処理を行うことができる。
（コンテンツの適用例）
　音楽配信サービスやゲームなどで提供されるコンテンツ内に、誘発音や誘発映像等の誘発メディアを挿入することで、継続的な個人認証と登録を行うことができる。
　図３０は、音楽配信サービスで配信される音楽コンテンツの適用例を示している。図３０では、スマートフォンや携帯音楽プレイヤ等の携帯端末１１Ａのディスプレイに表示される音楽アプリケーションの画面が時系列に示されている。
　図３０において、携帯端末１１Ａで再生された音楽コンテンツを、イヤホン２１Ａを装着したユーザが聴いている場合に、楽曲と楽曲の間や、ユーザの操作に応じた操作音などに誘発音を含めることで、その聴覚誘発によるユーザの反応に応じた脳波信号を用いた認証を行うことができる。さらに、音楽コンテンツの選択時や購入時、ダウンロード時などに誘発音が挿入されてもよい。
　この例では、曲間に再生されるＮ回目の誘発音の組み合わせとして、前半の誘発音ＴＳ３１は、前回（Ｎ－１回目）に登録された誘発音であり、この誘発音の反応に応じた脳波信号を利用して今回（Ｎ回目）の認証を行う。後半の誘発音ＴＳ３２は、新規に生成される誘発音であり、この誘発音の反応に応じた脳波信号を、次回（Ｎ＋１回目）の認証に用いるために登録する。
　その後、ユーザの操作に応じた操作音に含まれるＮ＋１回目の誘発音の組み合わせとして、前半の誘発音ＴＳ３２は、前回（Ｎ回目）に登録されている誘発音であり、この誘発音の反応に応じた脳波信号を利用して今回（Ｎ＋１回目）の認証を行う。後半の誘発音ＴＳ３３は、新規に生成される誘発音であり、この誘発音の反応に応じた脳波信号を、次回（Ｎ＋２回目）の認証に用いるために登録する。
　このように、音楽コンテンツを再生中に、当該音楽コンテンツに溶け込む違和感のない表現で誘発音が再生されるため、ユーザが意識することなく、継続的な個人認証と認証脳波の登録を行うことができる。これにより、例えば、音楽配信サービスの提供者側からすれば、音楽コンテンツを視聴しているユーザに対する認証を適宜行うことができる。
　図３１は、ゲームコンテンツの適用例を示している。図３１では、HMD２１Ｂのディスプレイに表示されるゲーム画面が時系列に示されている。
　図３１において、HMD２１Ｂのディスプレイに表示されたゲームコンテンツを、HMD２１Ｂを頭部に装着したユーザが見ている場合に、ゲーム画面のシーンの切り替え中の画面や、データ読み込み時等におけるローディング中の画面に誘発映像を含めることで、その視覚誘発によるユーザの反応に応じた脳波信号を用いた認証を行うことができる。
　この例では、あるローディング中の画面に含まれるＮ回目の誘発映像の組み合わせとして、前半の誘発映像ＴＩ４１は、前回（Ｎ－１回目）に登録された誘発映像であり、この誘発映像の反応に応じた脳波信号を利用して今回（Ｎ回目）の認証を行う。後半の誘発映像ＴＩ４２は、新規に生成される誘発映像であり、この誘発映像の反応に応じた脳波信号を、次回（Ｎ＋１回目）の認証に用いるために登録する。
　その後、次以降のローディング中の画面に含まれるＮ＋１回目の誘発映像の組み合わせとして、前半の誘発映像ＴＩ４２は、前回（Ｎ回目）に登録された誘発映像であり、この誘発映像の反応に応じた脳波信号を利用して今回（Ｎ＋１回目）の認証を行う。後半の誘発映像ＴＩ４３は、新規に生成される誘発映像であり、この誘発映像の反応に応じた脳波信号を、次回（Ｎ＋２回目）の認証に用いるために登録する。
　このように、ゲームコンテンツのプレイ中に、当該ゲームコンテンツに溶け込む違和感のない表現で誘発映像が表示されるため、ユーザが意識することなく、継続的な個人認証と認証脳波の登録を行うことができる。これにより、例えば、ゲームコンテンツの提供者側からすれば、ゲームコンテンツをプレイしているユーザに対する認証を適宜行うことができる。
　ゲームコンテンツや、オンラインサービスなどで提示される画面では、ローディング画面やユーザ選択画面などが、コンテンツ内にあることが多い。これらの画面の機能表示や選択肢の背景として、誘発映像等の誘発メディアを再生することで、ユーザが意識することなく、脳波個人認証と登録のプロセスを行うことができる。このような画面の適用例を、図３２乃至図３４に示している。
　図３２は、ローディング画面の適用例を示している。図３２においては、ゲームコンテンツや、オンラインサービスで、ローディング画面が表示される際に、誘発映像ＴＩ５１を含めて表示する例を示している。この例では、ローディングの進行状況を示す文字とプログレスバーの背景として、誘発映像ＴＩ５１が表示されている。
　図３３は、ユーザ選択画面の適用例を示している。図３３においては、ゲームコンテンツや、オンラインサービスで、ユーザ選択画面が表示される際に、誘発映像ＴＩ６１を含めて表示する例を示している。この例では、３人のユーザに対応した選択可能なアイコンの背景として、誘発映像ＴＩ６１が表示されている。
　図３４は、ユーザ選択画面の適用例を示している。図３４においては、ゲームコンテンツで、ユーザ選択画面が表示される際に、誘発映像ＴＩ７１に含めて表示する例を示している。この例では、３人のユーザに対応した選択可能なキャラクタの背景として、誘発映像ＴＩ７１が表示されている。
　なお、上述した説明では、ゲームコンテンツを実行する機器として、HMD２１Ｂを例示したが、ゲーム機に接続されたテレビ受像機の画面や、携帯型ゲーム機の画面、ディスプレイ装置の画面に、誘発映像が表示されても構わない。ゲームコンテンツとしては、２Ｄコンテンツや３Ｄコンテンツのほか、例えば、VR(Virtual Reality)コンテンツ、AR(Augmented Reality)コンテンツなど、様々なコンテンツを含めることができる。
　以上のように、誘発メディアは、その再生に応じて、ユーザの脳情報を誘発して測定するための情報である。誘発メディアは、誘発音又は誘発映像などを含み、例えば、コンテンツ配信サービス（音楽配信サービス、インターネットラジオ、ポッドキャスト、ゲーム配信サービスなど）により配信される配信コンテンツ（音楽コンテンツやゲームコンテンツなど）にとともに提供される。
　この提供方法としては、誘発音又は誘発映像のデータを、配信コンテンツを構成する１つの種類のコンテンツのデータとして配信（他の種類は、音楽コンテンツやゲームコンテンツのデータなどを配信）したり、あるいは、配信コンテンツを構成する再生コンテンツのデータに対して挿入（楽曲と楽曲の間や、ユーザの操作に応じた操作音などに挿入）したりすることができる。ただし、前者の１つの種類のコンテンツのデータとして提供する場合には、携帯端末１１ＡやHMD２１Ｂ等の機器側で誘発音又は誘発映像のデータを生成しても構わない。あるいは、誘発音又は誘発映像のデータは、配信コンテンツを構成する再生コンテンツのデータを加工して追加（例えば、楽曲の曲始めや曲終わり、ゲームのプレイ中の映像や音楽に重畳的に追加）されるようにしても構わない。
（システム構成）
　図３５は、本技術を適用した脳情報システムの構成例を示している。
　脳情報システムは、ユーザの頭部から測定した脳波信号を利用して、各種のサービスを提供可能なシステムである。図３５において、脳情報システムは、端末装置１１と測定装置２１から構成されるが、図１３の構成例と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　端末装置１１は、上述したスマートフォンや携帯音楽プレイヤ等の携帯端末１１Ａなどの電子機器である。端末装置１１は、図１３の端末装置１０と同様に、制御部１０１、及び通信部１０２を有する。
　測定装置２１は、上述したイヤホン２１Ａ、HMD２１Ｂなどの電子機器である。測定装置２１は、図１３の測定装置２０と同様に、電極２０１－１乃至２０１－ｎ、基準電極２０２、センサ部２０３、音出力部２０４、表示部２０５、入力信号処理部２０６、信号記録部２０７、通信部２０８、出力処理部２０９、及び電池２１０を有する。
　入力信号処理部２０６は、電極２０１－１乃至２０１－ｎと基準電極２０２からの生体信号を処理して、脳波信号を読み取り、所定の信号処理を行う。
（他の構成例）
　図３６は、本技術を適用した脳情報システムの他の構成例を示している。
　図３６において、認証システムは、端末装置１１と測定装置２２から構成されるが、図３５の構成例と同一の部分には同一の符号を付してあり、その説明は繰り返しになるので省略する。
　図３６において、測定装置２２は、イヤホンやHMDなどの電子機器である。測定装置２２は、図３５の測定装置２１と比べて、電極２０１－１乃至２０１－ｎ、基準電極２０２、及び入力信号処理部２０６の代わりに、fNIRSセンサ２５１－１乃至２５１－ｍ（ｍ：１以上の整数）、及びfNIRS信号処理部２５２を有する。
　fNIRSセンサ２５１－１乃至２５１－ｍは、ユーザの頭部や耳部等の部位にそれぞれ取り付けられる。fNIRSセンサ２５１－１乃至２５１－ｍのそれぞれ測定されたfNIRS信号は、fNIRS信号処理部２５２に供給される。fNIRS信号処理部２５２は、fNIRSセンサ２５１－１乃至２５１－ｍからのfNIRS信号に対し、所定の信号処理を行う。
　図３７は、fNIRSセンサ２５１の構成例を示している。図３７において、fNIRSセンサ２５１は、送光部２６１、及び受光部２６２を有する。
　送光部２６１と受光部２６２は、ユーザの頭皮に密着するように装着され、送光部２６１により照射される近赤外光が、肌組織を透過して受光部２６２により受光される。このようにして近赤外光を用いて頭皮上から非侵襲的に脳機能をマッピングする光機能画像法の原理を応用した測定方法を用いることで、fNIRS信号が測定される。
（fNIRSセンサの配置例）
　図３８は、イヤホン２２Ａに設けられたfNIRSセンサ２５１の配置例を示している。
　図３８に示すように、ユーザの耳部と接触する側の面には、fNIRSセンサ２５１－１乃至fNIRSセンサ２５１－４の４つのセンサが、音を出力する部分を中心にして同一の円周上に略等間隔に配置されており、fNIRS信号を測定可能となっている。
　図３９は、HMD２２Ｂに設けられたfNIRSセンサ２５１の配置例を示している。
　図３９に示すように、HMD２２Ｂにおいて、ユーザの前頭部と接触する側の面には、fNIRSセンサ２５１－２乃至fNIRSセンサ２５１－９の８つのセンサが一直線状に略等間隔に配置され、そこから外れた後頭部側の所定の位置にfNIRSセンサ２５１－１が配置されており、fNIRS信号を測定可能となっている。
　なお、図１５の斜視図では、fNIRSセンサ２５１－１乃至fNIRSセンサ２５１－９のうち、fNIRSセンサ２５１－７乃至fNIRSセンサ２５１－９の３つのセンサは死角になっているため、図示していない。また、説明の都合上、fNIRSセンサ２５１を、HMD２２Ｂの外観に現れるように図示しているが、実際には、ユーザの前頭部と接触する側の面、すなわち、図３９の斜視図では見えない位置に設けられる。
（テーブルの構成例）
　図４０は、図３５又は図３６の信号記録部２０７に記録されるテーブルの構成例を示している。
　信号記録部２０７は、CBPAテーブル２３４を記録している。CBPAテーブル２３４は、誘発音や誘発映像等の誘発メディアと、脳波情報（脳波信号）や脳血流情報（fNIRS信号等）等の脳情報などのデータとからなる登録情報が、時系列で記録されるテーブルである。CBPA(Continuous Brainwave Personal Authentication)とは、継続的に使用することで、誘発メディアを変更しながら、セキュリティを高める脳波個人認証を意味している。
　図４１に示すように、CBPAテーブル２３４では、誘発音#1と脳波信号#31を含む登録情報、誘発音#2と脳波信号#32を含む登録情報、誘発音#3と脳波信号#33を含む登録情報、誘発音#4と脳波信号#34を含む登録情報、誘発音#5と脳波信号#35を含む登録情報、誘発音#6と脳波信号#36を含む登録情報などが時系列で記録されている。認証プロセスでは、CBPAテーブル２３４から、前回登録されている誘発音とその反応脳波信号が読み出されて認証が行われる。登録プロセスでは、新規に生成された誘発音とその反応脳波信号が、CBPAテーブル２３４に新たに登録される。
　なお、説明が繰り返しになるので、省略しているが、図３５又は図３６に示した脳情報システムは、上述した図２０乃至図２２に示した脳波システムと同様に、サーバ３０を設けた構成や、端末装置１０を省いた構成など、様々な構成を採用してもよい。
（処理の流れ）
　次に、図４２，図４３のフローチャートを参照して、脳波個人認証の認証登録処理を説明する。
　この認証登録処理では、端末装置１１又は測定装置２１で実行されるCBPA実装アプリケーションから認証プロセス開始のコマンドを受け付けるのを待って（Ｓ３１１の「Yes」）、処理は、ステップＳ３１２に進められる。
　ステップＳ３１２において、入力信号処理部２０６は、信号記録部２０７のCBPAテーブル２３４を参照して、CBPA実装アプリケーションの個人認証のための登録脳波信号が存在していないかどうかを判定する。
　ステップＳ３１２の判定処理で、登録脳波信号が存在していない、すなわち、初回確認により初回であることが認識されたとき、処理は、ステップＳ３１３に進められる。ステップＳ３１３において、出力処理部２０９は、新規の登録用誘発メディアを再生し、音出力部２０４又は表示部２０５から出力する。
　ステップＳ３１４において、入力信号処理部２０６は、電極２０１と基準電極２０２からの生体信号を処理して、誘発メディアによる反応に応じた脳波信号が読み取れたかどうかを判定する。
　ステップＳ３１４の判定処理で、反応脳波信号が読み取れていないと判定された場合、処理は、ステップＳ３１５に進められる。ステップＳ３１５では、端末装置１１又は測定装置２１により実行されるCBPA実装アプリケーションに対し、エラーが通知される。
　なお、CBPA実装アプリケーションによりリトライが定義されていた場合には、処理は、ステップＳ３１３に戻り、それ以降の処理が繰り返され、新規の登録用誘発メディアに応じた反応脳波信号の読み取りがリトライされる。
　一方で、ステップＳ３１４の判定処理で、反応脳波信号が読み取れたと判定された場合、処理は、ステップＳ３１６に進められる。ステップＳ３１６において、入力信号処理部２０６は、信号記録部２０７のCBPAテーブル２３４に、誘発メディア、反応脳波信号、及び時刻に関する情報を記録する。
　ステップＳ３１６の処理が完了すると、処理は、ステップＳ３１７に進められる。また、ステップＳ３１２の判定処理で、登録脳波信号が存在していると判定された場合、処理は、ステップＳ３１７に進められる。
　ステップＳ３１７において、出力処理部２０９は、前回登録された誘発メディアを再生し、音出力部２０４又は表示部２０５から出力する。
　ステップＳ３１８において、入力信号処理部２０６は、電極２０１と基準電極２０２からの生体信号を処理して、誘発メディアによる反応に応じた脳波信号が読み取れたかどうかを判定する。
　ステップＳ３１８の判定処理で、反応脳波信号が読み取れていないと判定された場合、処理は、ステップＳ３１９に進められる。ステップＳ３１９では、端末装置１１又は測定装置２１により実行されるCBPA実装アプリケーションに対し、エラーが通知される。
　なお、CBPA実装アプリケーションによりリトライが定義されていた場合には、処理は、ステップＳ３１７に戻り、それ以降の処理が繰り返され、前回登録された誘発メディアに応じた反応脳波信号の読み取りがリトライされる。
　一方で、ステップＳ３１８の判定処理で、反応脳波信号が読み取れたと判定された場合、処理は、図４２のステップＳ３２０に進められる。
　ステップＳ３２０において、入力信号処理部２０６は、ステップＳ３１８の処理で読み取られた入力脳波信号と、信号記録部２０７のCBPAテーブル２３４に記録されている登録脳波信号とのマッチングを行う。また、ステップＳ３２１において、入力信号処理部２０６は、マッチした脳波信号の類似度を算出する。
　ステップＳ３２２において、入力信号処理部２０６は、算出した類似度が所定の閾値の範囲内かどうかを判定する。
　ステップＳ３２２の判定処理で、類似度が所定の閾値の範囲外であると判定された場合、処理は、ステップＳ３２３に進められる。ステップＳ３２３では、端末装置１１又は測定装置２１により実行されるCBPA実装アプリケーションに対してエラーが通知され、認証登録処理は終了される。
　また、ステップＳ３２２の判定処理で、類似度が所定の閾値の範囲内であると判定された場合、処理は、ステップＳ３２４に進められる。ステップＳ３２４において、出力処理部２０９は、新規の登録用誘発メディアを再生し、音出力部２０４又は表示部２０５から出力する。
　ステップＳ３２５において、入力信号処理部２０６は、電極２０１と基準電極２０２からの生体信号を処理して、誘発メディアによる反応に応じた脳波信号が読み取れたかどうかを判定する。
　ステップＳ３２５の判定処理で、反応脳波信号が読み取れていないと判定された場合、処理は、ステップＳ３２６に進められる。ステップＳ３２６では、端末装置１１又は測定装置２１により実行されるCBPA実装アプリケーションに対し、エラーが通知される。
　なお、CBPA実装アプリケーションによりリトライが定義されていた場合には、処理は、ステップＳ３２４に戻り、それ以降の処理が繰り返され、新規の登録用誘発メディアに応じた反応脳波信号の読み取りがリトライされる。
　一方で、ステップＳ３２５の判定処理で、反応脳波信号が読み取れたと判定された場合、処理は、ステップＳ３２７に進められる。ステップＳ３２７において、入力信号処理部２０６は、信号記録部２０７のCBPAテーブル２３４に、誘発メディア、反応脳波信号、及び時刻に関する情報を記録する。
　ステップＳ３２７の処理が完了すると、処理は、ステップＳ３２８に進められる。ステップＳ３２８では、動作を終了するかどうかが判定され、動作を終了しないと判定された場合、処理は、図４２のステップＳ３１１に戻り、それ以降の処理が繰り返される。また、動作を終了すると判定された場合、認証登録処理は終了する。
　以上のように、測定装置２１又は測定装置２２では、継続的に使用することで、聴覚誘発や視覚誘発等の誘発メディアを変更しながら、再生した誘発メディアに対するユーザの反応に応じた脳波信号やfNIRS信号等の脳情報を用いて、認証と登録を繰り返すことで、セキュリティを高めるようにしている。
　すなわち、本技術では、第１の誘発メディアの再生に応じて測定されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、ユーザを認証する第１の認証処理の制御と、第２の誘発メディアの再生に応じて測定されたユーザの第２の脳情報に基づいて、ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理の制御とが行われる。そのため、誘発メディアを変更しながら、認証処理と登録処理が繰り返されるため、誘発メディアや脳情報がハッキングなどにより外部に漏れる可能性を抑制し、脳情報を用いてより安全性の高い認証を行うことができる。
　なお、上述した説明では、誘発メディアとして、聴覚誘発としての誘発音と、視覚誘発としての誘発映像を例示したが、触覚誘発としての誘発振動や、嗅覚誘発などを用いても構わない。また、各回の認証においては、第１の誘発メディアと第２の誘発メディアとの組み合わせで再生が行われ、各回の認証で再生される第１の誘発メディアと第２の誘発メディアとの組み合わせは異なる。例えば、第１の誘発メディア（認証用）と第２の誘発メディア（登録用）の再生順は、第１の誘発メディア、第２の誘発メディアの順に限らず、第２の誘発メディア、第１の誘発メディアの順であってもよく、あるいは、一定の順番を継続するだけでなく、その都度順番を変更しても構わない。
＜３．コンピュータの構成＞
　上述した端末装置１０、測定装置２０、及びサーバ３０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　図４４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、ROM１００２や記憶部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下のような構成をとることができる。
（１）
　第１の誘発メディアの再生に応じて測定されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、前記ユーザを認証する第１の認証処理の制御と、
　前記第１の誘発メディアとは異なる第２の誘発メディアの再生に応じて測定された前記ユーザの第２の脳情報に基づいて、前記ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理の制御と、
　を行う処理部を備える
　制御装置。
（２）
　前記第１の認証処理は、Ｎ回目の認証で行われ、
　前記第２の認証処理は、Ｎ＋１回目の認証で行われ、
　前記第１の登録情報は、Ｎ－１回目の認証で行われる前記登録処理で登録され、
　前記第２の登録情報は、Ｎ回目の認証で行われる前記登録処理で登録される
　前記（１）に記載の制御装置。
（３）
　各回の認証において、前記第１の誘発メディアと前記第２の誘発メディアとの組み合わせで再生が行われ、
　各回の認証で再生される前記第１の誘発メディアと前記第２の誘発メディアとの組み合わせは異なる
　前記（２）に記載の制御装置。
（４）
　Ｎ－１回目の認証で再生される前記第２の誘発メディアは、Ｎ回目の認証で再生される前記第１の誘発メディアとなり、
　Ｎ回目の認証で再生される前記第２の誘発メディアは、Ｎ＋１回目の認証で再生される前記第１の誘発メディアとなる
　前記（２）又は（３）に記載の制御装置。
（５）
　各回の認証で行われる認証処理と登録処理は、継続的に繰り返される
　前記（１）乃至（４）のいずれかに記載の制御装置。
（６）
　前記第１の脳情報と前記第２の脳情報は、脳波情報又は脳血流情報を含む
　前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
　前記第１の誘発メディアと前記第２の誘発メディアは、誘発音又は誘発映像を含む
　前記（６）に記載の制御装置。
（８）
　前記誘発音又は前記誘発映像は、コンテンツ配信サービスにより配信される配信コンテンツとともに提供される
　前記（７）に記載の制御装置。
（９）
　前記誘発音又は前記誘発映像のデータは、前記配信コンテンツを構成する１つの種類のコンテンツのデータとして配信又は生成される
　前記（８）に記載の制御装置。
（１０）
　前記誘発音又は前記誘発映像のデータは、前記配信コンテンツを構成する再生コンテンツのデータに対して挿入される
　前記（８）に記載の制御装置。
（１１）
　前記誘発音又は前記誘発映像のデータは、前記配信コンテンツを構成する再生コンテンツのデータを加工して追加される
　前記（６）に記載の制御装置。
（１２）
　前記処理部は、前記第２の誘発メディアに関する情報と、前記第２の脳情報に関する情報を対応付けて、前記第２の登録情報として登録する登録処理を制御する
　前記（１）乃至（１１）のいずれかに記載の制御装置。
（１３）
　前記処理部は、前記第１の登録情報と前記第２の登録情報を、時系列で管理する
　前記（１２）に記載の制御装置。
（１４）
　前記第２の誘発メディアは、新規にランダムに生成されるか、又はあらかじめ生成されてランダムに選択される
　前記（１）乃至（１３）のいずれかに記載の制御装置。
（１５）
　前記処理部は、
　　Ｎ－１回目の認証で登録された前記第１の登録情報から得られる前記第１の脳情報と、Ｎ回目の認証で測定した前記第１の脳情報とのマッチング処理を行い、
　　当該マッチング処理の結果に基づいて、前記ユーザを認証する
　前記（１）乃至（１４）のいずれかに記載の制御装置。
（１６）
　前記脳波情報は、前記ユーザの頭部に接触するように設けられた電極からの信号を測定することで得られる
　前記（６）に記載の制御装置。
（１７）
　前記脳血流情報は、前記ユーザの頭部に接触するように設けられたfNIRSセンサからの信号を測定することで得られる
　前記（６）に記載の制御装置。
（１８）
　前記第１の脳情報と前記第２の脳情報を測定する測定装置、前記測定装置と有線又は無線で接続される端末装置、又は前記測定装置とネットワークを介して接続されるサーバとして構成される
　前記（１）乃至（１７）のいずれかに記載の制御装置。
（１９）
　制御装置が、
　第１の誘発メディアの再生に応じて測定されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、前記ユーザを認証する第１の認証処理の制御と、
　前記第１の誘発メディアとは異なる第２の誘発メディアの再生に応じて測定された前記ユーザの第２の脳情報に基づいて、前記ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理の制御と、
　を行う制御方法。
　１０，１１　端末装置，　１０Ａ，１１Ａ　携帯端末，　２０，２１，２２　測定装置，　２０Ａ，２１Ａ　イヤホン，　２０Ｂ，２１Ｂ　HMD，　３０　サーバ，　４０　ネットワーク，　１０１　制御部，　１０２　通信部，　１０３　入力信号処理部，　１０４　信号記録部，　１０５　出力処理部，　１０６　音出力部，　１０７　表示部，　２０１，２０１－１乃至２０１－ｎ　電極，　２０２　基準電極，　２０３　センサ部，　２０４　音出力部，　２０５　表示部，　２０６　入力信号処理部，　２０７　信号記録部，　２０８　通信部，　２０９　出力処理部，　２１０　電池，　２１１　制御部，　２２１　加速度センサ，　２２２　ジャイロセンサ，　２３１　トリガアクション信号記録テーブル，　２３２　トリガアクション別脳波アプリケーションテーブル，　２３３　脳波信号記録テーブル，　２３４　CBPAテーブル，　２５１，２５１－１乃至２５１－ｍ　fNIRSセンサ，　２５２　fNIRS信号処理部，　２６１　送光部，　２６２　受光部，　３０１　制御部，　３０２　通信部，　３０３　入力信号処理部，　３０４　信号記録部，　３０５　出力処理部，　１００１　CPU

Claims (19)

  1. 　第１の誘発メディアの再生に応じて測定されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、前記ユーザを認証する第１の認証処理の制御と、
    　前記第１の誘発メディアとは異なる第２の誘発メディアの再生に応じて測定された前記ユーザの第２の脳情報に基づいて、前記ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理の制御と、
    　を行う処理部を備える
    　制御装置。
  2. 　前記第１の認証処理は、Ｎ回目の認証で行われ、
    　前記第２の認証処理は、Ｎ＋１回目の認証で行われ、
    　前記第１の登録情報は、Ｎ－１回目の認証で行われる前記登録処理で登録され、
    　前記第２の登録情報は、Ｎ回目の認証で行われる前記登録処理で登録される
    　請求項１に記載の制御装置。
  3. 　各回の認証において、前記第１の誘発メディアと前記第２の誘発メディアとの組み合わせで再生が行われ、
    　各回の認証で再生される前記第１の誘発メディアと前記第２の誘発メディアとの組み合わせは異なる
    　請求項２に記載の制御装置。
  4. 　Ｎ－１回目の認証で再生される前記第２の誘発メディアは、Ｎ回目の認証で再生される前記第１の誘発メディアとなり、
    　Ｎ回目の認証で再生される前記第２の誘発メディアは、Ｎ＋１回目の認証で再生される前記第１の誘発メディアとなる
    　請求項３に記載の制御装置。
  5. 　各回の認証で行われる認証処理と登録処理は、継続的に繰り返される
    　請求項４に記載の制御装置。
  6. 　前記第１の脳情報と前記第２の脳情報は、脳波情報又は脳血流情報を含む
    　請求項１に記載の制御装置。
  7. 　前記第１の誘発メディアと前記第２の誘発メディアは、誘発音又は誘発映像を含む
    　請求項６に記載の制御装置。
  8. 　前記誘発音又は前記誘発映像は、コンテンツ配信サービスにより配信される配信コンテンツにとともに提供される
    　請求項７に記載の制御装置。
  9. 　前記誘発音又は前記誘発映像のデータは、前記配信コンテンツを構成する１つの種類のコンテンツのデータとして配信又は生成される
    　請求項８に記載の制御装置。
  10. 　前記誘発音又は前記誘発映像のデータは、前記配信コンテンツを構成する再生コンテンツのデータに対して挿入される
    　請求項８に記載の制御装置。
  11. 　前記誘発音又は前記誘発映像のデータは、前記配信コンテンツを構成する再生コンテンツのデータを加工して追加される
    　請求項８に記載の制御装置。
  12. 　前記処理部は、前記第２の誘発メディアに関する情報と、前記第２の脳情報に関する情報を対応付けて、前記第２の登録情報として登録する登録処理を制御する
    　請求項１に記載の制御装置。
  13. 　前記処理部は、前記第１の登録情報と前記第２の登録情報を、時系列で管理する
    　請求項１２に記載の制御装置。
  14. 　前記第２の誘発メディアは、新規にランダムに生成されるか、又はあらかじめ生成されてランダムに選択される
    　請求項１に記載の制御装置。
  15. 　前記処理部は、
    　　Ｎ－１回目の認証で登録された前記第１の登録情報から得られる前記第１の脳情報と、Ｎ回目の認証で測定した前記第１の脳情報とのマッチング処理を行い、
    　　当該マッチング処理の結果に基づいて、前記ユーザを認証する
    　請求項１に記載の制御装置。
  16. 　前記脳波情報は、前記ユーザの頭部に接触するように設けられた電極からの信号を測定することで得られる
    　請求項６に記載の制御装置。
  17. 　前記脳血流情報は、前記ユーザの頭部に接触するように設けられたfNIRSセンサからの信号を測定することで得られる
    　請求項６に記載の制御装置。
  18. 　前記第１の脳情報と前記第２の脳情報を測定する測定装置、前記測定装置と有線又は無線で接続される端末装置、又は前記測定装置とネットワークを介して接続されるサーバとして構成される
    　請求項１に記載の制御装置。
  19. 　制御装置が、
    　第１の誘発メディアの再生に応じて測定されたユーザの第１の脳情報に基づく第１の登録情報に基づいて、前記ユーザを認証する第１の認証処理の制御と、
    　前記第１の誘発メディアとは異なる第２の誘発メディアの再生に応じて測定された前記ユーザの第２の脳情報に基づいて、前記ユーザを認証する第２の認証処理に用いる第２の登録情報の登録処理の制御と、
    　を行う制御方法。
PCT/JP2021/014983 2020-04-23 2021-04-09 制御装置、及び制御方法 WO2021215267A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180028840.7A CN115443462A (zh) 2020-04-23 2021-04-09 控制装置和控制方法
US17/918,427 US20230143234A1 (en) 2020-04-23 2021-04-09 Control device and control method
DE112021002493.0T DE112021002493T5 (de) 2020-04-23 2021-04-09 Steuervorrichtung und Steuerungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-076461 2020-04-23
JP2020076461 2020-04-23

Publications (1)

Publication Number Publication Date
WO2021215267A1 true WO2021215267A1 (ja) 2021-10-28

Family

ID=78269136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014983 WO2021215267A1 (ja) 2020-04-23 2021-04-09 制御装置、及び制御方法

Country Status (4)

Country Link
US (1) US20230143234A1 (ja)
CN (1) CN115443462A (ja)
DE (1) DE112021002493T5 (ja)
WO (1) WO2021215267A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228526A1 (en) * 2016-02-04 2017-08-10 Lenovo Enterprise Solutions (Singapore) PTE. LTE. Stimuli-based authentication
JP2018190164A (ja) * 2017-05-02 2018-11-29 株式会社ぐるなび 認証装置、認証方法、及び認証プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228526A1 (en) * 2016-02-04 2017-08-10 Lenovo Enterprise Solutions (Singapore) PTE. LTE. Stimuli-based authentication
JP2018190164A (ja) * 2017-05-02 2018-11-29 株式会社ぐるなび 認証装置、認証方法、及び認証プログラム

Also Published As

Publication number Publication date
US20230143234A1 (en) 2023-05-11
DE112021002493T5 (de) 2023-03-16
CN115443462A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
US10366778B2 (en) Method and device for processing content based on bio-signals
US11402909B2 (en) Brain computer interface for augmented reality
US10824232B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
US10345901B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
CN109964226B (zh) 电子装置及其控制方法
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
Cernea et al. A survey of technologies on the rise for emotion-enhanced interaction
US10620593B2 (en) Electronic device and control method thereof
US20150324568A1 (en) Systems and methods for using eye signals with secure mobile communications
US20090249441A1 (en) Governing the transfer of physiological and emotional user data
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11782508B2 (en) Creation of optimal working, learning, and resting environments on electronic devices
WO2021215266A1 (ja) 制御装置、及び制御方法
WO2021215267A1 (ja) 制御装置、及び制御方法
US20230335139A1 (en) Systems and methods for voice control in virtual reality
US12001606B2 (en) Control device comprising detection unit configured to perform detection of brain wave and control method therefor
US20240164674A1 (en) System for Detecting Mental and/or Physical State of Human
Carr Evaluating the Usability of Passthought Authentication
Mandal On the Privacy Leakage via Neural Devices
WO2023114079A1 (en) User interactions and eye tracking with text embedded elements
WO2024058986A1 (en) User feedback based on retention prediction
KR20120021988A (ko) 휴대 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21793626

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21793626

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP