WO2010098282A1 - 脳情報出力装置、ロボット、および脳情報出力方法 - Google Patents

脳情報出力装置、ロボット、および脳情報出力方法 Download PDF

Info

Publication number
WO2010098282A1
WO2010098282A1 PCT/JP2010/052629 JP2010052629W WO2010098282A1 WO 2010098282 A1 WO2010098282 A1 WO 2010098282A1 JP 2010052629 W JP2010052629 W JP 2010052629W WO 2010098282 A1 WO2010098282 A1 WO 2010098282A1
Authority
WO
WIPO (PCT)
Prior art keywords
intention
probability
identifier
brain activity
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/052629
Other languages
English (en)
French (fr)
Inventor
雅昭 佐藤
崇人 玉川
宙人 山下
祐輔 武田
光男 川人
健太郎 山田
真弘 木村
明祐 戸田
達哉 岡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
ATR Advanced Telecommunications Research Institute International
Original Assignee
Honda Motor Co Ltd
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, ATR Advanced Telecommunications Research Institute International filed Critical Honda Motor Co Ltd
Publication of WO2010098282A1 publication Critical patent/WO2010098282A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue

Definitions

  • the present invention relates to a brain information output device or the like that outputs brain information.
  • BMI brain machine interface
  • brain activity data is often data acquired from one brain activity measuring device.
  • the detection accuracy of the intention may not be high.
  • the brain activity measuring device has an intention that is good at detecting a user's intention and an intention that is not good at detecting it.
  • the brain information output device is the first brain activity for acquiring the first brain activity data, which is the first data of the brain activity of the user when the user indicates one intention, from the user.
  • a data acquisition unit and second brain activity data that is second data of the brain activity of the user when the user indicates the one intention, and is a different type of data from the first brain activity data
  • the indicated one intention is an intention corresponding to one intention identifier among a plurality of intention identifiers.
  • the indicated one intention is an intention corresponding to one intention identifier among a plurality of intention identifiers.
  • a certain second probability is calculated for each intention identifier.
  • An intention identifier is acquired using a two-probability calculator, a first probability for each intention identifier calculated by the first probability calculator, and a second probability for each intention identifier calculated by the second probability calculator.
  • the brain information output device includes an intention determination unit and an output unit that outputs an intention identifier acquired by the intention determination unit.
  • the intention can be detected with high accuracy.
  • the brain information output device provides a series of users with respect to the first aspect based on an intention identifier that is information for identifying the user's intention and the intention identified by the intention identifier.
  • the first learning feature which is data acquired from the user's brain when the action is performed, and is one or more feature amounts extracted from the first learning data that is the same type of data as the first brain activity data
  • a first intention determination information storage unit capable of storing two or more pieces of first intention determination information having pairs of quantity groups, an intention identifier that is information for identifying a user's intention, and an intention identifier identified by the intention identifier
  • One or more feature values extracted from second learning data which is data originally acquired from the user's brain when the user performed a series of actions and is the same type of data as the second brain activity data
  • a second intention discriminating information storage unit capable of storing two or more second intention discriminating information having the second intention discriminating information.
  • a first probability that one input feature quantity group calculates a first probability corresponding to one intention identifier among a plurality of intention identifiers included in the two or more first intention determination information for each of the two or more intention identifiers.
  • a second feature quantity group obtaining means for obtaining a second input feature quantity group that is one or more feature quantities from the second brain activity data; and Using the two or more second intention determination information in the second intention determination information storage unit,
  • the second input feature quantity group acquired by the feature quantity group acquisition means has a second probability corresponding to one intention identifier among a plurality of intention identifiers included in the two or more intention determination information, and the two or more intentions.
  • a brain information output device comprising second probability calculating means for calculating for each identifier.
  • the intention can be detected with high accuracy.
  • the brain information output device is the first or second aspect of the invention, wherein the intention deciding unit has a corresponding first probability or a corresponding second probability for each intention identifier.
  • a probability, or a third probability calculating means for calculating a final probability for each intention identifier using the corresponding first probability and second probability, and the highest probability from the final probabilities for each intention identifier It is a brain information output device provided with the intention identifier acquisition means which acquires the intention identifier corresponding to.
  • the intention can be detected with high accuracy.
  • the brain information output apparatus is the brain information output device according to the third aspect, wherein the third probability calculation means uses the weights different between the first probability and the second probability.
  • This is a brain information output device that calculates a final probability for each identifier.
  • the intention is detected in consideration of the characteristics of the brain activity measuring device, so that the intention can be detected with higher accuracy.
  • the first probability calculation unit for the first invention, the first probability for only a predetermined intention identifier
  • the second probability calculation unit is a brain information output device that calculates the second probability for each intention identifier with respect to only a part of the predetermined intention identifiers.
  • the brain information output device is the first to fifth aspects of the invention, wherein the first brain activity data acquisition unit is a near-infrared light measuring device, and the second brain activity
  • the data acquisition unit is a brain information output device that is an electroencephalogram measurement device.
  • the brain information output device can detect an intention with high accuracy.
  • a brain information output device that determines a user's intention from a plurality of brain activity data obtained by a plurality of brain activity measurement devices will be described.
  • a brain information output device that determines a user's intention from two brain activity data obtained by two brain activity measurement devices will be mainly described.
  • three or more brain activity measurement devices are described.
  • the brain information output device may determine the user's intention from the three or more brain activity data obtained by the above.
  • the method for determining the user's intention is the same whether the brain activity data is two or three or more.
  • a brain information output device that weights each of a plurality of brain activity data obtained from a plurality of brain activity measuring devices and determines a user's intention will be described.
  • the weighting for the brain activity data is equivalent to the weighting for the probability obtained from the brain activity data.
  • a brain information output device that determines the final intention by using only the intention that each brain activity measurement device is good at will be described.
  • FIG. 1 is a conceptual diagram of the robot system 1 in the present embodiment.
  • the robot system 1 includes a brain information output device 11 and a robot 12.
  • the brain information output device 11 is a device that acquires brain information from a user, detects the user's intention, and outputs an intention identifier indicating the intention to the robot 12.
  • the robot 12 is an electronic device that receives an intention identifier from the brain information output device 11 and performs an operation corresponding to the intention identifier.
  • the robot 12 may be an electronic device having a so-called human shape, but may be an electronic device having another shape.
  • the robot 12 may be a moving body such as a four-wheeled vehicle, a two-wheeled vehicle, an aircraft, or a train.
  • FIG. 2 is a block diagram of the robot system 1 in the present embodiment.
  • the brain information output device 11 includes a first learning data acquisition unit 101, a first learning feature amount group acquisition unit 102, a first intention determination information storage unit 103, a second learning data acquisition unit 104, and a second learning feature amount group acquisition unit.
  • 105, second intention determination information storage unit 106, first intention determination information storage unit 111, second intention determination information storage unit 112, first brain activity data acquisition unit 113, second brain activity data acquisition unit 114, first probability A calculation unit 115, a second probability calculation unit 116, an intention determination unit 117, and an output unit 118 are provided.
  • the first probability calculation unit 115 includes first feature quantity group acquisition means 1151 and first probability calculation means 1152.
  • the second probability calculation unit 116 includes second feature quantity group acquisition means 1161 and second probability calculation means 1162.
  • the intention determination unit 117 includes third probability calculation means 1171 and intention identifier acquisition means 1172.
  • the robot 12 includes an operation information storage unit 121, an intention identifier reception unit 122, and an execution unit 123.
  • the first learning data acquisition unit 101 acquires one learning data (first learning data) from the user's brain when the user performs a series of actions based on one intention.
  • the first learning data acquisition unit 101 is, for example, a near infrared light measurement device.
  • a near-infrared light measuring device is a device that applies the principle of “optical functional imaging” that performs near-infrared brain function mapping from the scalp using near-infrared light.
  • the 1st learning data acquisition part 101 is an electroencephalogram measurement apparatus, for example.
  • the electroencephalogram measurement apparatus is an apparatus that measures an electroencephalogram.
  • the first learning data acquisition unit 101 may be, for example, functional MRI (fMRI: “functional” Magnetic “Resonance” Imaging), PET (Positron “Emission” Tomography), or the like.
  • one learning data is a series of data observed when a series of actions are performed.
  • One learning data is usually time-series data.
  • One learning data is, for example, information indicating blood flow at a plurality of points in the brain for 10 seconds.
  • the first learning feature quantity group acquisition unit 102 acquires a first learning feature quantity group from the first learning data.
  • the first learning feature quantity group is a set of one or more feature quantities.
  • the first learning feature value group acquisition unit 102 performs signal processing on the first learning data, and acquires feature values.
  • signal processing includes, for example, bias correction, baseline correction, trend removal, average value calculation, high-pass filter processing, low-pass filter processing, FFT processing, PCA processing, ICA processing, and Phase Locking value calculation Calculation of moving average, sensor selection, time selection, reference correction, downsampling, upsampling, power calculation, envelope calculation (Hilbert transform), processing by spatial filter, processing by inverse problem filter, and the like.
  • the feature amount is, for example, data calculated by the signal processing described above, and is, for example, an average value, variance, Phase Locking value, or the like.
  • the feature quantity constituting the first learning feature quantity group may be anything as long as it is data indicating the characteristics of the first learning data.
  • the number of signal processing performed by the first learning feature quantity group acquisition unit 102 may be plural.
  • the first learning feature quantity group acquisition unit 102 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the first learning feature quantity group acquisition unit 102 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the first intention determination information storage unit 103 stores first intention determination information by associating the first learning feature amount group acquired by the first learning feature amount group acquisition unit 102 with an intention identifier for identifying one intention. Stored in the unit 111.
  • the intention identifier and the first learning feature amount group are intention determination information.
  • the intention identifier may be input by the user, may be input by a third party, or may be held in advance by the brain information output device 11.
  • the input method of the intention identifier is not limited.
  • the first intention determination information storage unit 103 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the first intention determination information storage unit 103 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the second learning data acquisition unit 104 acquires one learning data (second learning data) from the user's brain when the user performs a series of actions based on one intention.
  • the second learning data acquisition unit 104 is, for example, an electroencephalogram measurement device.
  • the second learning data acquisition unit 104 is, for example, a near infrared light measurement device.
  • the second learning data acquisition unit 104 may be, for example, functional MRI (fMRI: “functional” Magnetic “Resonance” Imaging) or PET (Positron “Emission” Tomography).
  • the second learning feature value group acquisition unit 105 acquires a second learning feature value group from the second learning data.
  • the second learning feature amount group is a set of one or more feature amounts.
  • the second learning feature value group acquisition unit 105 performs signal processing on the second learning data, and acquires feature values.
  • signal processing includes, for example, bias correction, baseline correction, trend removal, average value calculation, high-pass filter processing, low-pass filter processing, FFT processing, PCA processing, ICA processing, and Phase Locking value calculation Calculation of moving average, sensor selection, time selection, reference correction, downsampling, upsampling, power calculation, envelope calculation (Hilbert transform), processing by spatial filter, processing by inverse problem filter, and the like.
  • the second learning feature quantity group acquisition unit 105 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the second learning feature value group acquisition unit 105 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the second intention determination information storage unit 106 stores second intention determination information stored in association with the second learning feature amount group acquired by the second learning feature amount group acquisition unit 105 and an intention identifier for identifying one intention. Stored in the unit 112.
  • the intention identifier and the second learning feature amount group are intention determination information.
  • the intention identifier may be input by the user, may be input by a third party, or may be held in advance by the brain information output device 11.
  • the input method of the intention identifier is not limited.
  • the second intention determination information storage unit 106 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the second intention determination information storage unit 106 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the first intention determination information storage unit 111 can store two or more first intention determination information.
  • the first intention determination information is information having a pair of an intention identifier and a first learning feature amount group.
  • the intention identifier is information for identifying the user's intention. Intention is the act of moving a part of the body (for example, right hand, left hand, tongue, foot, etc.) or a specific thing (for example, moving the right hand, sticking out the tongue, running, etc.) It is reflected in the brain activity that the user thinks.
  • the intention identifier is, for example, a part of the body that is moved by the user, and includes, for example, “right hand”, “left hand”, “tongue” and “foot”.
  • the intention identifier may be, for example, “right hand” and “left hand”.
  • the number of intention identifiers is not limited, it is generally considered that the smaller the number of intention identifiers, the higher the possibility that the intention identifier output by the brain information output device 11 matches the user's intention.
  • the first learning feature amount group is information of one or more feature amounts extracted from the first learning data.
  • the first learning data is data obtained from the user's brain when the user performs a series of actions based on the intention identified by the intention identifier, and is the same type of data as the first brain activity data. It is.
  • the first intention determination information storage unit 111 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing the first intention determination information in the first intention determination information storage unit 111 does not matter.
  • the first intention determination information may be stored in the first intention determination information storage unit 111 via the recording medium, and the first intention determination information transmitted via the communication line or the like is the first intention determination information.
  • the determination information storage unit 111 may store the first intention determination information input via the input device, or the first intention determination information storage unit 111 may store the first intention determination information. .
  • the second intention determination information storage unit 112 can store two or more second intention determination information.
  • the second intention determination information is information having a pair of an intention identifier and a second learning feature amount group.
  • the second learning feature amount group is information of one or more feature amounts extracted from the second learning data.
  • the second learning data is data acquired from the user's brain when the user performs a series of actions based on the intention identified by the intention identifier, and is the same type of data as the second brain activity data. It is.
  • the second learning data is a different type of data from the first learning data.
  • the second intention determination information storage unit 112 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing the second intention determination information in the second intention determination information storage unit 112 does not matter.
  • the second intention determination information may be stored in the second intention determination information storage unit 112 via a recording medium, and the second intention determination information transmitted via a communication line or the like is stored in the second intention determination information.
  • the determination information storage unit 112 may store the second intention determination information input via the input device, or the second intention determination information storage unit 112 may store the second intention determination information. .
  • the first brain activity data acquisition unit 113 acquires first brain activity data from the user.
  • the first brain activity data is first data of brain activity acquired from the user when the user indicates one intention.
  • the first brain activity data includes data acquired by NIRS (near infrared spectroscopy), fMRI (functional MRI), MEG (magnetoencephalograph), EEG (electroencephalograph), and the like.
  • the first brain activity data may be anything as long as it indicates brain activity.
  • the first brain activity data is the same type of data as the first learning data.
  • the first brain activity data acquisition unit 113 is, for example, a near infrared light measurement device.
  • the first brain activity data acquisition unit 113 is, for example, an electroencephalogram measurement apparatus.
  • the first brain activity data acquisition unit 113 may be, for example, functional MRI (fMRI: “functional” Magnetic “Resonance” Imaging), PET (Positron “Emission” Tomography), or the like.
  • functional MRI fMRI: “functional” Magnetic “Resonance” Imaging
  • PET PET
  • the first brain activity data and the second brain activity data are different types of data.
  • the second brain activity data acquisition unit 114 acquires second brain activity data from the user.
  • the second brain activity data is second data of brain activity acquired from the user when the user indicates one intention, and is a different type of data from the first brain activity data.
  • the second brain activity data is data acquired by NIRS (near infrared spectroscopy), fMRI (functional MRI), MEG (magnetoencephalograph), EEG (electroencephalograph), and the like, similar to the first brain activity data. .
  • the second brain activity data may be any data indicating brain activity.
  • the second brain activity data is the same type of data as the second learning data.
  • the second brain activity data acquisition unit 114 is, for example, an electroencephalogram measurement device.
  • the second brain activity data acquisition unit 114 may be an electroencephalogram measurement device, functional MRI (fMRI: Functional Resonance Imaging), PET (Positron Emission Tomography), or the like.
  • the first probability calculation unit 115 calculates, for each intention identifier, a first probability that one intention indicated by the user is an intention corresponding to one intention identifier among a plurality of intention identifiers from the first brain activity data. To calculate.
  • the first probability calculation unit 115 may calculate the first probability for each intention identifier with respect to only a part of the predetermined intention identifiers. For each intention identifier, the probabilities of all intention identifiers are usually calculated, but the probability of all intention identifiers may not be calculated.
  • the first probability calculation unit 115 may calculate only the probability of the intention identifier corresponding to the intention that the first brain activity data is good at.
  • the first probability calculation unit 115 may calculate, for example, the first probabilities of only the intention identifiers “right hand” and “left hand” that are good at the first brain activity data.
  • the first probability calculation unit 115 preferably calculates a first probability by a first feature quantity group acquisition unit 1151 and a first probability calculation unit 1152 described later.
  • the first probability calculation unit 115 may calculate the first probability by means other than the first feature quantity group acquisition unit 1151 and the first probability calculation unit 1152.
  • the first probability calculation unit 115 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the first probability calculation unit 115 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the first feature quantity group acquisition unit 1151 acquires a first input feature quantity group that is one or more feature quantities from the first brain activity data.
  • the first feature amount group acquisition unit 1151 acquires one or more feature amounts by performing signal processing on the first brain activity data.
  • the processing of the first feature amount group acquisition unit 1151 includes, for example, bias correction, baseline correction, trend removal, average value calculation, high-pass filter processing, low-pass filter processing, FFT processing, PCA processing, ICA processing, Signal processing such as Phase Locking value, moving average calculation, sensor selection, time selection, reference correction, downsampling, upsampling, power calculation, envelope calculation (Hilbert transform), spatial filter processing, inverse problem filter processing, etc. is there.
  • the feature amount may be anything such as an average value or variance.
  • the first feature quantity group acquisition unit 1151 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the first feature quantity group obtaining unit 1151 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the first probability calculation means 1152 uses two or more first intention determination information in the first intention determination information storage unit 111, and the first input feature quantity group acquired by the first feature quantity group acquisition means 1151 is two or more. A first probability corresponding to one intention identifier among a plurality of intention identifiers included in the first intention determination information is calculated for each of two or more intention identifiers.
  • the first probability calculation unit 1152 calculates the probability for each intention identifier as follows. That is, the first probability calculation means 1152 is a boundary surface for dividing the first learning feature quantity group into two classes (class 1 [first intention identifier] or class 2 [second intention identifier]). get information. This concept is shown in FIG.
  • the first probability calculation means 1152 calculates the distance of the input feature quantity group from the boundary surface (see FIG. 20). Then, the first probability calculation means 1152 inputs the distance into a logistic function (sigmoid function) and converts it into a value between 0 and 1 (a value between 0 and 1). Then, the first probability calculation unit 1152 uses the converted value (0 to 1) as the probability of the first intention identifier. Then, the first probability calculation means 1152 calculates the probability of the second intention identifier by “1—probability of the first intention identifier”.
  • a logistic function sigmoid function
  • the first probability calculation means 1152 calculates the probability for each intention identifier as follows. That is, the process for the above two intention identifiers is expanded. First, it is considered that there are two classes of a first intention identifier and another intention identifier, and the first probability calculation unit 1152 determines two classes (class 1 [first intention identifier from the first learning feature value group). , Or class 2 [second intention identifier or third intention identifier or fourth intention identifier]). Next, the first probability calculation unit 1152 calculates the distance of the input feature quantity group from the boundary surface.
  • the first probability calculation means 1152 inputs the distance into a logistic function (sigmoid function) and converts it into a value between 0 and 1 (a value between 0 and 1). Then, the first probability calculation unit 1152 uses the converted value (0 to 1) as the probability of the first intention identifier. Next, the probability calculating means 1181 determines the distance from the first learning feature quantity group (vector) corresponding to the second intention identifier, the third intention identifier, or the fourth intention identifier as “1-first intention”. It is calculated by “probability of identifier”.
  • the first probability calculation unit 1152 determines two classes (class 1 [second Interface identifier], or class 2 [first intention identifier or third intention identifier or fourth intention identifier])). Next, the first probability calculation unit 1152 calculates the distance of the input feature quantity group from the boundary surface. Then, the first probability calculation means 1152 inputs the distance into a logistic function (sigmoid function) and converts it into a value between 0 and 1 (a value between 0 and 1). Then, the first probability calculation unit 1152 uses the converted value (0 to 1) as the probability of the second intention identifier.
  • class 1 second Interface identifier
  • class 2 first intention identifier or third intention identifier or fourth intention identifier
  • the first probability calculation unit 1152 determines the distance from the first learning feature quantity group (vector) corresponding to the first intention identifier, the third intention identifier, or the fourth intention identifier as “1-second. Calculated by “probability of intention identifier”.
  • the first probability calculation unit 1152 determines two classes (class 1 [third] from the first learning feature quantity group. Interface identifier], or class 2 [first intention identifier or second intention identifier or fourth intention identifier])). Next, the first probability calculation unit 1152 calculates the distance of the input feature quantity group from the boundary surface. Then, the first probability calculation means 1152 inputs the distance into a logistic function (sigmoid function) and converts it into a value between 0 and 1 (a value between 0 and 1). Then, the first probability calculation unit 1152 uses the converted value (0 to 1) as the probability of the third intention identifier.
  • sigmoid function logistic function
  • the first probability calculation unit 1152 determines the distance from the first learning feature quantity group (vector) corresponding to the first intention identifier, the second intention identifier, or the fourth intention identifier as “1 ⁇ third”. Calculated by “probability of intention identifier”.
  • the first probability calculation unit 1152 determines two classes (class 1 [fourth] from the first learning feature quantity group. Intent identifier], or class 2 [first intention identifier or second intention identifier or third intention identifier) is obtained. Next, the first probability calculation unit 1152 calculates the distance of the input feature quantity group from the boundary surface. Then, the first probability calculation means 1152 inputs the distance into a logistic function (sigmoid function) and converts it into a value between 0 and 1 (a value between 0 and 1). Then, the first probability calculation unit 1152 uses the converted value (0 to 1) as the probability of the fourth intention identifier.
  • sigmoid function logistic function
  • the first probability calculation unit 1152 determines the distance from the first learning feature quantity group (vector) corresponding to the first intention identifier, the second intention identifier, or the third intention identifier as “1-fourth”. Calculated by “probability of intention identifier”.
  • the first probability calculation means 1152 acquires the probability of the fourth intention identifier from the first intention identifier by merging the probabilities acquired above.
  • the merge means the probability of the first intention identifier (P1), the probability of the intention identifier other than the first (P234), the probability of the second intention identifier (P2), the first Probability of intention identifier other than two (P134), Probability of third intention identifier (P3), Probability of intention identifier other than third (P124), Probability of fourth intention identifier (P4) This refers to an operation to be obtained from the eight probabilities of the probability of intention identifiers other than the fourth (P123).
  • the probability of the merged first intention identifier is P1 ⁇ P134 ⁇ P124 ⁇ P123
  • the probability of the merged second intention identifier is P234 ⁇ P2 ⁇ P124 ⁇ P123
  • the probability of the merged third intention identifier is P234 ⁇ P134 ⁇ . It is preferable to obtain P3 ⁇ P123 and the merged fourth intention identifier as P234 ⁇ P134 ⁇ P124 ⁇ P4.
  • An operation for normalizing the probability may be added.
  • normalization means that the probability of adding all becomes 1 by dividing each probability by the value obtained by adding the probability of the merged first intention identifier to the probability of the fourth intention identifier. It is an operation to do.
  • the first probability calculation means 1152 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the first probability calculation means 1152 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the second probability calculation unit 116 calculates, for each intention identifier, a second probability that one intention indicated by the user is an intention corresponding to one intention identifier among a plurality of intention identifiers from the second brain activity data. To calculate.
  • the second probability calculation unit 116 calculates the second probability for each intention identifier with respect to only a part of the predetermined intention identifiers.
  • the second probability calculation unit 116 may calculate the second probability for each intention identifier with respect to only a part of the predetermined intention identifiers. For each intention identifier, the probabilities of all intention identifiers are usually calculated, but the probability of all intention identifiers may not be calculated.
  • the second probability calculation unit 116 may calculate only the probability of the intention identifier corresponding to the intention that the second brain activity data is good at. That is, the second probability calculation unit 116 may calculate, for example, the second probability of only the intention identifiers “tongue” and “foot” that are good at the second brain activity data.
  • the calculation method of the second probability of the second probability calculation unit 116 may be the same as the calculation method of the first probability of the first probability calculation unit 115.
  • the second probability calculation unit 116 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the second probability calculation unit 116 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the second feature quantity group acquisition means 1161 acquires a second input feature quantity group that is one or more feature quantities from the second brain activity data.
  • the second feature quantity group acquisition unit 1161 acquires one or more feature quantities by performing signal processing on the second brain activity data.
  • the signal processing performed by the second feature quantity group acquisition unit 1161 is normally the same as the signal processing performed by the first feature quantity group acquisition unit 1151.
  • the second feature amount group acquisition unit 1161 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the second feature quantity group acquiring unit 1161 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the second probability calculation means 1162 uses two or more second intention determination information in the second intention determination information storage unit 112 to obtain two or more second input feature quantity groups acquired by the second feature quantity group acquisition means 1161.
  • the second probability corresponding to one intention identifier among the plurality of intention identifiers included in the intention determination information is calculated for each of two or more intention identifiers.
  • the second probability calculation processing method of the second probability calculation means 1162 is normally the same as the first probability calculation processing method of the first probability calculation means 1152.
  • the second probability calculation means 1162 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the second probability calculating means 1162 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the intention determination unit 117 acquires the intention identifier using the first probability for each intention identifier calculated by the first probability calculation unit 115 and the second probability for each intention identifier calculated by the second probability calculation unit 116. . It does not matter how the intention determination unit 117 acquires the intention identifier using the first probability and the second probability. It goes without saying that the intention determination unit 117 determines in a direction to acquire a high intention identifier with a high first probability and a high intention identifier with a high second probability.
  • the intention determination unit 117 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the intention determination unit 117 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the third probability calculation means 1171 uses the corresponding first probability, the corresponding second probability, or the corresponding first probability and the second probability for each intention identifier to calculate the final probability for each intention identifier. calculate.
  • the third probability calculation means 1171 preferably calculates the final probability for each intention identifier using different weights for the first probability and the second probability.
  • the third probability calculation unit 1171 calculates a final probability for each intention identifier based on the following formula 1, for example. That is, the third probability calculation unit 1171 sets the first probability for each intention identifier calculated by the first probability calculation unit 1152 and the second probability for each intention identifier calculated by the second probability calculation unit 1162 to Equation 1. Substituting and calculating the final probability for each intention identifier. Note that the third probability calculation means 1171 holds information of Formula 1 in advance. Formula 1 is a formula that integrates the first probability and the second probability to calculate the final probability for each intention identifier.
  • the first brain activity data is time-series data of the amount of hemoglobin acquired by the near-infrared light measuring device.
  • the second brain activity data is time-series data of brain waves acquired by the brain wave measuring apparatus.
  • Equation 1 there are four types of intention identifiers: left hand “Left”, right hand “Right”, tongue “Tongue”, and foot “Foot”.
  • P NIRS Left (In Formula 1, the superscript character string and the subscript character string are aligned at the upper limit, but the superscript character string and the subscript character are aligned vertically. Is the same as the one that is shifted.) Is the first probability that the intention identifier “Left” is calculated by the first probability calculation unit 115, and the first probability calculation unit 115 calculates P NIRS Right .
  • the first probability that is the intention identifier “Right” is the first probability that is the intention identifier “Tongue” calculated by the first probability calculation unit 115
  • P NIRS Foot is the intention that the first probability calculation unit 115 calculates
  • the first probability is the identifier “Foot”.
  • P EEG Left is a second probability that is the intention identifier “Left” calculated by the second probability calculation unit 116
  • P EEG Right is a second probability that is the intention identifier “Right” calculated by the second probability calculation unit 116
  • P EEG Tongue is the second probability that is the intention identifier “Tongue” calculated by the second probability calculation unit 116
  • P EEG Foot is the second probability that is the intention identifier “Foot” calculated by the second probability calculation unit 116.
  • P total text is a final probability.
  • P total text is the final probability of the intention identifier TEXT (Left, Right, Tonegue, or Foot).
  • i can take any of “Left, Right, Tonegue, and Foot”. Further, P NIRS i is a probability obtained from a near-infrared light measuring device, and P EEG i is a probability obtained from an electroencephalogram.
  • the third probability calculation means 1171 only obtains the intention (for example, the left hand “Left”, the right hand “Right”) that the first brain activity data acquisition unit 113 (also referred to as the first brain activity data) is good at.
  • the second brain activity data acquisition unit 114 (which may be referred to as second brain activity data) is used only for the intention identifier (for example, left hand “Tongue”, right hand “Foot”).
  • the final probability may be acquired.
  • the third probability calculation unit 1171 associates the information for identifying the first brain activity data acquisition unit 113 or the information for identifying the second brain activity data acquisition unit 114 with an intention identifier for identifying a particular intention. Hold.
  • the third probability calculation means 1171 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the third probability calculating means 1171 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the intention identifier acquisition unit 1172 acquires the intention identifier corresponding to the highest probability from the final probability for each intention identifier.
  • the intention identifier acquisition unit 1172 normally acquires only one intention identifier.
  • the intention identifier acquisition unit 1172 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the intention identifier acquisition unit 1172 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the output unit 118 outputs the intention identifier acquired by the intention determination unit 117.
  • output refers to display on a display, projection using a projector, printing on a printer, sound output, transmission to an external device, storage in a recording medium, other processing device or other program, etc. It is a concept including delivery of processing results. Note that it is preferable to send the intention identifier to the robot 12 as the output.
  • the output unit 118 can be realized by a communication unit that sends an intention identifier to the robot 12, for example.
  • the operation information storage unit 121 can store two or more pieces of operation information.
  • the operation information is a set of an intention identifier and an operation module that performs an operation corresponding to the intention identifier.
  • the operation module may be realized by hardware, may be realized by software, or may be realized by hardware and software.
  • the operation information storage unit 121 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process in which the operation information is stored in the operation information storage unit 121 is not limited.
  • the operation information may be stored in the operation information storage unit 121 via a recording medium, and the operation information transmitted via a communication line or the like is stored in the operation information storage unit 121.
  • the operation information input via the input device may be stored in the operation information storage unit 121.
  • the intention identifier receiving unit 122 receives the intention identifier output from the brain information output device 11. Acceptance includes reception using communication means, delivery of information (intention identifier) by software, and the like.
  • the execution unit 123 executes an operation module corresponding to the intention identifier received by the intention identifier reception unit 122. Any operation content can be realized by the operation module.
  • the execution unit 123 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the execution unit 123 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • FIG. 3 is a flowchart for explaining the operation in which the brain information output apparatus 11 acquires learning data.
  • the learning data is first intention determination information or second intention determination information.
  • the type of learning data indicates a flow that can be handled even with three or more.
  • Step S301 The output means (not shown) of the brain information output apparatus 11 outputs an instruction to the user to perform an action corresponding to one intention. It is assumed that the instruction information output by the output unit is held in advance by the output unit.
  • the instruction information is, for example, “Please hold or open your right hand for 10 seconds at 10 Hz.” “Put your tongue in and out for 10 seconds.” “You hold or open your right hand. "Imagine that.” Is information on instructions for causing the user to perform actions that affect the brain activity of the user.
  • Step S302 the intention determination information storage unit such as the first intention determination information storage unit 103 acquires the intention identifier corresponding to the instruction output in step S301. It is assumed that the intention determination information storage unit holds in advance an intention identifier corresponding to the instruction output in step S301.
  • Step S303 The learning data acquisition units such as the first learning data acquisition unit 101 and the second learning data acquisition unit 104 acquire the corresponding learning data. Here, all the learning data of 2 or more are acquired.
  • Step S304 The brain information output apparatus 11 sets 1 to the counter i.
  • Step S305 The brain information output apparatus 11 determines whether or not the i-th learning data is present among the learning data acquired in Step S303. If i-th learning data exists, it will go to step S306, and if i-th learning data does not exist, a process will be complete
  • Step S306 The learning feature value group acquisition unit (for example, the first learning feature value group acquisition unit 102, the second learning feature value group acquisition unit 105, etc.) corresponding to the i-th learning data To obtain the i-th learning feature amount group.
  • the learning feature value group acquisition unit for example, the first learning feature value group acquisition unit 102, the second learning feature value group acquisition unit 105, etc.
  • Step S307 The intention determination information storage unit (for example, the first intention determination information storage unit 103 or the second intention determination information storage unit 106) corresponding to the i-th learning data is connected to the i-th learning feature amount group.
  • the i-th intention determination information is configured in association with the intention identifier acquired in step S302.
  • the intention determination information storage unit corresponding to the i-th learning data uses the i-th intention determination information configured in step S307 as the corresponding intention determination information storage unit (for example, the first intention determination information storage unit). 111, the second intention determination information storage unit 112, etc.).
  • Step S309 The brain information output apparatus 11 increments the counter i by one. The process returns to step S305.
  • Step S401 The brain activity data acquisition unit such as the first brain activity data acquisition unit 113 or the second brain activity data acquisition unit 114 determines whether or not the brain activity data has been acquired. If the brain activity data is acquired, the process goes to step S402. If the brain activity data is not acquired, the process returns to step S401.
  • Step S402 The brain activity data acquisition unit accumulates the brain activity data acquired in step S401 in a recording medium at least temporarily.
  • Step S403 The brain information output apparatus 11 determines whether or not all types of brain activity data have been acquired. If all types of brain activity data have been acquired, the process goes to step S404, and if not, the process returns to step S401.
  • the brain information output device 11 holds information (for example, “NIRS”, “EEG”, etc.) that identifies all types of brain activity data to be acquired.
  • Step S404 The brain information output apparatus 11 assigns 1 to the counter i.
  • Step S405 The probability calculation units such as the first probability calculation unit 115 and the second probability calculation unit 116 determine whether or not the i-th type of brain activity data exists in the brain activity data accumulated in step S402. Judging. If the i-th type brain activity data exists, the process goes to step S406. If the i-th type brain activity data does not exist, the process goes to step S409.
  • Step S406 Feature quantity group acquisition means such as first feature quantity group acquisition means 1151 or second feature quantity group acquisition means 1161 acquires the i th feature quantity group from the i th type of brain activity data. .
  • Step S407 The probability calculation means such as the first probability calculation means 1152 and the second probability calculation means 1162 use the i-th intention determination information (existing in the corresponding intention determination information storage unit), for each intention identifier. The i-th probability is calculated.
  • Step S408 The brain information output apparatus 11 increments the counter i by 1. The process returns to step S405.
  • the third probability calculation means 1171 calculates the final probability by using the (i-1) th probability from the first probability for each intention identifier.
  • This calculation formula is, for example, Formula 1.
  • Step S410 The intention identifier acquisition unit 1172 acquires the intention identifier corresponding to the highest probability from the final probability for each intention identifier calculated in Step S409.
  • Step S411 The output unit 118 outputs the intention identifier acquired in Step S410. End the process.
  • Step S501 The intention identifier receiving unit 122 determines whether or not the intention identifier output from the brain information output apparatus 11 has been received. If the intention identifier is accepted, the process goes to step S502. If the intention identifier is not accepted, the process returns to step S501.
  • Step S502 The execution unit 123 reads the operation module corresponding to the intention identifier received in Step S501 from the operation information storage unit 121.
  • Step S503 The execution unit 123 executes the operation module read in Step S502. The process returns to step S501.
  • the robot 12 performs an action corresponding to an action (including thinking) intended by the user.
  • the process is ended by powering off or interruption for aborting the process.
  • FIG. 1 A conceptual diagram of the brain information output device 11 is shown in FIG. 1
  • the brain activity data (S13-1, S13-2) is measured in real time by measuring the brain activity of the user (S12) using a plurality of brain activity measuring devices (S11-1, S11-2). ) Then, in the brain information output device 11, the brain activity data (S13-1, S13-2) are put into the intention determination algorithm (S14-1, S14-2), and the brain activity measuring devices S11-1, S11-2 are entered.
  • the user's intention (S15-1, S15-2) estimated from the above and the probabilities (S16-1, S16-2) indicating the respective certainty levels are calculated.
  • the probabilities S16-1 and S16-2 are combined by an intention integrating device (S17) based on Bayes' theorem in statistics, and a user's integrated intention (S18) and its probability (S19) are obtained.
  • S17 intention integrating device
  • S18 user's integrated intention
  • S19 probability
  • the brain activity measurement devices correspond to, for example, the first brain activity data acquisition unit 113 and the second brain activity data acquisition unit 114.
  • the brain activity data corresponds to, for example, first brain activity data and second brain activity data.
  • the intention determination algorithms correspond to, for example, the first probability calculation unit 115 and the second probability calculation unit 116.
  • the intention (S15-1, S15-2) corresponds to an intention identifier.
  • Probabilities S16-1 and S16-2 correspond to the first probability and the second probability.
  • the intention integrating device (S17) corresponds to the intention determining unit 117. Further, the integrated intention (S18) is an intention identifier acquired by the intention determination unit 117, and its probability (S19) corresponds to a final probability.
  • FIG. 1 A conceptual diagram of the robot system 1 is shown in FIG. This specific operation is based on an experiment.
  • the brain information output device 11 is an electronic device that functions as a so-called brain / machine interface (actual movement of the left hand / right hand).
  • the intention identifier output from the brain information output device 11 is sent to the robot 12, and the robot 12 performs an operation corresponding to the intention identifier.
  • the first learning data acquisition unit 101 and the first brain activity data acquisition unit 113 are near-infrared light measurement devices.
  • the first learning data and the first brain activity data are NIRS data.
  • NIRS data is a set of hemoglobin information indicating the amount of hemoglobin in the head.
  • the second learning data acquisition unit 104 and the second brain activity data acquisition unit 114 are electroencephalogram measurement devices.
  • FIG. 7 shows a measuring instrument worn by the user on the head.
  • the first brain activity data acquisition unit 113 acquires, for example, a voltage when the near-infrared light of 780 nm, 805 nm, and 830 nm is emitted and applied to the head, and a voltage when the light is not emitted.
  • the voltage is substituted into a predetermined expression (an expression for calculating the amount of hemoglobin), and hemoglobin information that is the amount of hemoglobin is acquired.
  • the first brain activity data acquisition unit 113 acquires hemoglobin information from, for example, 48 channels (48 measurement points exist in FIG. 7).
  • the first brain activity data acquisition unit 113 holds information of a predetermined formula. Then, for example, two different types of brain activity data are acquired by the measuring instrument shown in FIG.
  • the first intention determination information shown in FIG. 8 is stored in the first intention determination information storage unit 111.
  • This first intention determination information is obtained by the first learning feature value group acquisition unit 102 acquiring the first learning feature value group from the first learning data acquired by the first learning data acquisition unit 101 that is a near infrared light measurement device.
  • the first intention determination information storage unit 103 stores the first intention determination information having the first learning feature quantity group and the intention identifier.
  • two feature quantities (first feature quantity and second feature quantity) are stored for each intention identifier.
  • there are two feature amounts constituting the first learning feature amount group but it goes without saying that it may be three or more.
  • the first feature amount and the second feature amount are, for example, the above-described average value, variance, Phase Locking value, and the like.
  • the second intention determination information storage unit 112 stores the second intention determination information shown in FIG. From the second learning data acquired by the second learning data acquisition unit 104 that is an electroencephalogram measurement device, the second learning feature amount group acquisition unit 105 acquires the second learning feature amount group. The second intention determination information storage unit 106 stores the second intention determination information having the second learning feature amount group and the intention identifier.
  • two feature quantities (first feature quantity and second feature quantity) are stored for each intention identifier.
  • there are two feature amounts constituting the second learning feature amount group but it goes without saying that it may be three or more.
  • the first feature amount and the second feature amount are, for example, the above-described average value, variance, Phase Locking value, and the like.
  • the first brain activity data acquisition unit 113 acquires the first brain activity data (NIRS data) shown in FIG.
  • FIG. 10 shows the acquired amount of hemoglobin over time (t).
  • the hemoglobin information is acquired every 8 msec, for example.
  • FIG. 11 shows the acquired electroencephalogram information for each elapse of time (t).
  • FIG. 12 is a graph of the information in FIGS. 10 and 11.
  • the first feature quantity group acquisition means 1151 acquires the first feature quantity group shown in FIG. 13 from the first brain activity data shown in FIG.
  • the first probability calculation means 1152 calculates the first probability for each intention identifier using the intention determination information shown in FIG. An example of such a first probability is shown in FIG.
  • the second feature quantity group acquisition means 1161 acquires the second feature quantity group shown in FIG. 15 from the second brain activity data shown in FIG.
  • the second probability calculation means 1162 calculates a second probability for each intention identifier using the intention determination information shown in FIG. An example of such a second probability is shown in FIG.
  • the intention identifier acquisition unit 1172 acquires the intention identifier “right hand” corresponding to the highest probability (for example, P total Right “0.81”) from the calculated final probability for each intention identifier.
  • the output unit 118 sends the acquired intention identifier “right hand” to the robot 12.
  • the intention identifier receiving unit 122 of the robot 12 receives the intention identifier “right hand” output from the brain information output device 11.
  • the execution unit 123 reads an operation module (for example, a module that moves the right hand of the robot 12) corresponding to the accepted intention identifier “right hand” from the operation information storage unit 121.
  • an operation module for example, a module that moves the right hand of the robot 12
  • the execution unit 123 executes the read operation module. Then, as the user imagined, the right hand of the robot 12 moves.
  • the effect of the brain information output apparatus 11 measured by experiment above is demonstrated.
  • the user arbitrarily imagines one of the left hand, the right hand, the tongue, and the foot, and the brain information output device 11 uses an intention determination algorithm to determine what the user imagined from the brain activity. Use to estimate.
  • the discrimination rate is 63.1 ⁇ 5.4% (the discernable ratio is 63.1%, the standard deviation is 5.4%), and only the near infrared light measuring device is used The discrimination rate was 47.6 ⁇ 7.0%.
  • the brain information output device 11 was proved to be a more stable brain / machine interface.
  • an intention can be detected with high accuracy using two or more types of brain activity data.
  • the method for detecting an intention has been described mainly using two brain activity data.
  • the intention may be detected using three or more brain activity data.
  • Three or more brain activity data are three or more types of data acquired by NIRS (near infrared spectroscopy), fMRI (functional MRI), MEG (magnetoencephalograph), EEG (electroencephalograph), and PET. It is data of.
  • the brain information output device 11 includes a first learning data acquisition unit 101, a first learning feature quantity group acquisition unit 102, a first intention determination information storage unit 103, a second learning data acquisition unit 104, The second learning feature quantity group acquisition unit 105 and the second intention determination information storage unit 106 may not be provided.
  • the brain information output device 11 includes a first intention determination information storage unit 111, a second intention determination information storage unit 112, a first brain activity data acquisition unit 113, a second brain activity data acquisition unit 114, and a first probability calculation.
  • Unit 115, second probability calculation unit 116, intention determination unit 117, and output unit 118 is included in the brain information output device 1112.
  • the learning device includes a first learning data acquisition unit 101, a first learning feature amount group acquisition unit 102, a first intention determination information storage unit 103, a second learning data acquisition unit 104, a second learning feature amount group acquisition unit 105, a first A two-intention discrimination information storage unit 106 is provided.
  • the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and distributed.
  • this program is a first brain activity data acquisition unit that acquires, from the user, first brain activity data that is the first data of the user's brain activity when the user indicates one intention.
  • Second brain activity data which is second data of the brain activity of the user when the user indicates the one intention, and is a different type of data from the first brain activity data.
  • a first brain activity data acquisition unit that acquires from the first brain activity data, and a first probability that the indicated one intention is an intention corresponding to one intention identifier among a plurality of intention identifiers.
  • the second probability calculation unit for calculating each intention identifier and the second brain activity data indicate that the indicated one intention is an intention corresponding to one intention identifier among a plurality of intention identifiers.
  • Probability for each intention identifier Using the second probability calculation unit to be issued, the first probability for each intention identifier calculated by the first probability calculation unit, and the second probability for each intention identifier calculated by the second probability calculation unit, And a program for causing the intention determination unit to function as an output unit that outputs the intention identifier acquired by the intention determination unit.
  • an intention identifier that is information for identifying the user's intention and data acquired from the user's brain when the user performs a series of actions based on the intention identified by the intention identifier are stored in the storage medium.
  • An intention identifier which is information for identifying the user's intention, stored in the storage medium, and acquired from the user's brain when the user performs a series of actions based on the intention identified by the intention identifier.
  • Second intention determination information having a pair of a second learning feature amount group that is one or more feature amounts extracted from second learning data that is the same type of data as the second brain activity data. 2 or more stored, above
  • the first probability calculation unit includes a first feature quantity group acquisition unit that acquires a first input feature quantity group that is one or more feature quantities from the first brain activity data, and the first intention determination information.
  • the second feature quantity group acquisition means for acquiring a second input feature quantity group that is one or more feature quantities, and two or more second intention determination information in the second intention determination information storage unit,
  • the second input feature quantity group acquired by the feature quantity group acquisition means is the two or more meanings.
  • the intention determination unit uses the corresponding first probability, the corresponding second probability, or the corresponding first probability and the second probability for each intention identifier, for each intention identifier.
  • a computer comprising: a third probability calculating means for calculating a final probability, and an intention identifier obtaining means for obtaining an intention identifier corresponding to the largest probability from the final probability for each intention identifier. It is preferable that the program is for functioning.
  • the third probability calculating means uses a different weight for the first probability and the second probability (for example, w in Equation 1 described above) to determine the final for each intention identifier. It is preferable to calculate the probability.
  • the first probability calculation unit calculates the first probability for each intention identifier for only a predetermined intention identifier
  • the second probability calculation unit includes the first probability It is preferable to calculate the second probability for each intention identifier with respect to only a part of the predetermined intention identifiers.
  • FIG. 17 shows the external appearance of a computer that executes the program described in this specification and realizes the brain information output apparatus and the like of the above-described embodiment.
  • the above-described embodiments can be realized by computer hardware and a computer program executed thereon.
  • FIG. 17 is a schematic view of the computer system 340
  • FIG. 18 is a block diagram of the computer system 340.
  • the computer system 340 includes a computer 341 including an FD drive and a CD-ROM drive, a keyboard 342, a mouse 343, and a monitor 344.
  • the computer 341 stores an MPU 3413, a bus 3414 connected to the CD-ROM drive 3412 and the FD drive 3411, and a program such as a bootup program.
  • a RAM 3416 for temporarily storing application program instructions and providing a temporary storage space; and a hard disk 3417 for storing application programs, system programs, and data.
  • the computer 341 may further include a network card that provides connection to the LAN.
  • a program for causing the computer system 340 to execute the functions of the brain information output device and the like of the above-described embodiment is stored in the CD-ROM 3501 or FD 3502, inserted into the CD-ROM drive 3412 or FD drive 3411, and further a hard disk 3417 may be transferred.
  • the program may be transmitted to the computer 341 via a network (not shown) and stored in the hard disk 3417.
  • the program is loaded into the RAM 3416 at the time of execution.
  • the program may be loaded directly from the CD-ROM 3501, the FD 3502, or the network.
  • the program does not necessarily include an operating system (OS) or a third-party program that causes the computer 341 to execute the functions of the brain information output apparatus according to the above-described embodiment.
  • the program only needs to include an instruction portion that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 340 operates is well known and will not be described in detail.
  • the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • each process may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
  • the brain information output apparatus has an effect that the user's intention can be acquired with high accuracy, and is useful as a brain / machine interface or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】従来、精度高く意図を検出できなかった。 【解決手段】ユーザが一の意図を示した際の当該ユーザの第一脳活動データを取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの第二脳活動データを取得する第二脳活動データ取得部と、第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を意図識別子ごとに算出する第一確率算出部と、第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を意図識別子ごとに算出する第二確率算出部と、前記第一確率、および前記第二確率とを用いて意図識別子を取得する意図決定部と、前記意図識別子を出力する出力部とを具備する脳情報出力装置により、精度高く意図を検出できる。

Description

脳情報出力装置、ロボット、および脳情報出力方法
　本発明は、脳の情報を出力する脳情報出力装置等に関するものである。
　近年、脳に対する生理学的な知見の充実、脳計測機器の発展、高性能なコンピュータのコストダウン、および機械学習の分野の進歩等に伴い、脳・機械インタフェース（Brain Machine Interface:ＢＭＩ）に関する研究が注目を浴びてきている（非特許文献１）。ＢＭＩは、脳と機械をつなぐインタフェースである。ＢＭＩは、人が考えた時や、何らかの行動した際に生ずる脳活動の信号を計測し、その計測データに信号処理技術を施すことにより、ユーザの意図を汲み出すものである。
Toward Brain-Computer Interfacing (Neural Information Processing)、 MIT Press、 ISBN 978-0262042444
　しかしながら、従来のＢＭＩにおいて、脳活動データは１つの脳活動計測装置から取得されたデータであることが多い。従来のＢＭＩにおいて、１種類の脳活動データのみを利用した場合、意図の検出精度が高くない場合がある、という課題があった。
　また、脳活動計測装置によって、ユーザの意図の検出が得意である意図、不得意である意図がある。
　本第一の発明の脳情報出力装置は、ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、前記意図決定部が取得した意図識別子を出力する出力部とを具備する脳情報出力装置である。
　かかる構成により、複数の脳活動データを利用して、ユーザの意図を決定するため、精度高く、意図を検出できる。
　また、本第二の発明の脳情報出力装置は、第一の発明に対して、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納し得る第一意図判別情報格納部と、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納し得る第二意図判別情報格納部とをさらに具備し、前記第一確率算出部は、前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、前記第二確率算出部は、前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備する脳情報出力装置である。
　かかる構成により、複数の脳活動データを利用して、ユーザの意図を決定するため、精度高く、意図を検出できる。
　また、本第三の発明の脳情報出力装置は、第一、第二いずれかの発明に対して、前記意図決定部は、前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する脳情報出力装置である。
　かかる構成により、複数の脳活動データから得られる各確率を統合して、意図ごとに確率を算出するため、精度高く、意図を検出できる。
　また、本第四の発明の脳情報出力装置は、第三の発明に対して、前記第三確率算出手段は、前記第一確率と前記第二確率とで、異なる重みを用いて、前記意図識別子ごとの最終的な確率を算出する脳情報出力装置である。
　かかる構成により、脳活動計測装置の特性を考慮して、意図を検出するので、さらに精度高く、意図を検出できる。
　また、本第五の発明の脳情報出力装置は、第一の発明に対して、前記第一確率算出部は、前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、前記第二確率算出部は、前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する脳情報出力装置である。
　かかる構成により、それぞれの脳活動計測装置の得意とする意図のみを使って、意図を検出するので、さらに精度高く、意図を検出できる。
　また、本第六の発明の脳情報出力装置は、第一から第五いずれかの発明に対して、前記第一脳活動データ取得部は、近赤外線光計測装置であり、前記第二脳活動データ取得部は、脳波計測装置である脳情報出力装置である。
　かかる構成により、精度高く、意図を検出できる。
　本発明による脳情報出力装置によれば、精度高く、意図を検出できる。
　以下、脳情報出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
　（実施の形態１）
　本実施の形態において、複数の脳活動計測装置によって得られた複数の脳活動データから、ユーザの意図を決定する脳情報出力装置について説明する。なお、本実施の形態において、主として、２つの脳活動計測装置によって得られた２つの脳活動データから、ユーザの意図を決定する脳情報出力装置について説明するが、３つ以上の脳活動計測装置によって得られた３つ以上の脳活動データから、ユーザの意図を決定する脳情報出力装置であっても良い。脳活動データが２つの場合も、３つ以上の場合も、ユーザの意図を決定する方法は同様である。
　また、本実施の形態において、複数の脳活動計測装置から得られる複数の脳活動データのそれぞれに対して、重み付けして、ユーザの意図を決定する脳情報出力装置についても説明する。なお、脳活動データに対する重み付けは、脳活動データから得られた確率に対する重み付けと同意義である。
　また、本実施の形態において、各脳活動計測装置が、得意とする意図のみを使って、最終的な意図を決定する脳情報出力装置についても説明する。
　さらに、本実施の形態において、脳情報出力装置の出力を受けて動作するロボットを含むロボットシステムについても説明する。
　図１は、本実施の形態におけるロボットシステム１の概念図である。ロボットシステム１は、脳情報出力装置１１、ロボット１２を具備する。脳情報出力装置１１は、ユーザからの脳情報を取得し、ユーザの意図を検出し、当該意図を示す意図識別子をロボット１２に出力する装置である。また、ロボット１２は、脳情報出力装置１１から意図識別子を受け取り、当該意図識別子に対応する動作を行う電子機器である。ロボット１２は、いわゆる人型の形状を有する電子機器でも良いが、他の形状を有する電子機器でも良い。ロボット１２は、例えば、四輪車、二輪車、航空機、電車などの移動体でも良い。
　図２は、本実施の形態におけるロボットシステム１のブロック図である。脳情報出力装置１１は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４、第一確率算出部１１５、第二確率算出部１１６、意図決定部１１７、出力部１１８を具備する。
　第一確率算出部１１５は、第一特徴量群取得手段１１５１、第一確率算出手段１１５２を具備する。
　第二確率算出部１１６は、第二特徴量群取得手段１１６１、第二確率算出手段１１６２を具備する。
　意図決定部１１７は、第三確率算出手段１１７１、意図識別子取得手段１１７２を具備する。
　ロボット１２は、動作情報格納部１２１、意図識別子受付部１２２、実行部１２３を具備する。
　第一学習データ取得部１０１は、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データ（第一学習データ）を取得する。第一学習データ取得部１０１は、例えば、近赤外線光計測装置である。近赤外線光計測装置とは、近赤外光を用いて頭皮上から非侵襲的に脳機能マッピングする、「光機能画像法」の原理を応用した装置である。また、第一学習データ取得部１０１は、例えば、脳波計測装置である。脳波計測装置は、脳波を計測する装置である。脳波を計測する機能を有する装置として、例えば、ＢｉｏＳｅｍｉ社の装置（ＡｃｔｉｖｅＴｗｏシステム）等が存在する。また、第一学習データ取得部１０１は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)なども良い。
　また、一の学習データとは、一連の行為を行った際に、観測される一連のデータである。一の学習データは、通常、時系列的なデータである。一の学習データは、例えば、１０秒間の、脳の複数地点の血流量を示す情報である。
　第一学習特徴量群取得部１０２は、第一学習データから第一学習特徴量群を取得する。第一学習特徴量群は、１以上の特徴量の集合である。第一学習特徴量群取得部１０２は、例えば、第一学習データに対して信号処理し、特徴量を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、第一学習特徴量群を構成する特徴量は、第一学習データの特性を示すデータであれば、何でも良い。また、第一学習特徴量群取得部１０２が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。第一学習特徴量群取得部１０２は、通常、ＭＰＵやメモリ等から実現され得る。第一学習特徴量群取得部１０２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第一意図判別情報蓄積部１０３は、第一学習特徴量群取得部１０２が取得した第一学習特徴量群と、一の意図を識別する意図識別子とを対応付けて、第一意図判別情報格納部１１１に蓄積する。この意図識別子と第一学習特徴量群が意図判別情報である。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置１１が予め保持していても良い。意図識別子の入力方法は問わない。第一意図判別情報蓄積部１０３は、通常、ＭＰＵやメモリ等から実現され得る。第一意図判別情報蓄積部１０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第二学習データ取得部１０４は、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データ（第二学習データ）を取得する。第二学習データ取得部１０４は、例えば、脳波計測装置である。また、第二学習データ取得部１０４は、例えば、近赤外線光計測装置である。また、第二学習データ取得部１０４は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)なども良い。
　第二学習特徴量群取得部１０５は、第二学習データから第二学習特徴量群を取得する。第二学習特徴量群は、１以上の特徴量の集合である。第二学習特徴量群取得部１０５は、例えば、第二学習データに対して信号処理し、特徴量を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理、などである。第二学習特徴量群取得部１０５は、通常、ＭＰＵやメモリ等から実現され得る。第二学習特徴量群取得部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第二意図判別情報蓄積部１０６は、第二学習特徴量群取得部１０５が取得した第二学習特徴量群と、一の意図を識別する意図識別子とを対応付けて、第二意図判別情報格納部１１２に蓄積する。この意図識別子と第二学習特徴量群が意図判別情報である。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置１１が予め保持していても良い。意図識別子の入力方法は問わない。第二意図判別情報蓄積部１０６は、通常、ＭＰＵやメモリ等から実現され得る。第二意図判別情報蓄積部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第一意図判別情報格納部１１１は、２以上の第一意図判別情報を格納し得る。第一意図判別情報は、意図識別子と第一学習特徴量群とを対に有する情報である。意図識別子は、ユーザの意図を識別する情報である。意図とは、体の一部（例えば、右手、左手、舌、足など）を動かす行為や、特定のこと（例えば、右手を動かしていること、舌を出したこと、走っていることなど）を想像することなど、ユーザが考えて脳の活動に反映されることである。また、意図識別子は、例えば、ユーザが動かす体の部分であり、例えば、「右手」「左手」「舌」「足」の４つである。また、意図識別子は、例えば、「右手」「左手」の２つであっても良い。意図識別子の数は問わないが、意図識別子の数は少ない方が、通常、脳情報出力装置１１が出力する意図識別子がユーザの意図と合致している可能性は高い、と考えられる。第一学習特徴量群は、第一学習データから抽出された１以上の特徴量の情報である。第一学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から取得されたデータであり、第一脳活動データと同一種類のデータである。
　第一意図判別情報格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
　第一意図判別情報格納部１１１に第一意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよく、通信回線等を介して送信された第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよい。
　第二意図判別情報格納部１１２は、２以上の第二意図判別情報を格納し得る。第二意図判別情報は、意図識別子と第二学習特徴量群とを対に有する情報である。第二学習特徴量群は、第二学習データから抽出された１以上の特徴量の情報である。第二学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から取得されたデータであり、第二脳活動データと同一種類のデータである。また、第二学習データは、第一学習データとは異なる種類のデータである。
　第二意図判別情報格納部１１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
　第二意図判別情報格納部１１２に第二意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよく、通信回線等を介して送信された第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよい。
　第一脳活動データ取得部１１３は、第一脳活動データを、ユーザから取得する。第一脳活動データは、ユーザが一の意図を示した際に、当該ユーザから取得された脳活動の第一のデータである。第一脳活動データは、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）により取得されるデータなどである。第一脳活動データは、脳活動を示すデータであれば何でもよい。なお、第一脳活動データは第一学習データと同じ種類のデータである。第一脳活動データ取得部１１３は、例えば、近赤外線光計測装置である。また、第一脳活動データ取得部１１３は、例えば、脳波計測装置である。また、第一脳活動データ取得部１１３は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)などでも良い。ただし、第一脳活動データと第二脳活動データは、異なる種類のデータである。
　第二脳活動データ取得部１１４は、第二脳活動データを、ユーザから取得する。第二脳活動データは、ユーザが一の意図を示した際に、当該ユーザから取得された脳活動の第二のデータであり、第一脳活動データとは異なる種類のデータである。第二脳活動データは、第一脳活動データと同様、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）により取得されるデータなどである。第二脳活動データは、脳活動を示すデータであれば何でもよい。なお、第二脳活動データは第二学習データと同じ種類のデータである。第二脳活動データ取得部１１４は、例えば、脳波計測装置である。第二脳活動データ取得部１１４は、脳波計測装置、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)などでも良い。
　第一確率算出部１１５は、第一脳活動データから、ユーザにより示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する。第一確率算出部１１５は、第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出しても良い。意図識別子ごととは、通常、すべての意図識別子の確率を算出するが、すべての意図識別子の確率を算出しない場合もあり得る。第一確率算出部１１５は、第一脳活動データが得意とする意図に対応する意図識別子の確率のみを算出しても良い。つまり、第一確率算出部１１５は、例えば、第一脳活動データが得意とする意図識別子「右手」および「左手」のみの第一確率を算出しても良い。第一確率算出部１１５は、好ましくは、後述する第一特徴量群取得手段１１５１、第一確率算出手段１１５２により、第一確率を算出する。ただし、第一確率算出部１１５は、第一特徴量群取得手段１１５１、第一確率算出手段１１５２以外の手段により、第一確率を算出しても良い。第一確率算出部１１５は、通常、ＭＰＵやメモリ等から実現され得る。第一確率算出部１１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第一特徴量群取得手段１１５１は、第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する。第一特徴量群取得手段１１５１は、第一脳活動データを信号処理することにより、１以上の特徴量を取得する。第一特徴量群取得手段１１５１の処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理などの信号処理である。また、特徴量とは、平均値、分散など、何でも良い。第一特徴量群取得手段１１５１は、通常、ＭＰＵやメモリ等から実現され得る。第一特徴量群取得手段１１５１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第一確率算出手段１１５２は、第一意図判別情報格納部１１１の２以上の第一意図判別情報を用いて、第一特徴量群取得手段１１５１が取得した第一入力特徴量群が、２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、２以上の意図識別子ごとに算出する。
　意図識別子が２つ（２種類）の場合、例えば、第一確率算出手段１１５２は、以下のように意図識別子ごとの確率を算出する。つまり、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第一の意図識別子］、またはクラス２［第二の意図識別子］）に分けるための境界面の情報を得る。かかる概念を図１９に示す。
　次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する（図２０参照）。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０～１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０～１）を、第一の意図識別子の確率とする。そして、第一確率算出手段１１５２は、第二の意図識別子の確率を、「１－第一の意図識別子の確率」により算出する。
　また、意図識別子が４つ（４種類）の場合、例えば、第一確率算出手段１１５２は、以下のように意図識別子ごとの確率を算出する。つまり、上記２つの意図識別子の場合の処理を拡張する。まず、第一の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第一の意図識別子］、またはクラス２［第二の意図識別子または第三の意図識別子または第四の意図識別子］）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０～１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０～１）を、第一の意図識別子の確率とする。次に、確率算出手段１１８１は、第二の意図識別子または第三の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１－第一の意図識別子の確率」により算出する。
　そして、次に、第二の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第二の意図識別子］、またはクラス２［第一の意図識別子または第三の意図識別子または第四の意図識別子］）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０～１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０～１）を、第二の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第三の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１－第二の意図識別子の確率」により算出する。
　そして、次に、第三の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第三の意図識別子］、またはクラス２［第一の意図識別子または第二の意図識別子または第四の意図識別子］）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０～１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０～１）を、第三の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第二の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１－第三の意図識別子の確率」により算出する。
　そして、次に、第四の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第四の意図識別子］、またはクラス２［第一の意図識別子または第二の意図識別子または第三の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０～１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０～１）を、第四の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第二の意図識別子または第三の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１－第四の意図識別子の確率」により算出する。
　そして、第一確率算出手段１１５２は、上記で取得した確率をマージすることにより、第一の意図識別子から第四の意図識別子の確率を取得する。ここで、マージとは、前記の第一の意図識別子の確率（Ｐ１）、前記の第一以外の意図識別子の確率（Ｐ２３４）、前記の第二の意図識別子の確率（Ｐ２）、前記の第二以外の意図識別子の確率（Ｐ１３４）、前記の第三の意図識別子の確率（Ｐ３）、前記の第三以外の意図識別子の確率（Ｐ１２４）、前記の第四の意図識別子の確率（Ｐ４）、前記の第四以外の意図識別子の確率（Ｐ１２３）の８つの確率から求める操作のことを言う。マージした第一の意図識別子の確率はＰ１×Ｐ１３４×Ｐ１２４×Ｐ１２３、マージした第二の意図識別子の確率はＰ２３４×Ｐ２×Ｐ１２４×Ｐ１２３、マージした第三の意図識別子の確率はＰ２３４×Ｐ１３４×Ｐ３×Ｐ１２３、マージした第四の意図識別子はＰ２３４×Ｐ１３４×Ｐ１２４×Ｐ４のように求めることが好適である。なお、確率を正規化する操作を加えても良い。また、ここで、正規化とは、マージした第一の意図識別子の確率から第四の意図識別子の確率までを足した値でそれぞれの確率を割ることで、全てを足した確率が１になるようにする操作である。
　第一確率算出手段１１５２は、通常、ＭＰＵやメモリ等から実現され得る。第一確率算出手段１１５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第二確率算出部１１６は、第二脳活動データから、ユーザにより示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する。
　第二確率算出部１１６は、第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する。第二確率算出部１１６は、第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出しても良い。意図識別子ごととは、通常、すべての意図識別子の確率を算出するが、すべての意図識別子の確率を算出しない場合もあり得る。第二確率算出部１１６は、第二脳活動データが得意とする意図に対応する意図識別子の確率のみを算出しても良い。つまり、第二確率算出部１１６は、例えば、第二脳活動データが得意とする意図識別子「舌」および「足」のみの第二確率を算出しても良い。第二確率算出部１１６の第二確率の算出方法は、第一確率算出部１１５の第一確率の算出方法と同様で良い。
　第二確率算出部１１６は、通常、ＭＰＵやメモリ等から実現され得る。第二確率算出部１１６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第二特徴量群取得手段１１６１は、第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する。第二特徴量群取得手段１１６１は、第二脳活動データを信号処理することにより、１以上の特徴量を取得する。第二特徴量群取得手段１１６１が行う信号処理は、通常、第一特徴量群取得手段１１５１が行う信号処理と同様である。第二特徴量群取得手段１１６１は、通常、ＭＰＵやメモリ等から実現され得る。第二特徴量群取得手段１１６１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第二確率算出手段１１６２は、第二意図判別情報格納部１１２の２以上の第二意図判別情報を用いて、第二特徴量群取得手段１１６１が取得した第二入力特徴量群が、２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、２以上の意図識別子ごとに算出する。第二確率算出手段１１６２の第二確率の算出処理方法は、通常、第一確率算出手段１１５２の第一確率の算出処理方法と同様である。第二確率算出手段１１６２は、通常、ＭＰＵやメモリ等から実現され得る。第二確率算出手段１１６２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　意図決定部１１７は、第一確率算出部１１５が算出した意図識別子ごとの第一確率、および第二確率算出部１１６が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する。意図決定部１１７は、第一確率および第二確率をどのように用いて、意図識別子を取得するかは問わない。意図決定部１１７は、第一確率がよい高い意図識別子、第二確率がよい高い意図識別子を取得する方向に判断することは言うまでもない。意図決定部１１７は、通常、ＭＰＵやメモリ等から実現され得る。意図決定部１１７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　第三確率算出手段１１７１は、意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、意図識別子ごとの最終的な確率を算出する。第三確率算出手段１１７１は、第一確率と第二確率とで、異なる重みを用いて、意図識別子ごとの最終的な確率を算出することは好適である。
　第三確率算出手段１１７１は、例えば、以下の数式１に基づいて、意図識別子ごとの最終的な確率を算出する。つまり、第三確率算出手段１１７１は、第一確率算出手段１１５２が算出した意図識別子ごとの第一確率と、第二確率算出手段１１６２が算出した意図識別子ごとの第二確率とを、数式１に代入し、意図識別子ごとの最終的な確率を算出する。なお、第三確率算出手段１１７１は、数式１の情報を予め保持している。また、数式１は、第一確率と第二確率とを統合して、意図識別子ごとの最終的な確率を算出する数式である。
Figure JPOXMLDOC01-appb-M000001
　数式１において、第一脳活動データは、近赤外線光計測装置により取得されたヘモグロビン量の時系列のデータである。また、第二脳活動データは、脳波計測装置により取得された脳波の時系列のデータである。
　また、数式１において、意図識別子は、左手「Ｌｅｆｔ」、右手「Ｒｉｇｈｔ」、舌「Ｔｏｎｇｕｅ」、足「Ｆｏｏｔ」の4種類である。
　また、数式１において、ＰＮＩＲＳ Ｌｅｆｔ（数式１において上付きの文字列と下付きの文字列は上限に並んでいるが、上付きの文字列と下付きの文字が上下に整列しているものと、ずれているものとは同一のものである。）は、第一確率算出部１１５が算出した、意図識別子「Ｌｅｆｔ」である第一確率、ＰＮＩＲＳ Ｒｉｇｈｔは第一確率算出部１１５が算出した意図識別子「Ｒｉｇｈｔ」である第一確率、ＰＮＩＲＳ Ｔｏｎｇｕｅは第一確率算出部１１５が算出した意図識別子「Ｔｏｎｇｕｅ」である第一確率、ＰＮＩＲＳ Ｆｏｏｔは第一確率算出部１１５が算出した意図識別子「Ｆｏｏｔ」である第一確率である。また、ＰＥＥＧ Ｌｅｆｔは第二確率算出部１１６が算出した意図識別子「Ｌｅｆｔ」である第二確率、ＰＥＥＧ Ｒｉｇｈｔは第二確率算出部１１６が算出した意図識別子「Ｒｉｇｈｔ」である第二確率、ＰＥＥＧ Ｔｏｎｇｕｅは第二確率算出部１１６が算出した意図識別子「Ｔｏｎｇｕｅ」である第二確率、ＰＥＥＧ Ｆｏｏｔは第二確率算出部１１６が算出した意図識別子「Ｆｏｏｔ」である第二確率である。また、Ｐｔｏｔａｌ ｔｅｘｔは最終的な確率である。Ｐｔｏｔａｌ ｔｅｘｔは、意図識別子ＴＥＸＴ（Ｌｅｆｔ、Ｒｉｇｈｔ、Ｔｏｎｇｕｅ、またはＦｏｏｔ）の最終的な確率である。
　また、数式１において、ｗは重みを示す重みパラメータである。「ｗ＝１」の場合、第一確率も第二確率も同じ重みで扱うことを示す。「ｗ＝２」の場合、第一確率より第二確率の方に重きを置いて扱うことを示す。
　また、数式１において、ｉは、「Ｌｅｆｔ、Ｒｉｇｈｔ、Ｔｏｎｇｕｅ、Ｆｏｏｔ」のいずれかをとり得る。さらに、ＰＮＩＲＳ ｉは、近赤外線光計測装置から得られる確率、ＰＥＥＧ ｉは、脳波から得られる確率である。
　また、第三確率算出手段１１７１は、第一脳活動データ取得部１１３（第一脳活動データと言っても良い）が得意とする意図（例えば、左手「Ｌｅｆｔ」、右手「Ｒｉｇｈｔ」）のみを使い、かつ第二脳活動データ取得部１１４（第二脳活動データと言っても良い）が得意とする意図（例えば、左手「Ｔｏｎｇｕｅ」、右手「Ｆｏｏｔ」）のみを使って、意図識別子ごとの最終的な確率を取得しても良い。かかる場合、第三確率算出手段１１７１は、第一脳活動データ取得部１１３を識別する情報や第二脳活動データ取得部１１４を識別する情報と、得意とする意図を識別する意図識別子を対応付けて保持している。
　第三確率算出手段１１７１は、通常、ＭＰＵやメモリ等から実現され得る。第三確率算出手段１１７１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　意図識別子取得手段１１７２は、意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。意図識別子取得手段１１７２は、通常、一の意図識別子のみを取得する。意図識別子取得手段１１７２は、通常、ＭＰＵやメモリ等から実現され得る。意図識別子取得手段１１７２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　出力部１１８は、意図決定部１１７が取得した意図識別子を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。なお、出力とは、ロボット１２への意図識別子の送付が好適である。出力部１１８は、例えば、ロボット１２へ意図識別子を送付する通信手段で実現され得る。
　動作情報格納部１２１は、２以上の動作情報を格納し得る。動作情報とは、意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である。動作モジュールとは、ハードウェアで実現されていても良いし、ソフトウェアで実現されていても良いし、ハードウェアとソフトウェアで実現されていても良い。動作情報格納部１２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。動作情報格納部１２１に動作情報が記憶される過程は問わない。例えば、記録媒体を介して動作情報が動作情報格納部１２１で記憶されるようになってもよく、通信回線等を介して送信された動作情報が動作情報格納部１２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された動作情報が動作情報格納部１２１で記憶されるようになってもよい。
　意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子を受け付ける。受け付けとは、通信手段を用いた受信や、ソフトウェアによる情報（意図識別子）の引き渡し等である。
　実行部１２３は、意図識別子受付部１２２が受け付けた意図識別子に対応する動作モジュールを実行する。動作モジュールが実現する動作内容は何でも良い。実行部１２３は、通常、ＭＰＵやメモリ等から実現され得る。実行部１２３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　次に、ロボットシステム１の動作について説明する。まず、脳情報出力装置１１の動作について説明する。図３は、脳情報出力装置１１が学習データを取得する動作を説明するフローチャートである。学習データとは、ここでは、第一意図判別情報または第二意図判別情報である。なお、図３のフローチャートにおいて、学習データの種類は、３以上でも対応可能なフローを示している。
　（ステップＳ３０１）脳情報出力装置１１の図示しない出力手段は、ユーザに対して、一の意図に対応する行為を行うように指示を出力する。出力手段が出力する指示の情報は、出力手段が予め保持している、とする。指示の情報とは、例えば、「右手を１０秒間、１０Ｈｚで、握ったり、開いたりしてください。」「１０秒間、舌を出し入れしてください。」「右手を握ったり、開いたりしていることを想像してください。」など、ユーザの脳活動に影響を与える動作をユーザにおこさせるための指示の情報である。
　（ステップＳ３０２）例えば、第一意図判別情報蓄積部１０３等の意図判別情報蓄積部は、ステップＳ３０１で出力された指示に対応する意図識別子を取得する。意図判別情報蓄積部は、ステップＳ３０１で出力された指示に対応する意図識別子を、予め保持している、とする。
　（ステップＳ３０３）第一学習データ取得部１０１、第二学習データ取得部１０４等の学習データ取得部は、それぞれに対応する学習データを取得する。ここで、２以上のすべての学習データが取得される。
　（ステップＳ３０４）脳情報出力装置１１は、カウンタｉに１を設定する。
　（ステップＳ３０５）脳情報出力装置１１は、ステップＳ３０３で取得された学習データのうち、ｉ番目の学習データが存在するか否かを判断する。ｉ番目の学習データが存在すればステップＳ３０６に行き、ｉ番目の学習データが存在しなければ処理を終了する。
　（ステップＳ３０６）ｉ番目の学習データに対応する学習特徴量群取得部（例えば、第一学習特徴量群取得部１０２や、第二学習特徴量群取得部１０５など）は、ｉ番目の学習データから、ｉ番目の学習特徴量群を取得する。
　（ステップＳ３０７）ｉ番目の学習データに対応する意図判別情報蓄積部（例えば、第一意図判別情報蓄積部１０３や、第二意図判別情報蓄積部１０６など）は、ｉ番目の学習特徴量群と、ステップＳ３０２で取得した意図識別子とを対応付けて、ｉ番目の意図判別情報を構成する。
　（ステップＳ３０８）ｉ番目の学習データに対応する意図判別情報蓄積部は、ステップＳ３０７で構成されたｉ番目の意図判別情報を、対応する意図判別情報格納部（例えば、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２など）に蓄積する。
　（ステップＳ３０９）脳情報出力装置１１は、カウンタｉを１、インクリメントする。ステップＳ３０５に戻る。
　次に、脳情報出力装置１１が、２以上の意図判別情報を用いて、意図識別子を取得する動作を、図４のフローチャートを用いて説明する。
　（ステップＳ４０１）第一脳活動データ取得部１１３、または第二脳活動データ取得部１１４などの脳活動データ取得部は、脳活動データを取得したか否かを判断する。脳活動データを取得すればステップＳ４０２に行き、脳活動データを取得しなければステップＳ４０１に戻る。
　（ステップＳ４０２）脳活動データ取得部は、ステップＳ４０１で取得した脳活動データを、少なくとも一時、記録媒体に蓄積する。
　（ステップＳ４０３）脳情報出力装置１１は、すべての種類の脳活動データを取得できたか否かを判断する。すべての種類の脳活動データを取得できていればステップＳ４０４に行き、取得できていなければステップＳ４０１に戻る。なお、脳情報出力装置１１は、取得するべき、すべての種類の脳活動データを識別する情報（例えば、「ＮＩＲＳ」「ＥＥＧ」など）を保持している。
　（ステップＳ４０４）脳情報出力装置１１は、カウンタｉに１を代入する。
　（ステップＳ４０５）第一確率算出部１１５、第二確率算出部１１６などの確率算出部は、ステップＳ４０２で蓄積された脳活動データのうち、ｉ番目の種類の脳活動データが存在するか否かを判断する。ｉ番目の種類の脳活動データが存在すればステップＳ４０６に行き、ｉ番目の種類の脳活動データが存在しなければステップＳ４０９に行く。
　（ステップＳ４０６）第一特徴量群取得手段１１５１、または第二特徴量群取得手段１１６１などの特徴量群取得手段は、ｉ番目の種類の脳活動データから、ｉ番目の特徴量群を取得する。
　（ステップＳ４０７）第一確率算出手段１１５２、第二確率算出手段１１６２などの確率算出手段は、ｉ番目の意図判別情報（対応する意図判別情報格納部に存在する）を用いて、意図識別子ごとのｉ番目の確率を算出する。
　（ステップＳ４０８）脳情報出力装置１１は、カウンタｉを１、インクリメントする。ステップＳ４０５に戻る。
　（ステップＳ４０９）第三確率算出手段１１７１は、意図識別子ごとに、第一確率から第（ｉ－１）確率を用いて、最終的な確率を算出する。かかる算出式は、例えば、数式１である。
　（ステップＳ４１０）意図識別子取得手段１１７２は、ステップＳ４０９で算出した意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。
　（ステップＳ４１１）出力部１１８は、ステップＳ４１０で取得された意図識別子を出力する。処理を終了する。
　次に、ロボット１２の動作について、図５のフローチャートを用いて説明する。
　（ステップＳ５０１）意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子を受け付けたか否かを判断する。意図識別子を受け付ければステップＳ５０２に行き、意図識別子を受け付けなければステップＳ５０１に戻る。
　（ステップＳ５０２）実行部１２３は、ステップＳ５０１で受け付けられた意図識別子に対応する動作モジュールを、動作情報格納部１２１から読み出す。
　（ステップＳ５０３）実行部１２３は、ステップＳ５０２で読み出した動作モジュールを実行する。ステップＳ５０１に戻る。
　以上の処理により、ユーザが意図した行為（思考を含む）に対応する動作が、ロボット１２により行われる。
　なお、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
　以下、本実施の形態における脳情報出力装置１１の概念を説明する。脳情報出力装置１１の概念図は図６である。
　脳情報出力装置１１において、複数の脳活動計測装置（Ｓ１１－１、Ｓ１１－２）を使って、ユーザ（Ｓ１２）の脳活動をリアルタイムに測定し、脳活動データ（Ｓ１３－１、Ｓ１３－２）を得る。そして、脳情報出力装置１１において、かかる脳活動データ（Ｓ１３－１、Ｓ１３－２）を意図判別アルゴリズム（Ｓ１４－１、Ｓ１４－２）に入れて、脳活動計測装置Ｓ１１－１、Ｓ１１－２から推定されるユーザの意図（Ｓ１５－１、Ｓ１５－２）とそれぞれの確信度合を示す確率（Ｓ１６－１、Ｓ１６－２）を計算する。その確率Ｓ１６－１とＳ１６－２を統計学で言うベイズの定理に基づいて、意図統合装置（Ｓ１７）により結合し、ユーザの統合意図（Ｓ１８）とその確率（Ｓ１９）を得ることで、複数の脳活動計測装置を使った脳・機械インタフェースの判別性能向上が図られる。
　なお、図６において、脳活動計測装置（Ｓ１１－１、Ｓ１１－２）は、例えば、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４に該当する。そして、脳活動データ（Ｓ１３－１、Ｓ１３－２）は、例えば、第一脳活動データ、第二脳活動データに該当する。また、意図判別アルゴリズム（Ｓ１４－１、Ｓ１４－２）は、例えば、第一確率算出部１１５、第二確率算出部１１６に該当する。また、意図（Ｓ１５－１、Ｓ１５－２）は、意図識別子に該当する。また、確率Ｓ１６－１とＳ１６－２は、第一確率、第二確率に該当する。また、意図統合装置（Ｓ１７）は、意図決定部１１７に該当する。さらに、統合意図（Ｓ１８）は、意図決定部１１７が取得した意図識別子、その確率（Ｓ１９）は、最終的な確率に該当する。
　以下、本実施の形態におけるロボットシステム１の具体的な動作について説明する。ロボットシステム１の概念図は図１である。この具体的な動作は、一の実験に基づいている。
　今、脳情報出力装置１１は、いわゆる脳・機械インタフェース（左手・右手の実運動）として機能する電子機器である。そして、脳情報出力装置１１から出力される意図識別子は、ロボット１２に送付され、ロボット１２は意図識別子に対応した動作を行う、とする。
　また、第一学習データ取得部１０１、および第一脳活動データ取得部１１３は、近赤外線光計測装置である。そして、第一学習データおよび第一脳活動データは、ＮＩＲＳデータである。ＮＩＲＳデータとは、頭部のヘモグロビン量を示すヘモグロビン情報の集合である。
　また、第二学習データ取得部１０４、および第二脳活動データ取得部１１４は、脳波計測装置である。
　そして、図７は、ユーザが頭部にかぶる測定器具である。図７において、第一脳活動データ取得部１１３と、第二脳活動データ取得部１１４のハードウェア構成が示されている。また、第一学習データ取得部１０１、および第二学習データ取得部１０４のハードウェア構も、図７の測定器具である。なお、第一脳活動データ取得部１１３は、例えば、７８０ｎｍ、８０５ｎｍ、８３０ｎｍの近赤外光を発光させて頭部に当てた場合の電圧と、発光しない場合の電圧を取得し、当該取得した電圧を、予め決められた式（ヘモグロビン量を算出する式）に代入し、ヘモグロビン量であるヘモグロビン情報を取得する。また、第一脳活動データ取得部１１３は、例えば、４８チャネル（図７において、４８の測定点が存在する）から、ヘモグロビン情報を取得する。なお、第一脳活動データ取得部１１３は、予め決められた式の情報を保持している。そして、例えば、図７に示す測定器具により、２種類の異なる脳活動データが取得される。
　今、第一意図判別情報格納部１１１に、図８に示す第一意図判別情報が格納されている。この第一意図判別情報は、近赤外線光計測装置である第一学習データ取得部１０１により取得された第一学習データから、第一学習特徴量群取得部１０２が第一学習特徴量群を取得し、当該第一学習特徴量群と意図識別子を有する第一意図判別情報を、第一意図判別情報蓄積部１０３が蓄積したデータである。図８において、意図識別子ごとに、２つの特徴量（第一特徴量、第二特徴量）が格納されている。なお、図８では、第一学習特徴量群を構成する特徴量は２つであったが、３以上であったも良いことは言うまでもない。また、第一特徴量、および第二特徴量は、具体的には、例えば、上述した平均値、分散、Phase Locking 値などである。
　また、第二意図判別情報格納部１１２に、図９に示す第二意図判別情報が格納されている。この第二意図判別情報は、脳波計測装置である第二学習データ取得部１０４により取得された第二学習データから、第二学習特徴量群取得部１０５が第二学習特徴量群を取得し、当該第二学習特徴量群と意図識別子を有する第二意図判別情報を、第二意図判別情報蓄積部１０６が蓄積したデータである。図９において、意図識別子ごとに、２つの特徴量（第一特徴量、第二特徴量）が格納されている。なお、図９では、第二学習特徴量群を構成する特徴量は２つであったが、３以上であったも良いことは言うまでもない。また、第一特徴量、および第二特徴量は、具体的には、例えば、上述した平均値、分散、Phase Locking 値などである。
　かかる状況において、ユーザは、例えば、「右手」を動かしている動作を想像する、とする。かかる場合、意図は「右手を動かすように想像すること」であり、意図識別子は「右手」である。
　そして、第一脳活動データ取得部１１３は、図１０に示す第一脳活動データ（ＮＩＲＳデータ）を取得した、とする。図１０は、時間（ｔ）の経過ごとの、取得されたヘモグロビン量を示す。ヘモグロビン情報は、ここでは、例えば、８ｍｓｅｃごとに取得される、とする。
　また、第二脳活動データ取得部１１４は、図１１に示す第二脳活動データ（脳波データ）を取得した、とする。図１１は、時間（ｔ）の経過ごとの、取得された脳波情報を示す。図１１において、脳波情報は２ｍｓｅｃごとに取得される、とする。なお、図１０、図１１の情報を、グラフにした図が図１２である。
　次に、第一特徴量群取得手段１１５１は、図１０に示す第一脳活動データから、図１３に示す第一特徴量群を取得する。
　そして、次に、第一確率算出手段１１５２は、図８の意図判別情報を用いて、意図識別子ごとの第一確率を算出する。かかる第一確率の例を図１４に示す。
　次に、第二特徴量群取得手段１１６１は、図１１に示す第二脳活動データから、図１５に示す第二特徴量群を取得する。
　そして、次に、第二確率算出手段１１６２は、図９の意図判別情報を用いて、意図識別子ごとの第二確率を算出する。かかる第二確率の例を図１６に示す。
　次に、第三確率算出手段１１７１は、図１４の第一確率、図１６の第二確率、および「ｗ＝１」を、数式１に代入し、意図識別子ごとに、最終的な確率（例えば、Ｐｔｏｔａｌ Ｒｉｇｈｔ＝０．８１、Ｐｔｏｔａｌ Ｌｅｆｔ＝０．０５、Ｐｔｏｔａｌ Ｔｏｎｇｕｅ＝０．１１、Ｐｔｏｔａｌ Ｆｏｏｔ＝０．０３）を算出する。
　次に、意図識別子取得手段１１７２は、算出した意図識別子ごとの最終的な確率から、最も大きい確率（例えば、Ｐｔｏｔａｌ Ｒｉｇｈｔ「「０．８１」）に対応する意図識別子「右手」を取得する。
　そして、出力部１１８は、取得された意図識別子「右手」を、ロボット１２に送付する。
　次に、ロボット１２の意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子「右手」を受け付ける。
　そして、実行部１２３は、受け付けられた意図識別子「右手」に対応する動作モジュール（例えば、ロボット１２の右手を動かすモジュール）を、動作情報格納部１２１から読み出す。
　次に、実行部１２３は、読み出した動作モジュールを実行する。そして、ユーザが想像したように、ロボット１２の右手が動くこととなる。
　なお、上記に実験により測定された、脳情報出力装置１１の効果について説明する。上述したように、ユーザは、左手・右手・舌・足のうちの一つを任意にイメージし、脳情報出力装置１１は、その脳活動からユーザが何をイメージしたかを、意図判別アルゴリズムを用いて推定する。
　脳波計測装置だけを使った場合の判別率は６３．１±５．４％（判別できた割合が６３．１％、標準偏差が５．４％）、近赤外線光計測装置だけを使った場合の判別率は４７．６±７．０％であった。一方、脳情報出力装置１１により、脳波計測装置と近赤外線光計測装置の両方を用いて、脳波とＮＩＲＳデータを統合した場合の判別率（ｗ＝１とした）は６８．１±３．７％となり、性能の向上と、その性能のばらつきである標準偏差の低下が観察された。そして、脳情報出力装置１１は、より安定した脳・機械インタフェースであることが証明された。
　以上、本実施の形態によれば、２以上の種類の脳活動データを用いて、精度高く、意図を検出できる。
　なお、本実施の形態によれば、主として、２つの脳活動データを用いて、意図を検出する方法について説明した。しかし、３以上の脳活動データを用いて、意図を検出しても良い。３以上の脳活動データとは、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）、ＰＥＴにより取得されるデータのうちの３以上の種類のデータである。
　また、本実施の形態において、脳情報出力装置１１は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６を有しなくても良い。かかる場合、脳情報出力装置１１は、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４、第一確率算出部１１５、第二確率算出部１１６、意図決定部１１７、出力部１１８を具備する。そして、第一意図判別情報および第二意図判別情報を取得する処理は、他の装置（例えば、学習装置という。）によりなされる。学習装置は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６を具備する。
　さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、前記意図決定部が取得した意図識別子を出力する出力部として機能させるためのプログラム、である。
　また、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納しており、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納しており、上記プログラムにおいて、前記第一確率算出部は、前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、前記第二確率算出部は、前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
　また、上記プログラムにおいて、前記意図決定部は、前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
　また、上記プログラムにおいて、前記第三確率算出手段は、前記第一確率と前記第二確率とで、異なる重み（例えば、上述した数式１のｗ）を用いて、前記意図識別子ごとの最終的な確率を算出することは好適である。
　また、上記プログラムにおいて、前記第一確率算出部は、前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、前記第二確率算出部は、前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出することは好適である。かかることにより、各計測装置が得意とする意図のみを使うことになり、意図の出力の精度が高まる。
　また、図１７は、本明細書で述べたプログラムを実行して、上述した実施の形態の脳情報出力装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１７は、このコンピュータシステム３４０の概観図であり、図１８は、コンピュータシステム３４０のブロック図である。
　図１７において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ－ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
　図１８において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ－ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ－ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
　コンピュータシステム３４０に、上述した実施の形態の脳情報出力装置等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ－ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
　プログラムは、コンピュータ３４１に、上述した実施の形態の脳情報出力装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
　なお、上記プログラムにおいて、ハードウェアによって行われる処理は含まれない。
　また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
　また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
　本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
　以上のように、本発明にかかる脳情報出力装置は、ユーザの意図を精度高く取得できる、という効果を有し、脳・機械インタフェース等として有用である。
本実施の形態１におけるロボットシステム１の概念図 同ロボットシステム１のブロック図 同脳情報出力装置１１の動作について説明するフローチャート 同脳情報出力装置１１の動作について説明するフローチャート 同ロボット１２の動作について説明するフローチャート 同脳情報出力装置１１の概念図 同ユーザが頭部にかぶる測定器具を示す図 同第一意図判別情報の例を示す図 同第二意図判別情報の例を示す図 同第一脳活動データの例を示す図 同第二脳活動データの例を示す図 同第一脳活動データ、第二脳活動データのグラフ 同第一特徴量群の例を示す図 同かかる第一確率の例を示す図 同第二特徴量群の例を示す図 同第二確率の例を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図 同確率算出アルゴリズムを説明するための図 同確率算出アルゴリズムを説明するための図

Claims (8)

  1. ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、
    前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、
    前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、
    前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、
    前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、
    前記意図決定部が取得した意図識別子を出力する出力部とを具備する脳情報出力装置。
  2. ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納し得る第一意図判別情報格納部と、
    ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納し得る第二意図判別情報格納部とをさらに具備し、
    前記第一確率算出部は、
    前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、
    前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、
    前記第二確率算出部は、
    前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、
    前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備する請求項１記載の脳情報出力装置。
  3. 前記意図決定部は、
    前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、
    前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する請求項１記載の脳情報出力装置。
  4. 前記第三確率算出手段は、
    前記第一確率と前記第二確率とで、異なる重みを用いて、前記意図識別子ごとの最終的な確率を算出する請求項３記載の脳情報出力装置。
  5. 前記第一確率算出部は、
    前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、
    前記第二確率算出部は、
    前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する請求項１記載の脳情報出力装置。
  6. 前記第一脳活動データ取得部は、近赤外線光計測装置であり、
    前記第二脳活動データ取得部は、脳波計測装置である請求項１から請求項５いずれか記載の脳情報出力装置。
  7. 意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である動作情報を２以上格納し得る動作情報格納部と、
    請求項１から請求項６いずれか記載の脳情報出力装置から出力された意図識別子を受け付ける意図識別子受付部と、
    前記意図識別子受付部が受け付けた意図識別子に対応する動作モジュールを実行する実行部とを具備するロボット。
  8. ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得ステップと、
    前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得ステップと、
    前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出ステップと、
    前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出ステップと、
    前記第一確率算出ステップで算出された意図識別子ごとの第一確率、および前記第二確率算出ステップで算出された意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定ステップと、
    前記意図決定ステップで取得された意図識別子を出力する出力ステップとを具備する脳情報出力方法。
PCT/JP2010/052629 2009-02-24 2010-02-22 脳情報出力装置、ロボット、および脳情報出力方法 Ceased WO2010098282A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-041336 2009-02-24
JP2009041336A JP5256517B2 (ja) 2009-02-24 2009-02-24 脳情報出力装置、ロボット、および脳情報出力方法

Publications (1)

Publication Number Publication Date
WO2010098282A1 true WO2010098282A1 (ja) 2010-09-02

Family

ID=42665489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/052629 Ceased WO2010098282A1 (ja) 2009-02-24 2010-02-22 脳情報出力装置、ロボット、および脳情報出力方法

Country Status (2)

Country Link
JP (1) JP5256517B2 (ja)
WO (1) WO2010098282A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6433616B2 (ja) * 2016-02-22 2018-12-05 株式会社日立製作所 心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006289565A (ja) * 2005-04-12 2006-10-26 Japan Science & Technology Agency ロボット操作装置及びロボット

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置

Also Published As

Publication number Publication date
JP5256517B2 (ja) 2013-08-07
JP2010198232A (ja) 2010-09-09

Similar Documents

Publication Publication Date Title
JP5531237B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
Yang et al. Medmnist classification decathlon: A lightweight automl benchmark for medical image analysis
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
KR101293446B1 (ko) 움직임을 상상하는 뇌파 분류 방법 및 그 장치
US11006874B2 (en) Real-time stress determination of an individual
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
Ghosh et al. Multi-modal detection of fetal movements using a wearable monitor
CN106923820B (zh) 一种心电信号伪差识别方法及心电信号伪差识别装置
Yue et al. Exploring BCI control in smart environments: intention recognition via EEG representation enhancement learning
Athif et al. WaveCSP: a robust motor imagery classifier for consumer EEG devices
Hosni et al. A graph-based nonlinear dynamic characterization of motor imagery toward an enhanced hybrid BCI
JP5365956B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
JP5256517B2 (ja) 脳情報出力装置、ロボット、および脳情報出力方法
JP2010198237A (ja) 意図判別情報取得装置、脳情報出力装置、ロボット、および意図判別情報取得方法
JP5458428B2 (ja) 運動機能評価装置、およびプログラム
KR101685523B1 (ko) 사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 인터페이스 방법 및 그 시스템
Selvan et al. Deep Learning-Enabled Fetal Health Classification Through Sensor-Fused IoT Environment
Vourvopoulos et al. Brain–computer interfacing with interactive systems—case study 2
JP2010198236A (ja) 脳情報出力装置、ロボット、および脳情報出力方法
JP7593000B2 (ja) 信号分離装置、プログラムおよび信号分離方法
Delimayanti et al. Clustering and Classification of Breathing Activities by Depth Image from Kinect.
Li et al. A local optical flow eye-tracking method for depression detection
US20220096016A1 (en) State estimation apparatus, state estimation method, and computer-readable recording medium
Akbari et al. AUTISTIC CHILDREN CLASSIFICATION WITH EFFICIENT CHANNEL SELECTION OF EEG SIGNALS BY VISIBILITY GRAPHS
JP2010198235A (ja) 脳情報出力装置、ロボット、および脳情報出力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10746163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10746163

Country of ref document: EP

Kind code of ref document: A1