WO2017051864A1 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2017051864A1
WO2017051864A1 PCT/JP2016/077999 JP2016077999W WO2017051864A1 WO 2017051864 A1 WO2017051864 A1 WO 2017051864A1 JP 2016077999 W JP2016077999 W JP 2016077999W WO 2017051864 A1 WO2017051864 A1 WO 2017051864A1
Authority
WO
WIPO (PCT)
Prior art keywords
brain activity
user
attribute
predetermined action
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/077999
Other languages
English (en)
French (fr)
Inventor
卓成 桂
清 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp, Hitachi High Tech Corp filed Critical Hitachi High Technologies Corp
Publication of WO2017051864A1 publication Critical patent/WO2017051864A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and an information processing program.
  • a head-mounted device called a headset is provided with a near-infrared irradiation unit and a near-infrared detection unit, detects changes in blood flow on the brain surface, and processes the detected data with a data processing device.
  • a measurement system that acquires information indicating the activity state of the brain is provided.
  • the brain activity state when various actions are taken for multiple users is considered that the brain activity state when a certain action is taken is influenced by various properties included in the action and the attributes of the user.
  • the brain activity state is hardly analyzed in consideration of various properties included in the behavior, user attributes, and the like. It is required to analyze the brain activity state in consideration of the nature included in the behavior, the user's attributes, etc., and to utilize the brain activity state.
  • An object of the present invention is to provide an information processing apparatus that analyzes a brain activity state measured by a user.
  • the first aspect is A storage unit that stores a detected value obtained by detecting a blood flow in the user's head, an identifier of a predetermined action performed by the user when the detected value is detected, and an identifier of the user; , Based on the detection value stored in the storage unit, a calculation unit that calculates a brain activity value indicating a degree of the state of the brain activity of the user when the user performs the predetermined action; Is an information processing apparatus.
  • the disclosed aspect may be realized by a program being executed by an information processing apparatus. That is, the disclosed configuration can be specified as a program for causing the information processing apparatus to execute the processing executed by each unit in the above-described aspect, or a computer-readable recording medium on which the program is recorded. Further, the disclosed configuration may be specified by a method in which the information processing apparatus executes the process executed by each of the above-described units. The configuration of the disclosure may be specified as a system including an information processing apparatus that performs the processing executed by each of the above-described units.
  • the step of describing the program includes processing executed in parallel or individually even if processing is not necessarily performed in time series, as well as processing performed in time series in the described order. Some of the steps describing the program may be omitted.
  • an information processing apparatus that analyzes a brain activity state measured by a user can be provided.
  • FIG. 1 is a diagram illustrating a configuration related to information processing of a measurement system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of the head-mounted device.
  • FIG. 3 is a diagram illustrating a configuration example of a user terminal.
  • FIG. 4 is a diagram illustrating a configuration example of a server.
  • FIG. 5 is a diagram illustrating an example of a personal information table.
  • FIG. 6 is a diagram illustrating an example of an operation flow of the measurement system of the present embodiment.
  • FIG. 7 is a diagram illustrating an example of a weight table.
  • FIG. 1 is a diagram illustrating a configuration related to information processing of a measurement system according to an embodiment of the present invention.
  • This measurement system detects measurement data (also referred to as a detection value) indicating a change in blood flow from the user's head, and acquires brain activity information (brain activity waveform) indicating the activity state of the user's brain.
  • the measurement system calculates a basic waveform of brain activity attributes from the acquired brain activity information.
  • the measurement system includes head mounting devices 10-1, 10-2, 10-3, user terminals 20-1, 20-2, 20-3, and a server 30.
  • the head mounting devices 10-1, 10-2, and 10-3 are collectively referred to as the head mounting device 10.
  • the user terminals 20-1, 20-2, and 20-3 are collectively referred to as user terminals 20.
  • the number of head mounted devices 10 and user terminals 20 is not limited to three each.
  • FIG. 2 is a diagram illustrating a configuration example of the head-mounted device.
  • the head-mounted device 10 includes a control unit 11, a wireless communication unit 13, and a pair of sensors 115 and 125 in terms of information processing.
  • the control unit 11 controls measurement and communication of the head-mounted device 10.
  • the control unit 11 includes, for example, a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) and a memory, and executes processing by a computer program, firmware, or the like that is executed on the memory.
  • the control unit 11 may be a dedicated hardware circuit, an FPGA (Field Programmable Gate Array), or the like that activates the wireless communication unit 13 and the sensors 115 and 125 and executes cooperation processing with each component.
  • the control unit 11 may be a mixture of a CPU, a DSP, a dedicated hardware circuit, and the like.
  • the head mounting device 10 has a structure in which a headband is wound around a user's head and fixed to the user's head by fastening a fixing member.
  • the wireless communication unit 13 is connected to the control unit 11 and the sensors 115 and 125 through a predetermined interface. However, the wireless communication unit 13 may be configured to acquire data from the sensors 115 and 125 via the control unit 11.
  • the wireless communication unit 13 communicates with the user terminal 20 via the network N1.
  • the network N1 is a network work conforming to standards such as Bluetooth (registered trademark), wireless LAN (Local Area Network), and ZigBee.
  • the wireless communication unit 13 is an example of a transfer unit. However, in this measurement system, the standard of the wireless interface of the wireless communication unit 13 is not limited.
  • an identifier for identifying the head-mounted device 10 is embedded in the header portion of the communication header or the user data portion (payload portion) in the communication data, and the user terminal 20 receives the user ( (Subject) can be identified.
  • a communication unit that performs wired communication with the wireless communication unit 13 instead of the wireless communication unit 13 may be provided. That is, the head-mounted device 10 and the user terminal 20 may be connected by a wired communication interface.
  • the wired communication interface is not limited, and various interfaces such as USB (Universal Serial Bus) and PCI Express can be used according to the use of the measurement system.
  • Sensors 115 and 125 both irradiate the head with near-infrared rays, receive near-infrared rays that are partially absorbed and scattered near the cerebral cortex of the brain, and convert them into electrical signals.
  • the cerebral cortex of the brain has a different blood flow rate, for example, depending on the activity state of the brain.
  • the amount of hemoglobin bound to oxygen in the blood and the amount of hemoglobin not bound to oxygen change. Due to a change in the amount of hemoglobin, a change in the amount of oxygen, or the like, the near-infrared absorption characteristic or scattering characteristic in the vicinity of the cerebral cortex changes.
  • the sensors 115 and 125 convert the near-infrared light whose light amount changes according to the change in the near-infrared absorption rate or the change in the transmittance according to the state of blood flow in the vicinity of the cerebral cortex into an electrical signal and outputs it.
  • the sensors 115 and 125 are an example of detection means.
  • Sensors 115 and 125 include, for example, a near-infrared light source that emits near-infrared light and a light-receiving unit that receives near-infrared light.
  • the near infrared light source is, for example, an LED (Light Emitting Diodes), an infrared lamp, or the like.
  • the light receiving unit includes a photoelectric element such as a photodiode or a phototransistor, an amplifier, and an AD (Analog Digital) converter. Note that the near-infrared light source and the light receiving unit may not be provided in pairs. For example, a plurality of light receiving units may be provided for one near infrared light source.
  • FIG. 3 is a diagram illustrating a configuration example of a user terminal.
  • the user terminal 20 acquires the near infrared absorption rate or transmittance change data in the vicinity of the user's cerebral cortex from the head-mounted device 10, and performs various information processing related to the activity state of the user's brain.
  • the user terminal 20 is an example of an information processing apparatus (computer).
  • the user terminal 20 uses a dedicated or general-purpose computer such as a PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, a car navigation device, a PDA (Personal Digital Assistant), or an electronic device equipped with a computer. Is feasible.
  • the user terminal 20 can be installed in, for example, a fitness club or a learning school.
  • the user terminal 20 includes a CPU 21, a memory 22, a wireless communication unit 23, a public line communication unit 24, a display unit 25, an operation unit 26, an output unit 27, an imaging unit 28, and a positioning unit 29. And a physical sensor unit 2A.
  • the CPU 21 executes processing as the user terminal 20 by a computer program that is executed in the memory 22 so as to be executable.
  • the processing as the user terminal 20 is, for example, a service including various information processing related to the activity state of the user's brain.
  • the CPU 21 that executes such a computer program is an example of a calculation unit.
  • the memory 22 stores a computer program executed by the CPU 21 or data processed by the CPU 21.
  • the memory 22 may include volatile memory and non-volatile memory.
  • the wireless communication unit 23 is the same as the wireless communication unit 13 of the head-mounted device 10.
  • the wireless communication unit 23 is an example of a receiving unit.
  • the user terminal 20 may include a communication unit that performs wired communication instead of the wireless communication unit 13 or together with the wireless communication unit 13.
  • the public line communication unit 24 communicates with a server such as the server 30 on the network N2 via the network N2.
  • the network N2 is a public line network, for example, a mobile phone network.
  • the public line communication unit 24 connects to the network N2 via a base station of the mobile phone network.
  • the network N2 may be a network including an access network to the communication device of the Internet service provider and the Internet.
  • the access network to the communication device of the Internet connection company is, for example, an optical network provided by a communication carrier, ADSL (Asymmetric Digital Subscriber Line), or the like.
  • the network N2 is an example of a public wireless network.
  • the public line communication unit 24 is an example of public wireless communication means.
  • the network N2 is not limited to the public network, for example, a local network such as a LAN (Local Area Network), a dedicated line such as a company, a business operator, a government office, a school, a research institution, It may be a wide area network such as VPN (Virtual Private Network).
  • a local network such as a LAN (Local Area Network)
  • a dedicated line such as a company, a business operator, a government office, a school, a research institution
  • VPN Virtual Private Network
  • companies, businesses, government offices, schools, research institutions, etc. are also referred to as companies.
  • the display unit 25 is, for example, a liquid crystal display, an EL (Electro-Luminescence) panel, and the like, and displays output information from the CPU 21.
  • the operation unit 26 is, for example, a push button, a touch panel, or the like, and accepts a user operation.
  • the output unit 27 is, for example, a vibrator that outputs vibration, a speaker that outputs sound or sound, and the like.
  • the imaging unit 28 is a camera including a solid-state imaging element, for example.
  • As the solid-state image sensor a CCD (Charge-coupled device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like can be used.
  • the positioning unit 29 is, for example, a GPS (Global Positioning System) receiver, receives radio waves from GPS satellites, and calculates the current position (latitude, longitude, etc.), time, and the like.
  • the positioning unit 29 is not limited to the one having a GPS receiver.
  • the positioning unit 29 may perform positioning based on the distance from the mobile phone base station.
  • the physical sensor unit 2A is, for example, an acceleration sensor or an angular acceleration sensor.
  • the physical sensor unit 2A may be a temperature sensor, a humidity sensor, an atmospheric pressure sensor, or a water pressure sensor.
  • FIG. 4 is a diagram illustrating a configuration example of the server.
  • Server 30 is connected to network N2.
  • the server 30 is a general information processing apparatus.
  • the information processing apparatus outputs information by a CPU that performs calculation and control, a memory and storage unit that stores data used in the calculation, an input unit that receives input of information from a user, an image, sound, and the like An output unit, a communication unit that transmits and receives information to and from other devices, and the like are included.
  • the server 30 can be realized by using a dedicated or general-purpose computer such as a PC or a workstation (WS, Work Station), or an electronic device equipped with the computer.
  • the server 30 includes a CPU 31, a memory 32, a public line communication unit 34, a display unit 35, an operation unit 36, and an output unit 37.
  • the CPU 31 executes processing as the server 30 by a computer program that is executably expanded in the memory 32.
  • the process as the server 30 is, for example, a service including various information processing related to the brain activity state.
  • the CPU 31 that executes such a computer program is an example of a calculation unit.
  • the memory 32 stores a computer program executed by the CPU 31 or data processed by the CPU 31.
  • the memory 32 may include volatile memory and nonvolatile memory.
  • the memory 32 stores a personal information table T20 including personal information of the user.
  • FIG. 5 is a diagram showing an example of a personal information table.
  • personal information such as a user identifier (ID), name, address, date of birth, height, weight, sex, disease (cerebral infarction, diabetes, etc.), pre-existing disease, etc. Stored in association with each other.
  • the public line communication unit 34 communicates with a device on the network N2, for example, the user terminal 20 through the network N2.
  • the network N2 is a public line network, for example, a mobile phone network.
  • the public line communication unit 34 is an example of public wireless communication means.
  • the display unit 35 is, for example, a liquid crystal display, an EL (Electro-Luminescence) panel, and the like, and displays output information from the CPU 31.
  • the operation unit 36 is, for example, a push button, a touch panel, or the like, and accepts a user operation.
  • the output unit 37 is, for example, a vibrator that outputs vibration, a speaker that outputs sound or sound, and the like.
  • FIG. 6 is a diagram illustrating an example of an operation flow of the measurement system of the present embodiment.
  • Each of the head-mounted devices 10 of the measurement system of the present embodiment is mounted on the user's (subject) 's head, and is in a state where the brain activity state (cerebral blood flow) can be measured.
  • Each of the head mounted devices 10 is connected to a user terminal 20. It is assumed that the head mounting device 10 has already been calibrated.
  • the user terminal 20 is connected to the server 30.
  • the user terminal 20 causes the user wearing the head-mounted device 10 to perform a predetermined action.
  • the predetermined behavior includes, for example, watching a video, playing a game, listening to music, exercising, eating and drinking, testing, meditation, sleep, yoga, playing an application, and the like.
  • the predetermined action may be a specific action in a specific application.
  • Applications include, for example, brain training applications.
  • Each predetermined action is assigned a unique identifier in advance.
  • Each user is assigned a unique identifier in advance. For example, when viewing the moving image, the user terminal 20 causes the display unit 25 to display the moving image, and causes the output unit 27 to output sound accompanying the moving image, thereby allowing the user to view the moving image.
  • the user terminal 20 when the user terminal 20 causes the game to be played, by causing the display unit 25 and the output unit 27 to output game images and sounds, and causing the user to operate the game using the operation unit 26, Let the game play.
  • the user terminal 20 outputs a signal for starting and ending a predetermined exercise as a predetermined action through the display unit 25 and the output unit 27 by an image or sound.
  • the user terminal 20 may accept an input of an operation of a start signal and an end signal of a predetermined exercise as a predetermined action through the input unit 26.
  • the user terminal 20 When the user is performing a predetermined action, the user terminal 20 causes the head mounted device 10 to measure the brain activity state of the user. The brain activity state is measured at a predetermined sampling frequency. Each head-mounted device 10 measures the brain activity state of the user using the sensors 115 and 125, and transmits a detection value indicating the brain activity state to the user terminal 20 via the wireless communication unit 13.
  • the user terminal 20 receives a detection value (brain activity waveform) indicating a brain activity state from the head-mounted device 10 via the wireless communication unit 23, the user terminal 20 stores it in a storage unit such as the memory 22.
  • the detected value may be the measured value itself, information processed so that the measured value can be easily transmitted to the user terminal 20, or information obtained by collecting the values measured in a certain period. Etc.
  • the detected value may be a value based on a value obtained by measuring the blood flow change of the head by the head-mounted device 10.
  • the detection value indicating the brain activity state is stored as time series data together with time information, an identifier of a predetermined action, and an identifier of a user.
  • the user terminal 20 may always acquire a detection value indicating a brain activity state as a measurement result and extract a detection value indicating a brain activity state while performing a predetermined action.
  • the detected value (brain activity waveform) is, for example, a temporal change in cerebral blood flow or a time derivative of cerebral blood flow.
  • the user terminal 20 sends the detected value (brain activity waveform) indicating the brain activity state stored in the storage means together with the predetermined action identifier, user identifier, and time information via the public line communication unit 24.
  • the server 30 receives, from each user terminal 20, a detected value indicating a brain activity state, an identifier of a predetermined action, a user identifier, and time information via the public line communication unit 34.
  • the server 30 stores the received brain activity waveform in the memory 32 in association with a predetermined action identifier (ID), a user identifier (ID), and time information.
  • the memory 32 of the server 30 stores brain activity waveforms when various predetermined actions (actions) of various users are performed.
  • the server 30 associates the time series data of the brain activity waveform, the identifier of the predetermined action, the start time of the predetermined action, the end time of the predetermined action, and the identifier of the user who performed the predetermined action.
  • the data may be stored in the memory 32.
  • the memory 32 of the server 30 only needs to store a brain activity waveform or the like so that a brain activity waveform can be extracted when a specific user performs a specific predetermined action.
  • brain activity includes attributes of visual function, auditory function, motor function, short-term memory, and long-term memory (marker attribute).
  • the attribute of brain activity is a characteristic, characteristic, feature, etc. inherent to brain activity.
  • the attribute of brain activity (brain activity attribute) is an attribute mainly corresponding to the function of the body.
  • the visual function is a function for acquiring visual information from the eyes.
  • the auditory function is a function for acquiring acoustic information from the ear.
  • the motor function is a function of moving hands and feet.
  • the short-term memory is a memory that is held for a period of several seconds to several tens of seconds after the presentation of the memory target.
  • Long-term memory is memory that is retained for a longer period than the period in which short-term memory is retained after the presentation of the object of memory.
  • the types of brain activity attributes are not limited to these, and brain activities may include more types of attributes.
  • each attribute of brain activity has a unique brain activity waveform (basic waveform). That is, for example, when visual information is acquired from the user's eyes (when the visual function is used), it is assumed that the brain activity waveform includes a brain activity waveform unique to the visual function.
  • the basic waveform of each attribute of brain activity does not necessarily require strict independence mathematically.
  • the brain activity waveform measured by the head-mounted device 10 is the sum of the basic waveforms of each attribute of brain activity.
  • the size of the basic waveform of the brain activity included in the brain activity waveform depends on the size according to the degree to which each attribute of the brain activity is used.
  • the server 30 presets a brain activity waveform that is assumed when the user performs a predetermined action for each predetermined action.
  • the defined brain activity waveform is expressed as the sum of the intrinsic brain activity waveforms of each attribute of the brain activity.
  • a brain activity waveform Sapp1 (a brain activity waveform when a certain predetermined action is performed) determined for a certain predetermined action (app1) is expressed as follows, for example.
  • Xa is an intrinsic brain activity waveform (basic waveform) of visual function which is one of the attributes of brain activity
  • Xb is a basic waveform of auditory function
  • Xc is a basic waveform of motor function
  • Xd is a basic waveform of short-term memory
  • Xe are basic waveforms of long-term memory.
  • Ma1 is a visual function weight (attribute value) for the predetermined action (app1)
  • Mb1 is an auditory function weight for the predetermined action
  • Mc1 is a motor function weight for the predetermined action
  • Md1 is a short-term memory for the predetermined action.
  • Me1 is a long-term memory weight for the predetermined action.
  • the weight of the brain activity attribute for the predetermined behavior is an amount indicating the magnitude of the brain activity expected for the attribute.
  • the weight of the brain activity attribute with respect to the predetermined action indicates the tendency of the brain activity state of the predetermined action. The greater the weight (attribute value) of an attribute of a certain brain activity in a certain behavior, the more actively the function of the attribute of the brain activity functions when the certain behavior is performed.
  • the weight of each attribute is a tool or application program that supports a predetermined action, such as a video creator (when the predetermined action is viewing with a video), a game creator (when the predetermined action is game play), or the like. It is set in advance by the designer. These tools, application programs, and the like are provided by the user terminal 20 and other control devices.
  • the person who sets the weight of each attribute sets the weight of each attribute according to the characteristic of the predetermined action.
  • the weight of the brain activity attribute for the predetermined action is stored in the memory 32 of the server 30 as a weight table T10.
  • FIG. 7 is a diagram illustrating an example of a weight table.
  • the weight table T10 of FIG. 7 the name of the predetermined action, the ID of the predetermined action, and the weight (attribute value) of each attribute of the brain activity are stored in association with each other.
  • the weight table T10 includes ID and brain activity attribute weights for a plurality of predetermined actions. For example, in the name “action A” of the predetermined action, the ID is “001”, the visual function weight (attribute value) is “3”, the auditory function weight is “0”, the motor function weight is “1”, and the short-term The storage weight is “2” and the long-term storage weight is “0”.
  • the server 30 calculates a basic waveform for each attribute of brain activity from brain activity waveforms when various predetermined actions of various users stored in the memory 32 are performed.
  • the weight of each attribute of the brain activity is given by the weight table T10 for each predetermined action. Therefore, the server 30 calculates the basic waveform (Xa,..., Xe) for each attribute of the brain activity according to the above equation (1) based on the brain activity waveform stored in the memory 32 and the weight of the weight table T10. Is calculated.
  • a basic waveform can be calculated.
  • a basic waveform (Xa,..., Xe) for each brain activity attribute can be calculated by diagonalizing a matrix based on the weights of the brain activity attributes of a plurality of predetermined actions. More specifically, for example, when there is a brain activity waveform (Sapp1 to Sapp5) for a predetermined action (app1 to app5), the weights (Ma1 to Me1,. , Ma5 to Me5), the basic waveform (Xa,..., Xe) for each brain activity attribute is expressed by the following equation, for example.
  • the basic waveform (Xa,..., Xe) for each attribute of brain activity is obtained by solving this equation (2).
  • the server 30 may calculate the basic waveform after averaging the brain activity waveform for each predetermined action.
  • the server 30 stores the calculated basic waveforms (Xa,..., Xe) for each brain activity in the memory 32.
  • the measurement length temporary length
  • the server 30 calculates a brain activity value for the brain activity waveforms when various predetermined actions of various users stored in the memory 32 are performed.
  • the brain activity value is calculated based on the amplitude width of the brain activity waveform (difference between the maximum value and the minimum value), the integrated amount of change in the brain activity waveform, the rate of change in the brain activity waveform, the reproducibility of the brain activity waveform, etc.
  • the brain activity value is a value indicating the degree of brain activity, and the larger the brain activity value is, the more active the brain is.
  • the server 30 can calculate the brain activity value for each user, for each predetermined action, and for each date and time.
  • the server 30 stores the calculated brain activity value in the memory 32.
  • the server 30 displays (outputs) the brain activity values stored in the memory 32 by the display means of the display unit 35 and / or the output unit 37 or the like.
  • the user can recognize the brain activity value displayed on the display means of the display unit 35 and / or the output unit 37 and recognize the result of the predetermined action.
  • Each user can carry out each action in order to activate the brain activity with reference to the past brain activity value, for example.
  • the server 30 may calculate a brain activity value for each user attribute. For example, when calculating a brain activity value when a male 20 years or older performs a predetermined action “action A”, the server 30 extracts a brain activity waveform of the predetermined action “action A” and uses the brain activity waveform as the brain activity waveform. A male over 20 years old is extracted from the associated users using the personal information table T20 or the like, and a brain activity value is calculated using the extracted brain activity waveform of the user. Thereby, the brain activity value and the distribution of the brain activity value under a specific condition can be calculated. The server 30 stores the calculated brain activity values and brain activity value distribution in the memory 32.
  • the server 30 displays the brain activity values stored in the memory 32 and the distribution of the brain activity values by the display means of the display unit 35 and / or the output unit 37 or the like.
  • the user who confirms the displayed brain activity value for example, when performing a specific predetermined action, the brain activity value of a user having a specific disease and the brain activity value of a user who does not have the disease If a statistically significant difference occurs, the brain activity waveform (brain activity value) when the predetermined action is performed can be used to detect a person having the disease.
  • the server 30 may calculate the weight of each attribute from the basic waveform for each attribute of the brain activity and the brain activity waveform for the specific predetermined behavior of the specific user based on the formula (1). Good.
  • the weight of each attribute is calculated by adjusting the weight of each attribute so that the sum of the basic waveform of each attribute multiplied by the weight becomes the brain activity waveform.
  • the server 30 stores the calculated weight of each attribute in the memory 32.
  • the server 30 displays the weight of each attribute stored in the memory 32 by the display unit of the display unit 35 and / or the output unit 37 or the like. Thereby, it is possible to confirm which brain activity attribute function is more active by comparing the weight for each attribute of the brain activity set in the predetermined action with the weight calculated here.
  • the weight of each attribute calculated here may be the brain activity value of each attribute.
  • the brain activity value of the attribute of the specific brain activity of the user (group A) having the specific disease and the brain activity value of the attribute of the specific brain activity of the user (group B) not having the specific disease If there is a statistically significant difference, the brain activity value of the attribute of the specific brain activity of an unknown user for the specific disease is used to determine whether it is close to the brain activity value of group A. By determining whether or not the brain activity value is close, it can be determined whether or not there is a possibility of having the disease. Further, by searching for an attribute of brain activity that causes a significant difference, an attribute of brain activity for finding a user having a specific disease can be derived. Furthermore, by designing to perform a predetermined action with a large weight of the attribute of the derived brain activity, it becomes easy to find a user having a specific disease by the predetermined action.
  • the server 30 displays the brain activity value of another person and his brain activity value when a plurality of users perform the same predetermined action on the display means of the display unit 35 and / or the output unit 37. A comparison may be displayed. Thereby, the user can grasp
  • the server 30 has a large difference between the weight of the brain activity attribute set for the specific predetermined action (see FIG. 7) and the weight of the brain activity attribute calculated from the brain activity waveform when the predetermined action is performed.
  • the set weight may be changed to a calculated weight.
  • the content of the predetermined action (the content of the moving image or the content of the game) may be modified so that the calculated weight of the brain activity attribute becomes the weight of the set brain activity attribute.
  • the server 30 may recalculate the basic waveform of each attribute of brain activity every predetermined period. In this case, the server 30 calculates a basic waveform of each attribute of brain activity using a statistical method such as outlier removal. As the number of brain activity waveform samples increases, the basic waveform of each attribute of brain activity is considered to be closer to the true value.
  • the number of types of brain activity attributes is not limited to five, and brain activity attributes may be further added.
  • the designer of the existing predetermined action sets the weight of the new brain activity attribute to reflect the content of the predetermined action. Further, when the weight of the new brain activity attribute is expressed as a function of the weight of each attribute of the existing brain activity, the weight of the new brain activity attribute is determined using the function.
  • the configurations of the above embodiments can be implemented by combining them as much as possible.
  • the user terminal 20 measures the brain activity state when the user is performing a predetermined action with the head-mounted device 10.
  • the server 30 acquires the brain activity state transmitted from the plurality of user terminals 20.
  • the server 30 calculates a basic waveform of brain activity for each attribute of brain activity based on the measured brain activity states. Further, the server 30 calculates and outputs brain activity values for each predetermined action, each user, each user attribute, each brain activity attribute, and the like.
  • the measurement system of this embodiment it is possible to calculate a brain activity value and a distribution of brain activity values under a specific condition (predetermined behavior, user, user attribute, brain activity attribute, or a combination thereof). It can.
  • the user who has measured the brain activity status understands the overall ranking of the user and his / her ranking under a given condition by comparing the brain activity value of another person with his brain activity value. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

利用者の頭部に装着され、前記頭部の血流量を検出する頭部装着装置によって検出された検出値と、前記検出値が検出されるときに前記利用者が行う所定行動の識別子と、前記利用者の識別子とを受信する受信部と、受信した前記検出値と前記所定行動の識別子と前記利用者の識別子とを対応付けて格納する記憶部と、前記記憶部に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出する算出部と、を備える情報処理装置とする。

Description

情報処理装置、情報処理方法、情報処理プログラム
　本発明は、情報処理装置、情報処理方法、情報処理プログラムに関する。
　従来から、ヘッドセットと呼ばれる頭部装着装置に、近赤外線照射部と近赤外線検出部を設け、脳表面の血流量の変化を検出し、検出されたデータをデータ処理装置で処理することで、脳の活動状態を示す情報を取得する計測システムが提供されている。
特開２００６－３２０７３５号公報
　複数の利用者（被験者）に対して、様々な行動をした際の脳活動状態を計測することが行われている。ある行動をした際の脳活動状態は、当該行動に含まれる様々な性質や利用者の属性等の影響を受けていると考えられる。しかし、脳活動状態を、行動に含まれる様々な性質、利用者の属性等を考慮して解析することは、ほとんど行われていない。脳活動状態を、行動に含まれる性質、利用者の属性等を考慮して解析して、脳活動状態を活用することが求められている。
　本発明は、利用者によって測定された脳活動状態を解析する情報処理装置を提供することを目的とする。
　上記課題を解決するために、以下の手段を採用する。
　即ち、第１の態様は、
　利用者の頭部の血流量を検出した検出値と、前記検出値が検出されるときに前記利用者が行う所定行動の識別子と、前記利用者の識別子とを対応付けて格納する記憶部と、
　前記記憶部に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出する算出部と、
を備える情報処理装置である。
　開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。
　プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。プログラムを記述するステップの一部が省略されてもよい。
　開示の技術によれば、利用者によって測定された脳活動状態を解析する情報処理装置を提供することができる。
図１は、本発明の一実施形態に係る計測システムの情報処理に関与する構成を例示する図である。 図２は、頭部装着装置の構成例を示す図である。 図３は、利用者端末の構成例を示す図である。 図４は、サーバの構成例を示す図である。 図５は、個人情報テーブルの例を示す図である。 図６は、本実施形態の計測システムの動作フローの例を示す図である。 図７は、重みテーブルの例を示す図である。
　以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
　〔実施形態〕
　（構成例）
　図１は、本発明の一実施形態に係る計測システムの情報処理に関与する構成を例示する図である。本計測システムは、利用者の頭部から血流量の変化を示す計測データ（検出値ともいう）を検出し、利用者の脳の活動状態を示す脳活動情報（脳活動波形）を取得する。また、本計測システムは、取得した脳活動情報から脳活動の属性の基本波形を算出する。
　図１のように、本計測システムは、頭部装着装置１０－１、１０－２、１０－３と利用者端末２０－１、２０－２、２０－３と、サーバ３０を有する。ここで、頭部装着装置１０－１、１０－２、１０－３を総称する場合には、頭部装着装置１０という。また、利用者端末２０－１、２０－２、２０－３を総称する場合には、利用者端末２０という。頭部装着装置１０、利用者端末２０の数は、それぞれ、３台に限定されるものではない。
　図２は、頭部装着装置の構成例を示す図である。頭部装着装置１０は、情報処理の側面としては、制御部１１と、無線通信部１３と、一対のセンサ１１５、１２５とを有する。制御部１１は、頭部装着装置１０の計測と通信を制御する。制御部１１は、例えば、ＣＰＵ(Central Processing Unit)、あるいはＤＳＰ（Digital Signal Processor）等のプロセッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュータプログラム、ファームウェア等により処理を実行する。ただし、制御部１１は、無線通信部１３とセンサ１１５、１２５を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい。また、制御部１１は、ＣＰＵ、ＤＳＰ、専用のハードウェア回路等が混在したものであってもよい。
　頭部装着装置１０は、鉢巻き状に利用者の頭部に巻きつけて装着され、固定用部材を締めつけることによって利用者の頭部に固定される構造を有する。
　無線通信部１３は、所定のインターフェースによって、制御部１１およびセンサ１１５、１２５と接続される。ただし、無線通信部１３は、制御部１１を介して、センサ１１５、１２５からデータを取得する構成であってもよい。無線通信部１３は、ネットワークＮ１を介して、利用者端末２０と通信する。ネットワークＮ１は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Local Area Network）、ZigBee等の規格にしたがったネットワークワークである。無線通信部１３が転送手段の一例である。ただし、本計測システムにおいて、無線通信部１３の無線インターフェースの規格に限定がある訳ではない。
　ネットワークＮ１での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分（ペイロード部分）に、頭部装着装置１０を識別する識別子を埋め込んで、利用者端末２０が利用者（被験者）を識別できるようにする。
　また、本計測システムにおいて、無線通信部１３に代えて、あるいは、無線通信部１３とともに有線で通信を行う通信部を設けてもよい。すなわち、頭部装着装置１０と利用者端末２０とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定がある訳ではなく、計測システムの用途に応じてＵＳＢ（Universal Serial Bus）、ＰＣＩ　Ｅｘｐｒｅｓｓ等の各種インターフェースを使用できる。
　センサ１１５、１２５は、いずれも近赤外線を頭部に照射し、脳の大脳皮質付近で一部吸収されて散乱された近赤外線を受光し、電気信号に変換する。脳の大脳皮質は、例えば、脳の活動状態に応じて、血流量が異なる。その結果、大脳皮質の各部において、血液中の酸素と結合したヘモグロビンの量と、酸素と結合していないヘモグロビンの量が変化する。ヘモグロビンの量の変化、酸素量の変化等に起因して、大脳皮質付近での近赤外線の吸収特性、あるいは、散乱特性が変化する。センサ１１５、１２５は、このような大脳皮質付近の血流の状態に応じた近赤外線吸収率の変化あるいは透過率の変化により光量が変化する近赤外線を電気信号に変換して出力する。センサ１１５、１２５が、検出手段の一例である。
　センサ１１５、１２５は、例えば、近赤外線を照射する近赤外線光源と、近赤外線を受光する受光部を含む。近赤外線光源は、例えば、ＬＥＤ（Light Emitting Diodes）、赤外線ランプ等である。また、受光部は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、ＡＤ（Analog Digital）コンバータとを含む。なお、近赤外線光源と受光部とが対にして設けられなくてもよい。例えば、１つの近赤外線光源に対して、複数の受光部を設けてもよい。
　図３は、利用者端末の構成例を示す図である。利用者端末２０は、頭部装着装置１０から、利用者の大脳皮質付近での近赤外線の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。利用者端末２０は、情報処理装置（コンピュータ）の一例である。利用者端末２０は、ＰＣ（Personal Computer）、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション装置、ＰＤＡ（Personal Digital Assistant）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。利用者端末２０は、例えば、フィットネスクラブ、学習塾などに設置され得る。
　利用者端末２０は、ＣＰＵ２１と、メモリ２２と、無線通信部２３と、公衆回線通信部２４と、表示部２５と、操作部２６と、出力部２７と、撮像部２８と、測位部２９と、物理センサ部２Ａを有する。ＣＰＵ２１は、メモリ２２に実行可能に展開されたコンピュータプログラムにより、利用者端末２０としての処理を実行する。利用者端末２０としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するＣＰＵ２１が算出手段の一例である。
　メモリ２２は、ＣＰＵ２１で実行されるコンピュータプログラム、あるいは、ＣＰＵ２１が処理するデータを記憶する。メモリ２２は、揮発性メモリと不揮発性メモリを含んでよい。
　無線通信部２３は、頭部装着装置１０の無線通信部１３と同様である。無線通信部２３が受信手段の一例である。また、利用者端末２０は、無線通信部１３に代えて、あるいは、無線通信部１３とともに有線で通信を行う通信部を有してもよい。
　公衆回線通信部２４は、ネットワークＮ２を介して、ネットワークＮ２上のサーバ、例えば、サーバ３０等と通信する。ネットワークＮ２は、公衆回線網であり、例えば、携帯電話網である。ネットワークＮ２が携帯電話網である場合には、公衆回線通信部２４は、携帯電話網の基地局を介してネットワークＮ２に接続する。ただし、ネットワークＮ２は、インターネット接続業者の通信装置へのアクセス網とインターネットを含むネットワークであってもよい。インターネット接続業者の通信装置へのアクセス網は、例えば、通信事業者が提供する光ネットワーク、ＡＤＳＬ（Asymmetric Digital Subscriber Line）等である。ネットワークＮ２が公衆無線ネットワークの一例である。また、公衆回線通信部２４が公衆無線通信手段の一例である。ただし、本計測システムにおいて、ネットワークＮ２が公衆回線網に限定される訳ではなく、例えば、ＬＡＮ(Local Area Network)等の構内ネットワーク、企業、事業者、役所、学校、研究機関等の専用回線、ＶＰＮ(Virtual Private Network)等の広域ネットワークであってもよい。以下、企業、事業者、役所、学校、研究機関等を企業等ともいう。
　表示部２５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ２１からの出力情報を表示する。操作部２６は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部２７は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。撮像部２８は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を利用できる。
　測位部２９は、例えば、ＧＰＳ（Global Positioning System）受信機であり、ＧＰＳ衛星からの電波を受信し、現在位置（緯度、経度等）、時刻等を算出する。ただし、測位部２９としては、ＧＰＳ受信機を有するものに限定される訳ではない。例えば、公衆回線通信部２４が携帯電話網である場合には、測位部２９は、携帯電話基地局からの距離を基に測位を実行してもよい。
　物理センサ部２Ａは、例えば、加速度センサ、あるいは角加速度センサ等である。ただし、物理センサ部２Ａは、温度センサ、湿度センサ、気圧センサ、または水圧センサであってもよい。
　図４は、サーバの構成例を示す図である。サーバ３０は、ネットワークＮ２に接続される。サーバ３０は、一般的な情報処理装置である。情報処理装置は、演算及び制御を行うＣＰＵ、演算等で使用されるデータ等を格納するメモリ及び記憶部、利用者等からの情報の入力を受け付ける入力部、画像や音声等により情報を出力する出力部、他の装置等と情報の送受信を行う通信部等を有する。サーバ３０は、ＰＣ、ワークステーション（ＷＳ、Work Station）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
　サーバ３０は、ＣＰＵ３１と、メモリ３２と、公衆回線通信部３４と、表示部３５と、操作部３６と、出力部３７を有する。ＣＰＵ３１は、メモリ３２に実行可能に展開されたコンピュータプログラムにより、サーバ３０としての処理を実行する。サーバ３０としての処理とは、例えば、上記脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するＣＰＵ３１が算出手段の一例である。
　メモリ３２は、ＣＰＵ３１で実行されるコンピュータプログラム、あるいは、ＣＰＵ３１が処理するデータを記憶する。メモリ３２は、揮発性メモリと不揮発性メモリを含んでよい。また、メモリ３２には、利用者の個人情報を含む個人情報テーブルＴ２０が格納される。
　図５は、個人情報テーブルの例を示す図である。図５の個人情報テーブルＴ２０には、利用者の識別子（ＩＤ）、氏名、住所、生年月日、身長、体重、性別、疾患（脳梗塞、糖尿病等）、既往症等の個人情報が、利用者毎に対応付けられて、格納される。
　公衆回線通信部３４は、ネットワークＮ２を介して、ネットワークＮ２上の装置、例えば、利用者端末２０等と通信する。ネットワークＮ２は、公衆回線網であり、例えば、携帯電話網である。また、公衆回線通信部３４が公衆無線通信手段の一例である。
　表示部３５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ３１からの出力情報を表示する。操作部３６は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部３７は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。
　〈動作例〉
　本実施形態の計測システムの動作例について説明する。
　図６は、本実施形態の計測システムの動作フローの例を示す図である。本実施形態の計測システムの頭部装着装置１０は、それぞれ、利用者（被験者）の頭部に装着されており、脳活動状態（脳血流量）を測定できる状態である。頭部装着装置１０は、それぞれ、利用者端末２０に接続されている。頭部装着装置１０のキャリブレーション等は既に行われているとする。利用者端末２０は、サーバ３０に接続されている。
　Ｓ１０１では、利用者端末２０は、頭部装着装置１０を装着した利用者に所定行動を行わせる。所定行動とは、例えば、動画視聴、ゲームのプレイ、音楽鑑賞、運動、飲食、試験、瞑想、睡眠、ヨガ、アプリケーションのプレイなどである。所定行動は、特定のアプリケーションにおける特定の行動であってもよい。アプリケーションには、例えば、脳トレーニングアプリケーションが含まれる。各所定行動には、それぞれ、あらかじめ、固有の識別子が割り当てられている。また、各利用者には、あらかじめ、固有の識別子が割り当てられている。例えば、利用者端末２０は、動画視聴を行わせる際には、表示部２５に動画を表示させ、出力部２７に動画に伴う音声を出力させて、利用者に動画を視聴させる。また、利用者端末２０は、ゲームのプレイを行わせる際には、表示部２５及び出力部２７にゲーム用の画像や音声を出力させ、操作部２６により利用者にゲームを操作させることにより、ゲームのプレイを行わせる。また、利用者端末２０は、所定行動としての所定の運動の開始の合図及び終了の合図を、画像や音声により表示部２５や出力部２７を通じて出力する。利用者端末２０は、所定行動としての所定の運動の開始の合図及び終了の合図の操作の入力を、入力部２６を通じて、受け付けてもよい。
　利用者に所定行動を行わせている際、利用者端末２０は、頭部装着装置１０に利用者の脳活動状態を測定させる。脳活動状態は、所定のサンプリング周波数で測定される。各頭部装着装置１０は、センサ１１５及び１２５により利用者の脳活動状態を測定し、無線通信部１３を介して、当該脳活動状態を示す検出値を利用者端末２０に送信する。利用者端末２０は、無線通信部２３を介して頭部装着装置１０から脳活動状態を示す検出値（脳活動波形）を受信すると、メモリ２２等の記憶手段に格納する。ここで、検出値は、測定された値そのものでもよいし、測定された値を利用者端末２０に送信しやすいように処理した情報でもよいし、又は一定期間に測定された値をまとめた情報などでもよい。検出値は、頭部装着装置１０が頭部の血流変化を測定した値に基づいた値であればよい。脳活動状態を示す検出値は、時系列データとして、時刻情報、所定行動の識別子、利用者の識別子と共に格納される。利用者端末２０は、常時、測定結果としての脳活動状態を示す検出値を取得し、所定行動を行わせている間の脳活動状態を示す検出値を抽出してもよい。検出値（脳活動波形）は、例えば、脳血流量の時間変化、脳血流量の時間微分である。
　Ｓ１０２では、利用者端末２０は、記憶手段に格納される脳活動状態を示す検出値（脳活動波形）を、所定行動の識別子、利用者の識別子、時刻情報とともに、公衆回線通信部２４を介して、サーバ３０に送信する。サーバ３０は、各利用者端末２０から、脳活動状態を示す検出値、所定行動の識別子、利用者の識別子、時刻情報を、公衆回線通信部３４を介して、受信する。サーバ３０は、メモリ３２に、受信した脳活動波形を、所定行動の識別子（ＩＤ）、利用者の識別子（ＩＤ）、時刻情報に対応づけて、格納する。サーバ３０のメモリ３２には、様々な利用者の、様々な所定行動（行動）を行った際の、脳活動波形が、蓄積される。サーバ３０は、脳活動波形の時系列データと、所定行動の識別子と、当該所定行動の開始時刻と、当該所定行動の終了時刻と、当該所定行動を行った利用者の識別子とを対応付けて、メモリ３２に格納してもよい。サーバ３０のメモリ３２には、特定の利用者が特定の所定行動を行った際の脳活動波形を抽出できるように、脳活動波形等が格納されていればよい。
　ここでは、脳活動は、視覚機能、聴覚機能、運動機能、短期記憶、長期記憶の属性（マーカー属性）を含むとする。脳活動の属性とは、脳活動に備わっている固有の性質、特性、特徴等である。脳活動の属性（脳活動属性）は、主に、身体の機能に対応する属性である。視覚機能は、目から視覚情報を取得する機能である。聴覚機能は、耳から音響情報を取得する機能である。運動機能は、手や足等を動作させる機能である。短期記憶は、記憶の対象の提示後、数秒から数十秒程度の期間、保持される記憶である。長期記憶は、記憶の対象の提示後、短期記憶が保持される期間よりも長い期間、保持される記憶である。脳活動の属性の種類は、これらに限定されるものではなく、脳活動には、さらに多くの種類の属性が含まれ得る。
　また、脳活動の各属性は、固有の脳活動波形（基本波形）を有しているとする。即ち、例えば、利用者の目から視覚情報が取得されたとき（視覚機能が使用されたとき）、脳活動波形には、視覚機能に固有の脳活動波形が含まれるとする。ただし、脳活動の各属性の基本波形は、数学的に厳密な独立性を必須とするものではない。頭部装着装置１０によって測定される脳活動波形は、脳活動の各属性の基本波形の和であるとする。脳活動波形に含まれる脳活動の基本波形の大きさは、脳活動の各属性が使用された程度に応じた大きさに依存する。
　サーバ３０は、各所定行動に対して、利用者が所定行動を行った場合に想定される脳活動波形を、あらかじめ、設定している。定められる脳活動波形は、脳活動の各属性の固有の脳活動波形の和として表される。ある１つの所定行動（ａｐｐ１）に定められる脳活動波形Ｓａｐｐ１（ある１つの所定行動を行った際の脳活動波形）は、例えば、次のように表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｘａは脳活動の属性の１つである視覚機能の固有の脳活動波形（基本波形）、Ｘｂは聴覚機能の基本波形、Ｘｃは運動機能の基本波形、Ｘｄは短期記憶の基本波形、Ｘｅは長期記憶の基本波形である。また、Ｍａ１は当該所定行動（ａｐｐ１）に対する視覚機能の重み（属性値）、Ｍｂ１は当該所定行動に対する聴覚機能の重み、Ｍｃ１は当該所定行動に対する運動機能の重み、Ｍｄ１は当該所定行動に対する短期記憶の重み、Ｍｅ１は当該所定行動に対する長期記憶の重みである。所定行動に対する脳活動の属性の重みは、当該属性について期待される脳活動の大きさを示す量である。所定行動に対する脳活動の属性の重みは、所定行動の脳活動状態の傾向を示す。ある所定行動においてある脳活動の属性の重み（属性値）が大きいほど、当該所定行動を行った際に当該脳活動の属性の機能がより活発に機能することを意味する。各属性の重みは、動画の製作者（所定行動が動画で視聴である場合）、ゲームの作成者（所定行動がゲームのプレイである場合）等の所定行動を支援するツール、あるいは、アプリケーションプログラム等の設計者によって、あらかじめ、設定される。これらのツール、アプリケーションプログラム等は、利用者端末２０その他の制御機器で提供される。各属性の重みを設定する者は、所定行動の特性に応じて、各属性の重みを設定する。所定行動に対する脳活動の属性の重みは、サーバ３０のメモリ３２に、重みテーブルＴ１０として、格納されている。
　図７は、重みテーブルの例を示す図である。図７の重みテーブルＴ１０では、所定行動の名称と所定行動のＩＤと脳活動の各属性の重み（属性値）とが、対応付けられて格納されている。重みテーブルＴ１０には、複数の所定行動について、ＩＤ及び脳活動の属性の重みが含まれる。例えば、所定行動の名称「行動Ａ」では、ＩＤが「００１」、視覚機能の重み（属性値）が「３」、聴覚機能の重みが「０」、運動機能の重みが「１」、短期記憶の重みが「２」、長期記憶の重みが「０」として、格納されている。
　Ｓ１０３では、サーバ３０は、メモリ３２に蓄積される様々な利用者の、様々な所定行動を行った際の脳活動波形から、脳活動の属性毎の基本波形を算出する。脳活動の各属性の重みは、所定行動毎に、重みテーブルＴ１０によって与えられる。よって、サーバ３０は、メモリ３２に蓄積される脳活動波形と、重みテーブルＴ１０の重みとによって、上記の式（１）により、脳活動の属性毎の基本波形（Ｘａ、．．．、Ｘｅ）が算出される。脳活動の属性が５種類である場合、原則として、５つ以上の所定行動の脳活動波形があれば、基本波形を算出することができる。即ち、複数の所定行動の脳活の属性の重みによる行列を対角化することにより、脳活動の属性毎の基本波形（Ｘａ、．．．、Ｘｅ）を算出することができる。より具体的には、例えば、所定行動（ａｐｐ１～ａｐｐ５）に対する脳活動波形（Ｓａｐｐ１～Ｓａｐｐ５）があるとき、所定行動（ａｐｐ１～ａｐｐ５）に対する脳活動の属性の重み（Ｍａ１～Ｍｅ１、．．．、Ｍａ５～Ｍｅ５）による行列を用いて、脳活動の属性毎の基本波形（Ｘａ、．．．、Ｘｅ）は、例えば、次のような式で表される。
Figure JPOXMLDOC01-appb-M000002
　この式（２）を解くことで、脳活動の属性毎の基本波形（Ｘａ、．．．、Ｘｅ）が求められる。より多くの脳活動波形を用いることにより、より正確な基本波形を算出することができる。サーバ３０は、所定行動毎に脳活動波形を平均化してから、基本波形を算出してもよい。サーバ３０は、算出した脳活動毎の基本波形（Ｘａ、．．．、Ｘｅ）を、メモリ３２に格納する。また、脳活動波形によって計測長さ（時間的長さ）が異なる場合、矩形波でのデコンボリューションから瞬時応答関数を推定することによって、計測長さの差異の影響を取り除くことができる。
　Ｓ１０４では、サーバ３０は、メモリ３２に蓄積される様々な利用者の、様々な所定行動を行った際の脳活動波形について、脳活動値を算出する。脳活動値は、脳活動波形の振幅幅（最大値と最小値との差）、脳活動波形の変化量積算値、脳活動波形の変化速度、脳活動波形の繰り返し再現性等によって、算出される。脳活動値は脳活動の度合いを示す値であり、脳活動値が大きいほど、脳が活発に活動していることを示す。サーバ３０は、脳活動値を、利用者毎、所定行動毎、日時毎に算出することができる。サーバ３０は、算出された脳活動値を、メモリ３２に格納する。さらに、サーバ３０は、メモリ３２に格納された脳活動値を、表示部３５及び／又は出力部３７の表示手段等により表示（出力）する。利用者は、表示部３５及び／又は出力部３７の表示手段等に表示される脳活動値を確認して、所定行動による成果などを認識することができる。各利用者は、例えば、過去の脳活動値を参考にして、脳活動を活性化させるべく、それぞれの行動を実施できる。
　また、サーバ３０は、脳活動値を、利用者の属性毎に算出してもよい。例えば、サーバ３０は、２０歳以上の男性が所定行動「行動Ａ」を行った際の脳活動値を算出する際、所定行動「行動Ａ」の脳活動波形を抽出し、当該脳活動波形に対応付けられる利用者の中から、個人情報テーブルＴ２０等を用いて、２０歳以上の男性を抽出し、抽出された利用者の脳活動波形を用いて、脳活動値を算出する。これにより、特定の条件における脳活動値や脳活動値の分布を算出することができる。サーバ３０は、算出された脳活動値や脳活動値の分布を、メモリ３２に格納する。サーバ３０は、メモリ３２に格納された脳活動値、脳活動値の分布を、表示部３５及び／又は出力部３７の表示手段等により表示する。表示される脳活動値等を確認した利用者は、例えば、特定の所定行動を行った際の、特定の疾患を有する利用者の脳活動値と、当該疾患を有しない利用者の脳活動値とを比較して統計的に有意な差が生じれば、当該所定行動を行った際の脳活動波形（脳活動値）を用いて、当該疾患を有する者を検出することに利用できる。
　さらに、サーバ３０は、式（１）に基づいて、特定の利用者の特定の所定行動について、脳活動の属性毎の基本波形と、脳活動波形とから、各属性の重みを算出してもよい。このとき、例えば、各属性の基本波形と重みを掛けたものの和が脳活動波形となるように各属性の重みを調節することで、各属性の重みを算出する。サーバ３０は、算出された各属性の重みを、メモリ３２に格納する。サーバ３０は、メモリ３２に格納された各属性の重みを、表示部３５及び／又は出力部３７の表示手段等により表示する。これにより、所定行動に設定された脳活動の属性毎の重みと、ここで算出された重みとを比較することで、どの脳活動の属性の機能がより活発であるかを確認することができる。ここで算出される各属性の重みを、各属性の脳活動値としてもよい。
　また、特定の疾患を有する利用者（グループＡ）の特定の脳活動の属性の脳活動値と、当該特定の疾患を有しない利用者（グループＢ）の特定の脳活動の属性の脳活動値とで統計的に有意な差が生じれば、当該特定の疾患について不明な利用者の当該特定の脳活動の属性の脳活動値を用いて、グループＡの脳活動値に近いのかグループＢの脳活動値に近いのかを判定することで、当該疾患を有している可能性があるのか否かを判定できる。また、有意な差を生じる脳活動の属性を探索することで、特定の疾患を有する利用者を発見するための脳活動の属性を導き出すことができる。さらに、導き出した脳活動の属性の重みが大きい所定行動を行わせるように設計することで、当該所定行動によって特定の疾患を有する利用者を発見しやすくなる。
　また、サーバ３０は、表示部３５及び／又は出力部３７の表示手段等に、複数の利用者が同一の所定行動を行った際の、他人の脳活動値と、自分の脳活動値との比較を表示してもよい。これにより利用者は、例えば、全体における自身の順位などを、把握することができる。さらに、同一の利用者が同一の所定行動を行った際の、自分の過去の脳活動値と、自分の現在の脳活動値とを比較することで、利用者は、過去の自分と比較した現在の脳活動の状態を確認することができる。
　サーバ３０は、特定の所定行動について設定された脳活動の属性の重み（図７参照）と当該所定行動を行った際の脳活動波形から算出される脳活動の属性の重みとの差が大きい場合、設定された重みを算出される重みに変更してもよい。また、算出される脳活動の属性の重みが、設定された脳活動の属性の重みになるように、所定行動の内容（動画の内容やゲームの内容）が修正されてもよい。これにより、特定の脳活動の属性の脳活動状態を活発にするように所定行動の設計（動画、ゲームの作成等）を行うことができる。
　サーバ３０は、所定期間毎などに、脳活動の各属性の基本波形を算出し直してもよい。この場合、サーバ３０は、外れ値除去等の統計的手法を用いて、脳活動の各属性の基本波形を算出する。脳活動波形のサンプル数が多くなるほど、脳活動の各属性の基本波形は真値により近づくと考えられる。
　ここでは、脳活動の属性は５種類としているが、脳活動の属性の種類は５種類に限定されるものではなく、脳活動の属性は、さらに追加されてもよい。新たな脳活動の属性が追加される場合、既存の所定行動の設計者は、当該所定行動の内容を反映するように新たな脳活動の属性の重みを設定する。また、新たな脳活動の属性の重みが、既存の脳活動の各属性の重みの関数として表される場合、当該関数を用いて、新たな脳活動の属性の重みが決定される。
　上記の実施形態の構成は、可能な限りこれらを組み合わせて実施され得る。
　（実施形態の作用、効果）
　本実施形態の計測システムにおいて、利用者端末２０は、利用者に所定行動を行わせている際の脳活動状態を、頭部装着装置１０によって測定する。サーバ３０は、複数の利用者端末２０から送信される脳活動状態を取得する。サーバ３０は、測定された複数の脳活動状態に基づいて、脳活動の属性毎の脳活動の基本波形を算出する。また、サーバ３０は、所定行動毎、利用者毎、利用者の属性毎、脳活動の属性毎等の脳活動値を算出し、出力する。
　本実施形態の計測システムによれば、特定の条件（所定行動、利用者、利用者の属性、脳活動の属性、またはこれらの組み合わせ）における脳活動値や脳活動値の分布を算出することができる。脳活動状態の測定を行った利用者は、他人の脳活動値と、自分の脳活動値とを比較することで、全体における自身の順位、所定の条件下における自身の順位などを、把握することができる。
　　　　　１０　　　　頭部装着装置
　　　　　１１　　　　　制御部
　　　　　１３　　　　　無線通信部
　　　　　１１５　　　　センサ
　　　　　１２５　　　　センサ
　　　　　２０　　　　利用者端末
　　　　　２１　　　　　ＣＰＵ
　　　　　２２　　　　　メモリ
　　　　　２３　　　　　無線通信部
　　　　　２４　　　　　公衆回線通信部
　　　　　２５　　　　　表示部
　　　　　２６　　　　　操作部
　　　　　２７　　　　　出力部
　　　　　２８　　　　　撮像部
　　　　　２９　　　　　測位部
　　　　　２Ａ　　　　　物理センサ部
　　　　　３０　　　　サーバ
　　　　　３１　　　　　ＣＰＵ
　　　　　３２　　　　　メモリ
　　　　　３４　　　　　公衆回線通信部
　　　　　３５　　　　　表示部
　　　　　３６　　　　　操作部
　　　　　３７　　　　　出力部

Claims (12)

  1. 　利用者の頭部の血流量を検出した検出値と、前記検出値が検出されるときに前記利用者が行う所定行動の識別子と、前記利用者の識別子とを対応付けて格納する記憶部と、
    　前記記憶部に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出する算出部と、
    を備える情報処理装置。
  2. 　前記脳活動は複数の脳活動属性を有し、
    　前記記憶部は、前記所定行動毎に、脳活動の状態の傾向を示す、前記脳活動属性毎の重みを前記所定行動の識別子と対応付けて格納し、
    　前記算出部は、前記記憶部に格納される前記検出値、前記検出値に対応付けられた前記所定行動の前記脳活動属性毎の前記重みに基づいて、前記脳活動属性毎の基本波形を算出し、前記記憶部に前記脳活動属性毎の前記基本波形を格納する、
    請求項１に記載の情報処理装置。
  3. 　前記算出部は、前記記憶部に格納される前記検出値、前記脳活動属性毎の前記基本波形に基づいて、前記脳活動属性毎の脳活動値を算出する、
    請求項２に記載の情報処理装置。
  4. 　前記記憶部に格納される前記脳活動値を出力する出力部、
    を備える請求項１から３のいずれか１つに記載の情報処理装置。
  5. 　コンピュータが、
    　利用者の頭部の血流量を検出した検出値と、前記検出値が検出されるときに前記利用者が行う所定行動の識別子と、前記利用者の識別子とを対応付けて記憶手段に格納し、
    　前記記憶手段に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出する、
    ことを実行する情報処理方法。
  6. 　前記脳活動は複数の脳活動属性を有し、
    　前記コンピュータが、
    　前記所定行動毎に、脳活動の状態の傾向を示す、前記脳活動属性毎の重みを前記所定行動の識別子と対応付けて前記記憶手段に格納し、
    　前記記憶手段に格納される前記検出値、前記検出値に対応付けられた前記所定行動の前記脳活動属性毎の前記重みに基づいて、前記脳活動属性毎の基本波形を算出し、前記記憶手段に前記脳活動属性毎の前記基本波形を格納する、
    ことを実行する請求項５に記載の情報処理方法。
  7. 　前記コンピュータが、
    　前記記憶手段に格納される前記検出値、前記脳活動属性毎の前記基本波形に基づいて、前記脳活動属性毎の脳活動値を算出する、
    ことを実行する請求項６に記載の情報処理方法。
  8. 　コンピュータが、
    　前記記憶手段に格納される前記脳活動値を出力する、
    ことを実行する請求項５から７のいずれか１つに記載の情報処理方法。
  9. 　コンピュータが、
    　利用者の頭部の血流量を検出した検出値と、前記検出値が検出されるときに前記利用者が行う所定行動の識別子と、前記利用者の識別子とを対応付けて記憶手段に格納し、
    　前記記憶手段に格納される前記検出値に基づいて、前記利用者が前記所定行動を行った際の、前記利用者の脳活動の状態の程度を示す脳活動値を算出する、
    ことを実行するための情報処理プログラム。
  10. 　前記脳活動は複数の脳活動属性を有し、
    　前記コンピュータが、
    　前記所定行動毎に、脳活動の状態の傾向を示す、前記脳活動属性毎の重みを前記所定行動の識別子と対応付けて前記記憶手段に格納し、
    　前記記憶手段に格納される前記検出値、前記検出値に対応付けられた前記所定行動の前記脳活動属性毎の前記重みに基づいて、前記脳活動属性毎の基本波形を算出し、前記記憶手段に前記脳活動属性毎の前記基本波形を格納する、
    ことを実行するための請求項９に記載の情報処理プログラム。
  11. 　前記コンピュータが、
    　前記記憶手段に格納される前記検出値、前記脳活動属性毎の前記基本波形に基づいて、前記脳活動属性毎の脳活動値を算出する、
    ことを実行するための請求項１０に記載の情報処理プログラム。
  12. 　コンピュータが、
    　前記記憶手段に格納される前記脳活動値を出力する、
    ことを実行するための請求項９から１１のいずれか１つに記載の情報処理プログラム。
PCT/JP2016/077999 2015-09-25 2016-09-23 情報処理装置、情報処理方法、情報処理プログラム Ceased WO2017051864A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-188711 2015-09-25
JP2015188711A JP6755445B2 (ja) 2015-09-25 2015-09-25 情報処理装置、情報処理方法、情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2017051864A1 true WO2017051864A1 (ja) 2017-03-30

Family

ID=58386031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077999 Ceased WO2017051864A1 (ja) 2015-09-25 2016-09-23 情報処理装置、情報処理方法、情報処理プログラム

Country Status (3)

Country Link
JP (1) JP6755445B2 (ja)
TW (1) TWI710353B (ja)
WO (1) WO2017051864A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198234A (ja) * 2009-02-24 2010-09-09 Honda Motor Co Ltd 脳情報出力装置、ロボット、および脳情報出力方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198234A (ja) * 2009-02-24 2010-09-09 Honda Motor Co Ltd 脳情報出力装置、ロボット、および脳情報出力方法

Also Published As

Publication number Publication date
TW201728304A (zh) 2017-08-16
JP6755445B2 (ja) 2020-09-16
JP2017062737A (ja) 2017-03-30
TWI710353B (zh) 2020-11-21

Similar Documents

Publication Publication Date Title
US10028037B2 (en) Apparatus, method and computer program for enabling information to be provided to a user
RU2016130076A (ru) Биомедицинские устройства для передачи биометрической информации, устанавливаемые на транспортных средствах
US10430896B2 (en) Information processing apparatus and method that receives identification and interaction information via near-field communication link
Serpanos et al. The accuracy of smartphone sound level meter applications with and without calibration
JP2020201479A (ja) 頭部伝達関数を生成するシステム及び方法
Allahyari et al. Validity of the Microsoft Kinect for measurement of neck angle: comparison with electrogoniometry
CN109844797B (zh) 选择系统、选择方法以及选择程序
US11961332B1 (en) Electronic devices with 6 minute walk distance estimates
JP7019139B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP6755445B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP6823845B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP6609737B2 (ja) 生体光計測装置、情報処理プログラム、情報処理方法
CN111035904B (zh) 脑活动活化方法、脑活动活化程序、信息处理装置
JP2020000558A (ja) 認知機能トレーニング方法、認知機能トレーニングプログラム、情報処理装置、認知機能トレーニングシステム
CN106153070A (zh) 计步器的校正方法及其系统
JPWO2017170804A1 (ja) 生体計測装置、情報処理プログラム、及び、生体計測方法
JP2024043395A (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP2017051547A (ja) 情報処理システム、情報処理方法、情報処理プログラム及び演算装置
JP2024043394A (ja) 情報処理装置、情報処理方法、情報処理プログラム
Henning et al. Hearing the Way: Influence of Varying Spatialized Audio Cues and Device Type on AR Navigation Experience
JP2021194125A (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP2017060659A (ja) 装着支援プログラム、装着支援方法、頭部装着装置
CN118830830A (zh) 便携式电子脊柱测量装置和电子脊柱测量系统
Barralon et al. Online Physical Activity Monitoring From Head Kinematics
JP2020046987A (ja) 脳活動記録システム、脳活動記録方法、脳活動記録プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848652

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16848652

Country of ref document: EP

Kind code of ref document: A1