WO2024034072A1 - 脳活動推定装置、脳活動推定装置を備えた機器および空調装置 - Google Patents

脳活動推定装置、脳活動推定装置を備えた機器および空調装置 Download PDF

Info

Publication number
WO2024034072A1
WO2024034072A1 PCT/JP2022/030613 JP2022030613W WO2024034072A1 WO 2024034072 A1 WO2024034072 A1 WO 2024034072A1 JP 2022030613 W JP2022030613 W JP 2022030613W WO 2024034072 A1 WO2024034072 A1 WO 2024034072A1
Authority
WO
WIPO (PCT)
Prior art keywords
brain activity
pulse wave
degree
estimation device
analysis
Prior art date
Application number
PCT/JP2022/030613
Other languages
English (en)
French (fr)
Inventor
怜司 森岡
一雄 吉田
Original Assignee
三菱電機株式会社
株式会社カレアコーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社, 株式会社カレアコーポレーション filed Critical 三菱電機株式会社
Priority to PCT/JP2022/030613 priority Critical patent/WO2024034072A1/ja
Publication of WO2024034072A1 publication Critical patent/WO2024034072A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present disclosure relates to a brain activity estimation device that estimates brain activity of a human body, equipment equipped with the brain activity estimation device, and an air conditioner.
  • the number of blinks of the eyes, the amount of hand or body movement, the degree of opening and closing of the pupils, etc. are determined from moving images or continuously obtained still images acquired by an imaging means, and the degree of concentration of the user is determined based on the determination results.
  • concentration degree estimation device that estimates the degree of concentration (for example, see Patent Document 1). This concentration level estimation device detects that when the concentration level increases, the movements and states of the hands increase, the amount of body movement decreases, the number of blinks decreases, and the pupils tend to dilate.
  • the degree of concentration is estimated based on the assumption that
  • the concentration level estimating device of Patent Document 1 estimates the concentration level based on a pre-assumed premise, such as when the number of blinks decreases, the concentration level increases. However, a decrease in the number of blinks does not necessarily mean that the concentration level has increased, and the concentration level estimation device of Patent Document 1 has room for improvement in improving estimation accuracy.
  • the degree of concentration is considered to be related to the degree of brain activity, but Patent Document 1 does not consider evaluating the degree of brain activity.
  • the degree of brain activity is an indicator related to people's emotions, so if the degree of brain activity can be estimated, it can also be used to estimate people's emotions, and estimating the degree of brain activity will also be useful for future developments. This is important in light of this.
  • the purpose of the present invention is to provide a brain activity estimation device, equipment equipped with the brain activity estimation device, and an air conditioner that can estimate the degree of brain activity with high accuracy. purpose.
  • a brain activity estimation device includes a sensor that detects a pulse wave of a human body, and an analysis unit that analyzes the pulse wave detected by the sensor, and the analysis unit analyzes time-series displacement of the waveform of the pulse wave.
  • An index value that digitizes the pulse wave is generated based on chaos analysis using the pulse wave shape displacement as the analysis source, and the degree of brain activity of the human body is estimated based on the index value.
  • a device includes the above brain activity estimation device and a control device that controls the operation of the device body based on the degree of brain activity estimated by the brain activity estimation device.
  • An air conditioning device includes the above brain activity estimation device, an air conditioning unit that air-conditions an indoor space, and a control device that controls the air conditioning unit based on the degree of brain activity estimated by the brain activity estimation device. It is prepared.
  • a brain activity estimation device performs brain activity estimation based on an index value generated based on a time-series displacement of a pulse wave waveform detected by a sensor. It is possible to estimate the degree of
  • the pulse wave is vital data that is related to the pulsation of the heart and the activity of the nervous system of the brain, and the brain activity estimation device calculates the brain activity based on the index value quantified based on the pulse wave. , the degree of brain activity can be estimated with high accuracy.
  • FIG. 1 is a block diagram showing a configuration of a brain activity estimation device and a usage configuration of the brain activity estimation device according to Embodiment 1.
  • FIG. FIG. 3 is a schematic diagram of the antenna surface of the Doppler sensor according to the first embodiment.
  • FIG. 3 is a schematic diagram of a board component mounting surface of the Doppler sensor according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a pulse wave detected by the Doppler sensor according to the first embodiment.
  • 3 is a diagram showing time-series data of pulse wave shape displacement of the brain activity estimation device according to the first embodiment.
  • FIG. FIG. 3 is a conceptual diagram of an attractor in chaotic analysis of the brain activity estimation device according to the first embodiment.
  • FIG. 2 is a conceptual diagram of Lyapunov indexing in the brain activity estimation device according to the first embodiment.
  • FIG. 3 is a bar graph showing the relationship between the Lyapunov index and various behaviors that involve different brain activities in the central nervous system.
  • FIG. 3 is a diagram showing an example of a change in the Lyapunov index when a human body sequentially performs actions that involve different brain activities.
  • 3 is a flowchart of brain activity estimation processing in the brain activity estimation device according to the first embodiment.
  • FIG. 2 is a block diagram showing a configuration of a brain activity estimation device and a usage configuration of the brain activity estimation device according to a second embodiment. It is a diagram showing Russell's circle of emotions model.
  • FIG. 7 is a diagram illustrating an example of an emotion model of the brain activity estimation device according to Embodiment 2.
  • FIG. 3 is a diagram showing the configuration of an air conditioner according to Embodiment 3.
  • FIG. 3 is a block diagram of an air conditioner according to Embodiment 3.
  • FIG. 1 is a block diagram showing the configuration of the brain activity estimation device 1 and the usage configuration of the brain activity estimation device 1 according to the first embodiment.
  • FIG. 2 is a schematic diagram of the antenna surface of the Doppler sensor 10 according to the first embodiment.
  • FIG. 3 is a schematic diagram of a board component mounting surface of the Doppler sensor 10 according to the first embodiment.
  • the brain activity estimation device 1 is a device that estimates the degree of brain activity in a human body.
  • the brain activity estimation device 1 can objectify the degree of brain activity by quantifying the degree of brain activity in the human body.
  • the brain activity estimation device 1 includes a Doppler sensor 10 and an analysis section 103.
  • the Doppler sensor 10 oscillates a constant sine wave radio wave of approximately 24 GHz called a microwave band or sub-millimeter wave band toward a human body whose brain activity is to be estimated. Blood flow in the human body changes with the pulsation of the heart, and when the distance between the surface of the human body and the Doppler sensor 10 changes, the reflected waves reflected from the surface of the human body change due to the Doppler effect.
  • the Doppler sensor 10 receives reflected waves from the human body according to the movement of blood vessels, and detects the pulse wave of the central nervous system of the human body based on the frequency difference between the reflected waves and the transmitted waves oscillated from the Doppler sensor 10. .
  • a pulse wave is a waveform that indicates changes in the movement of a person's body surface due to heart pulsation, and includes a waveform of changes in blood vessel movement and a waveform of changes in the body surface of the heart region.
  • Blood vessels run throughout the human body, and the Doppler sensor 10 can detect the movement of blood vessels in a part of the human body, such as a part of the head or an arm, even if it is not the heart.
  • a measurement frequency of 60 GHz to 79 GHz is often used due to its high resolution.
  • the purpose here is to detect pulse waves, and it is necessary to analyze minute fluctuations in ultra-low frequency characteristics of about 1 Hz. Therefore, analog detection using the 24 GHz Doppler method is suitable for detecting pulse waves.
  • the Doppler sensor 10 has the advantage of being able to detect the pulse wave of a human body without contact by using radio waves as described above. Therefore, the Doppler sensor 10 can measure a wide range of the human body. Note that the Doppler sensor 10 can measure vital data such as pulse rate, breathing rate, body movement, sleep state, and autonomic nervous balance by analyzing the peak interval of pulse waves. Used for wave detection.
  • the sensor for detecting the pulse wave of the human body is the Doppler sensor 10 here, the sensor is not limited to the Doppler sensor 10.
  • a 24 GHz to 79 GHz FMCW sensor may be used as the sensor for detecting the pulse wave of the human body.
  • the FMCW sensor can measure pulse waves by detecting changes in distance to the target and converting the speed.
  • the sensor that detects the pulse wave of the human body is not limited to a non-contact type sensor, but may be a contact type sensor that performs detection by contacting the human body.
  • Non-contact sensors have the potential to measure pulse waves with higher accuracy than contact sensors.
  • There are many contact-type devices that measure pulse but photoelectric pulse wave sensors are often used in wearable devices.
  • a pulse wave sensor detects changes in the volume of blood vessels that occur as the heart pumps blood as a waveform, and is equipped with a detector that monitors these changes in volume.
  • the pulse wave sensor can obtain the pulse interval by counting the interval between the peaks of the obtained pulse waves. The number of pulses per minute can be calculated by reciprocating the pulse interval. For example, if the pulse interval is 800 ms (0.8 seconds) on average, the pulse rate is 60 ⁇ 0.8, which is 75 beats per minute.
  • Transmissive pulse wave sensors measure pulse waves by emitting infrared or red light from the body surface and measuring changes in blood flow that occur with the pulsation of the heart as changes in light passing through the body. can.
  • transmission-type pulse wave sensor the areas that can be measured are limited to areas where infrared or red light easily passes through, such as fingertips or earlobes.
  • reflective pulse wave sensors emit infrared light, red light, or light with a green wavelength around 550 nanometers toward a living body, and use a photodiode or phototransistor to detect the reflected light inside the living body. measure.
  • Oxygenated hemoglobin exists in arterial blood and has the property of absorbing incident light. Therefore, a reflective pulse wave sensor can measure a pulse wave signal by sensing in time series the blood flow rate (changes in pressure in blood vessels) that changes with the pulsation of the heart.
  • Reflection-type pulse wave sensors measure reflected light, so they have the advantage of eliminating the need to limit the measurement location, unlike transmission-type pulse wave sensors.
  • a green light source is suitable because the absorption rate of hemoglobin in the blood is high and there is little influence from ambient light, so a green LED should be used for the irradiation light. There are many.
  • contact-type measuring instruments have issues such as being cumbersome to wear and not being able to take measurements from a distance, as they must be worn while taking measurements, so non-contact sensors are suitable when incorporated into equipment. .
  • the sensor that detects the pulse wave of the human body is the Doppler sensor 10.
  • the Doppler sensor 10 includes an antenna section 100, a wireless section 101, an analog circuit section 102, and a substrate section 10a.
  • the antenna section 100 is a section that acquires the pulse wave of the human body, which is central nervous activity.
  • the antenna section 100 includes a TX that is an oscillating section and an RX that is a receiving section.
  • the antenna section 100 has a plurality of (here, 12) antennas 100a, as shown in FIG. TX and RX each have six antennas 100a here.
  • the radio unit 101 generates 24 GHz radio waves called RF (Radio Frequency), oscillates the radio waves from TX, and receives reflected waves from RX.
  • the analog circuit section 102 has a circuit section that converts a frequency component that is a Doppler change of a reflected wave. Further, as shown in FIG. 3, the analog circuit section 102 includes an analog amplification filter section (OPAMP) that extracts and amplifies a necessary frequency band, and an analog-digital conversion section (LDO) that enables numerical analysis.
  • OPAMP analog amplification filter section
  • LDO analog-digital conversion section
  • the board section 10a includes a connector section and a memory for outputting information to the analysis section 103 or a device equipped with the brain activity estimation device 1.
  • the radio section 101, analog circuit section 102, and analysis section 103 are covered with a metal shield case, as shown in FIG. In FIG. 3, the shield case portion is indicated by dots.
  • the analysis unit 103 is a part that analyzes the pulse wave detected by the Doppler sensor 10.
  • the analysis unit 103 generates an index value that digitizes the pulse wave based on chaos analysis using the pulse wave shape displacement, which is a time series displacement of the pulse wave shape (hereinafter referred to as pulse wave shape), as the analysis source, Estimating the degree of brain activity in the human body based on index values. Estimation of brain activity by the analysis unit 103 will be explained again.
  • the analysis unit 103 outputs brain activity information indicating the estimation result of brain activity.
  • Brain activity information is information indicating the degree of brain activity.
  • the brain activity information output from the analysis unit 103 is input to a control content determination unit 104 or a cloud unit 106, which will be described later.
  • the analysis section 103 is composed of a microprocessor unit.
  • the analysis unit 103 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and the ROM stores a control program and the like.
  • the analysis unit 103 is not limited to a microprocessor unit.
  • the analysis unit 103 may be configured with something that can be updated, such as firmware.
  • the analysis unit 103 may be a program module that is executed by a command from a CPU (not shown) or the like.
  • the analysis unit 103 may be provided outside the Doppler sensor 10 as a separate body from the Doppler sensor 10, or may be provided on a substrate within the Doppler sensor 10 to perform edge processing within one sensor.
  • the degree of brain activity estimated by the analysis unit 103 can be used to control a device equipped with the brain activity estimation device 1.
  • the device equipped with the brain activity estimation device 1 includes, for example, an air conditioner, and the details thereof will be explained in Embodiment 3 below.
  • a device equipped with the brain activity estimation device 1 includes a control content determining section 104 and a device control section 105.
  • the control content determination unit 104 determines the control content of the device based on the brain activity information obtained by the analysis unit 103, generates control data, and outputs it to the device control unit 105.
  • the device control unit 105 controls various actuators of the device based on control data from the control content determining unit 104.
  • the brain activity information output from the analysis unit 103 may be input to the cloud unit 106.
  • the cloud unit 106 accumulates brain activity information input from the analysis unit 103.
  • the analysis unit 103 may further output the vital data itself, which is pulse wave data obtained by the Doppler sensor 10, and store it in the cloud unit 106.
  • the brain activity information and vital data accumulated in the cloud unit 106 can be visualized by displaying them on the display unit 107.
  • the brain activity information and vital data accumulated in the cloud unit 106 are not limited to visualization, but can be provided to the data collection unit 108 from another cloud via the cloud unit 106 and utilized for various purposes. You can also do that.
  • the display unit 107 is a display such as a liquid crystal panel that performs display.
  • the display unit 107 may be a display unit of a smartphone, or may be one that displays and visualizes brain activity information on an application installed on the smartphone.
  • the degree of concentration is estimated based on pre-assumed assumptions, such as when the number of blinks decreases, the degree of concentration increases. .
  • a decrease in the number of blinks does not necessarily mean that the degree of concentration has increased, and there is room for improvement in estimation accuracy with this method.
  • conventionally there is a device that estimates a person's emotions using an electroencephalograph, but it is not easy to quantify alpha and beta brain waves.
  • estimation devices using electroencephalograms require measurement data over a certain period of time for estimation processing, making estimation impossible in real time, requiring the electroencephalogram to be worn on the head, and complicating the system. There were issues with practicality and analysis time.
  • the brain activity estimation device 1 of the first embodiment uses a pulse wave detected non-contact using the Doppler sensor 10 to estimate the degree of brain activity in the central nervous system in a short period of time by chaotic analysis as described below. It can be estimated by
  • Physiological psychology estimates a person's physiological state and psychological state from physiological changes appearing in biological signals.
  • various biological signals such as electroencephalograms, electrocardiograms, heartbeat intervals, blood pressure, and respiratory tip plethysmography have been analyzed using various techniques, and much knowledge has been obtained.
  • most of the analyzes have been based on linear theory.
  • biological signals include nonlinear properties, and these vary due to a nonlinear property called chaos.
  • Chaos refers to a phenomenon in which although the system's state transition rules are deterministic, the nonlinearity of the system itself creates complexity equivalent to that of a stochastic system.
  • the brain activity estimation device 1 targets chaotic brain activity in the central nervous system. Until now, there has been no research that targets chaotic brain activity in the central nervous system.
  • the brain activity estimation device 1 performs chaotic analysis using pulse wave shape fluctuations, focusing on the movement of the waveform itself, as an analysis source.
  • the pulse wave shape fluctuation is expressed by time series data of displacement of the pulse wave shape, in other words, time series displacement data of the pulse wave shape.
  • the brain activity estimation device 1 generates an index value that digitizes a pulse wave based on chaos analysis based on a pulse wave shape displacement, which is a time-series displacement of the pulse wave waveform shape, and calculates the human body based on the index value. Estimate the degree of brain activity.
  • the first step is a step of calculating a vector specified from time-series data of pulse wave shape displacement and a preset delay time.
  • the second step is to generate an attractor in which vectors are arranged in chronological order in a three-dimensional state space.
  • the third step is to calculate the Lyapunov index, which is an index value, based on the trajectory of the attractor.
  • the pulsation interval of the heart varies from beat to beat, but this variation originates in the brain and is transmitted to the heart through the autonomic nerves. Therefore, in estimating the degree of brain activity, the present inventors considered that not only the autonomic nervous system but also the central nervous system is related to heart pulsation, and investigated the correlation between heart pulsation and brain activity. By discovering this, he came up with the idea of estimating the degree of brain activity in the central nervous system.
  • a change in pulse rate is a time variation in the interval between pulse wave peaks, and is detected using only pulse wave peak information in a pinpoint manner.
  • the time variation in the interval between the peaks of pulse waves may be referred to as one-dimensional pattern pulse displacement or pulse fluctuation.
  • the height of the pulse wave has no relation to the time variation of the interval between the peaks of the pulse wave, and vital data is obtained by converting the frequency only from the displacement of the pulse interval, so it is expressed as one-dimensional.
  • the present inventors believed that complex neural activity information of a living body cannot be determined solely by changes in pulse rate. Then, the present inventors searched for a method different from pinpoint detection using only pulse wave peak information, and came to focus on the displacement of the pulse wave waveform. However, when comparing the complexity of the peak interval fluctuation and the fluctuation of the two-dimensional waveform pattern from waveform to waveform of the pulse wave itself, we find that the fluctuation of the two-dimensional waveform pattern (that is, the fluctuation of the pulse wave shape) The complexity is incomparably greater for one-dimensional pulse interval fluctuations. This is thought to be because pulse wave shape fluctuations are related to the activity of neurons in the six layers of the cerebral cortex. For this reason, the present inventors decided to use chaos as a method for analyzing brain activity instead of conventional analysis methods.
  • the analysis unit 103 obtains a pulse wave from the Doppler sensor 10.
  • FIG. 4 shows an example of a pulse wave detected by the Doppler sensor 10.
  • FIG. 4 is a diagram showing an example of a pulse wave detected by the Doppler sensor 10 according to the first embodiment.
  • the horizontal axis represents time
  • the vertical axis represents analog pulse wave height.
  • pulse wave height means power. Pulse wave height does not refer to the power of only the peak portion where the pulse wave power is highest, but refers to the power for each time in a time series including the peak portion of the pulse wave.
  • the Doppler sensor 10 obtains the analog waveform shown in FIG. 4 and outputs it to the analysis section 103.
  • the pulse wave height decreases as the distance between the Doppler sensor 10 and the human body to be measured increases.
  • the absolute value of the pulse wave height is not necessary information when quantifying the pulse wave.
  • the larger the pulse wave height the clearer the pulse wave shape, and the higher the accuracy of attractor formation, which will be described later. Therefore, it is preferable that the distance from the Doppler sensor 10 to the human body is short.
  • the analysis unit 103 wants to obtain the pulse wave height necessary to ensure accuracy when analyzing the time series data of the pulse wave shape, it may do the following.
  • the analysis unit 103 calculates the deviation of the pulse wave height, and when the deviation is smaller than a preset threshold value, automatically adjusts the input signal amplification factor to pseudo-enlarge the analog pulse wave waveform. By doing so, the shape of the pulse wave becomes clear, and the analysis unit 103 can perform highly accurate analysis even if the distance from the Doppler sensor 10 to the human body is long.
  • the input signal magnification may be 1x.
  • the analysis unit 103 may decide the magnification according to the smallness of the deviation. Specifically, for example, the analysis unit 103 sets the input signal magnification to 2 when the deviation is smaller than the first threshold, and sets the input signal magnification to 2 when the deviation is smaller than the second threshold which is smaller than the first threshold. For example, the signal magnification may be set to 3 times.
  • the analysis unit 103 automatically increases the input signal amplification factor and increases the analog waveform as the distance from the Doppler sensor 10 to the human body increases. This allows the analysis unit 103 to analyze pulse wave shape fluctuations (time-series displacement data of pulse wave shape) even if the distance from the Doppler sensor 10 to the human body is long.
  • the analysis unit 103 automatically increases the input signal amplification factor and increases the analog waveform as the area of the human body becomes smaller and as the deviation in pulse wave height decreases. Thereby, the analysis unit 103 can solve problems that are difficult to analyze when the pulse wave level is small.
  • the analysis unit 103 generates an attractor, which will be described later, from the pulse wave shape.
  • the pulse wave shape is a two-dimensional waveform pattern of a pulse wave. Although it is difficult to find rules in time-series data of pulse wave shape from pulse wave waveform to waveform, when time-series data of pulse wave shape is converted into attractors, it is found that certain patterns exist. There is.
  • An attractor is a set toward which a certain dynamical system evolves over time. When a dynamical system moves from a point close enough to an attractor, the system remains close enough to that attractor. There is no restriction on the trajectory contained in an attractor other than to remain within that attractor.
  • the first embodiment is characterized in that brain activity in the central nervous system is targeted for chaos, and pulse wave shape displacement, which is a time-series displacement of the waveform shape of a pulse wave, is used as the analysis source for chaos analysis.
  • the analysis method itself uses a conventionally known method. Therefore, in the following explanation of chaos analysis, an overview will be provided.
  • the first step is a step of calculating a vector specified from the time series data of pulse wave shape displacement and a preset delay time, as described above.
  • FIG. 5 is a diagram showing time-series data of pulse wave shape displacement of the brain activity estimation device 1 according to the first embodiment.
  • the horizontal axis represents time
  • the vertical axis represents analog pulse wave height.
  • x(0) is the initial value of sensor data obtained during the calculation window length.
  • the calculation window length is an arbitrarily set time length, for example, 20 seconds. The shorter the calculation window length, the faster the calculation, but the longer the calculation window length, the more shape data of the pulse wave shape is available and the higher the accuracy.
  • the analysis unit 103 calculates an appropriate delay time in order to embed the two-dimensional time series change into the d-dimensional state space, in other words, to draw a trajectory in the d-dimensional state space.
  • d is 3 and two-dimensional time-series changes are embedded in a three-dimensional state space, the analysis unit 103 creates a vector with three state variables.
  • is a parameter called embedding delay time.
  • the second step is to generate attractors in which vectors are arranged in chronological order in a three-dimensional state space.
  • FIG. 6 is a conceptual diagram of an attractor in the chaotic analysis of the brain activity estimation device 1 according to the first embodiment.
  • a trajectory is obtained.
  • FIG. 6 shows a three-dimensional state space with three coordinate axes: x(i), x(i+ ⁇ ), and x(i+2 ⁇ ).
  • the third step is to calculate the Lyapunov index, which is an index value, based on the trajectory of the attractor.
  • the Lyapunov index is determined by evaluating the instability or divergence of the attractor's trajectory.
  • FIG. 7 is a conceptual diagram of Lyapunov indexing in the brain activity estimation device 1 according to the first embodiment.
  • the Lyapunov index is used for this numerical index value. Attractors in three-dimensional state space have orbital instability. Instability can also be referred to as divergence.
  • the Lyapunov index quantifies this orbital instability.
  • the Lyapunov exponent is a measure of how far two trajectories depart from two points close to each other. In other words, the Lyapunov exponent is a value that represents the degree to which orbits that are very close to each other in a dynamical system are moving apart.
  • the larger the Lyapunov index the larger the fluctuation range of the attractor, and the larger the fluctuation range.
  • Lyapunov spectrum A set of these Lyapunov indices is called a Lyapunov spectrum.
  • the enlargement ratio is calculated by repeating this work of stretching the sphere every slide time S.
  • the entire Lyapunov spectrum is calculated by taking the sum and averaging them.
  • the largest Lyapunov index among the calculated Lyapunov indexes is called the maximum Lyapunov index.
  • the degree to which the orbit deviates from the initial value of the system can be determined by looking at the maximum Lyapunov exponent.
  • the Lyapunov index indicates how far the nth state is from the initial state, and in terms of brain activity, the farther from the initial state, the more active the person's brain is. , it can be seen that the brain is not functioning as much as it was in its initial state.
  • the accuracy decreases, but instead of calculating multiple times for each slide time S, the Lyapunov exponent may be calculated by comparing two states using the slide time as one section.
  • the Lyapunov index is calculated as follows. For example, assume that the radius of the sphere is 0.08, the calculation window length is 20 seconds, the slide time is 1 second, and the measurement frequency is 200 Hz. Since the measurement frequency is 200 Hz, the number of data obtained per second is 200, and the number of data obtained in the calculation window length from the start of calculation is 4000.
  • the Lyapunov exponent when the number of dimensions of the state space is three, a Lyapunov spectrum consisting of three dimensions of ⁇ 1, ⁇ 2, and ⁇ 3 is obtained using 4000 pieces of data in 20 seconds from the start of measurement. Then, in the next one second, a Lyapunov spectrum consisting of ⁇ 1, ⁇ 2, and ⁇ 3 is similarly obtained.
  • the output window length is set to 60 seconds, the above operation is repeated for 60 seconds. That is, the first Lyapunov spectrum is obtained in the first 20 seconds, and a Lyapunov spectrum is obtained every second of the slide time in the subsequent 40 seconds, resulting in a total of 40 Lyapunov spectra. Then, the sum of the 40 Lyapunov spectra for each of ⁇ 1, ⁇ 2, and ⁇ 3 is taken and averaged, and the averaged ⁇ 1, ⁇ 2, and ⁇ 3 are determined. The largest Lyapunov exponent among these is the maximum Lyapunov exponent, and this maximum Lyapunov exponent is one piece of data obtained from the total output. In other words, the maximum Lyapunov exponent is taken as the degree to which the system deviates from its initial value.
  • the analysis unit 103 creates an attractor trajectory using 12,000 pieces of data and calculates the Lyapunov index.
  • the output window length is the time required to output one piece of data as described above, and is the time required to calculate one Lyapunov index.
  • the analysis unit 103 creates an attractor trajectory using 30,000 pieces of data and calculates the Lyapunov index.
  • the measurement frequency is preferably about 100Hz to 1000Hz.
  • the output window length is preferably 30 seconds or more and 5 minutes or less. Since the reaction time of the central nervous system is fast, the output window length is preferably shorter than when measuring the autonomic nervous system, and is preferably 30 seconds or more and 60 seconds or less.
  • the analysis unit 103 may perform the following procedure to improve accuracy.
  • the analysis unit 103 may collect and average the output data for each set time. For example, assuming that the output window length is 30 seconds and the set time is 5 seconds, the analysis unit 103 collects one piece of data output based on vital data for 30 seconds before the timing every 5 seconds. When the analysis unit 103 has collected 30 data, it may average the 30 data to obtain one piece of data. In this case, the analysis unit 103 can obtain one piece of highly accurate data (Lyapunov index) after taking 3 minutes to quantify.
  • FIGS. 8 and 9 The following Figures 8 and 9 were created based on the results of an experiment in which the human body was made to perform various actions with different brain activities, and the Lyapunov index was calculated based on the pulse waves obtained from the human body performing the actions. It is a diagram.
  • FIG. 8 is a bar graph showing the relationship between the Lyapunov index and various behaviors that involve different brain activities in the central nervous system.
  • the numerical value on the vertical axis is a value normalized with the case of rest being 1.
  • the value on the vertical axis for any other action than resting is the value obtained by dividing the Lyapunov index for that action by the Lyapunov index for resting.
  • the horizontal axis shows human behavior with different degrees of brain activity.
  • the following four actions were adopted for the actions on the horizontal axis.
  • the four actions are resting, reading articles, typing emails, and copying materials by typing. Reading an article refers to the act of reading materials on a computer or smartphone, for example.
  • copying materials by typing refers to the act of inputting characters written in materials into a computer by typing.
  • Figure 8 shows that compared to light tasks such as resting and reading articles, heavy tasks such as typing e-mails and copying materials by typing, which are said to have a high level of brain activity even by subjective report, are more effective on the vertical axis. It was confirmed that the numbers were large. In other words, it was confirmed that the higher the level of brain activity, the higher the Lyapunov index. Therefore, it was confirmed that there is a relationship between the degree of brain activity in the central nervous system and the Lyapunov index.
  • the degree of concentration is low when resting, and the degree of concentration is high when typing calculations. It has been confirmed that this is also correlated with the subjective evaluation results. Therefore, there is a correlation between behavior, the Lyapunov index, and the degree of concentration, and the Lyapunov index can also be treated as a mental index of the degree of concentration. Specifically, when the Lyapunov index is large, it can be evaluated that the degree of concentration is high, and when the Lyapunov index is small, it can be evaluated that the degree of concentration is low. Therefore, the vertical axis in FIG. 8 can also be seen as an index of concentration.
  • the numerical value on the vertical axis may be regarded as a concentration index indicating the degree of concentration, for example.
  • FIG. 9 is a diagram showing an example of changes in the Lyapunov index when the human body sequentially performs actions with different brain activities.
  • the vertical axis shows the elapsed time (minutes) of the action
  • the horizontal axis shows the Lyapunov index at the time of the action.
  • FIG. 9 shows the change in the Lyapunov index when the behavior changes from a resting state before work, through a calculation typing work state, and then to a calculation typing work stoppage. It was confirmed that the Lyapunov index, which was small in the resting state, increased during calculation typing tasks and decreased when the tasks were stopped. This shows that there is a relationship between the Lyapunov index and the degree of brain activity. In other words, when the Lyapunov index is large, the degree of brain activity is high, and when the Lyapunov index is small, the degree of brain activity is low.
  • the brain activity estimation device 1 estimates the brain activity of the central nervous system based on the Lyapunov index. Specifically, the analysis unit 103 estimates that the degree of brain activity is high if the Lyapunov index is large, and estimates that the degree of brain activity is low if the Lyapunov index is small.
  • the Lyapunov index on the vertical axis in FIG. 9 is a value obtained by calculation using the brain activity estimation device 1 temporarily as an experimental device. Therefore, from FIG. 9, it can be seen that the Lyapunov index is obtained by the brain activity estimation device 1 at one-minute intervals.
  • FIG. 9 proves that the process of calculating the Lyapunov index from the pulse wave can be performed in one minute, which is generally a short time.
  • FIG. 9 shows the experimental results obtained using the brain activity estimation device 1
  • FIG. 9 merely shows the experimental results of measuring the correlation between the Lyapunov index and behavior. It may be created using a device exclusively for experiments instead of the brain activity estimation device 1.
  • FIG. 10 is a flowchart of brain activity estimation processing in the brain activity estimation device 1 according to the first embodiment.
  • the brain activity estimation device 1 includes a step of acquiring pulse wave shape data (step S1), and a step of performing chaotic analysis based on the brain wave shape data (step S2).
  • the step of performing chaos analysis includes three steps (steps S21 to S23).
  • the first step is to calculate a vector specified from time-series data of pulse wave shape displacement and a preset delay time (step S21).
  • the second step is to generate attractors in which vectors are arranged in chronological order in a three-dimensional state space (step S22).
  • the third step is a step of calculating a Lyapunov index, which is an index value, based on the trajectory of the attractor (step S23).
  • the analysis unit 103 estimates the degree of brain activity based on the Lyapunov index (step S3), and outputs brain activity information indicating the estimation result.
  • the analysis unit 103 converts, for example, the Lyapunov index into a graded numerical value (for example, 1 to 10) indicating the degree of brain activity and outputs the converted value.
  • the stage numerical values are, for example, numerical values indicating that the degree of brain activity is in a state from low to high in order from the smallest to the largest.
  • the analysis unit 103 stores, for example, the Lyapunov index at rest, and calculates the value of the 100th percentile (%) of the Lyapunov index obtained by analysis by the analysis unit 103 with respect to the Lyapunov index at rest.
  • the analysis unit 103 is not limited to outputting the degree of brain activity as a numerical value as described above, but may output it as a graded image, for example.
  • a graded image refers to, for example, an image in which facial expressions differ in stages depending on the degree of brain activity.
  • the brain activity information output from the analysis unit 103 is input to the display unit 107 via the cloud unit 106 and displayed.
  • the brain activity estimation device 1 outputs brain activity information from the analysis unit 103 and visualizes it, so the user can grasp the degree of brain activity.
  • the brain activity information output from the analysis unit 103 may be accumulated in the data collection unit 108 via the cloud unit 106. Further, the brain activity information output from the analysis unit 103 may be directly input to the display unit 107 and displayed without going through the cloud unit 106. Further, the brain activity information output from the analysis unit 103 may be input to the control content determining unit 104 and used to determine the control content of the device including the brain activity estimation device 1.
  • the analysis unit 103 may output concentration degree information indicating the degree of concentration estimated based on the Lyapunov index as brain activity information.
  • the concentration level information may be, for example, the above-mentioned concentration index, or may be a numerical value of 100 percent (%) or a graded image similar to the degree of brain activity. Note that the concentration degree information is information indicating that the larger the Lyapunov index is, the higher the concentration degree is, and the smaller the Lyapunov index is, the lower the concentration degree is. Further, the concentration level information may be information indicating the current concentration level, the chronological concentration level, or both.
  • the brain activity estimation device 1 outputs from the analysis unit 103 that the larger the Lyapunov index is, the higher the degree of concentration is.
  • the analysis unit 103 may output sleepiness degree information instead of the concentration degree information. This allows the user to visually check the sleepiness level.
  • the brain activity estimation device 1 of the first embodiment includes the Doppler sensor 10, which is a sensor that detects the pulse wave of a human body, the analysis unit 103 that analyzes the pulse wave detected by the Doppler sensor 10, Equipped with.
  • the analysis unit 103 generates an index value that digitizes the pulse wave based on chaos analysis using pulse wave shape displacement, which is a time-series displacement of the pulse wave waveform shape, and calculates the human brain based on the index value. Estimate the level of activity.
  • the brain activity estimation device 1 can estimate the degree of brain activity based on the index value generated based on the time-series displacement of the waveform shape of the pulse wave. Furthermore, the pulse wave is vital data that is related to the pulsation of the heart and, in turn, to the activity of the nervous system in the brain. Since the brain activity estimation device 1 estimates brain activity based on index values calculated based on such pulse waves, it can estimate the degree of brain activity with higher accuracy than conventional estimation methods using eye blinks, etc. can.
  • the brain activity estimation device 1 uses a Doppler sensor 10 as a sensor that detects the pulse wave of the human body without contact, and can detect the pulse wave of the human body without contact, and can estimate the degree of brain activity without contact. I can do it. Furthermore, the brain activity estimation device 1 does not use an electroencephalograph. Therefore, the brain activity estimation device 1 does not require the effort of wearing an electroencephalograph, and since it does not use an electroencephalograph, analysis does not take much time and can be performed in a short time.
  • the brain activity estimation device 1 uses the Doppler sensor 10, so it is easy to use because it can perform measurements even at a long distance, and it does not measure personal information such as pupils, so it is more privacy-friendly. can.
  • Chaos analysis consists of a step of calculating a vector specified from time-series data of pulse wave shape displacement and a preset delay time, and a step of generating an attractor in which the vectors are arranged in chronological order in a three-dimensional state space. , and calculating the Lyapunov index, which is an index value, based on the trajectory of the attractor.
  • the brain activity estimation device 1 can calculate the Lyapunov index, which is an index value, by chaos analysis.
  • the analysis unit 103 outputs concentration level information indicating the concentration level estimated based on the index value as brain activity information indicating the estimation result of the degree of brain activity. Furthermore, the analysis unit 103 outputs concentration degree information indicating that the larger the index value is, the higher the concentration degree is, and the smaller the index value is, the lower the concentration degree is.
  • the analysis unit 103 calculates the deviation of the pulse wave height based on the pulse wave shape, and if the deviation is smaller than a preset threshold value, automatically adjusts the input signal amplification factor and adjusts the pulse wave height acquired by the Doppler sensor 10. Increase the waveform.
  • the brain activity estimation device 1 can clarify the shape of the pulse wave, and can improve the accuracy of analysis even if the distance from the Doppler sensor 10 to the human body is long.
  • the brain activity estimation device 1 of the first embodiment analyzes fluctuations in the shape of a pulse wave to estimate the degree of brain activity in the central nervous system.
  • the brain activity estimation device 1 of the second embodiment estimates the degree of activity of the autonomic nervous system based on the pulse interval fluctuation in addition to the degree of brain activity. That is, the brain activity estimation device 1 of the second embodiment estimates both central nervous activity and autonomic nervous activity.
  • the differences between the second embodiment and the first embodiment will be mainly explained, and the configurations not explained in the second embodiment are the same as those in the first embodiment.
  • FIG. 11 is a block diagram showing the configuration of the brain activity estimation device 1 and the usage configuration of the brain activity estimation device 1 according to the second embodiment.
  • the Doppler sensor 10 detects not only the pulse wave of the human body but also the pulse of the human body.
  • the pulse interval is commonly referred to as the RR Interval (RRI).
  • RRI RR Interval
  • the RRI is frequency-converted and converted into various information such as autonomic nervous balance, which will be described later.
  • Vital analysis that analyzes pulse, blood pressure, respiration, etc. differs from body motion analysis and the like in that it analyzes minute fluctuations in ultra-low frequency characteristics of about 1 Hz. For this reason, in vital analysis, analog detection using the Doppler method at 24 GHz is preferable to 60 GHz to 79 GHz, which has high resolution and is often used for distance measurement applications.
  • the Doppler sensor 10 detects the autonomic nervous balance from the displacement of the pulse interval of the human body (one-dimensional pattern pulse displacement).
  • Autonomic nervous balance is the balance between sympathetic and parasympathetic nerves.
  • Autonomic nerve balance is the ratio between LF (Low Frequency) and HF (High Frequency), and is calculated as LF/HF.
  • LF indicates sympathetic nerve activity
  • HF indicates parasympathetic nerve activity.
  • Sympathetic nerves are said to be dominant during the day or in an active state, and parasympathetic nerves are said to be dominant at night or in a sedated state.
  • LF is determined by the integrated value of power in a low frequency band, such as 0.05 Hz to 0.15 Hz, in the characteristic curve.
  • HF is determined by the integrated value of power in a high frequency band such as 0.15 Hz to 0.40 Hz in the characteristic curve.
  • the characteristic curve is a curve obtained by frequency-expanding time series intervals of pulse intervals, and is a curve drawn on a coordinate axis in which the horizontal axis is frequency and the vertical axis is power.
  • autonomic nervous balance is LF/HF
  • LF when LF becomes relatively large, it can be assumed that sympathetic nerves are dominant and in an excited or activated state, and when LF is relatively small, parasympathetic nerves are dominant. It can be assumed that the patient is in a relaxed state.
  • autonomic nerve balance value is large, it can be assumed that the person is in an excited state, and if the autonomic nerve balance value is small, it can be estimated that the person is in a relaxed state. Therefore, autonomic nervous balance is used as an index indicating the degree of activity of the autonomic nervous system.
  • the degree of activity of the autonomic nervous system When the human body is in an excited or activated state, the degree of activity of the autonomic nervous system is large, and the value of autonomic nervous balance becomes large.
  • the degree of activity of the autonomic nervous system is small, and the value of autonomic nervous balance is small.
  • the Doppler sensor 10 can detect the degree of activity of the autonomic nervous system, and as described above, can also detect the degree of brain activity of the central nervous system based on pulse waves. In other words, the Doppler sensor 10 can detect autonomic nerve activity and central nerve activity by itself.
  • the sensor used in the brain activity estimation device 1 of the second embodiment is not limited to the Doppler sensor 10, as in the first embodiment, and may be any sensor that can measure pulse waves and pulses.
  • the pulse that can be measured by the sensor refers to the pulse rate or pulse movement, and includes the magnitude of the pulse rate or the time-series increase or decrease in the pulse rate, the magnitude of the pulse interval or the time-series increase or decrease in the pulse interval, and the magnitude of the LF. Or it includes a time-series increase/decrease in LF, a magnitude of LF/HF, or a time-series increase/decrease in LF/HF.
  • the analysis unit 103 estimates a person's emotions by applying both the degree of brain activity and the degree of autonomic nervous system activity to an emotion model created in advance.
  • a commonly used emotional model is a psychological model called Russell's circle of emotions model, shown in Figure 12 below.
  • FIG. 12 is a diagram showing Russell's circle of emotions model.
  • This emotional circular model arranges emotions such as happy, peaceful, bored, and nervous on a circular plane on a biaxial plane with Activation (arousal level) on the vertical axis and pleasant (comfort level) on the horizontal axis. This is what I did.
  • the vertical axis is set between drowsiness and wakefulness, and the horizontal axis is set between discomfort and pleasure.
  • the "alertness level on the vertical axis” can conventionally be estimated from images acquired by an imaging means or brain waves acquired by an electroencephalograph. Furthermore, there has conventionally been a technique in which TP (Total Power, unit [ms 2 ]) calculated from autonomic nerves is used as the alertness level. TP is the sum of the LF and HF powers obtained from the one-dimensional pattern pulse displacement. Furthermore, in a certain literature, the "alertness level on the vertical axis" is expressed as entropy, and in this literature, the "alertness level on the vertical axis" is calculated based on LF and HF. With these conventional methods, it has not been possible to estimate the alertness level with high precision without contact.
  • the original data for estimating the alertness level is the pulse interval in both cases of TP and entropy.
  • the degree of arousal on the vertical axis of emotion models conventionally used to estimate emotions can be determined by using the results estimated from data obtained using imaging means or an electroencephalogram, or by using an autonomous method.
  • TP or entropy calculated from nerves is used.
  • a method using an imaging device or an electroencephalograph cannot estimate an index indicating the vertical axis of an emotional model with high precision in a short time.
  • the vertical axis of the emotion model used to estimate emotions is the brain activity of the central nervous system estimated based on chaos analysis using pulse wave shape displacement as the analysis source.
  • the brain activity estimating device 1 uses the degree of brain activity in the central nervous system estimated based on pulse waves as an index set on the vertical axis of the emotion model, and is significantly different from the conventional method in this point.
  • the brain activity estimation device 1 can estimate the degree of autonomic nerve activity as described above. For this reason, in the second embodiment, a unique emotion model is created in advance with the vertical axis as "degree of brain activity of the central nervous system" and the horizontal axis as "degree of autonomic nerve activity", and the brain activity estimation device 1 performs emotion estimation based on this emotion model.
  • FIG. 13 is a diagram showing an example of an emotion model of the brain activity estimation device 1 according to the second embodiment.
  • the vertical axis is the degree of brain activity obtained from pulse wave shape fluctuation, which is central nervous activity.
  • the horizontal axis is pulse fluctuation, which is autonomic nervous system activity.
  • the vertical axis is the degree of brain activity in the central nervous system estimated based on the shape displacement (fluctuation) of the two-dimensional pulse wave pattern.
  • the horizontal axis is the degree of activity of the autonomic nervous system estimated based on the one-dimensional pattern pulse displacement (fluctuation).
  • the emotion model shows the relationship between the degree of brain activity and the degree of autonomic nervous system activity, and emotions.
  • the emotion is an emotion caused by, for example, concentration level, sleepiness level, fatigue level, activity level, relaxation level, and the like.
  • the Lyapunov exponent can take a value in the range of 0 to 15, as an example. Therefore, in the emotion model of FIG. 13, for example, "sleepiness-concentration" on the vertical axis is assigned to 0-15 of the Lyapunov index.
  • a Lyapunov index of 0 indicates ⁇ drowsiness
  • a Lyapunov index of 15 indicates a state of ⁇ concentration
  • a Lyapunov index of 7 indicates the position where the vertical axis intersects the horizontal axis. That's how it is.
  • the assignment of the Lyapunov index to the vertical axis described here is just one example, and the assignment may be made using a numerical value of 100 percent of the Lyapunov index.
  • emotions such as happiness or joy are assigned when the person is "high in concentration” and "high in relaxation.” Furthermore, when the level of concentration is high and the level of excitement or active emotion is high, emotions such as nervousness or excitement are assigned. Furthermore, when the level of concentration is low and the level of relaxation is high, feelings such as relaxing, calming, or calm are assigned. Emotions such as depression or boredom are assigned when the level of concentration is low and the level of excitement or activation is high.
  • the horizontal axis may be the level of comfort, similar to Russell's emotional circle model, and may also be an axis of "pleasure-displeasure.”
  • the brain activity estimation device 1 estimates emotions using the above emotion model.
  • the operation of the brain activity estimation device 1 according to the second embodiment will be explained below.
  • the brain activity estimation device 1 detects the pulse wave and pulse of the human body using the Doppler sensor 10.
  • the analysis unit 103 analyzes the pulse wave detected by the Doppler sensor 10 to estimate the degree of brain activity in the central nervous system, and also estimates the degree of activity in the autonomic nervous system from the pulse.
  • the analysis unit 103 estimates emotions based on the degree of brain activity, the degree of autonomic nervous system activity, and the emotion model. Specifically, the analysis unit 103 identifies the position of the vertical axis in the emotional model from the Lyapunov index, which indicates the degree of brain activity, and determines the position of the horizontal axis in the emotional model from the autonomic nervous balance, which indicates the degree of activity of the autonomic nervous system. Identify.
  • the analysis unit 103 estimates the emotion by applying the specified vertical axis position and horizontal axis position to the emotion model, and outputs emotion information indicating the estimation result as the estimation result.
  • the emotional information may be text such as joy, calmness, depression, or tension, or may be a facial image that can identify the emotion.
  • the "comfort level on the horizontal axis” can be specified by the degree of activity of the autonomic nervous system based on pulse fluctuation. Specifically, the degree of activity of the autonomic nervous system can be determined by the autonomic nervous balance obtained by the Doppler sensor 10 as described above. In other words, the "comfort level on the horizontal axis" can be determined based on vital data detected from the displacement of the pulse interval of the human body.
  • the "horizontal axis comfort level” is not limited to being specified by autonomic nerve balance, but may be specified by other data.
  • “Comfort level on the horizontal axis” can also be determined by any of the following, for example, “changes or deviations in pulse interval,” “changes or deviations in pulse rate,” or “changes in the above-mentioned increase/decrease or balance of LF of the autonomic nervous system.” can also be identified.
  • the source data for specifying the position of the "comfort level on the horizontal axis” is the pulse rate. In other words, the "comfort level on the horizontal axis" is determined by the pulse rate.
  • the emotional information output from the analysis unit 103 is input to the display unit 107 via the cloud unit 106 and displayed.
  • the brain activity estimation device 1 outputs the emotional information from the analysis unit 103 and visualizes it, so that the user can understand the emotion.
  • the emotional information output from the analysis section 103 may be accumulated in the data collection section 108 via the cloud section 106.
  • the emotional information output from the analysis unit 103 may be directly input to the display unit 107 and displayed without going through the cloud unit 106.
  • the emotional information output from the analysis unit 103 may be input to the control content determination unit 104 and used to determine the control content of the equipment of the brain activity estimation device 1.
  • the human body when the sympathetic nerve of LF is high or the ratio of autonomic nerve balance expressed as LF/HF is high, the human body is in a good state for work and study. Furthermore, when the human body is "high in concentration” and “excitement or active emotion is high,” the human body is in a state of rapidity.
  • the analysis unit 103 indicates that the work efficiency of the human body is high when the degree of brain activity is higher than a first preset threshold and the degree of autonomic nervous system activity is higher than a second preset threshold. Work efficiency information may also be output. In this way, in addition to outputting emotional information based on the emotional model, the analysis unit 103 may output other information specified from the degree of brain activity and the degree of activity of the autonomic nervous system.
  • the brain activity estimation device 1 of the second embodiment can obtain the same effects as the first embodiment, and can also estimate the degree of activity of the autonomic nervous system by detecting the pulse using the Doppler sensor 10. . Therefore, the brain activity estimation device 1 estimates the degree of activity of the autonomic nervous system in addition to the degree of brain activity of the central nervous system, and combines the degree of brain activity of the central nervous system, the degree of activity of the autonomic nervous system, and the emotional model. Emotions can be estimated from .
  • the brain activity estimation device 1 since central nervous activity and autonomic nervous activity can be measured with a single Doppler sensor 10, the brain activity estimation device 1 does not need to be worn and can be used for short periods of time and over long distances, compared to devices that use an electroencephalograph or imaging means. Emotion estimation can be performed.
  • Embodiment 3 relates to a device including the brain activity estimation device 1 described in Embodiment 1 or Embodiment 2, and in particular, an air conditioner will be described here.
  • FIG. 14 is a diagram showing the configuration of an air conditioner 201 according to the third embodiment.
  • the air conditioner 201 is equipment that air-conditions an indoor space 271 that is an air-conditioned space.
  • Air conditioning refers to adjusting the temperature, humidity, cleanliness, airflow, etc. of air in an air-conditioned space, and specifically includes heating, cooling, dehumidification, humidification, and air cleaning.
  • an air conditioner 201 is installed in a house 203.
  • the air conditioner 201 is a heat pump type air conditioner that uses, for example, HFC (hydrofluorocarbon) as a refrigerant.
  • the air conditioner 201 is equipped with a vapor compression type refrigerant circuit, and operates by obtaining electric power from a commercial power source, power generation equipment, power storage equipment, etc. (not shown).
  • the air conditioner 201 includes an outdoor unit 211 provided outside the house 203, an indoor unit 213 provided inside the house 203, and a remote controller 255 operated by the user.
  • the outdoor unit 211 and the indoor unit 213 are connected via a refrigerant pipe 261 through which refrigerant flows and a communication line 263 through which various signals are transferred.
  • the air conditioner 201 cools the indoor space 271 by blowing out conditioned air, for example, cold air, from the indoor unit 213, and heats the indoor space 271 by blowing out warm air.
  • the outdoor unit 211 includes a compressor 221, a four-way valve 222, an outdoor heat exchanger 223, an expansion valve 224, an outdoor blower 231, and an outdoor unit control section 251.
  • the indoor unit 213 includes an indoor heat exchanger 225, an indoor blower 233, and an indoor unit control section 252.
  • the refrigerant pipe 261 connects the compressor 221, the four-way valve 222, the outdoor heat exchanger 223, the expansion valve 224, and the indoor heat exchanger 225 in an annular manner.
  • the air conditioner 201 has a refrigerant circuit configured by connecting a compressor 221 , a four-way valve 222 , an outdoor heat exchanger 223 , an expansion valve 224 , and an indoor heat exchanger 225 through a refrigerant pipe 261 .
  • the refrigerant circuit circulates refrigerant to operate a refrigeration cycle.
  • the compressor 221 compresses the refrigerant and circulates it through the refrigerant pipe 261. Specifically, the compressor 221 compresses a low-temperature, low-pressure refrigerant, and discharges the high-pressure, high-temperature refrigerant to the four-way valve 222 .
  • the compressor 221 includes an inverter circuit that can change the operating capacity according to the drive frequency. The operating capacity is the amount of refrigerant that the compressor 221 pumps out per unit time. The compressor 221 changes its operating capacity according to instructions from the outdoor unit control section 251.
  • the four-way valve 222 is installed on the discharge side of the compressor 221.
  • the four-way valve 222 switches the flow direction of the refrigerant in the refrigerant pipe 261 depending on whether the air conditioner 201 is operating in a cooling operation, a dehumidifying operation, or a heating operation.
  • the expansion valve 224 is installed between the outdoor heat exchanger 223 and the indoor heat exchanger 225, and decompresses and expands the refrigerant flowing through the refrigerant pipe 261.
  • the expansion valve 224 is an electronic expansion valve whose opening degree can be changed and controlled. The expansion valve 224 changes its opening according to instructions from the outdoor unit control section 251 to adjust the pressure of the refrigerant.
  • the outdoor heat exchanger 223 exchanges heat between the refrigerant flowing through the refrigerant pipe 261 and the air in the outdoor space (external space) 272 that is outside the indoor space 271.
  • the outdoor blower 231 is provided near the outdoor heat exchanger 223, sucks air from the outdoor space 272, and sends the sucked air to the outdoor heat exchanger 223.
  • the air sent to the outdoor heat exchanger 223 is blown out into the outdoor space 272 after exchanging heat with the refrigerant flowing through the refrigerant pipe 261 .
  • the indoor heat exchanger 225 exchanges heat between the refrigerant flowing through the refrigerant pipe 261 and the air in the indoor space 271.
  • the indoor blower 233 is provided near the indoor heat exchanger 225, sucks air from the indoor space 271, and sends the sucked air to the indoor heat exchanger 225.
  • the air sent to the indoor heat exchanger 225 exchanges heat with the refrigerant flowing through the refrigerant pipe 261, and then is blown out into the indoor space 271.
  • the air heat-exchanged by the indoor heat exchanger 225 is supplied to the indoor space 271 as conditioned air. As a result, the indoor space 271 is air-conditioned.
  • the outdoor unit control section 251 controls the operation of the outdoor unit 211.
  • the indoor unit control section 252 controls the operation of the indoor unit 213.
  • a remote controller 255 is arranged in the indoor space 271.
  • the remote controller 255 transmits and receives various signals to and from an indoor unit control section 252 included in the indoor unit 213.
  • the remote controller 255 includes a display section 255a as shown in FIG. 15, which will be described later.
  • the display unit 255a includes a touch screen, a liquid crystal display, an LED (Light Emitting Diode), and the like.
  • the remote controller 255 also includes a push button (not shown).
  • the remote controller 255 functions as a command reception unit that receives various commands from the user, and a display unit that displays various information to the user.
  • the user inputs commands to the air conditioner 201 by operating the remote controller 255.
  • the command is, for example, a command to switch between operation and stop, or a command to switch the operating mode, set temperature, set humidity, air volume, air direction, or timer.
  • the air conditioner 201 operates according to the input command.
  • FIG. 15 is a block diagram of an air conditioner 201 according to the third embodiment.
  • the air conditioner 201 includes a control device 250, an air conditioner 280, and the brain activity estimation device 1 of the first embodiment. Further, an information device 290 operated by a user is connected to the air conditioner 201 via a network N.
  • the control device 250 controls the entire air conditioner 201. Furthermore, the control device 250 controls the operation of the device body, in other words, the air conditioning unit 280, based on the degree of brain activity estimated by the brain activity estimation device 1.
  • the control device 250 includes the above-mentioned outdoor unit control section 251 and indoor unit control section 252.
  • the control device 250 includes the control content determining section 104 and the device control section 105 described in the first embodiment.
  • the control content determination section 104 and the device control section 105 may be provided in either the outdoor unit control section 251 or the indoor unit control section 252.
  • the outdoor unit control section 251 includes a control section 251a, a storage section 251b, a clock section 251c, and a communication section 251d. These parts are connected via a bus (not shown).
  • the control unit 251a controls the entire outdoor unit.
  • the storage unit 251b is composed of a memory such as RAM or ROM, and stores data necessary for control.
  • the clock section 251c is a section that clocks time.
  • the communication unit 251d is an interface for communicating with the indoor unit control unit 252 via the communication line 263 (see FIG. 14).
  • the outdoor unit control section 251 is connected to the indoor unit control section 252 by a communication line 263, as shown in FIG.
  • the outdoor unit control section 251 operates in cooperation with the outdoor unit control section 251 by receiving various signals via the indoor unit control section 252 and the communication line 263.
  • the indoor unit control section 252 includes a communication section 252a that communicates with the outdoor unit control section 251 and the remote controller 255.
  • the communication unit 252a is an interface for communicating with the outdoor unit control unit 251 and the remote controller 255.
  • the communication unit 251d is further connected to the information device 290 via the network N.
  • the communication unit 252a performs a process of receiving various commands from a user from the remote controller 255, and a process of transmitting various commands received from the remote controller 255 to the indoor unit control unit 252.
  • the communication unit 252a also performs a process of transmitting notification information to the remote controller 255 to notify the user.
  • the outdoor unit control section 251 and the indoor unit control section 252 are configured by a microprocessor unit.
  • the outdoor unit control department 251 and the indoor unit control unit 252 have a CPU (Central Processing Unit), ROM (READ ONLY MEMORY) and RAM (RANDOM ACCESSSSSSSSSSSSSMORY), etc., and control ROM. Programs, etc. are remembered .
  • the outdoor unit control section 251 and the indoor unit control section 252 are not limited to microprocessor units.
  • the outdoor unit control section 251 and the indoor unit control section 252 may be configured with something that can be updated, such as firmware.
  • the outdoor unit control section 251 and the indoor unit control section 252 may be program modules that are executed by instructions from a CPU (not shown) or the like.
  • the control device 250 has an outdoor unit control section 251 and an indoor unit control section 252, and is configured separately into an outdoor unit 211 and an indoor unit 213, but it is possible to It may be configured with one control section.
  • the air conditioning unit 280 is a part that air-conditions the indoor space 271, and corresponds to the refrigerant circuit, outdoor blower 231, and indoor blower 233 in FIG.
  • the air conditioner 201 configured as described above controls the operation of the air conditioner 280 based on the degree of brain activity estimated by the brain activity estimation device 1. That is, the control device 250 controls the operation of the air conditioner 280 according to the degree of concentration based on the degree of brain activity. Specifically, for example, when the user's concentration level is low, the control device 250 performs the following control to encourage the user to wake up. In the past, it has been confirmed that users wake up when exposed to wind. Therefore, when the degree of concentration is low, the control device 250 increases the rotation speed of the indoor blower 233 to increase the amount of air blown.
  • the control device 250 may perform the following control.
  • the control device 250 causes the wind to intermittently hit the user by a swing motion that moves up and down the vertical wind direction plates (not shown) provided on the indoor unit 213, or by moving the left and right wind direction plates (not shown) left and right.
  • the wind is made to hit the user intermittently by the swing motion.
  • the air conditioner 201 can prompt the user to wake up when the user's concentration level is low.
  • a temperature about 1°C lower than what the user feels is an appropriate temperature has the effect of cooling the brain and improves work efficiency. Particularly during heating, it is said that if the set temperature is too high, the degree of concentration will decrease. Therefore, when the degree of concentration is low, the control device 250 performs control to adjust the indoor set temperature to a temperature slightly lower than the current temperature.
  • the control device 250 lowers the rotation speed of the indoor fan 233 to reduce the amount of air blown, or controls the upper and lower wind direction plates as upwardly as possible so that the user is not exposed to the wind. do.
  • the control device 250 controls vertical wind direction plates (not shown) and left and right wind direction plates (not shown) to prevent wind from hitting the user. control one or both of With the above control, the air conditioner 201 can prevent the user's consciousness from turning toward the wind due to the wind hitting the user, thereby reducing the user's concentration level. In other words, the air conditioner 201 has the effect that a highly concentrated user can work without being conscious of the wind.
  • the remote controller 255 is positioned as a part of the components of the air conditioner 201, but the information device 290 is positioned as a device owned by the user.
  • the information device 290 has a display section 281 such as a liquid crystal panel, and various information is displayed on the display section 281.
  • Information device 290 is comprised of, for example, a smartphone or a tablet.
  • An application for displaying the concentration level of the human body is installed in the information device 290.
  • the information device 290 can also be used in place of the remote controller 255 by installing an application for air conditioning control.
  • the information device 290 When operated by the user, the information device 290 starts an application, acquires information related to the degree of brain activity estimated by the brain activity estimation device 1 via the network N, and displays the information on the display unit 281. indicate.
  • the information related to the degree of brain activity may be information indicating the degree of brain activity, concentration level information regarding concentration level, or emotional information regarding emotions.
  • the concentration level information is information indicating the current concentration level, the time-series concentration level, or both.
  • the control device 250 of the air conditioner 201 transmits information related to the degree of brain activity obtained by the brain activity estimation device 1 via the communication unit 252a in response to a request from the information device 290. Processing is performed to transmit the information to the device 290 and display it on the information device 290. Note that although information related to the degree of brain activity is displayed on the information device 290 here, it may be displayed on the display unit 255a of the remote controller 255.
  • the air conditioner 201 displays and visualizes the concentration level information on the information device 290 or the display unit 255a of the remote controller 255, so that the user can visually check the concentration level.
  • the device equipped with the brain activity estimation device 1 is the air conditioner 201
  • the device is not limited to the air conditioner 201, and can be incorporated into various devices such as electrical equipment, cars, or entertainment equipment.
  • the brain activity estimation device 1 can be incorporated into, for example, a labor management device or a learning management device.
  • the brain activity estimation device 1 can be incorporated into equipment in a wide range of fields such as healthcare, labor, education, sleep, mindfulness, meditation, customer service, marketing, or sports mental training.
  • the device can control the device using the brain activity determination results and present the brain activity determination results to the user. In this way, by applying the brain activity estimation device 1 to various devices, it is possible to visualize and present the degree of brain activity, degree of concentration, and emotion to the user of the device.
  • 1 Brain activity estimation device 10 Doppler sensor, 10a substrate section, 100 antenna section, 100a antenna, 101 radio section, 102 analog circuit section, 103 analysis section, 104 control content determination section, 105 device control section, 106 cloud section, 107 Display unit, 108 Data collection unit, 201 Air conditioner, 203 House, 211 Outdoor unit, 213 Indoor unit, 221 Compressor, 222 Four-way valve, 223 Outdoor heat exchanger, 224 Expansion valve, 225 Indoor heat exchanger, 231 Outdoor blower , 233 indoor blower, 250 control device, 251 outdoor unit control section, 251a control section, 251b storage section, 251c clock section, 251d communication section, 252 indoor unit control section, 252a communication section, 255 remote controller, 255a display section, 261 Refrigerant piping, 263 Communication line, 271 Indoor space, 272 Outdoor space, 280 Air conditioning section, 281 Display section, 290 Information equipment, 300 Air conditioning system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

脳活動推定装置は、人体の脈波を検出するセンサーと、センサーで検出された脈波を解析する解析部と、を備える。解析部は、脈波の波形形状の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて脈波を数値化した指標値を生成し、指標値に基づいて人体の脳活動の度合いを推定する。

Description

脳活動推定装置、脳活動推定装置を備えた機器および空調装置
 本開示は、人体の脳活動を推定する脳活動推定装置、脳活動推定装置を備えた機器および空調装置に関するものである。
 従来、撮像手段で取得した動画像または連続して得た静止画像から、目の瞬き回数、手または体の動き量、瞳孔の開閉度などを判別し、判別結果に基づいてユーザの集中度の度合いを推定する集中度推定装置がある(例えば、特許文献1参照)。この集中度推定装置は、集中度合いが上昇している場合、手の動きが多くなる体の動き量が少なくなる、瞬き回数が少なくなる、瞳孔が開き気味となる等といった動作および状態となることを前提として集中度合いを推定している。
特開2019-082311号公報
 特許文献1の集中度推定装置は、瞬き回数が少なくなった場合、集中度合いが上昇しているなど、予め想定した前提に基づいて集中度合いを推定している。しかし、瞬き回数が少なくなったからといって集中度が上昇しているとは限らず、特許文献1の集中度推定装置は、推定精度の向上に改善の余地があった。
 また、集中度合いは、脳活動の度合いにも関連していると考えられるが、特許文献1では脳活動の度合いを評価することについては検討されていない。脳活動の度合いは、人の感情にも関わる指標であるため、脳活動の度合いが推定できると、人の感情の推定にも展開でき、脳活動の度合いを推定することは、今後の展開も踏まえると重要である。
 上記のような問題点を解決するためのものであり、脳活動の度合いを高精度に推定することが可能な脳活動推定装置、脳活動推定装置を備えた機器および空調装置を提供することを目的とする。
 本開示に係る脳活動推定装置は、人体の脈波を検出するセンサーと、センサーで検出された脈波を解析する解析部と、を備え、解析部は、脈波の波形形状の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて脈波を数値化した指標値を生成し、指標値に基づいて人体の脳活動の度合いを推定するものである。
 本開示に係る機器は、上記の脳活動推定装置と、脳活動推定装置で推定された脳活動の度合いに基づいて機器本体の運転を制御する制御装置と、を備えたものである。
 本開示に係る空調装置は、上記の脳活動推定装置と、室内空間を空調する空調部と、脳活動推定装置で推定された脳活動の度合いに基づいて空調部を制御する制御装置と、を備えたものである。
 本開示によれば、脳活動推定装置、脳活動推定装置を備えた機器および空調装置は、センサーで検出した脈波の波形形状の時系列変位に基づいて生成した指標値に基づいて、脳活動の度合いを推定できる。ここで、脈波は心臓の脈動ひいては脳の神経系の活動に関連しているバイタルデータであり、脳活動推定装置は、このような脈波に基づいて数値化した指標値に基づいて脳活動を推定するため、脳活動の度合いを高精度に推定できる。
実施の形態1に係る脳活動推定装置の構成および脳活動推定装置の利用構成を示すブロック図である。 実施の形態1に係るドップラーセンサーのアンテナ面の模式図である。 実施の形態1に係るドップラーセンサーの基板部品実装面の模式図である。 実施の形態1に係るドップラーセンサーで検出された脈波の例を示す図である。 実施の形態1に係る脳活動推定装置の脈波形状変位の時系列データを示す図である。 実施の形態1に係る脳活動推定装置のカオス解析におけるアトラクターの概念図である。 実施の形態1に係る脳活動推定装置におけるリアプノフ指数化の概念図である。 リアプノフ指数と、中枢神経系の脳活動が異なる様々な行動と、の関係性を棒グラフで示す図である。 人体が脳活動の異なる行動を順次行った場合のリアプノフ指数の変化例を示す図である。 実施の形態1に係る脳活動推定装置における脳活動の推定処理のフローチャートである。 実施の形態2に係る脳活動推定装置の構成および脳活動推定装置の利用構成を示すブロック図である。 ラッセルの感情円環モデルを示す図である。 実施の形態2に係る脳活動推定装置の感情モデルの一例を示す図である。 実施の形態3に係る空調装置の構成を示す図である。 実施の形態3に係る空調装置のブロック図である。
 以下、図面を参照して、本開示の実施の形態について説明する。なお、各図中、同一または相当する部分には、同一符号を付して、その説明を適宜省略または簡略化する。
 図1は、実施の形態1に係る脳活動推定装置1の構成および脳活動推定装置1の利用構成を示すブロック図である。図2は、実施の形態1に係るドップラーセンサー10のアンテナ面の模式図である。図3は、実施の形態1に係るドップラーセンサー10の基板部品実装面の模式図である。脳活動推定装置1は、人体の脳活動の度合いを推定する装置である。脳活動推定装置1は、人体の脳活動の度合いを数値化することで、脳活動の度合いを客観化できる。
 脳活動推定装置1は、ドップラーセンサー10と解析部103とを有する。ドップラーセンサー10は、マイクロ波帯または準ミリ波帯と呼ばれるおよそ24GHzの一定正弦波の電波を、脳活動の推定対象の人体に向けて発振する。人体は、心臓の脈動に伴って血流が変化しており、人体の体表面とドップラーセンサー10との距離が変化すると、ドップラー効果によって人体の体表面で反射した反射波が変化する。
 ドップラーセンサー10は、血管の動きに応じた人体からの反射波を受信し、反射波とドップラーセンサー10から発振された送信波との周波数差に基づいて人体の中枢神経系の脈波を検出する。脈波とは、心臓の脈動による人の体表面の動きの変化を示す波形であり、血管の動きの変化の波形および心臓部分の体表面の変化の波形を含む。血管は人体の至る部分に通っており、ドップラーセンサー10は、心臓でなくても頭の一部または腕の一部など人体の一部を対象として血管の動きを検出できる。
 ところで、距離測定用途では、60GHz~79GHzの測定周波数が分解能の高さから用いられることが多い。しかし、ここでは動きの大きい体動などとは異なり脈波の検出を目的としており、約1Hzという超低周波特性の微小なゆらぎを解析する必要がある。このため、24GHzのドップラー方式によるアナログ検出は脈波の検出に好適である。
 ドップラーセンサー10は、上記の様に電波を用いることで、人体の脈波を非接触で検出できるメリットを有する。よって、ドップラーセンサー10は、人体の広い範囲を測定対象とできる。なお、ドップラーセンサー10は、脈波のピーク間隔を解析することで、脈拍数、呼吸数、体動、睡眠状態および自律神経バランスといったバイタルデータを測定できるものであるが、実施の形態1では脈波の検出に用いられる。
 なお、ここでは、人体の脈波を検出するセンサーがドップラーセンサー10であるとしたが、ドップラーセンサー10に限られたものではない。人体の脈波を検出するセンサーは、24GHz~79GHzのFMCW方式センサーを用いても良い。FMCW方式センサーは、対象までの距離変化を検出して速度変換することで脈波の測定を行える。
 また、人体の脈波を検出するセンサーは、非接触型のセンサーに限らず、人体に接触して検出を行う接触型センサーでもよい。非接触型のセンサーは、接触型センサーに比べて脈波を高精度に測定できる可能性がある。接触型として脈拍を測定する機器は多数あるが、ウエアラブル機器には光電方式の脈波センサーがよく使われる。脈波センサーは、心臓が血液を送り出すことに伴い発生する、血管の容積変化を波形としてとらえるもので、この容積変化をモニタする検知器を備えている。脈波センサーは、得られた脈波のピークとピークとの間隔を数えることで、脈拍間隔を得ることができる。1分間あたりの脈拍数は、脈拍間隔を逆数にすることで算出できる。例えば、脈拍間隔が平均で800ms(0.8秒)であると、脈拍数は、60÷0.8で1分間に75回となる。
 脈波センサーには、測定方法の違いから透過型と反射型とがある。透過型の脈波センサーは、体表面から赤外線または赤色光を照射し、心臓の脈動に伴って変化する血流量の変化を、体内を透過する光の変化量として計測することで脈波を測定できる。ただし、透過型の脈波センサーでは、測定できる個所が、指先または耳たぶなど赤外線または赤色光が透過しやすい個所に限定されてしまう。
 一方で、反射型の脈波センサーは、赤外線、赤色光、または550ナノメートル付近の緑色波長の光を生体に向けて照射し、フォトダイオードまたはフォトトランジスタを用いて、生体内を反射した光を計測する。動脈の血液内には酸化ヘモグロビンが存在し、入射光を吸収する特性がある。このため、反射型の脈波センサーは、心臓の脈動に伴って変化する血流量(血管の圧力変化)を時系列にセンシングすることで脈波信号を計測できる。反射型の脈波センサーは、反射光を計測するので、透過型のような、測定個所を限定する必要がなくなる利点がある。スポーツウオッチなど屋外使用する用途での脈波計測では、血液中のヘモグロビンの吸収率が高く、外乱光の影響の少ない緑色の光源が適していることから、照射光には緑色LEDを使用することが多い。
 ただし、接触型の計測器では、装着して測定する必要があり、装着が煩わしい、離れたところから測定ができないなどの課題はあり、機器に組み込む場合は、非接触型のセンサーが適している。なお、以下では、人体の脈波を検出するセンサーがドップラーセンサー10であるものとして説明を行う。
 ドップラーセンサー10は、具体的には、アンテナ部100と、無線部101と、アナログ回路部102と、基板部10aと、を有する。アンテナ部100は、中枢神経活動である人体の脈波を取得する部分である。アンテナ部100は、発振部であるTXと、受信部であるRXと、を有する。アンテナ部100は、図2に示すように複数(ここでは12個)のアンテナ100aを有する。TXおよびRXは、それぞれここでは6個のアンテナ100aを有している。
 無線部101は、RF(Radio Frequency)と呼ばれる24GHzの電波を作り出し、TXから電波を発振して、RXで反射波を受信する。アナログ回路部102は、反射波のドップラー変化である周波数成分を変換する回路部を有する。また、アナログ回路部102は、図3に示すように必要な周波数帯を取り出して増幅するアナログ増幅フィルター部(OPAMP)と、数値解析を可能にするためのアナログデジタル変換部(LDO)と、を有する。
 基板部10aは、解析部103または脳活動推定装置1を備えた機器に情報を出力するためのコネクタ部およびメモリーなどを備えている。無線部101、アナログ回路部102および解析部103は、図3に示すように金属製のシールドケースで覆われている。図3において、シールドケース部分をドットで示している。
 解析部103は、ドップラーセンサー10で検出された脈波を解析する部分である。解析部103は、脈波の波形形状(以下、脈波形状という)の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて脈波を数値化した指標値を生成し、指標値に基づいて人体の脳活動の度合いを推定する。解析部103における脳活動の推定については改めて説明する。解析部103は、脳活動の推定結果を示す脳活動情報を出力する。脳活動情報とは、脳活動の度合いを示す情報である。解析部103から出力された脳活動情報は、後述の制御内容決定部104またはクラウド部106などに入力される。
 解析部103は、マイクロプロセッサユニットにより構成されている。解析部103は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを備えており、ROMには制御プログラム等が記憶されている。なお、解析部103は、マイクロプロセッサユニットに限定するものではない。例えば、解析部103は、ファームウェア等の更新可能なもので構成されていてもよい。また、解析部103は、プログラムモジュールであって、図示しないCPU等からの指令により、実行されるものでもよい。また、解析部103は、ドップラーセンサー10の外部にドップラーセンサー10とは別体として備えても良いし、ドップラーセンサー10内の基板上に備えて1つのセンサー内でエッジ処理しても良い。
 解析部103で推定された脳活動の度合いは、脳活動推定装置1を備えた機器の制御に用いることができる。脳活動推定装置1を備えた機器とは、具体的には例えば空調装置などがあるが、その詳細については後述の実施の形態3で改めて説明する。脳活動推定装置1を備えた機器は、制御内容決定部104と、機器制御部105と、を有する。制御内容決定部104は、解析部103で得られた脳活動情報に基づいて機器の制御内容を決定し、制御データを生成して機器制御部105に出力する。機器制御部105は、制御内容決定部104からの制御データに基づいて機器の各種アクチュエータを制御する。
 また、脳活動推定装置1の利用形態として、解析部103から出力された脳活動情報はクラウド部106に入力されてもよい。クラウド部106は、解析部103から入力された脳活動情報を蓄積する。解析部103は更に、ドップラーセンサー10で得られた脈波データであるバイタルデータ自体を出力してクラウド部106に蓄積させてもよい。クラウド部106に蓄積された脳活動情報およびバイタルデータは、表示部107に表示することで視覚化できる。また、クラウド部106に蓄積された脳活動情報およびバイタルデータは、視覚化することに限られず、クラウド部106を介して別のクラウドからデータ収集部108に提供して、様々な用途に活用することもできる。
 表示部107は、表示を行う液晶パネルなどのディスプレイである。表示部107は、スマートフォンの表示部でもよく、スマートフォンにインストールされたアプリケーション上に脳活動情報を表示して視覚化するものでもよい。
 ところで、従来の撮像手段で取得した画像から人の集中度合いを推定する方式では、瞬き回数が少なくなると、集中度合いが上昇しているなど、予め想定した前提に基づいて集中度合いを推定している。しかし、瞬き回数が少なくなったからといって集中度が上昇しているとは限らず、この方式では、推定精度の向上に改善の余地がある。また、従来、脳波計を用いて人の感情を推定する装置があるが、脳波のα波およびβ波の定量化が簡単ではない。また、脳波計を用いた推定装置は、推定処理にあたってある一定期間の測定データが必要であるためリアルタイムに推定を行えない、脳波計を頭に装着する必要がある、システムが複雑化する、といった実用性および分析時間の課題があった。
 これに対し、本実施の形態1の脳活動推定装置1は、ドップラーセンサー10を用いて非接触で検出した脈波から、以下に説明するカオス解析によって中枢神経系の脳活動の度合いを短時間で推定できる。
 ここで、カオス解析の詳細について説明する。生理心理学は、生体信号に現れる生理的変化から、人の生理状態および心理状態の推定を行うものである。従来の生理心理学において、種々の生体信号である脳波、心電図、心拍間隔、血圧および呼吸指尖容積脈波などが様々な手法を用いて解析され、多くの知見が得られてきた。しかし、多くの解析の大半は、線形理論に基づく解析手法が主流であった。しかしながら、生体信号には非線形的性質が含まれており、これらはカオス(chaos)と呼ばれる非線形的性質により変動することが知られている。カオスとは、システムの状態遷移規則が決定論的であるにも関わらず、システム自体の非線形性によって確率系と等価な複雑さを生み出す現象のことを指す。対象の状態は、方程式などによって決定論的に記述されうるが、対象の状態の様相には法則性が見い出せず、様相はランダムネスのような非常に複雑な挙動を表す。
 しかし、カオス現象は、一見無秩序に見えるものの、実際にその背景に確固たる規則が存在する現象である。言い換えると、次に起こる現象が確率で決まるのではなく、ある一定のルールに従って決定論的に決まるのである。規則に従っているのに対象が無秩序に見えるのは、その対象を構成する要素の一つ一つの動きが、単純であっても、集合体として振る舞うと複雑になるからである。その複雑系から産出される生体信号には、カオス情報が存在する可能性が高いと判断されてきた。
 近年、人の生理心理状態を推定するカオス解析(chaos analysis)の有効性が様々な実験により証明されている。従来のカオス解析では、人が感じる温冷感または心理状態など、一義的に決まらない情報をカオス対象として、カオス解析することで、一見関連性がなさそうな情報から関連性を見出している。カオス解析では、何をカオス対象とするかが重要である。対象とするものが変わると、それは全くの別の概念となる。
 脳活動推定装置1は、中枢神経系の脳活動をカオス対象としている。従来、中枢神経系の脳活動をカオス対象としたものはない。脳活動推定装置1は、波形自体の動き方に着目した脈波形状ゆらぎを解析元にしてカオス解析する。脈波形状ゆらぎは、脈波の波形形状の変位の時系列データ、言い換えれば、脈波の波形形状の時系列変位データで表現される。脳活動推定装置1は、脈波の波形形状の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて脈波を数値化した指標値を生成し、指標値に基づいて人体の脳活動の度合いを推定する。
 カオス解析は、以下の(1)~(3)の3つのステップを順次実施するものである。なお、各ステップの詳細については改めて説明する。
(1)第1ステップは、脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップである。
(2)第2ステップは、ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップである。
(3)第3ステップは、アトラクターの軌道に基づいて指標値であるリアプノフ指数を計算するステップである。
 ところで、心臓の脈動間隔は1拍ごとに変動があるが、その起源は脳にあり自律神経を通じて心臓に伝達されている。そこで、本発明者らは、脳活動の度合いを推定するにあたり、自律神経系に限らず中枢神経系にも心臓の脈動との関連があると考え、心臓の脈動と脳活動との相関性を見出すことで、中枢神経系の脳活動の度合いを推定することに着想した。
 また、従来、脈拍の変化を利用して脳の覚醒度合いを推定する技術がある。例えば、脈拍の変化が大きければ覚醒度合いが高い状態にあり、脈拍の変化が小さければ覚醒度合いが低く眠気が働いている状態にある、と判断する技術である。脈拍の変化は、脈波のピークとピークとの間隔の時間変動であり、脈波のピーク情報のみをピンポイントで使用して検出される。以下、脈波のピークとピークとの間隔の時間変動を1次元パターン脈拍変位または脈拍ゆらぎと呼ぶことがある。脈波のピークとピークとの間隔の時間変動には脈波の高さは関係なく、脈拍間隔の変位のみから周波数変換してバイタルデータを得るので、1次元と表現している。
 上記従来の覚醒度合いを図る技術は、脈拍の変化を用いた技術であるが、本発明者らは、脈拍の変化だけでは生体の複雑な神経活動情報を判断しきれないと考えた。そして、本発明者らは、脈波のピーク情報のみのピンポイント検出とは違う方法を模索し、脈波波形の変位に着目するに至った。ただし、ピーク間隔ゆらぎと、脈波自体の波形から波形への2次元の波形パターンのゆらぎと、のそれぞれの複雑さを比較すると、2次元の波形パターンのゆらぎ(つまり脈波形状のゆらぎ)の複雑さは、1次元の脈拍間隔のゆらぎに対して比較にならないほど複雑である。これは、脈波形状ゆらぎが、6層の大脳皮質からなる神経細胞活動に関連しているからと考えられる。このため、本発明者らは、従来の解析手法ではなく、脳活動を解析するための手法としてカオスを用いることとした。
 次に、脳活動推定装置1の解析部103で行われるカオス解析について説明する。まず、解析部103は、ドップラーセンサー10から脈波を得る。次の図4は、ドップラーセンサー10で検出された脈波の例を示している。
 図4は、実施の形態1に係るドップラーセンサー10で検出された脈波の例を示す図である。図4の横軸は時間、縦軸はアナログ脈波高さを示している。ここで脈波高さとは、パワーである。脈波高さは、最も脈波のパワーが高いピーク部分のみのパワーを指し示す言葉ではなく、脈波のピーク部分を含む時系列における時間ごとのパワーのことである。ドップラーセンサー10は図4に示すアナログ波形を得て解析部103に出力する。脈波高さは、ドップラーセンサー10と測定対象の人体との距離が離れるにつれて減少する。しかし、本実施の形態1のカオス解析では、脈波高さの変位を解析するため、脈波の数値化においては脈波高さの絶対値は必要な情報ではない。ただし、脈波高さが大きい方が、脈波形状が明確になり、後述のアトラクター化の精度は高まる。このため、ドップラーセンサー10から人体までの距離は近いほうが好ましい。
 解析部103は、脈波形状の時系列データの解析にあたり、精度確保に必要な脈波高さを得たい場合には、次のようにすればよい。解析部103は、脈波高さの偏差を算出し、偏差が予め設定された閾値より小さい場合、入力信号増幅率を自動的に調整し、アナログ脈波波形を疑似的に大きくする。こうすることで、脈波の形状が明確になり、解析部103は、ドップラーセンサー10から人体迄の距離が遠くても精度の高い解析を行える。
 例えば、ドップラーセンサー10から人体迄の距離が近い場合は、入力信号倍率は1倍でよい。一方、ドップラーセンサー10から人体迄の距離が遠くなるに連れて脈波自体が小さくなり、脈波形状の変位が見にくくなって偏差も小さくなる。このため、解析部103は、偏差の小ささに応じて倍率を決めればよい。具体的には例えば、解析部103は、偏差が第1閾値よりも小さい場合は、入力信号倍率を2倍に設定し、偏差が第1閾値よりも小さい第2閾値よりも小さい場合は、入力信号倍率を3倍に設定するなどとすればよい。つまり、解析部103は、ドップラーセンサー10から人体迄の距離が遠いほど、入力信号増幅率を自動的で大きくして、アナログ波形を大きくする。これにより、解析部103は、ドップラーセンサー10から人体迄の距離が遠くても、脈波形状ゆらぎ(脈波形状の時系列変位データ)の解析が可能になる。
 また、ドップラーセンサー10から人体迄の距離が同じでも、幼児など人体の面積および血管に送る血流のパワーが小さい場合、脈波レベルが小さいので解析がしにくくなる。このため、解析部103は、人体の面積が小さいほど、また、脈波高さの偏差が小さいほど、入力信号増幅率を自動的で大きくして、アナログ波形を大きくする。これにより、解析部103は、脈波レベルが小さい場合に解析しにくい問題を解決できる。
 次に、解析部103は、脈波形状から後述のアトラクターを生成する。脈波形状とは、脈波の2次元波形パターンである。脈波の波形から波形への脈波形状の時系列データは、規則を見出すのは困難なデータであるものの、脈波形状の時系列データをアトラクターに変換すると、一定のパターンが存在している。アトラクターとは、ある力学系がそこに向かって時間発展をする集合のことである。ある力学系においてアトラクターに十分近い点から運動するとき、その系は、そのアトラクターに十分近いままであり続ける。アトラクターに含まれる軌道は、そのアトラクターの内部にとどまり続けること以外に制限はない。
 次に、カオス解析の第1ステップから第3ステップを順に説明する。本実施の形態1は、中枢神経系の脳活動をカオス対象とし、カオス解析の解析元に、脈波の波形形状の時系列変位である脈波形状変位を用いたことを特徴としており、カオス解析の手法自体は従来公知の手法を用いる。このため、以下のカオス解析の説明では、概要を説明する。
(第1ステップ)
 第1ステップは、上述したように脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップである。
 図5は、実施の形態1に係る脳活動推定装置1の脈波形状変位の時系列データを示す図である。図5の横軸は時間、縦軸はアナログ脈波高さを示している。x(i)(i=1、2、…、n)は、ドップラーセンサー10にて得られたセンサデータに基づく脈波形状の時系列データである。x(i)のときの脈波高さとx(i+1)のときの脈波高さとの差が脈波形状変位である。なお、x(0)は、計算窓長の時間で得られたセンサデータの初期値である。計算窓長とは、任意に設定した時間長さであり、例えば20秒などである。計算窓長が短い方が計算は早くできるが、計算窓長が長い方が脈波形状の形状データが多く、精度が高い。
 この時系列データを用いて、2次元の時系列変化をd次元状態空間に埋め込むために、言い換えればd次元状態空間の中に軌跡を描くために、解析部103は、適当な遅延時間となる時間遅れτを設定してベクトルをつくる。具体的には、解析部103は、ベクトルX(i)={x(i)、x(i+τ)、x(i+2τ)、…、x(i+(d-1)τ)}をつくる。例えば、dを3とし、2次元の時系列変化を3次元状態空間に埋め込むとすると、解析部103は、状態変数の個数が3個であるベクトルをつくる。3次元状態空間の場合のベクトルX(i)は、X(i)={x(i)、x(i+τ)、x(i+2τ)}である。i=1、2、…、nであるため、ベクトルXはn個作られる。ここで、τは埋め込み遅延時間と呼ばれるパラメータである。
(第2ステップ)
 第2ステップは、ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップである。
 図6は、実施の形態1に係る脳活動推定装置1のカオス解析におけるアトラクターの概念図である。このベクトルX(i)を、座標軸x(i)、x(i+τ)、x(i+2τ)、…、x(i+(d-1)τ)に順次プロットしていくと、軌道が得られる。図6は、3次元状態空間であり、座標軸はx(i)と、x(i+τ)と、x(i+2τ)と、の3つである。例えば、d=3、遅延時間を0.05秒などとして、第1ステップで得たベクトルを3次元状態空間内に時系列順にプロット(配列)していくと、図6のような軌跡が得られる。この軌跡がアトラクターの軌道である。アトラクターの軌道の形状を見ると、渦状の軌跡が得られているので、2次元パターン脈波形状のゆらぎ方の中にカオス情報が存在することが実証されている。
(第3ステップ)
 第3ステップは、アトラクターの軌道に基づいて指標値であるリアプノフ指数を計算するステップである。リアプノフ指数は、アトラクターの軌道の不安定性または発散性を評価して求められる。
 図7は、実施の形態1に係る脳活動推定装置1におけるリアプノフ指数化の概念図である。最終的に脳活動の度合いを推定するためには、脈波形状の時系列変位を数値化する必要がある。この数値化した指標値には、リアプノフ指数が用いられる。3次元状態空間のアトラクターには軌道の不安定性がある。不安定性は発散性とも言い換えることができる。この軌道不安定性を定量化したのがリアプノフ指数である。リアプノフ指数とは、近接した2点から出発した二つの軌道が、どのくらい離れていくかを表す尺度である。言い換えれば、リアプノフ指数とは、力学系においてごく接近した軌道が離れていく度合いを表す値である。ここで、リアプノフ指数が大きいほど、アトラクターの変動幅は大きくなり、ゆらぎの幅が大きい。
 図7に示すように、3次元のカオス力学系に初期値として半径εの微少球(超球)を与えたとする。そうすると、最初は球であったものが、任意に設定するスライド時間Sを経て、1回写像されることによって、e1方向には引き延ばされ、e2方向にはほぼ変わらず、e3方向には押し潰される結果、球が楕円体となる。ここで、e1、e2、e3方向に対する単位時間当たりの拡大率の対数がλ1、λ2、λ3であるとすると、このλ1、λ2、λ3がリアプノフ指数である。
 これらのリアプノフ指数の組はリアプノフスペクトラムと呼ばれる。スライド時間Sごとに、この球を引き延ばす作業をくり返して、拡大率が計算される。それらの総和を取って平均化することにより全体のリアプノフスペクトラムが算出される。計算されたリアプノフ指数の中で最大のリアプノフ指数が最大リアプノフ指数と呼ばれる。その系の初期値から軌道が離れていく度合いは、最大リアプノフ指数をみることでわかる。つまり、リアプノフ指数は、初期の状態に対して、n番目の状態がどの程度離れているかを示しており、脳活動で言えば、初期状態から離れているほど人の脳が活発に動いていて、初期状態と変わらないほど脳は動いていないことがわかる。もちろん、精度は下がるが、スライド時間Sごとに複数回計算するのでなく、スライド時間を1区間分として、2つの状態を比較してリアプノフ指数を計算しても良い。
 リアプノフ指数は、具体的には以下のようにして計算される。例えば、球の半径が0.08、計算窓長が20秒、スライド時間が1秒、測定周波数が200Hzとする。測定周波数が200Hzであるため、1秒間に得られるデータ数は200個であり、計算開始から計算窓長の時間で得られるデータは4000個である。リアプノフ指数は、状態空間の次元数が3次元である場合、測定開始から20秒で4000個のデータを用いて3次元分のλ1、λ2、λ3からなるリアプノフスペクトラムが得られる。そして、次の1秒間で同様にλ1、λ2、λ3からなるリアプノフスペクトラムが得られる。
 出力窓長が60秒に設定された場合には、60秒間、上記作業が繰り返される。つまり、最初の20秒で1つ目のリアプノフスペクトラムが得られ、その後の40秒間にスライド時間の1秒毎にリアプノフスペクトラムが得られ、計40個のリアプノフスペクトラムが得られる。そして、40個のリアプノフスペクトラムをλ1、λ2、λ3毎に総和を取って平均化して、平均化したλ1、λ2、λ3を決定する。これらのうち最大のリアプノフ指数が最大リアプノフ指数であり、この最大リアプノフ指数が出力総長で得られる1つのデータである。つまり、最大リアプノフ指数が、その系の初期値からの離れていく度合として採用される。
 ここで、バイタルデータである脈波データの測定数について検討する。例えば、測定周波数が200Hz、出力窓長が60秒に設定された場合、60秒間で12000個のデータが得られる。解析部103は、12000個のデータを用いてアトラクターの軌道をつくり、リアプノフ指数を算出する。なお、出力窓長とは、上述したように1データを出力するために必要な時間であり、1つのリアプノフ指数を算出するために必要な時間である。また、例えば測定周波数が500Hz、出力窓長が60秒に設定された場合には、60秒間で30000個のデータが得られる。この場合、解析部103は、30000個のデータを用いてアトラクターの軌道をつくり、リアプノフ指数を計算する。
 データ数が多いほど正確性は高まるメリットがある。しかし、データ数が多い場合、測定時間が長くなる、脳活動の度合いの変化に追従できない、CPUの処理時間が長くなったり計算できなくなったりする、といったデメリットがある。逆にデータ数が少ないほど精度は下がる。しかし、データ数が少ない場合、測定時間が短い、CPUの処理時間が短い、追従性が良いといったメリットがある。
 従って、測定周波数は100Hzから1000Hz程度が好ましい。また、出力窓長は、30秒以上5分以下が好ましい。中枢神経系の反応時間は早いので、出力窓長は、自律神経系の測定を行う場合よりも短い時間がよく、30秒以上60秒以下が好ましい。更に、解析部103は、精度を高めるために次のようにしてもよい。解析部103は、出力された1データを、設定時間毎に集めて平均化してもよい。例えば出力窓長が30秒、設定時間が5秒であるとすると、解析部103は、5秒毎のタイミングでそのタイミング前の30秒間のバイタルデータに基づき出力された1データを集める。解析部103は、30データ分、集まったところで、その30データを平均化し、1つのデータを得てもよい。この場合、解析部103は、数値化に3分をかけた精度の高い1つのデータ(リアプノフ指数)を得ることができる。
 次に、本発明者らが見い出した、リアプノフ指数と、中枢神経系の脳活動が異なる様々な行動と、に相関がある点について図8および図9を用いて説明する。次の図8および図9は、人体に、脳活動が異なる様々な行動をさせ、その行動を行っている人体から取得した脈波に基づいてリアプノフ指数を計算した実験結果に基づいて作成された図である。
 図8は、リアプノフ指数と、中枢神経系の脳活動が異なる様々な行動と、の関係性を棒グラフで示す図である。縦軸の数値は、安静の場合を1として規格化した値である。つまり、安静以外の他の行動の場合の縦軸の数値は、その行動のときのリアプノフ指数を、安静の場合のリアプノフ指数で除算した値である。横軸は、脳活動の度合いが異なる人間の行動を示している。横軸の行動には、次の4つの行動を採用した。4つの行動は、安静にする、記事を読む、メールを打つ、資料をタイピングで書き写す、である。記事を読むとは、例えば資料をパソコンまたはスマートフォンで読む行動を指す。また、資料をタイピングで書き写すとは、資料に記載の文字をタイピング作業でパソコンに入力する行動を指す。
 図8より、安静にする、記事を読むといった軽作業に比べて、メールを打つ、資料をタイピングで書き写すなど、主観申告でも脳活動の度合いが高いとされる重作業の方が、縦軸の数値が大きいことが確認できた。つまり、脳活動の度合いが高い方が、高いリアプノフ指数が得られることが確認できた。よって、中枢神経系の脳活動の度合いとリアプノフ指数とには関係性があることが確認できた。
 また、安静時は集中度が低い状態であり、計算タイピング時は集中度が高い状態である。これは主観評価結果とも相関していることを確認している。よって、行動とリアプノフ指数と集中度とは相関がありリアプノフ指数は、集中度というメンタル指標としても扱うことが可能である。具体的には、リアプノフ指数が大きい場合、集中度が高い、リアプノフ指数が小さい場合、集中度が低いと評価できる。よって、図8の縦軸は、集中度の指標としてみることもできる。つまり、縦軸の数値が大きい方が、集中度が高く、縦軸の数値が小さい方が、集中度が低いといった具合である。よって、縦軸の数値は、例えば集中度合いを示す集中指数として捉えてもよい。
 図9は、人体が脳活動の異なる行動を順次行った場合のリアプノフ指数の変化例を示す図である。縦軸は行動の経過時間(分)、横軸はその行動のときのリアプノフ指数を示している。図9は、作業前の安静状態から計算タイピング作業状態を経て、計算タイピング作業停止へと行動を変化させた時のリアプノフ指数の変化を示している。安静状態のときに小さかったリアプノフ指数は、計算タイピング作業中に上昇し、作業を停止すると低下することが確認できた。このことから、リアプノフ指数と脳活動の度合いとに関係があることが分かる。つまり、リアプノフ指数が大きい場合、脳活動の度合いが高く、リアプノフ指数が小さい場合、脳活動の度合いが低いことが分かる。
 以上の関係を踏まえ、脳活動推定装置1は、リアプノフ指数に基づいて中枢神経系の脳活動を推定する。具体的には、解析部103は、リアプノフ指数が大きければ脳活動の度合いが高いと推定し、リアプノフ指数が小さければ脳活動の度合いが低いと推定する。
 ところで、図9の縦軸のリアプノフ指数は、脳活動推定装置1を一時的に実験用の装置として用いて計算して得られた値である。このため、図9より、リアプノフ指数が脳活動推定装置1により1分間隔で得られることが分かる。そして、脈波からリアプノフ指数を算出する処理が、一般的に短時間と言える1分で行えることが図9より証明された。なお、ここでは図9が脳活動推定装置1を用いて得られた実験結果であるとしたが、図9は、あくまでもリアプノフ指数と行動との相関を測定した実験結果を示したものであり、脳活動推定装置1ではなく実験専用の装置を用いて作成されたものでもよい。
 図10は、実施の形態1に係る脳活動推定装置1における脳活動の推定処理のフローチャートである。脳活動推定装置1は、脈波形状データを取得するステップ(ステップS1)と、脳波形状データに基づいてカオス解析を行うステップ(ステップS2)と、を有する。カオス解析を行うステップは、上述したように、3つのステップ(ステップS21~ステップS23)を有する。第1ステップは、脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップ(ステップS21)である。第2ステップは、ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップ(ステップS22)である。第3ステップは、アトラクターの軌道に基づいて指標値であるリアプノフ指数を計算するステップ(ステップS23)である。
 解析部103は、リアプノフ指数に基づいて脳活動の度合いを推定(ステップS3)し、推定結果を示す脳活動情報を出力する。解析部103は、例えばリアプノフ指数を、脳活動の度合い示す段階数値(例えば、1~10)に変換して出力する。段階数値は、例えば、数値の小さい方から大きい方の順に、脳活動の度合いが低い状態から高い状態にあることを示す数値である。また、解析部103は、例えば安静時のリアプノフ指数を保持しておき、安静時のリアプノフ指数に対する、解析部103で解析して得たリアプノフ指数の100分率(%)の数値を、脳活動の度合いを示す数値として出力してもよい。また、解析部103は、上記の様に脳活動の度合いを数値で出力することに限られず、他に例えば段階画像などで出力してもよい。段階画像とは、例えば、顔の表情が脳活動の度合いに応じて段階的に異なる画像を指す。
 解析部103から出力された脳活動情報は、クラウド部106を介して表示部107に入力されて表示される。このように脳活動推定装置1は、脳活動情報を解析部103から出力して視覚化するので、ユーザは脳活動の度合いを把握することができる。なお、解析部103から出力された脳活動情報は、クラウド部106を介してデータ収集部108に蓄積されてもよい。また、解析部103から出力された脳活動情報は、クラウド部106を介さず直接、表示部107に入力されて表示されてもよい。また、解析部103から出力された脳活動情報は、制御内容決定部104に入力され、脳活動推定装置1を備えた機器の制御内容を決定するために用いられてもよい。
 脳活動の度合いは集中度の度合いと関連するため、解析部103は、脳活動情報として、リアプノフ指数に基づいて推定した集中度を示す集中度情報を出力するようにしてもよい。集中度情報は、例えば上記集中指数でもよいし、脳活動の度合いと同様に100分率(%)の数値または段階画像などでもよい。なお、集中度情報は、リアプノフ指数が大きいほど集中度が高いことを示し、リアプノフ指数が小さいほど集中度が低いことを示す情報である。また、集中度情報は、現在の集中度または時系列の集中度またはその両方を示す情報としてもよい。
 前述のように、主観申告で集中度が高い行動は、脳活動が高く、リアプノフ指数が高くなる。従って、脳活動推定装置1は、リアプノフ指数が大きいほど、集中度が高いとして解析部103から出力して好適である。
 なお、集中度は眠気度の逆の指標として捉えることもできるため、解析部103は、集中度情報に代えて眠気度情報を出力するようにしてもよい。これにより、ユーザは、眠気度を視覚的に確認できる。
 以上説明したように、実施の形態1の脳活動推定装置1は、人体の脈波を検出するセンサーであるドップラーセンサー10と、ドップラーセンサー10で検出された脈波を解析する解析部103と、を備える。解析部103は、脈波の波形形状の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて脈波を数値化した指標値を生成し、指標値に基づいて人体の脳活動の度合いを推定する。
 このように、脳活動推定装置1は、脈波の波形形状の時系列変位に基づいて生成した指標値に基づいて、脳活動の度合いを推定できる。また、脈波は心臓の脈動ひいては脳の神経系の活動に関連しているバイタルデータである。脳活動推定装置1は、このような脈波に基づいて計算された指標値に基づき脳活動を推定するため、従来の目の瞬き等による推定方法に比べて高精度に脳活動の度合いを推定できる。
 また、脳活動推定装置1は、人体の脈波を非接触で検出するセンサーとしてドップラーセンサー10を用いており、非接触で人体の脈波を検出でき、脳活動の度合いの推定を非接触で行える。また、脳活動推定装置1は、脳波計を用いない。このため、脳活動推定装置1は、脳波計を用いる場合の装着の手間が無く、また、脳波計を用いないため解析に時間がかからず、短時間で解析を行える。
 また、従来の人体の活動量を推定する装置では、撮像手段を用いて瞳孔の開閉度を測定する装置があるが、この装置では瞳孔を撮影するため、装置と目との距離が近距離である必要がある。これに対し、脳活動推定装置1は、ドップラーセンサー10を用いているため、遠距離でも測定ができて使い勝手がよく、また、瞳孔といった個人特有の情報を測定するものではないため、プライバシーに配慮できる。
 カオス解析は、脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップと、ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップと、アトラクターの軌道に基づいて指標値であるリアプノフ指数を計算するステップと、を順次実施する処理である。
 このように、脳活動推定装置1は、カオス解析により、指標値であるリアプノフ指数を計算できる。
 解析部103は、脳活動の度合いの推定結果を示す脳活動情報として、指標値に基づいて推定した集中度を示す集中度情報を出力する。また、解析部103は、指標値が大きいほど集中度が高いことを示し、指標値が小さいほど集中度が低いことを示す集中度情報を出力する。
 これにより、ユーザは集中度情報に基づいて集中度を把握できる。
 解析部103は、脈波形状に基づく脈波高さの偏差を算出し、偏差が予め設定された閾値より小さい場合、入力信号増幅率を自動的に調整し、ドップラーセンサー10で取得された脈波の波形を大きくする。
 これにより、脳活動推定装置1は、脈波の形状を明確にでき、ドップラーセンサー10から人体迄の距離が遠くても解析の精度を高めることができる。
実施の形態2.
 実施の形態1の脳活動推定装置1は、脈波形状のゆらぎを解析して中枢神経の脳活動の度合いを推定するものであった。実施の形態2の脳活動推定装置1は、脳活動の度合いに加えて更に、脈拍間隔ゆらぎに基づいて自律神経系の活動度合いを推定する。つまり、実施の形態2の脳活動推定装置1は、中枢神経活動と自律神経活動との両方を推定する。以下、実施の形態2が実施の形態1と異なる点を中心に説明するものとし、実施の形態2で説明されていない構成は実施の形態1と同様である。
 図11は、実施の形態2に係る脳活動推定装置1の構成および脳活動推定装置1の利用構成を示すブロック図である。ドップラーセンサー10は、人体の脈波に加えて更に、人体の脈拍も検出する。
 脈拍間隔は、一般的にR-R Interval(RRI)と呼ばれる。RRIは、周波数変換されることで、後述する自律神経バランスなど、様々な情報に変換される。脈拍、血圧および呼吸などを解析するバイタル解析では、体動解析などとは異なり、約1Hzという超低周波特性の微小なゆらぎを解析する。このため、バイタル解析では、分解能が高く距離測定用途でよく使われる60GHz~79GHzに比べて、24GHzのドップラー方式によるアナログ検出が好ましい。
 ドップラーセンサー10は、人体の脈拍間隔の変位(1次元パターン脈拍変位)から自律神経バランスを検出する。自律神経バランスは、交感神経と副交感神経とのバランスである。自律神経バランスは、LF(Low Frequency)とHF(High Frequency)との比率であり、LF/HFで計算される。LFは交感神経活動を示しており、HFは副交感神経活動を示している。交感神経は、昼間または活性状態において優位となり、副交感神経は夜間または鎮静状態において優位となると言われている。
 LFは、特性曲線において例えば0.05Hzから0.15Hzといった低い周波数帯域におけるパワーの積算値で求められる。HFは、特性曲線において例えば0.15Hzから0.40Hzといった高い周波数帯域におけるパワーの積算値で求められる。特性曲線とは、脈拍間隔の時系列間隔を周波数展開して得られた曲線であり、横軸が周波数、縦軸がパワーである座標軸上に描かれる曲線である。
 自律神経バランスはLF/HFであるため、LFが相対的に大きくなると、交感神経が優位であり、興奮状態または活性状態にあると推定でき、LFが相対的に小さくなると、副交感神経が優位であり、リラックス状態にあると推定できる。また、自律神経バランスの数値が大きい場合、興奮状態にあり、自律神経バランスの数値が小さい場合、リラックス状態にあると推定できる。よって、自律神経バランスは、自律神経系の活動度合いを示す指標として用いられる。人体が興奮状態または活性状態にある場合、自律神経系の活動度合いが大きく、自律神経バランスの値が大きくなる。一方、人体がリラックス状態にある場合、自律神経系の活動度合いが小さく、自律神経バランスの値が小さくなる。
 このように、ドップラーセンサー10は、自律神経系の活動度合いを検出でき、また、上述したように脈波に基づく中枢神経系の脳活動の度合いを検出できる。つまり、ドップラーセンサー10は、それ1つで自律神経活動と中枢神経活動とを検出できる。
 なお、実施の形態2の脳活動推定装置1で用いるセンサーは、実施の形態1と同様に、ドップラーセンサー10に限るものではなく、脈波と脈拍とを測定できるセンサーであればよい。ここで、センサーで測定できる脈拍とは、脈拍数または脈の動きを指すものであり、脈拍数の大小または脈拍数の時系列増減、脈拍間隔の大小または脈拍間隔の時系列増減、LFの大小またはLFの時系列増減、LF/HFの大小またはLF/HFの時系列増減を含む。
 解析部103は、脳活動の度合いと自律神経系の活動度合いとの両方を、予め作成した感情モデルに当てはめることで人の感情を推定する。
 感情モデルには、一般的に用いられるものとして次の図12に示すラッセルの感情円環モデル、という心理学モデルがある。
 図12は、ラッセルの感情円環モデルを示す図である。この感情円環モデルは、縦軸をActivation:覚醒度、横軸をPleasant:快適度とした2軸平面上に、幸福な、のどかな、退屈したおよび緊張したなどの感情を円環上に配置したものである。縦軸には眠気-覚醒が設定され、横軸には不快-快が設定されている。
 この感情円環モデルにより、人の感情は、横軸の快適度と縦軸の覚醒度との組み合わせにより推定できる。
 ここで、「縦軸の覚醒度」は、従来、撮像手段で取得した画像または脳波計で得た脳波から推定できる。また、従来、自律神経から算出したTP(Total Power、単位[ms])を覚醒度とする技術もあった。TPは、1次元パターン脈拍変位から得られたLFとHFとのパワーを合計したものである。また、ある文献では、「縦軸の覚醒度」がエントロピーと表現されており、この文献において、「縦軸の覚醒度」はLFおよびHFを元に算出されている。これら従来の方法では、覚醒度を非接触で高精度に推定することはできなかった。特に高周波成分のHFでは、呼吸成分および体動成分がノイズとして加わるため、正確な検出が困難である。また、高周波成分のHFでは、周波数変換する際の変換精度、および周波数帯を特定して0.15Hz~0.40Hzを切り出す部分での検出精度にも課題があった。なお、TPまたはエントロピーを覚醒度とする技術では、覚醒度を推定するための元データは、TPおよびエントロピーのどちらの場合も脈拍間隔である。
 このように、従来、感情を推定するにあたって用いられる感情モデルの縦軸の覚醒度は、上述したように撮像手段または脳波計などを用いて得たデータから推定された結果を用いるか、または自律神経から算出したTPまたはエントロピーなどが用いられる。撮像手段または脳波計を用いた方法では、感情モデルの縦軸を示す指標を高精度に短時間に推定することはできない。
 実施の形態2の脳活動推定装置1では、感情を推定するにあたって用いられる感情モデルの縦軸に、脈波形状変位を解析元にしたカオス解析に基づいて推定された中枢神経系の脳活動の度合いを用いる。つまり、脳活動推定装置1は、感情モデルの縦軸に設定される指標に、脈波に基づいて推定された中枢神経系の脳活動の度合いを用いており、この点で従来と大きく異なる。
 脳活動推定装置1は、上述したように自律神経の活動度合いを推定できる。このため、実施の形態2では、縦軸を「中枢神経の脳活動の度合い」、横軸を「自律神経の活動度合い」とした独自の感情モデルを予め作成しておき、脳活動推定装置1は、この感情モデルに基づいて感情の推定を行う。
 図13は、実施の形態2に係る脳活動推定装置1の感情モデルの一例を示す図である。縦軸は、中枢神経活動である、脈波形状ゆらぎから得た脳活動の度合いである。横軸は、自律神経系活動である、脈拍ゆらぎである。言い換えれば、縦軸は、2次元脈波パターン形状変位(ゆらぎ方)に基づいて推定された中枢神経系の脳活動の度合いである。横軸は、1次元パターン脈拍変位(ゆらぎ方)に基づいて推定された自律神経系の活動度合いである。この感情モデルでは、縦軸が集中度または眠気度を示す「集中-眠気」、横軸が「リラックス-興奮・活性」とした2次元で表示される平面上に、複数の感情が配置されている。このように、感情モデルは、脳活動の度合いおよび自立神経系の活動度合いと、感情との関係を示すものである。ここで、感情とは、例えば、集中度、眠気度、疲労度、活性度およびリラックス度などに起因する感情である。
 上述の図9に示したように、リアプノフ指数は、一例として0から15の範囲の値を取り得る。このため、図13の感情モデルでは、例えば、縦軸の「眠気-集中」をリアプノフ指数の0-15に割り当てる。つまり、リアプノフ指数が0であれば「眠気」、リアプノフ指数が15であれば「集中」の状態であり、リアプノフ指数が中間の7であれば縦軸が横軸に交差する位置である、といった具合である。なお、ここで説明した縦軸に対するリアプノフ指数の割り当ては一例であって、リアプノフ指数の100分率の数値で割り当てるなどとしてもよい。
 また、図13の感情モデルでは、横軸の「リラックス-興奮・活性」を自律神経バランスの値によって割り当てる。自律神経バランスの値が大きいほど、割り当て位置が「興奮・活性」側に向かい、自律神経バランスの値が小さいほど、割り当て位置が「リラックス」側に向かう。
 ところで、人は、LFの交感神経が高い時、興奮、活性、昼間の良いストレス、不快といった感情を感じている。また、人は、脈拍間隔RRIが狭い、脈拍数が多い(1分あたりの脈拍数:bpm:Beat per minute)、または脈拍間隔偏差(RRI SD)が小さい時も、興奮、活性、昼間の良いストレスまたは不快といった感情を感じている。
 逆に、人は、LFの交感神経が低い時には、リラックスまたは快といった感情を感じている。また、人は、HFの副交感神経が高い、脈拍間隔が広い、脈拍数が少ない、または脈拍間隔偏差が大きい時も、リラックスまたは快といった感情を感じている。これらの自律神経の活動度合いと感情との関係は、従来から知られている。また、実際に、集中度が高い作業を行う際に、リアプノフ指数が高まることが確認されている。また、眠気度が高い場合にもリアプノフ指数は減少する。集中度は、快不快感情または自律神経にはほとんど影響されずに、反応性の良い中枢神経活動によって高められる。図13の感情モデルは、従来からのこれらの知見も踏まえて作成される。
 また、図13の感情モデルでは、「集中度が高く」かつ「リラックス度が高い」時には、嬉しいまたは喜びといった感情が割り当てられている。また、「集中度が高く」かつ「興奮または活性感情が高い」時には、緊張またははかどるといった感情が割り当てられている。また、「集中度が低く」かつ「リラックス度が高い」時には、くつろぐ、落ち着く、または穏やか、といった感情が割り当てられている。「集中度が低く」かつ「興奮または活性感情が高い」時には、憂鬱または退屈といった感情が割り当てられる。なお、横軸は、ラッセルの感情円環モデルと同様に快適度とし、「快-不快」の軸としてもよい。
 脳活動推定装置1は、以上の感情モデルを用いて感情を推定する。以下、実施の形態2の脳活動推定装置1の動作について説明する。
 脳活動推定装置1は、ドップラーセンサー10により人体の脈波と脈拍とを検出する。解析部103は、ドップラーセンサー10で検出された脈波を解析して中枢神経系の脳活動の度合いを推定すると共に、脈拍から自立神経系の活動度合いを推定する。解析部103は、脳活動の度合いと自律神経系の活動度合いと感情モデルとに基づいて感情を推定する。具体的には、解析部103は、脳活動の度合いを示すリアプノフ指数から感情モデルにおける縦軸の位置を特定し、自律神経系の活動度合いを示す自律神経バランスから感情モデルにおける横軸の位置を特定する。
 そして、解析部103は、特定された縦軸の位置と横軸の位置とを感情モデルに当てはめて感情を推定し、推定結果を示す感情情報を推定結果として出力する。感情情報は、喜び、落ち着く、憂鬱または緊張などの文字であってもよいし、感情を特定できる顔画像などでもよい。
 ここで、「横軸の快適度」は、脈拍ゆらぎに基づく自律神経系の活動度合いによって特定できる。自律神経系の活動度合いは、具体的には上述したようにドップラーセンサー10で得られた自律神経バランスによって特定できる。言い換えれば、「横軸の快適度」は、人体の脈拍間隔の変位から検出されたバイタルデータに基づいて特定できる。
 「横軸の快適度」は、自律神経バランスによって特定することに限られず、他のデータによって特定してもよい。「横軸の快適度」は、他に例えば、「脈拍間隔の変化または偏差」、「脈拍数の変化または偏差」、「前述の自律神経系のLFの増減またはバランスの変化」のいずれかによっても特定できる。これらのいずれの方法も、「横軸の快適度」の位置を特定する元データは脈拍である。つまり、「横軸の快適度」は、脈拍によって特定される。解析部103は、脈拍間隔を検出するにあたっては、ノイズ、呼吸、体動または動きなどによる影響は排除して、正確な脈拍間隔を検出する。
 解析部103から出力された感情情報は、クラウド部106を介して表示部107に入力されて表示される。このように脳活動推定装置1は、感情情報を解析部103から出力して視覚化するので、ユーザは感情を把握することができる。なお、解析部103から出力された感情情報は、クラウド部106を介してデータ収集部108に蓄積されてもよい。また、解析部103から出力された感情情報は、クラウド部106を介さず直接、表示部107に入力されて表示されてもよい。また、解析部103から出力された感情情報は、制御内容決定部104に入力され、脳活動推定装置1の機器の制御内容を決定するために用いられてもよい。
 ところで、人間は1日中自律神経を稼働させるが、主に日中のワーク中および勉強中においては、良いストレスと言われている自律神経系の交感神経が高い状態である。また、人間は、自律神経系の交感神経が高い状態にあるとき、脳を興奮させて、気管を広げて、心拍を速めにして、血管を収縮させて、血圧をあげて、胃腸の働きを抑えて、発汗を促進する。よって、自律神経系の交感神経が高い状態は、ワークおよび勉強に対して良い状態にあると言える。すなわち、LFの交感神経が高い、またはLF/HFで表される自律神経バランスの比率が高い時、人体は、ワークおよび勉強に対して良い状態にある。また、「集中度が高く」かつ「興奮または活性感情が高い」時には、人体は、はかどる状態にある。
 つまり、集中度が高く且つ自律神経バランスの比率が高いときは、最もワークおよび勉強に適した状態、言い換えれば人体による作業効率が高い状態と評価することができる。よって、解析部103は、脳活動の度合いが予め設定された第1閾値より高く且つ自律神経系の活動度合いが予め設定された第2閾値よりも高い場合、人体による作業効率が高いことを示す作業効率情報を出力するようにしてもよい。このように、解析部103は、感情モデルに基づいて感情情報を出力する他に、脳活動の度合いと自律神経系の活動度合いとから特定される他の情報を出力するようにしてもよい。
 以上説明したように、実施の形態2の脳活動推定装置1は、実施の形態1と同様の効果が得られると共に、ドップラーセンサー10によって脈拍を検出することで自律神経系の活動度合いを推定できる。このため、脳活動推定装置1は、中枢神経系の脳活動の度合いに加えて自律神経系の活動度合いを推定し、中枢神経系の脳活動の度合いと自律神経系の活動度合いと感情モデルと、から感情を推定できる。また、中枢神経活動と自律神経活動とは1つのドップラーセンサー10で測定できるため、脳活動推定装置1は、脳波計または撮像手段を用いる装置に比べて、装着が不要で短時間かつ遠距離でも感情推定を行える。
実施の形態3.
 実施の形態3は、実施の形態1または実施の形態2で説明した脳活動推定装置1を備えた機器に関するもので、特にここでは空調装置について説明する。
<空調装置201の構成>
 図14は、実施の形態3に係る空調装置201の構成を示す図である。空調装置201は、空調空間である室内空間271を空調する設備である。空調とは、空調空間の空気の温度、湿度、清浄度および気流などを調整することであって、具体的には、暖房、冷房、除湿、加湿および空気清浄などである。
 図14に示すように、空調装置201は、家屋203に設置される。空調装置201は、例えばHFC(ハイドロフルオロカーボン)などを冷媒として用いたヒートポンプ式の空調設備である。空調装置201は、蒸気圧縮式の冷媒回路を搭載しており、図示しない商用電源、発電設備または蓄電設備などから電力を得て動作する。
 図14に示すように、空調装置201は、家屋203の外側に設けられる室外機211と、家屋203の内側に設けられる室内機213と、ユーザによって操作されるリモートコントローラ255と、を備える。室外機211と室内機213とは、冷媒が流れる冷媒配管261と、各種信号が転送される通信線263と、を介して接続されている。空調装置201は、室内機213から空調空気、例えば、冷風を吹き出すことで室内空間271を冷房し、温風を吹き出すことで室内空間271を暖房する。
 室外機211は、圧縮機221と、四方弁222と、室外熱交換器223と、膨張弁224と、室外送風機231と、室外機制御部251と、を備える。室内機213は、室内熱交換器225と、室内送風機233と、室内機制御部252と、を備える。冷媒配管261は、圧縮機221と、四方弁222と、室外熱交換器223と、膨張弁224と、室内熱交換器225と、を環状に接続している。空調装置201は、圧縮機221と、四方弁222と、室外熱交換器223と、膨張弁224と、室内熱交換器225と、を冷媒配管261によって接続して構成された冷媒回路を有する。冷媒回路は、冷媒を循環させて冷凍サイクルの動作を行う。
 圧縮機221は、冷媒を圧縮して冷媒配管261を循環させる。具体的に説明すると、圧縮機221は、低温かつ低圧の冷媒を圧縮し、高圧かつ高温となった冷媒を四方弁222に吐出する。圧縮機221は、駆動周波数に応じて運転容量を変化させることができるインバータ回路を備える。運転容量とは、圧縮機221が単位時間当たりに冷媒を送り出す量である。圧縮機221は、室外機制御部251からの指示に従って運転容量を変更する。
 四方弁222は、圧縮機221の吐出側に設置されている。四方弁222は、空調装置201の運転が冷房運転もしくは除湿運転であるか、または暖房運転であるかに応じて、冷媒配管261中の冷媒の流れ方向を切り替える。膨張弁224は、室外熱交換器223と室内熱交換器225との間に設置されており、冷媒配管261を流れる冷媒を減圧して膨張させる。膨張弁224は、その開度が変更可能に制御可能な電子式膨張弁である。膨張弁224は、室外機制御部251からの指示に従って開度を変更して、冷媒の圧力を調整する。
 室外熱交換器223は、冷媒配管261を流れる冷媒と、室内空間271の外部である室外空間(外部空間)272の空気と、の間で熱交換を行う。室外送風機231は、室外熱交換器223の傍に設けられており、室外空間272の空気を吸い込み、吸い込んだ空気を室外熱交換器223に送る。室外熱交換器223に送られた空気は、冷媒配管261を流れる冷媒と熱交換した後、室外空間272に吹き出される。
 室内熱交換器225は、冷媒配管261を流れる冷媒と、室内空間271の空気と、の間で熱交換を行う。室内送風機233は、室内熱交換器225の傍に設けられており、室内空間271の空気を吸い込み、吸い込んだ空気を室内熱交換器225に送る。室内熱交換器225に送られた空気は、冷媒配管261を流れる冷媒と熱交換した後、室内空間271に吹き出される。室内熱交換器225で熱交換された空気は、空調空気として室内空間271に供給される。これにより、室内空間271が空調される。
 室外機制御部251は、室外機211の動作を制御する。室内機制御部252は、室内機213の動作を制御する。
 室内空間271にはリモートコントローラ255が配置されている。リモートコントローラ255は、室内機213が備えている室内機制御部252との間で各種信号を送受信する。リモートコントローラ255は、後述の図15に示すように表示部255aを備えている。表示部255aは、タッチスクリーン、液晶ディスプレイおよびLED(Light Emitting Diode)などを備えている。また、リモートコントローラ
255は、押圧ボタン(図示せず)を備えている。リモートコントローラ255は、ユーザからの各種指令を受け付ける指令受付部、および、各種情報をユーザに表示する表示部として機能する。ユーザは、リモートコントローラ255を操作することで、空調装置201に指令を入力する。指令は、例えば、運転と停止との切替指令、または、運転モード、設定温度、設定湿度、風量、風向若しくはタイマーなどの切替指令である。空調装置201は、入力された指令に従って運転する。
 図15は、実施の形態3に係る空調装置201のブロック図である。空調装置201は、制御装置250と、空調部280と、実施の形態1の脳活動推定装置1と、を備えている。また、空調装置201には、ユーザによって操作される情報機器290がネットワークNを介して接続されている。
 制御装置250は、空調装置201全体を制御する。また、制御装置250は、脳活動推定装置1で推定された脳活動の度合いに基づいて機器本体、言い換えれば空調部280の運転を制御する。制御装置250は、上述の室外機制御部251と室内機制御部252とを備えている。また、図15では図示省略しているが、制御装置250は、実施の形態1で説明した制御内容決定部104と、機器制御部105と、を備えている。制御内容決定部104および機器制御部105は、室外機制御部251および室内機制御部252のどちらに備えられてもよい。
 室外機制御部251は、制御部251aと、記憶部251bと、計時部251cと、通信部251dと、を備える。これら各部はバス(図示せず)を介して接続されている。
 制御部251aは、室外機全体の制御を行う。記憶部251bは、RAMまたはROMなどのメモリーで構成されており、制御に必要なデータを記憶している。計時部251cは、時間を計時する部分である。通信部251dは、通信線263(図14参照)を介して室内機制御部252と通信するためのインタフェースである。
 室外機制御部251は、図14に示したように通信線263によって室内機制御部252と接続されている。室外機制御部251は、室内機制御部252と通信線263を介して各種信号を受信することにより室外機制御部251と協調動作する。
 室内機制御部252は、室外機制御部251およびリモートコントローラ255との通信を行う通信部252aを備えている。通信部252aは、室外機制御部251およびリモートコントローラ255と通信するためのインタフェースである。通信部251dは更に、ネットワークNを介して情報機器290に接続されている。通信部252aは、ユーザからの各種指令をリモートコントローラ255から受信する処理と、リモートコントローラ255から受信した各種指令を室内機制御部252に送信する処理と、を行う。また、通信部252aは、ユーザに報知するための報知情報をリモートコントローラ255に送信する処理と、を行う。
 室外機制御部251および室内機制御部252は、マイクロプロセッサユニットにより構成されている。室外機制御部251および室内機制御部252は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを備えており、ROMには制御プログラム等が記憶されている。なお、室外機制御部251および室内機制御部252は、マイクロプロセッサユニットに限定するものではない。例えば、室外機制御部251および室内機制御部252は、ファームウェア等の更新可能なもので構成されていてもよい。また、室外機制御部251および室内機制御部252は、プログラムモジュールであって、図示しないCPU等からの指令により、実行されるものでもよい。また、ここでは、制御装置250が室外機制御部251と室内機制御部252とを有し、室外機211と室内機213とに分けて構成した例を示したが、両方の機能を備えた一つの制御部で構成してもよい。
 空調部280は、室内空間271を空調する部分であり、図14の冷媒回路、室外送風機231および室内送風機233に相当する。
 以上のように構成された空調装置201は、脳活動推定装置1で推定された脳活動の度合いに基づいて空調部280の運転を制御する。つまり、制御装置250は、脳活動の度合いに基づく集中度に応じて空調部280の運転を制御する。具体的には、制御装置250は、例えば、集中度が低い場合には、ユーザの覚醒を促すために以下の制御を行う。従来、風があたることでユーザが覚醒することが確認されている。よって、制御装置250は、集中度が低い場合、室内送風機233の回転数を上げて送風量を増やす。
 また、空調装置201がユーザの位置を感知する人感センサー(図示せず)を備えている場合には、制御装置250は以下の制御を行ってもよい。制御装置250は、室内機213に設けられた上下風向板(図示せず)を上下に動かすスイング動作によって風が間欠的にユーザにあたるようにするか、左右風向板(図示せず)を左右に動かすスイング動作によって風が間欠的にユーザにあたるようにする。以上の制御により、空調装置201は、集中度が低い場合にユーザの覚醒を促すことができる。
 また、ユーザが適温と感じる温度より1℃程度低めの方が、脳を冷やす効果があって作業効率が良いとされている。特に暖房時は、設定温度が高すぎることで集中度が低下すると言われている。このため、集中度が低い場合には、制御装置250は、室内の設定温度を現在の温度よりやや低めの温度に調節する制御を行う。
 反対に、集中度が高い場合には、制御装置250は、室内送風機233の回転数を下げて送風量を減らすか、上下風向板をなるべく上方向に制御してユーザに風があたらないようにする。また、空調装置201が人感センサー(図示せず)を備えている場合には、制御装置250は、ユーザに風があたらないように上下風向板(図示せず)および左右風向板(図示せず)の一方または両方を制御する。以上の制御により、空調装置201は、ユーザに風があたることでユーザの意識が風に向かい、集中度の低下を招くことを抑制できる。言い換えれば、空調装置201は、集中度が高い状態のユーザが風を意識することなく作業を行える効果が得られる。
 ところで、リモートコントローラ255は、空調装置201の構成品の一部としての位置づけであるが、情報機器290はユーザ所有の機器との位置づけである。情報機器290は、液晶パネルなどの表示部281を有し、表示部281に各種の情報が表示される。情報機器290は、例えばスマートフォンまたはタブレットなどで構成される。情報機器290には人体の集中度などを表示するためのアプリケーションがインストールされている。また、情報機器290は、空調制御用のアプリケーションがインストールされることで、リモートコントローラ255の代わりとして用いることもできる。
 情報機器290は、ユーザによって操作が行われると、アプリケーションを起動し、脳活動推定装置1で推定された情報を脳活動の度合いに関連する情報をネットワークNを介して取得し、表示部281に表示する。脳活動の度合いに関連する情報とは、脳活動の度合いを示す情報の他、集中度に関する集中度情報でもよいし、感情に関する感情情報でもよい。集中度情報は、現在の集中度または時系列の集中度またはその両方を示す情報である。具体的な制御としては、空調装置201の制御装置250が、情報機器290からの要求に応じて脳活動推定装置1で得られた脳活動の度合いに関連する情報を通信部252aを介して情報機器290に送信し、情報機器290に表示させる処理を行う。なお、ここでは脳活動の度合いに関連する情報が情報機器290に表示されるとしたが、リモートコントローラ255の表示部255aに表示されてもよい。
 このように、空調装置201は、集中度情報を情報機器290またはリモートコントローラ255の表示部255aに表示して視覚化することで、ユーザは集中度を視覚的に確認できる。
 なお、ここでは、脳活動推定装置1を備えた機器が空調装置201であるものとして説明したが、空調装置201に限られず、電気機器、車または娯楽機器など様々な機器に組み込むことができる。また、脳活動推定装置1は、例えば労務管理装置または学習管理装置などにも組み込むことができる。
 また、脳活動推定装置1は、ヘルスケア、労務、教育、睡眠、マインドフルネス、メディテーション、カスタマーサービス、マーケティングまたはスポーツメンタルトレーニングなど幅広い分野の機器に組み込むことができる。脳活動推定装置1がこれらの機器に組み込まれた場合、機器は、脳活動の判定結果を利用した機器制御およびユーザへの脳活動の判定結果の提示を行える。このように、脳活動推定装置1が様々な機器に適用されることで、その機器のユーザに対し、脳活動の度合い、集中度合い、および感情を視覚化して提示できる。
 1 脳活動推定装置、10 ドップラーセンサー、10a 基板部、100 アンテナ部、100a アンテナ、101 無線部、102 アナログ回路部、103 解析部、104 制御内容決定部、105 機器制御部、106 クラウド部、107 表示部、108 データ収集部、201 空調装置、203 家屋、211 室外機、213 室内機、221 圧縮機、222 四方弁、223 室外熱交換器、224 膨張弁、225 室内熱交換器、231 室外送風機、233 室内送風機、250 制御装置、251 室外機制御部、251a 制御部、251b 記憶部、251c 計時部、251d 通信部、252 室内機制御部、252a 通信部、255 リモートコントローラ、255a 表示部、261 冷媒配管、263 通信線、271 室内空間、272 室外空間、280 空調部、281 表示部、290 情報機器、300 空調システム。

Claims (17)

  1.  人体の脈波を検出するセンサーと、
     前記センサーで検出された前記脈波を解析する解析部と、を備え、
     前記解析部は、前記脈波の波形形状の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて前記脈波を数値化した指標値を生成し、前記指標値に基づいて前記人体の脳活動の度合いを推定する脳活動推定装置。
  2.  前記カオス解析は、
     前記脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップと、
     前記ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップと、
     前記アトラクターの軌道に基づいて前記指標値であるリアプノフ指数を計算するステップと、を順次実施する処理である請求項1に記載の脳活動推定装置。
  3.  前記解析部は、前記指標値に基づいて推定した集中度を示す集中度情報を出力する請求項1または請求項2に記載の脳活動推定装置。
  4.  前記解析部は、
     前記指標値が大きいほど前記集中度が高いことを示し、前記指標値が小さいほど前記集中度が低いことを示す前記集中度情報を出力する請求項3に記載の脳活動推定装置。
  5.  前記集中度情報は、現在の集中度または時系列の集中度またはその両方を示す情報である請求項3に記載の脳活動推定装置。
  6.  前記解析部は、
     前記脈波の波形形状に基づく脈波高さの偏差を算出し、前記偏差が予め設定された閾値より小さい時に、入力信号増幅率を自動的に調整して、前記センサーで取得された前記脈波の波形を大きくする請求項1~請求項5のいずれか一項に記載の脳活動推定装置。
  7.  前記センサーは、
     前記脈波の他に前記人体の脈拍も取得し、
     前記解析部は、
     脳活動の度合いおよび自立神経系の活動度合いと、感情との関係を示す感情モデルを有し、
     前記推定した前記脳活動の度合いと、前記脈拍に基づいて推定した自律神経系の活動度合いと、前記感情モデルと、に基づいて前記人体の感情を推定する請求項1~請求項5のいずれか一項に記載の脳活動推定装置。
  8.  前記解析部は、
     前記脳活動の度合いが予め設定された第1閾値より高く且つ前記自律神経系の活動度合いが予め設定された第2閾値よりも高い場合、前記人体の作業効率が高いこと示す作業効率情報を出力する請求項7に記載の脳活動推定装置。
  9.  前記センサーは、ドップラーセンサーである請求項1~請求項8のいずれか一項に記載の脳活動推定装置。
  10.  前記センサーは、前記人体に接触して検出を行う接触型センサーである請求項1~請求項8のいずれか一項に記載の脳活動推定装置。
  11.  請求項1~請求項10のいずれか一項に記載の脳活動推定装置と、
     前記脳活動推定装置で推定された前記脳活動の度合いに基づいて機器本体の運転を制御する制御装置と、を備えた機器。
  12.  請求項1~請求項10のいずれか一項に記載の脳活動推定装置と、
     室内空間を空調する空調部と、
     前記脳活動推定装置で推定された前記脳活動の度合いに基づいて前記空調部を制御する制御装置と、を備えた空調装置。
  13.  表示を行う表示部を備え、
     前記表示部は、前記解析部で推定された脳活動の度合いの推定結果を示す脳活動情報を表示する請求項12に記載の空調装置。
  14.  前記表示部は、前記脳活動情報として前記集中度情報を表示する請求項3~請求項5のいずれか一項に従属する請求項13に記載の空調装置。
  15.  前記制御装置は、ネットワークを介して情報機器との通信を行う通信部を備え、前記通信部を介して前記脳活動情報を前記情報機器に送信して表示させる請求項13または請求項14に記載の空調装置。
  16.  前記表示部は、前記解析部で推定された感情の推定結果を示す感情情報を表示する請求項7に従属する請求項13に記載の空調装置。
  17.  前記制御装置は、ネットワークを介して情報機器との通信を行う通信部を備え、前記通信部を介して前記感情情報を前記情報機器に送信して表示させる請求項16に記載の空調装置。
PCT/JP2022/030613 2022-08-10 2022-08-10 脳活動推定装置、脳活動推定装置を備えた機器および空調装置 WO2024034072A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/030613 WO2024034072A1 (ja) 2022-08-10 2022-08-10 脳活動推定装置、脳活動推定装置を備えた機器および空調装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/030613 WO2024034072A1 (ja) 2022-08-10 2022-08-10 脳活動推定装置、脳活動推定装置を備えた機器および空調装置

Publications (1)

Publication Number Publication Date
WO2024034072A1 true WO2024034072A1 (ja) 2024-02-15

Family

ID=89851146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030613 WO2024034072A1 (ja) 2022-08-10 2022-08-10 脳活動推定装置、脳活動推定装置を備えた機器および空調装置

Country Status (1)

Country Link
WO (1) WO2024034072A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04208136A (ja) * 1990-11-30 1992-07-29 Computer Konbiniensu:Kk 体表面から採取した脈波及び/又は心拍を用いる診断装置
WO2007007632A1 (ja) * 2005-07-11 2007-01-18 Matsushita Electric Industrial Co., Ltd. 環境制御装置、環境制御方法、環境制御プログラム及び環境制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008104528A (ja) * 2006-10-23 2008-05-08 Rokko Bussan:Kk 睡眠評価方法、睡眠評価装置、睡眠評価システム
JP2009195384A (ja) * 2008-02-20 2009-09-03 Delta Tooling Co Ltd 疲労解析装置及びコンピュータプログラム
WO2014184868A1 (ja) * 2013-05-14 2014-11-20 株式会社 東芝 電子機器および生体信号測定方法
JP2015016273A (ja) * 2013-06-13 2015-01-29 Winフロンティア株式会社 ココロのバランス評価装置およびココロのバランス評価装置プログラム
JP2017176340A (ja) * 2016-03-29 2017-10-05 シチズン時計株式会社 電子血圧計
JP2020074805A (ja) * 2018-11-05 2020-05-21 株式会社安藤・間 ドライバーの状態推定方法及び装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04208136A (ja) * 1990-11-30 1992-07-29 Computer Konbiniensu:Kk 体表面から採取した脈波及び/又は心拍を用いる診断装置
WO2007007632A1 (ja) * 2005-07-11 2007-01-18 Matsushita Electric Industrial Co., Ltd. 環境制御装置、環境制御方法、環境制御プログラム及び環境制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008104528A (ja) * 2006-10-23 2008-05-08 Rokko Bussan:Kk 睡眠評価方法、睡眠評価装置、睡眠評価システム
JP2009195384A (ja) * 2008-02-20 2009-09-03 Delta Tooling Co Ltd 疲労解析装置及びコンピュータプログラム
WO2014184868A1 (ja) * 2013-05-14 2014-11-20 株式会社 東芝 電子機器および生体信号測定方法
JP2015016273A (ja) * 2013-06-13 2015-01-29 Winフロンティア株式会社 ココロのバランス評価装置およびココロのバランス評価装置プログラム
JP2017176340A (ja) * 2016-03-29 2017-10-05 シチズン時計株式会社 電子血圧計
JP2020074805A (ja) * 2018-11-05 2020-05-21 株式会社安藤・間 ドライバーの状態推定方法及び装置

Similar Documents

Publication Publication Date Title
Yang et al. Non-invasive (non-contact) measurements of human thermal physiology signals and thermal comfort/discomfort poses-a review
JP6666300B2 (ja) 覚醒度予測方法および覚醒度予測装置
CN108292173B (zh) 用于基于生物特征信息控制装备的设备及其方法
US10492720B2 (en) System and method for determining sleep stage
Morresi et al. Sensing physiological and environmental quantities to measure human thermal comfort through machine learning techniques
Rahim et al. Detecting drowsy driver using pulse sensor
US20100081889A1 (en) Systems and methods for monitoring and evaluating individual performance
KR20150077684A (ko) 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치
JP2020078728A (ja) 覚醒度予測方法および覚醒度予測装置
NZ732929A (en) Method and apparatus for deriving a mental state of a subject
Cho et al. Physiological and affective computing through thermal imaging: A survey
JP2016101222A (ja) 入浴システム及びネットワークシステム
WO2018116703A1 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
Rajguru et al. Design and Implementation of IoT based sleep monitoring system for Insomniac people
JP7423759B2 (ja) クラスタベースの睡眠分析の方法、睡眠改善のためのモニタリングデバイスおよび睡眠改善システム
US20220084672A1 (en) Temperature monitoring wearable with an artificial intelligence engine
Nkurikiyeyezu et al. Toward a real-time and physiologically controlled thermal comfort provision in office buildings
WO2024034072A1 (ja) 脳活動推定装置、脳活動推定装置を備えた機器および空調装置
Fontes et al. Enhancing Stress Detection: A Comprehensive Approach through rPPG Analysis and Deep Learning Techniques
JP7367267B1 (ja) 眠気度推定装置、眠気度推定装置を備えた機器および空調装置
Matsui et al. Smart eye mask: sleep sensing system using infrared sensors
CN116997973A (zh) 智能婴儿监测系统和方法
Husodo et al. Multi-parameter measurement tool of heart rate and blood pressure to detect Indonesian car drivers drowsiness
Peng et al. A distributed multimodality sensor system for home-used sleep condition inference and monitoring
KR102437402B1 (ko) 개인 맞춤형 생체리듬 분석 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22954989

Country of ref document: EP

Kind code of ref document: A1