WO2023105741A1 - 計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体 - Google Patents

計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体 Download PDF

Info

Publication number
WO2023105741A1
WO2023105741A1 PCT/JP2021/045471 JP2021045471W WO2023105741A1 WO 2023105741 A1 WO2023105741 A1 WO 2023105741A1 JP 2021045471 W JP2021045471 W JP 2021045471W WO 2023105741 A1 WO2023105741 A1 WO 2023105741A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement
light receiving
instruction
light
receiving element
Prior art date
Application number
PCT/JP2021/045471
Other languages
English (en)
French (fr)
Inventor
浩幸 遠藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023565830A priority Critical patent/JPWO2023105741A5/ja
Priority to PCT/JP2021/045471 priority patent/WO2023105741A1/ja
Publication of WO2023105741A1 publication Critical patent/WO2023105741A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present disclosure relates to a measuring device or the like that measures biological data using an optical sensor.
  • a measuring device has been developed that uses an optical sensor to measure biological data such as an arterial pulse waveform (pulse waveform). Activity of autonomic nerves is reflected in biological data such as pulse. Therefore, techniques have been developed for estimating the subject's emotions using biometric data. When performing emotion estimation, it is preferable to constantly measure biometric data.
  • Non-Patent Document 1 discloses a flexible imaging device in which a high-resolution array sensor is mounted on a flexible substrate.
  • the device of Non-Patent Document 1 has a structure in which a polycrystalline silicon thin film transistor readout circuit and an organic photodiode with high sensitivity in the near-infrared region are combined.
  • the device of Non-Patent Document 1 can acquire biometric information such as pulse and vein image of the subject with high resolution by being attached to the skin of the subject.
  • Patent Document 1 discloses a measuring device that measures a pulse waveform.
  • the device of Patent Literature 1 includes a light source, a detection section, and an analysis section.
  • the light source emits at least one type of measurement light belonging to a predetermined wavelength band to a measurement area that is at least part of the living body.
  • a plurality of sensors are regularly arranged in a predetermined arrangement in the detection unit.
  • the detection unit detects measurement light emitted from the light source and transmitted through the living body by the plurality of sensors.
  • the analysis unit uses the detection result detected by the detection unit to determine a measurement position for measuring information related to pulsation associated with living body activity in the measurement region based on the time change in the light intensity of the detected measurement light. Perform analysis processing to specify from inside.
  • Patent Document 2 discloses a pulse detection device that detects a pulse.
  • the device of Patent Document 2 includes a light-emitting element and a light-receiving element, and the light-receiving element receives the light reflected or transmitted by the subject from the projected light from the light-emitting element, and a plurality of sensors that detect the pulse based on the change in the amount of light. It has its own pulse detector.
  • the device of Patent Literature 2 detects the amplitude of changes in the amount of light received during the pulse received by the light receiving elements of the sensors of the pulse detector.
  • the device of Patent Document 2 compares the magnitudes of the amplitudes of changes in the amount of light received by a plurality of sensors, and identifies the sensor with the largest amplitude.
  • the device of Patent Document 2 obtains the pulse rate by calculating the output signal of the sensor with the largest amplitude.
  • Non-Patent Document 1 if a two-dimensional optical sensor is used, a wide range of biological data can be measured at one measurement timing. As the number of elements in the light-receiving element array constituting the two-dimensional optical sensor increases, the pulse waveform can be measured more reliably. On the other hand, if the number of elements in the light-receiving element array is small, measurements may become impossible due to factors such as displacement of measurement points due to body movements, and it is difficult to achieve constant measurement.
  • the pulse waveform can be measured with high accuracy by specifying the measurement position within the measurement area based on the time change of the light intensity of the measurement light.
  • Japanese Patent Application Laid-Open No. 2002-200001 discloses that pulse waveform data is calculated in a minute area of interest by paying attention to temporal changes in data in the minute area.
  • Patent Document 1 discloses that a pulse waveform measured in advance is used to calculate the degree of similarity between the pulse waveform measured in advance and the pulse waveform data in each minute area. There is Due to factors such as drift and noise, it is not easy to calculate the similarity of time-series data of actually measured pulse waveform data. Therefore, with the method of Patent Document 1, the measurement position cannot be appropriately specified from the measurement area, and it is difficult to constantly measure biometric data.
  • Patent Document 2 a sensor with the largest amplitude of change in the amount of received light is selected, and the pulse rate is obtained using the output signal of the selected sensor. Therefore, the method of Patent Document 2 is less susceptible to factors such as drift and noise.
  • the method of Patent Document 2 when the number of light receiving elements is about several, the sensor with the largest amplitude of change in the amount of received light can be identified.
  • the technique of Patent Document 2 when the number of light receiving elements reaches about 10,000 pixels, it becomes difficult to specify the sensor with the largest amplitude of change in the amount of received light, so it is difficult to constantly measure biometric data.
  • An object of the present disclosure is to provide a measuring device or the like that can realize constant measurement of biological data using an optical sensor.
  • a measurement apparatus includes a first measurement instruction for instructing a first measurement corresponding to a preliminary measurement to an optical sensor including a light receiving element array in which a plurality of light receiving elements are arranged in a two-dimensional pattern; a measurement instruction output unit that outputs a measurement instruction including a second measurement instruction that instructs a second measurement corresponding to the main measurement; A signal acquisition unit, a biological data generation unit that generates biological data for each light receiving element using the acquired received signal, and a biological data generated using the received signal acquired in response to the first measurement instruction.
  • a calculation unit that calculates the deviation of the biometric data for each light receiving element using a measuring area that includes the light receiving element used for the second measurement in response to the second measurement instruction according to the deviation of the biometric data for each light receiving element. and a measurement area setting unit for setting.
  • biometric data is generated for each light-receiving element, and using the biometric data generated using the received signal acquired in response to the first measurement instruction, the deviation of the biometric data for each light-receiving element is calculated.
  • a measurement region including the light receiving element used for the second measurement according to the second measurement instruction is set according to the deviation of the biometric data for each light receiving element.
  • a program includes a first measurement instruction for instructing a first measurement corresponding to a preliminary measurement to an optical sensor including a light receiving element array in which a plurality of light receiving elements are arranged two-dimensionally; A process of outputting a measurement instruction including a second measurement instruction that instructs a second measurement corresponding to measurement; a process of acquiring a received signal from at least one of a plurality of light receiving elements in response to the measurement instruction; a process of generating biometric data for each light receiving element using the received signal obtained in response to the first measurement instruction; The computer is caused to execute a process of calculating the deviation and a process of setting a measurement region including the light receiving element used for the second measurement according to the second measurement instruction according to the deviation of the biometric data for each light receiving element.
  • FIG. 1 is a block diagram showing an example of the configuration of a biological data measurement system according to a first embodiment
  • FIG. FIG. 2 is a conceptual diagram showing an example of a measurement surface of an optical sensor included in the biological data measurement system according to the first embodiment
  • FIG. 2 is a cross-sectional view showing an example of the configuration of an optical sensor included in the biological data measurement system according to the first embodiment
  • FIG. 1 is a block diagram showing an example of the configuration of a biological data measurement system according to a first embodiment
  • FIG. 2 is a conceptual diagram showing an example of a measurement surface of an optical sensor included in the biological data measurement system according to the first embodiment
  • FIG. 2 is a cross-sectional view showing an example of the configuration of an optical sensor included in the biological data measurement system according to the first embodiment
  • 4 is a conceptual diagram for explaining an example of positions of emission and reception of an optical signal by an optical sensor included in the biological data measurement system according to the first embodiment
  • 5 is a graph for explaining an example of reflected light received by a light-receiving element array of an optical sensor included in the biological data measurement system according to the first embodiment
  • 2 is a block diagram showing an example of the configuration of an optical sensor included in the biological data measurement system according to the first embodiment
  • FIG. It is a block diagram showing an example of the configuration of a measuring device provided in the biological data measuring system according to the first embodiment.
  • 5 is an example of time-series data of biological data measured for each light receiving element constituting a light receiving element array of an optical sensor provided in the biological data measurement system according to the first embodiment;
  • FIG. 4 is a conceptual diagram for explaining measurement channel setting processing by a measuring device included in the biological data measuring system according to the first embodiment
  • FIG. 4 is a conceptual diagram for explaining measurement channel setting processing by a measuring device included in the biological data measuring system according to the first embodiment
  • FIG. 3 is a conceptual diagram for explaining an example of measurement channels selected by a measurement device included in the biological data measurement system according to the first embodiment
  • FIG. 2 is a conceptual diagram showing an example of displaying on a screen biological data (pulse rate) measured by a measuring device included in the biological data measuring system according to the first embodiment
  • FIG. 2 is a conceptual diagram showing an example of displaying on a screen time-series data of biological data measured by a measuring device included in the biological data measuring system according to the first embodiment
  • 4 is a flowchart for explaining an example of the operation of the measuring device included in the biological data measuring system according to the first embodiment
  • 4 is a flowchart for explaining an example of measurement channel setting processing by a measurement device included in the biological data measurement system according to the first embodiment
  • 9 is a flowchart for explaining another example of measurement channel setting processing by the measuring device included in the biological data measuring system according to the first embodiment
  • 4 is a flowchart for explaining an example of the operation of the optical sensor included in the biological data measurement system according to the first embodiment
  • 4 is a flowchart for explaining an example of first measurement processing by an optical sensor included in the biological data measurement system according to the
  • FIG. 7 is a block diagram showing an example of the configuration of an optical sensor according to the second embodiment;
  • FIG. 9 is a flowchart for explaining an example of the operation of the photosensor according to the second embodiment;
  • FIG. 11 is a block diagram showing an example of a configuration of a biological information estimation system according to a third embodiment;
  • FIG. 11 is a conceptual diagram for explaining emotions estimated based on pulse signals by an estimation device of a biological information estimation system according to a third embodiment;
  • FIG. 11 is a conceptual diagram for explaining an example of learning for generating an estimation model used for emotion estimation by an estimation device of a biological information estimation system according to a third embodiment;
  • FIG. 11 is a conceptual diagram for explaining an example of emotion estimation by an estimation device of a biological information estimation system according to a third embodiment;
  • FIG. 11 is a conceptual diagram for explaining an example of emotion estimation by an estimation device of a biological information estimation system according to a third embodiment;
  • 11 is a conceptual diagram showing an example of displaying information about a subject's emotion estimated by the estimation device of the biological information estimation system according to the third embodiment on the screen of the terminal device. It is a block diagram which shows an example of a structure of the measuring device which concerns on 4th Embodiment. It is a block diagram showing an example of hardware constitutions which realize control and processing of each embodiment.
  • the biological data measuring system of this embodiment measures arterial pulsation (pulse) according to a light receiving signal detected by an optical sensor attached to the skin of a subject.
  • An example of measuring a pulse as biometric data will be described below.
  • the method of the present embodiment can also be applied to measurement of biometric data other than pulse, as long as it is measurement using an optical sensor.
  • FIG. 1 is a block diagram showing an example of the configuration of a biological data measurement system 1 according to this embodiment.
  • a biological data measurement system 1 includes an optical sensor 10 and a measurement device 16 .
  • the optical sensor 10 is attached to the human body of the subject.
  • the measuring device 16 is mounted on a mobile terminal (not shown) carried by the subject.
  • the measuring device 16 may be constructed in a cloud or a server that can be connected via a mobile terminal carried by a subject.
  • the optical sensor 10 includes a light receiving element array in which a plurality of light receiving elements are arranged in an array.
  • the optical sensor 10 emits light from the subject's skin and receives reflected light of the light.
  • the measuring device 16 measures arterial pulsation (pulse) according to the received light signal measured by the optical sensor 10 attached to the subject's skin.
  • the measuring device 16 measures the subject's pulse according to the intensity change of the received reflected light.
  • the optical sensor 10 and the measuring device 16 will be described separately below.
  • FIG. 2 and 3 are conceptual diagrams showing an example of the configuration of the optical sensor 10.
  • FIG. FIG. 2 is a diagram of the optical sensor 10 viewed from the measurement surface side.
  • FIG. 3 is a cross-sectional view of the optical sensor 10 taken along line AA in FIG.
  • the optical sensor 10 has a plurality of light emitters 11 , a light receiving element array 12 and a controller 13 .
  • a plurality of light emitters 11 , light receiving element array 12 , and controller 13 are arranged on the surface of substrate 110 .
  • a plurality of light emitters 11 and a light receiving element array 12 are formed on the first surface (also called measurement surface) of the substrate 110 .
  • An adhesive layer 111 for attaching the optical sensor 10 to the subject's skin is provided around the plurality of light emitters 11 and the light receiving element array 12 .
  • the optical sensor 10 is attached to the subject's skin so that light from the outside does not enter the measurement surface side of the substrate 110 .
  • FIG. 3 shows an example in which the controller 13 is arranged on the surface facing the measurement surface.
  • the position where the control unit 13 is arranged is not limited to the surface facing the measurement surface.
  • the controller 13 may be arranged inside the substrate 110 or at a position away from the plurality of light emitters 11 and the light receiving element array 12 .
  • the light emitter 11 has an emission surface for emitting light used for pulse measurement.
  • the light emitted by the light emitter 11 during pulse measurement is also called an optical signal.
  • the plurality of light emitters 11 are arranged with their emission surfaces directed in the same direction.
  • the light emitting surfaces of the plurality of light emitters 11 and the light receiving surface of the light receiving element array 12 are arranged facing the same direction.
  • the exit surface of the light emitter 11 is directed toward the subject's skin with the light sensor 10 attached to the subject's skin.
  • FIG. 2 shows an example in which 12 light emitters 11 are arranged along four sides of the light receiving element array 12 .
  • the number of light emitters 11 is not limited to twelve. Further, the positions where the light emitters 11 are arranged do not have to be arranged along the four sides of the light receiving element array 12 . As long as the optical signal emitted from the light emitter 11 can be received by the light receiving element array 12, the position where the light emitter 11 is arranged is not limited.
  • the light-emitting device 11 emits an optical signal in a wavelength band capable of measuring the pulse under the control of the control unit 13 .
  • the light emitter 11 is implemented by an LED (Light Emitting Diode).
  • the light emitter 11 emits an optical signal in the green wavelength band.
  • an optical signal in the green wavelength band is suitable.
  • the light emitter 11 emits an optical signal in the near-infrared wavelength band. Near-infrared rays of about 1.1 micrometers, for example, are suitable for measuring the entire vein. For example, if a plurality of light emitters 11 can emit a red wavelength band and an infrared wavelength band, the oxygen saturation in arterial blood can be measured according to the difference in absorbance.
  • the wavelength band of the optical signal emitted by the light emitter 11 is not particularly limited as long as it is a wavelength band in which biological data can be measured.
  • the light outputs of the plurality of light emitters 11 may be the same or different.
  • the light output of the plurality of light emitters 11 may be constant or adjustable. If the light outputs of a plurality of light emitters 11 are adjustable, the light output of each light emitter 11 can be adjusted.
  • the light receiving element array 12 has a light receiving surface that receives the reflected light of the optical signal emitted from the light emitter 11 .
  • the reflected light is a light component of the optical signal emitted from the light emitter 11 that is reflected/scattered under the skin (inside the body) of the subject and reaches the light receiving surface of the light receiving element array 12 .
  • a plurality of light receiving elements are arranged in a two-dimensional array on the light receiving surface of the light receiving element array 12 . For example, about 10,000 light receiving elements are arranged in a two-dimensional array on the light receiving surface of the light receiving element array 12 .
  • the light intensity of the reflected light received by each of the plurality of light receiving elements arranged in a two-dimensional array is associated with the positions (addresses) of the light receiving elements and measured.
  • the light receiving element array 12 can be realized by a sheet-type image sensor disclosed in Non-Patent Document 1 (Non-Patent Document 1: T. Yokota, et al., "A conformable imager for biometric authentication and vital sign measurement", Nature Electronics, volume 3, p.p.113-121 (2020)).
  • the sheet-type image sensor of Non-Patent Document 1 has a configuration in which an organic photodiode, a thin film transistor, a CMOS (Complementary Metal-Oxide Semiconductor), and a photodetector are combined.
  • the light emitter 11 and the light receiving element array 12 are configured separately. .
  • FIG. 4 is a conceptual diagram showing how the optical signal emitted from the light emitter 11 is reflected/scattered under the skin (inside the body) of the subject.
  • the reflected light of the optical signal emitted from each of the plurality of light emitters 11 is received by the light receiving element array 12 via different paths.
  • the light signals emitted from the plurality of light emitters 11 change in light intensity according to light absorption characteristics and scattering characteristics of body tissues such as skin, blood vessels, muscles, fat, and bones. Therefore, the light intensity of the reflected light received by the light receiving element fluctuates according to the length of the optical signal/reflected light path, the environment under the skin, and the body movement of the subject.
  • an optical signal is emitted from the light emitter 11 toward the body of the subject from the skin, and the subject's pulse is measured according to the reflected light of the optical signal.
  • changes in blood volume in the body due to pulsation are measured as changes in absorbance (also referred to as changes in light intensity).
  • FIG. 5 is a graph for explaining an example of reflected light received by the light receiving element array 12.
  • FIG. Reflected light includes a variable component and a stationary component.
  • the fluctuating component is also called an AC (Alternating Current) component.
  • the AC component fluctuates due to pulsation.
  • a stationary component is also called a DC (Direct Current) component.
  • the DC component hardly fluctuates with pulsation.
  • a pulse is measured based on the light intensity change of the reflected light according to the variation of the AC component. In this embodiment, the fluctuation of the AC component is measured as pulsation.
  • the control unit 13 controls the multiple light emitters 11 .
  • the control unit 13 is implemented by a microcomputer (also called a microcomputer) or a microcontroller.
  • the control unit 13 has a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), flash memory, and the like.
  • the control unit 13 executes control and processing according to a pre-stored program.
  • the control unit 13 executes control and processing according to a program according to a preset schedule, instructions from the outside, and the like.
  • FIG. 6 is a block diagram showing an example of the functional configuration of the optical sensor 10.
  • the control unit 13 has a measurement instruction acquisition unit 131 , a light emission control unit 132 , a storage unit 133 , a signal acquisition unit 134 and a signal output unit 135 .
  • the measurement instruction acquisition unit 131 acquires measurement instructions from the measurement device 16 .
  • the measurement instruction acquisition unit 131 acquires an instruction to perform preliminary measurement (also referred to as a first measurement instruction) from the measurement device 16 .
  • the first measurement instruction is an instruction to perform preliminary measurement for a certain period of time using all the light receiving elements of the light receiving element array 12 .
  • the measurement instruction acquisition section 131 outputs the acquired first measurement instruction to the light emission control section 132 and the signal acquisition section 134 .
  • the measurement instruction acquisition unit 131 also acquires from the measurement device 16 an instruction (also referred to as a second measurement instruction) to perform measurement in a measurement channel, which will be described later.
  • the second measurement instruction is an instruction to perform continuous main measurement in the selected measurement channel among the light receiving elements of the light receiving element array 12 .
  • the selected measurement channels form a measurement area.
  • the measurement instruction acquisition unit 131 outputs the acquired second measurement instruction to the light emission control unit 132 and the signal acquisition unit 134 .
  • the light emission control unit 132 acquires the measurement instruction for the measuring device 16 from the measurement instruction acquisition unit 131 .
  • the light emission control unit 132 acquires the first measurement instruction for preliminary measurement from the measurement instruction acquisition unit 131 .
  • the light emission control unit 132 performs control for causing the plurality of light emitters 11 to emit light in accordance with the first measurement instruction.
  • the light emission control unit 132 controls the plurality of light emitters 11 with a control method according to the first measurement instruction stored in the storage unit 133 .
  • the light emission control unit 132 also acquires a second measurement instruction for continuous measurement (main measurement) from the measurement instruction acquisition unit 131 .
  • the light emission control unit 132 performs control for causing the plurality of light emitters 11 to emit light in accordance with the second measurement instruction.
  • the light emission control unit 132 controls the plurality of light emitters 11 by a control method according to the second measurement instruction stored in the storage unit 133 .
  • the light emission control unit 132 similarly controls all of the plurality of light emitters 11 according to the first measurement instruction and the second measurement instruction.
  • the light emission control section 132 may control each of the plurality of light emitters 11 in different patterns according to the first measurement instruction and the second measurement instruction.
  • a control method for the plurality of light emitters 11 by the light emission control unit 132 is not particularly limited.
  • the storage unit 133 stores a control method for causing the plurality of light emitters 11 to emit light.
  • the control method stored in the storage unit 133 is referred to by the light emission control unit 132 .
  • the control method stored in the storage unit 133 is not particularly limited.
  • the signal acquisition unit 134 acquires the measurement instruction for the measurement device 16 from the measurement instruction acquisition unit 131 .
  • the signal acquisition unit 134 acquires the first measurement instruction for preliminary measurement from the measurement instruction acquisition unit 131 .
  • the signal acquisition unit 134 acquires a light reception signal corresponding to the reflected light received by all the light receiving elements forming the light receiving element array 12 in response to the first measurement instruction.
  • the signal acquisition section 134 outputs the received light signals of all the light receiving elements to the signal output section 135 .
  • the signal acquisition unit 134 also acquires a second measurement instruction for continuous measurement (main measurement) from the measurement instruction acquisition unit 131 .
  • the signal acquisition unit 134 acquires a light reception signal corresponding to the reflected light received by the light receiving element set in the measurement channel selected by the measurement device 16 in response to the second measurement instruction.
  • the signal acquisition unit 134 outputs the light reception signal of the light receiving element set in the measurement channel to the signal output unit 135 .
  • the signal output unit 135 acquires the received signal from the signal acquisition unit 134.
  • the signal output unit 135 outputs the acquired received signal to the measuring device 16 .
  • the signal output unit 135 may store the received signals acquired from the light receiving element array 12 in a storage device such as a flash memory, and may collectively transmit the received signals for a predetermined period to the measuring device 16 .
  • the substrate 110 is a bendable substrate.
  • the substrate 110 has a bendable plate-like shape.
  • the substrate 110 has a structure in which a conductive layer such as copper foil is formed on the surface of a base layer made of polyimide, and the conductive layer is laminated with a covering layer of a plastic film.
  • the base layer and coating layer of the substrate 110 may be mainly composed of urethane nonwoven fabric, vinyl chloride, elastic cotton cloth, sponge sheet, urethane film, or olefin film.
  • the light emitter 11, the light receiving element array 12, and the control unit 13 mounted on the substrate 110 may be configured to deform according to the deformation of the substrate 110, or may be configured not to deform.
  • a plurality of light emitters 11 and a light receiving element array 12 are arranged on the measurement surface (also called the first surface) of the substrate 110 .
  • An adhesive layer 111 is formed on the peripheral portion of the measurement surface of the substrate 110 .
  • the portion on which the adhesive layer 111 is formed may be made of a material or have a different structure from the other portions. For example, if the portion where the adhesive layer 111 is formed has a mesh-like structure, the portion of the adhesive layer 111 is less likely to get stuffy, and a decrease in the adhesive strength of the adhesive layer 111 due to perspiration or the like can be suppressed.
  • a controller 13 is arranged on the second surface of the substrate 110 facing the measurement surface. The controller 13 may be arranged inside the substrate 110 .
  • the controller 13 may be arranged inside the substrate 110 in order to improve waterproofness.
  • the control unit 13 may be covered with a waterproof film or the like in order to improve waterproofness.
  • the substrate 110 deforms according to the shape of the attached portion.
  • the material, structure, and shape of the substrate 110 are not particularly limited.
  • the adhesive layer 111 is formed on the peripheral portion of the measurement surface of the substrate 110 .
  • the adhesive layer 111 contains an adhesive for attaching the optical sensor 10 to the subject's body.
  • the adhesive layer 111 contains an acrylic adhesive, a rubber adhesive, or a silicone adhesive.
  • the adhesive layer 111 preferably has a light shielding property so that light from the outside does not reach the light emitter 11 and the light receiving element array 12 .
  • the material of the adhesive layer 111 is not particularly limited. For example, for the adhesive layer 111, it is better to use a material that is less irritating to the skin.
  • the adhesive layer 111 may contain a substance that reduces skin discomfort.
  • the adhesive layer 111 may contain menthol or the like.
  • the adhesive layer 111 may contain a substance that suppresses a decrease in adhesive force due to absorption of moisture such as sweat.
  • the adhesive layer 111 may contain a polymer absorber or the like.
  • the optical sensor 10 may be attached to the subject's body with the adhesive layer 111 with a band (not shown) or the like.
  • FIG. 5 is a block diagram showing an example of the functional configuration of the measuring device 16. As shown in FIG. The measurement device 16 has a measurement instruction output unit 161 , a received signal acquisition unit 162 , a biological data generation unit 163 , a calculation unit 164 , a measurement region setting unit 165 and a biological data output unit 166 .
  • the measurement instruction output unit 161 When the measurement device 16 is activated, the measurement instruction output unit 161 outputs to the optical sensor 10 a first measurement instruction for preliminary measurement prior to continuous main measurement.
  • the first measurement instruction is an instruction to perform preliminary measurement for a certain period of time using all the light receiving elements of the light receiving element array 12 .
  • the measurement instruction output unit 161 acquires the address of the measurement channel selected by the measurement region setting unit 165 .
  • the measurement instruction output unit 161 outputs to the optical sensor 10 a second measurement instruction for performing measurement in the selected measurement channel.
  • the second measurement instruction is an instruction to perform continuous main measurement in the selected measurement channel among the light receiving elements of the light receiving element array 12 .
  • the measurement instruction output unit 161 outputs the first measurement instruction to the optical sensor 10 at a predetermined update timing to update the measurement channel.
  • the measurement instruction output unit 161 may output to the optical sensor 10 an instruction to issue the first measurement instruction for a region including the measurement channel being measured.
  • the measurement instruction output unit 161 may update the measurement channel according to the value or fluctuation of the biometric data while performing the main measurement.
  • the received signal acquisition unit 162 acquires from the optical sensor 10 a received signal corresponding to the measurement instruction from the measurement instruction output unit 161 .
  • the received signals corresponding to the first measurement instruction are signals from all the light receiving elements forming the light receiving element array 12 of the optical sensor 10 .
  • the received signal corresponding to the second measurement instruction is a signal from the light receiving element set as the measurement channel among the plurality of light receiving elements forming the light receiving element array 12 of the optical sensor 10 .
  • the received signal acquisition section 162 outputs the acquired received signal to the biological data generation section 163 .
  • the received signal acquiring section 162 may store the received signals acquired from the light receiving element array 12 in a flash memory (not shown).
  • the biological data generation unit 163 acquires from the reception signal acquisition unit 162 the reception signal corresponding to the measurement instruction from the measurement instruction output unit 161 .
  • the biometric data generation unit 163 generates biometric data using the acquired received signal.
  • the biological data generator 163 generates pulse data using the acquired time-series data of the received signal.
  • the biometric data generated by the biometric data generator 163 is not particularly limited.
  • the biometric data generation unit 163 outputs biometric data generated using the received signal in response to the first measurement instruction to the calculation unit 164 .
  • biometric data generating section 163 outputs biometric data generated using the received signal in response to the second measurement instruction to biometric data output section 166 .
  • the biometric data generator 163 may output biometric data generated using the received signal corresponding to the second measurement instruction to the calculator 164 .
  • the biometric data output to the calculation unit 164 at the verification timing is used for verification of the selected measurement channel.
  • the biological data generator 163 may store the generated biological signal in a flash memory (not shown).
  • FIG. 8 is an example of time-series data of biological data (pulse) generated based on measured values (amplitude) for each channel.
  • the time-series data of the biological data (beats) in FIG. 8 includes several beats. For example, the difference between the maximum and minimum values of each beat is the representative value for that channel.
  • biological data based on measured values for each channel includes drift and noise. Therefore, it is difficult to compare the measured values of the plurality of light receiving elements (channels) forming the light receiving element array 12 with the average value for each channel. In this embodiment, by using the deviation of the measured value for each channel, the measured values of the plurality of light receiving elements (channels) forming the light receiving element array 12 can be easily compared.
  • the light-receiving elements of the light-receiving element array 12 are 120 ⁇ 160 pixels, it is difficult to use the measured values of all the light-receiving elements due to restrictions such as communication speed.
  • biometric data is used for emotion estimation, it is difficult to collect biometric data for 10,000 pixels in real time, which requires a resolution of about 100 Hz (Hertz).
  • the light-receiving elements used for measuring biological data are selected from the light-receiving elements constituting the light-receiving element array 12, so that the load of calculation and communication can be reduced.
  • the calculation unit 164 selects a channel for main measurement using biological data based on the reception signal received in response to the first measurement instruction.
  • the calculation unit 164 calculates the representative value of the amplitude of the biological data for each of the plurality of light receiving elements (channels) forming the light receiving element array 12 for each channel.
  • the calculator 164 calculates the maximum value of the amplitude of the biological data as the representative value for each channel.
  • the calculation unit 164 also calculates the average value of the representative values of the plurality of light receiving elements (channels) forming the light receiving element array 12 .
  • the calculator 164 calculates, for each channel, a deviation (also called a channel deviation) obtained by subtracting the average value of the representative values of a plurality of light receiving elements (channels) from the representative value of each light receiving element (channel). Calculation section 164 outputs the channel deviation calculated for each channel to measurement region setting section 165 .
  • a deviation also called a channel deviation
  • the calculator 164 can calculate the channel deviation D m of channel m using the following equation 1 (m is a natural number).
  • Dm Mm -A (1)
  • M m is the maximum value of biometric data (amplitude) on channel m.
  • A is the average value of the maximum values of biological data (amplitude) for a plurality of light receiving elements (channels).
  • FIG. 9 is a conceptual diagram for explaining an example of calculating a channel deviation obtained by subtracting an average value from a representative value for each light receiving element (channel Ch) that constitutes the light receiving element array 12.
  • FIG. FIG. 9 is a pixel image 121 corresponding to the light receiving surface of the light receiving element array 12.
  • FIG. The example of FIG. 9 shows how the channel deviation is calculated for biometric data based on the received signal received by the upper left photodetector (channel).
  • a channel deviation may be calculated collectively for a plurality of light receiving elements (channels) that constitute the light receiving element array 12 .
  • the calculator 164 calculates channel deviations for all of the plurality of light receiving elements (channels). For example, the calculation unit 164 may calculate the channel deviation not for all the light receiving elements (channels) forming the light receiving element array 12 but for a limited range.
  • the calculation unit 164 may calculate the deviation of the measurement values of the plurality of light receiving elements (channels) constituting the light receiving element array 12 not for each single channel but for each of multiple channels.
  • the control unit 13 subtracts the average of the representative values of a plurality of light receiving elements (channels) from the average of the representative values of the measurement values of the light receiving elements (channels) included in the calculation area, Calculate as deviation (also called area deviation).
  • the calculation unit 164 outputs the area deviation calculated for each calculation area to the measurement area setting unit 165 .
  • the array of computational areas can be set arbitrarily, not just 2x2.
  • the number and arrangement of channels included in the calculation area are set in advance.
  • the number and arrangement of channels included in the calculation area may be automatically set according to the selection status of the channels included in the measurement candidate area, which will be described later.
  • the calculation unit 164 changes the number and arrangement of channels included in the calculation region according to the number of channels included in the measurement candidate region.
  • FIG. 10 is a pixel image 122 corresponding to the light receiving surface of the light receiving element array 12.
  • FIG. The example of FIG. 10 shows how the area deviation is calculated for biometric data based on the received signals received by a plurality of light receiving elements (channels) included in the upper left calculation area R c .
  • the area deviation may be collectively calculated with respect to a plurality of calculation areas R c set in a plurality of light receiving elements (channels) forming the light receiving element array 12 .
  • FIG. 10 is a pixel image 122 corresponding to the light receiving surface of the light receiving element array 12.
  • the calculation unit 164 calculates area deviations for all of the plurality of calculation areas R c .
  • the calculation unit 164 may calculate the area deviation by narrowing down the range instead of the plurality of calculation areas R c set for all of the plurality of light receiving elements (channels) constituting the light receiving element array 12 .
  • the calculation unit 164 calculates the standard deviation of the channel deviations calculated for a plurality of light receiving elements (channels).
  • the calculation unit 164 outputs the calculated standard deviation of the channel deviations for the plurality of light receiving elements (channels) to the measurement region setting unit 165 .
  • the measurement region setting unit 165 acquires from the calculation unit 164 the channel deviation calculated for each channel, the area deviation calculated for each calculation region, and the standard deviation of the channel deviations for a plurality of light receiving elements (channels).
  • the measurement region setting unit 165 selects a channel (also referred to as a measurement channel) used for main measurement of biological data based on the channel deviation and the region deviation.
  • the measurement region setting unit 165 sets, as a measurement candidate region, a channel region in which a deviation such as a channel deviation or a region deviation exceeds a predetermined threshold.
  • the measurement region setting unit 165 selects a measurement channel based on a comparison result between deviations such as channel deviations and region deviations and standard deviations of channel deviations regarding a plurality of light receiving elements (channels). For example, the measurement region setting unit 165 selects a light receiving element (channel) having a standard deviation of 1.5 times or more of the channel deviation of a plurality of light receiving elements (channels) as a measurement candidate area. set. The measurement region setting unit 165 selects a measurement channel from among the light receiving elements (channels) set as the measurement candidate regions. The measurement region setting unit 165 sets the selected measurement channel as the measurement region.
  • FIG. 11 shows the positions of the light receiving elements (channels) in which the deviation calculated by the measuring device 16 is larger than the standard deviation of the channel deviations of the plurality of light receiving elements (channels), and the light receiving surface of the light receiving element array 12. It is a heat map mapped by FIG. 11 is a pixel image 123 corresponding to the light receiving surface of the light receiving element array 12.
  • FIG. 11 hatching according to the magnitude of the deviation calculated by the measuring device 16 is shown. In practice, the magnitude of the deviation may be displayed in different colors.
  • Region R1 is the region of the channel where the regional deviation is greater than or equal to 1.5 times the standard deviation. The region R1 is set as a measurement candidate region.
  • Region R2 is the region of the channel where the regional deviation is greater than or equal to 0.5 times the standard deviation.
  • Region R3 is a channel region in which the area deviation of the calculation area is less than 0.5 times the standard deviation and the sum of the amplitudes inside the calculation area is greater than zero.
  • a region R3 corresponds to the range of the detected human body.
  • the outer edge portion of the region R3 may be displayed with different hatching or colors to clearly indicate the range of the detected human body.
  • the heat map of FIG. 11 may be displayed on the screen of a terminal device (not shown).
  • the subject wearing the optical sensor 10 can adjust the position to wear the optical sensor 10 by referring to the heat map displayed on the screen.
  • FIG. 12 is a conceptual diagram for explaining an example of the measurement area RM selected from the area R1 set as the measurement candidate area.
  • 12 is a pixel image 124 corresponding to the light receiving surface of the light receiving element array 12.
  • FIG. The measurement region RM is selected from channels within the range of the region R1 set as the measurement candidate region. As shown in FIG. 12, the number of measurement channels included in measurement region R M is significantly less than the total number of channels included in pixel image 124 . Therefore, according to the present embodiment, it is possible to significantly reduce the load on the reception of the received signal, the communication of the received signal, the calculation of the biological data, and the like in the measurement of the biological data.
  • the biological data output unit 166 acquires the biological data corresponding to the second measurement instruction from the biological data generation unit 163.
  • the biometric data output unit 166 outputs the acquired biometric data.
  • the biological data output unit 166 outputs, as biological data, a representative value of biological data generated based on light reception signals received by a plurality of light receiving elements.
  • the biological data output unit 166 outputs, as biological data, an average value of biological data generated based on light reception signals received by a plurality of light receiving elements.
  • the biometric data output unit 166 may output the biometric data via a cable such as a cable, or may output the biometric data via wireless communication.
  • the biometric data output unit 166 is configured to output biometric data via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the communication function of the biometric data output unit 166 may conform to standards other than Bluetooth (registered trademark) and WiFi (registered trademark).
  • the biometric data output unit 166 outputs biometric data to a dedicated terminal device (not shown) having a screen.
  • the biometric data output unit 166 outputs the biometric data to a mobile terminal (not shown) such as a smartphone or tablet carried by the user.
  • the biometric data output unit 166 outputs biometric data to an external system (not shown) built on a server or cloud.
  • FIG. 13 is an example of displaying the pulse rate measured according to the biometric data output from the measuring device 16 on the screen of the terminal device 100 .
  • the pulse rate corresponds to the number of pulsations (pulses) per unit time.
  • the number of pulsations in one minute is defined as the pulse rate.
  • a user who visually recognizes the pulse rate displayed on the screen can confirm the subject's pulse rate.
  • the physical condition of the subject can be verified according to the pulse rate.
  • the pulse is derived from the beat of the heart (heartbeat). Therefore, the pulse rate corresponds to the heart rate.
  • the pulse rate of a subject can be measured and displayed in real time, the physical condition of the subject can be monitored accurately in real time.
  • a subject's perceived exercise intensity can be quantified according to exercise heart rate and resting heart rate values.
  • the quantified subjective exercise intensity and the degree of fatigue corresponding to the subjective exercise intensity may be displayed on the screen of the terminal device 100 .
  • FIG. 10 is an example of displaying the waveform of the time-series data of the biological data (pulse) output from the measuring device 16 on the screen of the terminal device 100.
  • the measurement device 16 generates biometric data using the reception signal received by the measurement channel with the large area deviation. Therefore, the waveform of the time-series data of the biological data (pulse) output from the measuring device 16 is smooth with less drift and noise, as shown in FIG.
  • a user who visually recognizes the waveform displayed on the screen can confirm the pulse state of the subject. For example, it is possible to verify the physical, health, mental, and emotional states of the subject based on the pulse intensity, interval, and time change.
  • FIG. 15 is a flowchart for explaining an example of the operation of the measuring device 16.
  • FIG. 15 In the processing according to the flowchart of FIG. 15, the measuring device 16 will be described as the subject of operation.
  • the measuring device 16 first outputs a first measurement instruction to the optical sensor 10 (step S11).
  • the measuring device 16 executes measurement channel setting processing (step S12).
  • the measurement channel setting process is a process of setting the channel used for the main measurement according to the value of the biological data based on the reception signal received in response to the first measurement instruction. Details of the measurement channel setting process will be described later.
  • the measuring device 16 acquires a light reception signal from the optical sensor 10 (step S13).
  • the received signal acquired from the optical sensor 10 at this stage is the signal measured by the main measurement in response to the second measurement instruction.
  • the measuring device 16 generates biological data according to the acquired light receiving signal (step S14).
  • the measuring device 16 outputs the generated biological data (step S15).
  • the measurement device 16 may output to the optical sensor 10 a first measurement instruction to execute the first measurement process, focusing on the area including the measurement channel.
  • step S15 if it is not the time to update the measurement channel (No in step S16), and if the measurement is to be continued (Yes in step S17), the process returns to step S13. On the other hand, when the measurement is finished (No in step S17), the process according to the flowchart of FIG. 15 is finished. Continuation/end of measurement may be determined according to a preset timing, a timing when the measured value is no longer measured, or the like.
  • FIG. 16 is a flowchart for explaining measurement channel setting processing for each channel.
  • the measuring device 16 acquires biological data measured by the optical sensor 10 in response to the first measurement instruction (step S111).
  • the measuring device 16 calculates a representative value of biological data for each channel of the light receiving element array 12 (step S112). For example, the measuring device 16 calculates the maximum value of biometric data for each channel.
  • the measuring device 16 calculates the average value of the representative values of the biological data for all the channels of the light receiving element array 12 (step S113).
  • the measurement device 16 subtracts the average value of the representative values of the biological data for all channels from the representative value of the biological data for each channel constituting the light receiving element array 12 to calculate the channel deviation for each channel (step S114).
  • the measuring device 16 sets a candidate measurement area whose deviation exceeds the threshold (step S115).
  • the measuring device 16 selects at least one measurement channel from the channels included in the measurement candidate area (step S116). In other words, the measuring device 16 sets the measurement area within the measurement candidate area.
  • the measurement device 16 outputs a second measurement instruction using the selected measurement channel to the optical sensor 10 (step S117).
  • FIG. 17 is a flowchart for explaining measurement channel setting processing for each calculation region.
  • the measuring device 16 acquires biological data measured by the optical sensor 10 in response to the first measurement instruction (step S121).
  • the measuring device 16 calculates a representative value of biological data for each calculation area of the light receiving element array 12 (step S122). For example, the measuring device 16 calculates the maximum value of biometric data for each calculation region.
  • the measuring device 16 calculates the average value of the representative values of the biometric data for all calculation regions of the light receiving element array 12 (step S123).
  • the measuring device 16 calculates the standard deviation of channel deviations for all light receiving elements (step S124).
  • the measuring device 16 subtracts the average value of the representative values of the biological data for all calculation regions from the representative value of the biological data for each calculation region set in the light receiving element array 12, and obtains the regional deviation for each calculation region. is calculated (step S125).
  • the measuring device 16 sets a candidate measurement area according to the comparison result between the area deviation and the standard deviation (step S126). For example, the measuring device 16 selects a selection area whose area deviation is 1.5 times or more the standard deviation as a measurement candidate area.
  • the measuring device 16 selects at least one measurement channel from the channels included in the measurement candidate area (step S127). In other words, the measuring device 16 sets the measurement area within the measurement candidate area.
  • the measurement device 16 outputs a second measurement instruction using the selected measurement channel to the optical sensor 10 (step S128).
  • FIG. 18 is a flowchart for explaining an example of the operation of the optical sensor 10.
  • FIG. 18 In the processing according to the flowchart of FIG. 18, the optical sensor 10 will be described as the subject of operation.
  • step S132 when the optical sensor 10 acquires the first measurement instruction (Yes in step S131), it executes the first measurement process (step S132). Details of the first measurement process will be described later. On the other hand, if the first measurement instruction has not been acquired (No in step S131), the optical sensor 10 waits until the first measurement instruction is acquired.
  • step S132 when the second measurement instruction is obtained (Yes in step S133), the optical sensor 10 executes the second measurement process (step S134). Details of the second measurement process will be described later. On the other hand, if the second measurement instruction has not been acquired (No in step S133), the optical sensor 10 waits until the second measurement instruction is acquired.
  • step S134 when the first measurement instruction is acquired (Yes in step S135), the optical sensor 10 returns to step S132 and executes the first measurement process. On the other hand, if the first measurement instruction has not been acquired (No in step S135) and if the measurement is to be continued (Yes in step S136), the process returns to step S134 to continue the second measurement process. On the other hand, if the measurement is to end (No in step S136), the process according to the flow chart of FIG. 18 ends. Continuation/end of measurement may be determined according to a preset timing, a timing when the measured value is no longer measured, or the like.
  • FIG. 19 is a flowchart for explaining the first measurement processing by the optical sensor 10.
  • the optical sensor 10 controls the light emitter 11 so as to emit the optical signal for the first measurement (step S141).
  • the optical sensor 10 receives the reflected light of the optical signal emitted from the light emitter 11 in all the channels of the light receiving element array 12 (step S142).
  • the optical sensor 10 outputs the light receiving signals received by all the channels of the light receiving element array 12 to the measuring device 16 (step S143).
  • FIG. 20 is a flowchart for explaining the second measurement process by the optical sensor 10.
  • the optical sensor 10 controls the light emitter 11 so as to emit the optical signal for the second measurement (step S151).
  • the optical sensor 10 receives the reflected light of the optical signal emitted from the light emitter 11 in the measurement channel selected from the light receiving element array 12 (step S152).
  • the optical sensor 10 outputs the light receiving signal received by the measurement channel selected from the light receiving element array 12 to the measuring device 16 (step S153).
  • the biological data measurement system of this embodiment includes an optical sensor and a measurement device.
  • the optical sensor has a plurality of light emitters, a light receiving element array, and a controller.
  • a plurality of light emitters are arranged on a measurement surface of a substrate attached to the skin of a subject, who is a target of biometric data measurement.
  • a plurality of light emitters emit optical signals toward the subject's skin.
  • the light receiving element array includes a plurality of light receiving elements arranged two-dimensionally.
  • the light receiving element array is arranged on the measurement surface of the substrate.
  • the light receiving element array receives reflected light of optical signals emitted from the plurality of light emitters.
  • the control unit causes the plurality of light emitters to emit optical signals in response to measurement instructions from the measurement device.
  • the control section receives a reception signal for each light receiving element corresponding to reflected light of an optical signal received by a plurality of light receiving elements constituting the light receiving element array.
  • the control unit outputs the received signal for each of the received light receiving elements to the measuring device.
  • the control unit outputs to the measuring device a signal received by the light-receiving element within the range of the measurement region set by the measuring device during the second measurement period according to the second measurement instruction from the measuring device.
  • the measurement device of this embodiment includes a measurement instruction output unit, a received signal acquisition unit, a biological data generation unit, a calculation unit, a measurement region setting unit, and a biological data output unit.
  • the measurement instruction output unit outputs a first measurement instruction for instructing a first measurement corresponding to preliminary measurement and a first measurement instruction corresponding to main measurement to an optical sensor including a light receiving element array in which a plurality of light receiving elements are arranged two-dimensionally. and output a measurement instruction including a second measurement instruction for instructing a second measurement to be performed.
  • the received signal acquisition unit acquires a received signal from at least one of the plurality of light receiving elements according to the measurement instruction.
  • the biological data generator generates biological data for each light-receiving element using the acquired received signal.
  • the calculator calculates the deviation of the biometric data for each light-receiving element using the biometric data generated using the reception signal acquired in response to the first measurement instruction.
  • the measurement area setting unit sets a measurement area including the light receiving element used for the second measurement according to the second measurement instruction, according to the deviation of the biological data for each light receiving element.
  • the biological data output unit outputs biological data measured in the second measurement in response to the second measurement instruction.
  • a measurement region including the photodetectors used for the second measurement corresponding to the main measurement is set according to the deviation of the biometric data for each photodetector. According to this embodiment, in the second measurement corresponding to the main measurement, it is possible to reduce the load of measurement by the optical sensor and communication. Therefore, according to the present embodiment, constant measurement of biometric data using the optical sensor can be realized.
  • the measurement instruction output unit outputs to the optical sensor a first measurement instruction instructing measurement using all of the plurality of light receiving elements forming the light receiving element array.
  • the measurement instruction output unit outputs to the optical sensor a second measurement instruction instructing measurement using the light receiving elements within the range of the measurement area among the plurality of light receiving elements forming the light receiving element array.
  • the calculation unit calculates the difference between the representative value of the biometric data for each light-receiving element and the representative value of all the biometric data of the plurality of light-receiving elements as the deviation of the biometric data for each light-receiving element. do.
  • the measurement area setting unit sets the measurement candidate area according to the deviation of the biometric data for each light receiving element.
  • the measurement area setting unit sets the measurement area within the range of the measurement candidate area. According to this aspect, the load in the second measurement can be reliably reduced by setting the measurement area within the range of the measurement candidate area set according to the deviation of the biometric data for each light receiving element.
  • the measurement region setting unit sets, as a measurement candidate region, a region composed of light receiving elements in which the deviation of biological data for each light receiving element exceeds a predetermined threshold. According to this aspect, the measurement area can be clearly set according to the predetermined threshold value.
  • the calculator calculates the standard deviation of the biometric data deviations for all of the plurality of light receiving elements.
  • the measurement region setting unit sets, as a measurement candidate region, a region composed of light-receiving elements having a deviation greater than or equal to a predetermined value with respect to the standard deviation.
  • the calculation unit sets the measurement area within the range of the measurement candidate area. According to this aspect, the measurement area can be clearly set according to the value of the deviation with respect to the standard deviation.
  • the calculation unit calculates a difference between a representative value of biometric data for each of a plurality of calculation regions including a plurality of light receiving elements and an average value of the representative values of the biometric data for all of the plurality of calculation regions. , is calculated as the area deviation of biometric data for each calculation area.
  • the measurement region setting unit sets the measurement candidate region according to the region deviation of the biometric data for each calculation region. According to this aspect, by setting the measurement area according to the area deviation of the biometric data for each calculation area, the load for setting the measurement area according to the first measurement can be reduced.
  • the measurement instruction output unit outputs the first measurement instruction to the optical sensor at a timing when a predetermined period of time has passed since the second measurement in response to the second measurement instruction is started, and performs measurement. Update region. According to this aspect, continuous biometric data measurement can be realized by updating the measurement region with good timing.
  • the measurement instruction output unit outputs the first measurement instruction to the optical sensor when the measured value of the biological data is below the reference value in the second measurement in response to the second measurement instruction, and performs the measurement. Update region. According to this aspect, continuous measurement of biometric data can be realized by updating the measurement region according to the measured value of the biometric data.
  • the measurement instruction output unit transmits the first measurement instruction including the instruction to perform the first measurement by narrowing down to the peripheral area of the measurement area and the measurement area to the optical sensor. Output. According to this aspect, by narrowing down the measurement range in the first measurement in updating the measurement region, the load on the first measurement can be reduced.
  • the measurement area setting unit resets an area with a high deviation rank as the measurement area when the measured value of the biological data is interrupted in the second measurement in response to the second measurement instruction.
  • the measurement instruction output unit outputs a second measurement instruction including an instruction to continue measurement in the reset measurement area to the optical sensor. According to this aspect, continuous measurement of biometric data can be realized by resetting the measurement region in a situation where the measured value of biometric data is interrupted.
  • the biological data output unit outputs a heat map in which the measurement area is highlighted in association with the light receiving surface of the light receiving element array. According to this aspect, for example, by displaying a heat map on the screen, it is possible to make the person who visually recognizes the screen confirm that an appropriate measurement area is set.
  • optical sensor includes the function of the measuring device of the first embodiment.
  • FIG. 21 is a block diagram showing an example of the configuration of the optical sensor 20 of this embodiment.
  • the optical sensor 20 includes a plurality of light emitters 21 , a light receiving element array 22 and a controller 23 .
  • a plurality of light emitters 21, a light receiving element array 22, and a controller 23 are arranged on a substrate as in the first embodiment (FIGS. 2 and 3). Since the substrate is the same as the substrate 110 of the first embodiment, detailed description is omitted. Description of the adhesive layer and the like for attaching the optical sensor 20 to the human body is omitted.
  • the light emitter 21 has the same configuration as the light emitter 11 of the first embodiment.
  • the light emitter 21 has an emission surface for emitting light used for pulse measurement.
  • a plurality of light emitters 21 are arranged with their emission surfaces directed in the same direction.
  • the light emitting surfaces of the plurality of light emitters 21 and the light receiving surface of the light receiving element array 22 are arranged facing the same direction.
  • the exit surface of the light emitter 21 is directed toward the subject's skin with the light sensor 20 attached to the subject's skin.
  • the light emitter 21 emits an optical signal in a wavelength band capable of measuring the pulse under the control of the controller 23 .
  • the light receiving element array 22 has the same configuration as the light receiving element array 12 of the first embodiment.
  • the light receiving element array 22 has a light receiving surface that receives the reflected light of the optical signal emitted from the light emitter 21 .
  • the reflected light is a light component of the optical signal emitted from the light emitter 21 that has reached the light receiving surface of the light receiving element array 22 after being reflected/scattered under the skin (inside the body) of the subject.
  • a plurality of light receiving elements are arranged in a two-dimensional array on the light receiving surface of the light receiving element array 22 .
  • the light intensity of the reflected light received by each of the plurality of light receiving elements arranged in a two-dimensional array is associated with the positions (addresses) of the light receiving elements and measured.
  • the control unit 23 has the same configuration as the control unit 13 of the first embodiment.
  • the controller 23 differs from the controller 13 of the first embodiment in that it includes the functions of the measuring device 16 of the first embodiment.
  • the control unit 23 controls the multiple light emitters 21 .
  • the control unit 23 is implemented by a microcomputer (also called a microcomputer) or a microcontroller.
  • the control unit 23 has a measurement instruction acquisition unit 231, a light emission control unit 232, a storage unit 233, a signal acquisition unit 234, a signal output unit 235, and a measurement unit 236.
  • the functions of the measurement device 16 of the first embodiment are described so that the measurement unit 236 exhibits them.
  • the functionality of the measurement unit 236 may be divided into multiple configurations.
  • the measurement unit 236 has the same functions as the measurement device 16 of the first embodiment.
  • the measurement unit 236 When the optical sensor 10 is activated, the measurement unit 236 outputs a first measurement instruction to perform preliminary measurement to the light emission control unit 232 prior to continuous main measurement.
  • the first measurement instruction is an instruction to perform preliminary measurement for a certain period of time using all the light receiving elements of the light receiving element array 22 .
  • the measurement unit 236 also outputs to the optical sensor 20 a second measurement instruction for performing measurement in the selected measurement channel.
  • the second measurement instruction is an instruction to perform continuous main measurement in the selected measurement channel among the light receiving elements of the light receiving element array 22 .
  • the measurement unit 236 outputs a first measurement instruction to the light emission control unit 232 at a predetermined update timing to update the measurement channel.
  • the measurement unit 236 may output to the light emission control unit 232 an instruction to perform the first measurement instruction for a region including the measurement channel being measured.
  • the measurement unit 236 may update the measurement channel according to the value or fluctuation of the biometric data while performing the main measurement.
  • the measurement unit 236 acquires the received signal from the signal acquisition unit 234.
  • the measurement unit 236 generates biometric data using the acquired received signal.
  • the measurement unit 236 generates pulse data using the acquired time-series data of the received signal.
  • the biometric data generated by the measurement unit 236 is not particularly limited.
  • the measurement unit 236 selects a channel for main measurement using biological data based on the reception signal received in response to the first measurement instruction.
  • the measurement unit 236 calculates the representative value of the amplitude of the biological data for each of the plurality of light receiving elements (channels) forming the light receiving element array 22 for each channel.
  • the measurement unit 236 also calculates the average value of the representative values of the plurality of light receiving elements (channels) forming the light receiving element array 22 .
  • the measurement unit 236 calculates, for each channel, a deviation (also called channel deviation) obtained by subtracting the average value of the representative values of a plurality of light receiving elements (channels) from the representative value of each light receiving element (channel).
  • the measurement unit 236 may calculate the deviation of the measurement values of the plurality of light receiving elements (channels) that constitute the light receiving element array 22, not for each single channel but for each of multiple channels. For example, the measurement unit 236 may set a region (also referred to as a calculation region) made up of a plurality of light receiving elements, and calculate the deviation of the measured value for each calculation region. For example, the measurement unit 236 subtracts the average value of the representative values of the plurality of light receiving elements (channels) from the average value of the representative values of the measurement values of the light receiving elements (channels) included in the calculation area. Calculate as deviation (also called area deviation). The measurement unit 236 also calculates the standard deviation of the channel deviations calculated for the plurality of light receiving elements (channels).
  • the measurement unit 236 is used for the main measurement of biological data based on the channel deviation calculated for each channel, the area deviation calculated for each calculation area, and the standard deviation of the channel deviations for a plurality of light receiving elements (channels).
  • Select a channel also called measurement channel.
  • the measurement unit 236 sets an area of a channel in which a deviation such as a channel deviation or an area deviation exceeds a predetermined threshold as a measurement candidate area.
  • the measurement unit 236 selects a measurement channel according to a comparison result between deviations such as channel deviations and area deviations and standard deviations of channel deviations regarding a plurality of light receiving elements (channels).
  • the measurement unit 236 sets a light receiving element (channel) having a deviation such as a channel deviation or an area deviation equal to or greater than a predetermined times as large as the standard deviation of channel deviations for a plurality of light receiving elements (channels), as a measurement candidate region. For example, the measurement unit 236 selects a light receiving element (channel) having a deviation such as a channel deviation or an area deviation that is 1.5 times or more the standard deviation of the channel deviation of a plurality of light receiving elements (channels) as a measurement candidate area. set. The measurement unit 236 selects a measurement channel from the light receiving elements (channels) set in the measurement candidate area. The measurement unit 236 sets the selected measurement channel as the measurement region.
  • the measurement unit 236 may store measurement channels with high ranks in channel deviation or region deviation among the channels included in the measurement candidate region. For example, when the measurement in the measurement channel selected according to the channel deviation or the area deviation is interrupted, the measurement unit 236 reselects the measurement channel from the area with the highest channel deviation or rank. In other words, when the measurement in the measurement area is interrupted, the measurement unit 236 resets the area with the high rank of the channel deviation or the area deviation as the measurement area. By doing so, even if the measurement in the measurement channel is suddenly interrupted, the measurement of biological data can be continued. Such processing can also be applied to the first embodiment.
  • the measurement instruction acquisition unit 231 has the same configuration as the measurement instruction acquisition unit 131 of the first embodiment.
  • the measurement instruction acquisition unit 231 acquires measurement instructions from the measurement unit 236 .
  • the measurement instruction acquisition unit 231 acquires an instruction to perform preliminary measurement (also referred to as a first measurement instruction) from the measurement unit 236 .
  • the measurement instruction acquisition section 231 outputs the acquired first measurement instruction to the light emission control section 232 and the signal acquisition section 234 .
  • the measurement instruction acquisition unit 231 also acquires from the measurement unit 236 an instruction to perform measurement in the measurement channel (also referred to as a second measurement instruction).
  • the measurement instruction acquisition section 231 outputs the acquired second measurement instruction to the light emission control section 232 and the signal acquisition section 234 .
  • the measurement instruction acquisition unit 231 may be omitted, and the measurement unit 236 may output the first measurement instruction and the second measurement instruction to the light emission control unit 232 and the signal acquisition unit 234 .
  • the light emission control unit 232 has the same configuration as the light emission control unit 132 of the first embodiment.
  • the light emission control unit 232 acquires the measurement instruction for the measurement unit 236 from the measurement instruction acquisition unit 231 .
  • the light emission control unit 232 acquires from the measurement instruction acquisition unit 231 a first measurement instruction for preliminary measurement (first measurement processing).
  • the light emission control unit 232 performs control for causing the plurality of light emitters 21 to emit light in accordance with the first measurement instruction.
  • the light emission control unit 232 controls the plurality of light emitters 21 with a control method according to the first measurement instruction stored in the storage unit 233 .
  • the light emission control unit 232 also acquires a second measurement instruction for performing continuous main measurement (second measurement processing) from the measurement instruction acquisition unit 231 .
  • the light emission control unit 232 performs control for causing the plurality of light emitters 21 to emit light in accordance with the second measurement instruction.
  • the light emission control unit 232 controls the plurality of light emitters 21 with a control method according to the second measurement instruction stored in the storage unit 233 .
  • the storage unit 233 has the same configuration as the storage unit 133 of the first embodiment.
  • the storage unit 233 stores a control method for causing the plurality of light emitters 21 to emit light.
  • the control method stored in the storage unit 233 is referred to by the light emission control unit 232 .
  • the control method stored in the storage unit 233 is not particularly limited.
  • the signal acquisition unit 234 has the same configuration as the signal acquisition unit 134 of the first embodiment.
  • the signal acquisition unit 234 acquires the measurement instruction for the measurement unit 236 from the measurement instruction acquisition unit 231 .
  • the signal acquisition unit 234 acquires from the measurement instruction acquisition unit 231 a first measurement instruction for preliminary measurement (first measurement processing).
  • the signal acquisition unit 234 acquires light reception signals received by all the light receiving elements forming the light receiving element array 22 in response to the first measurement instruction.
  • the signal acquisition section 234 outputs the received light signals received by all the light receiving elements to the measuring section 236 .
  • the signal acquisition unit 234 also acquires from the measurement instruction acquisition unit 231 a second measurement instruction for performing continuous main measurement (second measurement processing).
  • the signal acquisition unit 234 acquires a light reception signal received by the light receiving element set in the measurement channel selected by the measurement unit 236 in response to the second measurement instruction.
  • the signal acquisition section 234 outputs the light reception signal received by the light receiving element set in the measurement channel to the measurement section 236 .
  • the measurement unit 236 generates biometric data using the received light signal acquired from the signal acquisition unit 234 in response to the second measurement instruction.
  • the measurement unit 236 outputs biological data measured in response to the second measurement instruction to the signal output unit 235 .
  • the signal output unit 235 acquires biological data measured in response to the second measurement instruction from the measurement unit 236.
  • the signal output unit 235 outputs the acquired biometric data.
  • the signal output unit 235 may output the biometric data via a cable such as a cable, or may output the biometric data via wireless communication.
  • the signal output unit 235 is configured to output biometric data via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the communication function of the signal output unit 235 may conform to standards other than Bluetooth (registered trademark) and WiFi (registered trademark). There are no particular restrictions on the output destination or use of biometric data.
  • the signal output unit 235 outputs biometric data to a dedicated terminal device (not shown) having a screen.
  • the signal output unit 235 outputs the biometric data to a mobile terminal (not shown) such as a smartphone or tablet carried by the user.
  • the signal output unit 235 outputs biometric data to an external system (not shown) built on a server or cloud.
  • the signal output unit 235 may store the biometric data acquired from the measurement unit 236 in a storage device such as a flash memory, and collectively output the biometric data measured during a predetermined period.
  • FIG. 22 is a flowchart for explaining an example of the operation of the optical sensor 20.
  • FIG. 22 In the processing according to the flowchart of FIG. 22, the optical sensor 20 will be described as the subject of operation.
  • step S21 when the optical sensor 20 is activated, it executes the first measurement process (step S21).
  • the details of the first measurement process in step S21 are the same as those of the first measurement process in FIG. 22
  • step S22 the optical sensor 20 executes measurement channel setting processing.
  • the measurement channel setting process in step S22 is the same as the measurement channel setting process in FIGS.
  • step S23 the optical sensor 20 executes a second measurement process.
  • the second measurement process in step S23 is the same as the second measurement process in FIG.
  • the process returns to step S21.
  • the optical sensor 20 may perform the first measurement process by narrowing down the area including the measurement channel.
  • step S23 if it is not the time to update the measurement channel (No in step S24), and if the measurement is to be continued (Yes in step S25), the process returns to step S23.
  • the measurement is finished (No in step S25)
  • Continuation/end of measurement may be determined according to a preset timing, a timing when the measured value is no longer measured, or the like.
  • the optical sensor of this embodiment has a plurality of light emitters, a light receiving element array, and a controller.
  • a plurality of light emitters are arranged on a measurement surface of a substrate attached to the skin of a subject whose biometric data is to be measured.
  • a plurality of light emitters emit optical signals toward the subject's skin.
  • the light receiving element array includes a plurality of light receiving elements arranged two-dimensionally.
  • the light receiving element array is arranged on the measurement surface of the substrate.
  • the light receiving element array receives reflected light of optical signals emitted from the plurality of light emitters.
  • the control unit of this embodiment has a measurement instruction acquisition unit, a light emission control unit, a storage unit, a signal acquisition unit, a measurement unit, and a signal output unit.
  • the measurement unit outputs a measurement instruction including a first measurement instruction for instructing first measurement corresponding to preliminary measurement and a second measurement instruction for instructing second measurement corresponding to main measurement.
  • the measurement instruction acquisition unit acquires a measurement instruction from the measurement unit.
  • the light emission control unit causes the plurality of light emitters to emit optical signals in response to measurement instructions from the measurement device.
  • the signal acquisition unit acquires a reception signal for each light receiving element corresponding to reflected light of an optical signal received by a plurality of light receiving elements constituting the light receiving element array.
  • the measurement unit acquires a received signal from at least one of the plurality of light receiving elements according to the measurement instruction.
  • the measurement unit uses the acquired received signal to generate biometric data for each light receiving element.
  • the measurement unit calculates the deviation of the biometric data for each light receiving element using the biometric data generated using the reception signal acquired in response to the first measurement instruction.
  • the measurement unit sets a measurement region including the light receiving element used for the second measurement according to the second measurement instruction, according to the deviation of the biological data for each light receiving element.
  • the signal output unit outputs biological data measured in the second measurement in response to the second measurement instruction.
  • the optical sensor of the present embodiment sets a measurement region including the light receiving elements used for the second measurement corresponding to the main measurement according to the deviation of the biological data for each light receiving element. According to this embodiment, the optical sensor can reduce the load of measurement and communication, and constantly measure biometric data.
  • the biological information estimation system of this embodiment estimates the biological information of the subject based on the biological data (pulse signal) output from the measuring devices of the first and second embodiments.
  • FIG. 23 is a block diagram showing an example of the configuration of the biological information estimation system 3 according to this embodiment.
  • the biological information estimation system 3 includes an optical sensor 30 , a measuring device 36 and an estimating device 37 .
  • the optical sensor 30 is the optical sensor 10 of the first embodiment.
  • the measuring device 36 is the measuring device 16 of the first embodiment. Descriptions of the details of the optical sensor 30 and the measuring device 36 are omitted.
  • the biological information estimation system 3 may include the optical sensor 20 of the second embodiment. When the biological information estimation system 3 includes the optical sensor 20 of the second embodiment, the measuring device 36 can be omitted.
  • the biological information estimation system 3 may be composed of the measurement device 36 and the estimation device 37 .
  • the estimating device 37 acquires the pulse signal output from the optical sensor 30 .
  • the estimating device 37 estimates biological information of the subject according to the acquired pulse signal.
  • the subject's biological information includes pulse, physical condition, emotion, and the like.
  • the estimation device 37 estimates the subject's pulse based on the pulse signal. For example, the estimating device 37 estimates the pulse according to the interval between the maximum value/minimum value appearing in the time-series data of the pulse signal. For example, the estimating device 37 estimates the pulse according to the expression period of the feature amount extracted from the time-series data of the pulse signal. The estimating device 37 outputs information about the pulse, such as the estimated pulse interval and the strength of the pulse signal.
  • the estimation device 37 estimates the physical condition of the subject based on the pulse signal. For example, the estimation device 37 estimates the physical condition of the subject based on the time-series data of the pulse signal. When the subject is at rest, the strength of the pulse signal decreases and the pulse intervals increase. If the subject is exercising, the intensity of the pulse signal will be greater and the pulse intervals will be shorter. If the subject has an arrhythmia, the pulse rhythm becomes irregular or interrupted.
  • the subject's physical condition also affects the baseline of the pulse signal time series data. If the subject's physical condition is stable, baseline variability is small. On the other hand, if the subject's physical condition is unstable, the baseline will fluctuate significantly.
  • the baseline shows an upward trend or a downward trend depending on the subject's physical condition.
  • the pulse signal may show characteristics peculiar to the disease.
  • the subject's physical condition such as stress, fatigue, and drowsiness
  • the estimating device 37 extracts feature quantities according to physical conditions such as stress, fatigue, and drowsiness from the pulse time-series data.
  • the estimating device 37 extracts feature quantities such as an average value, a standard deviation, a coefficient of variation, a root mean square, and a frequency component of the pulse time series data from the pulse time series data.
  • the estimation device 37 estimates the physical condition of the subject according to the extracted feature amount.
  • the estimation device 37 outputs information about the estimated physical condition of the subject, recommendation information according to the estimated physical condition, and the like.
  • the estimation device 37 estimates the emotion of the subject based on the pulse signal.
  • a subject's emotion can be inferred from the strength and variation of the pulse.
  • the estimating device 37 estimates the degree of emotions such as emotions according to fluctuations in the pulse time series data.
  • the estimating device 37 may estimate the subject's emotion according to baseline fluctuations in the pulse time-series data. For example, when the subject's "anger” gradually increases, the baseline shows an upward trend in accordance with the increase in the subject's degree of excitement (arousal). For example, when the subject's "sorrow” gradually increases, the baseline shows a downward trend in accordance with the decrease in the subject's degree of excitement (arousal).
  • FIG. 24 is a conceptual diagram for explaining the emotion estimated by the estimation device 37 based on the pulse signal.
  • emotion is estimated according to the relationship between emotional valence (horizontal axis) and arousal level (vertical axis).
  • Emotional valence quantifies emotional comfort.
  • Emotional valence indicates a more comfortable state toward the right, and a more unpleasant state toward the left.
  • Arousal quantifies emotional heightening.
  • the arousal level (vertical axis) indicates a more excited state toward the top, and a calmer state toward the bottom.
  • each quadrant defined by emotional valence (horizontal axis) and arousal level (vertical axis) is associated with emotion.
  • "Happiness” is associated with the first quadrant. The greater the emotional valence and the greater the degree of arousal, the greater the degree of “joy”.
  • “Anger” is associated with the second quadrant. The lower the emotional valence and the higher the degree of arousal, the higher the degree of "anger”.
  • “Sorrow” is associated with the third quadrant. The lower the emotional valence and the lower the degree of arousal, the higher the degree of "sorrow”.
  • “Raku” is associated with the fourth quadrant.
  • the association of emotions with the graph in FIG. 24 is an example, and does not limit the criteria for emotion estimation by the biological information estimation system 3 of the present embodiment.
  • the subject's emotions may be classified into more detailed emotional states instead of being classified into four emotional states such as emotions.
  • the subject's emotions may be classified not only by the two-dimensional coordinate system shown in FIG. 24, but also by any emotional state classification method.
  • Heart rate fluctuates under the influence of activities related to autonomic nerves such as sympathetic nerves and parasympathetic nerves.
  • the pulse rate fluctuates under the influence of activities related to autonomic nerves such as sympathetic nerves and parasympathetic nerves.
  • low frequency components and high frequency components can be extracted by frequency analysis of pulse rate time series data.
  • the low-frequency component reflects the influence of the sympathetic and parasympathetic nerves.
  • High frequency components reflect the influence of parasympathetic nerves. Therefore, for example, the activity state of the autonomic nerve function can be estimated according to the ratio of the high frequency component and the low frequency component.
  • the sympathetic nervous system tends to become active when the subject is excited.
  • the pulsation speeds up. That is, the higher the pulse rate, the higher the wakefulness.
  • the parasympathetic nervous system tends to become active when the subject is relaxed.
  • the pulsation slows. That is, the lower the pulse rate, the lower the alertness.
  • the estimating device 37 can measure the wakefulness according to the pulse rate. For example, emotional valence can be assessed according to variations in pulse intervals. The more pleasant the emotional state, the more stable the emotion and the smaller the pulse interval variation. That is, the smaller the variation in the pulse interval, the greater the emotional valence.
  • the estimation device 37 can measure the emotional valence according to the pulse interval.
  • the method of measuring the arousal level and emotional valence is not limited to the methods and criteria mentioned here.
  • the estimation device 37 estimates the arousal level and emotional valence based on the time-series data of the pulse signal.
  • the estimation device 37 estimates the emotion according to the coordinates of the measured arousal level and emotional valence in the coordinate system of the graph in FIG.
  • the estimator 37 estimates that the subject's emotional state is "joy.” If the coordinates of arousal and emotional valence measured for a certain subject are in the second quadrant, the estimator 37 estimates that the subject's emotional state is "anger.” If the measured arousal and emotional valence coordinates for a certain subject are in the third quadrant, the estimator 37 estimates that the subject's emotional state is "sad.” If the coordinates of arousal and emotional valence measured for a certain subject are in the fourth quadrant, the estimator 37 estimates that the subject's emotional state is "relaxed.” For example, if the emotional valence and arousal do not exceed thresholds, the estimator 37 determines that the subject's emotional state is normal.
  • the estimating device 37 determines that the subject's emotional state is normal.
  • a threshold value for determining that the subject's emotional state is normal can be set arbitrarily. For example, such thresholds may be different for different emotions.
  • the estimation device 37 may be configured to estimate emotions using a machine learning technique.
  • FIG. 25 is a conceptual diagram showing an example of learning by the learning device 340 using a data set of feature amounts (explanatory variables) and emotions (response variables) extracted from pulse signals as teacher data.
  • the teacher data is data obtained by assigning a label of the emotional state at that point in time to feature values extracted from pulse signals measured for a subject in an emotional state of either joy, anger, romance, or pleasure.
  • the teacher data may be data in which a pulse signal measured for a subject in an emotional state of joy, anger, romance or pleasure is labeled with the emotional state at that point in time.
  • the learning device 340 generates an estimation model through supervised learning using teacher data.
  • the estimation model 370 is generated in advance by having the learning device 340 learn teacher data relating to a plurality of subjects.
  • the estimation model 370 outputs a result of estimating the emotion of the subject according to the input of the feature amount extracted from the pulse signal. No particular limitation is imposed on the specific technique of machine learning.
  • FIG. 26 is a conceptual diagram for explaining an example in which the estimation device 37 uses the estimation model 370 to estimate emotions.
  • the estimation model 370 outputs the result of estimation of one of emotions, anger, romance, and pleasure, according to the input of the subject's pulse signal.
  • information about emotion estimation results output from the estimation model 370 is displayed on a screen of a terminal device or the like (not shown).
  • FIG. 27 is an example of displaying information about the subject's emotion estimated by the estimation device 37 on the screen of the terminal device 300 according to the pulse signal output from the optical sensor 30 .
  • recommendation information corresponding to the subject's emotional state is also displayed on the screen of the terminal device 300 .
  • the subject's emotional state is "anger".
  • emoticons or icons that indicate the subject's emotional state may be displayed on the screen of the terminal device 300 .
  • Subjects who visually recognize the emotional state displayed on the screen can confirm their own emotional state.
  • the subject who visually recognizes the recommended information displayed on the screen can bring his or her emotional state closer to a normal state by paying attention to the recommended information.
  • the recommended information displayed on the screen does not necessarily bring about expected changes in the subject's emotional state.
  • the estimated emotional state of the subject may be transmitted to a terminal device (not shown) owned by the subject's family or acquaintances.
  • a terminal device not shown
  • the subject's emotional state can be brought closer to a normal state according to the actions of others who have a close relationship with the subject, rather than the inorganic information displayed on the screen.
  • a flower image is also displayed on the screen of the terminal device 300 in order to ease the subject's emotional state toward a normal state.
  • the image displayed on the screen may be any image that has the potential to ease the subject's emotional state. What is displayed on the screen of the terminal device 300 may be not only an image but also a video. Also, music that eases the subject's emotional state may be played from the speaker (not shown) of the terminal device 300 .
  • the subject's emotional state is "sad”
  • the subject may be provided with content such as images, videos, or music that comforts the subject.
  • the subject's emotional state is "happiness" or "comfort,” the subject may be provided with content that sustains those emotional states.
  • the content provided to the subject is preferably set for each emotion of the subject. For example, a function may be added to input whether the provided information matches the subject's emotions. If it is configured to learn the user's reaction to information provided according to the estimated emotion and feed it back for subsequent emotion estimation, the subject's emotion can be estimated more accurately.
  • the optical sensor 30 may be attached to the driver of the car to provide recommendation information according to the driver's emotional state.
  • a safe driving environment can be provided by recommending the driver to take a break or notifying the estimated arrival time to the next parking area according to the estimation result of the driver's emotional state.
  • music or a message may be played to soothe or comfort the driver.
  • music or a message may be played to encourage the driver to feel somewhat tense.
  • music or a message that facilitates the maintenance of that emotional state may be played.
  • it may be configured to provide recommendation information according to the driver's emotional state and driving time. For example, if the driving time becomes long and the driver shows a tendency to get angry, the system provides recommendation information such as "Let's go to the next parking area, get up and exercise.” good too. For example, if the driving time is long and the driver shows a tendency of "sorrow", recommendation information such as "Let's go to the next parking area and take a nap" may be provided to the driver. .
  • the degree of distraction of the driver may be estimated based on the driver's emotional state. Distraction levels tend to be high in extreme emotional states. Therefore, for example, when the arousal level or emotional valence is extremely large or extremely small, it is estimated that the degree of distraction is high.
  • a threshold for the degree of distraction may be set for the degree of arousal and emotional valence, and the driver's degree of distraction may be estimated according to the relationship with the threshold. For example, when the degree of distraction exceeds a threshold, a notification sound may be emitted to call attention.
  • a user who leads a daily life may wear the optical sensor 30 to provide recommendation information according to the subject's emotional state. For example, if the emotional state of the user is "angry” or “sad”, recommendation information recommending exercise such as walking or running may be provided in order to distract the user. For example, if the emotional state of the user is “angry” or “sad”, music or information that easily shifts the user's emotional state to "comfort” or “joy” may be provided. For example, if the emotional state of the user is “easy” or “happiness,” music or information that enhances that emotional state may be provided. For example, if the emotional state of the user is “comfortable” or “joyful,” the provision of disturbing information may be avoided so that the environment at that point in time is maintained.
  • the biological information estimation system of this embodiment includes an optical sensor, a measuring device, and an estimating device.
  • the photosensor is the photosensor of the first or second embodiment.
  • the measuring device is the measuring device of the first or second embodiment.
  • the estimating device acquires biological data of the subject measured by the measuring device.
  • the estimating device estimates biometric information of the subject based on the acquired biometric data.
  • biometric information of a subject can be estimated using biometric data measured by a measuring device.
  • the measuring device measures the pulse signal of the subject as biological data.
  • the estimation device uses the pulse signal of the subject to estimate the pulse rate of the subject.
  • the estimation device outputs information according to the estimated pulse rate.
  • the pulse rate estimated using the biological data measured by the measuring device is displayed on the screen, so that the person viewing the screen can confirm the pulse rate of the subject. can.
  • the estimation device uses the subject's pulse signal to estimate the subject's emotional state.
  • the estimation device outputs information according to the estimated emotional state. According to this aspect, for example, by displaying the emotional state estimated using the biometric data measured by the measuring device on the screen, the person viewing the screen can confirm the emotional state of the subject. can.
  • FIG. 28 is a block diagram showing an example of the configuration of the measuring device 46 according to this embodiment.
  • the measurement device 46 includes a measurement instruction output unit 461 , a reception signal acquisition unit 462 , a biological data generation unit 463 , a calculation unit 464 and a measurement region setting unit 465 .
  • the measurement instruction output unit 461 outputs a first measurement instruction to an optical sensor including a light receiving element array in which a plurality of light receiving elements are arranged two-dimensionally to perform a first measurement corresponding to a preliminary measurement, and to perform a main measurement.
  • a measurement instruction including a second measurement instruction for instructing a corresponding second measurement is output.
  • the received signal acquisition unit 462 acquires a received signal from at least one of the plurality of light receiving elements in response to the measurement instruction.
  • the biometric data generation unit 463 generates biometric data for each light receiving element using the acquired received signal.
  • the calculation unit 464 calculates the deviation of the biometric data for each light receiving element using the reception signal acquired in response to the first measurement instruction.
  • the measurement region setting unit 465 sets a measurement region including the light receiving element used for the second measurement according to the second measurement instruction, according to the deviation of the biological data for each light receiving element.
  • a measurement region including the photodetectors used for the second measurement corresponding to the main measurement is set according to the deviation of the biometric data for each photodetector. According to this embodiment, in the second measurement corresponding to the main measurement, it is possible to reduce the load of measurement by the optical sensor and communication. Therefore, according to the present embodiment, constant measurement of biometric data using the optical sensor can be realized.
  • the information processing device 90 includes a processor 91, a main storage device 92, an auxiliary storage device 93, an input/output interface 95, and a communication interface 96.
  • the interface is abbreviated as I/F (Interface).
  • Processor 91 , main storage device 92 , auxiliary storage device 93 , input/output interface 95 , and communication interface 96 are connected to each other via bus 98 so as to enable data communication.
  • the processor 91 , the main storage device 92 , the auxiliary storage device 93 and the input/output interface 95 are connected to a network such as the Internet or an intranet via a communication interface 96 .
  • the processor 91 loads the program stored in the auxiliary storage device 93 or the like into the main storage device 92 .
  • the processor 91 executes programs developed in the main memory device 92 .
  • a configuration using a software program installed in the information processing device 90 may be used.
  • the processor 91 executes control and processing according to each embodiment.
  • the main storage device 92 has an area in which programs are expanded.
  • a program stored in the auxiliary storage device 93 or the like is developed in the main storage device 92 by the processor 91 .
  • the main memory device 92 is realized by a volatile memory such as a DRAM (Dynamic Random Access Memory). Further, as the main storage device 92, a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured/added.
  • the auxiliary storage device 93 stores various data such as programs.
  • the auxiliary storage device 93 is implemented by a local disk such as a hard disk or flash memory. It should be noted that it is possible to store various data in the main storage device 92 and omit the auxiliary storage device 93 .
  • the input/output interface 95 is an interface for connecting the information processing device 90 and peripheral devices based on standards and specifications.
  • a communication interface 96 is an interface for connecting to an external system or device through a network such as the Internet or an intranet based on standards and specifications.
  • the input/output interface 95 and the communication interface 96 may be shared as an interface for connecting with external devices.
  • Input devices such as a keyboard, mouse, and touch panel may be connected to the information processing device 90 as necessary. These input devices are used to enter information and settings.
  • a touch panel is used as an input device, the display screen of the display device may also serve as an interface of the input device. Data communication between the processor 91 and the input device may be mediated by the input/output interface 95 .
  • the information processing device 90 may be equipped with a display device for displaying information.
  • the information processing device 90 is preferably provided with a display control device (not shown) for controlling the display of the display device.
  • the display device may be connected to the information processing device 90 via the input/output interface 95 .
  • the information processing device 90 may be equipped with a drive device. Between the processor 91 and a recording medium (program recording medium), the drive device mediates reading of data and programs from the recording medium, writing of processing results of the information processing device 90 to the recording medium, and the like.
  • the drive device may be connected to the information processing device 90 via the input/output interface 95 .
  • the above is an example of the hardware configuration for enabling control and processing according to each embodiment of the present invention.
  • the hardware configuration of FIG. 29 is an example of a hardware configuration for executing control and processing according to each embodiment, and does not limit the scope of the present invention.
  • the scope of the present invention also includes a program that causes a computer to execute control and processing according to each embodiment.
  • the scope of the present invention also includes a program recording medium on which the program according to each embodiment is recorded.
  • the recording medium can be implemented as an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the recording medium may be implemented by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card.
  • the recording medium may be realized by a magnetic recording medium such as a flexible disk, or other recording medium.
  • each embodiment may be combined arbitrarily. Also, the components of each embodiment may be realized by software or by circuits.
  • a first measurement instruction that instructs a first measurement corresponding to a preliminary measurement and a second measurement that corresponds to a main measurement to an optical sensor including a light receiving element array in which a plurality of light receiving elements are arranged two-dimensionally.
  • a measurement instruction output unit that outputs a measurement instruction including a second measurement instruction to a received signal acquisition unit that acquires a received signal from at least one of the plurality of light receiving elements in response to the measurement instruction; a biological data generation unit that generates biological data for each of the light receiving elements using the acquired received signal; a calculation unit that calculates the deviation of the biological data for each of the light receiving elements using the received signal acquired in response to the first measurement instruction; a measurement area setting unit that sets a measurement area including the light receiving element used for the second measurement according to the second measurement instruction, according to the deviation of the biological data for each of the light receiving elements.
  • (Appendix 2) The measurement instruction output unit the first measurement instruction for instructing measurement using all of the plurality of light receiving elements constituting the light receiving element array; The measuring device according to appendix 1, wherein the second measurement instruction for instructing measurement using the light receiving element is output to the optical sensor.
  • (Appendix 3) The calculation unit calculating a difference between a representative value of the biological data for each of the light receiving elements and a representative value of all the biological data of the plurality of light receiving elements as the deviation of the biological data for each of the light receiving elements;
  • the measurement area setting unit setting a candidate measurement region according to the deviation of the biometric data for each of the light receiving elements; 3.
  • the measuring device according to appendix 1 or 2 wherein the measurement area is set within the range of the measurement candidate area.
  • the measurement area setting unit 3 The measurement apparatus according to appendix 3, wherein an area composed of the light receiving elements in which the deviation of the biometric data for each of the light receiving elements exceeds a predetermined threshold is set as the measurement candidate area.
  • the calculation unit calculating the standard deviation of the deviation of the biometric data for all of the plurality of light receiving elements;
  • the measurement area setting unit setting, as the measurement candidate region, a region composed of the light-receiving elements having the deviation greater than or equal to a predetermined time with respect to the standard deviation; 5.
  • the measuring device according to appendix 4 wherein the measurement area is set within the range of the measurement candidate area.
  • the calculation unit A difference between a representative value of the biometric data for each of a plurality of calculation regions including a plurality of the light receiving elements and an average value of the representative values of the biometric data for all of the plurality of calculation regions is calculated as the biometric data for each of the calculation regions. Calculated as the area deviation of the data, The measurement area setting unit 6. The measurement device according to any one of appendices 3 to 5, wherein the measurement candidate area is set according to the area deviation of the biometric data for each calculation area.
  • the measurement instruction output unit Any one of appendices 1 to 6, wherein the first measurement instruction is output to the optical sensor at a timing when a predetermined period has passed since the main measurement in response to the second measurement instruction is started, and the measurement area is updated. 1.
  • the measuring device according to one.
  • the measurement instruction output unit Supplementary notes 1 to 7, wherein when the measured value of the biological data falls below a reference value in the main measurement in response to the second measurement instruction, the first measurement instruction is output to the optical sensor to update the measurement area.
  • a measuring device according to any one of the above.
  • the measurement instruction output unit is Supplementary note 7 or 8, wherein when updating the measurement area, the first measurement instruction including an instruction to perform the preliminary measurement by narrowing down to the peripheral area of the measurement area and the measurement area is output to the optical sensor.
  • measuring device (Appendix 10) The measurement area setting unit when the measured value of the biological data is interrupted in the main measurement in response to the second measurement instruction, resetting a region with a high deviation rank as the measurement region;
  • the measurement instruction output unit is 10.
  • the measuring device according to any one of appendices 1 to 9, wherein the second measurement instruction including an instruction to continue measurement in the reset measurement area is output to the optical sensor. (Appendix 11) 11.
  • the measuring device according to any one of appendices 1 to 10, comprising a biological data output unit that outputs the biological data measured in the main measurement in response to the second measurement instruction.
  • Appendix 12 The biometric data output unit 12.
  • the measuring device which outputs a heat map in which the measurement area is highlighted in association with the light receiving surface of the light receiving element array.
  • Appendix 13 the measuring device according to any one of Appendices 1 to 12; a plurality of light emitters arranged on a measurement surface of a substrate attached to the skin of a subject whose biological data is to be measured and emitting optical signals toward the skin of the subject; a light receiving element array arranged on the measurement surface of the substrate and having a plurality of light receiving elements arranged two-dimensionally for receiving reflected light of the optical signals emitted from the plurality of light emitters; The plurality of light emitters are caused to emit the optical signals in response to a measurement instruction from the measurement device, and the optical signal is received by the plurality of light receiving elements constituting the light receiving element array, and the receiving a received signal for each light-receiving element, outputting the received signal for each light-receiving element to the measuring device, and performing a main measurement in response to a second measurement instruction from the measuring device, by the measuring device and a controller that outputs the signal received by the light-receiving element within the range of the set measurement area
  • Appendix 14 the measuring device according to any one of Appendices 1 to 12; a plurality of light emitters arranged on a measurement surface of a substrate attached to the skin of a subject whose biological data is to be measured and emitting optical signals toward the skin of the subject; a light-receiving element array in which a plurality of light-receiving elements for receiving the reflected light of the optical signal emitted from the light-emitting device are arranged two-dimensionally; to emit the optical signal, receive a received signal corresponding to the reflected light of the optical signal received by the plurality of the light receiving elements constituting the light receiving element array, and receive the received signal for each of the received light receiving elements to the measuring device, and in the period of the main measurement according to the second measurement instruction from the measuring device, the received signal by the light receiving element within the range of the measurement area set by the measuring device and an optical sensor that outputs to the measuring device.
  • (Appendix 15) the measuring device according to any one of Appendices 1 to 12; and an estimating device that acquires biological data of a subject measured by the measuring device and estimates biological information of the subject based on the acquired biological data.
  • the measuring device is measuring a pulse signal of the subject as the biological data;
  • the estimation device is estimating the pulse rate of the subject using the pulse signal of the subject; 16.
  • (Appendix 17) The estimation device is estimating an emotional state of the subject using the pulse signal of the subject; 17.
  • the biological information estimation system according to appendix 16 which outputs information corresponding to the estimated emotional state.
  • Appendix 18 the computer A first measurement instruction that instructs a first measurement corresponding to a preliminary measurement and a second measurement that corresponds to a main measurement to an optical sensor including a light receiving element array in which a plurality of light receiving elements are arranged two-dimensionally.
  • a measurement instruction including a second measurement instruction to Acquiring a received signal from at least one of the plurality of light receiving elements in accordance with the measurement instruction; generating biometric data for each of the light receiving elements using the acquired received signal; calculating the deviation of the biological data for each light receiving element using the received signal acquired in response to the first measurement instruction; A measurement method for setting a measurement region including the light receiving element used for the second measurement in response to the second measurement instruction, according to the deviation of the biological data for each light receiving element.
  • a first measurement instruction that instructs a first measurement corresponding to a preliminary measurement and a second measurement that corresponds to a main measurement to an optical sensor including a light receiving element array in which a plurality of light receiving elements are arranged two-dimensionally.
  • biological data measurement system 3 biological information estimation system 10, 20, 30 optical sensor 11, 21 light emitter 12, 22 light receiving element array 13, 23 controller 16, 36, 46 measuring device 37 estimating device 100, 300 terminal device 110 substrate 111 adhesive layer 131, 231 measurement instruction acquisition unit 132, 232 light emission control unit 133, 233 storage unit 134, 234 signal acquisition unit 135, 235 signal output unit 161, 461 measurement instruction output unit 162, 462 received signal acquisition unit 163, 463 Biometric data generation unit 164, 464 Calculation unit 165, 465 Measurement region setting unit 166 Biodata output unit 236 Measurement unit 340 Learning device 370 Estimation model

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Cardiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する計測指示出力部と、計測指示に応じて複数の受光素子のうち少なくともいずれかの受信信号を取得する受信信号取得部と、取得された受信信号を用いて、受光素子ごとの生体データを生成する生体データ生成部と、第1計測指示に応じて取得された受信信号を用いて生成された生体データを用いて、受光素子ごとの生体データの偏差を計算する計算部と、受光素子ごとの生体データの偏差に応じて、第2計測指示に応じた第2計測に用いられる受光素子を含む計測領域を設定する計測領域設定部と、を備える計測装置。

Description

計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体
 本開示は、光センサを用いて生体データを計測する計測装置等に関する。
 光センサを用いて、動脈の拍動波形(脈波形)等の生体データを測定する測定装置が開発されている。脈拍等の生体データには、自律神経の活動が反映される。そのため、生体データを用いて、被験者の感情を推定する技術が開発されている。感情推定を行う場合、生体データを常時計測することが好ましい。
 非特許文献1には、高解像度のアレイ状センサがフレキシブル基板上に実装された、フレキシブルイメージングデバイスが開示されている。非特許文献1のデバイスは、多結晶シリコン薄膜トランジスタ読み出し回路と、近赤外領域で高感度の有機フォトダイオードとが組み合わされた構造を有する。非特許文献1のデバイスは、被験体の皮膚に貼付されることにより、その被験体の脈拍や静脈像等の生体情報を、高解像度に取得できる。
 特許文献1には、脈波形を測定する測定装置について開示されている。特許文献1の装置は、光源、検出部、および解析部を備える。光源は、生体の少なくとも一部からなる測定領域に対して、所定の波長帯域に属する少なくとも1種類の測定光を射出する。検出部には、複数のセンサが所定の配置で規則的に配設される。検出部は、光源から射出され、生体を透過した測定光を当該複数のセンサで検出する。解析部は、検出部により検出された検出結果を用いて、検出された測定光の光量の時間変化に基づいて、生体の活動に伴う脈動に関する情報を測定するための測定位置を、測定領域の中から特定する解析処理を行う。
 特許文献2には、脈拍を検出する脈拍検出装置について開示されている。特許文献2の装置は、発光素子および受光素子を含み、該発光素子からの投射光の被験体による反射光もしくは透過光を受光素子により受光し、その光量の変化により脈拍を検知するセンサを複数個有する脈拍検知器を備える。特許文献2の装置は、脈拍検知器が有する各々のセンサの受光素子が受光する脈拍時における受光量変化の振幅を検出する。特許文献2の装置は、複数個のセンサによる受光量変化の振幅の大きさを比較し、一番振幅が大きいセンサを特定する。特許文献2の装置は、一番振幅が大きいセンサの出力信号を演算することにより、脈拍数を求める。
特開2013-121420号公報 特開平7-299043号公報
T. Yokota, et al., "A conformable imager for biometric authentication and vital sign measurement", Nature Electronics, volume 3, p.p.113-121(2020).
 非特許文献1のように、二次元型光センサを用いれば、一回の計測タイミングにおいて、広範囲の生体データを計測できる。二次元型光センサを構成する受光素子アレイの素子数が多いほど、脈波形を確実に測定できるが、消費電力や通信速度等の都合により、常時計測を実現することは難しい。その一方で、受光素子アレイの素子数が少ないと、体動による計測箇所のずれ等の要因で、測定不能になることがあり、常時計測を実現することは難しい。
 特許文献1の手法によれば、測定光の光量の時間変化に基づいて、測定領域の中から測定位置を特定することによって、脈波形を精度よく測定できる。特許文献1には、微小領域でのデータの時間変化に着目し、着目する微小領域での脈波形データを算出することが開示されている。また、特許文献1には、事前に予め測定された脈波形を用いて、この予め測定された脈波形と、それぞれの微小領域での脈波形データとの類似度を算出することが開示されている。ドリフトやノイズ等の要因があるため、実際に計測される脈波形データの時系列データの類似度を算出することは、容易ではない。そのため、特許文献1の手法では、測定領域の中から測定位置を適切な特定できず、生体データを常時計測することは難しい。
 特許文献2の手法では、受光量変化の振幅が最大のセンサを選定し、選定されたセンサの出力信号を用いて脈拍数を求める。そのため、特許文献2の手法は、ドリフトやノイズ等の要因を受けにくい。特許文献2の手法では、受光素子の数が数個程度の場合には、受光量変化の振幅が最大のセンサを特定できる。しかしながら、特許文献2の手法では、受光素子の数が1万画素程度に及ぶと、受光量変化の振幅が最大のセンサを特定することが難しくなるため、生体データを常時計測することは難しい。
 本開示の目的は、光センサを用いた生体データの常時計測を実現できる計測装置等を提供することにある。
 本開示の一態様の計測装置は、複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する計測指示出力部と、計測指示に応じて複数の受光素子のうち少なくともいずれかの受信信号を取得する受信信号取得部と、取得された受信信号を用いて、受光素子ごとの生体データを生成する生体データ生成部と、第1計測指示に応じて取得された受信信号を用いて生成された生体データを用いて、受光素子ごとの生体データの偏差を計算する計算部と、受光素子ごとの生体データの偏差に応じて、第2計測指示に応じた第2計測に用いられる受光素子を含む計測領域を設定する計測領域設定部と、を備える。
 本開示の一態様の計測方法においては、複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力し、計測指示に応じて複数の受光素子のうち少なくともいずれかの受信信号を取得し、取得された受信信号を用いて、受光素子ごとの生体データを生成し、第1計測指示に応じて取得された受信信号を用いて生成された生体データを用いて、受光素子ごとの生体データの偏差を計算し、受光素子ごとの生体データの偏差に応じて、第2計測指示に応じた第2計測に用いられる受光素子を含む計測領域を設定する。
 本開示の一態様のプログラムは、複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する処理と、計測指示に応じて複数の受光素子のうち少なくともいずれかの受信信号を取得する処理と、取得された受信信号を用いて、受光素子ごとの生体データを生成する処理と、第1計測指示に応じて取得された受信信号を用いて生成された生体データを用いて、受光素子ごとの生体データの偏差を計算する処理と、受光素子ごとの生体データの偏差に応じて、第2計測指示に応じた第2計測に用いられる受光素子を含む計測領域を設定する処理とをコンピュータに実行させる。
 本開示によれば、光センサを用いた生体データの常時計測を実現できる計測装置等を提供することが可能になる。
第1の実施形態に係る生体データ計測システムの構成の一例を示すブロック図である。 第1の実施形態に係る生体データ計測システムが備える光センサの計測面の一例を示す概念図である。 第1の実施形態に係る生体データ計測システムが備える光センサの構成の一例を示す断面図である。 第1の実施形態に係る生体データ計測システムが備える光センサによる光信号の出射と受光の位置例について説明するための概念図である。 第1の実施形態に係る生体データ計測システムが備える光センサの受光素子アレイによって受光される反射光の一例について説明するためのグラフである。 第1の実施形態に係る生体データ計測システムが備える光センサの構成の一例を示すブロック図である。 第1の実施形態に係る生体データ計測システムが備える計測装置の構成の一例を示すブロック図である。 第1の実施形態に係る生体データ計測システムが備える光センサの受光素子アレイを構成する受光素子ごとに計測される生体データの時系列データの一例である。 第1の実施形態に係る生体データ計測システムが備える計測装置による計測チャネル設定処理について説明するための概念図である。 第1の実施形態に係る生体データ計測システムが備える計測装置による計測チャネル設定処理について説明するための概念図である。 第1の実施形態に係る生体データ計測システムの計測装置によって算出された偏差が、複数の受光素子に関するチャネル偏差の標準偏差と比べて大きな受光素子の位置を、受光素子アレイの受光面に対応付けてマッピングしたヒートマップである。 第1の実施形態に係る生体データ計測システムが備える計測装置によって選択された計測チャネルの一例について説明するための概念図である。 第1の実施形態に係る生体データ計測システムが備える計測装置によって計測された生体データ(脈拍数)を画面に表示させる一例を示す概念図である。 第1の実施形態に係る生体データ計測システムが備える計測装置によって計測された生体データの時系列データを画面に表示させる一例を示す概念図である。 第1の実施形態に係る生体データ計測システムが備える計測装置の動作の一例について説明するためのフローチャートである。 第1の実施形態に係る生体データ計測システムが備える計測装置による計測チャネル設定処理の一例について説明するためのフローチャートである。 第1の実施形態に係る生体データ計測システムが備える計測装置による計測チャネル設定処理の別の一例について説明するためのフローチャートである。 第1の実施形態に係る生体データ計測システムが備える光センサの動作の一例について説明するためのフローチャートである。 第1の実施形態に係る生体データ計測システムが備える光センサによる第1計測処理の一例について説明するためのフローチャートである。 第1の実施形態に係る生体データ計測システムが備える光センサによる第2計測処理の一例について説明するためのフローチャートである。 第2の実施形態に係る光センサの構成の一例を示すブロック図である。 第2の実施形態に係る光センサの動作の一例について説明するためのフローチャートである。 第3の実施形態に係る生体情報推定システムの構成の一例を示すブロック図である。 第3の実施形態に係る生体情報推定システムの推定装置が脈拍信号に基づいて推定する感情について説明するための概念図である。 第3の実施形態に係る生体情報推定システムの推定装置による感情の推定に用いられる推定モデルを生成するための学習の一例について説明するための概念図である。 第3の実施形態に係る生体情報推定システムの推定装置による感情の推定の一例について説明するための概念図である。 第3の実施形態に係る生体情報推定システムの推定装置が推定した被験者の感情に関する情報を、端末装置の画面に表示させる一例を示す概念図である。 第4の実施形態に係る計測装置の構成の一例を示すブロック図である。 各実施形態の制御や処理を実現するハードウェア構成の一例を示すブロック図である。
 以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
 (第1の実施形態)
 まず、第1の実施形態に係る生体データ計測システムについて図面を参照しながら説明する。本実施形態の生体データ計測システムは、被験者の皮膚に貼付された光センサによって検出される受光信号に応じて、動脈の拍動(脈拍)を計測する。以下においては、生体データとして脈拍を計測する例について説明する。本実施形態の手法は、光センサを用いた計測であれば、脈拍以外の生体データの計測にも適用できる。
 (構成)
 図1は、本実施形態に係る生体データ計測システム1の構成の一例を示すブロック図である。生体データ計測システム1は、光センサ10と計測装置16を備える。光センサ10は、被験者の人体に貼付される。計測装置16は、被験者の携帯する携帯端末(図示しない)に実装される。計測装置16は、被験者の携帯する携帯端末を介して接続可能なクラウドやサーバに構築されてもよい。
 光センサ10は、複数の受光素子がアレイ状に配列された受光素子アレイを含む。光センサ10は、被験者の皮膚上から光を照射し、その光の反射光を受光する。計測装置16は、被験者の皮膚に貼付された光センサ10によって計測さえる受光信号に応じて、動脈の拍動(脈拍)を計測する。計測装置16は、受光した反射光の強度変化に応じて、その被験者の脈拍を計測する。以下において、光センサ10と計測装置16について個別に説明する。
 〔光センサ〕
 図2~図3は、光センサ10の構成の一例を示す概念図である。図2は、光センサ10を計測面側から見た図である。図3は、図2のA-A切断線で光センサ10を切断した断面図である。光センサ10は、複数の発光器11、受光素子アレイ12、および制御部13を有する。
 複数の発光器11、受光素子アレイ12、および制御部13は、基板110の面上に配置される。複数の発光器11と受光素子アレイ12は、基板110の第1面(計測面とも呼ぶ)に形成される。複数の発光器11と受光素子アレイ12の周囲には、被験者の皮膚に光センサ10を貼付するための粘着層111が設置される。光センサ10は、被験者の皮膚に貼付された状態で、基板110の計測面の側に外部からの光が進入しないように、皮膚に貼付される。図3には、計測面の対向面に制御部13が配置される例を示す。制御部13が配置される位置は、計測面の対向面に限定されない。例えば、制御部13は、基板110の内部や、複数の発光器11および受光素子アレイ12から離れた位置に配置されてもよい。
 発光器11は、脈拍の計測に用いられる光を出射する出射面を有する。脈拍計測時において発光器11が出射する光を、光信号とも呼ぶ。複数の発光器11は、それらの出射面を同じ向きに向けて配列される。複数の発光器11の出射面と、受光素子アレイ12の受光面とは、同じ向きに向けて配置される。発光器11の出射面は、光センサ10が被験者の皮膚に貼付された状態で、その被験者の皮膚に向けられる。
 図2には、受光素子アレイ12の4辺に沿って、12個の発光器11が配置される例を示す。発光器11の数は、12個に限定されない。また、発光器11が配置される位置は、受光素子アレイ12の4辺に沿って配置されなくてもよい。発光器11から出射された光信号が受光素子アレイ12によって受光可能であれば、発光器11の配置される位置には限定を加えない。
 発光器11は、制御部13の制御に応じて、脈拍を計測可能な波長帯の光信号を出射する。例えば、発光器11は、LED(Light Emitting Diode)によって実現される。例えば、発光器11は、緑色の波長帯の光信号を出射する。脈拍の計測であれば、緑色の波長帯の光信号が好適である。例えば、発光器11は、近赤外線の波長帯の光信号を出射する。静脈全体を計測する場合は、例えば1.1マイクロメートル程度の近赤外線が好適である。例えば、複数の発光器11が赤色の波長帯と赤外の波長帯を出射できれば、それらの吸光度の違いに応じて、動脈血中酸素飽和度を計測できる。発光器11が出射する光信号の波長帯は、生体データを計測可能な波長帯であれば、特に限定されない。複数の発光器11の光出力は、同一であってもよいし、異なっていてもよい。複数の発光器11の光出力は、一定であってもよいし、調整可能であってもよい。複数の発光器11の光出力が調整可能であれば、発光器11ごとに光出力を調整できる。
 受光素子アレイ12は、発光器11から出射された光信号の反射光を受光する受光面を有する。反射光は、発光器11から出射された光信号のうち、被験者の皮膚下(体内)で反射/散乱されて、受光素子アレイ12の受光面に到達した光成分である。受光素子アレイ12の受光面には、複数の受光素子が二次元アレイ状に配列される。例えば、受光素子アレイ12の受光面には、一万個程度の受光素子が二次元アレイ状に配列される。二次元アレイ状に配列された複数の受光素子の各々によって受光された反射光の光強度は、それらの受光素子の位置(アドレス)に対応付けられて、計測される。
 例えば、受光素子アレイ12は、非特許文献1に開示されたシート型イメージセンサによって実現できる(非特許文献1:T. Yokota, et al., “A conformable imager for biometric authentication and vital sign measurement”, Nature Electronics, volume 3, p.p.113-121(2020))。非特許文献1のシート型イメージセンサは、有機フォトダイオード、薄膜トランジスタ、CMOS(Complementary Metal-Oxide Semiconductor)、および光検出器を組み合わせた構成を有する。本実施形態においては、発光器11と受光素子アレイ12を別々の構成としているが、非特許文献1のシート型イメージセンサのように、発光器11と受光素子アレイ12が一体化されてもよい。
 図4は、発光器11から出射された光信号が、被験者の皮膚下(体内)で反射/散乱される様子を示す概念図である。複数の発光器11の各々から出射された光信号の反射光は、異なる経路を経て、受光素子アレイ12によって受光される。複数の発光器11から出射された光信号は、皮膚や血管、筋肉、脂肪、骨などの身体構成組織による光の吸収特性や散乱特性に応じて、光強度が変化する。そのため、受光素子によって受光される反射光の光強度は、光信号/反射光の経路の長さや、皮膚下の環境、被験者の体動に応じて、変動する。本実施形態では、被験者の皮膚上から体内に向けて、発光器11から光信号を出射し、その光信号の反射光に応じて、その被験者の脈拍を計測する。例えば、本実施形態では、脈動による体内の血液容積の変動を、吸光度の変化(光強度変化とも呼ぶ)として計測する。
 図5は、受光素子アレイ12によって受光される反射光の一例について説明するためのグラフである。反射光には、変動成分と不動成分とが含まれる。変動成分は、AC(Alternating Current)成分とも呼ばれる。AC成分は、脈動によって変動する。不動成分は、DC(Direct Current)成分とも呼ばれる。DC成分は、脈動によってほとんど変動しない。脈拍は、AC成分の変動に応じた反射光の光強度変化に基づいて、計測される。本実施形態では、AC成分の変動を脈動として計測する。
 制御部13は、複数の発光器11を制御する。例えば、制御部13は、マイクロコンピュータ(マイコンとも呼ぶ)やマイクロコントローラによって実現される。例えば、制御部13は、CPU(Central Processing Unit)やRAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等を有する。制御部13は、予め記憶されたプログラムに応じた制御や処理を実行する。制御部13は、予め設定されたスケジュールや、外部からの指示等に応じて、プログラムに応じた制御や処理を実行する。
 図6は、光センサ10の機能構成の一例を示すブロック図である。制御部13は、計測指示取得部131、発光制御部132、記憶部133、信号取得部134、および信号出力部135を有する。
 計測指示取得部131は、計測装置16から計測指示を取得する。計測指示取得部131は、予備計測を行う指示(第1計測指示とも呼ぶ)を、計測装置16から取得する。第1計測指示は、受光素子アレイ12の全ての受光素子で、一定期間の予備計測を行う指示である。計測指示取得部131は、取得した第1計測指示を、発光制御部132および信号取得部134に出力する。また、計測指示取得部131は、後述する計測チャネルにおける計測を行う指示(第2計測指示とも呼ぶ)を、計測装置16から取得する。第2計測指示は、受光素子アレイ12の受光素子のうち、選択された計測チャネルにおいて、継続的な本計測を行う指示である。選択された計測チャネルは、計測領域を形成する。計測指示取得部131は、取得した第2計測指示を発光制御部132および信号取得部134に出力する。
 発光制御部132は、計測装置16による計測指示を、計測指示取得部131から取得する。発光制御部132は、予備計測を行う第1計測指示を、計測指示取得部131から取得する。発光制御部132は、第1計測指示に応じて、複数の発光器11を発光させる制御を行う。発光制御部132は、記憶部133に記憶された、第1計測指示に応じた制御方式で、複数の発光器11を制御する。また、発光制御部132は、継続的な計測(本計測)を行う第2計測指示を、計測指示取得部131から取得する。発光制御部132は、第2計測指示に応じて、複数の発光器11を発光させる制御を行う。発光制御部132は、記憶部133に記憶された、第2計測指示に応じた制御方式で、複数の発光器11を制御する。例えば、発光制御部132は、第1計測指示および第2計測指示に応じて、複数の発光器11の全てを、同様に制御する。例えば、発光制御部132は、第1計測指示および第2計測指示に応じて、複数の発光器11の各々を、異なるパターンで制御してもよい。発光制御部132による複数の発光器11の制御方式には、特に限定を加えない。
 記憶部133は、複数の発光器11を発光させる制御方式が記憶される。記憶部133に記憶された制御方式は、発光制御部132によって参照される。記憶部133に記憶された制御方式には、特に限定を加えない。
 信号取得部134は、計測装置16による計測指示を、計測指示取得部131から取得する。信号取得部134は、予備計測を行う第1計測指示を、計測指示取得部131から取得する。信号取得部134は、第1計測指示に応じて、受光素子アレイ12を構成する全ての受光素子によって受光された反射光に応じた受光信号を取得する。信号取得部134は、全ての受光素子の受光信号を、信号出力部135に出力する。また、信号取得部134は、継続的な計測(本計測)を行う第2計測指示を、計測指示取得部131から取得する。信号取得部134は、第2計測指示に応じて、計測装置16によって選択された計測チャネルに設定された受光素子によって受光された反射光に応じた受光信号を取得する。信号取得部134は、計測チャネルに設定された受光素子の受光信号を、信号出力部135に出力する。
 信号出力部135は、信号取得部134から受信信号を取得する。信号出力部135は、取得した受信信号を計測装置16に出力する。例えば、信号出力部135は、受光素子アレイ12から取得した受信信号を、フラッシュメモリ等の記憶装置に記憶させておき、所定期間における受信信号を一括で計測装置16に送信してもよい。
 基板110は、折り曲げ可能な基板である。基板110は、折り曲げ可能な板状の形状を有する。例えば、基板110は、ポリイミド製の基層の表面に、銅箔などの導電層が形成され、プラスチックフィルムの被覆層で導電層がラミネートされた構造を有する。例えば、基板110の基層や被覆層は、ウレタン不織布や塩化ビニル、伸縮性綿布、スポンジシート、ウレタンフィルム、オレフィンフィルムを主成分としてもよい。基板110に実装される発光器11や受光素子アレイ12、制御部13は、基板110の変形に応じて、変形するように構成されてもよいし、変形できないように構成されてもよい。
 基板110の計測面(第1面とも呼ぶ)には、複数の発光器11と受光素子アレイ12が配置される。基板110の計測面における周辺部分には、粘着層111が形成される。粘着層111が形成される部分は、その他の部分とは異なる材質や構造であってもよい。例えば、粘着層111が形成される部分をメッシュ状の構造にすれば、粘着層111の部分が蒸れにくくなり、汗などに起因する粘着層111の粘着力の低下を抑制できる。基板110の計測面に対向する第2面には、制御部13が配置される。制御部13は、基板110の内部に配置されてもよい。例えば、防水性を向上させるために、基板110の内部に制御部13が配置されてもよい。例えば、防水性を向上させるために、防水性のフィルム等で制御部13が被覆されてもよい。例えば、光センサ10が被験者の体に貼付される際に、基板110は、貼付される部分の形状に応じて変形する。基板110の材料や構造、形状には、特に限定を加えない。
 粘着層111は、基板110の計測面における周辺部分に形成される。粘着層111は、光センサ10を被験者の体に貼付するための粘着剤を含む。例えば、粘着層111は、アクリル系粘着剤やゴム系粘着剤、シリコーン系粘着剤を含む。粘着層111は、外部からの光が発光器11や受光素子アレイ12に及ばないように、遮光性を有することが好ましい。粘着層111の材料には、特に限定を加えない。例えば、粘着層111には、皮膚に対する刺激が少ない材料方を用いる方がよい。例えば、粘着層111には、皮膚に対する不快感を軽減する物質が含有されていてもよい。例えば、粘着層111には、メントールなどが含有されてもよい。例えば、粘着層111には、汗等の水分の吸収による粘着力の低下を抑制する物質が、含有されていてもよい。例えば、粘着層111には、高分子吸収体などが含有されてもよい。本実施形態においては、粘着層111によって光センサ10を被験者の体に装着する例を示すが、光センサ10は、バンド(図示しない)などによって被験者の体に装着されてもよい。
 〔計測装置〕
 図5は、計測装置16の機能構成の一例を示すブロック図である。計測装置16は、計測指示出力部161、受信信号取得部162、生体データ生成部163、計算部164、計測領域設定部165、および生体データ出力部166を有する。
 計測指示出力部161は、計測装置16が起動すると、継続的な本計測に先立って、予備計測を行う第1計測指示を光センサ10に出力する。第1計測指示は、受光素子アレイ12の全ての受光素子で、一定期間の予備計測を行う指示である。また、計測指示出力部161は、計測領域設定部165によって選択された計測チャネルのアドレスを取得する。計測指示出力部161は、選択された計測チャネルにおける計測を行う第2計測指示を光センサ10に出力する。第2計測指示は、受光素子アレイ12の受光素子のうち、選択された計測チャネルにおいて、継続的な本計測を行う指示である。
 また、計測指示出力部161は、予め決められた更新タイミングにおいて、計測チャネルを更新するために、第1計測指示を光センサ10に出力する。例えば、計測指示出力部161は、計測中の計測チャネルを含む領域に関して、第1計測指示を行う指示を、光センサ10に出力してもよい。また、計測指示出力部161は、本計測を行っている最中に、生体データの値や変動に応じて、計測チャネルを更新してもよい。
 受信信号取得部162は、計測指示出力部161の計測指示に応じた受信信号を、光センサ10から取得する。第1計測指示に応じた受信信号は、光センサ10の受光素子アレイ12を構成する全ての受光素子からの信号である。第2計測指示に応じた受信信号は、光センサ10の受光素子アレイ12を構成する複数の受光素子のうち、計測チャネルに設定された受光素子からの信号である。受信信号取得部162は、取得した受信信号を生体データ生成部163に出力する。例えば、受信信号取得部162は、受光素子アレイ12から取得した受信信号をフラッシュメモリ(図示しない)に記憶させてもよい。
 生体データ生成部163は、計測指示出力部161の計測指示に応じた受信信号を、受信信号取得部162から取得する。生体データ生成部163は、取得した受信信号を用いて、生体データを生成する。例えば、生体データ生成部163は、取得した受信信号の時系列データを用いて、脈拍データを生成する。生体データ生成部163によって生成される生体データについては、特に限定を加えない。
 生体データ生成部163は、第1計測指示に応じた受信信号を用いて生成した生体データを、計算部164に出力する。一方、生体データ生成部163は、第2計測指示に応じた受信信号を用いて生成した生体データを、生体データ出力部166に出力する。例えば、予め決められた検証タイミングにおいて、生体データ生成部163は、第2計測指示に応じた受信信号を用いて生成した生体データを、計算部164に出力してもよい。検証タイミングにおいて計算部164に出力された生体データは、選択中の計測チャネルの検証に用いられる。例えば、生体データ生成部163は、生成した生体信号をフラッシュメモリ(図示しない)に記憶させてもよい。
 図8は、チャネルごとの計測値(振幅)に基づいて生成された生体データ(拍動)の時系列データの一例である。図8の生体データ(拍動)の時系列データには、数回の拍動が含まれる。例えば、各拍動の最大値と最小値の差分が、そのチャネルの代表値である。図8のように、チャネルごとの計測値に基づく生体データには、ドリフトやノイズが含まれる。そのため、チャネルごとの平均値では、受光素子アレイ12を構成する複数の受光素子(チャネル)の計測値を比較することは難しい。本実施形態では、チャネルごとの計測値の偏差を用いることで、受光素子アレイ12を構成する複数の受光素子(チャネル)の計測値を比較しやすくする。また、受光素子アレイ12の受光面の面内で漏れなく生体データを計測すると、全ての受光素子の計測値が必要になる。例えば、受光素子アレイ12の受光素子が120×160画素である場合、全ての受光素子の計測値を用いることは、通信速度等の制約で難しい。例えば、生体データを感情推定に用いる場合、100Hz(ヘルツ)程度の分解能が求められる、1万画素分の生体データをリアルタイムで収集することは難しい。本実施形態では、受光素子アレイ12を構成する受光素子のうち、生体データの計測に用いられる受光素子を選択するため、計算や通信の負荷を軽減できる。
 計算部164は、第1計測指示に応じて受信された受信信号に基づく生体データを用いて、本計測を行うチャネルを選択する。計算部164は、受光素子アレイ12を構成する複数の受光素子(チャネル)の全てについて、チャネルごとに、生体データの振幅の代表値を計算する。例えば、計算部164は、チャネルごとの代表値として、生体データの振幅の最大値を計算する。また、計算部164は、受光素子アレイ12を構成する複数の受光素子(チャネル)の代表値の平均値を計算する。計算部164は、受光素子(チャネル)ごとの代表値から、複数の受光素子(チャネル)の代表値の平均値を引いた偏差(チャネル偏差とも呼ぶ)を、チャネルごとに計算する。計算部164は、チャネルごとに算出したチャネル偏差を、計測領域設定部165に出力する。
 例えば、受光素子アレイ12の受光素子の数をmとすると、計算部164は、下記の式1を用いて、チャネルmのチャネル偏差Dmを計算できる(mは自然数)。
m=Mm-A・・・(1)
上記の式1において、Mmは、チャネルmにおける生体データ(振幅)の最大値である。Aは、複数の受光素子(チャネル)に関する生体データ(振幅)の最大値の平均値である。
 図9は、受光素子アレイ12を構成する受光素子(チャネルCh)ごとに、代表値から平均値を引いたチャネル偏差を計算する一例について説明するための概念図である。図9は、受光素子アレイ12の受光面に対応する画素イメージ121である。図9の例は、左上の受光素子(チャネル)によって受信された受信信号に基づく生体データに関して、チャネル偏差を計算する様子を示す。チャネル偏差は、受光素子アレイ12を構成する複数の受光素子(チャネル)に関して、一括して計算されてもよい。図9の例の場合、計算部164は、複数の受光素子(チャネル)の全てに関して、チャネル偏差を計算する。例えば、計算部164は、受光素子アレイ12を構成する全ての受光素子(チャネル)ではなく、範囲を絞って、チャネル偏差を計算してもよい。
 計算部164は、受光素子アレイ12を構成する複数の受光素子(チャネル)による計測値の偏差を、単一のチャネルごとではなく、複数のチャネルごとに計算してもよい。例えば、制御部13は、2×2の4個のチャネルからなる領域(計算領域とも呼ぶ)を設定し、その計算領域ごとに計測値の偏差を計算してもよい。例えば、制御部13は、計算領域に含まれる受光素子(チャネル)による計測値の代表値の平均値から、複数の受光素子(チャネル)の代表値の平均値を引いた値を、計算領域の偏差(領域偏差とも呼ぶ)として計算する。計算部164は、計算領域ごとに算出した領域偏差を、計測領域設定部165に出力する。
 計算領域の配列は、2×2のみならず、任意に設定できる。例えば、計算領域に含まれるチャネルの数や配列は、予め設定される。計算領域に含まれるチャネルの数や配列は、後述する計測候補領域に含まれるチャネルの選択状況に応じて、自動的に設定されてもよい。例えば、計算部164は、計測候補領域に含まれるチャネルの数に応じて、計算領域に含まれるチャネルの数や配列を変更する。
 図10は、2×2の4個の受光素子からなる計算領域Rcごとに、代表値から平均値を引いた領域偏差を計算する一例について説明するための概念図である。図10は、受光素子アレイ12の受光面に対応する画素イメージ122である。図10の例は、左上の計算領域Rcに含まれる複数の受光素子(チャネル)によって受信された受信信号に基づく生体データに関して、領域偏差を計算する様子を示す。領域偏差は、受光素子アレイ12を構成する複数の受光素子(チャネル)に設定された複数の計算領域Rcに関して、一括して計算されてもよい。図10の例の場合、計算部164は、複数の計算領域Rcの全てに関して、領域偏差を計算する。例えば、計算部164は、受光素子アレイ12を構成する複数の受光素子(チャネル)の全てに設定された複数の計算領域Rcではなく、範囲を絞って、領域偏差を計算してもよい。計算部164は、2×2の4個の受光素子のみならず、任意の数の受光素子に関して、計算領域Rcを設定してもよい。例えば、複数の受光素子(チャネル)は、複数の計算領域Rcによって共有されてもよい。
 また、計算部164は、複数の受光素子(チャネル)に関して算出されたチャネル偏差の標準偏差を計算する。計算部164は、算出された複数の受光素子(チャネル)に関するチャネル偏差の標準偏差を、計測領域設定部165に出力する。
 計測領域設定部165は、チャネルごとに算出されたチャネル偏差や、計算領域ごとに算出された領域偏差、複数の受光素子(チャネル)に関するチャネル偏差の標準偏差を、計算部164から取得する。計測領域設定部165は、チャネル偏差や領域偏差に基づいて、生体データの本計測に用いられるチャネル(計測チャネルとも呼ぶ)を選択する。例えば、計測領域設定部165は、チャネル偏差や領域偏差などの偏差が所定の閾値を越えるチャネルの領域を、計測候補領域に設定する。例えば、計測領域設定部165は、チャネル偏差や領域偏差などの偏差と、複数の受光素子(チャネル)に関するチャネル偏差の標準偏差との比較結果に基づいて、計測チャネルを選択する。例えば、計測領域設定部165は、チャネル偏差や領域偏差などの偏差が、複数の受光素子(チャネル)に関するチャネル偏差の標準偏差が1.5倍以上の受光素子(チャネル)を、計測候補領域に設定する。計測領域設定部165は、計測候補領域に設定された受光素子(チャネル)の中から、計測チャネルを選択する。計測領域設定部165は、選択された計測チャネルを計測領域に設定する。
 図11は、計測装置16によって算出された偏差が、複数の受光素子(チャネル)に関するチャネル偏差の標準偏差と比べて大きな受光素子(チャネル)の位置を、受光素子アレイ12の受光面に対応付けてマッピングしたヒートマップである。図11は、受光素子アレイ12の受光面に対応する画素イメージ123である。図11の例では、計測装置16によって算出された偏差の大きさに応じたハッチングを示す。実用上は、偏差の大きさを、色分けして表示させてもよい。領域R1は、領域偏差が標準偏差の1.5倍以上であるチャネルの領域である。領域R1は、計測候補領域に設定される。領域R2は、領域偏差が標準偏差の0.5倍以上であるチャネルの領域である。領域R3は、計算領域の領域偏差が標準偏差の0.5倍未満であり、かつ計算領域の内部における振幅の総和が0よりも大きいチャネルの領域である。領域R3は、検出された人体の範囲に相当する。例えば、領域R3の外縁部分を異なるハッチングや色で表示させ、検出された人体の範囲を明示させてもよい。例えば、図11のヒートマップは、端末装置(図示しない)の画面に表示されてもよい。例えば、光センサ10を装着する被験者は、画面に表示されたヒートマップを参照すれば、光センサ10を装着する位置を調整できる。
 図12は、計測候補領域に設定された領域R1から選択された計測領域RMの一例について説明するための概念図である。図12は、受光素子アレイ12の受光面に対応する画素イメージ124である。計測領域RMは、計測候補領域に設定された領域R1の範囲内のチャネルから選択される。図12のように、計測領域RMに含まれる計測チャネルの数は、画素イメージ124に含まれるチャネルの総数と比較して、大幅に少ない。そのため、本実施形態によれば、生体データの計測における、受信信号の受信や、受信信号の通信、生体データの計算等に掛かる負荷を、大幅に軽減できる。
 生体データ出力部166は、第2計測指示に応じた生体データを、生体データ生成部163から取得する。生体データ出力部166は、取得した生体データを出力する。例えば、生体データ出力部166は、複数の受光素子によって受信された受光信号に基づいて生成された生体データの代表値を、生体データとして出力する。例えば、生体データ出力部166は、複数の受光素子によって受信された受光信号に基づいて生成された生体データの平均値を、生体データとして出力する。生体データ出力部166は、ケーブルなどの有線を介して生体データを出力してもよいし、無線通信を介して生体データを出力してもよい。例えば、生体データ出力部166は、Bluetooth(登録商標)やWiFi(登録商標)などの規格に則した無線通信機能(図示しない)を介して、生体データを出力するように構成される。生体データ出力部166の通信機能は、Bluetooth(登録商標)やWiFi(登録商標)以外の規格に則していてもよい。生体データの出力先や用途については、特に限定を加えない。例えば、生体データ出力部166は、画面を有する専用の端末装置(図示しない)に生体データを出力する。例えば、生体データ出力部166は、ユーザの携帯するスマートフォンやタブレットなどの携帯端末(図示しない)に生体データを出力する。例えば、生体データ出力部166は、サーバやクラウドに構築された外部システム(図示しない)に生体データを出力する。
 図13は、計測装置16から出力された生体データに応じて計測される脈拍数を、端末装置100の画面に表示させる例である。脈拍数は、単位時間当たりの脈動(脈拍)の回数に相当する。ここでは、一分間における脈動の回数を脈拍数と定義する。画面に表示された脈拍数を視認したユーザは、被験者の脈拍数を確認できる。例えば、脈拍数に応じて、被験者の身体状態等について検証できる。脈拍は、心臓の拍動(心拍)に由来する。そのため、脈拍数は、心拍数に相当する。被験者の脈拍数をリアルタイムで計測/表示できれば、その被験者の身体状態をリアルタイムで正確にモニターできる。例えば、運動時心拍数と安静時心拍数の値に応じて、被験者の主観的運動強度を定量化することもできる。定量化された主観的運動強度や、主観的運動強度に応じた疲労度を、端末装置100の画面に表示させてもよい。
 図10は、計測装置16から出力された生体データ(脈拍)の時系列データの波形を、端末装置100の画面に表示させる例である。計測装置16は、領域偏差の大きな計測チャネルによって受信された受信信号を用いて、生体データを生成する。そのため、計測装置16から出力された生体データ(脈拍)の時系列データの波形は、図10のように、ドリフトやノイズが少なく滑らかである。画面に表示された波形を視認したユーザは、被験者の脈拍の状態を確認できる。例えば、脈拍の強度や間隔、時間変化に基づいて、被験者の身体や健康、精神、感情等の状態について検証できる。
 (動作)
 次に、本実施形態の生体データ計測システム1の動作について図面を参照しながら説明する。以下においては、生体データ計測システム1を構成する光センサ10と計測装置16について、個別に説明する。
 〔計測装置〕
 図15は、計測装置16の動作の一例について説明するためのフローチャートである。図15のフローチャートに沿った処理においては、計測装置16を動作主体として説明する。
 図15において、まず、計測装置16は、第1計測指示を光センサ10に出力する(ステップS11)。
 次に、計測装置16は、計測チャネル設定処理を実行する(ステップS12)。計測チャネル設定処理は、第1計測指示に応じて受信された受信信号に基づく生体データの値に応じて、本計測に用いられるチャネルを設定する処理である。計測チャネル設定処理の詳細については、後述する。
 次に、計測装置16は、光センサ10から受光信号を取得する(ステップS13)。この段階で光センサ10から取得する受信信号は、第2計測指示に応じた本計測によって計測された信号である。
 次に、計測装置16は、取得した受光信号に応じた生体データを生成する(ステップS14)。
 次に、計測装置16は、生成された生体データを出力する(ステップS15)。
 計測チャネルの更新タイミングの場合(ステップS16でYes)、ステップS11に戻る。更新タイミングにおいて、計測装置16は、計測チャネルを含む領域に絞って、第1計測処理を実行する第1計測指示を、光センサ10に出力してもよい。
 ステップS15の次に、計測チャネルの更新タイミングではない場合(ステップS16でNo)、計測を継続するのであれば(ステップS17でYes)、ステップS13に戻る。一方、計測を終了する場合(ステップS17でNo)、図15のフローチャートに沿った処理は終了である。計測の継続/終了に関しては、予め設定されたタイミングや、計測値が計測されなくなったタイミングなどに応じて判定されればよい。
 <チャネルごとの計測チャネル設定処理>
 次に、計測装置16による、チャネルごとの計測チャネル設定処理について、図面を参照しながら説明する。図16は、チャネルごとの計測チャネル設定処理について説明するためのフローチャートである。
 図16において、まず、計測装置16は、第1計測指示に応じた光センサ10によって計測された生体データを取得する(ステップS111)。
 次に、計測装置16は、受光素子アレイ12のチャネルごとに、生体データの代表値を計算する(ステップS112)。例えば、計測装置16は、チャネルごとに、生体データの最大値を計算する。
 次に、計測装置16は、受光素子アレイ12の全てのチャネルに関する生体データの代表値の平均値を計算する(ステップS113)。
 次に、計測装置16は、受光素子アレイ12を構成するチャネルごとの生体データの代表値から、全てのチャネルに関する生体データの代表値の平均値を引いて、チャネルごとのチャネル偏差を計算する(ステップS114)。
 次に、計測装置16は、偏差が閾値を越える計測候補領域を設定する(ステップS115)。
 次に、計測装置16は、計測候補領域に含まれるチャネルから、少なくとも一つの計測チャネルを選択する(ステップS116)。言い換えると、計測装置16は、計測候補領域の範囲内に計測領域を設定する。
 次に、計測装置16は、選択された計測チャネルを用いる第2計測指示を、光センサ10に出力する(ステップS117)。
 <計算領域ごとの計測チャネル設定処理>
 次に、計測装置16による、計算領域ごとの計測チャネル設定処理について、図面を参照しながら説明する。図17は、計算領域ごとの計測チャネル設定処理について説明するためのフローチャートである。
 図17において、まず、計測装置16は、第1計測指示に応じた光センサ10によって計測された生体データを取得する(ステップS121)。
 次に、計測装置16は、受光素子アレイ12の計算領域ごとに、生体データの代表値を計算する(ステップS122)。例えば、計測装置16は、計算領域ごとに、生体データの最大値を計算する。
 次に、計測装置16は、受光素子アレイ12の全ての計算領域に関する生体データの代表値の平均値を計算する(ステップS123)。
 次に、計測装置16は、全ての受光素子に関するチャネル偏差の標準偏差を計算する(ステップS124)。
 次に、計測装置16は、受光素子アレイ12に設定された計算領域ごとの生体データの代表値から、全ての計算領域に関する生体データの代表値の平均値を引いて、計算領域ごとの領域偏差を計算する(ステップS125)。
 次に、計測装置16は、領域偏差と標準偏差との比較結果に応じて、計測候補領域を設定する(ステップS126)。例えば、計測装置16は、領域偏差が標準偏差よりも1.5倍以上の選択領域を、計測候補領域として選択する。
 次に、計測装置16は、計測候補領域に含まれるチャネルから、少なくとも一つの計測チャネルを選択する(ステップS127)。言い換えると、計測装置16は、計測候補領域の範囲内に計測領域を設定する。
 次に、計測装置16は、選択された計測チャネルを用いる第2計測指示を、光センサ10に出力する(ステップS128)。
 〔光センサ〕
 図18は、光センサ10の動作の一例について説明するためのフローチャートである。図18のフローチャートに沿った処理においては、光センサ10を動作主体として説明する。
 図18において、まず、光センサ10は、第1計測指示を取得すると(ステップS131でYes)、第1計測処理を実行する(ステップS132)。第1計測処理の詳細については、後述する。一方、第1計測指示を取得していない場合(ステップS131でNo)、光センサ10は、第1計測指示を取得するまで待機する。
 ステップS132の後、第2計測指示を取得すると(ステップS133でYes)、光センサ10は、第2計測処理を実行する(ステップS134)。第2計測処理の詳細については、後述する。一方、第2計測指示を取得していない場合(ステップS133でNo)、光センサ10は、第2計測指示を取得するまで待機する。
 ステップS134の後、第1計測指示を取得すると(ステップS135でYes)、光センサ10は、ステップS132に戻って、第1計測処理を実行する。一方、第1計測指示を取得していない場合(ステップS135でNo)、計測を継続するのであれば(ステップS136でYes)、ステップS134に戻って、第2計測処理を継続する。一方、計測を終了する場合(ステップS136でNo)、図18のフローチャートに沿った処理は終了である。計測の継続/終了に関しては、予め設定されたタイミングや、計測値が計測されなくなったタイミングなどに応じて判定されればよい。
 <第1計測処理>
 次に、光センサ10による第1計測処理について図面を参照しながら説明する。第1計測処理は、計測装置16からの第1計測指示に応じて実行される。図19は、光センサ10による第1計測処理について説明するためのフローチャートである。
 図19において、光センサ10は、第1計測用の光信号を出射するように、発光器11を制御する(ステップS141)。
 次に、光センサ10は、発光器11から出射された光信号の反射光を、受光素子アレイ12の全てのチャネルで受光する(ステップS142)。
 次に、光センサ10は、受光素子アレイ12の全てのチャネルによって受信された受光信号を、計測装置16に出力する(ステップS143)。
 <第2計測処理>
 次に、光センサ10による第2計測処理について図面を参照しながら説明する。第2計測処理は、計測装置16からの第2計測指示に応じて実行される。図20は、光センサ10による第2計測処理について説明するためのフローチャートである。
 図20において、光センサ10は、第2計測用の光信号を出射するように、発光器11を制御する(ステップS151)。
 次に、光センサ10は、発光器11から出射された光信号の反射光を、受光素子アレイ12の中から選択された計測チャネルで受光する(ステップS152)。
 次に、光センサ10は、受光素子アレイ12の中から選択された計測チャネルによって受信された受光信号を、計測装置16に出力する(ステップS153)。
 以上のように、本実施形態の生体データ計測システムは、光センサおよび計測装置を備える。光センサは、複数の発光器、受光素子アレイ、および制御部を有する。複数の発光器は、生体データの計測対象である被験者の皮膚に装着される基板の計測面に配置される。複数の発光器は、被験者の皮膚に向けて光信号を出射する。受光素子アレイは、二次元状に配置された複数の受光素子を含む。受光素子アレイは、基板の計測面に配置される。受光素子アレイは、複数の発光器から出射された光信号の反射光を受光する。制御部は、計測装置からの計測指示に応じて、複数の発光器に光信号を出射させる。制御部は、受光素子アレイを構成する複数の受光素子によって受光される光信号の反射光に応じた受光素子ごとの受信信号を受信する。制御部は、受信した受光素子ごとの受信信号を計測装置に出力する。制御部は、計測装置からの第2計測指示に応じた第2計測の期間において、計測装置によって設定された計測領域の範囲内の受光素子による受信信号を計測装置に出力する。
 本実施形態の計測装置は、計測指示出力部、受信信号取得部、生体データ生成部、計算部、計測領域設定部、および生体データ出力部を備える。計測指示出力部は、複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する。受信信号取得部は、計測指示に応じた複数の受光素子のうち少なくともいずれかの受信信号を取得する。生体データ生成部は、取得された受信信号を用いて、受光素子ごとの生体データを生成する。計算部は、第1計測指示に応じて取得された受信信号を用いて生成された生体データを用いて、受光素子ごとの生体データの偏差を計算する。計測領域設定部は、受光素子ごとの生体データの偏差に応じて、第2計測指示に応じた第2計測に用いられる受光素子を含む計測領域を設定する。生体データ出力部は、第2計測指示に応じた第2計測において計測された生体データを出力する。
 本実施形態では、光センサを用いた生体データの計測において、受光素子ごとの生体データの偏差に応じて、本計測に相当する第2計測に用いられる受光素子を含む計測領域を設定する。本実施形態によれば、本計測に相当する第2計測において、光センサによる計測や通信の負荷を軽減できる。そのため、本実施形態によれば、光センサを用いた生体データの常時計測を実現できる。
 本実施形態の一態様において、計測指示出力部は、受光素子アレイを構成する複数の受光素子の全てを用いた計測を指示する第1計測指示を、光センサに出力する。また、計測指示出力部は、受光素子アレイを構成する複数の受光素子のうち、計測領域の範囲内の受光素子を用いた計測を指示する第2計測指示を、光センサに出力する。本態様では、予備計測に相当する第1計測において、複数の受光素子の全てに関して受光素子ごとの生体データの偏差を検証する。そのため、本態様によれば、受光素子アレイの受光面において、最適な計測領域を漏らすことなく設定できる。また、本態様によれば、第2計測の対象となる受光素子を絞り込むことによって、第2計測における負荷を軽減できる。
 本実施形態の一態様において、計算部は、受光素子ごとの生体データの代表値と、複数の受光素子の全ての生体データの代表値との差を、受光素子ごとの生体データの偏差として計算する。計測領域設定部は、受光素子ごとの生体データの偏差に応じて計測候補領域を設定する。計測領域設定部は、計測候補領域の範囲内に計測領域を設定する。本態様によれば、受光素子ごとの生体データの偏差に応じて設定された計測候補領域の範囲内に計測領域を設定することによって、第2計測における負荷を確実に軽減できる。
 本実施形態の一態様において、計測領域設定部は、受光素子ごとの生体データの偏差が所定の閾値を越える受光素子からなる領域を、計測候補領域に設定する。本態様によれば、所定の閾値に応じて、計測領域を明確に設定できる。
 本実施形態の一態様において、計算部は、複数の受光素子の全てに関する生体データの偏差の標準偏差を計算する。計測領域設定部は、標準偏差に対して偏差が所定倍以上の受光素子からなる領域を計測候補領域に設定する。計算部は、計測候補領域の範囲内に計測領域を設定する。本態様によれば、標準偏差に対する偏差の値に応じて、計測領域を明確に設定できる。
 本実施形態の一態様において、計算部は、複数の受光素子を含む複数の計算領域ごとの生体データの代表値と、複数の計算領域の全てに関する生体データの代表値の平均値との差を、計算領域ごとの生体データの領域偏差として計算する。計測領域設定部は、計算領域ごとの生体データの領域偏差に応じて計測候補領域を設定する。本態様によれば、計算領域ごとの生体データの領域偏差に応じて計測領域を設定することによって、第1計測に応じた計測領域の設定に掛かる負荷を軽減できる。
 本実施形態の一態様において、計測指示出力部は、第2計測指示に応じた第2計測が開始されてから所定期間が経過したタイミングにおいて、第1計測指示を光センサに出力して、計測領域を更新する。本態様によれば、タイミングよく計測領域を更新することによって、継続的な生体データの計測を実現できる。
 本実施形態の一態様において、計測指示出力部は、第2計測指示に応じた第2計測において生体データの計測値が基準値を下回ると、第1計測指示を光センサに出力して、計測領域を更新する。本態様によれば、生体データの計測値に応じて計測領域を更新することによって、継続的な生体データの計測を実現できる。
 本実施形態の一態様において、計測指示出力部は、計測領域を更新する際に、計測領域の周辺領域および計測領域に絞り込んで第1計測を行う指示を含む第1計測指示を、光センサに出力する。本態様によれば、計測領域を更新における第1計測において計測範囲を絞り込むことによって、第1計測に掛かる負荷を軽減できる。
 本実施形態の一態様において、計測領域設定部は、第2計測指示に応じた第2計測において生体データの計測値が途切れると、偏差のランクが高い領域を計測領域として再設定する。計測指示出力部は、再設定された計測領域で計測を継続させる指示を含む第2計測指示を、光センサに出力する。本態様によれば、生体データの計測値が途切れた状況において、計測領域を再設定することによって、継続的な生体データの計測を実現できる。
 本実施形態の一態様において、生体データ出力部は、受光素子アレイの受光面に対応付けて計測領域が強調表示されたヒートマップを出力する。本態様によれば、例えば、ヒートマップを画面に表示させることによって、画面を視認した人物に対して、適切な計測領域が設定されていることを確認させることができる。
 (第2の実施形態)
 次に、第2の実施形態に係る光センサについて、図面を参照しながら説明する。本実施形態の光センサは、第1の実施形態の計測装置の機能を内含する。
 図21は、本実施形態の光センサ20の構成の一例を示すブロック図である。光センサ20は、複数の発光器21、受光素子アレイ22、および制御部23を備える。複数の発光器21、受光素子アレイ22、および制御部23は、第1の実施形態(図2~図3)と同様に、基板に配置される。基板については、第1の実施形態の基板110と同様であるため、詳細な説明を省略する。光センサ20を人体に装着させる粘着層等については、説明を省略する。
 発光器21は、第1の実施形態の発光器11と同様の構成である。発光器21は、脈拍の計測に用いられる光を出射する出射面を有する。複数の発光器21は、それらの出射面を同じ向きに向けて配列される。複数の発光器21の出射面と、受光素子アレイ22の受光面とは、同じ向きに向けて配置される。発光器21の出射面は、光センサ20が被験者の皮膚に貼付された状態で、その被験者の皮膚に向けられる。発光器21は、制御部23の制御に応じて、脈拍を計測可能な波長帯の光信号を出射する。
 受光素子アレイ22は、第1の実施形態の受光素子アレイ12と同様の構成である。
受光素子アレイ22は、発光器21から出射された光信号の反射光を受光する受光面を有する。反射光は、発光器21から出射された光信号のうち、被験者の皮膚下(体内)で反射/散乱されて、受光素子アレイ22の受光面に到達した光成分である。受光素子アレイ22の受光面には、複数の受光素子が二次元アレイ状に配列される。二次元アレイ状に配列された複数の受光素子の各々によって受光された反射光の光強度は、それらの受光素子の位置(アドレス)に対応付けられて、計測される。
 制御部23は、第1の実施形態の制御部13と同様の構成である。制御部23は、第1の実施形態の計測装置16の機能を含む点において、第1の実施形態の制御部13とは異なる。制御部23は、複数の発光器21を制御する。例えば、制御部23は、マイクロコンピュータ(マイコンとも呼ぶ)やマイクロコントローラによって実現される。
 図21のように、制御部23は、計測指示取得部231、発光制御部232、記憶部233、信号取得部234、信号出力部235、および計測部236を有する。以下においては、第1の実施形態の計測装置16の機能を、計測部236が発揮するように記載する。計測部236の機能は、複数の構成に分割されてもよい。
 計測部236は、第1の実施形態の計測装置16と同様の機能を有する。計測部236は、光センサ10が起動すると、継続的な本計測に先立って、予備計測を行う第1計測指示を発光制御部232に出力する。第1計測指示は、受光素子アレイ22の全ての受光素子で、一定期間の予備計測を行う指示である。また、計測部236は、選択された計測チャネルにおける計測を行う第2計測指示を光センサ20に出力する。第2計測指示は、受光素子アレイ22の受光素子のうち、選択された計測チャネルにおいて、継続的な本計測を行う指示である。
 また、計測部236は、予め決められた更新タイミングにおいて、計測チャネルを更新するために、第1計測指示を発光制御部232に出力する。例えば、計測部236は、計測中の計測チャネルを含む領域に関して、第1計測指示を行う指示を、発光制御部232に出力してもよい。また、計測部236は、本計測を行っている最中に、生体データの値や変動に応じて、計測チャネルを更新してもよい。
 計測部236は、信号取得部234から受信信号を取得する。計測部236は、取得した受信信号を用いて、生体データを生成する。例えば、計測部236は、取得した受信信号の時系列データを用いて、脈拍データを生成する。計測部236によって生成される生体データについては、特に限定を加えない。
 計測部236は、第1計測指示に応じて受信された受信信号に基づく生体データを用いて、本計測を行うチャネルを選択する。計測部236は、受光素子アレイ22を構成する複数の受光素子(チャネル)の全てについて、チャネルごとに、生体データの振幅の代表値を計算する。また、計測部236は、受光素子アレイ22を構成する複数の受光素子(チャネル)の代表値の平均値を計算する。計測部236は、受光素子(チャネル)ごとの代表値から、複数の受光素子(チャネル)の代表値の平均値を引いた偏差(チャネル偏差とも呼ぶ)を、チャネルごとに計算する。
 計測部236は、受光素子アレイ22を構成する複数の受光素子(チャネル)による計測値の偏差を、単一のチャネルごとではなく、複数のチャネルごとに計算してもよい。例えば、計測部236は、複数の受光素子からなる領域(計算領域とも呼ぶ)を設定し、その計算領域ごとに計測値の偏差を計算してもよい。例えば、計測部236は、計算領域に含まれる受光素子(チャネル)による計測値の代表値の平均値から、複数の受光素子(チャネル)の代表値の平均値を引いた値を、計算領域の偏差(領域偏差とも呼ぶ)として計算する。また、計測部236は、複数の受光素子(チャネル)に関して算出されたチャネル偏差の標準偏差を計算する。
 計測部236は、チャネルごとに算出されたチャネル偏差や、計算領域ごとに算出された領域偏差、複数の受光素子(チャネル)に関するチャネル偏差の標準偏差に基づいて、生体データの本計測に用いられるチャネル(計測チャネルとも呼ぶ)を選択する。例えば、計測部236チャネル偏差や領域偏差などの偏差が所定の閾値を越えるチャネルの領域を、計測候補領域に設定する。例えば、計測部236は、チャネル偏差や領域偏差などの偏差と、複数の受光素子(チャネル)に関するチャネル偏差の標準偏差との比較結果に応じて、計測チャネルを選択する。計測部236は、複数の受光素子(チャネル)に関するチャネル偏差の標準偏差に対して、チャネル偏差や領域偏差などの偏差が所定倍以上の受光素子(チャネル)を、計測候補領域に設定する。例えば、計測部236は、複数の受光素子(チャネル)に関するチャネル偏差の標準偏差に対して、チャネル偏差や領域偏差などの偏差が1.5倍以上の受光素子(チャネル)を、計測候補領域に設定する。計測部236は、計測候補領域に設定された受光素子(チャネル)の中から、計測チャネルを選択する。計測部236は、選択された計測チャネルを計測領域に設定する。
 計測部236は、計測候補領域に含まれるチャネルのうち、チャネル偏差や領域偏差のランクが高い計測チャネルを記憶しておいてもよい。例えば、チャネル偏差や領域偏差に応じて選択されていた計測チャネルにおける計測が途切れた場合、計測部236は、チャネル偏差やのランクが高い領域から計測チャネルを選択しなおす。言い換えると、計測部236は、計測領域における計測が途切れると、チャネル偏差や領域偏差のランクが高い領域を計測領域として再設定する。このようにすれば、計測チャネルにおける計測が突然途切れた場合であっても、生体データの計測を継続できる。このような処理は、第1の実施形態にも適用できる。
 計測指示取得部231は、第1の実施形態の計測指示取得部131と同様の構成である。計測指示取得部231は、計測部236から計測指示を取得する。計測指示取得部231は、予備計測を行う指示(第1計測指示とも呼ぶ)を、計測部236から取得する。計測指示取得部231は、取得した第1計測指示を、発光制御部232および信号取得部234に出力する。また、計測指示取得部231は、計測チャネルにおける計測を行う指示(第2計測指示とも呼ぶ)を、計測部236から取得する。計測指示取得部231は、取得した第2計測指示を発光制御部232および信号取得部234に出力する。なお、計測指示取得部231を省略し、発光制御部232および信号取得部234に対して、計測部236が、第1計測指示や第2計測指示を出力するように構成してもよい。
 発光制御部232は、第1の実施形態の発光制御部132と同様の構成である。発光制御部232は、計測部236による計測指示を、計測指示取得部231から取得する。発光制御部232は、予備計測(第1計測処理)を行う第1計測指示を、計測指示取得部231から取得する。発光制御部232は、第1計測指示に応じて、複数の発光器21を発光させる制御を行う。発光制御部232は、記憶部233に記憶された、第1計測指示に応じた制御方式で、複数の発光器21を制御する。また、発光制御部232は、継続的な本計測(第2計測処理)を行う第2計測指示を、計測指示取得部231から取得する。発光制御部232は、第2計測指示に応じて、複数の発光器21を発光させる制御を行う。発光制御部232は、記憶部233に記憶された、第2計測指示に応じた制御方式で、複数の発光器21を制御する。
 記憶部233は、第1の実施形態の記憶部133と同様の構成である。記憶部233は、複数の発光器21を発光させる制御方式が記憶される。記憶部233に記憶された制御方式は、発光制御部232によって参照される。記憶部233に記憶された制御方式には、特に限定を加えない。
 信号取得部234は、第1の実施形態の信号取得部134と同様の構成である。信号取得部234は、計測部236による計測指示を、計測指示取得部231から取得する。信号取得部234は、予備計測(第1計測処理)を行う第1計測指示を、計測指示取得部231から取得する。信号取得部234は、第1計測指示に応じて、受光素子アレイ22を構成する全ての受光素子によって受光された受光信号を取得する。信号取得部234は、全ての受光素子によって受光された受光信号を、計測部236に出力する。また、信号取得部234は、継続的な本計測(第2計測処理)を行う第2計測指示を、計測指示取得部231から取得する。信号取得部234は、第2計測指示に応じて、計測部236によって選択された計測チャネルに設定された受光素子によって受光された受光信号を取得する。信号取得部234は、計測チャネルに設定された受光素子によって受光された受光信号を、計測部236に出力する。
 計測部236は、第2計測指示に応じて、信号取得部234から取得された受光信号を用いて、生体データを生成する。計測部236は、第2計測指示に応じて計測された生体データを、信号出力部235に出力する。
 信号出力部235は、第2計測指示に応じて計測された生体データを、計測部236から取得する。信号出力部235は、取得した生体データを出力する。信号出力部235は、ケーブルなどの有線を介して生体データを出力してもよいし、無線通信を介して生体データを出力してもよい。例えば、信号出力部235は、Bluetooth(登録商標)やWiFi(登録商標)などの規格に則した無線通信機能(図示しない)を介して、生体データを出力するように構成される。信号出力部235の通信機能は、Bluetooth(登録商標)やWiFi(登録商標)以外の規格に則していてもよい。生体データの出力先や用途については、特に限定を加えない。例えば、信号出力部235は、画面を有する専用の端末装置(図示しない)に生体データを出力する。例えば、信号出力部235は、ユーザの携帯するスマートフォンやタブレットなどの携帯端末(図示しない)に生体データを出力する。例えば、信号出力部235は、サーバやクラウドに構築された外部システム(図示しない)に生体データを出力する。例えば、信号出力部235は、計測部236から取得した生体データを、フラッシュメモリ等の記憶装置に記憶させておき、所定期間に計測された生体データを一括で出力してもよい。
 (動作)
 次に、本実施形態の光センサ20の動作について図面を参照しながら説明する。図22は、光センサ20の動作の一例について説明するためのフローチャートである。図22のフローチャートに沿った処理においては、光センサ20を動作主体として説明する。
 図22において、まず、光センサ20は、起動すると、第1計測処理を実行する(ステップS21)。ステップS21の第1計測処理の詳細は、図19の第1計測処理と同様である。
 次に、光センサ20は、計測チャネル設定処理を実行する(ステップS22)。ステップS22の計測チャネル設定処理は、図16や図17の計測チャネル設定処理と同様である。
 次に、光センサ20は、第2計測処理を実行する(ステップS23)。ステップS23の第2計測処理は、図20の第2計測処理と同様である。
 計測チャネルの更新タイミングの場合(ステップS24でYes)、ステップS21に戻る。更新タイミングにおいて、光センサ20は、計測チャネルを含む領域に絞って、第1計測処理を実行してもよい。
 ステップS23の次に、計測チャネルの更新タイミングではない場合(ステップS24でNo)、計測を継続するのであれば(ステップS25でYes)、ステップS23に戻る。一方、計測を終了する場合(ステップS25でNo)、図22のフローチャートに沿った処理は終了である。計測の継続/終了に関しては、予め設定されたタイミングや、計測値が計測されなくなったタイミングなどに応じて判定されればよい。
 以上のように、本実施形態の光センサは、複数の発光器、受光素子アレイ、および制御部を有する。複数の発光器は、生体データの計測対象の被験者の皮膚に装着される基板の計測面に配置される。複数の発光器は、被験者の皮膚に向けて光信号を出射する。受光素子アレイは、二次元状に配置された複数の受光素子を含む。受光素子アレイは、基板の計測面に配置される。受光素子アレイは、複数の発光器から出射された光信号の反射光を受光する。
 本実施形態の制御部は、計測指示取得部、発光制御部、記憶部、信号取得部、計測部、および信号出力部を有する。計測部は、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する。計測指示取得部は、計測部による計測指示を取得する。発光制御部は、計測装置からの計測指示に応じて、複数の発光器に光信号を出射させる。信号取得部は、受光素子アレイを構成する複数の受光素子によって受光される光信号の反射光に応じた受光素子ごとの受信信号を取得する。計測部は、計測指示に応じた複数の受光素子のうち少なくともいずれかの受信信号を取得する。計測部は、取得された受信信号を用いて、受光素子ごとの生体データを生成する。計測部は、第1計測指示に応じて取得された受信信号を用いて生成された生体データを用いて、受光素子ごとの生体データの偏差を計算する。計測部は、受光素子ごとの生体データの偏差に応じて、第2計測指示に応じた第2計測に用いられる受光素子を含む計測領域を設定する。信号出力部は、第2計測指示に応じた第2計測において計測された生体データを出力する。
 本実施形態の光センサは、生体データの計測において、受光素子ごとの生体データの偏差に応じて、本計測に相当する第2計測に用いられる受光素子を含む計測領域を設定する。本実施形態によれば、光センサにおいて、計測や通信の負荷を軽減し、生体データを常時計測できる。
 (第3の実施形態)
 次に、第3の実施形態に係る生体情報推定システムについて図面を参照しながら説明する。本実施形態の生体情報推定システムは、第1~第2の実施形態の計測装置から出力された生体データ(脈拍信号)に基づいて、被験者の生体情報を推定する。
 (構成)
 図23は、本実施形態に係る生体情報推定システム3の構成の一例を示すブロック図である。生体情報推定システム3は、光センサ30、計測装置36、および推定装置37を備える。光センサ30は、第1の実施形態の光センサ10である。計測装置36は、第1の実施形態の計測装置16である。光センサ30や計測装置36の詳細については、説明を省略する。なお、生体情報推定システム3は、第2の実施形態の光センサ20を含んでもよい。第2の実施形態の光センサ20を生体情報推定システム3が含む場合、計測装置36を省略できる。生体情報推定システム3は、計測装置36および推定装置37によって構成されてもよい。
 推定装置37は、光センサ30から出力される脈拍信号を取得する。推定装置37は、取得した脈拍信号に応じて、被験者の生体情報を推定する。被験者の生体情報には、脈拍や身体状態、感情などが含まれる。
 例えば、推定装置37は、脈拍信号に基づいて、被験者の脈拍を推定する。例えば、推定装置37は、脈拍信号の時系列データに表れる極大値/極小値の間隔に応じて、脈拍を推定する。例えば、推定装置37は、脈拍信号の時系列データから抽出される特徴量の発現周期に応じて、脈拍を推定する。推定装置37は、推定された脈拍の間隔や、脈拍信号の強度などの脈拍に関する情報を出力する。
 例えば、推定装置37は、脈拍信号に基づいて、被験者の身体状態を推定する。例えば、推定装置37は、脈拍信号の時系列データに基づいて、被験者の身体状態を推定する。被験者が安静にしている場合、脈拍信号の強度が小さくなり、脈拍の間隔が大きくなる。被験者が運動している場合、脈拍信号の強度が大きくなり、脈拍の間隔が小さくなる。被験者に不整脈がある場合、脈拍のリズムが不規則になったり、脈拍が途切れたりする。被験者の身体状態は、脈拍信号の時系列データのベースラインにも影響を与える。被験者の身体状態が安定している場合、ベースラインの変動は小さい。それに対し、被験者の身体状態が不安定な場合、ベースラインの変動が大きくなる。例えば、ベースラインは、被験者の身体状態に応じて、上昇傾向を示したり、下降傾向を示したりする。また、被験者が何等かの病気に罹っている場合、その病気に特有の特徴が脈拍信号に表れる場合がある。病気が原因となって脈拍信号に表れる特徴を予め学習させた推定モデルを用いれば、被験者の脈拍信号に応じて、その被験者が罹っている病気を推定することができる。推定装置37は、推定された被験者の身体状態に関する情報を出力する。
 例えば、被験者の抱えているストレスや疲労、眠気などの身体状態も、脈拍信号に影響を及ぼす。推定装置37は、脈拍の時系列データから、ストレスや疲労、眠気などの身体状態に応じた特徴量を抽出する。例えば、推定装置37は、脈拍の時系列データの平均値や標準偏差、変動係数、二乗平均の平方根、周波数成分など特徴量を、脈拍の時系列データから抽出する。推定装置37は、抽出された特徴量に応じて、被験者の身体状態を推定する。推定装置37は、推定された被験者の身体状態に関する情報や、推定された身体状態に応じた推薦情報などを出力する。
 例えば、推定装置37は、脈拍信号に基づいて、被験者の感情を推定する。被験者の感情は、脈拍の強度や変動によって推測できる。例えば、推定装置37は、脈拍の時系列データの変動に応じて、喜怒哀楽などの感情の度合を推定する。例えば、推定装置37は、脈拍に関する時系列データのベースラインの変動に応じて、被験者の感情を推定してもよい。例えば、被験者の「怒」が次第に大きくなると、被験者の興奮度(覚醒度)の増大に応じて、ベースラインに上昇傾向が表れる。例えば、被験者の「哀」が次第に大きくなると、被験者の興奮度(覚醒度)の減少に応じて、ベースラインに下降傾向が表れる。
 図24は、推定装置37が脈拍信号に基づいて推定する感情について説明するための概念図である。図24の例の場合、感情価(横軸)と覚醒度(縦軸)の関係に応じて感情を推定する。感情価(横軸)は、感情の快適さを定量化する。感情価(横軸)は、右に向かうほど快適な状態であり、左に向かうほど不快な状態であることを示す。覚醒度(縦軸)は、感情の高ぶりを定量化する。覚醒度(縦軸)は、上に向かうほど興奮した状態であり、下に向かうほど落ち着いた状態であることを示す。図24の例では、感情価(横軸)と覚醒度(縦軸)によって規定される各象限に、喜怒哀楽の感情が対応付けられる。第一象限には、「喜」が対応付けられる。感情価が大きく、覚醒度が大きいほど、「喜」の度合が大きい。第二象限には、「怒」が対応付けられる。感情価が小さく、覚醒度が大きいほど、「怒」の度合が高い。第三象限には、「哀」が対応付けられる。感情価が小さく、覚醒度が小さいほど、「哀」の度合が高い。第四象限には、「楽」が対応付けられる。感情価が大きく、覚醒度が小さいほど、「楽」の度合が高い。なお、図24のグラフに対する感情の対応付けは、一例であって、本実施形態の生体情報推定システム3による感情推定の基準を限定するものではない。例えば、被験者の感情は、喜怒哀楽といった四つの感情状態に分類されるのではなく、より詳細な感情状態に分類されてもよい。被験者の感情は、図24のような二次元座標系だけではなく、任意の感情状態の分類方法で分類されてもよい。
 心拍数は、交感神経や副交感神経などの自律神経に関する活動の影響を受けて変動する。同様に、脈拍数は、交感神経や副交感神経などの自律神経に関する活動の影響を受けて変動する。例えば、脈拍数の時系列データの周波数解析によって、低周波数成分や高周波数成分を抽出できる。低周波数成分には、交感神経や副交感神経の影響が反映される。高周波数成分には、副交感神経の影響が反映される。そのため、例えば、高周波数成分と低周波数成分の比に応じて、自律神経機能の活動状態を推定できる。
 交感神経は、被験者が興奮した状態において活発になる傾向がある。被験者の交感神経が活発になると、脈動が早くなる。すなわち、脈拍数が大きいほど、覚醒度が大きい。副交感神経は、被験者がリラックスしている状態で活発になる傾向がある。被験者がリラックスすると、脈動が遅くなる。すなわち、脈拍数が小さいほど、覚醒度が小さい。このように、推定装置37は、脈拍数に応じて、覚醒度を計測できる。例えば、感情価に関しては、脈拍の間隔の変動に応じて評価できる。快い感情状態であるほど、感情が安定して、脈拍間隔の変動が小さくなる。すなわち、脈拍間隔の変動が小さいほど、感情価が大きい。それに対し、不快な感情状態であるほど、感情が不安定になり、脈拍の間隔の変動が大きくなる。すなわち、脈拍の間隔の変動が大きいほど、感情価が大きい。このように、推定装置37は、脈拍間隔に応じて、感情価を計測できる。ただし、覚醒度や感情価の計測方法は、光センサ30から出力される脈拍信号を用いさえすれば、ここで挙げた方法や基準に限定されない。
 推定装置37は、脈拍信号の時系列データに基づいて、覚醒度および感情価を推定する。推定装置37は、図24のグラフの座標系における、計測された覚醒度と感情価の座標に応じて、感情を推定する。ある被験者に関して計測された覚醒度と感情価の座標が第1象限の場合、推定装置37は、その被験者の感情状態が「喜」であると推定する。ある被験者に関して計測された覚醒度と感情価の座標が第2象限の場合、推定装置37は、その被験者の感情状態が「怒」であると推定する。ある被験者に関して計測された覚醒度と感情価の座標が第3象限の場合、推定装置37は、その被験者の感情状態が「哀」であると推定する。ある被験者に関して計測された覚醒度と感情価の座標が第4象限の場合、推定装置37は、その被験者の感情状態が「楽」であると推定する。例えば、感情価と覚醒度が閾値を越えていない場合、推定装置37は、被験者の感情状態が平常状態であると判定する。例えば、図24の座標系の中央に示す破線の円の内側に感情価と覚醒度の座標があれば、推定装置37は、被験者の感情状態が平常状態であると判定する。被験者の感情状態が平常状態であると判定するための閾値の値は、任意に設定できる。例えば、そのような閾値は、喜怒哀楽の感情ごとに異なってもよい。
 推定装置37は、機械学習の手法を用いて、感情を推定するように構成されてもよい。図25は、脈拍信号から抽出される特徴量(説明変数)と感情(応答変数)のデータセットを教師データとして、学習装置340に学習させる一例を示す概念図である。教師データは、喜怒哀楽のいずれかの感情状態にある被験者について計測された脈拍信号から抽出された特徴量に、その時点における感情状態のラベルを付与したデータである。教師データは、喜怒哀楽のいずれかの感情状態にある被験者について計測された脈拍信号に、その時点における感情状態のラベルを付与したデータであってもよい。学習装置340は、教師データを用いた教師あり学習によって、推定モデルを生成する。例えば、複数の被験者に関する教師データを学習装置340に学習させることで、予め推定モデル370を生成しておく。推定モデル370は、脈拍信号から抽出される特徴量の入力に応じて、被験者の感情の推定結果を出力する。機械学習の具体的な手法については、特に限定を加えない。
 図26は、推定装置37が、推定モデル370用いて、感情を推定する一例について説明するための概念図である。図26の例では、被験者の脈拍信号の入力に応じて、喜怒哀楽のいずれかの感情の推定結果が、推定モデル370から出力される。例えば、推定モデル370から出力される感情の推定結果に関する情報は、端末装置等(図示しない)の画面に表示される。
 図27は、光センサ30から出力された脈拍信号に応じて、推定装置37が推定した被験者の感情に関する情報を、端末装置300の画面に表示させる例である。図27の例では、被験者の感情状態に応じた推薦情報も、端末装置300の画面に表示させる。図27の例では、被験者の感情状態は「怒」である。例えば、被験者の感情状態を示す顔文字やアイコンを、端末装置300の画面に表示させてもよい。画面に表示された感情状態を視認した被験者は、自身の感情状態を確認できる。また、画面に表示された推薦情報を視認した被験者は、その推薦情報を気に掛けることによって、自身の感情状態を平常状態に近づけることができる。ただし、画面に表示された推薦情報は、必ずしも期待通りの感情状態の変化を被験者にもたらすとは限らない。例えば、推定された被験者の感情状態を、その被験者の家族や知人の所有する端末装置(図示しない)に送信するように構成してもよい。そのように構成すれば、画面に表示された無機的な情報ではなく、被験者と親しい間柄の他者の行動に応じて、その被験者の感情状態を平常状態に近づけられる可能性がある。
 図27の例では、被験者の感情状態を平常状態に向けて和らげるために、端末装置300の画面に花の画像も表示させている。画面に表示させる画像は、被験者の感情状態を和らげる可能性があれば、どのような画像であってもよい。端末装置300の画面に表示させるのは、画像のみならず、映像であってもよい。また、被験者の感情状態を和らげるような音楽を、端末装置300のスピーカー(図示しない)から流してもよい。例えば、被験者の感情状態が「哀」であった場合は、被験者の慰めになるような画像や映像、音楽などのコンテンツを被験者に提供すればよい。例えば、被験者の感情状態が「喜」や「楽」であった場合は、それらの感情状態が持続するようなコンテンツを被験者に提供すればよい。被験者に提供されるコンテンツは、被験者の感情ごとに設定されていることが好ましい。例えば、提供された情報が被験者の感情に適合しているか否かを入力する機能が追加されてもよい。推定された感情に応じて提供された情報へのユーザの反応を学習し、それ以降の感情推定にフィードバックするように構成されれば、より正確に被験者の感情を推定できる。
 例えば、自動車の運転手に光センサ30を装着させて、その運転手の感情状態に応じた推薦情報を提供してもよい。例えば、運転手の感情状態の推定結果に応じて、その運転手に休憩を薦めたり、次のパーキングエリアまでの到達予測時間を通知したりすれば、安全な運転環境を提供できる。例えば、自動車の運転手の感情状態が「怒」や「哀」であった場合、その運転手の感情をなだめたり、慰めたりする音楽やメッセージを流すようにしてもよい。例えば、自動車の運転手の感情状態が「楽」であった場合、多少の緊張感をその運転手に促す音楽やメッセージを流すようにしてもよい。例えば、自動車の運転手の感情状態が「喜」であった場合、その感情状態が維持されやすい音楽やメッセージを流すようにしてもよい。例えば、運転手の感情状態と運転時間に応じた推薦情報が提供されるように構成されてもよい。例えば、運転時間が長時間になり、感情に「怒」の傾向が表れた場合、その運転手に対して「次のパーキングエリアに入り、立ち上がって運動しましょう」などといった推薦情報を提供してもよい。例えば、運転時間が長時間になり、感情に「哀」の傾向が表れた場合、その運転手に対して「次のパーキングエリアに入り、仮眠しましょう」などといった推薦情報を提供してもよい。
 例えば、運転手の感情状態に基づいて、その運転手の注意散漫度を推定してもよい。注意散漫度は、極端な感情状態である場合に、高い傾向がある。そのため、例えば、覚醒度や感情価が、極端に大きかったり、極端に小さかったりする場合、注意散漫度が高いと推定される。注意散漫度に関する閾値を覚醒度や感情価に対して設定し、その閾値との関係に応じて、運転手の注意散漫度を推定するようにすればよい。例えば、注意散漫度が閾値を越えた場合、注意喚起するための通知音を発するようにすればよい。
 例えば、日常生活を送るユーザに光センサ30を装着させて、その被験者の感情状態に応じた推薦情報を提供してもよい。例えば、ユーザの感情状態が「怒」や「哀」であった場合、そのユーザの気を紛らわすために、散歩やランニング等の運動を薦める推薦情報を提供するようにしてもよい。例えば、ユーザの感情状態が「怒」や「哀」であった場合、そのユーザの感情状態が「楽」や「喜」にシフトさせやすい音楽や情報を提供するようにしてもよい。例えば、ユーザの感情状態が「楽」や「喜」であった場合、その感情状態を増長できる音楽や情報を提供するようにしてもよい。例えば、ユーザの感情状態が「楽」や「喜」であった場合、その時点における環境が維持されるように、邪魔な情報提供をしないようにしてもよい。
 以上のように、本実施形態の生体情報推定システムは、光センサ、計測装置、および推定装置を備える。光センサは、第1または第2の実施形態の光センサである。計測装置は、第1または第2の実施形態の計測装置である。推定装置は、計測装置によって計測された被験者の生体データを取得する。推定装置は、取得した生体データに基づいて被験者の生体情報を推定する。本実施形態によれば、計測装置によって計測された生体データを用いて、被験者の生体情報を推定できる。
 本実施形態の一態様において、計測装置は、生体データとして被験者の脈拍信号を計測する。推定装置は、被験者の脈拍信号を用いて被験者の脈拍数を推定する。推定装置は、推定された脈拍数に応じた情報を出力する。本態様によれば、例えば、計測装置によって計測された生体データを用いて推定された脈拍数を画面に表示させることによって、画面を視認した人物に対して、被験者の脈拍数を確認させることができる。
 本実施形態の一態様において、推定装置は、被験者の脈拍信号を用いて、被験者の感情状態を推定する。推定装置は、推定された感情状態に応じた情報を出力する。本態様によれば、例えば、計測装置によって計測された生体データを用いて推定された感情状態を画面に表示させることによって、画面を視認した人物に対して、被験者の感情状態を確認させることができる。
 (第4の実施形態)
 次に、第4の実施形態に係る計測装置について図面を参照しながら説明する。本実施形態の計測装置は、第1~第3の計測装置や計測部を簡略化した構成である。図28は、本実施形態に係る計測装置46の構成の一例を示すブロック図である。計測装置46は、計測指示出力部461、受信信号取得部462、生体データ生成部463、計算部464、および計測領域設定部465を備える。
 計測指示出力部461は、複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する。受信信号取得部462は、計測指示に応じて複数の受光素子のうち少なくともいずれかの受信信号を取得する。生体データ生成部463は、取得された受信信号を用いて、受光素子ごとの生体データを生成する。計算部464は、第1計測指示に応じて取得された受信信号を用いて、受光素子ごとの生体データの偏差を計算する。計測領域設定部465は、受光素子ごとの生体データの偏差に応じて、第2計測指示に応じた第2計測に用いられる受光素子を含む計測領域を設定する。
 本実施形態では、光センサを用いた生体データの計測において、受光素子ごとの生体データの偏差に応じて、本計測に相当する第2計測に用いられる受光素子を含む計測領域を設定する。本実施形態によれば、本計測に相当する第2計測において、光センサによる計測や通信の負荷を軽減できる。そのため、本実施形態によれば、光センサを用いた生体データの常時計測を実現できる。
 (ハードウェア)
 ここで、本開示の各実施形態に係る制御や処理を実行するハードウェア構成について、図29の情報処理装置90を一例として挙げて説明する。なお、図29の情報処理装置90は、各実施形態の制御や処理を実行するための構成例であって、本開示の範囲を限定するものではない。
 図29のように、情報処理装置90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96を備える。図29においては、インターフェースをI/F(Interface)と略記する。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96は、バス98を介して、互いにデータ通信可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93、および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークに接続される。
 プロセッサ91は、補助記憶装置93等に格納されたプログラムを、主記憶装置92に展開する。プロセッサ91は、主記憶装置92に展開されたプログラムを実行する。本実施形態においては、情報処理装置90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、各実施形態に係る制御や処理を実行する。
 主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92には、プロセッサ91によって、補助記憶装置93等に格納されたプログラムが展開される。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリによって実現される。また、主記憶装置92として、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリが構成/追加されてもよい。
 補助記憶装置93は、プログラムなどの種々のデータを記憶する。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって実現される。なお、種々のデータを主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
 入出力インターフェース95は、規格や仕様に基づいて、情報処理装置90と周辺機器とを接続するためのインターフェースである。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
 情報処理装置90には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器が接続されてもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成としてもよい。プロセッサ91と入力機器との間のデータ通信は、入出力インターフェース95に仲介させればよい。
 また、情報処理装置90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
 また、情報処理装置90には、ドライブ装置が備え付けられてもよい。ドライブ装置は、プロセッサ91と記録媒体(プログラム記録媒体)との間で、記録媒体からのデータやプログラムの読み込み、情報処理装置90の処理結果の記録媒体への書き込みなどを仲介する。ドライブ装置は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
 以上が、本発明の各実施形態に係る制御や処理を可能とするためのハードウェア構成の一例である。なお、図29のハードウェア構成は、各実施形態に係る制御や処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る制御や処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。記録媒体は、例えば、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体で実現できる。記録媒体は、USB(Universal Serial Bus)メモリやSD(Secure Digital)カードなどの半導体記録媒体によって実現されてもよい。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現されてもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。
 各実施形態の構成要素は、任意に組み合わせてもよい。また、各実施形態の構成要素は、ソフトウェアによって実現されてもよいし、回路によって実現されてもよい。
 以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する計測指示出力部と、
 前記計測指示に応じて複数の前記受光素子のうち少なくともいずれかの受信信号を取得する受信信号取得部と、
 取得された前記受信信号を用いて、前記受光素子ごとの生体データを生成する生体データ生成部と、
 前記第1計測指示に応じて取得された前記受信信号を用いて、前記受光素子ごとの前記生体データの偏差を計算する計算部と、
 前記受光素子ごとの前記生体データの前記偏差に応じて、前記第2計測指示に応じた第2計測に用いられる前記受光素子を含む計測領域を設定する計測領域設定部と、を備える計測装置。
(付記2)
 計測指示出力部は、
 前記受光素子アレイを構成する複数の前記受光素子の全てを用いた計測を指示する前記第1計測指示と、前記受光素子アレイを構成する複数の前記受光素子のうち、前記計測領域の範囲内の前記受光素子を用いた計測を指示する前記第2計測指示とを、前記光センサに出力する付記1に記載の計測装置。
(付記3)
 前記計算部は、
 前記受光素子ごとの前記生体データの代表値と、複数の前記受光素子の全ての前記生体データの代表値との差を、前記受光素子ごとの前記生体データの前記偏差として計算し、
 前記計測領域設定部は、
 前記受光素子ごとの前記生体データの前記偏差に応じて計測候補領域を設定し、
 前記計測候補領域の範囲内に前記計測領域を設定する付記1または2に記載の計測装置。
(付記4)
 前記計測領域設定部は、
 前記受光素子ごとの前記生体データの前記偏差が所定の閾値を越える前記受光素子からなる領域を、前記計測候補領域に設定する付記3に記載の計測装置。
(付記5)
 前記計算部は、
 複数の前記受光素子の全てに関する前記生体データの前記偏差の標準偏差を計算し、
 前記計測領域設定部は、
 前記標準偏差に対して前記偏差が所定倍以上の前記受光素子からなる領域を前記計測候補領域に設定し、
 前記計測候補領域の範囲内に前記計測領域を設定する付記4に記載の計測装置。
(付記6)
 前記計算部は、
 複数の前記受光素子を含む複数の計算領域ごとの前記生体データの代表値と、複数の前記計算領域の全てに関する前記生体データの代表値の平均値との差を、前記計算領域ごとの前記生体データの領域偏差として計算し、
 前記計測領域設定部は、
 前記計算領域ごとの前記生体データの前記領域偏差に応じて前記計測候補領域を設定する付記3乃至5のいずれか一つに記載の計測装置。
(付記7)
 前記計測指示出力部は、
 前記第2計測指示に応じた前記本計測が開始されてから所定期間が経過したタイミングにおいて、前記第1計測指示を前記光センサに出力し、前記計測領域を更新する付記1乃至6のいずれか一つに記載の計測装置。
(付記8)
 前記計測指示出力部は、
 前記第2計測指示に応じた前記本計測において前記生体データの計測値が基準値を下回ると、前記第1計測指示を前記光センサに出力して、前記計測領域を更新する付記1乃至7のいずれか一つに記載の計測装置。
(付記9)
 前記計測指示出力部は、
 前記計測領域を更新する際に、前記計測領域の周辺領域および前記計測領域に絞り込んで前記予備計測を行う指示を含む前記第1計測指示を、前記光センサに出力する付記7または8に記載の計測装置。
(付記10)
 前記計測領域設定部は、
 前記第2計測指示に応じた前記本計測において前記生体データの計測値が途切れると、前記偏差のランクが高い領域を前記計測領域として再設定し、
 前記計測指示出力部は、
 再設定された前記計測領域で計測を継続させる指示を含む前記第2計測指示を、前記光センサに出力する付記1乃至9のいずれか一つに記載の計測装置。
(付記11)
 前記第2計測指示に応じた前記本計測において計測された前記生体データを出力する生体データ出力部を備える付記1乃至10のいずれか一つに記載の計測装置。
(付記12)
 前記生体データ出力部は、
 前記受光素子アレイの受光面に対応付けて前記計測領域が強調表示されたヒートマップを出力する付記11に記載の計測装置。
(付記13)
 付記1乃至12のいずれか一つに記載の計測装置と、
 生体データの計測対象の被験者の皮膚に装着される基板の計測面に配置され、前記被験者の皮膚に向けて光信号を出射する複数の発光器と、
 前記基板の前記計測面に配置され、複数の前記発光器から出射された前記光信号の反射光を受光する複数の受光素子が二次元状に配置された受光素子アレイと、
 前記計測装置からの計測指示に応じて、複数の前記発光器に前記光信号を出射させ、前記受光素子アレイを構成する複数の前記受光素子によって受光される前記光信号の反射光に応じた前記受光素子ごとの受信信号を受信し、受信した前記受光素子ごとの前記受信信号を前記計測装置に出力し、前記計測装置からの第2計測指示に応じた本計測の期間において、前記計測装置によって設定された計測領域の範囲内の前記受光素子による前記受信信号を前記計測装置に出力する制御部と、を備える光センサ。
(付記14)
 付記1乃至12のいずれか一つに記載の計測装置と、
 生体データの計測対象の被験者の皮膚に装着される基板の計測面に配置され、前記被験者の皮膚に向けて光信号を出射する複数の発光器と、前記基板の前記計測面に配置され、複数の前記発光器から出射された前記光信号の反射光を受光する複数の受光素子が二次元状に配置された受光素子アレイと、前記計測装置からの計測指示に応じて、複数の前記発光器に前記光信号を出射させ、前記受光素子アレイを構成する複数の前記受光素子によって受光される前記光信号の反射光に応じた前記受光素子ごとの受信信号を受信し、受信した前記受光素子ごとの前記受信信号を前記計測装置に出力し、前記計測装置からの第2計測指示に応じた本計測の期間において、前記計測装置によって設定された計測領域の範囲内の前記受光素子による前記受信信号を前記計測装置に出力する制御部とを有する光センサと、を備える生体データ計測システム。
(付記15)
 付記1乃至12のいずれか一つに記載の計測装置と、
 前記計測装置によって計測された被験者の生体データを取得し、取得した前記生体データに基づいて前記被験者の生体情報を推定する推定装置と、を備える生体情報推定システム。
(付記16)
 前記計測装置は、
 前記生体データとして前記被験者の脈拍信号を計測し、
 前記推定装置は、
 前記被験者の前記脈拍信号を用いて前記被験者の脈拍数を推定し、
 推定された前記脈拍数に応じた情報を出力する付記15に記載の生体情報推定システム。
(付記17)
 前記推定装置は、
 前記被験者の前記脈拍信号を用いて前記被験者の感情状態を推定し、
 推定された前記感情状態に応じた情報を出力する付記16に記載の生体情報推定システム。
(付記18)
 コンピュータが、
 複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力し、
 前記計測指示に応じて複数の前記受光素子のうち少なくともいずれかの受信信号を取得し、
 取得された前記受信信号を用いて、前記受光素子ごとの生体データを生成し、
 前記第1計測指示に応じて取得された前記受信信号を用いて、前記受光素子ごとの前記生体データの偏差を計算し、
 前記受光素子ごとの前記生体データの前記偏差に応じて、前記第2計測指示に応じた第2計測に用いられる前記受光素子を含む計測領域を設定する計測方法。
(付記19)
 複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する処理と、
 前記計測指示に応じて複数の前記受光素子のうち少なくともいずれかの受信信号を取得する処理と、
 取得された前記受信信号を用いて、前記受光素子ごとの生体データを生成する処理と、
 前記第1計測指示に応じて取得された前記受信信号を用いて、前記受光素子ごとの前記生体データの偏差を計算する処理と、
 前記受光素子ごとの前記生体データの前記偏差に応じて、前記第2計測指示に応じた第2計測に用いられる前記受光素子を含む計測領域を設定する処理とをコンピュータに実行させるプログラム。
 1  生体データ計測システム
 3  生体情報推定システム
 10、20、30  光センサ
 11、21  発光器
 12、22  受光素子アレイ
 13、23  制御部
 16、36、46  計測装置
 37  推定装置
 100、300  端末装置
 110  基板
 111  粘着層
 131、231  計測指示取得部
 132、232  発光制御部
 133、233  記憶部
 134、234  信号取得部
 135、235  信号出力部
 161、461  計測指示出力部
 162、462  受信信号取得部
 163、463  生体データ生成部
 164、464  計算部
 165、465  計測領域設定部
 166  生体データ出力部
 236  計測部
 340  学習装置
 370  推定モデル

Claims (19)

  1.  複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する計測指示出力手段と、
     前記計測指示に応じて複数の前記受光素子のうち少なくともいずれかの受信信号を取得する受信信号取得手段と、
     取得された前記受信信号を用いて、前記受光素子ごとの生体データを生成する生体データ生成手段と、
     前記第1計測指示に応じて取得された前記受信信号を用いて生成された前記生体データを用いて、前記受光素子ごとの前記生体データの偏差を計算する計算手段と、
     前記受光素子ごとの前記生体データの前記偏差に応じて、前記第2計測指示に応じた第2計測に用いられる前記受光素子を含む計測領域を設定する計測領域設定手段と、を備える計測装置。
  2.  計測指示出力手段は、
     前記受光素子アレイを構成する複数の前記受光素子の全てを用いた計測を指示する前記第1計測指示と、前記受光素子アレイを構成する複数の前記受光素子のうち、前記計測領域の範囲内の前記受光素子を用いた計測を指示する前記第2計測指示とを、前記光センサに出力する請求項1に記載の計測装置。
  3.  前記計算手段は、
     前記受光素子ごとの前記生体データの代表値と、複数の前記受光素子の全ての前記生体データの代表値との差を、前記受光素子ごとの前記生体データの前記偏差として計算し、
     前記計測領域設定手段は、
     前記受光素子ごとの前記生体データの前記偏差に応じて計測候補領域を設定し、
     前記計測候補領域の範囲内に前記計測領域を設定する請求項1または2に記載の計測装置。
  4.  前記計測領域設定手段は、
     前記受光素子ごとの前記生体データの前記偏差が所定の閾値を越える前記受光素子からなる領域を、前記計測候補領域に設定する請求項3に記載の計測装置。
  5.  前記計算手段は、
     複数の前記受光素子の全てに関する前記生体データの前記偏差の標準偏差を計算し、
     前記計測領域設定手段は、
     前記標準偏差に対して前記偏差が所定倍以上の前記受光素子からなる領域を前記計測候補領域に設定し、
     前記計測候補領域の範囲内に前記計測領域を設定する請求項4に記載の計測装置。
  6.  前記計算手段は、
     複数の前記受光素子を含む複数の計算領域ごとの前記生体データの代表値と、複数の前記計算領域の全てに関する前記生体データの代表値の平均値との差を、前記計算領域ごとの前記生体データの領域偏差として計算し、
     前記計測領域設定手段は、
     前記計算領域ごとの前記生体データの前記領域偏差に応じて前記計測候補領域を設定する請求項3乃至5のいずれか一項に記載の計測装置。
  7.  前記計測指示出力手段は、
     前記第2計測指示に応じた前記第2計測が開始されてから所定期間が経過したタイミングにおいて、前記第1計測指示を前記光センサに出力して、前記計測領域を更新する請求項1乃至6のいずれか一項に記載の計測装置。
  8.  前記計測指示出力手段は、
     前記第2計測指示に応じた前記第2計測において前記生体データの計測値が基準値を下回ると、前記第1計測指示を前記光センサに出力して、前記計測領域を更新する請求項1乃至7のいずれか一項に記載の計測装置。
  9.  前記計測指示出力手段は、
     前記計測領域を更新する際に、前記計測領域の周辺領域および前記計測領域に絞り込んで前記第1計測を行う指示を含む前記第1計測指示を、前記光センサに出力する請求項7または8に記載の計測装置。
  10.  前記計測領域設定手段は、
     前記第2計測指示に応じた前記第2計測において前記生体データの計測値が途切れると、前記偏差のランクが高い領域を前記計測領域として再設定し、
     前記計測指示出力手段は、
     再設定された前記計測領域で計測を継続させる指示を含む前記第2計測指示を、前記光センサに出力する請求項1乃至9のいずれか一項に記載の計測装置。
  11.  前記第2計測指示に応じた前記第2計測において計測された前記生体データを出力する生体データ出力手段を備える請求項1乃至10のいずれか一項に記載の計測装置。
  12.  前記生体データ出力手段は、
     前記受光素子アレイの受光面に対応付けて前記計測領域が強調表示されたヒートマップを出力する請求項11に記載の計測装置。
  13.  請求項1乃至12のいずれか一項に記載の計測装置と、
     生体データの計測対象の被験者の皮膚に装着される基板の計測面に配置され、前記被験者の皮膚に向けて光信号を出射する複数の発光器と、
     前記基板の前記計測面に配置され、複数の前記発光器から出射された前記光信号の反射光を受光する複数の受光素子が二次元状に配置された受光素子アレイと、
     前記計測装置からの計測指示に応じて、複数の前記発光器に前記光信号を出射させ、前記受光素子アレイを構成する複数の前記受光素子によって受光される前記光信号の反射光に応じた前記受光素子ごとの受信信号を受信し、受信した前記受光素子ごとの前記受信信号を前記計測装置に出力し、前記計測装置からの第2計測指示に応じた第2計測の期間において、前記計測装置によって設定された計測領域の範囲内の前記受光素子による前記受信信号を前記計測装置に出力する制御手段と、を備える光センサ。
  14.  請求項1乃至12のいずれか一項に記載の計測装置と、
     生体データの計測対象の被験者の皮膚に装着される基板の計測面に配置され、前記被験者の皮膚に向けて光信号を出射する複数の発光器と、前記基板の前記計測面に配置され、複数の前記発光器から出射された前記光信号の反射光を受光する複数の受光素子が二次元状に配置された受光素子アレイと、前記計測装置からの計測指示に応じて、複数の前記発光器に前記光信号を出射させ、前記受光素子アレイを構成する複数の前記受光素子によって受光される前記光信号の反射光に応じた前記受光素子ごとの受信信号を受信し、受信した前記受光素子ごとの前記受信信号を前記計測装置に出力し、前記計測装置からの第2計測指示に応じた第2計測の期間において、前記計測装置によって設定された計測領域の範囲内の前記受光素子による前記受信信号を前記計測装置に出力する制御手段とを有する光センサと、を備える生体データ計測システム。
  15.  請求項1乃至12のいずれか一項に記載の計測装置と、
     前記計測装置によって計測された被験者の生体データを取得し、取得した前記生体データに基づいて前記被験者の生体情報を推定する推定装置と、を備える生体情報推定システム。
  16.  前記計測装置は、
     前記生体データとして前記被験者の脈拍信号を計測し、
     前記推定装置は、
     前記被験者の前記脈拍信号を用いて前記被験者の脈拍数を推定し、
     推定された前記脈拍数に応じた情報を出力する請求項15に記載の生体情報推定システム。
  17.  前記推定装置は、
     前記被験者の前記脈拍信号を用いて前記被験者の感情状態を推定し、
     推定された前記感情状態に応じた情報を出力する請求項16に記載の生体情報推定システム。
  18.  コンピュータが、
     複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力し、
     前記計測指示に応じて複数の前記受光素子のうち少なくともいずれかの受信信号を取得し、
     取得された前記受信信号を用いて、前記受光素子ごとの生体データを生成し、
     前記第1計測指示に応じて取得された前記受信信号を用いて生成された前記生体データを用いて、前記受光素子ごとの前記生体データの偏差を計算し、
     前記受光素子ごとの前記生体データの前記偏差に応じて、前記第2計測指示に応じた第2計測に用いられる前記受光素子を含む計測領域を設定する計測方法。
  19.  複数の受光素子が二次元状に配列された受光素子アレイを含む光センサに対して、予備計測に相当する第1計測を指示する第1計測指示と、本計測に相当する第2計測を指示する第2計測指示とを含む計測指示を出力する処理と、
     前記計測指示に応じて複数の前記受光素子のうち少なくともいずれかの受信信号を取得する処理と、
     取得された前記受信信号を用いて、前記受光素子ごとの生体データを生成する処理と、
     前記第1計測指示に応じて取得された前記受信信号を用いて生成された前記生体データを用いて、前記受光素子ごとの前記生体データの偏差を計算する処理と、
     前記受光素子ごとの前記生体データの前記偏差に応じて、前記第2計測指示に応じた第2計測に用いられる前記受光素子を含む計測領域を設定する処理とをコンピュータに実行させるプログラムを記録させた非一過性の記録媒体。
PCT/JP2021/045471 2021-12-10 2021-12-10 計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体 WO2023105741A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023565830A JPWO2023105741A5 (ja) 2021-12-10 計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、およびプログラム
PCT/JP2021/045471 WO2023105741A1 (ja) 2021-12-10 2021-12-10 計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045471 WO2023105741A1 (ja) 2021-12-10 2021-12-10 計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2023105741A1 true WO2023105741A1 (ja) 2023-06-15

Family

ID=86729965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045471 WO2023105741A1 (ja) 2021-12-10 2021-12-10 計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体

Country Status (1)

Country Link
WO (1) WO2023105741A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164826A (ja) * 1997-12-04 1999-06-22 Hitachi Ltd 生体光計測装置
JP2005198828A (ja) * 2004-01-15 2005-07-28 Seiko Epson Corp 生体情報解析装置、生体情報解析方法、制御プログラムおよび記録媒体
JP2013121420A (ja) * 2011-12-09 2013-06-20 Sony Corp 測定装置、測定方法、プログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164826A (ja) * 1997-12-04 1999-06-22 Hitachi Ltd 生体光計測装置
JP2005198828A (ja) * 2004-01-15 2005-07-28 Seiko Epson Corp 生体情報解析装置、生体情報解析方法、制御プログラムおよび記録媒体
JP2013121420A (ja) * 2011-12-09 2013-06-20 Sony Corp 測定装置、測定方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JPWO2023105741A1 (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
JP6879674B2 (ja) 血圧推定方法及び装置
JP6608388B2 (ja) ユーザの心拍数の変動を検出するためのシステム及び方法
US9946344B2 (en) Functional near infrared spectroscopy based brain computer interface
US9848814B2 (en) Vehicle seat with integrated sensors
JP6559910B2 (ja) ウェアラブルデバイス及び被験者の皮膚電位を決定する方法
JP6290248B2 (ja) 遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法
US10363388B2 (en) System and method for enhancing sleep slow wave activity based on cardiac characteristics or respiratory characteristics
CN102056535B (zh) 在对象中获得预期状态的方法
JP7191159B2 (ja) コンピュータプログラム、及び、被験者の感情状態を提供する方法
WO2015101698A2 (en) A method and system for measuring stress and recovery
US20150119770A1 (en) Multi-mode massage device using biofeedback
US20210186347A1 (en) Method and apparatus for determining a health status of an infant
US20140221848A1 (en) Biological information detecting device, biological information detecting method, and biological information detection program
US10298282B2 (en) Multi-modal sensing wearable device for physiological context measurement
US20220304603A1 (en) Wearable device operable to detect and/or manage user emotion
JP2016513497A (ja) 脳の健康の多様式の生理学的な評価に関する形態要素
JP7333270B2 (ja) 健康状態を監視するためのシステム、その作動方法、及びそのコンピュータプログラム
US10709376B2 (en) System for supporting an elderly, frail and/or diseased person
KR20200103397A (ko) 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법
JP2006318450A (ja) 制御システム
JP2017536946A (ja) 意識状態を決定するデバイスおよび方法
JP2019136183A (ja) 感情識別装置
WO2023105741A1 (ja) 計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体
WO2023047445A1 (ja) 脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体
US20220304622A1 (en) Wearable device operable to detect and/or prepare a user for sleep

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967236

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023565830

Country of ref document: JP