WO2023047445A1 - 脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体 - Google Patents

脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体 Download PDF

Info

Publication number
WO2023047445A1
WO2023047445A1 PCT/JP2021/034502 JP2021034502W WO2023047445A1 WO 2023047445 A1 WO2023047445 A1 WO 2023047445A1 JP 2021034502 W JP2021034502 W JP 2021034502W WO 2023047445 A1 WO2023047445 A1 WO 2023047445A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pulse
subject
emitters
light receiving
Prior art date
Application number
PCT/JP2021/034502
Other languages
English (en)
French (fr)
Inventor
和紀 井原
浩幸 遠藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/034502 priority Critical patent/WO2023047445A1/ja
Priority to US18/688,832 priority patent/US20240277273A1/en
Priority to JP2023549179A priority patent/JPWO2023047445A5/ja
Publication of WO2023047445A1 publication Critical patent/WO2023047445A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0462Apparatus with built-in sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04Arrangements of multiple sensors of the same type
    • A61B2562/046Arrangements of multiple sensors of the same type in a matrix array

Definitions

  • the present disclosure relates to a pulse measuring device and the like that measures the pulse.
  • Patent Literature 1 discloses a method of deriving the mental state of a subject using biosignals detected for the subject.
  • biosignals detected for the subject.
  • statistical variations are calculated for a plurality of physiological parameters derived from biosignals, and a subject's excitement level is determined based on the calculated statistical variations.
  • a time-domain heart rate variability signal is derived from a biosignal to calculate a plurality of heart rate variability parameters, and based on the calculated values of the plurality of heart rate variability parameters, a subject's emotional valence level is calculated. demand.
  • the method of Patent Document 1 derives the subject's mental state according to the excitement level and the emotional valence level.
  • Non-Patent Document 1 discloses a flexible imaging device in which a high-resolution array sensor is mounted on a flexible substrate.
  • the device of Non-Patent Document 1 has a structure in which a polycrystalline silicon thin film transistor readout circuit and an organic photodiode with high sensitivity in the near-infrared region are combined.
  • the device of Non-Patent Document 1 can acquire biometric information such as pulse and vein image of the subject with high resolution by being attached to the skin of the subject.
  • the subject's mental state can be derived by the method of Patent Document 1.
  • the method of Non-Patent Document 1 measurement conditions for pulse signals detected within the plane of the array sensor are unsuitable due to the effects of the environment under the skin where the device is attached and the difference in the distance between the light source and the sensor. become uniform.
  • the technique of Non-Patent Document 1 is affected by artifacts caused by heartbeats and body movements, so it is difficult to make pulse signal measurement conditions uniform within the plane of the array sensor. That is, with the method of Non-Patent Document 1, it was difficult to accurately measure the pulse of the subject.
  • the purpose of the present disclosure is to provide a pulse measuring device or the like that can accurately measure the pulse of a subject.
  • a pulse measurement device includes a plurality of light emitters arranged on a measurement surface of a substrate attached to the skin of a subject whose pulse is to be measured and emitting light toward the skin of the subject, and a measurement surface of the substrate.
  • a light receiver including a plurality of light receiving units for receiving reflected light of light emitted from the plurality of light emitters; receiving a corresponding received signal from the light receiver, optimizing the strength of the received signal using a normalization constant set for each of the plurality of light emitters, and generating the strength-optimized received signal using the normalization constant; and a control unit for outputting as a pulse signal.
  • a pulse measurement method includes a plurality of light emitters that emit light toward the skin of a subject whose pulse is to be measured, and a plurality of light receivers that receive the reflected light of the light emitted from the plurality of light emitters.
  • a program includes a plurality of light emitters that emit light toward the skin of a subject whose pulse is to be measured, and a plurality of light receiving units that receive the reflected light of the light emitted from the plurality of light emitters.
  • a program for controlling a light receiver comprising: a process for emitting light to a plurality of light emitters; and a process for receiving from the light receiver a received signal corresponding to the reflected light of the light received by the light receiver. , a process of optimizing the intensity of the received signal using a normalized constant set for each of the plurality of light emitters, and a process of outputting the received signal whose intensity is optimized using the normalized constant as a pulse signal. , is executed by the computer.
  • a pulse measuring device or the like that can accurately measure the pulse of a subject.
  • FIG. 1 is a block diagram showing an example of a configuration of a pulse measuring device according to a first embodiment
  • FIG. 1 is a conceptual diagram of the pulse measuring device according to the first embodiment viewed from the measurement surface side
  • FIG. 1 is a cross-sectional view for explaining the configuration of a pulse measuring device according to a first embodiment
  • FIG. 1 is a conceptual diagram showing an example in which the pulse measuring device according to the first embodiment is worn on the skin of a subject
  • FIG. 2 is a conceptual diagram for explaining factors affecting the light intensity of reflected light measured by the pulse measuring device according to the first embodiment
  • FIG. 4 is a conceptual diagram for explaining an example of intensity of a received signal according to reflected light measured by the pulse measuring device according to the first embodiment
  • FIG. 4 is a conceptual diagram for explaining an example of normalization constant setting by the pulse measuring device according to the first embodiment;
  • FIG. 4 is a conceptual diagram for explaining an example of optimization of received signals by the pulse measuring device according to the first embodiment;
  • FIG. 4 is a conceptual diagram showing an example of displaying a pulse rate according to a pulse signal output from the pulse measuring device according to the first embodiment;
  • FIG. 4 is a conceptual diagram showing an example of displaying time-series data of a pulse signal output from the pulse measuring device according to the first embodiment;
  • 4 is a flowchart for explaining an example of calibration by the pulse measuring device according to the first embodiment;
  • FIG. 7 is a flowchart for explaining another example of calibration by the pulse measuring device according to the first embodiment;
  • FIG. 4 is a flowchart for explaining an example of pulse measurement by the pulse measurement device according to the first embodiment; It is a conceptual diagram which shows an example of a structure of the pulse measuring device which concerns on related technology. It is a conceptual diagram which shows an example of the signal measured by the pulse measuring device which concerns on related technology. It is a conceptual diagram which shows another example of the signal measured by the pulse measuring device which concerns on related technology. It is a conceptual diagram which shows another example of the signal measured by the pulse measuring device which concerns on related technology.
  • FIG. 10 is a block diagram showing an example of the configuration of a pulse measuring device according to a second embodiment; FIG. FIG. 10 is a conceptual diagram of the pulse measuring device according to the second embodiment as viewed from the measurement surface side; FIG.
  • FIG. 3 is a cross-sectional view for explaining the configuration of a pulse measuring device according to a second embodiment
  • FIG. 11 is a conceptual diagram for explaining an example of normalization constant setting by the pulse measuring device according to the second embodiment
  • FIG. 10 is a conceptual diagram showing an example of an environment within a measurement range measured by the pulse measuring device according to the second embodiment
  • FIG. 10 is a conceptual diagram for explaining an active area set in a light receiving element array of a pulse measuring device according to a second embodiment
  • FIG. 10 is a conceptual diagram for explaining a modification of the pulse measuring device according to the second embodiment; 9 is a flowchart for explaining an example of calibration by the pulse measuring device according to the second embodiment; 9 is a flowchart for explaining an example of setting a measurement target range by the pulse measuring device according to the second embodiment; 9 is a flowchart for explaining an example of pulse measurement by the pulse measurement device according to the second embodiment; It is a block diagram which shows an example of a structure of the biometric information estimation apparatus which concerns on 3rd Embodiment.
  • FIG. 11 is a conceptual diagram for explaining an emotional state estimated by the biological information estimation device according to the third embodiment;
  • FIG. 11 is a conceptual diagram for explaining an example of generation of an estimation model used by the biological information estimation device according to the third embodiment; FIG.
  • FIG. 11 is a conceptual diagram for explaining an example of emotional state estimation using an estimation model by the biological information estimation device according to the third embodiment;
  • FIG. 11 is a conceptual diagram showing an example of displaying on a screen information corresponding to the pulse rate estimated by the biological information estimation device according to the third embodiment;
  • FIG. 11 is a conceptual diagram showing an example of displaying on a screen information corresponding to an emotional state estimated by the biological information estimation device according to the third embodiment;
  • FIG. 11 is a block diagram showing an example of the configuration of a pulse measuring device according to a fourth embodiment;
  • FIG. It is a block which shows an example of a hardware configuration which implement
  • the pulse measuring device of this embodiment is attached to the skin of the subject.
  • the pulse measuring device of this embodiment irradiates light from the subject's skin and receives reflected light of the light.
  • the pulse measuring device of this embodiment measures the subject's pulse according to the intensity change of the received reflected light.
  • FIG. 1 is a block diagram showing an example of the configuration of a pulse measuring device 10 according to this embodiment.
  • the pulse measuring device 10 includes a plurality of light emitters 11-1 to 11-m, a light receiver 12, and a controller 13 (m is a natural number of 2 or more).
  • the photodetector 12 includes a plurality of photodetectors 120-1 to n (n is a natural number of 2 or more).
  • the control unit 13 has a light emission control unit 131 , a signal acquisition unit 132 , a normalization constant setting unit 133 , a storage unit 134 , an optimization unit 135 and an output unit 136 .
  • light emitter 11-m when items common to a plurality of light emitters 11-1 to 11-m are described, they may be referred to as light emitter 11-m. Similarly, in the following, when items common to the plurality of light receiving units 120-1 to 120-n are described, they may be referred to as light receiving unit 120 in some cases.
  • FIG. 2 is a conceptual diagram of the measurement surface of the pulse measurement device 10.
  • FIG. FIG. 3 is a cross-sectional view of the pulse measuring device 10 taken along line AA in FIG.
  • An example in which the pulse measuring device 10 includes two light emitters 11 (E1, E2) and three light receivers 120 (R1, R2, R3) will be described below.
  • 2 and 3 show an example in which two light emitters 11 and three light receivers 120 are arranged on the same surface (also called the measurement surface) of the substrate 14.
  • An adhesive layer 17 for attaching the pulse measuring device 10 to the subject's skin is provided on the peripheral portion of the substrate 14 within the measurement surface. The pulse measuring device 10 is attached to the skin of the subject so that light from the outside does not enter the measurement surface side of the substrate 14 .
  • the controller 13 is arranged on the surface facing the measurement surface.
  • the position where the control unit 13 is arranged is not limited to the surface facing the measurement surface.
  • the controller 13 may be arranged inside the substrate 14 or at a position away from the light emitter 11 and the light receiver 12 .
  • the light emitter 11 has an emission surface for emitting light used for pulse measurement.
  • the light emitted by the light emitter 11 during pulse measurement is also called an optical signal.
  • the plurality of light emitters 11 are arranged so that their emission surfaces face the same direction.
  • the emission surfaces of the plurality of light emitters 11 and the light receiving surfaces of the plurality of light receiving units 120 are arranged in the same direction.
  • the emission surface of the light emitter 11 is directed toward the subject's skin while the pulse measuring device 10 is attached to the subject's skin.
  • the light emitter 11 emits an optical signal in a wavelength band that can measure the pulse.
  • the light emitter 11 is implemented by an LED (Light Emitting Diode).
  • the light emitter 11 emits an optical signal in the green wavelength band.
  • an optical signal in the green wavelength band is suitable.
  • the light emitter 11 emits an optical signal in the near-infrared wavelength band. Near-infrared rays of about 1.1 micrometers, for example, are suitable for measuring the entire vein.
  • the wavelength band of the optical signal emitted by the light emitter 11 is not particularly limited as long as it is a wavelength band that allows pulse measurement.
  • the light outputs of the plurality of light emitters 11 may be the same or different.
  • the light output of the plurality of light emitters 11 may be constant or adjustable. If the light outputs of a plurality of light emitters 11 are adjustable, the light output of each light emitter 11 can be adjusted.
  • the light receiving section 120 has a light receiving section for receiving the reflected light of the optical signal emitted from the light emitter 11 .
  • the reflected light is a light component of the optical signal emitted from the light emitter 11 that is reflected/scattered under the skin (inside the body) of the subject and reaches the light receiving section 120 .
  • the light receiving section 120 is implemented by a photodiode sensitive to the wavelength band of the optical signal emitted from the light emitter 11 .
  • the control unit 13 controls the multiple light emitters 11 .
  • the control unit 13 is realized by a microcomputer (also called a microcomputer) or a microcontroller.
  • the control unit 113 has a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), flash memory, and the like.
  • the control unit 13 executes control and processing according to a pre-stored program.
  • the control unit 13 executes control and processing according to a program according to a preset schedule, instructions from the outside, and the like.
  • the control unit 113 causes the flash memory to store the received signal acquired from the light receiving unit 120 .
  • the control unit 13 outputs digital data stored in the flash memory at a predetermined timing.
  • FIG. 4 is a conceptual diagram showing how the optical signal emitted from the light emitter 11 is reflected/scattered under the skin (inside the body) of the subject.
  • the reflected light of the optical signal emitted from each of the plurality of light emitters 11 is received by each of the plurality of light receiving sections 120 via different paths.
  • the light signal emitted from each of the plurality of light emitters 11 varies in light intensity according to the light absorption and scattering characteristics of body tissues such as skin, blood vessels, muscles, fat, and bones. Therefore, the light intensity of the reflected light received by the light receiving unit 120 fluctuates according to the length of the optical signal/reflected light path, the environment under the skin, and the subject's body movement.
  • an optical signal is emitted from the light emitter 11 into the body of the subject through the skin, and the subject's pulse is measured according to the reflected light of the optical signal.
  • changes in blood volume in the body due to pulsation are measured as changes in absorbance (also referred to as changes in light intensity).
  • FIG. 5 is a conceptual diagram for explaining factors affecting the light intensity of the reflected light received by the light receiving section 120.
  • Factors that affect the light intensity of reflected light include fluctuating components and stationary components.
  • the fluctuating component is also called an AC (Alternating Current) component.
  • the AC component fluctuates due to pulsation.
  • a stationary component is also called a DC (Direct Current) component.
  • the DC component hardly fluctuates with pulsation.
  • a pulse is measured based on the light intensity change of the reflected light according to the variation of the AC component. In this embodiment, the fluctuation of the AC component is measured as pulsation.
  • FIG. 6 is a conceptual diagram for explaining the light intensity of reflected light when optical signals emitted from a plurality of light emitters 11 are received by the same light receiving section 120.
  • FIG. The upper part of FIG. 6 shows the waveform at the time of emission of the optical signal emitted by the light emitters 11 (E1, E2).
  • the lower part of FIG. 6 shows the waveform of the reflected light received by the light receiving unit 120 (R2) at the time of light reception.
  • the light emitters E1 and E2 emit optical signals with the same light intensity and different frequencies at the same timing.
  • the light emitter E1 emits an optical signal of frequency f1.
  • the light emitter E2 emits an optical signal of frequency f2.
  • the light receiving section R2 receives the reflected light of the optical signals emitted from the light emitters E1 and E2 at the same timing. However, it is assumed that the difference in the timing of receiving the reflected light due to the difference between the distance between the light emitter E1 and the light receiver R2 and the distance between the light emitter E2 and the light receiver R2 is less than the detection limit.
  • the reflected light of the optical signal emitted from the light emitter E1 and the reflected light of the optical signal emitted from the light emitter E2 are affected by the distance of the path of the optical signal/reflected light, the environment under the skin, body movement, etc. are measured at different light intensities at the light receiving portion R2.
  • the waveform of the reflected light is optimized so that the degree of influence of each light emitter 11 on each of the plurality of light receiving units 120 is uniform.
  • the degree of influence of the light emitter e on the light receiver r is expressed as I(e, r).
  • a normalization constant of the light receiving portion r with respect to the light emitter e is expressed as C(e, r).
  • the normalization constant C(e,r) is determined by calibration. For example, when measuring the pulse, the intensity of the reflected light received by the light receiving portion r is corrected by Equation 1 below.
  • M(e,r) is the normalized reflected light intensity.
  • Each of the plurality of light receiving units 120 is individually standardized for each light emitter 11 .
  • M(e,r) I(e,r) ⁇ C(e,r) (1) FIG.
  • FIG. 7 is a conceptual diagram for explaining the degree of influence of the light-receiving unit 11 on the light-receiving unit 120 and standardization of the light-receiving unit 120 with respect to the light-emitting unit 11.
  • the upper part of FIG. 7 (above the arrow) is an influence map that maps the magnitude relationship of the influence of each light emitter 11 on each light receiving unit 120 .
  • the lower part of FIG. 7 (below the arrow) is a normalization map that maps the magnitude relation of the normalization constant for each light receiving unit 120 for each light emitter 11 .
  • the degree of influence and the magnitude of the normalized constant are expressed by the magnitude of the radius of the circle.
  • the larger the influence and the normalization constant the larger the radius of the circle, and the smaller the influence and the normalization constant, the smaller the radius of the circle. Note that the size of the circle indicating the magnitude relationship between the influence degree and the normalization constant shown in the influence map and the normalization map conceptually indicates the relative magnitude relation.
  • the degree of influence of the light emitter E1 is greater in the light receiving section R1 than in the light receiving section R3. Therefore, in order to equalize the light intensity of the optical signal emitted from the light emitter E1 between the light receiving section R1 and the light receiving section R3, the normalization constant should be multiplied by .
  • the light-receiving portion R3 is more influenced by the light-emitting device E2 than the light-receiving portion R1. Therefore, in order to equalize the light intensity of the optical signal emitted from the light emitter E2 between the light receiving portion R1 and the light receiving portion R3, the normalization constant should be multiplied by .
  • FIG. 7 the degree of influence of the light emitter E1 is greater in the light receiving section R1 than in the light receiving section R3. Therefore, in order to equalize the light intensity of the optical signal emitted from the light emitter E1 between the light receiving section R1 and the light receiving section R3, the normalization constant should be multiplied by .
  • FIG. 8 is a conceptual diagram for explaining normalization of the light intensity of reflected light when optical signals emitted from a plurality of light emitters 11 are received by the same light receiving section 120 (light receiving section R2).
  • the upper part of FIG. 8 shows the waveform of the reflected light received by the light receiving section 120 (R2).
  • the lower part of FIG. 8 shows the normalized waveform of the reflected light received by the light receiving section 120 (R2).
  • the light emitters E1 and E2 emit optical signals with the same light intensity and different frequencies at the same timing.
  • the light emitter E1 emits an optical signal of frequency f1.
  • the light emitter E2 emits an optical signal of frequency f2.
  • the light receiving section R2 receives the reflected light of the optical signals emitted from the light emitters E1 and E2 at the same timing. However, it is assumed that the difference in the timing of receiving the reflected light due to the difference between the distance between the light emitter E1 and the light receiver R2 and the distance between the light emitter E2 and the light receiver R2 is less than the detection limit.
  • the reflected light of the optical signal emitted from the light emitter E1 and the reflected light of the optical signal emitted from the light emitter E2 are measured with different light intensities in the light receiving part R2 (upper part).
  • the light intensity of the reflected light is multiplied by a normalization constant that makes the degree of influence of the plurality of light emitters 11 uniform on each of the plurality of light receiving sections 120 .
  • the degree of influence of each of the plurality of light emitters 11 becomes uniform for each light receiving section 120, and the light intensity of the reflected light of the optical signals emitted from the light emitters E1 and E2 becomes equal.
  • a normalization constant is set for each of the plurality of light receiving sections 120 so that the degree of influence of the light emitter E1 on the plurality of light receiving sections 120 is uniform.
  • the normalization constant for the light emitter E1 is set to 0.5 for the light receiving portion R1, 1 for the light receiving portion R2, and 2 for the light receiving portion R3.
  • the multiple can equalize the effects of the light emitters 11 of . For example, by adjusting the light output of the plurality of light emitters 11 based on the normalization constant for each light emitter 11 set for each of the plurality of light receivers 120, light emission to each of the plurality of light receivers 120 is performed. The influence of each device 11 may be made uniform.
  • the control unit 13 individually controls each of the plurality of light emitters 11 to emit an optical signal from each of the plurality of light emitters 11 .
  • the control unit 13 collectively controls the plurality of light emitters 11 so that optical signals having the same intensity are output from the plurality of light emitters 11 .
  • the control unit 13 controls each of the plurality of light emitters 11 so that each of the plurality of light emitters 11 outputs an optical signal having an individual intensity.
  • the control unit 13 may stop the operation of one of the plurality of light emitters 11 depending on the situation.
  • the control unit 13 controls the light emitter 11 under different conditions during the calibration period and the pulse measurement period.
  • the control unit 13 controls the light emitter 11 so that modulated light for calibration is emitted.
  • the control unit 13 causes the plurality of light emitters 11 to emit modulated light with different frequencies.
  • the modulated light emitted from the plurality of light emitters 11 is modulated with a unique frequency for each light emitter 11 . Therefore, according to the frequency of the reflected light received by each of the plurality of light receiving units 120, the light emitter 11 from which the modulated light corresponding to the reflected light is emitted can be distinguished.
  • Calibration is performed at preset timings. For example, calibration is performed when the pulse measuring device 10 is attached to the subject. For example, calibration is performed when the pulse measuring device 10 is activated. For example, calibration may be performed at preset refresh timings. For example, calibration may be set to be performed at the request of a user, such as a subject. The calibration timing can be set arbitrarily.
  • the control unit 13 controls the light emitter 11 so that an optical signal for pulse measurement is emitted.
  • the control unit 13 causes the plurality of light emitters 11 to emit optical signals with different frequencies.
  • Optical signals emitted from the plurality of light emitters 11 are emitted at frequencies unique to each light emitter 11 . Therefore, according to the frequency of the reflected light received by each of the plurality of light receiving units 120, the light emitter 11 from which the optical signal corresponding to the reflected light is emitted can be distinguished.
  • the control unit 13 acquires from the plurality of light receiving units 120 reception signals corresponding to the reflected light received by each of the plurality of light receiving units 120 .
  • the received signal has an intensity corresponding to the intensity of the reflected light received by each of the plurality of light receiving units 120 .
  • the control unit 13 processes the received signal under different conditions during the calibration period and the pulse measurement period.
  • the control unit 13 acquires a received signal from the light receiving unit 120 that received the reflected light of the modulated light for calibration.
  • the control unit 13 calculates the degree of influence for each light emitter 11 with respect to each of the plurality of light receiving units 120 .
  • the control unit 13 sets a normalization constant for each light emitter 11 regarding each of the plurality of light receiving units 120 based on the calculated degree of influence.
  • the control unit 13 acquires a received signal from the light receiving unit 120 that receives the reflected light of the optical signal for pulse measurement.
  • the control unit 13 optimizes the intensity of the received signal acquired from each of the multiple light receiving units 120 .
  • the control unit 13 multiplies the intensity of the received signal acquired from each of the plurality of light receiving units 120 by a normalization constant set for each light emitting device 11 for each of the plurality of light receiving units 120, thereby obtaining the intensity of the received signal. Optimize strength.
  • the control unit 13 outputs a standardized signal (also called a pulse signal).
  • the control unit 13 may output the pulse signal via a cable such as a cable, or may output the pulse signal via wireless communication.
  • the control unit 13 is configured to output a pulse signal via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the communication function of the control unit 13 may conform to standards other than Bluetooth (registered trademark) and WiFi (registered trademark).
  • the control unit 13 transmits a pulse signal to a terminal device (not shown) connected to the pulse measuring device 10 .
  • the control unit 13 transmits a pulse signal to a mobile terminal (not shown) carried by the user using the pulse measuring device 10 .
  • the substrate 14 is a bendable substrate.
  • the substrate 14 has a bendable plate-like shape.
  • the substrate 14 has a structure in which a conductive layer such as copper foil is formed on the surface of a base layer made of polyimide, and the conductive layer is laminated with a covering layer of plastic film.
  • the base layer and coating layer of the substrate 14 may be mainly composed of urethane nonwoven fabric, vinyl chloride, elastic cotton cloth, sponge sheet, urethane film, or olefin film.
  • the light emitter 11, the light receiving section 120, and the control section 13 mounted on the substrate 14 may be configured to deform according to the deformation of the substrate 14, or may be configured not to deform.
  • a plurality of light emitters 11 and a plurality of light receivers 120 are arranged on the measurement surface of the substrate 14 .
  • An adhesive layer 17 is formed on the peripheral portion of the measurement surface of the substrate 14 .
  • the portion on which the adhesive layer 17 is formed may be made of a different material or have a different structure from the other portions. For example, if the portion where the adhesive layer 17 is formed has a mesh-like structure, the portion of the adhesive layer 17 is less likely to get stuffy, and a decrease in the adhesive strength of the adhesive layer 17 due to perspiration or the like can be suppressed.
  • a control unit 13 is arranged on the second surface of the substrate 14 facing the measurement surface. The controller 13 may be arranged inside the substrate 14 .
  • the controller 13 may be arranged inside the substrate 14 in order to improve waterproofness.
  • the control unit 13 may be covered with a waterproof film or the like in order to improve waterproofness.
  • the substrate 14 deforms according to the shape of the attached portion.
  • the material, structure, and shape of the substrate 14 are not particularly limited.
  • the adhesive layer 17 is formed on the peripheral portion of the measurement surface of the substrate 14 .
  • the adhesive layer 17 contains an adhesive for attaching the pulse measuring device 10 to the subject's body.
  • the adhesive layer 17 contains an acrylic adhesive, a rubber adhesive, or a silicone adhesive.
  • the adhesive layer 17 preferably has a light shielding property so that light from the outside does not reach the light emitter 11 and the light receiving section 120 .
  • the material of the adhesive layer 17 is not particularly limited.
  • the adhesive layer 17 it is better to use a material that is less irritating to the skin.
  • the adhesive layer 17 may contain a substance that reduces skin discomfort.
  • the adhesive layer 17 may contain menthol or the like.
  • the adhesive layer 17 may contain a substance that suppresses a decrease in adhesive force due to absorption of moisture such as perspiration.
  • the adhesive layer 17 may contain a polymer absorber or the like.
  • control unit 13 has a light emission control unit 131 , a signal acquisition unit 132 , a normalization constant setting unit 133 , a storage unit 134 , an optimization unit 135 and an output unit 136 .
  • the light emission control unit 131 controls the multiple light emitters 11 .
  • the light emission control unit 131 individually controls each of the plurality of light emitters 11 to emit an optical signal from each of the plurality of light emitters 11 .
  • the light emission control unit 131 collectively controls the plurality of light emitters 11 so that light signals having the same intensity are output from the plurality of light emitters 11 .
  • the light emission control unit 131 controls each of the plurality of light emitters 11 so that each of the plurality of light emitters 11 outputs an optical signal having an individual intensity.
  • the light emission control section 131 may stop the operation of one of the multiple light emitters 11 depending on the situation.
  • the light emission controller 131 controls the light emitter 11 under different conditions during the calibration period and the pulse measurement period. During the calibration period, the light emission controller 131 controls the light emitter 11 to emit modulated light for calibration. During the calibration period, the light emission controller 131 causes the multiple light emitters 11 to emit modulated light with different frequencies. During the pulse measurement period, the light emission control unit 131 controls the light emitter 11 so that an optical signal for pulse measurement is emitted. During the pulse measurement period, the light emission control unit 131 causes the plurality of light emitters 11 to emit light signals of different frequencies. For example, when controlling each of the plurality of light emitters 11 based on a normalized constant, the light emission control section 131 controls each light emitter 11 based on the normalized constants stored in the storage section 134 .
  • the signal acquisition unit 132 acquires, from the plurality of light receiving units 120, received signals according to the reflected light received by each of the plurality of light receiving units 120.
  • the light intensity of the reflected light received by each of the plurality of light receiving units 120 is reflected in the received signal.
  • the signal acquisition unit 132 processes received signals under different conditions during the calibration period and the pulse measurement period.
  • the signal acquisition unit 132 acquires a received signal from the light receiving unit 120 that has received the reflected light of the modulated light for calibration.
  • the signal acquisition unit 132 acquires a received signal from the light receiving unit 120 that has received the reflected light of the optical signal for pulse measurement.
  • the normalization constant setting section 133 acquires from each of the plurality of light receiving sections 120 reception signals based on reflected light of modulated light emitted from the plurality of light emitters 11 .
  • the normalization constant setting unit 133 calculates the degree of influence for each light emitter 11 with respect to each of the plurality of light receiving units 120 .
  • the control unit 13 sets a normalization constant for each light emitter 11 regarding each of the plurality of light receiving units 120 based on the calculated degree of influence.
  • the normalization constant setting unit 133 stores the set normalization constant in the storage unit 134 .
  • the normalization constant setting unit 133 may cause the storage unit 134 to store a normalization map in which the set normalization constants are mapped.
  • the storage unit 134 stores the normalization constant set by the normalization constant setting unit 133 .
  • the storage unit 134 may store a normalization map in which set normalization constants are mapped.
  • the normalization constants stored in the storage unit 134 are referred to by the light emission control unit 131 and the optimization unit 135 .
  • the optimization unit 135 acquires received signals based on the reflected light of the optical signals emitted from the multiple light emitters 11 from each of the multiple light receiving units 120 .
  • the optimization unit 135 optimizes the intensity of the received signal acquired from each of the multiple light receiving units 120 .
  • the optimization unit 135 multiplies the intensity of the received signal acquired from each of the plurality of light receiving units 120 by a normalization constant set for each of the plurality of light receiving units 120 for each light emitter 11 to obtain the received signal to optimize the strength of
  • the signal normalized by the optimization unit 135 is the pulse signal.
  • the output unit 136 outputs the signal normalized by the optimization unit 135 (also called pulse signal).
  • the output unit 136 may output the pulse signal via a cable such as a cable, or may output the pulse signal via wireless communication.
  • the output unit 136 is configured to output a pulse signal via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the communication function of the output unit 136 may conform to standards other than Bluetooth (registered trademark) and WiFi (registered trademark).
  • the output unit 136 outputs the pulse signal to a dedicated terminal device (not shown) having a screen.
  • the output unit 136 outputs the pulse signal to a mobile terminal (not shown) such as a smartphone or tablet carried by the user.
  • the output unit 136 outputs the pulse signal to an external system (not shown) built on a server or cloud.
  • FIG. 9 is an example of displaying the pulse rate measured according to the pulse signal output from the pulse measuring device 10 on the screen of the terminal device 100.
  • the pulse rate corresponds to the number of pulsations (pulses) per unit time. Here, the number of pulsations in one minute is defined as the pulse rate.
  • a user who visually recognizes the pulse rate displayed on the screen can confirm the subject's pulse rate. For example, the physical condition of the subject can be verified according to the pulse rate. The pulse is derived from the beat of the heart (heartbeat). Therefore, the pulse rate corresponds to the heart rate. If the pulse rate of a subject can be measured and displayed in real time, the physical condition of the subject can be monitored accurately in real time. For example, a subject's perceived exercise intensity can be quantified according to exercise heart rate and resting heart rate values. The quantified subjective exercise intensity and the degree of fatigue corresponding to the subjective exercise intensity may be displayed on the screen of the terminal device 100 .
  • FIG. 10 is an example of displaying the waveform of the time-series data of the signal output from the pulse measuring device 10 on the screen of the terminal device 100.
  • FIG. A user who visually recognizes the waveform displayed on the screen can confirm the pulse state of the subject. For example, it is possible to verify the physical, health, mental, and emotional states of the subject based on the pulse intensity, interval, and time change.
  • FIG. 11 is a flowchart for explaining an example of the operation of the control unit 13 of the pulse measuring device 10 during the calibration period.
  • the flowchart of FIG. 11 is an example of calibrating by simultaneously operating a plurality of light emitters 11 .
  • control unit 13 controls each of the plurality of light emitters 11 so as to emit unique modulated light (step S111).
  • the control unit 13 causes each of the plurality of light emitters 11 to emit unique modulated light with different frequencies.
  • the control unit 13 acquires reception signals corresponding to modulated light from the plurality of light emitters 11 received by each of the plurality of light receiving units 120 (step S112).
  • the control unit 13 calculates the degree of influence of the plurality of light emitters 11 for each light receiving unit 120 based on the light intensity of the modulated light from the plurality of light emitters 11 (step S113).
  • the intensity of the modulated light is reflected in the intensity of the received signal corresponding to the modulated light received by the light receiving section 120 .
  • the control unit 13 calculates a normalization constant for normalizing the light intensity of the optical signal for each light receiving unit 120 based on the degree of influence of each of the light emitting devices 11 on the light receiving units 120 (step S114). ).
  • the control unit 13 sets the calculated normalization constant for each light receiving unit 120 to each of the plurality of light receiving units 120 (step S115).
  • the controller 13 sets the calculated normalization constant for each light receiver 120 to each of the plurality of light emitters 11 .
  • FIG. 12 is a flowchart for explaining another example of the operation during the calibration period by the controller 13 of the pulse measuring device 10.
  • FIG. The flowchart of FIG. 12 is an example of calibrating by operating the plurality of light emitters 11 one by one.
  • control unit 13 first controls one of the plurality of light emitters 11 to emit modulated light (step S121).
  • the frequency of the modulated light emitted from each of the plurality of light emitters 11 may be the same.
  • the control unit 13 acquires a reception signal corresponding to the modulated light from the operating light emitter 11 received by each of the plurality of light receiving units 120 (step S122).
  • step S123 the controller 13 determines the degree of influence of the plurality of light emitters 11 based on the light intensity of the modulated light from the plurality of light emitters 11. Calculate for each The intensity of the modulated light is reflected in the intensity of the received signal corresponding to the modulated light received by the light receiving section 120 . If the control of all the light emitters 11 has not been completed (No in step S123), the process returns to step S121.
  • the control unit 13 calculates a normalization constant for normalizing the light intensity of the optical signal for each light receiving unit 120 based on the degree of influence of each of the light emitting devices 11 on the light receiving units 120 (step S125). ).
  • the control unit 13 sets the calculated normalization constant for each light receiving unit 120 to each of the plurality of light receiving units 120 (step S126).
  • the controller 13 sets the calculated normalization constant for each light receiver 120 to each of the plurality of light emitters 11 .
  • FIG. 13 is a flowchart for explaining an example of the operation of the control unit 13 of the pulse measuring device 10 during the pulse measuring period.
  • the flowchart of FIG. 13 relates to the pulse measurement period at the stage when the calibration of the plurality of light receiving units 120 is completed.
  • the control unit 13 controls each of the plurality of light emitters 11 so as to emit an optical signal for pulse measurement (step S131).
  • the controller 13 adjusts the light output of each light emitter 11 according to the normalization constant for each light receiver 120 .
  • control unit 13 acquires a received signal corresponding to the reflected light of the optical signal from each of the plurality of light emitters 11 received by each of the plurality of light receiving units 120 (step S132).
  • control unit 13 optimizes the received signal acquired from each of the plurality of light receiving units 120 using the normalization constant for each light receiving unit 120 (step S133).
  • control unit 13 outputs the standardized signal (pulse signal) (step S134).
  • the control unit 13 outputs a pulse signal to a terminal device, a mobile terminal, an external system, a display device, or the like (not shown).
  • step S135 When terminating the pulse measurement (Yes in step S135), the control unit 13 stops the emission of optical signals from the plurality of light emitters 11 (step S136). If pulse measurement is to be continued (No in step S135), the process returns to step S132.
  • the end/continuation of pulse measurement is determined according to a preset schedule. For example, the end/continuation of pulse measurement may be set at any timing according to the user's input operation.
  • FIG. 14 is a conceptual diagram showing an example of the configuration of a pulse measuring device 190 according to related technology.
  • FIG. 14 is a cross-sectional view of pulse measuring device 190.
  • Pulse measuring device 190 includes light emitter 191 , controller 193 , multiple light receivers 192 , substrate 194 , and adhesive layer 197 .
  • the arrangement and functions of a light emitter 191, a controller 193, a plurality of light receivers 192, a substrate 194, and an adhesive layer 197 are the same as in the first embodiment.
  • FIG. 14 shows how the optical signal emitted from the light emitter 191 is reflected/scattered under the skin (inside the body) of the subject.
  • FIG. 15 and 16 are examples of pulse signal waveforms according to the reflected light of the optical signal emitted from the light emitter 191 received by each of the plurality of light receivers 192.
  • FIG. FIG. 15 shows an example in which the optical path of the optical signal is shorter and the attenuation of the optical signal is smaller than in FIG.
  • FIG. 16 shows an example in which the optical path of the optical signal is longer and the attenuation of the optical signal is greater than in FIG.
  • Reflected light of the optical signal emitted from the light emitter 191 is received by each of the plurality of light receivers 192 with different light intensities.
  • the light intensity of the reflected light received by each of the plurality of light receivers 192 is not normalized.
  • the influence of the AC component of the pulse differs for each light receiving unit 120 according to the positions of capillaries and blood vessels under the skin to which the pulse measuring device 190 is attached. Therefore, the related art approach provides a different pulse signal for each light receiver 192 depending on the environment under the skin.
  • FIG. 17 is a conceptual diagram showing an example of distortion that occurs in the waveform of the pulse signal according to body motion of the subject. Fluctuations due to body motion appear as fluctuations in the DC component of the reflected light received by each of the plurality of light receivers 192 . In other words, the variation due to body motion is the baseline variability factor for the pulse. In the related art method, the baseline pulse fluctuates according to the body motion of the subject.
  • the pulse signal obtained from each light receiver 192 differs due to the effects of the environment under the skin, the subject's body movement, the optical path difference of the optical signal from the light emitter 191 to the light receiver 192, and the like.
  • the pulse signal for each receiver 192 can also be corrected by software.
  • the light emitter 191 is single, it is difficult to accurately correct the AC and DC components contained in the pulse signal by software correction.
  • the normalization constant for each of the plurality of light emitters 11 is determined based on the degree of influence of each of the plurality of light emitters 11 on each of the plurality of light receivers 120. set for each Therefore, according to the technique of the first embodiment, the light intensity of the reflected light of the light signals received by the plurality of light receiving units 120 is uniformed for each light emitter 11, so that the AC component contained in the pulse signal and the DC component can be accurately corrected.
  • the pulse measuring device includes multiple light emitters, light receivers, and a controller.
  • a plurality of light emitters are arranged on a measurement surface of a substrate attached to the skin of a subject whose pulse is to be measured.
  • a plurality of light emitters emit light toward the subject's skin.
  • a photodetector is positioned on the measurement surface of the substrate.
  • the light receiver includes a plurality of light receiving sections that receive reflected light of light emitted from the plurality of light emitters.
  • the controller causes the plurality of light emitters to emit light.
  • the control unit receives from the light receiver a reception signal corresponding to the reflected light of the light received by the light receiver.
  • the controller optimizes the strength of the received signal using normalization constants set for each of the plurality of light emitters.
  • the control unit outputs the received signal, the strength of which is optimized using the normalization constant, as a pulse signal.
  • the pulse measuring device of this embodiment standardizes the intensity of the received signal corresponding to the reflected light reflected/scattered inside the human body among the light emitted toward the human body from the plurality of light emitters. become According to this embodiment, the pulse of the subject can be accurately measured by uniformly standardizing the intensity of the received signal according to the reflected light of the light emitted from the plurality of light emitters.
  • control unit optimizes the light output of each of the plurality of light emitters according to the normalization constant set for each of the plurality of light emitters. According to this aspect, by optimizing the light output of each of the plurality of light emitters, it is possible to optimize the intensity of the received signal corresponding to the reflected light of the light emitted from the plurality of light emitters for each light receiving section. , the pulse of the subject can be measured accurately.
  • the controller causes each of the plurality of light emitters to emit modulated light modulated at a unique frequency during the calibration period.
  • the control unit calculates the degree of influence of each light-receiving unit on each of the plurality of light-receiving units according to the received light intensity of the reflected light of the modulated light for each light-receiving unit.
  • the control unit adjusts the intensity of the received signal corresponding to the reflected light of the modulated light emitted from each of the plurality of light emitters according to the degree of influence calculated for each light emitter on each of the plurality of light receivers. is set for each of the plurality of light receiving portions.
  • the normalization constant for each of the plurality of light emitters can be set for each light receiving section.
  • the controller causes each of the plurality of light emitters to emit an optical signal during the pulse measurement period.
  • the control unit applies a normalization constant for each light emitter set to each of the plurality of light receivers to a received signal obtained from each of the plurality of light receivers and corresponding to the reflected light of the optical signal for each light emitter. , to optimize the strength of the received signal.
  • the subject's pulse can be accurately measured by setting the normalization constant for each of the plurality of light emitters for each light receiving section.
  • the pulse measuring device of this embodiment includes a light receiving element array in which a plurality of light receiving elements are arranged in an array instead of a plurality of light receiving elements.
  • a photodetector array is one form of photodetector.
  • FIG. 18 is a block diagram showing an example of the configuration of the pulse measuring device 20 according to this embodiment.
  • the pulse measuring device 20 includes a plurality of light emitters 21-1 to m, a light receiving element array 22, and a controller 23 (m is a natural number of 2 or more).
  • a plurality of light receiving portions are arranged on the light receiving surface of the light receiving element array 22 .
  • the control unit 23 has a light emission control unit 231 , a signal acquisition unit 232 , a normalization constant setting unit 233 , a storage unit 234 , an optimization unit 235 and an output unit 236 .
  • the light emitter 21-m when items common to the plurality of light emitters 21-1 to 21-m are described, they may be referred to as the light emitter 21-m.
  • FIG. 19 is a conceptual diagram of the measurement surface of the pulse measurement device 20.
  • FIG. FIG. 20 is a cross-sectional view of the pulse measuring device 20 taken along line BB in FIG.
  • An example in which the pulse measuring device 20 includes six light emitters 21 will be described below.
  • 19 and 20 show an example in which six light emitters 21 and one light receiving element array 22 are arranged on the same surface (also called measurement surface) of the substrate 24.
  • An adhesive layer 27 for attaching the pulse measuring device 20 to the subject's skin is provided on the peripheral portion of the substrate 24 within the measurement surface.
  • the pulse measuring device 20 is attached to the skin of the subject so that light from the outside does not enter the measurement surface side of the substrate 24 .
  • the light emitter 21 has the same configuration as the light emitter 11 of the first embodiment.
  • a plurality of light emitters 21 are arranged so that their emission surfaces face the same direction.
  • the light emitting surfaces of the plurality of light emitters 21 and the light receiving surface of the light receiving element array 22 are arranged in the same direction.
  • the emission surface of the light emitter 21 is directed toward the subject's skin while the pulse measuring device 20 is attached to the subject's skin.
  • the light receiving element array 22 has a light receiving surface that receives the reflected light of the optical signal emitted from the light emitter 21 .
  • the reflected light is a light component of the optical signal emitted from the light emitter 21 that has reached the light receiving surface of the light receiving element array 22 after being reflected/scattered under the skin (inside the body) of the subject.
  • a plurality of light receiving portions are arranged in a two-dimensional array on the light receiving surface of the light receiving element array 22 . For example, on the light receiving surface of the light receiving element array 22, about 10,000 light receiving units are arranged in a two-dimensional array.
  • the light intensity of the reflected light received by each of the plurality of light receiving sections arranged in a two-dimensional array is associated with the positions (addresses) of the light receiving sections and measured.
  • the light receiving element array 22 can be realized by a sheet-type image sensor disclosed in Non-Patent Document 1 (Non-Patent Document 1: T. Yokota, et al., “A conformable imager for biometric authentication and vital sign measurement”, Nature Electronics, volume 3, p.p. 113-121 (2020)).
  • the sheet-type image sensor of Non-Patent Document 1 has a configuration in which an organic photodiode, a thin film transistor, a CMOS (Complementary Metal-Oxide Semiconductor), and a photodetector are combined.
  • the light emitter 21 and the light receiving element array 22 are configured separately. .
  • the reflected light of the optical signal emitted from each of the plurality of light emitters 21 passes through different paths and is received by each of the plurality of light receiving units arranged on the light receiving surface of the light receiving element array 22 .
  • the light signal emitted from each of the plurality of light emitters 21 varies in light intensity according to the light absorption and scattering characteristics of body tissues such as skin, blood vessels, muscles, fat, and bones. Therefore, the light intensity of the reflected light received by the light receiving element array 22 fluctuates according to the length of the path, the environment under the skin, and the subject's body movement.
  • an optical signal is emitted from the light emitter 21 into the subject's body from the skin, and the subject's pulse is measured according to the reflected light of the optical signal.
  • changes in blood volume in the body due to pulsation are measured as changes in absorbance (also referred to as changes in light intensity).
  • FIG. 21 is a conceptual diagram for explaining the degree of influence of each light emitter 21 on the plurality of light receiving sections arranged on the light receiving surface of the light receiving element array 22, and the standardization of the light receiving sections for the light emitters 21.
  • FIG. FIG. 21 shows an example of six light emitters 21-1 to 21-6 corresponding to the configuration of FIG.
  • each of the plurality of light emitters 21-1 to 21-6 is denoted as light emitter E1, light emitter E2, . . . , and light emitter E6.
  • examples of light emitters E3, E4, and E5 are omitted.
  • the upper part of FIG. 21 (above the arrow) is an influence map that maps the magnitude relationship of the influence of each light emitter 21 with respect to a plurality of light receiving units arranged on the light receiving surface of the light receiving element array 22.
  • the lower part of FIG. 21 (below the arrow) is a normalization map that maps the magnitude relationship of the normalization constants of the plurality of light receiving units arranged on the light receiving surface of the light receiving element array 22 with respect to each light emitter 21. be.
  • the normalization map of FIG. It can be regarded as a standardized map in which the magnitude relationship is mapped.
  • the degree of influence and the magnitude of the normalization constant are represented by gradation.
  • the degree of influence and the magnitude of the normalization constant are represented by gradation of light and shade.
  • the degree of influence by the light emitter E1 is large at the upper left of the light receiving surface and gradually decreases from the upper left to the lower right of the light receiving surface. Therefore, in order to make the light intensity of the optical signal emitted from the light emitter E1 uniform within the plane of the light receiving surface of the light receiving element array 22, the light receiving portion at the upper left position of the light receiving surface should be A large normalization constant may be multiplied by the light-receiving portion at the lower right position. As for the light emitter E1, the normalization constant gradually increases from the upper left position toward the lower right position on the light receiving surface.
  • the degree of influence by the light emitter E2 is large on the left side of the light receiving surface and gradually decreases from the left side to the right side of the light receiving surface. Therefore, in order to make the light intensity of the optical signal emitted from the light emitter E2 uniform within the plane of the light receiving surface of the light receiving element array 22, the light receiving portion on the left side of the light receiving surface should A large normalization constant may be multiplied by the light-receiving portion located on the right side. As for the light emitter E2, the normalization constant gradually increases from the left side to the right side of the light receiving surface. Furthermore, the degree of influence of the light emitter E6 is large at the bottom right of the light receiving surface and gradually decreases from the bottom right to the top left of the light receiving surface.
  • the light receiving surface should be multiplied by a large normalization constant.
  • the normalization constant gradually increases from the lower right position toward the upper left position of the light receiving surface. Normalization constants are set for the other light emitters 21 (E3, E4, E5) in the same manner as for the light emitters E1 and the like.
  • the control unit 23 has the same configuration as the control unit 13 of the first embodiment.
  • the control unit 23 controls the multiple light emitters 21 .
  • the control unit 23 individually controls each of the plurality of light emitters 21 to emit an optical signal from each of the plurality of light emitters 21 .
  • the control unit 23 collectively controls the plurality of light emitters 21 so that optical signals having the same intensity are output from the plurality of light emitters 21 .
  • the control unit 23 controls each of the plurality of light emitters 21 so that each of the plurality of light emitters 21 outputs an optical signal having an individual intensity.
  • the control unit 23 may stop the operation of one of the plurality of light emitters 21 depending on the situation.
  • the controller 23 controls the light emitter 21 under different conditions during the calibration period and the pulse measurement period. The control of the light emitter 21 during the calibration period and the pulse measurement period is the same as in the first embodiment.
  • the control unit 23 acquires from the light receiving element array 22 a reception signal corresponding to the reflected light received by the light receiving element array 22 .
  • the received signal has an intensity corresponding to the intensity of the reflected light received by each of the plurality of light receiving units arranged on the light receiving surface of the light receiving element array 22 .
  • the control unit 23 processes the received signal under different conditions during the calibration period and the pulse measurement period.
  • the control unit 23 acquires a received signal from the light receiving element array 22 that has received the reflected light of the modulated light for calibration.
  • the control unit 23 calculates the degree of influence for each of the plurality of light emitters 21 with respect to each of the plurality of light receiving units arranged on the light receiving surface of the light receiving element array 22 . Based on the calculated degree of influence, the control unit 23 sets a normalization constant for each of the plurality of light emitters 21 for each of the plurality of light receiving units.
  • the control unit 23 acquires a received signal from the light receiving element array 22 that has received the reflected light of the optical signal for pulse measurement.
  • the control unit 23 acquires received signals from each of the plurality of light receiving units arranged on the light receiving surface of the light receiving element array 22 .
  • the control unit 23 optimizes the intensity of the acquired received signal.
  • the control unit 23 multiplies the intensity of the received signal acquired from each of the plurality of light receiving units by a normalization constant set for each light emitting device 21 for each of the plurality of light receiving units, and optimizes the intensity of the received signal. become
  • the control unit 23 outputs a standardized signal (also called a pulse signal).
  • the control unit 23 may output the pulse signal via a cable such as a cable, or may output the pulse signal via wireless communication.
  • the control unit 23 is configured to output a pulse signal via a wireless communication function (not shown) conforming to standards such as Bluetooth (registered trademark) and WiFi (registered trademark).
  • the communication function of the control unit 23 may conform to standards other than Bluetooth (registered trademark) and WiFi (registered trademark). There are no particular restrictions on the output destination or application of the pulse signal.
  • the substrate 24 has the same configuration as the substrate 14 of the first embodiment.
  • Substrate 24 is a bendable substrate.
  • the substrate 24 has a bendable plate-like shape.
  • the light emitter 21, the light receiving element array 22, and the control unit 23 mounted on the substrate 24 may be configured to deform according to the deformation of the substrate 24, or may be configured not to deform.
  • the adhesive layer 27 has the same configuration as the adhesive layer 17 of the first embodiment.
  • the adhesive layer 27 is formed on the peripheral portion of the measurement surface of the substrate 24 .
  • FIG. 22 is a conceptual diagram showing an example of a skinned environment to which the pulse measuring device 20 is attached.
  • the measurable range is the range facing the light receiving surface of the light receiving element array 22 .
  • the measurable range includes multiple blood vessels.
  • the measurable range includes a range A1 including a single blood vessel, a range A2 not including a blood vessel, and a range A3 including a plurality of blood vessels.
  • the intensity of the pulse signal based on the reflected light received by the light receiving element array 22 at a certain timing is mapped two-dimensionally, the position of the blood vessel within the measurable range can be specified.
  • FIG. 23 is an example in which part of the light receiving surface of the light receiving element array 22 is set as an active area for pulse measurement.
  • the active area is a range corresponding to the measurement target area set within the measurable range.
  • the measurement target area is a target range for pulse measurement. For example, when the position of the blood vessel within the measurable range is specified during the calibration period, the measurement target range is set according to the position of the blood vessel to be measured. For example, when only major blood vessels included in the measurable range are to be measured, the light-receiving range immediately above the blood vessels is set as the measurement target range.
  • the light-receiving range directly above the capillaries avoiding positions directly above the major blood vessels is set as the measurement target range.
  • the measurement target range is set in this way, it is possible to inspect the blood vessels and pulsations that are the measurement targets, thereby improving usability.
  • the measurement target range is set, signal processing for unnecessary ranges can be omitted, so power consumption of the pulse measuring device 20 can be reduced. For example, by setting one of the plurality of light emitters 21 to stop emitting light depending on the position of the measurement target range, the power consumption related to the light emission of the light emitter 21 can be reduced.
  • FIG. 24 is a modification (pulse measuring device 20-1) of the pulse measuring device 20 of FIG.
  • a plurality of light emitters 21 are arranged along the four sides of the light receiving element array 22 in the pulse measuring device 20 - 1 .
  • optical signals can be emitted not only from the left and right directions of the light-receiving element array 22, but also from the top and bottom directions. Therefore, it is possible to irradiate optical signals from more directions under the skin. For example, when optical signals are irradiated from two directions, left and right, there is a possibility that the optical signals may reach hidden blood vessels at positions where the optical signals are not irradiated from two directions, up and down.
  • a plurality of light emitters 21 arranged around the light receiving element array 22 are operated for each arranged position (side).
  • the condition of blood vessels under the skin can be grasped three-dimensionally. For example, if one of the plurality of light emitters 21 arranged on the top, bottom, left, and right of the light receiving element array 22 is selected and operated to measure blood vessels and pulsations to be measured, power consumption related to light emission of the light emitter 21 can be reduced. can be reduced.
  • FIG. 25 is a flowchart for explaining an example of the operation during the calibration period by the controller 23 of the pulse measuring device 20.
  • FIG. The flowchart of FIG. 25 is an example of calibrating by simultaneously operating a plurality of light emitters 21 .
  • the flowchart of FIG. 25 corresponds to the flowchart of FIG. 11 used in the first embodiment.
  • calibration may be performed in the same procedure as the flowchart of FIG. 12 used in the first embodiment.
  • control unit 23 controls each of the plurality of light emitters 21 so as to emit unique modulated light (step S211).
  • the control unit 23 causes each of the plurality of light emitters 21 to emit unique modulated light with different frequencies.
  • the control unit 23 acquires reception signals corresponding to the modulated light from the plurality of light emitters 21 received by each of the plurality of light receiving units arranged on the light receiving surface of the plurality of light receiving element arrays 22 (step S212). .
  • the control unit 23 calculates the degree of influence of the plurality of light emitters 21 for each light receiving unit based on the light intensity of the modulated light from the plurality of light emitters 21 (step S213).
  • the light intensity of the modulated light is reflected in the intensity of the received signal corresponding to the modulated light received by the plurality of light receiving units of the light receiving element array 22 .
  • the control unit 23 calculates a normalization constant for normalizing the light intensity of the optical signal for each light receiving unit based on the degree of influence of each of the plurality of light emitters 21 on each of the plurality of light receiving units (step S214). ).
  • the control unit 23 sets the calculated normalization constant for each light receiving unit to each of the plurality of light receiving units (step S215).
  • the control unit 23 sets the calculated normalization constant for each light receiving unit to each of the plurality of light receiving units.
  • FIG. 26 is an example of setting the measurement target range in the measurable range of the light receiving element array 22 (corresponding to the example of FIG. 23). Among the plurality of light receiving portions arranged on the light receiving surface of the light receiving element array 22, the light receiving portions inside the range (active region) corresponding to the measurement target range are calibrated. The operations of the flowchart of FIG. 26 are executed prior to calibration of the light receiving sections arranged inside the active area.
  • the control unit 23 controls the plurality of light emitters 21 so as to emit detection light for detecting blood vessels within the measurable range (step S221).
  • the plurality of light emitters 21 may be controlled to emit detection light of the same frequency, or may be controlled to emit detection light modulated at mutually different frequencies.
  • the control unit 23 acquires reception signals corresponding to the detected light from the plurality of light emitters 21 received by the plurality of light receiving units arranged on the light receiving surface of the light receiving element array 22 (step S222).
  • the control unit 23 identifies the position of the blood vessel within the measurable range based on the received signals corresponding to the detected light from the plurality of light emitters 21 (step S223). For example, the control unit 23 identifies the position of the blood vessel within the measurable range according to the intensity of the pulse signal obtained from the detected light. For example, the control unit 23 identifies the position of the blood vessel within the measurable range according to the magnitude relationship of the pulse signal obtained from the detected light. For example, the control unit 23 may output the pulse signal obtained by the detected light to a terminal device or the like (not shown) to prompt the operator of the terminal device or the like to set the measurement target range.
  • the control unit 23 sets a measurement target range in which measurement is performed according to the specified position of the blood vessel (step S224).
  • the control unit 23 may set the measurement target range according to an instruction input by an operator who checks the screen of the terminal device or the like.
  • the operator may be allowed to set the measurement target range for the two-dimensional image of the pulse signal displayed on the screen of the terminal device or the like (not shown) via a pointing device or touch panel.
  • the measurement target area is not limited to a rectangular shape, and may be set to any shape.
  • the measurement target range may be set by tracing the measurement target range with a finger so as to surround the measurement target range.
  • the control unit 23 sets a normalization constant for the light receiving unit in the range (active area) corresponding to the inside of the set measurement target range (step S225).
  • the normalization constant is set according to the procedure of the flowchart of FIG. If the measurement target range is set according to the procedure of the flowchart of FIG. 26, the power consumption in the signal processing of the received signal can be reduced. For example, the power consumption of the light emitter 21 can be reduced by selecting the light emitter 21 that emits the optical signal or setting the optical output of the light emitter 21 according to the set measurement target range.
  • FIG. 27 is a flowchart for explaining an example of the operation of the control unit 23 of the pulse measuring device 20 during the pulse measuring period.
  • the flowchart of FIG. 27 relates to the pulse measurement period at the stage when the calibration of the light receiving element array 22 is completed.
  • the control unit 23 controls each of the plurality of light emitters 21 so as to emit an optical signal for pulse measurement (step S231).
  • the controller 23 adjusts the light output of each of the plurality of light emitters 11 according to the normalization constant for each light receiver.
  • control unit 23 generates a received signal corresponding to the reflected light of the optical signal from each of the plurality of light emitters 21 received by each of the plurality of light receiving portions arranged on the light receiving surface of the light receiving element array 22. Acquire (step S232).
  • control unit 23 optimizes the received signal acquired from each of the plurality of light receiving units using the normalization constant for each light receiving unit (step S233).
  • control unit 23 outputs the standardized signal (pulse signal) (step S234).
  • the control unit 23 outputs a pulse signal to a terminal device, a mobile terminal, an external system, a display device, etc. (not shown).
  • step S235 When terminating the pulse measurement (Yes in step S235), the control unit 23 stops the emission of optical signals from the plurality of light emitters 21 (step S236). If pulse measurement is to be continued (No in step S235), the process returns to step S232.
  • the end/continuation of pulse measurement is determined according to a preset schedule. For example, the end/continuation of pulse measurement may be set at any timing according to the user's input operation.
  • the pulse measuring device of this embodiment includes a plurality of light emitters, a light receiving element array, and a controller.
  • a plurality of light emitters are arranged on a measurement surface of a substrate attached to the skin of a subject whose pulse is to be measured.
  • a plurality of light emitters emit light toward the subject's skin.
  • the light receiving element array is arranged on the measurement surface of the substrate.
  • the light-receiving element array includes a plurality of light-receiving units that receive reflected light of light emitted from the plurality of light-emitting devices.
  • the light-receiving element array has a light-receiving surface in which a plurality of light-receiving sections are arranged in a two-dimensional array.
  • the controller causes the plurality of light emitters to emit light.
  • the controller receives a reception signal corresponding to reflected light of light received by the light receiver from the light receiving element array.
  • the controller optimizes the strength of the received signal using normalization constants set for each of the plurality of light emitters.
  • the control unit outputs the received signal, the strength of which is optimized using the normalization constant, as a pulse signal.
  • the light receiving element array receives the reflected light of the light emitted from the plurality of light emitters.
  • the pulse measuring device of this embodiment normalizes the intensity of the received signal corresponding to the reflected light received by each of the plurality of light receiving units arranged on the light receiving surface of the light receiving element array for each light emitter. Therefore, according to the present embodiment, since the intensity of the received signal corresponding to the reflected light of the light emitted from the plurality of light emitters can be uniformly standardized in each of the plurality of light receiving units, the pulse of the subject can be measured more accurately. can be measured. Further, according to this embodiment, the state of blood vessels within the measurable range can be visualized two-dimensionally.
  • the control unit causes the plurality of light emitters to emit detection light for detecting the positions of blood vessels included in the measurable range of the light receiving element array.
  • the control unit sets the measurement target range in the measurable range based on the received signal corresponding to the reflected light of the detection light received by the light receiving element array.
  • the control unit sets a normalization constant for the light receiving units in the range corresponding to the set measurement target range.
  • the measurement target range is set according to the position of the blood vessel included in the measurable range of the light-receiving element array, and the measurement target blood vessel and pulsation can be focused on for inspection, thereby improving usability.
  • signal processing in an unnecessary range can be omitted, so power consumption of the pulse measuring device can be reduced.
  • the position of the blood vessel in the measurable range can be accurately grasped two-dimensionally.
  • Two-dimensional blood vessel information obtained by the method of the present embodiment can be applied to biometric authentication such as vein authentication.
  • the pulse in the measurable range can be accurately grasped two-dimensionally.
  • Two-dimensional pulse information obtained by the method of the present embodiment can also be applied to diagnosis of skin cancer and diagnosis of sores/burns. For example, if light emitters are arranged all around the light-receiving element array, blood vessels within the measurable range can also be grasped three-dimensionally.
  • the biological information estimation device of this embodiment estimates the biological information of the subject based on the pulse signal output from the pulse measurement device of the first and second embodiments.
  • FIG. 28 is a block diagram showing an example of the configuration of the biological information estimation device 3 according to this embodiment.
  • the biological information estimation device 3 includes a pulse measurement device 30 and an estimation device 36 .
  • the pulse measuring device 30 is the pulse measuring device of the first and second embodiments. Description of the details of the pulse measuring device 30 is omitted.
  • the estimating device 36 acquires the pulse signal output from the pulse measuring device 30 .
  • the estimating device 36 estimates biological information of the subject according to the acquired pulse signal.
  • the subject's biological information includes pulse, physical condition, emotion, and the like.
  • the estimation device 36 estimates the subject's pulse based on the pulse signal. For example, the estimating device 36 estimates the pulse according to the interval between the maximum value/minimum value appearing in the time-series data of the pulse signal. For example, the estimating device 36 estimates the pulse according to the expression period of the feature amount extracted from the time-series data of the pulse signal. The estimator 36 outputs information about the pulse, such as the estimated pulse interval and the strength of the pulse signal.
  • the estimation device 36 estimates the subject's physical condition based on the pulse signal. For example, the estimation device 36 estimates the physical condition of the subject based on time-series data of pulse signals. When the subject is at rest, the strength of the pulse signal decreases and the pulse intervals increase. If the subject is exercising, the intensity of the pulse signal will be greater and the pulse intervals will be shorter. If the subject has an arrhythmia, the pulse rhythm becomes irregular or interrupted.
  • the subject's physical condition also affects the baseline of the pulse signal time series data. If the subject's physical condition is stable, baseline variability is small. On the other hand, if the subject's physical condition is unstable, the baseline will fluctuate significantly. For example, the baseline shows an upward trend or a downward trend depending on the subject's physical condition.
  • the pulse signal may show characteristics peculiar to the disease.
  • the disease that the subject is suffering from can be estimated according to the pulse signal of the subject.
  • the estimator 36 outputs information about the estimated physical condition of the subject.
  • the subject's physical condition such as stress, fatigue, and drowsiness
  • the estimating device 36 extracts feature quantities according to physical conditions such as stress, fatigue, and drowsiness from the pulse time-series data.
  • the estimating device 36 extracts feature quantities such as the average value, standard deviation, coefficient of variation, root mean square, and frequency component of the pulse time series data from the pulse time series data.
  • the estimating device 36 estimates the physical condition of the subject according to the extracted feature amount.
  • the estimation device 36 outputs information about the estimated physical condition of the subject, recommendation information according to the estimated physical condition, and the like.
  • the estimation device 36 estimates the emotion of the subject based on the pulse signal.
  • a subject's emotion can be inferred from the strength and variation of the pulse.
  • the estimating device 36 estimates the degree of emotions such as emotions according to fluctuations in the pulse time series data.
  • the estimator 36 may estimate the subject's emotion in response to baseline variations in pulse time series data. For example, when the "anger" of the subject gradually increases, the baseline shows an upward trend in accordance with the increase in the degree of excitement (arousal) of the subject. For example, when the subject's "sorrow” gradually increases, the baseline shows a downward trend in accordance with the decrease in the subject's degree of excitement (arousal).
  • FIG. 29 is a conceptual diagram for explaining an example of estimating emotion based on pulse signals.
  • emotion is estimated according to the relationship between emotional valence (horizontal axis) and arousal level (vertical axis).
  • Emotional valence quantifies emotional comfort.
  • Emotional valence indicates a more comfortable state toward the right, and a more unpleasant state toward the left.
  • Arousal quantifies emotional heightening.
  • the arousal level (vertical axis) indicates a more excited state toward the top, and a calmer state toward the bottom.
  • each quadrant defined by emotional valence (horizontal axis) and arousal level (vertical axis) is associated with emotion.
  • "Happiness” is associated with the first quadrant. The greater the emotional valence and the greater the degree of arousal, the greater the degree of “joy”.
  • “Anger” is associated with the second quadrant. The lower the emotional valence and the higher the degree of arousal, the higher the degree of "anger”.
  • “Sorrow” is associated with the third quadrant. The lower the emotional valence and the lower the degree of arousal, the higher the degree of "sorrow”.
  • “Raku” is associated with the fourth quadrant.
  • the association of emotions with the graph in FIG. 29 is an example, and does not limit the criteria for emotion estimation by the biological information estimation device 3 of the present embodiment.
  • the subject's emotions may be classified into more detailed emotional states instead of being classified into four emotional states such as emotions.
  • Emotions of the subject may be classified not only by the two-dimensional coordinate system shown in FIG. 29, but also by any emotional state classification method.
  • Heart rate fluctuates under the influence of activities related to autonomic nerves such as sympathetic nerves and parasympathetic nerves.
  • the pulse rate fluctuates under the influence of activities related to autonomic nerves such as sympathetic nerves and parasympathetic nerves.
  • low frequency components and high frequency components can be extracted by frequency analysis of pulse rate time series data.
  • the low-frequency component reflects the influence of the sympathetic and parasympathetic nerves.
  • High frequency components reflect the influence of parasympathetic nerves. Therefore, for example, the activity state of the autonomic nerve function can be estimated according to the ratio of the high frequency component and the low frequency component.
  • the sympathetic nervous system tends to become active when the subject is excited.
  • the pulsation speeds up. That is, the higher the pulse rate, the higher the wakefulness.
  • the parasympathetic nervous system tends to become active when the subject is relaxed.
  • the pulsation slows. That is, the lower the pulse rate, the lower the alertness.
  • the estimating device 36 can measure the wakefulness according to the pulse rate. For example, emotional valence can be assessed according to variations in pulse intervals. The more pleasant the emotional state, the more stable the emotion and the smaller the pulse interval variation. That is, the smaller the variation in the pulse interval, the greater the emotional valence.
  • the estimator 36 can measure the emotional valence according to the pulse interval.
  • the method of measuring arousal and emotional valence is not limited to the above methods and standards as long as the pulse signal output from the pulse measuring device 30 is used.
  • the estimation device 36 estimates the arousal level and emotional valence based on the time-series data of the pulse signal.
  • the estimation device 36 estimates the emotion according to the coordinates of the measured arousal level and emotional valence in the coordinate system of the graph in FIG.
  • the estimator 36 estimates that the subject's emotional state is "joy.” If the measured arousal and emotional valence coordinates for a subject are in the second quadrant, the estimator 36 estimates that the subject's emotional state is "anger.” If the measured arousal and emotional valence coordinates for a subject are in the third quadrant, the estimator 36 estimates that the subject's emotional state is "sad.” If the measured arousal and emotional valence coordinates for a subject are in the fourth quadrant, the estimator 36 estimates that the subject's emotional state is "relaxed.” For example, if the emotional valence and arousal do not exceed thresholds, the estimator 36 determines that the subject's emotional state is normal.
  • the estimation device 36 determines that the subject's emotional state is normal.
  • a threshold value for determining that the subject's emotional state is normal can be set arbitrarily. For example, such thresholds may be different for different emotions.
  • the estimation device 36 may be configured to estimate emotions using machine learning techniques.
  • FIG. 30 is a conceptual diagram showing an example of learning by the learning device 340 using a data set of features (explanatory variables) and emotions (response variables) extracted from pulse signals as teacher data.
  • the teacher data is data obtained by assigning a label of the emotional state at that point in time to feature values extracted from pulse signals measured for a subject in an emotional state of either joy, anger, romance, or pleasure.
  • the teacher data may be data in which a pulse signal measured for a subject in an emotional state of joy, anger, romance or pleasure is labeled with the emotional state at that point in time.
  • the learning device 340 generates an estimated model 360 through supervised learning using teacher data.
  • the estimation model 360 is generated in advance by having the learning device 340 learn teacher data relating to a plurality of subjects.
  • the estimation model 360 outputs a result of estimating the emotion of the subject according to the input of the feature amount extracted from the pulse signal. No particular limitation is imposed on the specific technique of machine learning.
  • FIG. 31 is a conceptual diagram for explaining an example of emotion estimation by the estimation model 360.
  • the estimation model 360 outputs an estimation result of one of emotions, anger, romance, and pleasure, according to the input of the subject's pulse signal.
  • information about emotion estimation results output from the estimation model 360 is displayed on a screen of a terminal device or the like (not shown).
  • FIG. 32 is an example of displaying the pulse rate measured according to the pulse signal output from the pulse measuring device 30 on the screen of the terminal device 300.
  • recommendation information corresponding to the pulse rate is also displayed on the screen of the terminal device 300 .
  • a subject who sees the pulse rate displayed on the screen can confirm his or her own pulse rate.
  • the subject who visually recognizes the recommended information displayed on the screen can improve his or her physical condition by acting according to the recommended information.
  • FIG. 33 is an example of displaying the subject's emotional state according to the pulse signal output from the pulse measuring device 30 on the screen of the terminal device 300.
  • recommendation information corresponding to the subject's emotional state is also displayed on the screen of the terminal device 300 .
  • the subject's emotional state is "anger".
  • emoticons or icons that indicate the subject's emotional state may be displayed on the screen of the terminal device 300 .
  • Subjects who visually recognize the emotional state displayed on the screen can confirm their own emotional state.
  • the subject who visually recognizes the recommended information displayed on the screen can bring his or her emotional state closer to a normal state by paying attention to the recommended information.
  • the recommended information displayed on the screen does not necessarily bring about expected changes in the subject's emotional state.
  • the estimated emotional state of the subject may be transmitted to a terminal device (not shown) owned by the subject's family or acquaintances.
  • a terminal device not shown
  • the subject's emotional state can be brought closer to a normal state according to the actions of others who have a close relationship with the subject, rather than the inorganic information displayed on the screen.
  • an image of a flower is also displayed on the screen of the terminal device 300 in order to ease the subject's emotional state toward a normal state.
  • the image displayed on the screen may be any image that has the potential to ease the subject's emotional state. What is displayed on the screen of the terminal device 300 may be not only an image but also a video.
  • music that eases the subject's emotional state may be played from the speaker (not shown) of the terminal device 300 .
  • the subject's emotional state is "sad”
  • the subject may be provided with content such as images, videos, or music that comforts the subject.
  • the subject's emotional state is "happiness" or "comfort,” the subject may be provided with content that sustains those emotional states.
  • the content provided to the subject is preferably set for each emotion of the subject. For example, a function may be added to input whether the provided information matches the subject's emotions. If it is configured to learn the user's reaction to information provided according to the estimated emotion and feed it back for subsequent emotion estimation, the subject's emotion can be estimated more accurately.
  • a driver of a car may wear the pulse measuring device 30 to provide recommendation information according to the driver's emotional state.
  • a safe driving environment can be provided by recommending the driver to take a rest or notifying the estimated arrival time to the next parking area according to the estimation result of the driver's emotional state.
  • music or a message may be played to soothe or comfort the driver.
  • music or a message may be played to encourage the driver to feel somewhat tense.
  • music or a message that facilitates the maintenance of that emotional state may be played.
  • it may be configured to provide recommendation information according to the driver's emotional state and driving time. For example, if the driving time becomes long and the driver shows a tendency to get angry, the system provides recommendation information such as "Let's go to the next parking area, get up and exercise.” good too. For example, if the driving time is long and the driver shows a tendency of "sorrow", recommendation information such as "Let's go to the next parking area and take a nap" may be provided to the driver. .
  • the degree of distraction of the driver may be estimated based on the driver's emotional state. Distraction levels tend to be high in extreme emotional states. Therefore, for example, when the arousal level or emotional valence is extremely large or extremely small, it is estimated that the degree of distraction is high.
  • a threshold for the degree of distraction may be set for the degree of arousal and emotional valence, and the driver's degree of distraction may be estimated according to the relationship with the threshold. For example, when the degree of distraction exceeds a threshold, a notification sound may be emitted to call attention.
  • a user who leads a daily life may wear the pulse measuring device 30 to provide recommendation information according to the subject's emotional state. For example, if the emotional state of the user is "angry” or “sad”, recommendation information recommending exercise such as walking or running may be provided in order to distract the user. For example, if the emotional state of the user is “angry” or “sad”, music or information that easily shifts the user's emotional state to "comfort” or “joy” may be provided. For example, if the emotional state of the user is “easy” or “happiness,” music or information that enhances that emotional state may be provided. For example, if the emotional state of the user is “comfortable” or “joyful,” the provision of disturbing information may be avoided so that the environment at that point in time is maintained.
  • the biological information estimation device of this embodiment includes a plurality of light emitters, light receivers, a control unit, and an estimation device.
  • a plurality of light emitters are arranged on a measurement surface of a substrate attached to the skin of a subject whose pulse is to be measured.
  • a plurality of light emitters emit light toward the subject's skin.
  • a photodetector is positioned on the measurement surface of the substrate.
  • the light receiver includes a plurality of light receiving sections that receive reflected light of light emitted from the plurality of light emitters.
  • the controller causes the plurality of light emitters to emit light.
  • the control unit receives from the light receiver a reception signal corresponding to the reflected light of the light received by the light receiver.
  • the controller optimizes the strength of the received signal using normalization constants set for each of the plurality of light emitters.
  • the control unit outputs the received signal, the strength of which is optimized using the normalization constant, as a pulse signal.
  • the estimating device acquires the subject's pulse signal measured by the pulse measuring device.
  • the estimation device estimates biological information of the subject based on the acquired pulse signal.
  • the biological information estimating device of this embodiment uses the emotional state of the subject as biological information based on the pulse signal output from the pulse measuring device including a plurality of light receiving units standardized for each of the plurality of light emitters. presume. Therefore, according to this embodiment, the biometric information of the subject can be accurately estimated.
  • the estimation device estimates the subject's pulse rate using the subject's pulse signal.
  • the estimation device outputs information according to the estimated pulse rate.
  • the pulse rate of the subject can be monitored by outputting information according to the pulse rate of the subject. For example, by displaying the pulse rate on the screen of a terminal device or the like, the subject's pulse rate can be visually monitored.
  • the estimation device estimates the subject's emotional state using the subject's pulse signal.
  • the estimation device outputs information according to the estimated emotional state.
  • the subject's emotional state can be monitored by outputting information according to the subject's emotional state. For example, by displaying the emotional state on the screen of a terminal device or the like, the subject's emotional state can be visually monitored.
  • FIG. 34 is a block diagram showing an example of the configuration of the pulse measuring device 40 according to this embodiment.
  • the pulse measuring device 40 includes a plurality of light emitters 41-1 to 41-m, a light receiver 42, and a controller 43 (m is a natural number of 2 or more).
  • a plurality of light emitters 41-1 to 41-m are arranged on the measurement surface of a substrate (not shown) attached to the skin of the subject whose pulse is to be measured.
  • a plurality of light emitters 41-1 to 41-m emit light toward the subject's skin.
  • a light receiver 42 is arranged on the measurement surface of the substrate.
  • the light receiver 42 includes a plurality of light receiving sections that receive reflected light of the light emitted from the plurality of light emitters 41-1 to 41-m.
  • the control unit 43 causes the plurality of light emitters 41-1 to 41-m to emit light.
  • the control unit 43 receives from the light receiver 42 a reception signal corresponding to the reflected light of the light received by the light receiver 42 .
  • the control unit 43 optimizes the strength of the received signal using the normalization constant set for each of the plurality of light emitters 41-1 to 41-m.
  • the control unit 43 outputs the reception signal whose intensity is optimized using the normalization constant as a pulse signal.
  • the pulse measuring device of this embodiment standardizes the intensity of the received signal corresponding to the reflected light reflected/scattered inside the human body among the light emitted toward the human body from the plurality of light emitters. become Therefore, according to the present embodiment, the influence of heartbeat and body movement artifacts is eliminated by uniformly standardizing the intensity of the received signal according to the reflected light of the light emitted from the plurality of light emitters. Therefore, according to this embodiment, the subject's pulse can be accurately measured.
  • the information processing device 90 includes a processor 91, a main storage device 92, an auxiliary storage device 93, an input/output interface 95, and a communication interface 96.
  • the interface is abbreviated as I/F (Interface).
  • Processor 91 , main storage device 92 , auxiliary storage device 93 , input/output interface 95 , and communication interface 96 are connected to each other via bus 98 so as to enable data communication.
  • the processor 91 , the main storage device 92 , the auxiliary storage device 93 and the input/output interface 95 are connected to a network such as the Internet or an intranet via a communication interface 96 .
  • the processor 91 loads the program stored in the auxiliary storage device 93 or the like into the main storage device 92 .
  • the processor 91 executes programs developed in the main memory device 92 .
  • a configuration using a software program installed in the information processing device 90 may be used.
  • the processor 91 executes control and processing according to this embodiment.
  • the main storage device 92 has an area in which programs are expanded.
  • a program stored in the auxiliary storage device 93 or the like is developed in the main storage device 92 by the processor 91 .
  • the main memory device 92 is realized by a volatile memory such as a DRAM (Dynamic Random Access Memory). Further, as the main storage device 92, a non-volatile memory such as MRAM (Magnetoresistive Random Access Memory) may be configured/added.
  • the auxiliary storage device 93 stores various data such as programs.
  • the auxiliary storage device 93 is implemented by a local disk such as a hard disk or flash memory. It should be noted that it is possible to store various data in the main storage device 92 and omit the auxiliary storage device 93 .
  • the input/output interface 95 is an interface for connecting the information processing device 90 and peripheral devices based on standards and specifications.
  • a communication interface 96 is an interface for connecting to an external system or device through a network such as the Internet or an intranet based on standards and specifications.
  • the input/output interface 95 and the communication interface 96 may be shared as an interface for connecting with external devices.
  • Input devices such as a keyboard, mouse, and touch panel may be connected to the information processing device 90 as necessary. These input devices are used to enter information and settings.
  • a touch panel is used as an input device, the display screen of the display device may also serve as an interface of the input device. Data communication between the processor 91 and the input device may be mediated by the input/output interface 95 .
  • the information processing device 90 may be equipped with a display device for displaying information.
  • the information processing device 90 is preferably provided with a display control device (not shown) for controlling the display of the display device.
  • the display device may be connected to the information processing device 90 via the input/output interface 95 .
  • the information processing device 90 may be equipped with a drive device. Between the processor 91 and a recording medium (program recording medium), the drive device mediates reading of data and programs from the recording medium, writing of processing results of the information processing device 90 to the recording medium, and the like.
  • the drive device may be connected to the information processing device 90 via the input/output interface 95 .
  • the above is an example of the hardware configuration for enabling control and processing according to each embodiment of the present invention.
  • the hardware configuration of FIG. 35 is an example of a hardware configuration for executing control and processing according to each embodiment, and does not limit the scope of the present invention.
  • the scope of the present invention also includes a program that causes a computer to execute control and processing according to each embodiment.
  • the scope of the present invention also includes a program recording medium on which the program according to each embodiment is recorded.
  • the recording medium can be implemented as an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the recording medium may be implemented by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card.
  • the recording medium may be realized by a magnetic recording medium such as a flexible disk, or other recording medium.
  • each embodiment may be combined arbitrarily. Also, the components of each embodiment may be realized by software or by circuits.
  • Appendix 1 a plurality of light emitters arranged on a measurement surface of a substrate attached to the skin of a subject whose pulse is to be measured and emitting light toward the skin of the subject; a light receiver disposed on the measurement surface of the substrate and including a plurality of light receiving units for receiving reflected light of the light emitted from the plurality of light emitters; causing the plurality of light emitters to emit the light, receiving from the light receivers reception signals corresponding to reflected light of the light received by the light receivers, and standardization set for each of the plurality of light emitters a control unit that optimizes the strength of the received signal using a constant, and outputs the received signal, the strength of which is optimized using the normalization constant, as a pulse signal.
  • Appendix 2 The control unit The pulse measuring device according to appendix 1, wherein the light output of each of the plurality of light emitters is optimized according to the normalization constant set for each of the plurality of light emitters.
  • Appendix 3 The control unit During the calibration period, emitting modulated light modulated at a unique frequency from each of the plurality of light emitters; Calculate the degree of influence of each of the plurality of light receiving units on each of the plurality of light receiving units according to the received light intensity of the reflected light of the modulated light for each of the light emitters in each of the plurality of light receiving units included in the light receiver.
  • the pulse measuring device according to appendix 1 or 2, wherein the strength of the received signal is optimized by multiplying by a normalization constant.
  • the light receiver is 5.
  • the pulse measuring device according to any one of appendices 1 to 4, wherein the plurality of light receiving units is a light receiving element array arranged in a two-dimensional array.
  • the control unit causing the plurality of light emitters to emit detection light for detecting the positions of blood vessels included in the measurable range of the light receiving element array; setting a measurement target range in the measurable range based on the reception signal corresponding to the reflected light of the detection light received by the light receiving element array; 6.
  • the pulse measuring device according to appendix 5, wherein the normalization constant is set for the light-receiving unit within a range corresponding to the set measurement target range.
  • Appendix 7 The pulse measuring device according to any one of Appendices 1 to 6; and an estimating device that acquires a pulse signal of a subject measured by the pulse measuring device and estimates biological information of the subject based on the acquired pulse signal.
  • Appendix 8) The estimation device is estimating the pulse rate of the subject using the pulse signal of the subject;
  • the biological information estimation device according to appendix 7, which outputs information corresponding to the estimated pulse rate.
  • the estimation device is estimating an emotional state of the subject using the pulse signal of the subject;
  • the biological information estimation device according to appendix 7, which outputs information corresponding to the estimated emotional state.
  • Appendix 10 A plurality of light emitters that emit light toward the skin of a subject whose pulse is to be measured, and a light receiver that includes a plurality of light receiving units that receive the reflected light of the light emitted from the plurality of light emitters are controlled.
  • a control method comprising: The control unit causing the plurality of light emitters to emit the light; receiving from the light receiver a reception signal corresponding to the reflected light of the light received by the light receiver; optimizing the intensity of the received signal using a normalization constant set for each of the plurality of light emitters; A control method for outputting the received signal, the strength of which is optimized using the normalization constant, as a pulse signal.
  • a plurality of light emitters that emit light toward the skin of a subject whose pulse is to be measured, and a light receiver that includes a plurality of light receiving units that receive the reflected light of the light emitted from the plurality of light emitters are controlled.
  • a non-transitory recording medium recording a program for causing a computer to execute a process of outputting the received signal, the intensity of which is optimized using the normalization constant, as a pulse signal.
  • 3 biological information estimation device 10 20, 30, 40 pulse measurement device 11, 21, 41 light emitter 12, 42 light receiver 13, 23, 43 controller 14, 24 substrate 17, 27 adhesive layer 22 light receiving element array 36 estimation device 100, 300 terminal device 131, 231 light emission control unit 132, 232 signal acquisition unit 133, 233 normalization constant setting unit 134, 234 storage unit 135, 235 optimization unit 136, 236 output unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

被験者の脈拍を正確に計測するために、脈拍計測対象の被験者の皮膚に装着される基板の計測面に配置され、被験者の皮膚に向けて光を出射する複数の発光器と、基板の計測面に配置され、複数の発光器から出射された光の反射光を受光する複数の受光部を含む受光器と、複数の発光器に光を出射させ、受光器によって受光される光の反射光に応じた受信信号を受光器から受信し、複数の発光器の各々に関して設定された規格化定数を用いて受信信号の強度を最適化し、規格化定数を用いて強度が最適化された受信信号を脈拍信号として出力する制御部と、を備える脈拍計測装置とする。

Description

脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体
 本開示は、脈拍を計測する脈拍計測装置等に関する。
 脈拍の変動などの自律神経系の活動を反映する生体情報を被験者より検出し、検出された生体情報に応じて、その被験者の感情を推定する技術がある。特許文献1には、被験体について検出されたバイオ信号を用いて、その被験体の精神状態を導出する方法について開示されている。特許文献1では、バイオ信号から導き出される複数の生理学的パラメータに関して統計的変動を計算し、算出された統計的変動に基づいて被験体の興奮レベルを求める。特許文献1では、バイオ信号から時間領域心拍数変動性信号を導き出して複数の心拍数変動性パラメータを計算し、複数の心拍数変動性パラメータの計算値に基づいて、被験体の感情価レベルを求める。特許文献1の手法では、興奮レベルおよび感情価レベルに応じて、被験体の精神状態を導出する。
 非特許文献1には、高解像度のアレイ状センサがフレキシブル基板上に実装された、フレキシブルイメージングデバイスが開示されている。非特許文献1のデバイスは、多結晶シリコン薄膜トランジスタ読み出し回路と、近赤外領域で高感度の有機フォトダイオードとが組み合わされた構造を有する。非特許文献1のデバイスは、被験体の皮膚に貼付されることにより、その被験体の脈拍や静脈像等の生体情報を、高解像度に取得できる。
特表2018-504188号公報
T. Yokota, et al., "A conformable imager for biometric authentication and vital sign measurement", Nature Electronics, volume 3, p.p. 113-121 (2020)
 非特許文献1のデバイスによって計測される生体情報を用いれば、特許文献1の手法によって被験体の精神状態を導出できる。被験体の精神状態を正確に推測するためには、その被験体の生体情報を正確に計測する必要がある。非特許文献1の手法では、デバイスが貼付された皮膚下の環境や、光源とセンサ間の距離の違いなどによる影響によって、アレイ状センサの面内において、検出される脈拍信号の計測条件が不均一になる。非特許文献1の手法では、心拍や体動に起因するアーティファクトの影響を受けるため、アレイ状センサの面内において脈拍信号の計測条件を均一にすることが難しい。すなわち、非特許文献1の手法では、被験体の脈拍を正確に計測することが難しかった。
 本開示の目的は、被験者の脈拍を正確に計測できる脈拍計測装置等を提供することにある。
 本開示の一態様の脈拍計測装置は、脈拍計測対象の被験者の皮膚に装着される基板の計測面に配置され、被験者の皮膚に向けて光を出射する複数の発光器と、基板の計測面に配置され、複数の発光器から出射された光の反射光を受光する複数の受光部を含む受光器と、複数の発光器に光を出射させ、受光器によって受光される光の反射光に応じた受信信号を受光器から受信し、複数の発光器の各々に関して設定された規格化定数を用いて受信信号の強度を最適化し、規格化定数を用いて強度が最適化された受信信号を脈拍信号として出力する制御部と、を備える。
 本実施形態の一態様の脈拍計測方法は、脈拍計測対象の被験者の皮膚に向けて光を出射する複数の発光器と、複数の発光器から出射された光の反射光を受光する複数の受光部を含む受光器と、を用いた脈拍計測方法であって、制御部が、複数の発光器に光を出射させ、受光器によって受光される光の反射光に応じた受信信号を受光器から受信し、複数の発光器の各々に関して設定された規格化定数を用いて受信信号の強度を最適化し、規格化定数を用いて強度が最適化された受信信号を脈拍信号として出力する。
 本実施形態の一態様のプログラムは、脈拍計測対象の被験者の皮膚に向けて光を出射する複数の発光器と、複数の発光器から出射された光の反射光を受光する複数の受光部を含む受光器と、を制御するためのプログラムであって、複数の発光器に光を出射させる処理と、受光器によって受光される光の反射光に応じた受信信号を受光器から受信する処理と、複数の発光器の各々に関して設定された規格化定数を用いて受信信号の強度を最適化する処理と、規格化定数を用いて強度が最適化された受信信号を脈拍信号として出力する処理と、をコンピュータに実行させる。
 本開示によれば、被験者の脈拍を正確に計測できる脈拍計測装置等を提供することが可能になる。
第1の実施形態に係る脈拍計測装置の構成の一例を示すブロック図である。 第1の実施形態に係る脈拍計測装置を計測面の側から見た概念図である。 第1の実施形態に係る脈拍計測装置の構成について説明するための断面図である。 第1の実施形態に係る脈拍計測装置を被験者の皮膚に装着した一例を示す概念図である。 第1の実施形態に係る脈拍計測装置によって計測される反射光の光強度に影響を与える因子について説明するための概念図である。 第1の実施形態に係る脈拍計測装置によって計測される反射光に応じた受信信号の強度の一例について説明するための概念図である。 第1の実施形態に係る脈拍計測装置による規格化定数の設定の一例について説明するための概念図である。 第1の実施形態に係る脈拍計測装置による受信信号の最適化の一例について説明するための概念図である。 第1の実施形態に係る脈拍計測装置から出力される脈拍信号に応じた脈拍数を表示させる一例を示す概念図である。 第1の実施形態に係る脈拍計測装置から出力される脈拍信号の時系列データを表示させる一例を示す概念図である。 第1の実施形態に係る脈拍計測装置によるキャリブレーションの一例について説明するためのフローチャートである。 第1の実施形態に係る脈拍計測装置によるキャリブレーションの別の一例について説明するためのフローチャートである。 第1の実施形態に係る脈拍計測装置による脈拍計測の一例について説明するためのフローチャートである。 関連技術に係る脈拍計測装置の構成の一例を示す概念図である。 関連技術に係る脈拍計測装置によって計測される信号の一例を示す概念図である。 関連技術に係る脈拍計測装置によって計測される信号の別の一例を示す概念図である。 関連技術に係る脈拍計測装置によって計測される信号のさらに別の一例を示す概念図である。 第2の実施形態に係る脈拍計測装置の構成の一例を示すブロック図である。 第2の実施形態に係る脈拍計測装置を計測面の側から見た概念図である。 第2の実施形態に係る脈拍計測装置の構成について説明するための断面図である。 第2の実施形態に係る脈拍計測装置による規格化定数の設定の一例について説明するための概念図である。 第2の実施形態に係る脈拍計測装置によって計測される計測範囲の環境の一例を示す概念図である。 第2の実施形態に係る脈拍計測装置の受光素子アレイに設定されるアクティブ領域について説明するための概念図である。 第2の実施形態に係る脈拍計測装置の変形例について説明するための概念図である。 第2の実施形態に係る脈拍計測装置によるキャリブレーションの一例について説明するためのフローチャートである。 第2の実施形態に係る脈拍計測装置による計測対象範囲の設定の一例について説明するためのフローチャートである。 第2の実施形態に係る脈拍計測装置による脈拍計測の一例について説明するためのフローチャートである。 第3の実施形態に係る生体情報推定装置の構成の一例を示すブロック図である。 第3の実施形態に係る生体情報推定装置によって推定される感情状態について説明するための概念図である。 第3の実施形態に係る生体情報推定装置が用いる推定モデルの生成の一例について説明するための概念図である。 第3の実施形態に係る生体情報推定装置による推定モデルを用いた感情状態の推定の一例について説明するための概念図である。 第3の実施形態に係る生体情報推定装置によって推定された脈拍数に応じた情報を画面に表示させる一例を示す概念図である。 第3の実施形態に係る生体情報推定装置によって推定された感情状態に応じた情報を画面に表示させる一例を示す概念図である。 第4の実施形態に係る脈拍計測装置の構成の一例を示すブロック図である。 各実施形態における制御や処理を実現するハードウェア構成の一例を示すブロックである。
 以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
 (第1の実施形態)
 まず、第1の実施形態に係る脈拍計測装置について図面を参照しながら説明する。本実施形態の脈拍計測装置は、被験者の皮膚に貼付される。本実施形態の脈拍計測装置は、被験者の皮膚上から光を照射し、その光の反射光を受光する。本実施形態の脈拍計測装置は、受光した反射光の強度変化に応じて、その被験者の脈拍を計測する。
 (構成)
 図1は、本実施形態に係る脈拍計測装置10の構成の一例を示すブロック図である。脈拍計測装置10は、複数の発光器11-1~m、受光器12、および制御部13を備える(mは2以上の自然数)。受光器12は、複数の受光部120-1~nを含む(nは2以上の自然数)。制御部13は、発光制御部131、信号取得部132、規格化定数設定部133、記憶部134、最適化部135、および出力部136を有する。以下において、複数の発光器11-1~mに共通の事項について説明する場合、発光器11と記載する場合がある。同様に、以下において、複数の受光部120-1~nに共通の事項について説明する場合、受光部120と記載する場合がある。
 図2は、脈拍計測装置10の計測面の概念図である。図3は、図2のA-A切断線で切断された脈拍計測装置10の断面図である。以下においては、脈拍計測装置10が二つの発光器11(E1、E2)と三つの受光部120(R1、R2、R3)を備える例について説明する。図2および図3には、二つの発光器11と三つの受光部120が、基板14の同じ面(計測面とも呼ぶ)の上に配置される例を示す。基板14の計測面内の周辺部分には、脈拍計測装置10を被験者の皮膚に貼付するための粘着層17が設置される。脈拍計測装置10は、被験者の皮膚に貼付された状態で、基板14の計測面の側に外部からの光が進入しないように、皮膚に貼付される。図3には、計測面に対向する面上に制御部13が配置される例を示す。制御部13が配置される位置は、計測面に対向する面上に限定されない。例えば、制御部13は、基板14の内部や、発光器11および受光器12から離れた位置に配置されてもよい。
 発光器11は、脈拍の計測に用いられる光を出射する出射面を有する。脈拍計測時において発光器11が出射する光を、光信号とも呼ぶ。複数の発光器11は、それらの出射面が同じ向きに向かうように配列される。複数の発光器11の出射面と、複数の受光部120の受光面とは、同じ向きに向けて配列される。発光器11の出射面は、脈拍計測装置10が被験者の皮膚に貼付された状態で、その被験者の皮膚に向けられる。
 発光器11は、脈拍を計測可能な波長帯の光信号を出射する。例えば、発光器11は、LED(Light Emitting Diode)によって実現される。例えば、発光器11は、緑色の波長帯の光信号を出射する。脈拍の計測であれば、緑色の波長帯の光信号が好適である。例えば、発光器11は、近赤外線の波長帯の光信号を出射する。静脈全体を計測する場合は、例えば1.1マイクロメートル程度の近赤外線が好適である。発光器11が出射する光信号の波長帯は、脈拍を計測可能な波長帯であれば、特に限定されない。複数の発光器11の光出力は、同一であってもよいし、異なっていてもよい。複数の発光器11の光出力は、一定であってもよいし、調整可能であってもよい。複数の発光器11の光出力が調整可能であれば、発光器11ごとに光出力を調整できる。
 受光部120は、発光器11から出射された光信号の反射光を受光するための受光部を有する。反射光は、発光器11から出射された光信号のうち、被験者の皮膚下(体内)で反射/散乱されて、受光部120に到達した光成分である。例えば、受光部120は、発光器11から出射される光信号の波長帯に感度のあるフォトダイオードによって実現される。
 制御部13は、複数の発光器11を制御する。例えば、制御部13は、マイクロコンピュータ(マイコンとも呼ぶ)やマイクロコントローラによって実現される。例えば、制御部113は、CPU(Central Processing Unit)やRAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等を有する。制御部13は、予め記憶されたプログラムに応じた制御や処理を実行する。制御部13は、予め設定されたスケジュールや、外部からの指示等に応じて、プログラムに応じた制御や処理を実行する。例えば、制御部113は、受光部120から取得した受信信号をフラッシュメモリに記憶させる。例えば、制御部13は、フラッシュメモリに記憶されたデジタルデータを、所定のタイミングで出力する。
 図4は、発光器11から出射された光信号が、被験者の皮膚下(体内)で反射/散乱される様子を示す概念図である。複数の発光器11の各々から出射された光信号の反射光は、異なる経路を経て、複数の受光部120の各々によって受光される。複数の発光器11の各々から出射された光信号は、皮膚や血管、筋肉、脂肪、骨などの身体構成組織による光の吸収特性や散乱特性に応じて、光強度が変化する。そのため、受光部120によって受光される反射光の光強度は、光信号/反射光の経路の長さや、皮膚下の環境、被験者の体動に応じて、変動する。本実施形態では、被験者の皮膚上から体内に向けて、発光器11から光信号を出射し、その光信号の反射光に応じて、その被験者の脈拍を測定する。例えば、本実施形態では、脈動による体内の血液容積の変動を、吸光度の変化(光強度変化とも呼ぶ)として計測する。
 図5は、受光部120によって受光される反射光の光強度に影響を与える因子について説明するための概念図である。反射光の光強度に影響を与える因子には、変動成分と不動成分とが含まれる。変動成分は、AC(Alternating Current)成分とも呼ばれる。AC成分は、脈動によって変動する。不動成分は、DC(Direct Current)成分とも呼ばれる。DC成分は、脈動によってほとんど変動しない。脈拍は、AC成分の変動に応じた反射光の光強度変化に基づいて、計測される。本実施形態では、AC成分の変動を脈動として計測する。
 図6は、複数の発光器11から出射された光信号が同じ受光部120によって受光された場合における、反射光の光強度について説明するための概念図である。図6の上段(矢印の上側)は、発光器11(E1、E2)によって出射された光信号の出射時点における波形を示す。図6の下段(矢印の下側)は、受光部120(R2)によって受光された反射光の受光時点における波形を示す。図6の例では、発光器E1と発光器E2が、同じ光強度の異なる周波数の光信号を同じタイミングで出射する。発光器E1は、周波数f1の光信号を出射する。発光器E2は、周波数f2の光信号を出射する。受光部R2は、発光器E1および発光器E2から出射された光信号の反射光を同じタイミングで受光する。ただし、発光器E1と受光部R2の距離と、発光器E2と受光部R2の距離との相違による、反射光の受光タイミングの差は、検出限界以下であると仮定する。発光器E1から出射された光信号の反射光と、発光器E2から出射された光信号の反射光とは、光信号/反射光の経路の距離や、皮膚下の環境、体動等の影響によって、受光部R2において異なる光強度で計測される。本実施形態では、複数の受光部120の各々に対する、発光器11ごとの影響度が均一になるように、反射光の波形を最適化する。
 ここで、受光部120によって受光される反射光を規格化する一例について説明する。発光器eによる受光部rに対する影響度を、I(e、r)と表現する。発光器eに対する受光部rの規格化定数を、C(e、r)と表現する。規格化定数C(e、r)は、キャリブレーションによって決定される。例えば、脈拍の計測時において、受光部rによって受光される反射光の強度は、下記の式1によって補正される。M(e、r)は、規格化された反射光の強度である。複数の受光部120の各々は、発光器11ごとに個別に規格化される。
M(e、r)=I(e、r)×C(e、r)・・・(1)
 図7は、受光部120に対する発光器11の影響度と、発光器11に対する受光部120の規格化とについて説明するための概念図である。図7の上段(矢印の上側)は、各々の受光部120に対する発光器11ごとの影響度に関する大小関係を、マップ化した影響度マップである。図7の下段(矢印の下側)は、各々の発光器11に対する受光部120ごとの規格化定数に関する大小関係をマップ化した規格化マップである。発光器11の出射する光信号の光強度を制御する場合、図7の規格化マップは、各々の受光部120に対する発光器11ごとの規格化定数に関する大小関係を、マップ化した規格化マップとみなすことができる。影響度マップおよび規格化定数マップにおいて、影響度や規格化定数の大小は、円の半径の大小で表現される。影響度マップおよび規格化定数マップにおいては、影響度や規格化定数が大きいほど円の半径が大きく、影響度や規格化定数が小さいほど円の半径が小さくなるように表現される。なお、影響度マップおよび規格化マップに示す影響度や規格化定数の大小関係を示す円の大きさは、相対的な大小関係を概念的に示すものである。
 図7において、発光器E1による影響度は、受光部R3と比べて、受光部R1の方が大きい。そのため、発光器E1から出射された光信号の光強度を、受光部R1と受光部R3の間で均一化するためには、受光部R1と比べて、受光部R3に対して大きい規格化定数を乗ずればよい。それに対し、図7において、発光器E2による影響度は、受光部R1と比べて、受光部R3の方が大きい。そのため、発光器E2から出射された光信号の光強度を、受光部R1と受光部R3の間で均一化するためには、受光部R3と比べて、受光部R1に対して大きい規格化定数を乗ずればよい。図7において、発光器E1や発光器E2による影響度は、受光部R2においてほぼ同一である。そのため、発光器E1や発光器E2から出射された光信号の光強度を、受光部R2では変更しない規格化定数(1)を乗ずればよい。
 図8は、複数の発光器11から出射された光信号が同じ受光部120(受光部R2)によって受光された場合における、反射光の光強度の規格化について説明するための概念図である。図8の上段(矢印の上側)は、受光部120(R2)によって受光された反射光の波形を示す。図8の下段(矢印の下側)は、受光部120(R2)によって受光された反射光が規格化された波形を示す。図8の例では、発光器E1と発光器E2が、同じ光強度の異なる周波数の光信号を同じタイミングで出射したものとする。発光器E1は、周波数f1の光信号を出射する。発光器E2は、周波数f2の光信号を出射する。受光部R2は、発光器E1および発光器E2から出射された光信号の反射光を同じタイミングで受光する。ただし、発光器E1と受光部R2の距離と、発光器E2と受光部R2の距離との相違による、反射光の受光タイミングの差は、検出限界以下であると仮定する。
 図8のように、発光器E1から出射された光信号の反射光と、発光器E2から出射された光信号の反射光とは、受光部R2において異なる光強度で計測される(上段)。本実施形態では、複数の受光部120の各々に対する、複数の発光器11の影響度を均一にする規格化定数を、反射光の光強度に乗ずる。その結果、複数の発光器11の各々による影響度が受光部120ごとに均一になり、発光器E1および発光器E2から出射された光信号の反射光の光強度が等しくなる。
 例えば、図8の例において、発光器E1の影響度が、受光部R1に対して2、受光部R2に対して1、受光部R3に対して0.5であるとする。この場合、複数の受光部120に対する発光器E1の影響度が均一になるように、複数の受光部120の各々に対して規格化定数が設定される。例えば、図8の例において、発光器E1に対する規格化定数は、受光部R1に対して0.5、受光部R2に対して1、受光部R3に対して2に設定される。複数の受光部120の各々に対して設定された発光器11ごとの規格化定数を、複数の受光部120が受光した反射光の光強度に乗ずれば、複数の受光部120の各々に対する複数の発光器11の影響を均一化できる。例えば、複数の受光部120の各々に対して設定された発光器11ごとの規格化定数に基づいて、複数の発光器11の光出力を調整することで、複数の受光部120の各々に対する発光器11ごとの影響を均一化させてもよい。
 制御部13は、複数の発光器11の各々を個別に制御し、複数の発光器11の各々から光信号を出射させる。例えば、制御部13は、複数の発光器11から同一の強度の光信号が出力されるように、複数の発光器11を一括で制御する。例えば、制御部13は、複数の発光器11の各々から個別の強度の光信号が出力されるように、複数の発光器11の各々を制御する。例えば、制御部13は、状況に応じて、複数の発光器11のうちいずれかの動作を停止させてもよい。制御部13は、キャリブレーション期間と脈拍計測期間とにおいて、異なる条件で発光器11を制御する。
 キャリブレーション期間において、制御部13は、キャリブレーションのための変調光が出射されるように、発光器11を制御する。制御部13は、複数の発光器11から異なる周波数の変調光を出射させる。複数の発光器11から出射される変調光は、発光器11ごとの固有の周波数で変調される。そのため、複数の受光部120の各々によって受光された反射光の周波数に応じて、その反射光に対応する変調光の出射元の発光器11を区別できる。
 キャリブレーションは、予め設定されたタイミングで実行される。例えば、キャリブレーションは、脈拍計測装置10が被験者に装着されたタイミングで実行される。例えば、キャリブレーションは、脈拍計測装置10の起動時に実行される。例えば、キャリブレーションは、予め設定されたリフレッシュのタイミングで実行されてもよい。例えば、キャリブレーションは、被験者等のユーザの要求に応じて実行されるように設定されてもよい。キャリブレーションのタイミングは、任意に設定できる。
 脈拍計測期間において、制御部13は、脈拍計測のための光信号が出射されるように、発光器11を制御する。制御部13は、複数の発光器11から異なる周波数の光信号を出射させる。複数の発光器11から出射される光信号は、発光器11ごとの固有の周波数で出射される。そのため、複数の受光部120の各々によって受光された反射光の周波数に応じて、その反射光に対応する光信号の出射元の発光器11を区別できる。
 制御部13は、複数の受光部120の各々が受光した反射光に応じた受信信号を、複数の受光部120から取得する。受信信号は、複数の受光部120の各々が受光した反射光の光強度に応じた強度を有する。制御部13は、キャリブレーション期間と脈拍計測期間とにおいて、異なる条件で受信信号を処理する。
 キャリブレーション期間において、制御部13は、キャリブレーションのための変調光の反射光を受光した受光部120から、受信信号を取得する。制御部13は、複数の受光部120の各々に関して、発光器11ごとの影響度を計算する。制御部13は、算出された影響度に基づいて、複数の受光部120の各々に関する発光器11ごとの規格化定数を設定する。
 脈拍計測期間において、制御部13は、脈拍計測のための光信号の反射光を受光した受光部120から、受信信号を取得する。制御部13は、複数の受光部120の各々から取得した受信信号の強度を最適化する。制御部13は、複数の受光部120の各々から取得した受信信号の強度に、複数の受光部120の各々に対して発光器11ごとに設定された規格化定数を乗ずることによって、受信信号の強度を最適化する。
 制御部13は、規格化された信号(脈拍信号とも呼ぶ)を出力する。制御部13は、ケーブルなどの有線を介して脈拍信号を出力してもよいし、無線通信を介して脈拍信号を出力してもよい。例えば、制御部13は、Bluetooth(登録商標)やWiFi(登録商標)などの規格に則した無線通信機能(図示しない)を介して、脈拍信号を出力するように構成される。制御部13の通信機能は、Bluetooth(登録商標)やWiFi(登録商標)以外の規格に則していてもよい。脈拍信号の出力先や用途については、特に限定を加えない。例えば、制御部13は、脈拍計測装置10に接続された端末装置(図示しない)に向けて、脈拍信号を送信する。例えば、制御部13は、脈拍計測装置10を使用するユーザの携帯する携帯端末(図示しない)に向けて、脈拍信号を送信する。
 基板14は、折り曲げ可能な基板である。基板14は、折り曲げ可能な板状の形状を有する。例えば、基板14は、ポリイミド製の基層の表面に、銅箔などの導電層が形成され、プラスチックフィルムの被覆層で導電層がラミネートされた構造を有する。例えば、基板14の基層や被覆層は、ウレタン不織布や塩化ビニル、伸縮性綿布、スポンジシート、ウレタンフィルム、オレフィンフィルムを主成分としてもよい。基板14に実装される発光器11や受光部120、制御部13は、基板14の変形に応じて、変形するように構成されてもよいし、変形できないように構成されてもよい。
 基板14の計測面には、複数の発光器11と複数の受光部120が配置される。基板14の計測面における周辺部分には、粘着層17が形成される。粘着層17が形成される部分は、その他の部分とは異なる材質や構造であってもよい。例えば、粘着層17が形成される部分をメッシュ状の構造にすれば、粘着層17の部分が蒸れにくくなり、汗などに起因する粘着層17の粘着力の低下を抑制できる。基板14の計測面に対向する第2面には、制御部13が配置される。制御部13は、基板14の内部に配置されてもよい。例えば、防水性を向上させるために、基板14の内部に制御部13が配置されてもよい。例えば、防水性を向上させるために、防水性のフィルム等で制御部13が被覆されてもよい。例えば、脈拍計測装置10が被験者の体に貼付される際に、基板14は、貼付される部分の形状に応じて変形する。基板14の材料や構造、形状には、特に限定を加えない。
 粘着層17は、基板14の計測面における周辺部分に形成される。粘着層17は、脈拍計測装置10を被験者の体に貼付するための粘着剤を含む。例えば、粘着層17は、アクリル系粘着剤やゴム系粘着剤、シリコーン系粘着剤を含む。粘着層17は、外部からの光が発光器11や受光部120に及ばないように、遮光性を有することが好ましい。粘着層17の材料には、特に限定を加えない。例えば、粘着層17には、皮膚に対する刺激が少ない材料方を用いる方がよい。例えば、粘着層17には、皮膚に対する不快感を軽減する物質が含有されていてもよい。例えば、粘着層17には、メントールなどが含有されてもよい。例えば、粘着層17には、汗等の水分の吸収による粘着力の低下を抑制する物質が、含有されていてもよい。例えば、粘着層17には、高分子吸収体などが含有されてもよい。
 〔制御部〕
 次に、脈拍計測装置10の制御部13の詳細構成について説明する。図1のように、制御部13は、発光制御部131、信号取得部132、規格化定数設定部133、記憶部134、最適化部135、および出力部136を有する。
 発光制御部131は、複数の発光器11を制御する。発光制御部131は、複数の発光器11の各々を個別に制御し、複数の発光器11の各々から光信号を出射させる。例えば、発光制御部131は、複数の発光器11から同一の強度の光信号が出力されるように、複数の発光器11を一括で制御する。例えば、発光制御部131は、複数の発光器11の各々から個別の強度の光信号が出力されるように、複数の発光器11の各々を制御する。例えば、発光制御部131は、状況に応じて、複数の発光器11のうちいずれかの動作を停止させてもよい。
 発光制御部131は、キャリブレーション期間と脈拍計測期間とにおいて、異なる条件で発光器11を制御する。キャリブレーション期間において、発光制御部131は、キャリブレーションのための変調光が出射されるように、発光器11を制御する。キャリブレーション期間において、発光制御部131は、複数の発光器11から異なる周波数の変調光を出射させる。脈拍計測期間において、発光制御部131は、脈拍計測のための光信号が出射されるように、発光器11を制御する。脈拍計測期間において、発光制御部131は、複数の発光器11から異なる周波数の光信号を出射させる。例えば、規格化定数に基づいて複数の発光器11の各々を制御する場合、発光制御部131は、記憶部134に記憶された規格化定数に基づいて、個々の発光器11を制御する。
 信号取得部132は、複数の受光部120の各々が受光した反射光に応じた受信信号を、複数の受光部120から取得する。受信信号には、複数の受光部120の各々が受光した反射光の光強度が反映される。信号取得部132は、キャリブレーション期間と脈拍計測期間とにおいて、異なる条件の受信信号を処理する。キャリブレーション期間において、信号取得部132は、キャリブレーションのための変調光の反射光を受光した受光部120から、受信信号を取得する。脈拍計測期間において、信号取得部132は、脈拍計測のための光信号の反射光を受光した受光部120から、受信信号を取得する。
 キャリブレーション期間において、規格化定数設定部133は、複数の発光器11から出射された変調光の反射光に基づく受信信号を、複数の受光部120の各々から取得する。規格化定数設定部133は、複数の受光部120の各々に関して、発光器11ごとの影響度を計算する。制御部13は、算出された影響度に基づいて、複数の受光部120の各々に関する発光器11ごとの規格化定数を設定する。規格化定数設定部133は、設定された規格化定数を記憶部134に記憶させる。例えば、規格化定数設定部133は、設定された規格化定数がマップ化された規格化マップを記憶部134に記憶させてもよい。
 記憶部134は、規格化定数設定部133によって設定された規格化定数を記憶する。例えば、記憶部134は、設定された規格化定数がマップ化された規格化マップを記憶してもよい。記憶部134に記憶された規格化定数は、発光制御部131や最適化部135によって参照される。
 脈拍計測期間において、最適化部135は、複数の発光器11から出射された光信号の反射光に基づく受信信号を、複数の受光部120の各々から取得する。最適化部135は、複数の受光部120の各々から取得した受信信号の強度を最適化する。最適化部135は、複数の受光部120の各々から取得した受信信号の強度に、複数の受光部120の各々に対して発光器11ごとに設定された規格化定数を乗ずることによって、受信信号の強度を最適化する。最適化部135によって規格化された信号が、脈拍信号である。
 出力部136は、最適化部135によって規格化された信号(脈拍信号とも呼ぶ)を出力する。出力部136は、ケーブルなどの有線を介して脈拍信号を出力してもよいし、無線通信を介して脈拍信号を出力してもよい。例えば、出力部136は、Bluetooth(登録商標)やWiFi(登録商標)などの規格に則した無線通信機能(図示しない)を介して、脈拍信号を出力するように構成される。出力部136の通信機能は、Bluetooth(登録商標)やWiFi(登録商標)以外の規格に則していてもよい。脈拍信号の出力先や用途については、特に限定を加えない。例えば、出力部136は、画面を有する専用の端末装置(図示しない)に脈拍信号を出力する。例えば、出力部136は、ユーザの携帯するスマートフォンやタブレットなどの携帯端末(図示しない)に脈拍信号を出力する。例えば、出力部136は、サーバやクラウドに構築された外部システム(図示しない)に脈拍信号を出力する。
 図9は、脈拍計測装置10から出力された脈拍信号に応じて計測される脈拍数を、端末装置100の画面に表示させる例である。脈拍数は、単位時間当たりの脈動(脈拍)の回数に相当する。ここでは、一分間における脈動の回数を脈拍数と定義する。画面に表示された脈拍数を視認したユーザは、被験者の脈拍数を確認できる。例えば、脈拍数に応じて、被験者の身体状態等について検証できる。脈拍は、心臓の拍動(心拍)に由来する。そのため、脈拍数は、心拍数に相当する。被験者の脈拍数をリアルタイムで計測/表示できれば、その被験者の身体状態をリアルタイムで正確にモニターできる。例えば、運動時心拍数と安静時心拍数の値に応じて、被験者の主観的運動強度を定量化することもできる。定量化された主観的運動強度や、主観的運動強度に応じた疲労度を、端末装置100の画面に表示させてもよい。
 図10は、脈拍計測装置10から出力された信号の時系列データの波形を、端末装置100の画面に表示させる例である。画面に表示された波形を視認したユーザは、被験者の脈拍の状態を確認できる。例えば、脈拍の強度や間隔、時間変化に基づいて、被験者の身体や健康、精神、感情等の状態について検証できる。
 (動作)
 次に、本実施形態に係る脈拍計測装置10の動作の一例について図面を参照しながら説明する。以下においては、脈拍計測装置10の動作の一例について、制御部13を動作主体とし、フローチャートに沿って説明する。
 〔キャリブレーション1〕
 図11は、脈拍計測装置10の制御部13によるキャリブレーション期間における動作の一例について説明するためのフローチャートである。図11のフローチャートは、複数の発光器11を一斉に動作させて、キャリブレーションする例である。
 図11において、まず、制御部13は、固有の変調光を出射するように、複数の発光器11の各々を制御する(ステップS111)。複数の発光器11を一斉に動作させてキャリブレーションする場合、制御部13は、複数の発光器11の各々から、周波数が互いに異なる固有の変調光を出射させる。
 制御部13は、複数の受光部120の各々によって受光された、複数の発光器11からの変調光に応じた受信信号を取得する(ステップS112)。
 制御部13は、複数の発光器11からの変調光の光強度に基づいて、複数の発光器11の影響度を受光部120ごとに計算する(ステップS113)。変調光の光強度は、受光部120によって受光された変調光に対応する受信信号の強度に反映される。
 制御部13は、複数の発光器11の各々による複数の受光部120への影響度に基づいて、光信号の光強度を規格化する規格化定数を、受光部120ごとに計算する(ステップS114)。
 制御部13は、算出された受光部120ごとの規格化定数を、複数の受光部120の各々に設定する(ステップS115)。発光器11の光出力を調整する場合、制御部13は、算出された受光部120ごとの規格化定数を、複数の発光器11の各々に設定する。
 〔キャリブレーション2〕
 図12は、脈拍計測装置10の制御部13によるキャリブレーション期間における動作の別の一例について説明するためのフローチャートである。図12のフローチャートは、複数の発光器11を一つずつ動作させて、キャリブレーションする例である。
 図12において、まず、制御部13は、変調光を出射するように、複数の発光器11のうちいずれかを制御する(ステップS121)。発光器11を一つずつ動作させてキャリブレーションする場合は、複数の発光器11の各々から出射される変調光の周波数が同一であってもよい。
 制御部13は、複数の受光部120の各々によって受光された、動作中の発光器11からの変調光に応じた受信信号を取得する(ステップS122)。
 全ての発光器11の制御が完了すると(ステップS123でYes)、制御部13は、複数の発光器11からの変調光の光強度に基づいて、複数の発光器11の影響度を受光部120ごとに計算する。変調光の光強度は、受光部120によって受光された変調光に対応する受信信号の強度に反映される。全ての発光器11の制御が完了していない場合(ステップS123でNo)、ステップS121に戻る。
 制御部13は、複数の発光器11の各々による複数の受光部120への影響度に基づいて、光信号の光強度を規格化する規格化定数を、受光部120ごとに計算する(ステップS125)。
 制御部13は、算出された受光部120ごとの規格化定数を、複数の受光部120の各々に設定する(ステップS126)。発光器11の光出力を調整する場合、制御部13は、算出された受光部120ごとの規格化定数を、複数の発光器11の各々に設定する。
 〔脈拍計測〕
 図13は、脈拍計測装置10の制御部13による脈拍計測期間における動作の一例について説明するためのフローチャートである。図13のフローチャートは、複数の受光部120に関するキャリブレーションが完了している段階における、脈拍計測期間に関する。
 図13において、まず、制御部13は、脈拍計測用の光信号を出射するように、複数の発光器11の各々を制御する(ステップS131)。発光器11の光出力を調整する場合、制御部13は、受光部120ごとの規格化定数に応じて、複数の発光器11の各々の光出力を調整する。
 次に、制御部13は、複数の受光部120の各々によって受光された、複数の発光器11の各々からの光信号の反射光に応じた受信信号を取得する(ステップS132)。
 次に、制御部13は、複数の受光部120の各々から取得した受信信号を、受光部120ごとの規格化定数で最適化する(ステップS133)。
 次に、制御部13は、規格化された信号(脈拍信号)を出力する(ステップS134)。例えば、制御部13は、図示しない端末装置や携帯端末、外部システム、表示装置等に脈拍信号を出力する。
 脈拍計測を終了させる場合(ステップS135でYes)、制御部13は、複数の発光器11からの光信号の出射を停止させる(ステップS136)。脈拍計測を継続する場合(ステップS135でNo)、ステップS132に戻る。例えば、脈拍計測の終了/継続は、予め設定されたスケジュールに従って判定される。例えば、脈拍計測の終了/継続は、ユーザの入力操作に応じて、任意のタイミングにおいて設定されてもよい。
 〔関連技術〕
 ここで、関連技術に係る脈拍計測装置について図面を参照しながら説明する。関連技術は、第1の実施形態の比較例である。図14は、関連技術に係る脈拍計測装置190の構成の一例を示す概念図である。図14は、脈拍計測装置190の断面図である。脈拍計測装置190は、発光器191、制御部193、複数の受光器192、基板194、および粘着層197を備える。発光器191、制御部193、複数の受光器192、基板194、および粘着層197の配置や機能は、第1の実施形態と同様である。図14は、発光器191から出射された光信号が、被験者の皮膚下(体内)で反射/散乱される様子を示す。
 図15~図16は、複数の受光器192の各々によって受光された、発光器191から出射された光信号の反射光に応じた脈拍信号の波形の一例である。図15は、図16と比べて、光信号の光路が短く、光信号の減衰が小さい例である。図16は、図15と比べて、光信号の光路が長く、光信号の減衰が大きい例である。発光器191から出射された光信号の反射光は、複数の受光器192の各々において、異なる光強度で受光される。関連技術では、複数の受光器192の各々において受光された反射光の光強度が規格化されない。脈拍計測装置190が貼付された皮膚下における毛細血管や血管の位置に応じて、脈拍のAC成分の影響が受光部120ごとに異なる。そのため、関連技術の手法では、皮膚下の環境に応じて、受光器192ごとに異なる脈拍信号が得られる。
 図17は、被験者の体動に応じて脈拍信号の波形に発生する歪みの一例を示す概念図である。体動による変動は、複数の受光器192の各々によって受光される反射光のDC成分の変動として表れる。言い換えると、体動による変動は、脈拍のベースラインの変動要因である。関連技術の手法では、被験者の体動に応じて、脈拍のベースラインが変動する。
 関連技術の手法では、皮膚下の環境や、被験者の体動、発光器191から受光器192までの光信号の光路差などの影響によって、受光器192ごとに得られる脈拍信号が異なる。受光器192ごとの脈拍信号をソフトウェアによって補正することもできる。しかし、発光器191が単一の場合、ソフトウェアによって補正では、脈拍信号に含まれるAC成分とDC成分を正確に補正することは難しい。
 それに対し、第1の実施形態の手法では、複数の受光部120の各々に対する、複数の発光器11の各々による影響度に基づいて、複数の発光器11の各々に対する規格化定数が受光部120ごとに設定される。そのため、第1の実施形態の手法によれば、複数の受光部120によって受光される光信号の反射光の光強度が、発光器11ごとに均一化されるため、脈拍信号に含まれるAC成分とDC成分を正確に補正できる。
 以上のように、脈拍計測装置は、複数の発光器、受光器、および制御部を備える。複数の発光器は、脈拍計測対象の被験者の皮膚に装着される基板の計測面に配置される。複数の発光器は、被験者の皮膚に向けて光を出射する。受光器は、基板の計測面に配置される。受光器は、複数の発光器から出射された光の反射光を受光する複数の受光部を含む。制御部は、複数の発光器に光を出射させる。制御部は、受光器によって受光される光の反射光に応じた受信信号を、受光器から受信する。制御部は、複数の発光器の各々に関して設定された規格化定数を用いて受信信号の強度を最適化する。制御部は、規格化定数を用いて強度が最適化された受信信号を、脈拍信号として出力する。
 本実施形態の脈拍計測装置は、複数の発光器から人体に向けて出射された光のうち、人体の内部で反射/散乱された反射光に応じた受信信号の強度を、発光器ごとに規格化する。本実施形態によれば、複数の発光器から出射された光の反射光に応じた受信信号の強度を均一に規格化することで、被験者の脈拍を正確に計測できる。
 本実施形態の一態様において、制御部は、複数の発光器の各々に設定された規格化定数に応じて、複数の発光器の各々の光出力を最適化する。本態様によれば、複数の発光器の各々の光出力を最適化することで、複数の発光器から出射された光の反射光に応じた受信信号の強度を受光部ごとに最適化できるため、被験者の脈拍を正確に計測できる。
 本実施形態の一態様において、制御部は、キャリブレーション期間において、複数の発光器の各々から固有の周波数で変調された変調光を出射させる。制御部は、受光器に含まれる複数の受光部の各々における、発光器ごとの変調光の反射光の受光強度に応じて、複数の受光部の各々に対する発光器ごとの影響度を計算する。制御部は、複数の受光部の各々に対して発光器ごとに算出された影響度に応じて、複数の発光器の各々から出射された変調光の反射光に応じた受信信号の強度が均一になる規格化定数を、複数の受光部の各々に設定する。本態様によれば、複数の発光器の各々に対する規格化定数を、受光部ごとに設定できる。
 本実施形態の一態様において、制御部は、脈拍計測期間において、複数の発光器の各々から光信号を出射させる。制御部は、複数の受光部の各々から取得される、発光器ごとの光信号の反射光に応じた受信信号に対して、複数の受光部の各々に設定された発光器ごとの規格化定数を乗ずることで、受信信号の強度を最適化する。本態様によれば、複数の発光器の各々に対する規格化定数を受光部ごとに設定することによって、被験者の脈拍を正確に計測できる。
 (第2の実施形態)
 次に、第2の実施形態に係る脈拍計測装置について図面を参照しながら説明する。本実施形態の脈拍計測装置は、複数の受光器の代わりに、複数の受光素子がアレイ状に配列された受光素子アレイを備える。受光素子アレイは、受光器の一形態である。
 (構成)
 図18は、本実施形態に係る脈拍計測装置20の構成の一例を示すブロック図である。脈拍計測装置20は、複数の発光器21-1~m、受光素子アレイ22、および制御部23を備える(mは2以上の自然数)。受光素子アレイ22の受光面には、複数の受光部が配列さえる。制御部23は、発光制御部231、信号取得部232、規格化定数設定部233、記憶部234、最適化部235、および出力部236を有する。以下において、複数の発光器21-1~mに共通の事項について説明する場合、発光器21と記載する場合がある。
 図19は、脈拍計測装置20の計測面の概念図である。図20は、図19のB-B切断線で切断された脈拍計測装置20の断面図である。以下においては、脈拍計測装置20が六つの発光器21を備える例について説明する。図19および図20には、六つの発光器21と一つの受光素子アレイ22が、基板24の同じ面(計測面とも呼ぶ)の上に配置される例を示す。基板24の計測面内の周辺部分には、脈拍計測装置20を被験者の皮膚に貼付するための粘着層27が設置される。脈拍計測装置20は、被験者の皮膚に貼付された状態で、基板24の計測面の側に外部からの光が進入しないように、皮膚に貼付される。
 発光器21は、第1の実施形態の発光器11と同様の構成である。複数の発光器21は、それらの出射面が同じ向きに向かうように配列される。複数の発光器21の出射面と、受光素子アレイ22の受光面とは、同じ向きに向けて配列される。発光器21の出射面は、脈拍計測装置20が被験者の皮膚に貼付された状態で、その被験者の皮膚に向けられる。
 受光素子アレイ22は、発光器21から出射された光信号の反射光を受光する受光面を有する。反射光は、発光器21から出射された光信号のうち、被験者の皮膚下(体内)で反射/散乱されて、受光素子アレイ22の受光面に到達した光成分である。受光素子アレイ22の受光面には、複数の受光部が二次元アレイ状に配列される。例えば、受光素子アレイ22の受光面には、一万個程度の受光部が二次元アレイ状に配列される。二次元アレイ状に配列された複数の受光部の各々によって受光された反射光の光強度は、それらの受光部の位置(アドレス)に対応付けられて、計測される。
 例えば、受光素子アレイ22は、非特許文献1に開示されたシート型イメージセンサによって実現できる(非特許文献1:T. Yokota, et al., “A conformable imager for biometric authentication and vital sign measurement”, Nature Electronics, volume 3, p.p. 113-121 (2020))。非特許文献1のシート型イメージセンサは、有機フォトダイオード、薄膜トランジスタ、CMOS(Complementary Metal-Oxide Semiconductor)、および光検出器を組み合わせた構成を有する。本実施形態においては、発光器21と受光素子アレイ22を別々の構成としているが、非特許文献1のシート型イメージセンサのように、発光器21と受光素子アレイ22が一体化されてもよい。
 複数の発光器21の各々から出射された光信号の反射光は、異なる経路を経て、受光素子アレイ22の受光面に配列された複数の受光部の各々によって受光される。複数の発光器21の各々から出射された光信号は、皮膚や血管、筋肉、脂肪、骨などの身体構成組織による光の吸収特性や散乱特性に応じて、光強度が変化する。そのため、受光素子アレイ22によって受光される反射光の光強度は、経路の長さや、皮膚下の環境、被験者の体動に応じて、変動する。本実施形態では、被験者の皮膚上から体内に向けて、発光器21から光信号を出射し、その光信号の反射光に応じて、その被験者の脈拍を測定する。本実施形態では、脈動による体内の血液容積の変動を、吸光度の変化(光強度変化とも呼ぶ)として計測する。
 図21は、受光素子アレイ22の受光面に配列された複数の受光部に対する発光器21ごとの影響度と、発光器21に対する受光部の規格化とについて説明するための概念図である。図21は、図19の構成に対応させて、六個の発光器21-1~6の例をあげる。図21には、複数の発光器21-1~6の各々を、発光器E1、発光器E2、・・・、発光器E6と表記する。図21において、発光器E3、発光器E4、および発光器E5の例は、省略する。
 図21の上段(矢印の上側)は、受光素子アレイ22の受光面に配列された複数の受光部に対する、各々の発光器21の影響度に関する大小関係を、マップ化した影響度マップである。図21の下段(矢印の下側)は、各々の発光器21に対する、受光素子アレイ22の受光面に配列された複数の受光部の規格化定数に関する大小関係を、マップ化した規格化マップである。発光器21の出射する光信号の光強度を制御する場合、図21の規格化マップは、受光素子アレイ22の受光面に配列された複数の受光部に対する、発光器21ごとの規格化定数に関する大小関係をマップ化した規格化マップとみなすことができる。影響度マップおよび規格化マップにおいて、影響度や規格化定数の大小は、濃淡で表現される。影響度マップおよび規格化マップにおいては、影響度や規格化定数が大きいほど濃く、影響度や規格化定数が小さいほど薄くなるように表現される。なお、影響度マップおよび規格化マップに示す影響度や規格化定数の大小関係を示す濃淡は、相対的な大小関係を概念的に示すものである。図21には、影響度や規格化定数の大きさを濃淡のグラデーションで表現した。実際には、受光面に配列された複数の受光部の各々に対して、影響度や規格化定数が設定されるため、影響度マップや規格化マップはモザイク状のマップになる。
 図21において、発光器E1による影響度は、受光面の左上で大きく、受光面の左上から右下に向けて徐々に小さくなる。そのため、発光器E1から出射された光信号の光強度を、受光素子アレイ22の受光面の面内で均一化するためには、受光面の左上の位置の受光部と比べて、受光面の右下の位置の受光部に対して大きい規格化定数を乗ずればよい。発光器E1に関しては、受光面の左上の位置から右下の位置に向けて、規格化定数が徐々に大きくなる。また、発光器E2による影響度は、受光面の左側で大きく、受光面の左側から右側に向けて徐々に小さくなる。そのため、発光器E2から出射された光信号の光強度を、受光素子アレイ22の受光面の面内で均一化するためには、受光面の左側の位置の受光部と比べて、受光面の右側の位置の受光部に対して大きい規格化定数を乗ずればよい。発光器E2に関しては、受光面の左側の位置から右側の位置に向けて、規格化定数が徐々に大きくなる。さらに、発光器E6による影響度は、受光面の右下で大きく、受光面の右下から左上に向けて徐々に小さくなる。そのため、発光器E6から出射された光信号の光強度を、受光素子アレイ22の受光面の面内で均一化するためには、受光面の右下の位置の受光部と比べて、受光面の左上の位置の受光部に対して大きい規格化定数を乗ずればよい。発光器E6に関しては、受光面の右下の位置から左上の位置に向けて、規格化定数が徐々に大きくなる。その他の発光器21(E3、E4、E5)に関しても、発光器E1等と同様に、規格化定数が設定される。
 制御部23は、第1の実施形態の制御部13と同様の構成である。制御部23は、複数の発光器21を制御する。制御部23は、複数の発光器21の各々を個別に制御し、複数の発光器21の各々から光信号を出射させる。例えば、制御部23は、複数の発光器21から同一の強度の光信号が出力されるように、複数の発光器21を一括で制御する。例えば、制御部23は、複数の発光器21の各々から個別の強度の光信号が出力されるように、複数の発光器21の各々を制御する。例えば、制御部23は、状況に応じて、複数の発光器21のうちいずれかの動作を停止させてもよい。制御部23は、キャリブレーション期間と脈拍計測期間とにおいて、異なる条件で発光器21を制御する。キャリブレーション期間や脈拍計測期間における発光器21の制御は、第1の実施形態と同様である。
 制御部23は、受光素子アレイ22が受光した反射光に応じた受信信号を、受光素子アレイ22から取得する。受信信号は、受光素子アレイ22の受光面に配列された複数の受光部の各々が受光した、反射光の光強度に応じた強度を有する。制御部23は、キャリブレーション期間と脈拍計測期間とにおいて、異なる条件で受信信号を処理する。
 キャリブレーション期間において、制御部23は、キャリブレーションのための変調光の反射光を受光した受光素子アレイ22から、受信信号を取得する。制御部23は、受光素子アレイ22の受光面に配列された複数の受光部の各々に関して、複数の発光器21ごとの影響度を計算する。制御部23は、算出された影響度に基づいて、複数の受光部の各々に関して、複数の発光器21ごとの規格化定数を設定する。
 脈拍計測期間において、制御部23は、脈拍計測のための光信号の反射光を受光した受光素子アレイ22から、受信信号を取得する。制御部23は、受光素子アレイ22の受光面に配列された複数の受光部の各々から、受信信号を取得する。制御部23は、取得した受信信号の強度を最適化する。制御部23は、複数の受光部の各々から取得した受信信号の強度に、複数の受光部の各々に対して発光器21ごとに設定された規格化定数を乗じて、受信信号の強度を最適化する。
 制御部23は、規格化された信号(脈拍信号とも呼ぶ)を出力する。制御部23は、ケーブルなどの有線を介して脈拍信号を出力してもよいし、無線通信を介して脈拍信号を出力してもよい。例えば、制御部23は、Bluetooth(登録商標)やWiFi(登録商標)などの規格に則した無線通信機能(図示しない)を介して、脈拍信号を出力するように構成される。制御部23の通信機能は、Bluetooth(登録商標)やWiFi(登録商標)以外の規格に則していてもよい。脈拍信号の出力先や用途については、特に限定を加えない。
 基板24は、第1の実施形態の基板14と同様の構成である。基板24は、折り曲げ可能な基板である。基板24は、折り曲げ可能な板状の形状を有する。基板24に実装される発光器21や受光素子アレイ22、制御部23は、基板24の変形に応じて、変形するように構成されてもよいし、変形できないように構成されてもよい。
 粘着層27は、第1の実施形態の粘着層17と同様の構成である。粘着層27は、基板24の計測面における周辺部分に形成される。
 図22は、脈拍計測装置20が貼付された皮膚化の環境の一例を示す概念図である。計測可能範囲は、受光素子アレイ22の受光面に対向する範囲である。図22の例では、計測可能範囲に、複数の血管が含まれる。例えば、計測可能範囲には、単一の血管が含まれる範囲A1、血管が含まれない範囲A2、複数の血管が含まれる範囲A3がある。例えば、あるタイミングで受光素子アレイ22に受光された反射光に基づく脈拍信号の強度を、二次元状にマッピングすれば、計測可能範囲における血管の位置を特定できる。例えば、ある期間において受光素子アレイ22に受光された反射光に基づく脈拍信号の強度を二次元状にマッピングした画像(フレーム)を時系列で連続的につなげれば、計測可能範囲における脈拍の変動を観察可能な映像が得られる。
 図23は、受光素子アレイ22の受光面の一部が、脈拍計測を行うアクティブ領域に設定される例である。アクティブ領域は、計測可能範囲の範囲内に設定された計測対象領域に対応する範囲である。計測対象領域は、脈拍計測の対象となる範囲である。例えば、キャリブレーション期間において、計測可能範囲内の血管の位置が特定されると、計測対象の血管の位置に応じて、計測対象範囲が設定される。例えば、計測可能範囲に含まれる主要な血管のみを計測対象とする場合、その血管の直上の位置の受光範囲が、計測対象範囲に設定される。例えば、計測可能範囲に含まれる主要な血管ではなく毛細血管等を計測対象とする場合、主要な血管の直上の位置を避けた毛細血管等の直上の受光範囲が、計測対象範囲に設定される。このように、計測対象範囲が設定されれば、計測対象の血管や脈動に注目して検査できるので、ユーザビリティが向上する。また、計測対象範囲が設定されれば、不要な範囲の信号処理を割愛できるため、脈拍計測装置20の消費電力を低減できる。例えば、計測対象範囲の位置に応じて、複数の発光器21のうちいずれかの発光を停止させるように設定すれば、発光器21の発光に関する消費電力を低減できる。
 図24は、図19の脈拍計測装置20の変形例(脈拍計測装置20-1)である。脈拍計測装置20-1は、受光素子アレイ22の四辺に沿って、複数の発光器21が配置される。脈拍計測装置20-1では、受光素子アレイ22の左右の二方向のみならず、上下の二方向からも、光信号を照射できる。そのため、皮膚下に対して、より多くの方向から光信号を照射できる。例えば、左右の二方向からの光信号の照射では光信号が照射されない位置に隠れた血管に対して、上下の二方向からの光信号の照射によって光信号が到達する可能性がある。例えば、受光素子アレイ22の周囲に配置された複数の発光器21を、配置された位置(辺)ごとに動作させる。そして、それぞれの位置(辺)に関して計測された脈拍信号を組み合わせれば、皮膚下の血管の状態を三次元的に把握できる。例えば、受光素子アレイ22の上下左右に配置された複数の発光器21のうち、計測対象の血管や脈動の計測に最適なものを選択して動作させれば、発光器21の発光に関する消費電力を低減できる。
 (動作)
 次に、本実施形態に係る脈拍計測装置20の動作の一例について図面を参照しながら説明する。以下においては、脈拍計測装置20の動作の一例について、制御部23を動作主体とし、フローチャートに沿って説明する。
 〔キャリブレーション〕
 図25は、脈拍計測装置20の制御部23によるキャリブレーション期間における動作の一例について説明するためのフローチャートである。図25のフローチャートは、複数の発光器21を一斉に動作させて、キャリブレーションする例である。図25のフローチャートは、第1の実施形態で用いられた図11のフローチャートに対応する。複数の発光器11の各々を一つずつ動作させてキャリブレーションする場合は、第1の実施形態で用いられた図12のフローチャートと同様の手順で、キャリブレーションされればよい。
 図25において、まず、制御部23は、固有の変調光を出射するように、複数の発光器21の各々を制御する(ステップS211)。複数の発光器21を一斉に動作させてキャリブレーションする場合、制御部23は、複数の発光器21の各々から、周波数が互いに異なる固有の変調光を出射させる。
 制御部23は、複数の受光素子アレイ22の受光面に配列された複数の受光部の各々によって受光された、複数の発光器21からの変調光に応じた受信信号を取得する(ステップS212)。
 制御部23は、複数の発光器21からの変調光の光強度に基づいて、複数の発光器21の影響度を受光部ごとに計算する(ステップS213)。変調光の光強度は、受光素子アレイ22の複数の受光部によって受光された変調光に対応する受信信号の強度に反映される。
 制御部23は、複数の発光器21の各々による複数の受光部の各々への影響度に基づいて、光信号の光強度を規格化する規格化定数を、受光部ごとに計算する(ステップS214)。
 制御部23は、算出された受光部ごとの規格化定数を、複数の受光部の各々に設定する(ステップS215)。発光器21の光出力を調整する場合、制御部23は、算出された受光部ごとの規格化定数を、複数の受光部の各々に設定する。
 〔計測対象範囲の設定〕
 図26は、受光素子アレイ22の計測可能範囲に計測対象範囲を設定する例である(図23の例に対応)。受光素子アレイ22の受光面に配列された複数の受光部のうち、計測対象範囲に対応する範囲(アクティブ領域)の内部の受光部がキャリブレーションされる。図26のフローチャートの動作は、アクティブ領域の内部に配列された受光部のキャリブレーションに先立って実行される。
 図26において、まず、制御部23は、計測可能範囲の血管を検出するための検出光を出射するように、複数の発光器21を制御する(ステップS221)。複数の発光器21は、同一の周波数の検出光を出射するように制御されてもよいし、互いに異なる周波数で変調された検出光を出射するように制御されてもよい。
 制御部23は、受光素子アレイ22の受光面に配列された複数の受光部によって受光された、複数の発光器21からの検出光に応じた受信信号を取得する(ステップS222)。
 制御部23は、複数の発光器21からの検出光に応じた受信信号に基づいて、計測可能範囲の血管の位置を特定する(ステップS223)。例えば、制御部23は、検出光によって得られた脈拍信号の強度に応じて、計測可能範囲の血管の位置を特定する。例えば、制御部23は、検出光によって得られた脈拍信号の大小関係に応じて、計測可能範囲の血管の位置を特定する。例えば、制御部23は、検出光によって得られた脈拍信号を端末装置等(図示しない)に出力し、端末装置等のオペレータに対して、計測対象範囲の設定を促してもよい。
 制御部23は、特定された血管の位置に応じて、計測が行われる計測対象範囲を設定する(ステップS224)。例えば、制御部23は、端末装置等の画面を確認したオペレータによって入力された指示に応じて、計測対象範囲を設定してもよい。例えば、端末装置等(図示しない)の画面に表示された脈拍信号の二次元像に対して、ポインティングデバイスやタッチパネルを介して、オペレータが計測対象範囲を設定できるようにしてもよい。計測対象領域は、矩形に限らず、任意の形状に設定されてもよい。例えば、タッチパネルによる入力が可能な場合、計測対象範囲を囲むように指でなぞることで、その計測対象範囲が設定されるように構成されてもよい。
 制御部23は、設定された計測対象範囲の内部に対応する範囲(アクティブ領域)の受光部に関して、規格化定数を設定する(ステップS225)。規格化定数は、図25のフローチャートの手順に沿って設定される。図26のフローチャートの手順に沿って計測対象範囲が設定されれば、受信信号の信号処理における消費電力を低減できる。例えば、設定された計測対象範囲に応じて、光信号を出射する発光器21を選択したり、発光器21の光出力を設定したりすれば、発光器21の消費電力を低減できる。
 〔脈拍計測〕
 図27は、脈拍計測装置20の制御部23による脈拍計測期間における動作の一例について説明するためのフローチャートである。図27のフローチャートは、受光素子アレイ22に関するキャリブレーションが完了している段階における、脈拍計測期間に関する。
 図27において、まず、制御部23は、脈拍計測用の光信号を出射するように、複数の発光器21の各々を制御する(ステップS231)。発光器21の光出力を調整する場合、制御部23は、受光部ごとの規格化定数に応じて、複数の発光器11の各々の光出力を調整する。
 次に、制御部23は、受光素子アレイ22の受光面に配列された複数の受光部の各々によって受光された、複数の発光器21の各々からの光信号の反射光に応じた受信信号を取得する(ステップS232)。
 次に、制御部23は、複数の受光部の各々から取得した受信信号を、受光部ごとの規格化定数で最適化する(ステップS233)。
 次に、制御部23は、規格化された信号(脈拍信号)を出力する(ステップS234)。例えば、制御部23は、図示しない端末装置、携帯端末、外部システム、表示装置等に脈拍信号を出力する。
 脈拍計測を終了させる場合(ステップS235でYes)、制御部23は、複数の発光器21からの光信号の出射を停止させる(ステップS236)。脈拍計測を継続する場合(ステップS235でNo)、ステップS232に戻る。例えば、脈拍計測の終了/継続は、予め設定されたスケジュールに従って判定される。例えば、脈拍計測の終了/継続は、ユーザの入力操作に応じて、任意のタイミングにおいて設定されてもよい。
 以上のように、本実施形態の脈拍計測装置は、複数の発光器、受光素子アレイ、および制御部を備える。複数の発光器は、脈拍計測対象の被験者の皮膚に装着される基板の計測面に配置される。複数の発光器は、被験者の皮膚に向けて光を出射する。受光素子アレイは、基板の計測面に配置される。受光素子アレイは、複数の発光器から出射された光の反射光を受光する複数の受光部を含む。受光素子アレイは、複数の受光部が二次元アレイ状に配列された受光面を有する。制御部は、複数の発光器に光を出射させる。制御部は、受光器によって受光される光の反射光に応じた受信信号を、受光素子アレイから受信する。制御部は、複数の発光器の各々に関して設定された規格化定数を用いて受信信号の強度を最適化する。制御部は、規格化定数を用いて強度が最適化された受信信号を、脈拍信号として出力する。
 本実施形態の脈拍計測装置は、複数の発光器から出射された光の反射光を受光素子アレイで受光する。本実施形態の脈拍計測装置は、受光素子アレイの受光面に配列された複数の受光部の各々で受光される反射光に応じた受信信号の強度を、発光器ごとに規格化する。そのため、本実施形態によれば、複数の発光器から出射された光の反射光に応じた受信信号の強度を複数の受光部の各々で均一に規格化できるため、被験者の脈拍をより正確に計測できる。また、本実施形態によれば、計測可能範囲内の血管の状態を二次元的に可視化できる。
 本実施形態の一態様において、制御部は、受光素子アレイの計測可能範囲に含まれる血管の位置を検出するための検出光を、複数の発光器に出射させる。制御部は、受光素子アレイによって受光された検出光の反射光に応じた受信信号に基づいて、計測可能範囲における計測対象範囲を設定する。制御部は、設定された計測対象範囲に対応する範囲の受光部に対して、規格化定数を設定する。本態様によれば、受光素子アレイの計測可能範囲に含まれる血管の位置に応じて計測対象範囲が設定され、計測対象の血管や脈動に注目して検査できるので、ユーザビリティが向上する。また、本態様によれば、不要な範囲の信号処理を割愛できるため、脈拍計測装置の消費電力を低減できる。
 本実施形態の手法によれば、計測可能範囲における血管の位置を二次元的に正確に把握できる。本実施形態の手法で得られた血管の二次元情報は、静脈認証等の生体認証に適用できる。また、本実施形態の手法によれば、計測可能範囲における脈拍を二次元的に正確に把握できる。本実施形態の手法で得られた脈拍の二次元情報は、皮膚癌の診断や、ただれ/やけどの状態の診断にも適用できる。例えば、受光素子アレイの全周囲に発光器を配置すれば、計測可能範囲内の血管を三次元的に把握することもできる。
 (第3の実施形態)
 次に、第3の実施形態に係る生体情報推定装置について図面を参照しながら説明する。本実施形態の生体情報推定装置は、第1~第2の実施形態の脈拍計測装置から出力された脈拍信号に基づいて、被験者の生体情報を推定する。
 (構成)
 図28は、本実施形態に係る生体情報推定装置3の構成の一例を示すブロック図である。生体情報推定装置3は、脈拍計測装置30と推定装置36を備える。脈拍計測装置30は、第1~第2の実施形態の脈拍計測装置である。脈拍計測装置30の詳細については、説明を省略する。
 推定装置36は、脈拍計測装置30から出力される脈拍信号を取得する。推定装置36は、取得した脈拍信号に応じて、被験者の生体情報を推定する。被験者の生体情報には、脈拍や身体状態、感情などが含まれる。
 例えば、推定装置36は、脈拍信号に基づいて、被験者の脈拍を推定する。例えば、推定装置36は、脈拍信号の時系列データに表れる極大値/極小値の間隔に応じて、脈拍を推定する。例えば、推定装置36は、脈拍信号の時系列データから抽出される特徴量の発現周期に応じて、脈拍を推定する。推定装置36は、推定された脈拍の間隔や、脈拍信号の強度などの脈拍に関する情報を出力する。
 例えば、推定装置36は、脈拍信号に基づいて、被験者の身体状態を推定する。例えば、推定装置36は、脈拍信号の時系列データに基づいて、被験者の身体状態を推定する。被験者が安静にしている場合、脈拍信号の強度が小さくなり、脈拍の間隔が大きくなる。被験者が運動している場合、脈拍信号の強度が大きくなり、脈拍の間隔が小さくなる。被験者に不整脈がある場合、脈拍のリズムが不規則になったり、脈拍が途切れたりする。被験者の身体状態は、脈拍信号の時系列データのベースラインにも影響を与える。被験者の身体状態が安定している場合、ベースラインの変動は小さい。それに対し、被験者の身体状態が不安定な場合、ベースラインの変動が大きくなる。例えば、ベースラインは、被験者の身体状態に応じて、上昇傾向を示したり、下降傾向を示したりする。また、被験者が何等かの病気に罹っている場合、その病気に特有の特徴が脈拍信号に表れる場合がある。病気によって脈拍信号に表れる特徴を予め学習させた推定モデルを用いれば、被験者の脈拍信号に応じて、その被験者が罹っている病気を推定することができる。推定装置36は、推定された被験者の身体状態に関する情報を出力する。
 例えば、被験者の抱えているストレスや疲労、眠気などの身体状態も、脈拍信号に影響を及ぼす。推定装置36は、脈拍の時系列データから、ストレスや疲労、眠気などの身体状態に応じた特徴量を抽出する。例えば、推定装置36は、脈拍の時系列データの平均値や標準偏差、変動係数、二乗平均の平方根、周波数成分など特徴量を、脈拍の時系列データから抽出する。推定装置36は、抽出された特徴量に応じて、被験者の身体状態を推定する。推定装置36は、推定された被験者の身体状態に関する情報や、推定された身体状態に応じた推薦情報などを出力する。
 例えば、推定装置36は、脈拍信号に基づいて、被験者の感情を推定する。被験者の感情は、脈拍の強度や変動によって推測できる。例えば、推定装置36は、脈拍の時系列データの変動に応じて、喜怒哀楽などの感情の度合を推定する。例えば、推定装置36は、脈拍に関する時系列データのベースラインの変動に応じて、被験者の感情を推定してもよい。例えば、被験者の「怒」が次第に大きくなっていくと、被験者の興奮度(覚醒度)の増大に応じて、ベースラインに上昇傾向が表れる。例えば、被験者の「哀」が次第に大きくなっていくと、被験者の興奮度(覚醒度)の減少に応じて、ベースラインに下降傾向が表れる。
 図29は、脈拍信号に基づいて感情を推定する一例について説明するための概念図である。図29の例の場合、感情価(横軸)と覚醒度(縦軸)の関係に応じて感情を推定する。感情価(横軸)は、感情の快適さを定量化する。感情価(横軸)は、右に向かうほど快適な状態であり、左に向かうほど不快な状態であることを示す。覚醒度(縦軸)は、感情の高ぶりを定量化する。覚醒度(縦軸)は、上に向かうほど興奮した状態であり、下に向かうほど落ち着いた状態であることを示す。図29の例では、感情価(横軸)と覚醒度(縦軸)によって規定される各象限に、喜怒哀楽の感情が対応付けられる。第一象限には、「喜」が対応付けられる。感情価が大きく、覚醒度が大きいほど、「喜」の度合が大きい。第二象限には、「怒」が対応付けられる。感情価が小さく、覚醒度が大きいほど、「怒」の度合が高い。第三象限には、「哀」が対応付けられる。感情価が小さく、覚醒度が小さいほど、「哀」の度合が高い。第四象限には、「楽」が対応付けられる。感情価が大きく、覚醒度が小さいほど、「楽」の度合が高い。なお、図29のグラフに対する感情の対応付けは、一例であって、本実施形態の生体情報推定装置3による感情推定の基準を限定するものではない。例えば、被験者の感情は、喜怒哀楽といった四つの感情状態に分類されるのではなく、より詳細な感情状態に分類されてもよい。被験者の感情は、図29のような二次元座標系だけではなく、任意の感情状態の分類方法で分類されてもよい。
 心拍数は、交感神経や副交感神経などの自律神経に関する活動の影響を受けて変動する。同様に、脈拍数は、交感神経や副交感神経などの自律神経に関する活動の影響を受けて変動する。例えば、脈拍数の時系列データの周波数解析によって、低周波数成分や高周波数成分を抽出できる。低周波数成分には、交感神経や副交感神経の影響が反映される。高周波数成分には、副交感神経の影響が反映される。そのため、例えば、高周波数成分と低周波数成分の比に応じて、自律神経機能の活動状態を推定できる。
 交感神経は、被験者が興奮した状態において活発になる傾向がある。被験者の交感神経が活発になると、脈動が早くなる。すなわち、脈拍数が大きいほど、覚醒度が大きい。副交感神経は、被験者がリラックスしている状態で活発になる傾向がある。被験者がリラックスすると、脈動が遅くなる。すなわち、脈拍数が小さいほど、覚醒度が小さい。このように、推定装置36は、脈拍数に応じて、覚醒度を計測できる。例えば、感情価に関しては、脈拍の間隔の変動に応じて評価できる。快い感情状態であるほど、感情が安定して、脈拍間隔の変動が小さくなる。すなわち、脈拍間隔の変動が小さいほど、感情価が大きい。それに対し、不快な感情状態であるほど、感情が不安定になり、脈拍の間隔の変動が大きくなる。すなわち、脈拍の間隔の変動が大きいほど、感情価が大きい。このように、推定装置36は、脈拍間隔に応じて、感情価を計測できる。ただし、覚醒度や感情価の計測方法は、脈拍計測装置30から出力される脈拍信号を用いさえすれば、ここであげた方法や基準に限定されない。
 推定装置36は、脈拍信号の時系列データに基づいて、覚醒度および感情価を推定する。推定装置36は、図29のグラフの座標系における、計測された覚醒度と感情価の座標に応じて、感情を推定する。ある被験者に関して計測された覚醒度と感情価の座標が第1象限の場合、推定装置36は、その被験者の感情状態が「喜」であると推定する。ある被験者に関して計測された覚醒度と感情価の座標が第2象限の場合、推定装置36は、その被験者の感情状態が「怒」であると推定する。ある被験者に関して計測された覚醒度と感情価の座標が第3象限の場合、推定装置36は、その被験者の感情状態が「哀」であると推定する。ある被験者に関して計測された覚醒度と感情価の座標が第4象限の場合、推定装置36は、その被験者の感情状態が「楽」であると推定する。例えば、感情価と覚醒度が閾値を越えていない場合、推定装置36は、被験者の感情状態が平常状態であると判定する。例えば、図29の座標系の中央に示す破線の円の内側に感情価と覚醒度の座標があれば、推定装置36は、被験者の感情状態が平常状態であると判定する。被験者の感情状態が平常状態であると判定するための閾値の値は、任意に設定できる。例えば、そのような閾値は、喜怒哀楽の感情ごとに異なってもよい。
 推定装置36は、機械学習の手法を用いて、感情を推定するように構成されてもよい。図30は、脈拍信号から抽出される特徴量(説明変数)と感情(応答変数)のデータセットを教師データとして、学習装置340に学習させる一例を示す概念図である。教師データは、喜怒哀楽のいずれかの感情状態にある被験者について計測された脈拍信号から抽出された特徴量に、その時点における感情状態のラベルを付与したデータである。教師データは、喜怒哀楽のいずれかの感情状態にある被験者について計測された脈拍信号に、その時点における感情状態のラベルを付与したデータであってもよい。学習装置340は、教師データを用いた教師あり学習によって、推定モデル360を生成する。例えば、複数の被験者に関する教師データを学習装置340に学習させることで、予め推定モデル360を生成しておく。推定モデル360は、脈拍信号から抽出される特徴量の入力に応じて、被験者の感情の推定結果を出力する。機械学習の具体的な手法については、特に限定を加えない。
 図31は、推定モデル360による感情の推定の一例について説明するための概念図である。図31の例では、被験者の脈拍信号の入力に応じて、喜怒哀楽のいずれかの感情の推定結果が、推定モデル360から出力される。例えば、推定モデル360から出力される感情の推定結果に関する情報は、端末装置等(図示しない)の画面に表示される。
 図32は、脈拍計測装置30から出力された脈拍信号に応じて計測される脈拍数を、端末装置300の画面に表示させる例である。図32の例では、脈拍数に応じた推薦情報も、端末装置300の画面に表示させる。画面に表示された脈拍数を視認した被験者は、自身の脈拍数を確認できる。また、画面に表示された推薦情報を視認した被験者は、その推薦情報に応じて行動することによって、自身の身体状態を改善できる。
 図33は、脈拍計測装置30から出力された脈拍信号に応じた被験者の感情状態を、端末装置300の画面に表示させる例である。図33の例では、被験者の感情状態に応じた推薦情報も、端末装置300の画面に表示させる。図33の例では、被験者の感情状態は「怒」である。例えば、被験者の感情状態を示す顔文字やアイコンを、端末装置300の画面に表示させてもよい。画面に表示された感情状態を視認した被験者は、自身の感情状態を確認できる。また、画面に表示された推薦情報を視認した被験者は、その推薦情報を気に掛けることによって、自身の感情状態を平常状態に近づけることができる。ただし、画面に表示された推薦情報は、必ずしも期待通りの感情状態の変化を被験者にもたらすとは限らない。例えば、推定された被験者の感情状態を、その被験者の家族や知人の所有する端末装置(図示しない)に送信するように構成してもよい。そのように構成すれば、画面に表示された無機的な情報ではなく、被験者と親しい間柄の他者の行動に応じて、その被験者の感情状態を平常状態に近づけられる可能性がある。
 図33の例では、被験者の感情状態を平常状態に向けて和らげるために、端末装置300の画面に花の画像も表示させている。画面に表示させる画像は、被験者の感情状態を和らげる可能性があれば、どのような画像であってもよい。端末装置300の画面に表示させるのは、画像のみならず、映像であってもよい。また、被験者の感情状態を和らげるような音楽を、端末装置300のスピーカー(図示しない)から流してもよい。例えば、被験者の感情状態が「哀」であった場合は、被験者の慰めになるような画像や映像、音楽などのコンテンツを被験者に提供すればよい。例えば、被験者の感情状態が「喜」や「楽」であった場合は、それらの感情状態が持続するようなコンテンツを被験者に提供すればよい。被験者に提供されるコンテンツは、被験者の感情ごとに設定されていることが好ましい。例えば、提供された情報が被験者の感情に適合しているか否かを入力する機能が追加されてもよい。推定された感情に応じて提供された情報へのユーザの反応を学習し、それ以降の感情推定にフィードバックするように構成されれば、より正確に被験者の感情を推定できる。
 例えば、自動車の運転手に脈拍計測装置30を装着させて、その運転手の感情状態に応じた推薦情報を提供してもよい。例えば、自動車の運転手の感情状態の推定結果に応じて、その運転手に休憩を薦めたり、次のパーキングエリアまでの到達予測時間を通知したりすれば、安全な運転環境を提供できる。例えば、自動車の運転手の感情状態が「怒」や「哀」であった場合、その運転手の感情をなだめたり、慰めたりする音楽やメッセージを流すようにしてもよい。例えば、自動車の運転手の感情状態が「楽」であった場合、多少の緊張感をその運転手に促す音楽やメッセージを流すようにしてもよい。例えば、自動車の運転手の感情状態が「喜」であった場合、その感情状態が維持されやすい音楽やメッセージを流すようにしてもよい。例えば、運転手の感情状態と運転時間に応じた推薦情報が提供されるように構成されてもよい。例えば、運転時間が長時間になり、感情に「怒」の傾向が表れた場合、その運転手に対して「次のパーキングエリアに入り、立ち上がって運動しましょう」などといった推薦情報を提供してもよい。例えば、運転時間が長時間になり、感情に「哀」の傾向が表れた場合、その運転手に対して「次のパーキングエリアに入り、仮眠しましょう」などといった推薦情報を提供してもよい。
 例えば、運転手の感情状態に基づいて、その運転手の注意散漫度を推定してもよい。注意散漫度は、極端な感情状態である場合に、高い傾向がある。そのため、例えば、覚醒度や感情価が、極端に大きかったり、極端に小さかったりする場合、注意散漫度が高いと推定される。注意散漫度に関する閾値を覚醒度や感情価に対して設定し、その閾値との関係に応じて、運転手の注意散漫度を推定するようにすればよい。例えば、注意散漫度が閾値を越えた場合、注意喚起するための通知音を発するようにすればよい。
 例えば、日常生活を送るユーザに脈拍計測装置30を装着させて、その被験者の感情状態に応じた推薦情報を提供してもよい。例えば、ユーザの感情状態が「怒」や「哀」であった場合、そのユーザの気を紛らわすために、散歩やランニング等の運動を薦める推薦情報を提供するようにしてもよい。例えば、ユーザの感情状態が「怒」や「哀」であった場合、そのユーザの感情状態が「楽」や「喜」にシフトさせやすい音楽や情報を提供するようにしてもよい。例えば、ユーザの感情状態が「楽」や「喜」であった場合、その感情状態を増長できる音楽や情報を提供するようにしてもよい。例えば、ユーザの感情状態が「楽」や「喜」であった場合、その時点における環境が維持されるように、邪魔な情報提供をしないようにしてもよい。
 以上のように、本実施形態の生体情報推定装置は、複数の発光器、受光器、制御部、および推定装置を備える。複数の発光器は、脈拍計測対象の被験者の皮膚に装着される基板の計測面に配置される。複数の発光器は、被験者の皮膚に向けて光を出射する。受光器は、基板の計測面に配置される。受光器は、複数の発光器から出射された光の反射光を受光する複数の受光部を含む。制御部は、複数の発光器に光を出射させる。制御部は、受光器によって受光される光の反射光に応じた受信信号を、受光器から受信する。制御部は、複数の発光器の各々に関して設定された規格化定数を用いて受信信号の強度を最適化する。制御部は、規格化定数を用いて強度が最適化された受信信号を、脈拍信号として出力する。推定装置は、脈拍計測装置によって計測された被験者の脈拍信号を取得する。推定装置は、取得した脈拍信号に基づいて被験者の生体情報を推定する。
 本実施形態の生体情報推定装置は、複数の発光器の各々に対して規格化された複数の受光部を含む脈拍計測装置から出力される脈拍信号に基づいて、被験者の感情状態を生体情報として推定する。そのため、本実施形態によれば、被験者の生体情報を正確に推測できる。
 本実施形態の一態様において、推定装置は、被験者の脈拍信号を用いて被験者の脈拍数を推定する。推定装置は、推定された脈拍数に応じた情報を出力する。本態様によれば、被験者の脈拍数に応じた情報を出力することによって、被験者の脈拍数をモニターできる。例えば、端末装置等の画面に脈拍数を表示させれば、被験者の脈拍数を視覚的にモニターできる。
 本実施形態の一態様において、推定装置は、被験者の脈拍信号を用いて被験者の感情状態を推定する。推定装置は、推定された感情状態に応じた情報を出力する。本態様によれば、被験者の感情状態に応じた情報を出力することによって、被験者の感情状態をモニターできる。例えば、端末装置等の画面に感情状態を表示させれば、被験者の感情状態を視覚的にモニターできる。
 (第4の実施形態)
 次に、第4の実施形態に係る脈拍計測装置について図面を参照しながら説明する。本実施形態の脈拍計測装置は、第1~第3の脈拍計測装置を簡略化した構成である。図34は、本実施形態に係る脈拍計測装置40の構成の一例を示すブロック図である。脈拍計測装置40は、複数の発光器41-1~m、受光器42、および制御部43を備える(mは、2以上の自然数)。
 複数の発光器41-1~mは、脈拍計測対象の被験者の皮膚に装着される基板(図示しない)の計測面に配置される。複数の発光器41-1~mは、被験者の皮膚に向けて光を出射する。受光器42は、基板の計測面に配置される。受光器42は、複数の発光器41-1~mから出射された光の反射光を受光する複数の受光部を含む。制御部43は、複数の発光器41-1~mに光を出射させる。制御部43は、受光器42によって受光される光の反射光に応じた受信信号を、受光器42から受信する。制御部43は、複数の発光器41-1~mの各々に関して設定された規格化定数を用いて受信信号の強度を最適化する。制御部43は、規格化定数を用いて強度が最適化された受信信号を、脈拍信号として出力する。
 本実施形態の脈拍計測装置は、複数の発光器から人体に向けて出射された光のうち、人体の内部で反射/散乱された反射光に応じた受信信号の強度を、発光器ごとに規格化する。そのため、本実施形態によれば、複数の発光器から出射された光の反射光に応じた受信信号の強度を均一に規格化することで、心拍や体動アーティファクトの影響が取り除かれる。そのため、本実施形態によれば、被験者の脈拍を正確に計測できる。
 (ハードウェア)
 ここで、本開示の各実施形態に係る制御や処理を実行するハードウェア構成について、図35の情報処理装置90を一例としてあげて説明する。なお、図35の情報処理装置90は、各実施形態の制御や処理を実行するための構成例であって、本開示の範囲を限定するものではない。
 図35のように、情報処理装置90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96を備える。図35においては、インターフェースをI/F(Interface)と略記する。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96は、バス98を介して、互いにデータ通信可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93、および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークに接続される。
 プロセッサ91は、補助記憶装置93等に格納されたプログラムを、主記憶装置92に展開する。プロセッサ91は、主記憶装置92に展開されたプログラムを実行する。本実施形態においては、情報処理装置90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態に係る制御や処理を実行する。
 主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92には、プロセッサ91によって、補助記憶装置93等に格納されたプログラムが展開される。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリによって実現される。また、主記憶装置92として、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリが構成/追加されてもよい。
 補助記憶装置93は、プログラムなどの種々のデータを記憶する。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって実現される。なお、種々のデータを主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
 入出力インターフェース95は、規格や仕様に基づいて、情報処理装置90と周辺機器とを接続するためのインターフェースである。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
 情報処理装置90には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器が接続されてもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成としてもよい。プロセッサ91と入力機器との間のデータ通信は、入出力インターフェース95に仲介させればよい。
 また、情報処理装置90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
 また、情報処理装置90には、ドライブ装置が備え付けられてもよい。ドライブ装置は、プロセッサ91と記録媒体(プログラム記録媒体)との間で、記録媒体からのデータやプログラムの読み込み、情報処理装置90の処理結果の記録媒体への書き込みなどを仲介する。ドライブ装置は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
 以上が、本発明の各実施形態に係る制御や処理を可能とするためのハードウェア構成の一例である。なお、図35のハードウェア構成は、各実施形態に係る制御や処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る制御や処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。記録媒体は、例えば、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体で実現できる。記録媒体は、USB(Universal Serial Bus)メモリやSD(Secure Digital)カードなどの半導体記録媒体によって実現されてもよい。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現されてもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。
 各実施形態の構成要素は、任意に組み合わせてもよい。また、各実施形態の構成要素は、ソフトウェアによって実現されてもよいし、回路によって実現されてもよい。
 以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 脈拍計測対象の被験者の皮膚に装着される基板の計測面に配置され、前記被験者の皮膚に向けて光を出射する複数の発光器と、
 前記基板の前記計測面に配置され、複数の前記発光器から出射された前記光の反射光を受光する複数の受光部を含む受光器と、
 複数の前記発光器に前記光を出射させ、前記受光器によって受光される前記光の反射光に応じた受信信号を前記受光器から受信し、複数の前記発光器の各々に関して設定された規格化定数を用いて前記受信信号の強度を最適化し、前記規格化定数を用いて強度が最適化された前記受信信号を脈拍信号として出力する制御部と、を備える脈拍計測装置。
(付記2)
 前記制御部は、
 複数の前記発光器の各々に設定された前記規格化定数に応じて、複数の前記発光器の各々の光出力を最適化する付記1に記載の脈拍計測装置。
(付記3)
 前記制御部は、
 キャリブレーション期間において、
 複数の前記発光器の各々から固有の周波数で変調された変調光を出射させ、
 前記受光器に含まれる複数の前記受光部の各々における、前記発光器ごとの前記変調光の反射光の受光強度に応じて、複数の前記受光部の各々に対する前記発光器ごとの影響度を計算し、
 複数の前記受光部の各々に対して前記発光器ごとに算出された前記影響度に応じて、複数の前記発光器の各々から出射された前記変調光の反射光に応じた前記受信信号の強度が均一になる前記規格化定数を、複数の前記受光部の各々に設定する付記1または2に記載の脈拍計測装置。
(付記4)
 前記制御部は、
 脈拍計測期間において、
 複数の前記発光器の各々から光信号を出射させ、
 複数の前記受光部の各々から取得される、前記発光器ごとの前記光信号の反射光に応じた前記受信信号に対して、複数の前記受光部の各々に設定された前記発光器ごとの前記規格化定数を乗ずることで、前記受信信号の強度を最適化する付記1または2に記載の脈拍計測装置。
(付記5)
 前記受光器は、
 複数の前記受光部が二次元アレイ状に配列された受光素子アレイである付記1乃至4のいずれか一つに記載の脈拍計測装置。
(付記6)
 前記制御部は、
 前記受光素子アレイの計測可能範囲に含まれる血管の位置を検出するための検出光を、複数の前記発光器に出射させ、
 前記受光素子アレイによって受光された前記検出光の反射光に応じた前記受信信号に基づいて、前記計測可能範囲における計測対象範囲を設定し、
 設定された前記計測対象範囲に対応する範囲の前記受光部に対して、前記規格化定数を設定する付記5に記載の脈拍計測装置。
(付記7)
 付記1乃至6のいずれか一つに記載の脈拍計測装置と、
 前記脈拍計測装置によって計測された被験者の脈拍信号を取得し、取得した前記脈拍信号に基づいて前記被験者の生体情報を推定する推定装置と、を備える生体情報推定装置。
(付記8)
 前記推定装置は、
 前記被験者の前記脈拍信号を用いて前記被験者の脈拍数を推定し、
 推定された前記脈拍数に応じた情報を出力する付記7に記載の生体情報推定装置。
(付記9)
 前記推定装置は、
 前記被験者の前記脈拍信号を用いて前記被験者の感情状態を推定し、
 推定された前記感情状態に応じた情報を出力する付記7に記載の生体情報推定装置。
(付記10)
 脈拍計測対象の被験者の皮膚に向けて光を出射する複数の発光器と、複数の前記発光器から出射された前記光の反射光を受光する複数の受光部を含む受光器と、を制御する制御方法であって、
 制御部が、
 複数の前記発光器に前記光を出射させ、
 前記受光器によって受光される前記光の反射光に応じた受信信号を前記受光器から受信し、
 複数の前記発光器の各々に関して設定された規格化定数を用いて前記受信信号の強度を最適化し、
 前記規格化定数を用いて強度が最適化された前記受信信号を脈拍信号として出力する制御方法。
(付記11)
 脈拍計測対象の被験者の皮膚に向けて光を出射する複数の発光器と、複数の前記発光器から出射された前記光の反射光を受光する複数の受光部を含む受光器と、を制御するためのプログラムであって、
 複数の前記発光器に前記光を出射させる処理と、
 前記受光器によって受光される前記光の反射光に応じた受信信号を前記受光器から受信する処理と、
 複数の前記発光器の各々に関して設定された規格化定数を用いて前記受信信号の強度を最適化する処理と、
 前記規格化定数を用いて強度が最適化された前記受信信号を脈拍信号として出力する処理と、をコンピュータに実行させるプログラムが記録された非一過性の記録媒体。
 3  生体情報推定装置
 10、20、30、40  脈拍計測装置
 11、21、41  発光器
 12、42  受光器
 13、23、43  制御部
 14、24  基板
 17、27  粘着層
 22  受光素子アレイ
 36  推定装置
 100、300  端末装置
 131、231  発光制御部
 132、232  信号取得部
 133、233  規格化定数設定部
 134、234  記憶部
 135、235  最適化部
 136、236  出力部

Claims (11)

  1.  脈拍計測対象の被験者の皮膚に装着される基板の計測面に配置され、前記被験者の皮膚に向けて光を出射する複数の発光器と、
     前記基板の前記計測面に配置され、複数の前記発光器から出射された前記光の反射光を受光する複数の受光部を含む受光器と、
     複数の前記発光器に前記光を出射させ、前記受光器によって受光される前記光の反射光に応じた受信信号を前記受光器から受信し、複数の前記発光器の各々に関して設定された規格化定数を用いて前記受信信号の強度を最適化し、前記規格化定数を用いて強度が最適化された前記受信信号を脈拍信号として出力する制御部と、を備える脈拍計測装置。
  2.  前記制御部は、
     複数の前記発光器の各々に設定された前記規格化定数に応じて、複数の前記発光器の各々の光出力を最適化する請求項1に記載の脈拍計測装置。
  3.  前記制御部は、
     キャリブレーション期間において、
     複数の前記発光器の各々から固有の周波数で変調された変調光を出射させ、
     前記受光器に含まれる複数の前記受光部の各々における、前記発光器ごとの前記変調光の反射光の受光強度に応じて、複数の前記受光部の各々に対する前記発光器ごとの影響度を計算し、
     複数の前記受光部の各々に対して前記発光器ごとに算出された前記影響度に応じて、複数の前記発光器の各々から出射された前記変調光の反射光に応じた前記受信信号の強度が均一になる前記規格化定数を、複数の前記受光部の各々に設定する請求項1または2に記載の脈拍計測装置。
  4.  前記制御部は、
     脈拍計測期間において、
     複数の前記発光器の各々から光信号を出射させ、
     複数の前記受光部の各々から取得される、前記発光器ごとの前記光信号の反射光に応じた前記受信信号に対して、複数の前記受光部の各々に設定された前記発光器ごとの前記規格化定数を乗ずることで、前記受信信号の強度を最適化する請求項1または2に記載の脈拍計測装置。
  5.  前記受光器は、
     複数の前記受光部が二次元アレイ状に配列された受光素子アレイである請求項1乃至4のいずれか一項に記載の脈拍計測装置。
  6.  前記制御部は、
     前記受光素子アレイの計測可能範囲に含まれる血管の位置を検出するための検出光を、複数の前記発光器に出射させ、
     前記受光素子アレイによって受光された前記検出光の反射光に応じた前記受信信号に基づいて、前記計測可能範囲における計測対象範囲を設定し、
     設定された前記計測対象範囲に対応する範囲の前記受光部に対して、前記規格化定数を設定する請求項5に記載の脈拍計測装置。
  7.  請求項1乃至6のいずれか一項に記載の脈拍計測装置と、
     前記脈拍計測装置によって計測された被験者の脈拍信号を取得し、取得した前記脈拍信号に基づいて前記被験者の生体情報を推定する推定装置と、を備える生体情報推定装置。
  8.  前記推定装置は、
     前記被験者の前記脈拍信号を用いて前記被験者の脈拍数を推定し、
     推定された前記脈拍数に応じた情報を出力する請求項7に記載の生体情報推定装置。
  9.  前記推定装置は、
     前記被験者の前記脈拍信号を用いて前記被験者の感情状態を推定し、
     推定された前記感情状態に応じた情報を出力する請求項7に記載の生体情報推定装置。
  10.  脈拍計測対象の被験者の皮膚に向けて光を出射する複数の発光器と、複数の前記発光器から出射された前記光の反射光を受光する複数の受光部を含む受光器とを用いた脈拍計測方法であって、
     制御部が、
     複数の前記発光器に前記光を出射させ、
     前記受光器によって受光される前記光の反射光に応じた受信信号を前記受光器から受信し、
     複数の前記発光器の各々に関して設定された規格化定数を用いて前記受信信号の強度を最適化し、
     前記規格化定数を用いて強度が最適化された前記受信信号を脈拍信号として出力する脈拍計測方法。
  11.  脈拍計測対象の被験者の皮膚に向けて光を出射する複数の発光器と、複数の前記発光器から出射された前記光の反射光を受光する複数の受光部を含む受光器と、を制御するためのプログラムであって、
     複数の前記発光器に前記光を出射させる処理と、
     前記受光器によって受光される前記光の反射光に応じた受信信号を前記受光器から受信する処理と、
     複数の前記発光器の各々に関して設定された規格化定数を用いて前記受信信号の強度を最適化する処理と、
     前記規格化定数を用いて強度が最適化された前記受信信号を脈拍信号として出力する処理と、をコンピュータに実行させるプログラムが記録された非一過性の記録媒体。
PCT/JP2021/034502 2021-09-21 2021-09-21 脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体 WO2023047445A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/034502 WO2023047445A1 (ja) 2021-09-21 2021-09-21 脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体
US18/688,832 US20240277273A1 (en) 2021-09-21 2021-09-21 Pulse measurement device, biological information estimation device, pulse measurement method, and recording medium
JP2023549179A JPWO2023047445A5 (ja) 2021-09-21 脈拍計測装置、生体情報推定装置、脈拍計測方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/034502 WO2023047445A1 (ja) 2021-09-21 2021-09-21 脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2023047445A1 true WO2023047445A1 (ja) 2023-03-30

Family

ID=85720225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034502 WO2023047445A1 (ja) 2021-09-21 2021-09-21 脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体

Country Status (2)

Country Link
US (1) US20240277273A1 (ja)
WO (1) WO2023047445A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016154648A (ja) * 2015-02-24 2016-09-01 セイコーエプソン株式会社 情報取得装置
JP2018029870A (ja) * 2016-08-26 2018-03-01 セイコーエプソン株式会社 検出装置および検出方法
US20180132767A1 (en) * 2015-05-26 2018-05-17 Bsx Athletics Device and method for generating calibration factors for use in determining biological indicator levels in tissue
WO2021009851A1 (ja) * 2019-07-16 2021-01-21 日本電気株式会社 生体信号推定装置、生体信号推定方法、及び、生体信号推定プログラムが格納された記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016154648A (ja) * 2015-02-24 2016-09-01 セイコーエプソン株式会社 情報取得装置
US20180132767A1 (en) * 2015-05-26 2018-05-17 Bsx Athletics Device and method for generating calibration factors for use in determining biological indicator levels in tissue
JP2018029870A (ja) * 2016-08-26 2018-03-01 セイコーエプソン株式会社 検出装置および検出方法
WO2021009851A1 (ja) * 2019-07-16 2021-01-21 日本電気株式会社 生体信号推定装置、生体信号推定方法、及び、生体信号推定プログラムが格納された記録媒体

Also Published As

Publication number Publication date
JPWO2023047445A1 (ja) 2023-03-30
US20240277273A1 (en) 2024-08-22

Similar Documents

Publication Publication Date Title
US9946344B2 (en) Functional near infrared spectroscopy based brain computer interface
KR102621119B1 (ko) 카메라 기반 감지를 이용한 심혈관 특징 결정
US10363388B2 (en) System and method for enhancing sleep slow wave activity based on cardiac characteristics or respiratory characteristics
Matsumura et al. iPhone 4s photoplethysmography: which light color yields the most accurate heart rate and normalized pulse volume using the iPhysioMeter application in the presence of motion artifact?
US9398873B2 (en) Method of obtaining a desired state in a subject
US10298282B2 (en) Multi-modal sensing wearable device for physiological context measurement
US20210186347A1 (en) Method and apparatus for determining a health status of an infant
Yuda et al. Suppression of vagal cardiac modulation by blue light in healthy subjects
CN113260308A (zh) 获得关于用户的血糖的信息的电子装置和方法
JP6872758B2 (ja) 動的光散乱(dls)による神経学的状態又は適合性状態の血行力学的特徴付けのための方法及び装置
KR20200103397A (ko) 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법
JP7080657B2 (ja) 感情識別装置
WO2023047445A1 (ja) 脈拍計測装置、生体情報推定装置、脈拍計測方法、および記録媒体
TWI708162B (zh) 用於可穿戴式感測器之設備及方法、及相關電腦程式
WO2023105741A1 (ja) 計測装置、光センサ、生体データ計測システム、生体情報推定システム、計測方法、および記録媒体
US10835169B2 (en) Brain function index computing device and brain function index computing method
JP7361046B2 (ja) 血圧測定値を決定する装置、方法及びコンピュータプログラム
US20240374155A1 (en) Measurement device, optical sensor, biological data measurement system, biological information estimation system, measurement method, and storage medium
KR20080039805A (ko) 뉴로 피드백 장치 및 방법
Weaver et al. Changes in spinal excitability during dual task performance
JP7146196B2 (ja) スコア算出装置および方法ならびにスコア算出装置の制御プログラム
Zhang et al. Adaptation of stimulation duration to enhance auditory response in fNIRS block design
Tanaka et al. Effects of interoceptive accuracy in autonomic responses to external stimuli based on cardiac rhythm
JP2019528954A (ja) 光学的バイタルサインセンサ
KR20220151401A (ko) 뇌파를 이용한 인체 진단 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958323

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549179

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18688832

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21958323

Country of ref document: EP

Kind code of ref document: A1