WO2023214495A1 - 生体情報測定装置、生体情報測定方法及び生体情報測定プログラム - Google Patents

生体情報測定装置、生体情報測定方法及び生体情報測定プログラム Download PDF

Info

Publication number
WO2023214495A1
WO2023214495A1 PCT/JP2023/014497 JP2023014497W WO2023214495A1 WO 2023214495 A1 WO2023214495 A1 WO 2023214495A1 JP 2023014497 W JP2023014497 W JP 2023014497W WO 2023214495 A1 WO2023214495 A1 WO 2023214495A1
Authority
WO
WIPO (PCT)
Prior art keywords
biological information
spectrum
measuring device
irradiation
information measuring
Prior art date
Application number
PCT/JP2023/014497
Other languages
English (en)
French (fr)
Inventor
公伸 西村
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023214495A1 publication Critical patent/WO2023214495A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present technology relates to a biological information measuring device, a biological information measuring method, and a biological information measuring program that measure a user's biological information using light.
  • biosensing The measurement of biological information such as pulse rate, arterial blood oxygen saturation, and body surface temperature is called biological sensing. It is preferable for biosensing to be one that places less burden on the user, and the degree of burden has a large effect, especially when measuring biometric information over a long period of time at home. In this regard, although biosensing using light places less of a burden on the user, it is susceptible to the effects of external light, so countermeasures must be taken.
  • Patent Document 1 discloses that the device is installed in a head-mounted display, causes the display panel to emit light according to a predetermined rule, captures an image of the light reflected by the user's skin and eyeballs, and compares the image information with registered information to identify the user's personal information.
  • an apparatus for performing this By using a head-mounted display, external light can be blocked, making it possible to identify individuals with high precision.
  • Patent Document 1 requires the display panel to emit light according to a predetermined rule.
  • the predetermined rules for emitting light include causing the display panel to emit light in one specific color, sequentially switching the color, and emitting light in different colors for each section of the display panel. This light has no particular meaning from the user's point of view, and since the user has to wait until the identification process is completed, there is still a burden on the user.
  • a biological information measuring device includes a reflection spectrum generating section and an analysis processing section.
  • the reflection spectrum generation unit forms a display image, and generates a reflection spectrum that is a wavelength spectrum of reflected light when the irradiation light irradiated onto a measurement range, which is a specific range of the user's body, is reflected at the measurement range.
  • the analysis processing section calculates biological information of the user based on the irradiation spectrum, which is a wavelength spectrum of the irradiation light, and the reflection spectrum.
  • the reflection spectrum generation unit may generate the reflection spectrum from reflected light reception data that is data generated by imaging the reflected light.
  • the biological information measuring device further includes an irradiation spectrum calculation unit that calculates the irradiation spectrum based on the video data of the displayed image and device characteristics of the biological information measuring device,
  • the spectrum acquisition section may acquire the irradiation spectrum from the irradiation spectrum calculation section.
  • the biological information measuring device further includes an irradiation spectrum generation unit that generates the irradiation spectrum from irradiation light reception data that is data generated by imaging the irradiation light, and the spectrum acquisition unit calculates the irradiation spectrum.
  • the above-mentioned irradiation spectrum may be obtained from the section.
  • the biological information measuring device may further include a display unit that displays the display image, and a reflected light imaging unit that images the reflected light and generates reflected light reception data.
  • the biological information measuring device may further include an irradiation light imaging unit that images the irradiation light and generates irradiation light reception data.
  • the biological information measuring device may be a head-mounted display that is attached to the user's head, and the display unit is placed in front of the user's eyes.
  • the reflected light imaging section may be placed facing the measurement range.
  • the biological information measuring device may further include an irradiation light imaging section that images the irradiation light and generates irradiation light reception data, and the irradiation light imaging section may be arranged to face the display section. .
  • the display unit and the reflected light imaging unit are arranged apart from the user, and the biological information measuring device further includes a measurement range recognition unit that recognizes the measurement range based on the image captured by the reflected light imaging unit. It may be provided.
  • the analysis processing unit may identify the user's biometric information using a biometric information calculation model in which the irradiation spectrum, the reflection spectrum, and biometric information are modeled for each type of biometric information.
  • the biological information calculation model may be a predictive model generated by machine learning.
  • the biological information may be pulse rate, arterial oxygen saturation, skin moisture content, body surface temperature, respiratory rate, or blood pressure.
  • the biometric information may be a vein pattern or an iris pattern, and the analysis processing section may perform biometric authentication using the biometric information.
  • a biological information measurement program causes an information processing device to operate as a reflection spectrum generation section and an analysis processing section.
  • the reflection spectrum generation unit forms a display image, and generates a reflection spectrum that is a wavelength spectrum of reflected light when the irradiation light irradiated onto a measurement range, which is a specific range of the user's body, is reflected at the measurement range.
  • the analysis processing section calculates biological information of the user based on the irradiation spectrum, which is a wavelength spectrum of the irradiation light, and the reflection spectrum.
  • a biological information measuring method forms a display image, and irradiation light irradiated onto a measurement range that is a specific range of the user's body is reflected at the measurement range.
  • a reflection spectrum which is the wavelength spectrum of the reflected light, is generated.
  • the biological information of the user is calculated based on the irradiation spectrum, which is the wavelength spectrum of the irradiation light, and the reflection spectrum.
  • FIG. 1 is a schematic diagram of a biological information detection device according to a first embodiment of the present technology. It is a schematic diagram of a measurement range.
  • FIG. 2 is a block diagram showing the functional configuration of the biological information detection device. It is an example of the irradiation spectrum calculated by the irradiation spectrum calculation part of the said biological information detection apparatus. This is an example of a reflection spectrum generated by the reflection spectrum generation unit of the biological information detection device. It is a flowchart which shows the operation of the above-mentioned biological information detection device.
  • FIG. 3 is a schematic diagram showing how to deal with misalignment of the biological information detection device.
  • FIG. 3 is a schematic diagram showing how to deal with misalignment of the biological information detection device.
  • FIG. 2 is a block diagram showing the functional configuration of the biological information detection device.
  • FIG. 2 is a schematic diagram of a biological information detection device according to a second embodiment of the present technology.
  • FIG. 2 is a block diagram showing the functional configuration of the biological information detection device. It is a flowchart which shows the operation of the above-mentioned biological information detection device.
  • 1 is a block diagram showing a hardware configuration of a biological information detection device according to a first embodiment and a second embodiment of the present technology.
  • FIG. 1 is a block diagram showing a hardware configuration of a biological information detection device according to a first embodiment and a second embodiment of the present technology.
  • FIG. 1 is a schematic diagram of a biological information measuring device 100 according to this embodiment.
  • the biological information measuring device 100 is a head mounted display mounted on the head H of the user U, and includes a housing 111, a display section 112, and a reflected light imaging section 113.
  • the housing 111 is attached to the head H and supports the display section 112 and the reflected light imaging section 113.
  • the housing 111 is provided with a partition 111a that separates the display section 112 and the reflected light imaging section 113.
  • the specific configuration of the casing 111 is not particularly limited, as long as it can maintain the positions of the display section 112 and the reflected light imaging section 113 relative to the head H, but it is preferable that the casing 111 has excellent shielding properties against external light. .
  • the display unit 112 is placed in front of the user U and displays images.
  • the image displayed on the display unit 112 will be referred to as a "display image”, and the light forming the display image will be referred to as "irradiation light”.
  • this irradiation light is shown as irradiation light L1.
  • the irradiated light L1 is light that enters the face surface of the user U, and includes the emitted light emitted from the display unit 112 and the light that is reflected inside the housing 111.
  • the user U can visually recognize the displayed image by the irradiation light L1 that enters the user's eyes.
  • a part of the irradiation light L1 is reflected by the face surface of the user U and becomes reflected light. In FIG. 1, this reflected light is shown as reflected light L2.
  • a device whose output light quantity is larger than a certain value can be used, and for example, a liquid crystal display can be used.
  • One display section 112 may be provided, or two display sections 112 may be provided, one for the left eye and one for the right eye.
  • some head-mounted displays can be equipped with other display devices such as smartphones, and such other display devices can also be used as the display unit 112.
  • an optical element such as a lens may be placed between the display unit 112 and the user's U eyes.
  • the reflected light imaging unit 113 images the reflected light L2 and generates reflected light reception data that is reception data of the reflected light L2.
  • the reflected light imaging unit 113 images a "measurement range" of the user's U face surface.
  • the measurement range is a specific range of the user's U face surface. This measurement range is shown as measurement range S in FIG.
  • FIG. 2 is a schematic diagram showing an example of the measurement range S. In the figure, a range S1 corresponding to between the eyes, a range S2 corresponding to the temple, and a range S3 corresponding to the bottom of the eyes are shown.
  • the measurement range S can be any one or more of these ranges.
  • the measurement range S may be a range other than the ranges S1 to S3 on the user's U's face surface.
  • the reflected light imaging unit 113 faces the measurement range S and images the reflected light L2 reflected by the measurement range S. Note that an optical element such as a lens may be placed between the reflected light imaging unit 113 and the face surface of the user U.
  • the reflected light imaging unit 113 may be a general image sensor, or may be an image sensor forming an MSC (multispectrum camera).
  • MSC multispectrum camera
  • a typical camera captures images in three channels of red, green, and blue using a light receiving element provided with a red, green, or blue color filter.
  • the MSC is a camera that can capture images with more channels, such as 9 channels.
  • FIG. 3 is a block diagram showing the functional configuration of the biological information measuring device 100.
  • the biological information measuring device 100 includes an image acquisition section 121, a display control section 122, an irradiation spectrum calculation section 123, a reflection spectrum generation section 124, and an analysis processing section 125. These functional configurations are realized through cooperation between software and hardware. These functional configurations may be installed within the housing 111 or may be installed on a device external to the housing 111.
  • the video acquisition unit 121 acquires the video data V and generates video data V(t) that constitutes the display video displayed on the display unit 112.
  • the video acquisition unit 121 can acquire video data V from a storage included in the biological information measuring device 100, an external device, a network, or the like.
  • the content of the video data V is not particularly limited, and may be a moving image such as a movie or game video, or a still image.
  • Video data V(t) is expressed as follows.
  • V(t) [V r (t); V g (t); V b (t)] (Formula 1)
  • V r (t) is the intensity of the red component of the displayed image
  • V g (t) is the intensity of the green component of the displayed image
  • V b (t) is the intensity of the blue component of the displayed image.
  • the display control unit 122 controls the display unit 112 (see FIG. 1) and causes the display unit 112 to display the video data V(t) supplied from the video acquisition unit 121. As a result, the user's face surface is irradiated with the irradiation light L1 that forms the display image.
  • the irradiation spectrum calculation unit 123 calculates the irradiation spectrum based on the video data V(t) and the device characteristics F of the biological information measuring device 100.
  • the irradiation spectrum is the wavelength spectrum of the irradiation light L1, and FIG. 4 is an example of the irradiation spectrum.
  • the device characteristic F is a characteristic representing the relationship between the emitted light emitted from the display unit 112 and the irradiated light L1 incident on the user's face surface.
  • the light emitted from the display section 112 is affected by the display characteristics of the display section 112, the characteristics of the optical elements, the reflection on the inner peripheral surface of the housing 111, the position of the measurement range S, etc., but the device characteristics F are influenced by these factors. including the impact of
  • the device characteristic F can be determined by prior measurement. Specifically, the device characteristics F can be determined by placing an image sensor with known characteristics in the measurement range S and receiving light incident from the display section 112. The device characteristic F is expressed as follows.
  • N is the number of spectrum divisions (the number of bins), and is 512, for example. This means that the wavelength band of the irradiation spectrum is divided into 512 sections for calculation.
  • the light receiving element provided with the red color filter is referred to as the red light receiving element
  • the light receiving element provided with the green color filter is referred to as the green light receiving element
  • the light receiving element provided with the green color filter is referred to as the blue color filter.
  • the light receiving element provided with this be a blue light receiving element.
  • f r1 represents the rate of change in intensity of the light received by the red light receiving element in the first section
  • f r2 represents the rate of change in intensity of the light received by the red light receiving element in the second section
  • f rN indicates the rate of change in intensity of light received by the red light receiving element in the Nth section.
  • Equation 2 shows display characteristics when the reflected light imaging unit 113 has three channels of red, green, and blue.
  • the device characteristic F is set to match the number of channels of the MSC.
  • the irradiation spectrum calculation unit 123 can calculate the irradiation spectrum by integrating the video data V(t) and the device characteristics F.
  • the irradiation spectrum calculated by the irradiation spectrum calculation unit 123 will be referred to as the irradiation spectrum R(t).
  • the irradiation spectrum R(t) is expressed as follows.
  • the irradiation spectrum calculation unit 123 reflects the display characteristics of the display unit 112 and the reflection characteristics of the housing 111 on the output light emitted from the display unit 112, and calculates the wavelength spectrum of the irradiation light L1, that is, the irradiation spectrum. calculate. Note that the irradiation spectrum calculation unit 123 can also reduce the amount of calculation by averaging a plurality of pixels of the video data V(t) and lowering the resolution. The irradiation spectrum calculation unit 123 supplies the calculated irradiation spectrum R(t) to the analysis processing unit 125.
  • the reflection spectrum generation unit 124 acquires reflected light reception data from the reflected light imaging unit 113 and generates a reflection spectrum A(t) from the reflected light reception data.
  • the reflection spectrum A(t) is the wavelength spectrum of the reflected light L2, and is expressed as follows.
  • a i represents the amount of light output by the light receiving element of channel i of the reflected light imaging section 113.
  • M indicates the number of channels of the reflected light imaging section 113.
  • the reflection spectrum generation section 124 may average the light amount of all the light receiving elements of the reflected light imaging section 113 to form a scalar, or may process the light amount of each light receiving element individually. Alternatively, the light amount of a plurality of light receiving elements may be averaged and processed. If the number of light-receiving elements to be processed is large, the biological information calculation model described later becomes complicated.
  • the reflection spectrum generation unit 124 supplies the generated reflection spectrum A(t) to the analysis processing unit 125.
  • the analysis processing unit 125 calculates the user's biological information based on the irradiation spectrum R(t) and the reflection spectrum A(t).
  • FIG. 5 is a graph showing an example of the irradiation spectrum R(t) and the reflection spectrum A(t). As shown in the figure, a difference occurs between the irradiation spectrum R(t) and the reflection spectrum A(t). The characteristics of this difference, that is, the wavelength band in which the difference occurs and the amount of change in intensity reflect the biological information in the measurement range S. Therefore, the analysis processing unit 125 can calculate the user's biological information based on the irradiation spectrum R(t) and the reflection spectrum A(t).
  • the analysis processing unit 125 can acquire the biological information calculation model N from the wavelength spectrum difference database 126.
  • the biological information calculation model N is a model in which the irradiation spectrum R(t), the reflection spectrum A(t), and the biological information are modeled for each type of biological information.
  • the analysis processing unit 125 applies the irradiation spectrum R(t) and the reflection spectrum A(t) to the biological information calculation model N to calculate the biological information (index), as shown in (Equation 5) below. can.
  • Biometric information that can be calculated using the biological information calculation model N includes pulse rate, SpO2 (arterial oxygen saturation), skin moisture content, body surface temperature, respiratory rate, blood pressure, vein pattern, and iris pattern.
  • a biometric information calculation model N is prepared for each biometric information.
  • the analysis processing unit 125 can select the biometric information calculation model N according to the type of biometric information to be calculated, and use the model N for biometric information calculation.
  • the biological information calculation model N is a predictive model generated by a machine learning method using as input the irradiation spectrum R(t) and the reflection spectrum A(t) and using the biological information measured using a wearable device, etc. as a teacher. I can do it. Furthermore, the biological information calculation model N is not limited to one generated by machine learning. A specific example of biological information calculated by the analysis processing unit 125 using the biological information calculation model N will be shown below.
  • the analysis processing unit 125 executes a green wavelength band filter, FFT (fast Fourier transform), BPF (band pass filter) between 1 Hz and 2.5 Hz, and peak detection on R(t) and A(t). , the peak value can be taken as the pulse rate. Further, the analysis processing unit 125 can calculate SpO 2 based on the respective ratios of the filter results in the red or near-infrared wavelength band with respect to R(t) and A(t).
  • FFT fast Fourier transform
  • BPF band pass filter
  • the analysis processing unit 125 can calculate the body surface temperature based on the intensities of the far-infrared wavelength bands of R(t) and A(t) and the value of the air temperature sensor. This is because temperatures close to body temperature involve some of the far-infrared wavelengths. Furthermore, the analysis processing unit 125 can calculate the skin moisture content based on the respective ratios of the filter results in the near-infrared wavelength band to R(t) and A(t). Unlike arteries, veins absorb near-infrared wavelength bands, so they use a different wavelength band than the pulse rate, which uses the green wavelength band.
  • the analysis processing unit 125 can calculate the respiration rate using a green wavelength band filter for R(t) and A(t), a BPF of 1 Hz or more and 2.5 Hz or less, and envelope detection.
  • the analysis processing unit 125 executes a green wavelength band filter, a BPF of 1 Hz or more and 2.5 Hz or less, and peak detection in a plurality of different measurement ranges S on the facial surface, and calculates blood pressure based on the propagation speed of the peak. I can do it. Blood waves sent from the heart can be observed as pulse waves, so by measuring pulse waves at two points on the same path and finding the speed at which the pulse waves propagate, relative blood pressure can be estimated (Pulse Transit Time method) cuffless blood pressure estimation).
  • the analysis processing unit 125 can recognize the facial vein pattern based on the two-dimensional information obtained by the green wavelength band filter for R(t) and A(t), and perform biometric authentication of the user. can.
  • the analysis processing unit 125 also recognizes the iris pattern of the eye based on two-dimensional information obtained by the infrared wavelength band filter for R(t) and A(t), and performs biometric authentication of the user. be able to.
  • the biological information calculated by the analysis processing unit 125 is not limited to the above information, and may be any biological information that can be calculated based on the irradiation spectrum R(t) and the reflection spectrum A(t).
  • FIG. 6 is a flowchart showing the operation of the biological information measuring device 100.
  • the analysis processing unit 125 acquires the biological information calculation model N of the biological information to be calculated from the wavelength spectrum difference database 126 (St101). Subsequently, the video acquisition unit 121 acquires the video data V (St102), and the display control unit 122 supplies the video data V(t) to the display unit 112 and causes the display unit 112 to display the display video (St103).
  • the irradiation spectrum calculation unit 123 calculates the irradiation spectrum R(t) based on the video data V(t) and the device characteristics F (St104).
  • the reflection spectrum generation unit 124 acquires the reflected light reception data from the reflected light imaging unit 113, and generates the reflection spectrum A(t) from the reflected light reception data (St105).
  • the analysis processing unit 125 applies the irradiation spectrum R(t) and the reflection spectrum A(t) to the biological information calculation model N, and calculates biological information from N(R(t), A(t)). St106). Subsequently, the analysis processing unit 125 sets the time t to time t+1 (St107), and repeats the process from acquiring the biological information calculation model N (St101) again. Note that time t is the video data V(t) frame, and time t+1 means that one frame is added.
  • the biological information measuring device 100 measures biological information as described above.
  • the step (St105) of generating the reflection spectrum A(t) the reflected light reception data is saved, and later, in a processing device with high computing power such as a server, N( It is also possible to calculate R(t), A(t)).
  • the biological information measuring device 100 can measure biological information based on the difference between the light irradiated onto the user's facial surface and the light reflected from the user's facial surface.
  • the light irradiated onto the user's face surface constitutes the display image displayed on the display unit 112, and the content of the display image is not particularly limited. Therefore, biometric information can be measured while the user is watching any video such as a movie or game video, and the burden on the user in measuring biometric information is reduced. Therefore, the biological information measuring device 100 is suitable for measuring biological information at home every day or over a long period of time.
  • the biological information measuring device 100 can respond as follows. 7 and 8 are examples of images captured by the reflected light imaging section 113.
  • the analysis processing unit 125 detects the approach of a face using an infrared proximity sensor or the like, and sets the time at this time as an initial time t0 .
  • the reflection spectrum generation unit 124 calculates the average amount of light of the plurality of light receiving elements in the center as A(t 0 ) with respect to the amount of light received by all the receiving elements A all (t 0 ) in the reflected light imaging unit 113. Used for calculating information.
  • the analysis processing unit 125 stores the light amount A all (t 0 ) of all receiving elements.
  • the analysis processing unit 125 updates the position obtained by subtracting the calculated shift amount (x, y) from the center of the captured image as a new center. In the example of FIGS. 7 and 8, if the center of the captured image at time t 0 is set to point P 0 shown in FIG. 7, then the center of the captured image at time t 1 is set to point P 1 shown in FIG. 8. Thereafter, the analysis processing unit 125 updates the center of the captured image over time to accommodate the shift of the head-mounted display.
  • FIG. 9 is a schematic diagram of a biological information measuring device 100 having another configuration.
  • the display section 112 and the reflected light imaging section 113 are arranged apart from the user U.
  • the display unit 112 is a display device that is not a head-mounted display, and is, for example, a television device or a movie theater screen.
  • the reflected light imaging unit 113 is an imaging device that is placed facing the user U and captures an image of the user U.
  • FIG. 10 is a block diagram showing the functional configuration of this biological information measuring device 100.
  • the biological information measuring device 100 may further include a measurement range recognition section 127.
  • the measurement range recognition unit 127 performs face recognition processing and facial part recognition processing on the image captured by the reflected light imaging unit 113, and recognizes the measurement range S. Further, the measurement range recognition unit 127 extracts the reflection spectrum A′(t) of the measurement range S from the reflection spectrum A(t) generated by the reflection spectrum generation unit 124, and supplies it to the analysis processing unit 125.
  • the analysis processing unit 125 applies the irradiation spectrum R(t) and the reflection spectrum A′(t) to the biological information calculation model N, and calculates biological information from N(R(t), A′(t)). I can do it.
  • the measurement range recognition section 127 can recognize the measurement range S for each of the plurality of users U, and in this case, the biological information measurement device 100 can measure biometric information of a plurality of users U at the same time.
  • the measurement range S is not limited to the face surface of the user U, but may be any range of the user U's body surface that can be imaged, such as an earlobe or a hand.
  • the measurement range recognition unit 127 calculates the distance of the user U with respect to the reflected light imaging unit 113, and specifies the illumination conditions at the user U position.
  • the analysis processing unit 125 determines the similarity between this illumination condition and the illumination condition at the time of constructing the biological information calculation model N.
  • the analysis processing unit 125 calculates biological information using the reflection spectrum A'(t) if both illumination conditions are similar, and calculates biological information using the reflection spectrum A'(t) according to the difference if the frontal conditions are different. ) can be corrected and used for calculating biological information.
  • FIG. 11 is a schematic diagram of a biological information measuring device 150 according to this embodiment.
  • the biological information measuring device 150 is a head mounted display mounted on the head H of the user U, and includes a housing 111, a display section 112, a reflected light imaging section 113, and an irradiation light imaging section 151.
  • the configuration other than the irradiation light imaging unit 151 is the same as that of the biological information measuring device 100 according to the first embodiment, so the explanation will be omitted.
  • the irradiation light imaging unit 151 images the irradiation light L1 and generates irradiation light reception data that is reception data of the irradiation light L1.
  • the irradiation light imaging section 151 is arranged near the face surface of the user U, as shown in FIG. 11, and faces the display section 112.
  • the emitted light emitted from the display unit 112 as described above is affected by the display characteristics of the display unit 112 and the like, and is irradiated onto the face surface of the user U as the irradiation light L1.
  • the irradiation light imaging unit 151 images this irradiation light L1 and generates irradiation light reception data.
  • FIG. 12 is a block diagram showing the functional configuration of the biological information measuring device 150 according to this embodiment.
  • the biological information measuring device 150 includes an image acquisition section 161, a display control section 162, an irradiation spectrum generation section 163, a reflection spectrum generation section 164, and an analysis processing section 165.
  • These functional configurations are realized through cooperation between software and hardware. These functional configurations may be installed within the housing 111 or may be installed on a device external to the housing 111.
  • the video acquisition unit 161 acquires video data V and generates video data V(t) that constitutes the display video displayed on the display unit 112.
  • the display control unit 162 controls the display unit 112 (see FIG. 11) and causes the display unit 112 to display the video data V(t) supplied from the video acquisition unit 161.
  • the user's face surface is irradiated with the irradiation light L1 that forms the display image.
  • the irradiation spectrum generation unit 163 acquires the irradiation light reception data from the irradiation light imaging unit 151 and generates the irradiation spectrum B(t) from the irradiation light reception data.
  • the irradiation spectrum B(t) is the wavelength spectrum of the irradiation light L1, and is expressed as follows.
  • b i represents the amount of light output by the light receiving element of channel i of the irradiation light imaging section 151.
  • Q indicates the number of channels of the irradiated light imaging section 151.
  • the irradiation spectrum generation section 163 may average the light amount of all the light receiving elements of the irradiated light imaging section 151 to form a scalar, or may process the light amount of each light receiving element individually. Alternatively, the light amount of a plurality of light receiving elements may be averaged and processed.
  • the irradiation spectrum calculation unit 123 calculated the irradiation spectrum R(t), but in this embodiment, instead of calculating the irradiation spectrum R(t), the irradiation spectrum B( t).
  • the irradiation spectrum generation section 163 supplies the generated irradiation spectrum B(t) to the analysis processing section 165.
  • the reflection spectrum generation unit 164 acquires reflected light reception data from the reflected light imaging unit 113 and generates a reflection spectrum A(t) from the reflected light reception data.
  • the reflection spectrum A(t) is the wavelength spectrum of the reflected light L2 as in the first embodiment.
  • the reflection spectrum generation section 164 supplies the generated reflection spectrum A(t) to the analysis processing section 165.
  • the analysis processing unit 165 calculates the user's biological information based on the irradiation spectrum B(t) and the reflection spectrum A(t). Similar to the first embodiment, a difference (see FIG. 5) occurs between the irradiation spectrum B(t) and the reflection spectrum A(t). The characteristics of this difference, that is, the wavelength band in which the difference occurs and the amount of change in intensity reflect the biological information in the measurement range S. Therefore, the analysis processing unit 165 can calculate the user's biological information based on the irradiation spectrum B(t) and the reflection spectrum A(t).
  • the analysis processing unit 165 can acquire the biological information calculation model N from the wavelength spectrum difference database 166.
  • the biological information calculation model N is a model in which the irradiation spectrum B(t), the reflection spectrum A(t), and the biological information are modeled for each type of biological information, and the analysis processing unit 165 calculates the following (Equation 7). ), by applying the irradiation spectrum B(t) and the reflection spectrum A(t) to the biological information calculation model N, biological information (index) can be calculated.
  • the biological information that can be calculated using the biological information calculation model N is the pulse rate, SpO2 (arterial oxygen saturation), skin moisture content, body surface temperature, respiratory rate, blood pressure, and vein pattern, as in the first embodiment. and iris pattern, etc., and the analysis processing unit 165 can select the biometric information calculation model N according to the type of biometric information to be calculated and use it for biometric information calculation.
  • the biological information calculation model N is a predictive model generated by a machine learning method using as input the irradiation spectrum B(t) and the reflection spectrum A(t) and using the biological information measured using a wearable device, etc. as a teacher. I can do it. Furthermore, the biological information calculation model N is not limited to one generated by machine learning. A specific example of the biological information calculated by the analysis processing unit 165 using the biological information calculation model N is the same as that in the first embodiment, and in the description of the first embodiment, the irradiation spectrum R(t) is replaced by the irradiation spectrum B. (t). The analysis processing unit 165 can also perform biometric authentication based on the measured vein pattern or iris pattern.
  • FIG. 13 is a flowchart showing the operation of the biological information measuring device 150.
  • the analysis processing unit 165 acquires the biological information calculation model N of the biological information to be calculated from the wavelength spectrum difference database 166 (St151). Subsequently, the video acquisition unit 161 acquires the video data V (St152), and the display control unit 162 supplies the video data V(t) to the display unit 112 to display the display video on the display unit 112 (St153).
  • the irradiation spectrum generation unit 163 acquires the irradiation light reception data from the irradiation light imaging unit 151, and generates the irradiation spectrum B(t) from the irradiation light reception data (St154). Further, the reflection spectrum generation unit 164 acquires the reflected light reception data from the reflected light imaging unit 113, and generates the reflection spectrum A(t) from the reflected light reception data (St154).
  • the analysis processing unit 165 applies the irradiation spectrum B(t) and the reflection spectrum A(t) to the biological information calculation model N, and calculates biological information from N(B(t), A(t)). St155). Subsequently, the analysis processing unit 165 sets the time t to time t+1 (St156), and repeats the process from acquiring the biological information calculation model N (St151) again. Note that time t is the video data V(t) frame, and time t+1 means that one frame is added.
  • the biological information measuring device 150 measures biological information as described above.
  • the step (St154) of generating the irradiation spectrum B(t) and the reflection spectrum A(t) the irradiation light imaging data and the reflected light imaging data are saved, and the images are later processed by a processing device with high computing power such as a server. It is also possible to calculate N(B(t), A(t)) together with the data V(t).
  • the biological information measuring device 150 measures biological information based on the difference between the light irradiated onto the user's facial surface and the light reflected by the user's facial surface. Therefore, there is less burden on the user in measuring biological information. Compared to the biological information measuring apparatus 100, the biological information measuring apparatus 150 needs to be provided with the irradiation light imaging section 151, but does not require prior measurement of the device characteristic F or calculation process of the irradiation spectrum R(t).
  • the biological information measuring device 150 it is possible to deal with the misalignment of the head-mounted display that constitutes the biological information measuring device 150 using the same method as in the first embodiment (see FIGS. 7 and 8). Furthermore, the biological information measuring device 150 can also be a device other than a head-mounted display as in the first embodiment (see FIGS. 9 and 10).
  • FIG. 14 is a schematic diagram showing this hardware configuration.
  • the biological information measuring device 100 and the biological information measuring device 150 include a CPU (Central Processing Unit) 1001 and a GPU (Graphics Processing Unit) 1002.
  • An input/output interface 1006 is connected to the CPU 1001 and the GPU 1002 via a bus 1005.
  • a ROM (Read Only Memory) 1003 and a RAM (Random Access Memory) 1004 are connected to the bus 1005 .
  • the input/output interface 1006 includes an input unit 1007 consisting of input devices such as a keyboard and mouse for inputting operation commands by the user, an output unit 1008 for outputting processing operation screens and images of processing results to a display device, and programs and various data.
  • a storage unit 1009 including a hard disk drive for storing data, and a communication unit 1010 including a LAN (Local Area Network) adapter and the like and executing communication processing via a network typified by the Internet are connected. Also connected is a drive 1011 that reads and writes data to and from a removable storage medium 1012 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • a removable storage medium 1012 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 1001 executes programs stored in the ROM 1003 or read from a removable storage medium 1012 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, installed in the storage unit 1009, and loaded from the storage unit 1009 into the RAM 1004. Execute various processes according to the programmed program.
  • the RAM 1004 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the GPU 1002 executes calculation processing necessary for image drawing under the control of the CPU 1001.
  • the CPU 1001 loads, for example, a program stored in the storage unit 1009 into the RAM 1004 via the input/output interface 1006 and the bus 1005. By executing this, the series of processes described above are performed.
  • the programs executed by the biological information measuring device 100 and the biological information measuring device 150 can be provided by being recorded on a removable storage medium 1012 such as a package medium, for example. Additionally, programs may be provided via wired or wireless transmission media, such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 1009 via the input/output interface 1006 by attaching the removable storage medium 1012 to the drive 1011. Further, the program can be received by the communication unit 1010 via a wired or wireless transmission medium and installed in the storage unit 1009. Other programs can be installed in the ROM 1003 or the storage unit 1009 in advance.
  • the programs executed by the biological information measuring device 100 and the biological information measuring device 150 may be programs that are processed in chronological order according to the order described in this disclosure, or may be programs that are executed in parallel or are called in parallel. It may also be a program that performs processing at a necessary timing, such as when a request is made.
  • the hardware configurations of the biological information measuring device 100 and the biological information measuring device 150 do not all need to be installed in one device, and the biological information measuring device 100 and the biological information measuring device 150 may be configured by a plurality of devices. You can leave it there. Further, it may be installed in part of the hardware configuration of the biological information measuring device 100 and the biological information measuring device 150, or in a plurality of devices connected via a network.
  • a reflection spectrum generation unit that forms a display image and generates a reflection spectrum that is a wavelength spectrum of reflected light when irradiation light irradiated onto a measurement range that is a specific range of the user's body is reflected at the measurement range;
  • a biological information measuring device comprising: an analysis processing unit that calculates biological information of the user based on an irradiation spectrum that is a wavelength spectrum of the irradiation light and the reflection spectrum.
  • the biological information measuring device further comprising an irradiation spectrum calculation unit that calculates the irradiation spectrum based on the video data of the displayed image and the device characteristics of the biological information measuring device,
  • the spectrum acquisition unit acquires the irradiation spectrum from the irradiation spectrum calculation unit.
  • the biological information measuring device further comprising an irradiation spectrum generation unit that generates the irradiation spectrum from irradiation light reception data that is data generated by imaging the irradiation light;
  • the spectrum acquisition unit acquires the irradiation spectrum from the irradiation spectrum calculation unit.
  • the biological information measuring device a display unit that displays the display image; A biological information measuring device further comprising: a reflected light imaging section that images the reflected light and generates reflected light reception data.
  • a biological information measuring device further comprising: an irradiation light imaging unit that images the irradiation light and generates irradiation light reception data.
  • the biological information measuring device is a head-mounted display that is attached to the user's head, and the display unit is placed in front of the user's eyes.
  • the biological information measuring device according to (7) above, The reflected light imaging section is arranged to face the measurement range. The biological information measuring device.
  • the biological information measuring device further comprising an irradiation light imaging unit that images the irradiation light and generates irradiation light reception data;
  • the irradiation light imaging section is arranged to face the display section.
  • the biological information measuring device (10) The biological information measuring device according to (5) above, The display unit and the reflected light imaging unit are arranged apart from the user,
  • the biological information measuring device further includes a measurement range recognition unit that recognizes the measurement range based on the image captured by the reflected light imaging unit.
  • the biological information measuring device identifies the user's biological information using a biological information calculation model in which the irradiation spectrum, the reflection spectrum, and the biological information are modeled for each type of biological information.
  • the biological information measuring device identifies the user's biological information using a biological information calculation model in which the irradiation spectrum, the reflection spectrum, and the biological information are modeled for each type of biological information.
  • the biological information measuring device identifies the user's biological information using a biological information calculation model in which the irradiation spectrum, the reflection spectrum, and the biological information are modeled for each type of biological information.
  • the biological information measuring device is a predictive model generated by machine learning.
  • the biological information measuring device is a pulse rate, arterial oxygen saturation, skin moisture content, body surface temperature, respiratory rate, or blood pressure. The biological information measuring device.
  • the biological information measuring device according to any one of (1) to (12) above,
  • the biological information is a vein pattern or an iris pattern
  • the analysis processing unit performs biometric authentication using the biometric information.
  • a reflection spectrum generation unit that forms a display image and generates a reflection spectrum that is a wavelength spectrum of reflected light when irradiation light irradiated onto a measurement range that is a specific range of the user's body is reflected at the measurement range;
  • a biological information measurement program that causes an information processing device to operate as an analysis processing unit that calculates biological information of the user based on an irradiation spectrum that is a wavelength spectrum of the irradiation light and the reflection spectrum.
  • a biological information measuring method wherein biological information of the user is calculated based on an irradiation spectrum that is a wavelength spectrum of the irradiation light and the reflection spectrum.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Pulmonology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】ユーザの負担を抑えて生体情報の測定を行うことが可能な生体情報測定装置、生体情報測定方法及び生体情報測定プログラムを提供すること。 【解決手段】本技術に係る生体情報測定装置は、反射スペクトル生成部と、分析処理部とを具備する。上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。

Description

生体情報測定装置、生体情報測定方法及び生体情報測定プログラム
　本技術は、光によりユーザの生体情報を測定する生体情報測定装置、生体情報測定方法及び生体情報測定プログラムに関する。
　脈拍数や動脈血酸素飽和度、体表面温度といった生体情報の測定は生体センシングと呼ばれる。生体センシングはユーザの負担が少ないものが好適であり、特に家庭内で長期的に生体情報を測定する場合等には負担の程度による影響が大きい。この点、光を用いる生体センシングはユーザの負担が少ないものの、外光による影響を受けやすいため、その対策を行う必要がある。
　例えば、特許文献１には、ヘッドマウントディスプレイに搭載され、表示パネルを所定規則で発光させ、ユーザの皮膚や眼球による反射光を撮像し、画像情報を登録情報と照合することによりユーザの個人識別を行う装置が開示されている。ヘッドマウントディスプレイを利用することで外光を遮蔽でき、高精度に個人識別を行うことが可能とされている。
特開２０２１－１８７２９号公報
　しかしながら、特許文献１に記載のような手法は、表示パネルを所定規則で発光させる必要がある。所定規則の発光には、表示パネルを特定の一色で発光させ、その色を順次切り替えたり、表示パネルの区画毎に異なる色で発光させたりすることが含まれている。この光はユーザから見ると特に意味を有しないものであり、ユーザは識別処理が完了するまで待機する必要があるため、依然としてユーザの負担が存在する。
　以上のような事情に鑑み、ユーザの負担を抑えて生体情報の測定を行うことが可能な生体情報測定装置、生体情報測定方法及び生体情報測定プログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る生体情報測定装置は、反射スペクトル生成部と、分析処理部とを具備する。
　上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
　上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。
　上記反射スペクトル生成部は、上記反射光の撮像により生成されたデータである反射光受光データから上記反射スペクトルを生成してもよい。
　上記生体情報測定装置は、上記表示映像の映像データと、上記生体情報測定装置のデバイス特性に基づいて上記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
　上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得してもよい。
　上記生体情報測定装置は、上記照射光が撮像されて生成されたデータである照射光受光データから上記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得してもよい。
　上記生体情報測定装置は、上記表示映像を表示する表示部と、上記反射光を撮像し、反射光受光データを生成する反射光撮像部とをさらに具備してもよい。
　上記生体情報測定装置は、上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備してもよい。
　上記生体情報測定装置は、上記ユーザの頭部に装着され、上記表示部が上記ユーザの眼前に配置されるヘッドマウントディスプレイであってもよい。
　上記反射光撮像部は、上記測定範囲に対向して配置されていてもよい。
　上記生体情報測定装置は、上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、上記照射光撮像部は、上記表示部に対向して配置されていてもよい。
　上記表示部及び上記反射光撮像部は上記ユーザから離間して配置され、上記生体情報測定装置は、上記反射光撮像部が撮像した画像に基づいて上記測定範囲を認識する測定範囲認識部をさらに具備してもよい。
　上記分析処理部は、上記照射スペクトル及び上記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して上記ユーザの生体情報を特定してもよい。
　上記生体情報算出モデルは機械学習により生成された予測モデルであってもよい。
　上記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧であってもよい。
　上記生体情報は、静脈パターン又は虹彩パタ－ンであり、上記分析処理部は、上記生体情報を用いて生体認証を行ってもよい。
　上記目的を達成するため、本技術の一形態に係る生体情報測定プログラムは、反射スペクトル生成部と、分析処理部として情報処理装置を動作させる。
　上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
　上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。
　上記目的を達成するため、本技術の一形態に係る生体情報測定方法は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
　上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。
本技術の第１の実施形態に係る生体情報検出装置の模式図である。 測定範囲の模式図である。 上記生体情報検出装置の機能的構成を示すブロック図である。 上記生体情報検出装置の照射スペクトル算出部が算出する照射スペクトルの例である。 上記生体情報検出装置の反射スペクトル生成部が生成する反射スペクトルの例である。 上記生体情報検出装置の動作を示すフローチャートである。 上記生体情報検出装置のズレへの対応を示す模式図である。 上記生体情報検出装置のズレへの対応を示す模式図である。 上記生体情報検出装置の他の構成を示す模式図である。 上記生体情報検出装置の機能的構成を示すブロック図である。 本技術の第２の実施形態に係る生体情報検出装置の模式図である。 上記生体情報検出装置の機能的構成を示すブロック図である。 上記生体情報検出装置の動作を示すフローチャートである。 本技術の第1の実施形態及び第２の実施形態に係る生体情報検出装置のハードウェア構成を示すブロック図である。
　（第１の実施形態）
　本技術の第１の実施形態に係る生体情報検出装置について説明する。
　[生体情報検出装置の構成]
　図１は本実施形態に係る生体情報測定装置１００の模式図である。同図に示すように生体情報測定装置１００はユーザＵの頭部Ｈに装着されるヘッドマウントディスプレイであり、筐体１１１、表示部１１２及び反射光撮像部１１３を備える。
　筐体１１１は頭部Ｈに装着され、表示部１１２及び反射光撮像部１１３を支持する。筐体１１１には、表示部１１２と反射光撮像部１１３を隔てる仕切り１１１ａが設けられている。筐体１１１の具体的構成は特に限定されず、表示部１１２と反射光撮像部１１３の頭部Ｈに対する位置を保持できるものであればよいが、外光の遮蔽性に優れるものが好適である。
　表示部１１２はユーザＵの眼前に配置され、映像を表示する。以下、表示部１１２に表示される映像を「表示映像」とし、表示映像を形成する光を「照射光」とする。図１においてこの照射光を照射光Ｌ１として示す。照射光Ｌ１は、ユーザＵの顔表面に入射する光であり、表示部１１２から出射された出射光と、この出射光が筐体１１１の内部で反射された光を含む。図２に示すように、ユーザＵは目に入射する照射光Ｌ１によって表示映像を視認することができる。また、照射光Ｌ１の一部はユーザＵの顔表面で反射され反射光となる。図１においてこの反射光を反射光Ｌ２として示す。
　表示部１１２には出射光の光量が一定より大きいものが利用でき、例えば液晶ディスプレイが利用できる。表示部１１２は１つが設けられてもよく、左目用と右目用に２つが設けられてもよい。なお、ヘッドマウントディスプレイには、スマートフォン等の他の表示装置を装着可能なものもあるが、そのような他の表示装置を表示部１１２として利用することも可能である。また、表示部１１２とユーザＵの目の間にはレンズ等の光学素子が配置されてもよい。
　反射光撮像部１１３は、反射光Ｌ２を撮像し、反射光Ｌ２の受光データである反射光受光データを生成する。反射光撮像部１１３は、ユーザＵの顔表面のうち、「測定範囲」を撮像する。測定範囲はユーザＵの顔表面のうち特定の範囲である。図１においてこの測定範囲を測定範囲Ｓとして示す。図２は測定範囲Ｓの例を示す模式図である。同図において目の間に相当する範囲Ｓ１、こめかみに相当する範囲Ｓ２及び目の下に相当する範囲Ｓ３を示す。測定範囲Ｓはこれらの範囲のうちいずれか１つ又は複数とすることができる。また、測定範囲ＳはユーザＵの顔表面のうち、範囲Ｓ１～Ｓ３以外の範囲であってもよい。反射光撮像部１１３は、測定範囲Ｓに対向し、測定範囲Ｓで反射される反射光Ｌ２を撮像する。なお、反射光撮像部１１３とユーザＵの顔表面の間にはレンズ等の光学素子が配置されてもよい。
　反射光撮像部１１３は一般的な撮像素子であってもよく、ＭＳＣ（マルチスペクトラムカメラ）を構成する撮像素子であってもよい。一般的なカメラは、赤色、緑色又は青色のカラーフィルタが設けられた受光素子により、赤色、緑色、青色の３チャンネルで撮像を行う。これに対しＭＳＣは９チャンネル等、より多くのチャンネルで撮像を行うことができるカメラである。
　図３は生体情報測定装置１００の機能的構成を示すブロック図である。同図に示すように生体情報測定装置１００は映像取得部１２１、表示制御部１２２、照射スペクトル算出部１２３、反射スペクトル生成部１２４及び分析処理部１２５を備える。これらの機能的構成はソフトウェアとハードウェアの協働により実現される。これらの機能的構成は筐体１１１内に搭載されていてもよく、筐体１１１の外部装置に搭載されていてもよい。
　映像取得部１２１は、映像データＶを取得し、表示部１１２で表示される表示映像を構成する映像データＶ（ｔ）を生成する。映像取得部１２１は、生体情報測定装置１００が備えるストレージや外部機器、ネットワーク等から映像データＶを取得することができる。映像データＶの内容は特に限定されず、映画やゲーム映像といった動画であってもよく、静止画であってもよい。映像データＶ（ｔ）は以下のように表される。
　Ｖ（ｔ）＝［Ｖｒ（ｔ）；Ｖｇ（ｔ）；Ｖｂ（ｔ）］　　　（式１）
　（式１）においてＶｒ（ｔ）は表示映像のうち赤色成分の強度、Ｖｇ（ｔ）は表示映像のうち緑色成分の強度、Ｖｂ（ｔ）は表示映像のうち青色成分の強度である。映像取得部１２１は、生成した映像データＶ（ｔ）を表示制御部１２２及び照射スペクトル算出部１２３に供給する。
　表示制御部１２２は、表示部１１２（図１参照）を制御し、映像取得部１２１から供給された映像データＶ（ｔ）を表示部１１２に表示させる。これにより、表示映像を形成する照射光Ｌ１がユーザの顔表面に照射される。
　照射スペクトル算出部１２３は、映像データＶ（ｔ）と生体情報測定装置１００のデバイス特性Ｆに基づいて照射スペクトルを算出する。照射スペクトルは照射光Ｌ１の波長スペクトルであり、図４は照射スペクトルの例である。
　デバイス特性Ｆは表示部１１２から出射された出射光とユーザの顔表面に入射する照射光Ｌ１の関係を表す特性である。表示部１１２から出射された出射光は、表示部１１２の表示特性や光学素子の特性、筐体１１１の内周面における反射、測定範囲Ｓの位置等による影響を受けるが、デバイス特性Ｆはこれらの影響を含む。デバイス特性Ｆは事前の測定によって求めることができる。具体的には測定範囲Ｓに特性が既知の撮像素子を配置し、表示部１１２から入射する光を受光させることによりデバイス特性Ｆを求めることができる。デバイス特性Ｆは以下のように表される。
　Ｆ＝［ｆｒ１，ｆｒ２…ｆｒＮ；
　　　　ｆｇ１，ｆｇ２…ｆｇＮ；
　　　　ｆｂ１，ｆｂ２…ｆｂＮ］　　　（式２）
　（式２）においてＮはスペクトルの分割数（ｂｉｎ数）であり、例えば５１２である。これは照射スペクトルの波長帯域を５１２区画に分割して計算することを意味する。測定範囲Ｓにデバイス特性Ｆの測定用撮像素子が配置されたときの、赤色カラーフィルタが設けられた受光素子を赤色受光素子、緑色カラーフィルタが設けられた受光素子を緑色受光素子、青色カラーフィルタが設けられた受光素子を青色受光素子とする。（式２）においてｆｒ１は赤色受光素子で受光される光の第１区画での強度変化率を示し、ｆｒ２は赤色受光素子で受光される光の第２区画での強度変化率、ｆｒNは赤色受光素子で受光される光の第Ｎ区画での強度変化率を示す。緑色受光素子（ｆｇ）、青色受光素子（ｆｂ）も同様である。
　デバイス特性Ｆは反射光撮像部１１３のチャンネル数に合わせたものとする。（式２）では、反射光撮像部１１３が赤色、緑色、青色の３チャンネルである場合の表示特性を示す。反射光撮像部１１３がＭＳＣである場合、デバイス特性ＦはＭＳＣのチャンネル数に合わせたものとする。
　照射スペクトル算出部１２３は、映像データＶ（ｔ）とデバイス特性Ｆを積算することにより、照射スペクトルを算出することができる。以下、照射スペクトル算出部１２３が算出する照射スペクトルを照射スペクトルＲ（ｔ）とする。照射スペクトルＲ（ｔ）は以下のように表される。
　Ｒ（ｔ）＝Ｖ（ｔ）Ｆ＝［ｒ１（ｔ）、ｒ２（ｔ）、…ｒＮ（ｔ）］　　　（式３）
　（式３）においてｒ１は第１区画の強度、ｒ２は第２区画の強度、ｒNは第Ｎ区画の強度を示す。このように照射スペクトル算出部１２３は、表示部１１２から出射された出射光に対して表示部１１２の表示特性や筐体１１１の反射特性を反映させ、照射光Ｌ１の波長スペクトル、即ち照射スペクトルを算出する。なお、照射スペクトル算出部１２３は映像データＶ（ｔ）の複数画素分を平均し、低解像度化することで計算量を低減させることも可能である。照射スペクトル算出部１２３は算出した照射スペクトルＲ（ｔ）を分析処理部１２５に供給する。
　反射スペクトル生成部１２４は、反射光撮像部１１３から反射光受光データを取得し、反射光受光データから反射スペクトルＡ（ｔ）を生成する。反射スペクトルＡ（ｔ）は、反射光Ｌ２の波長スペクトルであり、以下のように表される。
　Ａ（ｔ）＝［ａ１（ｔ）、ａ２（ｔ）、…ａＭ（ｔ）］　　　（式４）
　（式４）においてａｉは反射光撮像部１１３のチャンネルiの受光素子が出力する光量を示す。また、Ｍは反射光撮像部１１３のチャンネル数を示す。反射スペクトル生成部１２４は、反射光撮像部１１３の全受光素子の光量を平均してスカラーとしてもよいし、各受光素子の光量を個別に処理してもよい。また、複数の受光素子の光量を平均して処理してもよい。処理対象の受光素子数が多いと、後述する生体情報算出モデルが複雑化する。反射スペクトル生成部１２４は、生成した反射スペクトルＡ（ｔ）を分析処理部１２５に供給する。
　分析処理部１２５は、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）に基づいてユーザの生体情報を算出する。図５は、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）の例を示すグラフである。同図に示すように、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）には差分が生じる。この差分の特徴、即ち差分が生じている波長帯域や強度変化量は測定範囲Ｓにおける生体情報を反映している。したがって、分析処理部１２５は、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）に基づいてユーザの生体情報を算出することができる。
　具体的には分析処理部１２５は、波長スペクトル差分データベース１２６から生体情報算出モデルＮを取得することができる。生体情報算出モデルＮは、照射スペクトルＲ（ｔ）及び反射スペクトルＡ（ｔ）と生体情報が、生体情報の種類毎にモデル化されたものである。分析処理部１２５は、以下の（式５）に示すように、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）を生体情報算出モデルＮに適用し、生体情報（ｉｎｄｅｘ）を算出することができる。
　Ｎ（Ｒ（ｔ）、Ａ（ｔ））＝ｉｎｄｅｘ　（式５）
　生体情報算出モデルＮを利用して算出可能な生体情報は、脈拍数、ＳｐＯ２（動脈血酸素飽和度）、肌水分量、体表面温度、呼吸数、血圧、静脈パターン及び虹彩パタ－ン等であり、生体情報毎に生体情報算出モデルＮを準備する。分析処理部１２５は、算出しようとする生体情報の種類に応じて生体情報算出モデルＮを選択し、生体情報の算出に利用することができる。
　生体情報算出モデルＮは、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）を入力、ウェアラブルデバイス等を用いて測定された生体情報を教師とする機械学習手法により生成された予測モデルとすることができる。また、生体情報算出モデルＮは機械学習により生成されたものに限られない。以下、分析処理部１２５が生体情報算出モデルＮを利用して算出する生体情報の具体例を示す。
　分析処理部１２５は、Ｒ（ｔ）、Ａ（ｔ）に対して緑波長帯域のフィルタ、ＦＦＴ（fast Fourier transform）、１Ｈｚ以上２．５Ｈｚ以下のＢＰＦ（Band Pass Filter）及びピーク検出を実行し、ピーク値を脈拍数とすることができる。また、分析処理部１２５は、Ｒ（ｔ）、Ａ（ｔ）に対して赤又は近赤外波長帯域のフィルタ結果のそれぞれの比に基づいてＳｐＯ２を算出することができる。
　また、分析処理部１２５はＲ（ｔ）、Ａ（ｔ）の遠赤外波長帯域の強度と気温センサの値に基づき、体表面温度を算出することができる。体温に近い温度は遠赤外波長の一部が関連するためである。また、分析処理部１２５は、Ｒ（ｔ）、Ａ（ｔ）に対して近赤外波長帯域のフィルタ結果のそれぞれの比に基づいて肌水分量を算出することができる。動脈と違い静脈は近赤外波長帯域を吸収するため、緑波長帯域を活用する脈拍数と異なる波長帯域を利用する。
　また、分析処理部１２５はＲ（ｔ）、Ａ（ｔ）に対しての緑波長帯域のフィルタ、１Ｈｚ以上２．５Ｈｚ以下のＢＰＦ及び包絡線検出によって呼吸数を算出することができる。また、分析処理部１２５は、緑波長帯域のフィルタ、１Ｈｚ以上２．５Ｈｚ以下のＢＰＦ及びピーク検出を顔表面の異なる複数の測定範囲Ｓで実行し、ピークの伝搬速度に基づき血圧を算出することができる。心臓から送られる血液の波は脈波として観測できるため、脈波を同じ経路の二か所で計測し、脈波が伝搬する速度を求めると、相対的な血圧が推定できる(Pulse Transit Time方式のカフレス血圧推定)。
　また、分析処理部１２５はＲ（ｔ）、Ａ（ｔ）に対しての緑波長帯域のフィルタによって得られる２次元情報に基づいて顔の静脈パターンを認識し、ユーザの生体認証を行うことができる。また、分析処理部１２５は、Ｒ（ｔ）、Ａ（ｔ）に対しての赤外波長帯域のフィルタによって得られる２次元情報に基づいて眼の虹彩パターンを認識し、ユーザの生体認証を行うことができる。
　分析処理部１２５が算出する生体情報は上記のものに限られず、照射スペクトルＲ（ｔ）と反射スペクトルＡ（ｔ）に基づいて算出可能な生体情報であればよい。
　[生体情報検出装置の動作]
　生体情報測定装置１００の動作について説明する。図６は生体情報測定装置１００の動作を示すフローチャートである。
　生体情報測定装置１００の動作が開始されると、分析処理部１２５が波長スペクトル差分データベース１２６から算出しようとする生体情報の生体情報算出モデルＮを取得する（Ｓｔ１０１）。続いて、映像取得部１２１が映像データＶを取得（Ｓｔ１０２）し、表示制御部１２２が表示部１１２に映像データＶ（ｔ）を供給して表示部１１２に表示映像を表示させる（Ｓｔ１０３）。
　続いて、照射スペクトル算出部１２３が映像データＶ（ｔ）とデバイス特性Ｆに基づいて照射スペクトルＲ（ｔ）を算出する（Ｓｔ１０４）。続いて、反射スペクトル生成部１２４が反射光撮像部１１３から反射光受光データを取得し、反射光受光データから反射スペクトルＡ（ｔ）を生成する（Ｓｔ１０５）。
　続いて、分析処理部１２５が照射スペクトルＲ（ｔ）及び反射スペクトルＡ（ｔ）を生体情報算出モデルＮに適用し、Ｎ（Ｒ（ｔ）、Ａ（ｔ））から生体情報を算出する（Ｓｔ１０６）。続いて、分析処理部１２５は時刻ｔを時刻ｔ＋１とし（Ｓｔ１０７）、再度、生体情報算出モデルＮの取得（Ｓｔ１０１）から繰り返し実行する。なお、時刻ｔは映像データＶ（ｔ）フレームであり、時刻ｔ＋１は1フレーム分を加算することを意味する。
　生体情報測定装置１００は以上のようにして生体情報を測定する。なお、反射スペクトルＡ（ｔ）を生成するステップ（Ｓｔ１０５）では反射光受光データを保存しておき、後でサーバーなど計算能力が高い処理装置で映像データＶ（ｔ）、デバイス特性Fと共にＮ（Ｒ（ｔ）、Ａ（ｔ））を計算することも可能である。
　[生体情報検出装置による効果]
　生体情報測定装置１００では上述のように、ユーザの顔表面に照射される光とユーザの顔表面で反射された光の差異に基づいて生体情報を測定することができる。ユーザの顔表面に照射される光は表示部１１２に表示される表示映像を構成する光であり、表示映像の内容は特に制限されない。したがって、ユーザが映画やゲーム映像といった任意の映像を視聴している間に生体情報の測定が可能であり、生体情報の測定にかかるユーザの負担が少ない。このため、生体情報測定装置１００は家庭内で毎日、あるいは長時間にわたるような生体情報の測定にも適している。
　［ヘッドマウントディスプレイのズレに対する対応］
　生体情報測定装置１００を構成するヘッドマウントディスプレイがユーザＵの頭部Ｈに対してズレを生じた場合、生体情報測定装置１００は以下のように対応することができる。図７及び図８は反射光撮像部１１３による撮像画像の例である。
　分析処理部１２５は、赤外線による接近センサ等を利用して顔の接近を検出し、このときの時刻を初期時刻ｔ０とする。反射スペクトル生成部１２４は、反射光撮像部１１３において受光された全受素子の光量Ａａｌｌ（ｔ０）に対して中央の複数の受光素子の光量を平均したものをＡ（ｔ０）として生体情報の算出に用いる。この際、分析処理部１２５は、全受素子の光量Ａａｌｌ（ｔ０）を記憶しておく。
　時間が経過し、次のフレームｔ１となったらＡａｌｌ（ｔ１）とＡａｌｌ（ｔ０）の相互関係を算出し、撮像画像全体のシフト量（ｘ、ｙ）を算出する。分析処理部１２５は、Ａａｌｌ（ｔ）からＡ（ｔ）を抽出する際、撮像画像の中央から算出したシフト量（ｘ、ｙ）を差し引いた位置を新たな中央として更新する。図７及び図８の例では、時刻ｔ０における撮像画像の中央を図７に示す点Ｐ０とすると、時刻ｔ１における撮像画像の中央を図８に示す点Ｐ１とする。以降、分析処理部１２５は時間の経過と共に撮像画像の中央を更新し、ヘッドマウントディスプレイのズレに対応する。
　［生体情報測定装置の他の構成について］
　上記説明において生体情報測定装置１００はヘッドマウントディスプレイであるものとしたが、それ以外の構成とすることも可能である。図９は、他の構成を有する生体情報測定装置１００の模式図である。同図に示すように、表示部１１２及び反射光撮像部１１３はユーザＵから離間して配置されている。表示部１１２は、ヘッドマウントディスプレイではない表示装置であり、例えばテレビジョン装置や映画館のスクリーンである。反射光撮像部１１３は、ユーザＵに対向して配置され、ユーザＵを撮像する撮像素子である。
　図１０はこの生体情報測定装置１００の機能的構成を示すブロック図である。同図に示すように生体情報測定装置１００はさらに測定範囲認識部１２７を備えるものとすることができる。測定範囲認識部１２７は、反射光撮像部１１３によって撮像された画像に対して顔認識処理や顔パーツ認識処理を行い、測定範囲Ｓを認識する。さらに、測定範囲認識部１２７は、反射スペクトル生成部１２４が生成した反射スペクトルＡ（ｔ）のうち、測定範囲Ｓの反射スペクトルＡ´（ｔ）を抽出し、分析処理部１２５に供給する。分析処理部１２５は、照射スペクトルＲ（ｔ）及び反射スペクトルＡ´（ｔ）を生体情報算出モデルＮに適用し、Ｎ（Ｒ（ｔ）、Ａ´（ｔ））から生体情報を算出することができる。
　測定範囲認識部１２７は、反射光撮像部１１３の視野内に複数のユーザＵが存在する場合、複数のユーザＵに対してそれぞれ測定範囲Ｓを認識することができ、この場合、生体情報測定装置１００は複数のユーザＵの生体情報を同時に測定することが可能となる。測定範囲ＳもユーザＵの顔表面に限られず、耳たぶや手のようにユーザＵの体表面のうち撮像可能な範囲であればよい。
　なお、ユーザＵの視聴環境が映画館のように暗く、外光がない場合はよいが、通常の室内のように外光が存在する場合、外光の影響を排除する必要がある。具体的には測定範囲認識部１２７は反射光撮像部１１３に対するユーザＵの距離を算出し、ユーザＵの位置での照明条件を特定する。分析処理部１２５はこの照明条件と、生体情報算出モデルＮの構築時の照明条件の類否を判定する。分析処理部１２５は両照明条件が類似していれば反射スペクトルＡ´（ｔ）を利用して生体情報を算出し、両正面条件が相違していれば差異に応じて反射スペクトルＡ´（ｔ）を補正し、生体情報の算出に利用することができる。
　（第２の実施形態）
　本技術の第２の実施形態に係る生体情報検出装置について説明する。
　[生体情報検出装置の構成]
　図１１は本実施形態に係る生体情報測定装置１５０の模式図である。同図に示すように生体情報測定装置１５０はユーザＵの頭部Ｈに装着されるヘッドマウントディスプレイであり、筐体１１１、表示部１１２、反射光撮像部１１３及び照射光撮像部１５１を備える。なお、このうち、照射光撮像部１５１以外の構成は第１の実施形態に係る生体情報測定装置１００と同様であるので説明を省略する。
　照射光撮像部１５１は照射光Ｌ１を撮像し、照射光Ｌ１の受光データである照射光受光データを生成する。照射光撮像部１５１は図１１に示すようにユーザＵの顔表面の近傍に配置され、表示部１１２に対向する。上述のように表示部１１２から出射された出射光は、表示部１１２の表示特性等による影響を受け、照射光Ｌ１としてユーザＵの顔表面に照射される。照射光撮像部１５１はこの照射光Ｌ１を撮像し、照射光受光データを生成する。
　図１２は本実施形態に係る生体情報測定装置１５０の機能的構成を示すブロック図である。同図に示すように生体情報測定装置１５０は映像取得部１６１、表示制御部１６２、照射スペクトル生成部１６３、反射スペクトル生成部１６４及び分析処理部１６５を備える。これらの機能的構成はソフトウェアとハードウェアの協働により実現される。これらの機能的構成は筐体１１１内に搭載されていてもよく、筐体１１１の外部装置に搭載されていてもよい。
　映像取得部１６１は第１の実施形態と同様に、映像データＶを取得し、表示部１１２で表示される表示映像を構成する映像データＶ（ｔ）を生成する。表示制御部１６２は、表示部１１２（図１１参照）を制御し、映像取得部１６１から供給された映像データＶ（ｔ）を表示部１１２に表示させる。これにより、表示映像を形成する照射光Ｌ１がユーザの顔表面に照射される。
　照射スペクトル生成部１６３は、照射光撮像部１５１から照射光受光データを取得し、照射光受光データから照射スペクトルＢ（ｔ）を生成する。照射スペクトルＢ（ｔ）は、照射光Ｌ１の波長スペクトルであり、以下のように表される。
　Ｂ（ｔ）＝［ｂ１（ｔ）、ｂ２（ｔ）、…ｂQ（ｔ）］　　　（式６）
　（式６）においてｂｉは照射光撮像部１５１のチャンネルiの受光素子が出力する光量を示す。また、Ｑは照射光撮像部１５１のチャンネル数を示す。照射スペクトル生成部１６３は、照射光撮像部１５１の全受光素子の光量を平均してスカラーとしてもよいし、各受光素子の光量を個別に処理してもよい。また、複数の受光素子の光量を平均して処理してもよい。第１の実施形態では照射スペクトル算出部１２３が照射スペクトルＲ（ｔ）を算出したが、本実施形態では照射スペクトルＲ（ｔ）を算出する代わりに照射光受光データから生成された照射スペクトルＢ（ｔ）を利用する。照射スペクトル生成部１６３は、生成した照射スペクトルＢ（ｔ）を分析処理部１６５に供給する。
　反射スペクトル生成部１６４は、反射光撮像部１１３から反射光受光データを取得し、反射光受光データから反射スペクトルＡ（ｔ）を生成する。反射スペクトルＡ（ｔ）は第１の実施形態と同様に反射光Ｌ２の波長スペクトルである。反射スペクトル生成部１６４は、生成した反射スペクトルＡ（ｔ）を分析処理部１６５に供給する。
　分析処理部１６５は、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）に基づいてユーザの生体情報を算出する。第１の実施形態と同様に、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）には差分（図５参照）が生じる。この差分の特徴、即ち差分が生じている波長帯域や強度変化量は測定範囲Ｓにおける生体情報を反映している。したがって、分析処理部１６５は、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）に基づいてユーザの生体情報を算出することができる。
　具体的には分析処理部１６５は、波長スペクトル差分データベース１６６から生体情報算出モデルＮを取得することができる。生体情報算出モデルＮは、照射スペクトルＢ（ｔ）及び反射スペクトルＡ（ｔ）と生体情報が、生体情報の種類毎にモデル化されたものであり、分析処理部１６５は、以下の（式７）に示すように、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）を生体情報算出モデルＮに適用し、生体情報（ｉｎｄｅｘ）を算出することができる。
　Ｎ（Ｂ（ｔ）、Ａ（ｔ））＝ｉｎｄｅｘ　（式７）
　生体情報算出モデルＮを利用して算出可能な生体情報は、第１の実施形態と同様に脈拍数、ＳｐＯ２（動脈血酸素飽和度）、肌水分量、体表面温度、呼吸数、血圧、静脈パターン及び虹彩パタ－ン等であり、分析処理部１６５は、算出しようとする生体情報の種類に応じて生体情報算出モデルＮを選択し、生体情報の算出に利用することができる。
　生体情報算出モデルＮは、照射スペクトルＢ（ｔ）と反射スペクトルＡ（ｔ）を入力、ウェアラブルデバイス等を用いて測定された生体情報を教師とする機械学習手法により生成された予測モデルとすることができる。また、生体情報算出モデルＮは機械学習により生成されたものに限られない。分析処理部１６５が生体情報算出モデルＮを利用して算出する生体情報の具体例は第１の実施形態と同様であり、第１の実施形態の説明において照射スペクトルＲ（ｔ）を照射スペクトルＢ（ｔ）に置き換えればよい。分析処理部１６５は測定された静脈パターン又は虹彩パタ－ンに基づいて生体認証を行うことも可能である。
　[生体情報検出装置の動作]
　生体情報測定装置１５０の動作について説明する。図１３は生体情報測定装置１５０の動作を示すフローチャートである。
　生体情報測定装置１５０の動作が開始されると、分析処理部１６５が波長スペクトル差分データベース１６６から算出しようとする生体情報の生体情報算出モデルＮを取得する（Ｓｔ１５１）。続いて、映像取得部１６１が映像データＶを取得（Ｓｔ１５２）し、表示制御部１６２が表示部１１２に映像データＶ（ｔ）を供給して表示部１１２に表示映像を表示させる（Ｓｔ１５３）。
　続いて、照射スペクトル生成部１６３が照射光撮像部１５１から照射光受光データを取得し、照射光受光データから照射スペクトルＢ（ｔ）を生成する（Ｓｔ１５４）。また、反射スペクトル生成部１６４が反射光撮像部１１３から反射光受光データを取得し、反射光受光データから反射スペクトルＡ（ｔ）を生成する（Ｓｔ１５４）。
　続いて、分析処理部１６５が照射スペクトルＢ（ｔ）及び反射スペクトルＡ（ｔ）を生体情報算出モデルＮに適用し、Ｎ（Ｂ（ｔ）、Ａ（ｔ））から生体情報を算出する（Ｓｔ１５５）。続いて、分析処理部１６５は時刻ｔを時刻ｔ＋１とし（Ｓｔ１５６）、再度、生体情報算出モデルＮの取得（Ｓｔ１５１）から繰り返し実行する。なお、時刻ｔは映像データＶ（ｔ）フレームであり、時刻ｔ＋１は1フレーム分を加算することを意味する。
　生体情報測定装置１５０は以上のようにして生体情報を測定する。なお、照射スペクトルＢ（ｔ）及び反射スペクトルＡ（ｔ）を生成するステップ（Ｓｔ１５４）では照射光撮像データ及び反射光撮像データを保存しておき、後でサーバーなど計算能力が高い処理装置で映像データＶ（ｔ）と共にＮ（Ｂ（ｔ）、Ａ（ｔ））を計算することも可能である。
　［生体情報測定装置の効果］
　生体情報測定装置１５０では第１の実施形態に係る生体情報測定装置１００と同様に、ユーザの顔表面に照射される光とユーザの顔表面で反射された光の差異に基づいて生体情報を測定することができるため、生体情報の測定にかかるユーザの負担が少ない。生体情報測定装置１５０は生体情報測定装置１００と比較して、照射光撮像部１５１を設ける必要がある一方、デバイス特性Ｆの事前の測定や照射スペクトルＲ（ｔ）の算出処理が不要である。
　［その他］
　生体情報測定装置１５０では、第１の実施形態と同様の手法で、生体情報測定装置１５０を構成するヘッドマウントディスプレイのズレに対応することが可能である（図７及び図８参照）。さらに、生体情報測定装置１５０は第１の実施形態と同様にヘッドマウントディスプレイ以外の装置とすることも可能である（図９、図１０参照）。
　（生体情報測定装置のハードウェア構成）
　第１の実施形態に係る生体情報測定装置１００及び第２の実施形態に係る生体情報測定装置１５０の機能的構成を実現することが可能なハードウェア構成について説明する。図１４はこのハードウェア構成を示す模式図である。
　同図に示すように、生体情報測定装置１００及び生体情報測定装置１５０は、ＣＰＵ(Central Processing Unit)１００１及びＧＰＵ（Graphics Processing Unit）１００２を内蔵している。ＣＰＵ１００１及びＧＰＵ１００２にはバス１００５を介して、入出力インターフェース１００６が接続されている。バス１００５には、ＲＯＭ(Read Only Memory)１００３およびＲＡＭ(Random Access Memory)１００４が接続されている。
　入出力インターフェース１００６には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００７、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００８、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００９、ＬＡＮ（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１０１０が接続されている。また、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリなどのリムーバブル記憶媒体１０１２に対してデータを読み書きするドライブ１０１１が接続されている。
　ＣＰＵ１００１は、ＲＯＭ１００３に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１２ら読み出されて記憶部１００９にインストールされ、記憶部１００９からＲＡＭ１００４にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１００４にはまた、ＣＰＵ１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。ＧＰＵ１００２はＣＰＵ１００１による制御を受けて、画像描画に必要な計算処理を実行する。
　以上のように構成される生体情報測定装置１００及び生体情報測定装置１５０では、ＣＰＵ１００１が、例えば、記憶部１００９に記憶されているプログラムを、入出力インターフェース１００６及びバス１００５を介して、ＲＡＭ１００４にロードして実行することにより、上述した一連の処理が行われる。
　生体情報測定装置１００及び生体情報測定装置１５０が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　生体情報測定装置１００及び生体情報測定装置１５０では、プログラムは、リムーバブル記憶媒体１０１２をドライブ１０１１に装着することにより、入出力インターフェース１００６を介して、記憶部１００９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０１０で受信し、記憶部１００９にインストールすることができる。その他、プログラムは、ＲＯＭ１００３や記憶部１００９に、あらかじめインストールしておくことができる。
　なお、生体情報測定装置１００及び生体情報測定装置１５０が実行するプログラムは、本開示で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、生体情報測定装置１００及び生体情報測定装置１５０のハードウェア構成はすべてが一つの装置に搭載されていなくてもよく、複数の装置によって生体情報測定装置１００及び生体情報測定装置１５０が構成されていてもよい。また生体情報測定装置１００及び生体情報測定装置１５０のハードウェア構成の一部又はネットワークを介して接続されている複数の装置に搭載されていてもよい。
　（本開示について）
　本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、本開示中に記載されていない効果が発揮される可能性もある。また、本開示中に記載された特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。
　なお、本技術は以下のような構成もとることができる。
　（１）
　表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
　上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する分析処理部と
　を具備する生体情報測定装置。
　（２）
　上記（１）に記載の生体情報測定装置であって、
　上記反射スペクトル生成部は、上記反射光の撮像により生成されたデータである反射光受光データから上記反射スペクトルを生成する
　生体情報測定装置。
　（３）
　上記（１）又は（２）に記載の生体情報測定装置であって、
　上記表示映像の映像データと、上記生体情報測定装置のデバイス特性に基づいて上記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
　上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得する
　生体情報測定装置。
　（４）
　上記（１）又は（２）に記載の生体情報測定装置であって、
　上記照射光が撮像されて生成されたデータである照射光受光データから上記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、
　上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得する
　生体情報測定装置。
　（５）
　上記（１）に記載の生体情報測定装置であって、
　上記表示映像を表示する表示部と、
　上記反射光を撮像し、反射光受光データを生成する反射光撮像部と
　をさらに具備する生体情報測定装置。
　（６）
　上記（５）に記載の生体情報測定装置であって、
　上記照射光を撮像し、照射光受光データを生成する照射光撮像部
　をさらに具備する生体情報測定装置。
　（７）
　上記（５）に記載の生体情報測定装置であって、
　上記ユーザの頭部に装着され、上記表示部が上記ユーザの眼前に配置されるヘッドマウントディスプレイである
　生体情報測定装置。
　（８）
　上記（７）に記載の生体情報測定装置であって、
　上記反射光撮像部は、上記測定範囲に対向して配置されている
　生体情報測定装置。
　（９）
　上記（８）に記載の生体情報測定装置であって、
　上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、
　上記照射光撮像部は、上記表示部に対向して配置されている
　生体情報測定装置。
　（１０）
　上記（５）に記載の生体情報測定装置であって、
　上記表示部及び上記反射光撮像部は上記ユーザから離間して配置され、
　上記反射光撮像部が撮像した画像に基づいて上記測定範囲を認識する測定範囲認識部をさらに具備する
　生体情報測定装置。
　（１１）
　上記（１）から（１０）のうちいずれか１つに記載の生体情報測定装置であって、
　上記分析処理部は、上記照射スペクトル及び上記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して上記ユーザの生体情報を特定する
　生体情報測定装置。
　（１２）
　上記（１１）に記載の生体情報測定装置であって、
　上記生体情報算出モデルは機械学習により生成された予測モデルである
　生体情報測定装置。
　（１３）
　上記（１）から（１２）のうちいずれか１つに記載の生体情報測定装置であって、
　上記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧である
　生体情報測定装置。
　（１４）
　上記（１）から（１２）のうちいずれか１つに記載の生体情報測定装置であって、
　上記生体情報は、静脈パターン又は虹彩パタ－ンであり、
　上記分析処理部は、上記生体情報を用いて生体認証を行う
　生体情報測定装置。
　（１５）
　表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
　上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する分析処理部
　として情報処理装置を動作させる生体情報測定プログラム。
　（１６）
　表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成し、
　上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する
　生体情報測定方法。
　１００、１５０…生体情報測定装置
　１１１…筐体
　１１２…表示部
　１１３…反射光撮像部
　１２１、１６１…映像取得部
　１２２、１６２…表示制御部
　１２３…照射スペクトル算出部
　１２４、１６４…反射スペクトル生成部
　１２５、１６５…分析処理部
　１２６、１６６…波長スペクトル差分データベース
　１２７…測定範囲認識部
　１５１…照射光撮像部
　１６３…照射スペクトル生成部

Claims (16)

  1. 　表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
    　前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する分析処理部と
    　を具備する生体情報測定装置。
  2. 　請求項１に記載の生体情報測定装置であって、
    　前記反射スペクトル生成部は、前記反射光の撮像により生成されたデータである反射光受光データから前記反射スペクトルを生成する
    　生体情報測定装置。
  3. 　請求項１に記載の生体情報測定装置であって、
    　前記表示映像の映像データと、前記生体情報測定装置のデバイス特性に基づいて前記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
    　前記スペクトル取得部は、前記照射スペクトル算出部から前記照射スペクトルを取得する
    　生体情報測定装置。
  4. 　請求項１に記載の生体情報測定装置であって、
    　前記照射光が撮像されて生成されたデータである照射光受光データから前記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、
    　前記スペクトル取得部は、前記照射スペクトル算出部から前記照射スペクトルを取得する
    　生体情報測定装置。
  5. 　請求項１に記載の生体情報測定装置であって、
    　前記表示映像を表示する表示部と、
    　前記反射光を撮像し、反射光受光データを生成する反射光撮像部と
    　をさらに具備する生体情報測定装置。
  6. 　請求項５に記載の生体情報測定装置であって、
    　前記照射光を撮像し、照射光受光データを生成する照射光撮像部
    　をさらに具備する生体情報測定装置。
  7. 　請求項５に記載の生体情報測定装置であって、
    　前記ユーザの頭部に装着され、前記表示部が前記ユーザの眼前に配置されるヘッドマウントディスプレイである
    　生体情報測定装置。
  8. 　請求項７に記載の生体情報測定装置であって、
    　前記反射光撮像部は、前記測定範囲に対向して配置されている
    　生体情報測定装置。
  9. 　請求項８に記載の生体情報測定装置であって、
    　前記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、
    　前記照射光撮像部は、前記表示部に対向して配置されている
    　生体情報測定装置。
  10. 　請求項５に記載の生体情報測定装置であって、
    　前記表示部及び前記反射光撮像部は前記ユーザから離間して配置され、
    　前記反射光撮像部が撮像した画像に基づいて前記測定範囲を認識する測定範囲認識部をさらに具備する
    　生体情報測定装置。
  11. 　請求項１に記載の生体情報測定装置であって、
    　前記分析処理部は、前記照射スペクトル及び前記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して前記ユーザの生体情報を特定する
    　生体情報測定装置。
  12. 　請求項１１に記載の生体情報測定装置であって、
    　前記生体情報算出モデルは機械学習により生成された予測モデルである
    　生体情報測定装置。
  13. 　請求項１に記載の生体情報測定装置であって、
    　前記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧である
    　生体情報測定装置。
  14. 　請求項１に記載の生体情報測定装置であって、
    　前記生体情報は、静脈パターン又は虹彩パタ－ンであり、
    　前記分析処理部は、前記生体情報を用いて生体認証を行う
    　生体情報測定装置。
  15. 　表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
    　前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する分析処理部
    　として情報処理装置を動作させる生体情報測定プログラム。
  16. 　表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成し、
    　前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する
    　生体情報測定方法。
PCT/JP2023/014497 2022-05-06 2023-04-10 生体情報測定装置、生体情報測定方法及び生体情報測定プログラム WO2023214495A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022076466A JP2023165459A (ja) 2022-05-06 2022-05-06 生体情報測定装置、生体情報測定方法及び生体情報測定プログラム
JP2022-076466 2022-05-06

Publications (1)

Publication Number Publication Date
WO2023214495A1 true WO2023214495A1 (ja) 2023-11-09

Family

ID=88646438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/014497 WO2023214495A1 (ja) 2022-05-06 2023-04-10 生体情報測定装置、生体情報測定方法及び生体情報測定プログラム

Country Status (2)

Country Link
JP (1) JP2023165459A (ja)
WO (1) WO2023214495A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576572A (zh) * 2024-01-16 2024-02-20 杭州稻道农业科技有限公司 一种综合种养稻田水稻种植覆盖度提取方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
US20170231490A1 (en) * 2014-08-10 2017-08-17 Autonomix Medical, Inc. Ans assessment systems, kits, and methods
JP2021018729A (ja) * 2019-07-23 2021-02-15 株式会社ソニー・インタラクティブエンタテインメント 個人識別装置、ヘッドマウントディスプレイ、コンテンツ配信サーバ、および個人識別方法
JP2021532891A (ja) * 2018-07-31 2021-12-02 ドイチェス クレープスフォルシュングスツェントルム シュティフトゥング デス エッフェントリッヒェン レヒツ マルチスペクトル情報を用いた観血的治療における拡張画像化のための方法およびシステム
WO2021261100A1 (ja) * 2020-06-22 2021-12-30 ソニーグループ株式会社 画像表示装置および画像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
US20170231490A1 (en) * 2014-08-10 2017-08-17 Autonomix Medical, Inc. Ans assessment systems, kits, and methods
JP2021532891A (ja) * 2018-07-31 2021-12-02 ドイチェス クレープスフォルシュングスツェントルム シュティフトゥング デス エッフェントリッヒェン レヒツ マルチスペクトル情報を用いた観血的治療における拡張画像化のための方法およびシステム
JP2021018729A (ja) * 2019-07-23 2021-02-15 株式会社ソニー・インタラクティブエンタテインメント 個人識別装置、ヘッドマウントディスプレイ、コンテンツ配信サーバ、および個人識別方法
WO2021261100A1 (ja) * 2020-06-22 2021-12-30 ソニーグループ株式会社 画像表示装置および画像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576572A (zh) * 2024-01-16 2024-02-20 杭州稻道农业科技有限公司 一种综合种养稻田水稻种植覆盖度提取方法、装置及介质

Also Published As

Publication number Publication date
JP2023165459A (ja) 2023-11-16

Similar Documents

Publication Publication Date Title
Al-Naji et al. Remote monitoring of cardiorespiratory signals from a hovering unmanned aerial vehicle
US8818041B2 (en) Method of controlling a function of a device and system for detecting the presence of a living being
KR101776124B1 (ko) 생리학적 신호 처리
JP6268182B2 (ja) 生理学的情報を抽出する装置及び方法
US8805019B2 (en) Processing images of at least one living being
US9098901B2 (en) Device and method for processing data derivable from remotely detected electromagnetic radiation
CN106999116B (zh) 用于皮肤检测的设备和方法
Yang et al. Motion robust remote photoplethysmography in CIELab color space
US11064895B2 (en) Pulse wave detection device, image analysis device, and biometric information generation system
WO2023214495A1 (ja) 生体情報測定装置、生体情報測定方法及び生体情報測定プログラム
Xi et al. Image enhancement for remote photoplethysmography in a low-light environment
US11800989B2 (en) Electronic device, control method for the electronic device, and storage medium
CN103890780A (zh) 失真降低的信号检测
KR20210038644A (ko) 생체 인증 시스템, 생체 인증 방법 및 프로그램
Dosso et al. Eulerian magnification of multi-modal RGB-D video for heart rate estimation
Nooralishahi et al. Robust remote heart rate estimation from multiple asynchronous noisy channels using autoregressive model with Kalman filter
Gupta et al. Remote photoplethysmography‐based human vital sign prediction using cyclical algorithm
US20240338965A1 (en) Electronic device for providing high accuracy bio-signals based on information obtained in a non-contact manner, system, and operation method of the same
JP7234086B2 (ja) 生体情報取得装置およびプログラム
Takahashi et al. Development of telemedicine tools with an emphasis on visual observation
Ayesha ReViSe: An end-to-end framework for remote measurement of vital signs
Zheng et al. Hand-over-face occlusion and distance adaptive heart rate detection based on imaging photoplethysmography and pixel distance in online learning
Caroppo et al. Vision-Based Heart Rate Monitoring in the Smart Living Domains
US20240016424A1 (en) Determining Oxygen Levels From Images of Skin
Nowara Towards robust imaging photoplethysmography in unconstrained settings

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799427

Country of ref document: EP

Kind code of ref document: A1