WO2020153194A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020153194A1
WO2020153194A1 PCT/JP2020/001076 JP2020001076W WO2020153194A1 WO 2020153194 A1 WO2020153194 A1 WO 2020153194A1 JP 2020001076 W JP2020001076 W JP 2020001076W WO 2020153194 A1 WO2020153194 A1 WO 2020153194A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
light
unit
information processing
light receiving
Prior art date
Application number
PCT/JP2020/001076
Other languages
English (en)
French (fr)
Inventor
大久保 厚志
脇田 能宏
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20744616.2A priority Critical patent/EP3915471A4/en
Priority to JP2020568086A priority patent/JP7480710B2/ja
Priority to US17/423,754 priority patent/US20220110534A1/en
Priority to CN202080009761.7A priority patent/CN113329687A/zh
Publication of WO2020153194A1 publication Critical patent/WO2020153194A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0285Measuring or recording phase velocity of blood waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4845Toxicology, e.g. by detection of alcohol, drug or toxic products
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4866Evaluating metabolism

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • the blood flow meter can be attached to the person to be measured and can easily measure blood flow information (biological information) such as pulse rate and blood flow velocity without causing discomfort or pain to the person to be measured.
  • blood flow information biological information
  • the following patent document 1 can be mentioned as an example.
  • the specific location is an area of the body of the subject who can obtain blood flow information preferably, and more specifically, blood vessels such as cheeks, fingertips, and palms are concentrated. It is an area that exists.
  • the blood flow information (biological information) at a specific location can be continuously acquired by mounting and fixing it on a part of the body of the person to be measured.
  • wearing such a blood flow meter may hinder the movement of the person being measured.
  • the blood flow meter since the blood flow meter has blood vessels concentrated in the blood flow meter, even if it is a place where blood flow information can be suitably acquired, it is difficult to attach the blood flow to a person's cheek etc. , It is difficult to obtain blood flow information.
  • a blood flow meter that can acquire blood flow information of the person to be measured without wearing it on a part of the person to be measured.
  • a blood flow meter is not fixed to the body of the measurement subject, it is difficult to accurately acquire blood flow information at a specific location every time.
  • the blood flow information at a specific location cannot be acquired continuously or intermittently, even if the change over time of the blood flow information is analyzed, it is possible to obtain various highly accurate information about the physical condition of the measurement subject. It is difficult to obtain accurate information.
  • the present disclosure proposes an information processing device, an information processing method, and a program that can easily obtain biological information of a specific part of the body of a measured person without wearing the same. To do.
  • an irradiation unit that irradiates a living body with coherent light, a light receiving unit that receives the light reflected by the living body, and the light in the living body based on sensing data acquired from the light receiving unit.
  • An information processing apparatus includes a calculation unit that calculates biometric information associated with position information related to the reflection position of.
  • an information processing method including: calculating biometric information associated with position information regarding the position of light reflection.
  • a function of controlling the irradiation unit so as to irradiate the living body with coherent light a function of controlling the light receiving unit so as to receive the light reflected by the living body, and the light receiving unit.
  • a program for causing a computer to realize a function of calculating biometric information associated with position information regarding a position of reflection of the light in the living body based on the sensing data acquired from the computer is provided.
  • FIG. 1 is explanatory drawing (the 1) explaining the blood flow measuring method applied to embodiment of this indication. It is explanatory drawing (the 2) explaining the blood flow measuring method applied to embodiment of this indication. It is an explanatory view explaining the 1st processing method applied to the embodiment of this indication. It is an explanatory view explaining the 2nd processing method applied to the embodiment of this indication. It is an explanatory view for explaining an example of composition of information processing system 10 concerning a 1st embodiment of this indication. It is a block diagram showing an example of composition of living body information sensor 100 concerning a 1st embodiment of this indication.
  • FIG. 3 is a block diagram showing an example of a configuration of a camera 200 according to the first embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing an example of a configuration of a server 300 according to the first embodiment of the present disclosure.
  • 3 is a flowchart showing an example of an information processing method according to the first embodiment of the present disclosure. It is an explanatory view for explaining an example of composition of information processing system 10a concerning a 2nd embodiment of this indication. It is a block diagram showing an example of composition of living body information sensor 100a concerning a 2nd embodiment of this indication. It is explanatory drawing for demonstrating the principle of the calculation method of depth information.
  • FIG. 8 is an explanatory diagram for describing a depth information calculation method using the biological information sensor 100a according to the second embodiment of the present disclosure.
  • FIG. 11 is an explanatory diagram illustrating an example of an image 804 based on depth information according to the second embodiment of the present disclosure. It is a block diagram showing an example of composition of server 300a concerning a 2nd embodiment of this indication.
  • 9 is a flowchart (No. 1) showing an example of an information processing method according to the second embodiment of the present disclosure.
  • 9 is a flowchart (part 2) illustrating an example of the information processing method according to the second embodiment of the present disclosure.
  • 9 is a flowchart (part 3) illustrating an example of the information processing method according to the second embodiment of the present disclosure.
  • FIG. 11 is an explanatory diagram for describing an example of an image 804 and a detection signal 800 based on depth information according to the second embodiment of the present disclosure.
  • FIG. 9 is an explanatory diagram for describing an example of an irradiation pattern and a sampling pattern according to modified examples of the first and second embodiments of the present disclosure. It is an explanatory view explaining Example 1 concerning a 2nd embodiment of this indication. It is an explanatory view explaining Example 2 concerning a 2nd embodiment of this indication.
  • FIG. 14 is an explanatory diagram (Part 1) illustrating Example 3 according to the second embodiment of the present disclosure.
  • FIG. 13 is an explanatory diagram (Part 2) illustrating Example 3 according to the second embodiment of the present disclosure.
  • 3 is a block diagram showing an example of a hardware configuration of an information processing device 900 according to an embodiment of the present disclosure.
  • a measurement subject whose biometric information for example, blood flow information
  • a user who uses the information processing system according to the embodiment of the present disclosure described later is referred to as a user, and the user also includes the above-mentioned measurer.
  • the change over time in the blood flow information is obtained continuously or intermittently from a specific location where measurement can be performed in a suitable state.
  • the specific location is, for example, a cheek, a fingertip, a palm, or the like, where blood vessels are concentrated, so that it is a region of the body of the measurement subject who can suitably obtain blood flow information. That is.
  • the present inventors have created an embodiment of the present disclosure capable of easily acquiring blood flow information at a specific location of the body of the measurement subject without wearing the same. did.
  • the details of the embodiment of the present disclosure created by the present inventors will be described below.
  • blood flow information refers to information related to blood flow such as heartbeat, pulse, average blood flow velocity, blood flow rate, and velocity distribution of particles in blood vessels.
  • the pulse rate means that the heart muscle contracts at a constant rhythm (pulsation), and blood is sent to the entire body through the artery, causing a change in pressure on the inner wall of the artery and causing an arterial appearing on the body surface or the like. Refers to the number of beats per unit time.
  • the blood flow velocity is the velocity of blood (blood component) flowing in one or more blood vessels in the measurement region to be measured, and the blood flow rate is one or more blood vessels in the measurement region.
  • the velocity distribution of particles in a blood vessel refers to a velocity distribution of the density of particles that stay or flow in blood vessels such as red blood cells in one or more blood vessels in a measurement region.
  • blood can be considered as a mixture of substances having a plurality of flow rates, but the characteristics of blood flow can also be indicated by the movement of blood cells, which are particles in blood vessels, that is, the flow rate of blood cells.
  • the blood cell flow velocity can be used as an important index indicating the characteristics of blood flow.
  • the average moving velocity of blood cells (particles) in blood is called the average blood velocity.
  • FIGS. 1 and 2 are explanatory diagrams illustrating a blood flow measuring method applied to an embodiment of the present disclosure. Specifically, FIGS. 1 and 2 schematically illustrate an interference phenomenon of coherent light due to blood flow.
  • Reference numeral 800 in FIG. 1 indicates an example of the waveform of the detection signal obtained by the measurement.
  • the blood flow information measuring method includes, for example, as shown in FIG. 1, a measurement region (part of the body) of light to be measured from an irradiation unit 102 of a biological information sensor 100, which will be described later. ) 700, the light scattered by the scattering substance (mainly erythrocytes) moving in the blood vessel of the person to be measured causes interference light due to the position shift of the scattering substance.
  • the interference light is received by the light receiving unit 104 of the biological information sensor 100, and the blood flow information can be calculated from the distribution of Doppler shift frequency and the speckle contrast in the received interference light. ..
  • the light of the frequency f irradiated to the measurement area 700 of the measurement subject by the irradiation unit 102 is generated by the stationary tissue 702 such as the skin or subcutaneous tissue of the measurement subject.
  • the scattered light maintains the frequency f.
  • the moving substance for example, erythrocyte, which is a substance having a diameter of 8 to 10 ⁇ m
  • the scattered light is frequency-shifted by the position movement of the moving substance 704 and has a frequency f+ ⁇ f.
  • the scattered light of the frequency f scattered by the stationary tissue 702 and the scattered light of the frequency f+ ⁇ f scattered by the moving moving substance 704 interfere with each other. Can detect coherent light having an optical beat.
  • the shift frequency ⁇ f is generally much smaller than the frequency f of the irradiation light.
  • Blood flow information can be obtained by processing the interference light (detection signal) detected by the light receiving unit 104, as indicated by reference numeral 800 in FIG.
  • the detection signal 800 is a superposition signal of optical beats of a plurality of different frequencies due to scattered light from the moving substance 704 in the blood vessel that makes a plurality of different motions, and thus is similar to white noise as shown in FIG. It looks like an irregular signal.
  • the detection signal 800 is a superposition signal of interference beats of a plurality of frequencies as described above, a frequency shift, in other words, a frequency shift, in other words, is performed by performing a frequency analysis process described later on the detection signal.
  • the measurement area 700 of the measurement subject when the measurement area 700 of the measurement subject is irradiated with coherent light, the light scattered by the scattering material in the measurement area 700 interferes to obtain a pattern called a speckle pattern.
  • the speckle pattern is changed by being scattered by the moving moving substance 704. Therefore, in the DLS method, based on the information on the fluctuation of the speckle pattern obtained by processing the interference light (detection signal) detected by the light receiving unit 104, the velocity information of the moving substance 704 such as red blood cells in the bloodstream. Blood flow information can be acquired by calculating
  • the blood flow information measuring method since it is possible to obtain blood flow information in the living tissue within the range where the irradiated light reaches, not only the blood vessels on the surface of the skin of the measurement subject, It is also possible to acquire blood flow information in a region including a deep blood vessel, which is at a certain depth from the skin in the subject's body.
  • blood flow information is acquired by processing the detection signal 800 detected by the light receiving unit 104 as described above.
  • two methods described below can be used as a method of processing the detection signal 800 for acquiring blood flow information.
  • a first processing method that generally performs frequency analysis processing (Fourier transform) first used in laser Doppler velocity detection, and an autocorrelation function used in the DLS method are calculated.
  • the second processing method can be mentioned.
  • details of these first and second processing methods will be sequentially described.
  • FIG. 3 is an explanatory diagram illustrating a first processing method applied to this embodiment.
  • the first processing method first, as shown in FIG. 3, for each of a plurality of ranges (window 810 in FIG. 3) with respect to the detection signal (I(t) in FIG. 3) obtained by the light receiving unit 104. Then, the blood flow information is acquired by performing frequency analysis processing such as Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • FFT is performed on the detection signal in each predetermined time range to obtain a plurality of power spectra (P(f) in FIG. 3) that is a function of frequency. Furthermore, for each acquired power spectrum, the product of the beat frequency that is proportional to the speed for each frequency is taken (fP(f) in FIG. 3), and integration is performed over the entire power spectrum to normalize the average.
  • the blood flow velocity can be obtained. Then, by obtaining a plurality of blood flow velocities based on a plurality of power spectra obtained from a plurality of windows 810 having different time ranges, it is possible to obtain a waveform showing a temporal change of the average blood flow velocity.
  • a pulse waveform (not shown) indicating a change in blood flow velocity due to a pulse is acquired by performing interpolation processing or the like on the obtained waveform, and the pulse rate is calculated from the pulse waveform. Etc. can also be calculated.
  • the plurality of windows 810 that define the range for generating the power spectrum are not overlapped and displayed. However, in the actual processing, these windows 810 can be overlapped with each other, and by processing for each window 810 that has been overlapped, a plurality of power spectrum sequences lined up in time series can be made more precise. It may be generated.
  • FIG. 4 is an explanatory diagram illustrating a second processing method applied to this embodiment.
  • an autocorrelation function is calculated from the detection signal (I(t) in FIG. 4), and the calculated autocorrelation function (G( ⁇ ) in FIG. 4) is calculated.
  • the blood flow information is acquired by processing the.
  • the power spectrum of I(t) is acquired by obtaining the autocorrelation function and then Fourier-transforming the autocorrelation function.
  • the power spectrum can be accurately obtained even when the detected detection signal has no periodicity as in the present disclosure.
  • desired blood flow information can be acquired.
  • an autocorrelation function is calculated for each predetermined time range for a detection signal, and a plurality of autocorrelation functions are acquired. Further, in the second processing method, FFT is performed on each calculated autocorrelation function according to the Wiener-Hinchin theorem to obtain a plurality of power spectra (P(f) in FIG. 4) that are functions of frequency. .. Since the power spectrum is proportional to the abundance density of particles that move at a speed corresponding to the frequency, by performing integration processing on the acquired power spectrum in a specified frequency range, the particles in blood vessels in a specified speed range are The relative density can be obtained.
  • the relative densities of a plurality of particles from a plurality of power spectra having different time ranges it is possible to acquire a waveform that shows the change over time in the relative density of the particles. Then, by performing interpolation processing or the like on the obtained waveform, a pulse waveform (not shown) indicating a change in the relative density of particles due to the pulse can be acquired, and the pulse rate and the like can also be calculated from the pulse waveform. ..
  • different methods are used for the method of obtaining the power spectrum and the subsequent method of obtaining the blood flow information. In, the combination of them is arbitrary.
  • the embodiment of the present disclosure it is also possible to obtain the relative density of particles in the predetermined velocity range shown in the second processing method after obtaining the power spectrum by the method shown in the first processing method. is there. Further, in the embodiment of the present disclosure, it is also possible to obtain the power spectrum by the method shown in the second processing method and then obtain the average blood flow velocity shown in the first processing method.
  • the biometric information is not limited to the blood flow information that can be acquired as described above.
  • the biological information may be, for example, a blood alcohol concentration or a blood glucose level based on an infrared light absorption spectrum of an alcohol component or sugar in the blood of the measurement subject, and the measurement target.
  • biometric information related to the human body There is no particular limitation as long as it is biometric information related to the human body.
  • the first embodiment of the present disclosure described below includes a biometric information sensor that acquires blood flow information of a person to be measured and a camera that images the person to be measured without wearing the biometric information sensor. It is an embodiment in which the blood flow information of a specific part of the body of the measurer can be easily acquired. In the following description, blood flow information is acquired as biological information.
  • FIG. 5 is an explanatory diagram for explaining an example of the information processing system 10 according to the present embodiment.
  • the information processing system 10 according to the present embodiment includes a biological information sensor 100, a camera 200, a server 300, and a display device 400, which are communicatively connected to each other via a network 500.
  • the biological information sensor 100, the camera 200, the server 300, and the display device 400 are networked via a base station (not shown) (eg, a base station of a mobile phone, an access point of a wireless LAN (Local Area network), etc.).
  • a base station eg, a base station of a mobile phone, an access point of a wireless LAN (Local Area network), etc.
  • 500 Connected to 500.
  • any method can be applied regardless of wired or wireless (for example, WiFi (registered trademark), Bluetooth (registered trademark), etc.), but stable operation is maintained. It is desirable to use a communication system that can be used.
  • the outline of each device included in the information processing system 10 according to the present embodiment will be described below.
  • the biological information sensor 100 is, for example, a device that detects biological information such as blood flow information of the measurement subject and information about components in the blood of the measurement subject such as blood alcohol concentration and blood glucose level.
  • the sensing data acquired by such a biological information sensor 100 is output to the server 300, which will be described later, and processed.
  • the biological information sensor 100 is provided in a non-contact manner with the body of the person to be measured, and is provided, for example, on the wall inside the vehicle or the vehicle where the person to be measured is present. The detailed configuration of the biological information sensor 100 will be described later.
  • the camera 200 includes, for example, an imaging element (light receiving element) such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) that detects visible light, and a lens for controlling image formation of a subject image on the imaging element. It is an apparatus that images a person to be measured using various members such as, and generates a captured image of the person to be measured. In addition, in the present embodiment, it is required that the imaging range of the camera 200 and the detection range of the biological information sensor 100 are associated in advance, and the details of the association will be described later. Further, the detailed configuration of the camera 200 will be described later.
  • the server 300 is composed of, for example, a computer.
  • the server 300 is owned by, for example, a service provider who provides a service according to this embodiment, and provides a service to each user (including a person to be measured), that is, provides blood flow information (biological information) and the like. can do.
  • the server 300 uses the sensing data from the biological information sensor 100 and the camera 200 to obtain biological information such as blood flow information at the acquisition location of the blood flow information (for example, the irradiation unit 102 of the biological information sensor 100 irradiates the same). The calculation is performed by associating it with the position information that is the information on the point where the reflected light is reflected). Further, the server 300 provides the calculated blood flow information and the like to the user via the display device 400. The detailed configuration of the server 300 will be described later.
  • the display device 400 is a device installed near a user (including a person to be measured) and displaying blood flow information (biological information) and the like obtained by the server 300 toward the user.
  • the display device 400 may be, for example, a liquid crystal display, an organic EL display (Organic Electro-Luminescence Display), an HMD (Head Mounted Display), or the like.
  • the display device 400 may include an operation unit (not shown) that receives an operation from the user, a speaker (not shown) that outputs a voice to the user, and the like.
  • the display device 400 may be a mobile terminal such as a tablet PC (Personal Computer), a smartphone, a mobile phone, a laptop PC, or a notebook PC.
  • the information processing system 10 according to the present embodiment is illustrated as including one biological information sensor 100, the camera 200, and the display device 400, but the present embodiment is not limited to this. Not something.
  • the information processing system 10 according to this embodiment may include a plurality of biological information sensors 100, a camera 200, and a display device 400.
  • the information processing system 10 according to the present embodiment may include, for example, another communication device such as a relay device when transmitting information from the biological information sensor 100 to the server 300.
  • FIG. 6 is a block diagram showing an example of the configuration of the biological information sensor 100 according to this embodiment.
  • the biological information sensor 100 according to the present embodiment is a device that measures blood flow information (biological information) for a measurement subject.
  • the biological information sensor 100 mainly includes an irradiation unit 102, a light receiving unit 104, a control unit 106, and a communication unit 108. Below, each functional part which the biological information sensor 100 has is demonstrated.
  • the irradiation unit 102 irradiates irradiation light having a predetermined wavelength toward a measurement region (part of the body) 700 of the measurement subject.
  • the wavelength of the irradiation light emitted by the irradiation unit 102 can be appropriately selected, and for example, light having a wavelength of about 800 nm to 900 nm is emitted.
  • a laser device or the like can be used to emit coherent light. Then, the timing, the irradiation time, the irradiation interval, the intensity, and the like of the irradiation light emitted by the irradiation unit 102 can be controlled by the control unit 106 described later.
  • the irradiation unit 102 is provided in a non-contact manner with the person to be measured, as described above. Further, in the present embodiment, it is preferable that the irradiation unit 102 irradiate the region (predetermined place) where the blood vessels of the measurement subject are concentrated, for example, the cheek, fingertip, palm, or the like with light. Irradiation is preferred.
  • the light receiving unit (second light receiving unit) 104 detects the light reflected from the measurement area 700 of the measurement subject.
  • the light receiving unit 104 includes, for example, a photodiode (Photo Detector: PD), converts the intensity of the received light into an electric signal, and outputs the electric signal to the server 300 described later.
  • a CCD (Charge Coupled Devices) type sensor, a CMOS (Complementary Metal Oxide Semiconductor) type sensor, or the like can be used.
  • a plurality of elements (light receiving elements) such as the photodiodes and sensors as described above can be provided in the biological information sensor 100.
  • the control unit 106 which will be described later, controls the timing and the like at which the light receiving unit 104 outputs (reads out) a detection signal.
  • the light receiving unit 104 is provided in a non-contact manner with the person to be measured, as described above.
  • Control unit 106 The control unit 106 controls the irradiation pattern (irradiation timing, irradiation time and irradiation interval) of the irradiation unit 102, controls the reading (sampling) timing of the light receiving unit 104, and the like based on a predetermined synchronization signal or the like.
  • the overall measurement in the biological information sensor 100 is controlled.
  • the control unit 106 controls the irradiation frequency of the irradiation unit 102 and the sampling frequency of the light receiving unit 104 synchronized with the irradiation frequency in accordance with the operation of the information processing system 10.
  • control unit 106 may further include a storage unit (not shown), and the storage unit may store various programs and parameters for controlling the irradiation unit 102 and the like. Further, the control unit 106 may incorporate a timepiece mechanism (not shown) for grasping an accurate time in order to output the detection signal to the server 300 in association with the time.
  • control unit 106 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. Note that part or all of the functions performed by the control unit 106 may be performed by the server 300 described below.
  • the communication unit 108 is provided in the biological information sensor 100 and can send and receive information to and from an external device such as the server 300.
  • the communication unit 108 can be said to be a communication interface having a function of transmitting and receiving data.
  • the communication unit 108 is realized by a communication device such as a communication antenna, a transmission/reception circuit, and a port.
  • the biological information sensor 100 may have other functional units not shown in FIG. 6 in addition to the irradiation unit 102 and the like described above.
  • FIG. 7 is a block diagram showing an example of the configuration of the camera 200 according to this embodiment.
  • the camera 200 according to the present embodiment is a device that captures an image of the measurement subject as described above.
  • the camera 200 mainly has a light receiving unit 204, a control unit 206, and a communication unit 208. Below, each function part which the camera 200 has is demonstrated.
  • the light receiving unit (first light receiving unit) 204 includes, for example, a plurality of PDs, CCD type sensors, CMOS type sensors (light receiving elements), and acquires a captured image (visible light image or the like) of the measurement subject.
  • the control unit 106 which will be described later, controls the timing and the like at which the light receiving unit 104 outputs (reads out) a detection signal.
  • the elements of the light receiving section 104 of the biological information sensor 100 which can fix the positions of the biological information sensor 100 and the camera 200 in advance and can receive light from the same part of the body of the measurement subject.
  • the element of the light receiving unit 204 of the camera 200 are associated with each other. By doing so, it is possible to associate each region of the image captured by the camera 200 with the biometric information from each region of the body of the measurement subject.
  • Control unit 206 The control unit 206 controls the overall measurement in the camera 200, such as controlling the reading (sampling) timing of the light receiving unit 204 based on a predetermined synchronization signal or the like.
  • the control unit 206 is realized by, for example, a CPU, ROM, RAM and the like.
  • the communication unit 208 is provided in the camera 200 and can send and receive information to and from an external device such as the server 300.
  • the communication unit 208 can be said to be a communication interface having a function of transmitting and receiving data.
  • the communication unit 208 is realized by a communication device such as a communication antenna, a transmission/reception circuit, and a port.
  • the camera 200 may have other functional units not shown in FIG. 7 in addition to the above-described light receiving unit 204 and the like.
  • FIG. 8 is a block diagram showing an example of the configuration of the server 300 according to this embodiment.
  • the server 300 is a device that can obtain blood flow information (biological information), position information, and the like by using the sensing data obtained by the biological information sensor 100 and the like.
  • the server 300 mainly includes a communication unit 308, a storage unit 310, and a calculation unit 320. Below, each functional part which the server 300 has is demonstrated.
  • the communication unit 308 is provided in the server 300 and can send and receive information to and from an external device such as the biological information sensor 100.
  • the communication unit 308 can be said to be a communication interface having a function of transmitting and receiving data.
  • the communication unit 308 is realized by a communication device such as a communication antenna, a transmission/reception circuit, and a port.
  • the storage unit 310 stores programs and various data used for processing in the calculation unit 320, which will be described later, as well as blood flow information (biological information) and position information acquired by the calculation unit 320. In addition to these data and the like, the storage unit 310 may appropriately store various parameters that need to be saved when performing some processing and the progress of processing. Further, the storage unit 310 can be freely accessed by the calculation unit 320 or the like to write or read data.
  • the calculation unit 320 acquires blood flow information (biological information), position information, and the like by processing the sensing data obtained by the biological information sensor 100 and the like.
  • the acquired blood flow information can be output to the storage unit 310 or the display device 400.
  • the calculation unit 320 mainly includes a data acquisition unit 322, a position information calculation unit 324, a biological information calculation unit 326, and an information output unit 328. Below, each function part which the calculation part 320 has is demonstrated.
  • the data acquisition unit 322 acquires the sensing data transmitted from the biometric information sensor 100 and the camera 200, and outputs the acquired sensing data to a position information calculation unit 324 and a biometric information calculation unit 326 described later.
  • the position information calculation unit 324 calculates the position information based on the captured image of the measurement subject obtained by processing the sensing data acquired from the camera 200. For example, the position information calculation unit 324 can estimate which region of the human body is the region included in the captured image, that is, the position information by matching the known shape model of the human body with the captured image.
  • the position information corresponding to each region of the captured image captured by the camera 200 is associated with the information of the element of the light receiving unit 204 of the camera 200 corresponding to each region of the captured image, and is output to the biological information calculation unit 326.
  • the biological information calculation unit 326 uses, as biological information, blood flow information based on the interference light component included in the sensing data from the biological information sensor 100, or blood alcohol concentration or blood glucose level based on the absorption spectrum obtained from the sensing data. Can be calculated.
  • the biometric information calculation unit 326 uses the sensing data from the biometric information sensor 100 to calculate blood flow information (for example, blood flow velocity or particle density in blood vessels within a predetermined velocity range).
  • blood flow information for example, blood flow velocity or particle density in blood vessels within a predetermined velocity range.
  • the calculation method for example, the above-described first processing method or second processing method can be used.
  • the blood alcohol concentration or the blood glucose level can be calculated by the biological information calculation unit 326 based on the absorption of light of a predetermined wavelength by an organic substance such as alcohol or sugar present in the blood of the measurement subject.
  • the blood flow information and the like calculated by the biometric information calculation unit 326 is information of each element of the light receiving unit 104 of the biometric information sensor 100 that has received the sensing data that is the source of the blood flow information, and the camera corresponding to the element.
  • the position information is associated with the information of each element of the light receiving unit 204 of 200. Further, the associated blood flow information is output to the information output unit 328 and the storage unit 310 described later.
  • the biological information calculation unit 326 may calculate the pulse waveform by performing interpolation processing or the like on the above-described waveform of the change in blood flow information over time, and may also calculate the pulse rate from the pulse waveform. Furthermore, the biological information calculation unit 326 may estimate the physical condition of the measurement subject based on the change over time in blood flow information and the like. In addition, the biological information calculation unit 326 calculates calorie consumption, blood pressure, blood vessel age, respiratory rate, HRV (Heart Rate Variability) index, etc., in addition to pulse rate, based on changes over time in blood flow information and the like. May be.
  • the HRV indicator As described above, in the present embodiment, it is possible to acquire a temporal change in blood flow information, and further, it is possible to acquire a pulse wave signal from such a temporal change in blood flow information.
  • the peak interval of a plurality of peaks appearing in the pulse wave signal is called a pulse interval (Peak to Peak Interval: PPI).
  • PPI Peak to Peak Interval
  • HRV indicators examples include RMSSD (Root Mean Square Successive Difference), SDNN (Standard Deviation of the Normal to Normal Interval), and LF/HF.
  • RMSSD is the square root of the mean value of the square of the difference between PPI values that are adjacent to each other in time series.
  • the RMSD is considered to be an index indicating the tension state of the vagus nerve, which is one of the cranial nerves.
  • SDNN is a standard deviation of a data group of PPI values within a predetermined period (for example, 120 seconds).
  • the SDNN is considered to be an index indicating the activity status of the autonomic nervous system including both the sympathetic nerve and the parasympathetic nerve.
  • LF/HF is the ratio of the power spectrum of the low frequency component (eg 0.004 to 0.15 Hz) to the power spectrum of the high frequency component (eg 0.15 to 0.4 Hz) of the time series data of PPI. is there.
  • LF/HF is considered to be an index showing the balance between the sympathetic nerve and the parasympathetic nerve.
  • the HRV index can be used for evaluation of the sleep state, evaluation of the mental stress level, evaluation of the relaxation level, evaluation of the concentration level, etc. of the subject by further processing.
  • the information output unit 328 controls the communication unit 308 to transmit the blood flow information (biological information) and the like output from the position information calculation unit 324 and the biological information calculation unit 326 described above to the display device 400 and the like.
  • the server 300 may have an input unit (not shown) that receives an operation from a user (including a person to be measured) who uses the information processing system 10 according to the present embodiment.
  • the server 300 may be a device integrated with the biometric information sensor 100 or the like described above, or may be a device separate from the biometric information sensor 100 or the like described above. In the latter case, the server 300 may be, for example, an information processing device such as a smartphone, a tablet, and a personal computer (PC), or information connected to another device (for example, a medical device). It may be a processing device. Further, the server 300 may be an information processing device installed in a place away from the measurement subject.
  • an information processing device such as a smartphone, a tablet, and a personal computer (PC), or information connected to another device (for example, a medical device). It may be a processing device. Further, the server 300 may be an information processing device installed in a place away from the measurement subject.
  • FIG. 9 is a flowchart showing an example of the information processing method according to the present embodiment.
  • the information processing method according to the present embodiment includes a plurality of steps from step S101 to step S107.
  • the details of each step included in the information processing method according to the present embodiment will be described below.
  • Step S101 The information processing system 10 starts irradiation of the measurement subject with light, starts imaging, measures reflected light for acquiring blood flow information, and acquires a captured image of the measurement target.
  • Step S103 The information processing system 10 matches the captured image of the person to be measured acquired in step S101 described above with a known shape model of the human body to determine the position of the human body in which the region included in the captured image is. Calculate information.
  • Step S105 The information processing system 10 extracts blood flow information of a predetermined specific location (for example, the cheek of the measurement subject). Specifically, as described above, the information processing system 10 processes the reflected light (sensing data) acquired in step S101 described above and calculates blood flow information. Then, the information processing system 10 detects information on each element of the light receiving unit 104 of the biological information sensor 100 that has received the sensing data that is the source of the blood flow information and each element of the light receiving unit 204 of the camera 200 corresponding to the element. The blood flow information is linked to the position information via the information. Further, the information processing system 10 extracts the blood flow information of a predetermined specific location by referring to the position information associated with each blood flow information.
  • a predetermined specific location for example, the cheek of the measurement subject.
  • Step S107 The information processing system 10 outputs, to the user, the blood flow information of a predetermined specific location extracted in step S105 described above.
  • the present embodiment it is possible to easily acquire blood flow information at a specific part of the body of the person to be measured without wearing the biometric information sensor 100. As a result, according to the present embodiment, it is possible to avoid hindering the exercise of the person to be measured. Furthermore, in the present embodiment, from a specific location where measurement can be performed in a suitable state, blood flow information is obtained continuously or intermittently, that is, the change over time of the blood flow information at a specific location. Can be obtained. As a result, according to this embodiment, it is possible to further improve the accuracy of the state information regarding the physical state of the measurement subject, which is obtained by analyzing the change over time in the blood flow information.
  • the blood flow information and the captured image for calculating the position information are acquired using different devices (sensors). Therefore, in the above-described first embodiment, it is required that the imaging range of the camera 200 and the detection range of the biological information sensor 100 be associated with each other in order to link the position information and the blood flow information. ..
  • it is troublesome to make such correspondence and since the positional relationship between the biological information sensor 100 and the camera 200 is fixed, the position of the person to be measured is also limited.
  • the biological information sensor 100 and the camera 200 are included, it is difficult to avoid an increase in power consumption of the information processing system 10 and a complexity of the information processing system 10. ..
  • the biological information sensor 100a is made to function as a TOF (Time Of Flight) sensor and a sensor that acquires blood flow information.
  • the TOF sensor for example, irradiates a subject (measurement person) with irradiation light having a predetermined cycle, detects the light (reflected light) reflected by the subject, and detects a phase difference between the irradiation light and the reflected light. By detecting the time difference, the depth information of the subject can be acquired.
  • the depth information of the subject is depth information which is one of information on the distance from the TOF sensor to each point on the surface of the subject. Then, by integrating the depth information of a plurality of points on the surface of the subject, it is possible to handle it as shape information regarding the uneven shape of the surface of the subject, that is, information on the outer shape of the subject.
  • the irradiation unit and the light receiving unit of the TOF sensor and the sensor that acquires blood flow information are shared, that is, the biological information sensor 100a is the sensor that acquires the TOF sensor and blood flow information.
  • the biological information sensor 100a is the sensor that acquires the TOF sensor and blood flow information.
  • FIG. 10 is an explanatory diagram for explaining an example of the information processing system 10a according to the present embodiment.
  • the information processing system 10a according to the present embodiment includes a biological information sensor 100a, a server 300a, and a display device 400, which are communicably connected to each other via a network 500. That is, the information processing system 10a according to the present embodiment does not have to include the camera 200, unlike the first embodiment described above. Since the display device 400 is common to the first embodiment, the description thereof is omitted here, and only the biological information sensor 100a and the server 300a different from those of the first embodiment will be described.
  • the biometric information sensor 100a is a device that detects biometric information such as blood flow information, blood alcohol concentration, and blood glucose level of the measurement subject, as in the first embodiment. Further, in the present embodiment, the position information can be calculated by processing the sensing data from the biometric information sensor 100a. Also in this embodiment, the biological information sensor 100a is provided in a non-contact manner with respect to the body of the measurement subject. The detailed configuration of the biological information sensor 100a will be described later.
  • the server 300a is also configured by, for example, a computer and provides a service to each user (including the person to be measured), that is, provides blood flow information (biological information) and the like. can do.
  • a service to each user (including the person to be measured), that is, provides blood flow information (biological information) and the like. can do.
  • the detailed configuration of the server 300a will be described later.
  • the information processing system 10a may include a plurality of biological information sensors 100a and the display device 400.
  • FIG. 11 is a block diagram showing an example of the configuration of the biological information sensor 100a according to this embodiment.
  • the biological information sensor 100a mainly includes an irradiation unit 102, a light receiving unit 104a, a control unit 106, and a communication unit 108. Since the irradiation unit 102, the control unit 106, and the communication unit 108 are common to the first embodiment, description thereof will be omitted here, and only the light receiving unit 104a different from the first embodiment will be described.
  • the light receiving unit 104a detects the light reflected from the measurement region 700 of the measurement subject, as in the first embodiment.
  • the light receiving unit 104a includes a plurality of elements (light receiving elements) such as photodiodes and sensors provided in a matrix, and each element has a reading unit whose timing for outputting (reading) a detection signal is controlled by the control unit 106.
  • First and second read units 110a and 110b are included. Specifically, the reading units 110a and 110b can read the light (specifically, electric charge) detected by each element at different timings.
  • FIG. 12 is an explanatory diagram for explaining the principle of the depth information calculation method, and in detail, schematically shows temporal changes in intensity of irradiation light and reflected light in the biological information sensor 100a.
  • the biological information sensor 100a irradiates the measurement subject with light modulated so that the intensity of the light periodically changes from the irradiation unit 102 to the measurement subject.
  • the irradiated light is reflected by a part of the body of the measurement subject and is detected by the light receiving unit 104a of the biological information sensor 100a as reflected light.
  • the detected reflected light (lower part of FIG. 12) has a phase difference with respect to the irradiation light (upper part of FIG. 12 ), and the phase difference is from the biological information sensor 100 a to the subject. Becomes larger as the distance from the biological information sensor 100a increases, and becomes smaller as the distance from the biological information sensor 100a to the measured person decreases.
  • the biological information sensor 100a senses the intensity of light in four phases (0 degree, 90 degrees, 180 degrees, 270 degrees) of the reflected light.
  • the phase difference can be calculated by inputting the sensing data (q 0 , q 90 , q 180 , q 270 ) into the following formula (1). Furthermore, by using the phase difference calculated in this way and the wavelength of light, it is possible to obtain depth information (distance information) to the measurement subject according to the following mathematical expression (1). it can.
  • the depth information can be acquired for each element of the light receiving unit 104a, the position of the corresponding element and the depth information can be associated with each other on a one-to-one basis.
  • each element has the reading units 110a and 110b that read out differentially with respect to each other.
  • the reading units 110a and 110b according to the present embodiment operate in a period having the same length, but operate so as to have a phase difference of 180 degrees with each other (see FIG. 13).
  • FIG. 13 is an explanatory diagram for explaining a depth information calculation method using the biological information sensor 100a according to the present embodiment.
  • FIG. 14 is an explanatory diagram for describing an example of the image 804 based on the depth information according to the present embodiment.
  • FIG. 13 illustrates the operations of the reading unit 110a (third stage in FIG. 13) and the reading unit 110b (fourth stage in FIG. 13), and the reading units 110a and 110b in a period having a convex upper side. Shall work. Therefore, as shown in FIG. 13, it is understood that the read units 110a and 110b are different from each other (that is, operate at different timings) because the periods in which the read units 110a and 110b operate do not overlap.
  • the reading units 110a and 110b reflect the reflected light in the regions 802a and 802b shown in gray in FIG. Can be detected. Specifically, by integrating the light intensities detected by the reading units 110a and 110b, it is possible to obtain a light reception signal corresponding to the areas of the regions 802a and 802b in FIG. As is clear from FIG. 13, the difference between the integrated value in the reading unit 110a and the integrated value in the reading unit 110b changes according to the phase difference ⁇ of the reflected light.
  • the present embodiment it is possible to calculate the difference between the integrated values of the reading units 110a and 110b, calculate the phase difference ⁇ based on the calculated difference, and further calculate the depth information.
  • an image 804 based on the depth information of the person to be measured (here, the face of a person) as shown in FIG. 14 can be acquired.
  • the image 804 based on the depth information is information obtained by associating the depth information obtained based on the reflected light reflected at each point on the body surface of the measurement subject with the position of the element of the light receiving unit 104a. Is an image obtained by projecting onto a plane. Therefore, it can be said that the image 804 is an image showing the uneven shape of the outer shape of the measurement subject.
  • the depth information of the measurement subject is not limited to being calculated by the above-described phase difference, but the irradiation of light by the irradiation unit 102 to the reception of light by the light receiving unit 104a. It may be calculated according to the time difference up to.
  • FIG. 15 is a block diagram showing an example of the configuration of the server 300a according to the present embodiment.
  • the server 300a mainly includes a communication unit 308, a storage unit 310, and a calculation unit 320a. .. Since the communication unit 308 and the storage unit 310 are common to the first embodiment, the description thereof is omitted here, and only the calculation unit 320a different from the first embodiment will be described.
  • the calculation unit 320a acquires blood flow information and position information by processing the sensing data obtained by the biological information sensor 100a and the like. Specifically, as shown in FIG. 15, the calculation unit 320a includes a data acquisition unit 322, a position information calculation unit 324a, a biological information calculation unit 326, an information output unit 328, a depth information calculation unit 330, and an acceleration.
  • the estimation unit 332 is mainly included. Since the data acquisition unit 322, the biometric information calculation unit 326, and the information output unit 328 are common to the first embodiment, description thereof is omitted here, and the position information calculation unit 324a different from the first embodiment, Only the depth information calculation unit 330 and the acceleration estimation unit 332 will be described.
  • the depth information calculation unit 330 calculates the phase difference, which is the difference between the phase of the light emitted by the irradiation unit 102 and the phase of the light received by the light receiving unit 104a, and thereby the measured object is measured. Person's depth information is calculated.
  • the depth information calculation unit 330 calculates the depth information of the measurement subject by calculating the time difference between the light irradiation by the irradiation unit 102 and the light reception by the light receiving unit 104a. In the former case, the depth information calculation unit 330 can calculate the phase difference based on the intensities of the light read by the reading units 110a and 110b of the light receiving unit 104a, as described above.
  • the position information calculation unit 324a calculates the position information based on the image 804 showing the outer shape of the measurement subject based on the plurality of depth information pieces obtained from the depth information calculation unit 330. For example, the position information calculation unit 324a can estimate which region of the human the region of the image 804 is by matching the known human shape model with the image 804. The position information corresponding to each region of the image 804 is output to the biometric information calculation unit 326 in association with the information of the element of the light receiving unit 104a of the biometric information sensor 100a corresponding to each region of the image 804. Then, the blood flow information (biological information) calculated by the biometric information calculation unit 326 is linked with the position information via the information of the element.
  • biometric information biological information
  • the acceleration estimation unit 332 estimates the motion acceleration of the measured person based on the temporal change of the depth information, that is, the temporal change of the outer shape of the measured person.
  • the acceleration estimation unit 332 does not have to be provided in the calculation unit 320a. The details of the processing of the acceleration estimation unit 332 will be described later.
  • FIGS. 16 to 19 are flowcharts showing an example of the information processing method according to the present embodiment.
  • FIG. 19 is an explanatory diagram for explaining an example of the image 804 and the detection signal 800 based on the depth information according to the present embodiment.
  • the information processing method according to the present embodiment roughly includes steps S300 and S400. The details of each step included in the information processing method according to the present embodiment will be described below.
  • Step S300 The information processing system 10a performs a scan (light irradiation/light reception) on the body of the measurement subject.
  • Step S400 The information processing system 10a acquires blood flow information of a specific location based on the sensing data acquired in step S300.
  • step S300 of the information processing method according to this embodiment includes, for example, a plurality of steps from step S301 to step S321. The details of each step included in step S300 will be described below.
  • Step S301 The information processing system 10a starts irradiation of the measurement subject with light.
  • Step S303 The information processing system 10a measures the irradiation time.
  • Step S307 The information processing system 10a receives the reflected light from the body of the person to be measured in the element having the element number i.
  • Step S309 The information processing system 10a measures the light reception time.
  • Step S311 The information processing system 10a calculates the power spectrum in the element number i based on the reflected light received in step S307, for example, using the above-described first processing method or second processing method.
  • Step S313 The information processing system 10a calculates the blood flow information in the element number i based on the power spectrum calculated in step S311.
  • Step S315) The information processing system 10a calculates the depth information of the measurement subject at the element number i, for example, based on the time difference between the irradiation time measured in step S303 and the light reception time measured in step S309.
  • the depth information is not limited to the calculation of the depth information based on such a time difference, and the depth information may be calculated based on the phase difference of the reflected light of the irradiation light as described above. ..
  • Step S317) The information processing system 10a associates the blood flow information calculated in step S313 with the depth information calculated in step S315 with the element number i and outputs the information to the storage unit 310.
  • Step S319) The information processing system 10a determines whether or not all the elements of the light receiving unit 104 of the biological information sensor 100a have been scanned as described above (specifically, the processing of steps S301 to S319). The information processing system 10a ends the process when scanning is performed on all elements, and proceeds to step S321 when scanning is not performed on all elements.
  • step S300 the body of the person to be measured is scanned and the blood flow information and depth information for each element are acquired by repeating the above-described plurality of steps.
  • step S400 of the information processing method according to this embodiment includes, for example, a plurality of steps from step S401 to step S407. The details of each step included in step S400 will be described below.
  • Step S401 The information processing system 10a acquires from the storage unit 310 the blood flow information and the depth information output in step S317 described above.
  • the information processing system 10 includes a plurality of depth information of the person to be measured (that is, information of the outer shape of the person to be measured) acquired in step S401 described above, or an image based on the plurality of depth information, and a known human body shape model.
  • the position information indicating which region of the human body is the target region of the depth information is calculated by matching and. Specifically, the position information is calculated as position information on the human body so as to correspond to depth information in each element of the light receiving unit 104 of the biological information sensor 100a. Therefore, the position information is associated with the element number (Pixel ID) of each element.
  • Step S405 The information processing system 10a extracts blood flow information of a predetermined specific portion (for example, the cheek of the measurement subject). Specifically, the information processing system 10a extracts the element number of the specific location by referring to the position information associated with the depth information of each element calculated in step S403. Furthermore, the information processing system 10a extracts the blood flow information corresponding to the extracted element number from the blood flow information acquired in step S403.
  • a predetermined specific portion for example, the cheek of the measurement subject.
  • Step S407 The information processing system 10a outputs, to the user, the blood flow information of the specific location determined in advance extracted in step S405.
  • the present embodiment is not limited to acquiring the temporal change 840 of blood flow information, and, for example, a distribution of values relating to predetermined blood flow information on the body of the measurement subject (for example, The distribution of blood flow velocity on the body of the measurer, etc.) may be acquired.
  • the present embodiment it is possible to easily acquire blood flow information at a specific part of the body of the person to be measured without wearing the biological information sensor 100. Further, according to the present embodiment, since it is possible to obtain the change over time of the blood flow information at a specific location, the state information regarding the physical condition of the measurement subject, which is obtained by analyzing the change over time of the blood flow information, can be obtained. The accuracy of can be further improved.
  • the biometric information sensor 100a function as a TOF sensor and a sensor for acquiring blood flow information, it is possible to avoid troublesome association. Furthermore, according to the present embodiment, since one sensor can be used, it is possible to avoid an increase in power consumption of the information processing system 10a and a complication of the information processing system 10a. Furthermore, according to the present embodiment, since two sensors are not used, mutual interference of light does not occur, and as a result, it is possible to acquire depth information and blood flow information with high accuracy.
  • the biometric information sensor 100a may be made to function as the server 300a, so that the biometric information sensor 100a may be a stand-alone type device.
  • the biological information sensor 100 may measure the blood flow information of the measurement subject for a long time. Therefore, it is preferable that the power consumption of the biological information sensor 100 according to the present embodiment is further suppressed. Further, most of the power consumption of the biological information sensor 100 is consumed by the irradiation unit 102. Therefore, in the following, a modified example in which the power consumption of the irradiation unit 102 can be suppressed will be described.
  • FIG. 20 is an explanatory diagram for explaining an example of the irradiation pattern and the sampling pattern according to the modified example of the present embodiment.
  • FIG. 20 schematically illustrates an irradiation pattern of the irradiation unit 102 and a reading (sampling) pattern of the light receiving unit 104 according to the modification from the upper stage to the lower stage. Note that FIG. 20 also shows an enlarged view of a part of the irradiation pattern shown in the first row.
  • the irradiation pattern of the irradiation unit 102 has a section 822 in which the irradiation section 102 repeats the irradiation regularly and a section 820 in which the irradiation is stopped appear alternately.
  • the irradiation unit 102 is controlled so as to form a pattern. By doing so, power consumption in the irradiation unit 102 can be suppressed.
  • sections 822 in which the irradiation section 102 regularly repeats irradiation and sections 820 in which irradiation is stopped appear alternately.
  • the irradiation section 102 In the section 822 in which the irradiation section 102 regularly repeats irradiation, as shown in an enlarged view of the section 822, the irradiation section 102 intermittently irradiates irradiation light at the first intervals E. Further, the section 822 is repeated at the interval F corresponding to the section 820 where the irradiation is stopped. The interval F is set to be longer than the interval E. By doing so, the irradiation period irradiated by the irradiation unit 102 can be shortened, so that the power consumption of the irradiation unit 102 can be suppressed.
  • the irradiation pattern of the irradiation unit 102 is a pattern in which a section 822 in which the irradiation section 102 regularly repeats irradiation and a section 820 in which the irradiation is stopped alternately appear.
  • Example 1 First, as Example 1, an example of estimating the calorie consumption of the person to be measured based on the movement/posture (exercise) and blood flow information of the person to be measured will be described with reference to FIG.
  • FIG. 21 is an explanatory diagram illustrating Example 1 according to the embodiment of the present disclosure.
  • the biological information sensor 100a is provided on the wall of a room (for example, a gym) where the person to be measured 706 is present, and estimates the calorie consumption of the person to be measured 706 who is exercising. Therefore, sensing data for calculating blood flow information and position information (depth information) is acquired.
  • the calorie consumption of the person to be measured 706 can be accurately estimated by referring to not only the blood flow information but also the acceleration associated with the movement of the person to be measured 706.
  • the acceleration related to the exercise of the person to be measured 706 is estimated by using the acceleration estimation unit 332 of the calculation unit 320a of the server 300.
  • the acceleration estimation unit 332 can estimate the acceleration due to the motion of the person to be measured 706 by analyzing the depth information of the person to be measured 706, that is, the change over time in the outer shape.
  • the above-described method may be used to estimate the motion acceleration of a specific part of the body of the subject 706.
  • the blood flow information and the acceleration associated with the exercise of the subject 706 can also be referred to, so that the calorie consumption of the subject 706 can be accurately estimated. Furthermore, in the present embodiment, it is not necessary to attach a sensor for obtaining sensing data related to blood flow information to the body of the person to be measured 706, and it is also necessary to attach a motion sensor for obtaining acceleration. Therefore, the movement of the person to be measured 706 is not hindered.
  • not only the calorie consumption but also the position information and the corresponding acceleration information and blood flow information are referred to identify the location where the muscles of the person to be measured 706 have strength. It is also possible to do so. Therefore, in this modified example, since the myoelectric sensor or the like is not attached to a part of the body of the person to be measured 706, the movement of the person to be measured 706 is not hindered, and the muscles of the person to be measured 706 can be easily measured. The state can be detected.
  • the biometric information sensor 100a is not limited to being installed in a room such as a gym or a gym, and may be installed in a sports field or outdoors.
  • this embodiment is used for sports relay (for example, detecting the state of each player in sports relay and providing it to the viewer) and sports analysis (for example, analyzing the states of players who belong to their own team or other teams).
  • sports relay for example, detecting the state of each player in sports relay and providing it to the viewer
  • sports analysis for example, analyzing the states of players who belong to their own team or other teams.
  • the biometric information sensor 100a may be a hall such as a concert hall, or may be provided in a factory, an office, or the like.
  • FIG. 22 is an explanatory diagram illustrating a second example according to the embodiment of the present disclosure.
  • the biological information sensor 100a is provided in the vehicle 750 in which the person to be measured 706 rides, and in order to estimate the state of the person to be measured 706, such as a car sickness, which may occur. , Sensing data for calculating blood flow information and the like is acquired.
  • the measurement subject 706's motion sickness state or the like can be obtained.
  • the accuracy of estimation of can be improved.
  • car sickness not only car sickness, but also facial pallor due to anemia, heat stroke, other rapid changes in blood flow due to other diseases and poor physical condition
  • information regarding driving that is hard to cause vehicle sickness can be obtained. You may learn. The information on driving obtained by such learning can be utilized for vehicle control performed as support for driver's driving and automatic driving.
  • the biological information sensor 100a is provided in the vehicle 750 in the present embodiment, the biological information sensor 100a is not limited to the detection of a rapid change in blood flow due to vehicle sickness of an occupant or the like. By using this together with a surveillance camera or a security camera (not shown), it is possible to detect a suspicious person by detecting a person who is in a nervous state due to attempting fraud.
  • the psychological state (degree of relaxation, etc.) of the person to be measured 706 can be detected, it can be applied to a product test or the like.
  • Example 3> Next, as a third embodiment, an embodiment applied to face recognition will be described with reference to FIGS. 23 and 24. 23 and 24 are explanatory diagrams illustrating Example 3 according to the embodiment of the present disclosure.
  • the face matching is performed using a plurality of depth information of the subject's face, and the face that is the target of the depth information is utilized by using the above-described second embodiment of the present disclosure.
  • the configuration of the information processing system 10 is the same as that of the second embodiment described above, except that the server 300a is a server 300b described later. Therefore, only the configuration of the server 300b will be described here.
  • the server 300b mainly includes a communication unit 308, a storage unit 310, a calculation unit 320b, and an authentication unit 340. Since the communication unit 308 and the storage unit 310 are common to the first and second embodiments, description thereof will be omitted here, and the calculation unit 320b and the authentication unit 340 different from those of the first and second embodiments. Only explained.
  • the calculation unit 320b acquires blood flow information, depth information, and the like by processing the sensing data obtained by the biological information sensor 100a and the like.
  • the calculation unit 320a mainly includes a data acquisition unit 322, a biological information calculation unit 326, and a depth information calculation unit 330. Since these are common to the second embodiment, description thereof will be omitted here.
  • the authentication unit 340 performs person verification by matching a plurality of depth information of the face of the measurement subject from the calculation unit 320b or an image based on the plurality of depth information with a three-dimensional shape of the face of the person acquired in advance. By performing the determination and determining whether the face, which is the target of the depth information, is a living body or a non-living body, it is possible to prevent the authentication from being broken due to spoofing.
  • the authentication unit 340 mainly includes a collation unit 342, a determination unit 344, and an information output unit 346. Below, each functional part which the authentication part 340 has is demonstrated.
  • Collation unit 342 collates the depth information from the calculation unit 320b with the three-dimensional shape of the person's face that has already been acquired, and collates the person.
  • the matching unit 342 outputs the result of the matching to the information output unit 346 described later.
  • the person verification may be performed using not only the depth information but also a captured image obtained by capturing the face of the measurement subject.
  • the determination unit 344 determines whether the depth information is obtained from the living body based on the blood flow information from the calculation unit 320b. For example, the determination unit 344 determines that the body is a living body when a change in blood flow information over time can be detected. The determination unit 344 outputs the result of the determination to the information output unit 346 described below.
  • the information output unit 346 performs authentication based on the results output from the collation unit 342 and the determination unit 344 described above, and transmits the authentication result to the display device 400 or the like by controlling the communication unit 308. That is, it is a living body because a plurality of depth information (or images based on a plurality of depth information) and the acquired three-dimensional shape of the face of a person are matched and a change in blood flow information over time can be detected. If it is determined that, the authentication unit 340 authenticates the corresponding person.
  • the captured image 806 of the face of the measurement subject and the image 804 based on the depth information can be collated, and the temporal change 840 of the blood flow information can be detected. If so, authenticate the relevant person.
  • the present embodiment it is possible to perform face matching using the depth information of the measurement subject's face and determine whether the face that is the target of the depth information is a living body or a non-living body such as a mask. As a result, it is possible to prevent the authentication from being broken due to spoofing.
  • the present embodiment it is possible to grasp which region of the body of the subject the blood flow information is detected, and an image based on the blood flow information (speckle image showing the state of blood flow). Can be obtained. Therefore, in the present embodiment, by preliminarily grasping the shapes of arteries and veins in a predetermined region such as the face of the measurement subject, by collating the speckle image of the predetermined region with the previously grasped shape, Authentication may be performed. Furthermore, in the present embodiment, it is possible to determine whether or not the subject is a non-living body by detecting the change over time in the speckle image, and it is possible to prevent the breakthrough of authentication due to spoofing.
  • the biological information sensor 100a may be provided at the entrance/exit of a facility, a PC, a smartphone, a TV (television) device, an AI (Artificial Intelligence) speaker, or the like.
  • the above-described embodiment is not limited to being used for diagnosis and authentication of humans, but can be applied to diagnosis of animals such as pets. In this case, even for an animal in which the sensor is difficult to attach, it is possible to easily obtain the biometric information from the specific location necessary for the diagnosis.
  • FIG. 25 is an explanatory diagram showing an example of the hardware configuration of the information processing apparatus 900 according to this embodiment.
  • the information processing apparatus 900 shows an example of the hardware configuration of the server 300 described above.
  • the information processing apparatus 900 has, for example, a CPU 950, a ROM 952, a RAM 954, a recording medium 956, an input/output interface 958, and an operation input device 960. Further, the information processing device 900 includes a display device 962, a communication interface 968, and a sensor 980. In addition, the information processing apparatus 900 connects the respective constituent elements via a bus 970 as a data transmission path, for example.
  • the CPU 950 includes, for example, one or more processors configured by an arithmetic circuit such as a CPU, various processing circuits, and the like, and a control unit (not shown) that controls the entire information processing apparatus 900 and the above-described calculation. It functions as the unit 320.
  • the ROM 952 stores programs used by the CPU 950, control data such as calculation parameters, and the like.
  • the RAM 954 temporarily stores, for example, a program executed by the CPU 950.
  • the ROM 952 and the RAM 954 serve, for example, the function of the storage unit 310 described above.
  • the recording medium 956 functions as the storage unit 310 described above, and stores, for example, data related to the information processing method according to the present embodiment and various data such as various applications.
  • examples of the recording medium 956 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory.
  • the recording medium 956 may be removable from the information processing device 900.
  • the input/output interface 958 connects, for example, the operation input device 960 and the display device 962.
  • Examples of the input/output interface 958 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits.
  • the operation input device 960 functions as an operation unit (not shown), is provided in, for example, the information processing apparatus 900, and is connected to the input/output interface 958 inside the information processing apparatus 900.
  • Examples of the operation input device 960 include a keyboard, buttons, direction keys, a rotary selector such as a jog dial, a touch panel, or a combination thereof.
  • the display device 962 functions as an information presentation device including the above-described display device 400 and the like, and is provided on the information processing device 900, for example, and is connected to the input/output interface 958 inside the information processing device 900.
  • Examples of the display device 962 include a liquid crystal display and an organic EL display (Organic Electro-Luminescence Display).
  • the input/output interface 958 can also be connected to an external device such as an operation input device (for example, keyboard or mouse) external to the information processing apparatus 900 or an external display device.
  • an operation input device for example, keyboard or mouse
  • the communication interface 968 is a communication unit included in the information processing apparatus 900, and is a communication unit 308 for performing wireless or wired communication with an external device such as a server via the network 500 (or directly). Function as.
  • the communication interface 968 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE802.15.1 port and a transceiver circuit (wireless communication), an IEEE802.11 port and a transceiver circuit (wireless communication). ), or a LAN (Local Area Network) terminal and a transmission/reception circuit (wired communication).
  • RF Radio Frequency
  • the sensor 980 functions as the biological information sensor 100 described above, and is a sensor that detects a blood flow signal by any method capable of detecting a signal or the like caused by blood flow, for example.
  • the sensor 980 includes, for example, the irradiation unit 102 that emits light and the light receiving unit 104 that generates a signal according to the received light.
  • the irradiation unit 102 has one or more light sources such as a laser, as described above.
  • the light receiving unit 104 has, for example, a photodiode, an amplifier circuit, a filter circuit, and an analog-digital converter.
  • the senor 980 may include, for example, the above-described camera 200, an acceleration sensor, a gyro sensor, or one or more sensors. That is, the sensor included in the sensor 980 is not limited to the above example.
  • the hardware configuration of the information processing device 900 is not limited to the configuration shown in FIG.
  • the information processing apparatus 900 does not include the communication interface 968 when communicating with an external apparatus or the like via an external communication device connected to the information processing apparatus 900 or when configured to perform stand-alone processing.
  • the communication interface 968 may have a configuration capable of communicating with one or more external devices by a plurality of communication methods.
  • the information processing apparatus 900 can also be configured without the recording medium 956, the operation input device 960, the display device 962, and the like, for example.
  • the present embodiment is not limited to this.
  • the present embodiment can also be applied to various devices capable of performing the processing related to the information processing method according to the present embodiment, such as a communication device such as a mobile phone.
  • the information processing apparatus 900 according to the present embodiment may be applied to a system including a plurality of devices on the premise of connection to a network (or communication between each device) such as cloud computing. Good. That is, the above-described information processing apparatus 900 according to the present embodiment can also be realized, for example, as an information processing system that performs processing related to the information processing method according to the present embodiment by a plurality of devices.
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the embodiment of the present disclosure described above may include, for example, a program for causing a computer to function as the information processing apparatus according to the present embodiment, and a non-transitory tangible medium in which the program is recorded. Further, the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the processing of each of the above-described embodiments does not necessarily have to be processed in the order described.
  • the order of the steps may be appropriately changed and processed.
  • each step may be partially processed in parallel or individually instead of being processed in time series.
  • the processing method of each step does not necessarily have to be processed according to the described method, and may be processed by another functional unit in another method, for example.
  • the effects described in the present specification are merely explanatory or exemplifying ones, and are not limiting. That is, the technique according to the present disclosure may have other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.
  • An irradiation unit that irradiates a living body with coherent light
  • a light receiving unit for receiving the light reflected by the living body, Based on the sensing data obtained from the light receiving unit, a calculating unit that calculates biological information associated with position information regarding the position of the reflection of the light in the living body,
  • An information processing apparatus including.
  • the light receiving unit is provided in non-contact with the living body.
  • the irradiation unit and the light receiving unit are provided in a room where the living body exists or in a vehicle.
  • the information processing device includes at least one of a photodiode, a CCD type sensor, and a CMOS type sensor.
  • the light receiving unit includes at least one of a photodiode, a CCD type sensor, and a CMOS type sensor.
  • Two light receiving parts are provided, The calculation unit, Calculating the position information based on a captured image of the living body obtained by processing the sensing data acquired from the first light receiving unit, Linking the calculated position information with the biometric information obtained by processing the sensing data acquired from the second light receiving unit, The information processing apparatus according to any one of (1) to (5) above.
  • the calculation unit Based on a plurality of depth information of the living body obtained by processing the sensing data obtained from the light receiving unit, the position information is calculated, The calculated position information is linked to the biometric information obtained by processing the sensing data acquired from the light receiving unit, The information processing apparatus according to any one of (1) to (5) above.
  • the light receiving unit includes a plurality of light receiving elements, The calculating unit, for each light receiving element, associates the position information and the biological information obtained from the sensing data of the light receiving element, The information processing device according to (7) above.
  • the calculation unit calculates the depth information by calculating a time difference from the irradiation of the light by the irradiation unit to the reception of the light by the light receiving unit, The information processing apparatus according to (7) or (8) above.
  • the calculation unit calculates the depth information by calculating a phase difference that is a difference between the phase of the light emitted by the irradiation unit and the phase of the light received by the light receiving unit, The information processing apparatus according to (7) or (8) above.
  • the light receiving unit includes first and second reading units that read the light received by the light receiving unit at different timings from each other, The calculation unit calculates the phase difference based on the intensities of the light read by the first and second reading units.
  • the information processing device according to (10).
  • the information processing apparatus according to any one of (7) to (11), wherein the calculation unit calculates the position information by matching the shape model of the living body with the plurality of depth information. .. (13) Further comprising an estimation unit that estimates the motion acceleration of the living body based on the plurality of depth information, The information processing device according to (12). (14) The calculation unit acquires the change with time of the biometric information at the predetermined position by continuously extracting the biometric information at a predetermined position set in advance based on the position information, (1) The information processing device according to any one of to (13). (15) The calculation unit, Estimate the state of the living body based on the change over time of the biological information, The information processing device according to (14).
  • the calculation unit calculates, as the biological information, blood flow information based on an interference light component included in the sensing data, or blood alcohol concentration or blood glucose level based on an absorption spectrum obtained from the sensing data,
  • the information processing apparatus according to any one of 1) to (13).
  • the calculator calculates at least one of a pulse rate, calorie consumption, blood pressure, blood vessel age, respiratory rate, and HRV index based on the blood flow information. Processing equipment.
  • the information processing apparatus according to any one of (7) to (17), further including: (19) Irradiating a living body with coherent light, Receiving the light reflected by the living body, Based on the sensing data based on the received light, calculating biological information associated with position information regarding the position of the reflection of the light in the living body, An information processing method including: (20) A function to control the irradiation unit to irradiate the living body with coherent light, A function of controlling a light receiving unit to receive the light reflected by the living body, Based on the sensing data obtained from the light receiving unit, a function of calculating biometric information associated with position information regarding the position of the reflection of the light in the living body, A program that makes a computer realize.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hematology (AREA)
  • Physiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

コヒーレントな光を生体に照射する照射部と、前記生体で反射された前記光を受光する受光部と、前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する算出部と、を備える情報処理装置を提供する。

Description

情報処理装置、情報処理方法及びプログラム
 本開示は、情報処理装置、情報処理方法及びプログラムに関する。
 血流計は、被測定者に不快感、痛み等を与えることなく、被測定者に装着して、脈拍や血流速度等の血流情報(生体情報)を簡単に測定することができる。例えば、その一例として、下記の特許文献1を挙げることができる。さらに、このような血流計によって取得した被測定者の身体の特定の箇所の血流情報の経時変化を解析することにより、被測定者等に有益な、被測定者の身体の状態に関する様々な情報を取得することができる。ここで、特定の箇所とは、好適に血流情報を取得することができる被測定者の身体の領域のことであり、詳細には、例えば、頬、指先、掌等の、血管が集中して存在する領域のことである。
特開2018-68428号公報
 上述のような血流計においては、被測定者の身体の一部に装着、固定することにより、特定の箇所の血流情報(生体情報)を連続的に取得することができる。しかしながら、このような血流計を装着することは、被測定者の運動の妨げになる場合がある。さらに、上記血流計は、血管は集中して存在していることから、好適に血流情報を取得することができる箇所であるとしても、被測定者の頬等といった装着が難しい箇所については、血流情報を取得することが難しい。
 一方、被測定者の身体の一部に装着しなくても被測定者の血流情報を取得することができるような血流計も存在する。しかしながら、このような血流計は、被測定者の身体に固定されていないため、毎回、特定の箇所の血流情報を精度よく取得することが難しい。このような場合、特定の箇所の血流情報を連続的に又は間欠的に取得できないことから、血流情報の経時変化を解析しても、精度の高い、被測定者の身体の状態に関する様々な情報を取得することが難しい。
 そこで、本開示では、上記事情に鑑みて、装着することなく、被測定者の身体の特定の箇所の生体情報を容易に取得することが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
 本開示によれば、コヒーレントな光を生体に照射する照射部と、前記生体で反射された前記光を受光する受光部と、前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する算出部とを備える情報処理装置が提供される。
 また、本開示によれば、コヒーレントな光を生体に照射することと、前記生体で反射された前記光を受光することと、前記受光した前記光に基づくセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出することとを含む情報処理方法が提供される。
 さらに、本開示によれば、コヒーレントな光を生体に照射するように照射部を制御する機能と、前記生体で反射された前記光を受光するように受光部を制御する機能と、前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する機能と、をコンピュータに実現させるためのプログラムが提供される。
本開示の実施形態に適用される血流測定方法を説明する説明図(その1)である。 本開示の実施形態に適用される血流測定方法を説明する説明図(その2)である。 本開示の実施形態に適用される第1の処理方法を説明する説明図である。 本開示の実施形態に適用される第2の処理方法を説明する説明図である。 本開示の第1の実施形態に係る情報処理システム10の構成の一例を説明するための説明図である。 本開示の第1の実施形態に係る生体情報センサ100の構成の一例を示すブロック図である。 本開示の第1の実施形態に係るカメラ200の構成の一例を示すブロック図である。 本開示の第1の実施形態に係るサーバ300の構成の一例を示すブロック図である。 本開示の第1の実施形態に係る情報処理方法の一例を示すフローチャートである。 本開示の第2の実施形態に係る情報処理システム10aの構成の一例を説明するための説明図である。 本開示の第2の実施形態に係る生体情報センサ100aの構成の一例を示すブロック図である。 深度情報の算出方法の原理を説明するための説明図である。 本開示の第2の実施形態に係る生体情報センサ100aを用いた深度情報の算出方法を説明するための説明図である。 本開示の第2の実施形態に係る深度情報に基づく画像804の一例を説明するための説明図である。 本開示の第2の実施形態に係るサーバ300aの構成の一例を示すブロック図である。 本開示の第2の実施形態に係る情報処理方法の一例を示すフローチャート(その1)である。 本開示の第2の実施形態に係る情報処理方法の一例を示すフローチャート(その2)である。 本開示の第2の実施形態に係る情報処理方法の一例を示すフローチャート(その3)である。 本開示の第2の実施形態に係る深度情報に基づく画像804及び検出信号800の一例を説明するための説明図である。 本開示の第1及び第2の実施形態の変形例に係る照射パターン及びサンプリングパターンの一例を説明するための説明図である。 本開示の第2の実施形態に係る実施例1を説明する説明図である。 本開示の第2の実施形態に係る実施例2を説明する説明図である。 本開示の第2の実施形態に係る実施例3を説明する説明図(その1)である。 本開示の第2の実施形態に係る実施例3を説明する説明図(その2)である。 本開示の一実施形態に係る情報処理装置900のハードウェア構成の一例を示したブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、以下の説明においては、後述する本開示の実施形態に係る生体情報センサを用いて生体情報(例えば、血流情報)を測定される測定の対象者を被測定者と呼ぶ。また、以下の説明においては、後述する本開示の実施形態に係る情報処理システムを利用する利用者をユーザと呼び、ユーザには上記測定者も含まれるものとする。
 なお、説明は以下の順序で行うものとする。
 1.本開示の実施形態を創作するに至るまでの背景
   1.1.背景
   1.2.血流情報測定方法について
 2.第1の実施形態
   2.1.第1の実施形態に係る情報処理システム10の構成
   2.2.第1の実施形態に係る生体情報センサ100の構成
   2.3.第1の実施形態に係るカメラ200の構成
   2.4.第1の実施形態に係るサーバ300の構成
   2.5.第1の実施形態に係る情報処理方法
 3.第2の実施形態
   3.1.第2の実施形態に係る情報処理システム10aの構成
   3.2.第2の実施形態に係る生体情報センサ100aの構成
   3.3.第2の実施形態に係るサーバ300aの構成
   3.4.第2の実施形態に係る情報処理方法
   3.5.変形例
 4.本開示の実施形態に係る実施例
   4.1.実施例1
   4.2.実施例2
   4.3.実施例3
 5.まとめ
 6.ハードウェア構成について
 7.補足
 <<1.本開示の実施形態を創作するに至るまでの背景>>
 <1.1.背景>
 まずは、本開示の実施形態の詳細を説明する前に、本発明者が本開示の実施形態を創作するに至る背景について説明する。
 先に説明したように、取得した被測定者の身体の特定の箇所の血流情報(生体情報)の経時変化を解析することにより、被測定者等に有益な、被測定者の身体の状態に関する様々な状態情報(疾患の有無等の情報)を取得することができる。そして、精度の高い状態情報を取得するためには、解析対象となる血流情報の経時変化は、好適な状態で測定を行うことができる特定の箇所から、連続的に又は間欠的に取得されることが好ましい。なお、ここで、特定の箇所とは、例えば、頬、指先、掌等の、血管が集中して存在することから、好適に血流情報を取得することができる被測定者の身体の領域のことである。
 そこで、被測定者の身体の一部に装着、固定することにより、特定の箇所の血流情報を連続的に取得することができる装置がある。しかしながら、このような装置を装着することは、被測定者の運動の妨げになる場合がある。さらに、上記装置は、血管は集中して存在していることから、好適に血流情報を取得することができる箇所であるとしても、被測定者の頬等といった装着が難しい箇所については、血流情報を取得することが難しい。
 一方、被測定者の身体の一部に装着しなくても被測定者の血流情報を取得することができるような装置も存在する。しかしながら、このような装置は、被測定者の身体に固定されていないため、毎回、特定の箇所の血流情報を精度よく取得することが難しい。このような場合、特定の箇所の血流情報を連続的に又は間欠的に取得できないことから、血流情報の経時変化を解析しても、精度の高い状態情報を取得することが難しい。
 そこで、本発明者らは、このような状況を鑑みて、装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することが可能な本開示の実施形態を創作した。以下に、本発明者らが創作した本開示の実施形態の詳細を説明する。
 ところで、本開示の実施形態においては、生体情報と一例として、被測定者の血流に関する血流情報を取得する。具体的には、血流情報とは、心拍、脈拍、平均血流速度、血流量、血管中の粒子の速度分布等の血流に関する情報のことをいう。また、脈拍数とは、心臓の筋肉が一定のリズムで収縮すること(拍動)により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動の単位時間における回数のことをいう。さらに、血流速度とは、測定対象となる測定領域における1本又は複数の血管中に流れる血液(血液成分)の速度であり、血流量とは、測定領域における1本又は複数の血管を単位時間に通過する血液量のことをいう。血管中の粒子の速度分布は、測定領域における1本又は複数の血管中の赤血球等の血管に滞留又は流れる粒子の密度の速度の分布のことをいう。また、血液は複数の流速を持つ物質の混合体と考えることができるが、血管中の粒子である血球の動き、すなわち、血球の流速によっても、血流の特徴を示すことができる。この血球の流速は、血流の特徴を示す重要な指標として用いることができる。本開示においては、血液中の血球(粒子)の平均移動速度のことを平均血流速度と呼ぶ。
 <1.2.血流情報測定方法について>
 次に、本開示の実施形態における血流情報の測定方法について説明する。本実施形態に係る血流情報測定方法の一例としては、レーザードップラー血流測定法や、動的光散乱(Dynamic light scattering;DLS)法を用いた速度分布の分析技術を挙げることができる。まずは、レーザードップラー血流測定法及びDLS法の両者に共通する血流によるコヒーレント光の干渉現象を、図1及び図2を参照して説明する。図1及び図2は、本開示の一実施形態に適用される血流測定方法を説明する説明図であり、詳細には、図1及び図2は血流によるコヒーレント光の干渉現象を模式的に示し、図1中の符号800は、当該測定によって得られる検出信号の波形の一例を示す。
 本開示の実施形態に係る血流情報測定方法は、例えば、図1に示すように、後述する生体情報センサ100の照射部102から光を被測定者(生体)の測定領域(身体の一部)700に照射した際に、被測定者の血管中を移動する散乱物質(主に赤血球)によって散乱された光が、散乱物質の位置移動により干渉光を生じさせることを利用した方法である。上記血流情報測定方法においては、上記生体情報センサ100の受光部104によって干渉光は受光され、受光された干渉光におけるドップラーシフト周波数の分布やスペックルコントラストから血流情報を算出することができる。
 詳細には、図1に示すように、照射部102により被測定者の測定領域700に照射された周波数fの光が、被測定者の皮膚や皮下組織等の静止している静止組織702によって散乱された場合には、その散乱光は周波数fを維持する。一方、被測定者の測定領域700に照射された周波数fの光が、被測定者の血管中を移動する移動物質(例えば、赤血球が挙げられ、赤血球は直径8~10μmの物質である)704によって散乱された場合には、その散乱光は、移動物質704の位置移動により周波数シフトし、周波数f+Δfを持つこととなる。そして、図2に示されるように、静止組織702に散乱された周波数fの散乱光と、移動する移動物質704によって散乱された周波数f+Δfの散乱光とが干渉することから、受光部104は、光ビート(うなり)を有する干渉光を検出することができる。なお、一般に、シフト周波数Δfは、照射光の周波数fよりも非常に小さくなる。
 そして、図1中の符号800として示されるような、受光部104により検出された干渉光(検出信号)を処理することにより、血流情報を得ることができる。なお、検出信号800は、複数の異なる運動をする血管中の移動物質704からの散乱光による複数の異なる周波数の光ビートの重ね合わせ信号であるため、図1に示されるようにホワイトノイズのような不規則な信号に見える。しかしながら、当該検出信号800は、前述のように複数の周波数の干渉ビートの重ね合わせ信号であるため、当該検出信号に対して後述するような周波数解析的処理を行うことにより、周波数シフト、言い換えると、ドップラーシフトを引き起こす粒子運動の速度分布情報を取得することができる。そこで、レーザードップラー血流測定法においては、血流内の赤血球等の移動物質704の速度分布を把握することにより、平均血流速度等の血流情報を取得することができる。
 もしくは、被測定者の測定領域700にコヒーレントな光を照射した場合、測定領域700の散乱物質による散乱光が干渉することにより、スペックルパターンと呼ばれるパターンを得ることができる。当該スペックルパターンは、移動する移動物質704によって散乱されることにより変化を生じる。そこで、DLS法においては、受光部104により検出された干渉光(検出信号)を処理して得られたスペックルパターンの変動の情報に基づき、血流内の赤血球等の移動物質704の速度情報を算出することにより、血流情報を取得することができる。
 また、上記血流情報測定方法によれば、照射した光が到達している範囲内の生体組織における血流情報を取得することができるため、被測定者の皮膚の表面の血管だけでなく、被測定者の身体中の皮膚からある程度の深さにある深部の血管を含めた領域における血流情報を取得することも可能である。
 さらに、本開示の実施形態においては、上述したように受光部104によって検出された検出信号800を処理することにより血流情報を取得する。本開示の実施形態においては、血流情報を取得するための検出信号800に対する処理の方法として、例えば、以下に説明する2つの方法を用いることができる。詳細には、本実施形態における処理方法としては、一般にレーザードップラー速度検出で用いられる最初に周波数解析処理(フーリエ変換)を行う第1の処理方法と、DLS法で用いられる自己相関関数を算出する第2の処理方法とを挙げることができる。以下に、これら第1及び第2の処理方法の詳細を順次説明する。
 ~第1の処理方法~
 まず、第1の処理方法について、図3を参照して説明する。図3は、本実施形態に適用される第1の処理方法を説明する説明図である。第1の処理方法においては、まず、図3に示すように、受光部104で得られた検出信号(図3のI(t))に対して、複数の範囲(図3のウィンドウ810)ごとに、例えば高速フーリエ変換(Fast Fourier Transform;FFT)等の周波数解析処理を行うことにより、血流情報が取得される。
 具体的には、第1の処理方法においては、検出信号に対して所定の時間範囲ごとにおいてFFTを行い、周波数の関数である複数のパワースペクトル(図3のP(f))を取得する。さらに、取得した各パワースペクトルに対して周波数ごとに速度と比例関係にあるビート周波数との積を取り(図3のfP(f))、パワースペクトル全域で積分を行い規格化することにより、平均血流速度を得ることができる。そして、時間範囲が異なる複数のウィンドウ810から求めた複数のパワースペクトルを元に複数の血流速度を取得することにより、平均血流速度の経時変化を示す波形を取得することができる。さらに、第1の処理方法においては、得られた波形に対して補間処理等を行うことにより、脈拍による血流速度の変化を示す脈拍波形(図示省略)を取得し、当該脈拍波形から脈拍数等を算出することもできる。なお、図3においては、パワースペクトル生成のための範囲を定める複数のウィンドウ810は互いに重ねて表示されていない。しかしながら、実際の処理においては、これらウィンドウ810は互いに重なりを持たせることができ、重なりを持たせたウィンドウ810毎に処理することにより、時系列に沿って並ぶ複数のパワースペクトル列をより緻密に生成してもよい。
 ~第2の処理方法~
 次に、第2の処理方法について図4を参照して説明する。図4は、本実施形態に適用される第2の処理方法を説明する説明図である。第2の処理方法においては、まず、図4に示すように、検出信号(図4のI(t))から自己相関関数を算出し、算出した自己相関関数(図4のG(τ))を処理することにより血流情報が取得される。詳細には、ウィーナー・ヒンチン定理に従い、自己相関関数を求めた後に当該自己相関関数をフーリエ変換することで、I(t)のパワースペクトルが取得される。なお、自己相関関数を用いた第2の処理方法によれば、検出された検出信号が周期性を持っていない本開示のような信号の場合にも、精度よくパワースペクトルを得ることができる。そして取得したパワースペクトルを処理することで、所望する血流情報を取得することができる。
 より具体的には、第2の処理方法においては、検出信号に対して、所定の時間範囲ごとにおいて自己相関関数の算出を行い、複数の自己相関関数を取得する。さらに、第2の処理方法においては、ウィーナー・ヒンチン定理に従い、算出した各自己相関関数に対してFFTを行い、周波数の関数である複数のパワースペクトル(図4のP(f))を取得する。パワースペクトルは周波数に対応した速度で移動する粒子の存在密度に比例するため、取得したパワースペクトルに対して所定の周波数範囲で積分処理を行うことにより、所定の速度範囲にある血管中の粒子の相対密度を得ることができる。さらに、時間範囲が異なる複数のパワースペクトルから複数の粒子の相対密度を取得することにより、粒子の相対密度の経時変化を示す波形を取得することができる。そして、得られた波形に対して補間処理等を行うことにより、脈拍による粒子の相対密度の変化を示す脈拍波形(図示省略)を取得し、当該脈拍波形から脈拍数等も算出することができる。なお、上述の第1の処理方法と第2の処理方法においては、パワースペクトルの求め方と、その後の血流情報の求め方のそれぞれで異なった方法を用いているが、本開示の実施形態においては、それらの組み合わせは任意である。すなわち、本開示に実施形態においては、第1の処理方法で示した方法でパワースペクトルを求めた後に第2の処理方法で示した所定の速度範囲にある粒子の相対密度を求めることも可能である。また、本開示の実施形態においては、第2の処理方法で示した方法でパワースペクトルを求めた後に第1の処理方法で示した平均血流速度を求めることも可能である。
 なお、以下に説明する本開示の実施形態においては、生体情報は、上述したように取得することができる血流情報に限定されるものではない。本開示の実施形態においては、生体情報は、例えば、被測定者の血液中のアルコール成分や糖分による赤外光吸収スペクトルに基づく、血中アルコール濃度や血糖値等であってもよく、被測定者の身体にかかわる生体情報であれば、特に限定されるものではない。
 <<2.第1の実施形態>>
 以下に説明する本開示の第1の実施形態は、被測定者の血流情報を取得する生体情報センサと、上記被測定者を撮像するカメラとにより、生体情報センサを装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することができるようにした実施形態である。なお、以下の説明においては、生体情報として、血流情報を取得するものとして説明する。
 <2.1.第1の実施形態に係る情報処理システム10の構成>
 まずは、本開示の第1の実施形態に係る情報処理システムの構成の一例について、図5を参照して説明する。図5は、本実施形態に係る情報処理システム10の一例を説明するための説明図である。図5に示すように、本実施形態に係る情報処理システム10は、生体情報センサ100、カメラ200、サーバ300及び表示装置400を含み、これらは互いにネットワーク500を介して通信可能に接続される。詳細には、生体情報センサ100、カメラ200、サーバ300及び表示装置400は、図示しない基地局等(例えば、携帯電話機の基地局、無線LAN(Local Area network)のアクセスポイント等)を介してネットワーク500に接続される。なお、ネットワーク500で用いられる通信方式は、有線又は無線(例えば、WiFi(登録商標)、Bluetooth(登録商標)等)を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。以下に、本実施形態に係る情報処理システム10の含まれる各装置の概要について説明する。
 (生体情報センサ100)
 生体情報センサ100は、例えば、被測定者の血流情報や、血中アルコール濃度、血糖値等の被測定者の血液中の成分に関する情報のような生体情報を検出する装置である。本実施形態においては、このような生体情報センサ100により取得されたセンシングデータは、後述するサーバ300に出力され、処理されることとなる。本実施形態においては、生体情報センサ100は、被測定者の身体に対して非接触に設けられ、例えば、被測定者が存在する室内の壁や車内に設けられる。なお、生体情報センサ100の詳細構成については後述する。
 (カメラ200)
 カメラ200は、例えば、可視光を検出するCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子(受光素子)、及び撮像素子への被写体像の結像を制御するためのレンズ等の各種の部材を用いて被測定者を撮像し、被測定者の撮像画像を生成する装置である。なお、本実施形態においては、あらかじめ、カメラ200の撮像範囲と、生体情報センサ100の検出範囲との対応付けしておくことが求められ、当該対応付けの詳細については、後述する。さらに、カメラ200の詳細構成については後述する。
 (サーバ300)
 サーバ300は、例えば、コンピュータ等により構成される。サーバ300は、例えば、本実施形態によってサービスを提供するサービス提供者が保有し、各ユーザ(被測定者を含む)に対してサービスを提供する、すなわち、血流情報(生体情報)等に提供することができる。具体的には、サーバ300は、生体情報センサ100及びカメラ200からのセンシングデータに基づき、血流情報等の生体情報を血流情報の取得箇所(例えば、生体情報センサ100の照射部102が照射した光が反射した箇所)の情報である位置情報に紐づけて算出する。さらに、サーバ300は、算出した血流情報等を、表示装置400を介してユーザに提供する。なお、サーバ300の詳細構成については後述する。
 (表示装置400)
 表示装置400は、ユーザ(被測定者を含む)の近傍に設置され、サーバ300により得られた血流情報(生体情報)等をユーザに向けて表示するための装置である。例えば、表示装置400は、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display)、HMD(Head Mounted Display)等であることができる。さらに、表示装置400は、ユーザからの操作を受け付ける操作部(図示省略)や、ユーザに向けて音声出力を行うスピーカ(図示省略)等を有してもよい。例えば、表示装置400は、タブレット型PC(Personal Computer)、スマートフォン、携帯電話、ラップトップ型PC、ノート型PC等のモバイル端末等であることができる。
 なお、図5においては、本実施形態に係る情報処理システム10は、1つの生体情報センサ100、カメラ200及び表示装置400を含むものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る情報処理システム10は、複数の生体情報センサ100、カメラ200及び表示装置400を含んでもよい。さらに、本実施形態に係る情報処理システム10は、例えば、生体情報センサ100からサーバ300へ情報を送信する際の中継装置のような他の通信装置等を含んでもよい。
 <2.2.第1の実施形態に係る生体情報センサ100の構成>
 次に、本実施形態に係る生体情報センサ100の構成の一例について、図6を参照して説明する。図6は、本実施形態に係る生体情報センサ100の構成の一例を示すブロック図である。本実施形態に係る生体情報センサ100は、被測定者に対して血流情報(生体情報)の測定を行う装置である。詳細には、生体情報センサ100は、図6に示すように、照射部102と、受光部104と、制御部106と、通信部108を主に有する。以下に、生体情報センサ100の有する各機能部について説明する。
 (照射部102)
 照射部102は、所定の波長を持つ照射光を被測定者の測定領域(身体の一部)700に向かって照射する。照射部102が照射する照射光の波長は、適宜選択することが可能であり、例えば、800nm~900nm程度の波長の光を照射する。当該照射部102としては、コヒーレント光を照射するためにレーザー装置等を利用することができる。そして、後述する制御部106によって、照射部102が照射光を照射するタイミング、照射時間、照射間隔、及び強度等は制御されることができる。なお、照射部102は、先に説明したように、被測定者に非接触に設けられる。さらに、本実施形態においては、照射部102は、被測定者の血管が集中して存在する領域(所定の箇所)に光を照射することが好ましく、例えば、頬、指先、掌等に光を照射することが好ましい。
 (受光部104)
 受光部(第2の受光部)104は、被測定者の測定領域700から反射された光を検出する。受光部104は、例えばフォトダイオード(Photo Detector:PD)を有し、受光した光の強度を電気信号に変換して、後述するサーバ300へと出力する。なお、受光部104としては、CCD(Charge Coupled Devices)型センサ、CMOS(Complementary Metal Oxide Semiconductor)型センサ等を利用することもできる。また、上述のようなフォトダイオードやセンサ等の素子(受光素子)は、生体情報センサ100に、複数個設けられることができる。そして、後述する制御部106によって、受光部104が検出信号を出力する(読み出す)タイミング等が制御される。なお、受光部104は、先に説明したように、被測定者に非接触に設けられる。
 (制御部106)
 制御部106は、所定の同期信号等に基づいて、照射部102の照射パターン(照射タイミング、照射時間及び照射間隔)を制御したり、受光部104の読み出し(サンプリング)タイミングを制御したり等、生体情報センサ100における測定全般を制御する。例えば、制御部106は、情報処理システム10の動作にあわせて、照射部102の照射周波数や、照射周波数に同期した、受光部104のサンプリング周波数を制御する。また、制御部106は、図示しない記憶部をさらに有してもよく、当該記憶部には、照射部102等を制御するための各種のプログラムやパラメータ等が格納されていてもよい。さらに、制御部106は、検出信号を時刻と紐づけてサーバ300へと出力するために、正確な時刻を把握する時計機構(図示省略)を内蔵してもよい。具体的には、制御部106は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により実現される。なお、制御部106の行う機能の一部又は全体は、後述するサーバ300において行われてもよい。
 (通信部108)
 通信部108は、生体情報センサ100内に設けられ、サーバ300等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部108は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部108は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
 さらに、当該生体情報センサ100は、上述の照射部102等の他にも、図6に図示しない他の機能部を有していてもよい。
 <2.3.第1の実施形態に係るカメラ200の構成>
 次に、本実施形態に係るカメラ200の構成の一例について、図7を参照して説明する。図7は、本実施形態に係るカメラ200の構成の一例を示すブロック図である。本実施形態に係るカメラ200は、先に説明したように被測定者を撮像する装置である。詳細には、カメラ200は、図7に示すように、受光部204と、制御部206と、通信部208を主に有する。以下に、カメラ200の有する各機能部について説明する。
 (受光部204)
 受光部(第1の受光部)204は、例えば複数のPD、CCD型センサ、CMOS型センサ(受光素子)を含み、被測定者の撮像画像(可視光画像等)を取得する。そして、後述する制御部106によって、受光部104が検出信号を出力する(読み出す)タイミング等が制御される。なお、本実施形態においては、生体情報センサ100及びカメラ200の位置をあらかじめ固定し、被測定者の身体の同一個所からの光を受光することができる、生体情報センサ100の受光部104の素子と、カメラ200の受光部204の素子とを対応付けておく。このようにすることで、カメラ200による撮像画像の各領域と、被測定者の身体の各領域からの生体情報とを紐づけることができる。
 (制御部206)
 制御部206は、所定の同期信号等に基づいて、受光部204の読み出し(サンプリング)タイミングを制御したり等、カメラ200における測定全般を制御する。具体的には、制御部206は、例えば、CPU、ROM、RAM等により実現される。
 (通信部208)
 通信部208は、カメラ200内に設けられ、サーバ300等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部208は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部208は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
 さらに、当該カメラ200は、上述の受光部204等の他にも、図7に図示しない他の機能部を有していてもよい。
 <2.4.第1の実施形態に係るサーバ300の構成>
 次に、図8を参照して、本実施形態に係るサーバ300の構成について説明する。図8は、本実施形態に係るサーバ300の構成の一例を示すブロック図である。サーバ300は、生体情報センサ100等で得られたセンシングデータを利用し、血流情報(生体情報)や位置情報等を取得することができる装置である。サーバ300は、図8に示すように、通信部308と、記憶部310と、算出部320とを主に有する。以下に、サーバ300の有する各機能部について説明する。
 (通信部308)
 通信部308は、サーバ300内に設けられ、生体情報センサ100等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部308は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部308は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。
 (記憶部310)
 記憶部310は、後述する算出部320における処理に用いられるプログラムや各種データ、さらには、算出部320で取得された血流情報(生体情報)や位置情報等が格納される。また、記憶部310には、これらのデータ等以外にも、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等を適宜格納してもよい。さらに、当該記憶部310に対しては、算出部320等が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
 (算出部320)
 算出部320は、生体情報センサ100等で得られたセンシングデータを処理することにより、血流情報(生体情報)及び位置情報等を取得する。取得した血流情報は、記憶部310に出力したり、表示装置400に出力したりすることができる。詳細には、図8に示すように、算出部320は、データ取得部322と、位置情報算出部324と、生体情報算出部326と、情報出力部328とを主に有する。以下に、算出部320の有する各機能部について説明する。
 ~データ取得部322~
 データ取得部322は、生体情報センサ100及びカメラ200から送信されたセンシングデータを取得し、取得したセンシングデータを後述する位置情報算出部324及び生体情報算出部326へ出力する。
 ~位置情報算出部324~
 位置情報算出部324は、カメラ200から取得したセンシングデータを処理することに得られる被測定者の撮像画像に基づいて、位置情報を算出する。例えば、位置情報算出部324は、既知の人体の形状モデルと撮像画像とをマッチングすることにより、撮像画像に含まれる領域は人体のどの領域であるか、すなわち位置情報を推定することができる。カメラ200による撮像画像の各領域に対応する位置情報は、撮像画像の各領域に対応するカメラ200の受光部204の素子の情報と紐づけて、生体情報算出部326に出力される。
 ~生体情報算出部326~
 生体情報算出部326は、生体情報として、生体情報センサ100からのセンシングデータに含まれる干渉光成分に基づく血流情報、又は、上記センシングデータから得られる吸収スペクトルに基づく血中アルコール濃度もしくは血糖値を算出することができる。例えば、生体情報算出部326は、生体情報センサ100からのセンシングデータを用いて、血流情報(例えば、血流速度や、所定の速度範囲にある、血管中の粒子密度等)を算出する。算出の方法は、例えば、上述した第1の処理方法や第2の処理方法を用いることができる。また、血中アルコール濃度もしくは血糖値は、生体情報算出部326によって、被測定者の血中に存在するアルコールや糖分等の有機物による所定の波長の光の吸収に基づいて算出することができる。そして、生体情報算出部326で算出された血流情報等は、血流情報の元となるセンシングデータを受光した生体情報センサ100の受光部104の各素子の情報と、当該素子に対応するカメラ200の受光部204の各素子の情報とを介して、上記位置情報と紐づけられる。さらに、紐づけられた血流情報は、後述する情報出力部328や記憶部310に出力される。
 また、本実施形態においては、血流情報等と紐づけられた位置情報を用いることにより、あらかじめ設定された所定の位置における血流情報等を連続的に抽出することが可能となり、その結果、所定の位置における血流情報等の経時変化を取得することが可能となる。そこで、生体情報算出部326は、上述の血流情報の経時変化の波形に対して補間処理等を行うことにより、脈拍波形を算出し、当該脈拍波形から脈拍数を算出してもよい。さらに、生体情報算出部326は、血流情報等の経時変化に基づき、被測定者の身体の状態を推定してもよい。加えて、生体情報算出部326は、血流情報等の経時変化に基づいて、脈拍数以外にも、消費カロリー、血圧、血管年齢、呼吸数、及びHRV(Heart Rate Variability)指標等を算出してもよい。
 ここで、HRV指標について簡単に説明する。先に説明したように、本実施形態においては、血流情報の経時変化を取得することができ、さらに、このような血流情報の経時変化から脈波信号を取得することができる。ここで、当該脈波信号に現れる複数のピークのピーク間隔のことを脈拍間隔(Peak to Peak Interval:PPI)と呼ぶ。各PPIの値は、時間とともに変動するものの、被測定者の状態が安定している場合には、ほぼ正規分布することが知られている。そこで、PPIの時系列データ、すなわち、PPI値のデータ群を処理することにより、被測定者の身体状態の指標となる各種HRV指標を算出することができる。
 例えば、HRV指標としては、RMSSD(Root Mean Square Successive Difference)、SDNN(Standard Deviation of the Normal to Normal Interval)、LF/HF等を挙げることができる。例えば、RMSSDは、時系列上で互いに隣接するPPI値の差分の二乗の平均値の平方根である。当該RMSSDは、脳神経の1つである迷走神経の緊張状態を示す指標になると考えられている。例えば、SDNNは、所定の期間内(例えば、120秒)でのPPI値のデータ群の標準偏差である。当該SDNNは、交感神経及び副交感神経の両方を含む自律神経系の活動状況を示す指標になると考えられている。例えば、LF/HFは、PPIの時系列データの高周波成分(例えば、0.15~0.4Hz)のパワースペクトルに対する低周波成分(例えば、0.004~0.15Hz)のパワースペクトルの割合である。LF/HFは、交感神経と副交感神経とのバランスを示す指標となると考えられており、LF/HFが高いと交感神経が優位である状態を示し、LF/HFが低いと副交感神経が優位である状態を示していると考えられる。従って、HRV指標は、さらに処理されることにより、被測定者の、睡眠状態の評価、精神的ストレス度の評価、リラックス度の評価、集中度の評価等に用いることができる。
 ~情報出力部328~
 情報出力部328は、上述した位置情報算出部324及び生体情報算出部326から出力された血流情報(生体情報)等を、通信部308を制御して表示装置400等へ送信する。
 さらに、サーバ300は、本実施形態に係る情報処理システム10を利用するユーザ(被測定者を含む)からの操作を受け付ける入力部(図示省略)等を有していてもよい。
 また、サーバ300は、上述の生体情報センサ100等と一体となった装置であってもよく、さらには、上述の生体情報センサ100等と別体の装置であってもよい。後者の場合には、サーバ300は、例えば、スマートフォン、タブレット、パーソナルコンピュータ(PC)等の情報処理装置であってもよく、もしくは、他の装置(例えば、医療用装置等)と接続された情報処理装置であってもよい。さらには、サーバ300は、被測定者から離れた場所等に設置された情報処理装置であってもよい。
 <2.5.第1の実施形態に係る情報処理方法>
 以上、本開示の実施形態に係る情報処理システム10及び当該情報処理システム10に含まれる各装置の詳細について説明した。次に、本実施形態に係る情報処理方法について、図9を参照して説明する。図9は、本実施形態に係る情報処理方法の一例を示すフローチャートである。
 図9に示すように、本実施形態に係る情報処理方法には、ステップS101からステップS107までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
 (ステップS101)
 情報処理システム10は、被測定者へ光の照射、及び、撮像を開始し、血流情報を取得するための反射光を測定、及び、被測定者の撮像画像の取得を行う。
 (ステップS103)
 情報処理システム10は、上述のステップS101で取得した被測定者の撮像画像を、既知の人体の形状モデルとマッチングすることにより、撮像画像に含まれる領域は人体のどの領域であるかを示す位置情報を算出する。
 (ステップS105)
 情報処理システム10は、予め決定した特定の箇所(例えば、被測定者の頬)の血流情報を抽出する。詳細には、先に説明したように、情報処理システム10は、上述のステップS101で取得した反射光(センシングデータ)を処理し、血流情報を算出する。そして、情報処理システム10は、血流情報の元となるセンシングデータを受光した生体情報センサ100の受光部104の各素子の情報と、当該素子に対応するカメラ200の受光部204の各素子の情報とを介して、血流情報を上記位置情報と紐づける。さらに、情報処理システム10は、予め決定した特定の箇所の血流情報を、各血流情報に紐づけられた位置情報を参照することにより、抽出する。
 (ステップS107)
 情報処理システム10は、上述のステップS105で抽出した、予め決定した特定の箇所の血流情報をユーザに向けて出力する。
 以上のように、本実施形態によれば、生体情報センサ100を装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することができる。その結果、本実施形態によれば、被測定者の運動の妨げになるようなことを避けることができる。さらに、本実施形態においては、好適な状態で測定を行うことができる特定の箇所から、連続的に又は間欠的に血流情報を取得する、すなわち、特定の箇所の血流情報の経時変化を取得することができる。その結果、本実施形態によれば、血流情報の経時変化を解析して得られる、被測定者の身体の状態に関する状態情報の精度をより高めることができる。
 <<3.第2の実施形態>>
 ところで、上述した第1の実施形態においては、血流情報と、位置情報を算出するための撮像画像とは、異なる装置(センサ)を用いて取得している。従って、上述の第1の実施形態においては、位置情報と血流情報とを紐づけるために、カメラ200の撮像範囲と、生体情報センサ100の検出範囲との対応付けしておくことが求められる。しかしながら、このような対応付けを行うことは面倒であり、生体情報センサ100とカメラ200との位置関係が固定されていることから、被測定者の位置にも制限が生じる。さらに、第1の実施形態においては、生体情報センサ100とカメラ200とを含むことから、情報処理システム10の消費電力が増加することや、情報処理システム10が複雑化することを避けることが難しい。
 そこで、以下に説明する本開示の第2の実施形態においては、生体情報センサ100aを、TOF(Time Of Flight)センサ及び血流情報を取得するセンサとして機能させる。TOFセンサは、例えば、被写体(被測定者)に所定の周期を持つ照射光を照射し、当該被写体で反射された上記光(反射光)を検出し、照射光と反射光との位相差や時間差を検出することで、被写体の深度(depth)情報を取得することができる。ここで被写体の深度情報とは、上記TOFセンサから被写体表面上の各点までの距離の情報の1つである深度の情報である。そして、被写体表面の複数の点の深度情報を集約することにより、被写体表面の凹凸形状に関する形状情報、すなわち、被写体の外形の情報として取り扱うことができる。
 ところで、TOFセンサと血流情報を取得するセンサとの2つのセンサを用いた場合には、上述のような、面倒な対応付けを行うことが求められる。さらに、この場合、2つのセンサを含むことから、情報処理システム10の消費電力が増加することや、情報処理システム10が複雑化することを避けることが難しい。加えて、このような場合、それぞれのセンサで使用する光の波長が近い場合には、相互に干渉しあい、測定結果に大きく影響を及ぼすことから、精度よく深度情報及び血流情報を取得することが難しくなる。
 しかしながら、第2の実施形態においては、TOFセンサと血流情報を取得するセンサとの照射部及び受光部を共通化する、すなわち、生体情報センサ100aを、TOFセンサ及び血流情報を取得するセンサとして機能させることにより、面倒な対応付けを行うことを避けることはできる。さらに、本実施形態によれば、1つのセンサにすることができることから、情報処理システム10aの消費電力が増加することや、情報処理システム10aが複雑化することを避けることができる。さらに、本実施形態によれば、2つのセンサを使用しないことから、光の相互干渉が生じないことから、その結果、精度よく深度情報及び血流情報を取得することができる。以下に、本開示の第2の実施形態の詳細を説明する。
 <3.1.第2の実施形態に係る情報処理システム10aの構成>
 まずは、本開示の第2の実施形態に係る情報処理システム10aの構成の一例について、図10を参照して説明する。図10は、本実施形態に係る情報処理システム10aの一例を説明するための説明図である。図10に示すように、本実施形態に係る情報処理システム10aは、生体情報センサ100a、サーバ300a及び表示装置400を含み、これらは互いにネットワーク500を介して通信可能に接続される。すなわち、本実施形態に係る情報処理システム10aは、上述した第1の実施形態と異なり、カメラ200を含まないでよい。なお、表示装置400は、第1の実施形態と共通することから、ここでは説明を省略し、第1の実施形態と異なる生体情報センサ100a及びサーバ300aについてのみ説明する。
 (生体情報センサ100a)
 生体情報センサ100aは、第1の実施形態と同様に、被測定者の血流情報、血中アルコール濃度、血糖値等の生体情報を検出する装置である。さらに、本実施形態においては、生体情報センサ100aからのセンシングデータを処理することにより、位置情報を算出することができる。本実施形態においても、生体情報センサ100aは、被測定者の身体に対して非接触に設けられる。なお、生体情報センサ100aの詳細構成については後述する。
 (サーバ300a)
 サーバ300aも、第1の実施形態と同様に、例えば、コンピュータ等により構成され、各ユーザ(被測定者を含む)に対してサービスを提供する、すなわち、血流情報(生体情報)等に提供することができる。なお、サーバ300aの詳細構成については後述する。
 なお、本実施形態においても、情報処理システム10aは、複数の生体情報センサ100a及び表示装置400を含んでもよい。
 <3.2.第2の実施形態に係る生体情報センサ100aの構成>
 次に、本実施形態に係る生体情報センサ100aの構成の一例について、図11を参照して説明する。図11は、本実施形態に係る生体情報センサ100aの構成の一例を示すブロック図である。詳細には、生体情報センサ100aは、図11に示すように、照射部102と、受光部104aと、制御部106と、通信部108とを主に有する。なお、照射部102、制御部106及び通信部108は、第1の実施形態と共通することから、ここでは説明を省略し、第1の実施形態と異なる受光部104aについてのみ説明する。
 (受光部104a)
 受光部104aは、第1の実施形態と同様に、被測定者の測定領域700から反射された光を検出する。受光部104aは、マトリックス状に設けられた複数のフォトダイオードやセンサ等の素子(受光素子)を含み、各素子は、制御部106によって検出信号を出力する(読み出す)タイミングが制御された読み出し部(第1及び第2の読み出し部)110a、110bを有する。詳細には、当該読み出し部110a、110bは、各素子で検出した光(詳細には電荷)を互いに異なるタイミングで読み出すことができる。
 ここで、生体情報センサ100aを用いた、位相差による深度情報の算出方法の原理について、図12を参照して説明する。図12は、深度情報の算出方法の原理を説明するための説明図であり、詳細には、生体情報センサ100aにおける、照射光と反射光とを強度の時間変動を模式的に示している。
 図12に示すように、生体情報センサ100aは、光の強度が周期的に変動するように変調された光を照射部102から被測定者に向かって照射する。照射された光は、被測定者の身体の一部で反射されて、反射光として生体情報センサ100aの受光部104aで検出される。図12に示されるように、検出された反射光(図12の下段)は、照射光(図12の上段)に対して位相差をもっており、当該位相差は、生体情報センサ100aから被測定者までの距離が遠ければ大きくなり、生体情報センサ100aから被測定者までの距離が近ければ小さくなる。
 そこで、例えば、生体情報センサ100aは、反射光の4位相(0度、90度、180度、270度)における光の強度をセンシングする。センシングデータ(q、q90、q180、q270)を、下記の数式(1)に入力することにより、位相差(phase)を算出することができる。さらに、このように算出した位相差と光の波長(range)とを用いることにより、下記の数式(1)によれば、被測定者までの深度情報(distance)(距離情報)を得ることができる。
Figure JPOXMLDOC01-appb-M000001
 なお、上記深度情報は、受光部104aの素子毎に取得することができることから、該当する素子の位置と、深度情報とを一対一に紐づけることができる。
 さらに、本実施形態に係る受光部104aにおいては、先に説明したように、各素子は、互いに差動して読み出す読み出し部110a、110bを有している。詳細には、本実施形態に係る読み出し部110a、110bは、同一の長さを持つ期間において動作するものの、互いに180度の位相差を持つように動作するものとする(図13参照)。
 次に、本実施形態に係る深度情報の算出方法について、図13及び図14を参照して説明する。図13は、本実施形態に係る生体情報センサ100aを用いた深度情報の算出方法を説明するための説明図である。また、図14は、本実施形態に係る深度情報に基づく画像804の一例を説明するための説明図である。
 図13においては、照射光(図13の1段目)及び反射光(図13の2段目)は、わかりやすくするためにパルス状の光として示されており、照射光と反射光との位相差はφであるものとする。さらに、図13においては、読み出し部110a(図13の3段目)及び読み出し部110b(図13の4段目)の動作が図示されており、上側に凸を持つ期間において読み出し部110a、110bが動作するものとする。従って、図13に示すように、読み出し部110a、110bがそれぞれ動作する期間は重なっていないことから、読み出し部110a、110bは互いに差動する(すなわち異なるタイミングで動作する)ことがわかる。
 図13に示されるように、反射光が、照射光に対して位相差φを持っている場合には、読み出し部110a、110bは、図13中のグレーで示される領域802a、802bにおいて反射光を検出することができる。詳細には、読み出し部110a、110bで検出した光の強度をそれぞれ積分することにより、図13の領域802a及び領域802bの面積に相当する受光信号を得ることができる。図13から明らかなように、読み出し部110aにおける積分値と読み出し部110bにおける積分値との差分は、反射光の位相差φに応じて変化する。従って、本実施形態においては、読み出し部110a、110bの積分値の差分を算出し、算出した差分に基づいて位相差φを算出し、さらには深度情報を算出することができる。なお、本実施形態においては、積分値の差分ではなく、積分値の比を用いて位相差φを算出し、深度情報を算出することも可能である。
 このようにして得られた深度情報によれば、図14に示すような被測定者(ここでは人物の顔)の深度情報に基づく画像804を取得することができる。当該深度情報に基づく画像804は、被測定者の身体の表面の各点で反射された反射光に基づいて得られた深度情報を受光部104aの素子の位置に紐づけることによって得られた情報を、平面に投影させることにより得られる画像である。従って、画像804は、被測定者の外形の凹凸形状を示す画像であるといえる。
 なお、本実施形態においては、被測定者の深度情報は、上述のような位相差によって算出されることに限定されるものではなく、照射部102による光の照射から受光部104aによる光の受光までの時間差によって、算出してもよい。
 <3.3.第2の実施形態に係るサーバ300aの構成>
 次に、図15を参照して、本実施形態に係るサーバ300aの構成について説明する。図15は、本実施形態に係るサーバ300aの構成の一例を示すブロック図であるサーバ300aは、図15に示すように、通信部308と、記憶部310と、算出部320aとを主に有する。なお、通信部308及び記憶部310は、第1の実施形態と共通することから、ここでは説明を省略し、第1の実施形態と異なる算出部320aについてのみ説明する。
 (算出部320a)
 算出部320aは、生体情報センサ100a等で得られたセンシングデータを処理することにより、血流情報及び位置情報を取得する。詳細には、図15に示すように、算出部320aは、データ取得部322と、位置情報算出部324aと、生体情報算出部326と、情報出力部328と、深度情報算出部330と、加速度推定部332とを主に有する。なお、データ取得部322、生体情報算出部326及び情報出力部328は、第1の実施形態と共通することから、ここでは説明を省略し、第1の実施形態と異なる位置情報算出部324a、深度情報算出部330、及び加速度推定部332についてのみ説明する。
 ~深度情報算出部330~
 深度情報算出部330は、先に説明したように、照射部102によって照射された光の位相と、受光部104aによって受光された光の位相の差である位相差を算出することにより、被測定者の深度情報を算出する。又は、深度情報算出部330は、照射部102による光の照射から受光部104aによる光の受光までの時間差を算出することにより、被測定者の深度情報を算出する。なお、前者の場合、深度情報算出部330は、先に説明したように、受光部104aの読み出し部110a、110bで読み出した光の強度に基づいて、上記位相差を算出することができる。
 ~位置情報算出部324a~
 位置情報算出部324aは、深度情報算出部330から得られた複数の深度情報に基づく被測定者の外形を示す画像804に基づいて、位置情報を算出する。例えば、位置情報算出部324aは、既知の人間の形状モデルと上記画像804とをマッチングすることにより、上記画像804の領域は人間のどの領域であるかを推定することができる。画像804の各領域に対応する位置情報は、画像804の各領域に対応する生体情報センサ100aの受光部104aの素子の情報と紐づけて、生体情報算出部326に出力される。そして、生体情報算出部326で算出された血流情報(生体情報)は、上記素子の情報を介して、位置情報と紐づけることとなる。
 ~加速度推定部332~
 加速度推定部332は、深度情報の経時変化、すなわち被測定者の外形の経時変化に基づいて、被測定者の運動加速度を推定する。なお、加速度推定部332は、算出部320aに設けられていなくてもよい。また、加速度推定部332の処理の詳細については後述する。
 <3.4.第2の実施形態に係る情報処理方法>
 以上、本開示の第2の実施形態に係る情報処理システム10a及び当該情報処理システム10aに含まれる各装置の詳細について説明した。次に、本実施形態に係る情報処理方法について、図16から図19を参照して説明する。図16から図18は、本実施形態に係る情報処理方法の一例を示すフローチャートである。また、図19は、本実施形態に係る深度情報に基づく画像804及び検出信号800の一例を説明するための説明図である。
 図16に示すように、本実施形態に係る情報処理方法は、大きく分けてステップS300及びステップS400を有している。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
 (ステップS300)
 情報処理システム10aは、被測定者の身体へのスキャン(光の照射/光の受光)を実施する。
 (ステップS400)
 情報処理システム10aは、ステップS300で取得したセンシングデータに基づき、特定箇所の血流情報を取得する。
 さらに、図16のステップS300及びステップS400の詳細を説明する。まずは、図16のステップS300の詳細について説明する。図17に示すように、本実施形態に係る情報処理方法のステップS300には、例えば、ステップS301からステップS321までの複数のステップが含まれている。以下に、ステップS300に含まれる各ステップの詳細を説明する。
 (ステップS301)
 情報処理システム10aは、被測定者へ光の照射を開始する。
 (ステップS303)
 情報処理システム10aは、照射時刻を測定する。
 (ステップS305)
 情報処理システム10aは、生体情報センサ100aの受光部104の素子番号(Pixel ID)をi=0に設定する。
 (ステップS307)
 情報処理システム10aは、素子番号iの素子において、被測定者の身体からの反射光の受光を行う。
 (ステップS309)
 情報処理システム10aは、受光時刻を測定する。
 (ステップS311)
 情報処理システム10aは、ステップS307で受光した反射光に基づいて、素子番号iにおけるパワースペクトルを、例えば、上述した第1の処理方法又は第2の処理方法を用いて算出する。
 (ステップS313)
 情報処理システム10aは、ステップS311で算出したパワースぺクトルに基づいて、素子番号iにおける血流情報を算出する。
 (ステップS315)
 情報処理システム10aは、例えば、ステップS303で測定した照射時刻と、ステップS309で測定した受光時刻との時間差に基づいて、素子番号iにおける被測定者の深度情報を算出する。なお、本実施形態においては、このような時間差により深度情報を算出することに限定されるものではなく、先に説明したように照射光の反射光の位相差により深度情報を算出してもよい。
 (ステップS317)
 情報処理システム10aは、ステップS313で算出した血流情報と、ステップS315で算出した深度情報とを、素子番号iに紐づけて、記憶部310に出力する。
 (ステップS319)
 情報処理システム10aは、生体情報センサ100aの受光部104のすべての素子で上述したようなスキャン(詳細には、ステップS301からステップS319の処理)が行われたかどうかを判断する。情報処理システム10aは、すべての素子でスキャンが行われた場合には処理を終了し、すべての素子でスキャンが行われていない場合にはステップS321に進む。
 (ステップS321)
 情報処理システム10aは、受光部104の素子番号(Pixel ID)をi=i+1に設定する。すなわち、情報処理システム10aは、処理を行う素子番号を1つ進める。そして、情報処理システム10aは、ステップS307へ戻る。
 以上のようにして、ステップS300においては、上述の複数のステップを繰り返すことにより、被測定者の身体をスキャンして、素子ごとの血流情報及び深度情報を取得する。
 次に、図16のステップS400の詳細について説明する。図18に示すように、本実施形態に係る情報処理方法のステップS400には、例えば、ステップS401からステップS407までの複数のステップが含まれている。以下に、ステップS400に含まれる各ステップの詳細を説明する。
 (ステップS401)
 情報処理システム10aは、上述したステップS317で出力された血流情報及び深度情報を記憶部310から取得する。
 (ステップS403)
 情報処理システム10は、上述のステップS401で取得した被測定者の複数の深度情報(すなわち、被測定者の外形の情報である)もしくは複数の深度情報に基づく画像と、既知の人体の形状モデルとをマッチングすることにより、深度情報の対象となる領域は人体のどの領域であるかを示す位置情報を算出する。具体的には、位置情報は、人体上の位置情報として、生体情報センサ100aの受光部104の各素子における深度情報に対応するように算出される。従って、位置情報は、各素子の素子番号(Pixel ID)に紐づけられることとなる。
 (ステップS405)
 情報処理システム10aは、予め決定した特定の箇所(例えば、被測定者の頬)の血流情報を抽出する。詳細には、情報処理システム10aは、ステップS403で算出された、各素子における深度情報と紐づけられた位置情報を参照して、特定箇所の素子番号を抽出する。さらに、情報処理システム10aは、抽出した素子番号に対応する血流情報をステップS403で取得した血流情報の中から抽出する。
 (ステップS407)
 情報処理システム10aは、上述のステップS405で抽出した、予め決定した特定の箇所の血流情報をユーザに向けて出力する。
 さらに、上述したステップS300及びステップS400を繰り返すことにより、被測定者の身体の特定箇所の血流情報の経時変化を取得することができる。例えば、図19の左側に示すような被測定者の複数の深度情報に基づく画像804における被測定者の頬等の特定箇所830での、図19の右側に示すような血流情報の経時変化840を取得することができる。なお、本実施形態においては、血流情報の経時変化840を取得することに限定されるものではなく、例えば、被測定者の身体上における所定の血流情報に係る値の分布(例えば、被測定者の身体上における血流速度の分布等)等を取得してもよい。
 以上のように、本実施形態によれば、生体情報センサ100を装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することができる。さらに、本実施形態によれば、特定の箇所の血流情報の経時変化を取得することができることから、血流情報の経時変化を解析して得られる、被測定者の身体の状態に関する状態情報の精度をより高めることができる。
 加えて、本実施形態によれば、生体情報センサ100aを、TOFセンサ及び血流情報を取得するセンサとして機能させることにより、面倒な対応付けを行うことを避けることはできる。さらに、本実施形態によれば、1つのセンサにすることができることから、情報処理システム10aの消費電力が増加することや、情報処理システム10aが複雑化することを避けることができる。さらに、本実施形態によれば、2つのセンサを使用しないことから、光の相互干渉が生じることがなく、その結果、精度よく深度情報及び血流情報を取得することが可能となる。
 また、上述の実施形態においては、本実施形態に係る生体情報センサ100aにサーバ300aの機能を担わせることにより、生体情報センサ100aをスタンドアローン型の装置としてもよい。
 <3.5.変形例>
 これまで説明した実施形態においては、生体情報センサ100は長い時間に亘って被測定者の血流情報を測定することとなる場合がある。従って、本実施形態に係る生体情報センサ100の電力消費は、より抑えられていることが好ましい。また、生体情報センサ100での電力消費のうちの多くは、照射部102によって消費される。そこで、以下においては、照射部102での電力消費を抑えることができる変形例を説明する。
 以下に、図20を参照して、本変形例に係る測定方法を具体的に説明する。図20は、本実施形態の変形例に係る照射パターン及びサンプリングパターンの一例を説明するための説明図である。詳細には、図20は、上段から下段に向かって、変形例に係る、照射部102の照射パターン、受光部104の読み出し(サンプリング)パターンを模式的に示す。なお、図20においては、1段目に示される照射パターンの一部の拡大図も示されている。
 本変形例においては、図20の1段目に示すように、照射部102の照射パターンが、照射部102が規則的に照射を繰り返す区間822と、照射を休止する区間820とが交互に現れるパターンとなるように、照射部102を制御する。このようにすることで照射部102での電力消費を抑えることができる。詳細には、図20の1段目に示すように、照射部102の照射パターンにおいては、照射部102が規則的に照射を繰り返す区間822と、照射を休止する区間820とが交互に現れる。照射部102が規則的に照射を繰り返す区間822では、区間822の拡大図に示されるように、照射部102は第1の間隔Eで照射光を間欠的に照射する。また、上記区間822は、照射を休止する区間820にあたる間隔Fで繰り返される。当該間隔Fは、上記間隔Eよりも長くなるように設定されている。このようにすることで、照射部102が照射する照射期間を短くすることができることから、照射部102での電力消費を抑えることができる。
 以上に説明したように、本変形例においては、照射部102の照射パターンを、照射部102が規則的に照射を繰り返す区間822と、照射を休止する区間820とが交互に現れるパターンとする。このようにすることで、本変形例によれば、照射部102での電力消費を抑えることができる。
 <<4.本開示の実施形態に係る実施例>>
 以上、本開示の第2の実施形態における情報処理方法の詳細について説明した。次に、具体的な実施例を示しながら、本開示の実施形態に係る情報処理の例についてより具体的に説明する。なお、以下に示す実施例は、本開示の実施形態に係る情報処理のあくまでも一例であって、本開示の実施形態に係る情報処理方法が下記の例に限定されるものではない。
 <4.1.実施例1>
 まずは、実施例1として、図21を参照して被測定者の動作・姿勢(運動)及び血流情報に基づいて、被測定者の消費カロリーを推定する実施例を説明する。図21は、本開示の実施形態に係る実施例1を説明する説明図である。
 本実施例においては、図21に示すように、生体情報センサ100aは、被測定者706が存在する室内(例えば、ジム)の壁に設けられ、運動する被測定者706の消費カロリーを推定するために、血流情報及び位置情報(深度情報)を算出するためのセンシングデータを取得する。
 本実施例においては、血流情報だけでなく、被測定者706の運動に係る加速度をも参照することにより、被測定者706の消費カロリーを精度よく推定することができる。詳細には、本実施例においては、サーバ300の算出部320aの加速度推定部332を用いることにより、被測定者706の運動に係る加速度を推定する。例えば、加速度推定部332は、被測定者706の深度情報、すなわち、外形の経時変化を解析することにより、被測定者706の運動による加速度を推定することができる。また、本変形例においては、上述した方法を用いて、被測定者706の身体の特定の箇所の運動加速度を推定してもよい。
 本実施例においては、血流情報及び被測定者706の運動に係る加速度をも参照することができることから、被測定者706の消費カロリーを精度よく推定することができる。さらに、本実施例においては、被測定者706の身体に、血流情報に係るセンシングデータを取得するためのセンサを装着する必要がなく、さらに、加速度を取得するためのモーションセンサを装着する必要もないため、被測定者706の運動を妨げることがない。
 また、本実施例においては、消費カロリーだけでなく、位置情報と、対応する加速度情報及び血流情報を参照することにより、被測定者706の身体において筋肉に力が入っている箇所等を特定することも可能である。従って、本変形例では、被測定者706の身体の一部に筋電センサ等を装着することがないため、被測定者706の運動を妨げることがなく、容易に被測定者706の筋肉の状態を検出することができる。
 なお、生体情報センサ100aは、ジムや体育館のような室内に設けられることに限定されるものではなく、スポーツを行う運動場や野外に設置されてもよい。また、本実施例をスポーツ中継(例えば、スポーツ中継等において、各選手の状態を検出して、視聴者に提供する)やスポーツ解析(例えば、自チームや他チームに所属する選手の状態を解析し、指導や戦術に生かす)に適用することもできる。さらに、生体情報センサ100aは、コンサート会場等のホールであってもよく、工場内、オフィス内等に設けられてもよい。
 <4.2.実施例2>
 次に、実施例2として、図22を参照して、自動車に乗車する乗員の車酔い等による血流量の急激な変化を検出する実施例を説明する。図22は、本開示の実施形態に係る実施例2を説明する説明図である。
 本実施例においては、図22に示すように、生体情報センサ100aは、被測定者706が乗車する車両750内に設けられ、乗車する被測定者706の車酔い等の状態を推定するために、血流情報等を算出するためのセンシングデータを取得する。
 本実施例においては、被測定者706の車酔いの状態を取得するために好適な特定の箇所の血流情報の経時変化を取得することができることから、被測定者706の乗り物酔い等の状態の推定の精度を高めることができる。さらに、本実施例においては、被測定者706の身体に、血流情報に係るセンシングデータを取得するためのセンサを装着する必要がないため、被測定者706に負担をかけることなく、容易に血流情報を取得することができる。
 なお、本実施例では、車酔いだけでなく、貧血等による顔面蒼白、熱中症、その他疾患や体調不良に起因する血流量の急激な変化を検出することができる。さらに、本実施例によって適用した乗員の車酔いの状態と、その際に取得した車両750の走行データとを紐づけて、人工知能等により解析することにより、車酔いをしにくい運転に関する情報を学習してもよい。このような学習によって得られた運転に関する情報は、運転手の運転に対する支援として行う車両制御や、自動運転に活用することができる。
 さらに、本実施例は、生体情報センサ100aを車両750内に設けられることにより、乗員の車酔い等による血流量の急激な変化を検出するだけに限定されるものではなく、施設内に設けられた監視カメラ又は防犯カメラ(図示省略)とともに用いることにより、不正行為を試みることから緊張状態にある人物を検出することにより、不審者の検出を行う際にも適用することができる。加えて、本実施例によれば、被測定者706の心理状態(リラックスの程度等)を検出するができることから、商品試験等にも適用することができる。
 <4.3.実施例3>
 次に、実施例3として、図23及び図24を参照して、顔認証に適用した実施例を説明する。図23及び図24は、本開示の実施形態に係る実施例3を説明する説明図である。
 ところで、近年、顔を用いた個人認証、すなわち顔認証においては、個人の顔画像だけでなく、個人の顔の3次元形状を示す複数の深度情報を用いて認証を行うことができる。しかしながら、このような顔認証においては、認証される人物の顔の3次元形状を模したマスク等を不正行為者が用いてなりすましを行うことにより、認証を突破することができる。
 そこで、本実施例においては、被測定者の顔の複数の深度情報を用いて顔の照合を行うとともに、上述した本開示の第2の実施形態を利用して、深度情報の対象である顔が生体又はマスク等の非生体であるかどうかを判定することにより(例えば、血流が検出できたか否か)、上述のなりすましによる認証の突破を防止する。
 以下に、本実施例に係る構成の一例について説明する。本実施例においては、情報処理システム10の構成は、サーバ300aが後述するサーバ300bになる他は、上述の第2の実施形態と同様である。従って、ここでは、サーバ300bの構成のみを説明する。
 図23を参照して、本実施例に係るサーバ300bの構成について説明する。サーバ300bは、図23に示すように、通信部308と、記憶部310と、算出部320bと、認証部340とを主に有する。なお、通信部308及び記憶部310は、第1及び第2の実施形態と共通することから、ここでは説明を省略し、第1及び第2の実施形態と異なる算出部320b及び認証部340についてのみ説明する。
 (算出部320b)
 算出部320bは、生体情報センサ100a等で得られたセンシングデータを処理することにより、血流情報及び深度情報等を取得する。詳細には、図23に示すように、算出部320aは、データ取得部322と、生体情報算出部326と、深度情報算出部330とを主に有する。なお、これらは、第2の実施形態と共通することから、ここでは説明を省略する。
 (認証部340)
 認証部340は、算出部320bからの被測定者の顔の複数の深度情報もしくは複数の深度情報に基づく画像と、予め取得した人物の顔の3次元形状とをマッチングを行うことにより人物照合を行うとともに、深度情報の対象である顔が生体又は非生体であるかどうかを判定することにより、なりすましによる認証の突破を防止することができる。詳細には、図23に示すように、認証部340は、照合部342と、判定部344と、情報出力部346とを主に有する。以下に、認証部340の有する各機能部について説明する。
 ~照合部342~
 照合部342は、算出部320bからの深度情報と、すでに取得済みの人物の顔の3次元形状とをマッチングすることにより照合して、人物照合を行う。照合部342は、照合の結果を後述する情報出力部346に出力する。なお、本実施例においては、深度情報だけでなく、被測定者の顔を撮像して得た撮像画像も用いて、人物照合を行ってもよい。
 ~判定部344~
 判定部344は、算出部320bからの血流情報に基づいて、上記深度情報が生体から得られたものであるか否かを判定する。例えば、判定部344は、血流情報の経時変化を検出できた場合には生体であると判定する。判定部344は、判定の結果を後述する情報出力部346に出力する。
 ~情報出力部346~
 情報出力部346は、上述した照合部342及び判定部344から出力された結果に基づいて、認証を行い、認証の結果を、通信部308を制御して表示装置400等へ送信する。すなわち、複数の深度情報(もしくは、複数の深度情報に基づく画像)と取得済みの人物の顔の3次元形状とがマッチングし、且つ、血流情報の経時変化を検出できたことから生体であると判定された場合に、認証部340は、該当する人物を認証することとなる。
 本実施例においては、例えば、図24に示すように、被測定者の顔の撮像画像806及び深度情報に基づく画像804に対して照合を行い、且つ、血流情報の経時変化840を検出できた場合には、該当する人物を認証する。
 以上、本実施例によれば、被測定者の顔の深度情報を用いて顔の照合を行うとともに、深度情報の対象である顔が生体又はマスク等の非生体であるかどうかを判定することにより、なりすましによる認証の突破を防止することができる。
 本実施例においては、被測定者の身体上のどの領域の血流情報を検出しているかを把握することができ、且つ、血流情報に基づく画像(血流の状態を示すスペックルイメージ)を取得することができる。従って、本実施例においては、被測定者の顔等の所定の領域の動脈や静脈の形状を予め把握することにより、所定の領域のスペックルイメージと予め把握した形状とを照合することにより、認証を行ってもよい。さらに、本実施例においては、スペックルイメージの経時変化を検出することにより、非生体であるかどうかを判定することができ、なりすましによる認証の突破を防止することができる。
 なお、本実施例に係る生体情報センサ100aは、施設の出入り口や、PC、スマートフォン、TV(television)装置、AI(Artificial Intelligence)スピーカ等に設けられていてもよい。
 <<5.まとめ>>
 以上のように、本開示の実施形態によれば、生体情報センサ100を装着することなく、被測定者の身体の特定の箇所の血流情報を容易に取得することができる。その結果、本実施形態によれば、被測定者の運動の妨げになるようなことを避けることができる。さらに、本実施形態においては、好適な状態で測定を行うことができる特定の箇所から、連続的に又は間欠的に血流情報を取得する、すなわち、特定の箇所の血流情報の経時変化を取得することができる。その結果、本実施形態によれば、血流情報の経時変化を解析して得られる、被測定者の身体の状態に関する状態情報の精度をより高めることができる。
 なお、上述した実施形態は、人間に対する診断や認証に用いることに限定されるものではなく、ペット等の動物の診断等にも適用することができる。この場合、センサの装着が難しい動物であっても、容易に診断に必要な特定箇所からの生体情報を取得することができる。
 <<6.ハードウェア構成について>>
 図25は、本実施形態に係る情報処理装置900のハードウェア構成の一例を示す説明図である。図25では、情報処理装置900は、上述のサーバ300のハードウェア構成の一例を示している。
 情報処理装置900は、例えば、CPU950と、ROM952と、RAM954と、記録媒体956と、入出力インタフェース958と、操作入力デバイス960とを有する。さらに、情報処理装置900は、表示デバイス962と、通信インタフェース968と、センサ980とを有する。また、情報処理装置900は、例えば、データの伝送路としてのバス970で各構成要素間を接続する。
 (CPU950)
 CPU950は、例えば、CPU等の演算回路で構成される、1又は2以上のプロセッサや、各種処理回路等で構成され、情報処理装置900全体を制御する制御部(図示省略)や、上述の算出部320として機能する。
 (ROM952及びRAM954)
 ROM952は、CPU950が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。RAM954は、例えば、CPU950により実行されるプログラム等を一時的に記憶する。ROM952及びRAM954は、情報処理装置900において、例えば、上述の記憶部310の機能を果たす。
 (記録媒体956)
 記録媒体956は、上述の記憶部310として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等の様々なデータを記憶する。ここで、記録媒体956としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体956は、情報処理装置900から着脱可能であってもよい。
 (入出力インタフェース958、操作入力デバイス960及び表示デバイス962)
 入出力インタフェース958は、例えば、操作入力デバイス960や、表示デバイス962等を接続する。入出力インタフェース958としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路等が挙げられる。
 操作入力デバイス960は、操作部(図示省略)として機能し、例えば、情報処理装置900に備えられ、情報処理装置900の内部で入出力インタフェース958と接続される。操作入力デバイス960としては、例えば、キーボード、ボタンや、方向キー、ジョグダイヤル等の回転型セレクター、タッチパネル、あるいは、これらの組み合わせ等が挙げられる。
 表示デバイス962は、上述の表示装置400等からなる情報提示装置として機能し、例えば、情報処理装置900上に備えられ、情報処理装置900の内部で入出力インタフェース958と接続される。表示デバイス962としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display)等が挙げられる。
 なお、入出力インタフェース958が、情報処理装置900の外部の操作入力デバイス(例えば、キーボードやマウス等)や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。
 (通信インタフェース968)
 通信インタフェース968は、情報処理装置900が備える通信手段であり、上述のネットワーク500を介して(あるいは、直接的に)、サーバ等の外部装置と、無線又は有線で通信を行うための通信部308として機能する。ここで、通信インタフェース968としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポート及び送受信回路(無線通信)、IEEE802.11ポート及び送受信回路(無線通信)、あるいはLAN(Local Area Network)端子及び送受信回路(有線通信)等が挙げられる。
 (センサ980)
 センサ980は、上述の生体情報センサ100として機能し、例えば、血流に起因する信号等を検出することが可能な任意の方式により血流信号を検出するセンサである。センサ980は、例えば、光を発する照射部102と、受光した光に応じて信号を生成する受光部104とを有する。照射部102は、先に説明したように、例えば、レーザー等の光源を1又は2以上有する。また、受光部104は、例えば、フォトダイオード、増幅回路、フィルター回路、およびアナログ-デジタル変換器を有する。
 また、センサ980は、例えば、上述したカメラ200や、加速度センサや、ジャイロセンサ等、1又は2以上のセンサを含んでもよい。すなわち、センサ980に含まれるセンサは、上述の例に限られない。
 なお、情報処理装置900のハードウェア構成は、図26に示す構成に限られない。例えば、情報処理装置900は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース968を備えていなくてもよい。また、通信インタフェース968は、複数の通信方式によって、1又は2以上の外部装置と通信を行うことが可能な構成を有していてもよい。また、情報処理装置900は、例えば、記録媒体956や、操作入力デバイス960、表示デバイス962等を備えない構成をとることも可能である。
 以上、本実施形態として、情報処理装置900を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話等の通信装置等、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することもできる。
 また、本実施形態に係る情報処理装置900は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置900は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
 以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
 <<7.補足>>
 なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
 また、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 コヒーレントな光を生体に照射する照射部と、
 前記生体で反射された前記光を受光する受光部と、
 前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する算出部と、
 を備える情報処理装置。
(2)
 前記照射部はレーザー装置からなる、上記(1)に記載の情報処理装置。
(3)
 前記受光部は前記生体に非接触に設けられる、上記(1)に記載の情報処理装置。
(4)
 前記照射部及び前記受光部は、前記生体が存在する室内又は車両内に設けられる、上記(3)に記載の情報処理装置。
(5)
 前記受光部は、フォトダイオード、CCD型センサ、及び、CMOS型センサのうちの少なくともいずれか1つからなる、上記(1)~(4)のいずれか1つに記載の情報処理装置。
(6)
 2つの前記受光部を備え、
 前記算出部は、
 第1の受光部から取得した前記センシングデータを処理することによって得られる前記生体の撮像画像に基づいて、前記位置情報を算出し、
 算出した前記位置情報を、第2の受光部から取得した前記センシングデータを処理することによって得られた前記生体情報に紐づける、
 上記(1)~(5)のいずれか1つに記載の情報処理装置。
(7)
 前記算出部は、
 前記受光部から取得した前記センシングデータを処理することによって得られる前記生体の複数の深度情報に基づいて、前記位置情報を算出し、
 算出した前記位置情報を、前記受光部から取得した前記センシングデータを処理することによって得られた前記生体情報に紐づける、
 上記(1)~(5)のいずれか1つに記載の情報処理装置。
(8)
 前記受光部は、複数の受光素子を含み、
 前記算出部は、前記受光素子ごとに、当該受光素子の前記センシングデータから得られた前記位置情報と前記生体情報とを紐づける、
 上記(7)に記載の情報処理装置。
(9)
 前記算出部は、前記照射部による前記光の照射から前記受光部による前記光の受光までの時間差を算出することにより、前記深度情報を算出する、
 上記(7)又は(8)に記載の情報処理装置。
(10)
 前記算出部は、前記照射部によって照射された前記光の位相と、前記受光部によって受光された前記光の位相の差である位相差を算出することにより、前記深度情報を算出する、
 上記(7)又は(8)に記載の情報処理装置。
(11)
 前記受光部は、前記受光部が受光した前記光を互いに異なるタイミングで読み出す第1及び第2の読み出し部を含み、
 前記算出部は、前記第1及び第2の読み出し部で読み出した前記光の強度に基づいて、前記位相差を算出する、
 上記(10)に記載の情報処理装置。
(12)
 前記算出部は、前記複数の深度情報に対して前記生体の形状モデルをマッチングすることにより、前記位置情報を算出する、上記(7)~(11)のいずれか1つに記載の情報処理装置。
(13)
 前記複数の深度情報に基づいて、前記生体の運動加速度を推定する推定部をさらに備える、
 上記(12)に記載の情報処理装置。
(14)
 前記算出部は、前記位置情報に基づき、あらかじめ設定された所定の位置における前記生体情報を連続的に抽出することにより、前記所定の位置における前記生体情報の経時変化を取得する、上記(1)~(13)のいずれか1つに記載の情報処理装置。
(15)
 前記算出部は、
 前記生体情報の経時変化に基づき、前記生体の状態を推定する、
 上記(14)に記載の情報処理装置。
(16)
 前記算出部は、前記生体情報として、前記センシングデータに含まれる干渉光成分に基づく血流情報、又は、前記センシングデータから得られる吸収スペクトルに基づく血中アルコール濃度もしくは血糖値を算出する、上記(1)~(13)のいずれか1つに記載の情報処理装置。
(17)
 前記算出部は、前記血流情報に基づいて、脈拍数、消費カロリー、血圧、血管年齢、呼吸数、及びHRV指標のうちの少なくともいずれか1つを算出する、上記(16)に記載の情報処理装置。
(18)
 前記複数の深度情報に基づく認証部と、
 前記生体情報に基づいて、前記深度情報が生体から得られたものであるか否かを判定する判定部と、
 をさらに備える、上記(7)~(17)のいずれか1つに記載の情報処理装置。
(19)
 コヒーレントな光を生体に照射することと、
 前記生体で反射された前記光を受光することと、
 前記受光した前記光に基づくセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出することと、
 を含む、情報処理方法。
(20)
 コヒーレントな光を生体に照射するように照射部を制御する機能と、
 前記生体で反射された前記光を受光するように受光部を制御する機能と、
 前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する機能と、
 をコンピュータに実現させるためのプログラム。
  10、10a  情報処理システム
  100、100a  生体情報センサ
  102  照射部
  104、104a、204  受光部
  106、206  制御部
  108、208  通信部
  110a、110b  読み出し部
  200  カメラ
  300、300a、300b  サーバ
  308  通信部
  310  記憶部
  320、320a、320b  算出部
  322  データ取得部
  324、324a  位置情報算出部
  326  生体情報算出部
  328、346  情報出力部
  330  深度情報算出部
  332  加速度推定部
  340  認証部
  342  照合部
  344  判定部
  400  表示装置
  500  ネットワーク
  700  測定領域
  702  静止組織
  704  移動物質
  706  被測定者
  750  車両
  800  検出信号
  802a、802b  領域
  804  画像
  806  撮像画像
  810  ウィンドウ
  820、822  区間
  830  特定箇所
  840  血流情報の経時変化
  900  情報処理装置
  950  CPU
  952  ROM
  954  RAM
  956  記録媒体
  958  入出力インタフェース
  960  操作入力デバイス
  962  表示デバイス
  968  通信インタフェース
  970  バス
  980  センサ

Claims (20)

  1.  コヒーレントな光を生体に照射する照射部と、
     前記生体で反射された前記光を受光する受光部と、
     前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する算出部と、
     を備える情報処理装置。
  2.  前記照射部はレーザー装置からなる、請求項1に記載の情報処理装置。
  3.  前記受光部は前記生体に非接触に設けられる、請求項1に記載の情報処理装置。
  4.  前記照射部及び前記受光部は、前記生体が存在する室内又は車両内に設けられる、請求項3に記載の情報処理装置。
  5.  前記受光部は、フォトダイオード、CCD型センサ、及び、CMOS型センサのうちの少なくともいずれか1つからなる、請求項1に記載の情報処理装置。
  6.  2つの前記受光部を備え、
     前記算出部は、
     第1の受光部から取得した前記センシングデータを処理することによって得られる前記生体の撮像画像に基づいて、前記位置情報を算出し、
     算出した前記位置情報を、第2の受光部から取得した前記センシングデータを処理することによって得られた前記生体情報に紐づける、
     請求項1に記載の情報処理装置。
  7.  前記算出部は、
     前記受光部から取得した前記センシングデータを処理することによって得られる前記生体の複数の深度情報に基づいて、前記位置情報を算出し、
     算出した前記位置情報を、前記受光部から取得した前記センシングデータを処理することによって得られた前記生体情報に紐づける、
     請求項1に記載の情報処理装置。
  8.  前記受光部は、複数の受光素子を含み、
     前記算出部は、前記受光素子ごとに、当該受光素子の前記センシングデータから得られた前記位置情報と前記生体情報とを紐づける、
     請求項7に記載の情報処理装置。
  9.  前記算出部は、前記照射部による前記光の照射から前記受光部による前記光の受光までの時間差を算出することにより、前記深度情報を算出する、
     請求項7に記載の情報処理装置。
  10.  前記算出部は、前記照射部によって照射された前記光の位相と、前記受光部によって受光された前記光の位相の差である位相差を算出することにより、前記深度情報を算出する、
     請求項7に記載の情報処理装置。
  11.  前記受光部は、前記受光部が受光した前記光を互いに異なるタイミングで読み出す第1及び第2の読み出し部を含み、
     前記算出部は、前記第1及び第2の読み出し部で読み出した前記光の強度に基づいて、前記位相差を算出する、
     請求項10に記載の情報処理装置。
  12.  前記算出部は、前記複数の深度情報に対して前記生体の形状モデルをマッチングすることにより、前記位置情報を算出する、請求項7に記載の情報処理装置。
  13.  前記複数の深度情報に基づいて、前記生体の運動加速度を推定する推定部をさらに備える、
     請求項12に記載の情報処理装置。
  14.  前記算出部は、前記位置情報に基づき、あらかじめ設定された所定の位置における前記生体情報を連続的に抽出することにより、前記所定の位置における前記生体情報の経時変化を取得する、請求項1に記載の情報処理装置。
  15.  前記算出部は、
     前記生体情報の経時変化に基づき、前記生体の状態を推定する、
     請求項14に記載の情報処理装置。
  16.  前記算出部は、前記生体情報として、前記センシングデータに含まれる干渉光成分に基づく血流情報、又は、前記センシングデータから得られる吸収スペクトルに基づく血中アルコール濃度もしくは血糖値を算出する、請求項1に記載の情報処理装置。
  17.  前記算出部は、前記血流情報に基づいて、脈拍数、消費カロリー、血圧、血管年齢、呼吸数、及びHRV指標のうちの少なくともいずれか1つを算出する、請求項16に記載の情報処理装置。
  18.  前記複数の深度情報に基づき、前記生体の照合を行う照合部と、
     前記生体情報に基づいて、前記深度情報が生体から得られたものであるか否かを判定する判定部と、
     をさらに備える、請求項7に記載の情報処理装置。
  19.  コヒーレントな光を生体に照射することと、
     前記生体で反射された前記光を受光することと、
     前記受光した前記光に基づくセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出することと、
     を含む、情報処理方法。
  20.  コヒーレントな光を生体に照射するように照射部を制御する機能と、
     前記生体で反射された前記光を受光するように受光部を制御する機能と、
     前記受光部から取得したセンシングデータに基づいて、前記生体における前記光の反射の位置に関する位置情報に紐づけられた生体情報を算出する機能と、
     をコンピュータに実現させるためのプログラム。
PCT/JP2020/001076 2019-01-23 2020-01-15 情報処理装置、情報処理方法及びプログラム WO2020153194A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20744616.2A EP3915471A4 (en) 2019-01-23 2020-01-15 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2020568086A JP7480710B2 (ja) 2019-01-23 2020-01-15 情報処理装置、情報処理方法及びプログラム
US17/423,754 US20220110534A1 (en) 2019-01-23 2020-01-15 Information processing device, information processing method, and program
CN202080009761.7A CN113329687A (zh) 2019-01-23 2020-01-15 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-009024 2019-01-23
JP2019009024 2019-01-23

Publications (1)

Publication Number Publication Date
WO2020153194A1 true WO2020153194A1 (ja) 2020-07-30

Family

ID=71736056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001076 WO2020153194A1 (ja) 2019-01-23 2020-01-15 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20220110534A1 (ja)
EP (1) EP3915471A4 (ja)
JP (1) JP7480710B2 (ja)
CN (1) CN113329687A (ja)
WO (1) WO2020153194A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008284165A (ja) * 2007-05-17 2008-11-27 Auto Network Gijutsu Kenkyusho:Kk 生体情報取得装置
JP2014184002A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 生体検知装置、顔認証装置、撮像装置、生体検知方法及び生体検知プログラム
JP2014194765A (ja) * 2013-03-15 2014-10-09 Immersion Corp 動画コンテンツの分析に基づいて触覚フィードバックを生成する方法及び装置
JP2015191268A (ja) * 2014-03-27 2015-11-02 株式会社リコー 人物頭部検知装置及び姿勢推定装置
JP2017144225A (ja) * 2016-02-17 2017-08-24 パナソニックIpマネジメント株式会社 生体情報検出装置
JP2018068428A (ja) 2016-10-25 2018-05-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013031502A (ja) * 2011-08-01 2013-02-14 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
EP3175786A1 (en) * 2015-12-01 2017-06-07 Panasonic Intellectual Property Corporation of America Estimation of physical conditions
JP6927046B2 (ja) * 2015-12-04 2021-08-25 ソニーグループ株式会社 情報処理装置、スペックルイメージングシステム、及び情報処理方法
CN107088071B (zh) * 2016-02-17 2021-10-15 松下知识产权经营株式会社 生物体信息检测装置
CN108125673B (zh) * 2016-12-01 2023-03-14 松下知识产权经营株式会社 生物体信息检测装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008284165A (ja) * 2007-05-17 2008-11-27 Auto Network Gijutsu Kenkyusho:Kk 生体情報取得装置
JP2014194765A (ja) * 2013-03-15 2014-10-09 Immersion Corp 動画コンテンツの分析に基づいて触覚フィードバックを生成する方法及び装置
JP2014184002A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 生体検知装置、顔認証装置、撮像装置、生体検知方法及び生体検知プログラム
JP2015191268A (ja) * 2014-03-27 2015-11-02 株式会社リコー 人物頭部検知装置及び姿勢推定装置
JP2017144225A (ja) * 2016-02-17 2017-08-24 パナソニックIpマネジメント株式会社 生体情報検出装置
JP2018068428A (ja) 2016-10-25 2018-05-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3915471A4

Also Published As

Publication number Publication date
EP3915471A4 (en) 2022-03-02
EP3915471A1 (en) 2021-12-01
JP7480710B2 (ja) 2024-05-10
US20220110534A1 (en) 2022-04-14
CN113329687A (zh) 2021-08-31
JPWO2020153194A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
JP6268193B2 (ja) 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
CN104853670B (zh) 用于提取生理信息的设备和方法
CN105050492B (zh) 用于确定对象的生命体征的设备和方法
US9232912B2 (en) System for evaluating infant movement using gesture recognition
EP2438849A1 (en) Device and method for an optical contactless monitoring of cardiac parameters
KR20150095661A (ko) 활력 매개변수들을 측정하기 위한 방법 및 장치
KR101722708B1 (ko) 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
CN109310351A (zh) 用于表征对象的心率的评估系统和方法
US11699524B2 (en) System for continuous detection and monitoring of symptoms of Parkinson's disease
CN109643376A (zh) 视频采集情感生成方法
US11596361B2 (en) Systems, devices, and methods for developing a model for use when performing oximetry and/or pulse oximetry and systems, devices, and methods for using a fetal oximetry model to determine a fetal oximetry value
US10856797B2 (en) Method and system for monitoring the autonomic nervous system of a subject
WO2020153194A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20190059799A1 (en) Fatigue state determination device and fatigue state determination method
Allin et al. Video based analysis of standing balance in a community center
Fontes et al. Enhancing Stress Detection: A Comprehensive Approach through rPPG Analysis and Deep Learning Techniques
Sacramento et al. A real-time software to the acquisition of heart rate and photoplethysmography signal using two region of interest simultaneously via webcam
JP6014869B2 (ja) 動作識別システム、情報処理装置、情報処理プログラム、および情報処理システム
Mohammadzadeh et al. Prediction of physiological response over varying forecast lengths with a wearable health monitoring platform
Hassan et al. Towards health monitoring in visual surveillance
Selvakumar Non-contact breath cycle analysis for different breathing patterns using RGB-D videos
Bevilacqua et al. Proposal for non-contact analysis of multimodal inputs to measure stress level in serious games
KR101706740B1 (ko) 인체 미동에 의한 hrc 기반 사회 관계성 온라인 측정 방법 및 시스템
JP5921973B2 (ja) シンクロ行動の検出方法、検出装置及び検出プログラム
WO2014168354A1 (ko) 동영상 기반 생리 신호 검출 방법 및 이를 적용하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20744616

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020568086

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020744616

Country of ref document: EP

Effective date: 20210823