WO2018150554A1 - 脈波測定装置、携帯端末装置及び脈波測定方法 - Google Patents

脈波測定装置、携帯端末装置及び脈波測定方法 Download PDF

Info

Publication number
WO2018150554A1
WO2018150554A1 PCT/JP2017/006024 JP2017006024W WO2018150554A1 WO 2018150554 A1 WO2018150554 A1 WO 2018150554A1 JP 2017006024 W JP2017006024 W JP 2017006024W WO 2018150554 A1 WO2018150554 A1 WO 2018150554A1
Authority
WO
WIPO (PCT)
Prior art keywords
pulse wave
unit
image
information acquisition
biological
Prior art date
Application number
PCT/JP2017/006024
Other languages
English (en)
French (fr)
Inventor
山田　健一郎
愼介 尾上
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2017/006024 priority Critical patent/WO2018150554A1/ja
Publication of WO2018150554A1 publication Critical patent/WO2018150554A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure

Definitions

  • the present invention relates to a pulse wave measuring device, a portable terminal device, and a pulse wave measuring method.
  • a measurement method using a sheet called a cuff that expands with air pressure is widely known. Recently, the blood pulsation is acquired as an image by photographing a part of the living body using a general camera without applying cuff pressure to the living body, and blood pressure can be measured without contact without imposing a burden on the living body.
  • a measurement method has been proposed (see, for example, Patent Document 1 and Patent Document 2).
  • a two-dimensional image sensor is used for non-contact blood pressure measurement using an image.
  • This image sensor is assumed to have sunlight as the light source when outdoors in the daytime and indoor lighting as the light source when indoors. Then, the reflected light reflected by the living body to be measured is received by the image sensor and imaged.
  • the blood pressure information by video is pulse wave information indicated by blood pulsation acquired from an optically captured video. Therefore, in order to acquire highly accurate pulse wave information in non-contact blood pressure measurement using video, it is necessary to acquire an image of a part of a living body that is a measurement target as an optimal image for acquiring pulse wave information. There is.
  • An object of the present invention is to acquire pulse wave information with high accuracy.
  • One aspect of the present invention is a pulse wave measurement device, wherein an illumination unit that irradiates illumination light, a biological information acquisition unit that acquires an image including a living body irradiated with illumination light from the illumination unit, and the biological information acquisition A region extraction unit that extracts a biological image corresponding to a biological region from the image acquired by the unit; a pulse wave signal generation unit that generates a pulse wave signal from the biological image corresponding to the biological region extracted by the region extraction unit; A pulse wave signal processing unit that acquires pulse wave information from the pulse wave signal, a display unit that displays the pulse wave information acquired by the pulse wave signal processing unit, and a control unit. Starts the pulse wave information acquisition display operation of acquiring the image by the biological information acquisition unit, acquiring the pulse wave information by the pulse wave signal processing unit, and displaying the pulse wave information by the display unit In this case, the illumination unit is controlled.
  • a portable terminal device including a display unit that displays an image, a camera that captures an image including a living body, and a biological image included in the image captured by the camera is displayed on the display unit.
  • a pulse wave information acquisition unit that acquires pulse wave information for use, and a control unit, and uses light from the display image of the display unit as illumination light to the living body, and the control unit uses the camera to capture an image.
  • the display image of the display unit is controlled to control the illumination light irradiated to the living body It is characterized by having constituted so.
  • the pulse wave measurement method includes an acquisition step of acquiring an image, an extraction step of extracting an image corresponding to the living body region from the acquired image, and the extracted image corresponding to the living body region.
  • the display unit is controlled to control illumination light applied to the living body region.
  • pulse wave information can be acquired with high accuracy.
  • FIG. 1 is a block diagram of a pulse wave information acquisition terminal 100 according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a pulse wave information acquisition terminal 100 according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a pulse wave information acquisition terminal 100 according to Embodiment 1.
  • FIG. 3 is a flowchart of a method of pulse wave information acquisition processing using the pulse wave information acquisition terminal 100 according to the first embodiment. It is a block diagram which shows the functional structure of the pulse-wave signal generation part 119-4. It is a figure which shows an example of the transmittance
  • FIG. 1 is a block diagram illustrating an example of a configuration of a pulse wave information acquisition terminal 100 according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a pulse wave information acquisition terminal 100 according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a pulse wave information acquisition terminal 100 according to Embodiment 1.
  • FIG. 6 is a schematic diagram illustrating the pulse wave information acquisition terminal 100 from the upper viewpoint of the user 700 when using the pulse wave information acquisition terminal 100.
  • FIG. 3 is a schematic diagram of a pulse wave information acquisition terminal 100.
  • FIG. 3 is a schematic diagram of a pulse wave information acquisition terminal 100.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a pulse wave information acquisition terminal 100.
  • FIG. It is the flowchart which showed the method of the pulse wave information acquisition process of G component and IR component selection type.
  • FIG. 5 is a flowchart showing a method of pulse wave information acquisition processing by the optical scanning sensor 120-4. It is the flowchart which showed the method of scanning number selection and an imaging process. It is the figure which showed one usage example of the pulse wave information acquisition terminal. It is the figure which showed one usage example of the pulse wave information acquisition terminal. It is the figure which showed one usage example of the pulse wave information acquisition terminal. It is the figure which showed one usage example of the pulse wave information acquisition terminal.
  • a pulse wave information acquisition terminal 100 includes a control unit 101, a system bus 102, a ROM 103, a RAM 104, a storage unit 105, an acceleration sensor 106, a gyro sensor 107, a geomagnetic sensor 108, a GPS reception unit 109, and an illuminance sensor 110.
  • An information acquisition unit 120, a speaker 121, an audio processing unit 122, and an audio input unit 123 are included.
  • the pulse wave information acquisition terminal 100 may be a mobile phone or a smart phone, or may be a PDA (Personal Digital Assistant), a handy type PC (Personal Computer), or a tablet PC. Further, it may be a portable game machine or other portable digital device.
  • the control unit 101 is, for example, a microprocessor that controls the entire system of the pulse wave information acquisition terminal 100.
  • the system bus 102 is a data communication path for performing data transmission / reception between the control unit 101 and each unit in the pulse wave information acquisition terminal 100.
  • a ROM (Read Only Memory) 103 is a memory in which a basic operation program for basic operation of the pulse wave information acquisition terminal 100 such as an operating system and a predetermined application program is stored.
  • ROM 103 for example, a rewritable ROM such as an EEPROM (Electrically Erasable Programmable ROM) or a flash ROM is used.
  • a RAM (Random Access Memory) 104 is a basic operation program or a work area when executing each application. Further, the ROM 103 and the RAM 104 may be integrated with the control unit 101.
  • the storage unit 105 stores each operation setting value of the pulse wave information acquisition terminal 100, personal information (address book, schedule, etc.) of the user of the pulse wave information acquisition terminal 100, and the like.
  • the storage unit 105 includes an authentication information storage area 105-1, a management address storage area 105-2, an access information storage area 105-3, a position setting information storage area 105-4, a time setting information storage area 105-5, and
  • it has a storage area 105-6.
  • the authentication information storage area 105-1 will be described later, not all of them are necessary, and only a part of the storage area may be secured in the storage unit 105 in some embodiments.
  • the other storage area 105-6 may substitute all or part of the functions of the ROM 103 by using a partial area thereof.
  • the pulse wave information acquisition terminal 100 can expand its function by downloading a new application from the application server (not shown) via the telephone network communication unit 113 or the LAN communication unit 114. At this time, the downloaded application is stored in the other storage area 105-6 of the storage unit 105. The application stored in the other storage area 105-6 of the storage unit 105 is expanded and executed on the RAM 104 when used, so that the pulse wave information acquisition terminal 100 can realize various functions.
  • the storage unit 105 needs to hold information stored even when the pulse wave information acquisition terminal 100 is turned off. Therefore, for example, a flash ROM, SSD (Solid State Drive), HDD (Hard Disc Drive), etc. Is used.
  • the acceleration sensor 106, the gyro sensor 107, the geomagnetic sensor 108, the GPS receiver 109, and the like detect the state of the pulse wave information acquisition terminal 100. With these sensors, it is possible to detect the movement, tilt, position, direction, and the like of the pulse wave information acquisition terminal 100.
  • the illuminance sensor 110 detects the brightness around the pulse wave information acquisition terminal 100.
  • the external interface 111 is an interface for extending the functions of the pulse wave information acquisition terminal 100, and is connected to a USB (Universal Serial Bus) device or a memory card, or a video cable (not shown) for displaying video on an external monitor. )).
  • the telephone network communication unit 113 performs communication with a base station of the mobile telephone communication network.
  • a LAN (Local Area Network) communication unit 114 communicates with an access point (not shown) for wireless communication on the Internet via Wi-Fi (registered trademark) or the like.
  • the telephone network communication unit 113 and the LAN communication unit 114 each include an antenna, a code circuit, and a composite circuit.
  • the terminal lock control unit 115 and the coincidence rate confirmation unit 116 are, for example, microprocessors that perform dedicated processing. However, other forms are possible as long as the same processing is possible. For example, it may be realized by an application by software processing.
  • the terminal lock control unit 115 performs restriction (terminal lock) on a part or all of the function or operation of the pulse wave information acquisition terminal 100. For example, even if the operation unit 112 receives a user operation, the reception is regarded as invalid and the control unit 101 or the like is not allowed to perform any processing according to the operation.
  • the matching rate confirmation unit 116 compares the authentication information stored in the authentication storage area 105-1 with the information (authentication input information) input from the operation unit 112 or the biometric information acquisition unit 120 for authentication. This is for confirming the matching rate. Details of the terminal lock control unit 115 and the coincidence rate confirmation unit 116 will be described in another embodiment described later.
  • the display unit 117 is a display device such as a liquid crystal panel provided with a backlight, for example, and provides the video signal processed by the display processing unit 118 to the user of the pulse wave information acquisition terminal 100.
  • the display unit 117 includes a light emitting function unit 117-1, a liquid crystal function unit 117-2, a color filter function unit 117-3, and another display function unit 117-4. Details of the functions of the light emitting function unit 117-1, the liquid crystal function unit 117-2, and the color filter function unit 117-3 will be described later, but not all of them are necessary. Depending on the embodiment, only a part of the function units is required. May be secured in the display unit 117.
  • the light emitting function unit 117-1 operates as a backlight for irradiating light from the back side of the liquid crystal function unit 117-2, and also functions as an illumination unit for irradiating the living body region with illumination light.
  • the pulse wave signal processing unit 119 is, for example, a microprocessor that performs dedicated processing or an application by software processing. However, other forms are possible as long as the same processing is possible.
  • the pulse wave signal processing unit 119 receives a biological image signal via the biological information acquisition unit 120 and detects a pulse wave signal and extracts pulse wave information. Since this pulse wave signal processing unit 119 generates and outputs pulse wave information, it may be hereinafter referred to as a pulse wave information acquisition unit.
  • the biological information acquisition unit 120 includes an RGB camera 120-1, an infrared light emitting unit 120-2, an infrared camera 120-3, and an optical scanning sensor 120-4.
  • an RGB image of a biological part acquired by the RGB camera 120-1 a monochrome image obtained by converting the RGB image into monochrome using luminance information, and infrared light emitted from the infrared light emitting unit 120-2 are detection targets.
  • An infrared image acquired by the infrared camera 120-3 after being reflected by the living body part, or image information of the living body stored in advance in the other storage area 105-6 is used.
  • the pulse wave signal processing unit 119 that detects the pulse wave signal and extracts the pulse wave information includes, in particular, a tracking function unit 119-1, a region extraction unit 119-2, a statistical processing function unit 119-3, and a pulse wave signal generation function.
  • Functions of tracking function unit 119-1, region extraction unit 119-2, statistical processing function unit 119-3, pulse wave signal generation function unit 119-4, pulse wave detection unit 119-5, and pulse wave information estimation unit 119-6 As will be described later, not all of them are necessarily required. In some embodiments, only a part of the functional units may be secured in the pulse wave signal processing unit 119.
  • the speaker 121 provides the audio signal processed by the audio processing unit 122 to the user of the pulse wave information acquisition terminal 100.
  • the voice input unit 123 is a microphone and inputs voice data such as a user's voice.
  • the operation unit 112 is for inputting an instruction based on a user's operation, and is an instruction input unit for inputting characters or operating an application being executed. It may be realized by a multi-key in which button switches are arranged, or may be realized by a touch panel arranged on the display unit 117. Moreover, you may use both together.
  • the configuration of the pulse wave information acquisition terminal 100 illustrated in FIG. 1 includes a configuration that is not essential to the present invention.
  • at least one of the telephone network communication unit 113 and the LAN communication unit 114 may be provided.
  • a configuration not shown in the figure such as a television broadcast transmission / reception function and an electronic money settlement function may be added.
  • FIG. 2 Prior to detailed description after FIG. 3, a high-level conceptual flow up to pulse wave information acquisition by each unit constituting the pulse wave information acquisition terminal 100 will be described. Thereafter, when there is no special designation, the biological information acquisition unit 120, the pulse wave signal processing unit 119, and the display processing unit 118 are controlled by signals from the control unit 101 connected by the system bus 102.
  • a living body image is acquired by measuring the living body part 200 by the living body information acquisition unit 120.
  • the acquired biological image is input to the pulse wave signal processing unit 119.
  • the pulse wave signal processing unit 119 includes a pulse wave signal generation unit 119-4, a pulse wave detection unit 119-5, and a pulse wave information estimation unit 119-6.
  • a pulse wave signal is obtained by the processing of the pulse wave signal generation unit 119-4.
  • the obtained pulse wave signal is input to the pulse wave detector 119-5, and the pulse wave detector 119-5 obtains the raw pulse wave information.
  • the obtained pulse wave raw information is input to the pulse wave information estimation unit 119-6, and the pulse wave information estimation unit 119-6 obtains pulse wave information.
  • the obtained pulse wave information is displayed on the display unit 117 via the display processing unit 118 and provided to the user of the pulse wave information acquisition terminal 100.
  • the pulse wave signal is a signal indicating a temporal change in blood pulsation obtained through noise removal or the like from a biological image.
  • the raw pulse wave signal is information including the pulse rate obtained by analyzing the pulse wave signal.
  • the pulse wave information is information that is estimated based on the pulse wave raw signal and displayed to the user of the pulse wave information acquisition terminal 100.
  • the pulse wave signal information acquisition process is started by an operation of an application or the like via the operation unit 112 by the user of the pulse wave information acquisition terminal 100.
  • step S401 When the pulse wave information acquisition process is started (step S401), the display processing unit 118 controls the display unit 117 based on the control signal from the control unit 101 transmitted through the system bus 102, and the display unit illumination light 701 (described later) Control (see FIG. 7) is started (step S402). Details of the control of the display unit illumination light 701 in step S402, which is a feature of the first embodiment, will be described again after the process of step S407.
  • a biological image as time-series data of RGB biological images is obtained by measuring the biological part 200 by the RGB camera 120-1 constituting the biological information acquisition unit 120.
  • Obtain (step S403).
  • the obtained biological image is input to the pulse wave signal processing unit 119 as input data.
  • the tracking unit 119-1 determines the number of persons included in an unspecified number in the biological image based on the input biological image, and assigns an individual ID to each individual.
  • a part of the living body of each person is tracked in time-series data in association with the ID and managed as the biological information of the same person (step S404).
  • the region extraction unit 119-2 is a processing unit that extracts a biological region from a biological image.
  • the living body region is a region extracted from the image with reference to a predetermined living body portion for each ID tracked by the tracking unit 119-1.
  • the region extraction unit 119-2 extracts a specific region in the face based on the face.
  • facial recognition such as template matching based on pre-teacher data
  • facial organs such as eyes, ears, nose, and mouth as specific parts for the input biological image
  • the ID in the biological image is obtained. Detect nose for each person associated.
  • a face area included in a predetermined range is extracted around the detected nose.
  • images of the nose for each person associated with the ID, a part of the forehead at the top of the nose, and a part of the face center of the cheek located around the nose are extracted as biological images used for pulse wave detection.
  • the region extraction unit 119-2 outputs a biological image corresponding to the extracted facial region in association with the ID to the statistical processing unit 119-3 (step S405).
  • the region to be extracted does not necessarily have to be a face, and a sufficient number of pixels can be obtained for extracting pulse wave information. If it is a location, it may be another region as long as it is a region where other skin is reflected.
  • the statistical processing unit 119-3 is a processing unit that performs predetermined statistical processing on the pixel value of each pixel of the partial image corresponding to the input biological part. For example, the statistical processing unit 119-3 averages the luminance value of each pixel of the partial image corresponding to the face area for each person associated with the ID for each RGB wavelength component. In addition, a median value or a mode value may be calculated. Moreover, when calculating
  • the calculated average brightness value of each pixel of the partial image for each RGB wavelength is input to the pulse wave signal generation unit 119-4.
  • the pulse wave signal generation unit 119-4 the pulse wave is changed from the average luminance value of each pixel of the partial image corresponding to the face area for each person associated with the ID for each RGB wavelength component obtained as time series data. It is a processing unit that generates a signal of a corresponding frequency component.
  • a change in the blood flow flowing through the capillary on the face is represented by a time-series change in the amount of light absorbed by the blood flow, that is, a time-series change in luminance obtained by reflection from the face. It is measured by observing.
  • This time-series change in luminance of the partial image includes a pure pulse wave component that is converted according to the heartbeat.
  • this luminance changes depending on body movement (body movement) and the like in addition to the information on the pulse wave that changes according to the heartbeat, it becomes a noise component in pulse wave detection.
  • Patent Document 1 a pulse wave is detected with two or more wavelengths having different light absorption characteristics of blood, for example, a G component having a high light absorption characteristic (about 525 nm) and an R component having a low light absorption characteristic (about 700 nm). Since the heart rate is in the range of 30 bpm to 240 bpm in terms of 0.5 Hz to 4 Hz per minute, other components can be regarded as noise components.
  • the G component Ga and R component Ra of the time series signal are expressed by the following equations 1 and 2.
  • Gs in Equation 1 represents a pulse wave component in a frequency band that varies according to the heartbeat of the G component signal
  • Gn represents a noise component of the G component signal in a frequency band outside the frequency band that varies according to the heartbeat.
  • Rs in Equation 2 represents a pulse wave component in a frequency band that changes according to the heartbeat of the R component signal
  • Rn represents noise of the R component signal in a frequency band outside the frequency band that changes according to the heartbeat. Represents an ingredient.
  • the noise component has a sensitivity difference between the G component and the R component
  • the correction coefficient k for the sensitivity difference is expressed by the following equation (3).
  • the pulse wave signal S that changes in accordance with the heartbeat in the G component, which is a necessary signal component, can be calculated.
  • the pulse wave signal S is expressed by the following equation 4.
  • pulse wave signal generation section 119-4 includes BPF (Band Pass Filter) 119-4-1 and 119-4-2, extraction sections 119-4-3 and 119-4-4, Noise reduction unit 119-4-5 and 119-4-6, division processing unit 119-4-7, BPF 119-4-8 and 119-4-9, multiplication processing unit 119-4-10, and calculation Part 119-4-11.
  • FIG. 5 illustrates a configuration in the case of detecting a pulse wave signal by canceling a noise component in the time domain.
  • the R component (R signal) and G component (G signal) of the time series data of the representative value of the partial image are input from the statistical processing unit 119-3.
  • the R signal is input to BPF 119-4-1 and 119-4-8, and the G signal is input to 119-4-2 and 119-4-9.
  • the BPFs 119-4-1, 119-4-8, 119-4-2, and 119-4-9 all pass only the signal components in the predetermined frequency band and remove the signal components in the other frequency bands. This is a band pass filter.
  • These BPFs may be implemented by hardware or software.
  • the BPFs 119-4-1 and 119-4-2 pass only a signal component having a specific frequency in which a noise component appears more prominently than other frequency bands. This specific frequency is determined in consideration of the frequency band that the pulse wave can take.
  • An example of a frequency band that can be taken by a pulse wave is a frequency band of 0.5 Hz to 4 Hz, and a frequency band of 30 bpm to 240 bpm when converted per minute. From this, as an example of the specific frequency band, a frequency band of less than 0.5 Hz and more than 4 Hz that cannot be measured as a pulse wave can be employed. Further, the specific frequency band may partially overlap with the frequency band that can be taken by the pulse wave. For example, it is allowed to overlap with the frequency band that can be taken by the pulse wave in the 0.7 Hz to 1 Hz section that is difficult to be measured as a pulse wave, and the frequency band of less than 1 Hz and 4 Hz or more is adopted as the specific frequency band. You can also
  • the specific frequency band can be narrowed down to a frequency band in which noise is more noticeable with the frequency band of less than 1 Hz and 4 Hz or more as the outer edge. For example, noise appears more noticeably in a low frequency band lower than a frequency band that can take a pulse wave, rather than a high frequency band that is higher than a frequency band that the pulse wave can take. For this reason, a specific frequency band can also be narrowed down to a frequency band of less than 1 Hz. Further, since there are many differences in the sensitivity of the image sensor of each component in the vicinity of the direct current component where the spatial frequency is zero, the specific frequency band can be narrowed down to a frequency band of 0.05 Hz to less than 1 Hz. Furthermore, the specific frequency band can be narrowed down to a frequency band of 0.05 Hz or more and 0.3 Hz or less where noise such as flickering of ambient light other than human body movement, for example, blinking or shaking of the body, is likely to appear.
  • the BPF 119-4-1 and the BPF 119-4-2 pass a signal component in a frequency band of 0.05 Hz to 0.3 Hz as a specific frequency band.
  • a bandpass filter is used to extract a signal component in a specific frequency band
  • a low-pass filter is used when a signal component in a frequency band below a certain frequency is extracted. You can also.
  • the BPF 119-4-8 and the BPF 119-4-9 pass signal components in a frequency band that can be taken by a pulse wave, for example, a frequency band of 0.5 Hz to 4 Hz.
  • the extraction unit 119-4-3 extracts the absolute intensity value of the signal component in the specific frequency band of the R signal. For example, the extraction unit 119-4-3 extracts the absolute intensity value of the signal component in the specific frequency band by executing an absolute value calculation process on the signal component in the specific frequency band of the R component. Further, the extraction unit 119-4-4 extracts the absolute intensity value of the signal component of the specific frequency band of the G signal. For example, the extraction unit 119-4-4 extracts the absolute intensity value of the signal component in the specific frequency band by executing an absolute value calculation process on the signal component in the specific frequency band of the G component.
  • the noise reduction unit 119-4-5 and the noise reduction unit 119-4-6 are low-pass filters that perform a smoothing process that responds to time changes on time-series data of absolute intensity values in a specific frequency band. For example, a signal component in a frequency band of 0.1 Hz or less is passed.
  • the signal input to the noise reduction unit 119-4-5 is an R signal and is input to the noise reduction unit 119-4-6.
  • the division unit 119-4-7 divides the output Gn of the noise reduction unit 119-4-6 by the output Rn of the noise reduction unit 119-4-5.
  • a sensitivity difference correction coefficient k corresponding to Equation 3 is calculated.
  • the multiplication processing unit 119-4-10 multiplies the signal component in the pulse wave frequency band of the R signal output by the BPF 119-4-8 by the correction coefficient k calculated by the division processing unit 119-4-7.
  • the calculation unit 119-4-11 uses the signal component Gs in the pulse wave frequency band of the G signal output by the BPF 119-4-9 to calculate the R signal multiplied by the correction coefficient k by the multiplication processing unit 119-4-10.
  • a process corresponding to Expression 4 for subtracting the signal component Rs of the pulse wave frequency band is executed.
  • the obtained pulse wave signal is output from the pulse wave signal generation unit 119-4 (step S407).
  • This pulse wave signal corresponds to the pulse wave signal of the face, and its sampling frequency corresponds to the frame frequency at which an image is captured.
  • the control of the display unit illumination light 701 in step S402, which is a feature of the first embodiment, will be described.
  • the R component is a component having a low absorption characteristic in blood flow, and noise has no wavelength characteristic or is minimal even if it exists.
  • each of RGB is placed in front of each pixel of a two-dimensional image sensor such as a CCD or CMOS.
  • a color filter that transmits only the component corresponding to the wavelength is used.
  • FIG. 6 shows an example of the transmittance spectrum of the R component color filter and the absorbance spectrum of hemoglobin, among the color filters actually arranged on the photodiode of the CMOS image sensor.
  • the horizontal axis of the spectrum shows only the part from 400 nm to 700 nm.
  • the vertical axis of the transmittance of the color filter corresponds to the left scale, and the vertical axis of the hemoglobin absorbance corresponds to the right scale.
  • the difference between the solid line and the broken line of the hemoglobin absorbance is the difference between oxidized hemoglobin and reduced hemoglobin, respectively, the solid line represents reduced hemoglobin, and the broken line represents oxidized hemoglobin.
  • the transmittance spectrum of the R component color filter in FIG. 6 it appears that the wavelength of 550 nm or less and 450 nm or more is blocked, while the transmittance is increased at a shorter wavelength of 450 nm or less. it can.
  • the transmittance is about 0.3 at a wavelength of 405 nm. That is, the R signal detected through the color filter is a signal that can include luminance information having a wavelength of 450 nm or less.
  • the absorbance of hemoglobin at a wavelength of 450 nm or less for example, 405 nm, it can be confirmed that the value is higher than the hemoglobin absorbance of the G component (525 nm).
  • the light emitting unit 117-2 in the liquid crystal display uses a violet excited white LED that realizes a uniform spectrum in all wavelength bands and can reproduce a natural color than the conventional blue excited white LED. . Since the purple excited white LED includes more components of 450 nm or less than the conventional blue excited white LED, the degree of influence of the transmittance of the color filter at 450 nm or less, which has not been a problem so far, is increased. That is, as in Patent Document 1, in step S407 of the pulse wave signal generation unit 119-4, the R signal is used as a component having a low light absorption characteristic in blood flow, and the signal Rs for removing a noise component as shown in Equation 4 is used.
  • Rs has a high hemoglobin absorption rate of 450 nm or less as described above, and is a signal that includes a pulse wave component that changes according to the heart rate. As a result, the signal quality of the pulse wave signal is degraded.
  • the display processing unit 118 of the pulse wave information acquisition terminal 100 according to the first embodiment solves the above problem by appropriately controlling the display unit 117.
  • FIG. 7 illustrates the pulse wave information acquisition terminal 100 and the user 700 of the pulse wave information acquisition terminal 100 according to the first embodiment.
  • the pulse wave information acquisition terminal 100 includes a biological information acquisition unit 120 and a display unit 117.
  • the biological information acquisition unit 120 receives a biological image of the part 200 of the biological body of the user 700.
  • the biological information acquisition unit 120 includes an RGB camera 120-1 and acquires a biological image including a biological part 200.
  • FIG. 8 shows an image displayed on the display unit 117 when pulse wave information is acquired using the pulse wave information acquisition terminal 100.
  • the display unit 117 displays the face of the user 700 acquired using the biometric information acquisition unit 120 in the user guide area 800 and the pulse wave in the pulse wave information display area 801 other than the user guide area 800.
  • the pulse wave information acquired by the information acquisition terminal 100 is displayed.
  • the display processing unit 118 appropriately controls the display unit 117 when the pulse wave information is acquired, and illuminates the body part 200 by light emission from the display unit 117, thereby improving the signal quality of the pulse wave signal.
  • the display portion illumination light 701 that can be emitted is irradiated.
  • the biological information acquisition unit 120 takes a biological image, acquires the pulse wave information from the biological image by the pulse wave information acquisition unit (pulse wave signal processing unit 119), and This is a time when a series of operations for displaying the generated pulse wave information on the display unit 117, that is, a pulse wave information acquisition display operation is started.
  • the display unit 117 is a liquid crystal display capable of displaying an RGB image, for example, and includes a light emitting unit 117-1, a liquid crystal unit 117-2, and a color filter unit 117-3 as an example.
  • the display unit 117 according to the first embodiment is not limited to a liquid crystal display, and may be any display device that can control light emission intensity and RGB components, such as a plasma display or an OLED (Organic Light Emitting Diode). .
  • the display processing unit 118 controls the light emitting unit 117-1 and the liquid crystal unit 117-2 to appropriately control the light intensity of the display unit illumination light 701.
  • the pulse wave signal generated by the processing of the pulse wave signal generation unit 119-4, or the biological information obtained by the biological information acquisition unit 120 imaging the biological part 200 is extracted.
  • the emission intensity of the display unit 117 is increased to such an extent that the G component signal in the pixel region is not saturated in the measurable dynamic range.
  • the optimal emission intensity can be searched by calculating the SNR (Singal to Noise Ratio) value by the pulse wave noise calculation unit 119-7 for each emission intensity while changing the emission intensity of the display unit 117. Good. Details of the SNR derivation will be described later.
  • the display processing unit 118 controls the light emitting unit 117-1 and the liquid crystal unit 117-2 that constitute the display unit 117, thereby displaying the display unit.
  • the light intensity of the illumination light 701 can be appropriately controlled to illuminate the living body part 200, and the signal quality of the pulse wave signal can be improved.
  • the display processing unit 118 when acquiring the pulse wave information, the display processing unit 118 also controls the liquid crystal unit 117-2 and the color filter unit 117-3, thereby simultaneously controlling the wavelength components to be emitted.
  • the R component color filter of the biological information acquisition unit 120 transmits a component of 450 nm or less. Therefore, by controlling the liquid crystal unit 117-2 and the color filter unit 117-3, the component including 450 nm or less in the display unit illumination light 701, that is, the B component in RGB is not emitted. Only the R component and the G component in the RGB components are emitted. Since only the R and G components emit light, the result is a display color that is perceived by humans as a color close to yellow.
  • the hue of the illumination light is controlled.
  • the color filter unit 117-3 in the display unit 117 includes a component of 450 nm or less.
  • the effect of reducing the component of 450 nm or less by the transmittance is squared. Therefore, it is almost negligible.
  • the display unit illumination light 701 is controlled so as not to emit the B component (the intensity of the B component is set to 0), but the intensity of the relative G component is made lower than the R component and the G component. In this manner, the display unit illumination light 701 may be controlled.
  • FIG. 39A shows that the G component and the R component (conventional) after being multiplied by the correction coefficient k when the B component of the display unit illumination light 701 is emitted and the B component of the display unit illumination light 701 are not emitted.
  • FIG. 39A shows a difference between the G component, the R component (conventional), and the R component (present invention) in the frequency band from about 0.5 Hz to about 4 Hz that can be taken by the pulse wave component. It is expected to occur.
  • FIG. 39B shows a schematic diagram (not a measured value) of values obtained by subtracting the R signal (conventional) and the R signal (present invention) from the spectrum of the G signal. By not emitting the B component of the display unit illumination light 701, the signal intensity is expected to increase in a frequency band from about 0.5 Hz to about 4 Hz, which can be taken by a pulse wave component.
  • the pulse wave signal obtained in step S407 is input to the pulse wave detector 119-5.
  • FIG. 9 is a block diagram showing a functional configuration of the time information calculation unit 119-5-2.
  • the pulse wave detector 119-5 calculates a plurality of pieces of pulse wave raw information from the input pulse wave signal. Regarding the calculation of the pulse wave raw information in step S408, the pulse rate calculation process of the pulse rate calculation unit 119-5-1 will be described first.
  • the pulse rate calculator 119-5-1 calculates the pulse rate by frequency analysis of the pulse wave signal.
  • the pulse wave signal input from the pulse wave signal generation unit 119-4 may be subjected to Fourier analysis such as Fast Fourier Transform (FFT) or Discrete Fourier Transform (DFT), or wavelet analysis such as Haar transform and Dovecy transform.
  • FFT Fast Fourier Transform
  • DFT Discrete Fourier Transform
  • wavelet analysis such as Haar transform and Dovecy transform.
  • the pulse rate can be obtained in a short time by obtaining an average frequency component with a predetermined number of sample points without requiring a long measurement time by using frequency analysis.
  • the pulse wave time information is, for example, a rise time or a fall time of the pulse wave.
  • the time information calculation unit 119-5-2 includes a spline interpolation processing unit 119-5-2-1, a first-order differentiation processing unit 119-5-2-2, a rise time calculation unit 119-5-2-3, and a fall time. It comprises a calculation unit 119-5-2-4.
  • the spline interpolation processing unit 119-5-2-1 performs spline interpolation on the pulse wave signal input from the pulse wave signal generation unit 119-4 to convert it into continuous data having a high sampling rate.
  • a pulse wave signal from a camera image of about several tens Hz is pulled up to 1 kHz by interpolation processing.
  • the interpolation method is not limited to spline interpolation, and may be Newton interpolation, linear interpolation, and Lagrange interpolation.
  • the first-order differentiation processing unit 119-5-2-2 calculates the first-order derivative of the pulse wave signal with respect to the pulse wave signal complemented with splines.
  • the rise time calculation unit 119-5-2-3 calculates the rise time of the pulse wave from the first derivative of the input pulse wave signal. Specifically, the rise time of the pulse wave is calculated by measuring the time from when the signal after the first-order differential calculation zero-crosses with a positive slope until it zero-crosses with a negative slope.
  • the first-order derivative processing unit 119-5-2-2 and the rise time calculation unit 119-5-2-2 have a method for deriving the rise time of a series of pulse waves.
  • a wave obtained from a signal obtained by calculating the second derivative of the pulse wave signal (acceleration pulse wave) to a d wave (post-retraction late fall)
  • the fall time calculation unit 119-5-2-4 calculates the fall time from the rise time calculated by the rise time calculation unit 119-5-2-3 and the pulse rate calculated by the pulse rate calculation unit 119-5-1. calculate. Specifically, the pulse wave cycle is obtained from the reciprocal of the pulse rate, and the pulse wave fall time is calculated by subtracting the rise time from the pulse wave cycle. The calculation of the pulse wave fall time is also derived by measuring the time from when the first derivative signal of the pulse wave signal crosses zero with a negative slope to zero cross with a positive slope. Moreover, you may obtain
  • the pulse wave cycle is obtained from the reciprocal of the pulse rate
  • the pulse wave information estimation unit 119-6 estimates the pulse wave information of the user 700 based on the calculated pulse wave raw information.
  • the estimated pulse wave information is, for example, an estimated blood pressure value based on a relational expression between the pulse rate and pulse wave time information of the pulse wave raw information and the blood pressure value (step S409).
  • the pulse wave information acquisition terminal 100 displays the blood pressure value as pulse wave information on the display unit 117 as shown in FIG.
  • the determination information that the user has high blood pressure, low blood pressure, or normal blood pressure is displayed on the display unit 117, and the user 700 It may be shown in Further, information that the blood pressure state is improved, deteriorated, or maintained may be displayed based on the blood pressure value estimated in the past of the user 700 stored in the other storage area 105-6. Further, the raw pulse wave information such as the pulse rate, rise time, and fall time may be displayed as pulse wave information as it is. As described above, the pulse wave information acquisition process is completed when the pulse wave information estimation unit 119-6 acquires the pulse wave information (step S410). Simultaneously with the end of the pulse wave information acquisition process, the control of the display unit illumination 701 is also ended.
  • the display processing unit 118 when the pulse wave information is acquired, causes the light emitting unit 117-1, the liquid crystal unit 117-2, and the color filter unit 117-3 that constitute the display unit 117 to be displayed.
  • the light wavelength of the display unit illumination light 701 is appropriately controlled. This makes it possible to acquire a noise component necessary for generating a pulse wave signal with high accuracy and improve the signal quality of the pulse wave signal. By improving the signal quality of such a pulse wave signal, the accuracy of the pulse wave information can be improved.
  • the pulse wave information acquisition terminal 100 in the first embodiment is not limited to the configuration shown in FIG.
  • a configuration in which the pulse wave information acquisition terminal 100 is connected to the cloud server 1001 via the network 1000 may be used.
  • the pulse wave information acquisition terminal 100 performs processing for acquiring a biological image, and the biological image is transmitted from the LAN communication unit 114 to the cloud server 1001 connected via the network 1000, and on the cloud server 1001. Processing of the pulse wave signal processing unit 119 is performed until the pulse wave information is acquired from the biological image.
  • the obtained pulse wave information is returned again to the pulse wave information acquisition terminal 100 via the network 1000, and necessary information is displayed on the user 700 by the display unit 117.
  • encryption / decryption is appropriately performed between the pulse wave information acquisition terminal 100 and the cloud server 1001. It shall be. Further, encryption / decryption may be performed using a part of the biological image or pulse wave information as key information.
  • a storage unit (not shown) is provided in the cloud server 1001 to store all or part of the pulse wave signal, pulse wave raw information, and pulse wave information, and from the pulse wave information acquisition terminal 100 or another terminal or application. You may make it utilize as needed.
  • FIG. 11 shows an example of the configuration of another pulse wave information acquisition terminal 100.
  • the input to the pulse wave information acquisition terminal 100 is not the body part 200 but the living body image 1100 stored in the other storage area 105-6 or the like.
  • the input since the input is already a biological image, the input is input to the pulse wave signal processing unit 119 as it is. Since the subsequent processing is the same as in FIG. 2, the description thereof is omitted.
  • FIG. 12 shows an example of the configuration of another pulse wave information acquisition terminal 100.
  • the pulse wave information acquisition terminal 100 is connected to the cloud server 1001 via the network 1000.
  • the input is a biological image 1100.
  • the input is directly input to the pulse wave signal processing unit 119 in the cloud server 1001 connected from the LAN communication unit 114 via the network 1000. Since the subsequent processing is the same as that in FIG. 10, the description thereof is omitted.
  • the configuration of the pulse wave information acquisition terminal 100 is not limited to that shown in the above configuration, and other configurations are possible as long as pulse wave information can be acquired from an input such as a living body part 200 or a living body image 1100. May be adopted.
  • the non-contact blood pressure measurement based on the image can acquire information without imposing a burden on the user at the time of blood pressure measurement because there is no pressure on the living body due to the cuff.
  • a pulse wave sensor that can be always worn on a human arm or the like is a contact type, but by taking advantage of the constant wearing, it always acquires the user's pulse wave and blood pressure information for one day.
  • the pulse wave information acquisition terminal 100 can easily measure without contact.
  • the RGB camera 120-1 which is the biological information acquisition unit 120 is maintained while maintaining a state suitable for acquiring a pulse wave signal for non-contact blood pressure measurement by video. It is difficult to realize a lifestyle in which the user stays in the field of vision.
  • a state suitable for acquiring a pulse wave signal can be efficiently provided, and non-contact blood pressure measurement using video can be performed with high accuracy and high frequency.
  • a possible pulse wave information acquisition terminal 100 is provided. As a result, it is possible to manage the user's health condition in one day of the user like a pulse wave sensor that can be always worn.
  • the pulse wave information acquisition terminal 100 according to the second embodiment will be described with reference to the drawings. Note that the configuration of the pulse wave information acquisition terminal 100 according to the second embodiment has the same configuration as that of the first embodiment unless otherwise specified.
  • the match rate confirmation unit 116 includes a tracking unit 116-1, a region extraction unit 116-2, and a collation unit 16-3.
  • the display processing unit 118 appropriately controls the display unit 117 when acquiring the pulse wave information.
  • the display unit illumination light 701 is provided which can illuminate the living body part 200 by light emission from the display unit 117 and can improve the signal quality of the pulse wave signal.
  • the pulse wave information acquisition terminal 100 uses the infrared light emitting unit 120-2 and the infrared camera 120-3 to generate an image of an eye in the infrared wavelength band of the individual's eyes (hereinafter, infrared both eyes). Image) and using the infrared binocular image as authentication information in terminal lock control, the terminal can be locked by iris authentication.
  • non-contact blood pressure information acquisition by the pulse wave information acquisition terminal 100 is performed simultaneously with the timing at which the terminal lock is unlocked by iris authentication. Thereby, the improvement of the acquisition environment of blood pressure information and blood pressure information suitable for acquisition of a pulse wave signal is realized, thereby enabling management of the user's health condition on the user's day.
  • the pulse wave pulse information acquisition process at the time of iris authentication is started by an operation of an application or the like by the user of the pulse wave information acquisition terminal 100 via the operation unit 112.
  • the display processing unit 118 displays the light emitting unit 117-1, the liquid crystal unit 117-2, and the color filter unit 117-3 as in the first embodiment.
  • the control of the display unit illumination light 701 is started.
  • the light emission control of the infrared light emitting unit 120-2 is started simultaneously (step S1402).
  • a living body image is acquired as time series data of RGB living body images by measuring the living body part 200 with the RGB camera 120-1.
  • an infrared binocular image obtained by imaging the reflection of the infrared biological part 200 emitted from the infrared light emitting unit 120-2 by the infrared camera 120-3, particularly from the vicinity of the eyes is acquired (step S1403).
  • the biological image acquired by the RGB camera is input to the tracking unit 119-1 of the pulse wave signal processing unit 119.
  • the infrared binocular image acquired by the infrared camera 120-3 is input to the tracking unit 116-1 of the coincidence rate confirmation unit 116.
  • the infrared binocular image is generated without causing specular reflection from the cornea of the eye in front of the iris. Can be obtained.
  • the tracking unit 119-1 and the tracking unit 116-1 are based on the time series data of the input biological images and infrared eyes image. The number of persons included in a non-specific number in the biological image is determined, and an individual ID is assigned to each individual.
  • step S1404 After giving the ID, a part of the living body of each person is tracked in time series data in association with the ID and managed as the living body information of the same person (step S1404).
  • the subsequent steps S1405, S1406, S1407, S1408, and S1409 in the pulse wave signal processing unit 119 for the biological image acquired in step S1404 are the same as steps S405, S406, S407, and S407 in FIG. Since it is exactly the same as S408 and step S409, the description thereof is omitted.
  • step S1410 the control unit 101 has confirmed whether the authentication information match in the iris authentication in the match rate confirmation unit 116 described later has been confirmed, or the authentication in the iris authentication has timed out. Confirm. If it is determined No in step S1410, the process proceeds to step S1410 again, and step S1410 is repeated until it is determined Yes. When it determines with Yes in step S1410, it transfers to step S1418.
  • step S1404 The processing for the time series data of the infrared binocular image acquired in step S1404 will be described in steps subsequent to step S1411.
  • the coincidence rate confirmation unit 116 determines whether or not the iris authentication has passed a predetermined authentication time-out period (step S1411). If the coincidence rate confirmation unit 116 determines Yes in step S1411, it determines that the authentication timeout period has passed, ends the iris authentication process, and proceeds to step S1418. When it determines with No in step S1411, it transfers to step S1412 and an iris authentication process is continued.
  • the region extraction unit 116-2 is a processing unit that extracts an iris region from the time series data of the infrared binocular image.
  • the region extraction processing will be described with reference to FIG.
  • the pulse wave information acquisition terminal 100 includes an RGB camera 102-1, an infrared light emitting unit 102-2, and an infrared camera 102-3 display unit 117 on the user 700 side.
  • the region extraction unit 116-2 extracts a region based on a predetermined iris portion from the infrared binocular image for each ID tracked by the tracking unit 116-1. For example, an iris region based on both eyes is extracted. At this time, as shown in FIG.
  • the display processing unit 118 displays an image obtained by superimposing the both-eye guide 1500 on the infrared both-eye image of the user 700, for example, an overlay.
  • the processed image is displayed on the display unit 117.
  • the input infrared binocular image is associated with the ID of the infrared binocular image by executing a recognition technique such as template matching using the organs of both eyes such as the eyes, eyes, upper eyelid, and lower eyelid as specific parts.
  • the iris area for each person is extracted.
  • the region extraction unit 116-2 outputs an iris image corresponding to the iris region extracted in association with the ID to the collation unit 116-3 (step S1412).
  • the collation unit 116-3 Based on the input iris image, the collation unit 116-3 performs collation processing based on the authentication information based on the iris image recorded in advance by the user 700 and stored in the authentication information storage area 105-1 (step S1413). . As a result of the collation process in step S1413, when the collation unit 116-3 determines that there is a mismatch with the authentication information (No in step S1414), the process proceeds to step S1411 and the authentication process is continued again. On the other hand, when the collation unit 116-3 determines that it matches the authentication information (Yes in step S1414), the information is transmitted to the terminal lock control unit 115, and the terminal lock is released (step S1415). After the terminal lock is released, the process proceeds to step S1416.
  • step S1416 the control unit 101 determines whether or not the pulse wave information estimation process, that is, the pulse wave information estimation process (step S1409) by the pulse wave information estimation unit 119-6 has been completed, according to an application algorithm or the like. . When it determines with No in step S1416, it transfers to step S1417.
  • FIG. 16 is a schematic diagram showing a state of a screen displayed on the display unit 117 when the iris authentication is completed before the acquisition of the pulse wave information in the acquisition of the pulse wave information during the iris authentication process.
  • processing at the time of acquiring pulse wave information spline interpolation or the like is performed so that accurate pulse wave information can be acquired even in a short pulse wave acquisition time.
  • the frequency of 0.5 Hz to 4 Hz it takes several seconds to acquire data for a plurality of cycles.
  • the time required for the iris authentication process is a frame period and a processing time of one sheet at the shortest when the collation process using the acquired iris image is normally completed, and is a time of 1 second or less.
  • the terminal lock by the iris authentication process is released, so that the user can operate the terminal after the lock is released.
  • the display of the binocular guide 1500 for guiding the user 700's face to a specific position as shown in FIG. 15 disappears, and as a result, the user 700 moves the face remarkably, and the pulse wave acquisition accuracy There is a concern that it will decrease.
  • the information is displayed on the display unit 117 so as to be notified on a subsequent screen by a PinP (Picture in Picture) 1600 in FIG.
  • the user 700 knows that the pulse wave information acquisition process is continuing from the display of the PinP 1600, so that it is possible to acquire a highly accurate pulse wave without moving the face, and to perform the operation after the terminal lock is released. Can be done in parallel.
  • FIG. 17 shows the display unit illumination light 701 for the face portion 1700 of the user 700 when using the pulse wave information acquisition terminal 100, the center line 1701 of the pulse wave information acquisition terminal 100 and the display unit 117, and the field of view of the infrared camera 102-3.
  • FIG. 10 is a schematic diagram illustrating the relationship between 1702 and the visual field 1703 of the RGB camera 102-1 from the upper viewpoint of the user 700.
  • the image acquired by the infrared camera 102-3 is usually displayed on the display unit 117 in real time as shown in FIG. FIG.
  • FIG. 18 shows a geometrical relationship when the center of the binocular guide 1500 is aligned with the center of the visual field of the infrared camera 102-3 when the binocular guide 1500 is overlaid on the image of the infrared camera 102-3.
  • FIG. 18A is a schematic diagram in which an infrared image of the face portion 1700 acquired by the infrared camera 102-3 is displayed by superimposing a distribution diagram expressing the intensity of the binocular guide 1500 and the display portion illumination light 701 by color shading. It is.
  • FIG. 18B is a distribution diagram in which the intensity of the display unit illumination light 701 is expressed by color shading.
  • FIG. 18C shows a distribution map in which the intensity of the display unit illumination light 701 is expressed by color shading on the RGB image of the face 1700 acquired by the RGB camera at the same time as FIG. 18A.
  • FIG. 18A is a schematic diagram in which an infrared image of the face portion 1700 acquired by the infrared camera 102-3 is
  • the user 700 usually tries to align the face part 1700 with the both-eye guide, so the center of the face part 1700 is the center of the both-eye guide 1500, that is, in the case of FIG. This coincides with the center of the field of view of the camera 102-3.
  • the pulse wave information acquisition terminal 100 is a smart phone
  • a speaker or a microphone is often positioned at the center of the upper or lower portion of the smart phone.
  • the optical systems of the RGB camera 102-1 and the infrared camera 102-3 are positioned at either the left or right end.
  • the display unit 117 has been devised to widen the angle of the light intensity distribution of the light emitting unit 117-1 by providing a scattering layer or the like. Highest strength in front. As a result, the intensity of the display unit illumination 701 is lower than that of the display unit center line 1701 at the visual field center of the infrared camera 102-3 and the RGB camera 102-1. As a result, in the image 1800 of the center part of the face extracted by the area extraction unit 119-2 indicated by the dotted circle in FIG.
  • the display processing unit 118 displays the center of the binocular guide 1500 so that it is closer to the display center 1701 than the center of the visual field of the infrared camera 102-3 (dotted line square in the figure).
  • the center of the binocular guide 1500 is brought closer to the display center 1701 than the center of the visual field of the infrared camera 102-3.
  • FIG. 19C the nonuniformity of the light intensity distribution in the image 1800 of the face center portion is improved, and the quality of the pulse wave signal can be improved.
  • the signal quality of the pulse wave signal can be improved.
  • non-contact blood pressure information acquisition is performed simultaneously with the acquisition of pulse wave information at the timing when the terminal lock is unlocked by iris authentication, and the display position of the both-eye guide 1500 is changed by the display processing unit 118. It is displayed at a geometric position suitable for acquisition of a wave signal.
  • the authentication information 105-1 used in the verification unit 116-3 at the time of authentication is not limited to iris information, and authentication information obtained from pulse wave information may be used in combination.
  • the pulse wave information acquisition terminal 100 does not necessarily have to simultaneously acquire pulse waves at the time of iris authentication, and can set whether to acquire pulse waves at the time of terminal lock control by iris authentication in the setting. Shall.
  • RGB camera 120-1 was used for non-contact blood pressure measurement by video. As described above, this uses the characteristic that the absorbance of hemoglobin in blood is large in the G component and low in the R component in the RGB camera 120-1.
  • the pulse wave information acquisition terminal 100 is used for a surveillance camera or an indoor monitoring camera instead of a mobile terminal such as a smart phone or a mobile phone
  • a mobile terminal such as a smart phone or a mobile phone
  • an environment that requires night vision without sunlight or a visible light wavelength May not be able to be lit at all times, or an environment in which the display unit illumination light 701 having a visible light wavelength cannot sufficiently illuminate the person to be monitored and watched.
  • a passive sensor that passively captures environmental light that illuminates the body part 200 is used.
  • the RGB camera 120-1 as an active sensor, it is necessary to illuminate the body part 200 with the infrared light emitting unit 120-2 and to image it with the infrared camera 120-3.
  • the absorbance of hemoglobin is about 30 to 50 times worse than the G component (525 nm).
  • the active infrared light emitting unit 120-2 and the infrared camera 120-3 are not always used, but appropriately the passive type according to the conditions such as ambient light. It is necessary to switch to use with the RGB camera 120-1. Therefore, in the third embodiment, the passive RGB camera 120-1, the active infrared light emitting unit 120-2, and the infrared camera 120-3 are switched and used.
  • an infrared light emitting unit 120-2 is provided in the casing of the pulse wave information acquisition terminal 100 separately from the optical system for imaging.
  • an infrared LED or the like is used as means for realizing the infrared light emitting unit 120-2.
  • One pixel of the image sensor has an IR (InfraRed) sub-pixel in addition to a sub-pixel for each wavelength of RGB. Note that the shape, order, and arrangement direction of the subpixels are not limited to those shown in FIG. 20, and may be an arrangement in which only the pixel size of a specific wavelength is large, for example.
  • IR InfraRed
  • the pulse wave information acquisition terminal 100 shown in FIG. 21 has an RGB camera 120-1 and an infrared camera 120-3 as separate bodies.
  • Means for realizing the infrared light emitting unit 120-2 is realized by, for example, an infrared LD (Laser Diode) and a diffusion plate.
  • the configuration of the pulse wave information acquisition terminal 100 according to the third embodiment will be described.
  • the structure of the pulse wave information acquisition terminal 100 of Example 3 shall have the same structure as Example 1 at least unless there is particular notice.
  • the pulse wave signal processing unit 119 is the same as the first embodiment, and includes a tracking unit 119-1, a region extraction unit 119-2, a statistical processing unit 119-3, and a pulse wave signal generation unit 119. ⁇ 4, in addition to the pulse wave detection unit 119-5 and the pulse wave information estimation unit 119-6, a pulse wave noise calculation unit 119-7 and a signal selection unit 119-8 are included.
  • FIG. 23 is a flowchart showing a method of G-wave and IR-component selection type pulse wave information acquisition processing. 23, step S2301, step S2302, step S2303, step S2304, step S2305, and step S2306 are the same as those in FIG. Since this is the same as step S406, its description is omitted.
  • step S2307 the average luminance value of each pixel of the partial image for each RGB and IR wavelength calculated in step S2306 is input to the pulse wave signal generation unit 119-4 by the statistical processing unit 119-3.
  • the processing of the signal generation unit 119-4 in the third embodiment will be described with reference to FIG.
  • FIG. 24 illustrates a configuration in the case of detecting a pulse wave signal by canceling a noise component in the time domain. Since the G component pulse wave signal is generated by the same method as in FIG. 5, the description thereof is omitted.
  • the pulse wave signal of the IR component passes the BPF 119-4-10 that passes the signal component of the frequency band that the pulse wave can take, for example, the frequency band of 0.5 Hz or more and 4 Hz or less, like the G component.
  • the BPF 119-4-10 that passes the signal component of the frequency band that the pulse wave can take, for example, the frequency band of 0.5 Hz or more and 4 Hz or less, like the G component.
  • no other signal processing is performed thereafter.
  • the signal that has passed through the BPF 119-4-10 is used as a pulse wave signal, and unlike the G component, no other noise reduction processing is performed (step S2307).
  • the pulse wave signal of the G component is input to the pulse wave noise calculation unit 119-7.
  • the pulse wave noise calculation unit 119-7 calculates a signal-to-noise ratio SNR as an evaluation index related to the signal quality of the pulse wave signal of the G component based on Equations 4, 5, and 6.
  • the calculation result is input to the signal selection unit 119-8.
  • the signal selection unit 119-8 compares the input SNR with a predetermined threshold value SNR_th (step S2308). If the SNR is greater than SNR_th as a result of the comparison, the process proceeds to step S2309, and the pulse wave signal of the G component is input to the pulse wave detector 119-5 (S2309). On the other hand, when the SNR is smaller than SNR_th, the pulse wave signal of the IR component is input to the pulse wave detector 119-5 (S2310).
  • step S2311 and step S2312 in FIG. 23 are the same as step S408 and step S409, and thus description thereof is omitted. Then, the pulse wave information is output by the pulse wave information estimation unit 119-6, whereby the pulse wave information acquisition process ends (step S2313).
  • the passive RGB camera 120-1, the active infrared light emitting unit 120-2, and the infrared camera 120-3 are used by using the SNR that is an indicator of the signal quality of the pulse wave signal.
  • the signal quality of the pulse wave signal can be improved by appropriately switching and using and in accordance with conditions such as ambient light. Thereby, the accuracy of pulse wave information can be improved.
  • the signal selection criterion in the signal selection unit 119-8 in the third embodiment is not necessarily limited to the SNR.
  • the brightness around the pulse wave information acquisition terminal 100 may be acquired as the light intensity by the illuminance sensor 110 and compared with a predetermined threshold value.
  • non-contact blood pressure measurement using an image is based on the pulse wave information acquisition terminal 100 using a two-dimensional array of image sensors.
  • non-contact blood pressure measurement using images is performed by using an optical scanning sensor that uses an optical scanning device such as a MEMS (Micro Electro Mechanical Systems), KTN (potassium niobate niobate) crystal, or an optical phased array. You may perform using the time series data of the acquired gray scale biological image.
  • FIG. 26 is a diagram showing the scanning locus of the light spot of the optical scanning sensor 120-4.
  • FIG. 26A shows a state where the horizontal axis is designed as a resonance axis and the vertical axis is designed as a non-resonance axis.
  • the third embodiment aims to realize a non-contact blood pressure measurement using a higher-accuracy video using this feature.
  • the scanning interval corresponding to the region is made denser than usual.
  • the number of vertical scans of the biological image including the pulse wave information is increased from the rough state of FIG. 26A, thereby achieving high accuracy when acquiring the pulse wave information.
  • the state before the detection of the face area of the living body and the reason for using a coarse number of scans other than the face area include the frame rate. That is, the resolution increases in an area where the number of scans is dense, but the frame rate decreases because the time required for scanning and signal processing increases compared to a rough area.
  • the configuration of the pulse wave information acquisition terminal 100 of the fourth embodiment is assumed to have the same configuration as that of the first embodiment unless otherwise specified.
  • the pulse wave signal processing unit 119 according to the third embodiment is similar to the first embodiment in that a tracking unit 119-1, a region extraction unit 119-2, a statistical processing unit 119-3, and a pulse wave signal generation unit 119 are used. -4, a pulse wave detector 119-5, and a pulse wave information estimator 119-6.
  • the biometric information acquisition unit 120 includes an infrared light emitting unit 120-2 and an optical scanning sensor 120-4. As means for realizing the infrared light emitting unit 120-2 in the third embodiment, for example, an infrared LD or the like is used.
  • the optical scanning sensor 120-4 includes, for example, an optical scanning unit 120-4-1, a light receiving unit 120-4-2, an optical scanning angle detection unit 120-4-3, and a light intensity information memory 120-4-. 4 and an optical scanning angle control unit 120-4-5.
  • the scanning angle control unit 120 detects the light spot of the infrared light emitting unit 120-2. Scanning is performed by the optical scanning unit 120-4-1 controlled by -4-5. Then, in address information management based on the information of the current scanning angle obtained from the optical scanning angle detection unit 120-4-2, the light intensity received by the light receiving unit 120-4-2 at each sample point. The biological image is acquired by storing in the light intensity information memory 120-4-4.
  • the pulse wave signal information acquisition process by the optical scanning sensor is started by an operation of an application or the like by the user of the pulse wave information acquisition terminal 100 via the operation unit 112.
  • the pulse wave information acquisition process by the optical scanning sensor is started (step S2801), the scanning number selection and the imaging process are performed (step S2802).
  • step S2801 pulse wave signal information acquisition processing by the optical scanning sensor is started (step S2801)
  • step S2901 scanning number selection and imaging processing are started by the application (step S2901).
  • the optical scanning angle control unit 120-4-5 scans the field of view with a predetermined rough number of scans as shown in FIG.
  • the tracking unit 119-1 determines the number of persons included in the biological image based on the input biological image in the same manner as in step S404. Give an individual ID.
  • the region extraction unit 119-2 determines the presence / absence of a face region of a living body in the image by executing recognition of a face region such as template matching based on prior teacher data (step S2903). When it determines with No in step S2903, it transfers to step S2903 again and step S2903 is repeated until it determines with Yes. When it determines with Yes in step S2903, it transfers to step S2904.
  • the vertical scanning position Y is derived based on the angle of the optical scanning unit 120-4-1 by the scanning angle detection unit 120-4-3.
  • the scanning angle detector 120-4-3 is realized using, for example, an optical encoder.
  • step S2905 the scanning angle control unit 120-4-5 determines whether the vertical scanning position Y is substantially equal to Ymax based on the current scanning angle information obtained from the optical scanning angle detection unit 120-4-3. Determine whether or not. If it is determined No in step S2905, the process proceeds to step S2906. In step S2906, based on the current scanning angle information obtained by the scanning angle control unit 120-4-5 from the optical scanning angle detection unit 120-4-3, whether or not the current vertical scanning position Y is within Yface. Determine. If it is determined No in step S2906, the process proceeds to step S2907, and the scanning angle control unit 120-4-5 sets the angular velocity ⁇ of vertical scanning to the value ⁇ s when the number of vertical scanning is coarse (step S2907), and then step S2907. The process shifts again to S2905.
  • step S2906 if YES is determined in step S2906, the process proceeds to step S2908, and the scanning angle control unit 120-4-5 sets the angular velocity ⁇ of the vertical scanning to the value ⁇ s / 2 when the vertical scanning number is coarse ( Step S2907) and the process proceeds to Step S2905 again.
  • step S2905 the process proceeds to step S2909, and the scanning number selection and the imaging process are completed (step S2909).
  • step S2802 the living body image obtained in step S2802 is input to the pulse wave signal processing unit 119 as input data.
  • Steps S2803 and S2804 in FIG. 28 are the same as steps S404 and S405 in FIG. 4 except for the difference in wavelength components, and thus description thereof is omitted. Since the next step S2805, step S2806, and step S2807 are also the same as the processing for the IR component in step S2307, step S2311, and step S2312, the description thereof will be omitted.
  • the pulse wave information obtaining process is completed when the pulse wave information estimation unit 119-6 outputs the pulse wave information (step S2808).
  • the number of scans used for acquiring the pulse wave information uses a dense value
  • the resolution output as a camera image is a non-linear image due to an increase in only a certain part of the face region. Any one of the scans may be displayed, or an average value of data obtained by a plurality of scans may be displayed.
  • the scanning interval of the corresponding section in the face region is set to be higher than usual. And thereby, the number of vertical scans of the biological image including the pulse wave information can be increased, and the signal quality of the pulse wave signal can be improved. As a result, the accuracy of the pulse wave information is improved.
  • FIG. 30 shows an example of using the pulse wave information acquisition terminal 100 in the third embodiment.
  • an optical scanning pulse wave information acquisition terminal 100 is used as a pool swimmer monitoring camera.
  • the number of normal vertical scans is rough, but detection of a sudden pulse wave fluctuation (hereinafter referred to as abnormal pulse wave) observed when a swimmer drowns as shown in FIG. It is good also as a judgment standard.
  • the field of view is scanned with the predetermined number of coarse scans, and normal pulse wave information income processing is performed based on the acquired image.
  • a sudden pulse change or the like is found in the acquired time-series data of the pulse rate, it is determined as abnormal pulse wave detection, and the vertical scanning angular velocity ⁇ is vertical only at the scanning position including the face area of the corresponding individual ID.
  • the value is set to ⁇ s / 2 when the number of scans is coarse.
  • the abnormal pulse wave detection may be determined when a value exceeding a predetermined threshold value is monitored by monitoring the first-order differential value of the time-series data of the number of pulse stays.
  • the vertical scanning in the fourth embodiment is not necessarily limited to the trigonometric function of the angular velocity ⁇ as described above, and may be any function that can be scanned in a repeated cycle. For example, another function such as a sawtooth wave or a triangular wave may be used. In the case of these functions, it is only necessary to switch to change the density of the vertical scanning number as long as the coefficient corresponds to the time change, such as the angular velocity ⁇ for the trigonometric function.
  • the switching of the coefficient at that time is not necessarily a half of half as in the description of step S2908, and may be a process of switching to another value. Further, on the assumption that the axis is a non-resonant axis, the axis for switching the density does not necessarily need to be vertical, and the horizontal axis may be switched, or both the vertical and horizontal may be switched.
  • a pulse wave information acquisition terminal 100 shown in FIG. 31 is mounted on a PC (Personal Computer) 3100.
  • the pulse wave information acquisition terminal 100 includes an RGB camera 120-1, an infrared light emitting unit 120-2, an infrared camera 120-3, and a display unit 117.
  • the display unit 117 acquires a biological image while illuminating the user 700 with the display unit illumination light 701 capable of improving the signal quality of the pulse wave signal by the control of the display processing unit 118, and the pulse wave based on the acquired biological image. Get information.
  • the RGB camera 120-1 acquires a living body image including the body part 200.
  • the signal selection unit 119-8 can switch the biological image between the G wavelength and the IR wavelength according to the state of the ambient light or the illumination light 701.
  • the signal selection unit 119-8 may switch based not only on the SNR of the pulse wave signal but also on the information of the illuminance sensor 110.
  • the biological information acquisition unit 120 may be an optical scanning sensor 120-4. In this case, the scanning interval corresponding to the face region is made finer than usual, thereby increasing the number of vertical scans of the biological image including the pulse wave information, thereby improving the accuracy when acquiring the pulse wave information.
  • blood pressure information can be displayed to the user 700 by a liquid crystal display as the display unit 117 of the PC.
  • Information to be displayed may display a pulse rate in addition to blood pressure information.
  • the worker's fatigue level and stress level are measured using blood pressure information and pulse during PC work, and a warning screen is displayed on the display unit 117 when a certain threshold is exceeded. May be displayed, or the display unit 117 may be turned off.
  • the pulse wave information acquisition terminal 100 includes a biological information acquisition unit 120.
  • the RGB camera 120-1 acquires a living body image including the body part 200.
  • an infrared light emitting unit 120-2 and an infrared camera 120-3 are provided, and the signal selection unit 119-8 can switch the biological image between the G wavelength and the IR wavelength according to the state of the ambient light and the illumination light 701. It is.
  • the signal selection unit 119-8 may switch based not only on the SNR of the pulse wave signal but also on the information of the illuminance sensor 110.
  • the biological information acquisition unit 120 may be the optical scanning sensor 120-4.
  • the number of vertical scans of the biological image including pulse wave information is increased by making the scanning interval corresponding to the face region closer than usual.
  • pulse wave information can be displayed to the user 700 by a meter panel (not shown).
  • the user 700 can confirm blood pressure information and pulse wave information while driving a car.
  • the awakening level of the user 700's consciousness estimated from the time series data of the pulse wave may be displayed.
  • pulse wave information with a sign that the consciousness arousal level of the user 700 is remarkably lowered or is lowered is displayed on the sound, vibration, and meter panel, an alert is displayed to the user 700.
  • the pulse wave information of the user 700 may be acquired at the start of driving, and not only the physical condition of the user but also the pulse wave authentication may be performed so that only the authorized user 700 can drive.
  • the pulse wave information acquisition terminal 100 includes an RGB camera 120-1, an infrared light emitting unit 120-2, an infrared camera 120-3, a terminal lock control unit 115, a coincidence rate confirmation unit 116, and a display unit 117.
  • the display unit 117 acquires a biological image while illuminating the user 700 with the display unit illumination light 701 capable of improving the signal quality of the pulse wave signal under the control of the display processing unit 118, and based on the acquired biological image.
  • Wave information can be acquired.
  • the RGB camera 120-1 acquires a biological image including the biological part 200.
  • the signal selection unit 119-8 can switch the biological image between the G wavelength and the IR wavelength according to the state of the ambient light or the illumination light 701.
  • the biological information acquisition unit 120 may be the optical scanning sensor 120-4.
  • the number of vertical scans of the biological image including pulse wave information is increased by making the scanning interval corresponding to the face region closer than usual.
  • iris authentication using the infrared light emitting unit 120-2 and the infrared camera 120-3 is possible as personal authentication when using the bank ATM 3300.
  • the personal authentication at the time of using the bank ATM 3300 is not limited to iris authentication, but may be fingerprint authentication, finger vein authentication, palm print authentication, face authentication, or other authentication.
  • the pulse wave information acquisition terminal 100 shown in FIG. 34 is mounted on the security door 3400.
  • the pulse wave information acquisition terminal 100 includes an RGB camera 120-1, an infrared light emitting unit 120-2, an infrared camera 120-3, a terminal lock control unit 115, and a coincidence rate confirmation unit 116.
  • the RGB camera 120-1 acquires a living body image including the body part 200.
  • the signal selection unit 119-8 can switch the biological image between the G wavelength and the IR wavelength according to the state of the ambient light or the illumination light 701.
  • the biological information acquisition unit 120 may be an optical scanning sensor 120-4.
  • iris authentication can be performed by the infrared light emitting unit 120-2 and the infrared camera 120-3 as personal authentication when the security door 3400 is used. Further, by performing pulse wave authentication based on pulse wave information simultaneously measured at the time of authentication, a secure security door 3400 that is difficult to impersonate can be realized.
  • the personal authentication when using the security door 3400 is not limited to iris authentication, but may be fingerprint authentication, finger vein authentication, palm print authentication, face authentication, or other authentication.
  • the pulse wave information acquisition terminal 100 shown in FIG. 35 is mounted on a security door 3500 with a monitor.
  • the pulse wave information acquisition terminal 100 includes an RGB camera 120-1, an infrared light emitting unit 120-2, an infrared camera 120-3, a terminal lock control unit 115, a coincidence rate confirmation unit 116, and a display unit 117.
  • the display unit 117 acquires a biological image while illuminating the user 700 with the display unit illumination light 701 capable of improving the signal quality of the pulse wave signal by the control of the display processing unit 118, and the pulse wave based on the acquired biological image. Information can be acquired.
  • the RGB camera 120-1 acquires a biological image including the biological part 200.
  • the signal selection unit 119-8 can switch the biological image between the G wavelength and the IR wavelength according to the state of the ambient light or the illumination light 701.
  • the biological information acquisition unit 120 may be the optical scanning sensor 120-4. In this case, the number of vertical scans of the biological image including pulse wave information is increased by making the scanning interval corresponding to the face region closer than usual. To improve accuracy when acquiring pulse wave information.
  • iris authentication can be performed by the infrared light emitting unit 120-2 and the infrared camera 120-3 as personal authentication when the security door with monitor 3500 is used. Further, by performing pulse wave authentication based on pulse wave information simultaneously measured at the time of authentication, it is possible to realize a secure security door 3500 with a monitor that is difficult to impersonate.
  • the personal authentication at the time of using the security door with monitor 3500 is not limited to iris authentication, but may be fingerprint authentication, finger vein authentication, palm print authentication, face authentication, or other authentication.
  • the pulse wave information acquisition terminal 100 shown in FIG. 36 is implemented in the watching system 3600.
  • the pulse wave information acquisition terminal 100 includes an RGB camera 120-1, an infrared light emitting unit 120-2, an infrared camera 120-3, a display unit 117, a network 1000, and a cloud server 1001.
  • the RGB camera 120-1 acquires a biological image including the biological part 200 of the watching target person 3601.
  • the acquired biological image is sent to the cloud server 1001 via the network 1000, and pulse wave information is obtained by a pulse wave signal processing unit 119 (not shown) in the cloud server.
  • the signal selection unit 119-8 can switch the biological image between the G wavelength and the IR wavelength according to the state of the ambient light or the illumination light 701.
  • the biological information acquisition unit 120 may be an optical scanning sensor 120-4.
  • the scanning interval corresponding to the face region closer than usual, the number of vertical scans of the biological image including the pulse wave information is increased, thereby achieving high accuracy when acquiring the pulse wave information.
  • the acquired blood pressure information and pulse wave information of the person to be watched 3601 are transmitted to the user's portable terminal (not shown) via the network 1000.
  • the pulse wave information acquisition terminal 100 shown in FIG. 37 (a) is implemented in the production line monitoring system 3700.
  • the pulse wave information acquisition terminal 100 includes an RGB camera 120-1, an infrared light emitting unit 120-2, an infrared camera 120-3, and a display unit 117.
  • the display unit 117 acquires a biological image while illuminating the user 700 with the display unit illumination light 701 capable of improving the signal quality of the pulse wave signal by the control of the display processing unit 118, and based on the acquired biological image.
  • Get pulse wave information The RGB camera 120-1 acquires a biological image including the biological part 200.
  • the signal selection unit 119-8 can switch the biological image between the G wavelength and the IR wavelength according to the state of the ambient light or the illumination light 701.
  • the biological information acquisition unit 120 may be an optical scanning sensor 120-4.
  • the display unit 117 can display blood pressure information and pulse wave information to the user 700. Accordingly, the user 700 can check blood pressure information and pulse wave information while working on the production line.
  • the pulse wave information to be displayed the awakening level of the user 700's consciousness estimated from the time series data of the pulse wave may be displayed.
  • an alert is displayed with sound and vibration, and the user 700 is urged to pay attention. .
  • FIG. 37B shows an example of a screen displayed on the display unit 117 during normal work.
  • a screen prompting for a break with an alert is displayed in front of the normal display as shown in FIG.
  • the user 700 may be replaced with another person or a person on the production line may be added.
  • the time-series data of the awareness level of the user 700 it is possible to automatically determine whether the product is good or defective on the production line.
  • the man-hours and operations of the user 700 may be allocated based on the time series data of the awareness level of the user 700.
  • the pulse wave information acquisition terminal 100 shown in FIG. Wearable terminal 3800 includes RGB camera 120-1, infrared light emitting unit 120-2, and infrared camera 120-3.
  • the user 700 acquires a biological image including the biological body part 200 of the conversation person 3801.
  • the signal selection unit 119-8 can switch the biological image between the G wavelength and the IR wavelength according to the state of the ambient light or the illumination light 701.
  • the biological information acquisition unit 120 may be an optical scanning sensor 120-4. In this case, the scanning interval corresponding to the face area is set to be finer than usual. Thereby, the number of vertical scans of the biological image including the pulse wave information is increased, and high accuracy is obtained when acquiring the pulse wave information.
  • the pulse wave information of the conversation person 3801 is displayed on the display unit 117 of the eyewear type wearable terminal 3800.
  • the pulse wave information acquired by the wearable terminal 3800 is a mental state estimated by the pulse wave information estimation unit 119-6 from the pulse wave signal of the conversation person 3801.
  • the state of the autonomic nerve such as whether the conversation person 3801 is in a tension state or a relaxed state may be estimated from the pulse rate.
  • the state of the autonomic nerve may be estimated from the acceleration pulse wave. Accordingly, the user 700 can confirm the mental state of the conversation person 3801 in the conversation with the user 700 while talking with the conversation person 3801.
  • Pulse wave information acquisition terminal 101 Control unit 102 ... System bus 103 ... ROM 104 ... RAM 105: Storage unit 106 ... Acceleration sensor 107 ... Gyro sensor 108 ... Geomagnetic sensor 109 ... GPS receiver 110 ... Illuminance sensor 111 ... External I / F 112 ... Operation unit 113 ... Telephone network communication unit 114 ... LAN communication unit 115 ... Terminal lock control unit 116 ... Match rate confirmation unit 117 ... Display unit 118 ... Display processing unit 119 ... Pulse wave signal processing unit 120 ... Biological information acquisition unit 121 ... Speaker 122 ... Audio processing unit 123 ... Audio input unit

Abstract

脈波測定装置において、照明光を照射する照明部と、前記照明部からの照明光が照射された生体を含む画像を取得する生体情報取得部と、前記生体情報取得部が取得した前記画像から生体領域に対応する生体画像を抽出する領域抽出部と、前記領域抽出部が抽出した前記生体領域に対応した生体画像から脈波信号を生成する脈波信号生成部と、該脈波信号から脈波情報を取得する脈波信号処理部と、前記脈波信号処理部が取得した前記脈波情報を表示する表示部と、制御部と、を有する。前記制御部は、前記生体情報取得部で前記画像を取得し、前記脈波信号処理部で前記脈波情報を取得し、かつ前記表示部で前記脈波情報を表示する脈波情報取得表示動作を開始する際に、前記照明部を制御する。

Description

脈波測定装置、携帯端末装置及び脈波測定方法
　本発明は、脈波測定装置、携帯端末装置及び脈波測定方法に関する。
　人間の血圧を測定する血圧測定装置として、空気圧で膨張するカフと呼ばれるシートを用いた測定方法が広く知られている。最近では、カフの圧力を生体にかけることなく、一般的なカメラを用いて生体の一部を撮影することにより血液の脈動を映像として取得し、生体へ負担をかけることなく非接触で血圧を測定する方法が提案されている（例えば、特許文献１および特許文献２参照）。
ＷＯ２０１５１２１９４９（Ａ１）（ＰＣＴ／ＪＰ２０１４／０５３３８０） ＷＯ２０１５０９８９７７（Ａ１）（ＰＣＴ／ＪＰ２０１４／０８４１７７）
　映像による非接触な血圧測定には、一般的に二次元の撮像素子が用いられる。この撮像素子は、日中の屋外であれば太陽光、屋内であれば室内照明等を光源として想定している。そして、光源からの光が測定対象である生体によって反射された反射光を撮像素子により受光して撮像する。ここで、映像による血圧情報とは、光学的に撮影した映像から取得した血液の脈動が示す脈波情報である。したがって、映像による非接触の血圧測定において精度の高い脈波情報を取得するためには、測定対象である生体の一部の映像を、脈波情報を取得する上で最適な画像として取得する必要がある。
　しかし、特許文献１及び２の信号処理を用いた映像による非接触の血圧測定では、取得した映像情報に重畳されたノイズに対しての信号処理によるノイズ除去方法についてのみ言及されている。この場合、画像を取得する際に周囲の照明が著しく暗い、あるいは照明自体がない場合を想定すると、画像を取得した後のノイズ除去技術のみでは、高精度に脈波情報を取得することは困難である。
　本発明の目的は、脈波情報を高精度に取得することにある。
　本発明の一態様は、脈波測定装置において、照明光を照射する照明部と、前記照明部からの照明光が照射された生体を含む画像を取得する生体情報取得部と、前記生体情報取得部が取得した前記画像から生体領域に対応する生体画像を抽出する領域抽出部と、前記領域抽出部が抽出した前記生体領域に対応した生体画像から脈波信号を生成する脈波信号生成部と、該脈波信号から脈波情報を取得する脈波信号処理部と、前記脈波信号処理部が取得した前記脈波情報を表示する表示部と、制御部と、を有し、前記制御部は、前記生体情報取得部で前記画像を取得し、前記脈波信号処理部で前記脈波情報を取得し、かつ前記表示部で前記脈波情報を表示する脈波情報取得表示動作を開始する際に、前記照明部を制御することを特徴とする。
　本発明の一態様は、画像を表示する表示部を備えた携帯端末装置において、生体を含む画像を撮影するカメラと、前記カメラが撮影した画像に含まれる生体の画像から前記表示部に表示するための脈波情報を取得する脈波情報取得部と、制御部と、を備え、前記表示部の表示画像による光を前記生体への照明光として用い、前記制御部は、前記カメラで画像を撮影し、かつ前記脈波情報取得部で前記脈波情報を取得する脈波情報取得表示動作を開始する際に、前記表示部の表示画像を制御して前記生体へ照射される照明光を制御するように構成したことを特徴とする。
　本発明に一態様に係る脈波測定方法は、画像を取得する取得ステップと、前記取得した画像から生体領域に対応する画像を抽出する抽出ステップと、前記抽出した前記生体領域に対応する画像から脈波信号を生成する生成ステップと、前記脈波信号に基づく脈波情報を表示部に表示する表示ステップと、を備え、前記取得ステップ、前記抽出ステップ、前記生成ステップ、及び前記表示ステップを実行する際に、前記表示部を制御して生体領域に照射する照明光を制御することを特徴とする。
　本発明によれば、脈波情報を高精度に取得することができる。
実施例１に係る脈波情報取得端末１００のブロック図である。 実施例１に係る脈波情報取得端末１００の構成の一例を示したブロック図である。 実施例１に係る脈波情報取得端末１００の構成の一例を示したブロック図である。 実施例１に係る脈波情報取得端末１００を用いた脈波情報取得処理の方法のフローチャートである。 脈波信号生成部１１９－４の機能的構成を示すブロック図である。 Ｒ成分のカラーフィルタの透過率スペクトルの一例およびヘモグロビンの吸光率スペクトルを示す図である。 脈波情報取得端末１００およびその使用者７００の模式図である。 脈波情報取得端末１００を用いて脈波情報を取得する際の表示部１１７に表示される画像を示す図である。 時間情報算出部１１９－５－２の機能的構成を示すブロック図である。 実施例１に係る脈波情報取得端末１００の構成の一例を示す図である。 実施例１に係る脈波情報取得端末１００の構成の一例を示したブロック図である。 実施例１に係る脈波情報取得端末１００の構成の一例を示したブロック図である。 実施例２に係る脈波情報取得端末１００の構成の一例を示したブロック図である。 虹彩認証時の脈波情報取得処理の方法を示したフローチャートである。 虹彩認証処理時の脈波情報取得端末１００の使用者７００側の様子を示した模式図である。 虹彩認証処理時の脈波情報取得において脈波情報取得より虹彩認証が先に終了した際の表示部１１７に表示される画面の様子を示した模式図である。 脈波情報取得端末１００を使用する際に使用者７００の上部の視点より図示した模式図である。 両目ガイド１５００の中心を赤外線カメラ１０２－３の視野中心に合わせた場合の幾何関係を示す図である。 両目ガイド１５００の中心を赤外線カメラ１０２－３の視野中心より表示中心部１７０１に近づけた場合の幾何関係を示す図である。 脈波情報取得端末１００の模式図である。 脈波情報取得端末１００の模式図である。 脈波情報取得端末１００の構成の一例を示したブロック図である。 Ｇ成分およびＩＲ成分選択式の脈波情報取得処理の方法を示したフローチャートである。 信号生成部１１９－４の処理を示したブロック図である。 脈波情報取得端末１００の視野中に複数の生体がある場合を示した図である。 光走査型センサ１２０－４の光スポットの走査軌跡を示した模式図である。 脈波情報取得端末１００の構成の一例を示したブロック図である。 光走査型センサ１２０－４による脈波情報取得処理の方法を示したフローチャートである。 走査本数選択および撮像処理の方法を示したフローチャートである。 脈波情報取得端末１００の一使用例を示した図である。 脈波情報取得端末１００の一使用例を示した図である。 脈波情報取得端末１００の一使用例を示した図である。 脈波情報取得端末１００の一使用例を示した図である。 脈波情報取得端末１００の一使用例を示した図である。 脈波情報取得端末１００の一使用例を示した図である。 脈波情報取得端末１００の一使用例を示した図である。 脈波情報取得端末１００の一使用例を示した図である。 脈波情報取得端末１００の一使用例を示した図である。 実施例１の予想される効果を説明するための図である。
　以下、本発明の実施例について図面を用いて説明する。
　実施例１の脈波情報取得端末の構成について図面を用いて説明する。
　図１を参照すると、脈波情報取得端末１００は、制御部１０１、システムバス１０２、ＲＯＭ１０３、ＲＡＭ１０４、記憶部１０５、加速度センサ１０６、ジャイロセンサ１０７、地磁気センサ１０８、ＧＰＳ受信部１０９、照度センサ１１０、外部Ｉ／Ｆ１１１、操作部１１２、電話網通信部１１３、ＬＡＮ通信部１１４、端末ロック制御部１１５、一致率確認部１１６、表示部１１７、表示処理部１１８、脈波信号処理部１１９、生体情報取得部１２０、スピーカー１２１、音声処理部１２２及び音声入力部１２３を有する。脈波情報取得端末１００は、携帯電話やスマートホンであってもよく、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）やハンディタイプＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレットＰＣであってもよい。また、携帯型のゲーム機やその他の携帯型デジタル機器であってもよい。
　制御部１０１は、脈波情報取得端末１００全体のシステムを制御する、例えば、マイクロプロセッサのようなものである。システムバス１０２は、制御部１０１と脈波情報取得端末１００内の各部との間でデータ送受信を行うためのデータ通信路である。ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０３は、オペレーティングシステムや所定のアプリケーションプログラムなど、脈波情報取得端末１００の基本動作のための基本動作プログラムが格納されたメモリである。ＲＯＭ１０３として、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。
　ＲＯＭ１０３に格納されたプログラムを更新することにより基本動作プログラムのバージョンアップや機能拡張が可能である。なお、ＲＯＭ１０３は、図１に示したような独立機構とはせず、記憶部１０５内の一部記憶領域を使用してもよい。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０４は、基本動作プログラムもしくは各アプリケーション実行時のワークエリアとなる。また、ＲＯＭ１０３およびＲＡＭ１０４は制御部１０１と一体構成であってもよい。
　記憶部１０５は、脈波情報取得端末１００の各動作設定値や脈波情報取得端末１００の使用者の個人情報（アドレス帳やスケジュール等）等を記憶する。特に、記憶部１０５は、認証情報記憶領域１０５－１、管理用アドレス記憶領域１０５－２、アクセス情報記憶領域１０５－３、位置設定情報記憶領域１０５－４、時刻設定情報記憶領域１０５－５およびその他記憶領域１０５－６を有する。認証情報記憶領域１０５－１の詳細は後述するが、必ずしも全てが必要なわけでなく、実施例によっては記憶領域のうちの一部のみが記憶部１０５内に確保されるものとしてよい。また、その他記憶領域１０５－６は、その一部領域を以ってＲＯＭ１０３の機能の全部または一部を代替してもよい。
　また、脈波情報取得端末１００は、アプリケーションサーバー（図示せず）から電話網通信部１１３またはＬＡＮ通信部１１４を介して、新規のアプリケーションをダウンロードすることにより機能を拡張することが可能である。この際、ダウンロードしたアプリケーションは記憶部１０５のその他記憶領域１０５－６に記憶される。記憶部１０５のその他記憶領域１０５－６に記憶されたアプリケーションは、使用時にＲＡＭ１０４上に展開されて実行されることにより、脈波情報取得端末１００は多種の機能を実現可能である。
　記憶部１０５は、脈波情報取得端末１００が電源オフの状態でも記憶している情報を保持する必要があり、したがって、例えば、フラッシュＲＯＭやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等が用いられる。加速度センサ１０６、ジャイロセンサ１０７、地磁気センサ１０８、ＧＰＳ受信部１０９等は脈波情報取得端末１００の状態を検出する。これらのセンサにより、脈波情報取得端末１００の動き、傾き、位置、方角等を検出することが可能になる。
　照度センサ１１０は、脈波情報取得端末１００の周辺の明るさを検出する。外部インターフェース１１１は、脈波情報取得端末１００の機能を拡張するためのインターフェースであり、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）機器もしくはメモリカードの接続、または外部モニタに映像を表示するための映像ケーブル（図示せず）との接続等を行う。電話網通信部１１３は、移動体電話通信網の基地局との通信を行う。ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）通信部１１４は、インターネットの無線通信用アクセスポイント（図示せず）とＷｉ－Ｆｉ（登録商標）等により通信を行う。
　電話網通信部１１３およびＬＡＮ通信部１１４は、それぞれアンテナ、符号回路及び複合回路から構成される。端末ロック制御部１１５および一致率確認部１１６は、例えば専用処理を行うマイクロプロセッサである。しかし、同様の処理が可能であれば、その他の形態であってもよい。例えば、ソフトウェア処理によるアプリケーション等で実現してもよい。
　端末ロック制御部１１５は、脈波情報取得端末１００の一部または全部の機能または動作の制限（端末ロック）を行うものである。例えば、操作部１１２が使用者の操作を受け付けても、その受付を無効なものと見なし、当該操作に従った処理を制御部１０１等に一切行わせないようにする。
　一致率確認部１１６は、認証記憶領域１０５－１に記憶されている認証情報と、認証のために操作部１１２や生体情報取得部１２０から入力された情報（認証用入力情報）とを比較し、その一致率を確認するためのものである。端末ロック制御部１１５および一致率確認部１１６の詳細は、後述の別の実施例において説明する。
　表示部１１７は、例えばバックライトを備えた液晶パネルのような表示デバイスであり、表示処理部１１８において処理した映像信号を脈波情報取得端末１００の使用者に提供する。特に、表示部１１７は、発光機能部１１７－１、液晶機能部１１７－２、カラーフィルタ機能部１１７－３、およびその他表示機能部１１７－４を有する。発光機能部１１７－１、液晶機能部１１７－２、カラーフィルタ機能部１１７－３の機能の詳細は後述するが、必ずしも全てが必要なわけでなく、実施例によっては機能部のうち一部のみが表示部１１７内に確保されるものとしてよい。ここで、発光機能部１１７－１は、液晶機能部１１７－２の背面側から光を照射するためのバックライトとして動作するとともに、生体領域に照明光を照射するための照明部として機能する。
　脈波信号処理部１１９は、例えば専用処理を行うマイクロプロセッサあるいはソフトウェア処理によるアプリケーション等である。しかし、同様の処理が可能であれば、その他の形態であってもよい。脈波信号処理部１１９は生体情報取得部１２０を介して生体の映像信号が入力され、脈波信号の検出および脈波情報の抽出を行う。この脈波信号処理部１１９は、脈波情報を生成して出力するため、以下では脈波情報取得部と呼ぶ場合もある。
　生体情報取得部１２０は、ＲＧＢカメラ１２０－１、赤外線発光部１２０－２、赤外線カメラ１２０－３および光走査型センサ１２０－４により構成される。生体映像として、ＲＧＢカメラ１２０－１により取得された生体の部位のＲＧＢ画像、そのＲＧＢ画像を輝度情報等によりモノクロ変換したモノクロ画像、赤外線発光部１２０－２から発光された赤外線が検出対象である生体の部位によって反射された後に赤外線カメラ１２０－３により取得された赤外線画像、あるいはその他の記憶領域１０５－６に予め記憶されていた生体の映像情報等が用いられる。
　脈波信号の検出および脈波情報の抽出を行う脈波信号処理部１１９は、特に、トラッキング機能部１１９－１、領域抽出部１１９－２、統計処理機能部１１９－３、脈波信号生成機能部１１９－４、脈波検出部１１９－５および脈波情報推定部１１９－６を有する。トラッキング機能部１１９－１、領域抽出部１１９－２、統計処理機能部１１９－３、脈波信号生成機能部１１９－４、脈波検出部１１９－５および脈波情報推定部１１９－６の機能は後述するが、必ずしも全てが必要なわけでなく、実施例によっては機能部のうち一部のみが脈波信号処理部１１９内に確保されるものとしてよい。
　スピーカー１２１は、音声処理部１２２において処理した音声信号を脈波情報取得端末１００の使用者に提供する。音声入力部１２３はマイクであり、使用者の声などの音声データを入力する。操作部１１２は、使用者の操作に基づき、指示の入力を行うためのものであり、文字入力を行ったり、実行中のアプリケーションの操作を行ったりするための、指示入力部である。ボタンスイッチを並べたマルチキーにより実現してもよいし、表示部１１７に重ねて配置したタッチパネルにより実現してもよい。また、両者を併用してもよい。
　尚、図１に図示した脈波情報取得端末１００の構成には本発明に必須ではない構成も含まれている。例えば、電話網通信部１１３およびＬＡＮ通信部１１４は、いずれか一方が少なくとも備えられていればよい。また、テレビ放送送受信機能や電子マネー決済機能等、図示していない構成が加えられていてもよい。
　次に、図２を参照して、実施例１の脈波情報取得端末１００の構成の一例を示す。図２では、図３以降の詳細な説明に先立ち、脈波情報取得端末１００を構成する各部による脈波情報取得までの上位概念的な流れを説明する。以降、特別な指定がない場合、生体情報取得部１２０、脈波信号処理部１１９および表示処理部１１８は、システムバス１０２により接続された制御部１０１からの信号により制御されるものとする。
　生体の部位２００から脈波情報を出力する場合、生体部位２００を生体情報取得部１２０により測定することで生体映像を取得する。取得された生体映像は脈波信号処理部１１９に入力さる。ここで、脈波信号処理部１１９は、脈波信号生成部１１９－４、脈波検出部１１９－５および脈波情報推定部１１９－６を有する。脈波信号処理部１１９に入力された生体映像は、脈波信号生成部１１９－４の処理により脈波信号が得られる。得られた脈波信号は、脈波検出部１１９－５に入力され、脈波検出部１１９－５により脈波生情報が得られる。得られた脈波生情報は脈波情報推定部１１９－６に入力され、脈波情報推定部１１９－６により脈波情報が得られる。得られた脈波情報は表示処理部１１８を介して表示部１１７に表示され、脈波情報取得端末１００の使用者に提供される。ここで、脈波信号とは、生体映像からノイズ除去等を経て得られる血液の脈動の時間変化を示す信号である。脈波生信号とは、脈波信号の解析により得られる脈拍数をはじめとする情報である。脈波情報とは、脈波生信号を基に推定されて脈波情報取得端末１００の使用者へ表示される情報である。
　次に、図３及び図４を参照して、実施例１の脈波情報取得端末１００を用いた脈波情報取得処理について説明する。脈波信号情報取得処理は、脈波情報取得端末１００の使用者による、操作部１１２を介したアプリケーション等の操作によって開始する。
　脈波情報取得処理が開始されると（ステップＳ４０１）、システムバス１０２を通じて伝わる制御部１０１からの制御信号に基づき、表示処理部１１８は表示部１１７を制御し、後述の表示部照明光７０１（図７参照）の制御を開始する（ステップＳ４０２）。実施例１の特徴であるステップＳ４０２における表示部照明光７０１の制御の詳細についてはステップＳ４０７の処理の後に改めて説明する。
　表示部照明光７０１の制御が開始された後は、生体情報取得部１２０を構成するＲＧＢカメラ１２０－１によって生体の部位２００を測定することでＲＧＢの生体画像の時系列データとしての生体映像を取得する（ステップＳ４０３）。得られた生体映像は入力データとして脈波信号処理部１１９へと入力される。トラッキング部１１９－１は、入力された生体映像を基に生体映像に不特定多数だけ含まれる人物の人数を判定し、各個人に個別のＩＤを付与する。また、ＩＤの付与以降、当該ＩＤに関連付けて各人物の生体の一部を時系列データにおいてトラッキングし、同一人物の生体情報として管理する（ステップＳ４０４）。
　領域抽出部１１９－２は、生体画像から生体領域を抽出する処理部である。ここで生体領域とは、トラッキング部１１９－１によりトラッキングされているＩＤごとに画像内から所定の生体部分を基準として抽出される領域である。領域抽出部１１９－２では、例えば、顔面を基準とする顔における特定の領域を抽出する。入力された生体画像について、眼、耳、鼻および口といった顔の器官を特定のパーツとして、事前の教師データを基にしたテンプレートマッチング等の顔認識を実行することで、生体画像中のＩＤに関連付けられた人物ごとの鼻を検出する。
　さらに、検出した鼻を中心に所定の範囲に含まれる顔領域を抽出する。これにより、ＩＤに関連付けられた人物ごとの鼻、鼻上部の額の一部、鼻の周辺に位置する頬の一部の顔中心部分の画像が脈波の検出に使用する生体画像として抽出される。その後、領域抽出部１１９－２は、ＩＤに関連付けして抽出された顔領域に対応する生体画像を統計処理部１１９－３に出力する（ステップＳ４０５）。なお、ここでは生体部位の例として、顔中心の領域を抽出する場合を説明したが、抽出する領域は必ずしも顔である必要はなく、脈波情報を抽出するために十分な画素数が得られる箇所であれば他の肌が映った領域であれば、他の部位であってもよい。
　統計処理部１１９－３は、入力された生体部位に対応する部分画像の各画素が持つ画素値に所定の統計処理を実施する処理部である。例えば、統計処理部１１９－３は、ＩＤに関連付けられた人物ごとの顔領域に対応する部分画像の各画素が持つ輝度値をＲＧＢの波長成分ごとに平均する。他にも、中央値や最頻値を計算してもよい。また、平均を求める際は相加平均以外にも任意の平均処理、例えば加重平均や移動平均などの処理を行ってもよい。これにより、ＩＤに関連付けられた人物ごとの顔領域に対応する部分画像の各画素が持つ輝度の平均値がＲＧＢの波長ごとに算出される（ステップＳ４０６）。
　算出されたＲＧＢ波長ごとの部分画像の各画素が持つ輝度の平均値は脈波信号生成部１１９－４に入力される。脈波信号生成部１１９－４では時系列データとして得られたＲＧＢの波長成分ごとのＩＤに関連付けられた人物ごとの顔領域に対応する部分画像の各画素が持つ輝度の平均値から脈波に対応する周波数成分の信号を生成する処理部である。ステップＳ４０２において取得した生体映像では、顔表面の毛細血管を流れる血流の変化を、血流で吸収される光量の時系列的な変化、すなわち、顔からの反射によって得られる輝度の時系列変化を観測することで測定している。この部分画像の輝度の時系列変化には心拍に応じて変換する純粋な脈波成分が含まれる。しかし、この輝度は心拍に応じて変化する脈波の情報以外にも、身体の動き（体動）等によっても変化するため、脈波検出におけるノイズ成分となる。
　以降、まず、ノイズに対する特許文献１が提案するノイズ低減方法について説明した後、特許文献１による低減方法の問題点について説明する。続けて、実施例１における問題点の解決方法を説明する。
特許文献１によれば、血液の吸光特性の異なる２種類以上の波長、例えば吸光特性の高いＧ成分（５２５ｎｍ程度）、吸光特性の低いＲ成分（７００ｎｍ程度）で脈波を検出する。心拍は、０．５Ｈｚ～４Ｈｚ、１分あたりに換算すれば３０ｂｐｍ～２４０ｂｐｍの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性はない、あるいはあっても極小であると仮定すると、特許文献１によればＧ信号およびＲ信号の間で０．５Ｈｚ～４Ｈｚ以外の成分は等しい。しかし、カメラの感度差により大きさが異なる。それゆえ、０．５Ｈｚ～４Ｈｚ以外の成分の感度差を補正して、Ｇ成分からＲ成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。
　時系列信号のＧ成分ＧａおよびＲ成分Ｒａは、下記の数１および数２で表される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　数１におけるＧｓはＧ成分の信号の心拍に応じて変化する周波数帯域における脈波成分を表し、Ｇｎは心拍に応じて変化する周波数帯域の外の周波数帯域におけるＧ成分の信号のノイズ成分を表す。同様に、数２におけるＲｓはＲ成分の信号の心拍に応じて変化する周波数帯域における脈波成分を表し、Ｒｎは心拍に応じて変化する周波数帯域の外の周波数帯域におけるＲ成分の信号のノイズ成分を表す。また、ノイズ成分はＧ成分とＲ成分の間で感度差があるので、感度差の補正係数ｋは、下記の数３によって表される。
Figure JPOXMLDOC01-appb-M000003
　Ｇ成分の信号Ｇａから感度差を補正したＲ成分Ｒａを減算することで必要な信号成分であるＧ成分において心拍に応じて変化する脈波信号Ｓを算出することができる。脈波信号Ｓは下記の数４によって表される。
Figure JPOXMLDOC01-appb-M000004
　この脈波信号生成部１１９－４のステップＳ４０７における処理について図５を用いて説明する。図５を参照すると、脈波信号生成部１１９－４は、ＢＰＦ（Ｂａｎｄ　Ｐａｓｓ　Ｆｉｌｔｅｒ）１１９－４－１および１１９－４－２と、抽出部１１９－４－３および１１９－４－４と、ノイズリダクション部１１９－４－５および１１９－４－６と、除算処理部１１９－４－７と、ＢＰＦ１１９－４－８および１１９－４－９と、乗算処理部１１９－４－１０と、演算部１１９－４－１１とを有する。図５は時間領域にてノイズ成分をキャンセルして脈波信号を検出する場合の構成を図示している。
　統計処理部１１９－３から部分画像の代表値の時系列データのＲ成分（Ｒ信号）及びＧ成分（Ｇ信号）が入力される。Ｒ信号はＢＰＦ１１９－４－１および１１９－４－８へと入力されるとともに、Ｇ信号は１１９－４－２および１１９－４－９へと入力される。ＢＰＦ１１９－４－１、１１９－４－８、１１９－４－２および１１９－４－９は、いずれも所定の周波数帯の信号成分だけを通過させて、それ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦはハードウェアによって実装されてもよいし、ソフトウェアによって実装してもよい。ＢＰＦ１１９－４－１および１１９－４－２はノイズ成分が他の周波数帯よりも顕著に現れる特定周波数の信号成分のみを通過させる。この特定周波数は、脈波がとり得る周波数帯を勘案して決定する。
　脈波がとり得る周波数帯の一例としては、０．５Ｈｚ以上４Ｈｚ以下である周波数帯、１分あたりに換算すれば３０ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．５Ｈｚ未満及び４Ｈｚ超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ～１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。
　また、特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、０．０５Ｈｚ以上１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯に特定周波数帯を絞ることもできる。
　ここでは、一例として、ＢＰＦ１１９－４－１およびＢＰＦ１１９－４－２が、特定周波数帯として０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を通過させる場合を想定して説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。一方、ＢＰＦ１１９－４－８及びＢＰＦ１１９－４－９は、脈波がとり得る周波数帯、例えば０．５Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させる。
　抽出部１１９－４－３は、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１１９－４－３は、Ｒ成分の特定周波数帯の信号成分に絶対値演算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部１１９－４－４は、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１１９－４－４は、Ｇ成分の特定周波数帯の信号成分に絶対値演算処処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。
　ノイズリダクション部１１９－４－５およびノイズリダクション部１１９－４－６は、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。例えば、０．１Ｈｚ以下の周波数帯の信号成分を通過させる。これらノイズリダクション部１１９－４－５及びノイズリダクション部１１９－４－６は、ノイズリダクション部１１９－４－５へ入力される信号がＲ信号であり、ノイズリダクション部１１９－４－６へ入力される信号がＧ信号である以外に違いはない。この平滑化処理によって、特定周波数帯の絶対値強度Ｒｎ及びＧｎが得られる。除算部１１９－４－７は、ノイズリダクション部１１９－４－６出力Ｇｎを、ノイズリダクション部１１９－４－５の出力Ｒｎで除算する。これによって、数３に相当する感度差の補正係数ｋを算出する。
　乗算処理部１１９－４－１０は、ＢＰＦ１１９－４－８によって出力されたＲ信号の脈波周波数帯の信号成分に除算処理部１１９－４－７によって算出された補正係数ｋを乗算する。演算部１１９－４－１１は、ＢＰＦ１１９－４－９によって出力されたＧ信号の脈波周波数帯の信号成分Ｇｓから、乗算処理部１１９－４－１０によって補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分Ｒｓを差し引く式４に相当する処理を実行する。得られた脈波信号は、脈波信号生成部１１９－４より出力される（ステップＳ４０７）。この脈波信号は顔の脈波信号に相当し、そのサンプリング周波数は画像が撮像されるフレーム周波数に対応する。
　ここで、実施例１の特徴であるステップＳ４０２での表示部照明光７０１の制御について説明する。上述のように、ステップＳ４０７における処理では、特許文献１によれば、３つの波長成分のうち、Ｒ成分を血流における吸光特性が低い成分として、ノイズには波長特性はない或いはあっても極小として体動アーチファクトとなるノイズ成分を除去するための信号としてそのまま使用している。ここで、生体情報取得部１２０におけるＲＧＢカメラ１２０－１では、一般的にＲＧＢの波長ごとの光強度を測定するために、ＣＣＤやＣＭＯＳといった二次元の撮像素子の各画素の前面にＲＧＢの各波長に対応した成分のみを透過するカラーフィルタが用いられる。
　図６は実際にＣＭＯＳイメージセンサのフォトダイオード上に配置されるカラーフィルタのうち、Ｒ成分のカラーフィルタの透過率スペクトルの一例およびヘモグロビンの吸光率スペクトルをそれぞれ示す。スペクトルの横軸は４００ｎｍから７００ｎｍの部分のみを示している。カラーフィルタの透過率の縦軸は左側の目盛りに、ヘモグロビン吸光率の縦軸は右側の目盛にそれぞれ対応している。また、ヘモグロビン吸光率の実線と破線の違いは、それぞれ酸化ヘモグロビンと還元ヘモグロビンの違いを表しており、実線が還元ヘモグロビンを、破線が酸化ヘモグロビンをそれぞれ表す。
　図６のＲ成分のカラーフィルタの透過率スペクトルに着目すると、５５０ｎｍ以下４５０ｎｍ以上の波長を遮断しているように見える一方で、さらに波長の短い４５０ｎｍ以下で透過率が上昇していることが確認できる。例えば、４０５ｎｍの波長において透過率は０．３程度となる。つまり、カラーフィルタを透過して検出されたＲ信号は４５０ｎｍ以下の波長の輝度情報を含み得る信号である。ここで、４５０ｎｍ以下、例えば４０５ｎｍの波長におけるヘモグロビンの吸光率に着目すると、Ｇ成分（５２５ｎｍ）のヘモグロビン吸光率よりも高い値であることが確認できる。
　また近年、液晶ディスプレイにおける発光部１１７－２では、従来の青色励起白色ＬＥＤよりも全波長帯域において均一なスペクトルを実現し、自然な色合いが再現できる紫色励起白色ＬＥＤが用いられるようになっている。紫色励起白色ＬＥＤでは、従来の青色励起白色ＬＥＤより４５０ｎｍ以下の成分を多く含むため、これまで問題にならなかった４５０ｎｍ以下でのカラーフィルタの透過率の影響度が大きくなる。すなわち、特許文献１のように、脈波信号生成部１１９－４のステップＳ４０７において、Ｒ信号を血流における吸光特性が低い成分として、数４のようにノイズ成分を除去するための信号Ｒｓとしてそのまま使用すると、上記のようにＲｓでも４５０ｎｍ以下のヘモグロビン吸光率が高く、心拍に応じて変化する脈波成分を含んだ信号であることから、ノイズとともに必要以上にＧｓの脈波信号成分を減算することとなり、脈波信号の信号品質の低下につながる。実施例１における脈波情報取得端末１００の表示処理部１１８は、表示部１１７を適切に制御することで上記課題を解決する。
　図３に加えて、図７および図８を参照して、実施例１における表示処理部１１８が行う表示部１１７の制御方法について説明する。図７は、実施例１の脈波情報取得端末１００および脈波情報取得端末１００の使用者７００を示す。
　脈波情報取得端末１００は、生体情報取得部１２０および表示部１１７を有する。生体情報取得部１２０には使用者７００の生体の部位２００の生体映像が入力される。生体情報取得部１２０はＲＧＢカメラ１２０－１を備えており、生体の部位２００を含む生体映像が取得される。図８は脈波情報取得端末１００を用いて脈波情報を取得する際の表示部１１７に表示される画像を示す。表示部１１７には生体情報取得部１２０を用いて取得された使用者７００の顔の様子が使用者ガイド領域８００に映し出されるとともに、使用者ガイド領域８００以外の脈波情報表示領域８０１に脈波情報取得端末１００によって取得された脈波情報が表示される。
　実施例１では、脈波情報の取得時において表示処理部１１８は、表示部１１７を適切に制御し、表示部１１７からの発光により生体の部位２００を照明し、脈波信号の信号品質を向上することが可能な表示部照明光７０１を照射する。ここで、脈波情報の取得時とは、生体情報取得部１２０で生体画像を撮影し、その生体画像から脈波情報取得部（脈波信号処理部１１９）で脈波情報を取得し、そして表示部１１７で該生成された脈波情報を表示する一連の動作、すなわち脈波情報取得表示動作を開始するときである。実施例１において、表示部１１７は、例えばＲＧＢの画像表示が可能な液晶ディスプレイであり、その一例として発光部１１７－１、液晶部１１７－２、カラーフィルタ部１１７－３によって構成される。なお、実施例１における表示部１１７は、液晶ディスプレイに限定されるものでなく、例えば、プラズマディスプレイ、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光強度およびＲＧＢ成分を制御可能な表示デバイスであればよい。脈波情報の取得時において表示処理部１１８が、発光部１１７－１および液晶部１１７－２を制御することで表示部照明光７０１の光強度を適切に制御する。
　例えば、生体情報取得部１２０のダイナミックレンジを勘案し、脈波信号生成部１１９－４の処理により生成された脈波信号、あるいは生体情報取得部１２０が生体の部位２００を撮像した生体画像において抽出された画素領域におけるＧ成分の信号が、測定可能なダイナミックレンジにおいて飽和しない程度に表示部１１７の発光強度を上げる。あるいは、表示部１１７の発光強度を変化させながら、発光強度ごとに脈波ノイズ算出部１１９－７によりＳＮＲ（Ｓｉｎｇａｌ　ｔｏ　Ｎｏｉｓｅ　Ｒａｔｉｏ）の値を計算することで、最適な発光強度を探索してもよい。なお、ＳＮＲの導出の詳細については後述する。
　以上のように、実施例１によれば、脈波情報の取得時において、表示処理部１１８により、表示部１１７を構成する発光部１１７－１および液晶部１１７－２を制御することで表示部照明光７０１の光強度を適切に制御して生体の部位２００を照明し、脈波信号の信号品質を向上することができる。
　また、脈波情報の取得時において、表示処理部１１８は、液晶部１１７－２およびカラーフィルタ部１１７－３も制御することで、発光する波長成分も同時に制御する。上述のように、生体情報取得部１２０のＲ成分のカラーフィルタは４５０ｎｍ以下の成分を透過してしまう。そこで、液晶部１１７－２およびカラーフィルタ部１１７－３を制御することで、表示部照明光７０１における４５０ｎｍ以下を含む成分、すなわち、ＲＧＢにおけるＢ成分の発光を行わない。ＲＧＢ成分におけるＲ成分およびＧ成分のみの発光を行う。Ｒ成分とＧ成分のみの発光のため、結果として人にとっては黄色に近い色として知覚される表示色となる。すなわち、本実施例では照明光の色合いを制御している。これにより、表示部照明光７０１には４５０ｎｍ以下の成分を低減することが可能となる。ＲＧＢカメラ１２０－１のＲ成分のカラーフィルタと同じく、表示部１１７におけるカラーフィルタ部１１７－３においても４５０ｎｍ以下の成分は含むことになるが、透過率による４５０ｎｍ以下の成分の低減効果が２乗でかかるため、ほとんど無視できる値となる。ここではＢ成分の発光を行わない（Ｂ成分の強度を０にする）ように表示部照明光７０１を制御しているが、Ｒ成分及びＧ成分に比べ、相対的Ｇ成分の強度を低くするように表示部照明光７０１を制御してもよい。
　以上のように、表示処理部１１８の制御により、表示部照明光７０１は脈波信号の信号品質を改善することができる。ここで、図３９を参照して、実施例１の予想される効果を説明する。図３９（ａ）はＧ成分、表示部照明光７０１のＢ成分を発光させた場合の補正係数ｋが乗算された後のＲ成分（従来）および、表示部照明光７０１のＢ成分を発光させない場合の補正係数ｋが乗算された後のＲ成分（本発明）の各信号のスペクトルの模式図（測定値でない）である。
　図３９（ａ）にように、信号のスペクトルでは脈波の成分がとり得る周波数帯である０．５Ｈｚ以上４Ｈｚ程度でＧ成分と、Ｒ成分（従来）およびＲ成分（本発明）に差が生じることが予想される。図３９（ｂ）はＧ信号のスペクトルからＲ信号（従来）およびＲ信号（本発明）を差し引いた値の模式図（測定値でない）を示す。表示部照明光７０１のＢ成分を発光させないことにより脈波の成分がとり得る周波数帯である０．５Ｈｚ以上４Ｈｚ程度で信号強度が増加すると予想される。
　ステップＳ４０７により得られた脈波信号は脈波検出部１１９－５に入力される。以下、図９を参照して、用時間情報算出部１１９－５－２における処理について説明する。図９は時間情報算出部１１９－５－２の機能的構成を示すブロック図である。脈波検出部１１９－５は入力された脈波信号から複数の脈波生情報を算出する。ステップＳ４０８における脈波生情報の算出について、まず脈拍数算出部１１９－５－１の脈拍数算出処理を説明する。脈拍数算出部１１９－５－１では脈波信号の周波数解析により脈拍数を算出する。脈波信号生成部１１９－４より入力された脈波信号に対して高速フーリエ変換（ＦＦＴ）や離散フーリエ変換（ＤＦＴ）等のフーリエ解析やハール変換およびドベシー変換等のウェーブレット解析であってよい。脈拍数は周波数解析を用いることにより長い測定時間を必要とすることなく、予め定めたサンプル点数で平均的な周波数成分が求まり、安定した脈拍数を短時間で求めることが可能である。
　次に、ステップＳ４０８における脈波生情報の算出について、時間情報算出部１１９－５－２の脈波時間情報算出処理を説明する。ここで脈波時間情報とは、例えば脈波の立ち上がり時間や立ち下り時間等である。時間情報算出部１１９－５－２はスプライン補間処理部１１９－５－２－１、一階微分処理部１１９－５－２－２、立ち上がり時間算出部１１９－５－２－３、立ち下がり時間算出部１１９－５－２－４で構成される。脈波信号生成部１１９－４より入力された脈波信号に対してスプライン補間処理部１１９－５－２－１はスプライン補間をして高サンプリングレートな連続データに変換する。例えば、数十Ｈｚ程度のカメラ映像からの脈波信号を１ｋＨｚまで補間処理で引き上げる。なお、補間方法はスプライン補間に限定するものでなく、ニュートン補間、線形補間およびラグランジェ補間であってもよい。
　次に、スプライン補完された脈波信号に対して一階微分処理部１１９－５－２－２では脈波信号の１階微分を演算する。次に。立ち上がり時間算出部１１９－５－２－３では、入力された脈波信号の１階微分から脈波の立ち上がり時間を算出する。具体的には、１階微分演算後の信号が正の傾きでゼロクロスしてから負の傾きでゼロクロスするまでの時間を計測することで脈波の立ち上がり時間を算出する。なお、一階微分処理部１１９－５－２－２および立ち上がり時間算出部１１９－５－２－３での一連の脈波の立ち上がり時間の導出方法は、必ずしも上記の脈波信号の１階微分からの導出に限定されるものでなく、例えば脈波信号の２階微分を演算した信号（加速度脈波）に対して得られるａ波（収縮初期陽性波）からｄ波（収縮後後期再下降波）の時間を計測することで求めてもよい。
　立ち下がり時間算出部１１９－５－２－４では、立ち上がり時間算出部１１９－５－２－３で算出した立ち上がり時間および脈拍数算出部１１９－５－１において算出した脈拍数から立ち下がり時間を算出する。具体的には、脈拍数の逆数から脈波の周期を求め、脈波の周期から立ち上がり時間を減算することで脈波の立ち下がり時間を算出する。脈波の立ち下がり時間の算出は、脈波信号の１階微分信号が負の傾きでゼロクロスしてから正の傾きでゼロクロスするまでの時間を計測することでも導出される。また、加速度脈波に対して得られるｄ波（収縮初期陽性波）からａ波（収縮後後期再下降波）の時間を計測することで求めてもよい。以上、脈波信号から脈波検出部１１９－５－１により算出された脈拍数、立ち上がり時間および立ち下がり時間の一連の情報は、脈波生情報として脈波情報推定部１１９－６に入力される。
　次に、ステップＳ４０９における脈波情報の推定処理について説明する。脈波情報推定部１１９－６では算出した脈波生情報に基づき、使用者７００の脈波情報を推定する。推定される脈波情報は、例えば、脈波生情報のもつ脈拍数および脈波の時間情報と血圧値との関係式に基づき、推定される血圧値である（ステップＳ４０９）。脈波情報取得端末１００は、図８のように血圧値を脈波情報とした上で表示部１１７に表示する。一方で、その他の記憶領域１０５－６に記憶された一般的な血圧値と比較し、使用者が高血圧、低血圧あるいは正常な血圧であるという判定情報を表示部１１７に表示して使用者７００に示してもよい。また、その他の記憶領域１０５－６に記憶された使用者７００の過去の推定された血圧値を基に、血圧の状態が改善、悪化、維持しているという情報を表示してもよい。また、脈拍数、立ち上がり時間、立ち下がり時間といった脈波生情報をそのまま脈波情報として表示してもよい。上記のように、脈波情報推定部１１９－６において脈波情報が取得されることで脈波情報取得処理が終了する（ステップＳ４１０）。脈波情報取得処理の終了と同時に表示部照明７０１の制御も終了する。
　以上のように、実施例１によれば、脈波情報の取得時において、表示処理部１１８により、表示部１１７を構成する発光部１１７－１、液晶部１１７－２およびカラーフィルタ部１１７－３を制御することで、表示部照明光７０１の光波長を適切に制御する。これにより、脈波信号生成時に必要なノイズ成分を高精度に取得可能となり、脈波信号の信号品質を向上することができる。このような脈波信号の信号品質の向上により、脈波情報の精度を向上することできる。
　なお、実施例１における脈波情報取得端末１００は、図２に示した構成に限定されるものではない。例えば、図１０に示すように、ネットワーク１０００を介して脈波情報取得端末１００がクラウドサーバ１００１と繋がったような構成でもよい。このとき、一例としては、脈波情報取得端末１００では生体映像の取得処理までを行い、生体映像はＬＡＮ通信部１１４からネットワーク１０００を介して繋がったクラウドサーバ１００１へ送信し、クラウドサーバ１００１上で生体映像から脈波情報を取得するまでの脈波信号処理部１１９の処理を行う。
　得られた脈波情報はネットワーク１０００を介して再び脈波情報取得端末１００に戻され、必要な情報を表示部１１７にて使用者７００に表示する。ここで、図示していないが、セキュリティの観点から、生体映像および脈波情報を送受信する場合には、脈波情報取得端末１００とクラウドサーバ１００１との間で暗号化／復号化を適切に実施するものとする。また、生体映像あるいは脈波情報の一部を鍵情報として使用して暗号化／復号化を実施しても良い。また、クラウドサーバ１００１に記憶部（図示せず）を設け、脈波信号、脈波生情報および脈波情報の全てあるいは一部を格納し、脈波情報取得端末１００あるいは別の端末やアプリケーションから必要に応じて利用するようにしても良い。
　図１１は、他の脈波情報取得端末１００の構成の一例を示す。本構成では脈波情報取得端末１００への入力は生体の部位２００ではなく、その他の記憶領域１０５－６等に記憶された生体の映像１１００である。この場合、入力が既に生体映像であるため、入力はそのまま脈波信号処理部１１９へと入力される。その後の処理に関しては図２と同じなので、その説明は省略する。
　図１２は別の脈波情報取得端末１００の構成の一例を示す。本構成では図１０と同じく、ネットワーク１０００を介して脈波情報取得端末１００がクラウドサーバ１００１に繋がっている。また、図１１と同じく入力が生体の映像１１００である。この場合も、入力が既に生体映像である為、ＬＡＮ通信部１１４からネットワーク１０００を介して繋がったクラウドサーバ１００１において、入力はそのまま脈波信号処理部１１９へと入力される。その後の処理に関しては図１０と同じであるので、その説明は省略する。
　脈波情報取得端末１００の構成は、上記構成に示したものに限定されるものではなく、生体の部位２００あるいは生体の映像１１００といった入力から脈波情報の取得が可能であれば、他の構成を採用してもよい。
　実施例１でも述べたように、映像による非接触の血圧測定はカフによる生体への圧力がない分、血圧測定時に使用者への負担をかけることなく情報を取得することが可能である。一方で、人体の腕などに装着される常時装着が可能な脈波センサは、接触型ではあるものの常時装着の利点を生かして、使用者の脈波ひいては血圧情報を常に取得することで１日における使用者の健康状態の管理ができる特徴がある。脈波情報取得端末１００は非接触で手軽に測定ができる。しかし、使用者の一般的な日常生活を鑑みると、映像による非接触の血圧測定のために脈波信号の取得に好適な状態を維持したまま、生体情報取得部１２０であるＲＧＢカメラ１２０－１の視野に使用者が居続けるという生活の実現は困難である。
　実施例２は、上記状況を鑑みて、使用者の日常生活において、脈波信号の取得に好適な状態を効率的に設け、映像による非接触な血圧測定を高精度かつ高頻度で行うことが可能な脈波情報取得端末１００を提供する。これにより、常時装着が可能な脈波センサのように、使用者の１日における使用者の健康状態の管理を可能にする。
　以下、実施例２の脈波情報取得端末１００について図面を用いて説明する。なお、実施例２における脈波情報取得端末１００の構成は、特に断りのない限り、実施例１と同じ構成を最低限有するものとする。
　図１３を参照すると、一致率確認部１１６は、トラッキング部１１６－１、領域抽出部１１６－２および照合部１６－３を有する。実施例１と同じく、実施例２の脈波情報取得端末１００は、脈波情報の取得時において、表示処理部１１８が表示部１１７を適切に制御する。そして、表示部１１７からの発光により生体の部位２００を照明し、脈波信号の信号品質を向上することが可能な表示部照明光７０１を提供する。
　一方で、実施例２の脈波情報取得端末１００は、赤外線発光部１２０－２および赤外線カメラ１２０－３を用いて、個人の目の赤外の波長帯による目の画像（以降、赤外両目画像とする）を取得し、その赤外両目画像を端末ロック制御における認証情報とすることで、虹彩認証による端末ロックを可能とする。そして、実施例２では、脈波情報取得端末１００による非接触な血圧情報取得を、虹彩認証による端末ロック開錠時を行うタイミングと同時に実施する。これにより、脈波信号の取得に好適な照明環境と血圧情報の取得頻度の向上を実現することで、使用者の１日における使用者の健康状態の管理を可能にする。
　図１３および図１４を参照して、虹彩認証時の脈波脈波情報取得処理について説明する。虹彩認証時の脈波信号情報取得処理は脈波情報取得端末１００の使用者による操作部１１２を介したアプリケーション等の操作によって開始する。虹彩認証時の脈波情報取得処理が開始されると（ステップＳ１４０１）、実施例１と同様に、表示処理部１１８は発光部１１７－１、液晶部１１７－２およびカラーフィルタ部１１７－３を制御することで、表示部照明光７０１の制御を開始する。また、このとき、赤外線発光部１２０－２の発光制御が同時に開始される（ステップＳ１４０２）。
　次に、ＲＧＢカメラ１２０－１によって生体の部位２００を測定することでＲＧＢの生体画像の時系列データとしての生体映像を取得する。同時に、赤外線カメラ１２０－３によって赤外線発光部１２０－２から発光された赤外線の生体の部位２００、特に目の辺りからの反射を撮像した赤外両目画像を取得する（ステップＳ１４０３）。ＲＧＢカメラで取得した生体映像は、脈波信号処理部１１９のトラッキング部１１９－１へ入力される。また、赤外線カメラ１２０－３で取得した赤外両目画像は、一致率確認部１１６のトラッキング部１１６－１へ入力される。
　ＲＧＢ画像ではなく、赤外線発光部１２０－２および赤外線カメラ１２０－３による赤外波長の画像を取得することで、虹彩の前面にある目の角膜からの鏡面反射を起こすことなく、赤外両目画像を得ることができる。ステップＳ１４０３で取得した生体映像および赤外両目画像の時系列データに対して、トラッキング部１１９－１およびトラッキング部１１６－１は、入力された生体映像および赤外両目画像の時系列データを基に生体映像に不特定多数だけ含まれる人物の人数を判定し、各個人に個別のＩＤを付与する。
　ＩＤの付与以降、ＩＤに関連付けて各人物の生体の一部を時系列データにおいてトラッキングし、同一人物の生体情報として管理する（ステップＳ１４０４）。ステップＳ１４０４で取得された生体映像に対する、その後の脈波信号処理部１１９におけるステップＳ１４０５、ステップＳ１４０６、ステップＳ１４０７、ステップＳ１４０８、ステップＳ１４０９の処理は、図４におけるステップＳ４０５、ステップＳ４０６、ステップＳ４０７、ステップＳ４０８、ステップＳ４０９と全く同じであるため、その説明は省略する。
　ステップＳ１４０９が終了し、脈波情報が得られた後は、ステップＳ１４１０に移行する。ステップＳ１４１０では、アプリケーションのアルゴリズム等に従い、制御部１０１は後述する一致率確認部１１６での虹彩認証における認証情報の一致が確認済み、あるいは虹彩認証における認証がタイムアウト済み、どちらの状態になっているかを確認する。ステップＳ１４１０において、Ｎｏと判定された場合は、再びステップＳ１４１０に移行し、Ｙｅｓと判定されるまでステップＳ１４１０が繰り返される。ステップＳ１４１０においてＹｅｓと判定された場合、ステップＳ１４１８に移行する。
　ステップＳ１４０４で取得された赤外両目画像の時系列データに対する処理をステップＳ１４１１以降のステップで説明する。ステップＳ１４０４の後、一致率確認部１１６は、虹彩認証が所定の認証用のタイムアウト時間を過ぎているか否かを判定する（ステップＳ１４１１）。ステップＳ１４１１において、一致率確認部１１６がＹｅｓと判定した場合は、認証タイムアウト時間を過ぎているとして、虹彩認証処理を終了し、ステップＳ１４１８に移行する。ステップＳ１４１１においてＮｏと判定した場合は、ステップＳ１４１２に移行し、虹彩認証処理が継続される。
　領域抽出部１１６－２は赤外両目画像の時系列データから虹彩領域を抽出する処理部である。ここで、図１５を参照して、領域抽出処理について説明する。図１５に示すように、脈波情報取得端末１００は、使用者７００側にＲＧＢカメラ１０２－１、赤外線発光部１０２－２、赤外線カメラ１０２－３表示部１１７を備える。領域抽出部１１６－２はトラッキング部１１６－１によりトラッキングされているＩＤごとに赤外両目画像から所定の虹彩部分を基準とする領域を抽出する。例えば、両目を基準とする虹彩領域を抽出する。このとき、図１５のように、領域抽出部１１６－２による抽出処理の精度を高めるために、表示処理部１１８は、両目ガイド１５００を使用者７００の赤外両目画像に重ねた画像、例えばオーバーレイ処理した画像を表示部１１７に表示する。入力された赤外両目画像について、目頭、目尻、上まぶた、下まぶたといった両目の器官を特定のパーツとして、テンプレートマッチング等の認識技術を実行することで、赤外両目画像のＩＤに関連付けられた人物ごとの虹彩領域を抽出する。その後、領域抽出部１１６－２はＩＤに関連付けして抽出された虹彩領域に対応した虹彩画像を照合部１１６－３に出力する（ステップＳ１４１２）。
　入力された虹彩画像を基に照合部１１６－３は認証情報記憶領域１０５－１に記憶された、使用者７００の事前に記録した虹彩画像による認証情報を基に照合処理を行う（ステップＳ１４１３）。ステップＳ１４１３の照合処理の結果、認証情報との不一致と照合部１１６－３が判断した場合（ステップＳ１４１４におけるＮｏ）、ステップＳ１４１１に移行し、再び認証処理が継続される。一方、照合部１１６－３が認証情報と一致と判断した場合（ステップＳ１４１４におけるＹｅｓ）、該情報が端末ロック制御部１１５に伝達され、端末ロックが解除される（ステップＳ１４１５）。端末ロックが解除された後はステップＳ１４１６に移行する。ステップＳ１４１６ではアプリケーションのアルゴリズム等に従い、制御部１０１が脈波情報の推定処理、すなわち脈波情報推定部１１９－６による脈波情報の推定処理（ステップＳ１４０９）が終了しているか否かを判定する。ステップＳ１４１６においてＮｏと判定された場合、ステップＳ１４１７に移行する。
　図１６を参照して、ステップＳ１４１７での処理について説明する。図１６は虹彩認証処理時の脈波情報取得において、脈波情報取得より虹彩認証が先に終了した際の表示部１１７に表示される画面の様子を示した模式図である。脈波情報の取得時における処理ではスプライン補間等を行うことにより、短い脈波取得時間でも正確な脈波情報を取得できるようにしているが、一般的に脈波情報を正しく取得しようとすると心拍の周波数が、０．５Ｈｚ～４Ｈｚであることを鑑みると、複数周期分のデータ取得のために数秒必要となる。一方で、虹彩認証処理に必要な時間は、取得した虹彩画像による照合処理が正常に終了した場合、最短で１枚分のフレーム周期および処理時間であり、１秒以下の時間となる。
　このように脈波情報取得処理よりも早く虹彩認証処理が終了した場合、虹彩認証処理による端末ロックが解除されているので、使用者はロック解除後の端末操作を行うことが可能となる。この結果、図１５に示したような使用者７００の顔を特定の位置にガイドするための両目ガイド１５００の表示がなくなり、結果として使用者７００が著しく顔を移動することで、脈波取得精度が低下してしまうことが懸念される。このような事象に鑑みて、両目ガイド１５００をオーバーレイした赤外両目画像、脈波情報取得中である旨の情報および脈波情報取得状況等を使用者７００に知らせるための情報を、端末ロック解除後の画面に、図１６におけるＰｉｎＰ（Ｐｉｃｔｕｒｅ　ｉｎ　Ｐｉｃｔｕｒｅ）１６００にて知らせるように表示部１１７にて表示する。使用者７００は、ＰｉｎＰ１６００の表示により脈波情報取得処理が継続中であることを知ることで、みだりに顔を動かすことなく高精度な脈波取得が可能となるとともに、端末ロック解除後の操作を並行して行うことができる。
　次に、図１７、図１８および図１９を参照して、表示部照明光７０１と両目ガイド１５００の表示関係について説明する。図１７は脈波情報取得端末１００を使用する際の使用者７００の顔面部１７００に対する表示部照明光７０１、脈波情報取得端末１００および表示部１１７の中心線１７０１、赤外線カメラ１０２－３の視野１７０２およびＲＧＢカメラ１０２－１の視野１７０３の関係を使用者７００の上部の視点より図示した模式図である。虹彩認証処理時は通常、図１５のように、表示部１１７には赤外線カメラ１０２－３の取得している画像がリアルタイムで表示される。赤外線カメラ１０２－３の画像に両目ガイド１５００をオーバーレイする場合に、両目ガイド１５００の中心を赤外線カメラ１０２－３の視野中心に合わせた場合の幾何関係を図１８に示す。図１８（ａ）は、赤外線カメラ１０２－３により取得される顔面部１７００の赤外線画像に両目ガイド１５００および表示部照明光７０１の強度を色の濃淡によって表現した分布図を重ねて表示した模式図である。図１８（ｂ）は、表示部照明光７０１の強度を色の濃淡によって表した分布図である。図１８（ｃ）は、図１８（ａ）と同一時刻時においてＲＧＢカメラにより取得される顔面部１７００のＲＧＢ画像に表示部照明光７０１の強度を色の濃淡によって表現した分布図を重ねて表示した模式図である。
　図１８（ａ）に示すように、通常、使用者７００は両目ガイドに対して顔面部１７００を合わせようとするので、顔面部１７００の中心は両目ガイド１５００の中心、すなわち図１８の場合では赤外線カメラ１０２－３の視野中心と一致する。一般的に、脈波情報取得端末１００がスマートホンであった場合、スマートホン上部あるいは下部の中心はスピーカーあるいはマイクが位置づけられることが多い。このため、ＲＧＢカメラ１０２－１や赤外線カメラ１０２－３の光学系は左右どちらかの端に位置づけられる。表示部照明光７０１の強度分布を鑑みると、表示部１１７では発光部１１７－１の光強度分布の角度を、散乱層を設ける等して広げる工夫はなされているものもあるが、やはり表示部前方において最も強度が高い。その結果、赤外線カメラ１０２－３およびＲＧＢカメラ１０２－１の視野中心では表示部中心線１７０１に比べて表示部照明７０１の強度が低い。この結果、図１８（ｃ）の点線円で示した領域抽出部１１９－２により抽出される顔中心部分の画像１８００において左右で異なる光強度分布となってしまう。
　脈波信号は抽出される顔中心部分の画像１８００の画像の輝度情報に基づいて作成されるので、表示部照明光７０１の光強度分布の不均一は脈波信号の品質の低下につながる。そこで、実施例２では、表示処理部１１８は両目ガイド１５００の中心を赤外線カメラ１０２－３の視野中心（図中の点線四角）ではなく、より表示中心部１７０１に近づけるように表示する。図１９（ａ）に示すように、両目ガイド１５００の中心を赤外線カメラ１０２－３の視野中心より表示中心部１７０１に近づける。これにより、図１９（ｃ）に示すように顔中心部分の画像１８００における光強度分布の不均一は改善され、脈波信号の品質を向上させることができる。
　以上のように、実施例２では、実施例１と同様に、脈波信号の信号品質を向上することができる。また、実施例２では、非接触な血圧情報取得を、虹彩認証による端末ロック開錠時を行うタイミングにおいて脈波情報の取得を同時に行い、かつ表示処理部１１８により両目ガイド１５００の表示位置を脈波信号の取得に好適な幾何位置に表示する。これにより、血圧情報の取得頻度の向上および脈波信号の信号品質の向上を両立することができ、血圧情報の取得頻度を高めて使用者の健康状態の管理を可能とする。
　なお、実施例２における、認証時に照合部１１６－３において用いる認証情報１０５－１は虹彩情報だけに限定するものでなく、脈波情報から得られる認証情報を併用してもよい。これにより、複製が比較的簡単な虹彩情報と、複製が困難な脈波情報を併用したよりセキュリティ性の高い認証システムを実現することが可能である。また、脈波情報取得端末１００は、必ずしも、虹彩認証時に脈波を同時取得しなくてはならないわけでなく、設定において虹彩認証による端末ロック制御時に脈波を同時に取得するか否かを設定できるものとする。
　実施例１および実施例２では、映像による非接触な血圧測定にはＲＧＢカメラ１２０－１を用いた。これは上述のように血液中のヘモグロビンの吸光度がＲＧＢカメラ１２０－１のうち、Ｇ成分において大きく、Ｒ成分において低い特徴を利用したものであった。
　しかし、脈波情報取得端末１００をスマートホン、携帯電話等の携帯端末でなく、監視カメラや室内の見守り用カメラに用いる場合、太陽光のない夜間における暗視が必要な環境や、可視光波長の室内照明灯が常時点灯可能でない、あるいは可視光波長の表示部照明光７０１が十分に監視・見守り対象者を照明可能でない環境も生じ得る。このような環境においては、可視光波長に対する感度しか持たないＲＧＢカメラ１２０－１のみでは高精度な脈波情報が取得可能な生体映像を撮影することができない。すなわち、可視光波長の照明光がない環境において高精度な脈波情報を取得可能な生体映像を撮像するためには、生体の部位２００を照らす環境光を受動的に撮像するパッシブ型のセンサであるＲＧＢカメラ１２０－１の代わりに、アクティブ型のセンサとして、生体の部位２００を赤外線発光部１２０－２で生体の部位を照らして赤外線カメラ１２０－３で撮像する必要がある。
　しかし、近赤外線の波長帯、例えば８３０ｎｍ辺りでは、ヘモグロビンの吸光率はＧ成分（５２５ｎｍ）に比べて約３０倍から５０倍程度悪くなる。映像による非接触な血圧測定を高精度に行うためには、アクティブ型の赤外線発光部１２０－２と赤外線カメラ１２０－３を常時使用するのでなく、環境光等の条件に応じて適切にパッシブ型のＲＧＢカメラ１２０－１と切り替えて使用する必要がある。そこで、実施例３では、パッシブ型のＲＧＢカメラ１２０－１と、アクティブ型の赤外線発光部１２０－２と赤外線カメラ１２０－３を切替えて使用する。
　図２０および図２１を参照して、実施例３の脈波情報取得端末１００について説明する。図２０に示すように、撮像のための光学系とは別に脈波情報取得端末１００の筐体には赤外線発光部１２０－２が設けられる。赤外線発光部１２０－２を実現する手段としては、例えば赤外線ＬＥＤ等が用いられる。撮像素子の１画素はＲＧＢ各波長のごとのサブピクセルの他にＩＲ（ＩｎｆｒａＲｅｄ）のサブピクセルを持つ。なお、サブピクセルの形状、順番および配列の方向等は、図２０に限定されるものでなく、例えば特定の波長のピクセルサイズのみ大きな配列であってもよい。図２１に示す脈波情報取得端末１００は、図２０に示す脈波情報取得端末１００とは異なり、ＲＧＢカメラ１２０－１と赤外線カメラ１２０－３を別体で有する。赤外線発光部１２０－２を実現する手段としては、例えば赤外線ＬＤ（Ｌａｓｅｒ　Ｄｉｏｄｅ）および拡散板で実現される。
　以下、実施例３の脈波情報取得端末１００の構成について説明する。なお、実施例３の脈波情報取得端末１００の構成は、特に断りのない限り、実施例１と同じ構成を最低限有するものとする。
　図２２を参照すると、実施例３における脈波信号処理部１１９は、実施例１と同じ、トラッキング部１１９－１、領域抽出部１１９－２、統計処理部１１９－３、脈波信号生成部１１９－４、脈波検出部１１９－５、脈波情報推定部１１９－６に加えて、脈波ノイズ算出部１１９－７および信号選択部１１９－８を有する。
　実施例３におけるＧ成分およびＩＲ成分選択式の脈波情報取得処理について、図２３を用いて説明する。図２３はＧ成分およびＩＲ成分選択式の脈波情報取得処理の方法を示したフローチャートである。図２３におけるステップＳ２３０１、ステップＳ２３０２、ステップＳ２３０３、ステップＳ２３０４、ステップＳ２３０５、ステップＳ２３０６の処理は、ＩＲ成分だけ処理が増える以外は、図４におけるステップＳ４０１、ステップＳ４０２、ステップＳ４０３、ステップＳ４０４、ステップＳ４０５、ステップＳ４０６と同じであるため、その説明は省略する。
　ステップＳ２３０７では、ステップＳ２３０６において算出されたＲＧＢおよびＩＲ波長ごとの部分画像の各画素が持つ輝度の平均値は統計処理部１１９－３により脈波信号生成部１１９－４に入力される。実施例３における信号生成部１１９－４の処理について図２４を用いて説明する。図２４は時間領域にてノイズ成分をキャンセルして脈波信号を検出する場合の構成を図示している。Ｇ成分の脈波信号は図５と全く同様の方法で生成されるため、その説明は省略する。一方で、ＩＲ成分の脈波信号はＧ成分と同じく、脈波がとり得る周波数帯、例えば０．５Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させるＢＰＦ１１９－４－１０を通過させる。一方で、その後は他の信号処理を行わない。
　すなわち、ＢＰＦ１１９－４－１０を通過した信号を脈波信号とし、Ｇ成分とは異なり、その他のノイズ低減のための処理は実施されない（ステップＳ２３０７）。次に、脈波信号生成部１１９－４で生成された脈波信号のうち、Ｇ成分の脈波信号が脈波ノイズ算出部１１９－７に入力される。脈波ノイズ算出部１１９－７では、数４、数５および数６に基づいて、Ｇ成分の脈波信号の信号品質に関する評価指標として、信号対雑音比ＳＮＲを計算する。計算結果は、信号選択部１１９－８に入力される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　信号選択部１１９－８では、入力されたＳＮＲを所定の閾値ＳＮＲ＿ｔｈと比較する（ステップＳ２３０８）。比較の結果、ＳＮＲがＳＮＲ＿ｔｈよりも大きい場合は、ステップＳ２３０９に移行し、Ｇ成分の脈波信号が脈波検出部１１９－５に入力される（Ｓ２３０９）。一方で、ＳＮＲがＳＮＲ＿ｔｈよりも小さい場合は、ＩＲ成分の脈波信号が脈波検出部１１９－５に入力される（Ｓ２３１０）。以降、図２３におけるステップＳ２３１１、ステップＳ２３１２はステップＳ４０８、ステップＳ４０９と同じであるため、その説明は省略する。そして、脈波情報推定部１１９－６において脈波情報が出力されることで脈波情報取得処理が終了する（ステップＳ２３１３）。
　以上のように、実施例３では、脈波信号の信号品質の指標であるＳＮＲを用いて、パッシブ型のＲＧＢカメラ１２０－１と、アクティブ型の赤外線発光部１２０－２と赤外線カメラ１２０－３とを環境光等の条件に応じて適切に切り替えて使用することで、脈波信号の信号品質の向上が可能な点である。これにより、脈波情報の精度を向上することができる。なお、実施例３における信号選択部１１９－８における信号選択の判断基準は、必ずしもＳＮＲに限定されない。脈波信号の信号品質に準ずる指標として、例えば照度センサ１１０によって脈波情報取得端末１００の周辺の明るさを光強度として取得し、所定の閾値と比較してもよい。
　実施例１乃至実施例３では、映像による非接触な血圧測定は二次元配列の撮像素子を用いた脈波情報取得端末１００を前提とした。一方で、映像による非接触な血圧測定は光スポットをＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）、ＫＴＮ（タンタル酸ニオブ酸カリウム）結晶、あるいはオプティカルフェイズドアレイ等の光走査デバイスを用いた光走査型のセンサにより取得したグレースケールの生体画像の時系列データを用いて行ってもよい。
　例えば、光走査型の脈波情報取得端末１００を用いて、図２５に示すように、脈波情報取得端末１００の視野中の複数の生体に関する生体映像を取得する場合を考える。一例として、ＭＥＭＳ走査による光走査型の脈波情報取得端末１００では、垂直軸と水平軸の二軸の走査軸において、広い視野角の必要な軸に対してメカ構造的な共振周波数付近の入力により制御する。これにより、非共振の入力よりも大きな視野角と高速性を実現する。一方で、非共振軸に関しては、広視野角や高速性は得られないが、共振軸では変更不可能な走査間隔を任意に変更することが可能である。
　以下、図２６を参照して、実施例４の構成について説明する。図２６は光走査型センサ１２０－４の光スポットの走査軌跡を示した図である。例えば、図２６（ａ）では水平軸を共振軸、垂直軸を非共振軸として設計している様子を示している。実施例３は、この特徴を利用してより高精度な映像による非接触な血圧測定の実現を目的とする。
　すなわち、図２６（ａ）に示すような通常の走査処理において、視野における領域抽出対象となる生体の顔部分を検出した後、図２６（ｂ）に示すように、非共振な垂直軸において顔領域に対応する走査間隔を通常よりも密とする。これにより、脈波情報を含む生体画像の垂直走査本数を図２６（ａ）の粗な状態より増加させ、脈波情報取得時の高精度化を図る。ここで、生体の顔領域検出前の状態および顔領域以外で粗な走査本数を用いる理由としてはフレームレートが挙げられる。すなわち、走査本数が密な領域では解像度は上がる一方、走査および信号処理に要する時間が粗な領域に比べて増加するためフレームレートが低下してしまうのである。
　実施例４の脈波情報取得端末１００の構成は、特に断りのない限り、実施例１と同じ構成を最低限有するものとする。図２７を参照すると、実施例３の脈波信号処理部１１９は、実施例１と同じく、トラッキング部１１９－１、領域抽出部１１９－２、統計処理部１１９－３、脈波信号生成部１１９－４、脈波検出部１１９－５、脈波情報推定部１１９－６を有する。また、生体情報取得部１２０は、赤外線発光部１２０－２および光走査型センサ１２０－４により構成される。実施例３における赤外線発光部１２０－２を実現する手段としては、例えば、赤外線ＬＤ等が用いられる。また、光走査型センサ１２０－４は、例えば、光走査部１２０－４－１、光受光部１２０－４－２、光走査角度検出部１２０－４－３、光強度情報メモリ１２０－４－４、および光走査角度制御部１２０－４－５で構成される。
　光走査型の脈波情報取得端末１００では、赤外線発光部１２０－２の光スポットを光走査角度検出部１２０－４－３より得られる現在の走査角度の情報を基に、走査角度制御部１２０－４－５によって制御する光走査部１２０－４－１で走査する。そして、各サンプル点において光受光部１２０－４－２にて受光した光強度を光走査角度検出部１２０－４－３より得られる現在の走査角度の情報を基にしたアドレス情報管理の上で、光強度情報メモリ１２０－４－４に記憶することで生体画像を取得する。
　次に、図２８のフローチャートを参照して、実施例４の光走査型センサによる脈波情報取得処理について説明する。
　光走査型センサによる脈波信号情報取得処理は、脈波情報取得端末１００の使用者による操作部１１２を介したアプリケーション等の操作によって開始する。光走査型センサによる脈波情報取得処理が開始されると（ステップＳ２８０１）、走査本数選択および撮像処理が実施される（ステップＳ２８０２）。
　ここで、図２９のフローチャートを用いて、上記走査本数選択および撮像処理について説明する。光走査型センサによる脈波信号情報取得処理が開始（ステップＳ２８０１）されると、続けてアプリケーションにより走査本数選択および撮像処理が開始される（ステップＳ２９０１）。走査本数選択および撮像処理開始直後、光走査角度制御部１２０－４－５は、図２６（ａ）のように所定の粗な走査本数のまま視野の走査を行う。このとき取得される画像を基に、ステップＳ２９０２ではトラッキング部１１９－１がステップＳ４０４と同じく入力された生体映像を基に生体映像に不特定多数だけ含まれる人物の人数を判定し、各個人に個別のＩＤを付与する。
　また、ＩＤの付与以降、ＩＤに関連付けて各人物の生体の一部を時系列データにおいてトラッキングし、同一人物の生体情報として管理する。次に、領域抽出部１１９－２は、事前の教師データを基にしたテンプレートマッチング等の顔領域の認識を実行することで、画像中の生体の顔領域の有無を判別する（ステップＳ２９０３）。ステップＳ２９０３においてＮｏと判定された場合、再びステップＳ２９０３に移行し、Ｙｅｓと判定されるまでステップＳ２９０３が繰り返される。ステップＳ２９０３においてＹｅｓと判定された場合、ステップＳ２９０４に移行する。ステップＳ２９０４では、領域抽出部１１９－２は垂直走査位置をＹとすると、垂直方向の振動開始時における垂直走査位置Ｙ＝０から視野における最後の垂直走査位置Ｙ＝Ｙｍａｘまでにおける顔領域通過中の走査位置帯Ｙｆａｃｅを決定する。
　具体的には、走査角度検出部１２０－４－３による光走査部１２０－４－１の角度を基に垂直走査位置Ｙを導出する。走査角度検出部１２０－４－３は、例えば、光学式エンコーダ等を用いて実現される。ステップＳ２９０４では、さらに走査角度制御部１２０－４－５によって光走査部１２０－４－１の目標角度を垂直走査位置Ｙの初期値（Ｙ＝０）として、その後、光走査部１２０－４－１が初期値（Ｙ＝０）へと移動するために十分な時間だけウェイト処理を行う。
　次に、ステップＳ２９０５では走査角度制御部１２０－４－５が、光走査角度検出部１２０－４－３より得られる現在の走査角度の情報を基に、垂直走査位置ＹがＹｍａｘに略等しいか否かを判定する。ステップＳ２９０５においてＮｏと判定された場合、ステップＳ２９０６へ移行する。ステップＳ２９０６では走査角度制御部１２０－４－５が光走査角度検出部１２０－４－３より得られる現在の走査角度の情報を基に、現在の垂直走査位置ＹがＹｆａｃｅ内にあるか否かを判定する。ステップＳ２９０６においてＮｏと判定されると、ステップＳ２９０７に移行し、走査角度制御部１２０－４－５は垂直走査の角速度ωを垂直走査本数が粗における値ωｓに設定した後（ステップＳ２９０７）、ステップＳ２９０５に再び移行する。
　一方で、ステップＳ２９０６においてＹｅｓと判定されると、ステップＳ２９０８に移行し、走査角度制御部１２０－４－５は垂直走査の角速度ωを垂直走査本数が粗における値ωｓ／２に設定した後（ステップＳ２９０７）、ステップＳ２９０５に再び移行する。ステップＳ２９０５においてＹｅｓと判定された場合、ステップＳ２９０９に移行し、走査本数選択および撮像処理が終了する（ステップＳ２９０９）。
　図２８に戻ると、ステップＳ２８０２により得られた生体画像は入力データとして脈波信号処理部１１９へと入力される。図２８におけるステップＳ２８０３、ステップＳ２８０４は、図４におけるステップＳ４０４、ステップＳ４０５と波長成分が異なる以外は同じであるため、その説明は省略する。次のステップＳ２８０５、ステップＳ２８０６、ステップＳ２８０７も、図２３におけるステップＳ２３０７、ステップＳ２３１１、ステップＳ２３１２でのＩＲ成分に対する処理と同じであるため、その説明は省略する。
　そして、脈波情報推定部１１９－６において脈波情報が出力されることで脈波情報取得処理が終了する（ステップＳ２８０８）。また、脈波情報取得に使用する走査本数は密な値を用いるが、カメラの画像として出力する解像度としては、顔領域のある部分のみの増加により部分的に非線形な画像となるため、密な走査のうちいずれか１本のデータを表示する、あるいは、複数の走査によるデータの平均値を表示してもよい。
　以上のように、実施例４では、光走査型の脈波情報取得装置１００において、通常の走査処理により生体の顔部分を検出した後に、顔領域における対応する区間の走査間隔を通常よりも密とする。これにより、脈波情報を含む生体画像の垂直走査本数を増加させ、脈波信号の信号品質を向上することできる。この結果、脈波情報の精度が向上する。
　なお、実施例４におけるステップＳ２８０２での走査本数の変化の判断基準は顔領域の検出だけに限定するものではない。例えば、図３０は実施例３における脈波情報取得端末１００使用の一例を示す。図３０において、光走査型の脈波情報取得端末１００はプール遊泳者の監視カメラとして用いられる。顔領域検出時と同じく通常時は粗な垂直走査本数であるが、図３０にように遊泳者が溺れた際に観測される急な脈波変動（以降、異常脈波と呼ぶ）の検出を判断基準としてもよい。
　すなわち、図２６（ａ）のように所定の粗な走査本数のまま視野の走査を行い、取得される画像を基に、通常の脈波情報所得処理を実施する。取得した脈拍数の時系列データにおいて急激な脈拍変化等が見られた場合を、異常脈波検出と判定し、該当する個別ＩＤの顔領域が含まれる走査位置においてのみ垂直走査の角速度ωを垂直走査本数が粗における値ωｓ／２に設定する。具体的には脈泊数の時系列データの一階微分値をモニタすることで所定の閾値を上回る値となった場合に、異常脈波検出と判断してもよい。
　実施例４における垂直方向の走査は、必ずしも上記のような角速度ωの三角関数に限定されるものではなく、繰り替えし周期での走査が可能な関数であればよい。例えば、のこぎり波、三角波といった別の関数であってもよい。それら関数の場合、垂直走査本数の粗密の変更のために切り替えるのは、三角関数に対する角速度ωのように、時間変化に対応した係数であればよい。その際の係数の切り替えも、ステップＳ２９０８の説明時のように必ずしも半分の１／２倍である必要はなく、別の値に切り替える処理としてもよい。また、非共振軸であることを前提として、粗密を切り替える軸についても必ずしも垂直である必要はなく、水平軸を切り替えてもよいし、垂直と水平の両方を切り替えてもよい。
　次に、図面を用いて、実施例５の脈波情報取得端末１００について説明する。図３１に示す脈波情報取得端末１００は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）３１００に実装される。脈波情報取得端末１００はＲＧＢカメラ１２０－１、赤外線発光部１２０－２、赤外線カメラ１２０－３および表示部１１７を備える。表示部１１７は表示処理部１１８の制御により脈波信号の信号品質を向上することが可能な表示部照明光７０１により使用者７００を照明しながら、生体映像を取得し、それを基に脈波情報を取得する。
　ＲＧＢカメラ１２０－１は、生体の部位２００を含む生体映像を取得する。また、環境光や照明光７０１の状態に応じて信号選択部１１９－８は生体画像をＧ波長とＩＲ波長に切り替えることが可能である。信号選択部１１９－８は脈波信号のＳＮＲのみでなく照度センサ１１０の情報を基に切り替えてもよい。また、生体情報取得部１２０は、光走査型センサ１２０－４でもよい。この場合は、顔領域に対応する走査間隔を通常よりも密とすることで、脈波情報を含む生体画像の垂直走査本数を増加させて脈波情報取得時の高精度化を図る。
　また、ＰＣの表示部１１７としての液晶ディスプレイにより、使用者７００に血圧情報を表示することができる。これにより、使用者７００はＰＣによる作業をしながら、血圧情報を確認できる。表示する情報は血圧情報に加えて脈拍数等を表示してもよい。また、オフィス内での作業者の健康管理を目的に、ＰＣ作業中の血圧情報や脈拍等を用いて作業者の疲れ度合いやストレス度を計測し、ある閾値を超えたら表示部１１７に警告画面を表示したり、表示部１１７をオフしたりしてもよい。
　図３２に示す脈波情報取得端末１００は、自動車３２００の内部に実装される。脈波情報取得端末１００は生体情報取得部１２０を備える。ＲＧＢカメラ１２０－１は、生体の部位２００を含む生体映像を取得する。また、赤外線発光部１２０－２および赤外線カメラ１２０－３を備えており、環境光や照明光７０１の状態に応じて信号選択部１１９－８は生体画像をＧ波長とＩＲ波長に切り替えることが可能である。信号選択部１１９－８は、脈波信号のＳＮＲのみでなく照度センサ１１０の情報を基に切り替えてもよい。
　生体情報取得部１２０は光走査型センサ１２０－４でもよく、この場合は、顔領域に対応する走査間隔を通常よりも密とすることで、脈波情報を含む生体画像の垂直走査本数を増加させ、脈波情報取得時の高精度化を図る。また、メーターパネル（図示せず）により、使用者７００に脈波情報を表示することができる。これにより、使用者７００は自動車の運転をしながら、血圧情報や脈波情報を確認できる。表示する脈波情報としては、脈波の時系列データから推測される使用者７００の意識の覚醒レベルを表示してもよい。また、使用者７００の意識の覚醒レベルが著しく低下、あるいは低下する兆候のある脈波情報を取得した場合には、アラートを音、振動、およびメーターパネル上で表示することで使用者７００への注意を促す機能を有する。さらに、運転開始時に使用者７００の脈波情報を取得し、使用者の体調だけでなく脈波認証を行うことで、許可された使用者７００のみが運転できるようにしてもよい。
　図３３に示す脈波情報取得端末１００は、銀行ＡＴＭ（Ａｕｔｏｍａｔｅｄ　Ｔｅｌｌｅｒ　Ｍａｃｈｉｎｅ）３３００に実装される。脈波情報取得端末１００は、ＲＧＢカメラ１２０－１、赤外線発光部１２０－２、赤外線カメラ１２０－３、端末ロック制御部１１５、一致率確認部１１６および表示部１１７を備える。表示部１１７は、表示処理部１１８の制御により脈波信号の信号品質を向上することが可能な表示部照明光７０１により使用者７００を照明しながら、生体映像を取得し、それを基に脈波情報を取得することが可能である。ＲＧＢカメラ１２０－１は生体の部位２００を含む生体映像を取得する。また、環境光や照明光７０１の状態に応じて信号選択部１１９－８は生体画像をＧ波長とＩＲ波長に切り替えることが可能である。
　生体情報取得部１２０は光走査型センサ１２０－４でもよく、この場合は、顔領域に対応する走査間隔を通常よりも密とすることで、脈波情報を含む生体画像の垂直走査本数を増加させ、脈波情報取得時の高精度化を図る。また、銀行ＡＴＭ３３００の使用時における本人認証として赤外線発光部１２０－２、赤外線カメラ１２０－３による虹彩認証が可能である。また、認証時には同時に測定する脈波情報に基づく脈波認証を同時に行うことにより、なりすましが困難なセキュアな銀行ＡＴＭ３３００を実現することができる。なお、銀行ＡＴＭ３３００の使用時における本人認証は、虹彩認証に限定するものでなく、指紋認証、指静脈認証、掌紋認証、顔認証、あるいは、その他認証であってもよい。
　図３４に示す脈波情報取得端末１００は、セキュリティドア３４００に実装される。脈波情報取得端末１００はＲＧＢカメラ１２０－１、赤外線発光部１２０－２、赤外線カメラ１２０－３、端末ロック制御部１１５および一致率確認部１１６を備える。ＲＧＢカメラ１２０－１は、生体の部位２００を含む生体映像を取得する。また、環境光や照明光７０１の状態に応じて信号選択部１１９－８は生体画像をＧ波長とＩＲ波長に切り替えることが可能である。生体情報取得部１２０は光走査型センサ１２０－４でもよい。この場合は、顔領域に対応する走査間隔を通常よりも密とすることで、脈波情報を含む生体画像の垂直走査本数を増加させ、脈波情報取得時の高精度化を図る。また、セキュリティドア３４００の使用時における本人認証として赤外線発光部１２０－２、赤外線カメラ１２０－３による虹彩認証が可能である。また、認証時には同時に測定する脈波情報に基づく脈波認証を同時に行うことにより、なりすましが困難なセキュアなセキュリティドア３４００を実現することができる。なお、セキュリティドア３４００の使用時における本人認証は虹彩認証に限定するものでなく、指紋認証、指静脈認証、掌紋認証、顔認証、あるいは、その他認証であってもよい。
　図３５に示す脈波情報取得端末１００は、モニタ付きセキュリティドア３５００に実装される。脈波情報取得端末１００はＲＧＢカメラ１２０－１、赤外線発光部１２０－２、赤外線カメラ１２０－３、端末ロック制御部１１５、一致率確認部１１６、および表示部１１７を備える。表示部１１７は表示処理部１１８の制御により脈波信号の信号品質を向上することが可能な表示部照明光７０１により使用者７００を照明しながら、生体映像を取得し、それを基に脈波情報を取得することが可能である。ＲＧＢカメラ１２０－１は生体の部位２００を含む生体映像を取得する。また、環境光や照明光７０１の状態に応じて信号選択部１１９－８は生体画像をＧ波長とＩＲ波長に切り替えることが可能である。生体情報取得部１２０は光走査型センサ１２０－４でもよく、この場合は、顔領域に対応する走査間隔を通常よりも密とすることで、脈波情報を含む生体画像の垂直走査本数を増加させ、脈波情報取得時の高精度化を図る。
　また、モニタ付きセキュリティドア３５００の使用時における本人認証として赤外線発光部１２０－２、赤外線カメラ１２０－３による虹彩認証が可能である。また、認証時には同時に測定する脈波情報に基づく脈波認証を同時に行うことにより、なりすましが困難なセキュアなモニタ付きセキュリティドア３５００を実現することができる。なお、モニタ付きセキュリティドア３５００の使用時における本人認証は虹彩認証に限定するものでなく、指紋認証、指静脈認証、掌紋認証、顔認証、あるいは、その他認証であってもよい。
　図３６に示す脈波情報取得端末１００は、見守りシステム３６００に実装される。脈波情報取得端末１００は、ＲＧＢカメラ１２０－１、赤外線発光部１２０－２、赤外線カメラ１２０－３、表示部１１７、ネットワーク１０００およびクラウドサーバ１００１を有する。ＲＧＢカメラ１２０－１は、見守り対象者３６０１の生体の部位２００を含む生体映像を取得する。取得した生体映像はネットワーク１０００を介してクラウドサーバ１００１に送られ、クラウドサーバにおける脈波信号処理部１１９（図示せず）により脈波情報が得られる。また、環境光や照明光７０１の状態に応じて信号選択部１１９－８は生体画像をＧ波長とＩＲ波長に切り替えることが可能である。生体情報取得部１２０は光走査型センサ１２０－４でもよい。この場合は、顔領域に対応する走査間隔を通常よりも密とすることで、脈波情報を含む生体画像の垂直走査本数を増加させ、脈波情報取得時の高精度化を図る。取得された見守り対象者３６０１の血圧情報及び脈波情報は、ネットワーク１０００を介して、使用者の携帯端末（図示せず）に送信される。
　図３７（ａ）に示す脈波情報取得端末１００は、生産ライン監視システム３７００に実装される。脈波情報取得端末１００は、ＲＧＢカメラ１２０－１、赤外線発光部１２０－２、赤外線カメラ１２０－３、および表示部１１７を備える。表示部１１７は、表示処理部１１８の制御により脈波信号の信号品質を向上することが可能な表示部照明光７０１により、使用者７００を照明しながら、生体映像を取得し、それを基に脈波情報を取得する。ＲＧＢカメラ１２０－１は生体の部位２００を含む生体映像を取得する。また、環境光や照明光７０１の状態に応じて信号選択部１１９－８は、生体画像をＧ波長とＩＲ波長に切り替えることが可能である。生体情報取得部１２０は光走査型センサ１２０－４でもよい。
　この場合は、顔領域に対応する走査間隔を通常よりも密とすることで、脈波情報を含む生体画像の垂直走査本数を増加させ、脈波情報取得時の高精度化を図る。また、表示部１１７により、使用者７００に血圧情報および脈波情報を表示することができる。これにより、使用者７００は生産ラインでの作業をしながら、血圧情報や脈波情報を確認できる。表示する脈波情報としては、脈波の時系列データから推測される使用者７００の意識の覚醒レベルを表示してもよい。また、使用者７００の意識の覚醒レベルが著しく低下、あるいは低下する兆候のある脈波情報を取得した場合にはアラートを音、振動で表示することで使用者７００への注意を促す機能を有する。
　例えば、通常の作業時における表示部１１７に表示される画面の一例を図３７（ｂ）に示す。使用者７００の意識の覚醒レベルが低下したと判断した場合は、図３７（ｃ）のように通常の表示の前面にアラートとともに休憩を促す画面が表示される。使用者７００の意識の覚醒レベルの時系列データを基に使用者７００を別の人員に交代あるいは生産ラインの人員の追加を行ってもよい。使用者７００の意識の覚醒レベルの時系列データを基に自動的に生産ラインでの製品の良品および不良品判別を行ってもよい。使用者７００の意識の覚醒レベルの時系列データを基に使用者７００の工数や作業の配分を行ってもよい。
　図３８に示す脈波情報取得端末１００は、アイウェア型のウェアラブル端末３８００に実装される。ウェアラブル端末３８００は、ＲＧＢカメラ１２０－１、赤外線発光部１２０－２および赤外線カメラ１２０－３を備える。ＲＧＢカメラ１２０－１は、使用者７００は、対話者３８０１の生体の部位２００を含む生体映像を取得する。また、環境光や照明光７０１の状態に応じて信号選択部１１９－８は、生体画像をＧ波長とＩＲ波長に切り替えることが可能である。生体情報取得部１２０は光走査型センサ１２０－４でもよい。この場合は、顔領域に対応する走査間隔を通常よりも密とする。これにより、脈波情報を含む生体画像の垂直走査本数を増加させ、脈波情報取得時の高精度化を図る。
　アイウェア型のウェアラブル端末３８００の表示部１１７に、対話者３８０１の脈波情報を表示する。ここで、ウェアラブル端末３８００によって取得する脈波情報とは、対話者３８０１の脈波信号より脈波情報推定部１１９－６が推定した精神状態である。例えば、対話者３８０１が緊張状態あるいはリラックス状態であるかといった自律神経の状態を脈拍数から推定してもよい。また、自律神経の状態は、加速度脈波から推定してもよい。これにより、使用者７００は対話者３８０１との会話をしながら、自分との会話における対話者３８０１の精神状態を確認できる。
１００・・・脈波情報取得端末
１０１・・・制御部
１０２・・・システムバス
１０３・・・ＲＯＭ
１０４・・・ＲＡＭ
１０５・・・記憶部
１０６・・・加速度センサ
１０７・・・ジャイロセンサ
１０８・・・地磁気センサ
１０９・・・ＧＰＳ受信部
１１０・・・照度センサ
１１１・・・外部Ｉ／Ｆ
１１２・・・操作部
１１３・・・電話網通信部
１１４・・・ＬＡＮ通信部
１１５・・・端末ロック制御部
１１６・・・一致率確認部
１１７・・・表示部
１１８・・・表示処理部
１１９・・・脈波信号処理部
１２０・・・生体情報取得部
１２１・・・スピーカー
１２２・・・音声処理部
１２３・・・音声入力部

Claims (17)

  1. 脈波測定装置において、
    照明光を照射する照明部と、
    前記照明部からの照明光が照射された生体を含む画像を取得する生体情報取得部と、
    前記生体情報取得部が取得した前記画像から生体領域に対応する生体画像を抽出する領域抽出部と、
    前記領域抽出部が抽出した前記生体領域に対応した生体画像から脈波信号を生成する脈波信号生成部と、
    該脈波信号から脈波情報を取得する脈波信号処理部と、
    前記脈波信号処理部が取得した前記脈波情報を表示する表示部と、
    制御部と、を有し、
    前記制御部は、前記生体情報取得部で前記画像を取得し、前記脈波信号処理部で前記脈波情報を取得し、かつ前記表示部で前記脈波情報を表示する脈波情報取得表示動作を開始する際に、前記照明部を制御することを特徴とする脈波測定装置。
  2. 前記表示部を前記照明部として用いることを特徴とする請求項１に記載の脈波測定装置。
  3. 前記表示部が液晶パネルである場合に、該液晶パネルのバックライトを前記照明部として用いることを特徴とする請求項１に記載の脈波測定装置。
  4. 前記制御部は、前記脈波情報取得表示動作を実行する際に、前記照明光の光強度を上げるように前記照射部を制御することを特徴とする請求項１に記載の脈波測定装置。
  5. 前記脈波信号処理部は、前記脈波信号の信号品質に関する評価指標を算出する脈波ノイズ算出部を有し、
    前記制御部は、前記照明光の光強度を変化させながら前記評価指標を取得して、前記評価指標が所定の値になる前記光強度を探索することを特徴とする請求項４に記載の脈波測定装置。
  6. 前記制御部は、Ｒ成分、Ｇ成分及びＢ成分の波長成分のうち、前記Ｂ成分を０或いは前記Ｒ成分と前記Ｇ成分に比べ前記Ｂ成分を相対的に低くするように前記照明光を制御することを特徴とする請求項１に記載の脈波測定装置。
  7. 前記脈波信号処理部は、前記生体領域に対応した生体画像が持つ画素値の前記Ｇ成分の時系列データから、前記Ｒ成分の時系列データを用いてノイズ除去を行うことを特徴とする請求項６に記載の脈波測定装置。
  8. 前記脈波測定装置が携帯端末に設けられており、
    さらに、前記携帯端末のロックを制御する端末ロック制御部と、
    前記端末のロックを前記生体の虹彩画像との照合によって解除可能な一致率確認部を、有し、
    前記生体情報取得部は、可視光波長の光を撮像するＲＧＢカメラと、前記生体へ赤外光を照射する赤外線発光部と、前記赤外線発光部から照射された光によって前記生体の虹彩画像を撮像する赤外線カメラを有し、
    前記領域抽出部は、前記ＲＧＢカメラによって前記生体領域を抽出し、前記赤外線発光部と前記赤外線カメラによって前記生体の虹彩画像を抽出し、
    前記表示部は、前記赤外線カメラで撮像された前記生体の虹彩画像を表示し、
    前記制御部は、前記赤外線カメラの前記撮像画像に合わせて、前記照明部が前記生体領域を均一に照明可能な幾何位置に虹彩撮像対象者の生体位置を案内するように制御することを特徴とする請求項１に記載の脈波測定装置。
  9. 前記制御部は、前記表示部に前記虹彩撮像対象者の生体位置を案内するための両目ガイドを表示させ、前記照明部の中心線と前記虹彩撮像対象者の顔の中心線とが一致するような前記幾何位置に前記両目ガイドをスライドさせるように制御することを特徴とする請求項８に記載の脈波測定装置。
  10. 前記生体情報取得部は、可視光波長の光を撮像するＲＧＢカメラと、前記生体へ赤外光を照射する赤外線発光部と、前記赤外線発光部から照射された光によって前記生体を撮像する赤外線カメラを有し、
    さらに脈波測定装置は、
    前記脈波信号の信号品質に関する評価指標を算出する脈波ノイズ算出部と、
    前記ＲＧＢカメラの画像と前記赤外線カメラの画像のいずれの画像を使用して前記脈波信号を生成し出力するのかを選択する脈波信号選択部を備え、
    前記脈波信号選択部は、前記評価指標に基づき選択する脈波信号を決定することを特徴とする請求項１に記載の脈波測定装置。
  11. 前記生体情報取得部は、可視光波長の光を撮像するＲＧＢカメラと、前記生体へ赤外光を照射する赤外線発光部と、前記赤外線発光部から照射された光によって前記生体を撮像する赤外線カメラを有し、
    さらに脈波測定装置は、
    周辺の明るさを検出する照度センサと、
    前記ＲＧＢカメラの画像と前記赤外線カメラの画像のいずれの画像を使用して前記脈波信号を生成し出力するのかを選択する、脈波信号選択部を備え、
    前記脈波信号選択部は、前記照度センサで検出した照度に基づき選択する脈波信号を決定することを特徴とする請求項１に記載の脈波測定装置。
  12. 前記生体情報取得部は前記生体の画像を取得する光走査型センサを有し、前記光走査型センサの光走査の範囲において前記生体領域を抽出した部分の走査本数を増加させることを特徴とする請求項１に記載の脈波測定装置。
  13. さらに、前記脈波信号に基づいて脈波を検出する脈波検出部を有し、前記光走査型センサの光走査の範囲において、前記脈波検出部により前記脈波の変動が検出された前記生体領域を抽出した部分の走査本数を増加させることを特徴とする請求項１２に記載の脈波測定装置。
  14. 画像を表示する表示部を備えた携帯端末装置において、
    生体を含む画像を撮影するカメラと、
    前記カメラが撮影した画像に含まれる生体の画像から前記表示部に表示するための脈波情報を取得する脈波情報取得部と、
    制御部と、を備え、
    前記表示部の表示画像による光を前記生体への照明光として用い、
    前記制御部は、前記カメラで画像を撮影し、かつ前記脈波情報取得部で前記脈波情報を取得する脈波情報取得表示動作を開始する際に、前記表示部の表示画像を制御して前記生体へ照射される照明光を制御するように構成したことを特徴とする携帯端末装置。
  15. 前記制御部は、前記脈波情報取得表示動作を開始する際に、前記表示画像による光の強度を上げるように制御することを特徴とする請求項１４に記載の携帯端末装置。
  16. 画像を取得する取得ステップと、
    前記取得した画像から生体領域に対応する画像を抽出する抽出ステップと、
    前記抽出した前記生体領域に対応する画像から脈波信号を生成する生成ステップと、
    前記脈波信号に基づく脈波情報を表示部に表示する表示ステップと、を備え、
    前記取得ステップ、前記抽出ステップ、前記生成ステップ、及び前記表示ステップを実行する際に、前記表示部を制御して生体領域に照射する照明光を制御することを特徴とする脈波測定方法。
  17. Ｒ成分、Ｇ成分及びＢ成分の波長成分の中から、前記Ｂ成分を０或いは前記Ｒ成分と前記Ｇ成分に比べ前記Ｂ成分を相対的に低くするように前記照明光を制御することを特徴とする請求項１６に記載の脈波測定方法。
PCT/JP2017/006024 2017-02-20 2017-02-20 脈波測定装置、携帯端末装置及び脈波測定方法 WO2018150554A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/006024 WO2018150554A1 (ja) 2017-02-20 2017-02-20 脈波測定装置、携帯端末装置及び脈波測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/006024 WO2018150554A1 (ja) 2017-02-20 2017-02-20 脈波測定装置、携帯端末装置及び脈波測定方法

Publications (1)

Publication Number Publication Date
WO2018150554A1 true WO2018150554A1 (ja) 2018-08-23

Family

ID=63170155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006024 WO2018150554A1 (ja) 2017-02-20 2017-02-20 脈波測定装置、携帯端末装置及び脈波測定方法

Country Status (1)

Country Link
WO (1) WO2018150554A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111820912A (zh) * 2019-04-17 2020-10-27 深圳市理邦精密仪器股份有限公司 一种医疗设备及医疗设备光强度的显示方法
JP2021060899A (ja) * 2019-10-09 2021-04-15 株式会社日立製作所 作業者管理装置、及び作業者管理方法
CN114287892A (zh) * 2021-12-02 2022-04-08 中国科学院深圳先进技术研究院 一种外周血管阻力变化跟踪方法、系统、终端以及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242428A (ja) * 2004-02-24 2005-09-08 Nissan Motor Co Ltd 運転者の顔画像撮影装置
JP2007105338A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 端末装置
JP2009211370A (ja) * 2008-03-04 2009-09-17 Oki Electric Ind Co Ltd 虹彩認証装置
WO2015045554A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 生体情報取得装置および生体情報取得方法
JP2015202208A (ja) * 2014-04-14 2015-11-16 サイバーワオン合同会社 カメラ付き携帯端末健康状態検査装置
JP2015213251A (ja) * 2014-05-02 2015-11-26 株式会社Ihi 挙動解析装置、監視システム及びアミューズメントシステム
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
JP2016126472A (ja) * 2014-12-26 2016-07-11 株式会社東芝 心拍数検出装置及びそれを用いた顔認識システム
JP2016137018A (ja) * 2015-01-26 2016-08-04 富士通株式会社 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP2016526947A (ja) * 2014-05-07 2016-09-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生理学的情報を抽出する装置、システム及び方法
US20170007185A1 (en) * 2015-07-09 2017-01-12 National Taiwan University Of Science And Technology Non-contact method for detecting physiological signal and motion in real time

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242428A (ja) * 2004-02-24 2005-09-08 Nissan Motor Co Ltd 運転者の顔画像撮影装置
JP2007105338A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 端末装置
JP2009211370A (ja) * 2008-03-04 2009-09-17 Oki Electric Ind Co Ltd 虹彩認証装置
WO2015045554A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 生体情報取得装置および生体情報取得方法
JP2015202208A (ja) * 2014-04-14 2015-11-16 サイバーワオン合同会社 カメラ付き携帯端末健康状態検査装置
JP2015213251A (ja) * 2014-05-02 2015-11-26 株式会社Ihi 挙動解析装置、監視システム及びアミューズメントシステム
JP2016526947A (ja) * 2014-05-07 2016-09-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生理学的情報を抽出する装置、システム及び方法
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム
JP2016126472A (ja) * 2014-12-26 2016-07-11 株式会社東芝 心拍数検出装置及びそれを用いた顔認識システム
JP2016137018A (ja) * 2015-01-26 2016-08-04 富士通株式会社 脈波検出装置、脈波検出方法及び脈波検出プログラム
US20170007185A1 (en) * 2015-07-09 2017-01-12 National Taiwan University Of Science And Technology Non-contact method for detecting physiological signal and motion in real time

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111820912A (zh) * 2019-04-17 2020-10-27 深圳市理邦精密仪器股份有限公司 一种医疗设备及医疗设备光强度的显示方法
CN111820912B (zh) * 2019-04-17 2022-06-07 深圳市理邦精密仪器股份有限公司 一种医疗设备及医疗设备光强度的显示方法
JP2021060899A (ja) * 2019-10-09 2021-04-15 株式会社日立製作所 作業者管理装置、及び作業者管理方法
JP7286507B2 (ja) 2019-10-09 2023-06-05 株式会社日立製作所 作業者管理装置、及び作業者管理方法
CN114287892A (zh) * 2021-12-02 2022-04-08 中国科学院深圳先进技术研究院 一种外周血管阻力变化跟踪方法、系统、终端以及存储介质
CN114287892B (zh) * 2021-12-02 2024-02-09 中国科学院深圳先进技术研究院 一种外周血管阻力变化跟踪方法、系统、终端以及存储介质

Similar Documents

Publication Publication Date Title
EP3000386B1 (en) Skin function evaluation device and skin evaluation method
US8295559B2 (en) Face image pickup device and method
EP3572975B1 (en) A multispectral image processing system for face detection
CN110742579A (zh) 用于皮肤疾病的光学检测的系统和方法
KR20110094037A (ko) 비디오 적외선 망막 이미지 스캐너
US20160206204A1 (en) Organ Imaging Device
KR102036040B1 (ko) 광학식 피부질환 진단장치
EP3118811A1 (en) Detecting device, detecting method, and recording medium
KR20160115501A (ko) 생체 정보 획득 방법 및 이를 위한 장치
WO2018150554A1 (ja) 脈波測定装置、携帯端末装置及び脈波測定方法
JP2917953B2 (ja) 視点位置検出装置
JPWO2006064635A1 (ja) 診断システム
KR20110035585A (ko) 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
KR20110038568A (ko) 시선 위치 추적 장치 및 방법
CN113303772A (zh) 电子装置、电子装置的控制方法以及存储介质
KR102036043B1 (ko) 스마트기기 기반의 피부질환 진단이 가능한 광학식 피부질환 진단장치
CN112884666B (zh) 图像处理方法、装置及计算机存储介质
CN109034004A (zh) 一种基于人脸识别的身份核验方法及装置
KR102036045B1 (ko) 가변파장의 피부 영상 정보를 이용한 휴대용 피부질환 진단장치
RU2326589C1 (ru) Способ идентификации личности по радужной оболочке глаза (его варианты)
JP2012107944A (ja) 対象識別装置及び対象識別方法
RU97839U1 (ru) Устройство для получения изображений радужных оболочек глаз
EP2634728A1 (en) Iris identification method of a person (alternatives)
RU2407435C1 (ru) Способ идентификации личности по радужной оболочке глаза (варианты)
KR102036048B1 (ko) 스마트기기 기반의 가변파장의 피부 영상 정보를 이용한 휴대용 피부질환 진단장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896820

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17896820

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP