WO2017150169A1 - 生体情報抽出装置および生体情報抽出システム - Google Patents

生体情報抽出装置および生体情報抽出システム Download PDF

Info

Publication number
WO2017150169A1
WO2017150169A1 PCT/JP2017/005214 JP2017005214W WO2017150169A1 WO 2017150169 A1 WO2017150169 A1 WO 2017150169A1 JP 2017005214 W JP2017005214 W JP 2017005214W WO 2017150169 A1 WO2017150169 A1 WO 2017150169A1
Authority
WO
WIPO (PCT)
Prior art keywords
biological information
face
subject
person
camera
Prior art date
Application number
PCT/JP2017/005214
Other languages
English (en)
French (fr)
Inventor
中村　剛
昌俊 松尾
忠則 手塚
大橋　政宏
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201780014778.XA priority Critical patent/CN108697345A/zh
Priority to EP17759640.0A priority patent/EP3424415A4/en
Priority to US16/080,776 priority patent/US20190053715A1/en
Publication of WO2017150169A1 publication Critical patent/WO2017150169A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network

Definitions

  • the present disclosure relates to a biological information extraction apparatus and a biological information extraction system that extract biological information from information obtained without contact with a human body.
  • a method such as a nurse puts a finger on the wrist of the subject to check the pulsation manually, or attaches a dedicated measuring device to the wrist or finger of the subject. Therefore, a method of automatically detecting pulsation is known.
  • the free behavior of the subject is temporarily restricted, or it is necessary to attach a measuring device to the subject, so that the subject (human body) is not contacted.
  • Techniques for estimating (detecting) the pulse have been developed. For example, a technique for extracting a pulse wave signal that is time-series data of a subject's pulse wave from image data obtained by imaging the subject and estimating (detecting) a pulse based on the pulse wave signal is known. (See Patent Document 1).
  • the worker's health condition eg, drowsiness, stress, poor physical condition
  • the worker's biological information eg, pulse wave, pulse
  • the management computer extracts the biological information of the subject based on the image data and determines the health condition (see Patent Document 2).
  • image data has a large amount of data
  • image data is compressed or image size is reduced, the extraction accuracy of biometric information based on the image data is lowered.
  • the present disclosure protects the privacy of the subject, extracts the biological information of the subject even when the subject wears a shield such as sunglasses or a mask on the face, and reduces the extraction accuracy of the biological information
  • the purpose is to reduce the amount of transmission data without causing the loss.
  • the biological information extraction apparatus is installed on a head-mounted body attached to a head of a subject, and extracts biological information of the subject from information obtained without contacting the subject.
  • a device that captures a temporally continuous captured image including at least a part of the face of the subject as a subject, a region selection unit that selects a skin color region from the captured image captured by the camera, And a data transmission unit that transmits biological data related to the subject's living body extracted based on the skin color region to a predetermined transmission destination, and the camera is arranged toward the side of the face of the subject. Is done.
  • the present disclosure it is possible to protect the privacy of the subject, extract the biological information of the subject even when the subject wears a shield such as sunglasses or a mask on the face, and the extraction accuracy of the biological information
  • the amount of transmission data can be reduced without lowering.
  • FIG. 1 is an overall configuration diagram of the biological information extraction system according to the first embodiment.
  • FIG. 2 is a functional block diagram of the biological information extraction system according to the first embodiment.
  • FIG. 3A is an explanatory diagram of a pulse wave detection process and a pulse estimation process.
  • FIG. 3B is an explanatory diagram of a pulse wave detection process and a pulse estimation process.
  • FIG. 4A is a block diagram illustrating a hardware configuration for realizing the biological information extracting apparatus according to the first embodiment.
  • FIG. 4B is a block diagram illustrating a hardware configuration for realizing the biological information extracting apparatus according to the first embodiment.
  • FIG. 5 is a flowchart showing a flow of processing by the biological information extracting apparatus according to the first embodiment.
  • FIG. 7A is a diagram illustrating a result of an experiment in which a relationship between a shield attached to a person's face and a person's heart rate is examined.
  • FIG. 7B is a diagram illustrating a result of an experiment in which a relationship between a shield worn on a person's face and a person's heart rate is examined.
  • FIG. 7C is a diagram illustrating a result of an experiment in which a relationship between a shield worn on a person's face and a person's heart rate is examined.
  • FIG. 7A is a diagram illustrating a result of an experiment in which a relationship between a shield attached to a person's face and a person's heart rate is examined.
  • FIG. 7B is a diagram illustrating a result of an experiment in which a relationship between a shield worn on a person's face and a person's heart rate is examined.
  • FIG. 7C is a diagram illustrating a result of an experiment in which a relationship between a
  • FIG. 7D is a diagram illustrating a result of an experiment in which a relationship between a shield attached to a person's face and a person's heart rate is examined.
  • FIG. 8 is an overall configuration diagram of the biological information extraction system according to the second embodiment.
  • FIG. 9 is a functional block diagram of the biological information extraction system according to the second embodiment.
  • FIG. 10 is an overall configuration diagram of the biological information extraction system according to the third embodiment.
  • FIG. 11 is a functional block diagram of the biological information extraction system according to the third embodiment.
  • FIG. 12 is a schematic diagram of the biological information extraction system 1 according to the fourth embodiment.
  • FIG. 13 is a diagram illustrating a modification of the camera of the biological information extracting apparatus.
  • FIG. 1 and FIG. 2 are an overall configuration diagram and a functional block diagram of the biological information extraction system 1 according to the first embodiment of the present disclosure, respectively, and FIG. 3 shows the biological information extraction device 3 and biological information analysis shown in FIG. It is explanatory drawing of the pulse wave detection process in the apparatus 4, and a pulse estimation process.
  • the biological information extraction system 1 extracts biological information (for example, a pulse wave and a pulse) from information (captured image) obtained without contact with a human body.
  • biological information for example, a pulse wave and a pulse
  • FIG. Installed on the head-mounted body 2 mounted on the head of H, the biological information extracting device 3 that extracts the pulse wave signal W that is the original information of the biological information of the person H, and transmitted from the biological information extracting device 3 And a biological information analyzer 4 that receives the pulse wave signal W.
  • the biometric information extraction device 3 and the biometric information analysis device 4 are connected to each other via a wireless communication network 5 such as a wireless LAN (Local Area Network) or Bluetooth (registered trademark).
  • a wireless communication network 5 such as a wireless LAN (Local Area Network) or Bluetooth (registered trademark).
  • the configuration is not limited thereto, and the biological information extracting device 3 and the biological information analyzing device 4 may be connected by a known communication cable.
  • the person H is an operator at a construction site or a construction site
  • the head-mounted body 2 is a helmet.
  • the head-mounted body 2 is also referred to as “helmet”.
  • the helmet 2 has a collar 2 a formed at the lower end over the entire circumference.
  • the person H is not limited to a worker at a construction site or a construction site.
  • operators of various heavy machinery such as cranes and excavators, drivers of various vehicles such as trucks and general vehicles, telephones of call centers, etc. It may be an operator (see FIG. 12) or the like.
  • the head-mounted body 2 is not limited to a helmet, and may be a headset (see FIG. 12), a headgear, a hat, or the like.
  • the biometric information extraction device 3 includes a camera 11 that captures a temporally continuous captured image including at least a part of the face of a person H as a subject, and a skin color from the captured image captured by the camera 11.
  • a region extraction unit 12 that extracts a region
  • a pulse wave detection unit 13 that detects a pulse wave signal W of the person H based on the skin color region extracted by the region extraction unit 12, and a pulse wave detected by the pulse wave detection unit 13
  • a data transmission unit 14 that transmits the signal W via the wireless communication network 5.
  • the biological information extraction device 3 has a thin, substantially rectangular housing, and hardware for executing the functions of each unit described later is accommodated therein.
  • the lens of the camera 11 is exposed on the side surface of the housing.
  • the upper end 3a of the biometric information extraction device 3 is fixedly attached to a portion of the collar 2a of the helmet 2 that is located on the side of the face of the person H using a known attachment mechanism (not shown).
  • the camera 11 is arranged toward the side of the face of the person H.
  • the camera 11 is disposed so as to face the side surface of the face of the person H.
  • the attachment mechanism which has the engaging part of the U-shaped cross section which can insert and fix the collar 2a is mentioned, for example.
  • the attachment method to the helmet 2 of the biometric information extraction device 3 is not specifically limited.
  • a pair of coupling mechanisms that can be coupled to each other, one installed on the helmet 2 and the other installed on the biological information extraction device 3, may be used.
  • the camera 11 is a camera having a known configuration, and forms an image of light from a subject (person H) obtained through a lens on an image sensor (CCD, CMOS, etc.) (not shown), thereby forming the light of the formed image.
  • An image sensor for converting the signal into an electric signal.
  • the camera 11 since the camera 11 is installed so as to face the side surface of the face of the person H, the camera 11 images the side face of the face of the person H.
  • the imaging region R of the camera 11 is set to a part of the side of the face, not the entire side of the face of the person H. Thereby, image data that can identify the face of the person H is not created.
  • the arrangement position of the camera 11 is set so as to image the cheek of the face of the person H. That is, the imaging region R of the camera 11 becomes the cheek of the face.
  • a pulse wave signal W that is time-series data is extracted based on a captured image of the skin of the person H captured by the camera 11. Since the pulse wave signal W is a signal extracted on the basis of a change in light absorption amount (specifically, hemoglobin concentration in blood) caused by a change in blood vessel volume due to contraction of the heart, the imaging region R is the person H It is desirable that the skin is a thin part so that imaging of the skin is easy and changes in the amount of light absorption can be accurately extracted.
  • the cheek of the face Since the cheek of the face is flat, has a large area, and has a thin skin, it is optimal as the imaging region R for extracting the pulse wave signal W.
  • the imaging region R By using the cheek of the face as the imaging region R, the pulse wave signal W of the person H can be extracted with high accuracy.
  • the area extraction unit 12 obtains a representative value representing the color (or luminance) of each pixel block of a predetermined size in the captured image (frame image), and the representative value matches a preset skin color value.
  • the pixel block or an area within a predetermined range from the pixel block is extracted as a skin color area.
  • the skin color value is automatically set based on the representative value of the skin color candidate area detected from the captured image using a known image recognition technique. Since the skin color value varies depending on the individual and the light conditions at the time of imaging, it is preferable that the skin color value is set when the person H wears the helmet 2 and every predetermined time.
  • the pulse wave detection unit 13 calculates, for example, pixel values (0-255 gradations) of each component of RGB for each pixel constituting the skin color area extracted in the temporally continuous captured image, and represents the representative value (
  • time-series data of the average value of each pixel) is generated as the pulse wave signal W.
  • the pulse wave signal W which is time-series data, can be generated based on only the pixel value of only the green component (G) that has a particularly large fluctuation due to pulsation.
  • the pulse wave signal W is waveform data (see FIG. 3A).
  • the data transmission unit 14 uses the well-known wireless communication technology such as wireless LAN or Bluetooth (registered trademark), and is related to the biological data related to the living body of the person H extracted based on the skin color region (in this embodiment, pulse wave detection)
  • the pulse wave signal W) generated by the unit 13 can be transmitted to the biological information analyzer 4.
  • the wireless communication technology used in the data transmission unit 15 is not particularly limited, and various known wireless communication technologies can be used.
  • the biological information analyzing device 4 includes a data receiving unit 21 that receives biological related data (pulse wave signal W in the present embodiment) transmitted from the biological information extracting device 3, and a data receiving unit 21. Is provided with a pulse estimation unit 22 for estimating the pulse of the person H based on the pulse wave signal W received, and a data storage unit 23 for storing the pulse estimated by the pulse estimation unit 22 as pulse data M.
  • a pulse estimation unit 22 for estimating the pulse of the person H based on the pulse wave signal W received
  • a data storage unit 23 for storing the pulse estimated by the pulse estimation unit 22 as pulse data M.
  • the data reception unit 21 uses biometric related data transmitted from the data transmission unit 15 using a known wireless communication technology such as a wireless LAN or Bluetooth (registered trademark). Can be received.
  • a wireless communication technology such as a wireless LAN or Bluetooth (registered trademark).
  • the wireless communication technology used in the data receiving unit 21 is not particularly limited as long as it can receive the biological data transmitted from the data transmitting unit 15.
  • the pulse wave signal W that is time-series data of pixel values (average values) has a slight fluctuation (for example, less than one gradation of the pixel value) based on a change in hemoglobin concentration in blood. Fluctuation). Therefore, the pulse estimation unit 22 performs a known filter process (for example, a process using a bandpass filter in which a predetermined pass band is set) on the pulse wave signal W, as shown in FIG. The pulse wave signal W from which the noise component has been removed can be extracted. Thereafter, the pulse estimator 22 calculates an interval S (see FIG.
  • an interval (pulse wave interval) S of one pulse period The pulse (pulse rate) can be estimated based on the pulse wave interval S. Since the pulse wave interval S is caused by the heartbeat, it can be considered to correspond to the heartbeat interval (RRI) in the electrocardiograph. Therefore, it is possible to estimate the pulse rate based on the pulse wave interval S.
  • RRI heartbeat interval
  • the estimation result (pulse rate) in the pulse estimation unit 22 is stored in the data storage unit 23 as pulse data.
  • Various information including the estimation result in the pulse estimator 22 (for example, the waveform of the pulse wave) is output and displayed on a display device (known display device) (not shown).
  • FIG. 4A is a block diagram showing a hardware configuration for realizing the biological information extracting apparatus 3 according to the first embodiment.
  • the biometric information extraction device 3 is a CPU (Central Processing Unit) 31 that centrally executes various information processing (for example, region extraction processing, pulse wave detection processing) and peripheral device control based on a camera 11 and a predetermined control program.
  • CPU Central Processing Unit
  • a memory 33 such as a DSP (Digital Signal Processor) 32, a RAM (Random Access Memory) functioning as a work area for the CPU 31 and the DSP 32, a ROM (Read Only Memory) for storing control programs and data executed by the CPU 31 and the DSP 32, Storage means 34 such as an HDD (Hard Disk Drive) or a memory card for accumulating the processing results in the biometric information extraction device 3, a wireless LAN that performs wireless transmission with the biometric information analysis device 4, Bluetooth (registered trademark), or the like It has a hardware configuration including a communication means 35 and a bus 36 for connecting them. Note that at least some of the functions of the respective units of the biological information extracting device 3 shown in FIG. 2 can be realized by the CPU 31 and the DSP 32 executing predetermined control programs. Moreover, you may substitute at least one part of the function of the biometric information extraction device 3 by the process by other well-known hardware.
  • FIG. 4B is a block diagram showing a hardware configuration for realizing the biological information analyzing apparatus 4 according to the first embodiment.
  • the biological information analyzer 4 is a CPU (Central Processing Unit) 41 and a DSP (Central Processing Unit) 41 that collectively execute various information processing (for example, region extraction processing, pulse wave detection processing) and peripheral device control based on a predetermined control program.
  • CPU Central Processing Unit
  • DSP Central Processing Unit
  • FIG. 5 is a flowchart showing the flow of processing by the biological information extracting apparatus 3 according to the first embodiment.
  • the camera 11 captures a temporally continuous captured image including at least a part of the face of the person H (in this embodiment, the cheek of the face) as a subject (ST101).
  • the region extraction unit 12 extracts a skin color region in the captured image (frame image) captured by the camera 11 (ST102).
  • the pulse wave detection unit 13 generates time-series data based on each pixel value constituting the skin color region extracted by the region extraction unit 12 as a pulse wave signal W.
  • the data transmitter 14 transmits the pulse wave signal W even generated by the pulse wave detector 13 to the biological information analyzer 4 as biological related data (ST104). Note that in the biological information extracting device 3, the above-described steps ST101 to ST104 are repeatedly executed in sequence.
  • FIG. 6 is a flowchart showing the flow of processing by the biological information analyzer 4 according to the first embodiment.
  • the data receiving unit 21 receives the pulse wave signal W from the data transmitting unit 14 of the biological information extracting device 3 (ST201).
  • the pulse estimator 22 performs a known filtering process on the pulse wave signal W to detect a pulse wave, and an interval S (see FIG. 3B) between adjacent peaks in the pulse wave, that is, the pulse wave.
  • An interval (pulse wave interval) S for one beat is calculated, and a pulse (pulse rate) is estimated based on the pulse wave interval S (ST202).
  • the data storage unit 23 stores the pulse estimated by the pulse estimation unit 22 as pulse data (ST203). Note that in the biological information analyzer 4, the above-described steps ST201 to ST203 are sequentially repeated.
  • FIG. 7A to 7D are diagrams showing the results of an experiment in which the relationship between the shield (sunglasses 51 and mask 52) worn on the face of the person H and the heart rate of the person H is examined.
  • FIG. 7B is a case where person H is wearing sunglasses 51 on the face
  • FIG. 7C is a case where person H is wearing a mask 52 on the face
  • FIG. A case where the person H wears sunglasses 51 and a mask 52 on the face is shown.
  • Heart rate monitor is a heart rate measured by the heart rate monitor
  • Front camera is a heart rate detected based on a captured image obtained by capturing the front of the face of the person H
  • Side camera “Indicates the heart rate detected based on the captured image obtained by capturing the side surface of the face of the person H.
  • the heart rate (side camera) detected based on the captured image obtained by capturing the side surface of the face of the person H is when the person H wears a shield on the face (FIG. 7B). 7C and 7D), even when the person H did not put a shield on the face (FIG. 7A), the heart rate measured by the heart rate monitor (heart rate monitor) was almost the same.
  • the heart rate (front camera) detected based on the captured image obtained by capturing the front of the face of the person H is the same as when the person H wears the mask 52 on the face (FIG. 7C). When wearing sunglasses 51 and mask 52 (FIG. 7D), detection was impossible.
  • the heart rate of the person H cannot be detected from a captured image obtained by imaging the front of the person H, but the side of the face of the person H is imaged. It was found that the detected image could be detected. Therefore, in consideration of the case where the person H wears a shield such as the mask 52 on the face, it has been found that the face of the person H should be imaged not on the front but on the side.
  • the camera 11 arranged toward the side of the face of the person H is configured to capture the side of the face of the person H. Even when the person H wears a shield such as sunglasses or a mask on the face, the biological information of the person H can be extracted.
  • the camera 11 is configured to image a part of the face of the person H (in this embodiment, the cheek of the face), image data that can identify the face of the person H is not created. . This makes it possible to protect the privacy of the person H even when troubles such as erroneous transmission of image data and information leakage occur.
  • the biological information extraction device 3 since the biological information extraction device 3 generates the pulse wave signal W and transmits the pulse wave signal W to the biological information analysis device 4, the image data can be stored without reducing the extraction accuracy of the biological information. Compared to the case of transmission, the amount of transmission data can be greatly reduced.
  • the imaging region R of the camera 11 is the face cheek, but the imaging region R may be a part other than the face cheek as long as it is a part of the side of the face of the person H. .
  • the region R1 above the mask 52 on the face of the person H as shown in FIG. 7C, the region R2 between the mask 52 and the sunglasses 51 on the face of the person H as shown in FIG. A part, a region in front of the ear of the person H, and the like can be set as the imaging region R.
  • the pulse wave signal W before performing the filtering process is transmitted from the biological information extracting device 3 to the biological information analyzing device 4. It is configured to do. However, you may comprise so that the pulse-wave signal after filter processing (namely, the pulse-wave signal from which the noise component was removed) may be transmitted. Even in that case, the amount of transmission data can be greatly reduced compared to the case of transmitting image data. In this case, the filtering process of the pulse wave signal W is performed in the biological information extracting device 3.
  • (Second Embodiment) 8 and 9 are an overall configuration diagram and a functional block diagram of the biological information extraction system 1 according to the second embodiment of the present disclosure.
  • symbol is attached
  • matters not particularly mentioned below are the same as those in the above-described first embodiment.
  • the biological information extraction system 1 according to the second embodiment is such that the pulse data M is transmitted as biological related data from the biological information extraction device 3 to the biological information analysis device 4. It is different from the case of form. Moreover, as shown in FIG. 9, the point from which the pulse estimation part 22 is provided in the biometric information extraction device 3 instead of the biometric information analyzer 4 differs from the case of 1st Embodiment.
  • the pulse pulse rate
  • the pulse data M is transmitted from the biological information extraction device 3 to the biological information analysis device 4. .
  • the biological information analyzer 4 stores the pulse data M received from the biological information extractor 3 in the data storage unit 23.
  • the biological information extracting device 3 generates the pulse data M and transmits the pulse data M to the biological information analyzing device 4.
  • the transmission data amount can be greatly reduced as compared with the case of transmitting image data without degrading the extraction accuracy.
  • the pulse data M which is biological information
  • the degree of freedom of the configuration of the biological information extracting system 1 is increased.
  • the camera 11 arranged toward the side of the face of the person H is configured to image a part of the side of the face of the person H (in this embodiment, the cheek of the face), the first implementation described above.
  • a shield such as sunglasses or a mask on the face.
  • FIG. 10 and 11 are an overall configuration diagram and a functional block diagram of the biological information extraction system 1 according to the third embodiment of the present disclosure.
  • symbol is attached
  • matters that are not particularly mentioned below are the same as those in the first embodiment described above.
  • the biological information extraction system 1 according to the third embodiment is such that image data P is transmitted as biological related data from the biological information extraction device 3 to the biological information analysis device 4. It is different from the case of form. Moreover, as shown in FIG. 11, the point from which the pulse-wave detection part 13 is provided not in the biometric information extraction apparatus 3 but in the biometric information analyzer 4 differs from the case of 1st Embodiment.
  • image data P is transmitted from the biological information extraction device 3 to the biological information analysis device 4, and the biological information analysis device 4 detects the pulse wave signal and the pulse wave thereof. A pulse (pulse rate) is estimated based on the signal.
  • the biological information extraction device 3 generates image data P that is time-series image data of the skin color area, and the image data P is converted into the biological information analysis device 4. Therefore, the transmission data amount can be greatly reduced as compared with the case where the entire face image is transmitted without lowering the extraction accuracy of the biological information.
  • the camera 11 arranged toward the side of the face of the person H is configured to image a part of the side of the face of the person H (in this embodiment, the cheek of the face), the first implementation described above. As in the case of the form, it is possible to protect the privacy of the person H and to extract the biological information of the person H even when the person H wears a shield such as sunglasses or a mask on the face. .
  • FIG. 12 is a schematic diagram of the biological information extraction system 1 according to the fourth embodiment of the present disclosure.
  • the same components as those in the first embodiment are denoted by the same reference numerals.
  • matters not particularly mentioned below are the same as those in the above-described first embodiment.
  • the biological information analyzer 4 is not shown.
  • the biological information extraction system 1 is different from the first embodiment in that a headset 2 is used instead of the helmet 2 as a head-mounted body.
  • the headset 2 includes a band unit 61 attached to the head of the person H, headphones 62 installed at the lower end 61a of the band unit 61, an arm 63 extending from the lower end 61a of the band unit 61, and a tip 63a of the arm 63.
  • the biological information extraction device 3 is fixed to a portion of the arm 63 positioned toward the cheek of the face of the person H using a known attachment mechanism (not shown) such as a clip. Attached to.
  • the arrangement position of the camera 11 is set so as to capture the cheek of the face of the person H. That is, the imaging region R of the camera 11 becomes the cheek of the face.
  • the biometric information extraction system 1 according to the fourth embodiment can be applied to a telephone operator at a call center.
  • a part of the side face of the person H's face with the camera 11 arranged toward the side face of the person H in this embodiment, the cheek of the face.
  • the privacy of the person H is protected, and the person H wears a shield such as sunglasses or a mask on the face.
  • a shield such as sunglasses or a mask on the face.
  • FIG. 13 is a view showing a modified example of the camera 11 of the biological information extracting apparatus 3.
  • the camera 11 has a lens 71 and an LED illumination 72.
  • the lens 71 has a visible light cut filter (not shown) that transmits infrared light and blocks visible light, and an infrared light cut filter (not shown) that transmits visible light and blocks infrared light.
  • the filter can be switched according to the brightness detected by an illuminance sensor (not shown).
  • an illuminance sensor not shown
  • the LED illumination 72 is also driven according to the brightness detected by an illuminance sensor (not shown). As a result, even when the amount of light necessary for imaging the person H is insufficient, the person H can be imaged more clearly by driving the LED illumination 72 to ensure the amount of light necessary for imaging.
  • biometric information extraction device and the biometric information extraction system according to the present disclosure are not limited to medical uses, and can be applied to various uses such as face recognition, monitoring, and life / death confirmation.
  • all the components of the biological information extraction apparatus and the biological information extraction system are not necessarily essential, and can be appropriately selected as long as they do not depart from the scope of the present disclosure.
  • the biological information extraction apparatus and the biological information extraction system according to the present disclosure protect the privacy of the subject, and extract the biological information of the subject even when the subject wears a shield such as sunglasses or a mask on the face. Therefore, the present invention is useful as a biological information extraction device and a biological information extraction system that can reduce the amount of transmission data without reducing the extraction accuracy of biological information.
  • Biometric information extraction system 2 Head-mounted body (helmet, headrest) DESCRIPTION OF SYMBOLS 3 Biological information extraction apparatus 4 Biological information analysis apparatus 5 Communication network 11 Camera 12 Area extraction part 14 Data transmission part 21 Data reception part 22 Pulse estimation part 23 Data storage part 71 Lens 72 LED illumination H Person (subject) R Imaging area W Pulse wave signal P Image data M Pulse data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

生体情報抽出装置が、人物（被検体）の頭部に装着された頭部装着体に設置され、人物の少なくとも顔の一部を被写体として含む時間的に連続する撮像画像を撮像するカメラと、カメラで撮像した撮像画像から肌色領域を選択する領域選択部と、肌色領域の画像データに基づき人物の脈波信号を検出する脈波検出部と、脈波信号を所定の送信先に送信するデータ送信部とを備えており、カメラが人物の顔の側面に向けて配置され、顔の側面の一部（顔の頬）を撮像するように設定される。

Description

生体情報抽出装置および生体情報抽出システム
　本開示は、人体と接触せずに得られる情報からその生体情報を抽出する生体情報抽出装置および生体情報抽出システムに関する。
　人の脈拍の測定に関し、被検者の手首に測定者（看護師等）が指を当てて人的に脈動を確認する方法や、被検者の手首や指などに専用の測定機器を取り付けることにより、自動で脈動を検出する方法などが知られている。一方、そのような測定方法は、被検者の自由な行動が一時的に制限されたり、被検者に測定機器を取り付ける必要が生じたりするため、被検者（人体）と接触せずに脈拍を推定（検出）するための技術が開発されている。例えば、被検者を撮影して得られた画像データから被検者の脈波の時系列データである脈波信号を抽出し、その脈波信号に基づき脈拍を推定（検出）する技術が知られている（特許文献１参照）。
　また、例えば工事現場や建設現場などでは、作業者の健康状態（例えば、眠気、ストレス、体調不良）に起因する事故発生を防止するために、作業者の生体情報（例えば、脈波、脈拍）を取得し、その生体情報に基づき作業者の健康状態を監視および管理することが望まれる。そこで、被検体（測定対象者）の頭部に装着されるヘルメットの正面のつばに設置されたカメラで被検体の顔の正面を撮像してその画像データ（映像情報）を管理コンピュータに無線送信し、管理コンピュータで画像データに基づき被検体の生体情報を抽出して健康状態を判定する技術が提案されている（特許文献２参照）。
　しかしながら、被検体の顔の正面を撮像した画像データを作成して送信すると、誤送信や情報漏えい等のトラブルが生じた場合に、被検体のプライバシーを保護できない。また、被検体が顔にサングラスやマスクなどの遮蔽物を装着している場合は、被検体の顔の正面を撮像した画像に基づく生体情報を精度よく抽出することができず、場合によっては抽出できない。
　さらに、画像データはデータ量が多いため、通信帯域を大量に確保するか、あるいは送信データ量を削減すべく、Ｈ．２６４等の公知の画像圧縮技術を用いて画像データを圧縮するかまたは画像サイズを縮小する必要がある。しかし、画像データを圧縮するかまたは画像サイズを縮小した場合は、その画像データに基づく生体情報の抽出精度が低下する。
　本開示は、被検体のプライバシーを保護すること、被検体が顔にサングラスやマスクなどの遮蔽物を装着している場合でも被検体の生体情報を抽出すること、および生体情報の抽出精度を低下させることなく送信データ量を削減することを目的とする。
特開２０１２－２３９６６１号公報 国際公開第２０１５／０９８９７７号
　本開示の生体情報抽出装置は、被検体の頭部に装着された頭部装着体に設置され、前記被検体と接触せずに得られる情報から該被検体の生体情報を抽出する生体情報抽出装置であって、前記被検体の少なくとも顔の一部を被写体として含む時間的に連続する撮像画像を撮像するカメラと、前記カメラで撮像した撮像画像から肌色領域を選択する領域選択部と、前記肌色領域に基づいて抽出された前記被検体の生体に関する生体関連データを所定の送信先に送信するデータ送信部とを備えており、前記カメラが、前記被検体の前記顔の側面に向けて配置される。
　本開示によれば、被検体のプライバシーを保護すること、被検体が顔にサングラスやマスクなどの遮蔽物を装着している場合でも被検体の生体情報を抽出すること、および生体情報の抽出精度を低下させることなく送信データ量を削減することができる。
図１は、第１実施形態に係る生体情報抽出システムの全体構成図である。 図２は、第１実施形態に係る生体情報抽出システムの機能ブロック図である。 図３Ａは、脈波検出処理および脈拍推定処理の説明図である。 図３Ｂは、脈波検出処理および脈拍推定処理の説明図である。 図４Ａは、第１実施形態に係る生体情報抽出装置を実現するためのハードウェア構成を示すブロック図である。 図４Ｂは、第１実施形態に係る生体情報抽出装置を実現するためのハードウェア構成を示すブロック図である。 図５は、第１実施形態に係る生体情報抽出装置による処理の流れを示すフロー図である。 図６は、第１実施形態に係る情報分析装置による処理の流れを示すフロー図である。 図７Ａは、人物の顔に装着される遮蔽物と、人物の心拍数との関係を調べた実験の結果を示す図である。 図７Ｂは、人物の顔に装着される遮蔽物と、人物の心拍数との関係を調べた実験の結果を示す図である。 図７Ｃは、人物の顔に装着される遮蔽物と、人物の心拍数との関係を調べた実験の結果を示す図である。 図７Ｄは、人物の顔に装着される遮蔽物と、人物の心拍数との関係を調べた実験の結果を示す図である。 図８は、第２実施形態に係る生体情報抽出システムの全体構成図である。 図９は、第２実施形態に係る生体情報抽出システムの機能ブロック図である。 図１０は、第３実施形態に係る生体情報抽出システムの全体構成図である。 図１１は、第３実施形態に係る生体情報抽出システムの機能ブロック図である。 図１２は、第４実施形態に係る生体情報抽出システム１の概略図である。 図１３は、生体情報抽出装置のカメラの変形例を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　（第１実施形態）
　図１および図２は、それぞれ本開示の第１実施形態に係る生体情報抽出システム１の全体構成図および機能ブロック図であり、図３は図２に示した生体情報抽出装置３および生体情報分析装置４での脈波検出処理および脈拍推定処理の説明図である。
　生体情報抽出システム１は、人体と接触せずに得られる情報（撮像画像）からその生体情報（例えば、脈波、脈拍）を抽出するものであり、図１に示すように、人物（被検体）Ｈの頭部に装着された頭部装着体２に設置され、人物Ｈの生体情報の原情報である脈波信号Ｗを抽出する生体情報抽出装置３と、生体情報抽出装置３から送信された脈波信号Ｗを受信する生体情報分析装置４とを備えている。また、生体情報抽出システム１において、生体情報抽出装置３および生体情報分析装置４は、無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）等の無線通信ネットワーク５を介して互いに通信可能に接続されている。ただし、これに限らず、生体情報抽出装置３および生体情報分析装置４が、公知の通信ケーブルによって有線接続される構成であってもよい。
　本実施形態では、人物Ｈは工事現場や建設現場等の作業者であり、頭部装着体２はヘルメットである。以降、頭部装着体２は「ヘルメット」とも称する。図１の例では、ヘルメット２はその下端に全周にわたって形成されたつば２ａを有している。なお、人物Ｈは、工事現場や建設現場等の作業者に限定されるものではなく、例えば、クレーンやショベルカー等の各種重機のオペレータ、トラックや一般車等の各種車両のドライバー、コールセンターの電話オペレータ（図１２参照）等であってもよい。また、頭部装着体２も、ヘルメットに限定されるものではなく、ヘッドセット（図１２参照）、ヘッドギア、帽子等であってもよい。
　図２に示すように、生体情報抽出装置３は、人物Ｈの少なくとも顔の一部を被写体として含む時間的に連続する撮像画像を撮像するカメラ１１と、カメラ１１で撮像された撮像画像から肌色領域を抽出する領域抽出部１２と、領域抽出部１２で抽出された肌色領域に基づき人物Ｈの脈波信号Ｗを検出する脈波検出部１３と、脈波検出部１３で検出された脈波信号Ｗを、無線通信ネットワーク５を介して送信するデータ送信部１４とを備えている。
　生体情報抽出装置３は、薄型の略矩形状の筐体を有しており、その内部に後述する各部の機能を実施するハードウェアが収容されている。カメラ１１のレンズは、筐体の側面に露出している。生体情報抽出装置３の上端部３ａは、ヘルメット２のつば２ａにおける人物Ｈの顔の側方に位置する部分に、図示しない公知の取付機構を用いて固定的に取り付けられている。これにより、カメラ１１は人物Ｈの顔の側面に向けて配置されることとなる。図１の例では、カメラ１１は人物Ｈの顔の側面に対向するように配置されている。上記の取付機構としては、例えば、つば２ａを挿入して固定可能なコ字状断面の係合部を有する取付機構が挙げられる。なお、カメラ１１が人物Ｈの顔の側面に向けて配置される限り、生体情報抽出装置３のヘルメット２への取り付け方法は特に限定されるものではない。例えば、一方がヘルメット２に設置され他方が生体情報抽出装置３に設置される、互いに結合可能な一対の結合機構を用いてもよい。あるいは、ヘルメット２と生体情報抽出装置３とを一体的に構成してもよい。
　カメラ１１は、公知の構成を有するカメラであり、レンズを通して得られる被写体（人物Ｈ）からの光を図示しないイメージセンサ（ＣＣＤ、ＣＭＯＳ等）に結像させることにより、その結像した像の光を電気信号に変換する撮像素子を有している。上述したように、カメラ１１は人物Ｈの顔の側面に対向するように設置されているので、カメラ１１は、人物Ｈの顔の側面を撮像することとなる。また、カメラ１１の撮像領域Ｒは、人物Ｈの顔の側面の全体ではなく、顔の側面の一部に設定される。これにより、人物Ｈの顔を識別可能な画像データが作成されることがない。
　本実施形態では、カメラ１１の配置位置は、人物Ｈの顔の頬を撮像するように設定されている。つまり、カメラ１１の撮像領域Ｒは、顔の頬となる。詳細については後述するが、本開示に用いられる生体情報取得技術では、カメラ１１で撮像した人物Ｈの肌の撮像画像に基づき時系列データである脈波信号Ｗを抽出する。脈波信号Ｗは、心臓の収縮による血管の容量変化に起因する光吸収量（具体的には、血液中のヘモグロビン濃度）の変化に基づき抽出される信号なので、撮像領域Ｒは、人物Ｈの肌の撮像が容易であり、かつ光吸収量の変化を精度よく抽出できるように皮膚が薄い部分であることが望ましい。顔の頬は、平坦であり、面積が広く、かつ皮膚が薄いので、脈波信号Ｗを抽出するための撮像領域Ｒとして最適である。顔の頬を撮像領域Ｒとすることにより、人物Ｈの脈波信号Ｗを精度よく抽出することが可能となる。
　領域抽出部１２は、撮像画像（フレーム画像）における所定サイズの画素ブロック毎にその画素ブロックの色（または輝度）を代表する代表値を求め、その代表値が予め設定された肌色値に一致する場合に、その画素ブロックまたはその画素ブロックから所定範囲内の領域を肌色領域として抽出する。なお、肌色値は、撮像画像から公知の画像認識技術を用いて検出された肌色候補領域の代表値に基づき自動的に設定されるものとする。なお、肌色値は、個人毎におよび撮像時の光条件によって異なるため、人物Ｈがヘルメット２を装着したとき、および所定時間毎に設定されるようにするとよい。
　脈波検出部１３は、時間的に連続する撮像画像において抽出された肌色領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０－２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈波信号Ｗとして生成する。この場合、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データである脈波信号Ｗを生成することができる。脈波信号Ｗは波形データである（図３Ａ参照）。
　データ送信部１４は、無線ＬＡＮやBluetooth（登録商標）等の公知の無線通信技術を用いて、肌色領域に基づいて抽出された人物Ｈの生体に関する生体関連データ（本実施形態では、脈波検出部１３で生成された脈波信号Ｗ）を生体情報分析装置４に送信することができる。なお、データ送信部１５で用いられる無線通信技術は、特に限定されるものではなく、公知の様々な無線通信技術を用いることが可能である。
　図２に示すように、生体情報分析装置４は、生体情報抽出装置３から送信された生体関連データ（本実施形態では、脈波信号Ｗ）を受信するデータ受信部２１と、データ受信部２１が受信した脈波信号Ｗに基づき人物Ｈの脈拍を推定する脈拍推定部２２と、脈拍推定部２２で推定された脈拍を脈拍データＭとして記憶するデータ記憶部２３とを備えている。
　データ受信部２１は、生体情報抽出装置３のデータ送信部１５と同様に、無線ＬＡＮやBluetooth（登録商標）等の公知の無線通信技術を用いて、データ送信部１５から送信された生体関連データを受信することができる。なお、データ受信部２１で用いられる無線通信技術は、データ送信部１５から送信され生体関連データを受信できる限り、特に限定されるものではない。
　画素値（平均値）の時系列データである脈波信号Ｗは、例えば、図３Ａに示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。そこで、脈拍推定部２２は、脈波信号Ｗに対し、公知のフィルタ処理（例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理など）を実施することにより、図３Ｂに示すように、ノイズ成分を除去した脈波信号Ｗを抽出することができる。その後、脈拍推定部２２はノイズ成分を除去した脈波信号Ｗにおける互いに隣り合うピーク間の間隔Ｓ（図３Ｂ参照）、すなわち脈波の一拍分の周期の間隔（脈波間隔）Ｓを算出し、その脈波間隔Ｓに基づき脈拍（脈拍数）を推定することができる。脈波間隔Ｓは、心臓の拍動に起因するため、心電計における心拍間隔（ＲＲＩ）に相当すると見なすことができる。したがって、脈波間隔Ｓに基づき脈拍数を推定することが可能である。
　脈拍推定部２２での推定結果（脈拍数）は、脈拍データとしてデータ記憶部２３に記憶される。また、脈拍推定部２２での推定結果を含む各種情報（例えば、脈波の波形など）は、図示しない表示装置（公知のディスプレイ装置）に出力され表示される。
　図４Ａは、第１実施形態に係る生体情報抽出装置３を実現するためのハードウェア構成を示すブロック図である。生体情報抽出装置３は、カメラ１１、所定の制御プログラムに基づき各種情報処理（例えば、領域抽出処理、脈波検出処理）や周辺機器の制御などを統括的に実行するＣＰＵ（Central Processing Unit）３１およびＤＳＰ（Digital Signal Processor）３２、ＣＰＵ３１およびＤＳＰ３２のワークエリア等として機能するＲＡＭ（Random Access Memory）やＣＰＵ３１およびＤＳＰ３２が実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）等のメモリ３３、生体情報抽出装置３での処理結果を蓄積するＨＤＤ（Hard Disk Drive）やメモリカードなどの記憶手段３４、生体情報分析装置４との間で無線送信を行う無線ＬＡＮやBluetooth（登録商標）等の通信手段３５、およびそれらを接続するバス３６を含むハードウェア構成を有している。なお、図２に示した生体情報抽出装置３の各部の機能の少なくとも一部については、ＣＰＵ３１およびＤＳＰ３２が所定の制御プログラムを実行することによって実現可能である。また、生体情報抽出装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
　図４Ｂは、第１実施形態に係る生体情報分析装置４を実現するためのハードウェア構成を示すブロック図である。生体情報分析装置４は、所定の制御プログラムに基づき各種情報処理（例えば、領域抽出処理、脈波検出処理）や周辺機器の制御などを統括的に実行するＣＰＵ（Central Processing Unit）４１およびＤＳＰ（Digital Signal Processor）４２、ＣＰＵ４１およびＤＳＰ４２のワークエリア等として機能するＲＡＭ（Random Access Memory）やＣＰＵ４１およびＤＳＰ４２が実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）等のメモリ４３、生体情報分析装置４での処理結果を蓄積するＨＤＤ（Hard Disk Drive）やメモリカードなどの記憶手段４４、生体情報抽出装置３との間で無線送信を行う無線ＬＡＮやBluetooth（登録商標）等の通信手段４５、およびそれらを接続するバス４６を含むハードウェア構成を有している。なお、図２に示した生体情報分析装置４の各部の機能の少なくとも一部については、ＣＰＵ４１およびＤＳＰ４２が所定の制御プログラムを実行することによって実現可能である。また、生体情報分析装置４の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
　次に、第１実施形態に係る生体情報抽出装置３および生体情報分析装置４による処理の流れを、図５および図６のフロー図を参照してそれぞれ説明する。
　図５は、第１実施形態に係る生体情報抽出装置３による処理の流れを示すフロー図である。まず、カメラ１１で、人物Ｈの少なくとも顔の一部（本実施形態では、顔の頬）を被写体として含む時間的に連続する撮像画像を撮像する（ＳＴ１０１）。続いて、領域抽出部１２がカメラ１１で撮像された撮像画像（フレーム画像）における肌色領域を抽出する（ＳＴ１０２）。次に、脈波検出部１３が、領域抽出部１２で抽出された肌色領域を構成する各画素値に基づく時系列データを脈波信号Ｗとして生成する。そして、ステップＳＴ１０４では、データ送信部１４が、脈波検出部１３で生成さえた脈波信号Ｗを生体関連データとして生体情報分析装置４に送信する（ＳＴ１０４）。なお、生体情報抽出装置３では、上述のステップＳＴ１０１－ＳＴ１０４が、順次繰り返し実行される。
　図６は、第１実施形態に係る生体情報分析装置４による処理の流れを示すフロー図である。まず、データ受信部２１が、生体情報抽出装置３のデータ送信部１４から脈波信号Ｗを受信する（ＳＴ２０１）。続いて、脈拍推定部２２が、脈波信号Ｗに対し公知のフィルタ処理を実施して脈波を検出し、その脈波における互いに隣り合うピーク間の間隔Ｓ（図３Ｂ参照）、すなわち脈波の一拍分の周期の間隔（脈波間隔）Ｓを算出し、その脈波間隔Ｓに基づき脈拍（脈拍数）を推定する（ＳＴ２０２）。そして、データ記憶部２３が、脈拍推定部２２で推定された脈拍を脈拍データとして記憶する（ＳＴ２０３）。なお、生体情報分析装置４では、上述のステップＳＴ２０１－ＳＴ２０３が順次繰り返し実行される。
　図７Ａ～図７Ｄは、人物Ｈの顔に装着される遮蔽物（サングラス５１、マスク５２）と、人物Ｈの心拍数との関係を調べた実験の結果を示す図であり、図７Ａは人物Ｈが顔に遮蔽物を装着していない場合、図７Ｂは人物Ｈが顔にサングラス５１を装着している場合、図７Ｃは人物Ｈが顔にマスク５２を装着している場合、図７Ｄは人物Ｈが顔にサングラス５１およびマスク５２を装着している場合をそれぞれ示す。また、図７Ａ～図７Ｄにおいて、「心拍計」は心拍計で測定した心拍数、「正面カメラ」は、人物Ｈの顔の正面を撮像した撮像画像に基づき検出される心拍数、「側面カメラ」は、人物Ｈの顔の側面を撮像した撮像画像に基づき検出される心拍数をそれぞれ示す。
　図７Ａ～図７Ｄに示すように、人物Ｈの顔の側面を撮像した撮像画像に基づき検出される心拍数（側面カメラ）は、人物Ｈが顔に遮蔽物を装着している場合（図７Ｂ、図７Ｃ、図７Ｄ）でも、人物Ｈが顔に遮蔽物を付けていない場合（図７Ａ）でも、心拍計で測定した心拍数（心拍計）とほぼ同じであった。一方、人物Ｈの顔の正面を撮像した撮像画像に基づき検出される心拍数（正面カメラ）は、人物Ｈが顔にマスク５２を装着している場合（図７Ｃ）と、人物Ｈが顔にサングラス５１およびマスク５２を装着している場合（図７Ｄ）は検出不能であった。このことから、人物Ｈが顔にマスク５２を装着している場合、人物Ｈの心拍数は、人物Ｈの顔の正面を撮像した撮像画像からは検出できないが、人物Ｈの顔の側面を撮像した撮像画像からは検出できることが分かった。したがって、人物Ｈが顔にマスク５２等の遮蔽物を装着している場合を考慮すると、人物Ｈの顔は、正面ではなく側面を撮像した方がよいことが分かった。
　以上のように、第１実施形態に係る生体情報抽出システム１によれば、人物Ｈの顔の側面に向けて配置されたカメラ１１で人物Ｈの顔の側面を撮像するように構成したので、人物Ｈが顔にサングラスやマスクなどの遮蔽物を装着している場合でも人物Ｈの生体情報を抽出することが可能となる。また、カメラ１１で人物Ｈの顔の側面の一部（本実施形態では、顔の頬）を撮像するように構成したので、人物Ｈの顔を識別可能な画像データが作成されることがない。これにより、画像データの誤送信や情報漏えい等のトラブルが生じた場合でも、人物Ｈのプライバシーを保護することが可能となる。さらに、生体情報抽出装置３において脈波信号Ｗを生成し、その脈波信号Ｗを生体情報分析装置４に送信するように構成したので、生体情報の抽出精度を低下させることなく、画像データを送信する場合に比べて送信データ量を大幅に削減することが可能となる。
　なお、本実施形態では、カメラ１１の撮像領域Ｒは顔の頬としたが、撮像領域Ｒは、人物Ｈの顔の側面の一部である限り、顔の頬以外の部分であってもよい。例えば、図７Ｃに示すような人物Ｈの顔におけるマスク５２よりも上側の領域Ｒ１、図７Ｄに示すような人物Ｈの顔におけるマスク５２とサングラス５１との間の領域Ｒ２、人物Ｈのこめかみの部分、人物Ｈの耳の前側の領域などを撮像領域Ｒとすることができる。
　また、この第１実施形態では、生体情報抽出装置３での処理量を軽減するために、生体情報抽出装置３から生体情報分析装置４に、フィルタ処理を実施する前の脈波信号Ｗを送信するように構成している。しかし、フィルタ処理を実施した後の脈波信号（すなわち、ノイズ成分を除去した脈波信号）を送信するように構成してもよい。その場合でも、画像データを送信する場合に比べて送信データ量を大幅に削減することが可能となる。なお、この場合は、脈波信号Ｗのフィルタ処理は、生体情報抽出装置３において実施する。
　（第２実施形態）
　図８および図９は、本開示の第２実施形態に係る生体情報抽出システム１の全体構成図および機能ブロック図である。図８および図９において、上述の第１実施形態と同様の構成要素については、同一の符号が付されている。また、第２実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。
　この第２実施形態に係る生体情報抽出システム１は、図８に示すように、生体情報抽出装置３から生体情報分析装置４に、生体関連データとして脈拍データＭが送信される点が第１実施形態の場合とは異なる。また、図９に示すように、脈拍推定部２２が、生体情報分析装置４ではなく生体情報抽出装置３に設けられている点が第１実施形態の場合とは異なる。この第２実施形態に係る生体情報抽出システム１では、脈拍（脈拍数）の推定は生体情報抽出装置３において行われ、生体情報抽出装置３から生体情報分析装置４に脈拍データＭが送信される。生体情報分析装置４は、生体情報抽出装置３から受信した脈拍データＭをデータ記憶部２３に記憶する。
　この第２実施形態に係る生体情報抽出システム１によれば、生体情報抽出装置３において脈拍データＭを生成し、その脈拍データＭを生体情報分析装置４に送信するように構成したので、生体情報の抽出精度を低下させることなく、画像データを送信する場合に比べて送信データ量を大幅に削減することが可能となる。また、生体情報抽出装置３から生体情報である脈拍データＭを送信することができるので、生体情報抽出システム１の構成の自由度が高まる。これにより、様々な構成の生体情報抽出システム１を構築することが可能となる。また、人物Ｈの顔の側面に向けて配置されたカメラ１１で人物Ｈの顔の側面の一部（本実施形態では、顔の頬）を撮像するように構成したので、上記の第１実施形態の場合と同様に、人物Ｈのプライバシーを保護すること、および、人物Ｈが顔にサングラスやマスクなどの遮蔽物を装着している場合でも人物Ｈの生体情報を抽出することが可能となる。
　（第３実施形態）
　図１０および図１１は、本開示の第３実施形態に係る生体情報抽出システム１の全体構成図および機能ブロック図である。図１０および図１１において、上述の第１実施形態と同様の構成要素については、同一の符号が付されている。また、第３実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。
　この第３実施形態に係る生体情報抽出システム１は、図１０に示すように、生体情報抽出装置３から生体情報分析装置４に、生体関連データとして画像データＰが送信される点が第１実施形態の場合とは異なる。また、図１１に示すように、脈波検出部１３が、生体情報抽出装置３ではなく、生体情報分析装置４に設けられている点が第１実施形態の場合とは異なる。この第３実施形態に係る生体情報抽出システム１では、生体情報抽出装置３から生体情報分析装置４に画像データＰが送信され、生体情報分析装置４において、脈波信号の検出、およびその脈波信号に基づく脈拍（脈拍数）の推定が行われる。
　この第３実施形態に係る生体情報抽出システム１によれば、生体情報抽出装置３において肌色領域の時系列的な画像データである画像データＰを生成し、その画像データＰを生体情報分析装置４に送信するように構成したので、生体情報の抽出精度を低下させることなく、顔全体の画像を送信する場合に比べて送信データ量を大幅に削減することが可能となる。また、人物Ｈの顔の側面に向けて配置されたカメラ１１で人物Ｈの顔の側面の一部（本実施形態では、顔の頬）を撮像するように構成したので、上記の第１実施形態の場合と同様に、人物Ｈのプライバシーを保護すること、および、人物Ｈが顔にサングラスやマスクなどの遮蔽物を装着している場合でも人物Ｈの生体情報を抽出することが可能となる。
　（第４実施形態）
　図１２は、本開示の第４実施形態に係る生体情報抽出システム１の概略図である。図１２において、上述の第１実施形態と同様の構成要素については、同一の符号が付されている。また、第１実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。なお、この図１２では、生体情報分析装置４の図示は省略している。
　この第４実施形態に係る生体情報抽出システム１は、頭部装着体として、ヘルメット２の代わりにヘッドセット２を用いている点が第１実施形態の場合とは異なる。ヘッドセット２は、人物Ｈの頭部に装着されるバンド部６１と、バンド部６１の下端６１ａに設置されるヘッドホン６２と、バンド部６１の下端６１ａから延びるアーム６３と、アーム６３の先端６３ａに設置されるマイク６４とを備えており、生体情報抽出装置３は、クリップ等の図示しない公知の取付機構を用いて、アーム６３における人物Ｈの顔の頬に向けて位置する部分に固定的に取り付けられる。カメラ１１の配置位置は、人物Ｈの顔の頬を撮像するように設定されている。つまり、カメラ１１の撮像領域Ｒは、顔の頬となる。
　この第４実施形態に係る生体情報抽出システム１は、コールセンターの電話オペレータなどに適用可能である。この第４実施形態に係る生体情報抽出システム１によれば、人物Ｈの顔の側面に向けて配置されたカメラ１１で人物Ｈの顔の側面の一部（本実施形態では、顔の頬）を撮像するように構成したので、上記の第１実施形態の場合と同様に、人物Ｈのプライバシーを保護すること、および、人物Ｈが顔にサングラスやマスクなどの遮蔽物を装着している場合でも人物Ｈの生体情報を抽出することが可能となる。
　図１３は、生体情報抽出装置３のカメラ１１の変形例を示す図である。図１３に示すように、カメラ１１は、レンズ７１とＬＥＤ照明７２とを有している。レンズ７１は、赤外光を透過し可視光を遮断する可視光カットフィルタ（図示せず）と、可視光を透過し赤外光を遮断する赤外光カットフィルタ（図示せず）とを有しており、図示しない照度センサで検知された明るさに応じて上記フィルタを切り替えることができるように構成されている。これにより、昼間は可視光を光源として撮像し、夜間は赤外線を光源として撮像することができるので、昼間でも夜間でも人物Ｈをより鮮明に撮像することが可能となる。また、ＬＥＤ照明７２も、図示しない照度センサで検知された明るさに応じて駆動される。これにより、人物Ｈの撮像に必要な光量が不足した場合でも、ＬＥＤ照明７２を駆動して撮像に必要な光量を確保することにより、人物Ｈをより鮮明に撮像することが可能となる。
　以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。例えば、本開示に係る生体情報抽出装置および生体情報抽出システムは、医療的な用途に限らず、顔認識、監視、生死確認などの様々な用途に適用することが可能である。また、なお、上記生体情報抽出装置および生体情報抽出システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
　本開示に係る生体情報抽出装置および生体情報抽出システムは、被検体のプライバシーを保護すること、被検体が顔にサングラスやマスクなどの遮蔽物を装着している場合でも被検体の生体情報を抽出すること、および生体情報の抽出精度を低下させることなく送信データ量を削減することを可能とする生体情報抽出装置および生体情報抽出システムなどとして有用である。
　１　　生体情報抽出システム
　２　　頭部装着体（ヘルメット、ヘッドレスト）
　３　　生体情報抽出装置
　４　　生体情報分析装置
　５　　通信ネットワーク
　１１　　カメラ
　１２　　領域抽出部
　１４　　データ送信部
　２１　　データ受信部
　２２　　脈拍推定部
　２３　　データ記憶部
　７１　　レンズ
　７２　　ＬＥＤ照明
　Ｈ　　人物（被検体）
　Ｒ　　撮像領域
　Ｗ　　脈波信号
　Ｐ　　画像データ
　Ｍ　　脈拍データ

Claims (10)

  1. 　被検体の頭部に装着された頭部装着体に設置され、前記被検体と接触せずに得られる情報から該被検体の生体情報を抽出する生体情報抽出装置であって、
    　前記被検体の少なくとも顔の一部を被写体として含む時間的に連続する撮像画像を撮像するカメラと、
    　前記カメラで撮像した撮像画像から肌色領域を選択する領域選択部と、
    　前記肌色領域に基づいて抽出された前記被検体の生体に関する生体関連データを所定の送信先に送信するデータ送信部と、を備えており、
    　前記カメラが前記被検体の前記顔の側面に向けて配置される生体情報抽出装置。
  2. 　前記カメラが前記顔の側面の一部を撮像するように設定される請求項１に記載の生体情報抽出装置。
  3. 　前記顔の一部が前記顔の頬である請求項２に記載の生体情報抽出装置。
  4. 　前記生体関連データが前記肌色領域の時系列的な画像データである請求項１に記載の生体情報抽出装置。
  5. 　前記肌色領域の前記時系列的な画像データに基づき前記被検体の脈波信号を検出する脈波検出部をさらに備え、
    　前記生体関連データが前記脈波信号である請求項４に記載の生体情報抽出装置。
  6. 　前記脈波信号に基づき前記被検体の生体情報を抽出する生体情報抽出部をさらに備え、
    　前記生体関連データが、前記生体情報である請求項５に記載の生体情報抽出装置。
  7. 　前記頭部装着体が、ヘルメットまたはヘッドレストを含む請求項１に記載の生体情報抽出装置。
  8. 　前記カメラが、そのレンズに可視光カットフィルタおよび赤外光カットフィルタを有する請求項１に記載の生体情報抽出装置。
  9. 　前記カメラがＬＥＤ照明を有する請求項１に記載の生体情報抽出装置。
  10. 　請求項１に記載の前記生体情報抽出装置と、
    　前記生体情報抽出装置から送信された前記生体関連データを受信する生体情報分析装置と、を備える生体情報抽出システム。
PCT/JP2017/005214 2016-03-03 2017-02-14 生体情報抽出装置および生体情報抽出システム WO2017150169A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780014778.XA CN108697345A (zh) 2016-03-03 2017-02-14 生物体信息提取装置和生物体信息提取系统
EP17759640.0A EP3424415A4 (en) 2016-03-03 2017-02-14 BIOLOGICAL INFORMATION EXTRACTION DEVICE AND BIOLOGICAL INFORMATION EXTRACTION SYSTEM
US16/080,776 US20190053715A1 (en) 2016-03-03 2017-02-14 Biological information extracting device and biological information extracting system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016040890A JP2017153773A (ja) 2016-03-03 2016-03-03 生体情報抽出装置および生体情報抽出システム
JP2016-040890 2016-03-03

Publications (1)

Publication Number Publication Date
WO2017150169A1 true WO2017150169A1 (ja) 2017-09-08

Family

ID=59742803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005214 WO2017150169A1 (ja) 2016-03-03 2017-02-14 生体情報抽出装置および生体情報抽出システム

Country Status (5)

Country Link
US (1) US20190053715A1 (ja)
EP (1) EP3424415A4 (ja)
JP (1) JP2017153773A (ja)
CN (1) CN108697345A (ja)
WO (1) WO2017150169A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415318B2 (ja) 2017-12-22 2024-01-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7028002B2 (ja) * 2017-12-06 2022-03-02 新東工業株式会社 産業機械起動制御システム、起動制御方法、及びプログラム
WO2023048999A1 (en) * 2021-09-24 2023-03-30 Callisto Design Solutions Llc Systems and methods for measuring cardiac and respiratory signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010253274A (ja) * 2009-04-23 2010-11-11 Lvmh Recherche 皮膚欠陥を特性化する方法及び装置、並びに化粧用薬剤、外皮用薬剤、又は薬剤を使用する皮膚欠陥のための処置の有効性を評価する方法
JP2012114583A (ja) * 2010-11-22 2012-06-14 Sanyo Electric Co Ltd カメラ付き通信端末装置
JP2014198201A (ja) * 2013-03-29 2014-10-23 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LV14444B (lv) * 2011-09-30 2012-02-20 Latvijas Universitāte Paņēmiens un ierīce perifērās reģionālās anestēzijas iedarbības noteikšanai, izmantojot bezkontakta fotopletizmogrāfiju
US8868039B2 (en) * 2011-10-12 2014-10-21 Digimarc Corporation Context-related arrangements
AU2013256179A1 (en) * 2012-05-02 2014-11-27 Aliphcom Physiological characteristic detection based on reflected components of light
US20150313502A1 (en) * 2014-05-02 2015-11-05 Xerox Corporation Determining arterial pulse wave transit time from vpg and ecg/ekg signals
CN105266772B (zh) * 2014-06-20 2018-07-27 赵海 一种生理参数的测量方法
CN104013394B (zh) * 2014-06-24 2017-02-22 华北电力大学（保定） 电力工程高空作业人员个体状态监测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010253274A (ja) * 2009-04-23 2010-11-11 Lvmh Recherche 皮膚欠陥を特性化する方法及び装置、並びに化粧用薬剤、外皮用薬剤、又は薬剤を使用する皮膚欠陥のための処置の有効性を評価する方法
JP2012114583A (ja) * 2010-11-22 2012-06-14 Sanyo Electric Co Ltd カメラ付き通信端末装置
JP2014198201A (ja) * 2013-03-29 2014-10-23 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3424415A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415318B2 (ja) 2017-12-22 2024-01-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2017153773A (ja) 2017-09-07
CN108697345A (zh) 2018-10-23
EP3424415A4 (en) 2019-03-13
EP3424415A1 (en) 2019-01-09
US20190053715A1 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
US9089310B2 (en) Method and device for removing EEG artifacts
EP3308702B1 (en) Pulse estimation device, and pulse estimation method
WO2014030439A1 (ja) 生体状態観察システム、生体状態観察方法、およびプログラム
KR102185224B1 (ko) 작업자와 작업환경의 모니터링이 가능한 헬멧 및 이를 이용한 작업현장 모니터링 시스템
WO2017150169A1 (ja) 生体情報抽出装置および生体情報抽出システム
WO2017105720A1 (en) Electroencephalography (eeg) camera control
HK1144367A1 (en) Skin condition diagnosis system
US9737219B2 (en) Method and associated controller for life sign monitoring
CN111031905A (zh) 用于检测心脏异常的ecg和pcg监视系统
US20200337572A1 (en) Method and system of monitoring cardiac activity of a user
US11647913B2 (en) Image processing apparatus and pulse estimation system provided therewith, and image processing method
JPWO2014002276A1 (ja) バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
WO2022109104A3 (en) System and method for property monitoring
JP6796525B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
WO2020171554A1 (en) Method and apparatus for measuring body temperature using a camera
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
CN213218193U (zh) 多功能面罩
CN110772248B (zh) 穿戴式设备心电实时监测系统及方法
KR20180106433A (ko) 운전자 헬스케어 기능을 가지는 밴드형 웨어러블 장치 및 시스템
KR101526774B1 (ko) 압축센싱을 이용한 심전도 신호 전송 방법 및 이를 이용한 모니터링 시스템
WO2017154477A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
WO2020070340A1 (en) Method and system for monitoring a subject
JP6937473B2 (ja) 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法
JP7323902B1 (ja) 生体情報モニタの画像認識処理装置
JP7320766B2 (ja) 生体情報モニタリング方法、生体情報モニタリングシステムおよび生体情報モニタリングプログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017759640

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017759640

Country of ref document: EP

Effective date: 20181004

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17759640

Country of ref document: EP

Kind code of ref document: A1