WO2020246758A1 - 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법 - Google Patents

카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법 Download PDF

Info

Publication number
WO2020246758A1
WO2020246758A1 PCT/KR2020/007063 KR2020007063W WO2020246758A1 WO 2020246758 A1 WO2020246758 A1 WO 2020246758A1 KR 2020007063 W KR2020007063 W KR 2020007063W WO 2020246758 A1 WO2020246758 A1 WO 2020246758A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
ppg signal
camera
signal
optical signal
Prior art date
Application number
PCT/KR2020/007063
Other languages
English (en)
French (fr)
Inventor
이종하
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Publication of WO2020246758A1 publication Critical patent/WO2020246758A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Definitions

  • the present invention relates to a non-contact PPG (photo plethysmo graphy) signal measuring system and a driving method thereof, and more particularly, to a non-contact PPG signal measuring system using a camera and a driving method thereof.
  • PPG photo plethysmo graphy
  • Heart rate refers to the heart rate, and the arteries expand and relax repeatedly due to the flow of blood, which is called the pulse. Heart rate differs little by little depending on the state of the heart and blood vessels. In general, the pulse rate of an adult is 60 to 80 beats per minute, and it increases with a younger age, so the newborn is about 120 to 140 beats per minute. Heart rate usually causes an increase of about 8 beats per 1°C increase in body temperature, and in addition, it is affected by breathing exercises, adrenaline, and carbon dioxide.
  • Heart rate measurement is the most important health information that is the basis for diagnosing stress, physical fitness, cardiovascular system, etc.For this reason, hospitals and public health centers not only perform heart rate measurement in order to determine the basic health status of the person to be measured, but also , In many cases, the heart rate is measured periodically even at home.
  • Non-invasive methods for detecting heart rate include an electrical detection method, a mechanical detection method, and an optical detection method.
  • the electrical detection method is a method of measuring changes in electrical impedance or admittance of a tissue by attaching an electrode on the skin, but it is inconvenient to always measure an individual's heart rate due to the characteristics of the device.
  • the mechanical detection method detects the pulsation transmitted through the skin as a heartbeat through a pressure conversion sensor such as a piezoelectric element.There is a large error depending on the degree of skin adhesion of the transducer, and the mounting location is a specific part of the body (wrist, chest, etc.) ), which makes it difficult to use in various ways.
  • the optical detection method is a method of detecting by irradiating arterial blood close to the skin with light having a good correlation with hemoglobin in blood.
  • 1 is a diagram illustrating a system for measuring a conventional contact PPG signal
  • FIG. 2 is a diagram showing the principle of a system for measuring a conventional contact PPG signal.
  • the conventional optical detection method is a body contact method, there are many limitations in measuring heart rate. Accordingly, there is a need for an optical detection method for detecting a non-contact heartbeat.
  • Korean Patent Publication No. 10-2012-0057813 name of the invention: heart rate measurement method using optical volume pulse waves, announcement date: June 07, 2012
  • Korean Patent Publication No. 10-2012-0057813 name of the invention: heart rate measurement method using optical volume pulse waves, announcement date: June 07, 2012
  • the present invention has been proposed to solve the above problems of the previously proposed methods, and there is a correlation between the intensity of the optical signal in the image captured by the camera and the subcutaneous reflectance according to the change in the blood flow rate of the subject of heart rate measurement.
  • it is possible to reduce the discomfort that the subject of heart rate measurement must wear the device for the conventional body-contact type heart rate measurement, and to measure the heart rate very easily and conveniently in a stateless state.
  • the present invention determines a target region from which an optical signal is to be extracted from a photographed image, calculates the intensity of the optical signal in the region as a pixel value in x,y coordinates, and filters and amplifies it,
  • the heart rate measurement target's heart rate can be measured more accurately because it can be less affected by the noise component due to environmental influences, such as a change in the frequency component of the light irradiated on the face or the noise component caused by the movement of the person's face.
  • Another object of the present invention is to provide a system for measuring a non-contact PPG signal using a camera and a method for driving the same.
  • a camera unit for photographing an image of a person to be measured heart rate (hereinafter, referred to as a person to be measured);
  • a central processing unit that calculates the PPG signal of the measurement target from the image captured by the camera unit
  • a display unit for displaying a PPG signal calculated by the central processing unit and a heart rate extracted from the PPG signal on a display screen
  • the central processing unit The central processing unit,
  • An area selection unit for selecting a target area from which an optical signal is to be extracted from the image of the subject to be measured taken by the camera unit;
  • An optical signal detector configured to detect an optical signal reflected from the target region selected by the region selection unit for each frame of the image captured by the camera unit;
  • a photoelectric conversion unit converting the optical signal detected by the optical signal detection unit into electric charges
  • An operation unit that calculates a change in the amount of subcutaneous blood flow of the subject to be measured from the signal converted into electric charge by the photoelectric conversion unit;
  • a frequency signal conversion unit converting the signal calculated by the calculation unit into a frequency signal and outputting a PPG signal
  • a control unit for processing the PPG signal converted by the frequency signal conversion unit
  • the region selection unit Preferably, the region selection unit, the region selection unit, and
  • a face recognition unit that recognizes the face of the person to be measured from the image captured by the camera unit
  • a feature point detector configured to detect all feature points in the face recognized by the face recognition unit
  • a feature point extracting unit that extracts only effective feature points that are effective in recognizing a face of a person to be measured and extracting an optical signal from among the feature points detected by the feature point detector;
  • It may be configured to include a region determining unit for determining a target region for extracting an optical signal from the effective feature points extracted by the feature point extracting unit.
  • the region selection unit More preferably, the region selection unit,
  • Re-acquisition of the face image of the measurement subject when it is unsuitable for recognizing the face of the measurement subject from the image photographed by the camera unit, or in determining the target region from which the optical signal is to be extracted from the face of the measurement subject It may be configured to further include an image re-request unit for requesting.
  • the optical signal detection unit Preferably, the optical signal detection unit, the optical signal detection unit, and
  • each optical signal data value separated for each color channel may be detected for each frame.
  • optical signal detection unit More preferably, the optical signal detection unit,
  • the optical signal data values in the green (G) channel which is the wavelength having the highest light absorption rate of hemoglobin and oxidized hemoglobin, can be detected.
  • the calculation unit calculates
  • a change in subcutaneous blood flow of the measurement subject may be calculated by using a feature that there is a correlation between the intensity of the optical signal detected by the optical signal detection unit and the subcutaneous reflectance according to the change in the blood flow rate of the measurement subject.
  • the photoelectric conversion unit stores the intensity of the signal converted to electric charge as a pixel value on x,y coordinates, and divides the target area into small areas where a predetermined blood flow rate can be considered constant, and in each of the divided small areas After calculating the average value of the pixel values on the x and y coordinates, the change in the average value over time is tracked, so that the change in the amount of subcutaneous blood flow of the measurement subject can be calculated.
  • control unit Preferably, the control unit,
  • It may include a filter unit that filters noise or noise from the PPG signal converted by the frequency signal converter to determine a frequency range of the output PPG signal.
  • control unit More preferably, the control unit,
  • the filter unit may further include an amplification unit for amplifying the PPG signal output by filtering noise or noise to an appropriate gain value.
  • It may be configured to further include a stress calculation unit for calculating a stress index using a static correlation between the heart rate variability index extracted from the PPG signal processed by the control unit and the autonomic nervous system activation by stress.
  • step (3) displaying the PPG signal calculated in step (2) and the heart rate extracted from the PPG signal on a display screen
  • step (1) selecting a target region from which the optical signal is to be extracted from the image of the person to be measured photographed in step (1);
  • step (2-2) detecting the optical signal reflected from the target area selected in step (2-1) for each frame of the image captured in step (1);
  • step (2-3) calculating a change in subcutaneous blood flow of the subject to be measured from the signal converted to electric charge in step (2-3);
  • the implementation comprises the step of determining the heart rate of the measurement subject from the PPG signal processed in the step (2-6).
  • (2-1-4) It may be implemented by including the step of determining a target region from which the optical signal is to be extracted from the effective feature points extracted in step (2-1-3).
  • step (2-1) More preferably, the step (2-1),
  • each optical signal data value separated for each color channel may be detected for each frame.
  • step (2-2) More preferably, in the step (2-2),
  • the optical signal data values in the green (G) channel which is the wavelength having the highest light absorption rate of hemoglobin and oxidized hemoglobin, can be detected.
  • step (2-4) the step (2-4)
  • a change in subcutaneous blood flow of the measurement subject may be calculated by using the feature that there is a correlation between the intensity of the optical signal detected in step (2-2) and the subcutaneous reflectance according to the change in the blood flow rate of the measurement subject.
  • step (2-4) More preferably, in the step (2-4),
  • the intensity of the signal converted to electric charge in step (2-3) is stored as a pixel value on the x,y coordinates, and the target area is divided into small areas where a predetermined blood flow rate can be considered to be constant, After calculating the average value of the pixel values on the x and y coordinates in the area, the change in the average value over time may be tracked to calculate the change in the amount of subcutaneous blood flow of the measurement subject.
  • (2-6-1) It may be implemented including a filtering step of determining a frequency range of an output PPG signal by filtering noise or noise from the PPG signal converted in step (2-5).
  • step (2-6-2) It may be implemented by further comprising a step of amplifying the PPG signal output by filtering noise or noise in step (2-6-1) to an appropriate gain value.
  • step of calculating a stress index using a static correlation between the heart rate variability index extracted from the PPG signal processed in step (2-6) and the autonomic nervous system activation by stress may be further included.
  • the non-contact PPG signal measurement system and its driving method using a camera proposed in the present invention there is a correlation between the intensity of the optical signal in the image captured by the camera and the subcutaneous reflectance according to the change in blood flow rate of the heart rate measurement subject.
  • a target region to which an optical signal is to be extracted from a photographed image is determined, and the intensity of the optical signal in the region is determined on x,y coordinates.
  • a processing process that calculates the pixel value, filters it, and amplifies it it is affected by the noise component caused by the movement of the person's face or the frequency component of the light irradiated to the face. Because you can receive less, you can more accurately measure the heart rate of the person to be measured heart rate.
  • FIG. 1 is a diagram showing a system for measuring a conventional contact PPG signal.
  • Figure 2 is a diagram showing the principle of a system for measuring a conventional contact type PPG signal.
  • FIG. 3 is a diagram showing the configuration of a non-contact PPG signal measurement system using a camera according to an embodiment of the present invention as a functional block.
  • FIG. 4 is a diagram showing a configuration of a region selection unit of a non-contact PPG signal measuring system using a camera according to an embodiment of the present invention as a functional block.
  • FIG. 5 is a diagram illustrating a method of selecting a target region from which an optical signal is to be extracted in a non-contact PPG signal measuring system using a camera according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a method of detecting an optical signal data value separated for each color channel for each frame in a non-contact PPG signal measurement system using a camera according to an embodiment of the present invention.
  • FIG. 7 is a diagram showing a principle of using a correlation between the intensity of a detected optical signal and a subcutaneous reflectance according to a change in blood flow in a non-contact PPG signal measuring system using a camera according to an embodiment of the present invention.
  • FIG. 8 is a view showing light reflection from hemoglobin of a non-contact PPG signal measuring system using a camera according to an embodiment of the present invention.
  • FIG. 9 is a view showing a flow of a method of driving a non-contact PPG signal measurement system using a camera according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a flow of a method of calculating a PPG signal in a non-contact PPG signal measuring system using a camera according to an embodiment of the present invention.
  • control unit 260 control unit
  • PPG measurement is a method of estimating the heartbeat state by measuring the amount of blood flow through a blood vessel using optical properties of living tissue.
  • the flow of blood is slowed between the diastolic and systolic phases of the heart, causing a change in intravascular transparency, and detecting this change in transparency is the basic principle of PPG measurement.
  • This shape can be reliably measured in the peripheral tissues of the body, such as the face, fingers, and earlobe, and in the case of the commonly used PPG measurement, it is measured using a finger.
  • the present invention aims to measure the heartbeat state by measuring and analyzing the change in blood flow in the blood vessels of the facial skin through a camera. .
  • a non-contact PPG signal measurement system using a camera according to an embodiment of the present invention includes a camera unit 100 for photographing an image of a subject to be measured; A central processing unit 200 that calculates a PPG signal of a person to be measured from the image captured by the camera unit 100; And a display unit 300 that displays the PPG signal calculated by the central processing unit 200 and the heart rate extracted from the PPG signal on the display screen, and the central processing unit 200 includes: A region selector 210 for selecting a target region from which the optical signal is to be extracted from the captured image of the subject to be measured; An optical signal detection unit 220 for detecting an optical signal reflected from the target area selected by the area selection unit 210 for each frame of an image captured by the camera unit 100; A photoelectric conversion unit 230 for converting the optical signal detected by the optical signal detection unit 220 into electric charges; An
  • the region selection unit 210 selects an optimal target region for extracting an optical signal from an image of a subject to be measured photographed by the camera unit 100 and selects the heart rate of the subject to be measured. Measurement accuracy can be improved.
  • the region selection unit 210 will be described in more detail with reference to FIG. 4.
  • the region selection unit 210 includes a face recognition unit 211 for recognizing a face of a person to be measured from an image captured by the camera unit 100, and a face recognized by the face recognition unit 211.
  • the feature point detection unit 212 that detects all the feature points from the feature point detection unit 212, the feature point extraction unit 213 that extracts only effective feature points effective for extracting the optical signal among the feature points detected by the feature point detection unit 212, and the validity extracted from the feature point extraction unit 213 It may be configured to include a region determining unit 214 that determines a target region for extracting the optical signal from the feature points.
  • the subject of heart rate measurement is generally human, but is not limited thereto, and can be any living thing with a measurable heart.
  • the face recognition unit 211 may recognize the face of the person to be measured for each frame of an image captured by the camera unit 100. As a face recognition method, any existing face recognition method may be used. When the face recognition unit 211 determines that a face exists in the frame, it may determine that the face is the face of the person to be measured.
  • the feature point detection unit 212 may detect all feature points suitable for determining a face region suitable for optical signal measurement from a face recognized by the face recognition unit 211. More specifically, not only facial organs located within the face area of the measurement subject, but also all feature points capable of determining the facial area along the contour of the face of the measurement subject may be detected.
  • the facial organs may be eyes, nose, mouth, and ears, but are not limited thereto, and may include various body parts positioned on the face, and it is preferable to interpret them widely, including glasses or sunglasses worn on the face.
  • the feature point extracting unit 213 can recognize only the effective feature points that are essential or effective for recognizing the face region of the person to be measured and extracting the optical signal from among the feature points detected by the feature point detection unit 212. have.
  • the region determiner 214 may determine a target region from which the optical signal is to be extracted by connecting the effective feature points extracted by the feature point extraction unit 213.
  • a region having a large change in hemoglobin concentration according to the heartbeat is appropriate because capillaries are dense, but the forehead or cheek is preferable, but is not limited thereto.
  • the target area is an area with relatively little movement by facial expressions, it is suitable for measuring heart rate, and since it is located in the center of the person's face, the influence on heart rate measurement can be reduced even if the face moves within the frame.
  • the target area is a triangular area surrounded by a straight line connecting an effective feature point located at one side of the nose, an effective feature point located at the lower end of the ear, and an effective feature point located at one side of the mouth.
  • the image re-request unit 215 is another device constituting the region selection unit 210 and may request re-acquisition of a face image of a person to be measured. More specifically, if it is unsuitable for recognizing the face of the person to be measured from the image captured by the camera unit 100, or is unsuitable for determining the target area for extracting the optical signal from the face of the person to be measured, the camera unit 100 Re-acquisition of the face image of the person to be measured may be requested.
  • FIG. 6 is a diagram illustrating a method of detecting an optical signal data value separated for each color channel for each frame in a non-contact PPG signal measurement system using a camera according to an embodiment of the present invention.
  • the optical signal detection unit 220 detects optical signals of multiple colors in an image captured by the camera unit 100
  • the optical signal data values separated for each color channel for each frame Can be detected. That is, in the case of the RGB colorimetric system, separate optical signal data values for each of a red (R) component channel, a green (G) component channel, and a blue (B) component channel can be detected for each frame in a captured image.
  • the optical signal detector 220 may detect optical signal data of a green (G) component channel. That is, it is easier to measure the change in the concentration of hemoglobin according to the heartbeat by using the green (G) component channel, which is the wavelength having the highest light absorption of hemoglobin and oxidized hemoglobin, which is a color developing factor.
  • G green
  • the photoelectric conversion unit 230 may convert an optical signal detected by the optical signal detection unit 220 into electric charges. More specifically, by using a photoelectric change device, which is an element that converts light into electric charge, when light is transmitted to the photoelectric change element, the light can be converted into electric charge.
  • a photoelectric change device which is an element that converts light into electric charge, when light is transmitted to the photoelectric change element, the light can be converted into electric charge.
  • a photodiode may be used as the photoelectric conversion device.
  • the calculation unit 240 may calculate a change in the amount of subcutaneous blood flow of the subject to be measured from the signal converted into electric charge by the photoelectric conversion unit 230.
  • 7 is a diagram showing a principle of using a correlation between the intensity of a detected optical signal and a subcutaneous reflectance according to a change in blood flow in a non-contact PPG signal measuring system using a camera according to an embodiment of the present invention.
  • the calculation unit 240 correlates between the intensity of the optical signal detected by the optical signal detector 220 and the subcutaneous reflectance according to the change in the blood flow rate of the measurement target. It can be calculated using the feature that there is a relationship.
  • the operation unit 240 stores the intensity of the signal converted to electric charge by the photoelectric conversion unit 230 as a pixel value on the x and y coordinates, and stores the target area as a small area in which a predetermined blood flow amount can be considered constant.
  • the change in the subcutaneous blood flow of the measurement subject can be calculated by tracking the change in the average value over time.
  • the intensity of the optical signal reflected from the target area of the face of the person to be measured can be stored as pixel values at x and y coordinates, respectively, and this value is V(x,y ,t).
  • V(x,y,t) is two factors, the intensity of illumination I(x,y,t) and the reflectance R(x,y,t) of the skin, as shown in [Equation 1] below. It can be composed of the product of
  • the intensity of illumination I(x,y,t) may mean all light shining on the target area of the person's face. In this case, a certain intensity of illumination is required only in the target area where the PPG is measured.
  • the reflectance R(x,y,t) of the skin represents the intensity of light reflected from the skin, which can be made up of two types of reflections: reflection on the skin surface and reflection on the subcutaneous tissue.
  • the target area of the subject's face is divided into regions of interests (ROIs) that are small enough to be said to have a constant blood flow, and the value of V(x,y,t) in each divided small area can be called R.
  • ROIs regions of interests
  • y i (t) is the average value of the ROI R i pixel values over time t
  • I ⁇ 1,2,... ,n ⁇ is the index value of R.
  • I i represents the intensity of light of ROI R i
  • a i represents the intensity of blood flow
  • b i represents the reflectance at the surface of the facial skin
  • q i (t) represents the camera quantization Indicates noise.
  • the frequency signal conversion unit 250 may convert a signal calculated by the operation unit 240 into a frequency signal. That is, the subcutaneous blood flow change signal of the subject to be measured calculated by the operation unit 240 may be converted into a frequency signal in the frequency domain.
  • the control unit 260 may process the signal converted by the frequency signal conversion unit 250. That is, the control unit 260 may include a filter unit 261 that filters noise or noise from the PPG signal converted by the frequency signal conversion unit 250 to determine a frequency range of the output PPG signal. Influence on the optical signal to be measured due to changes in the environment, such as the movement of the face, such as a change in the position of the face in each frame constituting the image, a change in the direction of the face, or a change in facial expression This noise may interfere with the detection of the heart rate component. Therefore, it is desirable to remove or reduce the noise component.
  • the noise component is composed of a frequency component lower than the heart rate component, but does not necessarily have a lower frequency, and may be higher or equal to the heart rate component.
  • the control unit 260 may determine a frequency range of the output PPG signal by using a filter such as a bandpass filter, and extract an accurate PPG signal from which noise components have been removed.
  • the amplifying unit 262 may amplify the PPG signal output by filtering noise or noise to an appropriate gain value. That is, the amplification unit 262 can adjust the amplification factor according to the PPG signal of various waveforms obtained for each person by using the variable resistor. In the case of a person with a small waveform, the PPG signal can be amplified to an appropriate gain value.
  • the heart rate determination unit 270 determines the heart rate of the person to be measured from the PPG signal processed by the control unit 260. That is, the number corresponding to the peak value in the waveform of the PPG signal can be determined as the heart rate.For example, the number of peak values in one minute in the waveform of the PPG signal can be calculated to obtain the heart rate for one minute. have.
  • the display unit 300 may display a PPG signal calculated by the central processing unit 200 and a heart rate extracted from the PPG signal on the display screen. That is, the display unit 300 may be any device that shows the measurement subject to know their PPG signal or heart rate. For example, a liquid crystal display of a television, a liquid crystal display of a computer, or a liquid crystal display of a mobile phone Can be
  • the stress calculation unit 400 may calculate a stress index using a static correlation between the heart rate variability index extracted from the PPG signal processed by the control unit 260 and the autonomic nervous system activation by stress.
  • an index of heart rate variability SDNN (standard deviation of all RR interval: the standard deviation of the continuous R peak interval of the PPG signal), RMSSD (square root of the mean squared differences of successive normal sinus intervals: the corresponding interval of the PPG signal) R-peak interval continuous root of the mean square), LF (low frequency: low frequency component), HF (high frequency: high frequency component), or LF/HF (ratio of low frequency component and high frequency component) may be used.
  • the larger the interval the greater the degree of change.
  • the greater the degree of change the more healthy the body is to calculate the physical fatigue, and the higher the RMSSD value, the higher the stability of the heart.
  • the LF value reflects the sympathetic nervous system activity, which is affected by mental stress and fatigue, especially the degree of acute stress, and correlates with depression or anger
  • the HF value reflects the parasympathetic activity. It's closely related to activity, and it's correlated with long-term stress, anxiety, or fear.
  • the LF/HF value reflects the overall balance of the autonomic nervous system. In general, healthy people have higher LF values than HF values while awake.
  • the stress index can be measured using the non-contact PPG signal measuring system using the camera of the present invention, and the measured stress index May be displayed on the screen of the display unit 300.
  • FIG. 9 is a view showing a flow of a method for driving a non-contact PPG signal measurement system using a camera according to an embodiment of the present invention
  • FIG. 10 is a PPG in a non-contact PPG signal measurement system using a camera according to an embodiment of the present invention. It is a diagram showing the flow of a method of calculating a signal.
  • the method of measuring a non-contact PPG signal using a camera according to an embodiment of the present invention includes a step of photographing an image of a measurement subject (S100), and a measurement subject from the image taken in step S100.
  • step S200 Compute the PPG signal of (S200), and displaying the PPG signal calculated in step S200 and the heart rate extracted from the PPG signal on the display screen (S300), step S200, step S100 Selecting a target region from which the optical signal is to be extracted from the image of the person to be measured photographed in step S210, detecting the optical signal reflected from the target region selected in step S210 for each frame of the image photographed in step S100 (S220), converting the optical signal detected in step S220 into electric charge (S230), calculating a change in subcutaneous blood flow of the measurement subject from the signal converted to electric charge in step S230 (S240), the signal calculated in step S240 Converting the frequency signal to a PPG signal (S250), processing the PPG signal converted in step S250 (S260), and determining a heart rate of the measurement target from the PPG signal processed in step S260 (S270) ) Can be implemented.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

본 발명에서 제안하고 있는 카메라를 이용한 비접촉 PPG 신호 측정 시스템 및 그 구동 방법에 따르면, 카메라를 통해 촬영된 영상에서의 광신호의 세기와 심박수 측정 대상자의 혈류량 변화에 따른 피하반사율 사이에 상관관계가 있다는 특징을 이용함으로써, 종래의 신체 접촉식 심박수 측정을 위해 심박수 측정 대상자가 장치를 꼭 착용해야만 하는 불편함을 줄이고, 무구속 상태에서 매우 쉽고 간편하게 심박수를 측정할 수 있으며, 심박수 측정 대상자가 카메라 앞에 잠시 서 있는 것만으로도 심박수를 측정할 수 있어 심박수 측정 시스템을 사용하는 데 있어서 번거로움을 줄일 수 있다.

Description

카메라를 이용한 비접촉 PPG 신호 측정 시스템 및 그 구동 방법
본 발명은 비접촉 PPG(광용적맥파, photo plethysmo graphy) 신호 측정 시스템 및 그 구동 방법에 관한 것으로서, 보다 구체적으로는 카메라를 이용한 비접촉 PPG 신호 측정 시스템 및 그 구동 방법에 관한 것이다.
심박수란 심장의 박동수를 말하는 것으로, 혈액의 흐름으로 인하여 동맥이 팽창과 이완을 되풀이하게 되는데, 이를 맥박이라고 한다. 심박수는 심장과 혈관의 상태에 따라 조금씩 차이가 나는데, 일반적으로 성인의 맥박수는 분당 60∼80회이고, 나이가 적을수록 많아져서 신생아는 분당 120∼140회 정도이다. 심박수는 체온 1℃ 상승에 대하여 보통 약 8 박동의 증가를 가져오며, 그 외에도 호흡운동이나 아드레날린, 이산화탄소 등에도 영향을 받는다.
최근 스포츠나 신체 운동 및 건강에 관한 관심이 지속적으로 증가하고 있으며, 심박수 측정은 사고의 예방 차원 또는 신체 변화의 모니터링을 위해 그 중요성이 점차 증가하고 있다. 심박수 측정은 스트레스, 체력, 심혈관계 등을 진단하는데 기초가 되는 가장 중요한 건강 정보인데, 이러한 이유로 인해 병원이나 보건소 등에서는 측정 대상자의 기초 건강상태를 파악하기 위해 심박수 측정을 기본적으로 실시하고 있을 뿐만 아니라, 일반 가정에서도 심박수를 주기적으로 측정하는 경우가 많아지고 있다.
심장 박동을 검출하는 비침습적 방법으로는 전기적 검출 방법, 기계적 검출 방법, 광학적 검출 방법이 있다. 전기적 검출 방법은 피부 위에 전극을 부착하여 조직의 전기적 임피던스나 어드미턴스의 변화를 측정하는 방법이나, 장치의 특성상 개인의 심박을 상시 측정하기에는 불편함이 크다. 기계적 검출 방법은 피부를 통해 전달되는 맥동을 압전소자 등 압력 변환 센서를 통해 심장 박동으로 검출하는 방식으로, 변환기의 피부 밀착 정도에 따른 오차가 크며, 장착 위치가 신체의 특정부위(손목, 가슴 등)로 제한되어 다양한 활용이 어려운 단점이 있다.
광학적 검출 방법은 혈액의 헤모글로빈과 상관이 좋은 광을 피부에 가까운 동맥혈에 조사하여 검출하는 방법이다. 도 1은 종래의 접촉식 PPG 신호를 측정하는 시스템을 나타낸 도면이고, 도 2는 종래의 접촉식 PPG 신호를 측정하는 시스템의 원리를 도시한 도면이다. 도 1 내지 도 2에 도시된 바와 같이, 종래의 광학적 검출 방식은 신체 접촉 방식의 측정 방법이어서, 심박수 측정에 제한이 많았다. 이에 비접촉식 심장 박동을 검출하는 광학적 검출 방식에 대한 필요성이 대두된다.
한편, 본 발명과 관련된 선행기술로서, 한국공개특허 제10-2012-0057813호(발명의 명칭: 광용적맥파를 이용한 심박측정 방법, 공고일자: 2012년 06월 07일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 카메라를 통해 촬영된 영상에서의 광신호의 세기와 심박수 측정 대상자의 혈류량 변화에 따른 피하반사율 사이에 상관관계가 있다는 특징을 이용함으로써, 종래의 신체 접촉식 심박수 측정을 위해 심박수 측정 대상자가 장치를 꼭 착용해야만 하는 불편함을 줄이고, 무구속 상태에서 매우 쉽고 간편하게 심박수를 측정할 수 있으며, 심박수 측정 대상자가 카메라 앞에 잠시 서 있는 것만으로도 심박수를 측정할 수 있어 심박수 측정 시스템을 사용하는 데 있어서 번거로움을 줄일 수 있는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템 및 그 구동 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 촬영된 영상에서 광신호를 추출할 대상 영역을 결정하여 그 영역에서의 광신호 세기를 x,y 좌표상의 픽셀값으로 연산하고, 이를 필터링하고 증폭시키는 가공 과정을 거침으로써, 심박수 측정 대상자의 얼굴 움직임으로 인한 노이즈 성분이나, 얼굴에 조사되는 빛의 주파수 성분의 변화와 같은 환경의 영향에 따른 노이즈 성분으로부터 영향을 적게 받을 수 있어, 심박수 측정 대상자의 심박수를 보다 정확하게 측정할 수 있는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템 및 그 구동 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템은,
카메라를 이용한 비접촉 PPG 신호 측정 시스템으로서,
심박수 측정 대상자(이하, 측정 대상자라 한다.)의 영상을 촬영하는 카메라부;
상기 카메라부에서 촬영된 영상으로부터 상기 측정 대상자의 PPG 신호를 연산하는 중앙처리부; 및
상기 중앙처리부에서 연산된 PPG 신호 및 상기 PPG 신호로부터 추출된 심박수를 디스플레이 화면에 표시하는 디스플레이부를 포함하며,
상기 중앙처리부는,
상기 카메라부에서 촬영된 상기 측정 대상자의 영상에서 광신호를 추출할 대상 영역을 선택하는 영역 선택부;
상기 영역 선택부에서 선택된 대상 영역에서 반사되어 나온 광신호를, 상기 카메라부에서 촬영된 영상의 각 프레임별로 검출하는 광신호 검출부;
상기 광신호 검출부에서 검출된 광신호를 전하로 변환시키는 광전변환부;
상기 광전변환부에서 전하로 변환된 신호로부터 상기 측정 대상자의 피하 혈류량 변화를 연산하는 연산부;
상기 연산부에서 연산된 신호를 주파수 신호로 변환시켜 PPG 신호로 출력하는 주파수 신호 변환부;
상기 주파수 신호 변환부에서 변환된 PPG 신호를 가공하는 제어부; 및
상기 제어부에서 가공된 PPG 신호로부터 상기 측정 대상자의 심박수를 결정하는 심박수결정부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 영역 선택부는,
상기 카메라부에서 촬영된 영상으로부터 상기 측정 대상자의 얼굴을 인식하는 얼굴 인식부;
상기 얼굴 인식부에서 인식된 얼굴에서 모든 특징점을 검출하는 특징점 검출부;
상기 특징점 검출부에서 검출된 특징점 중 측정 대상자의 얼굴 인식 및 광신호 추출에 효과적인 유효 특징점만 추출하는 특징점 추출부; 및
상기 특징점 추출부에서 추출된 유효 특징점으로부터 광신호를 추출할 대상 영역을 결정하는 영역 결정부를 포함하여 구성될 수 있다.
더욱 바람직하게는, 상기 영역 선택부는,
상기 카메라부에서 촬영된 영상으로부터 상기 측정 대상자의 얼굴을 인식하기에 부적합하거나, 상기 측정 대상자의 얼굴에서 상기 광신호를 추출할 상기 대상 영역을 결정하기에 부적합한 경우, 상기 측정 대상자의 얼굴 영상 재획득을 요구하는 영상 재요구부를 더 포함하여 구성될 수 있다.
바람직하게는, 상기 광신호 검출부는,
상기 카메라부에서 촬영된 영상에서 다수의 색상의 광신호를 검출하는 경우, 상기 프레임마다 색상 채널별 분리된 각각의 광신호 데이터값을 검출할 수 있다.
더욱 바람직하게는, 상기 광신호 검출부는,
헤모글로빈과 산화 헤모글로빈의 빛 흡수율이 가장 높은 파장인 녹색(G)채널에서의 광신호 데이터값을 검출할 수 있다.
바람직하게는, 상기 연산부는,
상기 광신호 검출부에서 검출된 광신호의 세기와 상기 측정 대상자의 혈류량 변화에 따른 피하반사율 사이에 상관관계가 있다는 특징을 이용하여 상기 측정 대상자의 피하 혈류량 변화를 연산할 수 있다.
더욱 바람직하게는, 상기 연산부는,
상기 광전변환부에서 전하로 변환된 신호의 세기를 x,y 좌표상의 픽셀값으로 저장하고, 상기 대상 영역을 기설정된 혈류량이 일정하다고 볼 수 있는 작은 영역으로 나누어, 나누어진 각각의 작은 영역에서의 상기 x,y 좌표상의 픽셀값의 평균값을 연산한 후에 시간에 따른 상기 평균값 변화를 추적함으로써, 상기 측정 대상자의 피하 혈류량 변화를 연산할 수 있다.
바람직하게는, 상기 제어부는,
상기 주파수 신호 변환부에서 변환된 PPG 신호에서 노이즈 또는 잡음을 필터링하여, 출력되는 PPG 신호의 주파수 범위를 결정하는 필터부를 포함하여 구성될 수 있다.
더욱 바람직하게는, 상기 제어부는,
상기 필터부에서 노이즈 또는 잡음이 필터링 되어 출력된 PPG 신호를 적절한 이득 값으로 증폭시켜주는 증폭부를 더 포함하여 구성될 수 있다.
바람직하게는,
상기 제어부에서 가공된 PPG 신호로부터 추출된 심박변이도 지표와 스트레스에 의한 자율신경계 활성화의 정적 상관관계를 이용하여 스트레스 지수를 연산하는 스트레스 연산부를 더 포함하여 구성될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 카메라를 이용한 비접촉 PPG 신호 측정 방법은,
카메라를 이용한 비접촉 PPG 신호 측정 방법으로서,
(1) 측정 대상자의 영상을 촬영하는 단계;
(2) 상기 단계 (1)에서 촬영된 영상으로부터 상기 측정 대상자의 PPG 신호를 연산하는 단계; 및
(3) 상기 단계 (2)에서 연산된 PPG 신호 및 상기 PPG 신호로부터 추출된 심박수를 디스플레이 화면에 표시하는 단계를 포함하며,
상기 단계 (2)는,
(2-1) 상기 단계 (1)에서 촬영된 상기 측정 대상자의 영상에서 광신호를 추출할 대상 영역을 선택하는 단계;
(2-2) 상기 단계 (2-1)에서 선택된 대상 영역에서 반사되어 나온 광신호를, 상기 단계 (1)에서 촬영된 영상의 각 프레임별로 검출하는 단계;
(2-3) 상기 단계 (2-2)에서 검출된 광신호를 전하로 변환시키는 단계;
(2-4) 상기 단계 (2-3)에서 전하로 변환된 신호로부터 상기 측정 대상자의 피하 혈류량 변화를 연산하는 단계;
(2-5) 상기 단계 (2-4)에서 연산된 신호를 주파수 신호로 변환시켜 PPG 신호로 출력하는 단계;
(2-6) 상기 단계 (2-5)에서 변환된 PPG 신호를 가공하는 단계; 및
(2-7) 상기 단계 (2-6)에서 가공된 PPG 신호로부터 상기 측정 대상자의 심박수를 결정하는 단계를 포함하는 것을 그 구현상의 특징으로 한다.
바람직하게는, 상기 단계 (2-1)은,
(2-1-1) 상기 단계 (1)에서 촬영된 영상으로부터 상기 측정 대상자의 얼굴을 인식하는 단계;
(2-1-2) 상기 단계 (2-1-1)에서 인식된 얼굴에서 모든 특징점을 검출하는 단계;
(2-1-3) 상기 단계 (2-1-2)에서 검출된 특징점 중 광신호 추출에 효과적인 유효 특징점만 추출하는 단계; 및
(2-1-4) 상기 단계 (2-1-3)에서 추출된 유효 특징점으로부터 광신호를 추출할 대상 영역을 결정하는 단계를 포함하여 구현될 수 있다.
더욱 바람직하게는, 상기 단계 (2-1)은,
(2-1-5) 상기 단계 (1)에서 촬영된 영상으로부터 상기 측정 대상자의 얼굴을 인식하기에 부적합하거나, 상기 측정 대상자의 얼굴에서 상기 광신호를 추출할 상기 대상 영역을 결정하기에 부적합한 경우, 상기 측정 대상자의 얼굴 영상 재획득을 요구하는 단계를 더 포함하여 구현될 수 있다.
바람직하게는, 상기 단계 (2-2)에서는,
상기 단계 (1)에서 촬영된 영상에서 다수의 색상의 광신호를 검출하는 경우, 상기 프레임마다 색상 채널별 분리된 각각의 광신호 데이터값을 검출할 수 있다.
더욱 바람직하게는, 상기 단계 (2-2)에서는,
헤모글로빈과 산화 헤모글로빈의 빛 흡수율이 가장 높은 파장인 녹색(G)채널에서의 광신호 데이터값을 검출할 수 있다.
바람직하게는, 단계 (2-4)에서는,
상기 단계 (2-2)에서 검출된 광신호의 세기와 상기 측정 대상자의 혈류량 변화에 따른 피하반사율 사이에 상관관계가 있다는 특징을 이용하여 상기 측정 대상자의 피하 혈류량 변화를 연산할 수 있다.
더욱 바람직하게는, 상기 단계 (2-4)에서는,
상기 단계 (2-3)에서 전하로 변환된 신호의 세기를 x,y 좌표상의 픽셀값으로 저장하고, 상기 대상 영역을 기설정된 혈류량이 일정하다고 볼 수 있는 작은 영역으로 나누어, 나누어진 각각의 작은 영역에서의 상기 x,y 좌표상의 픽셀값의 평균값을 연산한 후에 시간에 따른 상기 평균값 변화를 추적함으로써, 상기 측정 대상자의 피하 혈류량 변화를 연산할 수 있다.
바람직하게는, 상기 단계 (2-6)은,
(2-6-1) 상기 단계 (2-5)에서 변환된 PPG 신호에서 노이즈 또는 잡음을 필터링하여, 출력되는 PPG 신호의 주파수 범위를 결정하는 필터링 단계를 포함하여 구현될 수 있다.
더욱 바람직하게는, 상기 단계 (2-6)은,
(2-6-2) 상기 단계 (2-6-1)에서 노이즈 또는 잡음이 필터링 되어 출력된 PPG 신호를 적절한 이득 값으로 증폭시켜주는 단계를 더 포함하여 구현될 수 있다.
바람직하게는,
(4) 상기 단계 (2-6)에서 가공된 PPG 신호로부터 추출된 심박변이도 지표와 스트레스에 의한 자율신경계 활성화의 정적 상관관계를 이용하여 스트레스 지수를 연산하는 단계를 더 포함하여 구현될 수 있다.
본 발명에서 제안하고 있는 카메라를 이용한 비접촉 PPG 신호 측정 시스템 및 그 구동 방법에 따르면, 카메라를 통해 촬영된 영상에서의 광신호의 세기와 심박수 측정 대상자의 혈류량 변화에 따른 피하반사율 사이에 상관관계가 있다는 특징을 이용함으로써, 종래의 신체 접촉식 심박수 측정을 위해 심박수 측정 대상자가 장치를 꼭 착용해야만 하는 불편함을 줄이고, 무구속 상태에서 매우 쉽고 간편하게 심박수를 측정할 수 있으며, 심박수 측정 대상자가 카메라 앞에 잠시 서 있는 것만으로도 심박수를 측정할 수 있어 심박수 측정 시스템을 사용하는 데 있어서 번거로움을 줄일 수 있다.
또한, 본 발명에서 제안하고 있는 카메라를 이용한 비접촉 PPG 신호 측정 시스템 및 그 구동 방법에 따르면, 촬영된 영상에서 광신호를 추출할 대상 영역을 결정하여 그 영역에서의 광신호 세기를 x,y 좌표상의 픽셀값으로 연산하고, 이를 필터링하고 증폭시키는 가공 과정을 거침으로써, 심박수 측정 대상자의 얼굴 움직임으로 인한 노이즈 성분이나, 얼굴에 조사되는 빛의 주파수 성분의 변화와 같은 환경의 영향에 따른 노이즈 성분으로부터 영향을 적게 받을 수 있어, 심박수 측정 대상자의 심박수를 보다 정확하게 측정할 수 있다.
도 1은 종래의 접촉식 PPG 신호를 측정하는 시스템을 나타낸 도면.
도 2는 종래의 접촉식 PPG 신호를 측정하는 시스템의 원리를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 구성을 기능 블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 영역 선택부의 구성을 기능 블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 광신호를 추출할 대상 영역을 선택하는 방법을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템에서 각 프레임마다 색상 채널별 분리된 광신호 데이터값을 검출하는 방법을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 검출된 광신호의 세기와 혈류량 변화에 따른 피하반사율 사이의 상관관계를 이용하는 원리를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 헤모글로빈에서의 빛 반사를 도시한 도면.
도 9는 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템 구동 방법의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템에서 PPG 신호를 연산하는 방법의 흐름을 도시한 도면.
<부호의 설명>
100: 카메라부
200: 중앙처리부
210: 영역 선택부
211: 얼굴 인식부
212: 특징점 검출부
213: 특징점 추출부
214: 영역 결정부
215: 영상 재요구부
220: 광신호 검출부
230: 광전변환부
240: 연산부
250: 주파수 신호 변환부
260: 제어부
270: 심박수결정부
300: 디스플레이부
400: 스트레스 연산부
S100: 측정 대상자의 영상을 촬영하는 단계
S200: 촬영된 영상으로부터 측정 대상자의 PPG 신호를 연산하는 단계
S210: 촬영된 측정 대상자의 영상에서 광신호를 추출할 대상 영역을 선택하는 단계
S220: 선택된 대상 영역에서 반사되어 나온 광신호를, 영상의 각 프레임별로 검출하는 단계
S230: 검출된 광신호를 전하로 변환시키는 단계
S240: 전하로 변환된 신호로부터 측정 대상자의 피하 혈류량 변화를 연산하는 단계
S250: 연산된 신호를 주파수 신호로 변환시켜 PPG 신호로 출력하는 단계
S260: 변환된 PPG 신호를 가공하는 단계
S270: 가공된 PPG 신호로부터 측정 대상자의 심박수를 결정하는 단계
S300: 연산된 PPG 신호 및 PPG 신호로부터 추출된 심박수를 디스플레이 화면에 표시하는 단계
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
PPG 측정은 생체조직의 광학적 특성을 이용하여 혈관에 흐르는 혈류량을 측정함으로써 심박동 상태를 추정하는 방법이다. 말초혈관으로 혈액이 흐를 때 심장의 이완기와 수축기 사이에 혈액의 흐름이 느려져 혈관 내 투명도의 변화를 일으키며, 이 투명도 변화를 감지하는 것을 PPG 측정의 기본 원리로 한다. 이러한 형상은 신체의 말초조직 얼굴이나 손가락, 귓불 등에서 확실히 측정할 수 있으며, 일반적으로 사용되는 PPG 측정의 경우 손가락을 이용하여 측정한다. 이와 같은 원리를 얼굴에도 적용할 경우 심박동 상태에 따라 얼굴 피부의 혈관 내 혈류량 또한 마찬가지로 변화할 것이므로, 본 발명은 카메라를 통하여 얼굴 피부의 혈관 내 혈류량 변화를 측정하여 분석함으로써 심장 박동 상태를 측정하고자 한다.
도 3은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 구성을 기능 블록으로 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템은, 측정 대상자의 영상을 촬영하는 카메라부(100); 카메라부(100)에서 촬영된 영상으로부터 측정 대상자의 PPG 신호를 연산하는 중앙처리부(200); 및 중앙처리부(200)에서 연산된 PPG 신호 및 PPG 신호로부터 추출된 심박수를 디스플레이 화면에 표시하는 디스플레이부(300)를 포함하여 구성될 수 있으며, 중앙처리부(200)는, 카메라부(100)에서 촬영된 측정 대상자의 영상에서 광신호를 추출할 대상 영역을 선택하는 영역 선택부(210); 영역 선택부(210)에서 선택된 대상 영역에서 반사되어 나온 광신호를, 카메라부(100)에서 촬영된 영상의 각 프레임별로 검출하는 광신호 검출부(220); 광신호 검출부(220)에서 검출된 광신호를 전하로 변환시키는 광전변환부(230); 광전변환부(230)에서 전하로 변환된 신호로부터 측정 대상자의 피하 혈류량 변화를 연산하는 연산부(240); 연산부(240)에서 연산된 신호를 주파수 신호로 변환시켜 PPG 신호로 출력하는 주파수 신호 변환부(250); 주파수 신호 변환부(250)에서 변환된 PPG 신호를 가공하는 제어부(260); 및 제어부(260)에서 가공된 PPG 신호로부터 측정 대상자의 심박수를 결정하는 심박수결정부(270)를 포함하여 구성될 수 있다.
영역 선택부(210)는, 중앙처리부(200)를 구성하는 하나의 장치로서, 카메라부(100)에서 촬영된 측정 대상자의 영상으로부터 광신호를 추출할 최적의 대상 영역을 선택하여 측정 대상자의 심박수 측정의 정확도를 높일 수 있다. 이하 도 4를 이용하여 영역 선택부(210)에 대하여 더욱 구체적으로 설명한다.
도 4는 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 영역 선택부의 구성을 기능 블록으로 도시한 도면이다. 도 4에 도시된 바와 같이, 영역 선택부(210)는, 카메라부(100)에서 촬영된 영상으로부터 측정 대상자의 얼굴을 인식하는 얼굴 인식부(211), 얼굴 인식부(211)에서 인식된 얼굴에서 모든 특징점을 검출하는 특징점 검출부(212), 특징점 검출부(212)에서 검출된 특징점 중 광신호 추출에 효과적인 유효 특징점만 추출하는 특징점 추출부(213), 및 특징점 추출부(213)에서 추출된 유효 특징점으로부터 광신호를 추출할 대상 영역을 결정하는 영역 결정부(214)를 포함하여 구성될 수 있다. 심박수 측정 대상자는 일반적으로 사람이나 이에 제한되는 것은 아니며, 측정 가능한 심장을 가진 모든 생명체가 될 수 있다.
도 5는 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 광신호를 추출할 대상 영역을 선택하는 방법을 도시한 도면이다. 도 5에 도시된 바와 같이, 얼굴 인식부(211)는 카메라부(100)에서 촬영된 영상의 각각의 프레임에 대하여 측정 대상자의 얼굴을 인식할 수 있다. 얼굴 인식 방법으로는 기존에 존재하는 임의의 얼굴 인식 방법이 이용될 수 있다. 얼굴 인식부(211)가 프레임 내에 얼굴이 존재한다고 판단할 경우, 그 얼굴이 측정 대상자의 얼굴이라고 결정할 수 있다.
특징점 검출부(212)는, 도 5에 도시된 바와 같이, 얼굴 인식부(211)에서 인식된 얼굴에서 광신호 측정에 적절한 얼굴 영역을 결정하기에 적합한 모든 특징점을 검출할 수 있다. 보다 구체적으로, 측정 대상자의 얼굴 영역 내에 위치하는 얼굴 기관뿐만 아니라, 측정 대상자 얼굴의 윤곽선을 따라 얼굴 영역을 결정할 수 있는 모든 특징점을 검출할 수 있다. 얼굴 기관은 눈, 코, 입, 귀가 될 수 있지만, 이에 한정되는 것은 아니며, 얼굴에 위치하는 다양한 신체 일부를 포함할 수 있고, 얼굴에 착용 된 안경이나 선글라스를 포함하여 넓게 해석함이 바람직하다.
특징점 추출부(213)는, 도 5에 도시된 바와 같이, 특징점 검출부(212)에서 검출된 특징점 중 측정 대상자의 얼굴 영역을 인식하고 광신호를 추출하는 데 꼭 필요하거나 효과적인 유효 특징점만 추출할 수 있다.
영역 결정부(214)는, 도 5에 도시된 바와 같이, 특징점 추출부(213)에서 추출된 유효 특징점을 연결하여 광신호를 추출할 대상 영역을 결정할 수 있다. 광신호를 추출할 대상 영역을 결정할 경우, 모세혈관이 밀집하여 있어 심장 박동에 따른 헤모글로빈 농도의 변화가 큰 부위가 적절한데, 이마 또는 뺨이 바람직하나, 이에 한정되는 것은 아니다. 대상 영역은 얼굴 중에서 표정에 의한 움직임이 비교적 적은 영역이므로 심박수의 측정에 적합할 뿐만 아니라, 측정 대상자 얼굴의 중앙에 위치하므로 얼굴이 프레임 내에서 움직임이 있더라도 심박수 측정에 주는 영향을 줄일 수 있다. 도 5에 도시된 대상 영역 결정의 실시예에 따르면, 대상 영역은, 코의 일측에 위치한 유효 특징점, 귀의 하단에 위치한 유효 특징점, 및 입의 일측에 위치한 유효 특징점을 연결하는 직선으로 둘러싸인 삼각형의 영역일 수 있다.
영상 재요구부(215)는, 영역 선택부(210)를 구성하는 또 다른 장치로서, 측정 대상자의 얼굴 영상 재획득을 요구할 수 있다. 보다 구체적으로, 카메라부(100)에서 촬영된 영상으로부터 측정 대상자의 얼굴을 인식하기에 부적합하거나, 측정 대상자의 얼굴에서 광신호를 추출할 대상 영역을 결정하기에 부적합한 경우, 카메라부(100)로 측정 대상자의 얼굴 영상 재획득을 요구할 수 있다.
도 6은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템에서 각 프레임마다 색상 채널별 분리된 광신호 데이터값을 검출하는 방법을 도시한 도면이다. 도 6에 도시된 바와 같이, 광신호 검출부(220)는, 카메라부(100)에서 촬영된 영상에서 다수의 색상의 광신호를 검출하는 경우, 프레임마다 색상 채널별 분리된 각각의 광신호 데이터값을 검출할 수 있다. 즉, RGB 표색계의 경우, 촬영된 영상에서 각각의 프레임마다 적색(R) 성분 채널, 녹색(G) 성분 채널 및 청색(B) 성분 채널별 분리된 각각의 광신호 데이터값을 검출할 수 있다.
특히, 광신호 검출부(220)는, 녹색(G) 성분 채널의 광신호 데이터를 검출할 수 있다. 즉, 발색요소인 헤모글로빈과 산화 헤모글로빈의 빛 흡수율이 가장 높은 파장인 녹색(G) 성분 채널을 사용함으로써, 심장 박동에 따른 헤모글로빈 농도의 변화를 측정하기에 더욱 용이하다.
광전변환부(230)는, 광신호 검출부(220)에서 검출된 광신호를 전하로 변환시킬 수 있다. 보다 구체적으로, 광을 전하로 변환시키는 소자인 광전변화소자를 이용함으로써, 광전변화소자에 광이 전달되면, 광이 전하로 변환될 수 있다. 바람직하게는, 광전변화소자로서 포토 다이오드가 사용될 수 있다.
연산부(240)는, 광전변환부(230)에서 전하로 변환된 신호로부터 측정 대상자의 피하 혈류량 변화를 연산할 수 있다. 도 7은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 검출된 광신호의 세기와 혈류량 변화에 따른 피하반사율 사이의 상관관계를 이용하는 원리를 도시한 도면이고, 도 8은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템의 헤모글로빈에서의 빛 반사를 도시한 도면이다. 도 7 내지 도 8에 도시된 바와 같이, 연산부(240)는 혈류량 변화를 연산하는 과정에서, 광신호 검출부(220)에서 검출된 광신호의 세기와 측정 대상자의 혈류량 변화에 따른 피하반사율 사이에 상관관계가 있다는 특징을 이용하여 연산할 수 있다.
보다 구체적으로, 연산부(240)는, 광전변환부(230)에서 전하로 변환된 신호의 세기를 x,y 좌표상의 픽셀값으로 저장하고, 대상 영역을 기설정된 혈류량이 일정하다고 볼 수 있는 작은 영역으로 나누어, 나누어진 각각의 작은 영역에서의 x,y 좌표상의 픽셀값의 평균값을 연산한 후에 시간에 따른 평균값 변화를 추적함으로써, 측정 대상자의 피하 혈류량 변화를 연산할 수 있다. 이하, 수학식을 이용하여 피하 혈류량 변화를 연산하는 방법에 대하여 보다 구체적으로 설명한다.
카메라부(100)에서 촬영된 영상의 각 프레임별, 측정 대상자 얼굴의 대상 영역으로부터 반사되어 나온 광신호의 세기를 각각 x,y 좌표에 픽셀값으로 저장할 수 있는데, 이 값을 V(x,y,t)라 한다. 이때, V(x,y,t)는, 아래의 [수학식 1]에서 알 수 있듯이, 조명의 세기 I(x,y,t)와 피부의 반사율 R(x,y,t) 두 가지 요소의 곱으로 구성될 수 있다.
Figure PCTKR2020007063-appb-img-000001
조명의 세기 I(x,y,t)는 측정 대상자 얼굴의 대상 영역에 비춰지는 모든 빛을 의미할 수 있다. 이 때, PPG가 측정되는 대상 영역에 한하여 일정한 조명의 세기가 필요하다. 피부의 반사율 R(x,y,t)은 피부로부터 반사된 광의 세기를 나타내는데, 이는 피부표면의 반사와 피하조직의 반사 이 두 종류의 반사로 이루어질 수 있다.
측정 대상자 얼굴의 대상 영역을 혈류량이 일정하다고 할 수 있을 만큼 작은 영역 (Regions of interests, ROIs)으로 나누어, 나누어진 각각의 작은 영역에서의 V(x,y,t) 값을 R이라 할 수 있는데, 이때 y i(t)는 시간 t에 따른 ROI R i 픽셀값의 평균값이며, I{1,2,…,n}는 R의 인덱스 값이다. ROI R i 에서의 일정한 빛의 세기를 I i로 나타낼 경우, y i(t)는 아래의 [수학식 2]와 같이 나타낼 수 있다.
Figure PCTKR2020007063-appb-img-000002
위의 [수학식 2]에서 I i는 ROI R i의 빛의 세기를 나타내며, a i는 혈류의 세기를 말하고, b i는 얼굴 피부 표면에서의 반사율을 말하며, q i(t)는 카메라 양자화 노이즈를 나타낸다. ROI R i에 I i의 빛이 비춰질 때 많은 양의 반사(b i)가 피부표면에서 이루어지는데, 이 값의 경우 혈류량 변화에 전혀 영향을 받지 않는 값이다. 하지만 일부분의 빛이 피부표면을 뚫고 들어가서 혈류변화에 따라 빛 반사량이 달라질 수 있는데, 이 값을 p(t)로 나타낸다. 여기서 피부표면 아래의 빛의 반사에 기여하는 두 요인 a i와 p(t)로 피하반사율을 구할 수 있다. 따라서, 연산부(240)는, ROI R i 값이 측정 대상자의 혈류량 변화에 따른 피하반사율에 영향을 받는다는 특징을 이용하여 측정 대상자의 피하 혈류량 변화를 연산할 수 있다.
주파수 신호 변환부(250)는, 연산부(240)에서 연산된 신호를 주파수 신호로 변환시킬 수 있다. 즉, 연산부(240)에서 연산된 측정 대상자의 피하 혈류량 변화 신호를 주파수 영역의 주파수 신호로 변환시킬 수 있다.
제어부(260)는, 주파수 신호 변환부(250)에서 변환된 신호를 가공할 수 있다. 즉, 제어부(260)는, 주파수 신호 변환부(250)에서 변환된 PPG 신호에서 노이즈 또는 잡음을 필터링하여, 출력되는 PPG 신호의 주파수 범위를 결정하는 필터부(261)를 포함할 수 있다. 영상을 구성하는 각각의 프레임에서의 얼굴 위치의 변화, 얼굴 방향의 변화 또는 얼굴 표정의 변화 등 얼굴의 움직임이나 측정 대상자 얼굴의 대상 영역을 비추는 빛과 같은 환경의 변화로 인하여 측정되는 광신호에 영향을 줄 수 있는데, 이러한 노이즈는 심박 성분의 검출에 방해가 될 수 있다. 따라서, 노이즈 성분을 제거하거나, 저감하는 것이 바람직하다. 일반적으로 노이즈 성분은 심박 성분보다 낮은 주파수 성분으로 구성되나 반드시 낮은 주파수일 필요는 없으며, 심박 성분보다 더 높거나 같을 수 있다. 제어부(260)는, 밴드패스 필터 등의 필터를 사용함으로써, 출력되는 PPG 신호의 주파수 범위를 결정하여, 노이즈 성분이 제거된 정확한 PPG 신호를 추출할 수 있다.
증폭부(262)는, 노이즈 또는 잡음이 필터링 되어 출력된 PPG 신호를 적절한 이득 값으로 증폭시킬 수 있다. 즉, 증폭부(262)에서는 가변저항을 이용함으로써, 사람마다 얻어지는 다양한 파형의 PPG 신호에 따라 증폭률을 조절할 수 있는데, 파형이 작게 나오는 사람의 경우 PPG 신호를 적절한 이득 값으로 증폭시킬 수 있다.
심박수결정부(270)는, 제어부(260)에서 가공된 PPG 신호로부터 측정 대상자의 심박수를 결정한다. 즉, PPG 신호의 파형에서 피크 값에 대응되는 수를 심박수로 결정할 수 있는데, 예를 들면 PPG 신호의 파형에서 1분 동안 몇 번의 피크 값을 가지는지 계산하여, 1분 동안의 심장 박동수를 구할 수 있다.
디스플레이부(300)는, 중앙처리부(200)에서 연산된 PPG 신호 및 PPG 신호로부터 추출된 심박수를 디스플레이 화면에 표시할 수 있다. 즉, 디스플레이부(300)는, 측정 대상자가 자신의 PPG 신호나 심박수를 알 수 있도록 보여주는 모든 장치가 이용될 수 있는데, 예를 들면, 텔레비전의 액정 디스플레이, 컴퓨터의 액정 디스플레이 또는 휴대전화의 액정 디스플레이일 수 있다.
스트레스 연산부(400)는, 제어부(260)에서 가공된 PPG 신호로부터 추출된 심박변이도 지표와 스트레스에 의한 자율신경계 활성화의 정적 상관관계를 이용하여 스트레스 지수를 연산할 수 있다. 여기서, 심박변이도 지표로서, SDNN(standard deviation of all RR interval: PPG 신호의 해당구간 R peak 간격 연속의 표준편차), RMSSD(square root of the mean squared differences of successive normal sinus intervals: PPG 신호의 해당구간 R peak 간격 연속의 제곱평균제곱근), LF(low frequency: 저주파 성분), HF(high frequency: 고주파 성분), 또는 LF/HF(저주파 성분과 고주파 성분의 비율)를 이용할 수 있다.
예를 들면, SDNN 값에서 간격이 넓을수록 변화도가 크다는 뜻이며, 일반적으로 변화도가 클수록 건강하다는 것을 이용하여 육체의 피로도를 연산할 수 있고, RMSSD 값의 수치가 높으면 심장이 안정도가 높다는 것을 이용하여, 부교감 신경의 활동을 알 수 있다. LF 값의 경우 교감신경계 활성도를 반영하는데, 정신 스트레스와 피로감에 영향을 받으며, 특히 급성 스트레스 정도를 평가할 수 있고, 우울 또는 분노와 상관관계가 있으며, HF 값의 경우 부교감신경계 활성도를 반영하는데, 호흡 활동과 밀접한 관련이 있으며, 장기적인 스트레스, 불안, 또는 공포와 상관관계가 있다. LF/HF 값은 자율신경계의 전체적인 균형 정도를 반영하는데, 일반적으로 건강한 사람은 깨어 있는 동안에 LF 값이 HF 값보다 높다. 따라서, PPG 신호로부터 추출된 심박변이도 지표와 스트레스에 의한 자율신경계 활성화의 정적 상관관계를 이용함으로써, 본 발명인 카메라를 이용한 비접촉 PPG 신호 측정 시스템을 이용하여 스트레스 지수를 측정할 수 있고, 측정된 스트레스 지수를 디스플레이부(300)의 화면에 표시할 수도 있다.
도 9는 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템 구동 방법의 흐름을 도시한 도면이고, 도 10은 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템에서 PPG 신호를 연산하는 방법의 흐름을 도시한 도면이다. 도 9 내지 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 방법은, 측정 대상자의 영상을 촬영하는 단계(S100), 단계 S100에서 촬영된 영상으로부터 측정 대상자의 PPG 신호를 연산하는 단계(S200), 및 단계 S200에서 연산된 PPG 신호 및 PPG 신호로부터 추출된 심박수를 디스플레이 화면에 표시하는 단계(S300)를 포함하여 구현될 수 있으며, 단계 S200은, 단계 S100에서 촬영된 측정 대상자의 영상에서 광신호를 추출할 대상 영역을 선택하는 단계(S210), 단계 S210에서 선택된 대상 영역에서 반사되어 나온 광신호를, 단계 S100에서 촬영된 영상의 각 프레임별로 검출하는 단계(S220), 단계 S220에서 검출된 광신호를 전하로 변환시키는 단계(S230), 단계 S230에서 전하로 변환된 신호로부터 측정 대상자의 피하 혈류량 변화를 연산하는 단계(S240), 단계 S240에서 연산된 신호를 주파수 신호로 변환시켜 PPG 신호로 출력하는 단계(S250), 단계 S250에서 변환된 PPG 신호를 가공하는 단계(S260), 및 단계 S260에서 가공된 PPG 신호로부터 측정 대상자의 심박수를 결정하는 단계(S270)를 포함하여 구현될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 카메라를 이용한 비접촉 PPG 신호 측정 시스템과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (20)

  1. 카메라를 이용한 비접촉 PPG 신호 측정 시스템에 있어서,
    심박수 측정 대상자(이하, 측정 대상자라 한다)의 영상을 촬영하는 카메라부(100);
    상기 카메라부(100)에서 촬영된 영상으로부터 상기 측정 대상자의 PPG 신호를 연산하는 중앙처리부(200); 및
    상기 중앙처리부(200)에서 연산된 PPG 신호 및 상기 PPG 신호로부터 추출된 심박수를 디스플레이 화면에 표시하는 디스플레이부(300)를 포함하며,
    상기 중앙처리부(200)는,
    상기 카메라부(100)에서 촬영된 상기 측정 대상자의 영상에서 광신호를 추출할 대상 영역을 선택하는 영역 선택부(210);
    상기 영역 선택부(210)에서 선택된 대상 영역에서 반사되어 나온 광신호를, 상기 카메라부(100)에서 촬영된 영상의 각 프레임별로 검출하는 광신호 검출부(220);
    상기 광신호 검출부(220)에서 검출된 광신호를 전하로 변환시키는 광전변환부(230);
    상기 광전변환부(230)에서 전하로 변환된 신호로부터 상기 측정 대상자의 피하 혈류량 변화를 연산하는 연산부(240);
    상기 연산부(240)에서 연산된 신호를 주파수 신호로 변환시켜 PPG 신호로 출력하는 주파수 신호 변환부(250);
    상기 주파수 신호 변환부(250)에서 변환된 PPG 신호를 가공하는 제어부(260); 및
    상기 제어부(260)에서 가공된 PPG 신호로부터 상기 측정 대상자의 심박수를 결정하는 심박수결정부(270)를 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  2. 제1항에 있어서, 상기 영역 선택부(210)는,
    상기 카메라부(100)에서 촬영된 영상으로부터 상기 측정 대상자의 얼굴을 인식하는 얼굴 인식부(211);
    상기 얼굴 인식부(211)에서 인식된 얼굴에서 모든 특징점을 검출하는 특징점 검출부(212);
    상기 특징점 검출부(212)에서 검출된 특징점 중 측정 대상자의 얼굴 인식 및 광신호 추출에 효과적인 유효 특징점만 추출하는 특징점 추출부(213); 및
    상기 특징점 추출부(213)에서 추출된 유효 특징점으로부터 광신호를 추출할 대상 영역을 결정하는 영역 결정부(214)를 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  3. 제2항에 있어서, 상기 영역 선택부(210)는,
    상기 카메라부(100)에서 촬영된 영상으로부터 상기 측정 대상자의 얼굴을 인식하기에 부적합하거나, 상기 측정 대상자의 얼굴에서 상기 광신호를 추출할 상기 대상 영역을 결정하기에 부적합한 경우, 상기 측정 대상자의 얼굴 영상 재획득을 요구하는 영상 재요구부(215)를 더 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  4. 제1항에 있어서, 상기 광신호 검출부(220)는,
    상기 카메라부(100)에서 촬영된 영상에서 다수의 색상의 광신호를 검출하는 경우, 상기 프레임마다 색상 채널별 분리된 각각의 광신호 데이터값을 검출하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  5. 제4항에 있어서, 상기 광신호 검출부(220)는,
    헤모글로빈과 산화 헤모글로빈의 빛 흡수율이 가장 높은 파장인 녹색(G) 채널에서의 광신호 데이터값을 검출하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  6. 제1항에 있어서, 상기 연산부(240)는,
    상기 광신호 검출부(220)에서 검출된 광신호의 세기와 상기 측정 대상자의 혈류량 변화에 따른 피하반사율 사이에 상관관계가 있다는 특징을 이용하여 상기 측정 대상자의 피하 혈류량 변화를 연산하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  7. 제6항에 있어서, 상기 연산부(240)는,
    상기 광전변환부(230)에서 전하로 변환된 신호의 세기를 x,y 좌표상의 픽셀값으로 저장하고, 상기 대상 영역을 기설정된 혈류량이 일정하다고 볼 수 있는 작은 영역으로 나누어, 나누어진 각각의 작은 영역에서의 상기 x,y 좌표상의 픽셀값의 평균값을 연산한 후에 시간에 따른 상기 평균값 변화를 추적함으로써, 상기 측정 대상자의 피하 혈류량 변화를 연산하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  8. 제1항에 있어서, 상기 제어부(260)는,
    상기 주파수 신호 변환부(250)에서 변환된 PPG 신호에서 노이즈 또는 잡음을 필터링하여, 출력되는 PPG 신호의 주파수 범위를 결정하는 필터부(261)를 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  9. 제8항에 있어서, 상기 제어부(260)는,
    상기 필터부(261)에서 노이즈 또는 잡음이 필터링 되어 출력된 PPG 신호를 적절한 이득 값으로 증폭시켜주는 증폭부(262)를 더 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  10. 제1항에 있어서,
    상기 제어부(260)에서 가공된 PPG 신호로부터 추출된 심박변이도 지표와 스트레스에 의한 자율신경계 활성화의 정적 상관관계를 이용하여 스트레스 지수를 연산하는 스트레스 연산부(400)를 더 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 시스템.
  11. 카메라를 이용한 비접촉 PPG 신호 측정 방법으로서,
    (1) 측정 대상자의 영상을 촬영하는 단계;
    (2) 상기 단계 (1)에서 촬영된 영상으로부터 상기 측정 대상자의 PPG 신호를 연산하는 단계; 및
    (3) 상기 단계 (2)에서 연산된 PPG 신호 및 상기 PPG 신호로부터 추출된 심박수를 디스플레이 화면에 표시하는 단계를 포함하며,
    상기 단계 (2)는,
    (2-1) 상기 단계 (1)에서 촬영된 상기 측정 대상자의 영상에서 광신호를 추출할 대상 영역을 선택하는 단계;
    (2-2) 상기 단계 (2-1)에서 선택된 대상 영역에서 반사되어 나온 광신호를, 상기 단계 (1)에서 촬영된 영상의 각 프레임별로 검출하는 단계;
    (2-3) 상기 단계 (2-2)에서 검출된 광신호를 전하로 변환시키는 단계;
    (2-4) 상기 단계 (2-3)에서 전하로 변환된 신호로부터 상기 측정 대상자의 피하 혈류량 변화를 연산하는 단계;
    (2-5) 상기 단계 (2-4)에서 연산된 신호를 주파수 신호로 변환시켜 PPG 신호로 출력하는 단계;
    (2-6) 상기 단계 (2-5)에서 변환된 PPG 신호를 가공하는 단계; 및
    (2-7) 상기 단계 (2-6)에서 가공된 PPG 신호로부터 상기 측정 대상자의 심박수를 결정하는 단계를 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  12. 제11항에 있어서, 상기 단계 (2-1)은,
    (2-1-1) 상기 단계 (1)에서 촬영된 영상으로부터 상기 측정 대상자의 얼굴을 인식하는 단계;
    (2-1-2) 상기 단계 (2-1-1)에서 인식된 얼굴에서 모든 특징점을 검출하는 단계;
    (2-1-3) 상기 단계 (2-1-2)에서 검출된 특징점 중 광신호 추출에 효과적인 유효 특징점만 추출하는 단계; 및
    (2-1-4) 상기 단계 (2-1-3)에서 추출된 유효 특징점으로부터 광신호를 추출할 대상 영역을 결정하는 단계를 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  13. 제12항에 있어서, 상기 단계 (2-1)은,
    (2-1-5) 상기 단계 (1)에서 촬영된 영상으로부터 상기 측정 대상자의 얼굴을 인식하기에 부적합하거나, 상기 측정 대상자의 얼굴에서 상기 광신호를 추출할 상기 대상 영역을 결정하기에 부적합한 경우, 상기 측정 대상자의 얼굴 영상 재획득을 요구하는 단계를 더 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  14. 제11항에 있어서, 상기 단계 (2-2)에서는,
    상기 단계 (1)에서 촬영된 영상에서 다수의 색상의 광신호를 검출하는 경우, 상기 프레임마다 색상 채널별 분리된 각각의 광신호 데이터값을 검출하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  15. 제14항에 있어서, 상기 단계 (2-2)에서는,
    헤모글로빈과 산화 헤모글로빈의 빛 흡수율이 가장 높은 파장인 녹색(G)채널에서의 광신호 데이터값을 검출하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  16. 제11항에 있어서, 상기 단계 (2-4)에서는,
    상기 단계 (2-2)에서 검출된 광신호의 세기와 상기 측정 대상자의 혈류량 변화에 따른 피하반사율 사이에 상관관계가 있다는 특징을 이용하여 상기 측정 대상자의 피하 혈류량 변화를 연산하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  17. 제16항에 있어서, 상기 단계 (2-4)에서는,
    상기 단계 (2-3)에서 전하로 변환된 신호의 세기를 x,y 좌표상의 픽셀값으로 저장하고, 상기 대상 영역을 기설정된 혈류량이 일정하다고 볼 수 있는 작은 영역으로 나누어, 나누어진 각각의 작은 영역에서의 상기 x,y 좌표상의 픽셀값의 평균값을 연산한 후에 시간에 따른 상기 평균값 변화를 추적함으로써, 상기 측정 대상자의 피하 혈류량 변화를 연산하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  18. 제11항에 있어서, 상기 단계 (2-6)은,
    (2-6-1) 상기 단계 (2-5)에서 변환된 PPG 신호에서 노이즈 또는 잡음을 필터링하여, 출력되는 PPG 신호의 주파수 범위를 결정하는 필터링 단계를 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  19. 제18항에 있어서, 상기 단계 (2-6)은,
    (2-6-2) 상기 단계 (2-6-1)에서 노이즈 또는 잡음이 필터링 되어 출력된 PPG 신호를 적절한 이득 값으로 증폭시켜주는 단계를 더 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
  20. 제11항에 있어서,
    (4) 상기 단계 (2-6)에서 가공된 PPG 신호로부터 추출된 심박변이도 지표와 스트레스에 의한 자율신경계 활성화의 정적 상관관계를 이용하여 스트레스 지수를 연산하는 단계를 더 포함하는 것을 특징으로 하는, 카메라를 이용한 비접촉 PPG 신호 측정 방법.
PCT/KR2020/007063 2019-06-03 2020-06-01 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법 WO2020246758A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190065601A KR102261526B1 (ko) 2019-06-03 2019-06-03 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법
KR10-2019-0065601 2019-06-03

Publications (1)

Publication Number Publication Date
WO2020246758A1 true WO2020246758A1 (ko) 2020-12-10

Family

ID=73652985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007063 WO2020246758A1 (ko) 2019-06-03 2020-06-01 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법

Country Status (2)

Country Link
KR (1) KR102261526B1 (ko)
WO (1) WO2020246758A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220106607A (ko) 2021-01-22 2022-07-29 금오공과대학교 산학협력단 비접촉 바이탈사인 측정 미러 장치
KR102369059B1 (ko) 2021-06-25 2022-03-03 주식회사 무하유 비접촉식 심박 측정 장치 및 방법
KR102445629B1 (ko) * 2021-07-28 2022-09-21 주식회사 클레스앤피 비침습 혈당측정 시스템 및 그 동작방법
KR102621990B1 (ko) * 2021-11-12 2024-01-10 한국전자기술연구원 영상 기반의 생체 및 행태 데이터 통합 검출 방법
KR102679850B1 (ko) * 2021-12-31 2024-07-01 한국전자기술연구원 스마트폰 카메라 기반의 ppg를 이용한 감염성 호흡기 질환 감염 위험도 탐지방법
KR102570982B1 (ko) * 2023-01-12 2023-08-25 (주) 에버정보기술 비접촉 생체정보 측정 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031589A (ko) * 2012-09-05 2014-03-13 상지대학교산학협력단 맥파 감지장치와 용적맥파 측정부를 이용한 혈류속도 측정장치
KR20150059631A (ko) * 2013-11-22 2015-06-01 삼성전자주식회사 심박수 측정 방법 및 이를 위한 장치
KR20150093036A (ko) * 2014-02-06 2015-08-17 한국전자통신연구원 생체 정보 측정장치 및 측정방법
JP5985355B2 (ja) * 2012-10-30 2016-09-06 日本光電工業株式会社 血液量測定方法および測定装置
KR20190035312A (ko) * 2017-09-26 2019-04-03 상명대학교산학협력단 비접촉식 센싱 기반 심박수 측정 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031589A (ko) * 2012-09-05 2014-03-13 상지대학교산학협력단 맥파 감지장치와 용적맥파 측정부를 이용한 혈류속도 측정장치
JP5985355B2 (ja) * 2012-10-30 2016-09-06 日本光電工業株式会社 血液量測定方法および測定装置
KR20150059631A (ko) * 2013-11-22 2015-06-01 삼성전자주식회사 심박수 측정 방법 및 이를 위한 장치
KR20150093036A (ko) * 2014-02-06 2015-08-17 한국전자통신연구원 생체 정보 측정장치 및 측정방법
KR20190035312A (ko) * 2017-09-26 2019-04-03 상명대학교산학협력단 비접촉식 센싱 기반 심박수 측정 장치 및 방법

Also Published As

Publication number Publication date
KR20200139039A (ko) 2020-12-11
KR102261526B1 (ko) 2021-06-07

Similar Documents

Publication Publication Date Title
WO2020246758A1 (ko) 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법
WO2019108044A1 (ko) 심전도 측정 장치
WO2019088769A1 (ko) 개방형 api 기반 의료 정보 제공 방법 및 시스템
CN105078438B (zh) 脉搏周期检测设备和方法和可穿戴电子设备
WO2016159523A1 (ko) 생체 정보 획득 방법 및 이를 위한 장치
WO2019103187A1 (ko) 뇌파를 통한 뇌 인지기능 평가 플랫폼 및 방법
WO2013141419A1 (ko) 양손을 이용한 혈관 및 심폐기능 평가를 위한 생체 계측 시스템
WO2012128407A1 (ko) 다중 생체 신호 측정을 이용하여 손목혈압의 정확도를 향상시키는 방법 및 장치
WO2014157896A1 (ko) 필름형 생체신호 측정장치, 이를 이용한 혈압 측정장치, 심폐지구력 추정장치 및 개인인증 장치
WO2011025322A9 (ko) 운동 처방 시스템
KR102277105B1 (ko) 카메라를 이용한 비접촉 혈압 측정 시스템 및 그 구동 방법
WO2020190060A1 (en) Electronic device for measuring blood pressure and method for measuring blood pressure
WO2017192010A1 (en) Apparatus and method for extracting cardiovascular characteristic
WO2018221865A1 (ko) 신체 부착형 맥파 측정 장치
WO2022124647A1 (ko) 수면 무호흡을 검출하기 위한 방법 및 이를 지원하는 전자 장치
WO2016045139A1 (zh) 基于网络医院的孕妇及胎儿体征信息管理系统及方法
WO2019203554A1 (en) Electronic device and method of controlling electronic device
WO2022231132A1 (ko) 인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사 방법
WO2016045140A1 (zh) 可穿戴式生命体征监测仪及监测方法
WO2019182258A1 (ko) 인체착용형 신체정보 측정장치 및 이를 이용한 의료지원 시스템
WO2019172569A1 (ko) 광혈류 측정기 기반의 인체착용형 혈압 측정장치 및 혈압 측정방법
WO2020005027A1 (ko) 웨어러블 디바이스를 이용하는 심전도 측정 방법 및 시스템
WO2021101073A1 (ko) 생체 데이터를 획득하는 장치 및 그 방법
WO2023075253A1 (ko) 수면 모니터링을 위한 전자 장치 및 그의 동작 방법
WO2019132115A1 (ko) 혈압 모니터링을 위한 이어폰 및 이를 이용한 혈압 모니터링 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20817776

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20817776

Country of ref document: EP

Kind code of ref document: A1