WO2017003049A2 - 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 - Google Patents

스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 Download PDF

Info

Publication number
WO2017003049A2
WO2017003049A2 PCT/KR2015/013303 KR2015013303W WO2017003049A2 WO 2017003049 A2 WO2017003049 A2 WO 2017003049A2 KR 2015013303 W KR2015013303 W KR 2015013303W WO 2017003049 A2 WO2017003049 A2 WO 2017003049A2
Authority
WO
WIPO (PCT)
Prior art keywords
smartphone
signal
heart rate
dual camera
respiration
Prior art date
Application number
PCT/KR2015/013303
Other languages
English (en)
French (fr)
Inventor
남윤영
공영선
에이 레예스베르사인
천기에이치
렐진나타샤
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150171253A external-priority patent/KR101777472B1/ko
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to EP15897267.9A priority Critical patent/EP3318179B1/en
Publication of WO2017003049A2 publication Critical patent/WO2017003049A2/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs

Definitions

  • the present invention relates to a method for simultaneously measuring breathing and heart rate using a dual camera of a smartphone.
  • Smartphones are likely to be carried by the user at all times due to the characteristics of a device called a portable terminal. This is suitable for the medical field that needs to check the user's health condition from time to time, and the enhanced smartphone function allows the smartphone to measure the user's health condition in various ways by installing various medical applications on the smartphone.
  • the most commonly used breathing method is to use breathing sounds using chest movements or auscultation. These methods were limited by accuracy or irregularity.
  • the sensor detects the patient's heartbeat signal in analog form and transmits the signal to a dedicated terminal through a USB cable.
  • the dedicated terminal is an MCU (Micro Control Unit) or an ADC (Analog-to-Digital Converter). After converting the analog heartbeat signal into a digital heartbeat signal, the analysis is performed.
  • an electrocardiogram measuring device that is currently used, there are many errors in accuracy because an MCU, etc., must be built in a dedicated terminal in order to convert an analog heartbeat signal acquired through a heart rate sensor into a digital heartbeat signal, and thus the manufacturing cost and selling price are high. The problem is that it is very high. Therefore, in recent years, in order to lower the manufacturing cost, an electrocardiogram measuring device has been developed in which a MCU is removed from a dedicated terminal. However, in this case, the MCU must be inserted into the heart rate measuring sensor so that the heart rate measuring sensor performs analog-to-digital conversion. The disadvantage is that it can not be solved.
  • An object of the present invention is to provide a method for simultaneously measuring the respiration and heart rate using a dual camera of the smartphone.
  • the present invention has the advantage of high accuracy because it uses the respiration and PPG data at the same time.
  • the present invention is to provide a method that can monitor the continuous heart rate and breathing to prevent death due to cardiac arrest.
  • the present invention has the advantage of high accuracy by simultaneously measuring the respiration and heart rate using a dual camera of the smartphone.
  • FIG. 1A and 1B illustrate screens for collecting data to simultaneously measure respiration and heart rate using a dual camera of a smartphone according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of simultaneously measuring respiration and heart rate by using a dual camera of a smartphone according to an embodiment of the present invention.
  • Figure 3a shows a graph measuring the respiratory rate for the movement of the chest using the front camera of the smartphone.
  • Figure 3b shows a graph measuring the respiratory rate for the movement of the abdomen using the front camera of the smartphone.
  • Figure 4a shows a Bland-Altman graph for comparing the difference between the measured heart rate and the ECG value using a smartphone.
  • Figure 4b shows a correlation graph for comparing the difference between the measured heart rate and ECG value using a smartphone.
  • Figure 5 shows the respiratory rate and PPG signal of the person measured according to an embodiment of the present invention.
  • an impedance belt is installed on the chest and abdomen of a person for data collection.
  • Impedance belts 130 and 140 of the chest and abdomen are connected to the monitoring device 150 to measure a person's actual respiration rate.
  • the front camera 160 of the smartphone 110 records the movement of the human chest and abdomen while simultaneously attaching the impedance belts 130 and 140 to the chest and the abdomen.
  • a human finger is contacted with the rear camera 120 of 110 for a predetermined time to measure PPG (pulse wave: photolethysmoraphy).
  • PPG pulse wave: photolethysmoraphy
  • the flash embedded in the rear camera 120 is measured in the on state.
  • a person checks in real time the respiration rate according to the PPG signal and the movement of the chest and abdomen, which are recorded through the front camera 160 of the smartphone 110, and the PPG signal being measured. Can be.
  • the present invention compares the respiratory rate measured through the impedance belt and the respiratory rate of the person measured using the front camera 160 for the respiratory rate accuracy of the person.
  • the video signal of the image recorded by the front camera 160 is stored in the range of 20 ⁇ 25Hz, the audio signal is stored in 44.100 Hz, 16 bits.
  • the mono audio signal removes noise by applying a bandpass filter in the range of 500 to 5000 Hz.
  • Figure 2 shows the detailed steps of a method for simultaneously measuring breathing and heart rate using a dual camera of a smartphone according to an embodiment of the present invention.
  • a first step (S210) the visual data on the movement of the chest and abdomen of the human body and the PPG signal are collected through the rear camera 120 through the front camera 160 of the smartphone. In the first step (S210), the visual data and the PPG signal are simultaneously measured.
  • the visual data collected in the first step (S210) is stored in the YUV420sp signal format because it is an image received from the front camera 160 of the smartphone 110 equipped with the Android OS.
  • the YUV420sp signal format should be converted to the RGBA signal format.
  • an OpenCV library is used to convert the format of the signal.
  • a bandpass filter is applied such that only a frequency range within a range is obtained from the converted RGBA signal format.
  • the low pass filter f low is set to 0.08 Hz and the high pass filter f high is set to have a value of 2.1 Hz.
  • the low pass filter is set to 0.667 Hz and the high pass filter is set to 3.833 Hz.
  • the first and last portions of the RGBA signal to which the bandpass filter is applied are removed, and approximately 10 seconds and 10 seconds of the signal are removed. This is to remove noise present in the video signal of the recorded image because noise is generated by an operation of accurately holding a smartphone, a calibration process, and the like at the beginning and the end of collecting the visual data.
  • two different region of interest (ROI) images of 49 x 90 pixels selected at a resolution of 320 x 240 pixels are extracted in order to extract optical reflectance from the image signal of visual data on the movement of the chest and abdomen.
  • the pixel resolution of 176 x 72 pixels is selected from the resolution of 176 x 144 pixels of all frames to obtain the PPG pulse signal obtained from the rear camera 120 of the smartphone 110.
  • the brightness value I of each pixel in the resized image may be obtained as an average value of the RGB channels in the ROI of one image, and the equation is as follows.
  • D means the size of the ROI.
  • the color channel with the highest standard deviation in the three color bands (red, green, blue) is selected while the green channel is selected for measuring heart rate.
  • the color channel having the highest standard deviation is selected from the RGBA signal from which the predetermined portion is removed in the fourth step.
  • a spline filter is applied to the color channel selected in the fifth step.
  • a spline filter is a filter used to smooth the amplitude of a signal.
  • the average intensity is used to extract an envelope of the filtered discrete signal, and then the interpolation of the envelope signal is performed. And smooth.
  • the sixth step of applying the spline filter for smoothing the signal in the present invention the sixth step of determining the maximum frequency of the a (t) to obtain the smoothed amplitude envelope signal a (t) in the selected color channel of the fifth step -Stage 1; Step 6-2 of obtaining an amplitude time series using cubic spline interpolation; Calculating the grade of the analysis signal of a (t) after interpolation; After determining the maximum value of the a (t), and includes a detailed step 6-4 to obtain the average value using the sliding window.
  • the cubic spline interpolation method of step 6-2 is used to connect two points that are separated from each other.
  • the power spectrum density is calculated by using one of a weld period period method, an autoregressive power spectrum analysis method, and a method using a regression correlation coefficient. I use it. Power spectra are computed using autocorrelation 512-point fast fourier transform (FFT) using windows.
  • FFT fast fourier transform
  • Equation 2 the correlation coefficient for analyzing the degree of similarity in the time domain between inspiration and expiration is represented by Equation 2.
  • 3A and 3B are graphs of respiratory rate measured by using a chest and an abdomen using the front camera 160 of the smartphone 110.
  • the correlation coefficient values at this time are 0.3373 and 0.998, respectively.
  • the signal quality index is considered to improve the accuracy of the respiratory rate measurement.
  • Each signal is assigned a motion class by using a correlation coefficient, and a class having a high correlation value is selected using this signal. If the correlation coefficient for chest movement is higher than the correlation coefficient for abdominal movement, the chest movement is selected.
  • the Bland-Altman graph is a statistical method for comparing the two measurement methods, and is there a difference between an average value and a calculated value of the two methods. Shows whether there is a difference between the actual measured values.
  • the difference in the measured value between the continuous heart rate measured in the smartphone and the ECG signal is shown.
  • the z-score based on the standardization rate is about 5 scattered points outside the 95% confidence interval. It can be seen that there is little difference between the two measurement methods.
  • FIG. 4B is a correlation graph of two measurement methods, in which the x-axis represents a continuous heart rate measurement value using a smartphone and the y-axis represents an ECG measurement value.
  • the solid line of FIG. 4B represents the regression line and the dotted line represents the Pearson correlation coefficient.
  • the scattering point is not spread but is uniformly scattered around the solid line.
  • the heartbeat and respiratory rate are calculated using the result of the seventh step.
  • Figure 5 shows the breath rate graph measured according to the movement of the chest, abdomen and finger PPG signal according to an embodiment of the present invention.
  • the respiratory rate and the PPG signal can be observed in real time at a glance.
  • the present invention can be said to be a very useful invention that can be widely applied to a health care system capable of managing health.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법
본 발명은 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법에 대한 것이다.
최근 핸드폰, 스마트폰, 스마트 패드와 같은 휴대용 기기, 그중에서도 특히 스마트 폰의 성능이 급격히 향상됨에 따라 기존에 할 수 없었던 다양한 기능을 수행할 수 있게 되었다. 특히 최근의 스마트폰은 가속도 센서, 자이로스코프, 터치 센서, 온도 센서, 조도 센서, 중력 센서, 지자기 센서 및 위치 감지 센서 등의 다양한 종류의 센서를 포함하고, 고성능 카메라를 구비함과 더불어 연산 속도의 비약적인 향상에 의해 하드웨어적으로 혁신적인 향상이 있었다. 이러한 스마트폰의 하드웨어적 성능 향상은 단순히 기능의 향상을 의미하지 않고, 어플리케이션 서버를 통한 다양한 어플리케이션을 전송받아 설치하여 구동할 수 있도록 함으로서 스마트폰의 활용 분야를 비약적으로 확대시키고 있다. 이러한 확대된 스마트폰의 활용 분야 중 하나로 최근에는 의료 분야가 주목되고 있다. 스마트폰은 휴대용 단말기라는 기기의 특성상 사용자가 항시 휴대하고 있을 가능성이 높다. 이는 사용자의 건강 상태를 수시로 확인해야하는 의료 분야에 적합하며, 향상된 스마트폰의 기능은 다양한 의료용 어플리케이션을 스마트폰에 설치함에 의해 스마트 폰이 사용자의 건강 상태를 다양한 방법으로 측정 가능할 수 있도록 하고 있다.
가장 일반적으로 사용되는 호흡 측정방법은 가슴의 움직임이나 청진법(auscultation)을 이용한 호흡 소리를 이용하는 것이다. 이러한 방법들은 정확도나 불규칙성에 의해 제약이 있었다.
심전도 측정 방법의 경우 센서가 환자의 심박 신호를 아날로그 형태로 감지한 후 usb 케이블 등을 통하여 전용 단말기에 전송하게 되며, 이후 전용 단말기는 MCU(Micro Control Unit), ADC(Analog-to-Digital Converter)등을 이용하여 아날로그 심박 신호를 디지털 심박 신호로 변환한 뒤 분석을 수행한다.
그러나, 현재 사용되고 있는 심전도 측정 장치의 경우 심박 측정 센서를 통해 획득한 아날로그 심박 신호를 디지털 심박 신호로 변환하기 위하여 전용 단말기에 MCU등을 내장해야하기 때문에 정확도에서 오류가 많고, 제조 단가 및 판매 가격이 매우 높다는 문제점이 있다. 따라서, 최근에는 제조 단가를 낮추기 위해 전용 단말기에서 MCU를 제거한 심전도 측정 장치를 개발하였으나, 이 경우 심박 측정 센서에 MCU를 삽입하여 심박 측정 센서가 아날로그-디지털 변환을 수행하도록 하여야하므로 기존의 문제점을 전혀 해결하기 못한다는 단점이 있다.
본 발명의 배경기술은 대한민국 특허청에 출원되어 공개된 공개특허공보 10-2012-0066868(2012.06.25.)호가 게재되어 있다.
본 발명의 목적은 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법을 제공하고자 하는 것이다.
또한, 본 발명은 호흡과 PPG 데이터를 동시에 이용하기 때문에 정확도가 높다는 이점이 있다.
또한, 본 발명은 심정지로 인한 사망을 예방하고자 계속적인 심박과 호흡을 모니터링할 수 있는 방법을 제공하고자 하는 것이다.
본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법에 있어서, 사람의 PPG신호, 가슴과 배의 움직임에 대한 비주얼 데이터를 동시에 수집하는 제1단계, 비주얼 데이터를 RGBA 신호로 변환하는 제2단계, RGBA 신호에서 범위안의 주파수만 나오도록 밴드 패스 필터를 적용하는 제3단계, 제3단계에서 밴드 패스 필터가 적용된 RGBA 신호에서 처음과 마지막의 일정 부분을 제거하는 제4단계, 일정 부분이 제거된 RGBA 신호에서 가장 높은 표준 편차를 가지는 색상 채널을 선택하는 제5단계, 선택된 색상 채널에 스플라인 필터를 적용하는 제6단계, 파워 스펙트럼 밀도를 계산하는 제7단계, 심장박동과 호흡률을 계산하는 제8단계를 포함하는 것을 특징으로 한다.
본 발명은 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하여 정확도가 높다는 이점이 있다.
또한, 지속적으로 심박과 호흡을 모니터링 할 수 있어서 돌연사, 심정지로 인한 사망을 예방할 수 있는 이점이 있다.
도 1a 및 도 1b는 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하기 위해 데이터를 수집하는 화면을 나타낸다.
도 2는 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법의 흐름도를 나타낸다.
도 3a는 스마트폰의 전면부 카메라를 이용하여 가슴의 움직임에 대한 호흡률을 측정한 그래프를 나타낸다.
도 3b는 스마트폰의 전면부 카메라를 이용하여 복부의 움직임에 대한 호흡률을 측정한 그래프를 나타낸다.
도 4a는 스마트폰을 이용한 심박의 측정값과 ECG 값의 차이를 비교하기 위한 Bland-Altman 그래프를 나타낸다.
도 4b는 스마트폰을 이용한 심박의 측정값과 ECG 값의 차이를 비교하기 위한 상관관계 그래프를 나타낸다.
도 5는 본 발명의 일실시예에 따라 측정된 사람의 호흡률과 PPG 신호를 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명에 대하여 자세히 살펴본다.
도 1a, 1b에 도시된 바와 같이, 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법은, 스마트폰(110), 가슴 임피던스 벨트(130), 복부 임피던스 벨트(140), 모니터링 장치(150)를 포함한다.
먼저, 데이터의 수집을 위해 사람의 가슴과 복부에 임피던스 벨트를 설치한다. 가슴과 복부의 임피던스 벨트(130, 140)는 사람의 실제 호흡률을 측정하기 위한 것으로 모니터링 장치(150)와 연결되어 있다.
도 1a와 같이, 사람은 가슴과 복부의 임피던스 벨트(130, 140)를 부착한 상태에서 스마트폰(110)의 전면부 카메라(160)는 사람의 가슴과 복부의 움직임을 녹화하고 동시에 스마트폰(110)의 후면부 카메라(120)에 사람의 손가락을 일정시간 동안 접촉하여 PPG(맥파:photolethysmoraphy)를 측정한다. 이때, 후면부 카메라(120)에 내장된 플래시는 켜져있는 상태로 측정을 하게 된다. 도 1b와 같이, 사람은 스마트폰(110)의 전면부 카메라(160)를 통해 가슴과 복부의 움직임을 녹화하는 영상과 측정되고 있는 상기 PPG 신호와 가슴과 복부의 움직임에 따른 호흡률을 실시간으로 확인할 수 있다. 또한, 본 발명에서는 사람의 호흡률 정확도를 위해 전면부 카메라(160)를 이용해 측정된 사람의 호흡률과 임피던스 벨트를 통해 측정된 호흡률을 비교한다.
전면부 카메라(160)를 통해 녹화된 영상의 비디오 신호는 20 ~ 25Hz의 범위 내에서 저장이 되고, 오디오 신호는 44.100 Hz, 16비트로 저장된다. 또한, 모노 오디오 신호는 500 ~ 5000Hz 의 범위 내에서 밴드패스(bandpass) 필터를 적용하여 노이즈를 제거한다.
도 2는 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법의 세부 단계를 나타낸다.
제1단계(S210)에서는 스마트폰의 전면부 카메라(160)를 통해 사람의 가슴과 복부의 움직임에 대한 비주얼 데이터와 후면부 카메라(120)를 통해 PPG 신호를 수집한다. 상기 제1단계(S210)에서는 상기 비주얼 데이터와 상기 PPG 신호를 동시에 측정을 하게 된다.
상기 제1단계(S210)에서 수집된 상기 비주얼 데이터는 안드로이드 OS가 탑재된 스마트폰(110)의 전면부 카메라(160)로부터 받은 영상이기 때문에 YUV420sp 신호 포맷으로 저장이 된다. 상기 비주얼 데이터의 영상을 처리하기 위해서는 YUV420sp 신호 포맷을 RGBA 신호 포맷으로 변환하여야 한다. 제2단계(S220)에서는 상기 신호의 포맷의 변환을 위해서 OpenCV 라이브러리를 이용한다.
제3단계(S230)에서는 상기 변환된 RGBA 신호 포맷에서 범위안의 주파수 범위만 나오도록 밴드패스 필터를 적용한다. 상기 밴드패스 필터 중 호흡을 측정하기 위해서 로우패스 필터(flow)는 0.08 Hz이고 하이패스 필터(fhigh)는 2.1Hz의 값을 갖도록 설정한다. 그리고 심장박동을 측정하기 위해서 로우패스 필터는 0.667Hz이고, 하이패스 필터는 3.833Hz 갖도록 설정한다.
제4단계(S240)에서는 상기 밴드패스 필터가 적용된 상기 RGBA 신호에서 처음과 마지막의 일정부분을 제거하는데 대략 신호의 시작 10초와 마지막 10초를 제거한다. 이는 상기 녹화된 영상의 비디오 신호에 존재하는 노이즈를 제거하기 위한 것으로 상기 비주얼 데이터 수집 시 처음과 마지막에는 스마트폰을 정확하게 잡기위한 동작, 캘리브레이션하는 과정 등에 의해 노이즈가 발생하기 때문이다.
본 발명에서는 가슴과 배의 움직임에 대한 비주얼 데이터의 이미지 신호에서 광반사(optical reflectance)를 추출하기 위해 320 x 240 픽셀의 해상도에서 선택된 49 x 90 픽셀의 두 개의 다른 ROI(region of interest) 이미지를 선택한다. 또한, 상기 스마트폰(110)의 후면부 카메라(120)에서 얻어진 PPG 펄스 신호를 얻기 위해 모든 프레임의 176 x 144 픽셀의 해상도에서 176 x 72 픽셀의 픽셀 해상도를 선택한다.
리사이즈된 이미지에서 각 픽셀의 밝기 값(I)은 하나의 이미지의 ROI에서의 RGB 채널의 평균값으로 구할 수 있고, 수학식은 다음과 같다.
수학식 1
Figure PCTKR2015013303-appb-M000001
여기서, D는 ROI의 크기를 의미한다.
호흡률을 측정하기 위해서 그린(green) 채널이 심장 박동률을 측정하기 위해 선택되어 있는 동안 세 가지 컬러 밴드(레드, 그린, 블루)에서 가장 높은 표준 편차를 가지는 색상 채널을 선택한다.
따라서, 제5단계(S250)에서는 상기 제4단계에서 일정부분이 제거된 RGBA 신호에서 가장 높은 표준 편차를 가지는 색상 채널을 선택한다.
다음으로 제6단계에서는 상기 제5단계에서 선택된 색상 채널에 스플라인 필터를 적용한다. 스플라인 필터는 신호의 진폭을 평활화(smoothing) 하는데 사용하는 필터로 본 발명에서는 평균 강도(intensity)를 필터링 된 이산 신호의 엔벨로프(envelope)를 추출 하는데 사용하고, 다음으로 상기 엔벨로프 신호를 보간(interpolation)하고 평활화 한다.
본 발명에서 신호의 평활화를 위한 스플라인 필터 적용하는 상기 제6단계는 상기 제5단계의 선택된 색상 채널에서 평활된 진폭 엔벨로프 신호 a(t)를 구하기 위해서 상기 a(t)의 최대 주파수를 결정하는 6-1단계; 큐빅 스플라인 보간법(cubic spline interpolation)을 사용하여 진폭 시계열을 구하는 6-2단계; 보간 후에 상기 a(t)의 해석신호의 등급을 계산하는 6-3단계; 상기 a(t)의 최대값을 결정한 후, 슬라이딩 윈도우를 이용해 평균값을 구하는 6-4단계를 세부 단계로 포함하고 있다. 상기 6-2 단계의 큐빅 스플라인 보간법은 서로 떨어져 있는 두 점 사이를 연결하는데 사용하는 방법이다.
제7단계에서는 파워스펙트럼 밀도(power spectrum density)를 계산하는데 웰치 주기도(welch periodogram) 방법, 자동회기 파워 스펙트럼(autoregressive power spectrum) 분석 방법, 회기상관계수(regression correlation coefficient)를 이용한 방법 중 어느 하나를 이용한다. 파워 스펙트럼은 윈도우를 이용한 자동상관의 512-포인트(point) FFT(fast fourier transform)을 이용하여 계산한다.
본 발명에서 들숨(inspiration)과 날숨(expiration)간의 시간영역에서의 유사도 정도를 분석하기 위한 상관계수는 수학식 2와 같다.
수학식 2
Figure PCTKR2015013303-appb-M000002
여기서, cov는 공분산(covariance)을 나타내고,
Figure PCTKR2015013303-appb-I000001
와
Figure PCTKR2015013303-appb-I000002
는 표준편차(standard deviation)를 의미한다.
도 3a 및 도 3b는 스마트폰(110)의 전면부 카메라(160)를 이용하여 가슴과 복부의 움직임을 이용하여 호흡률을 측정한 그래프로 이때의 상관계수 값은 각각 0.3373와 0.998이다. 도 3a 및 도 3b를 통해서 알 수 있듯이 가슴이 움직임이 복부의 움직임 보다 크기 때문에 호흡률 측정의 정확도를 향상시키기 위해 신호 퀄리티 인덱스를 고려한다. 각 신호는 상관계수를 이용하여 움직임 클래스가 할당이 되고, 이것을 이용하여 높은 상관 값을 가진 클래스를 선택하게 된다. 만약 가슴의 움직임에 대한 상관계수가 복부의 움직임에 대한 상관계수보다 높은 경우 가슴의 움직임을 선택하게 된다.
도 4a는 스마트폰을 통해 측정된 심박 Bland-Altman 그래프를 나타내는 것으로 Bland-Altman 그래프는 두 가지 측정 방법을 비교하기 위한 통계법으로 두 방법의 평균과 구해진 값의 차이가 있는지에 대해 또는 추정된 값과 실제 계측한 값의 차이가 있는지를 보여준다. 도 4a의 그래프에서 스마트폰에서 측정된 연속 심박과 그에 따른 ECG 신호간의 측정된 값의 차이가 어느 정도 되는지를 보여주는데 표준화율에 기반한 z-score가 95%의 신뢰구간을 벗어나는 산점도가 5개 정도로 나타나 두 가지 측정방법의 차이가 거의 없음을 알 수 있다.
도 4b는 두 가지 측정 방법의 상관관계 그래프로 x축은 스마트 폰을 이용한 연속 심박 측정값을 y축은 ECG 측정값을 나타낸다. 도 4b의 실선은 회귀선을 점선은 Pearson 상관 계수를 나타내는데 산점도가 퍼져있지 않고 균일하게 실선 주변에 산재되어 있는 것으로 상관도가 높음을 알 수 있다.
마지막으로 제8단계에서는 상기 제7단계의 결과를 이용하여 심장박동과 호흡률을 계산한다.
도 5는 본 발명의 일실시예에 따라 가슴, 복부의 움직임에 따라 측정된 호흡률 그래프와 손가락의 PPG 신호를 나타낸다. 본 발명에서는 사람이 동시에 가슴과 복부의 움직임을 이용하여 호흡률과 손가락을 통해 PPG 신호를 측정하기 때문에 한눈에 상기 호흡률과 PPG 신호를 실시간으로 관측할 수 있다.
이와 같이, 본 발명은 할 수 있어서, 건강을 관리할 수 있는 건강관리 시스템에 적용되어 널리 사용될 수 있는 매우 유용한 발명이라 할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의의 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

  1. 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법에 있어서,
    사람의 PPG신호, 가슴과 배의 움직임에 대한 비주얼 데이터를 동시에 수집하는 제1단계;
    상기 비주얼 데이터를 RGBA 신호로 변환하는 제2단계;
    상기 RGBA 신호에서 범위안의 주파수만 나오도록 밴드 패스 필터를 적용하는 제3단계;
    상기 제3단계에서 상기 밴드 패스 필터가 적용된 상기 RGBA 신호에서 처음과 마지막의 일정 부분을 제거하는 제4단계;
    상기 제4단계에서 일정 부분이 제거된 상기 RGBA 신호에서 가장 높은 표준 편차를 가지는 색상 채널을 선택하는 제5단계;
    상기 제5단계에서 상기 선택된 색상 채널에 스플라인 필터를 적용하는 제6단계;
    파워 스펙트럼 밀도를 계산하는 제7단계;
    심장박동과 호흡률을 계산하는 제8단계;를 포함하는 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
  2. 청구항 제1항에 있어서, 상기 PPG 신호는 상기 스마트폰의 후면부에 위치한 카메라에 손가락을 밀착한 상태에서 측정하는 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
  3. 청구항 제1항에 있어서, 상기 비주얼 데이터는 상기 사람의 가슴과 배의 움직임을 상기 스마트폰의 전면부에 위치한 카메라를 이용하여 수집된 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
  4. 청구항 제3항에 있어서, 실제 호흡률을 측정하기 위해 상기 사람의 가슴과 배에 임피던스 벨트를 부착하여 측정하는 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
  5. 청구항 제4항에 있어서, 상기 제4단계의 일정부분은 상기 RGBA 신호의 처음 10초와 마지막 10초인 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 측정하는 방법.
  6. 청구항 제5항에 있어서, 상기 제6단계는 상기 제5단계의 선택된 색상 채널에서 평활된 진폭 엔벨로프 신호 a(t)를 구하기 위해서 상기 a(t)의 최대 주파수를 결정하는 6-1단계; 큐빅 스플라인 보간법을 사용하여 진폭 시계열을 구하는 6-2단계; 보간 후에 상기 a(t)의 해석신호의 등급을 계산하는 6-3단계; 상기 a(t)의 최대값을 결정한 후, 슬라이딩 윈도우를 이용해 평균값을 구하는 6-4단계를 더 포함하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
  7. 청구항 제6항에 있어서, 상기 제7단계는 웰치 주기도 방법, 자동회기 파워 스펙트럼 분석 방법, 회기상관계수를 이용한 방법 중 어느 하나를 이용해 상기 파워 스펙트럼 밀도를 계산하는 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
PCT/KR2015/013303 2015-07-01 2015-12-07 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 WO2017003049A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP15897267.9A EP3318179B1 (en) 2015-07-01 2015-12-07 Method for measuring respiration rate and heart rate using dual camera of smartphone

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20150094242 2015-07-01
KR10-2015-0094242 2015-07-01
KR10-2015-0171253 2015-12-03
KR1020150171253A KR101777472B1 (ko) 2015-07-01 2015-12-03 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법

Publications (1)

Publication Number Publication Date
WO2017003049A2 true WO2017003049A2 (ko) 2017-01-05

Family

ID=57608501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013303 WO2017003049A2 (ko) 2015-07-01 2015-12-07 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법

Country Status (1)

Country Link
WO (1) WO2017003049A2 (ko)

Similar Documents

Publication Publication Date Title
US10398327B2 (en) Non-contact assessment of cardiovascular function using a multi-camera array
JP6123885B2 (ja) 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
CN106778695B (zh) 一种基于视频的多人快速心率检测方法
US10898160B2 (en) Acoustic monitoring system, monitoring method, and monitoring computer program
Agu et al. The smartphone as a medical device: Assessing enablers, benefits and challenges
US11000223B2 (en) Methods for detecting a sleep disorder and sleep disorder detection devices
CN105451646B (zh) 用于提取生理信息的设备、系统和方法
US10143377B2 (en) Single channel imaging measurement of dynamic changes in heart or respiration rate
CN107041743B (zh) 一种心电信号实时r波检测方法
JP5153770B2 (ja) いびき検知及び確認のためのシステム及び方法
KR101777472B1 (ko) 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법
US20200107775A1 (en) Methods and Systems for Monitoring Sleep Apnea
CN112233813A (zh) 一种基于ppg的非接触式无创心率呼吸测量方法及系统
WO2018201395A1 (en) Apparatus and method for determining a blood pressure of a subject
AU2022231729A1 (en) A user interface for navigating through physiological data
CN110866498B (zh) 一种心率监测方法
JP2014200390A (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
CN112294272A (zh) 监护仪及其不规则脉率识别方法
WO2018139881A1 (ko) 레이더를 이용한 생체 신호 측정 방법 및 장치
CN105125202A (zh) 一种基于低噪声放大器的心电监护系统
JP2014200389A (ja) 心拍測定プログラム、心拍測定方法及び心拍測定装置
WO2012057406A1 (ko) 장음 분석을 통한 비침습적인 장 운동성 측정 장치 및 방법
WO2017003049A2 (ko) 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법
JP2015083101A (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
Lee et al. Smartphone-based heart-rate measurement using facial images and a spatiotemporal alpha-trimmed mean filter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15897267

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2015897267

Country of ref document: EP