KR20220143307A - Heart rate measurement method and device using color image - Google Patents

Heart rate measurement method and device using color image Download PDF

Info

Publication number
KR20220143307A
KR20220143307A KR1020210049676A KR20210049676A KR20220143307A KR 20220143307 A KR20220143307 A KR 20220143307A KR 1020210049676 A KR1020210049676 A KR 1020210049676A KR 20210049676 A KR20210049676 A KR 20210049676A KR 20220143307 A KR20220143307 A KR 20220143307A
Authority
KR
South Korea
Prior art keywords
color
heartbeat
color image
heart rate
green
Prior art date
Application number
KR1020210049676A
Other languages
Korean (ko)
Other versions
KR102459183B1 (en
Inventor
강충신
이후정
Original Assignee
(주)비스토스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비스토스 filed Critical (주)비스토스
Priority to KR1020210049676A priority Critical patent/KR102459183B1/en
Publication of KR20220143307A publication Critical patent/KR20220143307A/en
Application granted granted Critical
Publication of KR102459183B1 publication Critical patent/KR102459183B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

The present invention relates to a technique for measuring the heart rate based on a color image. According to one embodiment, provided is a device for measuring the heart rate using a color image, which may include: a collection unit for collecting color image signals; a region of interest extraction unit for extracting a region of interest from the collected color image signals; and a heart rate estimation unit for estimating the heart rate by using a color change for each of color information consisting of red, green, and blue colors of the extracted color image of the region of interest.

Description

컬러영상을 이용한 심박 측정방법 및 장치{Heart rate measurement method and device using color image}Heart rate measurement method and device using color image

본 발명은 컬러영상을 기반으로 심박을 측정하는 기술에 관한 것으로서, 상세하게는 영상 촬영에 의해 얻은 관심영역에 대한 색변화만을 이용하여 심장박동을 추정하는 기술적 사상에 관한 것이다.The present invention relates to a technique for measuring a heartbeat based on a color image, and more particularly, to a technical idea of estimating a heartbeat using only a color change in a region of interest obtained by imaging an image.

심장박동수(heart rate) 또는 심박은 단위시간당 심장박동의 수로 일반적으로 분당 맥의 수(beats per minute, bpm)로 표현되는 숫자이다. 심박수는 신체적인 운동이나 잠자는 것처럼, 몸이 산소를 흡수하고 이산화탄소를 배출하는 것 등 생명 활동에 따라 다양해질 수 있다.Heart rate, or heart rate, is the number of heartbeats per unit time, and is a number generally expressed in beats per minute (bpm). Heart rate can vary depending on life activities, such as physical exercise or sleeping, as the body absorbs oxygen and releases carbon dioxide.

심박수의 측정은 의료전문가들이 진단과 의학적 상태를 검사하기 위해 사용된다. 이것은 또한 운동선수들이 그들의 훈련에서 최대한의 효율을 얻기 위해 심박수를 모니터링 하기도 한다. 일반적으로는 심박수는 심전계(ECG) 장비를 이용하여 측정한 펄스파형의 P-Q-R-S 형태의 파형에서 R지점에서 R지점간의 시간간격(RR간격)의 역의 관계이다(단 1분단위를 표준단위로 한다.)Heart rate measurements are used by health care professionals to diagnose and check medical conditions. It also monitors heart rate for athletes to get maximum efficiency from their training. In general, heart rate is the inverse relationship of the time interval (RR interval) between the R points and the R points in the P-Q-R-S type waveform of the pulse waveform measured using an electrocardiography (ECG) device (only 1 minute is the standard unit) .)

심박수는 몸의 맥박이 뛰는 부위에서 측정한다. 이 맥박수는 몸의 동맥이 있는 어느 위치에서든지 검지와 중지로 표면을 누르면 측정이 가능하다. 엄지는 다른 사람의 심박수를 측정할 때 사용되지 않는다. 강한 힘이 목표 맥박을 정확히 측정하는데 방해가 될 우려가 있기 때문이다.Your heart rate is measured at the heartbeat of your body. This pulse rate can be measured by pressing the surface with the index and middle fingers at any location in the body where there are arteries. Your thumb is not used to measure someone else's heart rate. This is because a strong force may interfere with accurately measuring the target pulse.

심박수는 신체의 다양한 지점들에서 측정이 가능하다.Heart rate can be measured at various points in the body.

예를 들어, 엄지손가락 아래 배 쪽부분의 손목(radial artery), 척골동맥(ulnar artery), 목(carotid artery), 팔꿈치의 안쪽 또는 이두근 아래(brachial artery), 사타구니(femoral artery), 발의 복사뼈 안쪽부분(posterior tibial artery), 발등의 중앙(dorsalis pedis) 등에서 측정이 가능하다.For example, the radial artery in the ventral area below the thumb, the ulnar artery, the carotid artery, the medial or brachial artery of the elbow, the femoral artery, and the medial malleolus of the foot. It can be measured in the posterior tibial artery and in the middle of the dorsal area (dorsalis pedis).

한편, 맥박을 결정하는 더 정교한 방법은 심전도(ECG, EKG)를 사용한다. 지속적인 심전도의 모니터링은 많은 의료에 사용된다. 상업적인 심박수 모니터링도 또한 존재한다. 신호는 손목의 수신기에서 모니터로 전해진다. 심박수 모니터링은 정확한 측정을 연속적이게 해주고, 손을 사용하는 상황처럼 수동적인 측정이 어렵거나 불편한 경우의 운동을 할 때에도 사용될 수 있다. 심박수를 측정하는 다른 방법은 몸의 진동을 기록하는 것이다.On the other hand, a more sophisticated method of determining the pulse uses an electrocardiogram (ECG, EKG). Continuous ECG monitoring is used in many medical applications. Commercial heart rate monitoring also exists. The signal is sent from the receiver on the wrist to the monitor. Heart rate monitoring provides a continuous and accurate measurement, and can be used during exercise where manual measurement is difficult or inconvenient, such as when using the hands. Another way to measure your heart rate is to record your body's vibrations.

심박을 측정하는 다양한 접촉식 측정기술이 존재함에도 불구하고, 신체의 건강상태를 모니터링 하는데 매우 중요한 요소이므로, 접촉에 따른 질병전염예방이나 환자대기시간동안에 빠르고 정확하게 측정할 수 있는 비접촉식 기술이 계속 요구되는 실정이다.Despite the existence of various contact-type measurement technologies that measure heart rate, it is a very important factor in monitoring the health of the body. the current situation.

한국등록특허 제2215557호 "얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템"Korean Patent No. 2215557 "Camera-based heart rate measurement method and system using face color and tremor" 한국등록특허 제1787828호 "스킨컬러 필터를 이용한 심박수 측정시스템"Korea Patent No. 1787828 "Heart rate measurement system using skin color filter"

본 발명은 컬러영상의 연속적인 영상정보를 이용하여 비접촉식으로 심장박동수를 측정하는 기술을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a technology for measuring heart rate in a non-contact manner using continuous image information of color images.

본 발명은 심장박동을 추출하기 위해서는 컬러 영상을 구성하는 개별 색정보(적, 녹, 청)간의 미세한 색변화를 이용하므로 영상의 밝기 정보를 이용하여 정규화된 밝기의 영상으로 변환하여 밝기보상과 베이어패턴의 실제 적,녹,청 측정색상만을 이용하여 심장박동을 추정함으로써 밝기에 따른 오류를 최소화하여 보다 정확한 비접촉 측정성능을 갖는 것을 목적으로 한다.The present invention uses a minute color change between individual color information (red, green, blue) constituting a color image in order to extract a heartbeat, so it is converted into an image of normalized brightness using the brightness information of the image to achieve brightness compensation and Bayer It aims to have more accurate non-contact measurement performance by minimizing the error due to brightness by estimating the heartbeat using only the actual red, green, and blue measurement colors of the pattern.

본 발명은 고해상도가 아닌 일반적인 컬러 비디오 정보로도 어른부터 영유아까지 심장박동을 측정하는 것을 목적으로 한다.An object of the present invention is to measure heartbeats from adults to infants even with general color video information rather than high resolution.

일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치에 관한 것으로서, 컬러영상신호를 수집하는 수집부, 상기 수집된 컬러영상신호 중에서 관심영역을 추출하는 관심영역 추출부, 상기 추출한 관심영역의 컬러영상에 대해, 적색, 녹색, 청색으로 구성되는 색정보의 각각에 대한 색변화를 이용하여 심장박동을 추정하되, 추출된 밝기신호를 정규화된 밝기신호로 변환하는 처리 과정, 필터링를 이용한 전처리 과정, 상기 색정보와 관련하여 LDA(Linear Discrimination Analysis)를 적용하는 처리 과정 중에서 적어도 하나의 처리 과정을 적용하는 심장박동 추정부를 포함할 수 있다.To an apparatus for measuring a heartbeat using a color image according to an embodiment, a collection unit for collecting a color image signal, a region of interest extractor for extracting a region of interest from the collected color image signal, and a color image of the extracted region of interest With respect to , a process of estimating a heartbeat using color changes for each of the color information consisting of red, green, and blue, and converting the extracted luminance signal into a normalized luminance signal, a preprocessing process using filtering, and the color It may include a heartbeat estimator for applying at least one process among processes for applying Linear Discrimination Analysis (LDA) in relation to information.

일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치는 상기 추출한 관심영역(ROI)에 대한 밝기신호를 계산하여 개별적인 적색, 녹색, 청색의 값을 측정하여 정규화된 밝기의 신호로 변환하여, 개별적인 적색, 녹색, 청색의 값을 보상하는 보상부를 더 포함할 수 있다.The heartbeat measuring apparatus using a color image according to an embodiment calculates the brightness signal for the extracted region of interest (ROI), measures individual red, green, and blue values, and converts it into a signal of normalized brightness, , a compensator for compensating for green and blue values may be further included.

일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치는 상기 수집된 컬러 영상 또는 상기 추출된 관심 영역 중에서 적어도 하나에 대해 2차원 고대역통과필터(2D High Pass Filter)를 이용하여 전처리 하는 전처리부를 더 포함할 수 있다.The heartbeat measuring apparatus using a color image according to an embodiment further includes a preprocessing unit that preprocesses at least one of the collected color image or the extracted region of interest using a 2D high pass filter. may include

일실시예에 따른 상기 심장박동 추정부는, 상기 색정보 각각에 대한 상기 색변화의 평균값간의 차이를 고려하는 LDA(Linear Discrimination Analysis)를 적용하여 심장박동수를 추정할 수 있다.The heart rate estimator according to an embodiment may estimate the heart rate by applying Linear Discrimination Analysis (LDA) that considers a difference between the average values of the color changes for each of the color information.

일실시예에 따른 상기 심장박동 추정부는, 상기 색정보 각각을 시간 함수로 직렬화한 후 일정시간의 윈도우 마다 상기 LDA(Linear Discrimination Analysis)를 적용하고, 상기 LDA가 적용된 각각의 색 정보들이 시간에 따라 서로 유사하거나 다른 값을 갖는 신호들을 분리 추출하여 심박주기를 추정할 수 있다.The heartbeat estimator according to an embodiment serializes each of the color information as a function of time and then applies the LDA (Linear Discrimination Analysis) to each window of a predetermined time, and each color information to which the LDA is applied is determined according to time. The heart rate cycle may be estimated by separating and extracting signals having similar or different values.

일실시예에 따르면, 컬러영상의 연속적인 영상정보를 이용하여 비접촉식으로 심장박동수를 측정하는 기술을 제공할 수 있다.According to one embodiment, it is possible to provide a technology for measuring the heart rate in a non-contact manner using continuous image information of a color image.

일실시예에 따르면, 심장박동을 추출하기 위해서는 컬러 영상을 구성하는 개별 색정보(적, 녹, 청)간의 미세한 색변화를 이용하므로 영상의 밝기 정보를 이용하여 정규화된 밝기의 영상으로 변환하여 심장박동을 추정함으로써 밝기에 따른 오류를 최소화할 수 있다.According to an embodiment, in order to extract a heartbeat, a minute color change between individual color information (red, green, blue) constituting a color image is used. By estimating the beat, it is possible to minimize the error caused by the brightness.

일실시예에 따르면, 고해상도가 아닌 일반적인 컬러 비디오 정보로도 충분한 해상도를 가지고 어른부터 영유아까지 심장박동을 측정할 수 있다.According to an exemplary embodiment, heartbeats from adults to infants may be measured with sufficient resolution even with general color video information rather than high resolution.

도 1은 일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치를 설명하는 도면이다.
도 2는 저해상도로 촬영한 전체 1프레임 이미지와, ROI로 선정한 이미지를 설명하는 도면이다.
도 3은 고역 필터링한 적, 녹, 청 이미지를 설명하는 도면이다.
도 4a는 500프레임 측정시 이미지 밝기의 변화를 설명하는 도면이다.
도 4b는 적, 녹, 청 각 색정보의 시간영역변환 신호를 설명하는 도면이다.
도 4c는 LDA를 이용한 심박주기 추출신호를 설명하는 도면이다.
도 4d는 도 4c의 자기상관함수 결과를 나타내는 도면이다.
도 4e는 밝기 보정된 적, 녹, 청 신호를 설명하는 도면이다.
도 4f는 LDA를 이용한 심박주기 추출신호를 설명하는 도면이다.
도 4g는 도 4f의 자기상관함수 결과를 나타내는 도면이다.
도 5는 일실시예에 따른 컬러영상을 이용한 심장박동 측정 방법을 설명하는 도면이다.
도 6은 N 프레임 심박추출 이미지열 윈도우 신호를 설명하는 도면이다.
1 is a view for explaining a heartbeat measuring apparatus using a color image according to an embodiment.
FIG. 2 is a view for explaining an entire one-frame image taken at a low resolution and an image selected as an ROI.
3 is a diagram for explaining high-pass filtered red, green, and blue images.
4A is a view for explaining a change in image brightness when measuring 500 frames.
4B is a diagram for explaining a time-domain conversion signal of red, green, and blue color information.
4C is a diagram for explaining a heart rate cycle extraction signal using the LDA.
FIG. 4D is a diagram illustrating the result of the autocorrelation function of FIG. 4C.
4E is a diagram for explaining brightness-corrected red, green, and blue signals.
4F is a diagram for explaining a heart rate cycle extraction signal using the LDA.
FIG. 4G is a diagram showing the result of the autocorrelation function of FIG. 4F.
5 is a view for explaining a heartbeat measurement method using a color image according to an embodiment.
6 is a diagram for explaining an N-frame heartbeat extraction image sequence window signal.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed herein are only exemplified for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiment according to the concept of the present invention These may be embodied in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention may have various changes and may have various forms, the embodiments will be illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes changes, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from other components, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named as a second component, Similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle. Expressions describing the relationship between elements, for example, “between” and “between” or “directly adjacent to”, etc. should be interpreted similarly.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is used only to describe specific embodiments, and is not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, and includes one or more other features or numbers, It should be understood that the possibility of the presence or addition of steps, operations, components, parts or combinations thereof is not precluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. Like reference numerals in each figure indicate like elements.

도 1은 일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치(100)를 설명하는 도면이다.1 is a view for explaining a heartbeat measuring apparatus 100 using a color image according to an embodiment.

일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치(100)는 일반적인 컬러영상의 연속적인 정보를 이용하여 비접촉식으로 심장박동수를 측정할 수 있다. 특히, 심장박동을 추출하기 위해서는 컬러 영상을 구성하는 개별 색정보(적, 녹, 청)간의 미세한 색변화를 이용하므로 영상의 밝기 정보를 이용하여 정규화된 밝기의 영상으로 변환하여 심장박동을 추정함으로써 밝기에 따른 오류를 최소화할 수 있고, 충분한 해상도를 가질 수 있어 일반적인 컬러 비디오 정보로도 어른부터 영유아까지 심장박동을 측정할 수 있다.The heart rate measuring apparatus 100 using a color image according to an embodiment may measure the heart rate in a non-contact manner using continuous information of a general color image. In particular, in order to extract a heartbeat, a minute color change between individual color information (red, green, blue) constituting a color image is used. It can minimize errors due to brightness and has sufficient resolution, so it can measure heartbeats from adults to infants even with general color video information.

이를 위해, 일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치(100)는 수집부(110), 관심영역 추출부(120), 심장박동 추정부(130)를 포함할 수 있다.To this end, the heartbeat measuring apparatus 100 using a color image according to an embodiment may include a collecting unit 110 , an ROI extracting unit 120 , and a heartbeat estimating unit 130 .

일실시예에 따른 수집부(110)는 컬러영상신호를 수집할 수 있다. The collection unit 110 according to an embodiment may collect a color image signal.

또한, 일실시예에 따른 추출부(120)는 수집된 컬러영상신호 중에서 관심영역을 추출할 수 있다.Also, the extractor 120 according to an embodiment may extract a region of interest from the collected color image signals.

카메라의 해상도는 심박측정을 위해 선정한 촬영부위의 면적과 해당면적(ROI : Region of Interest) 에 할당되는 카메라의 pixel수와 관련될 수 있다. 예를 들어, 640 X 480pixels의 저해상도 카메라로도 20 X 20cm2 의 전체 화면에서 5 X 5cm2의 ROI를 측정할 때 138 X 138pixels가 할당되므로 0.13mm2/pixel의 충분한 해상도를 가질 수 있어 일반적인 컬러 비디오 정보로도 어른부터 영유아까지 심장박동 측정이 가능하다.The resolution of the camera may be related to the area of the photographed area selected for heart rate measurement and the number of pixels of the camera allocated to the area (ROI: Region of Interest). For example, even with a low-resolution camera of 640 X 480 pixels, when measuring an ROI of 5 X 5 cm 2 on a full screen of 20 X 20 cm 2 , 138 X 138 pixels are allocated, so it can have a sufficient resolution of 0.13 mm 2 /pixel, so it can have a normal color With video information, it is possible to measure heart rate from adults to infants.

일실시예에 따른 심장박동 추정부(130)는 심장박동을 추출하기 위해 컬러 영상을 구성하는 개별 색정보(적, 녹, 청)간의 미세한 색변화를 이용하므로 영상의 밝기 정보를 이용하여 정규화된 밝기의 영상으로 변환하여 심장박동을 추정 하므로써 밝기에 따른 오류를 최소화할 수 있다.Since the heartbeat estimator 130 according to an embodiment uses a minute color change between individual color information (red, green, blue) constituting a color image to extract a heartbeat, normalized using brightness information of the image By estimating the heartbeat by converting it into an image of brightness, errors due to brightness can be minimized.

일실시예에 따른 심장박동 추정부(130)는 정규화된 밝기를 위해 아래 [수학식 1]를 이용할 수 있다.The heartbeat estimator 130 according to an embodiment may use the following [Equation 1] for normalized brightness.

[수학식 1][Equation 1]

정규화된 밝기(BRIGHTNESS) = 0.21 * RED + 0.72 * GREEN + 0.07 * BLUENormalized BRIGHTNESS = 0.21 * RED + 0.72 * GREEN + 0.07 * BLUE

일실시예에 따른 심장박동 추정부(130)는 컬러영상을 촬영하는 카메라의 영상신호로부터 관심영역(ROI)을 추출하고 밝기 신호를 계산하여 개별적인 적,녹,청 색신호의 값을 측정하여 이를 정규화된 밝기의 신호로 변환한다.The heartbeat estimator 130 according to an embodiment extracts a region of interest (ROI) from an image signal of a camera that takes a color image, calculates a brightness signal, measures the values of individual red, green, and blue signals, and normalizes them. converted into a signal of the specified brightness.

경험치에 의한, 적정 BRIGHTNESS는 정규화한 값으로 0.65 - 0.75 정도로 정의하여 적, 녹, 청 값을 보상하는데 활용될 수 있다.Appropriate brightness based on experience is defined as a normalized value of 0.65 - 0.75 and can be used to compensate for red, green, and blue values.

구체적으로, 일실시예에 따른 심장박동 추정부(130)는 추출한 관심영역의 컬러영상에 대해, 적색, 녹색, 청색으로 구성되는 색정보의 각각에 대한 색변화를 이용하여 심장박동을 추정할 수 있다.Specifically, the heartbeat estimator 130 according to an embodiment may estimate the heartbeat by using color changes for each of color information composed of red, green, and blue with respect to the extracted color image of the region of interest. have.

일반적인 성인의 심박수는 60~100bpm(beat per minute), 1세 이상 어린이는 70~110bpm, 영유아의 경우는 100~150bpm의 심박수를 갖는다.A typical adult's heart rate is 60-100 bpm (beat per minute), a child over 1 year old has a heart rate of 70-110 bpm, and a child's heart rate is 100-150 bpm.

따라서 최대 180bpm을 측정범위로 할 경우 3Hz 이므로 일반적인 15fps(frame per second = 15Hz) 의 일반적인 카메라로도 성인에서 영유아까지의 심박수를 측정 할 수 있다. Therefore, if the maximum 180bpm is 3Hz, it is possible to measure the heart rate from adults to infants even with a general camera of 15fps (frame per second = 15Hz).

단, 카메라의 프레임속도는 심박측정치의 정밀도와 관련이 있어 15fps의 경우는 5bpm의 정밀도, 30fps의 경우 2bpm 그리고 60fps 카메라를 이용할 경우에는 1bpm의 충분한 측정정밀도를 가질 수 있다.However, since the frame rate of the camera is related to the precision of the heart rate measurement, it can have sufficient measurement accuracy of 5bpm for 15fps, 2bpm for 30fps, and 1bpm when using a 60fps camera.

특히, 일실시예에 따른 심장박동 추정부(130)는 색정보 각각에 대한 색변화간의 공분산과 평균값간의 차이를 고려한 LDA(Linear Discrimination Analysis)를 적용하여 심장박동수를 추정할 수 있다.In particular, the heart rate estimator 130 according to an embodiment may estimate the heart rate by applying Linear Discrimination Analysis (LDA) in consideration of a difference between a covariance between color changes for each color information and an average value.

또한, 일실시예에 따른 심장박동 추정부(130)는 색정보 각각을 시간 함수로 직렬화한 후 일정시간의 윈도우 마다 LDA(Linear Discrimination Analysis)를 적용하고, LDA가 적용된 각각의 색 정보들이 시간에 따라 서로 유사하거나 다른 값을 갖는 신호들을 분리 추출하여 심박주기를 추정할 수 있다. 또한, 심장박동 추정부(130)는 이렇게 추정된 심박주기를 활용하여 심박수를 추정할 수 있다.In addition, the heartbeat estimator 130 according to an embodiment serializes each color information as a function of time and then applies LDA (Linear Discrimination Analysis) to each window of a predetermined time, and each color information to which the LDA is applied is displayed in time. Accordingly, the heart rate cycle may be estimated by separating and extracting signals having similar or different values. Also, the heart rate estimator 130 may estimate the heart rate by using the heart rate cycle estimated in this way.

일반적으로, 적, 녹, 청 각각의 색들은 파장에 따라 피부에 흡수, 반사되는 정도가 다르고 특히 적색은 혈관내의 헤모글로빈에 흡수되므로 혈류흐름을 추정 할 때 그 변화량이 적은 편이다. 일실시예에 따른 심장박동 추정부(130)는 이러한 서로 다른 반응특성, 즉 색별 측정값이 다른 특성을 보다 잘 이용 할 수 있도록 한다. 즉, 일실시예에 따른 심장박동 추정부(130)는 일반적인 PCA(Principal Component Analysis)나 ICA(Independent Component Analysis)를 사용하지 않고 평균값간의 차이까지 고려하여 그 Projection Vector(투영백터) 방향이 보다 더 서로다른 신호간의 차이를 찾게 해주는 LDA(Linear Discrimination Analysis) 방법으로 적, 녹, 청 색 정보간에 가지고 있는 서로 다른 신호, 즉 심장박동수를 추정할 수 있다.In general, each color of red, green, and blue has a different degree of absorption and reflection by the skin depending on the wavelength. In particular, red is absorbed by hemoglobin in blood vessels, so the amount of change is small when estimating blood flow. The heartbeat estimator 130 according to an exemplary embodiment makes it possible to better use these different response characteristics, that is, characteristics having different measurement values for each color. That is, the heartbeat estimator 130 according to an embodiment considers the difference between the average values without using a general PCA (Principal Component Analysis) or ICA (Independent Component Analysis), and the direction of the Projection Vector is more With the LDA (Linear Discrimination Analysis) method that finds the difference between different signals, it is possible to estimate the different signals, that is, the heart rate, between the red, green, and blue information.

일실시예에 따른 상기 심장박동 추정부(130)는, 색정보 각각을 시간 함수로 직렬화한 후 일정시간의 윈도우 마다 LDA(Linear Discrimination Analysis)를 적용하고, LDA가 적용된 각각의 색 정보들이 시간에 따라 기준 이내로 서로 유사하거나 다른 값을 갖는 신호들을 분리 추출하여 심박주기를 추정할 수 있다.The heartbeat estimator 130 according to an embodiment serializes each color information as a function of time and applies LDA (Linear Discrimination Analysis) to each window of a predetermined time, and each color information to which the LDA is applied is displayed in time. Accordingly, the heart rate cycle can be estimated by separating and extracting signals having similar or different values within the reference.

필터링된 적, 녹 청 의 색정보를 시간 함수로 직렬화한 후 일정시간의 윈도우(예, 5초) 마다 LDA(Linear Discrimination Analysis)를 이용하여 각각의 색 정보들이 시간에 따라 서로 유사하거나 다른 값을 갖는 신호들을 분리 추출하여 심박주기를 추정할 수 있다. 심박정보를 나타내는 신호를 시간축상의 peak - peak간의 거리로부터 직접 얻을 수도 있고 추출된 신호를 자기상관함수(Autocorrelation)을 이용하여 첫번째 peak 값으로부터 쉽게 찾을 수도 있다.After serializing the filtered red, green and blue color information as a time function, LDA (Linear Discrimination Analysis) is used every window (eg, 5 seconds) of a certain time to determine whether each color information has similar or different values over time. The heart rate cycle can be estimated by separating and extracting the signals. A signal representing heart rate information can be obtained directly from the peak-to-peak distance on the time axis, or the extracted signal can be easily found from the first peak value using an autocorrelation function.

LDA방식은 적, 녹, 청 각각 신호자체 그리고 신호간의 평균값 차이를 고려하여 아래와 같은 조건의 해를 구하므로 단순한 Eigen Vector방향을 이용하는 PCA나 ICA보다 다소 유리한 면이 있다. The LDA method has some advantages over PCA or ICA using a simple Eigen vector direction because the solution of the following conditions is obtained by considering the red, green, and blue signal itself and the difference in the average value between signals.

[수학식 2][Equation 2]

argmax(W) = WT SB W / WT SW Wargmax(W) = W T S B W / W T SW W

[수학식 2]에서, SB는 적, 녹, 청 간의 분산값, SW는 적, 녹, 청각신호의 분산값을 나타낼 수 있다.In [Equation 2], S B may represent a dispersion value between red, green, and blue, and SW may represent a dispersion value of red, green, and audio signals.

또한, 일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치(100)는 추출한 관심영역(ROI)에 대한 밝기신호를 계산하여 개별적인 적색, 녹색, 청색의 값을 측정하여 정규화된 밝기의 신호로 변환하여, 개별적인 적색, 녹색, 청색의 값을 보상하는 보상부(140)를 더 포함할 수 있다.In addition, the heartbeat measuring apparatus 100 using a color image according to an embodiment calculates the brightness signal for the extracted region of interest (ROI), measures individual red, green, and blue values, and converts it into a normalized brightness signal. Accordingly, the compensator 140 may further include individual red, green, and blue values.

관심영역(ROI)과 관련하여, 노출된 신체부위 예를 들면 얼굴, 손등에 분포하는 동맥의 지름은 성인의 경우 약 1.5~2.5mm, 영유아의 경우는 성인의 절반정도의 크기를 가지며, 우리몸안에는 약 100,000 - 160,000km의 혈관이 분포하므로 노출된 피부 밑에 분포하는 동맥의 혈류흐름에 따라 변화하는 색정보(Red(적), Green(녹), Blue(청)) 만을 이용하여 심장박동수를 추출할 수 있다.In relation to the region of interest (ROI), the diameter of the arteries distributed in the exposed body parts, such as the face and back of the hand, is about 1.5 to 2.5 mm in adults and half the size of adults in infants and children. Since about 100,000 - 160,000 km of blood vessels are distributed inside, the heart rate is extracted using only color information (Red (Red), Green (Green), Blue (Blue)) that changes according to the blood flow of the arteries distributed under the exposed skin. can do.

뿐만 아니라, 일실시예에 따른 컬러영상을 이용한 심장박동 측정 장치(100)는 수집된 컬러 영상 또는 상기 추출된 관심 영역 중에서 적어도 하나에 대해 2차원 고대역통과필터(2D High Pass Filter)를 이용하여 전처리 하는 전처리부(150)를 더 포함할 수 있다.In addition, the heartbeat measuring apparatus 100 using a color image according to an embodiment uses a 2D high pass filter with respect to at least one of the collected color image or the extracted region of interest. It may further include a pre-processing unit 150 for pre-processing.

예를들어, 전처리부(150)는 기본적으로 혈류흐름에 따라 변화하는 색정보를 이용하므로, 연속적인 프레임 이미지들은 개별적으로 변화량 정보를 잘 나타낼 수 있도록 2차원 고대역통과필터를 이용하여 전처리할 수 있다.For example, since the preprocessor 150 basically uses color information that changes according to the blood flow, successive frame images can be pre-processed using a two-dimensional high-pass filter so that the information about the amount of change individually can be well represented. have.

일실시예에 따르면, 2차원 고대역통과필터는 다음 수학식 3과 같이 구현될 수 있다.According to an embodiment, the two-dimensional high-pass filter may be implemented as shown in Equation 3 below.

[수학식 3][Equation 3]

Figure pat00001
Figure pat00001

[수학식3]에서, In [Equation 3],

+Cij는 양의 계수, -Cij는 음의 계수 그리고 +δ는 컬러 이미지의 Bayer Pattern 형태에서 해당 위치의 값은 보간 값이 아니라 픽셀이 직접 측정한 상관관계가 높은 측정값이므로 일반적인 0 값이 아니라 작은 값의 가중치로 이들 값을 고려하는 고역 필터를 사용할 수 있다. 즉, Nearest Pixel(가장 가까운 측정 픽셀위치의 값에는 작은 값의 가중치인 +δ 를 적용할 수 있다.+C ij is a positive coefficient, -C ij is a negative coefficient, and +δ is a value of the corresponding position in the Bayer Pattern form of the color image, not an interpolation value, but a highly correlated measurement value measured directly by the pixel, so it is a general 0 value Instead, we can use a high-pass filter that considers these values as small weights. That is, the weight of the smallest value, +δ, can be applied to the value of the nearest pixel (the position of the nearest measurement pixel).

2차원 고대역통과필터는 필터의 차수 또는 크기는 ROI의 크기 또는 이미지의 해상도에 따라 확장하여 사용될 수도 있다.The 2D high-pass filter may be used by extending the order or size of the filter according to the size of the ROI or the resolution of the image.

한편, 각 구성요소들에 대한 전반적인 제어나, 신호의 전달을 위해 중앙 처리부(160)를 더 포함할 수 있다.Meanwhile, the central processing unit 160 may be further included for overall control of each component or for transmitting signals.

도 2는 저해상도로 촬영한 전체 1프레임 이미지와, ROI로 선정한 이미지를 설명하는 도면이다.FIG. 2 is a view for explaining an entire one-frame image taken at a low resolution and an image selected as an ROI.

특히, 도 2의 제1 프레임(210)은 스마트폰을 이용하여 저해상도 960 x 540 pixels , 30fps로 촬영한 전체 1프레임 이미지를 나타낸다.In particular, the first frame 210 of FIG. 2 represents an entire one-frame image captured at a low resolution of 960 x 540 pixels and 30 fps using a smartphone.

특히 도 3은 ROI로 선정한 890 x 50 pixels 이미지로서, 밝기 보정효과와 노이즈 영향을 알아보기 위해 음영부분도 포함할 수 있다.In particular, FIG. 3 is an 890 x 50 pixel image selected as an ROI, and a shaded portion may be included to examine the effect of brightness correction and noise.

다음으로, 도 3은 고역 필터링한 적, 녹, 청 이미지를 설명하는 도면(300)이다.Next, FIG. 3 is a diagram 300 for explaining high-pass filtered red, green, and blue images.

도면부호 300에 나타난 이미지들 중에서 도면부호 310은 적색 이미지를, 도면부호 320은 녹색 이미지를, 도면부호 330은 청색 이미지를 나타낸다.Among the images indicated by reference numeral 300, reference numeral 310 denotes a red image, reference numeral 320 denotes a green image, and reference numeral 330 denotes a blue image.

적, 녹, 청 각각의 색들은 파장에 따라 피부에 흡수, 반사되는 정도가 다르고 특히 적색은 혈관내의 헤모글로빈에 흡수되므로 혈류흐름을 추정 할때 그 변화량이 적은 편이다. 이러한 적, 녹, 청 이미지에 대한 서로 다른 반응특성으로서, 색별 측정값이 다른 특성을 보다 잘 이용 할 수 있도록 일반적인 PCA(Principal Component Analysis)나 ICA(Independent Component Analysis)를 사용하지 않고 평균값간의 차이까지 고려하여 LDA(Linear Discrimination Analysis) 방법을 이용할 수 있다.Red, green, and blue colors are absorbed and reflected differently by the skin depending on the wavelength. Especially, red is absorbed by hemoglobin in blood vessels, so the amount of change is small when estimating blood flow. As different response characteristics for these red, green, and blue images, the difference between average values can be measured without using general PCA (Principal Component Analysis) or ICA (Independent Component Analysis) to better utilize characteristics with different color measurement values. In consideration of this, a Linear Discrimination Analysis (LDA) method may be used.

LDA(Linear Discrimination Analysis) 방법은 그 Projection Vector(투영백터) 방향이 보다 더 서로 다른 신호 간의 차이를 찾게 해주는 것으로서 적, 녹, 청 색 정보 간에 가지고 있는 서로 다른 신호, 즉 심장박동수를 추정할 수 있다.The LDA (Linear Discrimination Analysis) method finds the difference between signals whose projection vector direction is more different, and can estimate the heart rate of different signals between red, green, and blue information. .

도 4a는 500프레임 측정시 이미지 밝기의 변화를 설명하는 도면(410)이다.4A is a diagram 410 for explaining a change in image brightness when measuring 500 frames.

구체적으로, 도 4a는 500장의 영상의 밝기의 변화를 도시한 것으로서, 밝기의 계산방법은 다음과 같다.Specifically, FIG. 4A shows the change in brightness of 500 images, and the method of calculating the brightness is as follows.

예를 들어, 컬러영상은 R,G,B 세개의 색정보로 구성되고 각각의 색이 8bit의 해상도를 갖는다면 각각의 색이 0 ~ 255범위의 Numeric value를 가질 수 있다. 따라서, 이를 정규화하면 각색의 값은 0 ~ 1의 값이므로 Brightness는 다음 [수학식 4]와 같이 계산될 수 있다.For example, if a color image consists of R, G, and B three color information and each color has a resolution of 8 bits, each color may have a Numeric value in the range of 0 to 255. Therefore, if this is normalized, the value of each color is 0 to 1, so brightness can be calculated as in the following [Equation 4].

[수학식 4][Equation 4]

max = 0.21*1(R_max) + 0.72*1(G_max) + 0.07*1(B_max)=1max = 0.21*1(R_max) + 0.72*1(G_max) + 0.07*1(B_max)=1

도 4b는 적, 녹, 청 각 색정보의 시간영역변환 신호를 설명하는 도면(420)이다. 또한, 도 4c는 LDA를 이용한 심박주기 추출신호를 설명하는 도면(430)이고, 도 4d는 도 4c의 자기상관함수 결과를 나타내는 도면(440)이다.4B is a diagram 420 for explaining a time domain conversion signal of red, green, and blue color information. Also, FIG. 4C is a diagram 430 illustrating a heartbeat cycle extraction signal using LDA, and FIG. 4D is a diagram 440 illustrating the result of the autocorrelation function of FIG. 4C.

한편, 도 4e는 밝기 보정된 적, 녹, 청 신호를 설명하는 도면(450)이다.Meanwhile, FIG. 4E is a diagram 450 for explaining brightness-corrected red, green, and blue signals.

도 4e는 밝기 보정된 RGB 신호로서, Y축은 정규화 측정신호에 보정값을 곱한 값이고(R_norm*BR_comp), X축은 영상의 프레임번호(시간축: 1/Frame, 2/Frame…or frame number)을 나타낸다.4e is a brightness-corrected RGB signal, where the Y-axis is a value obtained by multiplying the normalized measurement signal by the correction value (R_norm*BR_comp), and the X-axis is the frame number of the image (time axis: 1/Frame, 2/Frame…or frame number). indicates.

각 적, 녹, 청 색의 밝기의 변화에 대한 상기 값을 보정하는 방법은, [수학식 4] 값의 각 최대값을 65~75%로 줄이는 것으로 해석될 수 있다.The method of correcting the above value for the change in brightness of each red, green, and blue color can be interpreted as reducing each maximum value of [Equation 4] to 65 to 75%.

즉, 밝기보정의 목적은 최대 밝기를 제한하는 것이 목적이 아니라 어두운 경우에는 밝게, 너무 밝은 경우에는 조금 어둡게 보정해서 항상 이미지의 밝기가 0.65 - 0.75 가 되게 하는 것이다.In other words, the purpose of the brightness correction is not to limit the maximum brightness, but to brighten the dark case and slightly darken it if it is too bright so that the brightness of the image is always  0.65 - 0.75 .

도 4f는 LDA를 이용한 심박주기 추출신호를 설명하는 도면(460)이다.4F is a diagram 460 for explaining a heart rate cycle extraction signal using the LDA.

도 4f의 Y축은 적, 녹, 청 세개의 입력 신호로부터 두 번째 dominant 신호성분로서,  혈류흐름에 따른 변화를 나타내는 독립신호 성분으로 크기는 [수학식 2]의 W 행렬 곱하기 {R, G, B} 벡터의 두 번째 성분이고, X축은 시간 축 즉, 1/frame, 2/frame…. or frame number를 나타낸다.The Y-axis of FIG. 4f is the second dominant signal component from the three input signals   red, green, and blue,   an independent signal component representing the change according to the blood flow, and the magnitude is the  W matrix multiplication of [Equation 2]  {R, G, B } The second component of the vector, and the X axis is the time axis, i.e. 1/frame, 2/frame… . or represents the frame number.

도 4g는 도 4f의 자기상관함수 결과를 나타내는 도면(470)이다.FIG. 4G is a diagram 470 showing the result of the autocorrelation function of FIG. 4F.

도 4g의 Y축은 자기상관 함수결과 R(y,y)로서, LDA출력, X 는 시간축 즉, 1/frame, 2/frame…. or frame number를 나타낸다.The Y-axis of FIG. 4g is the autocorrelation function result  R(y, y), LDA output, X  is the time axis, that is, 1/frame, 2/frame... . or represents the frame number.

앞서 설명한 도면에서 나타나는 바와 같이, 필터링된 적, 녹 청 의 색정보를 시간 함수로 직렬화한후 일정시간의 윈도우로서, 예를들어, 5초 마다 LDA (Linear Discrimination Analysis)를 이용하여 심박을 추정할 수 있다. 특히, 각각의 색 정보들이 시간에 따라 서로 유사하거나 다른 값을 갖는 신호들을 분리 추출하여 심박주기를 추정할 수 있다.As shown in the drawing described above, after serializing the filtered color information of red, green, and blue as a time function, the heart rate can be estimated using, for example, LDA (Linear Discrimination Analysis) every 5 seconds as a window for a certain time. can In particular, the heart rate cycle may be estimated by separating and extracting signals in which respective color information has similar or different values over time.

또한, 심박정보를 나타내는 신호를 시간축상의 피크와 피크 간의 거리로부터 직접 얻을 수도 있고 추출된 신호를 자기상관함수(Autocorrelation)을 이용하여 첫번째 피크 값으로부터 쉽게 찾을 수도 있다.In addition, a signal representing heart rate information can be obtained directly from the peak-to-peak distance on the time axis, or the extracted signal can be easily found from the first peak value using an autocorrelation function.

도 5는 일실시예에 따른 컬러영상을 이용한 심장박동 측정 방법을 설명하는 도면(500)이다.5 is a view 500 for explaining a method for measuring a heartbeat using a color image according to an embodiment.

일실시예에 따른 컬러영상을 이용한 심장박동 측정 방법은 컬러영상으로부터 프레임 이미지를 저장할 수 있다(단계 501).The heartbeat measurement method using a color image according to an embodiment may store a frame image from the color image (step 501).

컬러영상은 컬러 카메라로부터 획득되는 동영상으로서, 프레임속도는 15fps이상, 해상도는 640 x 480pixels의 조건이면 심박측정이 가능하다.A color image is a moving picture obtained from a color camera. If the frame rate is 15 fps or higher and the resolution is 640 x 480 pixels, heart rate measurement is possible.

다음으로, 일실시예에 따른 컬러영상을 이용한 심장박동 측정 방법은 심박측정 관심영역(ROI) 선정할 수 있다. 또한, 선정된 관심영역에 대한 색추출을 처리하고, 색추출된 부분에 대한 영역추적을 수행할 수 있다(단계 502).Next, the heartbeat measurement method using a color image according to an embodiment may select a heartbeat measurement region of interest (ROI). Also, it is possible to process color extraction for the selected region of interest and perform region tracking for the color extracted portion (step 502).

또한, 일실시예에 따른 컬러영상을 이용한 심장박동 측정 방법은 영역추적된 부분에 대한 적, 녹, 청 색을 분리한 후 밝기를 보정할 수 있다(단계 503).Also, in the heartbeat measurement method using a color image according to an embodiment, the brightness may be corrected after separating red, green, and blue colors for the region-tracked portion (step 503).

일실시예에 따른 컬러영상을 이용한 심장박동 측정 방법은 카메라의 컬러영상신호로부터 관심영역(ROI)을 추출하고 밝기 신호를 계산하여 개별적인 적, 녹, 청 색신호의 값을 측정하여 이를 정규화된 밝기의 신호로 변환할 수 있다.The heartbeat measurement method using a color image according to an embodiment extracts a region of interest (ROI) from a color image signal of a camera, calculates a brightness signal, measures the values of individual red, green, and blue signals, can be converted into a signal.

이를 위해, 앞서 설명한 [수학식 1]을 활용할 수 있다.For this, [Equation 1] described above may be used.

적정 밝기는 정규화한 값으로 0.65 ~ 0.75 정도로 정의하여 적, 녹, 청 값을 보상할 수 있다.The appropriate brightness can be defined as a normalized value of 0.65 to 0.75 to compensate for the red, green, and blue values.

다음으로, 일실시예에 따른 컬러영상을 이용한 심장박동 측정 방법은 2D 고대역통과필터링을 통해 고역 필터링 처리할 수 있다(단계 504).Next, the heartbeat measurement method using a color image according to an embodiment may perform high-pass filtering through 2D high-pass filtering (step 504).

또한, 일실시예에 따른 컬러영상을 이용한 심장박동 측정 방법은 시간영역 신호변환 및 5-10초 신호처리 윈도우 처리하고(단계 505), LDA와 자기상관 함수 처리를 수행할 수 있다(단계 506).In addition, the heartbeat measurement method using a color image according to an embodiment may perform time domain signal conversion and 5-10 second signal processing window processing (step 505), and perform LDA and autocorrelation function processing (step 506). .

LDA방식은 적, 녹, 청 각각 신호자체 그리고 신호간의 공분산과 평균값 차이를 고려하여 앞서 설명한 [수학식 2]와 같은 조간의 해를 구하므로 단순한 Eigen Vector방향을 이용하는 PCA나 ICA보다 다소 유리한 면이 있다.The LDA method has some advantages over PCA or ICA using a simple Eigen vector direction because the LDA method calculates the intertidal solution as in [Equation 2] described above by considering the signal itself and the difference in the average value and the covariance between the signals, respectively. have.

즉, 신호들의 합에 비해 신호들간의 분산값이 최대가 되는 W를 찾으므로 PCA 나 ICA 에 비해 유리한 점이 있다.In other words, compared to the sum of the signals, it is advantageous over PCA or ICA because W that maximizes the variance between signals is found.

도 6은 N 프레임 심박추출 이미지열 윈도우 신호를 설명하는 도면(600)이다.6 is a diagram 600 for explaining an N-frame heartbeat extraction image sequence window signal.

도면부호 601은 신호처리후 제거이미지열에 해당하고, 도면부호 602는 N 프레임 심박추출 이미지열 윈도우 신호에 해당하며, 도면부호 603은 n 프레임 업데이트 이미지열에 해당한다.Reference numeral 601 corresponds to an image sequence removed after signal processing, reference numeral 602 corresponds to an N-frame heartbeat extracted image sequence window signal, and reference numeral 603 corresponds to an n-frame update image sequence.

도 6에서 보는 바와 같이, 비디오 이미지를 이용한 심박추출 시스템은 n images/m fps의 심박정보를 출력 하게 된다. 예를들어 15이미지 업데이트 / 30fps = 0.5초 마다 실시간으로 심박정보를 출력할 수 있다.As shown in FIG. 6 , the heart rate extraction system using a video image outputs heart rate information of n images/m fps. For example, 15 image updates / 30 fps = every 0.5 seconds, heart rate information can be output in real time.

결국, 본 발명을 이용하면, 컬러영상의 연속적인 영상정보를 이용하여 비접촉식으로 심장박동수를 측정하는 기술을 제공할 수 있다.As a result, by using the present invention, it is possible to provide a technology for measuring the heart rate in a non-contact manner using continuous image information of a color image.

또한, 본 발명을 이용하면, 심장박동을 추출하기 위해서는 컬러 영상을 구성하는 개별 색정보(적, 녹, 청)간의 미세한 색변화를 이용하므로 영상의 밝기 정보를 이용하여 정규화된 밝기의 영상으로 변환하여 심장박동을 추정함으로써 밝기에 따른 오류를 최소화할 수 있다. 또한, 충분한 해상도를 가질 수 있어 일반적인 컬러 비디오 정보로도 어른부터 영유아까지 심장박동을 측정할 수 있다.In addition, using the present invention, in order to extract a heartbeat, a minute color change between individual color information (red, green, blue) constituting a color image is used, so it is converted into an image of normalized brightness using brightness information of the image Thus, by estimating the heartbeat, errors due to brightness can be minimized. In addition, since it can have sufficient resolution, it is possible to measure heartbeats from adults to infants even with general color video information.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the limited drawings as described above, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (5)

컬러영상신호를 수집하는 수집부;
상기 수집된 컬러영상신호 중에서 관심영역을 추출하는 관심영역 추출부;
상기 추출한 관심영역의 컬러영상에 대해, 적색, 녹색, 청색으로 구성되는 색정보의 각각에 대한 색변화를 이용하되, 추출된 밝기신호를 정규화된 밝기신호로 변환하는 처리 과정, Bayer Pattern을 고려한 보간값제거와 실제 해당 픽셀값만을 고려하는 필터링를 이용한 전처리 과정, 상기 색정보와 관련하여 LDA(Linear Discrimination Analysis) 처리 과정 중에서 적어도 하나의 처리 과정을 적용하여 심장박동을 추정하는 심장박동 추정부
를 포함하는 컬러영상을 이용한 심장박동 측정 장치.
a collection unit for collecting color image signals;
a region of interest extractor for extracting a region of interest from the collected color image signals;
For the extracted color image of the region of interest, a process of converting the extracted brightness signal into a normalized brightness signal using color changes for each of the color information consisting of red, green, and blue, interpolation considering Bayer Pattern A heartbeat estimator for estimating a heartbeat by applying at least one of a preprocessing process using value removal and filtering that considers only the actual pixel value, and a Linear Discrimination Analysis (LDA) process in relation to the color information.
A heartbeat measuring device using a color image comprising a.
제1항에 있어서,
상기 추출한 관심영역(ROI)에 대한 밝기신호를 계산하여 개별적인 적색, 녹색, 청색의 값을 측정하여 정규화된 밝기의 신호로 변환하여, 개별적인 적색, 녹색, 청색의 값을 보상하는 보상부를 더 포함하는 컬러영상을 이용한 심장박동 측정 장치.
According to claim 1,
Further comprising a compensator for calculating the brightness signal for the extracted region of interest (ROI), measuring individual red, green, and blue values, and converting it into a normalized brightness signal, and compensating for individual red, green, and blue values A heartbeat measurement device using color images.
제1항에 있어서,
상기 수집된 컬러 영상 또는 상기 추출된 관심 영역 중에서 적어도 하나에 대해 2차원 고대역통과필터(2D High Pass Filter)를 이용하여 전처리 하는 전처리부
를 더 포함하고,
상기 2차원 고대역통과필터(2D High Pass Filter)는, 컬러 이미지 센서의 Bayer Pattern을 고려하여 해당색상 측정 픽셀은
양의 계수(+Cij), 보간값의 경우는 음의 계수(-Cij), Nearest Pixel(가장 가까운 측정 픽셀위치의 값에는 작은 값의 가중치(+δ)로 값이 설정되는 컬러영상을 이용한 심장박동 측정 장치.
는 컬러영상을 이용한 심장박동 측정 장치.
According to claim 1,
A preprocessor that preprocesses at least one of the collected color image or the extracted region of interest using a 2D high pass filter
further comprising,
The 2D high pass filter considers the Bayer pattern of the color image sensor, and the corresponding color measurement pixel is
A color image in which the value is set as a positive coefficient (+C ij ), a negative coefficient (-C ij ) in the case of an interpolation value, and a weight value of a small value (+δ) to the value of the nearest pixel position. heart rate measuring device.
is a heartbeat measurement device using color images.
제1항에 있어서,
상기 심장박동 추정부는,
상기 색정보 각각에 대한 상기 색상간의 평균값간의 차이를 고려하는 LDA(Linear Discrimination Analysis)를 적용하여 심장박동수를 추정하는 컬러영상을 이용한 심장박동 측정 장치.
According to claim 1,
The heart rate estimating unit,
A heartbeat measuring apparatus using a color image for estimating a heart rate by applying LDA (Linear Discrimination Analysis) that considers the difference between the average values of the colors for each of the color information.
제4항에 있어서,
일실시예에 따른 상기 심장박동 추정부는,
상기 색정보 각각을 시간 함수로 직렬화한 후 일정시간의 윈도우 마다 상기 LDA(Linear Discrimination Analysis)를 적용하고, 상기 LDA가 적용된 각각의 색 정보들이 시간에 따라 서로 유사하거나 다른 값을 갖는 신호들을 분리 추출하여 심박주기를 추정하는 컬러영상을 이용한 심장박동 측정 장치.
5. The method of claim 4,
The heartbeat estimation unit according to an embodiment,
After serializing each of the color information as a function of time, the LDA (Linear Discrimination Analysis) is applied to each window of a predetermined time, and signals having similar or different values according to time to the respective color information to which the LDA is applied are separated and extracted. A heartbeat measuring device using color images to estimate the heartbeat cycle.
KR1020210049676A 2021-04-16 2021-04-16 Heart rate measurement method and device using color image KR102459183B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210049676A KR102459183B1 (en) 2021-04-16 2021-04-16 Heart rate measurement method and device using color image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210049676A KR102459183B1 (en) 2021-04-16 2021-04-16 Heart rate measurement method and device using color image

Publications (2)

Publication Number Publication Date
KR20220143307A true KR20220143307A (en) 2022-10-25
KR102459183B1 KR102459183B1 (en) 2022-10-26

Family

ID=83784386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210049676A KR102459183B1 (en) 2021-04-16 2021-04-16 Heart rate measurement method and device using color image

Country Status (1)

Country Link
KR (1) KR102459183B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130083725A (en) * 2012-01-13 2013-07-23 삼성메디슨 주식회사 Method and apparatus for processing ultrasound images
KR20150101323A (en) * 2014-02-26 2015-09-03 드림비전스주식회사 Apparatus for analyzing physiological signals based on image processing and method thereof
KR101787828B1 (en) 2015-09-03 2017-10-19 주식회사 제론헬스케어 Heartrate measuring system using skin color filter
KR20200042076A (en) * 2018-10-12 2020-04-23 성균관대학교산학협력단 Digital Breathing Stethoscope Method Using Skin Image
KR102215557B1 (en) 2019-12-18 2021-02-15 (주)감성과학연구센터 Heart rate estimation based on facial color variance and micro-movement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130083725A (en) * 2012-01-13 2013-07-23 삼성메디슨 주식회사 Method and apparatus for processing ultrasound images
KR20150101323A (en) * 2014-02-26 2015-09-03 드림비전스주식회사 Apparatus for analyzing physiological signals based on image processing and method thereof
KR101787828B1 (en) 2015-09-03 2017-10-19 주식회사 제론헬스케어 Heartrate measuring system using skin color filter
KR20200042076A (en) * 2018-10-12 2020-04-23 성균관대학교산학협력단 Digital Breathing Stethoscope Method Using Skin Image
KR102215557B1 (en) 2019-12-18 2021-02-15 (주)감성과학연구센터 Heart rate estimation based on facial color variance and micro-movement

Also Published As

Publication number Publication date
KR102459183B1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
US20220054089A1 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
Jeong et al. Introducing contactless blood pressure assessment using a high speed video camera
US11771381B2 (en) Device, system and method for measuring and processing physiological signals of a subject
Fan et al. Robust blood pressure estimation using an RGB camera
US9795306B2 (en) Method of estimating blood pressure based on image
US10398327B2 (en) Non-contact assessment of cardiovascular function using a multi-camera array
JP6194105B2 (en) Improved signal selection for acquiring remote photoplethysmographic waveforms
JP6121177B2 (en) Deriving arterial pulse elapsed time from source video images
Molinaro et al. Contactless vital signs monitoring from videos recorded with digital cameras: An overview
CN105792742A (en) Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject
JP6371410B2 (en) Respiratory state estimation apparatus, portable device, wearable device, program, medium, and respiratory state estimation method
US20180256047A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
Yu et al. Noncontact monitoring of heart rate and heart rate variability in geriatric patients using photoplethysmography imaging
Gudi et al. Efficient real-time camera based estimation of heart rate and its variability
WO2017191324A1 (en) A cpr assistance device and a method for determining patient chest compression depth
JP7065845B6 (en) Devices, systems, methods, and computer programs for obtaining vital signs of subjects
JP2019097757A5 (en)
US10743783B2 (en) Pulse wave analysis apparatus, pulse wave analysis method, and non-transitory computer-readable storage medium
Wiede et al. Signal fusion based on intensity and motion variations for remote heart rate determination
WO2019145142A1 (en) Device, system and method for determining at least one vital sign of a subject
JP6899395B2 (en) Devices, systems and methods for determining vital signs of interest
KR102459183B1 (en) Heart rate measurement method and device using color image
WO2021111436A1 (en) System and method for physiological measurements from optical data
JP2021045375A (en) Biological information detection device and biological information detection method
Nair et al. Non-contact heart-rate measurement using KLT-algorithm

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant