KR102249234B1 - 심박수 측정 장치 및 방법 - Google Patents

심박수 측정 장치 및 방법 Download PDF

Info

Publication number
KR102249234B1
KR102249234B1 KR1020150109112A KR20150109112A KR102249234B1 KR 102249234 B1 KR102249234 B1 KR 102249234B1 KR 1020150109112 A KR1020150109112 A KR 1020150109112A KR 20150109112 A KR20150109112 A KR 20150109112A KR 102249234 B1 KR102249234 B1 KR 102249234B1
Authority
KR
South Korea
Prior art keywords
heart rate
skin
image
rate signal
extracted
Prior art date
Application number
KR1020150109112A
Other languages
English (en)
Other versions
KR20170015804A (ko
Inventor
박찬규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150109112A priority Critical patent/KR102249234B1/ko
Publication of KR20170015804A publication Critical patent/KR20170015804A/ko
Application granted granted Critical
Publication of KR102249234B1 publication Critical patent/KR102249234B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명에 의한 심박수 측정 장치 및 방법에 개시된다.
본 발명에 따른 심박수 측정 장치는 피부 영상을 촬영하는 영상 촬영부; 및
상기 촬영된 영상의 피부색 변화로부터 심박 신호를 검출하여 심박수를 계산하는 영상 처리부를 포함하되, 상기 영상 처리부는 상기 촬영된 영상에서 피부 영역을 추출하는 피부 영역 추출 모듈, 상기 추출된 피부 영역의 피부색 변화로부터 심박 신호를 추출하는 심박 신호 추출 모듈 및 상기 추출된 심박 신호를 이용하여 심박수를 계산하는 심박수 계산 모듈을 포함한다.

Description

심박수 측정 장치 및 방법{APPARATUS AND METHOD FOR MEASURING HEART RATE}
본 발명은 심박수 측정 장치 및 방법에 관한 것으로서, 구체적으로는 피부색의 변화로부터 심박 신호를 추출하여 심박수를 측정하는 기술에 관한 것이다.
최근 IT기업들의 주요 제품 및 관심사는 웨어러블 장치에 초점이 맞추어지고 있다. 특히, 손목에 착용하는 시계나 팔찌형태의 웨어러블 장치는 스마트 폰과의 통신뿐만 아니라 개인의 운동량, 심박수까지 측정하는 단계이다. 이미 구글은 구글 글래스를 통해 좀 더 새로운 인터페이스를 소개한바 있다. IT기기는 소형화되고 다양한 형태로 웨어러블화 되고 있다. 또한, 웨어러블 장치를 통해 사용자의 생체신호정보를 획득하려고 하는 시도들은 꾸준히 이어지고 있다. 그 예로서, 이어폰 또는 헤드폰 장치에 심박수 추출 센서를 매립하여 귀에서 심박수를 측정하는 기술이 소개되었고 좀 더 동적인 환경에서도 사용할 수 있도록 하는 가슴 둘레에 착용하는 가슴 벨트형의 심박수 측정 장치는 이미 판매되고 있다. 그러나 이러한 심박수 측정은 접촉 방식으로 이루어지기에 접촉면의 변화로 인한 심박수 측정의 부정확성을 야기하는 문제가 있었다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2012-0082495(2012.07.24)에 개시되어 있다.
본 발명의 목적은 비접촉 방식의 심박수 측정 기술을 제공하는 것이다.
또한, 본 발명의 목적은 피부색 변화로부터 심박수를 측정하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 웨어러블 형태의 심박수 측정 장치를 제공하는 것이다.
또한, 본 발명의 목적은 안경테 형태의 심박수 측정 장치를 제공하는 하는 것이다.
본 발명의 일 측면에 따르면, 피부 영상을 촬영하는 영상 촬영부; 및 상기 촬영된 영상의 피부색 변화로부터 심박 신호를 검출하여 심박수를 계산하는 영상 처리부를 포함하되, 상기 영상 처리부는 상기 촬영된 영상에서 피부 영역을 추출하는 피부 영역 추출 모듈, 상기 추출된 피부 영역의 피부색 변화로부터 심박 신호를 추출하는 심박 신호 추출 모듈 및 상기 추출된 심박 신호를 이용하여 심박수를 계산하는 심박수 계산 모듈을 포함하는 심박수 측정 장치가 제공된다.
또한, 본 발명의 다른 측면에 따르면, 피부 영상을 촬영하는 단계; 상기 촬영된 영상에서 피부 영역을 추출하는 단계; 상기 추출된 피부 영역의 피부색 변화로부터 심박 신호를 추출하는 단계; 및 상기 추출된 심박 신호를 이용하여 심박수를 계산하는 단계를 포함하는 심박수 측정 방법이 제공된다.
본 발명의 일 실시예에 따르면 비접촉 방식으로 심박수 측정이 가능하게 된다.
본 발명의 일 실시예에 따르면 피부색 변화로부터 심박수를 측정하는 것이 가능하게 된다.
본 발명의 일 실시예에 따르면 웨러러블 형태의 심박수 측정 장치를 구현하는 것이 가능하게 된다.
본 발명의 일 실시예에 따르면 안경테 형태의 심박수 측정 장치를 구현하는 것이 가능하게 된다.
도 1은 본 발명의 일 실시예에 따른 심박수 측정 장치의 블록도.
도 2는 본 발명의 일 실시예에 따른 영상 촬영부를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 영상 처리부를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 촬영 각도 조정을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 피부 영역 추출 과정을 설명하기 위한 도면.
도 6는 본 발명의 일 실시예에 따른 피부 영상에서 추출된 심박 신호 및 심박 신호의 피크를 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 안경테 형태의 웨어러블 기기로 구현된 심박수 측정 장치를 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 안경테 형태의 웨어러블 기기를 이용한 얼굴 피부 촬영을 설명하기 위한 도면.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 심박수 측정 방법의 흐름도들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 심박수 측정 장치의 블록도이다.
도 1을 참조하면, 심박수 측정 장치(100)는 영상 촬영부(110), 영상 처리부(120), 통신부(130) 및 전원부(140)를 포함한다.
일 실시예에서, 심박수 측정 장치(100)는 웨어러블 형태의 기기로 구현될 수 있다.
일 실시예에서, 심박수 측정 장치(100)는 안경테 형태로 구현될 수 있다.
영상 촬영부(110)는 피부 영상을 촬영한다. 구체적으로, 혈관 속 혈류량은 맥박 또는 심박에 따라 변화하고, 피부 가까이 위치한 혈관 속 혈류량의 변화는 피부색의 변화를 가져오므로, 영상 촬영부(110)는 심박수 측정을 위해 심박수 측정 대상의 피부색 변화를 촬영한다.
일 실시예에서, 영상 촬영부(110)는 얼굴 영역의 피부를 촬영할 수 있다. 이는 얼굴 영역이 피부가 얇고 현관이 피부 가까이 위치하기 때문에 혈류량 변화에 따른 피부색의 변화가 신체의 다른 영역의 피부에 비해 상대적으로 커 심박 신호 검출이 효과적이기 때문이다.
일 실시예에서, 영상 촬영부(110)는 시간당 촬영하는 피부 영상의 수를 조정할 수 있다. 또한, 영상 촬영부(110)는 피부 영상을 동영상으로 촬영하는 경우에는 초당 프레임 수를 조정할 수 있다.
일 실시예에서, 영상 촬영부(110)는 피부 영상 촬영시 동영상의 초당 프레임 수를 30으로 하여 피부 영상을 촬영할 수 있다.
영상 촬영부(110)에 관한 좀 더 구체적인 설명을 위해 도 2를 참조하여 설명하겠다.
도 2는 본 발명의 일 실시예에 따른 심박수 측정 장치(100)의 영상 촬영부(110)를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 촬영부(110)는 카메라 모듈(210) 및 각도 조정 모듈(220)을 포함한다.
카메라 모듈(210)은 CCD, CMOS, NMOS 등의 이미지 센서일 수 있으며, 피부 영상을 촬영한다.
일 실시예에서, 카메라 모듈(210)은 해상도 640*480이상의 RGB칼라 CMOS센서로 구성될 수 있다.
일 실시예에서, 카메라 모듈(210)은 카메라의 영상을 획득하고 처리하는 전용 MCU(Micro Contloller Unite)이 구비될 수 있다. 여기서 MCU는 특정 시스템을 제어하기 위한 전용 프로세서를 의미한다.
각도 조정 모듈(220)은 피부 영상의 촬영 각도를 조정한다. 구체적으로, 각도 조정 모듈(220)은 피부색의 변화를 보다 더 정확히 촬영하기 위해, 영상 촬영부(110)에서 촬영하는 피부 영상의 촬영 각도를 다양하게 변화시킬 수 있다. 각도 조정 모듈(220)에 관한 좀 더 구체적인 설명을 위해 도 4를 참조하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 각도 조정 모듈(220)을 설명하기 위한 도면이다. 도 4를 참조하면, 카메라 모듈(210)의 위치와 피부의 상태에 따라, 촬영되는 피부 영상이 달라 질 수 있다. 이러한 차이는 피부 영상에서 추출되는 심박 신호의 크기에도 여향을 미칠 수 있으므로, 각도 조정 모듈(220)은 피부 영역을 좀 더 정확히 촬영하기 위해 피부 영역을 촬영하는 각도를 변경할 수 있다.
도 4의 (a)는 촬영 각도 조정 없이 영상 촬영부(110)에서 피부(410) 표면을 촬영하는 것을 도시한 도면이다. 피부(410) 표면이 평면이 아니므로, 영상 촬영부(110)는 피부(410) 영역 중 영상 촬영부(110) 가까이에 위치한 피부 영역의 피부색 변화만 정확히 촬영할 수 있다.
도 4의 (b)는 영상 촬영부(110)에서 촬영하는 각도(420)를 조정하여 피부(410) 표면을 촬영한 것을 도시한 도면이다. 각도 조정 모듈(220)는 피부(410) 표면의 모양을 고려하여 촬영 각도를 조정함으로써, 촬영되는 피부 영상 내에서 피부 영역간 영상 촬영부(110)와의 거리 차이를 줄일 수 있다. 따라서, 각도 조정 모듈(420)은 촬영 각도를 조정함으로써, 영상 촬영부(110)가 피부색 변화를 좀 더 효과적으로 촬영할 수 있게 한다.
다시 도 2를 참조하면 일 실시예에서, 각도 조정 모듈(220)은 다양한 촬영 각도에서 촬영된 피부 영상으로부터 심박 신호를 추출하기 위해, 영상 촬영부(110)에서 촬영하는 피부 영상의 촬영 각도를 다양하게 조정할 수 있다.
일 실시예에서, 각도 조정 모듈(220)은 다양한 촬영 각도에서 촬영된 피부 영상으로부터 추출된 심박 신호의 크기를 비교하여, 가장 큰 심박 신호가 추출된 각도로 촬영 각도를 조정할 수 있다.
일 실시예에서, 각도 조정 모듈(220)은 미리 설정한 크기의 심박 신호가 추출될 때까지 촬영 각도를 조정할 수 있다. 여기서 미리 설정한 크기의 심박 신호란 심박수를 측정하기에 적절한 세기의 심박 신호를 의미하며, 미리 설정한 크기는 사용자가 설정 및 변경할 수 있다.
다시 도 1을 참조하면, 영상 처리부(120)는 피부 영상에서 심박 신호를 추출하여 심박수를 계산한다. 구체적으로, 영상 처리부(120)는 영상 촬영부(110)에서 촬영한 피부 영역의 색 변화로부터 심박 신호를 추출한다. 이때, 영상 촬영부(110)에서 촬영한 피부 영상에 옷, 눈썹 등 피부 이외의 것이 포함되어 있으면, 영상 처리부(120)는 피부 영상에서 피부 영역만을 추출하고, 추출된 피부 영역의 영상에서 심박 신호를 추출할 수 있다. 영상 처리부(120)는 영상 촬영부(110)에서 촬영한 피부 영상에서 추출된 심박 신호를 이용하여 심박수를 계산한다. 영상 처리부(120)를 좀 더 구체적으로 설명하기 위해 도 3을 참조하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 심박수 측정 장치(100)의 영상 처리부(120)를 도시한 도면이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 처리부(120)는 피부 영역 추출 모듈(310), 심박 신호 추출 모듈(320), 심박수 계산 모듈(330) 및 잡음 제거 모듈(340)을 포함한다.
피부 영역 추출 모듈(310)은 보다 정확한 심박수 측정을 위해, 영상 촬영부(120)에서 촬영한 영상에 옷, 눈썹 등 피부 이외의 것이 포함되어 있으면, 영상 촬영부(110)가 촬영한 피부 영상에서 피부 영역만을 추출한다.
일 실시예에서, 피부 영역 추출 모듈(310)은 피부 영상의 HSV모델에서 H채널인 Hue의 값을 기준으로 피부 영역을 결정할 수 있다. 여기서, HSV 모델은 영상을 Hue(색조), Saturation(채도), Value(명도)의 3가지 성분으로 색을 표현한 것을 의미한다.
일 실시예에서, 피부 영역 추출 모듈(310)은 피부 영상의 HSV모델에서 Hue(H채널) 값이 0.1보다 작은 영역을 피부 영역으로 결정할 수 있다.
일 실시예에서, 피부 영역 추출 모듈(310)은 영상 촬영부(110)가 촬영한 피부 영상이 RGB모델인 경우, RGB모델의 피부 영상을 HSV모델로 변환할 수 있다. 여기서 RGB 모델은 가장 기본적인 색상모델로서 색(color)을 Red, Green, Blue의 3가지 성분의 조합으로 표현하는 것이다.
일 실시예에서, 피부 영역 추출 모듈(310)은 영상 촬영부(110)가 촬영한 피부영역 영상에서 피부가 아닌 영역으로 지정된 영역을 마스크로 만들고, 영상 촬영부(110)에서 촬영한 피부 영상에 마스크 처리를 함으로써, 피부 영역을 추출할 수 있다.
일 실시예에서, 피부 영역 추출 모듈(310)은 피부 영상의 RGB모델에 마스크 처리를 함으로써, 영상에서 피부 영역의 RGB모델을 추출할 수 있다.
일 실시예에서, 피부 영역 추출 모듈(310)은 영상의 RGB모델에서 G(Green)채널의 영역에 마스크 처리를 함으로써, G채널 고유의 피부 영역을 추출할 수 있다. 이하, 도 5를 참조하여 구체적으로 설명한다. 도 5 (a)는 심박수 측정 대상의 얼굴을 촬영한 영상의 RGB모델이다. 피부 영역 추출 모듈(310)은 촬영된 영상에서 얼굴 부분을 추출하고, 추출된 얼굴 부분을 HSV모델로 변환한다. HSV로 변환된 모델은 도 5 (b)에 도시되어 있다. 피부 영역 추출 모듈(310)은 HSV모델에서 H채널 값이 0.1보다 작은 영역을 추출하며, 추출된 영역은 도 5 (c)에 도시되어 있다. 피부 영역 추출 모듈(310)은 도 5 (c)에서 H채널 값이 0.1보다 큰 영역을 피부 영역 검출을 위한 마스크로 지정할 수 있다. 피부 영역 추출 모듈(310)은 도 5 (c)의 마스크를 도 5 (a)의 RGB모델에 적용하여 피부 영역만을 추출할 수 있다.
심박 신호 추출 모듈(320)은 피부색의 변화로부터 심박 신호를 추출한다. 구체적으로, 심박 신호 추출 모듈(320)은 피부 영역 추출 모듈(310)에서 추출된 피부 영역의 색 변화로부터 심박 신호를 추출한다.
일 실시예에서, 심박 신호 추출 모듈(320)은 피부 영역 추출 모듈(310)에서 추출한 피부 영역 전체에 대한 누적 평균을 각 프레임 또는 각 이미지 마다 하나의 값으로 심박 신호(
Figure 112015074838707-pat00001
)를 추출한다.
아래 식은 피부 영역 전체에 대한 누적 평균을 구하는 수식의 예를 나타낸 것이다. 여기서 N1은 영상 프레임 한 장의 화소수이며, N과 M 각각은 영상의 가로와 세로의 픽셀 수를 나타낸다.
Figure 112015074838707-pat00002
는 시간 t의 프레임에서 피부 영역의 (i, j)번째의 화소값을 의미하며
Figure 112015074838707-pat00003
는 시간 t의 프레임에서 피부 영역 안의 모든 픽셀 값을 더한 것의 평균을 의미한다.
Figure 112015074838707-pat00004
예를 들어, 초당 30 프레임의 동영상으로 촬영한 경우에는, 심박 신호는 30Hz의 신호가 된다.
심박수 계산 모듈(330)은 심박 신호 추출 모듈(320)에서 추출한 심박 신호로부터 심박수를 계산한다.
일 실시예에서, 심박수 계산 모듈(330)은 심박수 정보를 얻기 위해
Figure 112015074838707-pat00005
심박 신호(
Figure 112015074838707-pat00006
) 파형에서 피크 정보를 이용할 수 있다. 예를 들면, 심박수 계산 모듈(330)은 심박 신호(
Figure 112015074838707-pat00007
)의 피크 중 최대값을 심박의 펄스로 간주하여 분당 피크의 수로 심박수를 계산할 수 있다. 도 6에는 본 발명의 일 실시예에 따른 심박 신호
Figure 112015074838707-pat00008
와 최대값을 표시한 도면이 도시되어 있다.
일 실시예에서, 심박수 계산 모듈(330)은 이동 평균을 이용하여 심박수를 계산할 수 있다. 예를 들면, 심박수 계산 모듈(330)은 미리 설정된 시간 이내의 심박수를 평균한 값을 심박수로 할 수 있다.
잡음 제거 모듈(340)은 심박 신호에 포함된 잡음을 제거한다. 구체적으로 잡음 제거 모듈(340)은 피부 영상의 촬영이나 처리 과정에서 발생할 수 있는 오차를 줄이기 위해, 피부 영상의 촬영이나 영상 처리 과정에서 발생하는 잡음을 제거할 수 있다.
일 실시예에서, 잡음 제거 모듈(340)은 심박 신호를 보존하기 위해 대역 통과 필터를 사용할 수 있다. 대역 통과 필터(band-pass filter)란 특정 주파수 대역의 신호만 통과시키는 필터를 말한다. 대역 통과 필터는 대표적인 예로는 RLC회로로 구성될 있으며, 또한 저역 필터 및 고역 필터의 조합으로서 구성될 수 있다.
일 실시예에서, 잡음 제거 모듈(340)은 조명 변화와 움직임 잡음에 덜 민감하도록 적응 필터를 사용할 수 있다.
일 실시예에서, 잡음 제거 모듈(340)은 칼만 필터를 적응필터로 사용할 수 있다.
다시 도 1을 참조하면, 통신부(130)는 심박수 측정 장치(100)에서 수집 및 분석한 정보를 외부 기기(미도시)로 전송하거나 외부 기기(미도시)로부터 심박수 측정에 필요한 정보를 전송 받는다.
일 실시예에서, 통신부(130)은 영상 촬영부(110)에서 촬영한 피부 영상, 심박 신호 및 심박수 등 영상 처리부(120)에서 피부 영상을 처리한 정보를 외부 기기(미도시)로 전송할 수 있다.
일 실시예에서, 통신부(130)는 유무선 통신 방식을 이용하여 정보를 전송하고 받을 수 있다.
일 실시예에서, 통신부(130)는 유선 통신을 위한 mini USB포트를 포함할 수 있다.
전원부(140)는 심박수 측정 장치의 구동에 필요한 전원을 공급한다.
일 실시예에서, 전원부(140)는 충전 가능한 배터리를 포함할 수 있다.
일 실시예에서, 전원부(140)는 충전을 위한 mini USB포트를 포함할 수 있다.
일 실시예에서, 전원부(140)는 무선 충전이 가능한 장치를 구비할 수 있다.
도 7은 본 발명의 일 실시예에 따른 안경테 형태의 웨어러블 장치로 구현된 심박수 측정 장치를 도시한 도면이다. 도 7을 참조하면, 안경테 다리(700)는 카메라 모듈(210), 각도 조정 모듈(220), 영상 처리부(120), 통신부(130) 및 전원부(140)를 포함한다. 또한, 안경테 다리(700)는 전원의 충전 및 외부기기와 유선 통신을 위한 mini USB포트(710)도 포함하고 있다. 카메라 모듈(210)은 피부 영상 촬영을 위해 안경테 다리(700)의 외부로 노출된다. 각도 조정 모듈(220)은 촬영 각도의 조정을 위해 안경테 다리(700)의 외부로 노출된다. mini USB포트(710)는 유선통신 또는 충전 케이블을 연결하기 위해, 안경테 다리(700)의 외부로 노출되어 있다.
도 8은 본 발명의 일 실시예에 따른 안경테 형태의 웨어러블 장치를 착용한 모습을 도시한 도면이다. 도 8을 참조하면, 사용자가 안경 형태의 심박수 측정 장치(100)를 착용시, 안경테 다리(700)에 탑재된 영상 촬영부(110)에서 얼굴 영역의 피부(810)를 촬영한다.
도 9는 본 발명의 일 실시예에 따른 심박수 측정 방법의 흐름도이다. 이하, 심박수 측정 장치(100)에 의해 심박수 측정 방법이 수행되는 것을 예시로 설명한다.
단계 S910에서, 심박수 측정 장치(100)는 피부 영상을 촬영한다. 구체적으로 심박수 측정 장치(100)는 맥박 또는 심박에 따른 혈류량에 따라 변화하는 피부 색의 변화를 촬영하기 위해 피부 영역의 영상을 촬영한다.
일 실시예에서, 심박수 측정 장치(100)는 시간당 촬영하는 피부 영상의 수를 조정할 수 있다. 또한, 심박수 측정 장치(100)는 피부 영상을 동영상으로 촬영하는 경우에는 초당 프레임 수를 조정할 수 있다.
일 실시예에서, 심박수 측정 장치(100)는 얼굴 영역의 피부 영상을 촬영할 수 있다.
단계 S920에서, 심박수 측정 장치(100)는 촬영된 피부 영상에서 피부 영역만을 추출한다. 구체적으로, 심박수 측정 장치(100)는 촬영된 옷, 눈썹, 안경 등의 피부 이외의 것이 피부 영상에 포함된 경우 피부 영상에서 피부 영역만을 추출할 수 있다.
일 실시예에서, 심박수 측정 장치(100)는 피부 영상의 HVS모델에서 H채널 값을 기준으로 피부 영역을 지정할 수 있다. 여기서, HSV 모델은 영상을 Hue(색조), Saturation(채도), Value(명도)의 3가지 성분으로 색을 표현한 것을 의미한다.
일 실시예에서, 심박수 측정 장치(100)는 촬영한 피부 영상이 RGB모델인 경우 HSV 모델로 변환할 수 있다.
일 실시예에서, 심박수 측정 장치(100)는 촬영한 피부 영상에서 H채널 값이 0.1보다 작은 영역을 피부 영역으로 지정할 수 있다.
일 실시예에서, 심박수 측정 장치(100)는 촬영한 피부 영상에서 피부 영역이 아닌 영역으로 마스크를 형성하고, 촬영한 피부 영상에 마스크 처리를 함으로써 피부 영역만을 추출할 수 있다.
일 실시예에서, 심박수 측정 장치(100)는 촬영한 피부 영상의 RGB모델에 마스크처리를 함으로써 피부 영역을 추출할 수 있다.
일 실시예에서, 심박수 측정 장치(100)는 촬영한 피부 영상의 RGB모델 G채널영역에 마스크 처리를 함으로써, G(Green)채널 고유의 피부 영역을 추출할 수 있다.
단계 S930에서, 심박수 측정 장치(100)는 피부 영상에 촬영된 피부색의 변화로부터 심박 신호를 추출한다.
일 실시예에서, 심박수 측정 장치(100)는 피부 영역의 1개의 프레임 전체에 대해 누적 평균을 취해, 특정 프레임의 하나의 값으로 심박 신호를 추출할 수 있다. 이때, 동영상의 프레임 수를 초당 30으로한 경우 심박 신호는 30Hz의 신호로 추출된다.
단계 S950에서, 심박수 측정 장치(100)는 심박 신호에 포함된 잡음을 제거한다.
일 실시예에서, 심박수 측정 장치(100)는 심박수의 정보가 잘 보존될 수 있도록 하기 위해, 대역 통과 필터를 이용할 수 있다.
일 실시예에서, 심박수 측정 장치(100)는 조명의 변화와 움직임에 덜 민감하도록 적응 필터를 사용하여 잡음을 제거할 수 있다. 예를 들면, 심박수 측정 장치(100)는 칼만 필터를 적응 필터로 사용할 수 있다.
단계 S960에서, 심박수 측정 장치(100)는 촬영 영상에서 추출된 심박 신호로부터 심박수를 계산한다.
도 10은 본 발명의 또 다른 실시예에 따른 심박수 측정 방법의 흐름도이다. 이하, 심박수 측정 장치(100)에 의햇 심박수 측정 방법이 수행되는 것을 예시로 설명하고, 도 9와 중복되는 단계의 설명은 생략한다.
단계 S1040에서, 심박수 측정 장치(100)는 촬영 각도를 조정하여 피부 영상을 다시 촬영할지 여부를 판단한다. 구체적으로, 심박수 측정 장치(100) 촬영된 피부 영상에서 추출된 심박 신호의 크기가 설정 값(임계값)보다 작으면 피부 영상을 촬영 각도를 조정하여 다시 촬영한다.
일 실시예에서, 심박수 측정 장치(100)는 다양한 촬영 각도에서 촬영된 피부 영상으로부터 심박 신호를 추출하기 위해, 설정된 촬영 각도 변경 횟수 이상의 값이 될 때까지 촬영 각도를 조정하게 할 수 있다. 예를 들어, 심박수 측정 장치(100)는 5회 이상 촬영 각도를 변경하여 피부 영상을 촬영하게 할 수 있다.
단계 S1050에서, 심박수 측정 장치(100)는 피부 영상의 촬영 각도를 조정한다. 구체적으로, 심박수 측정 장치(100)는 피부 영상을 촬영하는 각도를 미리 설정된 방향으로 미리 설정된 각도만큼 조정할 수 있다. 예를 들면, 심박수 측정 장치(100)는 촬영 각도를 외쪽 방향으로 1도씩 변경할 수 있다.
도 11는 본 발명의 일 실시예에 따른 피부 영상에서 심박 신호를 추출하는 단계를 설명하기 위한 흐름도이다. 이하, 심박수 측정 장치(100)에 의해 심박 신호 검출이 수행되는 것을 예시로 설명한다.
단계 S1110에서, 심박수 측정 장치(100)는 피부 영상을 촬영한다.
단계 S1120에서, 심박수 측정 장치(100)는 영상을 HSV모델로 변환한다.
단계 S1130에서, 심박수 측정 장치(100)는 영상의 HVS모델에서 Hue채널 값이 0.1보다 작은 영역이 피부 영역으로 지정된다. 즉, 심박수 측정 장치(100)는 영상의 HVS모델에서 Hue채널 값이 0.1보다 작은 영역을 추출하기 위해, Hue채널 값이 0.1보다 큰 영역을 마스크로 지정한다.
단계 S1140에서, 심박수 측정 장치(100)는 영상의 RGB모델에 마스크처리를 하여 피부 영역만을 영상에서 추출한다.
단계 S1150에서, 심박수 측정 장치(100)는 피부 영역의 색 변화로부터 심박 신호가 추출된다. 구체적으로, 심박수 측정 장치(100)는 추출된 피부 영역 전체에 대한 누적 평균을 각 프레임 또는 각 이미지 마다 하나의 값(
Figure 112015074838707-pat00009
)으로 추출한다.
단계 S1160에서, 심박수 측정 장치(100)는 심박 신호(
Figure 112015074838707-pat00010
)의 크기를 분석하여 피크 값을 찾는다.
단계 S1170에서, 심박수 측정 장치(100)는 심박 신호(
Figure 112015074838707-pat00011
) 피크 값의 이동 평균을 계산한다.
단계 S1180에서, 심박수 측정 장치(100)는 계산된 이동 평균 값을 이용하여 심박수를 계산한다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (13)

  1. 피부 영상을 촬영하는 영상 촬영부; 및
    상기 촬영된 영상의 피부색 변화로부터 심박 신호를 검출하여 심박수를 계산하는 영상 처리부를 포함하되,
    상기 영상 처리부는
    상기 촬영된 영상의 HSV모델에서 소정의 Hue값보다 큰 영역을 마스크로 지정하고 피부 영상에 상기 마스크를 적용하고 피부가 아닌 영역을 제외하여 피부 영역을 추출하는 피부 영역 추출 모듈,
    상기 추출된 피부 영역안의 모든 픽셀 값의 평균을 구하여 심박 신호를 추출하는 심박 신호 추출 모듈 및
    상기 추출된 심박 신호를 이용하여 심박수를 계산하는 심박수 계산 모듈을 포함하는 심박수 측정 장치.
  2. 제1 항에 있어서,
    상기 심박수 측정 장치는 웨어러블 형태인 심박수 측정 장치.
  3. 제1 항에 있어서,
    상기 심박수 측정 장치는 안경테 형태인 심박수 측정 장치.
  4. 제1 항에 있어서,
    상기 영상 촬영부는 피부 영상을 촬영하기 위한 카메라 모듈을 포함하는 심박수 측정 장치
  5. 제1 항에 있어서,
    상기 영상 촬영부는 상기 피부 영상의 촬영 각도를 조절하는 각도 조정 모듈을 포함하는 심박수 측정 장치.
  6. 제1 항에 있어서,
    상기 피부 영역 추출 모듈은 상기 촬영된 영상의 HSV(Hue Saturation value)모델에서 Hue값을 기준으로 피부 영역을 결정하는 심박수 측정 장치.
  7. 제1 항에 있어서,
    상기 심박 신호 추출 모듈은 상기 추출된 피부 영역의 RGB모델에서 G(Green)채널의 변화로부터 심박 신호를 검출하는 심박수 측정 장치.
  8. 제1 항에 있어서,
    상기 영상 처리부는 상기 추출된 심박 신호에 포함된 잡음을 제거하기 위한 잡음 제거 모듈을 더 포함하는 심박수 측정 장치.
  9. 영상 촬영부에서 피부 영상을 촬영하는 단계;
    상기 촬영된 영상의 HSV모델에서 소정의 Hue값보다 큰 영역을 마스크로 지정하고 피부 영역 추출 모듈이 피부 영상에 상기 마스크를 적용하고 피부가 아닌 영역을 제외하여 피부 영역을 추출하는 단계;
    상기 추출된 피부 영역안의 모든 픽셀 값의 평균을 구하여 심박 신호 추출 모듈이 심박 신호를 추출하는 단계; 및
    상기 추출된 심박 신호를 이용하여 심박수 계산 모듈이 심박수를 계산하는 단계
    를 포함하는 심박수 측정 방법.
  10. 제9 항에 있어서,
    각도 조정 모듈이 상기 피부 영상을 촬영하는 각도를 조정하는 단계를 더 포함하는 심박수 측정 방법.
  11. 삭제
  12. 삭제
  13. 삭제
KR1020150109112A 2015-07-31 2015-07-31 심박수 측정 장치 및 방법 KR102249234B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150109112A KR102249234B1 (ko) 2015-07-31 2015-07-31 심박수 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150109112A KR102249234B1 (ko) 2015-07-31 2015-07-31 심박수 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170015804A KR20170015804A (ko) 2017-02-09
KR102249234B1 true KR102249234B1 (ko) 2021-05-10

Family

ID=58154695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150109112A KR102249234B1 (ko) 2015-07-31 2015-07-31 심박수 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102249234B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088462A1 (ko) * 2017-11-03 2019-05-09 주식회사 딥메디 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715854B1 (ko) * 2010-11-26 2017-03-13 엘지디스플레이 주식회사 감성 화질 향상을 위한 색온도 변환 방법 및 유닛과, 그를 이용한 디지털 표시 장치
KR101222100B1 (ko) * 2011-06-28 2013-01-15 고려대학교 산학협력단 정면 얼굴 검출 장치
KR20140122849A (ko) * 2013-04-11 2014-10-21 원광대학교산학협력단 휴대용 기기 이용한 스트레스 체크 및 치유 시스템 및 방법
KR101571815B1 (ko) * 2013-11-29 2015-11-26 주식회사 이랜텍 카메라 영상 정합 기능을 갖는 시스루 스마트 안경

Also Published As

Publication number Publication date
KR20170015804A (ko) 2017-02-09

Similar Documents

Publication Publication Date Title
US20230334892A1 (en) Detecting device, detecting method, and recording medium
EP2929477B1 (en) Physiological cue processing
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP6653467B2 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
US10455154B2 (en) Image processing device, image processing method, and program including stable image estimation and main subject determination
CN107169419B (zh) 基于机器视觉的非接触式人体体征检测方法及装置
JP2014184002A (ja) 生体検知装置、顔認証装置、撮像装置、生体検知方法及び生体検知プログラム
JP2008187260A (ja) 撮像装置
JP4513699B2 (ja) 動画像編集装置、動画像編集方法及びプログラム
US11647913B2 (en) Image processing apparatus and pulse estimation system provided therewith, and image processing method
Chen et al. Eliminating physiological information from facial videos
Alzahrani et al. Preprocessing realistic video for contactless heart rate monitoring using video magnification
KR102249234B1 (ko) 심박수 측정 장치 및 방법
US20150326797A1 (en) Image pickup apparatus and image pickup method
JP6497218B2 (ja) 脈波検出装置、脈波検出方法、脈波検出システム、及び、プログラム
US10492678B2 (en) Image capturing apparatus, image processing apparatus and image processing method for secure processing of biological information
CN110321782B (zh) 一种检测人体特征信号的系统
KR102175481B1 (ko) 생체 인식 장치 및 방법
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP2013005018A (ja) 撮像装置、及び撮像方法
JP2006074498A (ja) 画像処理装置及び撮像装置
JP2014120139A (ja) 画像処理装置およびその制御方法、撮像装置、および表示装置
WO2020015145A1 (zh) 一种检测眼睛睁闭状态的方法及电子设备
JP6937473B2 (ja) 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right