KR20180067025A - 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 - Google Patents
이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 Download PDFInfo
- Publication number
- KR20180067025A KR20180067025A KR1020160168285A KR20160168285A KR20180067025A KR 20180067025 A KR20180067025 A KR 20180067025A KR 1020160168285 A KR1020160168285 A KR 1020160168285A KR 20160168285 A KR20160168285 A KR 20160168285A KR 20180067025 A KR20180067025 A KR 20180067025A
- Authority
- KR
- South Korea
- Prior art keywords
- blood flow
- image
- change
- real time
- skin color
- Prior art date
Links
- 230000008859 change Effects 0.000 title claims abstract description 112
- 230000017531 blood circulation Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000001815 facial effect Effects 0.000 claims abstract description 32
- 230000003044 adaptive effect Effects 0.000 claims description 20
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 15
- 102000001554 Hemoglobins Human genes 0.000 claims description 12
- 108010054147 Hemoglobins Proteins 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 238000000691 measurement method Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 208000016252 change in skin color Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- G06K9/00281—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hematology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
본 발명은 실시간으로 촬영되는 이미지로부터 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터 판독가능 저장 매체에 관한 것으로, 카메라 모듈을 통해 안면 이미지가 실시간으로 촬영되는 과정; 상기 안면 이미지로부터 피부색 변화량을 산출하는 과정; 및 상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하는 과정을 포함한다.
Description
본 발명은 실시간으로 촬영되는 이미지로부터 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터 판독가능 저장 매체에 관한 것이다.
일반적으로 혈류변화나 심박수 등의 측정은 의료전문가가 진단 목적으로 이루어지는데, 병원과 같은 의료시설에서는 이러한 측정이 가능한 장비가 상시 구비되어 있다. 혈류변화나 심박수를 측정하기 위한 장비는 측정 객체를 검출하기 위한 센서를 부착하여야 한다는 단점이 있어, 장비가 설치된 현장에서만 측정이 이루어질 수 있다는 한계가 있었다.
최근, 스마트폰 등의 사용자 단말기기의 사양이 발전하면서, 사용자는 스마트폰의 카메라를 사용하여 심박수를 간단하게 측정할 수 있는 기술들이 구현되어 응용프로그램 형태로 보급되어 있다. 그러나 이러한 응용프로그램에 의하더라도 1차원적인 심박수를 모니터링할 수 있지만 혈류변화 자체를 측정할 수 없다는 한계가 있었다.
Comparison of Blind Source Separation Algorithms for Optical Heart Rate Monitoring(Eirini Christinaki et al.)
본 발명은 카메라를 통해 실시간으로 촬영되는 안면 영상 이미지로부터 혈류변화를 실시간으로 측정하기 위한 목적을 구현하기 위한 것이다.
또한, 본 발명은 실시간으로 혈류 변화를 측정하기 위하여, 안면 영상 이미지로부터 피부색 변화량을 측정하며, 측정된 혈류변화로부터 심박수 변화를 측정하기 위한 것이다.
본 발명에 따른 제1 양상에 의하면, 실시간 혈류변화 측정 방법이 개시된다. 상기 방법은, 카메라 모듈을 통해 안면 이미지가 실시간으로 촬영되는 제1 단계; 상기 안면 이미지로부터 피부색 변화량을 산출하는 제2 단계; 및 상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하는 제3 단계를 포함한다.
상기 방법에서 상기 안면 이미지로부터 피부색 변화량을 산출하는 단계는, 램버트 비어(Lambert Beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자, 헤모글로빈으로부터 기인한 인자, 및 잔여 인자로 구분되어 모델링됨으로써 이루어질 수 있다.
한편, 피부색 변화량을 산출하는 제2 단계에 앞서, 상기 안면 이미지를 하향샘플링한 후 HSV 보정이 수행되는 단계를 추가로 포함할 수 있다. 그리고 상기 HSV 보정이 수행된 후, 피부색 변화량을 산출하는 제2 단계에서는, 적응형 필터링이 재귀적으로 적용됨으로써 상기 피부색 변화량 중 동잡음을 최소화시키는 단계로 구체화될 수 있으며, 여기서 상기 적응형 필터는, LMS(Least Mean Square) 필터, NLMS(Normalized LMS) 필터, 및 RLS(Recursive least square) 필터 중 임의의 하나일 수 있지만, 이에 국한되지는 아니한다.
그리고 본 발명의 제1 양상에 의한 방법은, 상기 혈류변화 신호 및 상기 혈류변화 이미지로부터 심박수의 변화를 실시간으로 추정하는 단계를 더 포함할 수 있다.
또, 상기 혈류변화 신호 및 혈류변화 이미지를 측정하는 제3 단계는, 상기 산출된 피부색 변화량으로부터 헤모글로빈 변화량을 도출하는 단계; 상기 헤모글로빈 변화량에 대한 필터링을 수행하는 단계; 및 상기 필터링 결과에 대한 상향샘플링을 통해 혈류변화 이미지를 측정하며, 상기 필터링 결과에 대한 평균화 모듈을 통해 혈류변화 신호를 측정하는 단계로 구체화될 수 있다.
본 발명에 따른 제2 양상에 의하면, 실시간 혈류변화 측정을 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 저장 매체가 개시된다. 상기 컴퓨터 프로그램은, 실시간으로 카메라 모듈을 통하여 안면 이미지를 촬영하기 위한 명령어; 상기 안면 이미지로부터 피부색 변화량을 산출하기 위한 명령어; 및 상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하기 위한 명령어를 포함한다.
본 발명에 따른 제3 양상에 의하면, 실시간 혈류변화 측정 장치가 개시되는데, 상기 장치는, 안면 이미지를 실시간으로 촬영하기 위한 카메라 모듈; 및 상기 안면 이미지로부터 피부색 변화량을 산출하고, 상기 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하기 위한 이미지 프로세싱 모듈;을 포함한다.
상기 이미지 프로세싱 모듈은, 램버트 비어(Lambert Beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자, 헤모글로빈으로부터 기인한 인자, 및 잔여 인자로 구분되어 모델링함으로써, 상기 안면 이미지로부터 피부색 변화량을 산출할 수 있다.
또, 상기 이미지 프로세싱 모듈은 피부색 변화량을 산출함에 있어서 연산량을 감소시키고 산출의 정확성을 높이기 위하여, 상기 안면 이미지를 하향 샘플링하기 위한 하향샘플링부; 상기 하향샘플링된 안면 이미지에 대한 HSV 보정을 수행하는 보정부; 및 가중치를 업데이트시킴으로써 상기 피부색 변화량 중 동잡음을 최소화시키기 위한 적응형 필터링부를 더 포함할 수 있다.
상기 이미지 프로세싱 모듈은, 혈류변화이미지 및 혈류변화 신호를 도출하기 위하여 상기 적응형 필터링부를 거친 후, 혈류변화이미지를 도출하기 위한 상향샘플링부; 및 상기 적응형 필터링부를 거친 후, 혈류변화 신호를 도출하기 위한 평균화부를 더 포함할 수 있다.
본 발명에 의하면, 카메라 모듈에 의해 획득된 영상으로부터 피부색 변화량, 혈류변화 이미지 및 신호, 그리고 심박수 변화량을 실시간으로 측정할 수 있다.
특히, 본 발명에서 제안되는 방법 또는 알고리즘에 의하면, 얼굴에 대한 혈류변화를 실시간으로 측정함에 있어 연산량이 적고 그에 따른 하드웨어에 대한 부하가 낮기 때문에, 데이터 통신이 가능하고 실시간으로 사진촬영이 가능한 스마트폰과 같은 사용자 기기에 구현될 수 있다는 효과가 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명에 따른 효과는 비단 전술된 사항에 국한되지 아니하고 폭넓게 인정될 수 있음을 인지할 것이다.
도 1은 본 발명에 따른 실시간 혈류변화 측정 방법의 개략적인 순서도이다.
도 2는 본 발명에 따른 실시간 혈류변화 측정 장치의 블록도이다.
도 3은 본 발명에 따른 실시간 혈류변화 측정 방법, 장치 및 컴퓨터 판독가능 저장매체가 수행되는 알고리즘의 모식도이다.
도 4는 본 발명에 따른 실시간 혈류변화 측정 방법에 따른 실험 예를 설명하기 위한 이미지이다.
도 5는 본 발명에 따른 실시간 혈류변화 측정 방법에 사용된 적응형 필터의 종류에 따른 심박수 추정 결과를 실험적으로 비교한 그래프이다.
도 2는 본 발명에 따른 실시간 혈류변화 측정 장치의 블록도이다.
도 3은 본 발명에 따른 실시간 혈류변화 측정 방법, 장치 및 컴퓨터 판독가능 저장매체가 수행되는 알고리즘의 모식도이다.
도 4는 본 발명에 따른 실시간 혈류변화 측정 방법에 따른 실험 예를 설명하기 위한 이미지이다.
도 5는 본 발명에 따른 실시간 혈류변화 측정 방법에 사용된 적응형 필터의 종류에 따른 심박수 추정 결과를 실험적으로 비교한 그래프이다.
본 명세서에 개시된 본 발명의 실시예에 대하여 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시되며, 본 발명에 따른 실시예는 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예는 도면에 예시되어 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, '포함하다', '구비하다', '가지다' 등의 용어는 특정된 특징, 숫자, 단계, 동작, 구성요소, 부분, 요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조로 본 발명에 따른 실시간 혈류변화 측정 기법에 관하여 상세하게 설명된다.
도 1은 본 발명에 따른 실시간 혈류변화 측정 방법의 개략적인 순서도이고, 도 2는 본 발명에 따른 실시간 혈류변화 측정 장치의 블록도이며, 도 3은 본 발명에 따른 실시간 혈류변화 측정 방법, 장치 및 컴퓨터 판독가능 저장매체가 수행되는 알고리즘의 모식도이다. 도 1에 따른 각각의 단계를 수행하는 주체와 관련하여, 실시간 혈류변화 측정 장치의 블록도인 도 2 및 알고리즘의 모식도인 도 3을 필요에 따라, 연계하여 설명된다.
도 1의 제1 단계로, 카메라 모듈(도 2의 10)을 통해 안면 이미지가 실시간으로 촬영되는데, 여기서 카메라 모듈(10)은 통상적으로 사용자 컴퓨터에 구비되는 웹캠일 수 있지만, 이미지 프로세싱이 국부적으로/원격으로 가능하며 이미지의 촬영이 실시간으로 가능하다면 어떠한 카메라 모듈이라도 총괄적으로 이에 해당할 수 있다.
도 1의 제2 단계로, 실시간으로 촬영된 안면 이미지로부터 피부색 변화량을 산출하며, 제3 단계로, 상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지가 측정될 수 있으며, 이러한 제2 및 제3 단계는 이미지 프로세싱 모듈(도 2의 20)에 의해 수행될 수 있다. 제2 단계인 피부색 변화량을 산출함에 있어, 본 발명에서는 실시간으로 촬영된/입력된 안면 이미지에 대해, 램버트 비어(Lambert beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자 및 헤모글로빈으로부터 기인한 인자로 구분하여, 모델링이 이루어질 수 있다.
다만, 이처럼 램버트 비어 법칙을 적용하여 모델링이 수행됨에 수반되는 연산량을 줄이기 위해, 하향샘플링부(도 2의 21)는 상기 안면 이미지를 임의의 주파수로 하향 샘플링하는데, 예컨대 실시간으로 촬영된 이미지가 200 x 200라면, 샘플링 주파수에 따라 5 x 5, 20 x 20, 35 x 35, 50 x 50 등으로 하향샘플링 될 수 있으며, 이러한 실시예가 도 4에 설명된다. 도 4의 (a)와 같이 촬영된 안면 이미지에 대해, (d)와 같이 하향 샘플링된 예가 도시된다. 이처럼 하향샘플링 과정을 통해, 연산량을 감소시킬 수 있을 뿐 아니라 궁극적으로 혈류의 변화량을 자연스럽게(smoothing) 표현할 수 있다.
하향샘플링이 이루어진 후, 보정부(22)에 의해 HSV 보정이 이루어짐으로써, 강도(intensity)를 고르게 하여 동잡음 인자를 감소시킬 수 있는데, 이와 관련하여서는 램버트 비어 법칙에 따른 모델링을 설명하는 과정에서 추가로 기술된다.
다시, 램버트 비어 법칙에 따른 모델링과 관련하여 돌아와서 계속 설명된다. 임의의 빛이 피부에 도달하면, 주파수 대역에 따라 투광 정도가 달라질 수 있는데, 피부색의 변화량을 산출하기 위해 피부색을 결정하는 다양한 요소 중 (i) 멜라닌으로부터 기인한 인자, (ii) 헤모글로빈으로부터 기인하는 인자, 그리고 (iii) 잔여 부분으로 구분되어 모델링이 이루어지는 것이다. 이처럼 램버트 비어 법칙을 이용하여, 안면 이미지는 다음의 식 (1)과 같이 모델링이 이루어질 수 있다.
λ: 파장, n: 이산 시간 인덱스
cm, ch: 색소(pigment) 농도
vm: 멜라닌의 흡광계수
vh: 헤모글로빈의 흡광계수
A: 흡수율
A0: 잔여(residual)
식 (1)에 대하여, 흡수율 A를 입사광의 강도(E)와 투과광의 강도(L)로 표현한 
를 적용하여, 다음의 식 (2)와 같이 도출될 수 있다.
식 (2)의 사항을 모든 파장 대역과 안면 이미지의 전체 픽셀의 좌표인 x,y를 감안하여 적분함으로써, 식 (3)과 같이 표현될 수 있다.
이에 대해, 스펙트럼 응답함수 S를 스펙트럼 응답 함수(spectral response function)을 크로넥커 델타 함수(Kronecker delta function)이라고 가정하고, 식 (3)의 L(x,y,λ,n)에 식 (2)의 사항을 적용하면, i(x,y,n)은 식 (4)와 같이 표현될 수 있다.
식 (4)를 자연로그 형으로 변형하고, G 및 E를 임의의 상수로 가정하면, 피부색의 변화량을 
로 표현하여, 다음의 식 (5)와 같이, 피부색의 변화량은 (i) 멜라닌으로부터 기인한 인자, (ii) 헤모글로빈으로부터 기인하는 인자 및 (iii) 잔여 부분으로 정리될 수 있다.
식 (5)와 같이 정리된 피부색의 변화량에 대한 관계식 중에서 헤모글로빈으로부터 기인하는 인자의 변화량은, 멜라닌으로부터 기인한 인자 및 잔여 부분에 비하여 극히 미비하기 때문에, 아래의 식 (6)과 같이 근사화시킬 수 있다.
이처럼 멜라닌으로부터 기인한 인자 및 잔여 부분으로 표현되는 피부색 변화량 모델링에 대해, 사용자가 움직임으로 인한 잡음(동잡음)을 제거하기 위한 과정과 관련하여 설명된다.
통상적인 적응형 필터는 잡음(noise)을 제거할 수 있는 것으로 알려져 있어, 이러한 적응형 필터(도 2의 적응형 필터부(25))를 본 발명에 적용함으로써 멜라닌으로부터 기인하는 인자 및 잔여 부분에 관한 동잡음을 감소시킬 수 있다. 본 발명에서 적응형 필터란 바람직하게는, LMS(least mean square), NLMS(normalized least mean square), RLS(recursive least square)일 수 있지만, 이에 제한되는 것은 아니다.
다시 말해, 적응형 필터에 따라 피부색 변화량에 동잡음의 영향을 최소화하는 최적의 혈류변화를 구할 수 있는 기반이 되는 것이다. 이러한 적응형 필터를 전체 픽셀에 대해 적용함으로써 혈류 변화를 실시간으로 추정할 수 있다.
다만, 안면 이미지의 전체 픽셀에 대한 적응형 필터 알고리즘을 적용하는 것은 연산량이 많아지고 그에 따라 하드웨어에 미치는 부하가 커지기 때문에, 적응형 필터 알고리즘에 앞서 하향 샘플링이 수행될 필요가 있다.
입력된 안면 이미지에 대해 임의의 주파수로 하향샘플링(도 2의 21)을 한 후 HSV 수정 과정(도 2의 22)을 통하여, 강도(intensity)를 고르게 해주며, 움직임에 의한 변화분(즉, 동잡음)을 감소시키게 된다. 이렇게 도출된 결과에 대해 선형 시스템 및 적응형 필터를 거침으로써, 피부색 변화량을 도출할 수 있다.
이러한 과정을 거쳐, 피부색 변화량에 대해 동잡음을 최소화하는 과정을 거친 후, (도 1에 표시된 제3 단계와 같이) 상기 산출된 피부색 변화량으로부터 필터링(예, IIR, median 등)을 거친 후 상향샘플링 과정(도 2의 상향샘플링부(24)에 의함)을 통하여 혈류변화이미지를 구할 수 있고, 필터링된 피부색 변화량에 대한 평균화 과정(도 2의 평균화부(25)에 의함)을 통해 혈류변화 신호를 산출할 수 있다.
또한, 도 1에 표시된 제3 단계에 의해 산출된 혈류변화 신호 및 혈류변화 이미지로부터 심박수의 변화를 실시간으로 추정할 수 있는데, 본 발명에 따른 실시간 혈류변화 측정 방법에 사용된 적응형 필터의 종류에 따른 심박수 추정 결과를 실험적으로 비교한 그래프가 도 5와 같이 표현된다. 즉, 도 5의 상단에 RLS, LMS, NLMS에 따른 적응형 필터를 이용한 경우, 도 5의 하단에 표기된 선행 연구 기법(HR, REE, ICA, EVM)에 비하여 심박수의 추정에 따른 분포가 균일하게 이루어짐으로써, 본 발명에 의해 제안되는 기법의 정확성이 향상됨을 알 수 있다.
본 명세서에서 설명된 실시예들에 관한 예시적인 모듈, 로직 블록, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다.
일부 실시 양상에서는, 본 명세서에서 설명된 구성의 하나 이상은 컴퓨터 프로그램 명령으로서 메모리에 저장될 수 있는데, 이러한 컴퓨터 프로그램 명령은 디지털 신호 프로세서를 중심으로 본 명세서에서 설명된 방법을 실행할 수 있다. 본 명세서에 첨부된 도면을 참조하여 특정되는 컴포넌트 간의 연결 예는 단지 예시적인 것으로, 이들 중 적어도 일부는 생략될 수도 있고, 반대로 이들 컴포넌트뿐 아니라 추가적인 컴포넌트를 더 포함할 수 있음은 물론이다.
본 명세서에서 설명된 실시예들에 관한 예시적인 모듈, 로직 블록, 수단, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (12)
- 카메라 모듈을 통해 안면 이미지가 실시간으로 촬영되는 단계;
상기 안면 이미지로부터 피부색 변화량을 산출하는 단계; 및
상기 산출된 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하는 단계
를 포함하는, 실시간 혈류변화 측정 방법.
- 제 1 항에 있어서,
상기 안면 이미지로부터 피부색 변화량을 산출하는 단계는, 램버트 비어(Lambert Beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자, 헤모글로빈으로부터 기인한 인자, 및 잔여 인자로 구분되어 모델링됨으로써 수행되는 것을 특징으로 하는,
실시간 혈류변화 측정 방법.
- 제 2 항에 있어서,
상기 안면 이미지로부터 피부색 변화량을 산출하는 단계에 앞서, 상기 안면 이미지를 하향샘플링한 후 HSV 보정이 수행되는 단계를 추가로 포함하는,
실시간 혈류변화 측정 방법.
- 제 3 항에 있어서,
상기 HSV 보정이 수행된 후, 적응형 필터링이 재귀적으로 적용됨으로써 상기 피부색 변화량 중 동잡음을 최소화시키는 단계를 추가로 포함하는, 실시간 혈류변화 측정 방법.
- 제 4 항에 있어서,
상기 적응형 필터는, LMS(Least Mean Square) 필터, NLMS(Normalized LMS) 필터, 및 RLS(Recursive least square) 필터 중 임의의 하나인 것을 특징으로 하는, 실시간 혈류변화 측정 방법.
- 제 1 항에 있어서,
상기 혈류변화 신호 및 상기 혈류변화 이미지로부터 심박수의 변화를 실시간으로 추정하는 단계를 더 포함하는,
실시간 혈류변화 측정 방법.
- 제 1 항에 있어서,
상기 혈류변화 신호 및 혈류변화 이미지를 측정하는 단계는,
상기 산출된 피부색 변화량으로부터 헤모글로빈 변화량을 도출하는 단계;
상기 헤모글로빈 변화량에 대한 필터링을 수행하는 단계; 및
상기 필터링 결과에 대한 상향샘플링을 통해 혈류변화 이미지를 측정하며, 상기 필터링 결과에 대한 평균 모듈을 통해 혈류변화 신호를 측정하는 단계;
를 더 포함하는,
실시간 혈류변화 측정 방법.
- 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램을 기록한, 실시간 혈류변화 측정을 위한 컴퓨터-판독가능 저장 매체.
- 안면 이미지를 실시간으로 촬영하기 위한 카메라 모듈; 및
상기 안면 이미지로부터 피부색 변화량을 산출하고, 상기 피부색 변화량으로부터 혈류변화 신호 및 혈류변화 이미지를 측정하기 위한 이미지 프로세싱 모듈;
를 포함하는,
실시간 혈류변화 측정 장치.
- 제9항에 있어서,
상기 이미지 프로세싱 모듈은, 램버트 비어(Lambert Beer) 법칙을 이용하여 멜라닌으로부터 기인한 인자, 헤모글로빈으로부터 기인한 인자, 및 잔여 인자로 구분되어 모델링함으로써, 상기 안면 이미지로부터 피부색 변화량을 산출하는 것을 특징으로 하는,
실시간 혈류변화 측정 장치.
- 제10항에 있어서,
상기 이미지 프로세싱 모듈은,
상기 안면 이미지를 하향 샘플링하기 위한 하향샘플링부;
상기 하향샘플링된 안면 이미지에 대한 HSV 보정을 수행하는 보정부; 및
가중치를 업데이트시킴으로써 상기 피부색 변화량 중 동잡음을 최소화시키기 위한 적응형 필터링부;
를 더 포함하는,
실시간 혈류변화 측정 장치.
- 제11항에 있어서,
상기 이미지 프로세싱 모듈은,
상기 적응형 필터링부를 거친 후, 혈류변화이미지를 도출하기 위한 상향샘플링부; 및
상기 적응형 필터링부를 거친 후, 혈류변화 신호를 도출하기 위한 평균화부;
를 더 포함하는,
실시간 혈류변화 측정 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168285A KR101936784B1 (ko) | 2016-12-12 | 2016-12-12 | 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 |
| US15/690,103 US20180070887A1 (en) | 2016-08-29 | 2017-08-29 | Blood pressure measuring device and blood pressure measuring method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168285A KR101936784B1 (ko) | 2016-12-12 | 2016-12-12 | 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180067025A true KR20180067025A (ko) | 2018-06-20 |
| KR101936784B1 KR101936784B1 (ko) | 2019-01-09 |
Family
ID=62769856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160168285A KR101936784B1 (ko) | 2016-08-29 | 2016-12-12 | 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101936784B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200026135A (ko) | 2018-08-29 | 2020-03-10 | 연세대학교 원주산학협력단 | 달팽이관에서의 미세 혈류 측정 방법 및 장치 |
| KR102542525B1 (ko) * | 2022-04-07 | 2023-06-13 | 상명대학교산학협력단 | 원격 광혈류량 신호 측정 방법 및 장치 |
| CN116269285A (zh) * | 2022-11-28 | 2023-06-23 | 电子科技大学 | 一种非接触式常态化心率变异性估计系统 |
| CN116269285B (zh) * | 2022-11-28 | 2024-05-28 | 电子科技大学 | 一种非接触式常态化心率变异性估计系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020241912A1 (ko) * | 2019-05-28 | 2020-12-03 | 정규민 | 심박수를 이용한 서비스 제공 시스템 및 방법 |
| KR102413034B1 (ko) | 2021-12-17 | 2022-06-24 | (주)헬스케어다온 | 혈류 변화 측정 결과 이미지 제공 방법 및 장치 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002275179A (ja) * | 2001-03-16 | 2002-09-25 | Hodogaya Chem Co Ltd | ベンゾイミダゾール誘導体および有機電界発光素子 |
| US20150065827A1 (en) * | 2012-04-03 | 2015-03-05 | Blaise Frederick | System and method for evaluation of circulatory function |
| KR20150059631A (ko) * | 2013-11-22 | 2015-06-01 | 삼성전자주식회사 | 심박수 측정 방법 및 이를 위한 장치 |
| KR20160008171A (ko) * | 2013-04-26 | 2016-01-21 | 가부시키가이샤 시세이도 | 피부 다크닝 평가 장치 및 피부 다크닝 평가 방법 |
| US9282905B2 (en) | 2013-05-29 | 2016-03-15 | University Of Washington Through Its Center For Commercialization | Methods for laser speckle contrast imaging of blood perfusion |
| KR20160044387A (ko) * | 2014-10-15 | 2016-04-25 | 계명대학교 산학협력단 | 휴대용 단말기의 카메라를 이용한 비접촉식 심박 측정 장치 및 이를 이용한 비접촉식 심박 측정 방법 |
| KR20160109474A (ko) * | 2015-03-11 | 2016-09-21 | (주)아이에스엠아이엔씨 | 피하 혈관의 혈류량 변화를 측정하는 방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2604812T3 (es) * | 2014-05-07 | 2017-03-09 | Koninklijke Philips N.V. | Sistema y procedimiento para la extracción de información fisiológica |
-
2016
- 2016-12-12 KR KR1020160168285A patent/KR101936784B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002275179A (ja) * | 2001-03-16 | 2002-09-25 | Hodogaya Chem Co Ltd | ベンゾイミダゾール誘導体および有機電界発光素子 |
| US20150065827A1 (en) * | 2012-04-03 | 2015-03-05 | Blaise Frederick | System and method for evaluation of circulatory function |
| KR20160008171A (ko) * | 2013-04-26 | 2016-01-21 | 가부시키가이샤 시세이도 | 피부 다크닝 평가 장치 및 피부 다크닝 평가 방법 |
| US9282905B2 (en) | 2013-05-29 | 2016-03-15 | University Of Washington Through Its Center For Commercialization | Methods for laser speckle contrast imaging of blood perfusion |
| KR20150059631A (ko) * | 2013-11-22 | 2015-06-01 | 삼성전자주식회사 | 심박수 측정 방법 및 이를 위한 장치 |
| KR20160044387A (ko) * | 2014-10-15 | 2016-04-25 | 계명대학교 산학협력단 | 휴대용 단말기의 카메라를 이용한 비접촉식 심박 측정 장치 및 이를 이용한 비접촉식 심박 측정 방법 |
| KR20160109474A (ko) * | 2015-03-11 | 2016-09-21 | (주)아이에스엠아이엔씨 | 피하 혈관의 혈류량 변화를 측정하는 방법 및 장치 |
Non-Patent Citations (2)
| Title |
|---|
| Comparison of Blind Source Separation Algorithms for Optical Heart Rate Monitoring(Eirini Christinaki et al.) |
| 일본 공표특허공보 특표2016-526947호(2016.09.08.) 1부. * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200026135A (ko) | 2018-08-29 | 2020-03-10 | 연세대학교 원주산학협력단 | 달팽이관에서의 미세 혈류 측정 방법 및 장치 |
| KR102542525B1 (ko) * | 2022-04-07 | 2023-06-13 | 상명대학교산학협력단 | 원격 광혈류량 신호 측정 방법 및 장치 |
| CN116269285A (zh) * | 2022-11-28 | 2023-06-23 | 电子科技大学 | 一种非接触式常态化心率变异性估计系统 |
| CN116269285B (zh) * | 2022-11-28 | 2024-05-28 | 电子科技大学 | 一种非接触式常态化心率变异性估计系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101936784B1 (ko) | 2019-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101936784B1 (ko) | 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체 | |
| AU2016201690B2 (en) | Method and system for noise cleaning of photoplethysmogram signals | |
| JP5374217B2 (ja) | 画像処理装置およびその方法 | |
| US9962126B2 (en) | Signal processor, signal processing method, and recording medium | |
| US9324153B2 (en) | Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program | |
| JP5721936B2 (ja) | フレーム系列の歪んだバージョンの品質を評価する方法 | |
| CN107424133B (zh) | 图像去雾方法、装置、计算机可存储介质和移动终端 | |
| US10478079B2 (en) | Pulse estimation device, pulse estimation system, and pulse estimation method | |
| US20180070887A1 (en) | Blood pressure measuring device and blood pressure measuring method using the same | |
| US11547309B2 (en) | Biological information detection device, biological information detection method and non-transitory computer-readable storage medium for biological information detection | |
| US20140086462A1 (en) | Device and method for processing data derivable from remotely detected electromagnetic radiation | |
| Park et al. | Remote pulse rate measurement from near-infrared videos | |
| JP2010258628A5 (ko) | ||
| US9307123B2 (en) | Noise reduction apparatus and noise reduction method | |
| JP2015515873A (ja) | 遠隔検出される特性信号から情報を抽出するデバイス及び方法 | |
| CN111358455A (zh) | 一种多数据源的血压预测方法和装置 | |
| JP6927322B2 (ja) | 脈波検出装置、脈波検出方法、及びプログラム | |
| WO2014070273A1 (en) | Recursive conditional means image denoising | |
| KR101752560B1 (ko) | 영상을 이용한 산소포화도 측정 방법 및 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체 | |
| JP2019000474A (ja) | 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置 | |
| US20220015644A1 (en) | Fever Detector by Distant Multipixel Thermal Imaging | |
| CN110348425A (zh) | 去底纹的方法、装置、设备及计算机可读存储介质 | |
| CN108353169A (zh) | 图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法 | |
| JP6172641B2 (ja) | 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム | |
| CN115239569A (zh) | 图像暗角移除方法、全景图像生成方法和相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |