KR101752560B1

KR101752560B1 - 영상을 이용한 산소포화도 측정 방법 및 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체

Info

Publication number: KR101752560B1
Application number: KR1020150124109A
Authority: KR
Inventors: 홍광석; 서은주
Original assignee: 성균관대학교산학협력단
Priority date: 2015-09-02
Filing date: 2015-09-02
Publication date: 2017-06-30
Also published as: KR20170027468A

Abstract

영상을 이용한 산소포화도 측정 방법은 카메라가 사용자의 피부 영역을 포함하는 영상을 획득하는 단계, 컴퓨터 장치가 상기 영상에서 피부 영역을 추출하고, 상기 피부 영역에서 관심 영역을 결정하는 단계, 상기 컴퓨터 장치가 상기 관심 영역의 R 색상값, G 색상값 및 B 색상값을 이용하여 특징 파라미터를 생성하는 단계, 상기 컴퓨터 장치가 상기 관심 영역에 대한 특징 파라미터의 평균값 및 특징 파라미터의 표준편차를 연산하는 단계 및 상기 컴퓨터 장치가 상기 평균값 및 상기 표준편차를 기준으로 산소포화도를 추정하는 단계를 포함한다.

Description

영상을 이용한 산소포화도 측정 방법 및 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체{OXYGEN SATURATION MEASURING METHOD USING IMAGE AND COMPUTER READABLE STORAGE MEDIUM OF RECORDING OXYGEN SATURATION MEASURING METHOD USING IMAGE}

이하 설명하는 기술은 영상을 이용하여 사람의 산소포화도를 측정하는 기법에 관한 것이다.

최근 휴대용 단말기와 연계하여 실시간으로 사용자의 건강 상태를 점검하는 U-헬스케어(healthcare) 시스템이 각광받고 있다. 이에 따라 국내외 여러 기업에서는 웨어러블 센싱 기술을 이용하여 사용자의 건강 체크는 물론 질병 예측까지 가능한 기술 및 디바이스를 선보이고 있다. 예컨대, 휴대용 단말기로 특정 영상을 촬영하고, 해당 영상을 이용하여 건강 상태를 점검하는 기술도 연구되고 있다.

한국공개특허 제10-2010-0085712호

종래 산소포화도 측정 기술은 기본적으로 별도의 센서나 장치를 이용해야 했다. 이하 설명하는 기술은 사용자의 휴대용 단말을 이용하여 획득하는 사용자 얼굴 및 손가락 등의 신체 부위를 포함한 영상을 이용하여 산소포화도를 측정하는 기법을 제공하고자 한다.

이하 설명하는 기술은 사용자가 소지하고 있는 스마트폰과 같은 단말을 이용하여 간단하게 사용자의 산소포화도를 측정할 수 있다.

도 1은 영상을 이용하여 산소포화도를 측정하는 장치에 대한 구성을 도시한 예이다.
도 2는 영상을 이용한 산소포화도 측정 방법에 대한 순서도의 예이다.
도 3은 얼굴 영역을 포함한 영상에서 관심 영역을 결정하는 과정에 대한 예이다.
도 4는 산소포화도 측정을 위한 파라미터에 대한 가중치를 결정하는 영상에 대한 예이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

체내의 산소포화도 측정과 관찰을 통해 호흡관리 및 저산소증의 위험에 빠르게 대응할 수 있으며, 산소결핍은 다양한 질병의 원인이 되기 때문에 일상생활에서 산소포화도는 관리를 요하는 중요 생체신호 중 하나이다.

산소포화도는 혈액 내 전체 헤모글로빈의 양에서 옥시헤모글로빈이 차지하는 비율을 백분율로 표시한 것으로, 산소포화도 측정 시 적외선 파장과 적색 파장을 사용하게 된다. 예컨대, 산소포화도 측정 장치는 주로 손가락과 같은 부위에 일정한 빛을 조사하고, 손가락을 투과하는 빛의 파장을 이용하여 산소포화도를 측정하였다.

이하 설명하는 기술은 사람의 얼굴 및 손가락 등 신체 부위를 촬영한 영상을 이용하여 산소포화도를 측정하는 기법에 관한 것이다. 이하 설명하는 기술은 영상 데이터를 기반으로 영상 처리 기법만을 이용하기 때문에 다른 장비가 필요 없다. 이하에서는 도면을 참조하면서 영상을 이용한 산소포화도 측정 방법에 관하여 구체적으로 설명하겠다.

산소 포화도를 위해 얼굴, 손가락 등의 신체 부위를 촬영한 영상을 사용한다. 즉 산소 포화도 측정을 위해서는 사람의 피부가 드러난 영역이 필요하다. 이러한 영역을 피부 영역이라고 명명한다. 이하 설명의 편의를 위해 사람의 얼굴 영역을 중심으로 설명하도록 한다.

도 1은 영상을 이용하여 산소포화도를 측정하는 장치에 대한 구성을 도시한 예이다. 영상을 이용하여 산호포화도를 측정하기 위해서는 크게 두 가지 과정이 필요하다. 첫 째 과정은 사람의 얼굴 및 손가락 등의 신체 부위 중 관찰하고자 하는 영역을 카메라로 촬영하는 것이다. 두 번째 과정은 얼굴 및 손가락 등의 신체 부위를 촬영한 영상에서 관심 영역을 추출하고, 관심 영역의 색상값을 기준으로 산소포화도를 측정하는 것이다. 상기 두 가지 과정이 하나의 장치에서 수행될 수도 있고, 별도의 장치에서 각각 수행될 수도 있다.

(1) 도 1을 살펴보면, PC(100)에 연결된 카메라(105)가 사용자의 얼굴 및 손가락 등 관찰하고자 하는 신체 부위를 촬영한다. 카메라(105)가 촬영한 영상을 전달받은 PC(100)는 얼굴 및 손가락 등 신체 부위를 포함하는 영상을 이용하여 산소포화도를 측정할 수 있다. 이 경우 PC(100)는 영상 데이터를 이용하여 산소포화도를 측정하는 프로그램을 사용한다.

(2) 도 1을 살펴보면, 스마트폰과 같은 휴대용 단말(200)은 내장된 카메라로 사용자의 얼굴 및 손가락과 같이 관찰하고자 하는 부위를 촬영한다. 이후 휴대용 단말(200)은 영상 데이터를 이용하여 산소포화도를 측정하는 애플리케이션을 사용하여 산소포화도를 측정할 수 있다.

(3) 도 1을 살펴보면, 스마트폰과 같은 휴대용 단말(310)은 내장된 카메라로 사용자의 얼굴 및 손가락과 같이 관찰하고자 하는 신체 부위를 촬영한다. 휴대용 단말(310)은 유선 또는 무선 네트워크를 통해 얼굴 및 손가락과 같은 신체 부위를 포함하는 영상 데이터를 분석 서버(320)에 전달한다. 분석 서버(320)는 수신한 영상 데이터를 이용하여 산소포화도를 측정할 수 있다. 분석 서버(320)는 산소포화도 측정을 위한 프로그램을 내장할 수 있다.

도 2는 영상을 이용한 산소포화도 측정 방법(500)에 대한 순서도의 예이다. 도 2의 산소포화도 측정 방법(500)은 도 1에 도시한 장치가 동작하는 예에 해당한다. 한편 설명의 편의를 위해 영상 데이터를 이용하여 산소포화도를 측정하는 장치를 이하 컴퓨터 장치라고 명명한다.

카메라가 사용자의 얼굴 및 손가락과 같이 관찰하고자 하는 신체 부위를 포함하는 영상을 획득한다(520). 여기서 카메라는 스마트폰에 내장된 카메라, PC에 연결된 카메라, 영상을 촬영할 수 있는 별도의 카메라 등을 의미한다. 카메라는 얼굴 및 손가락과 같은 신체 일부 영역을 포함하는 동영상을 촬영할 수도 있고, 얼굴 및 손가락과 같은 신체 일부 영역을 포함하는 정지 영상(사진)을 촬영할 수도 있다.

컴퓨터 장치는 이미지 처리 기술을 이용하여 영상에서 얼굴 및 손가락과 같이 관찰하고자 하는 신체 부위를 추출하고, 이후 얼굴 및 손가락과 같은 신체 일부 영역에서 특정한 관심 영역(ROI)을 결정할 수 있다(530). 일반적으로 얼굴 및 손가락과 같은 신체 일부 영역은 피부색을 이용하여 배경과 구별한다. 만약 영상에서 얼굴 영역을 검출하는 경우 적용될 수 있는 얼굴 검출 기법은 다양하다. 이후 컴퓨터 장치는 추출한 얼굴 영역에서 산소포화도 측정의 기준이 되는 관심 영역을 결정한다. 관심 영역은 다양한 영역이 사용될 수 있다. 다만 관심 영역은 피부색과 다른 색상이 최대한 적은 영역을 설정하는 것이 바람직하다. 사람의 눈, 코 또는 입 등을 포함하는 영역은 다른 색상을 갖고, 일정한 에지를 갖기 때문에 관심 영역으로 바람직하지 않다. 얼굴 영역에서 관심영역을 설정하게 된다면 비교적 노이즈가 적은 영역은 볼(cheek) 주변이 적절하다. 따라서 이하 관심 영역은 볼 영역이라고 가정하고 설명한다.

도 3은 얼굴 영역을 포함한 영상에서 관심 영역을 결정하는 과정에 대한 예이다. 도 3에서 점선으로 표시한 사각형은 각 단계에서 검출한 영역을 의미한다. 도 3(a)는 영상에서 얼굴 영역을 추출하는 예에 해당한다. 컴퓨터 장치는 얼굴 영역 검출에 학습 기법을 사용할 수 있다. 컴퓨터 장치는 얼굴 영역을 검출하기 위하여 또는 얼굴 영역에서 피부색만을 검출하기 위하여 YCbCr 색상 척도를 이용하여 피부색인 영역만을 검출할 수도 있다. 이를 위해서는 컴퓨터 장치는 RGB 영상을 YCbCr로 변환하고, Cb 및 Cr이 일정한 기준 영역에 포함되는 영역만을 피부 영역으로 결정할 수 있다.

이제 컴퓨터 장치는 얼굴 영역에서 관심 영역인 볼 영역을 검출해야 한다. 도 3(b)는 얼굴 영역에서 코 영역을 검출한 예이다. 컴퓨터 장치는 얼굴 영역에서 코 영역이 존재하는 위치 및/또는 코 영역의 특징적인 형태를 기준으로 코 영역을 검출할 수 있다. 컴퓨터 장치는 Harr 분류기를 이용하여 소스 영상에서 얼굴 영역을 검출하고, 얼굴 영역에서 코 영역을 검출할 수도 있다. 도 3(c)는 얼굴 영역에서 관심 영역인 볼 영역을 검출한 예이다. 컴퓨터 장치는 코 영역을 검출한 후 코 양 옆에 위치한 볼 영역을 특정할 수 있다. 도 3은 사람의 얼굴 정면을 촬영한 영상을 기준으로 설명한 것이다. 소스 영상에 포함된 얼굴의 방향이 다르다면 다른 기준을 사용하여 관심 영역을 결정할 수도 있을 것이다. 한편 컴퓨터 장치는 관심 영역을 결정하고, 관심 영역에 대한 노이즈 제거 과정을 수행할 수도 있다.

도 2에 대한 설명으로 돌아가면, 컴퓨터 장치는 관심 영역을 결정한 후에 관심 영역의 색상값을 이용하여 산소포화도 측정을 위한 특징 파라미터를 생성한다(540). 컴퓨터 장치는 관심 영역의 R 색상값, G 색상값 및 B 색상값을 이용하여 특징 파라미터를 생성한다.

종래 산소포화도 측정기는 적외선 파장과 적색 파장을 손가락에 조사하고, 반대 방향으로 투과되는 파장(빛)을 이용하여 산소포화도를 측정했다. 상기 특징 파라미터는 적외선 파장에 대응하는 제1 파라미터 및 적색 파장에 대응하는 제2 파라미터를 포함한다.

컴퓨터 장치는 관심 영역의 RGB 색상값을 이용하여 제1 파라미터(C_660nm) 및 제2 파라미터(C_940nm)를 결정한다. 특징 파라미터는 관심 영역의 RGB 색상값을 이용하여 결정한다. 제1 파라미터(C_660nm) 및 제2 파라미터(C_940nm)는 각각 아래의 수학식 1과 수학식 2로 표현된다.

여기서, mean(Red)는 관심 영역에 포함된 픽셀들의 R 색상값의 평균값, mean(Green)는 관심 영역에 포함된 픽셀들의 G 색상값의 평균값, mean(Blue)는 관심 영역에 포함된 픽셀들의 B 색상값의 평균값이다. W_R, W_G, W_B, T_R, T_G, T_B는 각 색상에 대한 가중치이다. 가중치 결정 방법은 후술하도록 한다. 도 2에 도시한 바와 같이 가중치는 컴퓨터 장치가 특징 파라미터를 생성하기 이전에 설정(510)되어야 한다.

이제 컴퓨터 장치는 관심 영역에 대한 특징 파라미터의 평균값 및 특징 파라미터의 표준편차를 연산한다(550). 여기서 특징 파라미터의 평균값은 전술한 제1 파라미터 및 제2 파라미터 각각에 대한 평균값을 포함한다. 특징 파라미터의 표준편차는 전술한 제1 파라미터 및 제2 파라미터 각각에 대한 표준편차를 포함한다. 여기서 평균값 및 표준편차는 관심 영역에 대한 복수의 프레임에 대한 평균값 및 표준편차를 의미한다. 컴퓨터 장치는 동영상 프레임별로 관심 영역에 대한 제1 파라미터 및 제2 파라미터를 결정하고, 복수의 프레임(일정한 시간 또는 프레임 개수를 기준으로)들에 대한 제1 파라미터 및 제2 파라미터 각각에 대한 평균값 내지 표준편차를 연산하는 것이다.

이제 마지막으로 컴퓨터 장치가 평균값 및 표준편차를 기준으로 산소포화도를 추정한다(560). 컴퓨터 장치는 아래의 수학식 3을 이용하여 산소포화도(SpO₂)를 측정할 수 있다.

여기서, AC_660nm은 제1 파라미터(C_660nm)에 대한 표준편차, DC_660nm은 제1 파라미터(C_660nm)에 대한 평균값, AC_940nm은 제2 파라미터(C_940nm)에 대한 표준편차, DC_940nm은 제2 파라미터(C_940nm)에 대한 평균값을 의미한다. A 및 B는 상수값이다.

상수 A 및 B 값은 실제 장비를 이용하여 측정한 산소포화도 값을 이용하여 결정할 수 있다. 아래 수학식 4를 최소화하도록 A 및 B를 결정할 수 있다. 즉 R값과 실제 산소포화도 측정 값 사이에 최소자승법을 적용하여 A 및 B를 결정할 수 있다.

여기서, Oximeter _i는 실제 장비를 이용하여 측정한 산소포화도 값을 의미한다. R_i는 아래 수학식 5를 이용하여 결정할 수 있다.

이하 전술한 특징 파라미터에 사용하는 가중치를 결정하는 과정을 설명하고자 한다. 도 4는 산소포화도 측정을 위한 파라미터에 대한 가중치를 결정하는 영상에 대한 예이다. 특히, 색상별 가중치는 혈액의 특징을 이용하는 다양한 근거로 하여금 결정 될 수 있다.

도 4(a)는 적외선 파장에 대응되는 색상 조합에 대한 특징 파라미터(제1 파라미터)에 적용할 가중치를 설정하기 위한 영상의 예이다. 도 4(a)는 정맥혈관이 피부에 드러나는 하지정맥류 환자의 피부이다. 컴퓨터 장치는 해당 영상으로부터 정맥혈관을 검출하여 색상 평균값으로 연산하였다. 예컨대, 정맥 혈관에 대한 색상평균값이 Red 색상은 27, Blue 색상은 39, Green 색상은 30라고 가정하자. 적외선 파장을 대체하는 Blue를 1로 고정시킨 후 Red 와 Blue의 비율을 설정하면 아래의 수학식 6과 같은 가중치가 사용될 수 있다.

도 4(b)는 적색 파장에 대응되는 색상 조합에 대한 특징 파라미터(제2 파라미터)에 적용할 가중치를 설정하기 위한 영상의 예이다. 도 4(b)는 동맥혈액이 담긴 튜브(tube)의 예이다. 예컨대, 동맥혈액의 색상 평균값이 Red 색상은 167.93, Green 색상은 53.03, Blue 색상은 51.55라고 가정하자. 적색 파장을 대체하는 Red를 1로 고정시킨 후, Blue와 Green의 비율을 설정하면 아래의 수학식 7과 같은 가중치가 사용될 수 있다.

나아가 전술한 동영상을 이용한 산소포화도 측정 방법은 컴퓨터가 읽을 수 있는 기록 매체에 프로그램 형태로 제공될 수도 있다.

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

105 : 카메라
100 : PC
200 : 휴대용 단말
310 : 휴대용 단말
320 : 분석 서버

Claims

카메라가 사용자의 피부 영역을 포함하는 영상을 획득하는 단계;
컴퓨터 장치가 상기 영상에서 피부 영역을 추출하고, 상기 피부 영역에서 관심 영역을 결정하는 단계;
상기 컴퓨터 장치가 상기 관심 영역의 R 색상값, G 색상값 및 B 색상값을 이용하여 특징 파라미터를 생성하는 단계;
상기 컴퓨터 장치가 상기 관심 영역에 대한 특징 파라미터의 평균값 및 특징 파라미터의 표준편차를 연산하는 단계; 및
상기 컴퓨터 장치가 상기 평균값 및 상기 표준편차를 기준으로 산소포화도를 추정하는 단계를 포함하되,
상기 특징 파라미터는 상기 관심 영역에 대한 R 색상값의 평균값, G 색상값의 평균값 및 B 색상값의 평균값 각각에 서로 다른 가중치를 부여하여 합산한 값인 영상을 이용한 산소포화도 측정 방법.
제1항에 있어서,
상기 특징 파라미터는 제1 파라미터 및 제2 파라미터를 포함하는 영상을 이용한 산소포화도 측정 방법.
삭제
제1항에 있어서,
상기 특징 파라미터는 아래 식으로 표현되는 제1 파라미터(C_660nm) 및 제2 파라미터(C_940nm)을 포함하는 영상을 이용한 산소포화도 측정 방법.

(여기서 mean(Red)는 상기 관심 영역에 포함된 픽셀들의 R 색상값의 평균값, mean(Green)는 상기 관심 영역에 포함된 픽셀들의 G 색상값의 평균값, mean(Blue)는 상기 관심 영역에 포함된 픽셀들의 B 색상값의 평균값, W_R, W_G, W_B, T_R, T_G, T_B는 가중치값임)
제1항에 있어서,
상기 평균값은 복수의 프레임에서 상기 관심 영역에 대한 상기 특징 파라미터의 평균값이고, 상기 표준편차는 상기 복수의 프레임에서 상기 관심 영역에 대한 상기 특징 파라미터의 표준편차인 영상을 이용한 산소포화도 측정 방법.
제4항에 있어서,
상기 가중치 중 W_R, W_G 및 W_B 는 사람의 피부에 혈관이 지나는 영역에 대한 영상의 RGB 색상값을 기준으로 사전에 결정하고, 상기 가중치 중 T_R, T_G 및 T_B는 혈액에 대한 영상의 RGB 색상값을 기준으로 사전에 결정하는 영상을 이용한 산소포화도 측정 방법.
제4항에 있어서,
상기 컴퓨터 장치는 아래의 수식을 사용하여 상기 산소포화도를 추정하는 영상을 이용한 산소포화도 측정 방법.

(여기서 SpO₂는 산소포화도, AC_660nm은 상기 제1 파라미터(C_660nm)에 대한 표준편차, DC_660nm은 제1 파라미터(C_660nm)에 대한 평균값, AC_940nm은 상기 제2 파라미터(C_940nm)에 대한 표준편차, DC_940nm은 상기 제2 파라미터(C_940nm)에 대한 평균값, A 및 B는 상수값임.)
컴퓨터에서 청구항 제1항, 제2항 및 제4항 내지 제7항 중 어느 하나의 항에 기재되어 있는 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체.