KR102108961B1

KR102108961B1 - 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치

Info

Publication number: KR102108961B1
Application number: KR1020190047108A
Authority: KR
Inventors: 장현재
Original assignee: 주식회사 에프앤디파트너스
Priority date: 2019-04-23
Filing date: 2019-04-23
Publication date: 2020-05-11

Abstract

본 발명은 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치에 관한 것으로서, 더욱 상세하게는 카메라를 통해 촬영된 영상을 획득하여 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하고, 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출한 후, 상기 추출된 특징들을 입력값으로 하여 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하기 위한 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치에 관한 것이다.

Description

이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치{An image-based artificial intelligence deep-learning based blood pressure estimation apparatus}

최근 기계학습 또는 머신러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.

또한, 근래에 들어 의료영상 분석을 포함한 의료진단 분야와 의료영상에서 기관이나 암 부위 등의 추출 및 분할이나 영상 정합, 영상 검색 등 전반적인 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.

이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다.

그리고, 최근 들어 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 높아지고 있다.

딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.

여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 계산의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다.

일례로 MRI 검사 시 환자당 수십개의 의료 영상 슬라이스를 분석함에 있어서 영상 판독의 효율성을 높이고 진단 과정의 생산성 향상을 위하여, 실제 데이터를 기반으로 기계 학습하여 활용이 가능한 의료영상 진단 보조 시스템이 요구되고 있다.

또한, 의료현장에서 의사가 진단에 활용하는 모든 데이터, 즉, 의료영상 이외의 다양한 임상정보를 모두 적용하여 생성된 데이터 기반 인공지능 시스템은 의료영상만으로 학습된 의료용 기계학습 알고리즘에 비해 더 향상된 진단 성능을 기대할 수 있다.

이러한 요구에 따른 종래 기술 중 하나는 대한민국 등록특허공보 제10-1623431호에 기재된 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템이다.

이 종래 기술은 세포염색의 현미경 사진 등을 입력으로 받아 병리 진단을 수행하는 것으로서, 의료영상을 입력으로 받아 특징 추출부에 의한 특징 데이터를 추출하고 특징 벡터 변환을 통한 병리 진단 분류 결과를 제공하고 있다.

그러나, 종래 기술 대부분은 단순히 세포염색의 현미경 사진을 입력으로 받아 특징을 추출하여 병리 진단을 수행함에 있어서, 임상정보에서 추출한 특징 정보를 반영하지 않기 때문에 병변 진단 성능을 높이는데 한계가 있다.

한편, 커프를 사용하는 혈압계는 부피가 크고 휴대하기가 불편하고, 실시간으로 연속적으로 혈압을 모니터링할 수 없다.

최근에는 커프리스(cuffless) 방식으로 혈압을 측정할 수 있는 혈압계가 주목을 받고 있다.

커프리스 방식의 혈압계는 광원을 이용하여 혈압을 간접적으로 측정한다.

일 예로, 광용적맥파(Photoplethysmography: PPG)로 인체 특정 부분의 혈액용적의 변화를 측정하고 이들의 파형을 분석함으로써 혈압을 추정한다.

다른 방법으로는 인체 표피에서 혈관의 크기 변화에 의한 피부의 움직임을 측정하여 혈압을 추정하는 방법이 있다

이들 방법의 혈압의 추정은 통계적 방법을 이용하여 만든 혈압추정 알고리즘을 적용한다.

혈류량의 변화 또는 혈관 위 표피의 움직임의 변화를 측정하고, 이들 신호변화의 특징점(feature)과 실제 측정된 혈압과의 연관성을 통계적으로 구하여 상기 혈압추정 알고리즘을 미리 만든다.

피검자의 상기 특징점을 이용하여 상기 혈압추정 알고리즘에 매칭하여 혈압을 추정하는 방식이다.

그러나, 피검자에 따라 혈압추정 알고리즘의 추정 정확도가 현저히 떨어지는 문제점이 발생하였으며, 좀 더 정확한 혈압추정 기술이 필요하게 되었다.

그리고, 건강 및 의료 서비스에 대한 사람들의 관심은 나날이 증가하고 있다. 이에 따라 웨어러블 기기(wearable device)를 이용하여 사용자의 건강상태를 주기적으로 모니터링하고, 원격으로 건강 관리 정보를 제공하는 헬스케어 서비스에 관한 연구도 증가하고 있는 추세이다.

그 중 혈압 측정은 고혈압 환자 및 저혈압 환자와 같이 매일같이 혈압을 확인해야 하는 사람들에게 있어 매우 중요한 기술이다.

종래 방식의 수은 혈압계나 자동 혈압계는 휴대성이 없어, 지정된 장소(이를테면, 집이나 병원 등)에서만 측정이 가능하다.

따라서, 사용자에게 휴대성을 제공하며 정확도 높은 혈압 측정결과를 제공할 수 있는 혈압 측정 장치에 탑재가 가능한 서비스에 대한 필요성이 존재하게 되었다.

대한민국등록특허공보 제10-1623431호(2016.05.23) 대한민국등록특허공보 제10-1629901호(2016.06.13)

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 카메라를 통해 촬영된 영상을 획득하여 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하고, 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출한 후, 상기 추출된 특징들을 입력값으로 하여 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하도록 하는데 있다.

본 발명의 제2 목적은 정상 혈압인지, 주의 혈압인지, 고혈압인지를 판단하여 판단 결과값을 출력시키기 위한 혈압판단결과출력처리부(400)를 구성하여 카메라를 통해 촬영된 영상 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 판단된 혈압 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하는데 있다.

본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치는,

혈압을 추정할 영상 이미지 정보를 획득하고, 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하기 위한 PPG신호측정부(100);

상기 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출하기 위한 PPG신호특징추출부(200);

상기 PPG신호특징추출부로부터 추출된 특징들을 입력값으로 하며, 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하기 위한 PPG신호기반혈압추정부(300);를 포함한다.

본 발명에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치는,

카메라를 통해 촬영된 영상을 획득하여 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하고, 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출한 후, 상기 추출된 특징들을 입력값으로 하여 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하도록 함으로써, 정상 혈압인지, 주의 혈압인지, 고혈압인지에 대한 혈압 추정 정확도를 향상시키고, 변별 속도를 높이는 효과를 발휘하게 된다.

또한, 정상 혈압인지, 주의 혈압인지, 고혈압인지를 판단하여 판단 결과값을 출력시키기 위한 혈압판단결과출력처리부(400)를 구성하여 카메라를 통해 촬영된 영상 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 판단된 혈압 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하도록 함으로써, 언제 어디서든지 시간에 구애받지 않고 누구나 쉽게 혈압을 측정할 수 있는 편리성을 제공하게 된다.

도 1은 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치의 구성도.
도 2는 PPG 측정 방법과 신호를 나타낸 예시도이며, 도 3은 스마트폰 카메라로 획득한 PPG 신호를 나타낸 예시도이며, 도 4는 PPG 신호 측정을 위하여 스마트폰 카메라에 손가락을 접촉시킨 예시도이며, 도 5는 실체 촬영된 영상 이미지의 RGB 성분 중 적외선과 유사한 R값만을 나타낸 예시도.
도 6은 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치가 촬영된 영상 이미지를 획득하여 R값만 추출한 예시도.
도 7은 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치의 PPG신호특징추출부(200) 블록도.
도 8은 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치의 PPG 신호의 형태학적 특징을 나타낸 예시도.
도 9는 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치의 혈관속 혈액 이동에 따른 PPG 신호의 변화를 나타낸 예시도이며, 도 10은 PPG신호의 PSD 신호 예시도이며, 도 11은 특징 개수에 따른 혈압 오차값 및 오차 비율을 나타낸 비교표이며, 도 12는 PSD신호 영역 분할 예시도.
도 13은 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치에서 PPG 신호와 AI를 이용한 혈압 추정 과정을 개략적으로 설명한 예시도이며, 도 14는 DNN 구조 예시도이며, 도 15는 MIMIC 데이터 그래프 예시도이며, 도 16은 데이터 A와 데이터 B의 입력값과 출력값을 나타낸 예시도이며, 도 17은 혈압의 기준 정보를 나타낸 예시도.
도 18은 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치의 혈압판단결과출력처리부(400) 블록도.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다.

또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치는,

상기 PPG신호특징추출부로부터 추출된 특징들을 입력값으로 하며, 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하기 위한 PPG신호기반혈압추정부(300);를 포함하여 구성되는 것을 특징으로 한다.

본 발명의 다른 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치는,

상기 PPG신호특징추출부로부터 추출된 특징들을 입력값으로 하며, 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하기 위한 PPG신호기반혈압추정부(300);

PPG신호기반혈압추정부를 통해 추정된 혈압 수치를 획득하여 혈압 기준 정보와 비교하여 정상 혈압인지, 주의 혈압인지, 고혈압인지를 판단하여 판단 결과값을 출력시키기 위한 혈압판단결과출력처리부(400);를 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 PPG신호측정부(100)는,

심장의 수축기와 이완기에 따라 발생되는 혈류량의 변화에 따라 변화되는 빛 반사율을 토대로 영상 이미지의 프레임별 색상 성분값 변화를 이용하여 PPG 신호를 측정하는 것을 특징으로 한다.

또한, 상기 영상 이미지의 RGB 성분 중 적외선과 유사한 R값만을 추출하여 PPG 신호를 측정하는 것을 특징으로 한다.

또한, 상기 PPG신호특징추출부(200)는,

상기 측정된 PPG 신호의 피크를 중심으로 수축기 상승 시간 부분과 이완기 시간 부분으로 나누어 형태학적 특징을 추출하기 위한 형태학적특징추출모듈(210);

상기 측정된 PPG 신호에 대하여 PSD(Power Spectrum Density)를 이용하여 스펙트럼 특징을 추출하기 위한 스펙트럼특징추출모듈(220);을 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 스펙트럼특징추출모듈(220)은,

PPG 신호를 푸리에 변환하여 얻은 PSD 신호를 0.5Hz 단위로 분할하여 0 ~ 10Hz까지 총 20개의 특징을 추출하는 것을 특징으로 한다.

또한, 상기 PPG신호기반혈압추정부(300)의,

학습된 혈압추정 알고리즘은 미리 학습된 심층 신경망(DNN: Deep Neural Network) 알고리즘을 이용하는 것을 특징으로 한다.

또한, 상기 심층 신경망(DNN: Deep Neural Network) 알고리즘은,

환자들의 심전도, 혈압, 호흡수, PPG를 포함하고 있는 정보를 활용하여 기초 학습을 진행하되, 오차를 줄이기 위하여 하기의 수식1 내지 수식2를 이용하는 것을 특징으로 한다.

(수식1)

(수식2)

(e : 오차값, e_r: 오차 비율, BP_es : 딥러닝을 통해 얻은 혈압 추정값, BP : 환자들의 혈압값)

또한, 상기 PPG신호기반혈압추정부(300)는,

입력값으로 사용되는 추출된 특징들을 심층 신경망(DNN: Deep Neural Network) 알고리즘의 미리 학습되어 마련된 히든 레이어 매트릭스에 매칭시켜 혈압을 추정하는 것을 특징으로 한다.

또한, 상기 혈압판단결과출력처리부(400)는,

카메라를 통해 촬영된 영상 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 판단된 혈압 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기(2000)로 전송하는 것을 특징으로 한다.

또한, 상기 PPG신호측정부(100)는,

카메라와 연결되어 직접적인 혈압을 추정할 영상 이미지 정보를 획득하거나, 무선 네트워크 또는 인터넷 네트워크에 연결되어 혈압을 추정할 영상 이미지 정보를 획득하는 것을 특징으로 한다.

또한, 상기 혈압을 추정할 영상 이미지 정보는,

손가락 끝의 영상 이미지 정보이거나, 이마의 영상 이미지 정보인 것을 특징으로 한다.

이하, 본 발명에 의한 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치의 실시예를 통해 상세히 설명하도록 한다.

도 1은 본 발명의 일실시예에 따른 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치의 구성도이다.

도 1에 도시한 바와 같이, 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치(1000)은, PPG신호측정부(100), PPG신호특징추출부(200), PPG신호기반혈압추정부(300)를 포함하여 구성되게 된다.

도 2의 경우에는 PPG센서를 이용한 PPG 측정 방법과 PPG 신호를 나타낸 예시도로써, PPG란, 심실 수축기 동안 내뿜어지는 혈액이 말초혈관에 전달될 때 말초신경에서 측정되는 광전신호이다.

손끝의 말초신경에 도 2와 같이, PPG센서를 부착하면 말초혈관의 혈류량에 따라 흡수되는 빛의 양이 달라지므로, 빛의 양을 측정하면 PPG신호를 측정할 수 있다.

즉, 말초신경에 도달한 혈액의 양이 많을 경우, 외부에서 입사된 적색광이 혈액에 많이 흡수되므로 측정되는 광량은 적어진다.

한편, 심실이 이완하여 말초신경의 혈액이 적어지면 광신호가 증가한다.

이러한 원리에 의해 심실의 이완기 동안 말초신경의 용적량에 상응하는 광량을 측정하여 반전증폭기를 거치면 PPG신호를 얻을 수 있다.

반면에 본 발명의 상기 PPG신호측정부(100)는,

카메라를 통해 촬영된 영상을 획득하여 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하기 위한 기능을 수행하게 된다.

예를 들어, 스마트폰 카메라를 이용하여 PPG(photoplethysmography, 광용적맥파, 광혈류측정신호)를 측정하게 되는 것이다.

이때, 상기 PPG신호측정부(100)는,

도 3은 스마트폰 카메라로 획득한 PPG 신호를 나타낸 예시도이며, 도 4는 PPG 신호 측정을 위하여 스마트폰 카메라에 손가락을 접촉시킨 예시도이며, 도 5는 실체 촬영된 영상 이미지의 RGB 성분 중 적외선과 유사한 R값만을 나타낸 예시도이다.

본 발명에서는 상기와 같이, PPG 센서가 아니라, 스마트폰 카메라를 사용해서 PPG 신호를 획득하는 것이다.

예를 들어, 스마트폰의 LED 조명의 빛이 일정할 경우, 심장이 수축할 때는 혈액의 양이 증가하여 빛 흡수율은 증가하고 빛 반사율은 감소한다.

반면에 심장이 이완할 때는 혈액의 양이 감소하여 빛 흡수율은 감소하고 빛 반사율은 증가한다.

이렇게 혈류량의 변화에 따라 빛 반사율에 변화가 나타나며, PPG신호측정부(100)에서는 이 변화가 영상의 매 프레임마다 색상 성분 값을 변화시킨다.

더 정확한 PPG 신호를 얻기 위해서 저장된 영상의 RGB(Red,Green,Blue) 성분 중 적외선과 가장 유사한 R값만 추출하여 더 정확한 PPG 신호를 측정할 수 있다.

즉, 도 6과 같이, 촬영된 영상 이미지를 통해 정확한 PPG 신호를 측정할 수가 있게 되는 것이다.

한편, 부가적인 양태에 따라, 상기 PPG신호측정부(100)는,

혈압 추정할 영상 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.

즉, 카메라와 연동시켜 카메라를 통해 직접적인 입력 영상을 수신할 수 있으며, 무선 네트워크 또는 인터넷 네트워크를 이용하여 각종 영상 이미지를 획득할 수 있게 된다.

그리고, 실시예에서는 혈압 추정할 영상 이미지 정보를 손가락 끝의 영상 이미지 정보를 이용하고 있으나, 필요에 따라 이마의 영상 이미지 정보를 이용하여 PPG 신호를 측정할 수도 있다.

다음은 PPG신호특징추출부(200)에 대하여 후술하도록 한다.

상기 PPG신호특징추출부(200)는 PPG신호측정부(100)에서 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출하기 위한 기능을 수행하게 된다.

상기와 같은 기능을 수행하기 위하여, 도 7에 도시한 바와 같이, 상기 PPG신호특징추출부(200)는,

구체적으로 설명하자면, 상기 형태학적특징추출모듈(210)은 측정된 PPG 신호의 피크를 중심으로 수축기 상승 시간 부분과 이완기 시간 부분으로 나누어 형태학적 특징을 추출하게 되는데, 형태학적인 특징은 5가지 요소의 특징을 추출한다.

5가지 특징은 도 8과 같다.

첫 번째는 시간에 대한 특징들로 전체시간(Total Time), 수축기 상승 시간(systolic upstroke time, ST)과 이완기 시간(diastolic time, DT)이다.

두 번째는 크기에 대한 특징으로 PPG신호에서 최고점(peak1)과 두 번째 높은점(peak2)이다.

상기 5가지 요소(전체시간, 수축기 상승 시간, 이완기 시간, 최고점, 두 번째 높은점)를 특징으로 선택한 이유는 도 9와 같이, 혈관에서 혈액이 이동하여 생기는 압력에 따라서 PPG 신호에 변화가 나타나는 부분이기 때문이다.

그리고, 형태학적으로 많은 특징을 사용해서 혈압을 추정하는데 정확성을 높이기 위한 것이다.

구체적으로는 입력 데이터가 많아지기 때문에 딥러닝 학습시에 학습 변수가 세분화되어 정확도를 더욱 향상시킬 수 있는 장점을 제공하기 위한 것이다.

그리고, 상기 스펙트럼특징추출모듈(220)은 측정된 PPG 신호에 대하여 PSD(Power Spectrum Density)를 이용하여 스펙트럼 특징을 추출하기 위한 기능을 수행하게 된다.

상기한 스펙트럼 특징은 PPG신호에 대하여 PSD(Power Spectrum Density)를 이용하여 스펙트럼 특징을 추출하게 되는데, PSD는 시간 함수로 표현되는 에너지를 푸리에 변환을 통해서 주파수 영역의 함수로 변환했을 경우, 주파수별 에너지의 크기를 나타낸다.

이때, 특징적으로 스펙트럼특징추출모듈(220)은 PPG 신호를 푸리에 변환하여 얻은 PSD 신호를 0.5Hz 단위로 분할하여 0 ~ 10Hz까지 총 20개의 특징을 추출하는 것을 특징으로 한다.

즉, PPG 신호를 푸리에 변환하여 얻은 PSD 신호는 도 10과 같다.

상기 PSD 신호를 예를 들어, 0.5, 1, 2, 5, 10Hz 단위로 분할하여 테스트를 진행하게 되며, 테스트 결과는 도 11과 같으며, 오차값이 적게 나온 0.5Hz 단위로 분할하고 특징 20개를 추출하여 사용하게 되는 것이다.

즉, 테스트 결과를 토대로 0.5Hz 단위로 분할하여 특징 20개를 추출하게 되는 것이다.

도 11은 특징 개수에 따른 혈압 오차값 및 오차 비율을 나타낸 도면으로서, 오차값이 적게 나온 0.5Hz 단위로 분할하는 것이 가장 최적의 결과값을 도출할 수 있는 것으로 분석된 것이다.

그리고, 도 12는 PSD 신호에 대하여 20개로 영역 분할한 예시도이다.

다음은 PPG신호기반혈압추정부(300)에 대하여 구체적으로 설명하도록 한다.

상기 PPG신호기반혈압추정부(300)는 상기 PPG신호특징추출부로부터 추출된 특징들을 입력값으로 하며, 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하기 위한 기능을 수행하게 된다.

도 13에 도시한 바와 같이, 본 발명의 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치는 PPG신호측정부(100)를 통해 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하게 되며, PPG신호특징추출부(200)를 통해 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출하게 되며, PPG신호기반혈압추정부(300)를 통해 PPG신호특징추출부로부터 추출된 특징들을 입력값으로 하며, 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하는 과정을 거치게 된다.

이때, 상기 PPG신호기반혈압추정부(300)의 학습된 혈압추정 알고리즘은 미리 학습된 심층 신경망(DNN: Deep Neural Network) 알고리즘을 이용하는 것을 특징으로 한다.

구체적으로 설명하자면, PPG신호기반혈압추정부(300)는 PPG신호특징추출부로부터 추출된 특징들을 입력값으로 획득하는데, 예를 들어, PPG 신호에서 얻은 25개의 특징(형태학적특징추출모듈(210)에서 추출된 형태학적 특징 5개, 스펙트럼특징추출모듈(220)에서 추출된 스펙트럼 특징 20개)들을 입력값으로 획득하고, 수축기 혈압(systolic Blood Pressure,SBP)과 이완기 혈압(diastolic Blood Pressure,DBP)을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하게 된다.

이때, 상기 학습된 혈압추정 알고리즘은 미리 학습된 심층 신경망(DNN: Deep Neural Network) 알고리즘을 이용하는 것을 특징으로 한다.

예를 들어, 도 14에 도시한 바와 같이, 상기 심층 신경망 구조는 입력 층과 출력 층 사이에 여러 개의 은닉 층으로 이루어진 인공신경망이다.

DNN은 가장 일반적인 딥 러닝 모델이며, 은닉 층이 많을수록 정확한 결과를 얻을 수 있다.

특히, PPG신호기반혈압추정부(300)는 입력값으로 사용되는 추출된 특징들을 심층 신경망(DNN: Deep Neural Network) 알고리즘의 미리 학습되어 마련된 히든 레이어 매트릭스에 매칭시켜 혈압을 추정하는 것이다.

예를 들어, 입력 레이어(Input Layer)에 입력되는 특징들 데이터 x1,x2,,xN를 복수의 히든 레이어(예컨대, Hidden Layer 1, Hidden Layer2)에 대응시켜, 출력 레이어(Output Layer)에서 y1(SBP:systolic blood pressure), y2(DBP:diastolic blood pressure)를 출력하도록, 기계적인 학습을 통해 히든 레이어 매트릭스(hidden layer matrix) 구조를 만들 수 있다.

히든 레이어 매트릭스는 입력된 특징들의 가중치(weight) 및 임계값(threshold) 중 적어도 어느 하나 이상을 가지며 입력값 및 히든 레이어 매트릭스의 매칭으로 출력값, 예컨대 수축기 혈압 및 이완기 혈압이 추정된다.

도 14에서와 같이, DNN 알고리즘이 구성되는 경우, 혈압을 추정하고 제공된 임의의 입력값에 대해 학습된 히든 레이어 매트릭스를 이용하면 출력 데이터인 수축기 혈압, 이완기 혈압을 추정할 수 있다.

미리 학습된 데이터는 히든 레이어 매트릭스(hidden layer matrix) 형태로 메모리(미도시)에 저장된다.

이때, 본 발명에서의 심층 신경망(DNN: Deep Neural Network) 알고리즘은 환자들의 심전도, 혈압, 호흡수, PPG를 포함하고 있는 정보를 활용하여 기초 학습을 진행하게 된다.

예를 들어, 기초 학습에 필요한 데이터를 MIMIC 정보를 활용하였다.

상기 MIMIC는 도 15에 도시한 바와 같이, ICU(Intensive Care Unit,중환자실) 환자들의 심전도, 혈압, 호흡수, PPG 등 다양한 데이터를 저장하고 있으며, 무료로 제공하고 있으며, 이러한 데이터를 활용하여 학습 및 테스트와 평가를 진행하게 되는 것이다.

이때, 진행되어 나오는 결과를 확인하고 오차를 줄이기 위해 MIMIC에 있는 값과 추정되어 나온 값을 비교하여 오차를 구하며 계산식은 수식 1과 같으며, 오차 비율은 수식2와 같다.

그리고, DNN에 다시 오차를 수정하도록 학습을 진행하게 되는 것이다.

이러한 과정을 반복하게 되면 보다 정확한 혈압 추정이 가능한 장점을 발휘할 수가 있게 되는 것이다.

상기한 오차를 줄이기 위하여 하기의 수식1 내지 수식2를 이용하는 것이다.

(수식1)

(수식2)

(e : 오차값, e_r: 오차 비율, BP_es : 딥러닝을 통해 얻은 혈압 추정값, BP : 환자들의 MIMIC 데이터 혈압값)

다음은 도 16을 참조하여 특정 데이터의 입력값에 따른 출력값에 대하여 설명하도록 하겠다.

MIMIC에 저장된 데이터 A에 대해서 특징 25가지를 추출하여 학습된 딥 러닝 모델에 입력하였을 경우, 결과 값이 SBP : 120, DBP : 40이 출력되었다.

예를 들어, 상기 특징 25가지는 형태학적 특징 5가지, 스펙트럼 특징 20가지를 포함하고 있는데, F1 ~ F5는 형태학적 특징값, F6 ~ F25는 스펙트럼 특징값으로 데이터 처리할 수 있는데, F1 - 5, F2 - 8, F3 - 10, ... , F23 - 14, F24 -2, F25 - 7과 같은 입력값을 PPG신호기반혈압추정부(300)에 제공하게 되면, PPG신호기반혈압추정부(300)에서는 심층 신경망(DNN: Deep Neural Network) 알고리즘을 이용하여 학습을 실시하게 되는데, 결과값으로 SBP : 120, DBP : 40을 출력하게 되는 것이다.

이때, MIMIC에 저장되어 있지 않은 데이터 B에 대해서, 즉, 카메라를 통해 획득된 영상 이미지에 대하여 특징을 추출하게 되는 것이다.

예를 들어, F1 - 7, F2 - 10, F3 - 12, ... , F23 - 8, F24 - 4, F25 - 9와 같은 입력값을 PPG신호기반혈압추정부(300)에 제공하게 되면, PPG신호기반혈압추정부(300)에서는 심층 신경망(DNN: Deep Neural Network) 알고리즘을 이용하여 혈압을 추정하게 되는데, 결과값으로 SBP : 125, DBP : 45를 출력하게 되는 것이다.

따라서, 상기 혈압을 추정하고 하는 영상 이미지에 대한 특징 25가지의 값이 데이터 A와 유사한 것을 확인하였다.

한편, 다른 부가적인 양태에 따른 본 발명인 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치는,

PPG신호기반혈압추정부를 통해 추정된 혈압 수치를 획득하여 혈압 기준 정보와 비교하여 정상 혈압인지, 주의 혈압인지, 고혈압인지를 판단하여 판단 결과값을 출력시키기 위한 혈압판단결과출력처리부(400)를 더 포함하여 구성할 수 있다.

예를 들어, 도 17과 같이, 수축기혈압과 이완기혈압의 기준 정보를 상기 PPG신호기반혈압추정부를 통해 추정된 혈압 수치 정보와 비교하여 정상 혈압인지, 주의 혈압인지, 고혈압인지를 판단하여 판단 결과값을 출력시키게 되는 것이다.

상기 데이터 B, 즉, 카메라를 통해 획득된 영상 이미지에 대한 결과값인 SBP : 125, DBP : 45를 도 17의 혈압 기준값과 비교하게 되면, 수축기 혈압값이 주의 혈압값에 해당하므로 주의 혈압값이라는 판단 결과값을 출력시키는 것이다.

이때, 부가적인 양태에 따라, 상기 혈압판단결과출력처리부(400)는,

이를 위하여, 도 18에 도시한 바와 같이, 상기 혈압판단결과출력처리부(400)는,

사용자 인증을 수행하기 위한 사용자인증수행모듈(410);

상기 사용자 인증을 수행한 후, 로그인시, 해당 사용자단말기로부터 혈압을 추정하기 위하여 영상 이미지 정보를 획득하기 위한 영상이미지정보획득모듈(420);

상기 획득된 영상 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하기 위한 사용자라벨링실행모듈(430);

상기 사용자라벨링실행모듈에 의해 제공된 라벨링 정보와 해당 영상 이미지 정보를 저장하고 있는 사용자라벨링정보저장모듈(440);

PPG신호기반혈압추정부를 통해 추정된 혈압 수치를 획득하여 혈압 기준 정보와 비교하여 정상 혈압인지, 주의 혈압인지, 고혈압인지를 판단하기 위한 혈압판단모듈(450);

상기 판단 결과값을 상기 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하기 위한 혈압판단결과값전송모듈(460);을 포함하여 구성되게 된다.

구체적으로 설명하면, 사용자인증수행모듈은 사용자 인증을 수행하기 위한 기능을 수행하게 되는데, 예를 들어, 로그인 페이지를 제공하고, 로그인 페이지 상에 아이디, 비번, 주소, 연락처, 성명 등을 입력하게 된다.

이때, 입력된 정보를 토대로 개인 정보를 저장하여 관리하게 된다.

이후, 영상이미지정보획득모듈은 상기 사용자 인증을 수행한 후, 사용자가 사용자단말기를 이용하여 로그인시, 해당 사용자단말기로부터 혈압을 추정하기 위하여 영상 이미지 정보를 획득하게 된다.

즉, 영상 이미지를 획득하기 위한 페이지를 제공하고, 해당 페이지에 첨부된 이미지를 획득하게 되는 것이다.

그리고, 상기 사용자라벨링실행모듈은 상기 획득된 영상 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하게 된다.

예를 들어, 사용자 아이디, 접속 사용자단말기 고유 번호, 접속 일자, 이미지 업로딩 일자, 영상 이미지에 추가적으로 이미지 라벨링을 수행하게 되고, 수행된 라벨링 정보와 영상 이미지 정보를 사용자라벨링정보저장모듈에 저장 처리하게 되는 것이다.

그리고, 상기 혈압판단모듈은 PPG신호기반혈압추정부를 통해 추정된 혈압 수치를 획득하여 혈압 기준 정보와 비교하여 정상 혈압인지, 주의 혈압인지, 고혈압인지를 판단하게 되는 것이다.

이때, 혈압판단결과값전송모듈은 혈압에 대한 판단 결과값을 획득할 경우에 상기 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하여 현재 혈압 상태를 알려주게 되는 것이다.

이때, 결과값은 혈압 기준에 따라 사용자가 이해하기 쉽도록 위험도에 맞는 색상으로 위험도를 구분할 수 있도록 하게 된다.

예를 들어, 정상일 경우에 녹색, 주의일 경우에 노란색, 고혈압일 경우에 빨간색으로 표시하는 것이다.

본 발명에 의하면, 카메라를 통해 촬영된 영상을 획득하여 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하고, 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출한 후, 상기 추출된 특징들을 입력값으로 하여 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하도록 함으로써, 정상 혈압인지, 주의 혈압인지, 고혈압인지에 대한 혈압 추정 정확도를 향상시키고, 변별 속도를 높이는 효과를 발휘하게 된다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100 : PPG신호측정부
200 : PPG신호특징추출부
300 : PPG신호기반혈압추정부
400 : 혈압판단결과출력처리부

Claims

이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치에 있어서,
혈압을 추정할 영상 이미지 정보를 획득하고, 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하기 위한 PPG신호측정부(100);
상기 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출하기 위한 PPG신호특징추출부(200);
상기 PPG신호특징추출부로부터 추출된 특징들을 입력값으로 하며, 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하기 위한 PPG신호기반혈압추정부(300);를 포함하여 구성되고,

상기 PPG신호측정부(100)는,
카메라와 연결되어 혈압을 추정하기 위한 영상 이미지를 직접적으로 촬영해 획득하거나, 무선 네트워크 또는 인터넷 네트워크에 연결되어 혈압을 추정할 영상 이미지 정보를 획득하고,

상기 PPG신호특징추출부(200)는,
상기 측정된 PPG 신호의 피크를 중심으로 수축기 상승 시간 부분과 이완기 시간 부분으로 나누어 형태학적 특징을 추출하기 위한 형태학적특징추출모듈(210);
상기 측정된 PPG 신호에 대하여 PSD(Power Spectrum Density)를 이용하여 스펙트럼 특징을 추출하기 위한 스펙트럼특징추출모듈(220);을 포함하여 구성되는 것을 특징으로 하는 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치.
이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치에 있어서,
혈압을 추정할 영상 이미지 정보를 획득하고, 영상의 프레임마다 변화하는 색상 성분값을 이용하여 PPG 신호를 측정하기 위한 PPG신호측정부(100);
상기 측정된 PPG 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출하기 위한 PPG신호특징추출부(200);
상기 PPG신호특징추출부로부터 추출된 특징들을 입력값으로 하며, 수축기 혈압과 이완기 혈압을 출력으로 하는 학습된 혈압추정 알고리즘을 이용하여 혈압을 추정하기 위한 PPG신호기반혈압추정부(300);
PPG신호기반혈압추정부를 통해 추정된 혈압 수치를 획득하여 혈압 기준 정보와 비교하여 정상 혈압인지, 주의 혈압인지, 고혈압인지를 판단하여 판단 결과값을 출력시키기 위한 혈압판단결과출력처리부(400);를 포함하여 구성되고,

상기 PPG신호측정부(100)는,
카메라와 연결되어 혈압을 추정하기 위한 영상 이미지를 직접적으로 촬영해 획득하거나, 무선 네트워크 또는 인터넷 네트워크에 연결되어 혈압을 추정할 영상 이미지 정보를 획득하고,

상기 PPG신호특징추출부(200)는,
상기 측정된 PPG 신호의 피크를 중심으로 수축기 상승 시간 부분과 이완기 시간 부분으로 나누어 형태학적 특징을 추출하기 위한 형태학적특징추출모듈(210);
상기 측정된 PPG 신호에 대하여 PSD(Power Spectrum Density)를 이용하여 스펙트럼 특징을 추출하기 위한 스펙트럼특징추출모듈(220);을 포함하여 구성되는 것을 특징으로 하는 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치.
삭제
제 1항 또는 제 2항에 있어서,
학습된 혈압추정 알고리즘은 미리 학습된 심층 신경망(DNN: Deep Neural Network) 알고리즘을 이용하는 것으로서, 심층 신경망(DNN: Deep Neural Network) 알고리즘은,
환자들의 심전도, 혈압, 호흡수, PPG를 포함하고 있는 정보(MIMIC 정보)를 활용하여 기초 학습을 진행하되, 오차를 줄이기 위하여 하기의 수식1 내지 수식2를 이용하는 것을 특징으로 하는 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치.

(수식1)

(수식2)
(e : 오차값, e_r: 오차 비율, BP_es : 딥러닝을 통해 얻은 혈압 추정값, BP : 환자들의 혈압값)
제 1항 또는 제 2항에 있어서,
상기 PPG신호기반혈압추정부(300)는,
입력값으로 사용되는 추출된 특징들을 심층 신경망(DNN: Deep Neural Network) 알고리즘의 미리 학습되어 마련된 히든 레이어 매트릭스에 매칭시켜 혈압을 추정하는 것을 특징으로 하는 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치.
제 2항에 있어서,
혈압판단결과출력처리부(400)는,
카메라를 통해 촬영된 영상 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 판단된 혈압 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기(2000)로 전송하는 것을 특징으로 하는 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치.
삭제