KR20200099248A

KR20200099248A - 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법

Info

Publication number: KR20200099248A
Application number: KR1020190016819A
Authority: KR
Inventors: 홍광석; 조상일
Original assignee: 와이케이씨테크(주)
Priority date: 2019-02-13
Filing date: 2019-02-13
Publication date: 2020-08-24
Also published as: KR102243012B1

Abstract

본 발명의 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법은 얼굴 영상을 촬영하고, 촬영된 얼굴 영상에서 피부 관심 영역을 검출하는 단계, 검출된 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계, 색상 데이터 평균값을 필터링하여 생체신호를 추출하는 단계, 추출된 생체신호와 사용자의 신체정보를 이용해 심혈관의 건강지표를 산출하는 단계 및 산출된 심혈관의 건강지표를 이용하여 혈관탄성도와 부정맥을 진단하는 단계, 혈관탄성도와 부정맥을 진단한 진단결과의 기록 및 관리를 위한 헬스 로그를 구성하는 단계, 헬스 로그를 기초로 사용자의 동기 부여를 위한 알림 메시지 생성 및 출력하는 단계 및 진단결과에 따라 개인맞춤형 콘텐츠를 추천하는 단계를 포함한다.

Description

피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법{Estimation method of blood vessel elasticity and arrhythmia using skin image}

본 발명은 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법에 관한 것이다.

세계 인구의 주요 사망 원인인 심혈관 질환은 우리나라의 경우 전체 사망자의 약 21.6 %를 차지한다. 실혈관 질환은 인구 고령화와 라이프 스타일의 변화로 인해 급격히 증가하고 있다. 심혈관 질환으로는 허혈성 심장 질환, 뇌졸중 및 고혈압과 같은 순환계 관련 질환이 있으며 부모의 유전적 요인 및 음주 및 흡연과 같은 환경적 요인과 같은 다양한 위험 요소의 영향을 받는다. 그것은 또한 당뇨병과 비만과 같은 다른 질병과 밀접한 관련이 있다.

실혈관 질환 중 하나인 부정맥을 추정하는 전통적인 도구는 심전도 파형에서 RR간격의 비율을 통해 추정하는 방법을 사용해 왔다. 심장의 전기적 신호인 심전도 파형과 달리 맥박에 따른 혈류 흐름을 측정한 맥파에서는 R파를 제외한 다른 파형의 관찰이 쉽지 않다.

동맥의 경직도는 동맥의 탄력성 감소에 의한 단단한 정도를 의미하는 것이다. 동맥의 경직도를 결정하는 가장 주요한 인자는 연력이며 나이가 들어 노화할수록 동맥벽 조직에 변화가 발생하여서 탄성이 감소하고 경직도가 증가하게 된다.

동맥의 경직도는 심혈관질환의 발생 위험도를 예측할 수 있는 중요한 척도이다. 동맥의 경직도가 증가한 환자는 향후 심혈관 질환의 발생 고위험군으로 분류된다.

그리고 맥파전달속도(PWV)는 동맥의 경직도를 추정하는 유용한 지표이다. 맥파전달속도(PWV)는 나이에 따라 변화한다. 젊은 사람에게서는 동맥이 탄력적이므로 맥파전달속도(PWV)가 비교적 낮으나, 노화가 진행될수록 동맥이 탄력적이지 않아 맥파전달속도(PWV)가 높아진다. 맥파전달속도(PWV)를 측정하는 방법으로는 측정부위에 따라 분류되며 이 중 파형의 기록이 비교적 수월한 baPWV(brachial-ankle PWV)가 사용되고 있다. 종래의 baPWV는 발목과 상완에서 추출된 맥파에서 두 지점의 맥파속도 차이 값과 거리를 이용해 속도를 계산하였다.

상술한 바와 같이, 종래에는 심혈관 질환을 진단하기 위해 부정맥 또는 동맥의 경직도를 측정하였으나, 이를 정확하게 측정하는 장치가 고가일 뿐만 아니라 측정하는 비용도 비싸 주기적으로 진료하고 측정하는데 많은 어려움이 있었다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 본 발명은 피부 영상을 이용한 자가진단 중 혈관탄성도 측정을 통해 사용자의 혈관상태를 자가진단하고, 진단결과를 기록/관리하는 헬스 로그(Health-log)를 통해 사용자의 상태변화를 관찰함으로써, 사용자의 상태변화에 따른 심혈관 건강 예방 및 개선 콘텐츠를 제공하여 적절한 콘텐츠 수행을 통한 예방책을 제공할 수 있는 얼굴 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법을 제공하고자 한다.

상기 기술적 과제를 달성하기 위해, 본 발명은 얼굴 영상을 촬영하고, 촬영된 얼굴 영상에서 피부 관심 영역을 검출하는 단계, 검출된 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계, 색상 데이터 평균값을 필터링하여 생체신호를 추출하는 단계, 추출된 생체신호와 사용자의 신체정보를 이용해 심혈관의 건강지표를 산출하는 단계 및 산출된 심혈관의 건강지표를 이용하여 혈관탄성도와 부정맥을 진단하는 단계, 혈관탄성도와 부정맥을 진단한 진단결과의 기록 및 관리를 위한 헬스 로그를 구성하는 단계, 헬스 로그를 기초로 사용자의 동기 부여를 위한 알림 메시지 생성 및 출력하는 단계 및 진단결과에 따라 개인맞춤형 콘텐츠를 추천하는 단계를 포함하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법을 제공한다.

또한 색상 데이터 평균값은 검출된 얼굴의 좌표를 이동평균 알고리즘으로 보정하여 추출할 수 있다.

또한, 심혈관 질환의 주요지표를 산출하는 단계는 생체신호와 사용자의 신체정보를 이용해 분당 맥박수, 분당 호흡수, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥/불규칙 부정맥, 혈량, 혈액점도, 기이맥박 중 하나 이상을 산출할 수 있다.

또한, 분당 맥박수는 생체신호의 맥박관련 주파수 대역(0.5~4Hz)에서 최대 주파수 성분을 이용하여 산출할 수 있다.

또한, 분당 호흡수는 생체신호의 호흡관련 주파수 대역(0.13~0.4Hz)에서 최대 주파수 성분을 이용하여 산출할 수 있다.

또한, 맥박강도는 생체신호의 맥박관련 주파수 대역으로 밴드 패스 필터(Bnad Pass Filter)를 수행한 맥파의 진폭을 이용하여 산출할 수 있다.

또한, 혈압은 두 곳의 피부 관심 영역에서 산출한 맥파의 PTT(Pulse Transit Time)를 이용하여 산출할 수 있다.

또한, 혈관탄성도는 두 곳의 피부 관심 영역에서 산출한 맥파의 시간 차와 관심영역 거리를 계산하여 맥파전달속도(PWV)를 산출할 수 있다.

또한, 피부 관심 영역은 제1 피부 관심 영역과 제2 피부 관심 영역을 포함하고, 제1 피부 관심 영역과 제2 피부 관심 영역간의 실제 거리는 촬영된 얼굴 영상에서 얼굴을 기반으로 카메라와의 거리를 추정하고, 추정된 카메라와의 거리를 이용해 도출할 수 있다.

또한, 진단결과를 기반으로 사용자의 개선 및 미흡 상태를 출력하고, 진단결과의 기록을 도식화할 수 있다.

또한, 진단결과에 따라 추천된 개인맞춤형 콘텐츠의 수행을 위한 동기 부여를 위한 알림 및 메시지를 생성하여 제공할 수 있다.

또한, 진단결과 및 사용자의 상태에 대한 변화 정도에 따라 개인맞춤형 콘텐츠를 추천 또는 설정하고, 개인맞춤형 콘텐츠는 개인맞춤형 음악, 맥박맞춤 및 정상맥박 유도음원, 치유 주파수 적용음원, 개인맞춤형 운동가이드 및 개인맞춤형 섭취가이드 중 적어도 하나를 포함할 수 있다.

또한, 음식을 촬영하고, 촬영된 음식에서 상기 음식에 대한 칼로리를 추정하고, 사용자의 진단결과에 따라 음식에 대한 섭취유무를 판정할 수 있다.

또한, 개인맞춤형 운동가이드는 사용자의 신체정보에 따른 운동 종류 및 방법을 구성하여 제공할 수 있다.

이하 설명하는 기술은 비접촉식 방식으로 사용자가 보유하고 있는 스마트 기기로 촬영한 얼굴 피부 영상을 이용하여 심혈관 질환을 예방 또는 관리할 수 있기 때문에 별도의 장비에 대한 추가 비용을 고려하지 않을 수 있다.

또한, 본 발명은 얼굴 피부 영상을 이용한 자가진단 중 혈관탄성도 측정을 통해 사용자의 혈관상태를 자가진단하고, 진단결과를 기록/관리하는 Health-log를 통해 사용자의 상태변화를 관찰함으로써, 사용자의 상태변화에 따른 심혈관 건강 예방 및 개선 콘텐츠를 제공하여 적절한 콘텐츠 수행을 통한 예방책을 제공할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 얼굴 피부 영상을 이용한 혈관탄성도와 부정맥 진단하는 장치의 구성을 도시한 예이다.
도 2는 본 발명의 일실시 예에 따른 피부 영상을 이용한 혈관탄성도 및 부정맥 진단 방법과 헬스 로그(Health-log)에 대한 일례를 나타낸 것이다.
도 3a와 도 3b는 본 발명의 일실시 예에 따라 이동평균 알고리즘을 적용하기 전후의 좌표를 설명하기 위한 그래프이다.
도 4는 본 발명의 일실시 예에 따른 피부 영상을 이용한 심혈관 건강지표 진단 방법을 자세하게 나타낸 것이다.
도 5는 발명의 일실시 예에 따라 정상 맥파와 PVC의 ACF를 보여주기 위해 나타낸 그래프이다.
도 6은 본 발명의 일실시 예에 따라 자가진단을 통해 추정한 혈관탄성도 및 혈관나이의 산출과정을 나타낸 것이다.
도 7은 본 발명의 일실시 예에 따라 피부 관심 영역을 얼굴 동맥의 구간으로 설정하는 것을 나타낸 것이다.
도 8은 본 발명의 일실시 예에 따라 영상좌표계 상의 검출된 얼굴 폭에 따른 카메라와의 실제거리 산포도를 나타낸 것이다.
도 9는 본 발명의 일실시 예에 따라 산포도를 기반으로 카메라와의 거리에 따라 1픽셀 당 실제거리를 추정한 회귀곡선을 나타낸 것이다.
도 10은 본 발명의 일실시 예에 따라 사용자별로 생성된 정보를 도식화하는 것을 나타낸 것이다.
도 11은 본 발명의 일실시 예에 따라 사용자의 헬스 로그(Health-log)를 기반으로 상태변화 정도를 계산하고 상태에 따른 개인 맞춤형 콘텐츠를 나타낸 것이다.
도 12는 본 발명의 일실시 예에 따라 음식인식과 건강에 따른 섭취가이드를 나타낸 것이다.
도 13은 본 발명의 일실시 예에 따라 개인 맞춤형 운동 가이드를 나타낸 것이다.
도 14는 성인 남녀 20명 100개 데이터의 PWV분포를 나타낸 것이다.
도 15는 나이에 따른 한국 성인남녀 baPWV분포를 나타낸 것이다.
도 16은 baPWV 정상범위를 나타낸 것이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

도 1은 본 발명의 실시 예에 따른 얼굴 피부 영상을 이용한 혈관탄성도와 부정맥 진단하는 장치의 구성을 도시한 예이다.

본 발명은 스마트 기기(50)에서 촬영한 얼굴 영상의 피부 관심 영역에서 생체신호를 추출하고, 추출된 생체신호를 이용한 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다. 본 발명은 추정된 지표들을 추정결과 DB에 저장하고, 측정결과의 도식화를 수행해 헬스로그(Health-log)형태로 사용자에게 제공할 수 있다. 이후 본 발명은 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지를 제공함으로써, 사용자의 건강에 대한 동기부여를 유발할 수 있다. 사용자는 스마트 기기(50)에 내장된 카메라로 얼굴을 촬영할 수 있다. 예를 들어, 스마트 기기는 적어도 하나의 카메라가 내장된 휴대폰, 스마트 폰, 웨어러블 기기 등을 포함할 수 있다.

본 발명에서는 다양한 색상체계 중 일례로 RGB 색상체계를 YCgCo 색상체계로 변환하여 산출된 Cg 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 추출된 생체신호에서 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관 나이, 서맥/빈맥 부정맥, 불규칙부정맥, 혈량, 혈액점도 및 기이맥박을 추출 도는 추정할 수 있다. 이에 대한 자세한 과정은 후술하기로 한다.

도 1의 (a)를 살펴보면, 스마트 기기(50)는 카메라(51), 저장 장치(52), 제어 장치(53), 출력 장치(54) 및 연산장치(55)를 포함할 수 있다.

카메라(51)는 사용자를 촬영하고, 촬영된 영상을 이용하여 얼굴 영상을 획득할 수 있다. 카메라는 스마트 기기에 내장된 카메라, 일반 카메라 또는 적외선 카메라를 포함할 수 있다.

저장 장치(52)는 카메라(51) 또는 제어 장치(53)와 전기적으로 연결될 수 있다. 저장 장치(52)는 카메라(51)로부터 공급되는 얼굴 영상을 임시로 저장할 수 있고, 추정된 지표들을 추정결과 DB에 저장할 수 있다.

제어 장치(53)는 출력 장치(54)와 연산장치(55)의 제어를 수행할 수 있다.

출력 장치(54)는 측정결과의 도식화를 수행해 헬스로그(Health-log)형태로 사용자에게 제공할 수 있다. 출력 장치(54)는 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지를 제공함으로써, 사용자의 건강에 대한 동기부여를 유발할 수 있다. 예를 들어, 출력 장치(54)는 디스플레이부를 포함할 수 있다. 디스플레이부는 측정결과의 도식화를 수행해 헬스로그(Health-log)형태를 디스플레이할 수 있다.

연산 장치(55)는 카메라로(51)부터 얼굴 영상을 공급받아, 얼굴 영상의 피부 관심 영역에서 생체신호를 추출하고, 추출된 생체신호를 이용한 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다.

도 1의 (b)를 살펴보면, 본 발명은 컴퓨터(85)와 같은 장치를 이용하여 비접촉식으로 얼굴 영상의 피부 관심 영역에서 생체신호를 추출하고, 추출된 생체신호를 이용한 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다. 사용자는 컴퓨터(85)에 연결된 카메라(81)로 얼굴을 촬영할 수 있다. 컴퓨터(85)는 카메라로(81)부터 얼굴 영상을 공급받아, 얼굴 영상의 피부 관심 영역에서 생체신호를 추출하고, 추출된 생체신호를 이용한 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다. 컴퓨터(85)는 카메라(81)로부터 공급되는 얼굴 영상을 임시로 저장할 수 있고, 추정된 지표들을 추정결과 DB에 저장할 수 있다. 컴퓨터(85)는 측정결과의 도식화를 수행해 헬스로그(Health-log)형태로 사용자에게 제공할 수 있다. 컴퓨터(85)는 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지를 제공함으로써, 사용자의 건강에 대한 동기부여를 유발할 수 있다.

도 1의 (c)를 살펴보면, 본 발명은 사용자 단말(91)로 획득한 얼굴 영상을 원격지에 있는 서버(95)에 제공함으로써, 원격으로 헬스 케어를 제공받을 수 있다. 사용자는 사용자 단말(91)에 내장된 카메라로 사용자의 얼굴을 촬영할 수 있다. 사용자 단말(91)은 촬영한 얼굴 영상을 네트워크를 통해 서버(95)에 전달할 수 있다. 이 경우 사용자 단말(91)은 데이터 전송을 위한 통신 모듈을 포함할 수 있다.

서버(95)는 사용자 단말(91)로부터 얼굴 영상을 공급받아, 얼굴 영상의 피부 관심 영역에서 생체신호를 추출하고, 추출된 생체신호를 이용한 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다. 서버(95)는 카메라(81)로부터 공급되는 얼굴 영상을 임시로 저장할 수 있고, 추정된 지표들을 추정결과 DB에 저장할 수 있다. 서버(95)는 측정결과의 도식화를 수행해 헬스로그(Health-log)형태로 사용자 단말(91)을 통해 사용자에게 제공할 수 있다. 서버(95)는 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지를 사용자 단말(91)에 제공함으로써, 사용자의 건강에 대한 동기부여를 유발할 수 있다.

경우에 따라서는 사용자 단말(91)이 촬영한 얼굴 영상을 공급받아, 얼굴 영상의 피부 관심 영역에서 생체신호를 추출하고, 추출된 생체신호를 이용한 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다. 사용자 단말(91)은 측정결과의 도식화를 수행해 헬스로그(Health-log)형태로 통해 사용자에게 제공할 수 있다. 사용자 단말(91)은 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지를 제공함으로써, 사용자의 건강에 대한 동기부여를 유발할 수 있다. 그리고 사용자 단말(91)은 추정된 지표들, 측정결과의 도식화를 수행해 헬스로그(Health-log)형태, 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지 등을 서버(95)에 전달할 수 있다. 이 경우 서버(95)는 추정된 지표들을 추정결과 DB에 저장하고, 측정결과의 도식화를 수행해 헬스로그(Health-log)형태, 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지를 사용자 DB에 저장할 수 있다.

상술한 바와 같이, 다양한 전자 장치가 비접촉식으로 촬영한 얼굴 영상을 공급받아, 얼굴 영상의 피부 관심 영역에서 생체신호를 추출하고, 추출된 생체신호를 이용한 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다. 그리고 다양한 전자 장치는 측정결과의 도식화를 수행해 헬스로그(Health-log)형태로 통해 사용자에게 제공할 수 있을 뿐만 아니라 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지를 제공함으로써, 사용자의 건강에 대한 동기부여를 유발할 수 있다. 설명의 편의를 위해 이하, 컴퓨터 장치가 생체신호를 추출 또는 산출한다고 설명한다.

도 2는 본 발명의 일실시 예에 따른 얼굴 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법에 대한 일례를 나타낼 수 있다. 도 3a와 도 3b는 본 발명의 일실시 예에 따라 이동평균 알고리즘을 적용하기 전후의 좌표를 설명하기 위한 그래프이다.

도 2 내지 도 3b를 살펴보면, 컴퓨터 장치는 사용자의 정보 및 데이터베이스를 체크할 수 있다(S110). 사용자 정보는 사용자의 이름, 성별 그리고 사용자의 기본 신체정보를 포함할 수 있다. 예를 들어, 사용자의 기본 신체정보는 키, 몸무게, 혈압, 맥박, 체온 등을 포함할 수 있다. 사용자는 혈관탄성도와 기타 심혈관 건강 지표를 추정하기 위해 사용자의 기본 신체정보를 컴퓨터 장치에 입력할 수 있다. 예를 들어, 컴퓨터 장치는 사용자가 착용하고 있는 휴대기기에 설치된 어플리케이션과 연동되어, 사용자의 움직임으로 인해 변화되는 사용자의 신체정보(혈압, 맥박, 체온)를 실시간으로 제공받을 수 있다.

또한, 컴퓨터 장치는 입력된 사용자의 정보 및 데이터베이스를 업그레이드 하거나 주변의 환경에 따라 초기화시킬 수 있다(S120).

컴퓨터 장치는 입력된 사용자의 정보를 체크한 후 카메라를 이용하여 얼굴 영상을 촬영하여 사용자의 생체신호를 추출할 수 있다(S130). 컴퓨터 장치는 카메라를 이용하여 얼굴 영상을 촬영할 수 있다. 얼굴 영상은 얼굴 피부 영상이라 칭할 수 있다. 컴퓨터 장치는 카메라가 촬영한 얼굴 영상에서 피부를 검출하고 피부 관심 영역에서 색상 데이터 평균값을 계산하고, 이를 이용하여 생체신호를 추출할 수 있다.

컴퓨터 장치는 검출된 얼굴의 좌표를 이동평균 알고리즘으로 보정하여 안정적인 색상 데이터 평균값을 추출할 수 있다. 얼굴의 좌표는 얼굴 영역의 좌표라 칭할 수 있다.

도 3a는 이동평균 알고리즘을 적용하기 전의 좌표를 나타낼 수 있다. 도 3a에 도시된 바와 같이, 컴퓨터 장치는 매 프레임에서 검출되는 얼굴의 좌표가 변하기 때문에 안정적인 위치에서 생체신호를 추출하기에 한계가 있을 수 있다.

도 3b는 이동평균 알고리즘을 적용하기 후의 좌표를 나타낼 수 있다. 도 3b에 도시된 같이, 컴퓨터 장치는 얼굴 검출에 사용되는 좌표(얼굴의 x, y, width, height)에 이동평균 알고리즘을 적용하여 안정적인 좌표를 검출할 수 있다.

상술한 바와 같이, 컴퓨터 장치는 입력된 영상에서 매 프레임 검출되는 얼굴의 영상좌표를 안정화하기 위해 좌표에 이동평균 알고리즘을 적용함으로써 얼굴 피부의 혈관으로부터 생체신호를 효율적으로 추출할 수 있다. 이동평균 알고리즘은 이동평균필터를 이용할 수 있다.

컴퓨터 장치는 추출된 얼굴 피부 영상의 생체신호를 이용하여 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다(S140). 이에 대한 자세한 설명은 후술하기로 한다.

컴퓨터 장치는 추정된 심혈관 건강지표인 맥박, 호흡, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박들을 추정한 지표인 추정결과 DB에 저장할 수 있다(S150).

컴퓨터 장치는 측정결과의 도식화를 수행해 헬스로그(Health-log) 또는 건강 기록 형태로 사용자에게 제공할 수 있다(S160).

이후 컴퓨터 장치는 측정 시기와 측정결과에 따라 콘텐츠 수행 및 측정 유도를 위한 알림 메시지를 제공할 수 있다(S170). 컴퓨터 장치는 측정 및 콘텐츠 수행을 위한 메시지를 사용자에게 제공 또는 출력함으로써, 개선에 대한 동기부여를 유발할 수 있다.

이후 컴퓨터 장치는 심혈관 건강 예방 및 개선을 위한 개인 맞춤형 콘텐츠를 추천할 수 있다(S180). 즉, 컴퓨터 장치는 측정결과에 따라 식단, 운동, 음악 등 개인맞춤형 콘텐츠를 구성하여 사용자에게 추천할 수 있다. 이에 사용자는 컴퓨터 장치에서 추천된 개인맞춤형 콘텐츠를 선택하고, 선택한 콘텐츠를 수행할 수 있다.

컴퓨터 장치는 개인맞춤형 콘텐츠 수행이후 자동으로 사용자의 콘텐츠 수행기록을 저장하여 헬스 로그(Health-log) 또는 건강 기록에 반영할 수 있다(S190).

도 4는 본 발명의 일실시 예에 따른 피부 영상을 이용한 심혈관 건강지표 진단방법을 자세하게 나타낼 수 있다. 도 5는 발명의 일실시 예에 따라 정상 맥파와 PVC의 ACF를 보여주기 위해 나타낸 그래프이다.

도 4를 살펴보면, 컴퓨터 장치는 사용자의 정보를 입력할 수 있다(S110,S120). 사용자 정보는 사용자의 이름, 성별 그리고 사용자의 기본 신체정보를 포함할 수 있다. 예를 들어, 사용자의 기본 신체정보는 키, 몸무게, 혈압, 맥박, 체온 등을 포함할 수 있다.

컴퓨터 장치는 카메라를 이용하여 얼굴영상을 촬영할 수 있다(S130).

컴퓨터 장치는 촬영된 얼굴 영상에서 얼굴 및 피부 영역을 검출할 수 있다(S131).

컴퓨터 장치는 검출된 얼굴 영상을 이용하여 생체신호를 추출할 수 있다(S132).

컴퓨터 장치는 얼굴 영상에서 피부를 검출하고, 검출된 피부에서 피부 관심 영역을 검출 또는 설정할 수 있다. 이때 피부 관심 영역의 크기는 유동적으로 조절할 수 있다. 컴퓨터 장치는 다양한 알고리즘을 이용하여 피부 관심 영역을 검출 또는 설정할 수 있다. 이때 피부 관심 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다.

컴퓨터 장치는 피부 관심 영역에 대한 색상 평균 데이터 계산 또는 산출할 수 있다. 색상 평균 데이터는 평균 색상 데이터 또는 색상 데이터 평균값이라 칭할 수 있다. 컴퓨터 장치는 추출한 피부 관심 영역에 대한 색상 평균 데이터를 추출 또는 산출할 수 있다. 또한, 컴퓨터 장치는 획득한 영상에서 특정한 피부 영역에 대한 색상 평균 데이터를 추출 또는 산출할 수도 있다.

예를 들어, 색상 데이터는 다양한 값이 사용될 수 있다. 예컨대, (1) 색상 데이터는 RGB 색상 체계를 기준으로 R값, G값 및 B값 중 적어도 하나를 사용할 수 있다. 색상 데이터는 R값, G값 및 B값 중 적어도 하나에 대한 색상 평균 데이터를 사용할 수도 있다. (2) 컴퓨터 장치는 RGB 색상 체계를 다른 색상 체계로 변환할 수 있다. 예컨대, 컴퓨터 장치는 RGB 색상 체계를 YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계로 변환할 수 있다. 이 경우 색상 데이터는 주변 환경(조도 등)에 영향을 적게 받는 색차 성분 중 하나를 이용할 수 있다. 예컨대, YCbCr의 경우 Cb값 또는 Cr값 중 적어도 하나를 이용할 수 있다. YCgCo의 경우는 Cg값 또는 Co값 중 적어도 하나를 이용할 수 있다. 나아가 두 개의 색차 성분 중 조도의 변화에 보다 강인한 어느 하나를 이용할 수 있다. 예컨대, YCgCo의 경우는 Cg값만을 이용할 수 있다. 이 경우 컴퓨터 장치는 피부 영역의 Cg 색상 데이터의 평균값을 색상 데이터로 추출할 수 있다. (3) 나아가 색상 데이터는 RGB, YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계에서 적어도 하나 이상의 색 성분에 가중치를 적용하여 조합한 값일 수도 있다. 색 성분을 조합하는 경우 색상 데이터는 색상 체계 및 색 성분의 종류에 따라 서로 다른 가중치를 부여한 값을 합산한 값일 수도 있다. 컴퓨터 장치는 RGB 색상 체계를 갖는 얼굴 영상을 YCgCo 색상 체계로 변경할 수 있으며, 이하 컴퓨터 장치는 YcgCo에서 Cg값을 구하여 사용한다고 가정한다.

컴퓨터 장치는 색상 데이터 평균값에 필터링을 적용하여 생체신호를 추출할 수 있다(S132). 생체신호는 맥파 신호라 칭할 수 있다.

컴퓨터 장치는 산출된 생체신호를 이용하여 심혈관 건강 지표를 추정할 수 있다. 컴퓨터 장치는 얼굴 및 피부 등 사용자의 상태를 잘 반영할 수 있는 영역을 촬영한 후, 얼굴 검출 및 피부색 검출과 같은 전 처리 과정을 통해 피부를 검출할 수 있다. 그리고 컴퓨터 장치는 검출된 피부 영역으로부터 관심 영역을 설정하며, 해당 영역 안의 모든(또는 일부) 픽셀의 Cg 등의 색상 평균값을 추출하여 맥파 신호를 산출 또는 검출할 수 있다. 예를 들어, 컴퓨터 장치는 색상 데이터 평균값에 BPF(Bnad Pass Filter) 또는 MAF(Moving Average Filter)를 적용한 뒤 맥파를 추정할 수 있다(S133). 컴퓨터 장치는 색상 데이터의 평균값에 FFT(Fast Fourier Transform)를 적용할 수 있다. 예컨대, 컴퓨터 장치는 매 프레임에서의 Cg 값의 평균을 계산하여 Cg 신호를 추출하고, 추출된 Cg 신호를 FFT(Fast Fourier Transform)를 이용하여 맥박 주파수 영역 중 가장 큰 주파수 성분을 맥파의 주기로 판단할 수 있다.

맥파는 혈액이 심장에서 파상을 이루며 전파하는 파장을 일컫는 것으로, 심장박동(HRV) 측정, 맥박, 호흡, 맥박강도, 혈압 등을 파악하는데 사용될 수 있다.

컴퓨터 장치는 얼굴 영상을 촬영하고 얼굴 영역의 피부색 검출 방법을 적용하여 맥파 또는 맥파 신호를 추출할 수 있다.

컴퓨터 장치는 Cg 신호로부터 맥파 신호를 추정하기 위해서는 주파수 영역에서 신호를 관찰할 수 있다. 예를 들어, 컴퓨터 장치는 정상적인 경우 안정 또는 흥분 정도에 따라 약 40에서 200까지 분당 맥파가 측정될 수 있으며, 이에 맞춰 주파수 영역에서 관찰하는 영역을 0.65Hz에서 3.4Hz까지로 제한할 수 있다.

컴퓨터 장치는 추출된 생체신호를 이용한 심혈관 건강지표인 분당 맥박수, 분당 호흡수, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥/불규칙 부정맥, 혈량, 혈액점도, 기이맥박을 추정할 수 있다(S140).

예를 들어, 맥박은 생체신호의 맥박관련 주파수 대역(0.67~4Hz)에서 최대 주파수 성분으로 추정(11)할 수 있다. 호흡은 생체신호의 호흡관련 주파수 대역(0.13~0.35Hz)에서 최대 주파수 성분으로 추정(12)할 수 있다. 맥박강도는 생체신호의 맥박관련 주파수 대역으로 BPF 수행한 맥파의 진폭을 이용하여 추정(13)할 수 있다. 혈압은 두 곳의 피부 관심영역에서 산출한 맥파의 PTT(Pulse Transit Time)를 이용하여 혈압을 추정(14)할 수 있다. 혈관탄성도는 두 곳의 피부 관심영역에서 산출한 맥파의 시간 차와 관심영역 거리를 계산하여 맥파전달속도(PWV)를 추정(15)할 수 있다. 혈관나이는 추정된 맥파전달속도(PWV)값과 한국성인남녀 평균 PWV를 적용한 추정(15)할 수 있다. 서맥/빈맥/ 부정맥은 추정된 맥박수를 서맥기준(60회 이하)과 빈맥기준(100회 이상)에 적용하여 추정(16)할 수 있다. 불규칙 부정맥은 맥파 R-R간격의 심실조기박동(PVC)기준과 ACF 기울기 변화를 이용하여 추정(16)할 수 있다. 혈량은 맥파 주파수 영역(0~4.2Hz)의 최대 피크에서 다음 최대 피크의 기울기를 이용하여 혈량을 추정(17)할 수 있다. 혈액정도는 맥파의 피크 지점에서 진폭과 1, 2차 미분, 스프링 상수 K를 이용하여 혈액점도를 추정(18)할 수 있다. 기이맥박은 들숨과 날숨 구간 각각의 영역에서 맥박수의 차이 및 세기가 현저히 차이가 있는 기이맥박 정도를 이용하여 추정(19)할 수 있다. 이를 자세하게 설명하면 다음과 같다.

컴퓨터 장치는 맥박의 경우 추출된 생체신호에서 맥박관련 주파수 대역인 0.67~4Hz의 최대 주파수 성분 또는 주파수 진폭 값의 MAF를 처리함으로써, 맥박변화를 고려한 방법 등을 사용하여 맥박을 추정할 수 있다.

컴퓨터 장치는 호흡의 경우 맥박과 동일하게 호흡관련 주파수(0.13~0.35Hz)대역의 주파수특성을 토대로 추정할 수 있다.

컴퓨터 장치는 맥박강도의 경우 맥박관련 주파수 대역으로 BPF(Band Pass Filtering)처리한 맥파의 진폭에 따라 그래프 형태로 제공할 수 있다.

컴퓨터 장치는 혈관탄성도와 혈관나이 추정에 대한 내용을 도 6에서 자세하게 후술하기로 한다.

컴퓨터 장치는 혈압의 경우 두 피부 관심영역으로부터 산출된 맥파를 이용해 추정할 수 있다.

컴퓨터 장치는 혈압은 사용자의 신체정보(키, 몸무게)와 맥파 전달 시간에 관련이 있을 수 있다.

따라서, 본 발명에서는 혈압 추정을 위한 다중회귀를 적용하여 두 관심영역에서 추출된 맥파의 맥파 전달 시간과 키, 몸무게를 독립변수로 두고 회귀모형을 구할 수 있다.

본 발명은 회귀 모형과 더불어 회귀 모형에서 추정된 혈압과 기기를 통해 측정된 혈압간의 상관관계를 추가 적용하여 아래 수학식 1을 활용해 개선된 혈압을 추정할 수 있다. 수학식 1은 개선된 혈압 추정을 위한 회귀곡선식의 예를 나타낸다.

수학식 1에서

는 신체정보와 맥파전달 시간을 이용해 추정된 혈압을 나타낼 수 있고,

는 기기로 측정된 혈압과 추정된 혈압의 관계를 적용하여 개선된 혈압을 나타낼 수 있으며,

은 수축기,

는 이완기 혈압을 나타낼 수 있다.

또한, 컴퓨터 장치는 부정맥의 대표적 사례인 서맥성 부정맥, 빈맥성 부정맥, 불규칙 부정맥을 추정하는 방법으로 맥박수를 기반으로 한 방법과 맥박 R-R간격을 이용한 방법을 구비할 수 있다.

컴퓨터 장치는 서맥과 빈맥의 경우 안정시 맥박수를 기준으로 추정이 가능하며 분당 60회 이하의 맥박을 보일 경우 서맥, 100회 이상의 맥박수를 보일 경우 빈맥으로 구분할 수 있다.

또한, 컴퓨터 장치는 불규칙 부정맥 중 하나인 심실조기수축(PVC)의 경우 맥파의 피크인 R파의 간격에 따른 기준과 그에 따른 ACF(Auto Correlation Function)기울기를 활용하여 산출할 수 있다.

컴퓨터 장치는 심실조기박동(PVC)의 경우 발생 직전 R파와 이후 연속된 두 개의 R파 간격을 활용해 추정할 수 있다. 심실조기수축(PVC)을 추정하는 수학식 2는 다음과 같다.

수학식 2에서는 R-R간격을 이용한 PVC 추정 방법에 대한 수학식을 보여줄 수 있다.

N은 R 피크의 개수(N : number of R peaks)를 나타낼 수 있고,

은 지속적인 RR의 변화(

: variation of continuous RR)를 나타낼 수 있다. 그리고

은 전체 R-R간격의 78%로 PVC의 특성인 초기 피크간격이 짧고 이후 피크간격이 긴 경우를 추정하기 위해 도입될 수 있다.

상술한 수학식 2를 통해 컴퓨터 장치는 맥파의 피크검출 이후 PVC 추정할 수 있다.

또한, 컴퓨터 장치는 PVC를 추정하기 위한 또 다른 방법으로 분류된 PVC와 정상 맥파의 ACF 기울기를 이용할 수 있다.

먼저, PVC의 경우 R-R간격과 발생한 R파의 감쇠 등 R-R간격 이외 추가적인 특징이 나타날 수 있다. 따라서 맥파의 급격한 변화를 감지할 수 있는 ACF를 사용할 수 있다.

도 5의 (a)에 도시된 바와 같이, 정상 맥파의 경우 정현파의 형태로 신호가 관찰되어 ACF 적용 시 기울기의 선형성이 보장될 수 있다. PVC가 발생한 지점의 ACF는 도 5의 (b)에 도시된 바와 같이, 불규칙한 기울기의 ACF 결과를 보여줄 수 있다. 도 5에 도시된 기울기를 이용하여 본 발명에서는 R-R간격과 R파의 감쇠 등 맥파의 불규칙한 변화에서 ACF을 이용해 PVC를 검출할 수 있다.

컴퓨터 장치는 상술한 기울기의 변화를 계산하기 위해 아래 수학식 3을 사용할 수 있다. 수학식 3은 ACF 기울기 변화를 산출할 수 있다.

수학식 3에 개시된 N은 피크의 개수를 2로 나눈 후 1을 뺀 것(N : (number of peak/2)-1)을 나타낼 수 있다.

컴퓨터 장치는 계산된 기울기 변화 값(

)를 사용해 정상 맥파와 PVC로 구분하는 임계치를 학습하여 ACF의 기울기를 활용한 PVC검출을 수행할 수 있다.

컴퓨터 장치는 혈량의 경우 생체신호의 주파수 영역에서 피크 간 기울기 값과 사용자의 신체정보(성별, 몸무게)를 사용해 추정할 수 있다. 컴퓨터 장치는 측정된 생체신호에서 주파수 영역의 혈량과 관계된 주파수 대역(0~4.2Hz)을 설정하고, 설정된 대역의 주파수 영역 피크를 계산할 수 있다.

이후 컴퓨터 장치는 계산된 피크 간 기울기 값(

)을 아래 수학식 4에 적용하여 혈량을 추정할 수 있다. 수학식 4는 혈량 추정식을 나타낼 수 있다.

컴퓨터 장치는 혈액점도의 경우 피부영상에서 산출한 맥파의 피크 진폭과 피크지점의 2차 미분 값, 스프링 상수 K를 이용하여 추정할 수 있다.

스프링 상수 K는 혈관 탄성의 직선 변위의 비를 나타내며, 맥파로 추정할 수 있다. 이는 수학식 5를 통해 산출될 수 있다. 수학식 5는 스프링 상수 K의 추정식이다.

또한, 수학식 5를 통해 추정된 스프링상수 K를 아래 혈액점도 추정식인 수학식 6에 적용하여 혈액점도를 산출할 수 있다. 수학식 6은 혈액점도 추정식을 추정할 수 있는 식일 수 있다.

그리고 컴퓨터 장치는 기이맥박을 들숨과 날숨 시 혈압의 차이가 10mmHg이상일 경우 판정할 수 있으며 심낭압전, 폐색전증, 심낭 삼출, 기흉 등의 경우 발생할 수 있다. 본 발명에서는 피부영상에서 산출한 호흡파형과 맥파를 이용해 기이맥박을 검출할 수 있다.

컴퓨터 장치는 생체신호로부터 산출된 호흡 파형에서 흡기(하단피크에서 상단피크)와 호기(상단피크에서 하단피크)구간을 구분하고, 각 구간에서 맥파의 진폭차이를 계산하여 흡기와 호기구간 진폭의 비율로 기이맥박을 추정할 수 있다.

기이맥박 진단에서는 4가지 구분으로 정도를 표현해 제공할 수 있다. 표 1은 기이맥박 상태를 구분하여 정리한 표이다.

흡기와 호기구간 맥파진폭비율	구분
	정상
	주의
	경계
	위험

표 1에 설명한 바와 같이, 흡기와 호기구간 맥파진폭비율이

일 경우에는 정상일 수 있다. 그리고

일 경우에는 위험일 수 있다.

도 6은 본 발명의 일실시 예에 따라 자가진단을 통해 추정한 혈관탄성도 및 혈관나이의 산출과정을 나타낸 것이다. 도 7은 본 발명의 일실시 예에 따라 피부 관심 영역을 얼굴 동맥의 구간으로 설정하는 것을 나타낸 것이다. 도 8은 본 발명의 일실시 예에 따라 영상좌표계 상의 검출된 얼굴 폭에 따른 카메라와의 실제거리 산포도를 나타낸 것이다. 도 9는 본 발명의 일실시 예에 따라 산포도를 기반으로 카메라와의 거리에 따라 1픽셀 당 실제거리를 추정한 회귀곡선을 나타낸 것이다.

도 6을 살펴보면, 컴퓨터 장치는 카메라를 이용하여 영상을 촬영하여 얼굴 영상을 검출할 수 있다(S131).

컴퓨터 장치는 검출된 얼굴 영상 중 피부 관심영역을 설정할 수 있다(S131a). 컴퓨터 장치는 도 7에 도시된 바와 같이, 피부 관심영역을 얼굴 동맥의 구간을 중심으로 설정할 수 있다.

컴퓨터 장치는 복수의 피부 관심 영역(a1,a2)을 얼굴 동맥 중 볼 영역을 관통하여 흐르는 얼굴 동맥의 구간으로 설정함으로써, 혈관탄성도를 정확하게 검출할 수 있다. 즉, 도 7에 도시된 바와 같이, 피부 관심 영역(a1,a2)은 제1 피부 관심 영역(a1)과 제2 피부 관심 영역(a2)을 포함할 수 있다.

이후 컴퓨터 장치는 도 2 내지 도 5에서 상술한 바와 타이 생체신호 추출과정(S132)을 수행하여 두 관심 영역에서 맥파를 각각 산출할 수 있다. 산출된 맥파는 일정한 시간차를 두고 동일 혈관에 지연되어 발생될 수 있다.

따라서 컴퓨터 장치는 혈관탄성도를 나타내는 PWV(Pulse Wave Velocity)를 추정하기 위해 두 맥파의 시간차를 계산할 수 있다. 두 맥파의 시간차를 계산하기 위해 본 발명에서는 CCF(Cross Correlation Function)을 사용하여 두 맥파의 CCF 결과(S131a2)에서 최댓값을 가지는 지연(Lag)를 통해 시간차를 계산할 수 있다.

수학식 7은 두 맥파의 CCF를 수행하는 수학식이다.

수학식 7의 결과로 생성되는 CCF는 두 맥파

의 상관성을 나타내며 원점에서 가장 큰 값을 가지는 위치까지의 샘플 값을 통해 맥파의 지연시간을 계산할 수 있다(S133,S140).

PWV 추정은 맥파의 지연시간과 두 측정 위치의 거리를 통해 계산될 수 있다(S133,S140).

측정 위치인 얼굴 영상에서 볼 관심 영역의 실제 거리를 계산하기 위해, 본 발명에서는 카메라와 얼굴 사이 거리추정과 영상좌표계의 실제거리 추정기법을 적용할 수 있다(S132b). 얼굴 영상에서 볼 관심 영역은 피부 관심 영역이라 칭할 수 있다. 컴퓨터 장치는 제1 피부 관심 영역(a1)과 제2 피부 관심 영역간의 실제 거리를 도출하기 위해 촬영된 얼굴 영상에서 얼굴을 기반으로 카메라와의 거리를 추정하고, 추정된 카메라와의 거리를 이용할 수 있다.

컴퓨터 장치는 카메라 렌즈와 얼굴 사이 실제거리를 도출하기 위해 얼굴검출에 따른 영상좌표계상의 얼굴 폭(Width)과 카메라와 얼굴 사이 실제거리 간의 상관관계를 확인할 수 있다.

도 8에 도시된 바와 같이, 영상좌표계 상의 검출된 얼굴 폭에 따른 카메라와의 실제거리 산포도를 보여줄 수 있다. 도 8에 도시된 그래프에서 가로 방향은 얼굴 폭을 나타내고, 세로 방향은 카메라와 거리를 나타낼 수 있다.

도 8에 도시된 그래프를 통해 얼굴 폭이 증가할수록 카메라와의 실제거리는 비선형적으로 감소함을 확인 할 수 있다. 따라서, 컴퓨터 장치는 비선형 특성을 반영하여 2차 회귀곡선을 적용해 얼굴 폭으로부터 카메라와의 실제거리를 추정할 수 있다. 예를 들어, 640 X 480 촬영환경에서 산출된 회귀식은 수학식 8과 같다.

상기 수학식 8에서

는 추정된 카메라 렌즈와 얼굴 사이 실제거리(cm)이며

는 영상좌표계 상의 검출된 얼굴의 폭을 나타낼 수 있다.

컴퓨터 장치는 추정된 카메라와의 거리를 이용해 두 관심영역 사이 거리를 기존 픽셀단위에서 실제 거리척도로 변환할 수 있다.

또한, 컴퓨터 장치는 카메라와의 거리에 따라 영상좌표계상에서 표현된 10cm 마커를 추적하여 카메라와 물체의 거리에 따라 1픽셀 당 cm비율을 수학식 9를 이용하여 계산할 수 있다. 수학식 9는 1 픽셀당 실제거리 변환식을 나타낼 수 있다. 도 9는 수학식 9에서 계산된 회귀곡선을 그래프로 나타낸 것이다. 도 9에 도시된 그래프에서 가로 방향은 카메라와 거리를 나타내고, 세로 방향은 1 픽셀 거리를 나타낼 수 있다.

수학식 9에서 산출된

를 얼굴에서 검출된 두 관심영역사이 픽셀 값과 곱하여 실제거리를 cm단위로 계산할 수 있다.

또한, 컴퓨터 장치는 PWV를 추정하기위해 상기 계산된 cm단위의 두 관심영역 사이 실제거리

와 CCF결과를 통해 계산된 두 맥파의 지연시간

를 아래 수학식 10에 대입하여 PWV를 산출할 수 있다.

컴퓨터 장치는 산출된 PWV를 이용하여 이를 진단할 수 있다.

그리고 컴퓨터 장치는 산출된 PWV와 진단한 내용을 기초로 혈관 나이를 추정할 수 있다.

도 10은 본 발명의 일실시 예에 따라 사용자별로 생성된 정보를 도식화하는 것을 나타낸 것이다.

도 10을 살펴보면, 도 1 내지 도 9에서 상술한 바와 같이, 컴퓨터 장치는 사용자별 신체정보를 DB(120), 심혈관 질환의 대표적 척도 자가진단 결과를 DB(150) 그리고 콘텐츠 추천에 따른 수행내역을 DB(190)에 저장할 수 있다.

컴퓨터 장치는 사용자별 신체정보를 DB(120), 심혈관 질환의 대표적 척도 자가진단 결과를 DB(150) 그리고 콘텐츠 추천에 따른 수행내역을 DB(190)를 조합 또는 결합하여 심혈관 질환에 따른 사용자별 헬스 로그(Health-log)를 생성하고 생성된 정보를 도식화하여 사용자에게 제공할 수 있다(S160).

컴퓨터 장치는 도식화된 정보와 더불어 콘텐츠 수행 및 상태 진단을 유도하기 위한 동기부여 메시지와 알림을 제공함으로써, 적절한 시기에 꼭 필요한 콘텐츠 수행을 돕는다(S170).

컴퓨터 장치는 사용자의 헬스 로그(Health-log)를 기반으로 상태변화 정도를 계산하고 상태에 따른 개인 맞춤형 콘텐츠를 추천할 수 있다(S180).

도 11은 본 발명의 일실시 예에 따라 사용자의 헬스 로그(Health-log)를 기반으로 상태변화 정도를 계산하고 상태에 따른 개인 맞춤형 콘텐츠를 나타낸 것이다. 도 12는 본 발명의 일실시 예에 따라 음식인식과 건강에 따른 섭취가이드를 나타낸 것이다. 도 13은 본 발명의 일실시 예에 따라 개인 맞춤형 운동가이드를 나타낸 것이다.

도 11 내지 도 13을 살펴보면, 컴퓨터 장치는 사용자별 진단결과 및 신체정보 DB를 조합 또는 결합하여 심혈관 질환에 따른 사용자별 헬스 로그(Health-log)를 생성하고 생성된 정보를 도식화할 수 있다(S150, S160).

컴퓨터 장치는 사용자의 헬스 로그(Health-log)를 기반으로 상태변화 정도를 계산하고 상태에 따른 개인 맞춤형 콘텐츠를 추천할 수 있다.

예를 들어, 추천하는 개인 맞춤형 콘텐츠는 개인맞춤형 음악, 맥박맞춤 및 정상맥박 유도음원, 치유 주파수 적용음원, 개인맞춤형 운동가이드 및 개인맞춤형 섭취가이드를 포함할 수 있다. 즉, 개인 맞춤형 콘텐츠는 음악, 식단, 운동 등 대표적 심혈관 질환 예방 및 개선 콘텐츠를 적용할 수 있다(S180). 본 발명은 이에 한정되는 것은 아니며 서술된 콘텐츠 이외 추가 콘텐츠도 가능하다.

도 12에 도시된 바와 같이, 컴퓨터 장치는 음식의 경우 음식 이미지 인식 모델을 사용(도 12의 (a))하여 사용자가 입력한 음식의 음식명을 분류(도 12의 (b))하고 분류결과를 음식별 칼로리 모델에 입력하여 음식의 칼로리를 추정(도 12의 (c))할 수 있다.

심혈관 질환의 경우 권장음식과 피해야할 음식이 다양하게 존재할 수 있다. 따라서, 컴퓨터 장치는 하루 권장 섭취량 및 권장 음식, 피해야할 음식 등 사용자가 숙지하지 못하는 식단정보를 제공(도 12의 (d))하여 심혈관 건강을 예방할 수 있다.

도 13에 도시된 바와 같이, 컴퓨터 장치는 운동의 경우 각 질환 및 사용자의 신체정보(도 13의 (a),(b))에 따라 맞춤형 운동을 제시(도 13의 (c))하고 운동 강도를 설정 하에 제공할 수 있다. 스마트 디바이스의 GPS센서 등을 연동한 위치기반서비스를 제공하여 현재 사용자의 달리기 속도를 제어해(도 13의 (d)) 개인에게 맞춤화된 운동 가이드를 제공할 수 있다.

컴퓨터 장치는 음악의 경우 심혈관 기능 개선 및 향상에 도움되는 음원 추천과 사용자의 실시간 맥박상태가 반영된 음원 및 정상맥박수 유도를 위한 음원을 출력하여 심혈관 예방 및 개선을 유도할 수 있다.

컴퓨터 장치는 맥박 조율 음원과 별개로 사용자가 입력한 음원에 치유주파수를 강조하여 음악치료를 통한 심혈관계 긍정적 효과를 유도하는 치유주파수 적용 음원이 포함될 수 있다. 예를 들어, 대표적인 치유주파수는 528Hz, 432Hz, 936Hz 등이 있으며 각각 주파수에 따른 효과는 다양한 연구를 통해 실험되었다.

본 발명에서는 치유주파수를 활용하여 사용자가 입력한 음원의 주파수 영역에서 치유주파수를 강조하는 단계와 강조된 주파수 영역의 음원을 시간 영역으로 변환하는 단계를 거처 치유주파수가 반영된 음원을 생성할 수 있다.

또 하나의 실시 예로 설명한 맥박조율 음원 생성기법과 순차적 처리를 통해 사용자의 현재 맥파 또는 정상 맥파가 반영된 음원에서 치유주파수를 강조기법을 적용한 음원으로 처리할 수 있다.

컴퓨터 장치는 상술한 음악, 식단, 운동 등 대표적 심혈관 질환 예방 및 개선의 콘텐츠 추천에 따른 수행내역을 DB에 저장할 수 있다.

본 발명은 상술한 진단방법 및 콘텐츠 추천 요소를 통합하여 심혈관 질환 예방 및 개선을 위한 헬스 로그(Health-log)에 관한 것이며, 상기 요소 외 추가 요소의 결합에 의한 또 다른 실시 예가 존재할 수 있다.

상술한 본 발명에 따라 피부 영상을 이용한 혈관탄성도 측정의 실험으로 20~30세 남녀 20명으로 구성된 실험군에서 PWV측정실험을 수행한 결과는 다음과 같다.

도 14는 성인 남녀 20명 100개 데이터의 PWV분포를 나타낸 것이고, 도 15는 나이에 따른 한국 성인남녀 baPWV분포를 나타낸 것이고, 도 16은 baPWV 정상범위를 나타낸 것이다.

도 14 내지 도 16을 살펴보면, 본 발명의 일실시 예에 따라 피부영상을 이용한 혈관탄성도 측정의 실험으로 20~30세 남녀 20명으로 구성된 실험군에서 PWV측정실험을 수행하였고, 결과의 빈도는 도 14에 도시된 히스토그램과 같다.

본 발명에서는 혈관의 탄성도를 측정하기위해 보편적으로 사용되는 맥파전달속도 측정 방식인 baPWV의 값과 동일한 범위로 증폭하기 위해, 용인시 운동처방센터에서 발표한 한국 성인남녀의 나이에 따른 baPWV 값을 활용하였다.

도 15에 도시된 산포도에서는 제시된 나이에 따른 값과 본 발명에서 계산된 PWV평균값을 일치시켜주는 증폭상수

를 계산하여 계산된 PWV에 적용하였다.

PWV값의 진단을 위해 증폭상수

가 곱해진 PWV값에서 baPWV 정상범위 임계값을 적용하여 나이에 따른 정상 비정상 진단을 수행하였다. 도 16에서는 나이에 따른 평균선과 정상 상하한선을 나타낸 것이다.

도 16에 도시된 바와 같이, 그래프의 범위를 적용하여 사용자의 나이에 따른 PWV진단을 수행하였다. 또한 피부 영상에서 계산된 PWV값을 입력하여 나이축의 값을 출력해 혈관의 나이를 추정하여 제공하였다.

본 발명의 실시 예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

50 : 스마트 기기
51 : 카메라
52 : 저장 장치
53 : 제어 장치
54 : 출력 장치
55 : 연산 장치
81 : 카메라
85 : 컴퓨터
91 : 사용자 단말
95 : 서버

Claims

얼굴 영상을 촬영하고, 촬영된 상기 얼굴 영상에서 피부 관심 영역 또는 상기 얼굴의 좌표를 검출하는 단계;
검출된 상기 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계;
상기 색상 데이터 평균값에 필터링하여 생체신호를 추출하는 단계;
추출된 상기 생체신호와 사용자의 신체정보를 이용해 심혈관의 건강지표를 산출하는 단계;
산출된 상기 심혈관의 건강지표를 이용하여 혈관탄성도와 부정맥을 진단하는 단계;
상기 혈관탄성도와 부정맥을 진단한 진단결과의 기록 및 관리를 위한 헬스 로그를 구성하는 단계;
상기 헬스 로그를 기초로 사용자의 동기 부여를 위한 알림 메시지 생성 및 출력하는 단계; 및
상기 진단결과에 따라 개인맞춤형 콘텐츠를 추천하는 단계;
를 포함하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제1 항에 있어서,
상기 색상 데이터 평균값은 검출된 상기 얼굴의 좌표를 이동평균 알고리즘으로 보정하여 추출하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제1 항에 있어서,
상기 심혈관의 건강지표를 산출하는 단계는
상기 생체신호와 상기 사용자의 신체정보를 이용해 분당 맥박수, 분당 호흡수, 맥박강도, 혈압, 혈관탄성도, 혈관나이, 서맥/빈맥/불규칙 부정맥, 혈량, 혈액점도, 기이맥박 중 하나 이상을 산출하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제3 항에 있어서,
상기 분당 맥박수는 상기 생체신호의 맥박관련 주파수 대역(0.5~4Hz)에서 최대 주파수 성분을 이용하여 산출하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제3 항에 있어서,
상기 분당 호흡수는 상기 생체신호의 호흡관련 주파수 대역(0.13~0.4Hz)에서 최대 주파수 성분을 이용하여 산출하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제3 항에 있어서,
상기 맥박강도는 상기 생체신호의 맥박관련 주파수 대역으로 밴드 패스 필터(Bnad Pass Filter)를 수행한 맥파의 진폭을 이용하여 산출하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제3 항에 있어서,
상기 혈압은 두 곳의 상기 피부 관심 영역에서 산출한 맥파의 PTT(Pulse Transit Time)를 이용하여 산출하는 얼굴 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제7 항에 있어서,
상기 혈관탄성도는 상기 두 곳의 피부 관심 영역에서 산출한 맥파의 시간 차와 상기 피부 관심영역 간의 거리를 계산하여 맥파전달속도(PWV)를 산출하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제7 항에 있어서,
상기 피부 관심 영역은
제1 피부 관심 영역과 제2 피부 관심 영역을 포함하고,
상기 제1 피부 관심 영역과 상기 제2 피부 관심 영역간의 실제 거리는 촬영된 상기 얼굴 영상에서 얼굴을 기반으로 상기 카메라와의 거리를 추정하고, 추정된 상기 카메라와의 거리를 이용해 도출하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제1 항에 있어서,
상기 진단결과를 기반으로 상기 사용자의 개선 및 미흡 상태를 출력하고, 상기 진단결과의 기록을 도식화하는 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제1 항에 있어서,
상기 진단결과에 따라 추천된 상기 개인맞춤형 콘텐츠의 수행을 위한 동기 부여를 위한 알림 및 메시지를 생성하여 제공하는 얼굴 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법.
제1 항에 있어서,
상기 진단결과 및 상기 사용자의 상태에 대한 변화 정도에 따라 상기 개인맞춤형 콘텐츠를 추천 또는 설정하고,
상기 개인맞춤형 콘텐츠는
개인맞춤형 음악, 맥박맞춤 및 정상맥박 유도음원, 치유 주파수 적용음원, 개인맞춤형 운동가이드 및 개인맞춤형 섭취가이드 중 적어도 하나를 포함하는 피부 영상을 이용한 혈관탄성도 와 부정맥 진단 방법.
제12 항에 있어서,
음식을 촬영하고, 촬영된 상기 음식에서 상기 음식에 대한 칼로리를 추정하고,
상기 사용자의 진단결과에 따라 상기 음식에 대한 섭취유무를 판정하는 피부 영상을 이용한 혈관탄성도 와 부정맥 진단 방법.
제12 항에 있어서,
상기 개인맞춤형 운동가이드는
상기 사용자의 신체정보에 따른 운동 종류 및 방법을 구성하여 제공하는 피부 영상을 이용한 혈관탄성도 와 부정맥 진단 방법.