KR102328947B1

KR102328947B1 - 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치

Info

Publication number: KR102328947B1
Application number: KR1020190077654A
Authority: KR
Inventors: 박윤규
Original assignee: 박윤규
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2021-11-18
Also published as: KR20210001486A

Abstract

본 발명에 따르면, 사용자의 건강 지표를 측정하는 방법에 있어서, 얼굴 진단장치가 상기 사용자의 얼굴을 촬영하고, 획득한 영상 이미지에서 피부 관심 영역 또는 상기 얼굴의 좌표를 검출하는 단계; 상기 얼굴 진단장치는 상기 피부 관심 영역에서 색상 데이터들의 평균을 계산하고, 상기 검출된 얼굴의 좌표를 이동 평균 알고리즘을 통해 보정한 후 이를 기초로 상기 색상 데이터들의 평균을 업데이트한 색상 데이터 평균값을 추출하는 단계; 및 상기 얼굴 진단장치가 상기 색상 데이터 평균값을 기초로 생체신호를 추출하고, 상기 생체신호를 이용하여 상기 사용자의 건강지표를 측정하는 단계를 포함하는 방법을 제시한다.

Description

얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치{METHOD FOR MEASURING HEALTH INDICATORS OF AN USER USING A VIDEO IMAGE OF A FACE AND APPARATUS USING THE SAME}

본 발명은 얼굴 영상 이미지를 통해 사용자의 건강 지표를 측정하는 방법에 관한 것으로, 보다 상세하게는, 사용자의 건강 지표를 측정하는 방법에 있어서, 얼굴 진단장치가 상기 사용자의 얼굴을 촬영하고, 획득한 영상 이미지에서 피부 관심 영역 또는 상기 얼굴의 좌표를 검출하는 단계; 상기 얼굴 진단장치는 상기 피부 관심 영역에서 색상 데이터들의 평균을 계산하고, 상기 검출된 얼굴의 좌표를 이동 평균 알고리즘을 통해 보정한 후 이를 기초로 상기 색상 데이터들의 평균을 업데이트한 색상 데이터 평균값을 추출하는 단계; 및 상기 얼굴 진단장치가 상기 색상 데이터 평균값을 기초로 생체신호를 추출하고, 상기 생체신호를 이용하여 상기 사용자의 건강지표를 측정하는 단계를 포함하는 방법에 관한 것이다.

세계 인구의 주요 사망 원인인 심혈관 질환은 우리나라의 경우 전체 사망자의 약 21.6%를 차지한다. 심혈관 질환은 인구 고령화와 라이프 스타일의 변화로 인해 급격히 증가하고 있다. 심혈관 질환으로는 허혈성 심장 질환, 뇌졸증 및 고혈압과 같은 순환계 관련 질환이 있으며 부모의 유전적 요인 및 음주 및 흡연과 같은 환경적 요인 등 다양한 위험 요소의 영향을 받는다. 그것은 당뇨병, 비만과 같은 다른 질병과도 밀접 관련이 있다.

심혈관 질환 중 하나인 부정맥을 추정하는 전통적인 도구는 심전도 파형에서 RR간격의 비율을 통해 추정하는 방법을 사용해 왔다. 심장의 전기적 신호인 심전도 파형과 달리 맥박에 따른 혈류 흐름을 측정한 맥파에서는 R파를 제외한 다른 파형의 관찰이 쉽지 않다.

동맥의 경직도는 동맥의 탄력성 감소에 의한 단단한 정도를 의미하는 것이다. 동맥의 경직도를 결정하는 가장 주요한 인자는 연력이며 나이가 들어 노화할수록 동맥벽 조직에 변화가 발생하여서 탄성이 감소하고 경직도가 증가하게 된다.

동맥의 경직도는 심혈관질환의 발생 위험도를 예측할 수 있는 중요한 척도이다. 동맥의 경직도가 증가한 환자는 향후 심혈관 질환의 발생 고위험군으로 분류된다.

그리고 맥파전달속도(PWV)는 동맥의 경직도를 추정하는 유용한 지표이다. 맥파전달속도(PWV)는 나이에 따라 변화한다. 젊은 사람에게서는 동맥이 탄력적이므로 맥파전달속도(PWV)가 비교적 낮으나, 노화가 진행될수록 동맥이 탄력적이지 않아 맥파전달속도(PWV)가 높아진다. 맥파전달속도(PWV)를 측정하는 방법으로는 측정부위에 따라 분류되며 이 중 파형의 기록이 비교적 수월한 baPWV(brachial-ankle PWV)가 사용되고 있다. 종래의 baPWV는 발목과 상완에서 추출된 맥파에서 두 지점의 맥파속도 차이 값과 거리를 이용해 속도를 계산하였다.

상술한 바와 같이, 종래에는 심혈관 질환을 진단하기 위해 부정맥 또는 동맥의 경직도를 측정하였으나, 이를 정확하게 측정하는 장치가 고가일 뿐만 아니라 측정하는 비용도 비싸 주기적으로 진료하고 측정하는데 많은 어려움이 있었다.

또한, 종래에는 피부진단장치를 통해 사용자의 피부를 즉석에서 진단하는 장치가 존재하였으나, 단순히 피부 상태만을 측정할 수 있어서 제한이 있었다.

한편, 종래의 우울증 지수 측정 장치는 적외선 광원센서와 수광센서가 탑재된 검출 장치를 이용하여 모세혈관에 빛을 쏘아 흡수 및 반사되는 양을 신호로 변환하여 데이터를 획득하였다. 그러나 상기 종래의 우울증 지수 측정 장치는 검출 장치를 이용하여 사용자의 피부와 직접적으로 접촉해서 수행해야 한다는 불편이 있었다.

이에 본 발명자는 얼굴 영상 이미지를 통해 사용자의 피부 및 건강 지표를 측정하는 방법 및 그를 이용한 장치를 제안하고자 한다.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.

본 발명은 영상 이미지를 이용하여 자가진단을 수행하고, 자가진단 결과를 통해 해당 사용자에게 맞춤형 콘텐츠를 제공하는 것을 다른 목적으로 한다.

또한, 본 발명은 영상 이미지를 촬영하고, 촬영된 영상 이미지로부터 색상데이터 평균값을 추출하며, 이를 통해 사용자의 건강지표를 진단하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 이미지를 이용하여 피부를 진단하는 구성에 추가적으로 영상을 활용하여 건강까지 진단하는 기술을 제안한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 사용자의 건강 지표를 측정하는 방법에 있어서, 얼굴 진단장치가 상기 사용자의 얼굴을 촬영하고, 획득한 영상 이미지에서 피부 관심 영역 또는 상기 얼굴의 좌표를 검출하는 단계; 상기 얼굴 진단장치는 상기 피부 관심 영역에서 색상 데이터들의 평균을 계산하고, 상기 검출된 얼굴의 좌표를 이동 평균 알고리즘을 통해 보정한 후 이를 기초로 상기 색상 데이터들의 평균을 업데이트한 색상 데이터 평균값을 추출하는 단계; 및 상기 얼굴 진단장치가 상기 색상 데이터 평균값을 기초로 생체신호를 추출하고, 상기 생체신호를 이용하여 상기 사용자의 건강지표를 측정하는 단계를 포함하는 방법이 제공된다.

또한, 본 발명의 다른 태양에 따르면, 사용자의 건강 지표를 측정하는 얼굴 진단장치에 있어서, 외부장치와 정보를 송수신하는 통신모듈; 상기 사용자의 얼굴 촬영을 지원하는 카메라모듈 및 조명모듈을 포함하는 피부측정모듈; 상기 피부측정모듈을 이용하여 상기 사용자의 얼굴을 촬영하고, 상기 촬영된 영상 이미지에서 피부 관심 영역 또는 상기 얼굴의 좌표를 검출하며, 상기 피부 관심 영역에서 색상 데이터들의 평균을 계산하고, 상기 검출된 얼굴의 좌표를 이동 평균 알고리즘을 통해 보정한 후 이를 기초로 상기 색상 데이터들의 평균을 업데이트한 색상 데이터 평균값을 추출하며, 상기 색상 데이터 평균값을 필터링하여 생체신호를 추출하고, 상기 생체신호를 이용하여 상기 사용자의 건강지표를 측정하는 제어모듈을 포함하는 얼굴 진단장치가 제공된다.

본 발명에 의하면, 다음과 같은 효과가 있다.

본 발명은 영상 이미지를 이용하여 자가진단을 수행하고, 자가진단 결과를 통해 해당 사용자에게 맞춤형 콘텐츠를 제공하는 효과가 있다.

또한, 본 발명은 영상 이미지를 촬영하고, 촬영된 영상 이미지로부터 색상데이터 평균값을 추출하며, 이를 통해 사용자의 건강지표를 진단하는 효과가 있다

도 1은 본 발명의 일 실시예에 따라 피부 및 건강 진단장치의 외관을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 피부 및 건강 진단장치의 개략적인 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 사용자의 건강지표를 측정하기까지의 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 이동평균 알고리즘을 적용하기 전후의 좌표를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 생체신호로부터 사용자의 건강지표를 측정하는 과정을 상세하게 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 피부측정모듈을 이용한 영상 이미지에서의 피부 관심 영역을 검출하는 모습을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 정상 맥파 및 PVC 발생 구간을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 혈관탄성도 및 혈관나이의 산출과정을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 영상좌표계 상의 검출된 얼굴 폭에 따른 카메라와의 실제거리 산포도를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따라 산포도를 기초로 카메라와의 거리에 따른 1픽셀 당 실제거리를 추정한 회귀곡선을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따라 데이터베이스에 저장된 관련 정보를 이용하여 맞춤형 콘텐츠를 제공하는 것을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따라 음식 및 건강에 따른 섭취가이드를 나타낸 도면이다.
도 13은 성인 남녀 20명 100개 데이터의 PWV분포를 나타낸 도면이다.
도 14는 나이에 따른 한국 성인남녀 baPWV분포를 나타낸 도면이다.
도 15는 baPWV 정상범위를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따라 우울증 정도를 측정하는 과정을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따라 우울증 지수 측정을 위한 파라미터 값을 산출하는 방법을 설명한 도면이다.
도 18은 본 발명의 일 실시예에 따라 얼굴 영상으로부터 사용자의 긍/부정 감정 결과를 산출하는 과정을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따라 우울증 지수와 감정 상태의 관계를 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따라 얼굴 진단장치의 외관을 나타내는 도면이다.

도 2는 본 발명의 일 실시예에 따라 얼굴 진단장치의 개략적인 구성을 나타내는 도면이다.

본 발명은 얼굴 진단장치(100)에서 촬영한 사용자의 얼굴에 대한 영상 이미지의 피부 관심 영역에서 생체신호를 추출하고, 추출된 생체신호를 이용하여 분당 맥박수, 분당 호흡수, 맥박강도, 혈압, 서맥/빈맥/불규칙 부정맥, 혈량, 혈액점도, 기이맥박, 혈관탄성도, 혈관나이, 우울증 정도 등의 건강지표를 측정할 수 있다. 본 발명은 측정된 건강지표를 데이터베이스(140)에 저장하고, 이를 바탕으로 헬스로그(Health-log) 형태로 사용자에게 제공하거나, 맞춤형 콘텐츠를 제공할 수 있다. 참고로, 도 1에서 나타낸 얼굴 진단장치(100)의 형태는 하나의 예시에 해당하는 것이고, 다양한 형태가 존재할 수 있다.

본 발명에서는 다양한 색상체계 중 일례로 RGB 색상체계를 YCgCo 색상체계로 변환하여 산출된 Cg 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 추출된 생체신호에서 분당 맥박수, 분당 호흡수, 맥박강도, 혈압, 서맥/빈맥/불규칙 부정맥, 혈량, 혈액점도, 기이맥박, 혈관탄성도, 혈관나이, 우울증 정도를 추출 또는 추정할 수 있다. 이에 대한 자세한 과정은 후술하기로 한다.

도 2를 살펴보면, 얼굴 진단장치(100)는 제어모듈(110), 피부측정모듈(120), 통신모듈(130), 데이터베이스(140), 입력모듈(150), 출력모듈(160) 등을 포함할 수 있다.

우선, 제어모듈(110)은 본 발명에서의 전반적인 과정을 제어하며, 구체적으로는 영상 이미지를 피부측정모듈(120)로부터 수신하고, 이를 이용하여 생체신호를 추출하며 추출된 생체신호를 통해 건강지표를 진단할 수 있다.

피부측정모듈(120)은 얼굴, 손, 발 등 사용자의 신체 일부에 빛을 비추기 위한 조명모듈(122) 및 얼굴, 손, 발 등 사용자의 신체 일부를 촬영하기 위한 카메라모듈(121) 중 적어도 하나를 포함할 수 있다. 즉, 피부측정모듈(120)은 카메라모듈(121)만을 포함할 수도 있는 것이다. 참고로, 상기 카메라모듈(121) 또는 조명모듈(122)을 포함하는 피부측정모듈(120)은 도 1(a)과 같이 정면 상단(5)에 존재하여 사용자의 얼굴을 촬영할 수 있다.

물론, 도 1(a)의 얼굴 진단장치(100)의 형태가 아닌 다른 형태(ex 도 1(b))가 될 수도 있으므로 카메라모듈(121)이 정면 상단(5)이 아닌 다른 위치에 존재할 수도 있다. 따라서, 얼굴뿐만 아니라 손, 발, 목 등 다른 신체일부에 대해서 촬영을 할 수도 있다. 특히, 상기 카메라모듈(121)은 단순 이미지뿐만 아니라 동영상 이미지를 촬영할 수 있으며, 후술하겠지만 촬영된 동영상 이미지를 통해 피부를 진단하거나 측정할 수 있고, 궁극적으로는 사용자의 건강까지 진단할 수 있다. 본 발명에서 서술되는 영상 이미지는 주로 동영상 이미지를 상정한 것이며, 단순 이미지 역시 제외되는 것은 아닐 것이다. 따라서, 경우에 따라서는 동영상 이미지, 단순 이미지가 동시에 촬영될 수도 있을 것이다.

또한, 얼굴 진단장치(100) 내부에는 도 1(a)과 같이 신체 일부를 투입할 수 있는 개구부(10, 20) 2개(2개 이상도 가능)를 포함하여 각각에 대해 피부측정모듈(120a, 120b)을 포함할 수도 있다. 즉, 어느 하나의 개구부(10)에는 어느 하나의 피부측정모듈(120a)이 포함되고, 다른 하나의 개구부(20)에는 다른 하나의 피부측정모듈(120b)이 포함되어, 정면 상단(5)에 위치하는 카메라모듈(121)까지 총 3개 이상의 카메라모듈(121)에서 사용자의 신체 두곳 이상(ex 얼굴, 손, 발 등)을 촬영할 수 있다. 참고로, 상기 개구부 2개(10, 20) 사이를 분리하는 벽을 제거하여 하나의 개구부로서 사용될 수도 있다.

한편, 도 1(a)가 아닌 도 1(b)와 같은 형태의 얼굴 진단장치(100)도 존재할 수 있다. 이 경우 사용자는 앉은 상태로 정면부(15)에 위치한 피부측정모듈을 통해 얼굴에 대한 영상을 촬영할 수 있다. 사용자는 상기 얼굴 진단장치(100)에 오목하게 들어간 부분(25)에 얼굴을 집어넣고 정면부(15)에 위치한 카메라모듈을 통해 얼굴을 촬영할 수 있는 것이다. 또한, 영상 이미지가 촬영되지 않을 때는 슬라이딩 형태의 덮개가 상기 오목한 부분(25)을 덮을 수 있다.

통신 모듈(130)은 다양한 통신 기술로 구현될 수 있다. 즉, 와이파이(WIFI), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), HSPA(High Speed Packet Access), 모바일 와이맥스(Mobile WiMAX), 와이브로(WiBro), LTE(Long Term Evolution), 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), NFC(Near Field Communication), 지그비(Zigbee), 무선랜 기술 등이 적용될 수 있다. 또한, 인터넷과 연결되어 서비스를 제공하는 경우 인터넷에서 정보전송을 위한 표준 프로토콜인 TCP/IP를 따를 수도 있고 GPS(Global Positioning System) 기술을 이용할 수도 있다. 본 발명에서는 통신모듈(130)을 통해 외부 장치(200)와 통신을 수행할 수 있을 것이다. 여기서, 외부장치(200)는 사용자 단말, 외부 서버, 클라우드 등 다양한 기기를 포함할 수 있다.

데이터베이스(140)는 후술할 바와 같이 사용자의 건강지표에 대한 측정결과, 사용자의 신체정보, 콘텐츠 정보, 영상 이미지 등 필요정보를 저장할 수 있으며, 이를 제어모듈(110)에 제공할 수 있다. 참고로, 데이터베이스(140)가 도 2와는 달리 얼굴 진단장치(100)에 포함되지 않고 외부에 존재하고, 얼굴 진단장치(100)와는 통신모듈(130)을 통해 정보를 송수신할 수도 있다.

입력모듈(150) 및 출력모듈(160)은 모두 제어모듈(110)에 의해 컨트롤되며, 입력모듈(150)은 터치스크린, 키패드, 마우스 등 입력이 가능한 장치면 포함할 수 있고, 출력모듈(160)은 프린트, 디스플레이장치 등 다양한 장치를 포함할 수 있다. 상기 도 2와 달리, 입력모듈(150) 및 출력모듈(160)은 얼굴 진단장치(100)에 포함되지 않고, 외부에 존재할 수도 있다.

본 발명의 얼굴 진단장치(100)와 연결되는 외부 장치(200)로 사용자의 단말, 외부 서버, 클라우드 등 다양한 기기가 포함될 수 있다. 참고로, 상기 단말은 통신을 수행할 수 있는 기능을 포함하는 디지털 기기로서, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 사용자 단말로서 채택될 수 있다. 특히, 사용자 단말에는 본 발명에서 다루고 있는 건강지표 진단 프로그램(어플)이 포함되어 있을 수 있다.

도 3은 본 발명의 일 실시예에 따라 사용자의 건강지표를 측정하기까지의 과정을 나타낸 도면이다.

우선, 얼굴 진단장치(100)는 입력모듈(150)을 통해 사용자의 신체정보(ex 키, 몸무게, 성별, 나이, 혈압, 맥박, 체온 등)를 획득(S210)할 수 있다. 또한, 사용자의 이름 등의 개인 정보도 입력받을 수 있다. 사용자는 터치스크린(30) 등을 통해 자신의 키, 몸무게, 성별, 나이, 혈압, 맥박, 체온 등의 정보를 입력할 수 있고, 이를 데이터베이스(140)에 저장할 수 있다. 데이터베이스(140)에는 사용자별로 식별코드 등으로 구분하여 저장할 수 있기 때문에 사용자의 진단결과 또는 신체정보를 지속적으로 데이터베이스(140)에 업데이트시킬 수도 있고 초기화시킬 수도 있다. 또한, 상기 얼굴 진단장치(100)를 통해 진단을 시행한 날짜, 시간 및 진단을 시행한 시점과 지역의 날씨 정보 등 역시 데이터베이스(140)에 포함될 수 있다.

또한, 입력모듈(150)을 통해 직접적으로 사용자의 신체정보를 입력받을 수 있을 뿐 아니라, 데이터베이스(140)에 기록된 해당 사용자의 신체정보를 얼굴 진단장치(100)의 제어모듈(110)이 수신할 수도 있을 것이다. 경우에 따라서는 얼굴 진단장치(100)는 사용자가 착용하고 있는 단말(200)에 설치된 어플리케이션과 연동되어, 사용자의 움직임으로 인해 변화되는 사용자의 신체정보(혈압, 맥박, 체온)를 실시간으로 제공받을 수도 있다.

다음으로, 얼굴 진단장치(100)는 카메라모듈(121)을 이용하여 사용자의 피부 일부(ex 얼굴, 손, 손등, 손톱, 발, 발등, 발톱 등)를 촬영하고, 획득된 영상 이미지에서 피부 관심 영역 또는 얼굴, 피부 일부의 좌표를 검출(S220)할 수 있다.

또한, 얼굴 진단장치(100)는 조명모듈(122)을 이용하여 상기 사용자의 얼굴 내지 피부 일부에 빛을 조사하여 영상 촬영을 지원할 수 있다. 여기서, 조명모듈(122)은 LED 모듈일 수 있으며, 일반광, 편광 및 UV 광을 순차적으로 조사함으로써, 일반광, 편광 및 UV광 각각에 따른 개별의 영상 이미지를 획득할 수도 있다. 조명모듈(122)의 각각의 빛에 의해 피부상태(일반광), 표피 색소침착 관련 피부상태(편광), 진피 색소침착, 피부타입 및 포피린에 관한 피부상태(UV광)가 측정될 수 있다. 이때, 촬영된 사용자의 피부 상태와 관련하여 피부지수가 측정될 수 있고, 측정되는 피부지수에는 탄력도, 유수분함량, 유수분균형도, 주름지수 및 피부톤 등이 포함될 수 있다. 위 피부지수에 따라 얼굴 진단장치(100)는 피부관리방법 또는 화장품 등을 추천할 수도 있을 것이다.

예를 들어, 손의 유수분함량이 낮게 측정된 경우, 보습력이 높은 핸드크림을 사용해야 한다는 피부관리방법이 추천될 수 있고, 유수분함량을 높이는 적어도 하나의 화장품 정보가 피부진단결과에 포함될 수 있다. 다만, 피부진단결과는 위 예시에 한정되는 것은 아니며, 손 또는 발의 탄력도, 주름지수 및 피부톤과 같이 피부상태와 관련된 다른 항목에 대한 피부관리방법 및 추천화장품 정보를 포함할 수 있다.

참고로, 상기 피부관리방법 및 화장품이 추천될 때, 진단결과에 포함된 날씨 정보에 기초하여 건조하거나 습한 날씨에 의해 영향을 받은 측정결과가 보정될 수 있고, 건조하거나 습한 날씨, 자외선이 강한 날씨 및 미세먼지가 많은 날씨처럼 피부에 영향을 미치는 날씨일 때 어떻게 피부관리를 해야 할지 피부관리방법이 피부진단결과에 포함될 수 있다.

또한, 제어모듈(110)은 촬영된 영상 이미지에 포함된 사용자의 팔자 주름, 여드름, 기미, 속눈썹 길이 및 점이 표시된 피부진단 결과를 사용자에게 제공할 수도 있다.

상기 촬영되는 피부 관심 영역의 위치 및 크기는 다양할 수 있으며 유동적으로 조절이 가능할 수 있다. 얼굴 진단장치(100)는 다양한 알고리즘을 이용하여 피부 관심 영역을 검출 또는 설정할 수 있고, 이때 피부 관심 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다.

얼굴 진단장치(100)의 제어모듈(110)은 촬영되는 중이거나 이미 촬영된 영상 이미지상의 피부 관심 영역에서 색상 데이터들의 평균을 계산 또는 산출할 수 있다.

여기서, 예를 들어, 색상 데이터는 다양한 값이 사용될 수 있다. 예컨대, (1) 색상 데이터는 RGB 색상 체계를 기준으로 R값, G값 및 B값 중 적어도 하나를 사용할 수 있다. 즉, 색상 데이터는 R값, G값 및 B값 중 적어도 하나에 대한 색상 평균 데이터를 사용할 수도 있다. (2) 또한, 얼굴 진단장치(100)는 RGB 색상 체계를 다른 색상 체계로 변환할 수 있다. 예컨대, 얼굴 진단장치(100)는 RGB 색상 체계를 YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계로 변환할 수 있다. 이 경우 색상 데이터는 주변 환경(조도 등)에 영향을 적게 받는 색차 성분 중 하나를 이용할 수 있다. 예컨대, YCbCr의 경우 Cb값 또는 Cr값 중 적어도 하나를 이용할 수 있다. YCgCo의 경우는 Cg값 또는 Co값 중 적어도 하나를 이용할 수 있다. 나아가 두 개의 색차 성분 중 조도의 변화에 보다 강인한 어느 하나를 이용할 수 있다. 예컨대, YCgCo의 경우는 Cg값만을 이용할 수 있다. 이 경우 얼굴 진단장치(100)의 제어모듈(110)는 피부 영역의 Cg 색상 데이터의 평균값을 색상 데이터로 추출할 수 있다. (3) 나아가 색상 데이터는 RGB, YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계에서 적어도 하나 이상의 색 성분에 가중치를 적용하여 조합한 값일 수도 있다. 색 성분을 조합하는 경우 색상 데이터는 색상 체계 및 색 성분의 종류에 따라 서로 다른 가중치를 부여한 값을 합산한 값일 수도 있다. 얼굴 진단장치(100)는 RGB 색상 체계를 갖는 얼굴 영상을 YCgCo 색상 체계로 변경할 수 있으며, 이하 얼굴 진단장치(100)는 YcgCo에서 Cg값을 구하여 사용한다고 가정한다. 제어모듈(110)은 RGB 색상 체계를 갖는 영상 이미지를 아래 수학식 1을 이용하여 YCgCo 색상 체계로 변경할 수 있다.

<수학식 1>

참고로, 얼굴 진단장치(100)가 Cg 신호로부터 맥파 신호를 추정하기 위해서는 주파수 영역에서 신호를 관찰할 수 있다. 예를 들어, 얼굴 진단장치(100)는 정상적인 경우 안정 또는 흥분 정도에 따라 약 40에서 200까지 분당 맥파가 측정될 수 있으며, 이에 맞춰 주파수 영역에서 관찰하는 영역을 0.65Hz에서 3.4Hz까지로 제한할 수 있다.

다른 예로는, 영상이 적외선 카메라로 촬영된 적외선 영상인 경우, 피부 영역에서 Gray 색상 데이터 평균값을 추출하여 이용할 수도 있다.

다만, 제어모듈(110)은 색상 데이터들의 평균을 바로 이용하는 것이 아니라 색상 데이터들의 평균을 업데이트한 색상 데이터 평균값에 필터링 적용하여 생체신호를 추출할 수 있다. 이는 안정화된 색상 데이터 평균값을 얻기 위한 것으로 이에 대해서는 도 4와 함께 서술하겠다.

도 4는 본 발명의 일 실시예에 따라 이동평균 알고리즘을 적용하기 전후의 좌표를 나타낸 도면이다. 도 4(a)는 이동평균 알고리즘을 적용하기 전의 모습을 나타낸 것이고, 도 4(b)는 이동평균 알고리즘을 적용한 후의 모습을 나타낸 것이다.

구체적으로, 제어모듈(110)은 피부측정모듈(120)을 통해 사용자의 얼굴 내지 피부 일부의 좌표를 검출할 수 있다. 이때, 좌표는 얼굴 내지 피부 영역의 좌표라고 볼 수 있다.

도 4(a)에 도시된 바와 같이, 얼굴 진단장치(100)의 제어모듈(110)은 매 프레임에서 검출되는 피부 영역의 좌표가 변하기 때문에 안정적인 위치에서 생체신호를 추출하기에 한계가 있을 수 있다. 따라서, 제어모듈(110)은 피부 영역 검출에 사용되는 좌표(x, y, width, height)에 이동평균 알고리즘을 적용하여 안정적인 좌표를 검출할 수 있다.

얼굴 진단장치(100)는 입력된 영상에서 매 프레임 검출되는 피부 영역의 영상좌표를 안정화하기 위해 좌표에 이동평균 알고리즘을 적용함으로써 피부의 혈관으로부터 생체신호를 효율적으로 추출할 수 있다. 이때, 이동평균 알고리즘은 이동평균필터(MAF, Moving Average Filter)를 이용할 수 있다.

결국, 얼굴 진단장치(100)의 제어모듈(110)은 검출된 얼굴 내지 피부 일부의 좌표를 이동 평균 알고리즘을 통해 보정한 후 이를 기초로 색상 데이터들의 평균을 업데이트(안전화)한 색상 데이터 평균값을 추출(S230)할 수 있다.

제어모듈(110)은 상기 색상 데이터 평균값을 필터링하여 생체신호를 추출할 수 있다. 이때의 생체신호는 맥파신호라고 볼 수 있다. 얼굴 진단장치(100)는 산출된 생체신호를 이용하여 심혈관 건강 지표를 추정할 수 있는 것이다. 참고로, 맥파는 혈액이 심장에서 파상을 이루며 전파하는 파장을 일컫는 것으로, 심장박동(HRV) 측정 및 우울증 상태를 파악하는 등 다양하게 사용될 수 있다. 얼굴 진단장치(100)의 제어모듈(110)은 얼굴 영상을 촬영하고 얼굴 영역의 피부색 검출 방법을 적용하여 맥파를 추정할 수 있다.

구체적으로, 얼굴 진단장치(100)의 제어모듈(110)은 상기 색상 데이터 평균값에 밴드 패스 필터(BPF, Band Pass Filter)를 적용하여 생체신호(맥파신호)를 검출할 수 있다. 물론, 불안정적이기는 하나 이동평균 알고리즘(MAF)을 적용하기 전인 색상 데이터들의 평균에 밴드 패스 필터(BPF)를 적용하여 생체신호를 검출할 수도 있을 것이다.

또한, 얼굴 진단장치(100)의 제어모듈(110)은 색상 데이터 평균 값에 FFT(Fast Fourier Transform)를 적용할 수 있다. 예컨대, 제어모듈(110)은 매 프레임에서의 Cg 값의 평균을 계산하여 Cg 신호를 추출하고, 추출된 Cg 신호를 FFT(Fast Fourier Transform)를 이용하여 맥박 주파수 영역 중 가장 큰 주파수 성분을 맥파의 주기로 판단할 수 있다. 맥파는 혈액이 심장에서 파상을 이루며 전파하는 파장을 일컫는 것으로, 심장박동(HRV) 측정, 맥박, 호흡, 맥박강도, 혈압 등을 파악하는데 사용될 수 있다.

제어모듈(110)은 Cg 신호로부터 맥파 신호를 추정하기 위해서는 주파수 영역에서 신호를 관찰할 수 있다. 예를 들어, 제어모듈(110)은 정상적인 경우 안정 또는 흥분 정도에 따라 약 40에서 200까지 분당 맥파가 측정될 수 있으며, 이에 맞춰 주파수 영역에서 관찰하는 영역을 0.65Hz에서 3.4Hz까지로 제한할 수 있다.

도 5는 본 발명의 일 실시예에 따라 생체신호로부터 사용자의 건강지표를 측정하는 과정을 상세하게 나타낸 도면이다.

얼굴 진단장치(100)의 제어모듈(110)은 추출된 생체신호 및 신체정보를 이용하여 사용자의 건강지표를 측정(S240)할 수 있다. 구체적으로는, 분당 맥박수, 분당 호흡수, 맥박강도, 혈압, 서맥/빈맥/불규칙 부정맥, 혈량, 혈액점도, 기이맥박, 혈관탄성도, 혈관나이, 우울증 정도 중 적어도 하나 이상을 진단하여 상기 사용자의 건강지표를 측정할 수 있다. 즉, 영상 이미지로부터 추출된 생체신호를 통해 사용자의 건강까지 진단하게 되는 것이다.

예를 들어, 맥박은 생체신호의 맥박관련 주파수 대역(0.67~4Hz)에서 최대 주파수 성분으로 추정(11)할 수 있다. 호흡은 생체신호의 호흡관련 주파수 대역(0.13~0.35Hz)에서 최대 주파수 성분으로 추정(12)할 수 있다. 맥박강도는 생체신호의 맥박관련 주파수 대역으로 BPF 수행한 맥파의 진폭을 이용하여 추정(13)할수 있다. 혈압은 두 곳의 피부 관심영역에서 산출한 맥파의 PTT(Pulse TransitTime)를 이용하여 혈압을 추정(14)할 수 있다. 서맥/빈맥/부정맥은 추정된 맥박수를 서맥기준(60회 이하)과 빈맥기준(100회 이상)에 적용하여 추정(15)할 수 있다. 불규칙 부정맥은 맥파 R-R간격의 심실조기박동(PVC)기준과 ACF 기울기 변화를 이용하여 추정(15)할 수 있다. 혈량은 맥파 주파수 영역(0~4.2Hz)의 최대 피크에서 다음 최대피크의 기울기를 이용하여 혈량을 추정(16)할 수 있다. 혈액점도는 맥파의 피크 지점에서 진폭과 1, 2차 미분, 스프링 상수 K를 이용하여 혈액점도를 추정(17)할 수있다. 기이맥박은 들숨과 날숨 구간 각각의 영역에서 맥박수의 차이 및 세기가 현저히 차이가 있는 기이맥박 정도를 이용하여 추정(18)할 수 있다. 혈관탄성도는 두 곳의 피부 관심영역에서 산출한 맥파의 시간 차와 관심영역 거리를 계산하여 맥파전달속도(PWV)를 추정(19)할 수 있다. 혈관나이는 추정된 맥파전달속도(PWV) 값과 한국성인남녀 평균PWV를 적용한 추정(19)할 수 있다. 이에 대해서 자세히 설명하면 다음 단락과 같다. 참고로, 우울증 정도 역시 생체신호로부터 추출(20)될 수 있으며 이에 대해서는 후술하도록 하겠다.

얼굴 진단장치(100)의 제어모듈(110)은 맥박의 경우 추출된 생체신호에서 맥박관련 주파수 대역인 0.67~4Hz의 최대 주파수 성분 또는 주파수 진폭 값의 MAF를 처리함으로써, 맥박변화를 고려한 방법 등을 사용하여 맥박을 추정할 수 있다.

호흡의 경우 맥박과 동일하게 호흡관련 주파수(0.13~0.35Hz) 대역의 주파수특성을 토대로 추정할 수 있다.

맥박강도의 경우 맥박관련 주파수 대역으로 BPF(Band Pass Filtering)처리한 맥파의 진폭에 따라 그래프 형태로 제공할 수 있다.

혈압의 경우 두 피부 관심영역으로부터 산출된 맥파를 이용해 추정할 수 있다. 본 발명에서 얼굴 진단장치(100)는 복수 개의 피부측정모듈(120a, 120b)을 이용하여 제1 피부 관심 영역 및 제2 피부 관심 영역을 검출할 수 있다. 이때, 얼굴 진단장치(100)의 제1 피부측정모듈(120a)의 카메라모듈(121a)에 의해 제1 피부 관심 영역이 검출되고, 제2 피부측정모듈(120b)의 카메라모듈(121b)에 의해 제2 피부 관심 영역이 검출될 수 있을 것이다. 제3 피부측정모듈이 존재한다면 제3 피부 관심 영역 역시 검출될 수 있을 것이다. 참고로, 상기 제1 피부측정모듈(120a), 제2 피부측정모듈(120b), 제3 피부측정모듈은 얼굴 진단장치(100)의 정면 상단(5), 제1 개구부(10), 제2 개구부(20) 중 어느 하나에 각각 위치할 수 있다.

도 6은 본 발명의 일 실시예에 따라 하나의 피부측정모듈(120)을 이용하여 검출된 영상 이미지에서 복수 개의 피부 관심 영역을 검출하는 모습을 나타낸 도면이다.

도 6과 같이, 하나의 피부측정모듈(120)을 이용하여 검출된 영상 이미지에서 제1 피부 관심 영역(a1) 및 제2 피부 관심 영역(a2)을 검출할 수도 있을 것이다. 이 경우에는 제1 피부측정모듈(120a), 제2 피부측정모듈(120b), 제3 피부측정모듈 중 어느 하나만 이용될 수도 있을 것이다.

혈압의 경우 사용자의 신체정보(키, 몸무게 등)와 맥파 전달 시간에 관련이 있을 수 있다. 따라서, 혈압 추정을 위한 다중회귀를 적용하여 두 관심영역에서 추출된 맥파의 맥파 전달 시간과 키, 몸무게를 독립변수로 두고 회귀모형을 구할 수 있다.

본 발명은 회귀 모형과 더불어 회귀 모형에서 추정된 혈압과 기기를 통해 측정된 혈압간의 상관관계를 추가 적용하여 아래 수학식 1을 활용해 개선된 혈압을 추정할 수 있다. 수학식 1은 개선된 혈압 추정을 위한 회귀곡선식의 예를 나타낸다.

<수학식 2>

수학식 1에서 x는 신체정보와 맥파전달 시간을 이용해 추정된 혈압을 나타낼 수 있고, y는 기기로 측정된 혈압과 추정된 혈압의 관계를 적용하여 개선된 혈압을 나타낼 수 있으며, y1은 수축기, y2는 이완기 혈압을 나타낼 수 있다.

또한, 얼굴 진단장치(100)의 제어모듈(110)은 부정맥의 대표적 사례인 서맥성 부정맥, 빈맥성 부정맥, 불규칙 부정맥을 추정하는 방법으로 맥박수를 기반으로한 방법과 맥박 R-R간격을 이용한 방법을 구비할 수 있다.

서맥과 빈맥의 경우 안정시 맥박수를 기준으로 추정이 가능하며 분당 60회 이하의 맥박을 보일 경우 서맥, 100회 이상의 맥박수를 보일 경우 빈맥으로 구분할 수 있다.

불규칙 부정맥 중 하나인 심실조기수축(PVC)의 경우 맥파의 피크인 R파의 간격에 따른 기준과 그에 따른 ACF(Auto Correlation Function) 기울기를 활용하여 산출할 수 있다.

제어모듈(110)은 심실조기박동(PVC)의 경우 발생 직전 R파와 이후 연속된 두개의 R파 간격을 활용해 추정할 수 있다. 심실조기수축(PVC)을 추정하는 수학식 2는 다음과 같다.

<수학식 3>

수학식 3에서는 R-R간격을 이용한 PVC 추정 방법에 대한 수학식을 보여줄 수 있다.

N은 R 피크의 개수(N : number of R peaks)를 나타낼 수 있고, RR_var은 지속적인 RR의 변화(RR_var: variation of continuous RR)를 나타낼 수 있다. 그리고 RR_th1은 전체 R-R간격의 78%로 PVC의 특성인 초기 피크간격이 짧고 이후 피크간격이 긴 경우를 추정하기 위해 도입될 수 있다.

상술한 수학식 3를 통해 제어모듈(110)은 맥파의 피크검출 이후 PVC 추정할 수 있다.

또한, 컴퓨터 장치는 PVC를 추정하기 위한 또 다른 방법으로 분류된 PVC와 정상 맥파의 ACF 기울기를 이용할 수 있다.

먼저, PVC의 경우 R-R간격과 발생한 R파의 감쇠 등 R-R간격 이외 추가적인 특징이 나타날 수 있다. 따라서 맥파의 급격한 변화를 감지할 수 있는 ACF를 사용할 수 있다.

도 7은 본 발명의 일 실시예에 따라 정상 맥파 및 PVC 발생 구간을 나타낸 도면이다.

도 7(a)에 도시된 바와 같이, 정상 맥파의 경우 정현파의 형태로 신호가 관찰되어 ACF 적용시 기울기의 선형성이 보장될 수 있다. PVC가 발생한 지점의 ACF는 도 7(b)에 도시된 바와 같이, 불규칙한 기울기의 ACF 결과를 보여줄 수 있다. 도 7에 도시된 기울기를 이용하여 본 발명에서는 R-R간격과 R파의 감쇠 등 맥파의 불규칙한 변화에서 ACF를 이용해 PVC를 검출할 수 있다.

얼굴 진단장치(100)는 상술한 기울기의 변화를 계산하기 위해 아래 수학식 4을 사용할 수 있다. 수학식 4는 ACF 기울기 변화를 산출할 수 있다.

<수학식 4>

수학식 4에 개시된 N은 피크의 개수를 2로 나눈 후 1을 뺀 것(N : (number of peak/2)-1)을 나타낼 수 있다.

얼굴 진단장치(100)는 계산된 기울기 변화 값(G)를 사용해 정상 맥파와 PVC로 구분하는 임계치를 학습하여 ACF의 기울기를 활용한 PVC검출을 수행할 수 있다.

혈량의 경우, 생체신호의 주파수 영역에서 피크 간 기울기 값과 사용자의 신체정보(성별, 몸무게)를 사용해 추정할 수 있다. 얼굴 진단장치(100)의 제어모듈(110)은 측정된 생체신호에서 주파수 영역의 혈량과 관계된 주파수 대역(0~4.2Hz)을 설정하고, 설정된 대역의 주파수 영역 피크를 계산할 수 있다.

이후 제어모듈(110)은 계산된 피크 간 기울기 값(G)을 아래 수학식 5에 적용하여 혈량을 추정할 수 있다. 수학식 5는 혈량 추정식을 나타낼 수 있다.

<수학식 5>

혈액점도의 경우, 피부영상에서 산출한 맥파의 피크 진폭과 피크지점의 2차 미분 값, 스프링 상수 K를 이용하여 추정할 수 있다.

스프링 상수 K는 혈관 탄성의 직선 변위의 비를 나타내며, 맥파로 추정할 수있다. 이는 수학식 6을 통해 산출될 수 있다. 수학식 6은 스프링 상수 K의 추정식이다.

<수학식 6>

또한, 수학식 6를 통해 추정된 스프링상수 K를 아래 혈액점도 추정식인 수학식 7에 적용하여 혈액점도를 산출할 수 있다. 수학식 7은 혈액점도 추정식을 추정할 수 있는 식일 수 있다.

<수학식 7>

또한, 제어모듈(110)은 기이맥박을 들숨과 날숨 시 혈압의 차이가 10mmHg이상일 경우 판정할 수 있으며 심낭압전, 폐색전증, 심낭 삼출, 기흉 등의 경우 발생할 수 있다. 본 발명에서는 피부영상에서 산출한 호흡파형과 맥파를 이용해 기이맥박을 검출할 수 있다.

제어모듈(110)은 생체신호로부터 산출된 호흡 파형에서 흡기(하단피크에서 상단피크)와 호기(상단피크에서 하단피크)구간을 구분하고, 각 구간에서 맥파의 진폭차이를 계산하여 흡기와 호기구간 진폭의 비율로 기이맥박을 추정할 수 있다.

기이맥박 진단에서는 4가지 구분으로 정도를 표현해 제공할 수 있다. 표 1은 기이맥박 상태를 구분하여 정리한 표이다.

<표 1>

표 1에 설명한 바와 같이, 흡기와 호기구간 맥파진폭비율이 ratio_r> 0.65 일 경우에는 정상일 수 있다. 그리고 0.15>= ratio_r 일 경우에는 위험일 수 있다.

도 8은 본 발명의 일 실시예에 따라 혈관탄성도 및 혈관나이의 산출과정을 나타낸 도면이다.

도 9은 본 발명의 일 실시예에 따라 영상좌표계 상의 검출된 얼굴 폭에 따른 카메라와의 실제거리 산포도를 나타낸 도면이다.

도 10는 본 발명의 일 실시예에 따라 산포도를 기초로 카메라와의 거리에 따른 1픽셀 당 실제거리를 추정한 회귀곡선을 나타낸 도면이다.

얼굴 진단장치(100)는 카메라모듈(121)을 이용하여 사용자의 신체 일부를 촬영하고 이로부터 제1 피부 관심 영역 및 제2 피부 관심 영역을 설정할 수 있다(S810).

특히, 혈관탄성도 및 혈관나이의 산출과정에서는 하나의 카메라모듈(121)로부터 획득한 영상 이미지에서 제1 피부 관심 영역 및 제2 피부 관심 영역을 설정할 수 있을 것이다. 물론, 설정에 따라서는 카메라모듈(121a, 121b) 각각으로부터 제1 피부 관심 영역 및 제2 피부 관심 영역을 설정할 수도 있을 것이다.

또한, 혈관탄성도 및 혈관나이의 경우, 피부 관심 영역을 동맥 구간을 중심으로 설정할 수 있다. 이는 혈관탄성도를 보다 정확하게 검출하기 위한 것이다. 예를 들면, 얼굴 동맥 구간, 손목 동맥 구간 등을 중심으로 피부 관심 영역을 설정할 수 있을 것이다.

얼굴 진단장치(100)의 제어모듈(110)은 제1 피부 관심 영역 및 제2 피부 관심 영역에서 생체신호 추출(S820)할 수 있고, 맥파를 각각 산출할 수 있다. 산출된 맥파는 일정한 시간차를 두고 동일 혈관에 지연되어 발생될 수 있다.

따라서, 제어모듈(110)은 혈관탄성도를 나타내는 PWV(Pulse Wave Velocity)를 추정하기 위해 두 맥파의 시간차를 계산할 수 있다. 두 맥파의 시간차를 계산하기 위해 본 발명에서는 CCF(Cross Correlation Function)을 사용하여 두 맥파의 CCF 결과(S830)에서 최댓값을 가지는 지연(Lag)를 통해 시간차를 계산할 수 있다. 수학식 8은 두 맥파의 CCF를 수행하는 수학식이다.

<수학식 8>

수학식 8의 결과로 생성되는 CCF는 두 맥파 p1, p2의 상관성을 나타내며 원점에서 가장 큰 값을 가지는 위치까지의 샘플 값을 통해 맥파의 지연시간을 계산할 수 있다.

PWV 추정은 맥파의 지연시간과 두 측정 위치의 거리를 통해 계산될 수 있다(S860). 측정 위치인 피부(ex 얼굴 피부, 손 발 피부) 영상 이미지에서 나타난 피부 관심 영역의 실제 거리를 계산하기 위해, 본 발명에서는 카메라와 피부 사이 거리추정과 영상좌표계의 실제거리 추정기법을 적용(S840, S850)할 수 있다. 제어모듈(110)은 제1 피부 관심 영역과 제2 피부 관심 영역간의 실제 거리를 도출하기 위해 촬영된 피부 영역의 영상 이미지에서 피부 영역(촬영된)을 기반으로 카메라와의 거리를 추정하고, 추정된 카메라와의 거리를 이용할 수 있다.

제어모듈(110)은 카메라 렌즈와 피부 영역 사이 실제거리를 도출하기 위해 피부 영역 검출에 따른 영상좌표계상의 피부 영역 폭(Width)과 카메라와 피부 영역 사이 실제거리 간의 상관관계를 확인할 수 있다.

도 9은 본 발명의 일 실시예에 따라 얼굴 영역을 카메라모듈(121)을 통해 촬영하고, 영상좌표계 상의 검출된 얼굴 폭에 따른 카메라와의 실제거리 산포도를 나타내고 있다. 도 9에 도시된 그래프에서 가로 방향을 얼굴 폭을 나타내고 세로 방향을 카메라와의 거리를 나타낼 수 있다.

도 9에 도시된 그래프를 통해 얼굴 폭이 증가할수록 카메라와의 실제거리는 비선형적으로 감소함을 확인할 수 있다. 따라서, 제어모듈(110)은 비선형 특성을 반영하여 2차 회귀곡선을 적용해 얼굴 폭으로부터 카메라와의 실제거리를 추정할 수 있다. 예를 들어, 640 X 480 촬영환경에서 산출된 회귀식은 수학식 9과 같다.

<수학식 9>

상기 수학식 9에서 distance는 추정된 카메라 렌즈와 얼굴 사이 실제거리(cm)이며 W는 영상좌표계 상의 검출된 얼굴의 폭을 나타낼 수 있다. 제어모듈(110)은 추정된 카메라와의 거리를 이용해 두 관심영역 사이 거리를 기존 픽셀단위에서 실제 거리척도로 변환할 수 있다.

또한, 제어모듈(110)은 카메라와의 거리에 따라 영상좌표계상에서 표현된 10cm마커를 추적하여 카메라와 물체의 거리에 따라 1픽셀 당 cm비율을 수학식 10을 이용하여 계산할 수 있다. 수학식 10는 1 픽셀당 실제거리 변환식을 나타낼 수 있다. 도 10은 수학식 10에서 계산된 회귀곡선을 그래프로 나타낸 것이다. 도 10에 도시된 그래프에서 가로 방향은 카메라와 거리를 나타내고, 세로 방향은 1 픽셀 거리를 나타낼 수 있다.

<수학식 10>

수학식 10에서 산출된 W를 촬영된 피부 영역(ex 얼굴 영역 등)에서 검출된 두 관심 영역사이 픽셀 값과 곱하여 실제거리를 cm단위로 계산할 수 있다.

또한, 얼굴 진단장치(100)의 제어모듈(110)은 PWV를 추정하기위해 상기 계산된 cm단위의 두 관심영역 사이 실제거리 D와 CCF결과를 통해 계산된 두 맥파의 지연시간 PPT를 아래 수학식 11에 대입하여 PWV를 산출(S860)할 수 있다

<수학식 11>

얼굴 진단장치(100)의 제어모듈(110)은 산출된 PWV와 진단한 내용을 기초로 혈관 나이를 추정(S870)할 수 있다.

도 11은 본 발명의 일 실시예에 따라 데이터베이스에 저장된 관련 정보를 이용하여 맞춤형 콘텐츠를 제공하는 것을 나타낸 도면이다.

도 11을 살펴보면, 얼굴 진단장치(100)의 데이터베이스(140)에는 사용자별 신체정보, 건강지표 측정결과 정보, 콘텐츠 정보 등을 포함하고 있다. 상기 정보들은 본 발명의 프로세스가 수행됨에 따라 지속적으로 업데이트될 수 있을 것이다. 예를 들어, 얼굴 진단장치(100)는 사용자의 신체정보 및 건강지표 측정 결과를 획득한 후, 이를 데이터베이스(140)에 지속적으로 업데이트할 수 있다.

또한, 상기 데이터베이스(140)에 저장된 사용자별 신체정보, 건강지표 측정결과 정보, 콘텐츠 정보 등은 서로 대응되는 상태로 저장될 것이다. 예를 들어, 각각의 건강지표 측정결과에 대응되도록 콘텐츠 추천 정보가 각각 저장될 수 있고, 신체정보에 대응되도록 콘텐츠 추천 정보가 저장될 수도 있을 것이다. 또한, 각각의 식별코드로 구분되는 사용자별로 대응되는 건강지표 측정 결과 내지 맞춤형 콘텐츠 정보가 저장될 수도 있을 것이다.

참고로, 상기 데이터베이스(140)는 전술한 바와 같이, 도 2와는 달리 얼굴 진단장치(100)에 포함되지 않을 수도 있다. 즉, 상기 데이터베이스(140)는 외부 서버, 클라우드 등 외부 데이터베이스에 해당할 수도 있다. 이 경우, 얼굴 진단장치(100)는 통신모듈(130)을 통해 외부 데이터베이스와 필요한 정보를 송수신할 수 있을 것이다.

얼굴 진단장치(100)의 제어모듈(110)은 데이터베이스(140)에 저장된 사용자별 신체정보, 건강지표 측정결과 정보, 콘텐츠 정보 등을 조합 또는 결합하여 사용자의 건강지표에 따른 사용자별 헬스 로그(Health-log)를 생성하고 생성된 정보를 도식화하여 사용자에게 제공할 수 있다. 상기 헬스 로그는 사용자의 건강 지표를 기록 및 관리하기 위한 것에 해당할 수 있다.

또한, 얼굴 진단장치(100)의 제어모듈(110)은 헬스 로그를 기초로 사용자에게 동기 부여를 위한 알림 메시지를 생성 및 출력하거나, 맞춤형 콘텐츠를 제공할 수도 있다. 즉, 제어모듈(110)은 사용자의 헬스 로그를 기반으로 상태변화 정도를 계산하고 상태에 따른 개인 맞춤형 콘텐츠를 추천할 수 있다.

예를 들어, 추천하는 개인 맞춤형 콘텐츠로는 개인맞춤형 음악, 맥박맞춤 및 정상맥박 유도음원, 치유 주파수 적용음원, 개인맞춤형 운동가이드 및 개인맞춤형 섭취가이드를 포함할 수 있다. 즉, 개인 맞춤형 콘텐츠는 음악, 식단, 운동 등 대표적 심혈관 질환 예방 및 개선 콘텐츠를 적용할 수 있다. 본 발명은 이에 한정되는 것은 아니며 서술된 콘텐츠 이외 추가 콘텐츠도 가능하다.

도 12은 본 발명의 일 실시예에 따라 음식 및 건강에 따른 섭취가이드를 나타낸 도면이다.

상기 데이터베이스(140)에는 콘텐츠 정보로서 개인맞춤형 섭취가이드 정보가 포함될 수 있다.

구체적으로, 얼굴 진단장치(100)는 외부장치(200, ex 사용자 단말, 외부 서버) 또는 자신의 카메라모듈(121)을 통해 음식 사진을 획득(도 12의 (a))할 수 있다. 또한, 음식명 등을 사용자로부터 입력받을 수 있다.

제어모듈(110)은 음식 사진 또는 음식명을 기초로 분류(도 12의 (b))할 수 있고, 분류결과를 음식별 칼로리 모델에 입력하여 음식의 칼로리를 추정(도 12의 (c))할 수 있다. 제어모듈(110)은 이러한 정보를 데이터베이스(140)에 지속적으로 업데이트할 수 있다.

심혈관 질환의 경우 권장음식과 피해야할 음식이 다양하게 존재할 수 있다. 따라서, 얼굴 진단장치(100)의 제어모듈(110)은 하루 권장 섭취량 및 권장 음식, 피해야할 음식 등 사용자가 숙지하지 못하는 식단정보를 제공(도 12의 (d))하여 심혈관 건강을 예방할 수 있다. 심혈관 건강뿐만 아니라 다른 질환에 대해서도 맞춤형 섭취가이드를 제공할 수 있을 것이다.

또한, 얼굴 진단장치(100)의 제어모듈(110)은 사용자의 신체정보 및 건강지표에 따라 맞춤형 운동을 제시하고 운동 강도를 설정 하에 제공할 수 있다. 특히, 얼굴 진단장치(100)와 연결된 사용자 개인 단말의 GPS센서 등을 연동한 위치기반 서비스를 제공하여 현재 사용자의 달리기 속도를 제어해 개인에게 맞춤화된 운동 가이드를 제공할 수 있다.

또한, 얼굴 진단장치(100)의 제어모듈(110)은 건강지표 진단 결과에 따라 심혈관 기능 개선 및 향상에 도움되는 음원 추천과 사용자의 실시간 맥박상태가 반영된 음원 및 정상맥박수 유도를 위한 음원을 출력하여 심혈관 예방 및 개선을 유도할 수 있다.

맥박 조율 음원과 별개로 사용자가 입력한 음원에 치유주파수를 강조하여 음악치료를 통한 심혈관계 긍정적 효과를 유도하는 치유주파수 적용음원이 포함될 수 있다. 예를 들어, 대표적인 치유주파수는 528Hz, 432Hz, 936Hz 등이 있으며 각각 주파수에 따른 효과는 다양한 연구를 통해 실험되었다.

또한, 본 발명에서는 치유주파수를 활용하여 사용자가 입력한 음원의 주파수 영역에서 치유주파수를 강조하는 단계와 강조된 주파수 영역의 음원을 시간 영역으로 변환하는 단계를 거처 치유주파수가 반영된 음원을 생성할 수도 있다.

또 다른 하나의 실시 예로 설명한 맥박조율 음원 생성기법과 순차적 처리를 통해 사용자의 현재 맥파 또는 정상 맥파가 반영된 음원에서 치유주파수를 강조한 기법을 적용한 음원으로 처리할 수도 있다.

얼굴 진단장치(100)는 상술한 음악, 식단, 운동 등 대표적 심혈관 질환 예방 및 개선의 콘텐츠 추천에 따른 수행내역을 DB에 저장할 수 있다. 본 발명은 본 발명은 상술한 진단방법 및 콘텐츠 추천 요소를 통합하여 심혈관 질환 예방 및 개선을 위한 헬스 로그(Health-log)에 관한 것이며, 상기 요소 외 추가 요소의 결합에 의한 또 다른 실시 예가 존재할 수 있다.

한편, 얼굴 진단장치(100)의 제어모듈(110)은 상기 측정된 사용자의 건강지표를 출력모듈(160)을 통해 프린팅하거나, 통신모듈(130)을 통해 외부장치(200)에 송신할 수 있다.

피부 영상을 이용한 혈관탄성도 측정의 실험으로 20~30세 남녀 20명으로 구성된 실험군에서 PWV측정실험을 수행한 결과는 다음과 같다.

도 13은 성인 남녀 20명 100개 데이터의 PWV분포를 나타낸 것이고, 도 14는 나이에 따른 한국 성인남녀 baPWV분포를 나타낸 것이고, 도 15은 baPWV 정상범위를 나타낸 것이다.

도 13 내지 도 15를 살펴보면, 본 발명의 일실시 예에 따라 피부영상을 이용한 혈관탄성도 측정의 실험으로 20~30세 남녀 20명으로 구성된 실험군에서 PWV측정실험을 수행하였고, 결과의 빈도는 도 13에 도시된 히스토그램과 같다.

본 발명에서는 혈관의 탄성도를 측정하기위해 보편적으로 사용되는 맥파전달속도 측정 방식인 baPWV의 값과 동일한 범위로 증폭하기 위해, 용인시 운동처방센터에서 발표한 한국 성인남녀의 나이에 따른 baPWV 값을 활용하였다.

도 14에 도시된 산포도에서는 제시된 나이에 따른 값과 본 발명에서 계산된 PWV평균값을 일치시켜주는 증폭상수 α를 계산하여 계산된 PWV에 적용하였다.

PWV값의 진단을 위해 증폭상수 α가 곱해진 PWV값에서 baPWV 정상범위 임계값을 적용하여 나이에 따른 정상 비정상 진단을 수행하였다. 도 15에서는 나이에 따른 평균선과 정상 상하한선을 나타낸 것이다.

도 15에 도시된 바와 같이, 그래프의 범위를 적용하여 사용자의 나이에 따른 PWV진단을 수행하였다. 또한 피부 영상에서 계산된 PWV값을 입력하여 나이축의 값을 출력해 혈관의 나이를 추정하여 제공하였다.

한편, 본 발명의 얼굴 진단장치(100)의 제어모듈(110)은 사용자의 얼굴을 촬영하여 이로부터 우울증 정도를 측정할 수 있는 바, 아래에서는 이에 대해서 서술하도록 하겠다.

도 16은 본 발명의 일 실시예에 따라 우울증 정도를 측정하는 과정을 나타낸 도면이다.

우선, 위에서 살펴본 바와 같이 얼굴 영상을 촬영하고 피부 검출 및 피부 관심 영역에서 색상 데이터 평균값을 계산할 수 있다. 그리고, 색상 데이터 평균값에 필터링을 적용하여 생체신호(맥파 신호)를 산출할 수 있다(S1601).

다음으로, 얼굴 진단장치(100)에서 상기 산출된 생체신호(맥파신호)에서 피크 지점을 검출하여 맥박을 계산(S1602)하고, 상기 검출된 피크 지점을 이용하여 심박 간격을 측정할 수 있다. 그리고, 측정된 심박 간격(Peak와 Peak 사이 간격)을 통해 타코그램(Tachogram)을 도출(S1603)하고 상기 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A/HF'A ratio 등)을 산출(S1604)함으로써 우울증 지수를 측정하고 진단할 수 있다.

참고로, 얼굴 진단장치(100)는 상기 산출된 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A/HF'A ratio 등)을 회귀분석에 적용함으로써 개선할 수 있다.

상기 회귀분석을 적용하기 위해서는 PPG 장치를 이용하여 미리 파라미터 값을 산출할 수 있다. 구체적으로, PPG 장치를 이용하여 맥파 신호를 산출하고, 피크 간의 간격 값을 통해 타코그램(Tachogram)을 도출할 수 있다. 상기 타코그램의 주파수를 분석하여 회귀분석을 위한 회귀분석용 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A/HF'A ratio 등)을 산출하고 상기 데이터베이스(140)에 저장할 수 있다.

결국, 얼굴 진단장치(100)는 산출된 파라미터 값을 데이터베이스(기존의 데이터베이스(140)와 동일할 수도 있고, 다른 데이터베이스에 해당할 수도 있음)에 기저장된 회귀분석용 파라미터 값과 비교하고, 개선된 파라미터 값을 산출(S1605)할 수 있다. 다만, 상기 회귀분석을 통한 파라미터 값을 개선하는 과정(S1605)은 생략될 수 있다.

참고로, 회귀분석식을 이용하여 개선된 파라미터 값을 산출할 수 있으며, 회귀분석식은 회귀직선식(y=ax+b) 또는 회귀곡선식(y=ax²+bx+c)에 해당할 수 있다. 이때, y는 개선된 파라미터값(개선된 맥박, 개선된 LF활성도 등)이고, x는 얼굴 피부 영상으로부터 추정된 파라미터값(맥박, LF활성도 등)에 해당할 수 있다. 또한, 상기 a, b, c 등의 상수값은 얼굴 피부 영상으로부터 계산된 파라미터 값과 PPG 장치를 이용하여 산출된 파라미터 값 등으로부터 도출될 수 있을 것이다.

다음으로, 얼굴 진단장치(100)는 파라미터 값(개선되기 전 또는 개선된 후)을 우울증 지수식에 적용하여 우울증 지수를 계산(S1606)할 수 있다. 참고로, 상기 우울증 지수식에 적용하는 파라미터 값은 회귀분석을 적용한 이후의 개선된 파라미터 값을 적용할 수도 있고, 회귀분석을 적용하기 이전의 파라미터 값을 적용할 수도 있다.

HRV는 자율신경계(Autonomic Nervous System, ANS) 기능을 평가할 수 있는 유망한 바이오 마커인 맥박의 심박변화를 나타낼 수 있으며, 저주파(LF, 0.04-0.15Hz), 고주파(HF, 0.15-0.4Hz) 및 LF/HF ratio는 교감 신경 및 부교감 신경 활동의 정량적 추정치를 제공할 수 있다.

LF 활성도(LF Activity, LF'A)는 신체에서 교감신경의 활성화 정도를 나타낼 수 있다. LF 활성도란 심박간격 타코그램(Tachogram)을 FFT를 이용하여 주파수 영역으로 변환하고 이 영역에서 0.04~0.15Hz 사이 주파수 대역의 에너지를 말할 수 있다. LF대역의 파워 스펙트럼 밀도(Power Spectral Density, PSD) 값의 합에 자연로그(Natural Logarithm)를 취해 LF활성도를 산출할 수 있다.

HF 활성도(HF Activity, HF'A)는 신체에서 부교감신경의 활성화 정도를 나타낼 수 있다. HF 활성도란 심박간격 타코그램(Tachogram)을 FFT를 이용하여 주파수 영역으로 변환하고 이 영역에서 0.15~0.4Hz 사이 주파수 대역의 에너지를 말할 수 있다. HF 대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 HF 활성도를 산출할 수 있다.

얼굴 진단장치(100)는 산출된 파라미터 값을 이용하여 우울증 지수(Depressive Disorder Index, DDI)를 산출할 수 있으며, 그 색상체계들 중 한 가지 예로 RGB 색상체계를 YCgCo 색상체계로 변환하여 산출된 Cg 색상 데이터 평균값을 이용하여 맥파 신호를 산출할 수 있다. 얼굴 진단장치(100)는 산출된 맥파 신호에서 도출된 심박 간격 타코그램(Tachogram)을 통해 검출된 파라미터 값을 이용하여 우울증 지수를 산출할 수 있다. 이는 아래 수학식 12과 같다.

<수학식 12>

심박 변이도(PRV)는 우울증을 진단하기 위한 생물학적 지표로 사용되어 왔으며, 자율신경계 활동의 변화량과 PRV 지수의 반응성을 이용하여 우울증 지수를 측정하고 상태를 진단할 수 있다. 한가지 예로, 얼굴 진단장치(100)는 우울증 지수를 측정하기 위해 30초 동안 맥파 신호를 산출하였을 때 총 3단계로 각 10초씩 Before, Current, After로 구분하여 자율신경계 활동의 변화량과 맥박을 산출하였으며, 각 시간에 따라 계산된 파라미터(맥박, LF'A, HF'A, LF'A/HF'A ratio 등)를 이용하여 우울증 지수를 측정할 수 있다. 이때 우울증 지수를 측정하기 위한 파라미터 산출 측정 시간은 사용 장치의 성능에 따라 다소 차이가 있을 수 있다.

한편, 제어모듈(110)은 사용자의 얼굴에서 얼굴 요소(머리, 눈썹, 눈, 코, 입 등)를 검출(S1607)하고, 얼굴 요소들로부터 특징점을 검출하며, 계산된 특징 값(요소 간의 거리, 떨림 등)을 이용하여 사용자의 감정 상태(ex 긍/부정, 중립 감정)를 인식(S1608)하고, 상기 감정 상태 인식 결과 및 우울증 지수(얼굴 피부 영상의 생체신호 기초)를 이용하여 우울증 정도를 진단(S1609)할 수 있다.

참고로, 이전 생체신호를 추출한 얼굴 영상으로부터 상기 얼굴 요소들을 검출할 수도 있고, 상기 얼굴 영상을 촬영한 카메라가 아닌 다른 카메라로 촬영한 영상으로부터 상기 얼굴 요소들을 검출할 수도 있을 것이다.

즉, 카메라모듈(121a)을 통해 촬영한 영상으로부터 생체신호를 추출하였다면, 얼굴 요소들은 동일한 카메라모듈(121a) 또는 다른 카메라모듈(121b)로부터 검출될 수 있을 것이다.

도 17은 본 발명의 일 실시예에 따라 우울증 지수 측정을 위한 파라미터 값을 산출하는 방법을 설명한 도면이다. 참고로, 도 17은 도 16의 S1601 내지 S1606 과정과 대응될 수 있을 것이다.

얼굴 진단장치(100)는 카메라모듈(121a)을 이용하여 촬영된 영상(S51)에서 얼굴 및 피부 영역을 검출(S52, S53)하고 피부 영역의 RGB 색상체계를 YCgCo 색상체계로 변환하여 추출된 Cg 색상 데이터 평균값을 이용하여 맥파 신호를 산출할 수 있다. 그리고, 얼굴 진단장치(100)는 산출된 맥파 신호에서 맥박 계산 및 피크 지점을 검출할 수 있다(S54 내지 S56).

얼굴 진단장치(100)는 검출된 피크 지점 간격 값을 이용하여 타코그램(Tachogram)을 도출할 수 있다(S57). 이후 얼굴 진단장치(100)는 도출된 타코그램(Tachogram)에 FFT(Fast Fourier Transform)를 적용하여 주파수 영역으로 변환할 수 있다.

얼굴 진단장치(100)는 LF'A 산출을 위한 주파수 범위를 0.04~0.15Hz, HF'A 산출을 위한 주파수 범위를 0.15~0.4Hz로 설정할 수 있다(S58). 또한, 얼굴 진단장치(100)는 설정된 주파수 범위를 분석하여 우울증 지수 측정 파라미터 값(LF, HF 활성도 및 LF'A / HF'A ratio)을 계산 또는 산출할 수 있을 것이다(S59).

도 18은 본 발명의 일 실시예에 따라 얼굴 영상으로부터 사용자의 긍/부정 감정 결과를 산출하는 과정을 나타낸 도면이다.

도 18에서 Arousal은 각성의 강도를 나타내며, 수치가 높을수록 몸이 긴장되고 떨리는 느낌을 의미하며 낮을수록 평온한 느낌을 의미할 수 있다. Valance는 긍정과 부정의 정도를 나타내며 수치가 높을수록 기분이 좋고 낮을수록 기분이 나쁠 수 있다. 그리고 무게중심은 아무런 중심이 없는 평범한 상태를 나타낼 수 있다.

Arousal과 Valence의 조합으로 인해 구성되는 2차원 정서 공간은 정서모델의 가장 기본적인 형태이다. 즉, 긍정과 부정의 정도 및 각성의 정도에 의해 인간의 감정 변화가 일어난다는 것이며, 이러한 정서적 감응 요소의 반응 정도를 알 수 있다면 인간의 감정을 알아낼 수 있다.

본 발명에서는 긍/부정, 중립 상태를 인식하기 위한 일례로, 얼굴 진단장치(100)를 이용하여 촬영된 얼굴 영상에서 얼굴 영역 및 얼굴 요소(머리, 좌우 눈썹 및 눈, 코, 입)를 검출할 수 있다(S121, S122). 얼굴 요소에서 검출된 특징점에서 특징값(ex 안쪽 눈썹과 눈 사이 거리, 바깝쪽 눈썹과 눈 사이의 거리, 좌우 안쪽 눈 사이의 거리, 윗입술과 코 위 사이의 거리, 양쪽 끝 입술과 아래 눈 사이의 거리, 양 입술 사이의 거리 또는 입 크기, 아랫 입술과 아래 코사이의 거리, 머리 떨림, 눈썹 떨림, 눈 떨림, 코 떨림, 입 떨림 등)을 계산(S123)하고, 계산된 특징 값을 패턴 인식 알고리즘(SVM, 다층 퍼셉트론, 인공 신경망 등)으로 학습된 감정 인식 모델에 입력으로 설정하여 패턴을 분류하고 사용자의 다양한 감정에 대한 확률값을 계산할 수 있다(S124).

얼굴 진단장치(100)는 계산된 각 감정별 확률값을 2차원 정서적 감응치 모델에 맵핑하여 긍/부정, 중립 상태를 인식할 수 있다(S125). 얼굴 진단장치(100)는 2차원 정서적 감응치 모델에 다양한 감정 확률 값을 맵핑하여 긍/부정, 중립 상태를 인식하기 위해 -4~4까지 0.1 단위로 다양한 감정들의 위치를 총 10개로 구분할 수 있다. 예를 들어, 다양한 감정은 좌표값으로 표현될 수 있다.

예를 들어, Angry의 좌표값은 -3.1이고 Disgust의 좌표값은 -2.3이며 Fear의 좌표값은 -2.4이고 Happy의 좌표값은 2.8이며, Sad의 좌표값은 -1.5이고, Surprise의 좌표값은 0.2이며, Neutral의 좌표값은 0에 해당할 수 있다.

얼굴 진단장치(100)는 얼굴 요소의 특징값(요소 간의 거리, 떨림 등)으로부터 계산된 다양한 감정의 확률값에 상기 제시된 좌표값을 곱하여 산출된 결과를 아래 수학식 13에 적용할 수 있다(S126).

<수학식 13>

또한, 얼굴 진단장치(100)는 얼굴 표정을 기반으로 긍/부정, 중립 상태 값을 계산 또는 산출할 수 있다(S127)

얼굴 진단장치(100)는 계산된 긍/부정, 중립 상태 값을 아래 표에 적용하여 긍/부정, 중립의 정도를 파악할 수 있으며, "-2.0 ≤, < -1.45" 값이면 부정(약), "-2.55≤, < -2.0" 값이면 부정(중), "-3.1 ≤, < -2.55" 값이면 부정(강), "-1.45≤, < 0.65" 값이면 중립, "0.65 ≤, < 1.35" 값이면 긍정(약), "1.35 ≤, <2.1"값이면 긍정(중), "2.1 ≤, < 2.8" 값이면 긍정(강)을 나타낼 수 있다. 이는 아래 표와 같다.

도 19는 본 발명의 일 실시예에 따라 우울증 지수와 감정 상태의 관계를 나타낸 도면이다.

도 19를 살펴볼 때, 우울증 지수와 긍/부정, 중립 감정의 상관계수는 0.6759로 높은 상관성을 가지고 있는 것을 확인할 수 있다.

산출된 회귀직선(또는 회귀곡선)은 얼굴 피부 영상의 생체신호를 이용하여 측정한 우울증 지수의 측정 오차를 줄이거나 오진률을 낮춰 우울증 지수 측정 및 진단의 정확도를 높이는 데 활용할 수 있다.

본 발명은 우울증 지수와 긍/부정, 중립 감정 값에 회귀분석을 적용하여 산출된 회귀직선(또는 회귀곡선)에 얼굴 피부 영상의 생체신호를 이용하여 계산된 우울증 지수를 함께 적용하여 실제 사용자의 감정 상태를 활용한 개선된 우울증 지수를 측정할 수 있다. 예를 들어, 본 발명은 우울증 상태 진단의 경우 긍정(강) 상태일 때 우울증 지수의 재측정을 유도, 긍정(중), (약). 부정 및 중립일 경우 계산된 우울증 지수를 상기 산출된 회귀분석식에 적용하여 오차를 줄이는 데 활용할 수 있다.

또한, 본 발명은 우울증 상태 진단에서 재측정을 유도하기 위한 임계치를 긍정, 중립의 상태값 중 특정 범위를 지정하지 않고 활용할 수 있다. 또한, 본 발명은 얼굴 피부 영상의 생체신호를 이용하여 계산한 우울증 지수와 긍/부정, 중립 감 정 상태값의 회귀분석 식을 이용하여 계산한 우울증 지수에 가중합을 적용하여 개선된 우울증 지수를 측정할 수 있다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 얼굴 진단장치
110: 제어모듈
120: 피부측정모듈
121: 카메라모듈
122: 조명모듈
130: 통신모듈
140: 데이터베이스
150: 입력모듈
160: 출력모듈
200: 외부장치(서버)

Claims

사용자의 건강 지표를 측정하는 방법에 있어서,
(a) 얼굴 진단장치가 상기 사용자의 얼굴을 촬영하고, 획득한 영상 이미지에서 피부 관심 영역 및 상기 얼굴의 좌표를 검출하는 단계;
(b) 상기 얼굴 진단장치는 상기 피부 관심 영역에서 색상 데이터들의 평균을 계산하고, 상기 검출된 얼굴의 좌표를 이동 평균 알고리즘을 통해 보정한 후 이를 기초로 상기 색상 데이터들의 평균을 업데이트한 색상 데이터 평균값을 추출하는 단계; 및
(c) 상기 얼굴 진단장치가 상기 색상 데이터 평균값을 기초로 생체신호를 추출하고, 상기 생체신호를 이용하여 상기 사용자의 건강지표를 측정하는 단계
를 포함하며,
상기 피부 관심 영역은 동맥 구간을 포함하는 제1 피부 관심 영역 및 제2 피부 관심 영역을 포함하고,
상기 얼굴 진단장치는, 상기 (c) 단계에서,
상기 제1 피부 관심 영역 및 상기 제2 피부 관심 영역 각각에서의 두 맥파를 검출하고,
상기 두 맥파의 상호 상관 함수 CCF(Cross Correlation Function)에서, 원점으로부터 최댓값을 가지는 두 위치의 값을 이용하여 지연시간을 산출하고, 상기 지연시간을 이용하여 상기 두 맥파의 시간차를 계산하고,
상기 사용자의 상기 얼굴을 촬영한 상기 영상 이미지에서 상기 얼굴의 폭을 산출하고, 상기 얼굴의 폭을 이용하여 상기 얼굴과 카메라모듈까지의 거리를 산출하고,
상기 얼굴과 상기 카메라모듈까지의 거리를 이용하여 상기 영상 이미지의 픽셀당 실제거리를 산출하고, 상기 제1 피부 관심 영역과 상기 제2 피부 관심 영역 사이의 픽셀 값과 상기 픽셀당 실제거리를 곱하여 상기 제1 피부 관심 영역과 상기 제2 피부 관심 영역 사이의 거리를 계산하고,
상기 제1 피부 관심 영역과 상기 제2 피부 관심 영역 사이의 거리를 상기 두 맥파의 시간차로 나누어 맥파전달속도(Pulse Wave Velocity)를 계산하고,
상기 맥파전달속도를 이용하여 혈관탄성도 및 혈관나이를 진단하여 상기 사용자의 건강지표를 측정하며,
상기 얼굴과 상기 카메라모듈까지의 거리는, 상기 얼굴의 폭이 증가할수록 비선형적으로 감소하는 것을 특징으로 하는 방법.
제1항에 있어서,
입력모듈 또는 데이터베이스로부터 상기 사용자의 키, 몸무게를 포함하는 신체정보를 획득한 상태에서,
상기 얼굴 진단장치는, 상기 (c) 단계에서 상기 신체정보 및 상기 생체신호를 이용하여 분당 맥박수, 분당 호흡수, 맥박강도, 혈압, 서맥 부정맥, 빈맥 부정맥, 불규칙 부정맥, 혈량, 혈액점도, 기이맥박, 혈관탄성도, 혈관나이 중 적어도 하나 이상을 진단하여 상기 사용자의 건강지표를 측정하는 것을 특징으로 하는 방법.
제2항에 있어서,
i) 상기 분당 맥박수는 상기 생체신호의 맥박관련 주파수 대역에서 최대 주파수 성분을 이용하여 산출되고, ii) 상기 분당 호흡수는 상기 생체신호의 호흡관련 주파수 대역에서 최대 주파수 성분을 이용하여 산출되며, iii) 상기 맥박강도는 상기 생체신호의 맥박관련 주파수 대역으로 BPF(Band Pass Filtering)를 수행한 맥파의 진폭을 이용하여 산출되고, iv) 상기 서맥 부정맥 또는 상기 빈맥 부정맥은 상기 산출된 맥박수를 기초로 산출되고, v) 상기 혈량은 상기 생체신호의 혈량관련 주파수 대역에서 피크 간의 기울기를 이용하여 산출되고, vi) 상기 혈액점도는 맥파의 피크지점에서 진폭, 미분값, 스프링 상수 K를 이용하여 산출되며, vii) 상기 기이맥박은 들숨과 날숨시 맥파의 진폭차이를 이용하여 산출되며,
상기 스프링 상수 K는 혈관 탄성의 직선 변위의 비율인 것을 특징으로 하는 방법.
제2항에 있어서,
상기 혈압은 상기 제1 피부 관심 영역 및 상기 제2 피부 관심 영역에서 산출한 상기 두 맥파의 PTT(Pulse Transit Time)를 이용하여 산출되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (c) 단계에서,
상기 얼굴 진단장치는 상기 생체신호에서 피크 지점을 검출하여 맥박을 계산하고, 상기 검출된 피크 지점을 이용하여 심박 간격을 측정하며, 상기 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하고, 상기 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값을 산출하며, 상기 산출된 파라미터 값을 이용하여 우울증 지수를 측정하는 것을 특징으로 하는 방법.
제5항에 있어서,
상기 얼굴 진단장치는 상기 사용자의 얼굴에서 얼굴 요소를 검출하고, 상기 얼굴 요소 간의 거리 또는 상기 얼굴 요소의 떨림을 이용하여 상기 사용자의 감정 상태를 인식하고,
상기 측정된 우울증 지수와 상기 인식한 감정 상태를 기초로 상기 사용자의 우울증 정도를 진단하여 상기 사용자의 건강지표를 측정하는 것을 특징으로 하는 방법.
제1항에 있어서,
건강지표 각각에 대응되는 콘텐츠 추천 정보가 데이터베이스에 저장된 상태에서,
상기 얼굴 진단장치는, 상기 사용자의 건강지표를 기록 및 관리하기 위한 헬스 로그를 구성하고, 상기 헬스 로그를 기초로 상기 사용자의 동기 부여를 위한 알림 메시지를 생성 및 출력하며, 맞춤형 콘텐츠를 제공하는 것을 특징으로 하는 방법.
제7항에 있어서,
상기 맞춤형 콘텐츠는
개인맞춤형 음악, 맥박맞춤 및 정상맥박 유도음원, 치유 주파수 적용음원, 개인맞춤형 운동가이드 및 개인맞춤형 섭취가이드 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 얼굴 진단장치가 상기 사용자의 신체정보 및 건강지표를 데이터베이스에 지속적으로 업데이트하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 사용자의 신체 일부가 투입될 수 있는 개구부가 상기 얼굴 진단장치에 적어도 하나 이상 존재한다고 할 때,
상기 얼굴 진단장치는 상기 개구부 내에 위치하는 상기 카메라모듈 및 조명모듈을 이용하여 상기 영상 이미지를 촬영하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 얼굴 진단장치는, 측정된 상기 사용자의 건강지표를 출력모듈을 통해 프린팅하거나, 상기 사용자의 단말에 전송하는 것을 특징으로 하는 방법.
사용자의 건강 지표를 측정하는 얼굴 진단장치에 있어서,
외부장치와 정보를 송수신하는 통신모듈;
상기 사용자의 얼굴 촬영을 지원하는 카메라모듈 및 조명모듈을 포함하는 피부측정모듈; 및
상기 피부측정모듈을 이용하여 상기 사용자의 얼굴을 촬영하고, 상기 촬영된 영상 이미지에서 피부 관심 영역 및 상기 얼굴의 좌표를 검출하며, 상기 피부 관심 영역에서 색상 데이터들의 평균을 계산하고, 상기 검출된 얼굴의 좌표를 이동 평균 알고리즘을 통해 보정한 후 이를 기초로 상기 색상 데이터들의 평균을 업데이트한 색상 데이터 평균값을 추출하며, 상기 색상 데이터 평균값을 필터링하여 생체신호를 추출하고, 상기 생체신호를 이용하여 상기 사용자의 건강지표를 측정하는 제어모듈을 포함하며,
상기 피부 관심 영역은 동맥 구간을 포함하는 제1 피부 관심 영역 및 제2 피부 관심 영역을 포함하고,
상기 제어모듈은,
상기 제1 피부 관심 영역 및 상기 제2 피부 관심 영역 각각에서의 두 맥파를 검출하고,
상기 두 맥파의 상호 상관 함수 CCF(Cross Correlation Function)에서, 원점으로부터 최댓값을 가지는 두 위치의 값을 이용하여 지연시간을 산출하고, 상기 지연시간을 이용하여 상기 두 맥파의 시간차를 계산하고,
상기 사용자의 상기 얼굴을 촬영한 상기 영상 이미지에서 상기 얼굴의 폭을 산출하고, 상기 얼굴의 폭을 이용하여 상기 얼굴과 카메라모듈까지의 거리를 산출하고,
상기 얼굴과 상기 카메라모듈까지의 거리를 이용하여 상기 영상 이미지의 픽셀당 실제거리를 산출하고, 상기 제1 피부 관심 영역과 상기 제2 피부 관심 영역 사이의 픽셀 값과 상기 픽셀당 실제거리를 곱하여 상기 제1 피부 관심 영역과 상기 제2 피부 관심 영역 사이의 거리를 계산하고,
상기 제1 피부 관심 영역과 상기 제2 피부 관심 영역 사이의 거리를 상기 두 맥파의 시간차로 나누어 맥파전달속도(Pulse Wave Velocity)를 계산하고,
상기 맥파전달속도를 이용하여 혈관탄성도 및 혈관나이를 진단하여 상기 사용자의 건강지표를 측정하며,
상기 얼굴과 상기 카메라모듈까지의 거리는, 상기 얼굴의 폭이 증가할수록 비선형적으로 감소하는, 얼굴 진단장치.