KR20210025847A

KR20210025847A - 얼굴 상태 진단을 통해 헬스 케어 서비스를 제공하기 위한 미러 디스플레이 장치 및 그 동작 방법

Info

Publication number: KR20210025847A
Application number: KR1020190105719A
Authority: KR
Inventors: 김보성
Original assignee: 주식회사 쉬즈엠; 주식회사 매직내니
Priority date: 2019-08-28
Filing date: 2019-08-28
Publication date: 2021-03-10

Abstract

본 발명의 일 실시예에 따라, 미러 디스플레이 장치의 동작 방법이 제공된다. 상기 방법은 사용자를 촬영하여 상기 사용자의 얼굴을 포함하는 기초 사용자 영상을 획득하는 단계; 상기 기초 사용자 영상을 보정하여 상기 사용자의 얼굴 상태를 분석하기 위한 분석용 영상을 생성하는 단계; 상기 분석용 영상을 기초로 상기 사용자의 얼굴 상태를 분석하여 상기 사용자의 얼굴 상태를 나타내는 얼굴 상태 정보를 생성하는 단계; 상기 사용자의 얼굴 부위별 상기 얼굴 상태 정보의 변화 정도에 기초하여 상기 사용자의 건강 상태에 대한 건강 정보를 생성하는 단계; 및 상기 건강 정보를 디스플레이하는 단계를 포함할 수 있다.

Description

얼굴 상태 진단을 통해 헬스 케어 서비스를 제공하기 위한 미러 디스플레이 장치 및 그 동작 방법{MIRROR DISPLAY APPARATUS FOR PROVIDING HEALTH CARE SERVICE THROUGH FACIAL CONDITION DIAGNOSIS, AND THE OPERATION METHOD THEREOF}

본 발명은 얼굴 상태 진단을 통해 헬스 케어 서비스를 제공하기 위한 미러 디스플레이 장치 및 그 동작 방법에 관한 것으로서, 구체적으로는 사용자의 얼굴 영상으로부터 사용자의 얼굴 상태를 분석하여 사용자의 건강을 종합적으로 관리할 수 있는 미러 디스플레이 장치 및 그 동작 방법에 관한 것입니다.

여러 가지 이유로 인하여 일반인들의 의료기관 방문은 쉽지 않은 일이다. 보통의 경우, 문제가 발생하여, 생활의 불편함 또는 고통을 느끼게 된 후에야 의료 기관에 방문하게 된다. 그러나, 이와 같이 건강상의 문제를 일정 시간 방치한 후, 의료 기관에 방문하게 되면, 사전에 의료 기관을 들려 조기 진료/조기 치료를 할 때보다 의료 비가 매우 높아질 뿐만 아니라, 완치율이 낮으며, 완치까지 걸리는 시간 또한 조기 진료/치료가 이루어 질 때보다 훨씬 더 많이 걸린다. 이를 위해 개인용 의료 장비를 개인적으로 구매하기는 매우 어려울 뿐 아니라, 이와 같은 전문 지식이 필요한 장비를 개인이 사용한다는 것은 매우 어려운 일로 현실성이 부족하다.

이와 관련하여, 최근에는 건강에 대한 관심이 증가하고 기술이 발전함에 따라, 병원에 가지 않고도 개인의 혈당, 혈압, 심전도 등을 측정할 수 있는 휴대형 건강 측정기들이 개발되고 다양한 단말기를 통해 사용자의 건강 상태에 대한 정보를 제공받을 수 있다. 축적된 개인의 건강 데이터를 바탕으로 생활 습관병 예방이나 체중관리 등의 개인화(personalized) 건강관리 사업이 급속도로 성장하고 있으며, 특히, 최근 사용자의 얼굴 영상에 기초하여 사용자의 피부 상태 또는 사용자의 건강 상태를 분석하기 위한 기술이 발전하고 있다.

사용자 영상에 기초하여 건강 상태를 판단하는 방법으로는 카메라를 통해 촬영된 사용자의 생체 정보를 의사가 보고 판단하거나 생체 정보 검출 수단을 통해 감지한 생체 정보를 소정의 기준값과 비교하여 사용자의 건강 상태를 판단하는 방법 등이 있다.

그러나, 이와 같은 종래의 건강 상태 판단 방법은 현재의 판단 시점만을 고려하기 때문에 이전 상태와 연결되어 서로 다른 양태를 보이는 현재의 건강 상태를 신뢰성 있게 진단하기가 쉽지 않은 문제가 있다.

또한, 카메라를 통해 촬영된 영상을 기초로 사용자의 생체 정보를 판단하기 문에 촬영된 영상과 사용자의 실제 생체 정보가 상이하거나 왜곡되는 경우에는 진단의 정확성을 확보하기 곤란한 문제가 있다.

따라서 이와 같은 문제를 해결할 수 있는 미러 디스플레이 장치 및 그 동작 방법이 요구된다.

본 발명은 상기 문제점을 해결하기 위한 것으로서, 사용자의 얼굴 영상으로부터 사용자의 얼굴 상태를 분석하여 사용자의 건강을 종합적으로 관리할 수 있는 미러 디스플레이 장치 및 그 동작 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

바람직하게는, 상기 분석용 영상을 생성하는 단계는, 상기 기초 사용자 영상을 보정하기 위한 기준이 되는 기준 영상과 상기 기초 사용자 영상에서 상기 사용자의 얼굴 중 일부 영역의 색상을 비교하여 상기 기준 영상과 상기 기초 사용자 영상간의 색상 차이 정보를 생성하는 단계; 및 상기 색상 차이 정보에 기초하여 상기 기초 사용자 영상의 색상을 보정하여 상기 분석용 영상을 생성하는 단계를 포함하고, 상기 기준 영상은, 상기 기초 사용자 영상을 획득하는 단계 이전에 상기 사용자의 얼굴 상태를 분석하기 위해 생성된 분석용 영상인 과거 분석용 영상에 기초하여 결정될 수 있다.

또한 바람직하게는, 상기 색상 차이 정보를 생성하기 위한 색상 비교의 대상이 되는 상기 사용자의 얼굴 중 일부 영역은, 상기 사용자의 머리카락, 눈썹 및 안구 중 적어도 하나를 포함할 수 있다.

또한 바람직하게는, 상기 분석용 영상을 생성하는 단계는, 상기 기초 사용자 영상에서 이미지 평활화 및 노이즈(noise) 제거를 수행하는 단계; 및 상기 기초 사용자 영상이 촬영된 환경에서의 색온도 및 조도에 기초하여 상기 기초 사용자 영상에서 색상 및 밝기의 조정을 수행하는 단계를 더 포함할 수 있다.

또한 바람직하게는, 상기 사용자의 건강 정보를 생성하는 단계는, 상기 생성된 얼굴 상태 정보와 비교하기 위한 기준 상태 정보를 생성하는 단계; 상기 기준 상태 정보와 상기 생성된 얼굴 상태 정보를 비교하여 상기 얼굴 상태 정보의 변화 정도를 추출하는 단계; 및 상기 추출된 변화 정도에 기초하여 상기 건강 정보를 생성하는 단계를 포함하고, 상기 기준 상태 정보는, 적어도 하나의 상기 과거 분석용 영상에 대한 얼굴 상태 정보에 기초하여 생성되되, 상기 과거 분석용 영상에 대한 얼굴 상태 정보에 시기별로 상이한 가중치를 적용하여 산출될 수 있다.

또한 바람직하게는, 상기 기준 상태 정보를 생성하는 단계는, 상기 기초 사용자 영상의 촬영 시점 이전의 기간인 제 1 기간 및 제 2 기간을 결정하는 단계; 상기 제 1 기간 및 상기 제 2 기간 동안의 상기 과거 분석용 영상에 대한 얼굴 상태 정보의 평균값을 계산하여 제 1 평균 상태 정보 및 제 2 평균 상태 정보를 산출하는 단계; 및 상기 제 1 평균 상태 정보 및 상기 제 2 평균 상태 정보에 각각 제 1 산출인자 및 제 2 산출인자를 적용하여 상기 기준 상태 정보를 산출하는 단계를 포함하고, 상기 제 1 기간은 상기 제 2 기간보다 상기 촬영 시점에 가까운 기간이며, 상기 제 1 산출인자는 상기 제 2 산출인자보다 크게 설정될 수 있다.

또한 바람직하게는, 상기 건강 정보를 기초로 상기 사용자의 건강 상태의 개선을 위한 건강 개선 정보를 제공하는 단계를 더 포함하고, 상기 건강 개선 정보는, 상기 얼굴 상태 정보에 대응하여 상기 사용자의 얼굴 부위별로 제공될 수 있다.

또한 바람직하게는, 상기 건강 정보를 기초로 상기 사용자의 건강 상태를 평가하여 위험도 정보를 생성하는 단계; 상기 위험도 정보에 기초하여 상기 사용자의 건강 상태가 위험 구간에 속하면 상기 건강 정보를 전문가 단말에 전달하는 단계; 및 상기 건강 정보를 기초로 상기 전문가의 원격 진단을 제공하는 단계를 더 포함할 수 있다.

또한 바람직하게는, 상기 사용자의 얼굴 부위별 상기 얼굴 상태 정보의 변화 정도와 유사한 변화율 또는 변화패턴을 갖는 다른 사용자를 검색하는 단계; 및 상기 검색된 다른 사용자의 건강 상태에 대한 정보 및 진료 정보 중 적어도 하나를 제공하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따라 미러 디스플레이 장치가 제공된다. 상기 장치는 사용자를 촬영하여 상기 사용자의 얼굴을 포함하는 기초 사용자 영상을 획득하는 촬영부; 상기 사용자의 얼굴 상태를 분석하기 위한 분석용 영상을 생성하고, 상기 분석용 영상을 기초로 상기 사용자의 얼굴 상태를 나타내는 얼굴 상태 정보를 생성하며, 상기 사용자의 얼굴 부위별 상기 얼굴 상태 정보의 변화 정도에 기초하여 상기 사용자의 건강 정보를 생성하는 제어부; 및 상기 건강 정보를 디스플레이하는 디스플레이부를 포함하고, 상기 제어부는, 상기 기초 사용자 영상을 보정하여 상기 분석용 영상을 생성하고, 상기 분석용 영상을 기초로 상기 사용자의 얼굴 상태를 분석하여 상기 얼굴 상태 지수를 생성할 수 있다.

바람직하게는, 상기 제어부는, 상기 기초 사용자 영상을 보정하기 위한 기준이 되는 기준 영상과 상기 기초 사용자 영상에서 상기 사용자의 얼굴 중 일부 영역의 색상을 비교하여 상기 기준 영상과 상기 기초 사용자 영상간의 색상 차이 정보를 생성하고, 상기 색상 차이 정보에 기초하여 상기 기초 사용자 영상의 색상을 보정하여 상기 분석용 영상을 생성하며, 상기 기준 영상은, 상기 기초 사용자 영상을 생성하기 이전에 상기 사용자의 얼굴 상태를 분석하기 위해 생성된 분석용 영상인 과거 분석용 영상에 기초하여 결정될 수 있다.

또한 바람직하게는, 상기 제어부는, 상기 기초 사용자 영상에서 이미지 평활화 및 노이즈(noise) 제거를 수행하고, 상기 기초 사용자 영상이 촬영된 환경에서의 색온도 및 조도에 기초하여 상기 기초 사용자 영상에서 색상 및 밝기의 조정을 수행할 수 있다.

또한 바람직하게는, 상기 제어부는, 상기 생성된 얼굴 상태 정보와 비교하기 위한 기준 상태 정보를 생성하고, 상기 기준 상태 정보와 상기 생성된 상태 정보를 비교하여 상기 얼굴 상태 정보의 변화 정도를 추출하며, 상기 추출된 변화 정도에 기초하여 상기 건강 정보를 생성하고, 상기 기준 상태 정보는, 적어도 하나의 상기 과거 분석용 영상에 대한 얼굴 상태 정보에 기초하여 생성되되, 상기 과거 분석용 영상에 대한 얼굴 상태 정보에 시기별로 상이한 가중치를 적용하여 산출될 수 있다.

또한 바람직하게는, 상기 제어부는, 상기 기초 사용자 영상의 촬영 시점 이전의 기간인 제 1 기간 및 제 2 기간을 결정하고, 상기 제 1 기간 및 상기 제 2 기간 동안의 상기 과거 분석용 영상에 대한 얼굴 상태 정보의 평균값을 계산하여 제 1 평균 상태 정보 및 제 2 평균 상태 정보를 산출하며, 상기 제 1 평균 상태 정보 및 상기 제 2 평균 상태 정보에 각각 상이한 제 1 산출인자 및 제 2 산출인자를 적용하여 상기 기준 상태 정보를 산출하고, 상기 제 1 기간은 상기 제 2 기간보다 상기 촬영 시점에 가까운 기간이며, 상기 제 1 산출인자는 상기 제 2 산출인자보다 크게 설정될 수 있다.

또한 바람직하게는, 상기 제어부는, 상기 건강 정보를 기초로 상기 사용자의 건강 상태를 평가하여 위험도 정보를 생성하고, 상기 위험도 정부에 기초하여 상기 사용자의 건강 상태가 위험 구간에 속하면 상기 건강 정보를 전문가 단말에 전달하며, 상기 건강 정보를 기초로 상기 전문가의 원격 진단을 제공할 수 있다.

본 발명의 일 실시예에 따라, 미러 디스플레이 장치의 동작 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체가 제공된다.

본 발명에 따르면, 평상 시에 자주 사용하는 미러 장치를 이용하여 사용자의 얼굴 상태를 분석하고 건강 정보를 획득하고, 획득한 건강 정보를 이용하여 사용자에게 토탈 헬스 케어 서비스를 제공할 수 있다.

또한, 본 발명에 따르면, 사용자의 얼굴의 부위별로 상태를 분석하여 부위별 건강 정보 및 건강 개선 정보를 제공함으로써, 사용자가 얼굴 상태와 관련된 건강 상태를 용이하게 인식할 수 있다.

또한, 본 발명에 따르면, 촬영부를 통해 촬영된 사용자 영상을 과거에 촬영된 사용자의 영상과 비교하여 보정을 수행함으로써, 사용자의 실제 얼굴 상태에 대한 분석이 가능하므로 건강 정보의 정확성 및 신뢰성을 개선할 수 있다.

또한, 본 발명에 따르면, 과거와 현재의 얼굴 상태 정보를 비교하여 건강 정보를 획득하되, 비교 기준이 되는 과거의 얼굴 상태 정보에 상이한 가중치를 적용함으로써 현재의 건강 상태를 보다 정확하게 진단할 수 있다.

또한, 본 발명에 따르면, 미러 장치를 이용하여 획득한 건강 정보에 기초하여 전문가의 원격 진단 서비스를 제공함으로써, 사용자의 편의성을 개선할 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 블록 구성도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 측면도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 동작 방법을 도시한다.
도 4는 본 발명의 도 3의 방법 중 S220 단계의 일 실시예를 도시한다.
도 5는 본 발명의 도 3의 방법 중 S240 단계의 일 실시예를 도시한다.
도 6은 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 동작 방법을 도시한다.
도 7은 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 동작 방법을 도시한다.

이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다. 한편, 이하에서 기재되는 편의상 상하좌우의 방향은 도면을 기준으로 한 것이며, 해당 방향으로 본 발명의 권리범위가 반드시 한정되는 것은 아니다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.

도 1은 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 블록 구성도를 도시하고, 도 2는 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 측면도를 도시한다.

도 1 및 도 2를 참조하면, 미러 디스플레이 장치(100)는 통신부(110), 저장부(120), 촬영부(130), 제어부(140), 디스플레이부(150) 및 조명부(160)를 포함할 수 있다. 도 1 및 도 2에 도시된 구성들은 미러 디스플레이 장치(100)의 구성의 전부는 아니며, 필요에 따라 임의의 구성들을 더 포함할 수 있다.

통신부(110)는 외부와의 직접 연결 또는 네트워크를 통한 연결을 위해 제공되는 것으로서, 유선 및/또는 무선 통신부(110)일 수 있다. 구체적으로, 통신부(110)는 제어부(140), 저장부(120) 등으로부터의 데이터를 전송하거나, 외부로부터 데이터를 수신하여 제어부(140)로 전달하거나 저장부(120)에 저장할 수 있다. 상기 데이터에는 텍스트, 이미지, 동화상 등의 컨텐츠, 사용자 영상, 사용자 건강 정보, 다른 사용자 건강 정보 등이 포함될 수 있다. 통신부(110)는 랜(LAN), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), WiBro(Wireless Broadband Internet), RF(Radio Frequency)통신, 무선랜(Wireless LAN), 와이파이(Wireless Fidelity), NFC(Near Field Communication), 블루투스, 적외선 통신 등을 통해 통신할 수 있다. 다만, 이는 예시적인 것으로서, 본 발명이 적용되는 실시예에 따라 당해 기술분야에서 적용 가능한 다양한 유, 무선 통신 기술이 이용될 수 있다.

저장부(120)에는 미러 디스플레이 장치(100)의 동작에 사용되는 다양한 데이터가 저장될 수 있다. 상기 데이터에는 사용자 영상(기초 사용자 영상 및 분석용 영상), 사용자의 얼굴 상태 정보 및 건강 정보 등이 포함될 수 있다. 이에 따라, 제어부(140)는 저장부(120)에 저장된 상기 데이터들을 이용하여 사용자의 현재의 얼굴 상태 정보 및 건강 정보와 과거의 얼굴 상태 정보 및 건강 정보를 비교하여 사용자의 건강 상태를 분석할 수 있다. 이러한 저장부(120)는, 통상의 기술자에게 알려진 바와 같이, HDD(Hard Disk Drive), ROM(Read Only Memory), RAM(Random Access Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory), 플래시 메모리(flash memory), CF(Compact Flash) 카드, SD(Secure Digital) 카드, SM(Smart Media) 카드, MMC(Multimedia) 카드 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 다양한 형태의 저장 장치로 구현될 수 있으며, 미러 디스플레이 장치(100) 내부에 구비되거나, 별도의 장치에 구비될 수 있다.

촬영부(130)는, 하나 이상의 카메라 모듈로 구성될 수 있으며 사용자의 영상을 촬영할 수 있다. 촬영부(130)는 임의의 카메라 모듈을 포함할 수 있다. 이때, 사용자는 미러 디스플레이 장치(100)의 전방에 있는 것이 통상이나, 이에 한정되지 않으며, 미러 디스플레이 장치(100) 주변의 임의의 장소에 위치할 수 있다. 이를 위해, 촬영부(130)는 실시예에 따라 특정 방향을 향하여 배치되거나, 회전 및/또는 이동 가능하도록 구현될 수 있다.

촬영부(130)는 제어부(140)가 기초 사용자 영상을 획득할 수 있도록 사용자의 영상을 촬영할 수 있다. 여기서 기초 사용자 영상은 분석용 영상을 생성하기 위한 기초가 되는 영상으로서, 사용자의 얼굴 상태를 분석하여 얼굴 상태 정보를 생성하기 위한 조건을 만족하는 얼굴 영역의 이미지 또는 영상을 기초 사용자 영상으로 획득할 수 있다. 기초 사용자 영상의 획득 조건은 미리 설정되어 저장부(120)에 저장되어 있을 수 있으며, 제어부(140)는 기초 사용자 영상의 획득 조건에 따라 사용자의 영상을 촬영하기 위한 촬영 가이드 정보를 디스플레이부(150)에 표시할 수 있다. 기초 사용자 영상은 정적 이미지 또는 동적인 영상을 포함할 수 있다.

제어부(140)는 미러 디스플레이 장치(100)의 전반적인 동작 및 그 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어부(140)는 영상 보정부(142), 얼굴 상태 정보 생성부(144) 및 건강 정보 생성부(146)를 포함할 수 있다.

구체적으로, 영상 보정부(142)는 기초 사용자 영상의 색상 및 밝기를 보정하여 사용자의 얼굴 상태를 분석하기 위한 분석용 영상을 생성할 수 있다. 얼굴 상태 정보 생성부(144)는 영상 보정부(142)에 의해 생성된 분석용 영상에 기초하여 사용자의 얼굴 상태를 분석하고, 사용자의 얼굴 상태를 나타내는 얼굴 상태 정보를 생성할 수 있다. 건강 정보 생성부(146)는 사용자의 얼굴 상태 정보에 기초하여 사용자의 건강 상태에 대한 건강 정보를 생성할 수 있으며, 건강 정보를 기초로 사용자의 건강을 개선하기 위한 건강 개선 정보를 생성할 수 있다.

제어부(140)의 구체적인 동작에 대해서는 하기 도 3 내지 도 7을 참조하여 보다 상세히 설명하기로 한다.

디스플레이부(150)는 촬영부(130)에 의해 촬영된 사용자의 영상을 표시할 수 있고, 제어부(140)에 의해 생성되는 얼굴 상태 정보, 건강 정보 및 건강 개선 정보를 디스플레이할 수 있다. 구체적으로, 디스플레이부(150)는 사용자의 얼굴 영상을 표시하고, 표시된 얼굴 영상으로부터 획득한 사용자의 얼굴 상태 정보 및 건강 정보를 표시할 수 있다. 실시예에 따라 디스플레이부(150)는 얼굴 상태 정보, 건강 정보 및 건강 개선 정보를 사용자의 얼굴 영상에 중첩하여 표시할 수도 있고, 서로 다른 영역에 표시할 수도 있다.

조명부(160)는 외부로부터 전원을 공급받아 빛을 발광할 수 있다. 조명부(160)는 촬영부(130)가 사용자를 촬영할 때, 사용자의 얼굴에 직접/간접적으로 빛을 조사하여 사용자 얼굴이 적절한 밝기에서 촬영되도록 할 수 있다. 조명부(160)는 조명모듈(162)을 포함할 수 있다.

조명모듈(162)은 빛을 발광하는 구성으로서, LED 등의 다양한 발광 소자를 이용하여 구현될 수 있다. 조명모듈(162)은 사용자의 입력에 기초하여 전원이 인가 및 차단될 수 있고, 밝기의 조절이 가능하도록 구성될 수 있다.

일 실시예에서, 조명모듈(162)은 사용자의 얼굴에 직접적으로 빛을 발산하지 않도록 미러 디스플레이 장치(100)의 디스플레이부(150)의 배면에 배치될 수 있다. 이에 따라, 조명모듈(162)이 디스플레이부(150)의 배면 및/또는 측면 방향으로 빛을 발산함으로써 빛이 간접적으로 사용자의 얼굴에 도달하도록 할 수 있다.

또한, 실시예에 따라 조명부(160)는 반사판(164)을 포함할 수 있다. 반사판(164)은 조명모듈(162)에 의해 발광하는 빛이 사용자의 얼굴에 도달할 수 있도록 조명모듈(162)에 대향하여 배치될 수 있다.

일 실시예에서, 반사판(164)은 상단이 디스플레이부(150)의 전방을 향해 연장되거나 소정의 각도로 굴곡될 수 있다. 이에 따라 디스플레이부(150)의 배면 및/또는 측면으로 발산하는 빛이 반사판(164)에 의해 모여서 사용자의 얼굴을 비추도록 구현될 수 있다.

이와 같이 미러 디스플레이 장치(100)는 조명부(160)를 포함함으로써, 촬영 환경이 어두운 경우, 조명부(160)에 의해 밝기를 조절하여 촬영이 가능하도록 하되, 사용자의 얼굴에 직접적으로 빛이 도달하여 사용자의 실제 얼굴 색상이 빛에 의해 왜곡되는 것을 방지할 수 있다.

도 3은 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 동작 방법을 도시하고, 도 4는 본 발명의 도 3의 방법 중 S220 단계의 일 실시예를 도시하고, 도 5는 본 발명의 도 3의 방법 중 S240 단계의 일 실시예를 도시한다.

S210 단계에서, 미러 디스플레이 장치(100)는 사용자를 촬영하여 사용자의 얼굴을 포함하는 기초 사용자 영상을 획득할 수 있다. 기초 사용자 영상은 사용자의 얼굴 상태를 분석하기 위한 분석용 영상의 기초가 되는 영상으로서, 미리 설정된 기초 사용자 영상의 획득 조건에 따라 촬영부(130)에 의해 촬영되는 사용자의 영상으로부터 획득할 수 있다. 여기서 기초 사용자 영상의 획득 조건은, 얼굴의 검출 여부에 대한 조건, 얼굴 방향에 대한 조건, 얼굴 위치에 대한 조건, 얼굴 크기에 대한 조건 등 다양한 기준에 의해 결정될 수 있으며 이에 한정되지 않는다.

일 실시예에서, S210 단계는, 제어부(140)가 기초 사용자 영상을 획득하기 위한 촬영 가이드 정보를 디스플레이부(150)에 표시하고, 사용자가 표시된 촬영 가이드 정보에 따라 얼굴의 위치 및/또는 방향 등을 조절함으로써 수행될 수 있다.

제어부(140)는 일정 시간을 기준으로, 촬영 가이드 정보를 표시 여부를 결정할 수 있다.

구체적으로, 일정 시간 내에 촬영부(130)에 의해 촬영되는 사용자의 영상으로부터 기초 사용자 영상의 획득 조건을 만족하는 이미지 또는 영상이 검출되는 경우에는 이를 기초 사용자 영상으로 결정하고, 일정 시간을 초과하여 기초 사용자 영상의 획득 조건을 만족하는 이미지 또는 영상이 검출되지 않는 경우에 촬영 가이드 정보를 표시할 수 있다. 예를 들어, 사용자가 미러 디스플레이 장치(100)의 전방에 위치하지만, 미러 디스플레이 장치(100)와 사용자간의 거리 또는 사용자의 자세에 따라 얼굴의 크기가 너무 작거나 얼굴의 측면만 촬영되는 등 기초 사용자 영상의 획득 조건을 만족하지 않는 경우에 제어부(140)는 촬영 가이드 정보를 표시할 수 있고, 사용자는 촬영 가이드 정보에 따라 얼굴의 위치, 각도 등을 조절함으로써 기초 사용자 영상을 획득할 수 있다.

촬영 가이드 정보는 사용자가 얼굴의 위치 및/또는 방향을 조절할 수 있도록 가이드 라인으로 표시될 수 있다. 가이드 라인은 사각형, 얼굴 모양의 타원 이미지일 수 있고, 또한, 얼굴의 눈, 코, 입에 해당하는 부위가 표시된 이미지일 수도 있다. 또한, 예를 들어, 디스플레이부(150)에는 가이드 라인과 함께 가이드 라인에 얼굴을 맞출 것을 요구하는 문구를 디스플레이할 수 있다.

또한, 실시예에 따라, 촬영 가이드 정보는, 과거에 촬영되어 저장부(120)에 저장된 사용자의 영상에서 얼굴 영역에 기초하여 사용자의 얼굴 형태에 대응하는 가이드 라인으로 표시될 수도 있다. 이에 따라, 사용자마다 각각의 얼굴 형태에 맞는 맞춤형 가이드 라인이 표시될 수 있다.

S220 단계에서, 제어부(140)는 기초 사용자 영상을 보정하여 사용자의 얼굴 상태를 분석하기 위한 분석용 영상을 생성할 수 있다.

촬영부(130)가 촬영하는 촬영 환경 및 조건에 따라 기초 사용자 영상에 실제 사용자의 얼굴 상태가 정확히 나타나지 않으면 건강 상태에 대한 정확도가 떨어질 수 있기 때문에, 기초 사용자 영상에서 색상 및/또는 조도 등을 보정하여 사용자의 얼굴에 조명 등에 의한 촬영 환경의 영향을 배제함으로써 사용자의 실제 얼굴을 기준으로 사용자의 얼굴 상태를 분석할 수 있다.

일 실시예에서, S220 단계는, 색상 차이 정보를 생성하는 단계(S222) 및 색상 차이 정보에 기초하여 기초 사용자 영상의 색상을 보정하는 단계(S224)를 포함할 수 있다.

S222 단계에서, 제어부(140)는 기초 사용자 영상을 보정하기 위한 기준이 되는 기준 영상을 결정하고, 결정된 기준 영상과 기초 사용자 영상을 비교하여 색상 차이 정보를 생성할 수 있다.

구체적으로, 제어부(140)는 과거 분석용 영상 중 적어도 하나에 기초하여 기준 영상을 결정할 수 있다. 여기서 과거 분석용 영상은, 현재 기초 사용자 영상이 획득된 시점 이전에 생성되어 저장부(120)에 저장된 과거의 분석용 영상을 의미하는 것으로서, 과거 분석용 영상은 현재 시점 이전에 사용자의 얼굴 상태를 분석하기 위해 사용자의 실제 얼굴 색상에 맞도록 보정이 수행된 영상이므로 기초 사용자 영상의 색상을 보정하기 위한 보정의 기준으로 사용될 수 있다.

제어부(140)는 기준 영상과 기초 사용자 영상에서 사용자의 얼굴 중 일부 영역의 색상을 비교하여 기준 영상과 기초 사용자 영상간의 색상의 차이를 나타내는 색상 차이 정보를 생성할 수 있다. 예를 들어, 제어부(140)는 머리카락, 눈썹 및 안구 중 적어도 하나의 색상을 비교하여 색상 차이 정보를 생성할 수 있다. 상기 부위들은 얼굴 부위에서 빛에 의한 색상의 변화가 큰 부위이기 때문에, 상기 부위의 색상의 차이 정도를 통해서 현재 사용자의 얼굴에 대해 빛에 의한 색상 왜곡이 어느 정도 인지 정확하게 파악할 수 있다.

이후, S224 단계에서, 제어부(140)는 색상 차이 정보에 기초하여 기초 사용자 영상의 색상을 보정함으로써, 사용자의 실제 얼굴 상태를 나타내는 분석용 영상을 생성할 수 있다.

이와 같이, 본 발명에 따르면, 기초 사용자 영상을 보정하는 경우에, 미러 디스플레이 장치(100)에 저장된 과거 분석용 영상을 기준 영상으로 하여 색상 차이 정보를 생성함으로써, 사용자의 얼굴 색이 보다 정확하게 나타나도록 보정할 수 있다. 예를 들어, 기준 영상과 기초 사용자 영상의 안구를 비교하여 색상 차이 정보를 생성하는 경우, 사용자의 얼굴이 햇빛에 그을려서 까맣게된 경우에도 안구의 색은 변하지 않기 때문에, 이를 기준으로 색상 차이 정보를 생성하면 사용자의 얼굴이 어느 정도로 까맣게 그을린 상태인지 정확하게 파악할 수 있다.

또한, 실시예에 따라 S220 단계에서, S222 단계 및 S224 단계에 부가적/대안적으로 기초 사용자 영상에서 이미지 평활화 및 노이즈 제거하는 단계 및 기초 사용자 영상이 촬영된 환경의 색온도 및 조도에 기초하여 색상 및 밝기를 조정하는 단계가 수행될 수 있다.

예를 들어, 미러 디스플레이 장치(100)는 조도 및 색온도를 감지할 수 있는 감지부를 포함할 수 있고, 감지부에 의해 기초 사용자 영상의 촬영 시의 조도값 및 색온도값을 검출하고, 이를 기초 사용자 영상과 함께 저장부(120)에 저장할 수 있다. 따라서 제어부(140)는 기초 사용자 영상의 촬영 시점에서의 조도값 및 색온도값을 획득하고 이에 기초하여 기초 사용자 영상의 조도 및 색상을 보정할 수 있다.

한편, 미러 디스플레이 장치(100)의 최초 사용 시에는, 기준 영상으로 결정하기 위한 과거 분석용 영상이 존재하지 않기 때문에, 최초로 획득된 기초 사용자 영상에서 이미지 평활화 및 노이즈 제거를 수행하고, 색온도 및 조도에 기초하여 색상 및 밝기를 조정함으로써, 최초의 분석용 영상을 생성하여 저장부(120)에 저장할 수 있다.

S230 단계에서, 제어부(140)는 분석용 영상을 기초로 사용자의 얼굴 상태를 분석하여 사용자의 얼굴 상태를 나타내는 얼굴 상태 정보를 생성할 수 있다.

구체적으로, 제어부(140)는 분석용 영상에서 배경 영역과 얼굴 영역을 분리하여 사용자의 얼굴 영역을 인식하고, 얼굴 영역에서 얼굴 구성 요소의 위치를 결정할 수 있다. 이후, 결정된 얼굴 구성 요소의 위치에 기초하여 얼굴 부위별 상태를 판단함으로써, 사용자의 얼굴 부위 별로 얼굴 상태 정보를 생성할 수 있다.

제어부(140)는, 얼굴 영역의 색 정보를 이용하여, 얼굴의 색, 잡티 또는 여드름의 개수, 눈의 색, 입술의 색 등의 정보를 추출할 수 있다. 또한, 얼굴 인식 알고리즘 또는 얼굴 표정 인식 알고리즘 등을 이용하여, 눈의 충혈 여부, 동공의 크기, 동공의 움직임, 얼굴 크기, 얼굴 윤곽선의 형태, 입술의 갈라짐 여부, 얼굴의 각 기관의 위치, 얼굴 근육의 움직임 등의 정보를 추출할 수 있다. 이외에도, 상기 얼굴 상태 정보를 추출하기 위해 다양한 알고리즘 및 방법들이 이용될 수 있다.

예를 들어, 피부 상태는 얼굴의 색, 잡티 또는 여드름의 개수 및 크기, 얼굴 윤곽선의 형태 등을 이용하여 판단될 수 있고, 눈의 상태는 눈의 충혈 여부, 눈의 색, 동공의 크기, 동공의 움직임 등을 이용하여 판단할 수 있다. 또한, 입술의 상태는 입술의 색 및 입술의 갈라짐 여부를 이용하여 판단될 수 있다.

사용자의 얼굴 상태 정보 중 사용자 얼굴의 영역별 색을 분석하기 위해 RGB, CMYK, CIE LAB 색체계를 포함하는 다양한 색체계가 사용될 수 있고, 바람직하게는, 정확한 색 분석을 위해 CIE LAB 색체계가 사용될 수 있으나 이에 한정되는 것은 아니다.

예를 들어, CIE LAB 색 공간에서는 색이 점으로 표시되므로 색상 차이가 나는 물체 두가지를 CIE LAB 색 공간 좌표상에서 각각의 좌표에 표시하고, 이 두 점 사이의 입체적인 거리를 계산함으로써 색차를 수학적인 수치로 나타낼 수 있다. 구체적으로 현재 분석된 얼굴 상태 정보에 따른 얼굴의 영역별 색을 CIE LAB 값으로 변환하여 공간 좌표화하고, 현재의 얼굴 상태와 비교하기 위한 기준이 되는 얼굴의 영역별 색을 CIE LAB 값으로 변환하여 공간 좌표화한 후, 분석된 색상 값과 기준이 되는 색상 값의 좌표상의 거리를 계산함으로써 얼굴의 영역별 색의 변동값을 산출할 수 있다.

S240 단계에서, 제어부(140)는 사용자의 얼굴 부위별 얼굴 상태 정보의 변화 정도에 기초하여 사용자의 건강 상태에 대한 건강 정보를 생성할 수 있다. 건강 정보는 사용자의 얼굴 부위별 얼굴 상태 정보로부터 예측되는 사용자의 질병, 기능이 저하된 장기 또는 사용자의 컨디션에 관한 정보를 포함할 수 있다. 사용자의 건강 상태를 나타내는 건강 상태 정보는 저장부(120)에 저장될 수 있다.

예를 들어, 저장부(120)에는 얼굴의 색에 따른 예상 질병에 관한 정보가 저장될 수 있고, 이를 이용하여 제어부(140)는 얼굴이 검은색인 경우에는 신장, 노란색인 경우에는 간, 붉은색인 경우에는 심장, 창백한 흰색인 경우에는 폐에 이상이 있는 것으로 판단할 수 있다.

일 실시예에서, S240 단계는, 사용자의 현재의 얼굴 상태 정보와 과거의 얼굴 상태 정보를 비교하고, 얼굴 상태가 변화된 정도에 기초하여 사용자의 건강 상태를 분석할 수 있다.

구체적으로, 제어부(140)는 사용자의 현재의 얼굴 상태 정보와 비교하기 위한 기준 상태 정보를 생성할 수 있다(S242 단계). 이때 기준 상태 정보는, 저장부(120)에 저장된 과거 분석용 영상에 대한 얼굴 상태 정보에 기초하여 생성되는 것으로서, 과거 일정 기간 동안의 얼굴 상태 정보에 대한 평균값으로 산출되거나, 시기별로 상이한 가중치를 적용하여 산출될 수 있다.

기준 상태 정보가 생성되면 제어부(140)는 기준 상태 정보와 현재의 얼굴 상태 정보를 비교하여, 사용자의 얼굴 부위별 상태에 대한 변화율 및/또는 변화패턴을 포함하는 얼굴 부위별 변화 정도를 추출할 수 있다(S244 단계). 예를 들어, 얼굴의 색이 어느 정도로 밝아지거나 어두워졌는지, 또는, 여드름/잡티의 개수가 많아졌는지 줄어들었는지, 또는, 입술이나 혀의 색이 어떻게 변했는지, 또는 눈의 충혈 여부 등을 비교하여 얼굴 부위별 얼굴 상태 정보의 변화 정도를 추출할 수 있다.

이후, 추출된 변화 정도에 기초하여 사용자의 현재 건강 상태에 대한 건강 정보를 생성할 수 있다(S246 단계). 예를 들어, 제어부(140)는 과거와 현재의 얼굴 상태를 비교하여, 얼굴 부위별로 얼굴 상태 정보의 변화 정도에 기초하여 건강 상태를 분석하거나, 부위별 얼굴 상태 정보의 변화 정도를 종합하여 전체적인 사용자의 건강 상태를 분석함으로써 건강 정보를 생성할 수 있다. 생성된 건강 정보는 관련된 분석용 영상 및 얼굴 상태 정보에 대응하여 저장부(120)에 저장될 수 있다.

건강 정보를 생성하는 과정은, 미러 디바이스 장치(100)와 통신하는 외부 서버로부터 획득하여 수행될 수 있다. 여기서 외부 서버는 건강 상태 정보를 획득하는 서비스를 제공하는 서버로서, 의료 서비스 서버, 애플리케이션 서버, 웹사이트 서버 등일 수 있다.

일 실시예에서, 기준 상태 정보를 생성하는 단계(S242)는, 기초 사용자 영상이 촬영된 시점 이전의 기간인 제 1 기간 및 제 2 기간을 결정하는 단계, 제 1 기간 및 제 2 기간 동안의 얼굴 상태 정보의 평균값인 제 1 평균 상태 정보 및 제 2 평균 상태 정보를 산출하는 단계 및 제 1 평균 상태 정보와 제 2 평균 상태 정보에 각각 상이한 산출인자를 적용하여 기준 상태 정보를 산출하는 단계를 포함할 수 있다.

구체적으로, 제어부(140)는 기초 사용자 영상이 촬영된 시점보다 이전에 해당하는 소정의 기간을 제 1 기간 및 제 2 기간으로 결정할 수 있으며, 제 1 기간은 제 2 기간보다 기초 사용자 영상이 촬영된 시점에 더 가까울 수 있다. 예를 들어, 현재의 얼굴 상태와 과거의 얼굴 상태를 비교하기 위해서 제어부(140)는 현재 날짜보다 이전 날짜인 제 1 시점 및 제 2 시점을 정하고, 현재부터 제 1 시점까지의 기간을 제 1 기간으로 정하고, 제 1 시점부터 제 2 시점까지의 기간을 제 2 기간으로 결정할 수 있다.

제 1 기간 및 제 2 기간이 결정되면, 제어부(140)는 제 1 기간 및 제 2 기간 동안의 분석용 영상에 대한 얼굴 상태 정보의 평균값을 계산하여 제 1 기간 및 제 2 기간 동안의 사용자 얼굴 상태에 대한 평균 정보인 제 1 평균 상태 정보 및 제 2 평균 상태 정보를 산출할 수 있다.

이후, 제 1 평균 상태 정보와 제 2 평균 상태 정보에 각각 제 1 산출인자와 제 2 산출인자를 적용하여 기준 상태 정보를 산출할 수 있다. 이때, 제 1 산출인자는 제 2 산출인자보다 크게 설정될 수 있고, 제 1 산출인자와 제 2 산출인자의 총 합은 1이 될 수 있다. 기준 상태 정보는 제 1 평균 상태 정보에 제 1 산출인자를 곱한 결과값과 제 2 평균 상태 정보에 제 2 산출인자를 곱한 결과값을 합산함으로써 산출될 수 있다. 예를 들어, 제 1 산출인자가 0.7 이면 제 2 산출인자는 0.3 이 될 수 있고, “기준 상태 정보 = (제 1 평균 상태 정보*0.7) + (제 2 평균 상태 정보*0.3)” 로 계산될 수 있다.

이를 통해, 제 1 평균 상태 정보에 대하여 더 큰 가중치가 적용된 기준 상태 정보를 생성함에 따라, 과거의 얼굴 상태를 비교 기준을 결정하되, 현재에 보다 가까운 과거의 얼굴 상태에 대한 정보를 더 크게 반영함으로써, 현재 상태와의 비교가 더욱 용이하게 수행될 수 있고, 사용자의 건강 상태에 대한 진단의 정확성을 향상시킬 수 있다. 한편, 기준 상태 정보를 산출 하기 위한 과거의 기간 및 산출 인자 등은 미러 디스플레이 장치(100)에 미리 설정되어 저장될 수 있으며, 사용자의 편의에 따라 변경할 수도 있다. 또한, 상기 기재된 기준 상태 정보의 산출 방법은 예시적인 것으로서, 실시예에 따라 과거의 기간을 제 3 기간, 제 4 기간으로 분할할 수도 있고, 산출 인자의 수치도 다양하게 변형될 수 있다.

S250 단계에서, 디스플레이부(150)에 건강 정보를 디스플레이할 수 있다. 이때, 디스플레이부(150)는 사용자의 얼굴 영상과 건강 정보를 함께 디스플레이할 수 있다. 이때 사용자의 얼굴 영상은 건강 정보를 생성하는데 사용된 기초 사용자 영상일 수 있고, 또한, 촬영부(130)에 의해 실시간으로 촬영되고 있는 사용자의 영상일 수도 있다.

S260 단계에서, 제어부(140)는 생성된 건강 정보에 기초하여 사용자의 건강 상태의 개선을 위한 건강 개선 정보를 제공할 수 있다. 여기서 건강 개선 정보는 현재 사용자의 건강 상태와 관련된 질병 및/또는 증상에 대한 개선 및 치료 방법, 건강 기능 식품에 관한 정보를 포함할 수 있고, 또한, 예를 들어, 사용자의 건강 증진을 위해 사용자에게 적절한 운동 방법, 맞춤형 식단, 생활 습관 등에 관한 정보를 포함할 수 있다. 또한, 예를 들어, 사용자에 특정 질병이 있는 경우 이를 치료하기 위한 가까운 병원에 관한 정보 또는 해당 질병에 특수화된 병원에 관한 정보를 포함할 수도 있다.

건강 개선 정보는 사용자의 얼굴 상태 정보에 대응하여 얼굴 부위별로 제공될 수 있으며, 건강 개선 정보는 건강 정보 및/또는 사용자의 얼굴 영상과 함께 디스플레이부(150)에 표시될 수 있다.

일 실시예에서, 사용자의 얼굴 영상, 건강 정보 및 건강 개선 정보가 디스플레이부에 함께 디스플레이되는 경우, 사용자의 얼굴 영상의 전체 영역 중에서 현재 디스플레이되는 건강 정보 및 건강 개선 정보와 관련된 얼굴 부위의 영역에, 해당 건강 정보 및 건강 개선 정보와 관련된 부위임을 표시할 수 있다.

도 6은 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 동작 방법을 도시한다.

방법(300)은 도 3 내지 도 5의 방법(200) 등 본 발명의 다양한 실시예와 함께 이용될 수 있다.

S310 단계에서, 제어부(140)는 사용자의 얼굴 상태를 분석하여 생성된 건강 정보를 기초로 사용자의 현재 건강 상태를 평가하여 위험도 정보를 생성할 수 있다.

예를 들어, 제어부(140)는 사용자의 건강 상태를 안심 수준, 주의 수준, 위험 수준으로 나누어 사용자의 현재 건강 상태가 어느 정도의 위험 수준인지 여부를 나타내는 위험도 정보를 생성할 수 있다. 또한, 예를 들어, 제어부(140)는 사용자의 건강 상태가 주의 수준 및/또는 위험 수준으로 판단되면, 사용자에게 이를 알리는 메시지를 디스플레이부(150)에 표시할 수도 있다.

S320 단계에서, 제어부(140)는 위험도 정보에 기초하여 사용자의 현재 건강 상태가 위험 수준에 속하는 것으로 판단되면, 사용자의 건강 정보를 전문가 단말에 전달할 수 있다. 여기서 전문가 단말은 병원 또는 의료기관의 단말을 의미할 수 있고, 전문가 단말은 사용자의 입력에 기초하여 미리 설정되어 저장될 수 있다.

S330 단계에서, 제어부(140)는 건강 정보를 전단받은 전문가의 원격 진단을 제공할 수 있다. 예를 들어, 제어부(140)는 전문가 단말과의 통신 연결을 이용하여 전문가와의 원격 상담 서비스를 제공할 수 있으며, 이때, 전문가는 사용자의 건강 상태에 대한 진단 및 처방을 제공할 수 있다. 원격 상담 서비스는 화상 연결 및 전화 연결 등 다양한 수단을 통해 제공될 수 있다.

도 7은 본 발명의 일 실시예에 따른 미러 디스플레이 장치의 동작 방법을 도시한다.

방법(400)은 도 3 내지 도 5의 방법(200) 및 도 6의 방법(300) 등 본 발명의 다양한 실시예와 함께 이용될 수 있다.

S410 단계에서, 제어부(140)는 사용자의 얼굴 부위별 얼굴 상태 정보의 변화 정도와 유사한 변화율 및/또는 변화패턴을 갖는 다른 사용자를 검색할 수 있다. 예를 들어, 미러 디스플레이 장치(100)는 통신부(110)를 통해 통합 서버에 통신 가능하게 결합될 수 있고, 제어부(140)는 통합 서버로부터 다른 사용자의 얼굴 상태 정보, 건강 정보 및 건강 개선 정보 등을 획득할 수 있다. 여기서 통합 서버는 미러 디스플레이 장치(100)와 연동하는 서버로서, 복수의 미러 디스플레이 장치(100)를 통해 분석된 다른 복수의 사용자들의 통합 정보가 저장될 수 있다. 통합 정보에는 다른 사용자의 나이, 성별, 신체 정보를 포함할 수 있고, 얼굴 상태 정보 및 이에 대응하는 건강 정보 등을 포함할 수 있다.

이를 통해, 제어부(140)는 통합 서버에서 사용자의 얼굴 부위별 얼굴 상태 정보의 변화와 유사한 변화율 및/또는 변화패턴을 나타내는 다른 사용자를 검색할 수 있고, 각각의 부위별로 유사한 변화 정도를 나타내는 다수의 다른 사용자가 검색되는 경우에는, 사용자의 나이 또는 성별 등에 추가적으로 기초하여 사용자와 유사한 상태의 다른 사용자를 우선적으로 검색할 수 있다.

S420 단계에서, 검색된 다른 사용자의 건강 상태에 대한 정보 및 진료 정보 중 적어도 하나를 제공할 수 있다. 예를 들어, 제어부(140)는 통합 서버로부터 다른 사용자에게 처방된 진단, 다른 사용자의 진료 정보 및 해당 질병 또는 증상의 개선 여부 등에 관한 정보를 획득할 수 있다.

일 실시예에서, 통신부(110)를 통해 검색된 다른 사용자의 미러 디스플레이 장치(100)와 화상 연결을 할 수 있고, 또한, 예를 들어, 통합 서버에는 미러 디스플레이 장치(100)를 이용하는 복수의 사용자들의 연락처 등이 공유될 수 있으며, 그에 따라 제어부(140)는 검색된 다른 사용자의 연락처를 제공하거나, 사용자의 입력에 기반하여 미러 디스플레이 장치(100)에 연동된 다른 사용자의 단말기에 메시지를 전송할 수 있다.

이와 같이 본 발명에 따르면, 얼굴의 부위별 변화율/변화패턴이 유사한 다른 사용자를 검색하여 사용자간의 커뮤니티가 가능하도록 함으로써, 사용자의 편의성을 개선하고 다양한 정보를 제공받도록 할 수 있다.

한편, 본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨드롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.

또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대,　명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체,　및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다.　저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다.　예를 들어,　이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학 디스크 저장 매체,　자기 디스크 저장 매체 또는 기타 자기 저장 디바이스,　또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스 가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.

이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용 가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.

특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 미러 디스플레이 장치 110: 통신부
120: 저장부 130: 촬영부
140: 제어부 142: 영상 보정부
144: 얼굴 상태 정보 생성부 146: 건강 정보 생성부
150: 디스플레이부 160: 조명부

Claims

미러 디스플레이 장치의 동작 방법으로서,
사용자를 촬영하여 상기 사용자의 얼굴을 포함하는 기초 사용자 영상을 획득하는 단계;
상기 기초 사용자 영상을 보정하여 상기 사용자의 얼굴 상태를 분석하기 위한 분석용 영상을 생성하는 단계;
상기 분석용 영상을 기초로 상기 사용자의 얼굴 상태를 분석하여 상기 사용자의 얼굴 상태를 나타내는 얼굴 상태 정보를 생성하는 단계;
상기 사용자의 얼굴 부위별 상기 얼굴 상태 정보의 변화 정도에 기초하여 상기 사용자의 건강 상태에 대한 건강 정보를 생성하는 단계; 및
상기 건강 정보를 디스플레이하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 분석용 영상을 생성하는 단계는,
상기 기초 사용자 영상을 보정하기 위한 기준이 되는 기준 영상과 상기 기초 사용자 영상에서 상기 사용자의 얼굴 중 일부 영역의 색상을 비교하여 상기 기준 영상과 상기 기초 사용자 영상간의 색상 차이 정보를 생성하는 단계; 및
상기 색상 차이 정보에 기초하여 상기 기초 사용자 영상의 색상을 보정하여 상기 분석용 영상을 생성하는 단계를 포함하고,
상기 기준 영상은, 상기 기초 사용자 영상을 획득하는 단계 이전에 상기 사용자의 얼굴 상태를 분석하기 위해 생성된 분석용 영상인 과거 분석용 영상에 기초하여 결정되는, 방법.
제 2 항에 있어서,
상기 색상 차이 정보를 생성하기 위한 색상 비교의 대상이 되는 상기 사용자의 얼굴 중 일부 영역은, 상기 사용자의 머리카락, 눈썹 및 안구 중 적어도 하나를 포함하는, 방법.
제 2 항에 있어서,
상기 분석용 영상을 생성하는 단계는,
상기 기초 사용자 영상에서 이미지 평활화 및 노이즈(noise) 제거를 수행하는 단계; 및
상기 기초 사용자 영상이 촬영된 환경에서의 색온도 및 조도에 기초하여 상기 기초 사용자 영상에서 색상 및 밝기의 조정을 수행하는 단계를 더 포함하는, 방법.
제 2 항에 있어서,
상기 사용자의 건강 정보를 생성하는 단계는,
상기 생성된 얼굴 상태 정보와 비교하기 위한 기준 상태 정보를 생성하는 단계;
상기 기준 상태 정보와 상기 생성된 얼굴 상태 정보를 비교하여 상기 얼굴 상태 정보의 변화 정도를 추출하는 단계; 및
상기 추출된 변화 정도에 기초하여 상기 건강 정보를 생성하는 단계를 포함하고,
상기 기준 상태 정보는, 적어도 하나의 상기 과거 분석용 영상에 대한 얼굴 상태 정보에 기초하여 생성되되, 상기 과거 분석용 영상에 대한 얼굴 상태 정보에 시기별로 상이한 가중치를 적용하여 산출되는, 방법.
제 5 항에 있어서,
상기 기준 상태 정보를 생성하는 단계는,
상기 기초 사용자 영상의 촬영 시점 이전의 기간인 제 1 기간 및 제 2 기간을 결정하는 단계;
상기 제 1 기간 및 상기 제 2 기간 동안의 상기 과거 분석용 영상에 대한 얼굴 상태 정보의 평균값을 계산하여 제 1 평균 상태 정보 및 제 2 평균 상태 정보를 산출하는 단계; 및
상기 제 1 평균 상태 정보 및 상기 제 2 평균 상태 정보에 각각 제 1 산출인자 및 제 2 산출인자를 적용하여 상기 기준 상태 정보를 산출하는 단계를 포함하고,
상기 제 1 기간은 상기 제 2 기간보다 상기 촬영 시점에 가까운 기간이며, 상기 제 1 산출인자는 상기 제 2 산출인자보다 크게 설정되는, 방법.
제 1 항에 있어서,
상기 건강 정보를 기초로 상기 사용자의 건강 상태의 개선을 위한 건강 개선 정보를 제공하는 단계를 더 포함하고,
상기 건강 개선 정보는, 상기 얼굴 상태 정보에 대응하여 상기 사용자의 얼굴 부위별로 제공되는, 방법.
제 1 항에 있어서,
상기 건강 정보를 기초로 상기 사용자의 건강 상태를 평가하여 위험도 정보를 생성하는 단계;
상기 위험도 정보에 기초하여 상기 사용자의 건강 상태가 위험 구간에 속하면 상기 건강 정보를 전문가 단말에 전달하는 단계; 및
상기 건강 정보를 기초로 상기 전문가의 원격 진단을 제공하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 사용자의 얼굴 부위별 상기 얼굴 상태 정보의 변화 정도와 유사한 변화율 또는 변화패턴을 갖는 다른 사용자를 검색하는 단계; 및
상기 검색된 다른 사용자의 건강 상태에 대한 정보 및 진료 정보 중 적어도 하나를 제공하는 단계를 더 포함하는, 방법.
미러 디스플레이 장치로서,
사용자를 촬영하여 상기 사용자의 얼굴을 포함하는 기초 사용자 영상을 획득하는 촬영부;
상기 사용자의 얼굴 상태를 분석하기 위한 분석용 영상을 생성하고, 상기 분석용 영상을 기초로 상기 사용자의 얼굴 상태를 나타내는 얼굴 상태 정보를 생성하며, 상기 사용자의 얼굴 부위별 상기 얼굴 상태 정보의 변화 정도에 기초하여 상기 사용자의 건강 정보를 생성하는 제어부; 및
상기 건강 정보를 디스플레이하는 디스플레이부를 포함하고,
상기 제어부는, 상기 기초 사용자 영상을 보정하여 상기 분석용 영상을 생성하고, 상기 분석용 영상을 기초로 상기 사용자의 얼굴 상태를 분석하여 상기 얼굴 상태 정보를 생성하는, 미러 디스플레이 장치.
제 10 항에 있어서,
상기 제어부는,
상기 기초 사용자 영상을 보정하기 위한 기준이 되는 기준 영상과 상기 기초 사용자 영상에서 상기 사용자의 얼굴 중 일부 영역의 색상을 비교하여 상기 기준 영상과 상기 기초 사용자 영상간의 색상 차이 정보를 생성하고,
상기 색상 차이 정보에 기초하여 상기 기초 사용자 영상의 색상을 보정하여 상기 분석용 영상을 생성하며,
상기 기준 영상은, 상기 기초 사용자 영상을 생성하기 이전에 상기 사용자의 얼굴 상태를 분석하기 위해 생성된 분석용 영상인 과거 분석용 영상에 기초하여 결정되는, 미러 디스플레이 장치.
제 11항에 있어서,
상기 색상 차이 정보를 생성하기 위한 색상 비교의 대상이 되는 상기 사용자의 얼굴 중 일부 영역은, 상기 사용자의 머리카락, 눈썹 및 안구 중 적어도 하나를 포함하는, 미러 디스플레이 장치.
제 11 항에 있어서,
상기 제어부는,
상기 기초 사용자 영상에서 이미지 평활화 및 노이즈(noise) 제거를 수행하고,
상기 기초 사용자 영상이 촬영된 환경에서의 색온도 및 조도에 기초하여 상기 기초 사용자 영상에서 색상 및 밝기의 조정을 수행하는, 미러 디스플레이 장치.
제 11 항에 있어서,
상기 제어부는,
상기 생성된 얼굴 상태 정보와 비교하기 위한 기준 상태 정보를 생성하고, 상기 기준 상태 정보와 상기 생성된 상태 정보를 비교하여 상기 얼굴 상태 정보의 변화 정도를 추출하며, 상기 추출된 변화 정도에 기초하여 상기 건강 정보를 생성하고,
상기 기준 상태 정보는, 적어도 하나의 상기 과거 분석용 영상에 대한 얼굴 상태 정보에 기초하여 생성되되, 상기 과거 분석용 영상에 대한 얼굴 상태 정보에 시기별로 상이한 가중치를 적용하여 산출되는, 미러 디스플레이 장치.
제 14 항에 있어서,
상기 제어부는,
상기 기초 사용자 영상의 촬영 시점 이전의 기간인 제 1 기간 및 제 2 기간을 결정하고, 상기 제 1 기간 및 상기 제 2 기간 동안의 상기 과거 분석용 영상에 대한 얼굴 상태 정보의 평균값을 계산하여 제 1 평균 상태 정보 및 제 2 평균 상태 정보를 산출하며, 상기 제 1 평균 상태 정보 및 상기 제 2 평균 상태 정보에 각각 상이한 제 1 산출인자 및 제 2 산출인자를 적용하여 상기 기준 상태 정보를 산출하고,
상기 제 1 기간은 상기 제 2 기간보다 상기 촬영 시점에 가까운 기간이며, 상기 제 1 산출인자는 상기 제 2 산출인자보다 크게 설정되는, 미러 디스플레이 장치.
제 14 항에 있어서,
상기 제어부는,
상기 건강 정보를 기초로 상기 사용자의 건강 상태를 평가하여 위험도 정보를 생성하고, 상기 위험도 정부에 기초하여 상기 사용자의 건강 상태가 위험 구간에 속하면 상기 건강 정보를 전문가 단말에 전달하며, 상기 건강 정보를 기초로 상기 전문가의 원격 진단을 제공하는, 미러 디스플레이 장치.
제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.