KR20200129602A - 얼굴의 비대칭 특성정보를 도출하는 방법, 및 시스템 - Google Patents

Abstract

본 발명은 얼굴의 비대칭 특성정보를 도출하는 방법 및 시스템으로서, 더욱 상세하게는 얼굴이미지의 특징점을 추출하여 특징점으로부터 얼굴이미지의 대칭축을 기준으로 얼굴의 비대칭특성을 판단할 수 있는 얼굴의 비대칭 특성정보를 제공하는, 얼굴의 비대칭 특성정보를 도출하는 방법 및 시스템에 관한 것이다.

Description

얼굴의 비대칭 특성정보를 도출하는 방법, 및 시스템{Method And System For Deducting Facial Asymmetry Information}

본 발명은 얼굴의 비대칭 특성정보를 도출하는 방법 및 시스템으로서, 더욱 상세하게는 얼굴이미지의 특징점을 추출하여 특징점으로부터 얼굴이미지의 대칭축을 기준으로 얼굴의 비대칭특성을 판단할 수 있는 얼굴의 비대칭 특성정보를 제공하는, 얼굴의 비대칭 특성정보를 도출하는 방법 및 시스템에 관한 것이다.

최근 현대사회에서는 미용에 대한 관심이 급증하면서 얼굴의 좌우 대칭도에 대한 관심 또한 급증하고 있다. 개개인이 자신의 안면 대칭도에 대해 자가진단을 진행하기도 하고, 실제로 성형외과, 치아교정 및 턱관절을 진단하는 치과와 같은 진료기관에서도 얼굴에 대한 대칭도를 판단하는 일이 중요해졌다. 이러한 필요에 따라, 종래에는 얼굴의 좌우 대칭을 판단할 수 있도록 눈금이 매겨진 곡선형 특수자를 판단 대상이 되는 실제 얼굴에 위치시켜 눈썹, 눈, 코, 및 입과 같은 얼굴 주요부위의 위치 및 크기 등을 측정함으로써 얼굴의 좌우 대칭도를 산출할 수 밖에 없었다. 이러한 방법은 얼굴의 좌우 대칭도를 판단함에 있어서, 특수자의 물리적인 접촉위치와 시각적인 측정오차에 따라 얼굴의 좌우 대칭도가 달라질 수 있기 때문에 산출된 얼굴의 좌우 대칭도에 대한 정확성을 담보할 수 없다는 문제점이 있다.

한편, 얼굴의 대칭성에 대한 관심도의 급증에 따라 많은 연구개발을 통해 얼굴을 인식하는 프로그램이나 어플리케이션도 출시되고 있는 현황이다. 하지만, 이와 같은 필요성에 의해 개발된 기존의 프로그램이나 어플리케이션들도 얼굴을 인식하는 것에 주로 초점이 맞추어져 있었을 뿐, 인식된 얼굴을 이용하여 얼굴의 좌우 대칭도를 판단할 수는 없었다.

또한, 바른자세를 유지하지 못하여 신체의 전체적인 밸런스가 틀어지게 되면 이러한 영향을 받아 얼굴 또한 비대칭이 될 확률이 높고 이를 진단함에 있어서도 얼굴의 좌우 대칭도가 중요한 지표가 된다. 이와 같이, 얼굴의 대칭성을 객관적인 지표로 도출하는 기술이 여러 분야에서 필요로 하는 실정이다. 일 예로, 두 눈이 같은 방향으로 정렬되지 않고 한쪽 눈은 정면을, 다른 한쪽 눈은 다른 방향으로 향한 상태를 나타내는 사시질환을 가진 환자를 구분하는 데 있어서도, 얼굴의 비대칭 특성정보는 중요한 정보 중 하나이다. 하지만 상술한 바와 같이 얼굴의 좌우 대칭성을 객관적으로 판별할 수 없는 기술이 종래에 존재하지 않고, 사시환자에 대한 판별 또한 의사의 육안에 따른 주관적인 판별이 이루어 지고 있는 실정이다.

이러한 종래기술의 문제점을 해결하기 위해, 얼굴이미지에서 몇 개의 특징점을 검출하여 얼굴의 비대칭 특성을 도출하는 기술을 적용하여 얼굴의 비대칭 특성정보를 다양한 분야에서의 활용 및 사시환자를 분류할 수 있는 있는 방법이 필요한 실정이다.

본 발명은 얼굴이미지의 특징점을 추출하여 특징점으로부터 얼굴이미지의 대칭축을 기준으로 얼굴의 비대칭특성을 판단할 수 있는 얼굴의 비대칭 특성정보를 제공하는, 얼굴의 비대칭 특성정보를 도출하는 방법 및 시스템을 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여 본 발명은, 1 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 얼굴의 비대칭 특성정보를 도출하는 방법으로서, 얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출단계; 상기 1 이상의 얼굴특징점에 기초하여 얼굴대칭선을 도출하는 얼굴대칭선도출단계; 상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 비대칭 특성을 판별할 수 있는 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 비대칭특성판별지표도출단계; 및 1 이상의 상기 비대칭특성판별지표에 기초하여 특성정보를 도출하는 얼굴비대칭특성정보도출단계;를 포함하는, 얼굴의 비대칭 특성정보를 도출하는 방법을 제공한다.

본 발명의 일 실시예에서는, 상기 얼굴특징점도출단계는, 눈썹, 눈, 코, 입, 및 얼굴윤곽 중 1 이상을 포함하는 얼굴부위에 대한 각각의 상기 얼굴특징점을 도출하고, 상기 코, 상기 입 및 상기 얼굴윤곽에 해당하는 상기 얼굴특징점의 중심에 있는 얼굴특징점을 제외한 얼굴의 좌측영역 및 우측영역의 1 이상의 상기 얼굴특징점이 짝을 이룰 수 있다.

본 발명의 일 실시예에서는, 상기 얼굴대칭선도출단계는, 각각의 얼굴부위의 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 안면중심점을 도출하는 단계; 및 상기 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 얼굴대칭선도출단계가 도출하는 상기 안면중심점은, 눈썹에 해당하는 2 이상의 얼굴특징점의 평균좌표값에 기초하여 도출되는 양측눈썹의중심점; 눈에 해당하는 2 이상의 얼굴특징점의 평균좌표값에 기초하여 도출되는 양측눈의중심점; 입에 해당하는 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 도출되는 입의중심점; 및 얼굴윤곽의 일부에 해당하는 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 도출되는 턱의중심점;을 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 비대칭특성판별지표는, 얼굴기울기, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상을 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 비대칭특성판별지표도출단계는, 상기 얼굴대칭선의 기울기에 기초하여 얼굴기울기를 도출하는 단계; 상기 얼굴이미지의 상기 얼굴대칭선이 수직인 상태로 회전시킨 얼굴회전이미지에 기초하여 보정된 얼굴특징점을 도출하는 단계; 상기 보정된 얼굴특징점에 기초하여 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 얼굴비대칭특성정보도출단계는, 상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지, 상기 1 이상의 비대칭특성판별지표 중 1 이상을 포함하는 특성정보를 도출할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 얼굴의 비대칭 특성정보를 도출하는 시스템으로서, 얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출부; 상기 1 이상의 얼굴특징점에 기초하여 얼굴대칭선을 도출하는 얼굴대칭선도출부; 상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 비대칭 특성을 판별할 수 있는 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 비대칭특성판별지표도출부; 및 1 이상의 상기 비대칭특성판별지표에 기초하여 특성정보를 도출하는 얼굴비대칭특성정보도출부;를 포함할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 얼굴의 비대칭 특성정보를 기반으로 사시환자를 분류하는 방법으로서, 얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출단계; 이상의 상기 얼굴특징점에 기초하여 얼굴대칭선을 도출하는, 얼굴대칭선도출단계; 상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 비대칭 특성을 판별할 수 있는 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 비대칭특성판별지표도출단계; 및 1 이상의 상기 비대칭특성판별지표에 기초하여 사시환자특성정보를 도출하는 사시환자특성정보도출단계;를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 다양한 얼굴이미지를 기반으로, 그에 대한 얼굴의 비대칭 특성정보를 도출함과 동시에 기록함으로써, 얼굴의 비대칭 특성에 대한 데이터를 수집할 수 있고, 기록된 대량의 데이터에 기초하여 얼굴 대칭성에 대한 연구에 활용할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 얼굴의 비대칭 특성정보를 한눈에 보기 쉽도록 PDF파일로서 제공함으로써, 사용자는 얼굴의 비대칭 특성정보의 사용목적에 따른 환자의 데이터 관리를 간편하게 할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 비대칭특성판별지표에 대한 구체적인 수치가 포함된 결과물을 제공받을 수 있음으로써, 검사결과에 대한 신뢰도를 상승시킬 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 기존에 육안으로 확인하던 의사의 주관적 판단이 상당부분 개입되는 사시환자의 여부를 판별하는 방법에 비해 보다 객관적인 지표를 의사의 진료에 활용할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 성인에 비해 비교적 협조적이지 않은 아이들의 경우에도 신체에 직접적인 터치 혹은 강압성 없이, 얼굴이미지만으로도 사시가능성을 진료받을 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 얼굴의 비대칭 특성정보를 도출하는 방법의 전체적인 시스템 형태를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 얼굴특징점이 디스플레이 된 이미지를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 얼굴대칭선이 디스플레이 된 이미지를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 비대칭특성판별지표에 대한 이미지를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 좌측얼굴 및 우측얼굴의 면적차이에 대한 이미지를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 눈썹기울기를 기준으로 얼굴의 비대칭 정도를 나타낸 이미지를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 코기울기를 기준으로 얼굴의 비대칭 정도를 나타낸 이미지를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 좌측얼굴 및 우측얼굴의 면적차이를 기준으로 얼굴의 비대칭 정도를 나타낸 이미지를 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 얼굴의 비대칭 특성정보를 제공하는 시스템의 동작을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 얼굴기울기, 양측눈기울기의 차이 및 코기울기에 따라 SVM기반 데이터학습에 기초하여 사시환자데이터를 분류한 그래프를 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 얼굴비대칭특성정보도출부의 내부 구성을 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 얼굴의 비대칭 특성정보를 도출하는 시스템이 디스플레이 하는 초기화면을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 얼굴의 비대칭 특성정보를 도출하는 시스템이 동작한 후 비대칭특성판별지표가 도출된 화면을 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보가 표시된 결과정보를 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 특성정보가 기록되는 결과로그를 개략적으로 도시한다.
도 16은 본 발명의 일 실시에에 따른 컴퓨팅장치의 내부구성을 개략적으로 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, 스마트 폰(smart phone), 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 ‘PC’라 칭하기로 한다), 이동 전화기, 화상 전화기, 전자책 리더(e-book reader), 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 ‘PMP’라 칭하기로 한다), 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스, 카메라, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 ‘HMD’라 칭하기로 한다), 전자 의류, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 혹은 스마트 워치(smart watch), PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드 (Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network;LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

1. 얼굴의 비대칭 특성정보를 도출하는 방법

도 1은 본 발명의 일 실시예에 따른 얼굴의 비대칭 특성정보를 도출하는 방법의 전체적인 시스템 형태를 개략적으로 도시한다.

본 발명의 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)은 사용자로부터 얼굴이미지를 수신하고, 이에 대한 얼굴특징점, 비대칭특성판별지표에 대한 값, 및 SVM기반 데이터학습에 의한 사시환자판별결과를 도출하여 제공하고, 상기 사용자는 입력한 얼굴이미지에 대해 얼굴의 비대칭 특성정보를 제공받을 수 있다.

도 1의 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)은 사용자로부터 입력 수신한 얼굴이미지를 처리하는 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함한다. 상기 프로세서는 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 비대칭특성판별지표도출부(1300) 및 얼굴비대칭특성정보도출부(1400)를 포함한다.

상기 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)은 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅장치에 의하여 구현될 수 있다.

이와 같은 컴퓨팅장치는 프로세서, 버스(프로세서, 메모리, 네트워크 인터페이스 사이의 양방향 화살표에 해당), 네트워크 인터페이스 및 메모리를 포함할 수 있다. 메모리에는 운영체제, 프로그램실행코드, 얼굴이미지, 특성정보 등이 저장되어 있다.

프로세서에서는 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 비대칭특성판별지표도출부(1300) 및 얼굴비대칭특성정보도출부(1400)가 실행될 수 있다. 다른 실시예들에서 자동화된 컴퓨팅장치는 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.

메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스를 통해 메모리에 로딩될 수도 있다.

버스는 컴퓨팅장치의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.

네트워크 인터페이스는 컴퓨팅장치를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성 요소일 수 있다. 네트워크 인터페이스는 자동화된 컴퓨팅장치를 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.

프로세서는 기본적인 산술, 로직 및 자동화된 컴퓨팅장치를 구현하는 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 네트워크 인터페이스에 의해, 그리고 버스를 통해 프로세서로 제공될 수 있다.

프로세서는 상기 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 비대칭특성판별지표도출부(1300) 및 얼굴비대칭특성정보도출부(1400)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리와 같은 기록 장치에 저장될 수 있다.

상기 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 비대칭특성판별지표도출부(1300) 및 얼굴비대칭특성정보도출부(1400)는 이하에서 설명하게 될 얼굴의 비대칭 특성정보를 도출하는 방법을 수행하기 위해 구성될 수 있다. 상기한 프로세서는 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)의 실시형태 및 서비스 형태에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합될 수 있다.

상기 얼굴의 비대칭 특성정보를 도출하는 방법은 1 이상의 메모리 및 1 이상의 프로세서로 구현되어, 얼굴특징점을 도출하는 얼굴특징점도출부(1100); 얼굴대칭선을 도출하는 얼굴대칭선도출부(1200); 얼굴이미지의 비대칭 특성을 판별할 수 있는 비대칭특성판별지표에 대한 값을 도출하는 비대칭특성판별지표도출부(1300); 및 얼굴의 비대칭 특성정보를 도출하는 얼굴비대칭특성정보도출부(1400);를 포함한다.

상기 얼굴특징점도출부(1100)는, 입력 수신한 환자의 얼굴이미지로부터 눈썹, 눈, 코, 입, 및 얼굴윤곽과 같은 1 이상의 얼굴부위를 나타내는 얼굴특징점을 도출한다.

상기 얼굴대칭선도출부(1200)는, 얼굴특징점에 기초하여 안면중심점을 도출하고 안면중심점에 기초하여 얼굴대칭선을 도출한다.

상기 비대칭특성판별지표도출부(1300)는, 얼굴특징점 및 얼굴대칭선에 기초하여 입력 수신한 얼굴이미지의 대칭성을 판별하는 기준이 되는 비대칭특성판별지표에 대한 값을 도출한다. 바람직하게는, 상기 비대칭특성판별지표는 얼굴기울기, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 상기 좌측눈기울기 및 상기 우측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상을 포함한다.

상기 얼굴비대칭특성정보도출부(1400)는, 상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지, 상기 1 이상의 비대칭특성판별지표 중 1 이상을 포함하는 특성정보를 도출한다.

보다 구체적인 상기 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 비대칭특성판별지표도출부(1300) 및 얼굴비대칭특성정보도출부(1400)의 동작에 대해서는 후술하도록 한다.

도 2는 본 발명의 일 실시예에 따른 얼굴특징점이 디스플레이 된 이미지를 개략적으로 도시한다.

도 2의 (a)는 얼굴특징점도출부(1100)가 도출하는 1 이상의 얼굴특징점을 도시한다. 상기 얼굴특징점도출부(1100)는 얼굴의 눈썹, 눈, 코, 입, 및 얼굴윤곽 중 1 이상을 포함하는 얼굴부위에 대한 얼굴특징점을 도출한다. 구체적으로, 1번부터 17번까지의 얼굴특징점은 얼굴윤곽, 18번부터 27번까지의 얼굴특징점은 눈썹, 28번부터 36번까지의 얼굴특징점은 코, 37번부터 46번까지의 얼굴특징점은 눈, 및 49번부터 68번까지의 얼굴특징점은 입을 나타내는 얼굴특징점을 도출한다.

도 2의 (b)는 실제 사람의 얼굴이미지에서 1 이상의 상기 얼굴특징점을 도출한 이미지를 도시한다. 도 2의 (a)에서 도시한 1번부터 68번까지의 얼굴특징점들을 사람얼굴이미지로부터 도출하여 디스플레이 한 이미지이다. 눈썹, 눈, 코, 입, 및 얼굴윤곽에 해당하는 얼굴특징점이 추출되었고, 이러한 1 이상의 얼굴특징점들은 이후 얼굴대칭선 및 비대칭특성판별지표를 도출하는데 기초가 될 수 있다.

얼굴부위 중 코, 입, 및 얼굴윤곽에 해당하는 상기 얼굴특징점의 중심에 있는 얼굴특징점을 제외한 얼굴의 좌측영역 및 우측영역의 1 이상의 상기 얼굴특징점이 짝을 이룬다. 도 2의 (a)에 도시된 바와 같이, 코의 중심에 있는 28, 29, 30, 31, 및 34번점, 입의 중심에 있는 52, 63, 67, 및 58번점, 및 얼굴윤곽을 나타내는 얼굴특징점의 중심인 9번점을 제외한 1 이상의 얼굴특징점은 짝을 이룬다.

예를 들어, 눈썹점인 18번점과 27번점, 19번점과 26번점, 20번점과 25번점, 21번점과 24번점, 및 22번점과 23번점과 같이 짝을 이룰 수 있다. 얼굴윤곽을 나타내는 얼굴특징점 또한 9번점을 제외하고, 1번점과 17번점, 2번점과 16번점, 3번점과 15번점 등 이와 같이 얼굴의 좌측영역 및 우측영역의 얼굴특징점이 짝을 이룬다. 코를 나타내는 얼굴특징점 또한, 상기 28, 29, 30, 31, 및 34번점을 제외한 32번점과 36번점, 33번점과 35번점이 짝을 이루는 것이 도시된다.

도 3은 본 발명의 일 실시예에 따른 얼굴대칭선이 디스플레이 된 이미지를 개략적으로 도시한다.

도 3은 얼굴특징점도출부(1100)가 도출한 1 이상의 얼굴특징점에 기초하여, 얼굴대칭선도출부(1200)가 얼굴대칭선을 도출하고, 실제 얼굴이미지에 도출한 얼굴대칭선을 디스플레이 한 이미지를 도시한다. 상기 얼굴대칭선은 4개의 안면중심점에 기초하여 도출한다.

구체적으로, 상기 얼굴대칭선도출부(1200)는, 각각의 얼굴부위의 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 안면중심점을 도출하는 단계(S100); 및 상기 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출하는 단계(S110);를 수행한다.

구체적으로, S100단계에서는, 1 이상의 얼굴특징점에 기초하여 4개의 안면중심점을 도출한다. 도 3의 (a)는 얼굴대칭선도출부(1200)가 도출하는 1 이상의 안면중심점 및 얼굴대칭선을 도시한다. 상기 안면중심점은 눈썹에 해당하는 2 이상의 얼굴특징점의 평균좌표값에 기초하여 도출되는 양측눈썹의중심점(100); 눈에 해당하는 2 이상의 얼굴특징점의 평균좌표값에 기초하여 도출되는 양측눈의중심점(200); 입에 해당하는 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 도출되는 입의중심점(300); 및 얼굴윤곽의 일부에 해당하는 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 도출되는 턱의중심점(400);을 포함한다. 각각의 안면중심점을 도출을 위해 설정한 얼굴특징점 범위에 따라, 해당 범위내의 얼굴특징점의 X, Y값의 평균좌표값을 상기 안면중심점 좌표값으로 도출한다. 바람직하게는, 양측 눈썹의중심점은 눈썹점인 17번부터 26번점까지의 평균좌표값, 양측눈의중심점(200)은, 눈점인 36번부터 47번점까지의 평균좌표값, 입의중심점(300)은 입점인 48번부터 59번점까지의 평균좌표값, 및 턱의중심점(400)은 얼굴윤곽점의 일부인 5번부터 11번점까지의 평균좌표값에 기초하여 각각의 안면중심점을 도출할 수 있다.

S110단계에서는, S100단계에서 도출한 1 이상의 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출한다. 양측눈썹의중심점(100), 양측눈의중심점(200), 입의중심점(300), 및 턱의중심점(400)이 도출되면, 4개의 안면중심점에 기초하여 직선탐색알고리즘을 적용한다. 얼굴대칭선을 도출함에 있어서, 단순히 직관적으로 4개의 점을 연결하여 선을 도출하게 되면, 얼굴의 대칭성을 판별하는 데 있어 바람직한 직선이 도출되지 않을 확률이 높다. 이에 따라, 상기 얼굴대칭선도출부(1200)는 직선탐색알고리즘을 적용하여 각각의 안면중심점과 최소한의 에러를 가지는 직선을 얼굴대칭선으로 도출함이 바람직하다.

바람직하게는, 상기 직선탐색알고리즘은, Armijo's rlue, Wolfe's rule, 2분할법, Secant법, 및 Newton법 중 어느 하나에 해당할 수 있다.

도 3의 (b)는 상기 얼굴대칭선도출부(1200)의 S100 및 S110 단계의 수행으로 도출된 상기 안면중심점 및 얼굴대칭선이 디스플레이 된 실제 사람의 얼굴이미지를 도시한다. 이와 같이 얼굴대칭선도출부(1200)가 도출한 안면중심점 및 얼굴대칭선은 얼굴의 비대칭 특성정보를 도출하는데 기초가 될 수 있다.

도 4는 본 발명의 일 실시예에 따른 비대칭특성판별지표에 대한 이미지를 개략적으로 도시한다.

본 발명에서 얼굴이미지로부터 얼굴대칭성을 판별하기 위해 설정한 비대칭특성판별지표는, 얼굴기울기, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상을 포함한다.

구체적으로, 비대칭특성판별지표도출부(1300)는 상기와 같은 비대칭특성판별지표에 대한 값을 도출하기 위해서, 상기 얼굴대칭선의 기울기에 기초하여 얼굴기울기를 도출하는 단계(S200); 상기 얼굴이미지의 상기 얼굴대칭선이 수직인 상태로 회전시킨 얼굴회전이미지에 기초하여 보정된 얼굴특징점을 도출하는 단계(S210); 및 상기 보정된 얼굴특징점에 기초하여 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 단계;(S220)를 수행한다.

S200단계에서는, 상기 비대칭특성판별지표도출부(1300)는, 얼굴대칭선도출부(1200)가 도출한 얼굴대칭선에 기초하여 얼굴기울기를 도출한다. 바람직하게는, 얼굴기울기의 각도범위는 -90도 내지 90도 일 수 있다. 상기 얼굴기울기는 수직하는 얼굴대칭선을 0도로 기준하여, 시계 방향의 얼굴대칭선에 대해서 0도 내지 90도, 반시계 방향 얼굴대칭선에 대해서 -90도 내지 0도로 정의할 수 있다.

S210단계에서는, 얼굴이미지의 상기 얼굴기울기의 값이 0도인 상태로, 즉 상기 얼굴대칭선이 수직인 상태로, 입력 수신한 얼굴이미지를 회전시켜 얼굴회전이미지를 생성한다. 상기 비대칭특성판별지표도출부(1300)는 회전된 얼굴회전이미지에 따라, 보정된 얼굴특징점을 도출한다. 실제로, 얼굴의 비대칭 특성정보를 도출함에 있어서, 대부분의 사람들의 얼굴은 완전하게 대칭인 경우는 거의 드물다. 심한 경우, 자신은 얼굴의 각도를 올바르게 하고 있다고 인식하더라도 실제로는 얼굴의 기울기가 비대칭인 형태로 정면을 향해 있을 수 있다. 따라서 원본 얼굴이미지의 얼굴대칭선이 수직인 경우가 많지 않기 때문에 보다 정확한 얼굴의 비대칭 특성정보를 도출하기 위하여, 수직인 상태의 얼굴대칭선을 축으로 하여 얼굴이미지를 회전시킨 상기 얼굴회전이미지에 기초하여 보정된 얼굴특징점을 도출할 수 있다.

S220단계에서는, S210단계에서 도출한 상기 보정된 얼굴특징점에 기초하여 1 이상의 비대칭특성판별지표에 대한 값을 도출한다. 구체적으로, 도 4에 도시된 바와 같이 상기 비대칭특성판별지표를 설정할 수 있다. 상기 보정된 얼굴특징점에 기초하여 도출하는 비대칭특성판별지표는 얼굴기울기를 제외하고, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 및 입기울기, 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상에 해당할 수 있다.

눈썹기울기는 각각 우측눈썹 및 좌측눈썹의 중심점인 19번점과 24번점을 연결한 직선의 기울기를 의미한다. 우측눈기울기 및 좌측눈기울기는 각각의 눈을 이루는 얼굴특징점들의 양 끝점인 36번점과 39번점을 연결한 직선 및 42번점과 45번점을 연결한 직선의 기울기를 의미한다. 양측눈기울기의 차이는 상기 우측눈기울기 및 좌측눈기울기를 도출하여 양측눈기울기의 차이를 도출하고, 양측눈기울기의 차이 또한 상기 비대칭특성판별지표에 포함된다. 코기울기는 코의 양 끝점인 31번점과 35번점을 연결한 직선의 기울기를 의미한다. 입기울기는 입을 나타내는 얼굴특징점의 양끝점인 48번점과 64번점을 연결한 직선의 기울기를 의미한다. 눈-입기울기의 차이는 좌측눈의 끝점과 우측눈의 끝점인 36번점과 45번점을 연결한 직선의 기울기 및 상술한 바와 같이 도출한 입기울기의 차이를 도출하여 눈-입기울기의 차이를 도출한다. 도 4는 이러한 각각의 얼굴부위에 대한 직선을 그려놓은 것을 도시한다.

도 5는 본 발명의 일 실시예에 따른 좌측얼굴 및 우측얼굴의 면적차이에 대한 이미지를 개략적으로 도시한다.

상기 비대칭특성판별지표도출부(1300)는 1 이상의 각각의 얼굴특징점에 기초하여 도 5에 도시된 바와 같이 좌측얼굴 및 우측얼굴을 각각 17개의 영역으로 분리한다. 분리된 각각 17개의 영역의 세 점의 좌표에 기초하여 넓이를 도출하고, 상기 넓이에 기초하여 상기 좌측얼굴 및 우측얼굴의 면적을 도출한다. 각 면적은 개별적으로 저장될 수도 있다.

바람직하게는, 비대칭특성판별지표 중 하나인 좌측얼굴 및 우측얼굴의 면적차이를 구하는 식은, 좌측얼굴을 기준으로 할 때, 결과값을 계산한 경우 R(%) = (우측얼굴의 면적/좌측얼굴의 면적)-1 의 식으로 구성할 수 있다. 상기와 같은 식을 사용하여 도출된 값의 범위는 -0.5 내지 0.5(-50% 내지 50%)일 수 있고, 식을 사용하여 도출된 값을 기준으로 판단할 때 R이 0보다 작은 경우(R<0), 좌측얼굴의 면적이 더 넓은 것으로 판단하고, R이 0보다 큰 경우(R>0), 우측얼굴의 면적이 더 넓은 것으로 판단한다.

본 발명의 얼굴의 비대칭 특성정보를 도출하는 방법은 도출된 비대칭특성판별지표에 기초하여, SVM기반 데이터학습에 기초하여 얼굴의 비대칭 특성에 대한 판별기준을 설정할 수 있고, 이에 기초하여 얼굴의 비대칭 특성정보를 도출할 수 있다.

바람직하게는 상기 특성정보는, 상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지, 상기 1 이상의 비대칭특성판별지표 중 1 이상을 포함할 수 있다.

도 6 및 도 7은 본 발명의 일 실시예에 따른 특정 비대칭특성판별지표를 기준으로 얼굴의 비대칭 정도를 나타낸 이미지를 개략적으로 도시한다.

도 6은 본 발명의 일 실시예에 따른 눈썹기울기에 기초하여 얼굴의 비대칭 정도를 나타낸 이미지를 개략적으로 도시한다.

본 발명의 비대칭특성판별지표를 기준으로 얼굴의 비대칭 특성정보를 도출하는 것의 목적은, 육안에 의한 판단보다 객관적으로 활용할 수 있는 정보를 제공하는 것이고 본 발명에서는 이러한 정보 중 하나로써, 1 이상의 비대칭 특성판별지표를 제공할 수 있다.

도 6은 상기 비대칭특성판별지표 중 하나인 눈썹기울기에 기초하여, 입력 수신한 1 이상의 얼굴이미지의 얼굴 비대칭 정도를 나타낸 것을 도시한다. 각각의 사진별 얼굴이 비대칭일 확률이 1%부터 12%까지 다양하게 나타나 있다.

도 7은 본 발명의 일 실시예에 따른 코기울기에 기초하여 얼굴의 비대칭 정도를 나타낸 이미지를 개략적으로 도시한다.

도 7은 도 6에 도시된 1 이상의 얼굴이미지가 모두 동일하지만 얼굴의 비대칭 정도 다르게 나타나고 있음이 도시된다. 도 7은 비대칭특성판별지표 중 하나인 코 기울기에 기초하여 입력 수신한 1 이상의 얼굴이미지의 얼굴의 비대칭 정도를 나타낸 것을 도시한다. 동일한 사람, 동일한 이미지 이더라도 어떤 비대칭특성판별지표에 기초하여 판단하느냐에 따라 다른 비대칭 정도의 값들이 도출될 수 있다. 이와 같이, 비대칭특성판별지표를 기준으로 얼굴의 비대칭 특성을 도출하기 위해서는 얼굴의 비대칭 특성을 활용하는 목적에 따라, 가장 정확하고 오차범위가 적은 비대칭특성판별지표의 선별 및 비대칭특성판별지표에 대한 값의 범위의 설정이 필요할 수 있다. 사용자는 비대칭특성판별지표를 제공받았을 때 이러한 점을 감안하여 얼굴의 비대칭 특성정보를 활용할 수 있고, 본 발명의 얼굴의 비대칭 특성정보를 도출하는 방법은, SVM기반 데이터학습에 기초하여 다양한 실시예에 따른 판별기준을 설정하여 특성정보를 도출하고, 상기 비대칭특성판별지표가 포함된 상기 특성정보를 함께 제공할 수 있다.

도 8은 본 발명의 일 실시예에 따른 얼굴이미지의 좌측얼굴 및 우측얼굴의 면적차이를 나타낸 이미지를 개략적으로 도시한다.

도 8은 비대칭특성판별지표 중 하나인 좌측얼굴 및 우측얼굴의 면적차이를 나타낸 이미지를 나타낸다. 각각의 사진별 도출된 얼굴의 면적이 각각의 얼굴이미지에 나타나 있고, 그에 따른 좌측얼굴의 면적, 우측얼굴의 면적 및 좌측얼굴 및 우측얼굴의 면적차이를 나타냈다. 도 8에 도시된 바와 같이 사람마다 얼굴의 양측의 면적과 그 차이는 다르게 나타날 수 있다. 상기 좌측얼굴 및 우측얼굴의 면적차이는 비대칭특성판별지표 중 하나에 해당하고 이를 통해 얼굴의 비대칭 특성정보를 도출할 수 있다.

도 9는 본 발명의 일 실시예에 따른 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)의 동작을 개략적으로 도시한다.

본 발명의 얼굴의 비대칭 특성정보를 도출하는 방법을 수행하는 시스템은, 얼굴의 비대칭 특성정보를 도출하고자 하는 이미지를 사용자로부터 입력 수신한다. 도 9에 도시된 바와 같이, 사용자가 입력한 얼굴이미지가 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)으로 입력되면, 시스템의 프로세서에 포함되는 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 비대칭특성판별지표도출부(1300) 및 얼굴비대칭특성정보도출부(1400)의 동작에 따라, 다음과 같은 정보들을 도출할 수 있다. 상기 얼굴특징점도출부(1100) 및 상기 얼굴대칭선도출부(1200)의 동작에 따라 입력 수신한 얼굴이미지로부터 1 이상의 얼굴특징점 및 얼굴대칭선을 도출하여 상기 얼굴이미지에 상기 1 이상의 얼굴특징점이 디스플레이 되는 프로세싱이미지를 생성한다. 상기 비대칭특성판별지표도출부(1300)는 상기 얼굴대칭선에 기초하여 얼굴기울기를 도출하고, 상기 얼굴기울기의 값이 0인 상태로 상기 프로세싱이미지를 회전시킨 얼굴회전이미지를 생성한다. 또한, 상기 얼굴회전이미지로부터 추출된 보정된 얼굴특징점에 기초하여 비대칭특성판별지표에 대한 값을 도출한다. 상기 얼굴비대칭특성정보도출부(1400)는 상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지, 상기 1 이상의 비대칭특성판별지표 중 1 이상을 포함하는 특성정보를 도출한다.

2. 얼굴의 비대칭 특성정보를 기반으로 사시환자를 분류하는 방법.

도 10은 본 발명의 일 실시예에 따른 얼굴비대칭특성정보도출부의 내부 구성을 개략적으로 도시한다.

도 10은 본 발명의 얼굴의 비대칭 특성정보를 도출하는 방법을 수행하는 시스템의 얼굴비대칭특성정보도출부(1400)의 내부구성을 개략적으로 도시한다. 상기 얼굴비대칭특성정보도출부(1400)는 사시환자특성정보도출부(1410) 및 특성정보제공부(1420)를 포함할 수 있다. 도 10에 도시된 얼굴비대칭특성정보도출부(1400)는 도시된 구성요소 외의 다른 요소들을 더 포함할 수 있으나, 편의상 본 발명의 실시예들에 따른 사시환자를 분류하는 방법과 관련된 구성요소들만을 표시하였다.

상기 사시환자특성정보도출부(1410)는 상기 비대칭특성판별지표도출부로부터 도출된 비대칭특성판별지표에 기초하여, 사시환자를 분류하여 사시환자판별결과를 도출할 수 있다.

상기 특성정보제공부(1420)는, 사시환자특성정보도출부(1410)가 도출한 사시환자판별결과에 기초하여, 사시환자판별결과가 포함된 특성정보를 제공할 수 있다. 보다 구체적인 상기 사시환자특성정보도출부(1410) 및 특성정보제공부(1420)의 동작에 대해서는 후술하도록 한다.

도 11은 본 발명의 일 실시예에 따른 얼굴기울기, 양측눈기울기의 차이 및 코기울기에 따라 SVM기반 데이터학습에 기초하여 사시환자데이터를 분류한 그래프를 개략적으로 도시한다.

다양한 지표를 기준으로 데이터를 분류하는 경우, 가장 적합한 방법이나 경계 기준을 정하고 분류하기 위해 사용하는 방법에는 SVM에 기반한 데이터학습을 활용할 수 있다. 데이터학습을 통해 데이터를 분류하여, 새로운 데이터에 대한 분류 기준을 설정할 수 있다.

도 11의 그래프들은 사시환자 21명 정상환자 25명의 데이터를 기반으로 이 중 80%의 비율인 37명은 데이터에 대하여 학습하는 목적에 사용하는 트레인데이터세트(train set)로 설정하고, 20%의 비율인 9명은 37명의 데이터에 대하여 학습하여 생성된 모델을 검증하는 테스트데이터세트(test set)로 설정하여 적용하였고, 특정 비대칭특성판별지표를 선정하여 각각 20회의 테스트를 실시한 그래프를 도시한다.

도 11의 (a)는 상기 비대칭특성판별지표 중 얼굴기울기 및 양측눈기울기의 차이를 기준으로 사시환자데이터분류를 실시한 그래프이다. 그래프의 동그라미는 각각 일반인과 사시환자를 나타내는 트레인데이터세트를 표시하고, x는 테스트데이터세트를 표시한다. 도 11의 (a)에 도시된 바와 같이, 트레인데이터세트를 기준으로 일반인과 사시환자를 나누는 영역을 설정할 수 있다. 이 후 테스트데이터세트의 데이터를 적용하여 테스트데이터세트의 데이터가 각각의 해당 영역에 일치하는 비율이 높을수록, 사시환자에 대한 여부를 판별하는 지표로써, 신뢰성이 높다고 판단할 수 있다. 도 11의 (a)는 일반인을 나타내는 파란색 영역에 테스트데이터세트에 포함되는 5명의 일반인이 모두 들어가있고, 사시환자를 나타내는 파란색 영역을 제외한 부분인 빨간색부분에 4명의 사시환자가 모두 포함되어 있다. 이와 같이 상기 비대칭특성판별지표 중 얼굴기울기와 양측눈기울기의 차이를 기준으로 같은 방식의 데이터학습을 통한 분류테스트를 20회 진행했을 때, 100%의 일치율을 나타냈다.

이에 기초하여, 상기 사시환자특성정보도출부(1410)는, 상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 양측눈기울기의 차이에 대한 값이 SVM기반 데이터학습에 기초하여 기설정된 기준에 부합하는지 판별하는 단계;를 수행할 수 있다. 상기 기설정된 기준에 부합하는지 여부에 따라 해당 얼굴이미지의 사시질환에 대한 가능성을 판단할 수 있는 사시환자판별결과를 도출할 수 있다.

바람직하게는, 얼굴기울기 및 양측눈기울기에 대한 값을 기준으로 사시환자 여부를 판별할 수 있는 기설정된 제1기준은 얼굴기울기에 대한 값이 2.72를 초과하면서, 양측눈기울기의 차이에 대한 값이 3.51을 초과하는 범위로 설정할 수 있다. 상기와 같은 범위의 비대칭특성판별지표에 대한 값이 도출된 환자에 대하여 사시질환에 대한 가능성이 높다고 판단할 수 있다.

도 11의 (b)는 상기 비대칭특성판별지표 중 얼굴기울기 및 코기울기를 기준으로 사시환자데이터분류를 실시한 그래프이다. 그래프의 동그라미는 각각 일반인과 사시환자를 나타내는 트레인데이터세트를 표시하고, x는 테스트데이터세트를 표시한다. 도 11의 (b)에 도시된 바와 같이, 트레인데이터세트를 기준으로 일반인과 사시환자를 나누는 영역을 설정할 수 있다. 도 11의 (b)는 테스트데이터세트의 4명의 일반인이 일반인영역에 포함되어있고, 테스트데이터세트의 5명의 사시환자 중 4명의 사시환자는 사시환자영역에, 1명의 사시환자는 일반인영역에 포함된 것이 표시되어 있다. 전체 테스트데이터세트 9명 중 8명의 정보는 일치하고 1명의 정보가 일치하지 않고 있고, 이와 같이 상기 비대칭특성판별지표 중 얼굴기울기 및 코기울기를 기준으로 같은 방식의 데이터학습을 통한 분류테스트를 20회 진행했을 때, 84.45%의 일치율을 나타냈다.

이에 기초하여, 상기 사시환자특성정보도출부(1410)는, 상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 코기울기에 대한 값이 SVM기반 데이터학습에 기초하여 기설정된 기준에 부합하는지 판별하는 단계;를 수행할 수 있다. 상기 기설정된 기준에 부합하는지 여부에 따라 해당 얼굴이미지의 사시질환에 대한 가능성을 판단할 수 있는 사시환자판별결과를 도출할 수 있다.

바람직하게는, 얼굴기울기 및 코기울기에 대한 값을 기준으로 사시환자 여부를 판별할 수 있는 제2기준은 얼굴기울기에 대한 값이 2.11을 초과하면서, 코기울기에 대한 값이 1.24를 초과하는 범위로 설정할 수 있다. 상기와 같은 범위의 비대칭특성판별지표에 대한 값이 도출된 환자에 대하여 사시질환에 대한 가능성이 높다고 판단할 수 있다.

도 11의 (c)는 상기 비대칭특성판별지표 중 양측눈기울기의 차이 및 코기울기를 기준으로 사시환자데이터분류를 실시한 그래프이다. 그래프의 동그라미는 각각 일반인과 사시환자를 나타내는 트레인데이터세트를 표시하고, x는 테스트데이터세트를 표시한다. 도 11의 (c)에 도시된 바와 같이, 트레인데이터세트를 기준으로 일반인과 사시환자를 나누는 영역을 설정할 수 있다. 도 11의 (c)는 테스트데이터세트의 7명의 일반인 중 6명이 일반인영역에, 1명의 일반인이 사시환자영역에 포함되어있고, 테스트데이터세트의 2명의 사시환자 중 1명이 사시환자영역에, 다른 1명이 일반인영역에 포함된 것이 표시되어 있다. 전체 테스트데이터세트 9명 중 7명의 정보는 일치하고 2명의 정보가 일치하지 않고 있고, 이와 같이 상기 비대칭특성판별지표 중 양측눈기울기의 차이 및 코기울기를 기준으로 같은 방식의 데이터학습을 통한 분류테스트를 20회 진행했을 때, 77.78%의 일치율을 나타냈다.

이에 기초하여, 상기 사시환자특성정보도출부(1410)는, 상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 코기울기에 대한 값이 SVM기반 데이터학습에 기초하여 기설정된 기준에 부합하는지 판별하는 단계;를 수행할 수 있다. 상기 기설정된 기준이 부합하는지 여부에 따라 해당 얼굴이미지의 사시질환에 대한 가능성을 판단할 수 있는 사시환자판별결과를 도출할 수 있다.

바람직하게는, 양측눈기울기의 차이 및 코기울기에 대한 값을 기준으로 사시환자 여부를 판별할 수 있는 제3기준은 양측눈기울기의 차이에 대한 값이 3.51을 초과하면서, 코기울기에 대한 값이 1.24를 초과하는 범위로 설정할 수 있다. 상기와 같은 범위의 비대칭특성판별지표에 대한 값이 도출된 환자에 대하여 사시질환에 대한 가능성이 높다고 판단할 수 있다.

이와 같이 도출된 사시환자판별결과는 후술하는 특성정보에 제공될 수 있다.

도 12 및 도 13은 본 발명의 일 실시예에 따른 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)이 디스플레이하는 화면을 개략적으로 도시한다.

구체적으로, 도 12는 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)의 초기화면을 개략적으로 도시한다. 도 12와 같은 화면을 제공받은 사용자는 select an image버튼을 선택하여 특성정보를 제공받고 싶은 얼굴이미지를 선택하여 입력할 수 있다. 이후, 선택한 얼굴이미지에 대하여 특성정보를 도출하고자 사용자가 start버튼을 선택하면, 상기 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)은 사용자가 입력한 얼굴이미지를 입력 수신하여 상술한 과정의 동작을 통해 도 13에 도시된 바와 같이 사용자로부터 입력 수신한 상기 얼굴이미지의 특성정보를 디스플레이하는 화면을 제공할 수 있다. 얼굴이미지로부터 얼굴특징점 및 얼굴대칭선이 디스플레이 된 프로세스이미지 및 얼굴기울기에 대한 값이 0이 되도록 회전된 얼굴회전이미지가 디스플레이되고 이에 따라, 1 이상의 비대칭특성판별지표에 대한 값이 제공된다. 또한, 환자정보, 담당 의사 정보 및 의사의 소견을 직접 입력할 수 있는 인터페이스를 제공하고, 사용자는 해당 얼굴이미지에 대한 환자정보, 담담 의사 정보 및 의사의 소견을 입력할 수 있다.

이후, 사용자가 Make PDF버튼을 선택하면, 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)은 프로세스이미지, 얼굴회전이미지, 비대칭특성판별지표에 대한 값 및 사용자가 입력한 환자정보, 의사소견 및 사시환자판별결과 중 1 이상을 포함한 PDF파일을 생성한다. 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)은 특성정보를 PDF파일의 형태로 제공할 수 있다. 사용자가 제공받는 상기 특성정보는, 1 이상의 얼굴이미지, 1 이상의 비대칭특성판별지표에 대한 값, 환자정보, 의사의 소견, 의사정보, 사시환자판별결과, 및 결과데이터생성시간 중 1 이상을 포함할 수 있다.

도 14는 본 발명의 일 실시예에 따른 사시환자와 관련된 정보가 표시된 특성정보를 개략적으로 도시한다.

도 14는 상기 도 13의 화면을 제공받은 사용자가 Make PDF버튼을 선택한 경우 상기 얼굴비대칭특성정보도출부(1400)가 제공하는 얼굴의 비대칭 특성정보를 표시하는 특성정보(PDF형태)를 개략적으로 도시한다. 구체적으로, 얼굴비대칭특성정보도출부(1400)는, 상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지, 상기 1 이상의 비대칭특성판별지표 중 1 이상을 포함하는 특성정보를 도출하고, 상기 얼굴비대칭특성정보도출부(1400)의 특성정보제공부(1420)가 제공하는 상기 특성정보에 의한 디스플레이화면은, 상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지가 디스플레이되는 얼굴이미지레이어(L1); 환자의 정보가 디스플레이되는 환자정보레이어(L2); 상기 얼굴이미지에 대한 1 이상의 비대칭특성판별지표에 대한 값을 제공하는 판별지표레이어(L3); 및 의사정보, 의사의 소견, 사시환자판별결과, 및 결과데이터생성시간 중 1 이상을 포함하는 결과정보가 디스플레이되는 결과정보레이어(L4);를 포함한다.

도 14에 도시된 바와 같이, 얼굴이미지레이어(L1)에는 1 이상의 얼굴이미지가 디스플레이된다. 사용자로부터 입력 수신한 얼굴이미지, 얼굴특징점도출부(1100) 및 얼굴대칭선도출부(1200)가 도출한 얼굴특징점 및 얼굴대칭선이 디스플레이 된 프로세스이미지, 비대칭특성판별지표도출부(1300)가 도출한 얼굴기울기의 값이 0인 상태로 상기 얼굴이미지를 회전한 얼굴회전이미지가 디스플레이 되고, 사용자는 얼굴이미지레이어(L1)에 디스플레이 되는 얼굴이미지들을 통해 사시환자 여부에 대한 판단을 하는 데에 보다 직관적으로 활용할 수 있다. 상기 환자정보레이어(L2)에는 도 12의 화면에서 사용자로부터 입력 수신한 입력정보 중 환자에 대한 정보가 디스플레이 된다. 예를 들어, 환자의 이름, 성별, 나이, 연락처 등에 대한 정보가 디스플레이 될 수 있다. 상기 판별지표레이어(L3)에는 비대칭특성판별지표도출부(1300)가 도출한 비대칭특성판별지표에 대한 값이 디스플레이된다. 1 이상의 비대칭특성판별지표에 대한 값들이 모두 디스플레이되고, 사용자는 각각의 지표들에 대한 값을 제공받음으로써 그 값에 기반하여 본인의 의사결정을 하는 데에 뒷받침이 될 수 있는 근거로 활용할 수 있다. 상기 결과정보레이어(L4)에는 상기 도 12의 화면에서 사용자로부터 입력 수신한 입력정보 중 의사에 대한 정보가 디스플레이 된다. 예를 들어, 의사정보, 의사의 소견, 사시환자판별결과, 및 결과데이터생성시간 중 1 이상을 포함하는 결과정보가 디스플레이 된다. 도 12의 화면을 제공받은 사용자가 별도의 의사의 소견을 입력한 경우에는 의사의 소견이 상기 결과정보레이어(L4)에 디스플레이 될 수 있고, 별도의 소견을 입력하지 않은 경우에는, 사시환자특성정보도출부(1410)가 도출한 사시환자판별결과가 디스플레이 될 수도 있다. 또한 얼굴이미지를 통해 상기와 같은 특성정보가 도출된 결과데이터생성시간이 디스플레이 될 수 있다. 도 14의 상기 결과정보레이어(L4)에는 상기 사시환자판별결과를 나타내는 conclusion의 값이 positive로 디스플레이 되고 있다. 바람직하게는, 상기 사시환자판별결과에 대한 값은 SVM기반 데이터학습을 통해 비교적 사시환자를 정확하게 분류하는 지표인 얼굴기울기, 양측눈기울기의 차이, 및 코기울기에 기초하여 도출할 수 있다. 이는 도 14와 같은 특성정보를 제공받은 사용자, 예를 들어, 의사가 1 이상의 비대칭특성판별지표에 대한 값이나, 얼굴이미지를 보정한 프로세스이미지, 및 데이터학습에 의해 도출된 사시환자판별결과에 기초하여 자신의 환자에 대하여 사시환자 여부에 대하여 판단을 내리는데 있어서 도움이 될 수 있는 정보로 활용할 수 있는 효과를 발휘할 수 있다.

또한 상기 얼굴비대칭특성정보도출부(1400)의 특성정보제공부(1420)는, 상기 비대칭특성판별지표에 대한 값 및 환자정보, 의사정보, 의사의 소견, 사시환자판별결과, 및 결과데이터생성시간 중 1 이상을 포함하는 결과로그 또한 생성한다. 상기 결과로그에는 1 이상의 개개인의 얼굴이미지에 대한 특성정보가 생성될 때마다, 해당 특성정보가 계속 쌓이는 형태로 저장될 수 있다.

도 15는 본 발명의 일 실시예에 따른 특성정보가 기록되는 결과로그를 개략적으로 도시한다.

구체적으로, 얼굴비대칭특성정보도출부(1400)의 특성정보제공부(1420)가 생성하는 결과로그는 상기 비대칭특성판별지표에 대한 값 및 환자정보, 의사정보, 사시환자에 대한 여부 판별의 결과, 및 시간 중 1 이상을 포함할 수 있다. 상기 결과로그에는 1 이상의 개개인의 얼굴이미지에 대한 특성정보가 생성될 때마다, 해당 특성정보가 계속 쌓이는 형태로 저장될 수 있다. 도 15에 도시된 바와 같이, 하나의 행을 단위로 입력 수신한 얼굴이미지에 대한 결과로그가 기록될 수 있다. 환자정보, 1 이상의 비대칭특성판별지표에 대한 값, 얼굴이미지에 대한 특성정보가 생성된 날짜와 시간 및 사시환자판별결과 중 1 이상을 포함하고, 얼굴이미지에 대하여 해당 시스템을 적용할 때마다 모든 얼굴이미지의 정보가 상기 결과로그에 쌓이는 형태로 저장될 수 있다. 상기 사시환자판별결과는 사시환자특성정보도출부(1410)가 도출한 결과일 수도 있고, 사용자가 직접 입력한 결과일 수 도 있다. 이와 같은 결과로그는 아직 임상적으로 사시환자에 대해 수치적, 객관적으로 판단할 수 있는 데이터가 다량 존재하지 않기 때문에 이러한 사시환자에 대한 데이터를 수집하는 목적으로 사용될 수 있으며, 이와 같은 방법으로 수집된 데이터에 기초하여 보다 명확하게 얼굴의 비대칭 특성정보를 도출하는 데이터로서 활용할 수 있는 효과를 발휘할 수 있다.

도 16은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

상기 도 1에 따른 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)은 도 13에서 도시되는 컴퓨팅장치의 1 이상의 모듈을 포함할 수 있다.

도 16에 도시한 바와 같이, 컴퓨팅장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 상기 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)을 포함하거나, 상기 입/출력 서브시스템(11400)에 의하여 상기 얼굴의 비대칭 특성정보를 도출하는 시스템(1000)에 연결될 수 있다.

메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다. 상기 프로세서(11100)은 단일 혹은 복수로 구성될 수 있고, 연산처리속도 향상을 위하여 GPU 및 TPU 형태의 프로세서를 포함할 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 16의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)은 도 16에 도시된 일부 컴포넌트가 생략되거나, 도 11에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 16에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (9)

1 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 얼굴의 비대칭 특성정보를 도출하는 방법으로서,
얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출단계;
상기 1 이상의 얼굴특징점에 기초하여 얼굴대칭선을 도출하는 얼굴대칭선도출단계;
상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 비대칭 특성을 판별할 수 있는 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 비대칭특성판별지표도출단계; 및
1 이상의 상기 비대칭특성판별지표에 기초하여 특성정보를 도출하는 얼굴비대칭특성정보도출단계;를 포함하는, 얼굴의 비대칭 특성정보를 도출하는 방법.

청구항 1에 있어서,
상기 얼굴특징점도출단계는,
눈썹, 눈, 코, 입, 및 얼굴윤곽 중 1 이상을 포함하는 얼굴부위에 대한 각각의 상기 얼굴특징점을 도출하고,
상기 코, 상기 입 및 상기 얼굴윤곽에 해당하는 상기 얼굴특징점의 중심에 있는 얼굴특징점을 제외한 얼굴의 좌측영역 및 우측영역의 1 이상의 상기 얼굴특징점이 짝을 이루는, 얼굴의 비대칭 특성정보를 도출하는 방법.

청구항 1에 있어서,
상기 얼굴대칭선도출단계는,
각각의 얼굴부위의 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 안면중심점을 도출하는 단계; 및
상기 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출하는 단계;를 포함하는, 얼굴의 비대칭 특성정보를 도출하는 방법.

청구항 3에 있어서,
상기 얼굴대칭선도출단계가 도출하는 상기 안면중심점은,
눈썹에 해당하는 2 이상의 얼굴특징점의 평균좌표값에 기초하여 도출되는 양측눈썹의중심점;
눈에 해당하는 2 이상의 얼굴특징점의 평균좌표값에 기초하여 도출되는 양측눈의중심점;
입에 해당하는 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 도출되는 입의중심점; 및
얼굴윤곽의 일부에 해당하는 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 도출되는 턱의중심점;을 포함하는, 얼굴의 비대칭 특성정보를 도출하는 방법.

청구항 1에 있어서,
상기 비대칭특성판별지표는,
얼굴기울기, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상을 포함하는, 얼굴의 비대칭 특성정보를 도출하는 방법.

청구항 1에 있어서,
상기 비대칭특성판별지표도출단계는,
상기 얼굴대칭선의 기울기에 기초하여 얼굴기울기를 도출하는 단계;
상기 얼굴이미지의 상기 얼굴대칭선이 수직인 상태로 회전시킨 얼굴회전이미지에 기초하여 보정된 얼굴특징점을 도출하는 단계;
상기 보정된 얼굴특징점에 기초하여 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 단계;를 포함하는, 얼굴의 비대칭 특성정보를 도출하는 방법.

청구항 1에 있어서,
상기 얼굴비대칭특성정보도출단계는,
상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지, 상기 1 이상의 비대칭특성판별지표 중 1 이상을 포함하는 특성정보를 도출하는, 얼굴의 비대칭 특성정보를 도출하는 방법.

1 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 얼굴의 비대칭 특성정보를 도출하는 시스템으로서,
얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출부;
상기 1 이상의 얼굴특징점에 기초하여 얼굴대칭선을 도출하는 얼굴대칭선도출부;
상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 비대칭 특성을 판별할 수 있는 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 비대칭특성판별지표도출부; 및
1 이상의 상기 비대칭특성판별지표에 기초하여 특성정보를 도출하는 얼굴비대칭특성정보도출부;를 포함하는, 얼굴의 비대칭 특성정보를 도출하는 시스템.

1 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 얼굴의 비대칭 특성정보를 기반으로 사시환자를 분류하는 방법으로서,
얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출단계;
1 이상의 상기 얼굴특징점에 기초하여 얼굴대칭선을 도출하는, 얼굴대칭선도출단계;
상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 비대칭 특성을 판별할 수 있는 1 이상의 비대칭특성판별지표에 대한 값을 도출하는 비대칭특성판별지표도출단계; 및
1 이상의 상기 비대칭특성판별지표에 기초하여 사시환자특성정보를 도출하는 사시환자특성정보도출단계;를 포함하는, 얼굴의 비대칭 특성정보를 기반으로 사시환자를 분류하는 방법.

Images