전술한 목적으로 달성하기 위한 본 발명의 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법은 건강서비스 제공업체가 사용자 단말기와 유/무선 통신망을 통해 연결된 상태에서 상기 건강서비스 제공업체에 의해 수행되되, 사용자 단말기로부터 얼굴 영상을 전달받는 (a) 단계; 상기 (a) 단계에서 전달받은 얼굴 영상에서 잡음제거 및 이미지 평활화를 수행하는 (b) 단계; 상기 (b) 단계에서 이미지 평활된 RGB 색상 공간의 영상을 TSL 색상 공간의 영상으로 변환하는 (c) 단계; 상기 (c) 단계에서 변환된 영상에서 마할라노비스 거리를 사용하여 얼굴 영역을 추출하는 (d) 단계 및 상기 (d) 단계에서 추출된 얼굴 영역에서 각각의 특징 요소들을 추출한 후에 각 특징 요소들 간의 폭과 그 비례 관계를 계산하는 (e) 단계를 포함하여 이루어진다.
전술한 구성에서, 상기 (e) 단계에서 계산된 비례 관계를 인공 신경망 알고리즘으로 처리하여 당해 사용자에 대한 사상체질을 판별하는 (f) 단계를 더 포함하는 것이 바람직하다.
한편, 상기 특징 요소는 비근폭, 내안각폭, 안최대폭, 구각간폭, 외안각폭, 비익폭 또는 안폭 중의 어느 하나 이상이고, 상기 비례 관계는 상기 각각의 폭 대 인중 폭일 수 있다.
상기 (f) 단계에서 판별된 사상체질에 적합한 건강정보를 사용자에게 제공하는 (g) 단계를 더 포함할 수 있다.
또한, 상기한 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법을 수행 하기 위한 장치는, 이동통신망이나 인터넷망을 통해서 사진을 전송할 수 있는 기능이 구비된 이동통신 단말기나 퍼스널 컴퓨터와 유무선으로 연결된 건강서비스 제공 서버에 있어서,
상기 건강서비스 제공 서버는, 상기 퍼스널 컴퓨터와의 사이에서 각종 웹 문서의 처리를 담당하는 웹서버, 상기 이동통신 단말기와의 사이에서 각종 왑 문서의 처리를 담당하는 왑서버, 각종 데이터를 조회하는 데이터 서버, 원격지의 이동통신 단말기 또는 퍼스널 컴퓨터로부터 전달받은 사용자의 얼굴 사진에 대한 영상인식을 수행하여 얼굴의 특징 요소들을 추출하고, 추출된 얼굴 특징 간의 각종 비례 관계를 계산하는 영상인식 모듈, 상기 영상인식 모듈에 의해 계산된 얼굴 특징 요소들 간의 각종 비례 관계 데이터를 인공 신경망 알고리즘으로 처리하여 가장 적합한 사상체질을 판별하는 인공신경망 모듈 및 필요한 각종 데이터를 수록하고 있는 데이터베이스를 포함하여 구성된다.
본 발명에 있어서, 상기 데이터베이스는 회원에 대한 각종 정보, 예를 들어 회원 ID와 비밀번호, 성별, 나이, 주소 및 전화번호 등이 수록되어 있는 회원정보 DB, 사용자로부터 제공받은 얼굴 영상에 대한 원본 이미지를 저장하고 있는 얼굴 영상 DB, 사용자의 사상체질과 관련한 각종 데이터, 즉 당해 사용자의 얼굴 특징요소들의 폭과 그 비례 관계 및 이에 의해 판별된 사상체질 정보 등이 저장되어 있는 사상체질 DB 및 사상체질에 따른 각종 건강 정보, 즉 각 체질에 적합한 식품과 약재 또는 처방이 수록되어 있는 건강정보 DB를 포함하여 이루어진다.
이하에는 첨부한 도면을 참조하여, 본 발명의 영상인식을 통한 얼굴 특징 추 출과 사상체질 판별 방법 및 장치의 바람직한 실시 예에 대해 상세하게 설명한다.
도 1은 본 발명의 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법이 구현되는 네트워크 구성도이다. 도 1에 도시한 바와 같이, 본 발명의 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법이 구현되는 네트워크 구성은 크게 사용자의 이동통신 단말기(100)나 퍼스널 컴퓨터(150)(이하 이를 총칭하여 '사용자 단말기'라 한다)가 이동통신망(200)이나 인터넷(250)과 같은 유/무선 통신망을 통해 건강서비스 제공업체 또는 건강서비스 제공 서버(300)에 연결되어 이루어질 수 있다.
전술한 구성에서, 이동통신 단말기(100)는 무선 인터넷, 즉 건강서비스 제공 서버(300)에 사진을 전송할 수 있는 기능이 구비된 휴대 전화기가 될 수 있고, 더욱이 디지털 카메라가 부착되어 있어서 사진 촬영 기능이 있는 휴대 전화기로 되는 것이 바람직하다. 물론, 이러한 이동통신 단말기(100)는 휴대 인터넷 기능이 있는 와이브로(WiBro) 단말기가 될 수도 있다. 퍼스널 컴퓨터(150) 역시 인터넷 기능, 즉 건강서비스 제공 서버(300)에 사진을 전송할 수 있는 것이면 어느 것이라도 무방하다.
한편, 건강서비스 제공 서버(300)는 퍼스널 컴퓨터(150)와의 사이에서 각종 웹(Web) 문서의 처리를 담당하는 웹서버(310), 이동통신 단말기(100)와의 사이에서 각종 왑(WAP) 문서의 처리를 담당하는 왑서버(320), 후술하는 데이터베이스를 관리하고 이로부터 각종 데이터를 조회하는 데이터 서버(330), 원격지의 이동통신 단말기(100) 또는 퍼스널 컴퓨터(340)로부터 전달받은 사용자의 얼굴 사진에 대한 영상 인식을 수행하여 얼굴의 특징 요소들을 추출하고, 추출된 얼굴 특징 간의 각종 비례 관계를 계산하는 영상인식 모듈(340), 영상인식 모듈(340)에 의해 계산된 얼굴 특징 요소들 간의 각종 비례 관계 데이터를 인공 신경망 알고리즘으로 처리하여 가장 적합한 사상체질을 판별하는 인공신경망 모듈(350) 및 필요한 각종 데이터를 수록하고 있는 데이터베이스(360)를 포함하여 이루어질 수 있다.
상기 데이터베이스(360)에는 회원에 대한 각종 정보, 예를 들어 회원 ID와 비밀번호, 성별, 나이, 주소 및 전화번호 등이 수록되어 있는 회원정보 DB(362), 사용자로부터 제공받은 얼굴 영상에 대한 원본 이미지를 저장하고 있는 얼굴 영상 DB(364), 사용자의 사상체질과 관련한 각종 데이터, 즉 당해 사용자의 얼굴 특징요소들의 폭과 그 비례 관계 및 이에 의해 판별된 사상체질 정보 등이 저장되어 있는 사상체질 DB(366) 및 사상체질에 따른 각종 건강 정보, 즉 각 체질에 적합한 식품과 약재 또는 처방이 수록되어 있는 건강정보 DB(368)를 포함하여 이루어질 수 있다.
도 2는 본 발명의 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법을 설명하기 위한 흐름도인바, 건강서비스 제공업체 또는 건강서비스 제공 서버(300)에 의해 수행되는 것이다. 도 2에 도시한 바와 같이, 먼저 단계 S10에서 건강서비스 제공업체(300)는 웹서버(310) 또는 왑서버(320)를 통해 사용자로부터 얼굴 영상을 전송받아 얼굴 영상 DB(364)에 저장한다. 다음으로, 건강서비스 제공업체(300)의 영상인식 모듈(340)은 단계 S20에서 이렇게 전송받은 사용자의 얼굴 영상에 대한 전처리, 구체적으로 잡음 제거 및 이미지 평활화를 수행한다.
다음으로, 단계 S30에서는 얼굴 영역을 더욱 정확하게 추출하기 위해 색상 변환을 수행, 즉 사용자로부터 전달받은 RGB(Red, Green, Yellow)의 색상 공간을 TSL(Tint, Saturation, Lightness) 색상 공간으로 변환하는데, 이러한 TSL 색상 공간에서 TL 평면은 색상 분포와 조명의 영향에 강한 장점을 가진다. 이와 같이 본 발명에서는 TSL 색상 공간을 사용하고 있는바, RGB 색상 공간을 TSL 색상 공간으로 변화하는 식은 아래의 수학식 1과 같다.
위의 수학식 1에서
다음으로, 단계 S40에서는 얼굴 영역이 사진의 중심에 있다고 가정한 상태에서 중심 픽셀의 색상을 이용하여 아래의 수학식 2에서와 같이 마할라노비스 거리에 의해 얼굴 영역을 추출한다.
위의 수학식 2에서, X는 입력 영상이고, K는 측면 영상에서의 얼굴 영역이고, Ck는 K의 공분산이고 mk는 T와 S 색상에 대한 반응값이다. 한편, 마할라노비스(Mahalanobis) 거리는 군집분석에서 가장 많이 사용되는 거리개념으로서, 두 지점의 단순한 거리뿐만이 아니라 변수의 특성을 나타내는 표준편차와 상관계수가 함께 고려된다는 특징이 있다. 군집분석을 하는 경우, 대부분 군집분석을 하기 전에 모든 변수들을 평균이 0이고 분산이 1인 변환된 변수로 표준화시킨다. 마할라노비스 거리는 변수들 사이의 표준편차와 상관관계를 고려하여 만들어진 거리로서, 만일 모든 변수가 표준화되어 있고 모든 변수들이 서로 독립적인 관계에 있다면, 마할라노비스 거리는 유클리디안 거리(Euclidean distance)와 일치하게 된다.
이와 같이 얼굴 영역이 추출되면, 단계 S50에서는 형태 처리의 열림 연산과 닫힘 연산을 이용하여 작은 영역을 제거하고, 다시 레이블링(Labelling)을 이용하여 배경 영역을 제거한 후에 각 특징의 위치 관계를 이용하여, 눈썹, 눈, 코, 입술 및 얼굴 윤곽 등의 각종 특징 요소들을 추출한다. 여기에서, 형태 처리(Morphological processing)라 함은 영상의 기본적인 특징을 유지하면서 형태에 변화를 주는 것을 의미하는데, 기본적으로 침식(Erosion)과 팽창(Dialation)이 있고, 이 둘을 이용한 Opening(열림)과 Closing(닫힘) 연산이 있다.
다음으로, 단계 S60에서는 이렇게 추출된 특징 요소들 간의 거리(폭)와 그 비례 관계를 계산한다.
도 3은 본 발명의 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법에서 얼굴의 각종 특징 요소들의 거리(폭)를 설명하기 위한 도이다. 도 3에 도시한 바와 같이, 본 발명의 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법에서는 비근폭(c), 내안각폭(b), 안최대폭(g), 구각간폭(f), 외안각폭(a), 비익폭(d) 및 안폭 등을 인중의 폭(e)으로 나눈 비례 관계가 사용되고 있다. 즉, 사상체질의 판별을 위해 얼굴 특징 요소들 중에서 인중 폭을 기준으로 한 비근폭비, 내안각폭비, 안최대폭비, 구각간폭비, 외안각폭비, 비익폭비 및 안폭비를 이용한다. 먼저, 비근폭(鼻根幅), 즉 코의 뿌리에 대한 인중 폭 비를 나타내는 비근폭비(x1 = c/e*100)에 의한 사상체질 판별 기준은 아래의 표 1과 같다.
구간 |
체질 |
x1 <= 139.7 |
소양인 |
139.7 <= x1 < 155.32 |
소음인, 소양인 |
155.32 <= x1 < 156.12 |
소양인 |
156.12 <= x1 < 156.76 |
소양인, 태음인 |
x1 > 156.76 |
태음인 |
다음으로, 내안각폭(內眼角幅), 즉 눈의 안쪽 사이의 폭에 대한 인중 폭 비를 나타내는 내안각폭비(x2 = b/e*100)에 의한 사상체질 판별 기준은 아래의 표 2와 같다.
구간 |
체질 |
x2 <= 291.83 |
소음인 |
291.83 <= x2 < 315.53 |
소음인, 소양인 |
315.53 <= x2 < 322.11 |
소양인 |
322.11 <= x2 < 326.30 |
소양인, 태음인 |
x2 > 326.30 |
태음인 |
다음으로, 안최대폭(顔最大幅), 즉 얼굴 폭에 대한 인중 폭 비를 나타내는 안최대폭비(x3 = g/e*100)에 의한 사상체질 판별 기준은 아래의 표 3과 같다.
구간 |
체질 |
x3 <= 1181.31 |
소음인 |
1181.31 <= x3 < 1247.40 |
소음인, 소양인 |
1247.40 <= x3 < 1276.94 |
소양인 |
1276.94 <= x3 < 1314.25 |
소양인, 태음인 |
x3 > 1314.25 |
태음인 |
다음으로 구각간폭(口角間幅), 즉 입의 폭에 대한 인증 폭 비를 나타내는 구각간폭비(x4 = f/e*100)에 의한 사상체질 판별 기준은 아래의 표 4와 같다.
구간 |
체질 |
x4 <= 403.17 |
소음인 |
403.17 <= x4 < 415.27 |
소음인, 소양인 |
415.27 <= x4 < 435.09 |
소양인 |
435.09 <= x4 < 444.70 |
소양인, 태음인 |
x4 > 444.70 |
태음인 |
다음으로 외안각폭(外眼角幅), 즉 두 눈의 외측 폭에 대한 인증 폭 비를 나타내는 외안각폭비(x5 = a/e*100)에 의한 사상체질 판별 기준은 아래의 표 5와 같다.
구간 |
체질 |
x5 <= 731.94 |
소음인 |
31.94 <= x5 < 776.13 |
소음인, 소양인 |
776.13 <= x5 < 789.04 |
소양인 |
789.04 <= x5 < 814.97 |
소양인, 태음인 |
x >814.97 |
태음인 |
다음으로 비익폭(卑翼幅), 즉 코 날개 폭에 대한 인증 폭 비를 나타내는 비익폭비(x6 = d/e*100)에 의한 사상체질 판별 기준은 아래의 표 6과 같다.
구간 |
체질 |
x6 <= 318.87 |
소음인 |
318.87 <= x6 < 331.61 |
소음인, 소양인 |
331.61 <= x6 < 347.52 |
소양인 |
347.52 <= x6 < 356.21 |
소양인, 태음인 |
x6 > 356.21 |
태음인 |
마지막으로, 안폭(眼幅)에 대한 인증 폭 비를 나타내는 안폭비(x7 = a - b/e * 100)에 의한 사상체질 판별 기준은 아래의 표 7과 같다.
구간 |
체질 |
x7 <= 438.18 |
소음인 |
438.18 <= x7 < 462.28 |
소음인, 소양인 |
462.28 <= x7 < 464.31 |
소양인 |
464.31 <= x7 < 490.62 |
소양인, 태음인 |
x7 > 490.62 |
태음인 |
다시 도 2로 되돌아가서, 단계 S70에서는 얼굴 특징 요소들간의 비례를 계산한 결과를 인공 신경망(Artificial Neural Network) 모듈(350)에 입력하여 최종적으로 사상체질을 판별한다. 이러한 인공 신경망 알고리즘은 생물의 신경전달 과정을 단순화하고, 이를 수학적으로 해석한 모델로써, 복잡하게 얽혀있는 뉴런(neuron-신경세포 : 신경망에서는 네트워크를 이루는 최소단위)을 통과시켜가면서 뉴런끼리의 연결강도를 조절하는 일종의 학습(training)과정을 통해 문제를 분석한다. 이러한 과정은 사람이 학습하고 기억하는 과정과 비슷하며, 이를 통해 추론, 분류, 예측 등을 수행할 수 있다. 현재 인공 신경망은 최적화 문제나 예측문제 등에 많이 쓰이고 있다.
마지막으로 단계 S80에서는 이렇게 판별된 사상체질에 의거하여 당해 사용자에 적합한 건강 정보 처방 등의 다양한 건강 정보를 사용자에게 제공한다.
본 발명의 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법은 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다.