KR20160127296A

KR20160127296A - 사상 체질 판별을 위한 얼굴 영상 분석 방법

Info

Publication number: KR20160127296A
Application number: KR1020150058331A
Authority: KR
Inventors: 정정일; 이혜림; 윤홍찬; 서영석; 김민규
Original assignee: 주식회사 피씨티
Priority date: 2015-04-24
Filing date: 2015-04-24
Publication date: 2016-11-03
Also published as: KR101750107B1

Abstract

본 발명은 주관적인 판단 대신 객관적인 사상 체질 판별을 위한 얼굴 영상 분석 방법에 관한 것이다. 사상체질 판별 모델 학습과정에서는 표본 영상에 대해 ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점을 추출하고 정규화하여 사상체질 판별을 위해 정의한 특징값을 구한 뒤 SVM(Support Vector Machine)의 결정경계를 도출한다. 인식과정에서는 새로운 얼굴 영상에 대해 ASM을 이용한 특징을 추출하고 얼굴을 정규화한 뒤 특징값을 구하여, 학습과정에서 생성된 SVM 분류기를 이용해 최종 사상체질 결과를 도출한다. 본 방법은 성능평가를 통해 평규 92%의 인식률로 인식됨을 확인할 수 있었다.

Description

사상 체질 판별을 위한 얼굴 영상 분석 방법{Face image analysis method for sasang constituition diagnosis}

본 발명은 사상 체질 판별을 위한 얼굴 영상 분석 방법에 관한 것으로, 보다 상세하게는 태양인, 태음인, 소양인. 소음인으로 분류되는 사상체질 판별 모델 학습과정에서는 표본 영상에 대해 ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점을 추출하고 정규화하여 사상체질 판별을 위해 정의한 특징값을 구한 뒤 SVM(Support Vector Machine)의 결정경계를 도출하며, 인식과정에서는 새로운 얼굴 영상에 대해 ASM을 이용한 얼굴 영상의 특징점을 추출하고 기준 영상의 눈을 기준으로 얼굴 특징점을 정규화한(기준 영상의 눈을 기준으로 눈이 좌우로 기울어지지 않도록 각도를 회전후, 스케일을 조절) 뒤 특징값을 구하여 학습과정에서 생성된 SVM 분류기를 이용해 최종 사상체질 결과를 도출하는, 사상 체질 판별을 위한 얼굴 영상 분석 방법에 관한 것이다.

사상의학에서는 사람을 4가지 체질로 구분하며 각 특성에 따라 특별한 건강 정보와 치료 방법을 달리한다. 4가지 체질에는 태양인, 태음인, 소양인. 소음인이 있으며 이러한 체질을 기준으로 한의사는 사람의 체질을 먼저 판별한 후 병을 진단하며 각 체질에 따른 처방을 한다. 사상체질을 진단하기 위한 방법은 체형용모기상 같은 외모를 보는 방법과 내면적인 성격을 살피는 방법, 병의 특이한 증상과 약물 반응을 체크하는 방법 등이 있다.

이렇듯 사상의학은 체질에 따라 처방법이 달라지므로 체질진단의 정확도가 관건이라고 할 수 있다. 그러나 이를 활용하기 위해 사상이론에 대한 깊은 이해와 많은 임상 경험이 필요하기 때문에 실제로 사상의학을 임상에 바로 적용하기가 어렵다. 따라서 사상체질 진단의 객관화와 신뢰도를 높일 수 있는 방법이 필요하다.

얼굴은 사람의 인상을 구분하는데 가장 중요한 정보를 담고 있는 신체부분이지만 그러한 인식과정을 명쾌하게 설명하기는 어렵다. 사람들이 느끼는 얼굴의 인상은 순수한 감성적인 자극으로써 이러한 것을 정량적으로 분석하는 것이 얼굴 영상을 이용한 사상체질 분석 방법에서 해결해야 할 문제이다. 따라서 본 발명에서는 주관적인 판단 대신 객관적인 사상체질 판별을 위한 얼굴 영상 분석 방법에 대해 제안하고자 한다.

종래 기술의 문제점을 해결하기 위한 본 발명은 태양인, 태음인, 소양인. 소음인으로 분류되는 사상체질 판별 모델 학습과정에서는 표본 영상에 대해 ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점을 추출하고 정규화하여 사상체질 판별을 위해 정의한 특징값을 구한 뒤 SVM(Support Vector Machine)의 결정경계를 도출한다. 인식과정에서는 새로운 얼굴 영상에 대해 ASM을 이용한 얼굴 영상의 특징점을 추출하고 기준 영상의 눈을 기준으로 얼굴 특징점을 정규화한(기준 영상의 눈을 기준으로 눈이 좌우로 기울어지지 않도록 각도를 회전후, 스케일을 조절) 뒤 특징값을 구하여 학습과정에서 생성된 SVM 분류기를 이용해 최종 사상체질 결과를 도출하는, 주관적인 판단 대신 객관적인 사상 체질 판별을 위한 얼굴 영상 분석 방법을 제공하는데 그 목적이 있다.

본 발명의 목적을 달성하기 위해, 사상 체질 판별을 위한 얼굴 영상 분석 방법은 태양인, 태음인, 소양인. 소음인으로 분류되는 사상체질 판별 모델 학습을 위한 얼굴 영상 수집, ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점 추출, 얼굴 정규화, 및 SVM(Support Vector Machine) 분류기를 이용한 사상체질 판별 모델 생성 과정으로 이루어지는 사상체질 판별 모델 학습 단계; 및 얼굴 영상 입력, ASM을 이용한 얼굴 영상의 특징점 추출, 얼굴 정규화, 및 SVM을 이용한 사상체질 판별과정으로 이루어지는 사상체질 인식 단계;를 포함하며,

ASM 및 정규화과정을 거쳐 얻어진 정규화된 얼굴 특징점들을 이용하여 기 정의된 복수개의 사상체질 판별을 위한 특징값을 구하며, 상기 사상체질 판별 모델 학습과정에서 도출된 복수개의 SVM 결정경계를 사용하여 각 SVM에 대응되는 특징값들을 입력으로 하여 상기 SVM 분류기를 사용하여 총 복수개의 분류 결과를 도출하여 태양인/태음인/소양인/소음인 중 하나이며 복수개의 결과 중 최대값을 가지는 결과를 최종 사상체질로 판단하는 것을 특징으로 한다.

본 발명에 따른 주관적인 판단 대신 객관적인 사상 체질 판별을 위한 얼굴 영상 분석 방법은 태양인, 태음인, 소양인. 소음인으로 분류되는 사상체질 판별 모델 학습과정에서는 표본 영상에 대해 ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점을 추출하고 정규화하여 사상체질 판별을 위해 정의한 특징값을 구한 뒤 SVM(Support Vector Machine)의 결정경계를 도출한다. 인식과정에서는 새로운 얼굴 영상에 대해 ASM을 이용한 얼굴 영상의 특징점을 추출하고 기준 영상의 눈을 기준으로 얼굴 특징점을 정규화한(기준 영상의 눈을 기준으로 눈이 좌우로 기울어지지 않도록 각도를 회전후, 스케일을 조절) 뒤 특징값을 구하여 학습과정에서 생성된 SVM 분류기를 이용해 최종 사상체질 결과를 도출한다. 이 방법은 성능평가를 통해 평규 92%의 인식률로 인식됨을 확인할 수 있었다.

이상과 같은 본 발명의 해결하고자 하는 과제, 과제 해결 수단, 효과 외에 구체적인 사항들은 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 후술하는 실시예들을 참조하면 설명될 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 본 발명의 사상체질 판별을 위한 얼굴 영상 분석 방법을 나타낸 도면이다.
도 2는 사상체질 판별을 위한 얼굴 영상의 특징(비근폭비, 외안각폭비, 내안각폭비, 안폭비, 비익폭비, 구각간폭비 및 안최대폭비) 및 특징점 정의를 나타낸 도면이다.
도 3은 얼굴 영상에서 landmark의 예를 나타낸 화면이다.
도 4는 SVM(Support Vector Machine) 분류기의 개념을 나타낸 도면이다.
도 5는 SVM 분류기를 통한 최종 사상체질 결과 도출을 나타내는 도면이다.
도 6은 SVM을 사용한 특징점 추출 결과를 나타낸 화면이다.
도 7은 SVM 분류기의 결정경계를 나타낸 도면이다.
도 8은 사상체질 판별을 위한 얼굴 영상 분석 방법 인식률 측정 결과를 나타낸 도면이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.

도 1은 본 발명의 사상체질 판별을 위한 얼굴 영상 분석 방법을 나타낸 도면이다.

본 발명의 사상체질 판별을 위한 얼굴 영상 분석 방법은 사상체질 판별 모델 학습과 인식 과정으로 나뉘며, 도 1에 도시된 바와 같이, 학습은 사상체질 판별 모델 학습을 위한 얼굴 영상 수집, ASM을 이용한 얼굴 영상의 특징점 추출, 얼굴 정규화 및 SVM 분류기를 이용한 사상체질 판별 모델 생성 과정으로 이루어지며, 인식은 얼굴 영상 입력, ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점 추출, 얼굴 정규화 및 SVM(Support Vector Machine)을 이용한 사상체질 판별과정으로 진행된다.

본 발명의 사상 체질 판별을 위한 얼굴 영상 분석 방법은 태양인, 태음인, 소양인. 소음인으로 분류되는 사상체질 판별 모델 학습을 위한 얼굴 영상 수집, ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점 추출, 얼굴 정규화, 및 SVM(Support Vector Machine) 분류기를 이용한 사상체질 판별 모델 생성 과정으로 이루어지는 사상체질 판별 모델 학습 단계; 및 얼굴 영상 입력, ASM을 이용한 얼굴 영상의 특징점 추출, 얼굴 정규화, 및 SVM을 이용한 사상체질 판별과정으로 이루어지는 사상체질 인식 단계;를 포함하며,

I. 학습과정

(1) 사상체질 판별 모델 학습을 위한 얼굴 영상 수집 및 특징 정의

사상체질 판별을 위한 얼굴 영상 분석의 학습을 위하여 한방병원에 의해 미리 진단된 얼굴 영상의 표본(이하, '기준 영상'이라고 칭함)이 필요하며 이러한 표본들에서 추출된 특징값을 통해 사상체질 판별 모델을 생성할 수 있다. 특징값은 사상체질 판별을 위한 고유한 특징들의 집합이며 정면 얼굴 영상에서 추출할 수 있는 고유 특징은 도 2에 도시된 바와 같이 비근폭비, 외안각폭비, 내안각폭비, 안폭비, 비익폭비, 구각간폭비 및 안최대폭비로 정의할 수 있다.

도 2는 사상체질 판별을 위한 얼굴 영상의 특징(비근폭비, 외안각폭비, 내안각폭비, 안폭비, 비익폭비, 구각간폭비 및 안최대폭비) 및 특징점 정의를 나타낸 도면이다.

(2) ASM을 이용한 얼굴 영상의 특징점 추출

얼굴영상의 경우 눈, 코, 입 등 대략의 형태가 알려져 있으며 이러한 형태가 평균적인 형태에서 많이 벗어나지 않는다는 점을 특징으로 한다. ASM은 통계적인 모델을 이용하여 대상으로 하는 물체의 외형정보를 학습시켜 shape 모델을 생성하며, 이 정보를 바탕으로 물체의 평균 형태에 변형을 가하여 새로운 이미지 내에서 물체를 찾는 방법이다.

ASM을 이용한 학습을 위해 여러 각도 및 크기를 달리한 얼굴 학습 영상을 필요로 하며 도 2와 같이 각 학습 영상에서 얼굴 형태를 나타내는 특징점인 landmark를 지정한다. ASM의 학습과정인 shape 모델을 만드는 부분은 landmark를 학습 데이터로부터 얻어 각 landmark들의 통계적 특성을 구한다. 이러한 shape 모델은 식(1)처럼 표현된다. 도 3은 얼굴 영상에서 landmark의 예를 나타낸 화면이다.

식 (1)에서

는 평균 shape 벡터이고, P는 shape의 공분산에 대한 고유 벡터의 열로 구성된 행렬이며, b는 shape 파라미터를 원소로 하여 구성된 벡터이다. shape 모델을 이용하여 각 landmark들의 가변 정도를 파악할 수 있으며 어떤 새로운 영상에서 각 landmark에 해당되는 점들을 통계적 범위 내에서 찾아냄으로써 얼굴 형태에 대해 충분히 정확한 특징점을 추출할 수 있다.

(3) 얼굴 특징점 정규화

카메라를 통해 사용자가 촬영한 영상은 그 크기와 회전방향이 불규칙적이며, 불규칙적인 얼굴영상에서 추출된 특징점들을 통한 특징벡터들은 그 크기와 방향이 제각각이므로 기준 크기 및 방향으로 정규화 할 필요가 있다. 이러한 과정을 얼굴 정규화과정이라고 하며 두 동공의 중심점을 이용하여 두 동공 사이 중심점의 각도와 크기를 일정하게 맞추어 영상의 크기와 회전 변환을 실시한다.

식 (2)에서

,

는 각각 왼쪽, 오른쪽 동공 중심점이며, scale은 얼굴 특징점의 정규화 크기 비율, d는 왼쪽, 오른쪽 동공 중심점의 거리, standard value는 두 동공 중심점 사이의 간격을 일정하게 조정하기 위한 기준 값이다. 이렇게 구해진 각도

와

을 이용해 회전(rotate), 크기변환(zoom)을 통해 얼굴 특징점의 정규화를 한다. P(x,y)는 얼굴 영상의 특징점, Q(x,y)는 촬영된 얼굴 영상의 특징점 P(x,y)을 눈이 삐뚤어지지 않도록 구해진 각도

를 회전한 얼굴 영상의 특징점, 또는 회전후 기준 영상과 대비되도록 크기 변환을 통해 스케일이 조절된 얼굴 영상의 특징점이다.

얼굴 특징점의 정규화는 얼굴의 크기의 기준 영상에 대하여 눈을 기준으로 분이 촬영된 얼굴 영상의 눈이 삐뚤어지지 않도록 구해진 각도

를 회전하거나, 회전후 기준 영상과 대비되도록 크기 변환을 통해 스케일을 조절하는 것을 의미한다.

(4) SVM 분류기를 이용한 사상체질 판별 모델 생성

도 4는 SVM 분류기의 개념을 나타낸 도면이다.

이후, 정규화된 얼굴 영상의 특징점을 이용하여 도 4에서와 같이 총 7개의 특징값을 구한 뒤, 사상체질 판별을 위한 판별 모델을 만든다. SVM(Support Vector Machine)은 그림에서 보듯이 클래스 간 여백(margin)을 극대화 시키는 최적의 분류경계를 찾을 수 있는 분류기로 앞서 정의한 7개의 특징을 입력으로 하여 각 특징들에 대한 7개의 분류기를 만들고. 각 특징들에 대한 태양인/태음인/소양인/소음인 클래스의 결정경계를 도출한다.

II. 인식과정

(1) 얼굴 영상 입력

본 사상체질 판별을 위한 얼굴 영상 분석 방법은 RGB 카메라를 사용하여 촬영된 얼굴을 포함한 2차원 영상을 입력으로 한다.

(2) ASM을 이용한 특징점 추출

1. 학습 과정과 마찬가지로 ASM의 학습결과인 shape 모델을 이용하여 입력 얼굴 영상의 특징점을 추출한다.

(3) 얼굴 특징점 정규화

1. 학습과정과 마찬가치로 추출된 얼굴 영상의 특징점에 대해 두 동공 중심점의 크기와 각도가 일정하도록 얼굴 영상의 특징점을 정규화한다.

(4) SVM을 이용한 사상체질 판별

ASM 및 정규화과정을 거쳐 얻어진 정규화된 얼굴 영상의 특징점들을 이용해 앞서 정의한 7개의 사상체질 판별을 위한 특징값을 구한다. 그 다음 '1. 학습과정'에서 도출된 7개의 SVM 결정경계를 이용하며 각 SVM에 대응되는 특징값들을 입력으로 하여 총 7개의 분류 결과를 얻을 수 있다. 각 분류결과는 태양인/태음인/소양인/소음인 중 하나이며 7개의 결과 중 최대값을 가지는 결과를 최종 사상체질로 판단할 수 있다.

도 5는 SVM 분류기를 통한 최종 사상체질 결과 도출을 나타내는 도면이다.

III. 실험결과

본 사상체질 판별을 위한 얼굴 영상 분석 방법의 성능을 실험하기 위하여 먼저 표본데이터를 수집하였다. 사상체질 판별 모델 생성을 위한 표본 영상은 한방병원의 도움을 얻어 [표 1]과 같이 총 413개의 얼굴 영상 및 진단 결과를 얻었으며 학습과 평가를 위한 데이터를 분류하였다. 태양인의 경우 국내에서 태양인 체질이 극소수이기 때문에 DB에서 제외하였다. 표 1은 영상분석 기반 사상체질 분류 기술 인식률 측정 결과를 나타낸다.

사상체질 분류	전체 데이터	학습 데이터	평가 데이터
소음인	292	272	20
소양인	27	17	10
태음인	94	74	20
태양인	-	-	-
합 계	413	363	50

학습 및 테스트 영상에서 ASM을 통해 총 68개의 특징점을 추출하였고, 그 결과는 도 6과 같다.

도 6은 SVM을 사용한 특징점 추출 결과를 나타낸 화면이다.

추출된 얼굴 영상의 특징점의 정규화 과정을 거친 후 특징값을 입력으로 하여 도출한 각 특징별 SVM 분류기의 결정경계는 도 7과 같이 시각적으로 나타낼 수 있다.

도 7은 SVM 분류기의 결정경계를 나타낸 도면이다.

사상체질 판별을 위한 얼굴 영상 분석 방법의 성능평가는 학습이 완료된 후 생성된 SVM 분류기를 바탕으로 평가 데이터에 대해서 SVM 분류기를 적용한 인식결과를 도출하고, 해당 결과와 한의사 진단 결과를 비교하여 식 (3)과 같이 인식률을 측정하였다. [표 2]는 실험결과를 나타내며 평균 인식률은 92%로 산출되었다.

표2는 사상체질 판별을 위한 얼굴 영상 분석 방법 인식률 측정 결과를 나타낸다.

사상체질 분류	전체 데이터	학습 데이터	평가 데이터	결과
사상체질 분류	전체 데이터	학습 데이터	평가 데이터	정인식	오인식	인식률
소음인	292	272	20	18	2	90.00%
소양인	27	17	10	9	1	90.00%
태음인	94	74	20	19	1	95.00%
태양인	-	-	-	-	-	-
합 계	413	363	50	46	4	92.00%

도 8은 사상체질 판별을 위한 얼굴 영상 분석 방법 인식률 측정 결과를 나타낸 도면이다.

IV. 결론

본 발명은 주관적인 판단 대신 객관적인 사상체질 판별을 위한 얼굴 영상 분석 방법에 관한 것이다. 사상체질 판별 모델 학습과정에서는 표본 영상에 대해 ASM을 이용한 얼굴 영상의 특징점을 추출하고 정규화하여 사상체질 판별을 위해 정의한 특징값을 구한 뒤 SVM(Support Vector Machine)의 결정경계를 도출한다. 인식과정에서는 새로운 얼굴 영상에 대해 ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점을 추출하고 기준 영상의 눈을 기준으로 얼굴 특징점을 정규화한(기준 영상의 눈을 기준으로 눈이 좌우로 기울어지지 않도록 각도를 회전후, 스케일을 조절) 뒤 특징값을 구하여 학습과정에서 생성된 SVM 분류기를 이용해 최종 사상체질 결과를 도출한다. 이 방법은 성능평가를 통해 평규 92%의 인식률로 인식됨을 확인할 수 있었다.

전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.

이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.

Claims

태양인, 태음인, 소양인. 소음인으로 분류되는 사상체질 판별 모델 학습을 위한 얼굴 영상 수집, ASM(Active Shape Models)을 이용한 얼굴 영상의 특징점 추출, 얼굴 정규화, 및 SVM(Support Vector Machine) 분류기를 이용한 사상체질 판별 모델 생성 과정으로 이루어지는 사상체질 판별 모델 학습 단계; 및
얼굴 영상 입력, ASM을 이용한 얼굴 영상의 특징점 추출, 얼굴 정규화, 및 SVM을 이용한 사상체질 판별과정으로 이루어지는 사상체질 인식 단계;를 포함하며,
ASM 및 정규화과정을 거쳐 얻어진 정규화된 얼굴 특징점들을 이용하여 기 정의된 복수개의 사상체질 판별을 위한 특징값을 구하며, 상기 사상체질 판별 모델 학습과정에서 도출된 복수개의 SVM 결정경계를 사용하여 각 SVM에 대응되는 특징값들을 입력으로 하여 상기 SVM 분류기를 사용하여 총 복수개의 분류 결과를 도출하여 태양인/태음인/소양인/소음인 중 하나이며 복수개의 결과 중 최대값을 가지는 결과를 최종 사상체질로 판단하는 것을 특징으로 하는 사상 체질 판별을 위한 얼굴 영상 분석 방법.
제1항에 있어서,
상기 사상체질 판별 모델 학습을 위한 얼굴 영상 수집 및 특징 정의는
사상체질 판별을 위한 얼굴 영상 분석의 학습을 위해 한방병원에 의해 미리 진단된 얼굴 영상의 표본(이하, '기준 영상'이라고 칭함)이 필요하며 이러한 표본들에서 추출된 특징값을 통해 사상체질 판별 모델을 생성하고, 그 특징값은 사상체질 판별을 위한 고유한 특징들의 집합이며 정면 얼굴 영상에서 추출할 수 있는 고유 특징은 비근폭비, 외안각폭비, 내안각폭비, 안폭비, 비익폭비, 구각간폭비 및 안최대폭비로 정의되는 것을 특징으로 하는 사상 체질 판별을 위한 얼굴 영상 분석 방법.
제1항에 있어서,
상기 ASM을 이용한 얼굴 영상의 특징점 추출은
얼굴영상의 경우 눈, 코, 입 등 대략의 형태가 알려져 있으며 이러한 형태가 평균적인 형태에서 많이 벗어나지 않으므로, ASM은 통계적인 모델을 이용하여 대상으로 하는 물체의 외형정보를 학습시켜 shape 모델을 생성하며, 이 정보를 바탕으로 물체의 평균적인 형태에 변형을 가하여 새로운 이미지 내에서 물체를 찾는 방법을 사용하며, ASM을 이용한 학습을 위해 여러 각도 및 크기를 달리한 얼굴 학습 영상을 필요로 하며 ASM의 학습과정인 shape 모델을 만드는 부분은 각 학습 영상에서 얼굴 형태를 나타내는 특징점인 얼굴영상의 landmark를 지정하고, 학습 데이터로부터 얻어 각 landmark들의 통계적 특성을 구하며, 이러한 shape 모델은 -
- 식(1)처럼 표현되며,
식 (1)에서
는 평균 shape 벡터이고, P는 shape의 공분산에 대한 고유 벡터의 열로 구성된 행렬이며, b는 shape 파라미터를 원소로 하여 구성된 벡터이며, shape 모델을 이용하여 각 landmark들의 가변 정도를 파악할 수 있으며 어떤 새로운 얼굴 영상에서 각 landmark에 해당되는 점들을 통계적 범위 내에서 찾아냄으로써 얼굴 형태에 대하여 특징점을 추출하는 것을 특징으로 하는 사상 체질 판별을 위한 얼굴 영상 분석 방법.
제1항에 있어서,
상기 얼굴 특징점 정규화는
카메라를 통해 촬영된 얼굴 영상이 그 크기와 회전방향이 불규칙적이며, 불규칙적인 얼굴영상에서 추출된 특징점들을 통한 특징벡터들이 그 크기와 방향이 제각각이므로 기준 크기 및 방향으로 얼굴 영상의 정규화하기 위해 왼쪽, 오른쪽 눈의 두 동공의 중심점을 사용하여 식(2)를 사용하여 두 동공 사이 중심점의 각도와 크기를 일정하게 맞추어 영상의 크기와 회전 변환을 실시하며,
-
- 식(2)

,
는 각각 왼쪽, 오른쪽 동공 중심점이며, scale은 얼굴 특징점의 정규화 크기 비율, d는 왼쪽, 오른쪽 동공 중심점의 거리, standard value는 두 동공 중심점 사이의 간격을 일정하게 조정하기 위한 기준 값이고, P(x,y)는 얼굴 영상의 특징점, Q(x,y)는 촬영된 얼굴 영상의 특징점 P(x,y)을 눈이 삐뚤어지지 않도록 구해진 각도
를 회전한 얼굴 영상의 특징점, 또는 회전후 기준 영상과 대비되도록 크기 변환을 통해 스케일이 조절된 얼굴 영상의 특징점이며,
이렇게 구해진 각도
와
을 이용해 회전(rotate), 크기변환(zoom)을 통해 얼굴 특징점의 정규화는 얼굴의 크기의 기준 영상에 대하여 눈을 기준으로 분이 촬영된 얼굴 영상의 눈이 삐뚤어지지 않도록 구해진 각도
를 회전하거나, 회전후 기준 영상과 대비되도록 크기 변환을 통해 스케일을 조절하는 것을 특징으로 하는 사상 체질 판별을 위한 얼굴 영상 분석 방법.
제1항 또는 제4항에 있어서,
상기 SVM 분류기를 이용한 사상체질 판별 모델 생성은
정규화된 얼굴 영상의 특징점을 이용하여 총 7개의 특징값을 구한 뒤, 사상체질 판별을 위한 판별 모델을 만들며, SVM(Support Vector Machine)은 클래스 간 여백(margin)을 극대화 시키는 최적의 분류경계를 찾을 수 있는 기 정의된 7개의 특징을 입력으로 하여 각 특징들에 대한 7개의 분류기를 만들고 각 특징들에 대한 태양인/태음인/소양인/소음인 클래스의 결정경계를 도출하는 것을 특징으로 하는 사상 체질 판별을 위한 얼굴 영상 분석 방법.
제1항에 있어서,
상기 사상체질 인식 과정은
RGB 카메라를 사용하여 촬영된 얼굴을 포함한 2차원 영상을 입력하는 얼굴 영상 입력 단계;
상기 사상체질 판별 모델 학습 과정과 마찬가지로 ASM의 학습결과인 shape 모델을 이용하여 입력 얼굴 영상에 대한 특징점을 추출하는 ASM을 이용한 얼굴 영상의 특징점을 추출하는 단계;
상기 사상체질 판별 모델 학습 과정과 마찬가지로 추출된 얼굴 영상의 특징점에 대해 두 동공 중심점의 크기와 각도가 일정하도록 얼굴 영상의 특징점을 정규화하는 얼굴 특징점 정규화 단계; 및
ASM 및 정규화과정을 거쳐 얻어진 정규화된 얼굴 특징점들을 이용하여 기 정의된 7개의 사상체질 판별을 위한 특징값을 구하며, 그 다음 상기 사상체질 판별 모델 학습과정에서 도출된 7개의 SVM 결정경계를 사용하여 각 SVM에 대응되는 특징값들을 입력으로 하여 총 7개의 분류 결과를 도출하고, 각 분류결과는 태양인/태음인/소양인/소음인 중 하나이며 7개의 결과 중 최대값을 가지는 결과를 최종 사상체질로 판단하는 SVM을 이용한 사상체질 판별 단계;
포함하는 사상 체질 판별을 위한 얼굴 영상 분석 방법.