KR101779840B1 - 미소 검출 기반 얼굴 분석 장치 및 방법 - Google Patents

미소 검출 기반 얼굴 분석 장치 및 방법 Download PDF

Info

Publication number
KR101779840B1
KR101779840B1 KR1020160158468A KR20160158468A KR101779840B1 KR 101779840 B1 KR101779840 B1 KR 101779840B1 KR 1020160158468 A KR1020160158468 A KR 1020160158468A KR 20160158468 A KR20160158468 A KR 20160158468A KR 101779840 B1 KR101779840 B1 KR 101779840B1
Authority
KR
South Korea
Prior art keywords
face
region
micro
lip
user
Prior art date
Application number
KR1020160158468A
Other languages
English (en)
Inventor
최병관
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020160158468A priority Critical patent/KR101779840B1/ko
Application granted granted Critical
Publication of KR101779840B1 publication Critical patent/KR101779840B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00302—
    • G06K9/00281—
    • G06K9/6209—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

미소 검출 기반 얼굴 분석 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 장치는 사용자의 얼굴을 촬영하여 얼굴 영상 데이터를 생성하는 영상 촬영부; 상기 얼굴 영상 데이터를 능동 형태 모델(Active Appearance Model, AAM) 알고리즘에 기반하여 학습하는 학습부; 상기 얼굴 영상 데이터에서 상기 사용자의 입술 영역 및 치아 영역을 검출하는 특징 검출부 및 상기 입술 영역과 치아 영역을 분석하여 상기 사용자의 미소 정보를 생성하는 영상 분석부를 포함한다.

Description

미소 검출 기반 얼굴 분석 장치 및 방법 {APPARATUS AND METHOD FOR ANALYZING FACE BASED ON SMILE DETECTION}
본 발명은 디지털 영상 기술에 관한 것으로, 보다 상세하게는 객체 인식 기술을 통한 얼굴 분석 기술에 관한 것이다.
디지털 영상 기술은 멀티미디어 산업의 한계를 넘어 첨단 IT 융, 복합 산업으로 발전하고 있으며, 특히 얼굴 객체인식 분야에 있어 스마트폰과 연계된 각종 Application 기술 개발들이 활발히 연구되고 있다.
이에 대한, 다면적 영상기술은 정보통신, 방송, 의료, 영화, 게임, 애니메이션 등과 같은 기존의 모든 산업 제품개발에 광범위하게 응용되는 핵심기술로 폭 넓게 자리잡고 있으며, 최근에는 3D 응용기술을 통한 정보기술이 기존 산업과 융합되면서 새로운 패러다임을 창출하는 신(新)성장 동력산업으로 급 부상하고 있다.
특히, 사람의 얼굴인지를 통한 얼굴인식 기술이 활발히 연구되면서 객체인식 기술을 통하여 지능형 영상검출 인식기술로 진화되고, 양안시차 원리를 통한 사람의 인지, 정보 체계에서 3D 영상 인식기법을 적용한 인식처리 기술로 발전하여 IP 카메라에 적용되는 얼굴 인식을 통한 3D영상 객체인식 기술이 활발히 연구되고 있다.
그러나, 아직까지 다양한 기법이 제시되고 있지만, 얼굴 인식 및 얼굴 분석에 대한 정확도를 향상시키는데 한계가 있다.
한편, 한국공개특허 제 10-1198322 호“ 얼굴 표정 인식 방법 및 시스템”는 AAM(Active Appearance Model) 영상에 DoG(Difference of Gaussian) 커널을 적용하여 세밀한 영역의 가시성을 증진시키고 노이즈를 감소시켜 중요정보를 유지하는 것으로 얼굴 표정을 정확하게 인식하는 방법 및 시스템에 관하여 개시하고 있다.
본 발명은 사용자를 촬영한 얼굴 영상에서 미소 및 입술 라인을 검출하여 사용자의 얼굴을 분석하는 것을 목적으로 한다.
또한, 본 발명은 AAM(Active Appearance Model) 알고리즘을 이용한 최적의 얼굴 인식 측정 방안을 제공하는 것을 목적으로 한다.
또한, 본 발명은 인식된 얼굴 모델을 분석하여 미소 분석 결과 및 미소 평가 결과를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 장치는 사용자의 얼굴을 촬영하여 얼굴 영상 데이터를 생성하는 영상 촬영부; 상기 얼굴 영상 데이터를 능동 형태 모델(Active Appearance Model, AAM) 알고리즘에 기반하여 학습하는 학습부; 상기 얼굴 영상 데이터에서 상기 사용자의 입술 영역 및 치아 영역을 검출하는 특징 검출부 및 상기 입술 영역과 치아 영역을 분석하여 상기 사용자의 미소 정보를 생성하는 영상 분석부를 포함한다.
이 때, 상기 미소 검출 기반 영상 분석 장치는 상기 미소 정보를 평가하여 미소 평가 결과를 출력하는 미소 평가부를 더 포함할 수 있다.
이 때, 상기 학습부는 상기 얼굴 영상 데이터에 기설정된 개수의 랜드마크(Landmark)를 얼굴 윤곽, 우측 눈썹, 좌측 눈썹, 좌측눈, 우측눈, 코, 입, 입술 중 적어도 하나의 부위에 상응하는 좌표에 상기 랜드마크를 생성할 수 있다.
이 때, 상기 학습부는 상기 랜드마크가 생성된 얼굴 영상 데이터의 얼굴 표정 변화에 상응하는 랜드마크 좌표 정보를 포함하는 표정 학습 데이터를 생성할 수 있다.
이 때, 상기 학습부는 상기 표정 학습 데이터와 상기 AAM 알고리즘을 이용한 형태 모델 학습을 통해 능동 형태 모델을 생성할 수 있다.
이 때, 상기 특징 검출부는 상기 얼굴 영상 데이터에서 상기 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영역을 검출할 수 있다.
이 때, 상기 특징 검출부는 상기 검출된 얼굴 영역에서 상기 AAM 알고리즘을 이용하여 상기 얼굴 윤곽, 우측 눈썹, 좌측 눈썹, 좌측눈, 우측눈, 코, 입, 입술 중 적어도 하나의 부위에 상응하는 얼굴의 특징을 검출할 수 있다.
이 때, 상기 특징 검출부는 상기 검출된 얼굴의 특징에서 입술 영역을 검출하고, 검출된 입술 영역에서 치아 영역을 검출할 수 있다.
이 때, 상기 특징 검출부는 상기 검출된 치아 영역의 상악 치아들 중 기설정된 개수의 개별 치아들을 결정하여 개별 치아 영역을 검출할 수 있다.
이 때, 상기 영상 분석부는 상기 입술 영역의 입술 라인과 상기 치아 영역간의 노출 관계를 이용하여 상기 사용자의 미소 정도를 분석한 상기 미소 정보를 생성할 수 있다.
이 때, 상기 영상 분석부는 상기 입술 영역의 형태 및 상기 상악 치아의 검출 개수에 기반하여 상기 사용자의 미소 정도를 분석할 수 있다.
이 때, 상기 영상 분석부는 상기 입술 영역의 윗 입술 경계 라인과 상기 개별 치아 영역의 중심 치아 사이의 화소수를 기설정된 값과 비교하여 상기 미소 정도를 분석할 수 있다.
이 때, 상기 영상 분석부는 상기 중심 치아가 노출되는 너비와 높이를 비교하여 상기 미소 정도를 분석할 수 있다.
이 때, 상기 영상 분석부는 상기 윗 입술 경계 라인과 상기 중심 치아 사이의 화소수가 기설정된 값 미만이고, 상기 중심 치아가 노출되는 너비가 높이보다 큰 경우, 양 입술의 끝점이 올라간 정도에 기반하여 상기 미소 정도를 분석할 수 있다.
이 때, 상기 영상 분석부는 상기 윗 입술 경계 라인과 상기 중심 치아 사이의 화소수가 기설정된 값 이상이고, 상기 양 입술의 끝점이 올라가 있는 경우, 상기 상악 치아들의 절단 면과 상기 입술 영역의 아래 입술 경계라인이 평행한 정도에 기반하여 상기 미소 정도를 분석할 수 있다.
상기 미소 평가부는 상기 미소 평가 결과에 기반하여 미소 점수를 향상시키기 위한 미소 훈련 정보를 출력할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 방법은 미소 검출 기반 영상 분석 장치를 이용하는 방법에 있어서, 사용자의 얼굴을 촬영하여 얼굴 영상 데이터를 생성하는 단계; 상기 얼굴 영상 데이터를 능동 형태 모델(Active Appearance Model, AAM) 알고리즘에 기반하여 학습하는 단계; 상기 얼굴 영상 데이터에서 상기 사용자의 입술 영역 및 치아 영역을 검출하는 단계 및 상기 입술 영역과 치아 영역을 분석하여 상기 사용자의 미소 정보를 생성하는 단계를 포함한다.
본 발명은 사용자를 촬영한 얼굴 영상에서 미소 및 입술 라인을 검출하여 사용자의 얼굴을 분석할 수 있다.
또한, 본 발명은 AAM(Active Appearance Model) 알고리즘을 이용한 최적의 얼굴 인식 측정 방안을 제공할 수 있다.
또한, 본 발명은 인식된 얼굴 모델을 분석하여 미소 분석 결과 및 미소 평가 결과를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 장치를 나타낸 블록도 이다.
도 2는 본 발명의 일실시예에 따른 얼굴 모델링을 나타낸 도면이다
도 3은 본 발명의 일실시예에 따른 입술 표정을 검출한 영상을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 치아 영역을 검출한 영상을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 미소 검출 평가 기준을 나타낸 표이다.
도 6 내지 도 8은 본 발명의 일실시예에 따른 치아 검출 평가 기준을 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 미소 평점 비교 결과를 나타낸 그래프이다.
도 10 및 도 11은 본 발명의 일실시예에 따른 다면적 얼굴 분석 과정을 나타낸 도면이다.
도 12는 본 발명의 일실시예에 따른 미소 평가 시스템을 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 방법을 나타낸 동작흐름도이다.
도 14는 도 13에 도시된 특징 검출 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 15는 본 발명의 일실시예에 따른 얼굴 학습 방법을 나타낸 동작흐름도이다.
도 16은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 장치를 나타낸 블록도 이다. 도 2는 본 발명의 일실시예에 따른 얼굴 모델링을 나타낸 도면이다. 도 3은 본 발명의 일실시예에 따른 입술 표정을 검출한 영상을 나타낸 도면이다. 도 4는 본 발명의 일실시예에 따른 치아 영역을 검출한 영상을 나타낸 도면이다. 도 5는 본 발명의 일실시예에 따른 미소 검출 평가 기준을 나타낸 표이다. 도 6 내지 도 8은 본 발명의 일실시예에 따른 치아 검출 평가 기준을 나타낸 도면이다. 도 9는 본 발명의 일실시예에 따른 미소 평점 비교 결과를 나타낸 그래프이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 장치는 영상 촬영부(110), 특징 검출부(120), 영상 분석부(130), 학습부(140) 및 미소 평가부(150)을 포함한다.
영상 촬영부(110)는 사용자의 얼굴을 촬영하여 얼굴 영상 데이터를 생성할 수 있다.
특징 검출부(120)는 다면적 얼굴 모델링을 기초로 AAM(Active Appearance Model)알고리즘 SPFACS 얼굴표정 분석 패턴기법을 적용하여 영상 촬영부(110)로부터 얼굴 영상 데이터를 입력 받아 얼굴의 특징 정보를 이용하여 입술 영역과 치아 영역을 추출할 수 있다.
특징 검출부(120)는 얼굴 영상 데이터에서 상기 사용자의 입술 영역 및 치아 영역을 검출할 수 있다.
이 ‹š, 특징 검출부(120)는 다면적 영상 SPFACS(Smile Progress Facial Action Coding System)객체 인식기반 AAM (Active Appearance Models) 알고리즘을 이용하여 안면근의 복합적인 근 운동에 의해 나타나는 즐거움, 기쁨, 찬성, 조소 또는 어떤 다른 감정들을 표현하는 웃음으로써, 눈을 밝게 하고 소리를 내지 않으며 입꼬리를 상방으로 올리는 얼굴 표정의 변화를 검출할 수 있다.
미소는 눈의 반짝임과 얼굴의 아래에 있는 입술 주위의 근육 작용에 의해 표현된다. 얼굴 표정에는 표정 근육이 많이 있는데, 주로 눈과 입 근처에 몰려 있다. 입은 아주 중요한 표정 표현 기관으로, 매력적인 미소뿐만 아니라 심술을 나타내는 불룩한 입술, 공포를 나타내는 파르르 떠는 입술, 의지를 나타내는 꽉 다문 입술 등 다양하게 자신의 심리상황을 상대방에게 전달 할 수 있는 중요한 표현 수단인 것이다.
즉, 특징 검출부(120)는 특징 검출부는 얼굴 영상 데이터에서 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영역을 검출할 수 있다.
도 2를 참조하면, 얼굴 영상 데이터에 랜드마크가 설정된 것을 알 수 있다.
도 2에 도시된 예와 같이, 얼굴 영역에 랜드마크는 86개를 생성될 수 있으며, 얼굴 윤곽 부위에 0-14번, 우측 눈썹에 15-20번, 좌측 눈썹에 21-26번, 좌측눈에 27-35번, 우측눈에 36-44번, 코에 45-59번, 입과 입술에 60-84번, 앞니에 85-86번의 랜드마크를 생성될 수 있다.
이 때, 특징 검출부(120)는 검출된 얼굴 영역에서 AAM 알고리즘을 이용하여 얼굴 윤곽, 우측 눈썹, 좌측 눈썹, 좌측눈, 우측눈, 코, 입, 입술 중 적어도 하나의 부위에 상응하는 얼굴의 특징을 검출할 수 있다.
이 때, AAM 알고리즘에서 사용되는 능동 형태 모델은 학습부(140)에서 학습을 통해 생성된 모델 일 수 있고, 기제공된 모델일 수도 있다.
이 때, 특징 검출부(120)는 검출된 얼굴의 특징에서 입술 영역을 검출하고, 검출된 입술 영역에서 치아 영역을 검출할 수 있다.
도 3을 참조하면, 표정의 종류에 따라 입술 영역의 영상들이 추출되는 것을 알 수 있다.
이 때, 특징 검출부(120)는 검출된 치아 영역의 상악 치아들 중 기설정된 개수의 개별 치아들을 결정하여 개별 치아 영역을 검출할 수 있다.
도 4를 참조하면, 검출된 치아영역에서 모든 치아를 검출하지 않고 상악 치아 중에서 비교적 검출이 용이한 가운데 8개의 상악 치아를 개별적으로 개별 치아 영역으로 검출하는 것을 알 수 있다.
이 때, 특징 검출부(120)는 검출된 입술 영역의 경계라인에 기반하여 상악 치아의 하위 라인(A)과 상위 라인(B) 경계를 설정하여 개별 치아 영역을 검출 할 수 있다.
이 때, 특징 검출부(120)는 검출된 치아 영역에서 개별적인 치아를 검출하기 위해 먼저 3x3 크기의 수직 경계선 검출용 마스크를 사용하여 가로 방향으로 2차 미분을 수행함으로써 세로 방향 경계선을 구한다.
영상 분석부(130)는 입술 영역과 치아 영역을 분석하여 상기 사용자의 미소 정보를 생성할 수 있다.
도 5를 참조하면, 미소 검출 평가 기준을 표로 나타낸 것을 알 수 있다.
이 때, 영상 분석부(130)는 입술 라인과 드러난 치아 모습을 사용하여 미소 정도를 측정할 수 있다. 즉, 영상 분석부(130)는 웃음표현시 치아가 노출될 때 윗 치아들이 상순과 하순 사이에 보이며, 상순은 입꼬리가 위로 올라가거나 직선이며, 상악 전치의 절단면이 하순과 평행하며, 윗 치아 들이 8개 이상 드러나 보이는 경우의 미소가 더욱 매력적인 것으로 평가할 수 있다.
즉, 영상 분석부(130)는 추출된 입술 영역과 치아 영역 간의 노출 관계를 이용하여 사용자의 미소 정도를 분석하여 미소 정보를 생성할 수 있다.
이 때, 영상 분석부(130)는 입술 영역의 형태 및 상악 치아들이 검출되는 개수에 기반하여 사용자의 미소 정도를 분석할 수 있다.
이 때, 영상 분석부(130)는 입술 영역의 윗 입술 경계 라인과 개별 치아 영역의 중심 치아 사이의 화소수를 기설정된 값과 비교하여 미소 정도를 분석할 수 있다.
이 때, 영상 분석부(130)는 중심 치아가 노출되는 너비와 높이를 비교하여 미소 정도를 분석할 수 있다.
이 때, 영상 분석부(130)는 윗 입술 경계 라인과 중심 치아 사이의 화소수가 기설정된 값 미만이고, 중심 치아가 노출되는 너비가 높이보다 큰 경우, 양 입술의 끝점이 올라간 정도에 기반하여 미소 정도를 분석할 수 있다.
이 때, 영상 분석부(130)는 윗 입술 경계 라인과 중심 치아 사이의 화소수가 기설정된 값 이상이고, 양 입술의 끝점이 올라가 있는 경우, 상악 치아들의 절단 면과 입술 영역의 아래 입술 경계라인이 평행한 정도에 기반하여 미소 정도를 분석할 수 있다.
또한, 도 6 내지 도 8을 참조하면, 치아 검출 평가 기준을 나타낸 것을 알 수 있다. 즉, 촬영한 영상 데이터에서 사용자가 바라보는 각도에 따라서 도 6과 같이 윗 방향일 경우에는 윗 잇몸이 거의 노출되지 않고 입술 라인이 아래 방향을 곡선이 발달된 것을 알 수 있으며 1.5점으로 미소 정도를 평가할 수 있다.
도 7과 같이 중앙 방향 일 경우에는 입술 상위 경계 라인이 평행한 것을 알 수 있고 미소 정도는 1.0점으로 평가할 수 있다.
도 8과 같이 아래 방향일 경우에는 윗 임몸이 많이 노출되고, 입술 라인이 윗 방향으로 곡선이 발달된 것을 알 수 있으며, 0.5점으로 미소 정도를 평가할 수 있다.
도 9를 참조하면, 미소 분석 시험 평가 결과를 그래프로 나타낸 것을 알 수 있다.
본 발명의 일실시예에 따른 미소 검출 기반 영상 분석 장치가 80명의 피험자를 대상으로 분석한 미소 평가 결과와 제1 실시예에 따른 미소 평가 시스템의 신뢰도 계수는 ±0.892로 나타난 것을 알 수 있다.
학습부(140)는 얼굴 영상 데이터를 능동 형태 모델(Active Appearance Model, AAM) 알고리즘에 기반하여 학습할 수 있다.
이 때, 학습부(140)는 얼굴 영상 데이터에 기설정된 개수의 랜드마크(Landmark)를 얼굴 윤곽, 우측 눈썹, 좌측 눈썹, 좌측눈, 우측눈, 코, 입, 입술 중 적어도 하나의 부위에 상응하는 좌표에 생성할 수 있다.
도 2를 참조하면, 얼굴 영상 데이터에 랜드마크를 설정하는 것을 알 수 있다.
도 2에 도시된 예와 같이, 학습부(140)는 얼굴 영역에 랜드마크는 86개를 생성할 수 있으며, 얼굴 윤곽 부위에 0-14번, 우측 눈썹에 15-20번, 좌측 눈썹에 21-26번, 좌측눈에 27-35번, 우측눈에 36-44번, 코에 45-59번, 입과 입술에 60-84번, 앞니에 85-86번의 랜드마크를 생성할 수 있다.
이 때, 학습부(140)는 얼굴 표정 변화에 따라 변화되는 얼굴 영상 데이터 상의 랜드마크 좌표에 대한 좌표 변화 정보를 포함하는 표정 학습 데이터를 생성할 수 있다.
이 때, 학습부(140)는 표정 학습 데이터와 AAM 알고리즘을 이용한 형태 모델 학습을 통해 능동 형태 모델을 생성할 수 있다.
이 ‹š, 학습부(140)는 SPFACS의 특징기반 형태 모델을 얼굴의 특징 요소에서 랜드마크의 연결로 표현할 수 있다. 이 방법은 형태 변화를 통계적으로 모델링하는 방법으로 특징 기반 모델은 얼굴의 형태를 특징 점들의 집합으로 표현되고, 초기 위치를 얼굴 영상에 점진적으로 정합할 수 있다. 능동 형태 모델을 통계적으로 모델링하기 위해서는 다양한 데이터가 필요할 수 있다. 학습 영상들을 평면에 표출하기 쉽게 하기 위해서 유사 변형에 의해 2차원 형태로 주어질 수 있다. 각 특징점들은 동일한 공간에서 얼굴 형태의 경계선을 따라 정렬되게 되며 수학식 1과 같이 86개의 랜드마크 좌표 벡터로 표현될 수 있다. 여기서
Figure 112016115720388-pat00001
은 물체를 구성하는 n번째 좌표 값에 상응할 수 있다.
[수학식 1]
Figure 112016115720388-pat00002
학습 영상에 있는 얼굴 특징 형태는 크기와 방향 등의 새로운 좌표값들의 집합을 갖게 되며 이것은 차원이 커짐에 따라 그 양도 증가할 수 있다. 이러한 문제를 해결하기 위해 대표하는 하나의 모델을 구성하여 유사한 크기, 방향을 갖고 무게중심의 좌표가 동일하도록 확대/축소, 이동, 회전 변환하는 선형 기하학적 변환을 통하여 정규화 할 수 있다. 정규화된 벡터들의 평균 백터 를 수학식 2와 같이 구할 수 있다. 평균 벡터를 구한 다음에는 각 훈련 영상에 대한 벡터들이 평균 벡터로부터 얼마나 벗어나 있는지 나타내는 변위 벡터들을 수학식 3과 같이 계산 할 수 있다.
[수학식 2]
Figure 112016115720388-pat00003
[수학식 3]
Figure 112016115720388-pat00004
변위 벡터들을 구한 다음에는 이들의 공분산 행렬을 수학식 4와 같이 구할 수 있다.
[수학식 4]
Figure 112016115720388-pat00005
공분산행렬을 구한 다음에는 공분산 행렬에 대하여 수학식 5를 만족하는 고유 백터와 값을 구할 수 있다. 이 식
Figure 112016115720388-pat00006
는 고유 벡터이고
Figure 112016115720388-pat00007
는 고유값이며,
Figure 112016115720388-pat00008
이 만족되도록 고유값을 정렬할 수 있다.
[수학식 5]
Figure 112016115720388-pat00009
이렇게 정렬된 얼굴 특징 형태는 주성분분석을 이용하여 수학식 6과 같이 나타낼 수 있다.
[수학식 6]
Figure 112016115720388-pat00010
여기에서,
Figure 112016115720388-pat00011
는 형태 주성분석을 통해 계산된 고유벡터, 형태 모델을 구성하는 기저벡터들로 이루어진 행렬이며
Figure 112016115720388-pat00012
는 각 고유벡터의 가중치를 나타내는 벡터이다. 형태 파라미터 벡터
Figure 112016115720388-pat00013
를 조절함으로써
Figure 112016115720388-pat00014
를 합성할 수가 있게 되며, 고유벡터를 통한 합성특성은 정합 알고리즘의 토대가 될 수 있다.
미소 평가부(150)는 미소 정보를 평가하여 미소 평가 결과를 출력할 수 있다.
이 때, 미소 평가부(150)는 미소가 잘된 미소인지 바로 알 수 있게 자동으로 미소 평가 결과를 출력하고, 사용자가 스스로 좋은 미소를 짓기 위해 훈련을 할 수 있도록 미소 훈련 정보를 출력할 수 있다.
도 10 및 도 11은 본 발명의 일실시예에 따른 다면적 얼굴 분석 과정을 나타낸 도면이다. 도 12는 본 발명의 일실시예에 따른 미소 평가 시스템을 나타낸 도면이다.
도 10 및 도 11을 참조하면, 다면적 기반의 얼굴인식 기술이 적용된 미소 평가 시스템에 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 방법을 도입한 것을 알 수 있다. 미소 평가 시스템은 얼굴의 특징 정보를 추출하여 미소 평가부(150)에서 평가한 결과를 이용하여 도 12에 도시된 바와 같이 미소 그림과 함께 미소 훈련 평가 정보를 출력할 수 있다.
도 13은 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 방법을 나타낸 동작흐름도이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 방법은 먼저 영상을 촬영한다(S210).
즉, 단계(S210)는 사용자의 얼굴을 촬영하여 얼굴 영상 데이터를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 방법은 특징을 검출할 수 있다(S220).
즉, 단계(S220)는 얼굴 영상 데이터에서 상기 사용자의 입술 영역 및 치아 영역을 검출할 수 있다.
이 때, 단계(S220)는 먼저 아다부스트(Adaboost) 알고리즘을 적용할 수 있다(S221)
즉, 단계(S221)얼굴 영상 데이터에서 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영역을 검출할 수 있다.
도 2를 참조하면, 얼굴 영상 데이터에 랜드마크가 설정된 것을 알 수 있다.
도 2에 도시된 예와 같이, 얼굴 영역에 랜드마크는 86개를 생성될 수 있으며, 얼굴 윤곽 부위에 0-14번, 우측 눈썹에 15-20번, 좌측 눈썹에 21-26번, 좌측눈에 27-35번, 우측눈에 36-44번, 코에 45-59번, 입과 입술에 60-84번, 앞니에 85-86번의 랜드마크를 생성될 수 있다.
또한, 단계(S220)는 AAM 알고리즘을 이용하여 얼굴 특징을 검출할 수 있다(S222).
즉, 단계(S222)는 검출된 얼굴 영역에서 AAM 알고리즘을 이용하여 얼굴 윤곽, 우측 눈썹, 좌측 눈썹, 좌측눈, 우측눈, 코, 입, 입술 중 적어도 하나의 부위에 상응하는 얼굴의 특징을 검출할 수 있다.
이 때, AAM 알고리즘에서 사용되는 능동 형태 모델은 학습부(140)에서 학습을 통해 생성된 모델 일 수 있고, 기제공된 모델일 수도 있다.
또한, 단계(S220)는 입술 영역 및 치아 영역을 검출할 수 있다(S223).
즉, 단계(S223)는 검출된 얼굴의 특징에서 입술 영역을 검출하고, 검출된 입술 영역에서 치아 영역을 검출할 수 있다.
도 3을 참조하면, 표정의 종류에 따라 입술 영역의 영상들이 추출되는 것을 알 수 있다.
이 때, 단계(S223)는 검출된 치아 영역의 상악 치아들 중 기설정된 개수의 개별 치아들을 결정하여 개별 치아 영역을 검출할 수 있다.
도 4를 참조하면, 검출된 치아영역에서 모든 치아를 검출하지 않고 상악 치아 중에서 비교적 검출이 용이한 가운데 8개의 상악 치아를 개별적으로 개별 치아 영역으로 검출하는 것을 알 수 있다.
이 때, 단계(S223)는 검출된 입술 영역의 경계라인에 기반하여 상악 치아의 하위 라인(A)과 상위 라인(B) 경계를 설정하여 개별 치아 영역을 검출 할 수 있다.
이 때, 단계(S223)는 검출된 치아 영역에서 개별적인 치아를 검출하기 위해 먼저 3x3 크기의 수직 경계선 검출용 마스크를 사용하여 가로 방향으로 2차 미분을 수행함으로써 세로 방향 경계선을 구한다.
또한, 본 발명의 일실시예에 따른 미소 검출 기반 얼굴 분석 방법은 영상을 분석할 수 있다(S230).
즉, 단계(S230)는 입술 영역과 치아 영역을 분석하여 상기 사용자의 미소 정보를 생성할 수 있다.
도 5를 참조하면, 미소 검출 평가 기준을 표로 나타낸 것을 알 수 있다.
이 때, 단계(S230)는 입술 라인과 드러난 치아 모습을 사용하여 미소 정도를 측정할 수 있다. 즉, 영상 분석부(130)는 웃음표현 시 치아가 노출될 때 윗 치아들이 상순과 하순 사이에 보이며, 상순은 입꼬리가 위로 올라가거나 직선이며, 상악 전치의 절단면이 하순과 평행하며, 윗 치아 들이 8개 이상 드러나 보이는 경우의 미소가 더욱 매력적인 것으로 평가할 수 있다.
즉, 단계(S230)는 추출된 입술 영역과 치아 영역 간의 노출 관계를 이용하여 사용자의 미소 정도를 분석하여 미소 정보를 생성할 수 있다.
이 때, 단계(S230)는 입술 영역의 형태 및 상악 치아들이 검출되는 개수에 기반하여 사용자의 미소 정도를 분석할 수 있다.
이 때, 단계(S230)는 입술 영역의 윗 입술 경계 라인과 개별 치아 영역의 중심 치아 사이의 화소수를 기설정된 값과 비교하여 미소 정도를 분석할 수 있다.
이 때, 단계(S230)는 중심 치아가 노출되는 너비와 높이를 비교하여 미소 정도를 분석할 수 있다.
이 때, 단계(S230)는 윗 입술 경계 라인과 중심 치아 사이의 화소수가 기설정된 값 미만이고, 중심 치아가 노출되는 너비가 높이보다 큰 경우, 양 입술의 끝점이 올라간 정도에 기반하여 미소 정도를 분석할 수 있다.
이 때, 단계(S230)는 윗 입술 경계 라인과 중심 치아 사이의 화소수가 기설정된 값 이상이고, 양 입술의 끝점이 올라가 있는 경우, 상악 치아들의 절단 면과 입술 영역의 아래 입술 경계라인이 평행한 정도에 기반하여 미소 정도를 분석할 수 있다.
또한, 도 6 내지 도 8을 참조하면, 치아 검출 평가 기준을 나타낸 것을 알 수 있다. 즉, 촬영한 영상 데이터에서 사용자가 바라보는 각도에 따라서 도 6과 같이 윗 방향일 경우에는 윗 잇몸이 거의 노출되지 않고 입술 라인이 아래 방향을 곡선이 발달된 것을 알 수 있으며 1.5점으로 미소 정도를 평가할 수 있다.
도 7과 같이 중앙 방향 일 경우에는 입술 상위 경계 라인이 평행한 것을 알 수 있고 미소 정도는 1.0점으로 평가할 수 있다.
도 8과 같이 아래 방향일 경우에는 윗 임몸이 많이 노출되고, 입술 라인이 윗 방향으로 곡선이 발달된 것을 알 수 있으며, 0.5점으로 미소 정도를 평가할 수 있다.
또한, 본 발명의 일실시예에 따른 미소 검출 기반 영상 분석 방법은 미소를 평가할 수 있다(S240).
즉, 단계(S240)는 미소 정보를 평가하여 미소 평가 결과를 출력할 수 있다.
이 때, 단계(S240)는 미소가 잘된 미소인지 바로 알 수 있게 자동으로 미소 평가 결과를 출력하고, 사용자가 스스로 좋은 미소를 짓기 위해 훈련을 할 수 있도록 미소 훈련 정보를 출력할 수 있다.
도 14는 도 13에 도시된 특징 검출 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 15는 본 발명의 일실시예에 따른 얼굴 학습 방법을 나타낸 동작흐름도이다.
도 15를 참조하면, 본 발명의 일실시예에 따른 얼굴 학습 방법은 먼저 영상을 촬영한다(S310).
즉, 단계(S310)는 사용자의 얼굴을 촬영하여 얼굴 영상 데이터를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 얼굴 학습 방법은 랜드마크를 생성할 수 있다(S320).
즉, 단계(S320)는 얼굴 영상 데이터에 기설정된 개수의 랜드마크(Landmark)를 얼굴 윤곽, 우측 눈썹, 좌측 눈썹, 좌측눈, 우측눈, 코, 입, 입술 중 적어도 하나의 부위에 상응하는 좌표에 생성할 수 있다.
도 2를 참조하면, 얼굴 영상 데이터에 랜드마크를 설정하는 것을 알 수 있다.
도 2에 도시된 예와 같이, 단계(S320)는 얼굴 영역에 랜드마크는 86개를 생성할 수 있으며, 얼굴 윤곽 부위에 0-14번, 우측 눈썹에 15-20번, 좌측 눈썹에 21-26번, 좌측눈에 27-35번, 우측눈에 36-44번, 코에 45-59번, 입과 입술에 60-84번, 앞니에 85-86번의 랜드마크를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 얼굴 학습 방법은 형태 모델을 학습할 수 있다(S330).
즉, 단계(S330)은 먼저 얼굴 표정 변화에 따라 변화되는 얼굴 영상 데이터 상의 랜드마크 좌표에 대한 좌표 변화 정보를 포함하는 표정 학습 데이터를 생성할 수 있다.
이 때, 단계(S330)는 얼굴 영상 데이터를 능동 형태 모델(Active Appearance Model, AAM) 알고리즘에 기반하여 학습할 수 있다.
즉, 단계(S330)는 표정 학습 데이터와 AAM 알고리즘을 이용한 형태 모델 학습을 통해 능동 형태 모델을 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 얼굴 학습 방법은 학습결과를 저장할 수 있다(S340).
즉, 단계(S330)는 생성한 능동 형태 모델을 저장하고 미소 검출 기반 얼굴 분석 장치가 특징 검출을 위하여 능동 형태 모델을 요청할 때, 저장한 능동 형태 모델을 제공할 수 있다.
도 16은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 16을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 16에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명에 따른 미소 검출 기반 얼굴 분석 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 영상 촬영부 120: 특징 검출부
130: 영상 분석부 140: 학습부
150: 미소 평가부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (17)

  1. 사용자의 얼굴을 촬영하여 얼굴 영상 데이터를 생성하는 영상 촬영부;
    상기 얼굴 영상 데이터를 능동 형태 모델(Active Appearance Model, AAM) 알고리즘에 기반하여 학습하는 학습부;
    상기 얼굴 영상 데이터에서 상기 사용자의 입술 영역 및 치아 영역을 검출하는 특징 검출부; 및
    상기 입술 영역과 치아 영역을 분석하여 상기 사용자의 미소 정보를 생성하는 영상 분석부;
    를 포함하고,
    상기 영상 분석부는
    상기 입술 영역의 형태 및 상기 치아 영역에서 상악 치아들이 검출되는 개수에 기반하여 상기 사용자의 미소 정도를 분석하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  2. 청구항 1에 있어서,
    상기 미소 검출 기반 영상 분석 장치는
    상기 미소 정보를 평가하여 미소 평가 결과를 출력하는 미소 평가부를 더 포함하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  3. 청구항 2에 있어서,
    상기 학습부는
    상기 얼굴 영상 데이터에 기설정된 개수의 랜드마크(Landmark)를 얼굴 윤곽, 우측 눈썹, 좌측 눈썹, 좌측눈, 우측눈, 코, 입, 입술 중 적어도 하나의 부위에 상응하는 좌표에 생성하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  4. 청구항 3에 있어서,
    상기 학습부는
    얼굴 표정 변화에 따라 변화되는 상기 얼굴 영상 데이터 상의 랜드마크 좌표에 대한 좌표 변화 정보를 포함하는 표정 학습 데이터를 생성하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  5. 청구항 4에 있어서,
    상기 학습부는
    상기 표정 학습 데이터와 상기 AAM 알고리즘을 이용한 형태 모델 학습을 통해 능동 형태 모델을 생성하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  6. 청구항 5에 있어서,
    상기 특징 검출부는
    상기 얼굴 영상 데이터에서 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영역을 검출하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  7. 청구항 6에 있어서,
    상기 특징 검출부는
    상기 검출된 얼굴 영역에서 상기 AAM 알고리즘을 이용하여 상기 얼굴 윤곽, 우측 눈썹, 좌측 눈썹, 좌측눈, 우측눈, 코, 입, 입술 중 적어도 하나의 부위에 상응하는 얼굴의 특징을 검출하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  8. 청구항 7에 있어서,
    상기 특징 검출부는
    상기 검출된 얼굴의 특징에서 입술 영역을 검출하고, 검출된 입술 영역에서 치아 영역을 검출하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  9. 삭제
  10. 청구항 8에 있어서,
    상기 영상 분석부는
    상기 입술 영역의 입술 라인과 상기 치아 영역간의 노출 관계를 이용하여 상기 사용자의 미소 정도를 분석한 상기 미소 정보를 생성하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  11. 삭제
  12. 청구항 10에 있어서,
    상기 영상 분석부는
    상기 입술 영역의 윗 입술 경계 라인과 상기 상악 치아들 중 개별 치아 영역의 중심 치아 사이의 화소수를 기설정된 값과 비교하여 상기 미소 정도를 분석하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  13. 청구항 12에 있어서,
    상기 영상 분석부는
    상기 중심 치아가 노출되는 너비와 높이를 비교하여 상기 미소 정도를 분석하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  14. 청구항 13에 있어서,
    상기 영상 분석부는
    상기 윗 입술 경계 라인과 상기 중심 치아 사이의 화소수가 기설정된 값 미만이고, 상기 중심 치아가 노출되는 너비가 높이보다 큰 경우, 양 입술의 끝점이 올라간 정도에 기반하여 상기 미소 정도를 분석하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  15. 청구항 14에 있어서,
    상기 영상 분석부는
    상기 윗 입술 경계 라인과 상기 중심 치아 사이의 화소수가 기설정된 값 이상이고, 상기 양 입술의 끝점이 올라가 있는 경우, 상기 상악 치아들의 절단 면과 상기 입술 영역의 아래 입술 경계라인이 평행한 정도에 기반하여 상기 미소 정도를 분석하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  16. 청구항 15에 있어서,
    상기 미소 평가부는
    상기 미소 평가 결과에 기반하여 미소 점수를 향상시키기 위한 미소 훈련 정보를 출력하는 것을 특징으로 하는 미소 검출 기반 영상 분석 장치.
  17. 미소 검출 기반 영상 분석 장치를 이용하는 방법에 있어서,
    사용자의 얼굴을 촬영하여 얼굴 영상 데이터를 생성하는 단계;
    상기 얼굴 영상 데이터를 능동 형태 모델(Active Appearance Model, AAM) 알고리즘에 기반하여 학습하는 단계;
    상기 얼굴 영상 데이터에서 상기 사용자의 입술 영역 및 치아 영역을 검출하는 단계; 및
    상기 입술 영역과 치아 영역을 분석하여 상기 사용자의 미소 정보를 생성하는 단계;
    를 포함하고,
    상기 미소 정보를 생성하는 단계는
    상기 입술 영역의 형태 및 상기 치아 영역에서 상악 치아들이 검출되는 개수에 기반하여 상기 사용자의 미소 정도를 분석하는 것을 특징으로 하는 미소 검출 기반 영상 분석 방법.
KR1020160158468A 2016-11-25 2016-11-25 미소 검출 기반 얼굴 분석 장치 및 방법 KR101779840B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160158468A KR101779840B1 (ko) 2016-11-25 2016-11-25 미소 검출 기반 얼굴 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160158468A KR101779840B1 (ko) 2016-11-25 2016-11-25 미소 검출 기반 얼굴 분석 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101779840B1 true KR101779840B1 (ko) 2017-09-19

Family

ID=60033427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160158468A KR101779840B1 (ko) 2016-11-25 2016-11-25 미소 검출 기반 얼굴 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101779840B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102101889B1 (ko) * 2019-07-29 2020-04-17 주식회사 자이언트스텝 Ai 기반의 얼굴 애니메이션 구현 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
WO2024085505A1 (ko) * 2022-10-17 2024-04-25 연세대학교 산학협력단 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145672B1 (ko) * 2011-09-20 2012-05-24 원광대학교산학협력단 미소 훈련을 위한 미소 분석 시스템
KR101621304B1 (ko) * 2014-12-12 2016-05-16 서강대학교산학협력단 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145672B1 (ko) * 2011-09-20 2012-05-24 원광대학교산학협력단 미소 훈련을 위한 미소 분석 시스템
KR101621304B1 (ko) * 2014-12-12 2016-05-16 서강대학교산학협력단 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102101889B1 (ko) * 2019-07-29 2020-04-17 주식회사 자이언트스텝 Ai 기반의 얼굴 애니메이션 구현 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
WO2024085505A1 (ko) * 2022-10-17 2024-04-25 연세대학교 산학협력단 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치

Similar Documents

Publication Publication Date Title
JP6849824B2 (ja) セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
US9881204B2 (en) Method for determining authenticity of a three-dimensional object
CN107852533B (zh) 三维内容生成装置及其三维内容生成方法
CN110555434B (zh) 一种局部对比和全局指导的立体图像视觉显著性检测方法
JP4950787B2 (ja) 画像処理装置及びその方法
AU2011301774B2 (en) A method for enhancing depth maps
CN106372629B (zh) 一种活体检测方法和装置
JP7452016B2 (ja) 学習データ生成プログラム、及び学習データ生成方法
CN110546644B (zh) 识别装置、识别方法以及记录介质
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
JP2007004767A (ja) 画像認識装置、方法およびプログラム
US11676362B2 (en) Training system and analysis system
CN112257641A (zh) 一种人脸识别活体检测方法
CN114894337B (zh) 一种用于室外人脸识别测温方法及装置
US20210049350A1 (en) Method and device for generating face image, electronic device and computer readable storage medium
KR20150089370A (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
JP2012022538A (ja) 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置
Loconsole et al. Real-time emotion recognition: an improved hybrid approach for classification performance
KR101779840B1 (ko) 미소 검출 기반 얼굴 분석 장치 및 방법
JP2011081445A (ja) 表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラム
CN112861588B (zh) 一种活体检测的方法、装置
CN112801038A (zh) 一种多视点的人脸活体检测方法及系统
KR101145672B1 (ko) 미소 훈련을 위한 미소 분석 시스템
JP5276454B2 (ja) 表情測定方法、表情測定プログラムならびに表情測定装置
JP7370050B2 (ja) 読唇装置及び読唇方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant