KR20120035807A - 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법 - Google Patents

모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법 Download PDF

Info

Publication number
KR20120035807A
KR20120035807A KR1020100097551A KR20100097551A KR20120035807A KR 20120035807 A KR20120035807 A KR 20120035807A KR 1020100097551 A KR1020100097551 A KR 1020100097551A KR 20100097551 A KR20100097551 A KR 20100097551A KR 20120035807 A KR20120035807 A KR 20120035807A
Authority
KR
South Korea
Prior art keywords
laugh
image
expression
laughter
mobile terminal
Prior art date
Application number
KR1020100097551A
Other languages
English (en)
Other versions
KR101204378B1 (ko
Inventor
송원창
이옥걸
김영운
강선경
권대규
정성태
Original Assignee
원광대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 원광대학교산학협력단 filed Critical 원광대학교산학협력단
Priority to KR1020100097551A priority Critical patent/KR101204378B1/ko
Publication of KR20120035807A publication Critical patent/KR20120035807A/ko
Application granted granted Critical
Publication of KR101204378B1 publication Critical patent/KR101204378B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 모바일 단말기의 카메라 영상에서 얼굴을 검출한 다음에 입술 영역을 검출한 후에는, 입력되는 영상 프레임에서 입술 영역만을 추적하고; 입술 및 조명을 정규화 처리하고; 특징벡터를 추출한 후에 표정학습 DB를 이용하여 웃음표정을 인식하는 것을 특징으로 하는 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법에 관한 것이다.
본 발명은 모바일 단말기의 카메라 영상에서 얼굴을 검출한 다음에 입술 영역을 검출한 후에는, 입력되는 영상 프레임에서 입술 영역만을 추적하고; 입술 및 조명을 정규화 처리하고; 특징벡터를 추출한 후에 표정학습 DB를 이용하여 웃음표정을 인식하고; 인식된 웃음표정에 대응되는 웃음량을 측정하여 표시하는 것을 특징으로 하는 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법에 관한 것이다.

Description

모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법{A recognition system of facial expression for laughter therapy on mobile terminal, and a method thereof}
본 발명은 모바일 단말기의 카메라 영상에서 얼굴을 검출한 다음에 입술 영역을 검출한 후에는, 입력되는 영상 프레임에서 입술 영역만을 추적하고; 입술 및 조명을 정규화 처리하고; 특징벡터를 추출한 후에 표정학습 DB를 이용하여 웃음표정을 인식하는 것을 특징으로 하는 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법에 관한 것이다.
본 발명은 모바일 단말기의 카메라 영상에서 얼굴을 검출한 다음에 입술 영역을 검출한 후에는, 입력되는 영상 프레임에서 입술 영역만을 추적하고; 입술 및 조명을 정규화 처리하고; 특징벡터를 추출한 후에 표정학습 DB를 이용하여 웃음표정을 인식하고; 인식된 웃음표정에 대응되는 웃음량을 측정하여 표시하는 것을 특징으로 하는 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법에 관한 것이다.
최근 인공지능과 패턴인식 기술이 발전함에 따라서 얼굴 표정인식은 HCI(Human Computer Interface)에서 중요한 기술 중 하나이며, 이에 관련된 많은 연구가 진행되고 있다.
기존의 얼굴표정 인식 연구를 검토해보면, 얼굴 표정 변화에 따른 광학적 흐름 추정을 통한 얼굴 근육 움직임 정보를 이용하여 표정을 인식하는 광학적 흐름 분석(Optic Flow Analysis)방법, 얼굴의 국부적인 특징점(눈, 코 또는 입 등)의 위치를 찾아서 특징 부분의 변화와 비교하여 인식하는 국부적인 표현 방법, 그리고 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis) 또는 ICA(Independent Component Analysis) 등을 통해서 얼굴 전체에 대한 분석으로 얼굴 영상에 대해 통계적으로 학습시키고 인식하는 홀리스틱 분석(Holistic Analysis)방법 등을 들 수 있다.
그런데 종래기술들은 이들 방법들을 적용시킬 때, 일반적인 PC 급의 고성능 설비 하에서 하나의 방법만을 주로 사용하여 표정을 인식하는 연구를 수행하였다.
또한 주변 조명이 균일한 안정적 환경에서 특히 실험자가 고정된 자세를 취한 상태에서 얼굴표정을 짓고 이를 인식하는 연구를 수행하였다.
따라서 PC보다 CPU 등 모든 면에서 성능이 떨어지는 모바일 단말기를 이용하게 되면 하나의 표정인식 방법만으로는 그 성능이 효과적으로 발휘될 수 없게 되며, 더욱이 조명 및 자세가 안정적이지 않은 상태에서는 조명 및 검출된 특징점 등의 보정 처리가 필요하게 된다.
한편 사람의 얼굴 표정은 기본적으로 놀람, 두려움, 슬픔, 화남, 역겨움 및 웃음 등 6개의 표정으로 나눌 수 있는데(Ekman, P.(Ed). "Emotion in the human face (2nd ed.)"), 특히 웃음 표정은 사람들 간의 교류에서 중요한 역할을 담당할 뿐만 아니라, 인간의 정신적, 육체적 및 심리적으로 건강을 향상시킬 수 있는바, 웃음 치료는 사회적 및 의료적으로 중요한 가치를 가진다고 할 수 있다.
그런데 웃음 표정을 훈련하거나 웃음을 통해 불안정한 정서를 효과적으로 치료하기 위해서는 스스로가 원할 때마다 시간 및 공간에 관계없이 자기의 웃음표정을 기기를 통해 인식 및 측정할 수 있어야 하는바, 현재와 같은 모바일 시대에서는 카메라가 장착된 모바일 단말기를 이용하는 것이 최선의 대안이 될 수 있다.
그러나 상기에 서술한 바와 같이, PC급 성능 및 안정적 환경에서 개발된 종래기술들을 모바일 단말기에 곧바로 채용하기는 어려운 실정이다.
또한 종래 기술들의 경우 웃음표정뿐만 아니라 얼굴표정 전체를 다루고 있어서 웃음 훈련 및 웃음 치료를 위해 웃음 표정을 인식 및 측정하는 데에는 적용하기 어려운 실정이다.
따라서 모바일 단말기에서 실시간으로 표정 인식이 가능하되, 웃음표정을 인식하는 것에 특화된 웃음표정 인식 시스템 및 방법이 절실하다 하겠다.
또한 웃음 표정을 인식하는 것에 그치지 않고 웃음량을 측정하여 웃음 인식 결과를 제시함으로써 스스로 웃음 치료를 수행할 수 있는 웃음표정 인식 시스템 및 방법이 절실하다 하겠다.
이하에서, 종래에 개발된 표정인식 시스템 또는 방법에 대하여 검토해본다.
먼저, 대한민국 등록특허공보 10-0874088호는 영상변이 센싱을 활용한 얼굴인식 시스템에 관한 것으로, 촬영영상에서 영상변이를 판별하고 이에 대응되는 애플리케이션을 적용시키는 것을 특징으로 하고 있다.
이는 다양한 영상변이에 대응하고자 한다는 점에서 긍정적이나, 웃음표정에 특화되어 있지 않고 표정 전반을 다루고 있으며, 또한 영상변이 자체를 보정 처리하지 않고 영상변이에 가장 적합한 애플리케이션을 수행하기 위해서 특징점을 분석한다는 점에서 본 발명의 문제의식과는 상이하다 하겠다.
두 번째로, 대한민국 공개특허공보 10-2009-0050199호는 특징점들의 움직임 정보를 광류 알고리즘을 이용하여 추적하고 은닉 마르코프 모델을 이용하여 얼굴표정을 인식하는 것을 특징으로 하고 있다.
또한 전처리 과정에서 조명의 영향을 최소화하기 위해 최대최소 정규화 방법 및 참조화이트를 이용하는 것을 특징으로 하고 있다.
이는 조명의 영향을 최소화하기 위한 방법을 도입하였다는 점에서 긍정적이나, 모바일 단말기에서 웃음표정을 인식하는 것에 특화되어 있지 않으며 또한 사용자의 불안정한 자세 때문에 반드시 필요한 특징점의 보정이 간과되고 있는바, 본 발명의 문제의식과는 상이하다 하겠다.
세 번째로, 대한민국 등록특허공보 10-0874167호는 얼굴표정 교정 시스템 및 방법에 관한 것으로, 미간 사이의 특징점들이 중앙으로 모인 경우, 눈썹의 안쪽에 부여된 특징점들이 하측으로 내려간 경우 또는 입술의 양쪽 끝에 부여된 특징점들이 내려간 경우에 특징점이 변화하였다고 판단하는 것에 특징이 있다.
이는 특징점을 이용하여 표정을 인식하였다는 점에서 긍정적이지만, 인식되는 표정이 찌푸림 또는 우울한 표정에 관한 것인바, 모바일 단말기에서 웃음표정을 인식하는 것에 특화되어 있지 않으며 또한 조명 및 검출된 특징점을 보정 처리하는 것도 제시하고 있지 않는 등 본 발명의 문제의식과는 상이하다 하겠다.
네 번째로, 대한민국 공개특허공보 10-2010-0066866호는 휴대용 얼굴 표정 연습장치 및 방법에 관한 것으로, 얼굴 부분에서 관심영역을 검출하고 여기에 표정가이드 모델을 증강함으로서 표정을 연습하게 하는 것에 특징이 있다.
이는 휴대용 장치를 이용하였다는 점에서 긍정적이나, 검출된 얼굴패턴과 증강되는 표정가이드 모델간의 유사도를 판단하여 표정을 연습시키는 것인바, 웃음표정을 인식하는 것에 특화되어 있지 않으며 또한 조명 및 검출된 특징점을 보정 처리하는 것도 제시하고 있지 않는 등 본 발명의 문제의식과는 상이하다 하겠다.
본 발명의 목적은 모바일 단말기의 카메라 영상에서 얼굴을 검출한 다음에 입술 영역을 검출한 후에는, 입력되는 영상 프레임에서 입술 영역만을 추적하고; 입술 및 조명을 정규화 처리하고; 특징벡터를 추출한 후에 표정학습 DB를 이용하여 웃음표정을 인식하는 것을 특징으로 하는 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법을 제공함에 있다.
본 발명의 목적은 모바일 단말기의 카메라 영상에서 얼굴을 검출한 다음에 입술 영역을 검출한 후에는, 입력되는 영상 프레임에서 입술 영역만을 추적하고; 입술 및 조명을 정규화 처리하고; 특징벡터를 추출한 후에 표정학습 DB를 이용하여 웃음표정을 인식하고; 인식된 웃음표정에 대응되는 웃음량을 측정하여 표시하는 것을 특징으로 하는 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법을 제공함에 있다.
본 발명인 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법은, 영상에서 얼굴 및 입술을 검출한 후에는 프레임에서 입술 영역만을 추적하여 웃음표정을 인식하게 되므로 낮은 하드웨어 성능에서도 실시간이면서 빠른 속도로 웃음표정을 인식할 수 있는 현저한 효과가 있다.
본 발명인 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법은, 입술을 정규화하여 모바일 단말기와 얼굴과의 거리로 인한 영상 편차를 극복하고, 또한 조명을 좌우대칭 평균화 및 히스토그램 매칭 방식으로 정규화하여 특히 실외에서의 불안정한 조명환경에 따른 영상 편차를 극복하여, 웃음표정을 정확하게 인식할 수 있는 현저한 효과가 있다.
본 발명인 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법은, 웃음표정 인식 후에는 웃음량을 그래픽 처리하여 표시함으로써 모바일 단말기를 이용하여 언제 어디서나 웃음량을 확인하면서 스스로 웃음 치료를 수행할 수 있는 현저한 효과가 있다.
도 1은 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템의 주요 구성도이다.
도 2는 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템에서 입술 후보 영역을 검출하는 과정의 일예이다.
도 3은 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템에서 입술 영역을 검출하는 과정의 일예이다.
도 4는 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템에서 입술을 추적하는 과정의 일예이다.
도 5는 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템에서 조명 정규화 과정의 일예이다.
도 6은 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템에서 웃음표정을 인식하는 방법의 일예이다.
도 7은 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템에서 표정학습 DB에 사용된 영상의 일예이다.
도 8은 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템에서 웃음량을 표시하는 그래픽 처리의 일예이다.
도 9는 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 방법의 순서도이다.
이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.
도 1은 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템의 주요 구성도이다.
본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템(100)은 영상획득부(110), 검출 및 추적부(120), 정규화처리부(130), 웃음표정 인식부(140), 표정학습 DB(150) 및 그래픽처리부(160)를 포함한다.
먼저, 영상획득부(110)는 얼굴이 포함된 영상을 입력받아 검출 및 추적부(120)로 전달하는 수단으로서, 모바일 단말기에 내장되어 있는 카메라에서 획득되는 영상을 실시간으로 검출 및 추적부(120)로 전달하는 기능을 수행한다.
바람직하게, 영상획득부(110)는 데이터 케이블을 통해 모바일 단말기에 저장된 영상이나 인터넷 등 기타 네트워크 수단을 통해 전송되는 영상을 전달 처리하는 기능도 수행할 수 있도록 설계된다.
검출 및 추적부(120)는 얼굴 및 입술 영역을 검출하고, 입술 영역이 검출된 후에는 입술 영역만을 추적하는 구성요소로서, 얼굴검출모듈, 입술검출모듈 및 입술추적모듈을 포함한다.
얼굴검출모듈은 영상획득부(110)에서 전달되는 영상에서 얼굴을 검출하는 모듈이다.
일예로 얼굴검출모듈은 Haar-like 특징을 이용한 검출방식과 AdaBoost 검출방식을 함께 사용하거나 또는 AdaBoost 방식만을 사용하도록 설계된다.
바람직하게, Haar-like 특징 검출방식과 AdaBoost 검출방식을 함께 사용하게 되는 경우에는, Haar-like 얼굴 특징값을 계산한 후 AdaBoost 방식을 적용하는 방식을 채용하도록 설계된다.
바람직하게, Haar-like 얼굴 특징값을 계산한 후 AdaBoost 방식을 적용하는 경우에는, AdaBoost 방식을 적용한 분류기(Classifier)를 결합하여 강한 분류기를 생성하고 이들 강한 분류기를 캐스케이드 구조로 결합하여 적용될 수 있도록 설계된다.
바람직하게, 얼굴검출모듈은 상기에서 서술한 방식 이외에도 본 발명의 목적에 맞게 다른 방식을 채용하도록 설계될 수 있음은 물론이다.
입술검출모듈은 얼굴검출모듈에서 검출된 얼굴 영역을 이용하여 입술 영역을 검출하는 모듈이다.
입술 영역을 검출하는 이유는, 입력되는 영상 프레임마다 얼굴을 검출하여 웃음표정을 인식하는 것 보다는 한번 얼굴을 검출한 후에는 입술 영역만을 이용하여 웃음표정을 인식하기 위함이다.
즉 사람이 웃음표정을 지을 때 주로 입술 모양이 변화되므로 입술 영역만으로도 웃음표정을 효과적으로 인식할 수 있으며, 이는 인식 시스템에 부과되는 계산 부하를 현격하게 줄여서 속도를 개선시킬 수 있는 효과를 낳게 된다.
도 2 및 도 3을 이용하여 입술검출모듈이 입술 영역을 검출하는 일예를 서술한다.
도 2는 얼굴의 기하학적 분포 특징을 이용하여 입술 후보 영역을 검출하는 과정의 일예이다.
입술 영역은 얼굴의 하단에 있으므로, 검출된 얼굴 영역을 수직 방향으로 8등분 하였을 때, 도 2(a)와 같이 5/8부터 7/8사이 내에 입술 영역이 있을 것으로 설정한다.
수평방향으로도 역시 8등분하여, 도 2(b)와 같이 2/8부터 6/8사이 내에 입술 영역이 있을 것으로 설정한다.
따라서 입술 후보 영역은 수직 및 수평 방향으로 설정된 범위 내의 영역으로 결정되며, 도 2(c)와 같이 직사각형 모양으로 입술 영역을 포함하게 된다.
바람직하게, 입술 후보 영역을 설정하기 위해 수직 및 수평 방향으로 등분되는 개수는 10등분 또는 16등분과 같이 다양하게 설정될 수 있음은 물론이다.
바람직하게, 입술 후보 영역의 수직 및 수평 방향 범위도 다양하게 설정될 수 있음은 물론이다.
도 3은 그레이 픽셀의 분포 특징을 이용하여 입술 후보 영역에서 입술 영역을 검출하는 과정의 일예이다.
먼저, 입술의 중간에 있는 수평 방향 줄이 주변에 비해 더 어두운 특징을 가지고 있으므로 명암도를 이용하여 입술 중심을 검출하게 된다.
도 3(a)와 같이, 입술 후보 영역에서 수평 방향으로 한 줄씩 픽셀값의 합을 계산하여 가장 낮은 줄이 입술 중심 줄이 되며, 입술 중심 줄에서 수평 중심 위치가 입술 중심이 된다.
즉 수평 중심 위치 및 이에 대응되는 수직 위치를
Figure pat00001
,
Figure pat00002
라고 정의하면, 이 좌표가 입술 중심이 된다.
입술 중심을 검출한 후에는 중심으로부터 가장 유효한 범위를 갖는 입술 영역을 검출하게 되는데, 일예로 실험적으로 입술 중심과 얼굴 영역간의 관계에서 밝혀진 바에 따르도록 설계된다.
일예를 구체적으로 보면, H를 검출된 얼굴 영역의 세로 길이이고 W가 검출된 얼굴 영역의 가로 길이라면,
Figure pat00003
Figure pat00004
Figure pat00005
H/8,
Figure pat00006
Figure pat00007
Figure pat00008
H/8,
Figure pat00009
Figure pat00010
Figure pat00011
W/4,
Figure pat00012
Figure pat00013
Figure pat00014
W/4 로 설정하여 입술 영역을 검출한다.
바람직하게, 본 발명의 목적에 맞게 얼굴 영역의 세로 및 가로 길이를 등분하는 수치는 다양하게 설정될 수 있음은 물론이다.
바람직하게, 입술검출모듈은 상기에서 서술한 방식 이외에도 본 발명의 목적에 맞게 다른 방식을 채용하도록 설계될 수 있음은 물론이다.
입술 영역이 검출된 후 부터는, 영상획득부(110)에서 전달되는 영상 프레임에서 더 이상 얼굴 및 입술을 검출하지 않고 입술추적모듈에서 입술 영역을 추적하게 된다.
이는 특히 모바일 단말기의 카메라를 이용하여 영상을 촬영하는 경우에 효과적인 것으로서, 한 손으로 단말기를 잡고 촬영함에 따라 프레임마다 영상의 움직임이 심할 수밖에 없는 상황인바 입술 영역의 추적이 더욱 요구된다 하겠다.
입술추적모듈이 입술 영역을 추적하는 방식의 일예를 도 4를 이용하여 서술한다.
기본적으로는, 현재 영상 프레임의 후보 영역과 이전 프레임에서 검출된 입술 영역 사이의 픽셀값의 절대 차이의 합(SAD: Sum of Absolute Difference)을 구하여 이 값이 가장 작은 위치를 현재 프레임의 입술 영역으로 결정하게 된다.
만약 탐색 영역을 이전 위치를 중심으로 15 x 15 영역으로 한다면, 다음과 같이 식으로 표현할 수 있다.
Figure pat00015
Figure pat00016
Figure pat00017

여기에서,
Figure pat00018
는 후보 위치로서
Figure pat00019
이고,
Figure pat00020
는 이전 프레임에서 입술 영역의 픽셀값이고,
Figure pat00021
는 현재 프레임에서의 픽셀값이며,
Figure pat00022
는 이전 프레임에서 입술 영역의 시작 위치를 나타내고,
Figure pat00023
과
Figure pat00024
은 추적하는 입술 영역의 세로길이와 가로길이를 나타낸다.
그러나 상기와 같이 모든 후보 위치에서 계산하게 되면, 15 x 15 x M x N 번의 뺄셈 연산을 필요로 하게 되어 많은 연산을 해야 한다.
따라서 본 발명에서는 3단계 탐색 방식을 적용함으로써, 각 단계에 9개의 후보 위치에서 SAD를 계산하여 총 27 x M x N 번의 연산을 하게 되어 모든 후보 위치에서 SAD를 계산하는 방법보다 8배 정도 연산량을 줄일 수 있게 된다.
실험적으로 검토해보면, 3단계 탐색 방식을 이용하여 연산량을 줄여도 입술영역을 추적하는 정확도에는 문제가 없는 것으로 분석된다.
도 4에서 보듯이, 3단계 탐색 방식의 첫 번째 단계에서는 1번으로 표시되어 있는 9개의 위치에서 SAD 계산을 수행하고 제일 작은 후보 위치를 선택한다.
두 번째 단계에서는 첫 번째 단계에서 SAD 값이 제일 작았던 후보 위치를 중심으로 9개 후보 위치에 대하여 SAD를 계산하게 되며, 좌측 하단의 후보 위치가 첫 번째 단계에서 SAD 값이 제일 작았고 그 점을 중심으로 2번으로 표시되어 있는 후보 위치를 설정하고 SAD 값을 계산하는 것이 나타나 있다.
세 번째 단계에서는 두 번째 단계에서 SAD 값이 제일 작았던 후보 위치를 중심으로 9개 후보 위치에 대하여 SAD를 계산하게 되며, 중앙 하단의 후보 위치가 두 번째 단계에서 SAD 값이 제일 작았고 그 점을 중심으로 3번으로 표시되어 있는 후보 위치를 설정하고 SAD 값을 계산하는 것이 나타나 있다.
도 4에 도시되어 있듯이, 각 단계별로 후보 위치를 정하는 거리가 4, 2, 1로 줄어드는 것을 알 수 있다.
바람직하게, 입술추적모듈은 상기에서 서술한 방식 이외에도 본 발명의 목적에 맞게 다른 방식을 채용하도록 설계될 수 있음은 물론이다.
영상획득부(110)에서 전달되는 영상프레임에서 입술 영역을 추적한 후에는 정규화처리부(130)에서 입술 및 조명을 정규화처리하게 된다.
정규화처리부(130)는 입술정규화모듈 및 조명정규화모듈을 포함한다.
먼저, 입술정규화모듈은 입술 영역을 정규화하는 모듈로서 입술 영역의 크기를 정규화 처리한다.
이는 특히 모바일 단말기의 카메라를 이용하여 영상을 촬영하는 경우에 효과적인 것으로서, 한 손으로 단말기를 잡고 촬영함에 따라 프레임마다 단말기와 얼굴 사이의 거리가 달라질 수밖에 없는 점을 보정하기 위함이다.
구체적으로 보면, 단말기와 얼굴 사이의 거리가 멀어지게 되면 추적되는 입술 영역의 크기가 작아질 수밖에 없으며, 반대의 경우는 커질 수밖에 없는 것을 보정하기 위함이다.
일예로 입술 영역의 크기를 64 X 32 크기로 일정하게 정규화 처리하며, 바람직하게, 표정학습 DB(150)에 저장되어 있는 입술 영역의 크기와 동일하게 정규화 처리되도록 설계된다.
입술 영역의 크기를 정규화 처리한 후에는, 조명의 영향을 배제하기 위하여 조명정규화모듈이 조명을 정규화한다.
도 5를 이용하여 조명정규화모듈이 조명 정규화 처리하는 방식의 일예를 서술한다.
도 5 (a)와 같은 원래 영상에, 종래의 조명 정규화 처리 방식인 표준화, 백색화 및 히스토그램 매칭 방식으로 정규화 처리한 것을 각각 (b), (c), (d)로 표시하였다.
표준화, 백색화 및 히스토그램 매칭 방식은 영상을 전역적으로 보정하기 때문에 영상이 전체적으로 어둡거나 또는 밝은 영상에 대해서 좋은 조명 정규화 효과를 나타낸다.
그러나 이러한 방식들은 조명이 좌측 또는 우측에서 비춰질 때 영상이 영역별로 차이가 생겨서 조명 정규화 효과가 크지 않다는 것으로 분석되는데, 특히 실외에서 모바일 단말기를 한 손으로 잡고 촬영할 때 태양빛이 측면에서 비춰지면 상기의 방식으로는 조명 정규화 효과를 볼 수 없다 하겠다.
따라서 본 발명에서는 종래의 조명 정규화 방식을 보완하기 위해서 사람의 입술 영상이 좌우 대칭이라는 점을 이용한 좌우대칭 평균화 방식과 히스토그램 매칭 방식을 결합하여 정규화 처리를 수행한다.
구체적으로 보면, 검출된 입술 영역에 대하여 먼저 좌우대칭 평균화를 실행해서 국부적인 조명 왜곡을 개선하고, 다음에 좌우 명암이 고르게 분포된 입술 영상에 대하여 히스토그램 매칭을 실행하여 전체적으로 조명을 개선한다.
이는 부분적 조명 정규화를 수행한 후에 전체 조명 정규화를 수행하는 방식으로서, 전체적으로 어둡거나 밝은 영상뿐만 아니라 부분적으로 왜곡되는 조명 현상을 개선할 수 있게 된다.
도 5 (f)에서 보듯이, 조명 변화가 심한 영상에서도 종래 방식에 비하여 조명 정규화 효과가 안정적임을 알 수 있다.
입술 및 조명을 정규화한 후에는, 웃음표정 인식부(140)에서 웃음표정을 인식하고 웃음량을 측정하게 된다.
웃음표정 인식부(140)는 특징벡터추출모듈, 웃음표정인식모듈 및 웃음량측정모듈을 포함하며, 설계조건에 따라서는 웃음량측정모듈을 제외할 수도 있다.
특징벡터추출모듈은 입술 영역으로부터 특징벡터를 추출하여, 웃음표정인식모듈로 특징벡터를 전달한다.
일예로 특징벡터추출모듈은 주성분분석(PCA) 방식을 이용하여 특징벡터를 추출하게끔 구성된다.
바람직하게, 설계조건에 따라서는 주성분분석 방식 이외의 방식이 채용될 수 있음은 물론이다.
웃음표정인식모듈은 특징벡터추출모듈로부터 전달된 특징벡터와 표정학습 DB(150)를 이용하여 웃음표정을 인식한다.
도 6은 웃음표정을 인식하는 방법의 일예이고, 도 7은 표정학습 DB에 사용된 영상의 일예이다.
웃음표정인식모듈은 주성분분석으로 추출한 특징벡터를 표정학습 DB(150)와의 대비를 통해 분류하여 웃음표정을 인식하는 모듈로서, 도 6에는 3계층 역전파 인공신경망을 이용하여 웃음표정을 인식하는 것이 도시되어 있다.
바람직하게, 설계조건에 따라서 웃음표정인식모듈은 다른 분류 방식을 채용할 수 있음은 물론이다.
표정학습 DB(150)에는 다수의 얼굴 영상을 검출 및 추적부(120), 정규화처리부(130) 및 웃음표정 인식부(140)를 통해 무표정에서 활짝 웃는 표정까지 검출 및 분류해놓은 데이터베이스이다.
바람직하게, 표정학습 DB(150)는 본 발명 시스템에서 사용되어지는 방식과 동일한 방식으로 구축된다.
도 7에는 표정학습 DB(150)를 학습하기 위해 적용된 다수의 무표정 및 웃음표정이 도시되어 있다.
설계조건에 따라서, 웃음량측정모듈이 웃음표정 인식부(140)에 포함되어 진다.
웃음량측정모듈은 웃음표정인식모듈에서 인식된 웃음표정의 웃음량을 측정하는 모듈로서, 웃음표정의 웃음량을 표정학습 DB(150)에 이미 학습되어 있는 무표정에서부터 활짝 웃는 표정까지의 정도와 대비하여 웃음량을 측정할 수 있도록 구성된다.
또는, 검출된 얼굴 및 입술의 크기를 이용하여 기하학적으로 무표정에서 최고로 활짝 웃을 수 있는 정도를 특징벡터로 환원하여 웃음량을 0에서 100%로 규정한 후, 인식된 웃음표정의 특징벡터와 대비하도록 설계될 수도 있다.
도 8은 웃음량을 표시하는 그래픽 처리의 일예로서, (a)의 경우와 같이 무표정일 때는 웃음량 막대에 표시가 안 되어 있으나, (b)의 경우와 같이 웃음 표정일 경우에는 웃음량 막대에 실시간으로 표시가 된다.
그래픽처리부(160)는 검출 및 추적부(120), 정규화처리부(130) 및 웃음표정 인식부(140)과 연동되어 검출 과정 및 결과를 그래픽 처리하여 표시해주는 구성요소이다.
설계조건에 따라서, 그래픽처리부(160)에는 사용자가 휴대폰 단말기를 이용하여 본 발명을 전반적으로 이용할 수 있는 인터페이스를 제공하도록 구성한다.
도 9는 본 발명의 일실시예에 따른 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 방법의 순서도이다.
도 1 내지 도 8을 이용하여 서술한 웃음표정 인식 시스템을 방법으로 기재한 것인바 상기 서술된 사항에 준함을 밝혀둔다.
한편, 상기에서 도 1 내지 도 9를 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도 1 내지 도 9의 구성 및 방법에 한정되는 것이 아님은 자명하다.
110 : 영상획득부 120 : 검출 및 추적부
130 : 정규화처리부 140 : 웃음표정 인식부
150 : 표정학습 DB 160 : 그래픽처리부

Claims (8)

  1. 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템으로서,
    단말기 카메라에서 실시간으로 입력되는 영상 또는 단말기에 저장되어 있는 영상을 검출 및 추적부로 전달하는 영상획득부;
    얼굴을 검출한 다음에 입술 영역을 검출한 후에는 입력되는 영상 프레임에서 입술 영역만을 추적하는 검출 및 추적부;
    추적되는 입술 영역의 크기를 정규화하고, 영상의 조명을 정규화하는 정규화처리부;
    정규화된 영상에서 입술 영역의 특징벡터를 추출하고, 표정학습 DB를 이용하여 웃음표정을 인식하는 웃음표정 인식부; 및
    상기 검출 및 추적부, 정규화처리부 및 웃음표정 인식부를 이용하여 다수의 얼굴 표정을 학습해 놓은 표정학습 DB를 포함하는 것을 특징으로 하는, 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템.
  2. 제 1 항에 있어서,
    상기 검출 및 추적부에서 얼굴을 검출하는 방식은 Haar-like 특징 방식과 AdaBoost 방식을 함께 사용하는 것을 특징으로 하는, 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 정규화 처리부에서 영상의 조명을 정규화하기 위해서 좌우대칭 평균화 방식 및 히스토그램 매칭 방식을 함께 사용하는 것을 특징으로 하는, 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템.
  4. 제 1항 또는 제 2 항에 있어서,
    상기 웃음표정 인식부는 웃음량측정모듈을 추가로 포함하되,
    웃음량측정모듈은 인식된 웃음표정의 웃음량을 측정하는 것을 특징으로 하는, 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템.
  5. 단말기 카메라에서 실시간으로 입력되는 영상 또는 단말기에 저장되어 있는 영상을 검출 및 추적부로 전달하는 영상획득단계;
    얼굴을 검출한 다음에 입술 영역을 검출하는 단계;
    입력되는 영상 프레임에서 입술 영역만을 추적하는 단계;
    입술 영역의 크기를 정규화하고, 영상의 조명을 정규화하는 정규화처리단계;
    정규화된 영상에서 입술 영역의 특징벡터를 추출하는 단계; 및
    추출된 특징벡터와 표정학습 DB를 이용하여 웃음표정을 인식하는 단계;를 포함하는 것을 특징으로 하는, 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 방법.
  6. 제 5 항에 있어서,
    상기 얼굴을 검출한 다음에 입술 영역을 검출하는 단계에서, 얼굴을 검출하는 방식은 Haar-like 특징 방식과 AdaBoost 방식을 함께 사용하는 것을 특징으로 하는, 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 입술 영역의 크기를 정규화하고, 영상의 조명을 정규화하는 정규화처리단계에서,
    영상의 조명을 정규화하기 위해서 좌우대칭 평균화 방식 및 히스토그램 매칭 방식을 함께 사용하는 것을 특징으로 하는, 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 방법.
  8. 제 5항 또는 제 6 항에 있어서,
    상기 웃음표정을 인식하는 단계 뒤에,
    인식된 웃음표정의 웃음량을 측정하는 단계를 추가로 포함하는 것을 특징으로 하는, 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 방법.
KR1020100097551A 2010-10-06 2010-10-06 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법 KR101204378B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100097551A KR101204378B1 (ko) 2010-10-06 2010-10-06 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100097551A KR101204378B1 (ko) 2010-10-06 2010-10-06 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120035807A true KR20120035807A (ko) 2012-04-16
KR101204378B1 KR101204378B1 (ko) 2012-11-23

Family

ID=46137652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100097551A KR101204378B1 (ko) 2010-10-06 2010-10-06 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101204378B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124782A (ko) * 2011-05-04 2012-11-14 삼성테크윈 주식회사 디지털 영상 처리 장치 및 방법
CN105956570A (zh) * 2016-05-11 2016-09-21 电子科技大学 基于唇部特征和深度学习的笑脸识别方法
KR20190044781A (ko) * 2017-10-23 2019-05-02 주식회사 네오펙트 화상 환자의 웃음 치료 시스템, 방법 및 프로그램
CN111859025A (zh) * 2020-07-03 2020-10-30 广州华多网络科技有限公司 表情指令生成方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697476B1 (ko) * 2016-09-23 2017-01-19 경북대학교 산학협력단 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124782A (ko) * 2011-05-04 2012-11-14 삼성테크윈 주식회사 디지털 영상 처리 장치 및 방법
CN105956570A (zh) * 2016-05-11 2016-09-21 电子科技大学 基于唇部特征和深度学习的笑脸识别方法
CN105956570B (zh) * 2016-05-11 2019-08-20 电子科技大学 基于唇部特征和深度学习的笑脸识别方法
KR20190044781A (ko) * 2017-10-23 2019-05-02 주식회사 네오펙트 화상 환자의 웃음 치료 시스템, 방법 및 프로그램
CN111859025A (zh) * 2020-07-03 2020-10-30 广州华多网络科技有限公司 表情指令生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR101204378B1 (ko) 2012-11-23

Similar Documents

Publication Publication Date Title
US10574883B2 (en) System and method for guiding a user to take a selfie
WO2019174439A1 (zh) 图像识别方法、装置、终端和存储介质
US10108852B2 (en) Facial analysis to detect asymmetric expressions
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
Chiranjeevi et al. Neutral face classification using personalized appearance models for fast and robust emotion detection
Durga et al. A ResNet deep learning based facial recognition design for future multimedia applications
US20120243751A1 (en) Baseline face analysis
Khatri et al. Facial expression recognition: A survey
KR101204378B1 (ko) 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법
Taini et al. Facial expression recognition from near-infrared video sequences
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
Alvarez et al. A method for facial emotion recognition based on interest points
Saleem et al. Face recognition using facial features
KR20180125756A (ko) 감정인식 인터페이스 장치
Hossain et al. Facial emotion verification by infrared image
Jacintha et al. A review on facial emotion recognition techniques
Lee Detection and recognition of facial emotion using bezier curves
Tu et al. Face and gesture based human computer interaction
Campomanes-Álvarez et al. Automatic facial expression recognition for the interaction of individuals with multiple disabilities
US20220139113A1 (en) Method and device for detecting object in image
Yamamoto et al. Algorithm optimizations for low-complexity eye tracking
Lee et al. Robust emotion recognition algorithm for ambiguous facial expression using optimized AAM and k-NN
Kandemir et al. Facial expression classification with haar features, geometric features and cubic b㉠zier curves
Gowda et al. Facial Expression Analysis and Estimation Based on Facial Salient Points and Action Unit (AUs)
Kumar et al. Facial Gesture Recognition for Emotion Detection: A Review of Methods and Advancements

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171012

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 7