KR100988326B1 - 사용자 맞춤형 표정 인식 방법 및 장치 - Google Patents

사용자 맞춤형 표정 인식 방법 및 장치 Download PDF

Info

Publication number
KR100988326B1
KR100988326B1 KR1020090001296A KR20090001296A KR100988326B1 KR 100988326 B1 KR100988326 B1 KR 100988326B1 KR 1020090001296 A KR1020090001296 A KR 1020090001296A KR 20090001296 A KR20090001296 A KR 20090001296A KR 100988326 B1 KR100988326 B1 KR 100988326B1
Authority
KR
South Korea
Prior art keywords
image
facial expression
aam
sequence
expressionless
Prior art date
Application number
KR1020090001296A
Other languages
English (en)
Other versions
KR20100081874A (ko
Inventor
김대진
천영재
신종주
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020090001296A priority Critical patent/KR100988326B1/ko
Publication of KR20100081874A publication Critical patent/KR20100081874A/ko
Application granted granted Critical
Publication of KR100988326B1 publication Critical patent/KR100988326B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20121—Active appearance model [AAM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

인물의 표정 특징을 효과적으로 표현하면서 조명과 카메라 환경과 같은 외부 요인(artifact) 및 노이즈에 강인한 특징점을 추출함으로써 실시간으로 사람에 독립적인 표정 인식을 가능하게 하는 얼굴 표정 인식 방법 및 장치가 제공된다. 얼굴 표정 인식 방법은 사용자로부터 트레이닝 이미지 시퀀스를 수신하는 단계; 수신된 트레이닝 이미지 시퀀스에 대한 DFEPDM을 학습하며, 학습된 DFEPDM을 이용하여 무표정 이미지를 추출하는 무표정 이미지 추출 단계; 사용자로부터 테스트 이미지 시퀀스를 수신하는 단계; 무표정 이미지 및 테스트 이미지 시퀀스의 AAM) 파라미들 간의 차분치를 이용하여 D-AAM 특징점을 계산하는 D-AAM 특징점 계산 단계; D-AAM 특징점을 학습된 매니폴드 공간으로 투영시켜 차원을 감소시키는 매니폴드 공간 투영 단계; 및 갤러리 시퀀스를 참조하여 매니폴드 공간으로 투영된 D-AAM 특징점들로부터 테스트 이미지 시퀀스의 표정을 인식하는 얼굴 표정 인식 단계를 포함한다. 본 발명에 의하여, 실시간으로 무표정 이미지를 찾고 이를 참조하여 차등-AAM 특징점을 계산할 수 있다.

Description

사용자 맞춤형 표정 인식 방법 및 장치{Method and apparatus for user-customized facial expression recognition}
본 발명은 이미지 분석을 통하여 자연스런 얼굴 표정을 인식하는 방법 및 시스템에 관한 것이다. 특히, 본 발명은 다양한 조명과 카메라 환경에서도 서로 다른 사람의 자연스런 표정을 실시간으로 인식하는 방법에 관한 것이다.
획득된 이미지로부터 사용자의 표정을 추출하기 위한 다양한 기술이 소개되었다. 특히, 이러한 기술은 소형 카메라에도 적용되어, 웃는 표정을 자동으로 감지하고 촬영함으로써 사용자 편의성을 증대시킬 수 있다.
입력 영상으로부터 피사체의 특징을 추적하는 방법에는 연속 이미지 간의 픽셀 변화량을 모델링하여 벡터로 표시하는 방법, 능동 윤곽선을 이용하는 방법, 및 화상 검출 방식 등이 이용된다. 특히, 화상 검출 방식에서는 이미지 신호 중에서 고주파 성분을 추출하여 피사체의 해상도를 산출하고, 피사체의 해상도가 최대로 형성되도록 촬상 장치를 구동하는 데에도 이용된다.
종래의 얼굴 표정 인식 방법에 대해서는 우선 대한민국 특허출원 제10-2001-0019166)호를 참조한다. 이 문헌에 따르면, 확장된 결정 함수를 사용하여 추적하 고자 하는 얼굴의 특징 추적의 정확도를 높이고, 탐색 공간에서 비교 연산수를 감소시킴으로써 처리 속도를 향상시킬 수 있는 기술이 공개된다. 그러나, 이 방법은 무표정으로부터 목적 표정으로의 변화에 대하여 얼굴 표정을 인식하는 방법이지만, 실시간 자동으로 무표정으로 시작하여 목적 표정으로 끝나는 시퀀스를 얻기가 어려울 뿐만 아니라 특정 표정 (무표정 이외의 표정) 으로부터 목적 표정으로 변하는 경우는 인식 자체가 불가능하다는 한계점을 가지고 있다.
또한, 얼굴 표정 인식을 위하여 1999년 서울에서 개최된 IEEE International Conference on Fuzzy System에 소개된 논문은 퍼지논리, 신경망, 퍼지신경망 등의 방법을 사용하고 있다. 특히, 종래의 얼굴 표정 인식 방법에 대한 다른 또다른 얼굴 표정을 인식하는 방법(국내특허 10-2003-0047256)은 얼굴 표정 인식을 위한 전반적인 시스템을 제안하고 있고, 여기서 'Soft computing-based Intention reading through the user's mouth for human-friendly human-robot interaction', Proceedings of SCISamp; ISIS2002, 23Q3-5, 2002를 참조한다. 또한, 얼굴 인식/표정 인식을 위해 불러온 G 영상을 HLS 색변환하여 각각 H, S 및 L 영상을 얻고, 이 영상들에 다양한 이미지 프로세싱 기법을 적용한다. 그러나, 이러한 인식 방법들은 학습 이미지와 유사한 환경에서만 높은 인식률을 보인다는 한계점과 함께 인위적으로 만들어낸 극단의 표정만을 인식한다는 단점을 가진다.
그러므로, 학습 이미지가 촬영된 환경과 상이한 환경에서도 효율적으로 동작할 수 있으며, 사용자별로 맞춤된 얼굴 표정 인식을 용이하게 수행할 수 있는 방법 및 장치가 절실히 요구된다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 목적 인물의 표정 특징을 효과적으로 표현하면서 조명과 카메라 환경과 같은 외부 요인(artifact) 및 노이즈에 강인한 특징점을 추출함으로써 실시간으로 사람에 독립적인 표정 인식을 가능하게 하는 얼굴 표정 인식 방법을 제공하는 것이다.
본 발명의 다른 목적은 표정의 비선형적인 공간에 대하여 학습된 매니폴드 공간상에서 연속적인 정보를 이용하여 표정을 최종적으로 분류함으로써, 극단적 표정 뿐 아니라 자연스런 표정까지도 인식할 수 있는 얼굴 표정 인식 장치를 제공하는 것이다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은 사용자의 무표정 이미지에 기반한 얼굴 표정 인식 방법에 관한 것으로서, 사용자로부터 트레이닝 이미지 시퀀스를 수신하는 단계; 수신된 트레이닝 이미지 시퀀스에 대한 차등 얼굴 표정 확률 밀도 모델(Differential Facial Expression Probability Density Model, DFEPDM)을 학습하며, 학습된 얼굴 표정 확률 밀도 모델(DFEPDM)을 이용하여 무표정 이미지를 추출하는 무표정 이미지 추출 단계; 사용자로부터 테스트 이미지 시퀀스를 수신하는 단계; 무표정 이미지 및 테스트 이미지 시퀀스의 능동 외모 모델(Active Appearance Model, AAM) 파라미터들 간의 차분치를 이용하여 차등-AAM(differential AAM, D-AAM) 특징점을 계산하는 D-AAM 특징점 계산 단계; D-AAM 특징점을 학습된 매니폴드 공간(manifold space)으로 투영시켜 차원을 감소시키는 매니폴드 공간 투영 단계; 및 갤러리 시퀀스(gallery sequence)를 참조하여 매니폴드 공간으로 투영된 D-AAM 특징점들로부터 테스트 이미지 시퀀스의 표정을 인식하는 얼굴 표정 인식 단계를 포함한다. 특히, 갤러리 시퀀스는 매니폴드 공간상에서 무표정으로부터 소정의 목적 표정으로의 변화에 대한 차등-AAM 특징점 시퀀스를 이용하여 생성되는 것을 특징으로 한다.
본 발명에 의한 얼굴 표정 인식 방법에 포함되는 무표정 이미지 추출 단계는, 가우시안 커널(Gaussian kernel)을 이용하여 양/음의 방향을 가지는 특징점들의 밀도 함수를 추정하는 단계; 및 양의 방향의 밀도 함수에서 음의 방향의 밀도 함수를 감산하여 차등 얼굴 표정 확률 밀도 모델(DFEPDM)을 생성하는 단계를 포함하는 것을 특징으로 한다.
더 나아가, D-AAM 특징점 계산 단계는, 트레이닝 이미지 시퀀스로부터 실시간으로 무표정 이미지를 추출하는 단계; 및 추출된 무표정 이미지 및 테스트 이미지 시퀀스들로부터 D-AAM 특징점을 계산하는 단계를 포함하는 것을 특징으로 한다.
뿐만 아니라, 매니폴드 공간 투영 단계는, 테스트 이미지 시퀀스에 대한 D-AAM 특징점의 비선형성을 용이하게 표현하도록 학습된 매니폴드 공간으로 투영시킴으로써, 얼굴 표정의 특징점들의 차원을 감소시키는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은 사용자의 무표정 이미지에 기반한 얼굴 표정 인식 장치에 관한 것으로서, 사용자로부터 트레이닝 이미 지 시퀀스 및 테스트 이미지 시퀀스를 수신하기 위한 이미지 수신부 및 수신된 이미지 시퀀스를 분석하여 사용자의 얼굴 표정을 인식하기 위한 이미지 프로세서를 포함한다. 얼굴 표정 인식 장치에 포함되는 이미지 프로세서는, 수신된 트레이닝 이미지 시퀀스에 대한 차등 얼굴 표정 확률 밀도 모델(DFEPDM)을 학습하며, 학습된 얼굴 표정 확률 밀도 모델(DFEPDM)을 이용하여 무표정 이미지를 추출하고, 무표정 이미지 및 테스트 이미지 시퀀스의 능동 외모 모델(AAM) 파라미터들 간의 차분치를 이용하여 D-AAM 특징점을 계산하며, D-AAM 특징점을 학습된 매니폴드 공간으로 투영시켜 차원을 감소시키고, 매니폴드 공간상에서 무표정으로부터 소정의 목적 표정으로의 변화에 대한 차등-AAM 특징점 시퀀스를 이용하여 갤러리 시퀀스를 생성하며, 및 갤러리 시퀀스를 참조하여 매니폴드 공간으로 투영된 D-AAM 특징점들로부터 테스트 이미지 시퀀스의 표정을 인식하도록 적응되는 것을 특징으로 한다.
특히, 본 발명에 의한 얼굴 표정 인식 장치에 포함되는 이미지 프로세서는 시퀀스 기반의 k-NNS 분류 알고리즘을 이용하여 얼굴 표정을 인식하도록 더욱 적응되는 것을 특징으로 한다. 뿐만 아니라, 이미지 프로세서는 인접한 두 시퀀스 사이의 거리 및 시간을 반영하는 가중치를 고려하여 두 시퀀스의 유사성을 판단하고, 테스트 이미지 시퀀스 및 갤러리 시퀀스 사이의 유사성에 기반하여 테스트 이미지 시퀀스의 얼굴 표정을 인식하도록 적응되는 것을 특징으로 한다.
본 발명에 의하여, 실시간으로 무표정 이미지를 찾고 이를 참조하여 차등-AAM 특징점을 계산하므로, 이 과정에서 사람에 따른 변이 뿐 아니라, 조명, 카메라 등의 변이도 제거하는 효과를 가진다.
또한, 매니폴드 학습 기법을 이용함으로써, 얼굴 표정 특징점이 구성하는 비선형 공간을 효과적으로 표현하면서도 차원을 낮출 수 있다.
더 나아가, 방향성 하우스드로프 거리(directed Hausdorff distance, DHD)를 이용한 k-NNS 방법을 채택하여, 시퀀스 정보를 이용함과 동시에 표정 인식 시점에 가까운 특징점들의 거리에는 가중치를 주게 되므로 무표정에서 목적 표정으로의 변화에서 뿐만 아니라, 특정 표정에서 특정 표정으로의 변화, 특정 표정에서 유지되는 입력 시퀀스에 대하여도 효과적으로 얼굴 표정을 인식할 수 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명에 의한 표정 인식 방법(100)을 설명하기 위한 흐름도이다.
우선, 사용자로부터 트레이닝 이미지 시퀀스가 수신된다(S110). 트레이닝 이미지 시퀀스란 사용자의 무표정 이미지를 추출하기 위하여 획득되는 일련의 이미지 시퀀스를 의미한다. 예를 들어, 트레이닝 이미지 시퀀스는 카메라 장치를 이용하여 수 초 동안 촬영된 이미지 프레임들일 수 있다.
능동 외모 모델(AAM)이란, 다양한 얼굴 이미지를 효과적으로 표현하기 위한 모델링 기법 중 하나로서, 주성분 분석(principal component analysis) 기법을 이용한 선형 모델의 파라미터이다. 그런데, 능동 외모 모델(AAM) 파라미터에는 얼굴 표정의 특징 뿐만 아니라, 촬영 당시의 조명, 화이트 밸런스, 선명도 등의 다양한 외부 요인들도 포함된다. 따라서, 얼굴 표정을 제외한 이러한 요소들을 제외하기 위하여 본 발명에서는 어느 이미지의 능동 외모 모델(AAM) 파라미터를 그대로 이용하는 것이 아니라, 동일한 사용자의 무표정 이미지의 능동 외모 모델(AAM)을 이용하여 AAM 파라미터의 차분치(D-AAM)를 계산한다. D-AAM은 형상 파라미터 및 외모 파라미터 능동 외모 모델(AAM) 파라미터는 형상 모델(shape model) 및 외모 모델(appearance model)에 의하여 표현되는 파라미터로서, 이에 대해서는 도 3에 간략히 예시된다. 예를 들어, D-AAM은 형상 파라미터 벡터, 외모 파라미터 벡터의 결합(concatenation)을 통하여 연산될 수 있다.
트레이닝 이미지 시퀀스가 수신되면, 이들의 차등-AAM(D-AAM) 특정점이 수학식 1과 같이 계산된다.
Figure 112009000927708-pat00001
수학식 1에서
Figure 112009000927708-pat00002
는 시간 t 에서의 입력 이미지의 D-AAM 특징점이며,
Figure 112009000927708-pat00003
는 시간 t에서의 AAM 파라미터이고,
Figure 112009000927708-pat00004
는 참조 얼굴 이미지의 AAM 파라미터이다.
수학식 1에서 알 수 있는 바와 같이, D-AAM 특징점을 계산하기 위하여는 참조 얼굴 이미지의 AAM 파라미터
Figure 112009000927708-pat00005
가 필요하다. 본 발명에 의한 얼굴 표정 인식 방법에서는 무표정 이미지를 참조 얼굴 이미지로 사용한다. 무표정 이미지를 참조 이미지를 사용하는 이유는, 다양한 사용자들의 표정의 특징들을 추출하면 이러한 특징점들이 유사한 성질을 가진다는 점 및 무표정한 표정으로부터 다양한 표정을 자유롭게 표현할 수 있기 때문이다.
이하, 일련의 트레이닝 이미지 시퀀스로부터 무표정 이미지를 추출하기 위한 방법에 대해서 설명한다.
본 발명에서는 무표정에 가장 가까운 이미지를 찾기 위하여, 차등 얼굴 표정 확률 밀도 모델(Differential Facial Expression Probability Density Model, DFEPDM)를 학습한다(S120). 이 경우, 무표정 이미지로부터 특정 표정으로 변화하는 방향에 양의 값을 부여하고, 반대로 특정 표정으로부터 무표정으로 변화하는 방향에 음의 방향성을 부여할 수 있다. 어떤 얼굴 이미지가 무표정인지 모르는 상태 에서 DFEPDM은 무표정을 참조 얼굴 이미지로 하여 계산된 D-AAM 특징점(양의 방향의 D-AAM 특징점) 에 대하여는 높은 값을 반환하고, 특정 표정(화남, 웃음, 놀람)의 표정을 참조 얼굴 이미지로 하여 계산된 D-AAM 특징점(음의 방향의 D-AAM 특징점)에 대하여는 낮은 값을 반환할 수 있도록 학습될 수 있다.
이와 같은 DFEPDM의 학습을 위하여 양/음의 방향의 D-AAM 특징점들은 각각의
Figure 112009000927708-pat00006
과
Figure 112009000927708-pat00007
의 가우시안 커널을 이용한 밀도 함수를 추정한다. 여기서
Figure 112009000927708-pat00008
와
Figure 112009000927708-pat00009
는 양/음의 방향 각각의 가우시 함수의 분산이다. 그러면, 이를 이용하여 차등 얼굴 표정 확률 밀도 모델(DFEPDM)은 다음 수학식 2와 같이 연산된다.
Figure 112009000927708-pat00010
실시간 입력 시퀀스에 대하여 각 이미지를 참조 얼굴 이미지로 하여 D-AAM 특징점을 계산하고 이에 대한 DFEPDM에서의 값을 계산하여 가장 높은 값을 얻은 참조 얼굴 이미지는 학습된 DFEPDM에서 양의 방향의 D-AAM 특징점에 가장 부합하고 음의 방향의 D-AAM 특징점에는 가장 덜 부합한 의미를 가지며, 이를 근거로 무표정일 확률이 높다고 추정 할 수 있다. 이러한 방법으로 찾은 무표정 얼굴 이미지를 이용하여 수학식 1과 같이 D-AAM 특징점을 계산한다.
이와 같이 무표정 이미지가 결정되면, 사용자의 테스트 이미지 시퀀스를 다시 수신한다(S130). 테스트 이미지 시퀀스도 트레이닝 이미지 시퀀스와 같이 카메라 등의 촬상 장치를 이용하여 생성될 수 있음은 물론이다.
그러면, 무표정 이미지 및 테스트 이미지 시퀀스의 능동 외모 모델(AAM) 파라미터의 차이를 이용하여 D-AAM 특징점을 계산한다(S140).
이 과정에서, 얼굴 표정에 대한 D-AAM 특징점은 비선형 공간상에서 변화하므로 이를 비선형 모델을 이용하여 차원을 감소(dimension reduction)시키는 것이 바람직하다. 따라서, D-AAM 특징점을 학습된 매니폴드 공간으로 투영시킨다(S150). 본 발명에서는 매니폴드 학습의 방법 가운데 2000년 Science지에 개제된 Tenenbaum의 "A global geometric framework for nonlinear dimensionality reduction"에서 제안하고 있는 k-Isomap을 이용하여 얼굴 표정 공간을 학습하였으나, 본 발명은 이에 한정되는 것이 아니다. 일반적으로 매니폴드는 사람마다 상이하므로, 매니폴드 공간은 각 사용자에 대해서 개별적으로 학습되어야 한다. 하지만, 무표정 이미지로부터 특정 표정으로의 변화가 사람 간에 유사하기 때문에 본 발명에 의한 얼굴 표정 인식 방법에서는 공통의 매니폴드 공간을 학습할 수 있다.
이와 같이 D-AAM 특징점이 매니폴드 공간에 투영되면, 시퀀스 기반의 알고리즘을 이용하여 얼굴 표정의 인식을 수행한다(S160). 특히, 본 발명은 최근접 이웃 시퀀스(k-NNS) 분류 알고리즘을 이용할 수 있는데, 이것은 종래의 최근접 이웃(k-NN, k-nearest neighbors) 분류 알고리즘이 정적으로 하나의 이미지만을 가지고 분류 작업을 수행하는 대신에 동적인 데이터를 처리할 수 있도록 다음 수학식 3과 같이 알고리즘을 확장시킨 것이다. k-NNS는 학습 과정에서 다음 수학식 3과 같은 갤러리를 생성한다.
Figure 112009000927708-pat00011
수학식 3에서 S는 하나의 시퀀스를 의미하고,
Figure 112009000927708-pat00012
는 무표정에서 특정 표정(무표정, 화남, 웃음, 놀람)으로 변하는 D-AAM 특징점들을 학습된 매니폴드 공간으로 투영한 i번째 시퀀스이며,
Figure 112009000927708-pat00013
는 i번째 시퀀스의 얼굴 표정 클래스를 의미하고,
Figure 112009000927708-pat00014
는 갤러리의 시퀀스의 총수이다.
실시간에서의 k-NNS의 테스트 과정은 다음과 같다. 입력 시퀀스,
Figure 112009000927708-pat00015
와 갤러리상의 i번째 참조 시퀀스
Figure 112009000927708-pat00016
사이의 거리를 측정하기 위하여 방향성 하우스드로프 거리 (Directed Hausdorff Distance, DHD)를 다음 수학식 4와 같이 정의한다.
Figure 112009000927708-pat00017
여기서
Figure 112009000927708-pat00018
는 방향성에 대응하는 상수이다.
Figure 112009000927708-pat00019
는 상수값
Figure 112009000927708-pat00020
값에 따라서 최근 정보에 가중치를 두는 가중치 인자로서의 역할을 가지며 다음 수학식 5와 같이 계산된다.
Figure 112009000927708-pat00021
즉,
Figure 112009000927708-pat00022
값이 0이면 모든 시퀀스 상의 특징점들 간의 거리들이 같은 가중치를 가지게 되며,
Figure 112009000927708-pat00023
값이 커질수록 표정인식을 하는 시점에 가까운 특징점들간의 거리는 더 높은 가중치를 취하게 된다. j는 X 시퀀스의 i 번째 특징점에 대응하는 Y 시퀀스 상에서의 특징점의 인덱스로서, 다음 수학식 6과 같이 연산된다.
Figure 112009000927708-pat00024
DHD를 이용하여 입력 시퀀스와 갤러리상의 시퀀스들 간의 거리를 계산하고 나면 k 개의 인접 시퀀스를 찾고 다수 투표(majority voting) 방법을 이용하여 가장 많이 선택된 얼굴 표정 클래스로 입력 시퀀스의 얼굴 표정을 분류 인식한다(S160).
다시 말하면, 본 발명에 따르는 얼굴 표정 인식 방법은 입력되는 시퀀스 이미지에 대하여 무표정에 가장 가까운 이미지를 추정하는 단계, 무표정 이미지의 능동 외모 모델(AAM) 파라미터로부터 입력 이미지의 AAM 파라미터로의 차이로 정의되는 차등-AAM 특징점을 계산하는 단계, 이렇게 얻어진 얼굴 표정 이미지에 대한 차등-AAM 특징점의 비선형 구조를 잘 표현할 수 있도록 학습된 매니폴드 공간으로 투영시키는 단계, 및 시퀀스 기반의 최근접 이웃(k-NN) 분류 알고리즘을 이용하여 표정을 인식하는 단계를 포함한다.
도 2는 본 발명의 다른 측면에 의한 얼굴 표정 인식 장치에 포함되는 이미지 프로세서를 개념적으로 나타내는 블록도이다.
프로세서(200)는 제1 및 제2 능동 외모 모델(AAM) 파라미터 추출부(210, 215), 제1 및 제2 D-AAM 특징점 추출부(220, 225), 제1 및 제2 매니폴드 공간 매핑부(240, 250), DFEPDM 연산부(230), 갤러리 시퀀스 생성부(260) 및 시퀀스 기반 분류부(270)를 포함한다. 시퀀스 기반 분류부(270)는 DHD 연산부(280) 및 K-NNS 처리부(290)를 포함한다. 도시된 이미지 프로세서(200)에서, 제1 능동 외모 모델(AAM) 파라미터 추출부(210), 제1 D-AAM 특징점 추출부(220), 및 제1 매니폴드 공간 매핑부(240)는 트레이닝 이미지 시퀀스를 처리하는데 관련되고, 제2 능동 외모 모델(AAM) 파라미터 추출부(215), 제2 D-AAM 특징점 추출부(225), 및 제2 매니폴드 공간 매핑부(250)는 테스트 이미지 시퀀스를 처리하는데 관련된다.
능동 외모 모델(AAM) 파라미터 추출부(210), 제1 D-AAM 특징점 추출부(220), 및 DFEPDM 연산부(230)는 수신된 트레이닝 이미지 시퀀스에 대한 차등 얼굴 표정 확률 밀도 모델(DFEPDM)을 학습한다. 특히, DFEPDM 연산부(230)는 학습된 얼굴 표정 확률 밀도 모델(DFEPDM)을 이용하여 무표정 이미지를 추출한다.
학습된 DFEPDM은 제1 매니폴드 공간 매핑부(240)에 의하여 매니폴드 공간으로 매핑된다. 그러면, 갤러리 시퀀스 생성부(260)는 매니폴드 공간상에서 무표정으로부터 소정의 목적 표정으로의 변화에 대한 차등-AAM 특징점 시퀀스를 이용하여 갤러리 시퀀스를 생성한다.
이와 같이, 매니폴드 공간 및 갤러리 시퀀스가 생성되면, 제2 능동 외모 모델(AAM) 파라미터 추출부(215)는 테스트 이미지 시퀀스를 수신하여 능동 외모 모델(AAM) 파라미터를 추출한다. 그러면, 제2 D-AAM 특징점 추출부(225)는 이미 획 득된 무표정 이미지 및 수신된 테스트 이미지 시퀀스의 능동 외모 모델(AAM) 파라미터들 간의 차분치를 이용하여 D-AAM 특징점을 계산한다. 계산된 D-AAM 특징점은 제2 매니폴드 공간 매핑부(250)에 의하여 학습된 매니폴드 공간으로 투영된다. 그러면, D-AAM 특징점들의 차원이 감소된다.
DHD 연산부(280)는 투영된 D-AAM 특징점 및 갤러리 시퀀스 생성부(260)로부터 수신된 갤러리 시퀀스를 이용하여 DHD를 연산한다. 또한, 연산된 DHD는 K-NNS 처리부(290)에 입력된다. 그러면, K-NNS 처리부(290)는 가장 근접한 k 개의 시퀀스를 획득하고, 인접한 두 시퀀스 사이의 거리 및 시간을 반영하는 가중치를 고려하여 두 시퀀스의 유사성을 판단하고, 상기 테스트 이미지 시퀀스 및 상기 갤러리 시퀀스 사이의 유사성에 기반하여 테스트 이미지 시퀀스의 얼굴 표정을 인식한다.
도 4는 전술된 바와 같이 학습된 D-AAM 특징점들을 도시한다. 도 4a는 양의 방향의 D-AAM 특징점과 밀도 함수를, 도 4b는 음의 방향의 D-AAM 특징점과 밀도 함수를, 그리고 도 4c는 수학식 2에 의하여 얻어진 차등 얼굴 표정 확률 밀도 모델(DFEPDM)을 도시한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 촬상된 영상으로부터 외란의 영향을 감소시킨 채 사용자의 얼굴의 다양한 표정을 용이하게 추출하기 위한 방법 및 장치에 적용될 수 있다.
도 1은 본 발명의 일 측면에 의한 얼굴 표정 인식 방법을 나타내는 흐름도이다.
도 2는 본 발명의 다른 측면에 의한 얼굴 표정 인식 장치에 포함되는 이미지 프로세서를 개념적으로 나타내는 블록도이다.
도 3은 본 발명에 적용된 능동 외모 모델(AAM)이 형상 파라미터(shape parameter) 및 외모 파라미터(appearance parameter)로 이루어지는 것을 개념적으로 나타내는 도면이다.
도 4a 내지 도 4c는 무표정 이미지를 찾기 위하여 적용된 차등 얼굴 표정 확률 밀도 모델(DFEPDM)을 설명하기 위한 도면으로서, 도 4a는 무표정을 참조 표정으로 하여 계산된 차등-AAM 특징점과 이를 가우시안 커널을 이용하여 추정한 밀도함수를 도시한다.
도 4b는 특정 표정을 참조 표정으로 하여 계산된 차등-AAM 특징점과 이를 가우시안 커널을 이용하여 추정한 밀도 함수를 도시한다.
도 4c는 상기의 밀도 함수들을 이용하여 만들어진 DFEPDM을 도시한다.

Claims (12)

  1. 사용자의 무표정 이미지에 기반한 얼굴 표정 인식 방법에 있어서,
    사용자로부터 트레이닝 이미지 시퀀스를 수신하는 단계;
    수신된 트레이닝 이미지 시퀀스에 대한 차등 얼굴 표정 확률 밀도 모델(Differential Facial Expression Probability Density Model, DFEPDM)을 학습하며, 학습된 상기 얼굴 표정 확률 밀도 모델(DFEPDM)을 이용하여 무표정 이미지를 추출하는 무표정 이미지 추출 단계;
    사용자로부터 테스트 이미지 시퀀스를 수신하는 단계;
    상기 무표정 이미지 및 상기 테스트 이미지 시퀀스의 능동 외모 모델(Active Appearance Model, AAM) 파라미터들 간의 차분치를 이용하여 차등-AAM(differential AAM, D-AAM) 특징점을 계산하는 D-AAM 특징점 계산 단계;
    상기 D-AAM 특징점을 학습된 매니폴드 공간(manifold space)으로 투영시켜 차원을 감소시키는 매니폴드 공간 투영 단계; 및
    갤러리 시퀀스(gallery sequence)를 참조하여 상기 매니폴드 공간으로 투영된 상기 D-AAM 특징점으로부터 상기 테스트 이미지 시퀀스의 표정을 인식하는 얼굴 표정 인식 단계를 포함하며,
    상기 갤러리 시퀀스는 상기 매니폴드 공간상에서 무표정으로부터 소정의 목적 표정으로의 변화에 대한 D-AAM 특징점을 이용하여 생성되고,
    상기 무표정 이미지 추출 단계는, 가우시안 커널(Gaussian kernel)을 이용하여 양/음의 방향의 특징점들의 밀도 함수를 추정하는 단계; 및 양의 방향의 밀도 함수에서 음의 방향의 밀도 함수를 감산하여 상기 차등 얼굴 표정 확률 밀도 모델(DFEPDM)을 생성하는 단계를 포함하고,
    상기 D-AAM 특징점 계산 단계는, 상기 트레이닝 이미지 시퀀스로부터 실시간으로 무표정 이미지를 추출하는 단계; 및 추출된 무표정 상기 이미지 및 상기 테스트 이미지 시퀀스들로부터 상기 D-AAM 특징점을 계산하는 단계를 포함하는 것을 특징으로 하는 얼굴 표정 인식 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 매니폴드 공간 투영 단계는,
    상기 테스트 이미지 시퀀스에 대한 상기 D-AAM 특징점의 비선형성을 표현하도록 학습된 상기 매니폴드 공간으로 투영시킴으로써, 상기 얼굴 표정의 특징점들의 차원을 감소시키는 단계를 포함하는 것을 특징으로 하는 얼굴 표정 인식 방법.
  5. 제1항에 있어서, 상기 얼굴 표정 인식 단계는,
    시퀀스 기반의 k-NNS 분류 알고리즘을 이용하여 수행되는 것을 특징으로 하는 얼굴 표정 인식 방법.
  6. 제5항에 있어서, 상기 얼굴 표정 인식 단계는,
    인접한 두 시퀀스 사이의 거리 및 시간을 반영하는 가중치를 고려하여 두 시퀀스의 유사성을 판단하는 단계; 및
    상기 테스트 이미지 시퀀스 및 상기 갤러리 시퀀스 사이의 유사성에 기반하여 상기 테스트 이미지 시퀀스의 얼굴 표정을 인식하는 단계를 포함하는 것을 특징으로 하는 얼굴 표정 인식 방법.
  7. 사용자의 무표정 이미지에 기반한 얼굴 표정 인식 장치에 있어서,
    사용자로부터 트레이닝 이미지 시퀀스 및 테스트 이미지 시퀀스를 수신하기 위한 이미지 수신부; 및
    수신된 이미지 시퀀스를 분석하여 사용자의 얼굴 표정을 인식하기 위한 이미지 프로세서를 포함하며, 상기 이미지 프로세서는,
    수신된 트레이닝 이미지 시퀀스에 대한 차등 얼굴 표정 확률 밀도 모델(DFEPDM)을 학습하며, 학습된 상기 얼굴 표정 확률 밀도 모델(DFEPDM)을 이용하여 무표정 이미지를 추출하고,
    상기 무표정 이미지 및 상기 테스트 이미지 시퀀스의 능동 외모 모델(AAM) 파라미터들 간의 차분치를 이용하여 D-AAM 특징점을 계산하며,
    상기 D-AAM 특징점을 학습된 매니폴드 공간으로 투영시켜 차원을 감소시키고, 상기 매니폴드 공간상에서 무표정으로부터 소정의 목적 표정으로의 변화에 대한 D-AAM 특징점을 이용하여 갤러리 시퀀스를 생성하며, 및
    상기 갤러리 시퀀스를 참조하여 상기 매니폴드 공간으로 투영된 상기 D-AAM 특징점들로부터 상기 테스트 이미지 시퀀스의 표정을 인식하고,
    상기 이미지 프로세서는, 가우시안 커널(Gaussian kernel)을 이용하여 양/음 방향의 특징점들의 밀도 함수를 추정하고, 양의 방향의 밀도 함수에서 음의 방향의 밀도 함수를 감산하여 상기 차등 얼굴 표정 확률 밀도 모델(DFEPDM)을 생성함으로써 상기 무표정 이미지를 추출하고,
    상기 이미지 프로세서는, 상기 트레이닝 이미지 시퀀스로부터 실시간으로 무표정 이미지를 추출하고, 추출된 무표정 상기 이미지 및 상기 테스트 이미지 시퀀스들로부터 상기 D-AAM 특징점을 계산함으로써, 상기 D-AAM 특징점을 계산하도록 된 것을 특징으로 하는 얼굴 표정 인식 장치.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서, 상기 이미지 프로세서는,
    상기 테스트 이미지 시퀀스에 대한 상기 D-AAM 특징점의 비선형성을 표현하도록 학습된 상기 매니폴드 공간으로 투영시킴으로써, 상기 얼굴 표정의 특징점들의 차원을 감소시키도록 된 것을 특징으로 하는 얼굴 표정 인식 장치.
  11. 제7항에 있어서, 상기 이미지 프로세서는,
    시퀀스 기반의 k-NNS 분류 알고리즘을 이용하여 상기 얼굴 표정을 인식하도록 된 것을 특징으로 하는 얼굴 표정 인식 장치.
  12. 제11항에 있어서, 상기 이미지 프로세서는,
    인접한 두 시퀀스 사이의 거리 및 시간을 반영하는 가중치를 고려하여 두 시퀀스의 유사성을 판단하고, 상기 테스트 이미지 시퀀스 및 상기 갤러리 시퀀스 사이의 유사성에 기반하여 상기 테스트 이미지 시퀀스의 얼굴 표정을 인식하도록 된 것을 특징으로 하는 얼굴 표정 인식 장치.
KR1020090001296A 2009-01-07 2009-01-07 사용자 맞춤형 표정 인식 방법 및 장치 KR100988326B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090001296A KR100988326B1 (ko) 2009-01-07 2009-01-07 사용자 맞춤형 표정 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090001296A KR100988326B1 (ko) 2009-01-07 2009-01-07 사용자 맞춤형 표정 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100081874A KR20100081874A (ko) 2010-07-15
KR100988326B1 true KR100988326B1 (ko) 2010-10-18

Family

ID=42642204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090001296A KR100988326B1 (ko) 2009-01-07 2009-01-07 사용자 맞춤형 표정 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100988326B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115937A1 (ko) * 2015-12-30 2017-07-06 단국대학교 산학협력단 가중치 보간 맵을 이용한 표정 합성 장치 및 방법
US10242249B2 (en) 2014-11-19 2019-03-26 Samsung Electronics Co., Ltd. Method and apparatus for extracting facial feature, and method and apparatus for facial recognition

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198322B1 (ko) * 2011-09-23 2012-11-06 (주) 어펙트로닉스 얼굴 표정 인식 방법 및 시스템
KR101149603B1 (ko) * 2011-10-14 2012-05-29 (주)올라웍스 표정 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
KR101309954B1 (ko) * 2012-07-20 2013-09-17 고려대학교 산학협력단 대화형 표정 인식 장치 및 방법과 이에 관한 기록매체
US9405962B2 (en) 2012-08-14 2016-08-02 Samsung Electronics Co., Ltd. Method for on-the-fly learning of facial artifacts for facial emotion recognition
KR101645088B1 (ko) 2014-07-10 2016-08-02 김연성 조립식 배
WO2017164478A1 (ko) * 2016-03-25 2017-09-28 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080095680A (ko) * 2007-04-25 2008-10-29 포항공과대학교 산학협력단 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080095680A (ko) * 2007-04-25 2008-10-29 포항공과대학교 산학협력단 3차원 실린더 헤드 모델을 이용한 얼굴 제스처 인식 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
이정호, 박현, 문영식, "비선형 피부색 변화 모델을 이용한 실감적인 표정 합성", 전자공학회논문지 CI편, 제43권 제3호, pp. 67-75, 2006년 5월. *
이정호, 조은옥, 김대진, 방승양, "비선형 매니폴드 학습을 이용한 얼굴 이미지 합성", 정보과학회논문지: 소프트웨어 및 응용 제31권 제2호, pp. 182-188, 2004년 2월. *
천영재, 신종주, 성재원, 김대진, "매니폴드 학습을 이용한 자연스런 표정인식", 한국정보과학회, 2007년도 한국정보과학회 가을 학술발표논문집 제34권 제2호(A), pp. 211-212, 2007.10. *
천영재, 신종주, 성재원, 김대진, "매니폴드 학습을 이용한 자연스런 표정인식", 한국정보과학회, 2007년도 한국정보과학회 가을 학술발표논문집 제34권 제2호(A), pp. 211-212, 2007.10.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242249B2 (en) 2014-11-19 2019-03-26 Samsung Electronics Co., Ltd. Method and apparatus for extracting facial feature, and method and apparatus for facial recognition
WO2017115937A1 (ko) * 2015-12-30 2017-07-06 단국대학교 산학협력단 가중치 보간 맵을 이용한 표정 합성 장치 및 방법

Also Published As

Publication number Publication date
KR20100081874A (ko) 2010-07-15

Similar Documents

Publication Publication Date Title
KR100988326B1 (ko) 사용자 맞춤형 표정 인식 방법 및 장치
US7957560B2 (en) Unusual action detector and abnormal action detecting method
KR100474848B1 (ko) 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US6502082B1 (en) Modality fusion for object tracking with training system and method
Simo-Serra et al. Single image 3D human pose estimation from noisy observations
JP5675229B2 (ja) 画像処理装置及び画像処理方法
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
JP4682820B2 (ja) オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP6904651B2 (ja) 複数の認識エンジンを用いて人物の行動を認識するプログラム、装置及び方法
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
US20220366570A1 (en) Object tracking device and object tracking method
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
KR101959436B1 (ko) 배경인식을 이용한 물체 추적시스템
JP5127582B2 (ja) 対象物判定装置及びプログラム
Babu et al. Subject independent human action recognition using spatio-depth information and meta-cognitive RBF network
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법
KR102270009B1 (ko) 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
KR100996209B1 (ko) 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
Anusha et al. Improving the performance of video tracking using SVM
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
Alletto et al. Egocentric object tracking: an odometry-based solution
JP4942197B2 (ja) テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee