KR101451854B1 - 얼굴 표정 인식 장치 및 그 방법 - Google Patents

얼굴 표정 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR101451854B1
KR101451854B1 KR1020130120487A KR20130120487A KR101451854B1 KR 101451854 B1 KR101451854 B1 KR 101451854B1 KR 1020130120487 A KR1020130120487 A KR 1020130120487A KR 20130120487 A KR20130120487 A KR 20130120487A KR 101451854 B1 KR101451854 B1 KR 101451854B1
Authority
KR
South Korea
Prior art keywords
face
facial expression
feature
observation
model
Prior art date
Application number
KR1020130120487A
Other languages
English (en)
Inventor
김동주
이상헌
손명규
김현덕
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020130120487A priority Critical patent/KR101451854B1/ko
Application granted granted Critical
Publication of KR101451854B1 publication Critical patent/KR101451854B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

본 발명은 얼굴 표정 인식 장치 및 그 방법에 관한 것이다.
본 발명의 얼굴 표정 인식 장치는 촬영된 영상 정보로부터 얼굴 영역을 검출하는 얼굴 영역 검출부; 상기 검출된 얼굴 영역을 기 설정된 크기 이상의 얼굴 블록으로 분할하고, 각각의 얼굴 블록으로부터 특징 벡터를 추출하는 특징 벡터 추출부; 얼굴 표정 인식을 위한 샘플 데이터를 저장하는 저장부; 및 상기 추출된 특징 벡터를 기초로 상기 2D-DCT 방식을 적용하여 특징 파라미터를 계산하고, 상기 계산된 특징 파라미터들을 이용하여 관측 벡터열들을 생성하고, 상기 관측 벡터열들과 기 설정된 표정 인식 모델의 샘플 데이터들 간의 관측 확률값을 계산하여, 가장 높은 관측 확률값을 갖는 모델을 얼굴 표정을 결정하는 얼굴 표정 결정부를 포함한다.
이러한, 본 발명에 따르면, 기존의 표정 인식 접근 방법과는 상이하게, 2D-DCT 알고리즘과 통계적 모델링 기법인 EHMM 방식을 이용하여 정확도 높게 얼굴 표정을 인식할 수 있는 효과를 기대할 수 있다.

Description

얼굴 표정 인식 장치 및 그 방법{APPARATUS FOR RECONGNIZING FACE EXPRESSION AND METHOD THEREOF}
본 발명은 얼굴 표정 인식 장치 및 그 방법에 관한 것으로, 2D-DCT(Two-Dimensional Discrete Cosine Transform) 알고리즘과 통계적 모델링 기법인 EHMM(Embedded Hidden Markov Model)을 이용하여 얼굴 표정을 인식할 수 있는 얼굴 표정 인식 장치 및 그 방법을 제공하기 위한 것이다.
얼굴 표정 인식 기술은 크게 모델 기반과 영상 기반의 두 가지 주요 분야로 나눌 수 있다.
모델 기반 방법은 얼굴에서 주요한 특징점을 검출하고 얼굴 근육의 움직임을 파악하여 표정을 인식하는 방법으로 얼굴의 자세, 가려짐 등에 강인한 신뢰성 높은 인식 기법이다. 하지만, 정확한 특징점들의 위치를 찾아야 하며, 이러한 전처리 과정으로 속도가 느려져 실시간 표정 인식에 부적합하다는 단점을 갖는다.
반면, 영상 기반 방식은 관심 대상에 대한 구체적 지식에 의존하지 않고 얼굴 영상에서 특징을 추출하여 표정 인식을 수행하는 방법으로, 고해상도 영상에서 특징점을 찾고 시작해야 하는 모델 기반 방법에 비해 빠르고 간단하다는 장점이 있다.
영상 기반의 얼굴 표정 인식 방법에 대한 인식 성능은 학습 샘플과 테스트 샘플을 동일 표정 데이터베이스 내에서 추출한 데이터를 사용할 경우 90%이상의 높은 성능을 보이나, 이종의 데이터베이스(즉, 두 개의 데이터베이스)가 있을 경우, 한 개의 데이터베이스를 학습에, 나머지 한 데이터베이스를 테스트에 사용하기 때문에 성능이 매우 저하되는 문제점을 갖는다.
본 발명의 배경이 되는 기술은 대한민국 공개특허 제10-2011-0095193호(2012. 08. 28 공개)에 개시되어 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 2D-DCT(Two-Dimensional Discrete Cosine Transform) 알고리즘과 통계적 모델링 기법인 EHMM(Embedded Hidden Markov Model)을 이용하여 얼굴 표정을 인식할 수 있는 얼굴 표정 인식 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 얼굴 표정 인식 장치는, 촬영된 영상 정보로부터 얼굴 영역을 검출하는 얼굴 영역 검출부; 상기 검출된 얼굴 영역을 기 설정된 크기 이상의 얼굴 블록으로 분할하고, 각각의 얼굴 블록으로부터 특징 벡터를 추출하는 특징 벡터 추출부; 얼굴 표정 인식을 위한 샘플 데이터를 저장하는 저장부; 및 상기 추출된 특징 벡터를 기초로 상기 2D-DCT 방식을 적용하여 특징 파라미터를 계산하고, 상기 계산된 특징 파라미터들을 이용하여 관측 벡터열들을 생성하고, 상기 관측 벡터열들과 기 설정된 표정 인식 모델의 샘플 데이터들 간의 관측 확률값을 계산하여, 가장 높은 관측 확률값을 갖는 모델을 결정하는 얼굴 표정 결정부를 포함한다.
여기서, 상기 얼굴 표정 결정부는, 다음의 수학식을 이용하여 상기 특징 파라미터를 계산할 수 있다.
Figure 112013091477208-pat00001
단,
Figure 112013091477208-pat00002
이다.
여기서, u와 v는 주파수 도메인을 위한 인덱스이고, i, j는 영상블록 도메인에서의 인덱스이고, f(i, j)는 2D-DCT를 수행하는 P*L 영상 블록이고, F(u, v)는 2D-DCT 계수값이고, L은 분할된 얼굴 블록의 가로 크기값이고, P는 분할된 얼굴 블록의 세로 크기값이다.
여기서, 얼굴 표정 인식 장치는, 상기 결정된 모델에 매칭되는 표정 정보를 사용자에게 제공하는 제어부를 더 포함할 수 있다.
여기서, 상기 얼굴 영역 검출부는, 하르-라이크(Haar-Like) 특징 또는 LBP(Local Binary Pattern) 특징과 결합된 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영역을 검출할 수 있다.
여기서, 상기 기 설정된 표정 인식 모델은, EHMM(Embedded Hidden Markov Model)일 수 있다.
본 발명의 다른 실시예에 따른 얼굴 표정을 인식하기 위한 장치의 얼굴 표정 인식 방법은, 촬영된 영상 정보로부터 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역을 기 설정된 크기 이상의 얼굴 블록으로 분할하는 단계; 상기 분할된 각각의 얼굴 블록으로부터 특징 벡터를 추출하는 단계; 상기 추출된 특징 벡터를 기초로 상기 2D-DCT 방식을 적용하여 특징 파라미터를 계산하는 단계; 상기 계산된 특징 파라미터들을 이용하여 관측 벡터열들을 생성하는 단계; 및 상기 관측 벡터열들과 기 설정된 표정 인식 모델의 샘플 데이터들 간의 관측 확률값을 계산하여, 가장 높은 관측 확률값을 갖는 모델을 결정하는 단계를 포함한다.
이와 같이 본 발명에 의하면, 기존의 다양한 표정 인식 접근 방법과는 상이하게, 2D-DCT 알고리즘과 통계적 모델링 기법인 EHMM 방식을 이용하여 정확도 높게 얼굴 표정을 인식할 수 있는 효과를 기대할 수 있다.
특히, 종래와는 달리 윈도우 크기를 더욱 크게 설정하여 2D-DCT 특징을 추출하고 EHMM으로 모델링함으로써, 단일 데이터 베이스를 이용하여 인식 성능을 평가하였던 종래 표정 인식 장치의 획일화된 방식을 벗어나, 다양한 데이터 베이스를 이용하여도 표정 인식률이 낮아지지 않는 효과를 기대할 수 있다.
도 1은 본 발명의 실시예에 따른 얼굴 표정 인식 장치가 적용된 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 얼굴 표정 인식 장치의 얼굴 표정 인식 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시예에 따른 얼굴 표정 인식 장치의 특징 벡터 추출을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 얼굴 표정 인식 장치의 관측 벡터를 이용한 EHMM의 모델 구조를 설명하기 위한 도면이다.
도 5a는 본 발명의 실시예에 따른 얼굴 표정 인식 장치에 공인 CK(Cohn-Kanade) 데이터 베이스를 적용한 얼굴 블록 크기별 얼굴 표정 인식률을 설명하기 위한 도면이다.
도 5b는 본 발명의 실시예에 따른 얼굴 표정 인식 장치에 공인 JAFFE(Japanese Female Facial Expression) 데이터 베이스를 적용한 얼굴 블록 크기별 얼굴 표정 인식률을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 표정 인식 장치를 나타낸 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 얼굴 표정 인식 장치(100)는 영상 수신부(110), 얼굴 영역 검출부(120), 특징 벡터 추출부(130), 얼굴 표정 결정부(140), 저장부(150) 및 제어부(160)를 포함한다.
영상 수신부(110)는 영상을 촬영하는 촬상 장치로부터 영상 정보를 수신한다.
얼굴 영역 검출부(120)는 영상 수신부(110)로부터 영상 정보를 수신하고, 수신된 영상 정보에 기 설정된 알고리즘을 적용하여 얼굴 영역을 검출한다.
특징 벡터 추출부(130)는 얼굴 영역 검출부(120)로부터 검출된 얼굴 영역을 설정된 크기로 분할하고, 분할된 각 얼굴 영역에 대한 특징 벡터를 추출한다.
본 발명의 실시예에 따른 특징 벡터 추출부(130)는 2D-DCT Two-Dimensional Discrete Cosine Transform) 방식을 통한 얼굴 영역 특징 벡터를 효율적으로 추출하기 위하여 얼굴 영역의 얼굴 블록을 32*24 혹은 32*32 윈도우 크기 이상을 가지도록 설정하여 특징 벡터를 추출한다.
얼굴 표정 결정부(140)는 각각의 윈도우에 대한 특징 벡터를 2D-DCT 방식에 적용하여 특징 파라미터를 계산하고, 계산된 특징 파라미터들을 정렬한 관측 벡터열들을 생성한다. 이때, 얼굴 표정 결정부(140)는 하기 수학식 2를 통해 계산된 특징 파라미터들을 계산한다.
그리고, 얼굴 표정 결정부(140)는 EHMM 알고리즘을 이용하여 계산된 특징 파라미터들에 의해 생성한 관측 벡터열과 기 저장된 데이터베이스의 얼굴 샘플 데이터들 간의 관측 확률값을 계산한다. 그리고, 가장 높은 관측 확률값을 갖는 모델을 선택하여 제어부(160)로 제공한다.
저장부(150)는 표정별 EHMM들을 저장하며, 저장된 EHMM을 얼굴 표정 결정부(140)로 제공하고, 제어부(160)는 각 부(110, 120, 130, 140, 150)를 제어 및 관리하며, 얼굴 표정 결정부(140)에 의해 선택된 모델에 매칭되는 표정 정보를 사용자에게 제공한다.
도 2는 본 발명의 실시예에 따른 얼굴 표정 인식 장치의 얼굴 표정 인식 방법을 나타낸 순서도이고, 도 3은 본 발명의 실시예에 따른 얼굴 표정 인식 장치의 특징 벡터 추출을 설명하기 위한 도면이고, 도 4는 본 발명의 실시예에 따른 얼굴 표정 인식 장치의 관측 벡터를 이용한 EHMM의 모델 구조를 설명하기 위한 도면이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 얼굴 표정 인식 장치의 영상 수신부(110)는 영상을 촬영하는 촬상 장치로부터 영상 정보를 수신한다(S200).
얼굴 영역 검출부(120)는 영상 수신부(110)로부터 수신된 영상 정보에 기 설정된 알고리즘을 적용하여 영상 정보 내 얼굴 영역을 검출한다(S202).
이때, 얼굴 영역 검출부(120)는 하르-라이크(Haar-Like) 특징 또는 LBP(Local Binary Pattern) 특징과 결합된 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영역을 검출한다.
여기서, 본 발명의 실시예에 따른 얼굴 영역 검출부(120)는 하르-라이크(Haar-Like) 특징 또는 LBP(Local Binary Pattern) 특징과 결합된 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴 영역을 검출하였지만, 얼굴 영역을 검출할 수 있는 다양한 알고리즘을 이용할 수도 있다.
특징 벡터 추출부(130)는 얼굴 영역 검출부(120)에 의해 검출된 얼굴 영역을 설정된 크기로 분할하고, 기 설정된 방식을 적용하여 분할된 얼굴 영역에서 특징 벡터를 추출한다(S204).
구체적으로, 특징 벡터 추출부(130)는 기 설정된 크기로 얼굴 영역을 분할하고, 2D-DCT(Two-Dimensional Discrete Cosine Transform) 알고리즘 방식을 적용하기 위해 분할된 얼굴 블록들 각각에 대한 특징 벡터들을 추출한다.
도 3을 참조하면, 특징 벡터 추출부(130)는 수신된 영상 정보에 포함된 얼굴 영상을 32*32 크기의 얼굴 블록으로 분할하고, 각 분할된 얼굴 블록에 대한 2D-DCT 특징 파라미터를 다음의 수학식 2를 이용하여 추출한다.
이때, 분할된 각각 얼굴 블록의 개수(T)는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure 112013091477208-pat00003
여기서, W는 얼굴 영상의 가로 크기값, H는 얼굴 영상의 세로 크기값, L은 분할된 얼굴 블록의 가로 크기값, P는 분할된 얼굴 블록의 세로 크기값, Q는 가로(수평)방향 이동 크기값, M은 세로(수직)방향 이동 크기값이다.
얼굴 표정 결정부(140)는 각각의 얼굴 블록의 특징 벡터를 2D-DCT 방식에 적용하여 특징 파라미터를 계산하고, 계산된 특징 파라미터들을 이용하여 관측 벡터열들을 생성한다(S206).
그리고, 얼굴 표정 결정부(140)는 생성된 관측 벡터열을 기 저장된 각 표정별 EHMM 모델에 입력하여 관측 확률값을 계산한다. 그리고, 가장 높은 관측 확률값을 갖는 모델을 선택한다(S208).
구체적으로, 얼굴 표정 결정부(140)는 각각의 P*L 얼굴 블록에 대한 특징 파라미터를 계산하기 위해 2D-DCT 방식의 수학식인 다음의 수학식 2를 이용하여 특징 파라미터를 계산하고, 특징 파라미터들을 이용하여 관측 벡터 열을 생성한다.
이때, 생성되는 관측 벡터 열의 개수는 상기 수학식 1을 통해 계산된 얼굴 블록의 개수와 일치한다.
Figure 112013091477208-pat00004
단,
Figure 112013091477208-pat00005
이다.
여기서, u와 v는 주파수 도메인을 위한 인덱스이고, i, j는 영상블록 도메인에서의 인덱스이고, f(i, j)는 2D-DCT를 수행하는 P*L 영상 블록이고, F(u, v)는 2D-DCT 계수값이고, L은 분할된 얼굴 블록의 가로 크기값이고, P는 분할된 얼굴 블록의 세로 크기값이다.
이때, 얼굴 표정 결정부(140)는 좌측에서 우측으로, 위에서 아래로 순차적으로 영상 블록을 스캔하고(예를 들어, 가장 좌측이면서 가장 위에 있는 영상 블록이 첫 번째 블록이 되고, 가장 우측이면서 가장 아래쪽에 있는 영상 블록이 마지막 블록임), 상기 수학식 2를 통해 각 영상 블록들에 대한 특징 파라미터인 2D-DCT 계수값을 계산한다.
그리고 나서, 얼굴 표정 결정부(140)는 계산된 2D-DCT 계수값을 이용하여 관측 벡터열을 생성하고, 생성된 관측 벡터 열을 기 저장된 통계적 분류 알고리즘인 EMHH 알고리즘에 적용하여, 기 저장된 각 표정별 EHMM 모델과의 관측 확률값을 계산한다. 그리고, 계산된 관측 확률값이 가능 높은 샘플을 얼굴 표정으로 결정하여 얼굴을 인식한다.
여기서, EMHH 알고리즘은 일차원의 HMM을 2차원 구조로 나타내기 위해 일반화한 알고리즘으로, 슈퍼 상태들(Super-States)과 임베디드 상태들(Embedded-states)의 집합으로 구성된다.
이때, 각 슈퍼 상태의 요소들은 하나의 일차원 HMM을 포함하며, 관측 확률이 없고, 상태 천이 확률만을 갖으며, 임베디드 상태에서만 관측 확률 매트릭스를 갖는다.
도 4를 참조하면, 얼굴 표정 결정부(140)에 적용된 EMHH 알고리즘의 모델 구조는 슈퍼 상태들(Super States)의 개수가 5이고, 각각의 슈퍼 상태는 3개, 5개, 5개, 5개, 3개의 임베디드 상태(Embedded State)를 각각 포함한다.
이때, 슈퍼 상태들과 임베디드 상태들은 미리 설정된 개수로, 사용자에 의한 변경이 가능하다. 여기서, 각 슈퍼 상태(Super State)는 얼굴의 이마(Forehead), 눈(Eyes), 코(Nose) 입(Mouth) 및 턱(Thin)의 영역을 모델링하며, 일차원 HMM을 포함하는 구조이다.
여기서, 표정 분류부는 EHMM 알고리즘을 이용하여 슈퍼 상태 모델의
Figure 112013091477208-pat00006
,
Figure 112013091477208-pat00007
,
Figure 112013091477208-pat00008
를 산출하고, 임베디드 상태 모델들에 대한
Figure 112013091477208-pat00009
,
Figure 112013091477208-pat00010
,
Figure 112013091477208-pat00011
,
Figure 112013091477208-pat00012
를 산출한다.
여기서, 슈퍼 상태 모델의
Figure 112013091477208-pat00013
은 슈퍼 상태의 개수,
Figure 112013091477208-pat00014
는 슈퍼 상태 초기 상태 분포,
Figure 112013091477208-pat00015
는 슈퍼 상태 천이 확률 매트릭스이며, 임베디드 상태 모델의
Figure 112013091477208-pat00016
는 K번째 슈퍼 상태의 임베디드 상태 개수,
Figure 112013091477208-pat00017
는 K번째 슈퍼 상태의 임베디드 상태에 대한 초기 상태 분포,
Figure 112013091477208-pat00018
(도 4에서는 a로 표시함)는 K번째 슈퍼 상태의 임베디드 상태에 대한 상태천이확률 매트릭스,
Figure 112013091477208-pat00019
는 K 번째 슈퍼 상태의 임베디드에 대한 관측확률 매트릭스를 각각 나타낸다.
한편, 관측 벡터 열을 EHMM 알고리즘에 적용하여 관측 확률값을 계산하는 기술은 당업자라면, 공지기술로부터 당연히 알 수 있는 기술이므로, 이에 대한 더욱 상세한 설명은 생략하기로 한다.
도 5a는 본 발명의 실시예에 따른 얼굴 표정 인식 장치에 CK 데이터 베이스를 적용한 얼굴 블록 크기별 얼굴 표정 인식률을 설명하기 위한 도면이고, 도 5b는 본 발명의 실시예에 따른 얼굴 표정 인식 장치에 JAFFE 데이터 베이스를 적용한 얼굴 블록 크기별 얼굴 표정 인식률을 설명하기 위한 도면이다.
도 5a 및 도 5b를 참조하면, 본 발명의 실시예에 따른 얼굴 표정 인식 장치(100)는 CK 데이터 베이스 혹은 JAFFE 데이터 베이스를 이용하는 경우에 2D-DCT 윈도우 크기(얼굴 블록 크기)가 커질수록 인식률이 높아지는 것을 알 수 있다.
특히, 너비(Width)가 32이고 높이(Heigh)가 24인 경우에, 얼굴 표정 인식 장치(100)는 두 데이터 베이스 각각 73.51%, 66.69%의 가장 높은 인식률을 보였다.
또한, 얼굴 표정 인식 장치(100)는 CK 데이터 베이스의 전체 샘플을 학습에 사용하고, JAFFE 데이터 베이스의 전체 샘플을 테스트에 사용하는 경우에, 2D-DCT 얼굴 블록 크기를 32*24로 고정하면서 2D-DCT 계수의 차원이 9*9일 때, 최대 87.79%의 표정 인식률을 얻었다.
즉, 본 발명에 따른 얼굴 표정 인식 장치(100)는 이종 데이터 베이스간에도 성능 저하가 일어나지 않는 장점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 영상 표정 인식 장치 110: 영상 수신부
120: 얼굴 영역 검출부 130: 특징 벡터 추출부
140: 얼굴 표정 결정부 150: 저장부
160: 제어부

Claims (10)

  1. 촬영된 영상 정보로부터 얼굴 영역을 검출하는 얼굴 영역 검출부;
    상기 검출된 얼굴 영역을 32*24 윈도우 크기의 얼굴 블록으로 분할하고, 각각의 얼굴 블록으로부터 특징 벡터를 추출하는 특징 벡터 추출부;
    얼굴 표정 인식을 위한 샘플 데이터를 저장하는 저장부;
    상기 추출된 특징 벡터를 기초로 2D-DCT 방식을 적용하여 특징 파라미터를 계산하고, 상기 계산된 특징 파라미터들을 이용하여 관측 벡터열들을 생성하고, 상기 관측 벡터열들과 기 설정된 EHMM(Embedded Hidden Markov Model) 표정 인식 모델의 샘플 데이터들 간의 관측 확률값을 계산하여, 가장 높은 관측 확률값을 갖는 모델을 결정하는 얼굴 표정 결정부; 및
    상기 결정된 모델에 매칭되는 표정 정보를 사용자에게 제공하는 제어부
    를 포함하며,
    상기 얼굴 영역 검출부는,
    하르-라이크(Haar-Like) 특징 또는 LBP(Local Binary Pattern) 특징과 결합된 아다부스트(Adaboost) 알고리즘을 이용하여 상기 얼굴 영역을 검출하며,
    상기 얼굴 표정 결정부는,
    다음의 수학식을 이용하여 상기 특징 파라미터를 계산하는 얼굴 표정 인식 장치:
    Figure 112014070850537-pat00020

    단,
    Figure 112014070850537-pat00021
    이다.
    여기서, u와 v는 주파수 도메인을 위한 인덱스이고, i, j는 영상블록 도메인에서의 인덱스이고, f(i, j)는 2D-DCT를 수행하는 P*L 영상 블록이고, F(u, v)는 2D-DCT 계수값이고, L은 분할된 얼굴 블록의 가로 크기값이고, P는 분할된 얼굴 블록의 세로 크기값이다.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 얼굴 표정을 인식하기 위한 장치의 얼굴 표정 인식 방법에 있어서,
    촬영된 영상 정보로부터 얼굴 영역을 검출하는 단계;
    상기 검출된 얼굴 영역을 32*24 윈도우 크기의 얼굴 블록으로 분할하는 단계;
    상기 분할된 각각의 얼굴 블록으로부터 특징 벡터를 추출하는 단계;
    상기 추출된 특징 벡터를 기초로 2D-DCT 방식을 적용하여 특징 파라미터를 계산하는 단계;
    상기 계산된 특징 파라미터들을 이용하여 관측 벡터열들을 생성하는 단계;
    상기 관측 벡터열들과 기 설정된 EHMM(Embedded Hidden Markov Model) 표정 인식 모델의 샘플 데이터들 간의 관측 확률값을 계산하여, 가장 높은 관측 확률값을 갖는 모델을 결정하는 단계; 및
    상기 결정된 모델에 매칭되는 표정 정보를 사용자에게 제공하는 단계
    를 포함하며,
    상기 얼굴 영역을 검출하는 단계는,
    하르-라이크(Haar-Like) 특징 또는 LBP(Local Binary Pattern) 특징과 결합된 아다부스트(Adaboost) 알고리즘을 이용하여 상기 얼굴 영역을 검출하며,
    상기 특징 파라미터를 계산하는 단계는,
    다음의 수학식을 이용하여 상기 특징 파라미터를 계산하는 얼굴 표정 인식 방법:
    Figure 112014070850537-pat00022

    단,
    Figure 112014070850537-pat00023
    이다.
    여기서, u와 v는 주파수 도메인을 위한 인덱스이고, i, j는 영상블록 도메인에서의 인덱스이고, f(i, j)는 2D-DCT를 수행하는 P*L 영상 블록이고, F(u, v)는 2D-DCT 계수값이고, L은 분할된 얼굴 블록의 가로 크기값이고, P는 분할된 얼굴 블록의 세로 크기값이다.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020130120487A 2013-10-10 2013-10-10 얼굴 표정 인식 장치 및 그 방법 KR101451854B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130120487A KR101451854B1 (ko) 2013-10-10 2013-10-10 얼굴 표정 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130120487A KR101451854B1 (ko) 2013-10-10 2013-10-10 얼굴 표정 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101451854B1 true KR101451854B1 (ko) 2014-10-16

Family

ID=51997991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130120487A KR101451854B1 (ko) 2013-10-10 2013-10-10 얼굴 표정 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101451854B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101600046B1 (ko) * 2014-11-07 2016-03-07 재단법인대구경북과학기술원 활동적 형태 모델 기반의 얼굴 정규화를 이용한 표정인식 장치 및 방법
CN105678697A (zh) * 2015-12-30 2016-06-15 北京工业大学 一种基于dct域本征变换的人脸图像超分辨率重建方法
KR20160078154A (ko) * 2014-12-24 2016-07-04 주식회사 케이티 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
WO2017043945A1 (ko) * 2015-09-11 2017-03-16 주식회사 테라클 얼굴의 미세 표정 인식 방법 및 장치
KR20190038203A (ko) * 2017-09-29 2019-04-08 이인규 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR20190130190A (ko) * 2018-04-18 2019-11-22 한국생산기술연구원 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119156A (ko) * 2006-06-14 2007-12-20 성균관대학교산학협력단 치열영상을 이용한 생체인식 시스템과 그 인식 방법 및이를 기록한 기록매체
KR101314293B1 (ko) * 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119156A (ko) * 2006-06-14 2007-12-20 성균관대학교산학협력단 치열영상을 이용한 생체인식 시스템과 그 인식 방법 및이를 기록한 기록매체
KR101314293B1 (ko) * 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101600046B1 (ko) * 2014-11-07 2016-03-07 재단법인대구경북과학기술원 활동적 형태 모델 기반의 얼굴 정규화를 이용한 표정인식 장치 및 방법
KR20160078154A (ko) * 2014-12-24 2016-07-04 주식회사 케이티 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램
KR102428319B1 (ko) * 2014-12-24 2022-08-02 주식회사 케이티 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램
WO2017043945A1 (ko) * 2015-09-11 2017-03-16 주식회사 테라클 얼굴의 미세 표정 인식 방법 및 장치
CN105678697A (zh) * 2015-12-30 2016-06-15 北京工业大学 一种基于dct域本征变换的人脸图像超分辨率重建方法
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN105868694B (zh) * 2016-03-24 2019-03-08 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
KR20190038203A (ko) * 2017-09-29 2019-04-08 이인규 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR102005150B1 (ko) * 2017-09-29 2019-10-01 이인규 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
KR20190130190A (ko) * 2018-04-18 2019-11-22 한국생산기술연구원 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법
KR102102685B1 (ko) * 2018-04-18 2020-04-23 한국생산기술연구원 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법

Similar Documents

Publication Publication Date Title
KR101451854B1 (ko) 얼굴 표정 인식 장치 및 그 방법
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
Meena et al. An approach to face detection and recognition
CN104933414B (zh) 一种基于wld-top的活体人脸检测方法
Davison et al. Objective micro-facial movement detection using facs-based regions and baseline evaluation
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
EP3147827A1 (en) Face recognition method and apparatus
EP4099221A1 (en) Face recognition method and apparatus
US8855363B2 (en) Efficient method for tracking people
CN105335722A (zh) 一种基于深度图像信息的检测系统及方法
WO2013017858A1 (en) Gait recognition methods and systems
CN105022982A (zh) 手部运动识别方法和装置
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
KR101515928B1 (ko) 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법
CN101833654A (zh) 基于约束采样的稀疏表示人脸识别方法
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
KR101402078B1 (ko) 얼굴 인식 장치 및 얼굴 인식 방법
Sun et al. Human recognition for following robots with a Kinect sensor
Liu et al. Gait recognition using deep learning
Gürel et al. Design of a face recognition system
JP2013003706A (ja) 表情認識装置、方法、及びプログラム
KR101620556B1 (ko) 생체 인식 방법
Riaz et al. A model based approach for expressions invariant face recognition

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170918

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 5