KR100988323B1 - 표정 증폭을 이용한 미세 표정인식 방법 및 장치 - Google Patents
표정 증폭을 이용한 미세 표정인식 방법 및 장치 Download PDFInfo
- Publication number
- KR100988323B1 KR100988323B1 KR1020080072424A KR20080072424A KR100988323B1 KR 100988323 B1 KR100988323 B1 KR 100988323B1 KR 1020080072424 A KR1020080072424 A KR 1020080072424A KR 20080072424 A KR20080072424 A KR 20080072424A KR 100988323 B1 KR100988323 B1 KR 100988323B1
- Authority
- KR
- South Korea
- Prior art keywords
- facial
- amplified
- expression
- feature point
- facial expression
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 98
- 230000003321 amplification Effects 0.000 title claims abstract description 29
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 24
- 230000014509 gene expression Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Abstract
본 발명에 의한 미세표정 증폭을 이용한 얼굴 표정 인식 방법은 촬상한 얼굴 영상을 입력하는 과정; 연속된 상기 얼굴 영상에서 대응된 얼굴 특징점 간의 움직임 벡터를 이용하여 상기 얼굴 영상의 미세한 얼굴 표정을 증폭시키는 과정; 및 상기 증폭된 얼굴표정을 표정분류기를 통하여 표정을 인식하는 과정을 포함함을 특징으로 한다.
본 발명에 의하면 종래의 인식 성능이 낮았던 미세한 얼굴 표정에 대하여 표정증폭모듈을 이용하여 증폭된 얼굴 표정으로 변환시켜 인식함으로써, 미세한 표정에 대해서도 인식할 수 있는 보다 자연스러운 표정인식기를 구현 할 수 있으며, 얼굴 표정에 대하여 인식 성능을 향상시키는 효과를 제공한다.
Description
본 발명은 얼굴 영상정보를 이용한 표정 인식 방법에 관한 것으로 보다 상세하게는 미세한 표정에 대해서도 인식할 수 있는 표정 증폭을 이용한 미세 표정 인식 방법 및 장치에 관한 것이다.
최근 직립 보행할 수 있는 로봇과 언어인식의 기능과 같은 다양한 기능을 갖는 로봇이 개발됨에 따라 인간과 기계가 보다 감정적인 면에 대하여 의사소통할 수 있는 중요한 정보로서 다양한 표정을 인식하는 방법이 제안되고 있다.
이러한 얼굴 표정 인식은 감정의 특징을 잘 표현할 수 있는 정보로서 촬상된 얼굴의 영상정보를 이용하여 인식하고, 해당하는 사람의 감정 상태를 파악할 수 있다. 표정을 인식하는 방법은 눈, 눈썹, 입 등과 같은 얼굴 근육의 움직임의 변화를 통해 알아낼 수 있다.
그러나 종래의 표정 인식방법들은 대부분 극단적인 표정, 즉 인위적인 표정만을 인식할 수 있으며, 자연스럽게 변화하는 미세한 표정에 대해서는 인식의 범위 가 매우 제한적이었다. 또한, 종래의 얼굴 근육의 움직임 변화를 이용한 표정인식은 얼굴 표정근육의 미세한 움직임이 아닌 극단적인 움직임에 대해서만 표정들을 분류하였으며, 미세한 표정에 대해서는 인식 성능이 크게 저하되는 문제점이 있었다.
본 발명은 상술된 종래 기술의 문제점을 감안하여, 사람의 미세한 표정에 대해서도 표정을 증폭하여 용이하게 표정을 인식할 수 있는 방법 및 장치를 제공하는 데 있다.
상기 과제를 달성하기 위한 본 발명에 의한 미세 표정 인식 방법은,
(a) 연속적으로 촬영한 얼굴 영상을 입력하는 과정;
(b) 연속 촬영된 상기 얼굴 영상에서 얼굴 특징점들을 추출하고, 이웃한 영상과의 대응된 상기 얼굴 특징점들 간의 위치변화에 기초하여 움직임 벡터를 산출하는 과정;
(c) 상기 각각의 움직임 벡터를 얼굴 특징점에 대한 표정 증폭 가중치인 증폭벡터와 승산하고, 이 승산된 값을 대응된 상기 얼굴 특징점에 가산하여 증폭된 얼굴 특징점을 산출하는 과정;
(d) 상기 증폭된 얼굴 특징점의 위치를 이용하여 상기 얼굴 영상을 증폭된 표정의 얼굴 영상으로 변환시키는 과정; 및
(a) 연속적으로 촬영한 얼굴 영상을 입력하는 과정;
(b) 연속 촬영된 상기 얼굴 영상에서 얼굴 특징점들을 추출하고, 이웃한 영상과의 대응된 상기 얼굴 특징점들 간의 위치변화에 기초하여 움직임 벡터를 산출하는 과정;
(c) 상기 각각의 움직임 벡터를 얼굴 특징점에 대한 표정 증폭 가중치인 증폭벡터와 승산하고, 이 승산된 값을 대응된 상기 얼굴 특징점에 가산하여 증폭된 얼굴 특징점을 산출하는 과정;
(d) 상기 증폭된 얼굴 특징점의 위치를 이용하여 상기 얼굴 영상을 증폭된 표정의 얼굴 영상으로 변환시키는 과정; 및
(e) 상기 증폭된 얼굴표정을 표정분류기를 통하여 얼굴 표정을 인식하는 과정을 포함하는 것을 특징으로 한다.
삭제
삭제
삭제
삭제
삭제
삭제
또한, 상기 증폭벡터는 상기 각각의 얼굴 특징점의 X축 방향 및 Y축 방향에 대하여 상이한 크기값을 가짐을 특징으로 한다.
또한, 상기 (d) 과정은, piece-wise affine warping 방법을 적용하여 증폭된 표정의 얼굴 영상으로 변환시킴을 특징으로 한다.
또한, 상기 (e) 과정은,
(e1) 상기 증폭된 얼굴표정에서 얼굴표정의 증폭된 특징점을 추출하는 과정; 및
(e2) 상기 추출된 얼굴표정의 증폭된 특징점을 이용하여 얼굴표정을 분류하고, 분류된 얼굴표정을 인식하는 과정;을 포함함을 특징으로 한다.
또한, 본 발명의 다른 과제를 달성하기 위한 표정 증폭을 이용한 미세표정 인식 장치는,
연속적으로 촬영한 얼굴 영상을 입력하는 영상입력부;
입력된 연속적으로 촬영된 상기 얼굴 영상에서 이웃한 영상간의 대응된 얼굴 특징점을 추출하는 얼굴특징점 추출모듈;
대응된 상기 추출된 얼굴 특징점의 위치 변화에 기초하여 각각의 얼굴 특징점에 대한 움직임 벡터를 산출하는 움직임 측정 모듈;
상기 각각의 움직임 벡터를 얼굴 특징점에 대한 표정 증폭 가중치인 증폭벡터와 승산하고, 이 승산된 값을 대응된 상기 얼굴 특징점에 가산하여 증폭된 얼굴 특징점을 산출한 후 이 증폭된 얼굴 특징점을 이용하여 상기 얼굴 영상을 증폭된 얼굴 영상으로 변환시키는 표정 증폭 모듈; 및
상기 증폭된 얼굴 특징점에 대하여 표정을 분류하고 해당 얼굴 표정을 인식하는 얼굴 표정 인식 모듈을 포함함을 특징으로 한다.
본 발명에 의하면, 얼굴특징점 모듈에 의하여 얼굴 표정을 인식하기 위한 특징점을 손쉽게 추출할 수 있으며, 움직임추출모듈을 이용하여 얼굴특징점모듈에서 추출한 특징점 중에서 얼굴 표정을 인식하기 위해 눈썹, 눈, 입 주위의 주요 얼굴 특징점들의 미세한 움직임까지 분석할 수 있다. 미세한 움직임의 분석을 이용하여 다양한 형태로 얼굴 영상을 변형할 수 있으므로, 다양한 콘텐츠로 서비스를 제공할 수 있는 이점이 있다.
또한, 표정증폭모듈에 의해 기존에 인식 성능이 낮았던 미세한 얼굴 표정에 대하여 증폭된 얼굴 표정으로 변환함으로써, 미세한 얼굴 표정의 인식 성능을 향상시킬 수 있었다. 이로써 보다 자연스러운 표정인식기를 구현 할 수 있는 이점이 있다.
또한, 미세표정 인식장치에 의해 카메라가 장착된 장치 예컨대 컴퓨터나 로봇이 사람의 자연스러운 표정을 인식함으로써, 표정을 통해 사람의 기분을 분석 할 수 있으므로, 이를 기초로 효과적으로 고객을 응대할 수 있는 효과를 제공한다.
이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 1은 본 발명에 의한 미세표정 인식장치를 설명하기 위한 블록도이다.
도 1에 도시된 인식 장치는 촬상한 얼굴 영상을 입력하는 영상입력부(100)와, 입력된 얼굴 영상과 연속된 다음 얼굴 영상에서 얼굴 특징점을 추출하는 얼굴특징점 추출모듈(101)과, 연속된 얼굴 영상에서 서로 대응된 상기 추출된 얼굴 특징점의 위치 변화에 기초하여 얼굴 특징점에 대한 움직임 벡터를 산출하는 움직임 측정 모듈(102)과, 얼굴 특징점 각각에 대응되는 움직임 벡터에 가중치를 승산한 값을 가산하여 산출한 증폭된 얼굴 특징점을 이용하여 증폭된 표정의 얼굴 영상으로 변환시키는 표정 증폭 모듈(103)과, 증폭된 얼굴 특징점을 분류하여 얼굴 표정을 인식하는 얼굴 표정 인식 모듈(104)을 포함한다.
도 2a 및 도 2b는 얼굴특징점 추출모듈(101)의 결과를 나타낸 예로써, 입력 영상에서 얼굴특징점을 추출하기 위해 얼굴 모델이 피팅한 모습을 나타낸다. 얼굴 특징점 추출을 위한 주요 알고리즘으로는 AAM(Active Appearance Model)을 적용하였다. AAM에서는 대상물을 예컨대, 본 발명의 실시예에서는 얼굴을 형태(Shape)와 텍스처(Texture)로 나누어 모델링하며, 기본적으로 얼굴 학습 데이터를 이용하여 평균 얼굴을 구성하고 외부에서 들어오는 영상 내의 얼굴 영역을 정해주면 그 얼굴에 비슷하게 수렴할 때 까지 평균 얼굴의 형태와 텍스처의 파라미터가 변해가도록 설계된다.
이 때 얼굴 형태와 텍스처 각각은 PCA (Principal Component Analysis)로 모델링된다. AAM은 대상물의 다양한 변형을 유연하게 표현할 수 있는 장점이 있으므로, 얼굴특징점 추출에 적용되어 사용되며, 본 발명의 실시예에서 추출되는 얼굴특징점의 개수는 70개로 하였다.
도 3은 본 발명에서 하나의 특징점에 대해서 움직임 측정모듈(102)의 출력 결과를 나타낸 예로써, 얼굴의 미세한 움직임에 대해서도 비교적 정확하게 추적할 수 있음을 나타낸다.
움직임 측정 모듈에서 사용되는 주요 알고리즘은 Lucas and Kanade registration 기반의 특징점 추적 기술이 적용되며, Lucas and Kanade registration 기반의 특징점 추적 기술은 두 개의 연속된 영상 It와 It+1에서 t번째 영상의 특징점 It의 (x)가 t+1번째 영상에 있어서 어느 좌표 위치에 있는 부분과 가장 유사한지를 찾아준다.
얼굴특징점 추출모듈(101)에서 얻은 70개의 점들 중 표정 변화를 가장 잘 나타내는 눈썹, 눈, 입 주위의 점들을 움직임측정모듈(102)을 적용하여 각 특징점이 어떠한 방향으로 얼마나 움직였는지를 각각 측정하여, 움직임 벡터를 산출한다.
도 4는 도 1에 있어서 표정증폭모듈의 설명을 위한 도면으로 4a는 미세한 얼굴표정에 대한 예를 나타내는 도면이며, 도 4b는 도 4a의 얼굴 영상을 표정증폭모듈에서 처리한 결과로서 표정이 증폭된 얼굴 영상이다.
도면상에서 본 발명에서 분류된 미세 얼굴 표정으로서, 좌측으로부터 옅은 미소, 살짝 놀람, 불쾌함을 순차적으로 나타내고 있다.
도 4a에 도시된 얼굴의 근육 움직임이 적은 미세한 얼굴 표정을 종래의 표정인식 방법으로 인식하는 경우에는 인식 성능이 현저히 저하된다. 이러한 경우, 연속된 각각의 얼굴 영상에서 얼굴특징점을 추출하고, 추출된 대응된 얼굴 특징점 간의 좌표 위치의 변동에 따라 움직임 벡터를 산출하고 이를 기초로 하여 표정증폭모듈(103)에서 얼굴 특징점의 표정을 증폭처리하면 도 4b에서 도시된 바와 같이 미세한 얼굴 표정이 증폭된 즉, 과장된 얼굴표정으로 변환시킬 수 있다.
도 4b의 증폭된 얼굴 표정은 해당 도면 왼쪽부터 과장된 웃음, 과장된 놀람, 과장된 불쾌함을 나타내고 있다. 이때 얼굴 표정의 증폭하기 위해 필요한 증폭된 얼굴 특징점의 위치를 수학식 1에 의해 산출된다.
수학식 1에서는 
는 얼굴 특징점의 위치를 나타내며 i는 특징점의 인덱스를 나타낸다. 
는 각 특징점을 증폭하고자 하는 크기를 나타내는 증폭 벡터이다. 증폭 벡터는 도 5에서 나타낸 바와 같이 눈썹, 눈의 윗부분, 눈의 아랫부분, 입의 Y방향, 입의 X방향에 따라 표정이 효과적으로 과장될 수 있도록 각각 다른 값이 설정된다.
증폭된 특징점 위치를 이용하여 얼굴 표정을 과장된 얼굴 표정으로 변환할 수 있으며, 이를 변환하기 위해 공지되어 있는 piece-wise affine warping 방법을 사용한다. piece-wise affine warping 방법은 다음과 같다. 세 개의 특징점
은 얼굴 영상에서 하나의 삼각형 매시(mesh)를 이루고 있다. 이 삼각형 그물안의 한 점 
일 때 수학식 2를 만족한다.
여기서, 
와
는 삼각형 매시 내에 위치한 
를 결정하는 계수이다.
다음 수학식 3은 삼각형 매시 내의 
가 수학식 2에서 구한 계수 
와
를 이용하여 증폭된 특징점 
이 이루고 있는 삼각형 매시 내의 한 점 
을 구하는 것을 나타내고 있다.
여기서, 매시는 3점으로 구성된 삼각형이며, 3개의 특징점의 위치 변화만 알고 있으면 수학식 2와 3을 통하여 나머지 좌표들의 변화된 위치를 산출할 수 있다.
도 6은 도 1에 도시된 표정인식모듈(104)의 세부 블록도로서, 증폭된 얼굴표정에서 얼굴표정 특징점을 추출하기 위해 얼굴특징점 추출모듈(101)에서 사용한 AAM알고리즘을 이용하여 얼굴모델을 피팅하고 얼굴의 형상과 텍스처 정보를 추출하여 이를 얼굴표정 특징점으로 사용한다.
추출된 얼굴표정 특징점은 SVM(Support Vector Machine) 알고리즘을 이용하여 증폭된 얼굴 표정 특징점에 대한 예컨대, 4개의 표정은 무표정, 미소, 놀람, 불쾌함으로 분류된다.
SVM 알고리즘은 두 가지 집합에 대해서 매우 우수한 성능을 보이는 분류기로서, 본 발명의 실시예에서는 얼굴 표정에 대하여 4가지의 집합을 분류해야 하므로, 각 표정에 대하여 분류할 수 있는 무표정 분류기(601), 미소 분류기(602), 놀람 분류기(603), 불쾌함 분류기(604)로 구성된다.
표정 증폭 모듈(103)에서 증폭된 얼굴표정 특징점은 4개의 표정 분류기(601 내지 604)에 각각 입력되며, 가장 큰 값을 출력한 표정 분류기의 해당 표정을 얼굴 표정 인식기(606)에서 인식된 얼굴 표정으로 결정한다.
본 발명에 대한 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허 청구 범위의 기술적 사양에 의해 정해져야 할 것이다.
도 1은 본 발명에 따른 미세표정 인식장치의 구성을 나타낸 블록도이다.
도 2a 및 도 2b는 도 1에 있어서 얼굴특징점 추출모듈의 설명을 위한 도면으로 얼굴특징점을 추출한 영상의 예를 나타내는 도면이다.
도 3은 도 1에 있어서 움직임측정 모듈의 설명을 위한 도면이다.
도 4는 도 1의 표정증폭모듈의 설명을 위한 도면으로 도 4a는 미세한 얼굴표정에 대한 예를 나타내는 도면이며, 4b는 도 4a의 증폭된 얼굴 표정의 영상을 나타낸 도면이다.
도 5는 도 1의 표정증폭모듈의 표정증폭에 사용되는 증폭벡터의 크기를 나타내는 도면이다.
도 6은 도 1에 도시된 표정인식모듈의 설명을 위한 상세 블록도이다.
Claims (6)
- (a) 연속적으로 촬영한 얼굴 영상을 입력하는 과정;(b) 연속 촬영된 상기 얼굴 영상에서 얼굴 특징점들을 추출하고, 이웃한 영상과의 대응된 상기 얼굴 특징점들 간의 위치변화에 기초하여 움직임 벡터를 산출하는 과정;(c) 상기 각각의 움직임 벡터를 얼굴 특징점에 대한 표정 증폭 가중치인 증폭벡터와 승산하고, 이 승산된 값을 대응된 상기 얼굴 특징점에 가산하여 증폭된 얼굴 특징점을 산출하는 과정;(d) 상기 증폭된 얼굴 특징점의 위치를 이용하여 상기 얼굴 영상을 증폭된 표정의 얼굴 영상으로 변환시키는 과정; 및(e) 상기 증폭된 얼굴표정을 표정분류기를 통하여 얼굴 표정을 인식하는 과정을 포함하는 것을 특징으로 하는 표정 증폭을 이용한 미세표정 인식 방법.
- 삭제
- 제 1항에 있어서,상기 증폭벡터는 상기 각각의 얼굴 특징점의 X축 방향 및 Y축 방향에 대하여 상이한 크기값을 가짐을 특징으로 하는 표정 증폭을 이용한 미세표정 인식 방법.
- 제 1항에 있어서, 상기 (d) 과정은, piece-wise affine warping 방법을 적용하여 증폭된 얼굴 표정으로 변환시킴을 특징으로 하는 표정 증폭을 이용한 미세표정 인식 방법.
- 제1항에 있어서, 상기 (e) 과정은,(e1) 상기 증폭된 얼굴표정에서 얼굴표정의 증폭된 특징점을 추출하는 과정; 및(e2) 상기 추출된 얼굴표정의 증폭된 특징점을 이용하여 얼굴표정을 분류하고, 얼굴표정을 인식하는 과정;을 포함함을 특징으로 하는 표정 증폭을 이용한 미세표정 인식 방법.
- 연속적으로 촬영한 얼굴 영상을 입력하는 영상입력부;입력된 연속적으로 촬영된 상기 얼굴 영상에서 이웃한 영상간의 대응된 얼굴 특징점을 추출하는 얼굴특징점 추출모듈;대응된 상기 추출된 얼굴 특징점의 위치 변화에 기초하여 각각의 얼굴 특징점에 대한 움직임 벡터를 산출하는 움직임 측정 모듈;상기 각각의 움직임 벡터를 얼굴 특징점에 대한 표정 증폭 가중치인 증폭벡터와 승산하고, 이 승산된 값을 대응된 상기 얼굴 특징점에 가산하여 증폭된 얼굴 특징점을 산출한 후 이 증폭된 얼굴 특징점을 이용하여 상기 얼굴 영상을 증폭된 얼굴 영상으로 변환시키는 표정 증폭 모듈; 및상기 증폭된 얼굴 특징점을 분류하여 얼굴 표정을 인식하는 얼굴 표정 인식 모듈을 포함함을 특징으로 하는 표정 증폭을 이용한 미세표정 인식 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080072424A KR100988323B1 (ko) | 2008-07-24 | 2008-07-24 | 표정 증폭을 이용한 미세 표정인식 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080072424A KR100988323B1 (ko) | 2008-07-24 | 2008-07-24 | 표정 증폭을 이용한 미세 표정인식 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100011280A KR20100011280A (ko) | 2010-02-03 |
| KR100988323B1 true KR100988323B1 (ko) | 2010-10-18 |
Family
ID=42085774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080072424A KR100988323B1 (ko) | 2008-07-24 | 2008-07-24 | 표정 증폭을 이용한 미세 표정인식 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100988323B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9940718B2 (en) | 2013-05-14 | 2018-04-10 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting peak image from continuously photographed images |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101287840B1 (ko) * | 2011-04-12 | 2013-07-19 | 충남대학교산학협력단 | 얼굴온도를 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체 |
| KR102043960B1 (ko) * | 2014-11-05 | 2019-11-12 | 한국과학기술원 | 얼굴 영상의 다양성에 강인한 얼굴 표정 특징 분류 방법 및 시스템 |
| KR20170031814A (ko) * | 2015-09-11 | 2017-03-22 | 한국과학기술원 | 얼굴의 미세 표정 인식 방법 및 장치 |
| CN106934231A (zh) * | 2017-03-07 | 2017-07-07 | 佛山市融信通企业咨询服务有限公司 | 一种远程网络诊断辅助方法 |
| WO2018229592A1 (en) * | 2017-06-15 | 2018-12-20 | Lam Yuen Lee Viola | Method and system for evaluting and monitoring compliance using emotion detection |
| US11475788B2 (en) | 2017-06-15 | 2022-10-18 | Yuen Lee Viola Lam | Method and system for evaluating and monitoring compliance using emotion detection |
| CN109640104B (zh) * | 2018-11-27 | 2022-03-25 | 平安科技（深圳）有限公司 | 基于人脸识别的直播互动方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040007921A (ko) * | 2002-07-12 | 2004-01-28 | (주)아이엠에이테크놀로지 | 얼굴표정 자동인식을 통한 애니메이션 방법 |
| KR100553850B1 (ko) | 2003-07-11 | 2006-02-24 | 한국과학기술원 | 얼굴인식/표정인식 시스템 및 방법 |
-
2008
- 2008-07-24 KR KR1020080072424A patent/KR100988323B1/ko not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040007921A (ko) * | 2002-07-12 | 2004-01-28 | (주)아이엠에이테크놀로지 | 얼굴표정 자동인식을 통한 애니메이션 방법 |
| KR100553850B1 (ko) | 2003-07-11 | 2006-02-24 | 한국과학기술원 | 얼굴인식/표정인식 시스템 및 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 김도형, 안광호, 정명진, 정성욱, "실시간 얼굴 표정 인식을 위한 새로운 사각 특징 형태 선택기법", 제어로봇시스템학회논문지 제12권 제2호, pp. 130-137, 2006년. * |
| 홍성희, 변혜란, "아이겐포인트를 이용한 표정 인식", 한국정보과학회 2004년도 봄 학술발표논문집 제31권 제1호(B), pp. 817~819, 2004.4. * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9940718B2 (en) | 2013-05-14 | 2018-04-10 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting peak image from continuously photographed images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100011280A (ko) | 2010-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100988323B1 (ko) | 표정 증폭을 이용한 미세 표정인식 방법 및 장치 | |
| CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
| Murtaza et al. | Analysis of face recognition under varying facial expression: a survey. | |
| KR101198322B1 (ko) | 얼굴 표정 인식 방법 및 시스템 | |
| KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
| KR101893554B1 (ko) | 멀티 모달 데이터 기반 표정인식방법 및 장치 | |
| KR102138809B1 (ko) | 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법 | |
| Huang et al. | Emotion recognition based on a novel triangular facial feature extraction method | |
| Zhao et al. | Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection | |
| KR20130015958A (ko) | 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체 | |
| JP5879188B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
| CN111079465A (zh) | 一种基于三维成像分析的情绪状态综合判定方法 | |
| CN115205933A (zh) | 面部表情识别方法、装置、设备及可读存储介质 | |
| KR101823611B1 (ko) | Au 기반의 감성 표정 정보 추출 방법 | |
| Azam et al. | Feature extraction trends for intelligent facial expression recognition: A survey | |
| JP2014041587A (ja) | 顔表情解析装置および顔表情解析プログラム | |
| Sisodia et al. | Image pixel intensity and artificial neural network based method for pattern recognition | |
| Zheng et al. | Review of lip-reading recognition | |
| KR101783453B1 (ko) | Au 기반의 안면 움직임 정보 추출 방법 및 장치 | |
| Manolova et al. | Facial expression classification using supervised descent method combined with PCA and SVM | |
| Dudekula et al. | Linear fusion approach to convolutional neural networks for facial emotion recognition | |
| Srivastava et al. | Utilizing 3D flow of points for facial expression recognition | |
| CN112651363A (zh) | 基于多特征点的微表情拟合方法和系统 | |
| Badi et al. | Feature extraction technique for static hand gesture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130930 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |