KR20200063292A - 얼굴 영상 기반의 감정 인식 시스템 및 방법 - Google Patents

얼굴 영상 기반의 감정 인식 시스템 및 방법 Download PDF

Info

Publication number
KR20200063292A
KR20200063292A KR1020180142146A KR20180142146A KR20200063292A KR 20200063292 A KR20200063292 A KR 20200063292A KR 1020180142146 A KR1020180142146 A KR 1020180142146A KR 20180142146 A KR20180142146 A KR 20180142146A KR 20200063292 A KR20200063292 A KR 20200063292A
Authority
KR
South Korea
Prior art keywords
emotion recognition
face
image
feature point
facial
Prior art date
Application number
KR1020180142146A
Other languages
English (en)
Other versions
KR102147052B1 (ko
Inventor
장주용
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020180142146A priority Critical patent/KR102147052B1/ko
Publication of KR20200063292A publication Critical patent/KR20200063292A/ko
Application granted granted Critical
Publication of KR102147052B1 publication Critical patent/KR102147052B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00302—
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴 영상 기반의 감정 인식 시스템 및 방법이 개시된다. 얼굴 영상 기반의 감정 인식 시스템은 얼굴 인식을 위한 개인별 얼굴 사진과 기계 학습(machine learning)에 의해 개인별 얼굴 사진의 감정 상태에 따른 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 얼굴의 특징점들과 그 얼굴 사진과 관련된 감정 상태에 따른 영상 패치 기반 데이터를 저장하는 저장된 얼굴 인식 DB와 얼굴 인식 시스템; 및 상기 얼굴 인식 DB와 연동되며, 대상 사람의 얼굴 영상
Figure pat00122
를 입력받아 N개의 얼굴 특징점들을 추출하고, 특징점 기반 감정 인식 결과
Figure pat00123
와 그 특징점들 근처의 영상 패치로부터 영상 기반의 감정인식 결과
Figure pat00124
를 제공하여 대상 사람의 얼굴의 최종 감정 인식 결과를 출력하는 감정 인식 시스템을 포함한다. 대상 사람의 얼굴 영상을 입력받아 얼굴 이미지를 캡춰하여 인공 신경망 기술(CNN)을 사용하여 얼굴의 특징점들(facial landmarks)을 추출하고, 추출된 얼굴 특징점들과 그 특징점들 근처의 영상 패치로부터 특징점 기반의 감정인식 결과와 영상 기반의 감정인식 결과를 제공하여 얼굴의 미세한 표정 변화를 인식하고 희노애락의 감정 상태(기쁨, 슬픔, 두려움, 화남) 를 추정하여 그 사람의 감정 상태를 출력한다.

Description

얼굴 영상 기반의 감정 인식 시스템 및 방법{Emotional recognition system and method based on face images}
본 발명은 얼굴 영상 기반의 감정 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 대상 사람의 얼굴 영상을 입력받아 얼굴 이미지를 캡춰하여 인공 신경망 기술을 사용하여 윤곽선, 눈썹과 눈, 코와 입, 턱 등의 얼굴 특징점들(facial landmarks)을 추출하고, 추출된 얼굴 특징점들과 그 특징점들 근처의 영상 패치로부터 특징점 기반의 감정인식 결과와 영상 기반의 감정인식 결과를 통해 얼굴의 미세한 표정 변화를 인식하고 희노애락의 감정 상태(기쁨, 슬픔, 두려움, 화남)를 추정하여 그 사람의 얼굴의 감정인식 결과를 출력하는, 얼굴 영상 기반의 감정 인식 시스템 및 방법에 관한 것이다.
얼굴인식(Face Recognition) 기술은 1990년대 초기에 소개된 형상 기반 매칭 방법(appearance based matching method), 및 특징(faeture) 기반의 얼굴 인식이 주로 사용된다. 그러나, 얼굴인식은 카메라의 촬영 각도, 조명의 방향, 자세, 표정의 변화 및 시간에 따른 얼굴의 변화에 다르게 인식된다.
특징(faeture) 기반의 얼굴 인식은 디지털 카메라, IoT 디바이스의 카메라 또는 스마트폰의 카메라로 촬영된 영상 데이터를 haar-like feature를 이용한 검출 방법과 MCT(Modified Census Transform) 영상을 이용한 검출 방법이 사용된다. 스마트폰의 카메라의 입력 영상에서 Haar-like feature로 학습된 얼굴 및 눈 검출기를 사용하여 얼굴의 윤곽선과 이마/눈/코/입을 검출하고, 원형의 눈동자를 검출하기 위해 관심 영역(ROI, Region of Interest)으로 설정된 눈 영역을 grayscale로 변환하며, 눈 영역에서 눈동자와 눈의 외곽선 영역이 추출되는 실험에 의한 통계적인 임계값(threshold)을 사용하여 눈 이미지의 histogram[x축 각 픽셀의 화소값, y축 해당 화소 값의 갯수]을 구하고 눈의 이미지를 이진화(binarization)한 후, 히스토그램 평활화(histogram equalization)를 통해 눈 영역의 사진의 전처리를 수행하며, 얼굴 영역에서 눈썹과 눈, 코, 입, 턱의 특징 데이터를 검출하고, 텍스처 특징(Texture Faetures)과 형상 특징(Shape Features)을 추출하여 얼굴 인식 DB에 저장된 얼굴 사진의 특징점들과 유사도를 비교하여 얼굴이 인식된다.
얼굴 영역의 눈썹과 눈, 코, 입, 턱의 특징 값은 Haar-like feature의 흰 영역에서 포함되는 픽셀들의 합에서 검은 영역에서 포함되는 픽셀의 합의 차로 표현된다.
예를들면, 표준 크기의 얼굴 영역 사진에서 검출된 눈 영역에서 오른쪽과 왼쪽 눈의 양쪽 끝점 까지의 거리, 허프 원 변환(hough circle transform) 알고리즘을 사용하여 추출된 눈동자(iris)의 크기 값이 특징 값으로 사용된다.
이와 관련된 선행기술1로써, 특허 공개번호 10-2017-0050465에서는 "얼굴 인식 장치 및 방법"을 개시하고 있습니다.
본 실시예에 의하면, 기계학습을 이용하여 입력영상으로부터 얼굴을 인식함에 있어, 얼굴포즈 및 원근감을 정규화하여 얼굴인식률을 향상시키고, 얼굴 학습 데이터로서 가상 얼굴 영상을 자동으로 생성하여 얼굴 학습 데이터를 획득하는데 드는 비용 및 시간을 절약하는 얼굴 인식 장치 및 방법을 제공한다.
도 1은 종래의 얼굴인식장치의 구성도이다. 도 2는 얼굴인식장치의 정규화부를 설명하는 개념도이다.
얼굴인식장치(100)는 영상 표시 장치, 영상 촬영 장치, 얼굴인식서버, 태블릿 PC, 랩톱(Laptop), 개인용 PC, 스마트폰, 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 이동통신 단말기, 및 지능로봇(Intelligence Robot) 등 중 어느하나일 수 있다.
얼굴 인식 장치(100)는 카메라로부터 입력되는 입력영상을 획득하는 입력영상 획득부(112); 상기 입력영상에서 얼굴영역을 검출하여 얼굴포즈(Pose)를 정규화함으로써 정면포즈 영상을 생성하고, 상기 카메라와 피사체 간의 거리에 따른 원근왜곡(Perspective Distortion)을 제거하기 위하여 상기 정면포즈 영상의 원근감(Perspective)을 정규화하여 정규화 영상을 생성하는 정규화부(114); 상기 정규화 영상으로부터 상기 피사체의 얼굴을 표현하는 특징벡터(Feature Vector)를 추출하는 특징벡터 추출부(116); 및 기 학습된 분류모델에 상기 특징벡터를 적용하여 상기 입력영상에 포함된 상기 피사체의 얼굴을 인식하는 얼굴인식부(118)를 포함한다.
입력영상 획득부(112)는 카메라로부터 입력되는 입력영상을 획득한다. 카메라는 깊이인식 카메라, 스테레오 카메라, 및 컬러 카메라일 수 있다(예를 들면, 키넥트(Kinect) 카메라 등) 또한, 입력영상은 인식대상이 되는 피사체의 얼굴이 포함된 영상으로서 2차원 정지영상 및 동영상을 포함한다. 입력영상은 컬러영상, 깊이영상, 및 컬러-깊이(RGB-D) 영상을 포함할 수 있다.
정규화부(114)는 입력영상으로부터 얼굴영역을 검출하고 얼굴포즈(Pose) 및 원근감(Perspective)을 정규화하여 정규화 영상을 생성한다. 얼굴포즈에 변화가 있는 경우, 그레이 스케일, 형상, 특징점의 위치 등이 달라지기 때문에 얼굴인식률이 저하된다. 또한, 카메라와 피사체 간의 거리가 달라지면 동일한 피사체라 하더라도 촬영된 위치마다 원근왜곡(Perspective Distortion, 예컨대 뒤틀림)이 다르게 발생하므로, 다른 피사체를 촬영한 것처럼 보이기도 한다. 따라서 얼굴인식률을 향상시키기 위해서는 입력영상의 얼굴포즈 및 원근감을 정규화할 필요가 있다.
정규화부(114)는, 다양한 포즈의 학습용 얼굴영상을 제1 인공신경망의 입력층에 입력하고, 정면포즈의 학습용 얼굴영상이 상기 제1 인공신경망의 출력층에서 출력되도록 상기 제1 인공신경망을 학습시키는 얼굴포즈 정규화 학습부; 및 상기 제1 인공신경망의 출력층에서 출력된 데이터를 제 2 인공신경망의 입력층에 입력하고, 원근왜곡이 없는 학습용 얼굴영상이 상기 제 2 인공신경망의 출력층에서 출력되도록 상기 제2 인공신경망을 학습시키는 원근감 정규화 학습부를 포함한다.
상기 정규화부는, 학습이 완료된 상기 제1 인공신경망과 상기 제2 인공신경망을 통합한 통합 인공신경망의 입력층에 다양한 원근 왜곡이 있는 다양한 포즈의 학습용 얼굴영상을 입력하고, 정면포즈의 원근왜곡이 없는 학습용 얼굴영상이 상기통합 인공신경망의 출력층에서 출력되도록 상기 통합 인공신경망을 학습시킨다.
특징벡터 추출부(116)는 기계학습(Machine Learning)을 통해 결정되며, 정규화 영상으로부터 피사체의 얼굴을 표현하는 특징벡터(Feature Vector)를 추출한다.
특징벡터는 얼굴인식에 사용되는 특징값들을 원소로 가지는 벡터이다. 특징벡터를 추출하는데 사용되는 필터로써 Gabor 필터, Haar 필터, LBP(Local Binary Pattern) - DLBP(Discriminative LBP), ULBP(Uniform LBP), NLBP(Number LBP) 등을 포함 - 등이 있으나, 반드시 이에 한정되는 않으며 그 밖의 다른 필터가 사용될 수 있다.
얼굴 인식부(118)는 기 학습된 분류모델에 특징벡터 추출부(116)에서 추출된 특징벡터를 적용하여 입력영상에 포함된 피사체의 얼굴을 인식한다. 기 학습된 분류모델은 서포트 벡터 머신(Support Vector Machine, SVM), 선형판별분석(Linear Discriminant Analysis, LDA), 및 Softmax 등을 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.
가상 얼굴영상 생성부(124)는 정규화부(114), 특징벡터 추출부(116), 및 얼굴 인식부(118)가 학습하는데 사용되는 복수의 가상 얼굴영상을 생성할 수 있다.
복수의 가상 얼굴영상은 가상 얼굴영상 생성부(124)가 카메라로부터 획득된 하나 이상의 2차원 기준영상을 이용하여 합성한 3차원 얼굴모델을 변형시킴으로써생성되는 얼굴영상을 의미한다.
그러나, 기존의 얼굴 인식 시스템은 입력 영상에 대하여 얼굴 인식 기술을 사용하여 추출된 얼굴 특징점들을 기반 감정을 인식하여 출력하는 얼굴 영상 기반의 감정 인식 시스템이 제공되지 않았다.
특허 공개번호 10-2017-0050465 (공개일자 2017년 05월 11일), "얼굴 인식 장치 및 방법", 에스케이텔레콤 주식회사
상기한 문제점을 해결하기 위한 본 발명의 목적은 대상 사람의 얼굴 영상을 입력받아 얼굴 이미지를 캡춰하여 인공 신경망 기술을 사용하여 윤곽선, 눈썹과 눈, 코와 입, 턱 등의 얼굴 특징점들(facial landmarks)을 추출하고, 추출된 얼굴 특징점들과 그 특징점들 근처의 영상 패치로부터 특징점 기반의 감정인식 결과와 영상 기반의 감정인식 결과를 통해 사람의 미세한 표정 변화를 인식하고 희노애락의 감정 상태(기쁨, 슬픔, 두려움, 화남)를 추정하여 그 사람의 얼굴의 감정인식 결과를 출력하는, 얼굴 영상 기반의 감정 인식 시스템을 제공한다.
본 발명의 다른 목적은 얼굴 영상 기반의 감정 인식 방법을 제공한다.
본 발명의 목적을 달성하기 위해, 얼굴 영상 기반의 감정 인식 시스템은 얼굴 인식을 위한 개인별 얼굴 사진과 기계 학습(machine learning)에 의해 개인별 얼굴 사진의 감정 상태에 따른 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 얼굴의 특징점들과 그 얼굴 사진과 관련된 감정 상태에 따른 영상 패치 기반 데이터를 저장하는 저장된 얼굴 인식 DB와 얼굴 인식 시스템; 및 상기 얼굴 인식 DB와 연동되며, 대상 사람의 얼굴 영상
Figure pat00001
를 입력받아 N개의 얼굴 특징점들을 추출하고, 특징점 기반 감정 인식 결과
Figure pat00002
와 그 특징점들 근처의 영상 패치로부터 영상 기반의 감정인식 결과
Figure pat00003
를 제공하여 대상 사람의 얼굴의 최종 감정 인식 결과를 출력하는 감정 인식 시스템을 포함한다.
상기 영상 패치 기반 데이터는 감정 상태에 따른 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 컬러 영상들을 각각 얼굴 인식DB에 저장된 얼굴 인식 데이터이며, 상기 윈도우는 3x3 window, 또는 5x5 window를 사용한다.
상기 감정 인식 시스템은, 얼굴 영상
Figure pat00004
를 입력받아 N개의 얼굴 특징점에 대한 좌표
Figure pat00005
를 출력하는 얼굴 특징점 추출부; 얼굴 인식DB에 통계적으로 감정상태에 따른 얼굴 표정의 특징점 데이터가 저장되며, 상기 N개의 얼굴 특징점들에 대한 좌표
Figure pat00006
를 입력받아 상기 감정상태에 따른 얼굴 표정의 특징점 데이터와 비교하여 특징점 기반 감정 인식 결과를 제공하는 특징점 기반 감정 인식부;입력 얼굴 영상과 상기 N개의 얼굴 특징점 좌표들을 입력받아 얼굴 특징점 좌표를 중심으로 가로, 세로가 W 픽셀의 길이를 가지는 정사각형 패치를 얼굴 영상으로부터 추출하여 결과적으로 총 N개의 영상 패치
Figure pat00007
를 제공하는 영상 패치 추출부; 상기 영상 패치 추출부로부터 상기 총 N개의 영상 패치
Figure pat00008
를 입력받고, 영상 패치 기반 감정 인식 결과
Figure pat00009
를 제공하는 영상 패치 기반 감정 인식부; 및 상기 특징점 기반 감정 인식부 및 상기 영상 패치 기반 감정 인식부로부터 각각 특징점 기반 감정 인식 결과
Figure pat00010
와 영상 패치 기반 감정 인식 결과
Figure pat00011
를 입력받아 최종 감정 인식 결과
Figure pat00012
를 출력하는 감정 인식 결과 융합부를 포함한다.
상기 얼굴 특징점 추출부, 상기 특징점 기반 감정 인식부, 상기 영상 패치 기반 감정 인식부는 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(CNN)을 사용하며, 상기 얼굴 특징점 추출부는 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출한다.
상기 감정 인식 결과 융합부는,
Figure pat00013
과
Figure pat00014
는 모두 M 차원의 벡터로 M개의 감정 카테고리에 대한 확률 분포를 나타내며, 그렇게 추정된 두 개의 감정 인식 결과 벡터는 감정 인식 결과 융합부(770)로 입력되고, 최종 감정 인식 결과
Figure pat00015
가 계산되며,
이는
Figure pat00016
의 관계식을 통해 특징점 기반 감정 인식 결과 벡터와 영상 패치 기반 감정 인식 결과 벡터의 가중 평균으로 계산될 수 있으며, 여기서 α는 특징점 기반 감정 인식 결과에 대한 가중치를 나타내며,
인식된 감정의 카테고리
Figure pat00017
는 가장 높은 확률을 가지는 감정의 인덱스
Figure pat00018
로 계산되어 감정 인식 시스템의 최종 감정 인식 결과가 출력된다.
상기 감정 인식 시스템은 얼굴 인식 DC와 출입 관리시의 감정 상태에 따른 얼굴 특징점 데이터가 저장된 서버에 얼굴 인식을 사용한 감정 인식 시스템이 구축되며, client/server 방식으로 카메라 영상의 얼굴 인식 시에 PC 또는 스마트폰의 클라이언트 프로그램으로 얼굴 인식 및 상기 감정 인식 결과를 제공한다.
본 발명의 다른 목적을 달성하기 위해, 얼굴 영상 기반의 감정 인식 방법은 (a) 감정 인식 시스템에서, 얼굴 영상
Figure pat00019
를 얼굴 특징점 추출부로 입력 받아, 상기 얼굴 특징점 추출부가 N개의 얼굴 특징점에 대한 좌표
Figure pat00020
를 출력하는 단계; (b) 상기 얼굴 특징점 추출부로부터 상기 N개의 얼굴 특징점들에 대한 좌표
Figure pat00021
를 특징점 기반 감정 인식부로 입력받아, 상기 특징점 기반 감정 인식부가 상기 감정상태에 따른 얼굴 표정의 특징점 데이터와 비교하여 특징점 기반 감정 인식 결과를 제공하는 단계; (c) 입력 얼굴 영상과 상기 N개의 얼굴 특징점 좌표들을 영상 패치 추출부로 입력받아, 상기 영상 패치 추출부가 얼굴 특징점 좌표를 중심으로 가로, 세로가 W 픽셀의 길이를 가지는 정사각형 패치를 얼굴 영상으로부터 추출하여 결과적으로 총 N개의 영상 패치
Figure pat00022
를 제공하는 단계; (d) 상기 영상 패치 추출부로부터 상기 총 N개의 영상 패치
Figure pat00023
를 영상 패치 기반 감정 인식부로 입력받고, 상기 영상 패치 기반 감정 인식부가 영상 패치 기반 감정 인식 결과
Figure pat00024
를 제공하는 단계; 및 (e) 상기 특징점 기반 감정 인식부 및 상기 영상 패치 기반 감정 인식부로부터 얼굴 인식 DB와 연동하여 기계 학습 데이터와 비교하여 감정 상태에 따른 개인별 얼굴 사진의 각각 특징점 기반 감정 인식 결과
Figure pat00025
와 영상 패치 기반 감정 인식 결과
Figure pat00026
를 감정 인식 결과 융합부로 입력받아, 상기 감정 인식 결과 융합부가 최종 감정 인식 결과
Figure pat00027
를 출력하는 단계를 포함한다.
상기 단계 (a)에서, 상기 얼굴 특징점 추출부, 상기 특징점 기반 감정 인식부, 상기 영상 패치 기반 감정 인식부는 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(CNN)을 사용하며, 상기 얼굴 특징점 추출부는 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출한다.
상기 얼굴 인식DB는 기계학습(machine learning)에 따라 개인별 감정상태에 따른 얼굴 사진의 특징점 데이터, 및 개인별 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 영상 패치 기반 데이터가 저장된다.
상기 영상 패치 기반 데이터는 감정 상태에 따른 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 컬러 영상들을 각각 얼굴 인식DB에 저장된 얼굴 인식 데이터이며, 상기 윈도우는 3x3 window, 또는 5x5 window를 사용한다.
상기 단계 (d)의 상기 감정 인식 결과 융합부는
Figure pat00028
과
Figure pat00029
는 모두 M 차원의 벡터로 M개의 감정 카테고리에 대한 확률 분포를 나타내며, 그렇게 추정된 두 개의 감정 인식 결과 벡터는 감정 인식 결과 융합부(770)로 입력되고, 최종 감정 인식 결과
Figure pat00030
가 계산되며,
이는
Figure pat00031
의 관계식을 통해 특징점 기반 감정 인식 결과 벡터와 영상 패치 기반 감정 인식 결과 벡터의 가중 평균으로 계산될 수 있으며, 여기서 α는 특징점 기반 감정 인식 결과에 대한 가중치를 나타내며,
인식된 감정의 카테고리
Figure pat00032
는 가장 높은 확률을 가지는 감정의 인덱스
Figure pat00033
로 계산되어 감정 인식 시스템의 최종 감정 인식 결과가 출력된다.
상기 감정 인식 시스템은, 얼굴 인식 DC와 출입 관리시의 감정 상태에 따른 얼굴의 특징점 데이터가 저장된 서버에 얼굴 인식을 사용한 감정 인식 시스템이 구축되며, client/server 방식으로 카메라 영상의 얼굴 인식 시에 PC 또는 스마트폰의 클라이언트 프로그램으로 얼굴 인식 및 그 감정 인식 결과를 제공한다.
본 발명의 얼굴 영상 기반의 감정 인식 시스템 및 방법은 대상 사람의 얼굴 영상을 입력받아 얼굴 이미지를 캡춰하여 인공 신경망 기술을 사용하여 윤곽선, 눈썹과 눈, 코와 입, 턱 등의 얼굴 특징점들(facial landmarks)을 추출하고, 추출된 얼굴 특징점들과 그 특징점들 근처의 영상 패치로부터 특징점 기반의 감정인식 결과와 영상 기반의 감정인식 결과를 통해 얼굴의 미세한 표정 변화를 인식하고 희노애락의 감정(기쁨, 슬픔, 두려움, 화남) 상태를 추정하여 그 사람의 감정 상태를 출력하는 효과가 있다.
얼굴 인식 기술은 카메라로 촬영된 영상 데이터를 사용하여 공항 출입국 관리, 얼굴 인식 기반 출입관리, 얼굴 인식 화상 회의, 얼굴 인식 대화형 TV 미디어 서비스, CCTV 카메라의 얼굴 인식 기반 신원 확인 및 범죄 수사에 사용되며, 얼굴 인식을 통해 사람의 감정 상태를 추정하게 되었다.
도 1은 종래의 얼굴인식장치의 구성도이다.
도 2는 얼굴인식장치의 정규화부를 설명하는 개념도이다.
도 3은 얼굴의 윤곽선, 눈썹과 눈, 코 밑선, 입, 턱을 포함하는 얼굴 특징점들(Facial Landmarks)의 예를 보인 그림이다.
도 4는 본 발명에 따른 감정 인식 시스템의 개요를 보인 도면이다.
도 5는 본 발명의 실시예에 따른 감정 인식 시스템의 블록도이다.
도 6은 인공 신경망 기반의 얼굴 특징점 추출부, 특징점 기반 감정 인식부, 영상 패치 기반의 감정 인식부의 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
본 발명의 얼굴 영상 기반의 감정 인식 시스템은 대상 사람의 얼굴 영상을 입력받아 얼굴 이미지를 캡춰하여 인공 신경망 기술을 사용하여 윤곽선, 눈썹과 눈, 코와 입, 턱 등의 얼굴 특징점들(facial landmarks)을 추출하고, 추출된 얼굴 특징점들과 그 특징점들 근처의 영상 패치로부터 사람의 미세한 표정 변화를 인식하고 희노애락의 감정 상태(기쁨, 슬픔, 두려움, 화남)를 추정하여 그 사람의 감정 상태를 출력한다.
도 3은 얼굴의 테두리 윤곽, 눈썹과 눈, 코 밑선, 입, 턱을 포함하는 얼굴 특징점들(Facial Landmarks)의 예를 보인 그림이다.
얼굴 특징점은 얼굴에서 구별이 가능한 특징을 가지고 있는 점들을 의미하며, 그 실시예로서 68개의 특징점을 나타냈다.
실제 사람의 얼굴 영상으로부터 추출된 특징점들은 그 사람의 얼굴의 형태, 상태에 대한 정보를 제공한다. 이러한 얼굴의 특징점들을 활용하여 사람의 표정, 그리고 더 나아가 감정 상태까지 인식을 할 수 있다. 하지만, 얼굴의 특징점들은 거시적인 정보만을 제공할 수 있을 뿐 사람의 미세한 표정 변화에 따른 얼굴 영상의 미세한 변화, 예를들면 화난 얼굴에 나타나는 컬러 또는 밝기의 변화를 나타내지는 못한다. 이를 보완하기 위해 얼굴 특징점들 주위의 영상 정보 또한 함께 사용하여 감정 인식에 활용하고자 한다. 요약하면, 본 발명에서는 얼굴 영상으로부터 추출된 특징점들과 그러한 특징점들 근처의 영상 패치로부터 사람 얼굴의 미세한 표정 변화를 인식하고, 감정 상태를 추정하는 시스템을 제안하였다.
도 4는 본 발명에 따른 감정 인식 시스템의 개요를 보인 도면이다.
얼굴 영상 기반의 감정 인식 시스템은 대상 사람의 얼굴 영상을 입력받아 인공 신경망 기술을 사용하여 윤곽선, 눈썹과 눈, 코와 입, 턱 등의 얼굴 특징점 좌표를 추출하고, 추출된 얼굴 특징점들과 그 특징점들 근처의 영상 패치로부터 특징점 기반의 감정 인식 결과와 영상 기반의 감정인식 결과를 통해 얼굴의 미세한 표정 변화를 인식하고 희노애락의 감정 상태(기쁨, 슬픔, 두려움, 화남)를 추정하여 최종 감정 인식 결과를 출력한다.
이를 위해, 얼굴 영상 기반의 감정 인식 시스템은
얼굴 영상 기반의 감정 인식 시스템은 얼굴 인식을 위한 개인별 얼굴 사진과 기계 학습(machine learning)에 의해 개인별 얼굴 사진의 감정 상태에 따른 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 얼굴의 특징점들과 그 얼굴 사진과 관련된 감정 상태에 따른 영상 패치 기반 데이터를 저장하는 저장된 얼굴 인식 DB와 얼굴 인식 시스템; 및
상기 얼굴 인식 DB와 연동되며, 대상 사람의 얼굴 영상
Figure pat00034
를 입력받아 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출하고, 특징점 기반 감정 인식 결과
Figure pat00035
와 그 특징점들 근처의 영상 패치로부터 영상 기반의 감정인식 결과
Figure pat00036
를 제공하여 대상 사람의 얼굴의 최종 감정 인식 결과를 출력하는 감정 인식 시스템을 포함한다.
얼굴 인식DB는 기계학습(machine learning, ML)에 따라 감정상태에 따른 얼굴의 특징점 데이터 및 개인별 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 영상 패치 기반 데이터가 저장된다.
상기 영상 패치 기반 데이터는 감정 상태에 따른 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(예, 3x3 window, 또는 5x5 window)로 잘라낸 컬러 영상들을 각각 얼굴 인식DB에 저장된 얼굴 인식 데이터이다.
도 5는 본 발명의 실시예에 따른 감정 인식 시스템의 블록도이다.
감정 인식 시스템(700)은 얼굴 특징점 추출부(710), 특징점 기반 감정 인식부(720), 영상 패치 추출부(730), 영상 패치 기반 감정 인식부(740), 및 감정 인식 결과 융합부(770)으로 구성된다.
본 발명의 감정 인식 시스템(700)은
얼굴 영상
Figure pat00037
를 입력받아, 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들에 대한 좌표
Figure pat00038
를 출력하는 얼굴 특징점 추출부(710);
얼굴 인식DB에 통계적으로 감정상태에 따른 얼굴 표정의 특징점 데이터가 저장되며, 상기 N개의 얼굴 특징점들에 대한 좌표
Figure pat00039
를 입력받아 상기 감정상태에 따른 얼굴 표정의 특징점 데이터와 비교하여 특징점 기반 감정 인식 결과를 제공하는 특징점 기반 감정 인식부(720);
입력 얼굴 영상과 상기 N개의 얼굴 특징점 좌표들을 입력받아 얼굴 특징점 좌표를 중심으로 가로, 세로가 W 픽셀의 길이를 가지는 정사각형 패치를 얼굴 영상으로부터 추출하여 결과적으로 총 N개의 영상 패치
Figure pat00040
를 출력하는 영상 패치 추출부(730);
상기 영상 패치 추출부(730)로부터 상기 총 N개의 영상 패치
Figure pat00041
를 입력받고, 영상 패치 기반 감정 인식 결과
Figure pat00042
를 제공하는 영상 패치 기반 감정 인식부(740); 및
상기 특징점 기반 감정 인식부(720) 및 상기 영상 패치 기반 감정 인식부(740)로부터 각각 특징점 기반 감정 인식 결과
Figure pat00043
와 영상 패치 기반 감정 인식 결과
Figure pat00044
를 입력받아 최종 감정 인식 결과
Figure pat00045
를 출력하는 감정 인식 결과 융합부(770)를 포함한다.
먼저 얼굴 영상
Figure pat00046
는 얼굴 특징점 추출부(710)로 입력되고, 얼굴 특징점 추출부(710)는 N개의 얼굴 특징점에 대한 좌표
Figure pat00047
를 출력한다.
상기 얼굴 특징점 추출부(710)은 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 딥러닝의 컨볼루션 신경망(Convolutional Neural Network, CNN)을 사용하며, 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출한다.
상기 얼굴 특징점 추출부(710), 상기 특징점 기반 감정 인식부(720), 상기 영상 패치 기반 감정 인식부(740)는 각각 다른 종류의 인공 신경망을 사용한다.
특징점 기반 감정 인식부(720)는 얼굴 특징점 추출부(710)로부터 상기 N개의 얼굴 특징점에 대한 좌표
Figure pat00048
를 입력받아 얼굴 인식DB에 저장된 상기 감정상태에 따른 얼굴 표정의 특징점 데이터와 비교하여 특징점 기반 감정 인식 결과를 제공한다.
영상 패치 추출부(730)는 입력 얼굴 영상과 얼굴 특징점 좌표를 입력받아 얼굴 특징점 좌표를 중심으로 가로, 세로가 W 픽셀의 길이를 가지는 정사각형 패치를 얼굴 영상으로부터 추출하여 결과적으로 총 N개의 영상 패치
Figure pat00049
를 출력한다.
얼굴 인식 DB와 연동되며, 얼굴 특징점 좌표와 영상 패치를 위해, 특징점 기반 감정 인식부(720)와 영상 패치 기반 감정 인식부(740)로부터 각각 감정 인식 결과 융합부(770)로 총 N개의 영상 패치
Figure pat00050
를 입력받고, 각각 특징점 기반 감정 인식 결과
Figure pat00051
와 영상 패치 기반 감정 인식 결과
Figure pat00052
를 입력받고, 감정 인식 결과 융합부(770)는 분류된 감정 중에서 기쁨, 슬픔, 두려움, 화남 중 어느 하나의 최종 감정 인식 결과를 출력한다.
여기서,
Figure pat00053
과
Figure pat00054
는 모두 M 차원의 벡터로 M개의 감정 카테고리에 대한 확률 분포를 나타낸다. 그렇게 추정된 두 개의 감정 인식 결과 벡터는 감정 인식 결과 융합부(770)로 입력되며, 최종 감정 인식 결과
Figure pat00055
가 계산된다.
이는
Figure pat00056
의 관계식을 통해 특징점 기반 감정 인식 결과 벡터와 영상 패치 기반 감정 인식 결과 벡터의 가중 평균으로 계산될 수 있으며, 여기서 α는 특징점 기반 감정 인식 결과에 대한 가중치를 나타낸다. 마지막으로 인식된 감정의 카테고리
Figure pat00057
는 가장 높은 확률을 가지는 감정의 인덱스
Figure pat00058
로 계산되어 감정 인식 시스템의 최종 감정 인식 결과가 출력된다.
도 6은 인공 신경망 기반의 얼굴 특징점 추출부, 특징점 기반 감정 인식부, 영상 패치 기반의 감정 인식부의 블록도이다.
입력 얼굴 영상으로부터 얼굴 특징점을 추출하는 얼굴 특징점 추출부는 인공 신경망(Artificial Neural Network) 방법으로 구현된다.
카메라의 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(Convolutional Neural Network, CNN)을 사용한다. 즉, 먼저 입력 영상의 모든 픽셀 정보를 일렬로 나열하여 하나의 커다란 벡터
Figure pat00059
로 만든 후,
Figure pat00060
함수를 반복 적용하여 출력 벡터, N개의 얼굴 특징점들에 대한 벡터
Figure pat00061
를 계산한다:
Figure pat00062
여기서, hi는 i번째 은닉 특징 벡터, hi-1은 i-1번째 은닉 특징 벡터, Wi는 신경망 회로의 가중치 파라미터(weight parameter, 상수값), bi는 신경망 회로의 바이어스 값이다.
즉, 입력 영상을 나타내는 벡터가
Figure pat00063
로 설정되어, 총 L 개의 레이어들을 거치며
Figure pat00064
,
Figure pat00065
, ...,
Figure pat00066
을 차례대로 계산하여 최종 출력 벡터는 으
Figure pat00067
로 결정이 된다. 또한,
Figure pat00068
,
Figure pat00069
, ...,
Figure pat00070
은 시스템의 입출력이 아닌, 드러나지 않는 양으로 은닉 특징 벡터(Hidden Feature Vector)라고 불린다. 이 때 최종 출력 벡터의 차원은
Figure pat00071
으로 N 개의 얼굴 특징점에 대한 2차원 영상 좌표들을 의미한다.
얼굴 특징점 추출부(710), 특징점 기반의 감정 인식부(720)와 영상 패치 기반의 감정 인식부(740) 또한 인공 신경망에 의해 구현된다. 인공 신경망은 입력층/은닉층/출력층의 다층 구조의 CNN(Convolutional Neural Network)을 사용할 수 있다.
특징점 기반의 감정 인식부(720)의 경우 얼굴 특징점 추출부(710)로부터 출력된 N개의 얼굴 특징점 좌표를 나타내는 2N 차원의 벡터를 입력으로 받아 M 차원의 감정 확률 벡터
Figure pat00072
를 출력한다. 비슷하게 영상 패치 기반 감정 인식부(740)의 경우도 영상 패치 추출부(730)로부터 출력된 총 N개의 영상 패치의 픽셀 정보를 일렬로 나열하여 하나의 커다란 벡터로 만든 후 인공 신경망을 통과하여 M차원의 감정 확률 벡터
Figure pat00073
를 출력한다. 인공 신경망의 구조는 도 5에 도시하였다.
정리하면, 얼굴 특징점 추출부(710), 특징점 기반 감정 인식부(720), 영상 패치 기반 감정 인식부(740)는 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(CNN)을 사용하며, 상기 얼굴 특징점 추출부(710)는 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출한다.
실시예에서는, 얼굴 인식 DC와 출입 관리시의 감정 상태에 따른 얼굴 특징점 데이터가 저장된 서버에 얼굴 인식을 사용한 감정 인식 시스템이 구축되며, client/server 방식으로 카메라 영상의 얼굴 인식 시에 PC 또는 스마트폰의 클라이언트 프로그램으로 얼굴 인식 및 그 감정 인식 결과를 볼 수 있다.
얼굴 인식 기술은 카메라로 촬영된 영상 데이터를 사용하여 공항 출입국 관리, 얼굴 인식 기반 출입관리, 얼굴 인식 화상 회의, 얼굴 인식 대화형 TV 미디어 서비스, CCTV 카메라의 얼굴 인식 기반 신원 확인 및 범죄 수사에 사용되며, 얼굴 인식을 통해 사람의 감정 상태를 추정하게 되었다.
또한, 본 발명의 얼굴 영상 기반의 감정 인식 방법은 (a) 감정 인식 시스템에서, 얼굴 영상
Figure pat00074
를 얼굴 특징점 추출부로 입력 받아, 상기 얼굴 특징점 추출부가 N개의 얼굴 특징점에 대한 좌표
Figure pat00075
를 출력하는 단계; (b) 얼굴 인식DB에 기계학습(machine learning)에 따라 개인별 감정상태에 따른 얼굴 사진의 특징점 데이터, 및 개인별 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(3x3 window, 또는 5x5 window)로 잘라낸 영상 패치 기반 데이터가 저장되며, 상기 얼굴 특징점 추출부로부터 상기 N개의 얼굴 특징점들에 대한 좌표
Figure pat00076
를 특징점 기반 감정 인식부로 입력받아, 상기 특징점 기반 감정 인식부가 상기 감정상태에 따른 얼굴 표정의 특징점 데이터와 비교하여 특징점 기반 감정 인식 결과를 제공하는 단계; (c) 입력 얼굴 영상과 상기 N개의 얼굴 특징점 좌표들을 영상 패치 추출부로 입력받아, 상기 영상 패치 추출부가 얼굴 특징점 좌표를 중심으로 가로, 세로가 W 픽셀의 길이를 가지는 정사각형 패치를 얼굴 영상으로부터 추출하여 결과적으로 총 N개의 영상 패치
Figure pat00077
를 제공하는 단계; (d) 상기 영상 패치 추출부로부터 상기 총 N개의 영상 패치
Figure pat00078
를 영상 패치 기반 감정 인식부로 입력받고, 상기 영상 패치 기반 감정 인식부가 영상 패치 기반 감정 인식 결과
Figure pat00079
를 제공하는 단계; 및 (e) 상기 특징점 기반 감정 인식부 및 상기 영상 패치 기반 감정 인식부로부터 얼굴 인식 DB와 연동하여 기계 학습 데이터와 비교하여 감정 상태에 따른 개인별 얼굴 사진의 각각 특징점 기반 감정 인식 결과
Figure pat00080
와 영상 패치 기반 감정 인식 결과
Figure pat00081
를 감정 인식 결과 융합부로 입력받아, 상기 감정 인식 결과 융합부가 최종 감정 인식 결과
Figure pat00082
를 출력하는 단계를 포함한다.
상기 단계 (a)에서, 상기 얼굴 특징점 추출부(710), 상기 특징점 기반 감정 인식부(720), 상기 영상 패치 기반 감정 인식부(740)는 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(CNN)을 사용하며, 상기 얼굴 특징점 추출부(710)는 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출한다.
상기 얼굴 인식DB는 기계학습(machine learning)에 따라 개인별 감정상태에 따른 얼굴 사진의 특징점 데이터, 및 개인별 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 영상 패치 기반 데이터가 저장된다.
상기 영상 패치 기반 데이터는 감정 상태에 따른 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 컬러 영상들을 각각 얼굴 인식DB에 저장된 얼굴 인식 데이터이며, 상기 윈도우는 3x3 window, 또는 5x5 window를 사용한다.
상기 단계 (d)의 상기 감정 인식 결과 융합부(770)는
Figure pat00083
과
Figure pat00084
는 모두 M 차원의 벡터로 M개의 감정 카테고리에 대한 확률 분포를 나타내며, 그렇게 추정된 두 개의 감정 인식 결과 벡터는 감정 인식 결과 융합부(770)로 입력되고, 최종 감정 인식 결과
Figure pat00085
가 계산되며,
이는
Figure pat00086
의 관계식을 통해 특징점 기반 감정 인식 결과 벡터와 영상 패치 기반 감정 인식 결과 벡터의 가중 평균으로 계산될 수 있으며, 여기서 α는 특징점 기반 감정 인식 결과에 대한 가중치를 나타내며,
인식된 감정의 카테고리
Figure pat00087
는 가장 높은 확률을 가지는 감정의 인덱스
Figure pat00088
로 계산되어 감정 인식 시스템의 최종 감정 인식 결과가 출력된다.
상기 감정 인식 시스템은, 얼굴 인식 DC와 출입 관리시의 감정 상태에 따른 얼굴의 특징점 데이터가 저장된 서버에 얼굴 인식을 사용한 감정 인식 시스템이 구축되며, client/server 방식으로 카메라 영상의 얼굴 인식 시에 PC 또는 스마트폰의 클라이언트 프로그램으로 얼굴 인식 및 상기 감정 인식 결과를 제공한다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과, 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.
700: 감정 인식 시스템 710: 얼굴 특징점 추출부
720: 특징점 기반 감정 인식부 730: 영상 패치 추출부
740: 영상 패치 기반 감정 인식부 770: 감정 인식 결과 융합부

Claims (12)

  1. 얼굴 인식을 위한 개인별 얼굴 사진과 기계 학습(machine learning)에 의해 개인별 얼굴 사진의 감정 상태에 따른 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 얼굴의 특징점들과 그 얼굴 사진과 관련된 감정 상태에 따른 영상 패치 기반 데이터를 저장하는 저장된 얼굴 인식 DB와 얼굴 인식 시스템; 및
    상기 얼굴 인식DB와 연동되며, 대상 사람의 얼굴 영상
    Figure pat00089
    를 입력받아 N개의 얼굴 특징점들을 추출하고, 특징점 기반 감정 인식 결과
    Figure pat00090
    와 그 특징점들 근처의 영상 패치로부터 영상 기반의 감정인식 결과
    Figure pat00091
    를 제공하여 대상 사람의 얼굴의 최종 감정 인식 결과를 출력하는 감정 인식 시스템;
    을 포함하는 얼굴 영상 기반의 감정 인식 시스템.
  2. 제1항에 있어서,
    상기 영상 패치 기반 데이터는 감정 상태에 따른 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 컬러 영상들을 각각 얼굴 인식DB에 저장된 얼굴 인식 데이터이며, 상기 윈도우는 3x3 window, 또는 5x5 window를 사용하는, 얼굴 영상 기반의 감정 인식 시스템.
  3. 제1항에 있어서,
    상기 감정 인식 시스템은
    얼굴 영상
    Figure pat00092
    를 입력받아 N개의 얼굴 특징점에 대한 좌표
    Figure pat00093
    를 출력하는 얼굴 특징점 추출부;
    얼굴 인식DB에 통계적으로 감정상태에 따른 얼굴 표정의 특징점 데이터가 저장되며, 상기 N개의 얼굴 특징점들에 대한 좌표
    Figure pat00094
    를 입력받아 상기 감정상태에 따른 얼굴 표정의 특징점 데이터와 비교하여 특징점 기반 감정 인식 결과를 제공하는 특징점 기반 감정 인식부;
    입력 얼굴 영상과 상기 N개의 얼굴 특징점 좌표들을 입력받아 얼굴 특징점 좌표를 중심으로 가로, 세로가 W 픽셀의 길이를 가지는 정사각형 패치를 얼굴 영상으로부터 추출하여 결과적으로 총 N개의 영상 패치
    Figure pat00095
    를 제공하는 영상 패치 추출부;
    상기 영상 패치 추출부로부터 상기 총 N개의 영상 패치
    Figure pat00096
    를 입력받고, 영상 패치 기반 감정 인식 결과
    Figure pat00097
    를 제공하는 영상 패치 기반 감정 인식부; 및
    상기 특징점 기반 감정 인식부 및 상기 영상 패치 기반 감정 인식부로부터 각각 특징점 기반 감정 인식 결과
    Figure pat00098
    와 영상 패치 기반 감정 인식 결과
    Figure pat00099
    를 입력받아 최종 감정 인식 결과
    Figure pat00100
    를 출력하는 감정 인식 결과 융합부;
    를 포함하는 얼굴 영상 기반의 감정 인식 시스템.
  4. 제1항에 있어서,
    상기 얼굴 특징점 추출부, 상기 특징점 기반 감정 인식부, 상기 영상 패치 기반 감정 인식부는 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(CNN)을 사용하며, 상기 얼굴 특징점 추출부는 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출하는, 얼굴 영상 기반의 감정 인식 시스템.
  5. 제1항에 있어서,
    상기 감정 인식 결과 융합부는
    Figure pat00101
    과
    Figure pat00102
    는 모두 M 차원의 벡터로 M개의 감정 카테고리에 대한 확률 분포를 나타내며, 그렇게 추정된 두 개의 감정 인식 결과 벡터는 상기 감정 인식 결과 융합부로 입력되고, 최종 감정 인식 결과
    Figure pat00103
    가 계산되며,
    이는
    Figure pat00104
    의 관계식을 통해 특징점 기반 감정 인식 결과 벡터와 영상 패치 기반 감정 인식 결과 벡터의 가중 평균으로 계산될 수 있으며, 여기서 α는 특징점 기반 감정 인식 결과에 대한 가중치를 나타내며,
    인식된 감정의 카테고리
    Figure pat00105
    는 가장 높은 확률을 가지는 감정의 인덱스
    Figure pat00106
    로 계산되어 감정 인식 시스템의 최종 감정 인식 결과가 출력되는, 얼굴 영상 기반의 감정 인식 시스템.
  6. 제1항에 있어서,
    상기 감정 인식 시스템은
    얼굴 인식 DC와 출입 관리시의 감정 상태에 따른 얼굴의 특징점 데이터가 저장된 서버에 얼굴 인식을 사용한 상기 감정 인식 시스템이 구축되며, client/server 방식으로 카메라 영상의 얼굴 인식 시에 PC 또는 스마트폰의 클라이언트 프로그램으로 얼굴 인식 및 상기 감정 인식 결과를 제공하는, 얼굴 영상 기반의 감정 인식 시스템.
  7. (a) 감정 인식 시스템에서, 얼굴 영상
    Figure pat00107
    를 얼굴 특징점 추출부로 입력 받아, 상기 얼굴 특징점 추출부가 N개의 얼굴 특징점에 대한 좌표
    Figure pat00108
    를 출력하는 단계;
    (b) 상기 얼굴 특징점 추출부로부터 상기 N개의 얼굴 특징점들에 대한 좌표
    Figure pat00109
    를 특징점 기반 감정 인식부로 입력받아, 상기 특징점 기반 감정 인식부가 상기 감정상태에 따른 얼굴 표정의 특징점 데이터와 비교하여 특징점 기반 감정 인식 결과를 제공하는 단계;
    (c) 입력 얼굴 영상과 상기 N개의 얼굴 특징점 좌표들을 영상 패치 추출부로 입력받아, 상기 영상 패치 추출부가 얼굴 특징점 좌표를 중심으로 가로, 세로가 W 픽셀의 길이를 가지는 정사각형 패치를 얼굴 영상으로부터 추출하여 결과적으로 총 N개의 영상 패치
    Figure pat00110
    를 제공하는 단계;
    (d) 상기 영상 패치 추출부로부터 상기 총 N개의 영상 패치
    Figure pat00111
    를 영상 패치 기반 감정 인식부로 입력받고, 상기 영상 패치 기반 감정 인식부가 영상 패치 기반 감정 인식 결과
    Figure pat00112
    를 제공하는 단계; 및
    (e) 상기 특징점 기반 감정 인식부 및 상기 영상 패치 기반 감정 인식부로부터 얼굴 인식 DB와 연동하여 기계 학습 데이터와 비교하여 감정 상태에 따른 개인별 얼굴 사진의 각각 특징점 기반 감정 인식 결과
    Figure pat00113
    와 영상 패치 기반 감정 인식 결과
    Figure pat00114
    를 감정 인식 결과 융합부로 입력받아, 상기 감정 인식 결과 융합부가 최종 감정 인식 결과
    Figure pat00115
    를 출력하는 단계;
    를 포함하는 얼굴 영상 기반의 감정 인식 방법.
  8. 제7항에 있어서,
    상기 단계 (a)에서, 상기 얼굴 특징점 추출부, 상기 특징점 기반 감정 인식부, 상기 영상 패치 기반 감정 인식부는 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(CNN)을 사용하며, 상기 얼굴 특징점 추출부는 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출하는, 얼굴 영상 기반의 감정 인식 방법.
  9. 제7항에 있어서,
    상기 얼굴 인식DB는 기계학습(machine learning)에 따라 개인별 감정상태에 따른 얼굴 사진의 특징점 데이터, 및 개인별 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 영상 패치 기반 데이터가 저장되는, 얼굴 영상 기반의 감정 인식 방법.
  10. 제7항에 있어서,
    상기 영상 패치 기반 데이터는 감정 상태에 따른 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 잘라낸 컬러 영상들을 각각 얼굴 인식DB에 저장된 얼굴 인식 데이터이며, 상기 윈도우는 3x3 window, 또는 5x5 window를 사용하는, 얼굴 영상 기반의 감정 인식 방법.
  11. 제7항에 있어서,
    상기 단계 (d)의 상기 감정 인식 결과 융합부는
    Figure pat00116
    과
    Figure pat00117
    는 모두 M 차원의 벡터로 M개의 감정 카테고리에 대한 확률 분포를 나타내며, 그렇게 추정된 두 개의 감정 인식 결과 벡터는 감정 인식 결과 융합부(770)로 입력되고, 최종 감정 인식 결과
    Figure pat00118
    가 계산되며,
    이는
    Figure pat00119
    의 관계식을 통해 특징점 기반 감정 인식 결과 벡터와 영상 패치 기반 감정 인식 결과 벡터의 가중 평균으로 계산될 수 있으며, 여기서 α는 특징점 기반 감정 인식 결과에 대한 가중치를 나타내며,
    인식된 감정의 카테고리
    Figure pat00120
    는 가장 높은 확률을 가지는 감정의 인덱스
    Figure pat00121
    로 계산되어 감정 인식 시스템의 최종 감정 인식 결과가 출력되는, 얼굴 영상 기반의 감정 인식 방법.
  12. 제7항에 있어서,
    상기 감정 인식 시스템은
    얼굴 인식 DC와 출입 관리시의 감정 상태에 따른 얼굴의 특징점 데이터가 저장된 서버에 얼굴 인식을 사용한 상기 감정 인식 시스템이 구축되며, client/server 방식으로 카메라 영상의 얼굴 인식 시에 PC 또는 스마트폰의 클라이언트 프로그램으로 얼굴 인식 및 상기 감정 인식 결과를 제공하는, 얼굴 영상 기반의 감정 인식 방법.
KR1020180142146A 2018-11-16 2018-11-16 얼굴 영상 기반의 감정 인식 시스템 및 방법 KR102147052B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180142146A KR102147052B1 (ko) 2018-11-16 2018-11-16 얼굴 영상 기반의 감정 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180142146A KR102147052B1 (ko) 2018-11-16 2018-11-16 얼굴 영상 기반의 감정 인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200063292A true KR20200063292A (ko) 2020-06-05
KR102147052B1 KR102147052B1 (ko) 2020-08-21

Family

ID=71088589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180142146A KR102147052B1 (ko) 2018-11-16 2018-11-16 얼굴 영상 기반의 감정 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102147052B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287851A (zh) * 2020-11-02 2021-01-29 浙江工商大学 基于嵌入式视觉的婴儿情绪识别方法
CN112487904A (zh) * 2020-11-23 2021-03-12 成都尽知致远科技有限公司 一种基于大数据分析的视频图像处理方法及系统
CN113743369A (zh) * 2021-09-18 2021-12-03 中国银行股份有限公司 一种数据处理方法及装置
KR20210155318A (ko) * 2020-06-15 2021-12-22 세종대학교산학협력단 가짜 감정 인식 방법 및 그 장치
KR20220036016A (ko) * 2020-09-15 2022-03-22 박경민 가상현실을 사용한 아트 갤러리 구현 솔루션
KR20220105786A (ko) 2021-01-21 2022-07-28 한국전자기술연구원 정면 및 측면 얼굴 영역 탐지가 가능한 딥러닝 기반의 실시간 감정 인식 시스템 및 방법
KR20220132854A (ko) * 2021-03-24 2022-10-04 조두현 출입문 관리 시스템 및 출입문 관리 방법
KR20230076965A (ko) * 2021-11-23 2023-06-01 한국공학대학교산학협력단 인간 친화형 로봇의 감정 표현을 위한 표정 시각화 정보 생성 방법 및 장치
CN117542102A (zh) * 2023-12-08 2024-02-09 广州紫为云科技有限公司 一种基于单目rgb图像的多任务脸部表情识别方法
CN118700178A (zh) * 2024-08-29 2024-09-27 深圳市卡司通展览股份有限公司 一种基于内投影技术的机器人面部表情调控系统及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102198360B1 (ko) 2019-10-24 2021-01-04 광운대학교 산학협력단 얼굴 영상 기반의 시선 추적 시스템 및 방법
KR102472110B1 (ko) 2020-10-21 2022-11-28 광운대학교 산학협력단 감정 기반의 얼굴 영상 생성 시스템 및 방법
KR20220061619A (ko) 2020-11-06 2022-05-13 경기과학기술대학교 산학협력단 감정 평가 시스템
KR102435556B1 (ko) 2021-05-17 2022-08-22 이연정 표현대상을 이용한 감정인식장치 및 그 동작방법
KR102391154B1 (ko) 2021-05-17 2022-04-26 이연정 감정발산 유도시스템
KR20230139019A (ko) 2022-03-25 2023-10-05 배재대학교 산학협력단 딥 러닝 기반 작업자 개인보호구 착용 및 얼굴 신원 확인 시스템
KR102458179B1 (ko) 2022-06-20 2022-10-24 주식회사 한국공간데이터 얼굴 속성을 이용한 얼굴 인식 방법 및 얼굴 인식 장치
KR102543077B1 (ko) * 2022-08-03 2023-06-13 가천대학교 산학협력단 안면이미지의 안면영역 분할 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034966A (ko) * 2005-09-26 2007-03-29 캐논 가부시끼가이샤 정보 처리 장치 및 그 제어방법
JP2012008779A (ja) * 2010-06-24 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> 表情学習装置、表情認識装置、表情学習方法、表情認識方法、表情学習プログラム及び表情認識プログラム
KR20170050465A (ko) 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법
KR20180078115A (ko) * 2016-12-29 2018-07-09 삼성전자주식회사 이미지 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070034966A (ko) * 2005-09-26 2007-03-29 캐논 가부시끼가이샤 정보 처리 장치 및 그 제어방법
JP2012008779A (ja) * 2010-06-24 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> 表情学習装置、表情認識装置、表情学習方法、表情認識方法、表情学習プログラム及び表情認識プログラム
KR20170050465A (ko) 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법
KR20180078115A (ko) * 2016-12-29 2018-07-09 삼성전자주식회사 이미지 처리 방법 및 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210155318A (ko) * 2020-06-15 2021-12-22 세종대학교산학협력단 가짜 감정 인식 방법 및 그 장치
KR20220036016A (ko) * 2020-09-15 2022-03-22 박경민 가상현실을 사용한 아트 갤러리 구현 솔루션
CN112287851A (zh) * 2020-11-02 2021-01-29 浙江工商大学 基于嵌入式视觉的婴儿情绪识别方法
CN112487904A (zh) * 2020-11-23 2021-03-12 成都尽知致远科技有限公司 一种基于大数据分析的视频图像处理方法及系统
KR20220105786A (ko) 2021-01-21 2022-07-28 한국전자기술연구원 정면 및 측면 얼굴 영역 탐지가 가능한 딥러닝 기반의 실시간 감정 인식 시스템 및 방법
KR20220132854A (ko) * 2021-03-24 2022-10-04 조두현 출입문 관리 시스템 및 출입문 관리 방법
CN113743369A (zh) * 2021-09-18 2021-12-03 中国银行股份有限公司 一种数据处理方法及装置
KR20230076965A (ko) * 2021-11-23 2023-06-01 한국공학대학교산학협력단 인간 친화형 로봇의 감정 표현을 위한 표정 시각화 정보 생성 방법 및 장치
CN117542102A (zh) * 2023-12-08 2024-02-09 广州紫为云科技有限公司 一种基于单目rgb图像的多任务脸部表情识别方法
CN118700178A (zh) * 2024-08-29 2024-09-27 深圳市卡司通展览股份有限公司 一种基于内投影技术的机器人面部表情调控系统及方法

Also Published As

Publication number Publication date
KR102147052B1 (ko) 2020-08-21

Similar Documents

Publication Publication Date Title
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
Tian Evaluation of face resolution for expression analysis
JP4755202B2 (ja) 顔特徴の検出方法
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
KR102198360B1 (ko) 얼굴 영상 기반의 시선 추적 시스템 및 방법
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN107368778A (zh) 人脸表情的捕捉方法、装置及存储装置
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
KR20160066380A (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
US7848544B2 (en) Robust face registration via multiple face prototypes synthesis
US10586098B2 (en) Biometric method
CN112528902B (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
Ali et al. A robust and efficient system to detect human faces based on facial features
Lee et al. Facial expression recognition using image processing techniques and neural networks
CN112464012A (zh) 可自动筛选照片的景区自动拍照系统及景区自动拍照方法
Kakumanu et al. A local-global graph approach for facial expression recognition
Chen et al. 3d face mask anti-spoofing via deep fusion of dynamic texture and shape clues
Dubey et al. Deep Perusal of Human Face Recognition Algorithms from Facial Snapshots
Bourbakis et al. Skin-based face detection-extraction and recognition of facial expressions
KR102472110B1 (ko) 감정 기반의 얼굴 영상 생성 시스템 및 방법
CN112380966B (zh) 基于特征点重投影的单眼虹膜匹配方法
Dixit et al. A hybrid approach of face recognition using bezier curve

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant