KR20200055811A - 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법 - Google Patents

감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20200055811A
KR20200055811A KR1020180135303A KR20180135303A KR20200055811A KR 20200055811 A KR20200055811 A KR 20200055811A KR 1020180135303 A KR1020180135303 A KR 1020180135303A KR 20180135303 A KR20180135303 A KR 20180135303A KR 20200055811 A KR20200055811 A KR 20200055811A
Authority
KR
South Korea
Prior art keywords
emotion
emotions
face image
facial
value
Prior art date
Application number
KR1020180135303A
Other languages
English (en)
Other versions
KR102174175B1 (ko
Inventor
김병규
김지해
정다미
Original Assignee
숙명여자대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숙명여자대학교산학협력단 filed Critical 숙명여자대학교산학협력단
Priority to KR1020180135303A priority Critical patent/KR102174175B1/ko
Publication of KR20200055811A publication Critical patent/KR20200055811A/ko
Application granted granted Critical
Publication of KR102174175B1 publication Critical patent/KR102174175B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G06K9/00308—
    • G06K9/00268—
    • G06K9/00288—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치 및 그 방법에 대한 것이다.
본 발명에 따르면, 입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치에 있어서, 감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하며, 추출된 특징으로부터 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 전달하는 얼굴 특징 추출부, 상기 입력된 얼굴 이미지와 동일 인물에 대한 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, 상기 좌표의 차이값을 CNN알고리즘의해 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 기하학적 변화량 추출부, 그리고 상기 얼굴 특징 추출부로부터 추출된 감정 인식값과 상기 기하학적 변화량 추출부에서 산출된 벡터값에 각각 가중치를 부여하여 산출된 결과값 중 최고값을 가진 감정을 최종 감정으로 분류하는 감정 분류부를 포함한다.
본 발명에 따른 얼굴 표정 인식 장치는 종래의 알고리즘을 통해 획득한 상위 2 개의 감정 내에서 빈번하게 발생되는 감정인식 오류를 개선하고, 얼굴 특징을 통해 추출된 인식값과 기하학적 변화량을 통해 산출된 벡터값에 각각 가중치를 부여 결과값을 산출함으로써 정확도가 개선된 최종 감정이 결정되는 효과를 지닌다.

Description

감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법{Facial emotional recognition apparatus for Identify Emotion and method thereof}
본 발명은 감정을 식별할 수 있는 얼굴 감정 인식 장치 및 그 방법 에 관한 것으로서, 더욱 상세하게는 학습 알고리즘을 이용하여 입력된 얼굴 이미지로부터 감정을 정확하게 식별할 수 있는 얼굴 감정 인식 장치 및 그 방법에 관한 것이다.
최근 사람과 기계 사람과 사람 사이의 소통을 위한 기술들은 인간의 상호작용에 주요한 역할을 하는 오감을 토대로 발달해왔다. 특히 최근에는 인공지능 기술의 발달로 애플사의 siri, 아마존사의 alex 그리고 인공지능 스피커인 SKT의 NUGU, 네이버의 클로바까지 사람의 음성과 언어를 인지하여 반응하는 기술로 사람의 일상 스케줄을 관리하거나, 좋아하는 음악을 재생하는 등 인공지능 로봇에 적용되어 실 생활에 긴밀한 상호작용을 하고 있다. 그러나 사람의 복잡하고 복합적인 상호작용을 이해하기 위해서는, 기술에서도 다양한 감각의 수용이 필요하다.
그 중에서도 인간의 감각 중 50%이상의 인지 비율을 가지고 있는 시각에 대한 기술의 필요성이 중요하다. 인간의 얼굴은 사용자의 현재 상태를 이해할 수 있는 단서로써 중요한 정보를 제공한다. 지난 10년 동안 표정 분류 및 인식은 널리 연구되어 왔고 최근 데이터의 증가와 딥러닝 기술의 발전으로 보다 정확하게 실시간으로 감정을 인식하는 얼굴 인식 시스템 연구가 활발해지고 있다.
그러나, 종래의 얼굴인식 시스템은 딥러닝 학습에 사용하기 위하여 방대한 양의 데이터를 필요로 하고, 감정 레이블이 있는 얼굴 표정 인식 데이터 셋이 부족한 문제점이 야기되었다.
또한, 얼굴 표정 인식 데이터 셋은 순차적으로 변화가 있는 데이터 셋보다 정지 상태의 테이터 셋이 주를 이루고 있어, 공간적인 모습을 주로 사용하여 정확도가 떨어지는 문제점이 있었다,
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2014-00876007호(2014.07.09. 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는, 학습 알고리즘을 이용하여 입력된 얼굴 이미지로부터 감정을 정확하게 식별할 수 있는 얼굴 감정 인식 장치 및 그 방법을 제공하는데 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치에 있어서, 감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하며, 추출된 특징으로부터 순위에 따라 나열된 6개의 감정을 획득하고, 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 얼굴 특징 추출부, 상기 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, CNN알고리즘에 의해 조합된 6개의 감정에 상기 좌표의 차이값을 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 기하학적 변화량 추출부, 그리고 상기 얼굴 특징 추출부로부터 전달받은 상위 2개의 감정으로부터 산출된 감정 인식값과 상기 기하학적 변화량 추출부에서 산출된 벡터값에 각각 가중치를 부여하여 상위 2개 감정에 대한 각각의 결과값을 산출하며, 산출된 결과값 중 최고값을 가진 감정을 분류하는 감정 분류부를 포함한다.
상기 감정은, 행복, 슬픔, 두려움, 혐오감, 놀람 및 분노를 포함한 6가지로 분류될 수 있다.
상기 얼굴 특징 추출부는, 상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 이미지 입력모듈, 상기 입력된 얼굴 이미지로부터 얼굴 영역을 분리하는 얼굴 영역 인식모듈, 상기 분리된 얼굴 이미지를 오토인코더(autoencoder)에 적용하여 상기 입력된 얼굴 이미지로부터 기본 얼굴 이미지를 생성하여 기하학적 변화량 추출부로 전달하는 얼굴생성모듈, LBP(local binary pattern) 알고리즘을 이용하여 상기 입력된 얼굴 이미지로부터 얼굴의 주요 특징 정보를 추출하는 얼굴 특징 추출모듈, 그리고 상기 추출된 얼굴의 주요 특징정보를 CNN알고리즘에 적용하여 6가지의 감정 결과를 산출하고, 산출된 6가지의 감정 결과 중에서 상위 2개에 해당하는 감정을 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 판단모듈을 포함할 수 있다.
상기 얼굴생성모듈은, 동일인에 대하여 표정이 있는 얼굴 이미지와 표정이 없는 기본 얼굴이미지를 이용하여 2개의 얼굴 이미지 사이의 특징값 차이로부터 발생되는 에러를 학습시켜 데이터셋을 생성하며, 상기 생성된 데이터셋이 적용된 오토인코더(autoencoder)를 이용하여 상기 감정 인식 대상이 되는 얼굴 이미지로부터 상기 기본 얼굴 이미지를 생성할 수 있다.
상기 얼굴 특징 추출모듈은, 상기 얼굴 영역만 분리된 얼굴 이미지에 블러링(blurring)을 적용하여 노이즈를 제거한 다음, LBP알고리즘을 이용하여 주요 액션 유니트(action units) 위주로 특징을 추출할 수 있다.
상기 LBP알고리즘은, 하기 수학식에 의해 산출될 수 있다.
Figure pat00001
,
Figure pat00002
여기서,
Figure pat00003
는 입력된 얼굴 이미지에 선택된 현재의 픽셀이고,
Figure pat00004
는
Figure pat00005
의 이웃에 분포된 픽셀이고,
Figure pat00006
은 현재의 픽셀과 이웃의 픽셀을 비교하여 0 또는 1로 산출된 값이고, P는 8로, 비교하고자 하는 이웃 픽셀의 개수이다. 따라서 p는 0부터 7까지 현재의 픽셀의 왼쪽 상단에 위치한 이웃 픽셀부터 시계방향으로 부여된다.
상기 판단모듈은, 상기 LBP알고리즘이 적용된 상기 입력된 얼굴 이미지에 복수의 컨볼루션(convolution)을 적용하여 6가지의 감정을 산출하고, 산출된 6가지의 감정 중에서 상위 2개에 해당하는 감정을 분류할 수 있다.
상기 기하학적 변화량 추출부는, 상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 이미지 입력모듈, 상기 입력된 얼굴 이미지와 상기 얼굴 생성모듈로부터 전달받은 기본 얼굴 이미지에 액션 유니트(action units)를 중심으로 특징점을 생성하는 특징점 생성모듈, 상기 생성된 특징점을 이용하여 상기 입력된 얼굴 이미지와 상기 기본 얼굴 이미지를 비교 판단하고, 차이가 발생된 특징점에 대한 좌표 차이를 이용하여 벡터값을 산출하는 벡터값 산출모듈, 그리고 상기 판단모듈로부터 수신된 상위 2개의 감정에 대응되며, 상기 벡터값 산출모듈에서 산출된 벡터값을 CNN알고리즘에 적용하여 조합된 6개의 감정 중에서 상위 2개에 해당하는 감정을 선택하는 감정결과 산출 모듈을 포함할 수 있다.
상기 벡터값 산출모듈은, 하기 수학식에 의해 벡터값을 산출할 수 있다.
Figure pat00007
여기서, (
Figure pat00008
,
Figure pat00009
)는 표정이 있을 때의 특징점에 대한 좌표값이고, (
Figure pat00010
,
Figure pat00011
)는 표정이 없을 때의 특징점에 대한 좌표값이다.
상기 감정 분류부는, 상기 얼굴 특징 추출부로부터 상위 2가지의 감정에 대한 정보를 전달받는 감정수신모듈, 상기 얼굴 특징 추출부로부터 전달받은 상위 2가지의 감정을 감정 인식값으로 산출하여 정규화하는 인식값 산출모듈, 그리고 상기 얼굴 특징 추출부의 상위 2가지의 감정에 대한 인식값과 상기 기하학적 변화량 추출부로부터 전달받은 상위 2가지의 감정에 대한 벡터값에 가중치를 부여하여 상기 상위 2가지의 감정에 대해 결과값을 산출하며, 산출된 결과값 중에서 최고 값이 부여된 감정을 상기 감정 인식 대상이 되는 얼굴 이미지에 대한 감정으로 결정할 수 있다.
상기 감정 분류부는, 하기 수학식에 의해 상기 상위 2가지의 감정에 대해 결과값을 산출할 수 있다.
Figure pat00012
여기서,
Figure pat00013
는 얼굴 특징 추출부에서 추출된 감정에 대한 인식값이고,
Figure pat00014
는 기하학적 변화량 추출부에서 추출된 감정에 대한 벡터값이며,
Figure pat00015
는 가중치 값을 나타낸다.
상기 가중치 값은 0.7과 0.8의 사이의 값으로 설정될 수 있다.
또한, 본 발명은 감정 인식 대상이 되는 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하고, 상기 추출된 얼굴 특징으로부터 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 추출하는 단계,
상기 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, 상기 산출된 좌표의 차이값을 CNN알고리즘에 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 단계, 그리고
상기 얼굴 특징으로부터 산출된 상위 2개의 감정에 대한 인식값과 특징점의 차이를 이용하여 산출된 상위 2개의 감정에 대한 벡터값에 각각 가중치를 부여하여 상위 2개 감정에 대한 각각의 결과값을 산출하고, 산출된 결과값 중 최고값을 가진 감정을 최종 감정으로 분류하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 종래의 알고리즘을 통해 획득한 상위 2 개의 감정 내에서 빈번하게 발생되는 감정인식 오류를 개선하고, 동적, 또는 정적인 상태의 특징으로 모두 사용 가능하며, 얼굴 특징 통해 추출된 인식값과 특징점의 기하학적 변화량을 통해 산출된 벡터값에 각각 가중치를 부여 결과값을 산출함으로써 정확도가 개선된 최종 감정이 결정되는 효과를 도모할 수 있다.
또한, 본 발명은 별도의 데이터 셋이 없어도 입력된 얼굴 이미지에서 기본 얼굴 이미지를 추출할 수 있으므로 데이터 셋의 부족 문제를 해결하고, 공간적인 데이터 셋이 아닌 정적인 데이터 셋으로부터 동적인 정보 추출이 가능한 효과를 지닌다.
또한, 본 발명은 감정을 은폐하려는 정서 상태 시, 변화의 정도가 적고 짧은 시간을 가지기 때문에, 부분적인 액션 유니트의 강도 측정과 높은 프레임 수를 분석함으로써, 더 세밀하고 포괄적인 분석이 가능한 효과를 지닌다.
도 1은 본 발명의 실시예에 따른 얼굴 표정 인식 장치에 관한 구성도이다.
도 2는 도 1에 도시된 얼굴 특징 추출부에 대한 구성도이다.
도 3은 도 1에 도시된 기하학적 변화량 추출부 에 대한 구성도이다.
도 4는 도 3의 특징점 생성모듈에서 생성된 특징점을 개략적으로 설명하기 위한 도면이다.
도 5는 도 1에 도시된 감정분류부에 대한 구성을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 얼굴 감정 인식 장치를 이용한 감정 식별 방법을 개략적으로 설명하기 위한 순서도이다.
도 7은 도 6에 도시된 S610 단계를 설명하기 위한 순서도이다.
도 8은 도 7에 도시된 S613단계에서 오토인코더를 통해 얼굴 이미지로부터 기본 얼굴 이미지를 생성하는 예를 도시한 도면이다.
도 9는 7에 도시된 S614단계에서 LBP알고리즘을 통해 특징을 추출하는 방법을 도시한 도면이다.
도 10은 7에 도시된 S615단계에서 판단 모듈로부터 상위 2개의 감정을 추출하는 방법을 예시한 도면이다.
도 11은 도 6에 도시된 S620 단계를 설명하기 위한 순서도이다.
도 12는 도 11에 도시된 S623단계에서 얼굴이미지와 기본이미지의 차이를 개략적으로 설명하기 위한 도면이다.
도 13은 도 6에 도시된 S630 단계를 설명하기 위한 순서도이다.
도 14는 도 8에 도시된 S634 단계에서 부여되는 가중치 값에 대한 그래프이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 얼굴 표정 인식 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 표정 인식 장치에 관한 구성도이다.
도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 얼굴 표정 인식 장치(100)는 얼굴 특징 추출부(110), 기하학적 변화량 추출부(120), 감정 분류부(130)를 포함한다.
먼저, 얼굴 특징 추출부(110)는 사용자로부터 감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출한다.
그 다음, 얼굴 특징 추출부(110)는 얼굴 이미지 전체에서 추출된 특징으로부터 순위에 따라 나열된 6개의 감정을 획득하고, 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 기하학적 변화량 추출부(120) 및 감정분류부(130)에 각각 전달한다.
기하학적 변화량 추출부(120)는 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출한다. 그 다음, 기하학적 변화량 추출부(120)는 산출된 좌표의 차이값을 CNN알고리즘에 적용하여 조합된 6개의 감정 중에서 상위 2개의 감정에 대한 벡터값을 산출한다.
감정 분류부(130)는 얼굴 특징 추출부(110)에서 추출된 상위 2개 에 대한 감정정보와 기하학적 변화량 추출부(120)에서 추출된 상위 2개의 감정에 대한 벡터값에 각각 가중치를 부여하여 결과값을 산출한다. 감정 분류부(130)는 산출된 결과값을 이용하여 상위 2개 감정 중에서 최고값을 가진 감정을 최종 감정으로 결정한다.
이하에서는 도 2를 통하여 본 발명의 실시예에 따른 얼굴 특징 추출부(110)에 대하여 설명한다.
도 2는 도 1에 도시된 얼굴 특징 추출부에 대한 구성도이다.
얼굴 특징 추출부(110)는 입력된 감정 인식 대상이 되는 얼굴 이미지로부터 얼굴 영역을 추척하고, 추척된 얼굴 영역에서 특징을 추출하는 것으로서, 이미지 입력모듈(111), 얼굴 영역 인식모듈(112), 얼굴생성모듈(113), 얼굴 특징 추출 모듈(114) 및 판단모듈(115)을 포함한다.
먼저, 이미지 입력모듈(111)은 사용자가 입력한 얼굴 이미지를 수신한다. 수신된 얼굴 이미지는 감정 인식 대상으로서, 이미지 입력모듈(111)은 수신된 얼굴이미지를 영역 인식모듈(112)에 전달한다.
얼굴 영역 인식모듈(112)은 전달받은 얼굴 이미지로부터 얼굴 영역만을 분리한다.
이때, 얼굴 영역 인식모듈(112)이 얼굴 영역만을 분리하는 이유는 이미지 내에 포함된 인물의 위치, 인물이 착용하고 있는 세서리, 햇빛 및 인물이 착용하고 있는 의상 등의 환경 변수에 따라 감정 인식의 정확도가 떨어지는 것을 방지하기 위함이다.
얼굴생성모듈(113)은 전달받은 얼굴 영역만 분리된 얼굴 이미지로부터 기본 얼굴 이미지를 생성한다. 또한, 얼굴생성모듈(113)은 동일 인물에 대하여 얼굴이미지와 기본 얼굴이미지를 모두를 수집하여 데이터셋을 생성한다.
얼굴 특징 추출 모듈(114)은 얼굴 영역 인식 모듈(112)로부터 분리된 얼굴 이미지를 LBP(local binary pattern) 알고리즘에 적용하여 얼굴 전체의 주요 특징을 추출한다. 이를 다시 설명하면, 얼굴 특징 추출 모듈(114)은 얼굴 전체의 주요 특징을 추출하기 위하여 입력된 얼굴이미지의 각 픽셀에 대한 LBP을 산출하고, 산출된 LBP 이미지 결과에 따라 질감 형태로 나타낸 얼굴이미지를 판단모듈(115)에 전달한다.
판단모듈(115)은 전달받은 질감 형태의 얼굴이미지를 CNN알고리즘에 적용하여 6가지의 감정 결과를 산출한다.
산출된 6가지의 감정에 대한 정보는 순서에 따라 나열되며, 판단모듈(115)은 나열된 6가지의 감정에 대한 정보 중에서 순위가 높은 2가지의 감정 정보를 감정분류부(130)에 전달한다.
이하에서는 도 3및 도 4를 통하여 본 발명의 실시예에 따른 기하학적 변화량 추출부(120)에 대하여 더욱 상세하게 설명한다.
도 3은 도 1에 도시된 기하학적 변화량 추출부 에 대한 구성도이고, 도 4는 도 3의 특징점 생성모듈에서 생성된 특징점을 개략적으로 설명하기 위한 도면이다.
기하학적 변화량 추출부(120)는 얼굴 이미지와 기본 얼굴이미지에 각각 부여된 특징점을 이용하여 변화량을 추출하고, 추출된 변화량을 이용하여 상위 2개의 감정에 대한 벡터값을 추출하는 것으로서, 이미지 입력모듈(121), 특징점 생성모듈(122), 벡터값 산출모듈(123) 및 감정결과 산출모듈(124)을 포함한다.
먼저, 이미지 입력모듈(121)은 사용자로부터 감정 인식 대상이 되는 얼굴 이미지를 입력받는다.
특징점 생성모듈(122)은 이미지 입력모듈(121)로부터 얼굴 이미지를 전달받고, 전달받은 얼굴이미지에 액션 유니트를 중심으로 특징점을 생성한다.
액션 유니트(action units)는 얼굴 표정을 지을 때 움직이는 주요 근육들을 지칭하는 것으로서, 특징점 생성모듈(122)은 도 4에 도시된 바와 같이, 눈썹, 눈, 코, 입 등에 대략 18개 정도의 특징점을 위치시킨다.
상기와 같이 특징점을 생성함으로서, 얼굴이미지를 통해 감정을 식별할 때 조명으로부터의 영향을 줄일 수 있고, 얼굴 이미지와 기본 얼굴 이미지의 차이점을 통해 감정 식별이 용이한 효과를 지닌다.
한편, 특징점 생성모듈(122)은 얼굴 이미지에 생성된 특징점의 변화를 추적하기 위하여 기본 얼굴 이미지에도 특징점을 생성한다. 만약, 기본 얼굴 이미지에 대한 정보가 없을 경우에는 얼굴 특징 추출부(110)의 얼굴 생성모듈(112)에 생성된 기본 얼굴 이미지를 요청하여 수신한다.
벡터값 산출모듈(123)은 특징점 생성모듈(122)로부터 특징점이 생성된 얼굴 이미지와 기본 얼굴 이미지를 각각 전달받고, 얼굴 이미지와 기본 얼굴 이미지를 비교 판단하여 차이가 발생된 특징점에 대해 벡터값을 산출한다.
이하에서는 도 5를 이용하여 본 발명의 실시예에 따른 감정분류부(130)에 대하여 더욱 상세하게 설명한다.
도 5는 도 1에 도시된 감정분류부에 대한 구성을 나타내는 도면이다.
도 5에 나타낸 바와 같이, 감정 분류부(130)는 얼굴 특징 추출부(110)에서 추출된 상위 2개의 감정에 대한 정보와 기하학적 변화량 추출부(120)에서 추출된 상위 2개의 감정에 대한 벡터값에 각각 가중치를 부여하여 최종 감정으로 결정할 수 있는 결과값을 산출하는 것으로서, 감정수신모듈(131), 인식값 산출모듈(132) 및 분류모듈(133)을 포함한다.
감정수신모듈(131)은 얼굴 특징 추출부(110)로부터 상위 2가지의 감정에 대한 정보를 전달받는다. 이때, 특징 추출부(110)로부터 수신된 상위 2가지의 감정 정보는 값으로 산출된 것이 아니라 정보만을 포함한다. 따라서, 감정수신모듈(131)은 수신된 감정 정보를 인식값 산출모듈(132)에 전달한다.
인식값 산출모듈(132)은 전달받은 상위 2가지의 감정에 대한 정보를 인식값으로 산출한다. 따라서, 인식값 산출모듈(132)은 감정에 대한 정보를 인식값으로 산출하여 정규화한다.
분류모듈(133)은 얼굴 특징 추출부(110)로부터 전달받아 획득한 상위 2가지의 감정에 대한 인식값과 기하학적 변화량 추출부(120)로부터 전달받은 상위 2가지의 감정에 대한 벡터값을 전달받는다. 그리고, 분류모듈(133)은 전달받은 인식값과 벡터값에 가중치를 부여하여 감정 인식 대상이 되는 얼굴 이미지에 대한 감정을 결정한다.
이하에서는 도 6을 통하여 본 발명의 실시예에 따른 얼굴 감정 인식 장치(100)를 이용하여 감정을 식별할 수 있는 방법에 대하여 설명한다.
도 6은 본 발명의 실시예에 따른 얼굴 감정 인식 장치를 이용한 감정 식별 방법을 개략적으로 설명하기 위한 순서도이다.
도 6에 나타낸 바와 같이, 본 발명의 실시예에 따른 얼굴 감정 인식 장치(100)를 이용한 감정 식별 방법은 얼굴 특징 추출부로부터 상위 2개 감정에 대한 정보를 추출하는 단계(S610), 기하학적 변화량 추출부로부터 상위 2개 감정에 대한 벡터값을 추출하는 단계(S620) 및 최종 감정 분류단계(S630)을 포함한다.
먼저, 얼굴 특징 추출부(110)는 입력된 얼굴 이미지를 이용하여 얼굴 전체에 대한 특징을 추출하고, 추출된 특징으로부터 상위 2개 감정에 대한 정보를 추출한다(S610).
그 다음, 기하학적 변화량 추출부(120)는 사용자가 입력한 얼굴 이미지와 얼굴 특징 추출부(110)로부터 수신된 기본 얼굴이미지에 특징점을 생성한다. 기하학적 변화량 추출부(120)는 생성된 특징점의 차이값을 이용하여 상위 2개 감정에 대한 벡터값을 산출한다(S620).
상기와 같이, 얼굴 특징 추출부(110)에서 상위 2개 감정에 대한 정보를 추출하고, 기하학적 변화량 추출부(120)에서 상위 2개 감정에 대한 벡터값을 산출이 완료되면, 감정 분류부(130)는 인식값과 벡터값에 각각 가중치를 부여하여 결과값을 산출하고, 산출된 결과값을 이용하여 최종 감정 결정한다(S630).
하기에서는 앞서 기재된 각 단계를 더욱 상세하게 설명한다.
먼저, 도 7내지 도 10을 이용하여 얼굴 특징 추출부로부터 상위 2개 감정에 대한 정보를 추출하는 단계(S610)에 대해 더욱 상세하게 설명한다.
도 7은 도 6에 도시된 S610 단계를 설명하기 위한 순서도이고, 도 8은 도 7에 도시된 S613단계에서 오토인코더를 통해 얼굴 이미지로부터 기본 얼굴 이미지를 생성하는 예를 도시한 도면이고, 도 9는 7에 도시된 S614단계에서 LBP알고리즘을 통해 특징을 추출하는 방법을 도시한 도면이고, 도 10은 7에 도시된 S615단계에서 판단 모듈로부터 상위 2개의 감정을 추출하는 방법을 예시한 도면이다.
도 7에 나타낸 바와 같이, 얼굴 특징 추출부로부터 상위 2개 감정에 대한 정보를 추출하는 단계(S610)는 얼굴 이미지 입력단계(S611), 얼굴 영역 분리 단계(S612), 기본 얼굴 생성단계(S613). LBP알고리즘을 통해 얼굴 특징 추출단계(S614) 및 상위 2가지 감정 정보 전달단계(S615)를 포함한다.
먼저, 얼굴 특징 추출부(110)의 이미지 입력모듈(111)은 사용자로부터 인식 대상이 되는 얼굴 이미지를 입력받는다(S611).
이미지 입력모듈(111)은 입력받은 얼굴이미지를 이미지 입력모듈(112)에 전달하고, 이미지 입력모듈(112)은 전달받은 얼굴 이미지에서 얼굴 영역만 분리한다(S612).
상기에서 분리된 얼굴 이미지는 얼굴 생성 모듈(113)과 얼굴 특징 추출모듈(114)에 각각 전달한다.
먼저, 얼굴생성모듈(113)은 생성된 데이터 셋을 기반으로 감정 인식 대상이 되는 얼굴 이미지로부터 기본 얼굴이미지를 생성한다(S613).
이에 대하여 자세하게 설명하면, 먼저, 얼굴생성모듈(113)은 도 8에 나타낸 바와 같이, 동일 인물로부터 획득한 얼굴 이미지와 기본 얼굴 이미지를 VGG19 네트워크 구조가 차용된 오토인코더(autoencoder)의 인풋(input)과 아웃풋(output)에 각각 입력한다.
이때, 오토인코더(autoencoder)는 다차원 입력 데이터를 저차원 부호로 바꾸고, 다시 저차원 부호를 처음 입력한 다차원 데이터로 바꾸면서 차이값을 찾아내는 것이다.
상기와 같이, 얼굴생성모듈(113)은 오토인코더(autoencoder)를 통해 얼굴 이미지와 기본 얼굴 이미지 사이에 발생되는 차이값을 반복적으로 산출하여 데이터 셋을 생성한다.
따라서, 얼굴생성모듈(113)은 사용자로부터 입력된 얼굴 이미지가 감정은 알 수 없되 표정이 발생된 이미지 하나일 경우, 딥러닝된 데이터셋에 의해 산출된 차이값을 입력된 얼굴 이미지에 적용하여 기본 얼굴 이미지를 생성한다.
한편, 분리된 얼굴 이미지를 전달받은 얼굴 특징 추출모듈(114)은 분리 얼굴 이미지로부터 얼굴 전체 특징을 추출한다(S614).
이때, 얼굴 특징 추출모듈(114)에서 추출되는 얼굴 전체 특징은 얼굴 이미지에 포함된 복수의 픽셀에서 특징값을 산출하고, 산출된 특징값에 따라 유채색으로 나타나 있던 얼굴 이미지를 무채색으로 표현하되 질감이 있는 것처럼 나타낸다.
따라서, 얼굴 특징 추출모듈(114)은 LBP(local binary pattern) 알고리즘을 이용하여 특징값을 산출한다.
LBP(local binary pattern) 알고리즘은 이미지의 질감을 효율적으로 나타내는 것으로서, 이미지의 모든 픽셀에 대해 각 픽셀의 주변 영역의 상대적인 밝기 변화를 이진수로 코딩한 값을 산출한다. 즉, 중앙 픽셀보다 밝으면 1, 어두우면 0으로 코딩하고, 코딩된 값들을 연결한 이진수를 해당 픽셀의 특징값으로 사용하며, 현재 픽셀의 LBP는 하기 수학식 1를 이용하여 계산한다.
Figure pat00016
여기서,
Figure pat00017
는 입력된 얼굴 이미지에 선택된 현재의 픽셀이고,
Figure pat00018
는
Figure pat00019
의 이웃에 분포된 픽셀이고,
Figure pat00020
은 현재의 픽셀과 이웃의 픽셀을 비교하여 0 또는 1로 산출된 값이다. 또한, P는 8로, 비교하고자 하는 이웃 픽셀의 개수이다. 따라서 p는 0부터 7까지 현재의 픽셀의 왼쪽 상단에 위치한 이웃 픽셀부터 시계방향으로 부여된다.
예를 들어 설명하면, 도 9에 도시된 바와 같이, 현재의 픽셀을 중심으로 이웃하고 있는 8개의 픽셀을 이용한다. 현재 픽셀값(
Figure pat00021
)이 65이고, 주변 픽셀값(
Figure pat00022
)이 70,66,58,60,60,64,68,69값을 가진다고 가정한 상태에서,
Figure pat00023
)식을 대입하면, 5, 1, -7, -5, -5, -1, 3, 4가 산출된다.
이때, 산출된
Figure pat00024
값을 이진수로 변환하며, 이진수 변환 방법은 이웃의 픽셀이 현재의 픽셀보다 더 크거나 같은 경우 1로 변환하고, 현재의 픽셀이 더 작은 경우에는 0으로 변환한다. 따라서, 5, 1, -7, -5, -5, -1, 3, 4는 1,1,0,0,0,0,1,1로 변환한다.
변환된 값을 2의 거듭제곱으로 곱하고 이를 다시 더하여 LBP를 계산한다. 즉, (1*1)+(1*2)+(0*4)+(0*8)+(0*16)+(0*32)+(1*64)+(1*128)로 계산하여 195를 산출한다.
상기와 같은 산출방법에 따라 얼굴 특징 모듈(114)은 입력된 얼굴이미지의 각 픽셀에 대한 LBP을 산출하여 입력받은 얼굴이미지를 질감 형태로 나타내고 이를 판단모듈(115)에 전달한다.
한편, 얼굴 특징 추출모듈(114)은 얼굴 영역만 분리된 얼굴 이미지를 LBP알고리즘에 전용하기 전에 전처리 과정인 블러링(blurring)을 적용하여 노이즈를 제거한 다음, LBP알고리즘을 이용하여 주요 액션 유니트(action units) 위주로 특징을 추출한다.
상기와 같이, 얼굴 특징 추출모듈(114)로부터 얼굴 특징에 대한 정보를 전달받은 판단모듈(115)은 특징 정보를 CNN알고리즘에 적용하여 6가지의 감정 결과를 산출한다.
한편, CNN알고리즘은 합성곱 신경망이라고 불리는 인공 신경망 알고리즘으로서, 입력 데이터가 2차원 형태로 존재하며, 컨볼루션 계층 및 풀링 계층을 포함한다. 이때, 컨볼루션 계층 및 풀링 계층은 얼굴 이미지에서 영역을 지정하고 값을 압축하는 과정을 진행한다.
따라서, 판단모듈(115)은 전달받은 LBP 이미지를 CNN알고리즘에 입력하고 하기 표1에 기재된 바와 같이 3번의 컨볼루션 계층과 두번의 풀링 계층을 진행하여 마지막 소프트맥스 계층에 7개로 분류된 감정정보를 산출한다.
Figure pat00025
이때, 7개의 감정은 행복, 슬픔, 두려움, 혐오감, 놀람 및 분노를 포함한 6가지와 하나의 무감정을 포함한다. 그러나, 본 발명에서는 무감정을 제외한 6가지 감정으로 분류한다.
상기와 같이 6가지의 감정정보를 산출한 판단모듈(115)은 도 10에 나타낸 바와 같이, 순위에 따라 0부터 5까지 나열하며, 나열된 0부터 5까지의 감정 정보중에서 0과 1에 해당하는 상위 2가지의 감정정보를 기하학적 변화량 추출부(120)와 감정분류부(130)에 각각 전달한다(S615).
이하에서는 도 11및 도 12를 이용하여 기하학적 변화량 추출부로부터 상위 2개 감정에 대한 벡터값를 추출하는 단계(S620)에 대하여 더욱 상세하게 설명한다.
도 11은 도 6에 도시된 S620 단계를 설명하기 위한 순서도이고, 도 12는 도 11에 도시된 S623단계에서 얼굴이미지와 기본이미지의 차이를 개략적으로 설명하기 위한 도면이다.
도 11에 나타난 바와 같이, 기하학적 변화량 추출부(120)로부터 상위 2개 감정에 대한 벡터값를 추출하는 단계(S620)는 얼굴 이미지 입력단계(S621), 입력된 얼굴 이미지와 기본 얼굴 이미지에 특징점 생성단계(S622), 특징점 차이를 이용하여 벡터값 산출단계(S623) 및 상위 2가지 감정 벡터값 산출 단계(S624)를 포함한다.
먼저, 사용자로부터 감정을 식별하기 위한 얼굴이미지를 입력받는다(S621),
이때, 사용자는 얼굴 이미지 하나만 입력할 수도 있고, 동일 인물에 대한 얼굴 이미지와 기본 얼굴이미지를 모두 입력할 수도 있다.
상기와 같이, 얼굴 이미지를 입력받은 이미지 입력모듈(121)은 얼굴 이미지를 특징점 생성모듈(122)에 전달한다. 얼굴 이미지를 전달받은 특징점 생성모듈(122)은 얼굴이미지에 특징점을 생성한다(S622).
이때, 특징점 생성모듈(122)은 얼굴 이미지와 기본 얼굴 이미지 모두에게 특징점을 생성하여, 얼굴 이미지에 생성된 특징점과 기본 얼굴 이미지에 생성된 특징점의 차이를 비교할 수 있도록 한다. 만약, 사용자로부터 기본 얼굴 이미지를 입력받지 못하였을 경우에는 앞서 기재된 바와 같이, 얼굴 특징 추출부(120)의 얼굴 생성 모듈(113)에 요청하여 기본 얼굴 이미지를 수신받는다.
상기와 같이 얼굴 이미지와 기본 얼굴 이미지 모두에 특징점을 생성한 특징점 생성모듈(122)은 얼굴 이미지와 기본 얼굴 이미지를 벡터값 산출모듈(123)에 전달한다.
백터값 산출모듈(123)은 전달받은 얼굴 이미지와 기본 얼굴 이미지 각각에 생성된 특징점을 비교하고 발생된 좌표 차이를 이용하여 백터값을 산출한다(S623).
한편, 특징점은 대략 18개로 생성하며, (x,y) 좌표를 가지고 있으므로 대략 36개의 벡터가 생성된다.
따라서, 벡터값 산출모듈(123)은 도 12에 도시된 바와 같이, 얼굴 이미지에 생성된 특징점의 좌표와 기본 얼굴 이미지에 생성된 특징점의 좌표를 비교하고, 비교하여 차이가 발생된 특징점에 대한 좌표를 벡터값으로 산출한다.
이때, 36길이의 벡터값은 수학식 2에 적용되어 산출한다.
Figure pat00026
여기서, (
Figure pat00027
,
Figure pat00028
)는 표정이 있을 때의 특징점에 대한 좌표값이고, (
Figure pat00029
,
Figure pat00030
)는 표정이 없을 때의 특징점에 대한 좌표값이다.
상기와 같이 벡터값을 산출한 백터값 산출모듈(123)은 벡터값을 감정결과 산출모듈(124)에 전달한다.
감정결과 산출모듈(124)는 전달받은 벡터값을 VGG16 네트워크를 활용하여 구성된 CNN 알고리즘에 적용하여 조합된 6개의 감정 중에서 상위 2개에 해당하는 감정에 대한 벡터값을 선택하게 된다(S624).
VGG16 네트워크는 16개의 레이어로 구성된 모델이며, convolutional, fully-connected layer로 이루어진다. 따라서, 상기 VGG16 네트워크를 적용한 CNN알고리즘은 하기의 표2와 같다.
Figure pat00031
CNN알고리즘은 6개의 감정을 조합하여 총 30개의 경우의 수를 생성한다. 즉, 6개의 감정을 한쌍으로 조합하며, 조합된 한쌍의 감정은 하기의 표2에 기재된 바와 같이, 소프트맥스 계층에 상위 2에 해당하는 감정을 한쌍에 해당을 하는 모델을 선택하여 감정 결과를 산출한다.
따라서, 감정결과 산출모듈(124)는 산출된 상위 2개의 감정에 대한 벡터값을 감정 분류부(130)에 전달한다.
이하에서는 도 13을 이용하여 최종 감정 분류단계(S630)에 대하여 더욱 상세하게 설명한다.
도 13은 도 6에 도시된 S630 단계를 설명하기 위한 순서도이고, 도 14는 도 8에 도시된 S634 단계에서 부여되는 가중치 값에 대한 그래프이다.
도 13에 나타낸 바와 같이, 최종 감정 분류단계(S630)는 감정에 대한 정보 수신단계(S631), 인식값 산출 단계(S632), 벡터값 수신단계(S633), 인식값과 벡터값을 이용하여 결과값 산출단계(S634) 및 최종 감정 결정 단계(S634)를 포함한다.
먼저, 감정 분류부(130)의 감정수신모듈(131)은 얼굴 특징 추출부(110)와 기하학적 변화량 추출부(120)로부터 각각 상위 2가지의 감정에 대한 정보를 수신한다(S931).
이때, 얼굴 특징 추출부(110)로부터 수신받은 감정 정보는 행복, 슬픔, 두려움, 혐오감, 놀람 및 분노 중에서 2가지의 감정을 표현하는 것으로, 값으로 인식하지 못한다. 따라서, 감정수신모듈(131)은 인식값 산출모듈(132)에 얼굴 특징 추출부(110)로부터 수신받은 상위 2가지의 감정에 대한 정보를 전달한다.
따라서, 인식값 산출모듈(132)은 전달받은 상위 2가지의 감정에 대한 정보를 이용하여 인식값을 산출한다(S632).
이때, 인식값은 하기 수학식 3에 의해 산출된다.
Figure pat00032
여기서,
Figure pat00033
는 앞서 산출한 얼굴 특징 추출부(110)의 결과 중 상위 k번째 값에 해당한다. j는 0부터 1의 값을 가지며, 이는 상위 2개의 감정을 의미한다. 이 결과,
Figure pat00034
는 상위 2가지의 감정에 대해 정규화된 값이다.
인식값 산출모듈(132)은 얼굴 특징 추출부로부터 전달받은 상위 2가지의 감정의 합을 1로 판단한다. 즉, 상위 1의 감정에 대한 인식값과 상위 2의 감정에 대한 인식값의 합은 1이 된다. 예를 들면, 상위 1의 감정을 웃는 감정이고, 상위 2의 감정을 화내는 감정이라고 가정하였을 때, 웃는 감정의 인식값이 0.9라고 가정하면, 상위 2에 해당하는 화내는 감정은 0.1이다.
상기와 같이, 감정정보를 인식값으로 산출한 인식값 산출모듈(132)은 인식값을 분류모듈(133)로 전달한다.
한편, 분류모듈(133)은 인식값뿐만 아니라 기하학적 기하학적 변화량 추출부(120)로부터 벡터값을 전달받는다(S633).
그 다음, 분류모듈(133)은 전달받은 인식값과 벡터값에 가중치를 부여하여 상위 2개에 해당하는 감정에 대한 결과값을 산출한다(S634)
이때, 결과값은 하기 식 4에 의해 연산된다.
Figure pat00035
여기서,
Figure pat00036
는 얼굴 특징 추출부에서 추출된 감정에 대한 인식값이고,
Figure pat00037
는 기하학적 변화량 추출부에서 추출된 감정에 대한 인식값이며,
Figure pat00038
는 가중치 값을 나타낸다.
이때, 가중치 값은 0.7과 0.8의 사이 값으로 설정된다.
즉, 얼굴 특징 추출부에서 추출된 상위 2가지 감정에 대한 인식값은 0.7 내지 0.8의 가중치가 부여되고, 기하학적 변화량 추출부에서 추출된 상위 2가지 감정에 대한 벡터값은 0.2 내지 0.3의 가중치가 부여된다.
한편, 분류모듈(133)은 결과값을 얻기 위하여 부여된 가중치에 대하여 데이터셋을 생성하고, 생성된 데이터셋을 이용하여 정확도가 높은 가중치 값을 산출한다.
이를 다시 설명하면, 가중치 값을 얻기 위하여 분류모듈(133)은 데이터셋을 생성한다. 데이터셋은 트레이닝 데이터와 테스트 데이터를 9대1의 비율로 대입하여 생성한 것으로서, 트레이닝 데이터는 6가지 감정 정보에 대한 인식값 또는 벡터값을 반복적으로 산출하고, 산출된 인식값 또는 벡터값의 평균에 따라 산출된 데이터이다. 반면, 데스트 데이터는 트레이닝 데이터와 대조하기 위하여 입력되는 데이터이다.
인식값에 대한 데이터 셋은 CK+으로 나타내고, 벡터값에 대한 데이터셋은 JAFFE으로 나타내어 하기의 표 3과 같이 가중치를 부여하여 정확도 추이에 대한 결과값을 산출한다.
weight (α)
dataset		 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
CK+ 50.93 54.63 55.56 57.41 73.15 88.89 89.81 89.81 88.89
JAFFE 45.05 47.25 49.45 49.45 52.75 93.41 94.51 96.70 96.70
Average 47.99 50.94 52.50 53.43 62.95 91.15 92.16 93.26 92.80
상기 가중치의 정확도를 추이하기 위하여 산출에 표를 그래프에 대입하였을 경우, 도 14에 도시된 바와 같이, 가중치값이 0.7 내지 0.8이었을 때 가장 정확도가 높게 측정되었다.
따라서, 분류모듈(133)은 앞서 기재된 바와 같이 산출된 가중치 값 0.7 내지 0.8을 부여하여 결과값을 산출하다.
상기와 같이, 분류모듈(133)은 2가지 감정에 대하여 각각의 결과값을 산출하고, 2개의 결과값 중에서 최고값이 부여된 감정을 감정 인식 대상이 되는 얼굴 이미지에 대한 감정으로 결정한다(S635).
따라서, 본 발명의 실시예에 따른 얼굴 표정 인식 장치는 종래의 알고리즘을 통해 획득한 상위 2 개의 감정 내에서 빈번하게 발생되는 감정인식 오류를 개선하고, 얼굴 특징을 통해 추출된 인식값과 기하학적 변화량을 통해 산출된 벡터값에 각각 가중치를 부여 결과값을 산출함으로써 정확도가 개선된 최종 감정이 결정되는 효과를 도모할 수 있다.
또한, 본 발명에 따르면, 별도의 데이터 셋이 없어도 입력된 얼굴 이미지에서 기본 얼굴 이미지를 추출할 수 있으므로 데이터 셋의 부족 문제를 해결하고, 공간적인 데이터 셋이 아닌 정적인 데이터 셋으로부터 동적인 정보 추출이 가능한 효과를 지닌다.
또한, 본 발명에 따르면, 감정을 은폐하려는 정서 상태 시, 변화의 정도가 적고 짧은 시간을 가지기 때문에, 부분적인 액션 유니트의 강도 측정과 높은 프레임 수를 분석함으로써, 더 세밀하고 포괄적인 분석이 가능한 효과를 지닌다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 얼굴 표정 인식 장치
110 : 얼굴 특징 추출부 111 : 이미지 입력모듈
112 : 얼굴 영역 인식모듈 113 : 얼굴생성모듈
114 : 얼굴 특징 추출모듈 115 : 판단모듈
120 : 기하학적 변화량 추출부 121 : 이미지 입력모듈
122 : 특징점 생성모듈 123 : 벡터값 산출모듈
124 : 감정결과 산출 모듈
130 : 감정 분류부 131 : 감정수신모듈
132 : 인식값 산출모듈 133 : 분류모듈

Claims (24)

  1. 입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치에 있어서,
    감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하며, 추출된 특징으로부터 순위에 따라 나열된 6개의 감정을 획득하고, 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 얼굴 특징 추출부,
    상기 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, CNN알고리즘에 의해 조합된 6개의 감정에 상기 좌표의 차이값을 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 기하학적 변화량 추출부, 그리고
    상기 얼굴 특징 추출부로부터 전달받은 상위 2개의 감정으로부터 산출된 감정 인식값과 상기 기하학적 변화량 추출부에서 산출된 벡터값에 각각 가중치를 부여하여 상위 2개 감정에 대한 각각의 결과값을 산출하며, 산출된 결과값 중 최고값을 가진 감정을 분류하는 감정 분류부를 포함하는 얼굴 감정 인식 장치.
  2. 제1항에 있어서,
    상기 감정은,
    행복, 슬픔, 두려움, 혐오감, 놀람 및 분노를 포함한 6가지로 분류되는 얼굴 감정 인식 장치.
  3. 제1항에 있어서,
    상기 얼굴 특징 추출부는,
    상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 이미지 입력모듈,
    상기 입력된 얼굴 이미지로부터 얼굴 영역을 분리하는 얼굴 영역 인식모듈,
    상기 분리된 얼굴 이미지를 오토인코더(autoencoder)에 적용하여 상기 입력된 얼굴 이미지로부터 기본 얼굴 이미지를 생성하여 기하학적 변화량 추출부로 전달하는 얼굴생성모듈,
    LBP(local binary pattern) 알고리즘을 이용하여 상기 입력된 얼굴 이미지로부터 얼굴의 주요 특징 정보를 추출하는 얼굴 특징 추출모듈, 그리고
    상기 추출된 얼굴의 주요 특징정보를 CNN알고리즘에 적용하여 6가지의 감정 결과를 산출하고, 산출된 6가지의 감정 결과 중에서 상위 2개에 해당하는 감정을 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 판단모듈을 포함하는 얼굴 감정 인식 장치.
  4. 제3항에 있어서,
    상기 얼굴생성모듈은,
    동일인에 대하여 표정이 있는 얼굴 이미지와 표정이 없는 기본 얼굴이미지를 이용하여 2개의 얼굴 이미지 사이의 특징값 차이로부터 발생되는 에러를 학습시켜 데이터셋을 생성하며,
    상기 생성된 데이터셋이 적용된 오토인코더(autoencoder)를 이용하여 상기 감정 인식 대상이 되는 얼굴 이미지로부터 상기 기본 얼굴 이미지를 생성하는 얼굴 감정 인식 장치.
  5. 제3항에 있어서,
    상기 얼굴 특징 추출모듈은,
    상기 얼굴 영역만 분리된 얼굴 이미지에 블러링(blurring)을 적용하여 노이즈를 제거한 다음, LBP알고리즘을 이용하여 주요 액션 유니트(action units) 위주로 특징을 추출하는 얼굴 감정 인식 장치.
  6. 제5에 있어서,
    상기 LBP알고리즘은,
    하기 수학식에 의해 산출되는 얼굴 감정 인식 장치:
    Figure pat00039
    ,
    Figure pat00040

    여기서,
    Figure pat00041
    는 입력된 얼굴 이미지에 선택된 현재의 픽셀이고,
    Figure pat00042
    는
    Figure pat00043
    의 이웃에 분포된 픽셀이고,
    Figure pat00044
    은 현재의 픽셀과 이웃의 픽셀을 비교하여 0 또는 1로 산출된 값이고, P는 8로, 비교하고자 하는 이웃 픽셀의 개수이다. 따라서 p는 0부터 7까지 현재의 픽셀의 왼쪽 상단에 위치한 이웃 픽셀부터 시계방향으로 부여된다.
  7. 제3항에 있어서,
    상기 판단모듈은,
    상기 LBP알고리즘이 적용된 상기 입력된 얼굴 이미지에 복수의 컨볼루션(convolution)을 적용하여 6가지의 감정을 산출하고,
    산출된 6가지의 감정 중에서 상위 2개에 해당하는 감정을 분류하는 얼굴 감정 인식 장치.
  8. 제1항에 있어서,
    상기 기하학적 변화량 추출부는,
    상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 이미지 입력모듈,
    상기 입력된 얼굴 이미지와 상기 얼굴 생성모듈로부터 전달받은 기본 얼굴 이미지에 액션 유니트(action units)를 중심으로 특징점을 생성하는 특징점 생성모듈,
    상기 생성된 특징점을 이용하여 상기 입력된 얼굴 이미지와 상기 기본 얼굴 이미지를 비교 판단하고, 차이가 발생된 특징점에 대한 좌표 차이를 이용하여 벡터값을 산출하는 벡터값 산출모듈, 그리고
    상기 판단모듈로부터 수신된 상위 2개의 감정에 대응되며, 상기 벡터값 산출모듈에서 산출된 벡터값을 CNN알고리즘에 적용하여 조합된 6개의 감정 중에서 상위 2개에 해당하는 감정을 선택하는 감정결과 산출 모듈을 포함하는 얼굴 감정 인식 장치.
  9. 제8항에 있어서,
    상기 벡터값 산출모듈은,
    하기 수학식에 의해 벡터값을 산출하는 얼굴 감정 인식 장치:
    Figure pat00045

    여기서, (
    Figure pat00046
    ,
    Figure pat00047
    )는 표정이 있을 때의 특징점에 대한 좌표값이고, (
    Figure pat00048
    ,
    Figure pat00049
    )는 표정이 없을 때의 특징점에 대한 좌표값이다.
  10. 제1항에 있어서,
    상기 감정 분류부는,
    상기 얼굴 특징 추출부로부터 상위 2가지의 감정에 대한 정보를 전달받는 감정수신모듈,
    상기 얼굴 특징 추출부로부터 전달받은 상위 2가지의 감정을 감정 인식값으로 산출하여 정규화하는 인식값 산출모듈, 그리고
    상기 얼굴 특징 추출부의 상위 2가지의 감정에 대한 인식값과 상기 기하학적 변화량 추출부로부터 전달받은 상위 2가지의 감정에 대한 벡터값에 가중치를 부여하여 상기 상위 2가지의 감정에 대해 결과값을 산출하며, 산출된 결과값 중에서 최고 값이 부여된 감정을 상기 감정 인식 대상이 되는 얼굴 이미지에 대한 감정으로 결정하는 분류모듈을 포함하는 얼굴 감정 인식 장치.
  11. 제10항에 있어서,
    상기 감정 분류부는,
    하기 수학식에 의해 상기 상위 2가지의 감정에 대해 결과값을 산출하는 얼굴 감정 인식 장치:
    Figure pat00050

    여기서,
    Figure pat00051
    는 얼굴 특징 추출부에서 추출된 감정에 대한 인식값이고,
    Figure pat00052
    는 기하학적 변화량 추출부에서 추출된 감정에 대한 벡터값이며,
    Figure pat00053
    는 가중치 값을 나타낸다.
  12. 제11항에 있어서,
    상기 가중치 값은 0.7과 0.8의 사이의 값으로 설정되는 얼굴 감정 인식 장치.
  13. 얼굴 감정 인식 장치를 이용하여 입력된 얼굴 이미지로부터 감정을 식별하는 방법에 있어서,
    감정 인식 대상이 되는 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하고, 상기 추출된 얼굴 특징으로부터 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 추출하는 단계,
    상기 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, 상기 산출된 좌표의 차이값을 CNN알고리즘에 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 단계, 그리고
    상기 얼굴 특징으로부터 산출된 상위 2개의 감정에 대한 인식값과 특징점의 차이를 이용하여 산출된 상위 2개의 감정에 대한 벡터값에 각각 가중치를 부여하여 상위 2개 감정에 대한 각각의 결과값을 산출하고, 산출된 결과값 중 최고값을 가진 감정을 최종 감정으로 분류하는 단계를 포함하는 얼굴 감정 인식 방법.
  14. 제13항에 있어서,
    상기 감정은,
    행복, 슬픔, 두려움, 혐오감, 놀람 및 분노를 포함한 6가지로 분류되는 얼굴 감정 인식 방법.
  15. 제13항에 있어서,
    상기 얼굴 특징을 이용하여 상위 2개의 감정에 대한 정보를 추출하는 단계,
    상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 단계,
    상기 입력된 얼굴 이미지로부터 얼굴 영역을 분리하는 단계
    상기 분리된 얼굴 이미지를 오토인코더(autoencoder)에 적용하여 상기 입력된 얼굴 이미지로부터 기본 얼굴 이미지를 생성하는 단계,
    LBP(local binary pattern) 알고리즘을 이용하여 상기 입력된 얼굴 이미지로부터 얼굴의 주요 특징 정보를 추출하는 단계, 그리고
    상기 추출된 얼굴의 주요 특징정보를 CNN알고리즘에 적용하여 6가지의 감정 결과를 산출하고, 산출된 6가지의 감정 결과 중에서 상위 2개에 해당하는 감정을 분류하는 단계를 포함하는 얼굴 감정 인식 방법.
  16. 제15항에 있어서,
    상기 기본 얼굴 이미지를 생성하는 단계는,
    동일인에 대하여 표정이 있는 얼굴 이미지와 표정이 없는 기본 얼굴 이미지를 이용하여 2개의 얼굴 이미지 사이의 특징값 차이로부터 발생되는 에러를 학습시켜 데이터셋을 생성하는 단계, 그리고
    상기 생성된 데이터셋이 적용된 오토인코더(autoencoder)를 이용하여 상기 감정 인식 대상이 되는 얼굴 이미지로부터 기본 얼굴 이미지를 생성하는 단계를 포함하는 얼굴 감정 인식 방법.
  17. 제15항에 있어서,
    상기 얼굴의 주요 특징 정보를 추출하는 단계는,
    상기 얼굴 영역만 분리된 얼굴 이미지에 블러링(blurring)을 적용하여 노이즈를 제거한 다음, LBP알고리즘을 이용하여 주요 액션 유니트(action units) 위주로 특징을 추출하는 얼굴 감정 인식 방법.
  18. 제17에 있어서,
    상기 LBP알고리즘은,
    하기 수학식에 의해 산출되는 얼굴 감정 인식 방법:
    Figure pat00054
    ,
    Figure pat00055

    여기서,
    Figure pat00056
    는 입력된 얼굴 이미지에 선택된 현재의 픽셀이고,
    Figure pat00057
    는
    Figure pat00058
    의 이웃에 분포된 픽셀이고,
    Figure pat00059
    은 현재의 픽셀과 이웃의 픽셀을 비교하여 0 또는 1로 산출된 값이고, P는 8로, 비교하고자 하는 이웃 픽셀의 개수이다. 따라서 p는 0부터 7까지 현재의 픽셀의 왼쪽 상단에 위치한 이웃 픽셀부터 시계방향으로 부여된다.
  19. 제15항에 있어서,
    상기 상위 2개에 해당하는 감정을 분류하는 단계는,
    상기 LBP알고리즘이 적용된 상기 입력된 얼굴 이미지에 복수의 컨볼루션(convolution)을 적용하여 6가지의 감정을 산출하는 단계,
    산출된 6가지의 감정 중에서 상위 2개에 해당하는 감정을 분류하는 단계를 포함하는 얼굴 감정 인식 방법.
  20. 제13항에 있어서,
    상기 상위 2개의 감정에 대한 벡터값을 산출하는 단계는,
    상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 단계,
    상기 입력된 얼굴 이미지와 기본 얼굴 이미지에 액션 유니트(action units)를 중심으로 특징점을 생성하는 단계,
    상기 생성된 특징점을 이용하여 상기 입력된 얼굴 이미지와 상기 기본 얼굴 이미지를 비교 판단하고, 차이가 발생된 특징점에 대한 좌표 차이를 이용하여 벡터값을 산출하는 단계, 그리고
    상기 산출된 벡터값을 CNN알고리즘에 적용하여 조합된 6개의 감정 중에서 상위 2개에 해당하는 감정을 선택하는 단계를 포함하는 얼굴 감정 인식 방법.
  21. 제20항에 있어서,
    상기 벡터값을 산출하는 단계는,
    하기 수학식에 의해 벡터값을 산출하는 얼굴 감정 인식 방법:
    Figure pat00060

    여기서, (
    Figure pat00061
    ,
    Figure pat00062
    )는 표정이 있을 때의 특징점에 대한 좌표값이고, (
    Figure pat00063
    ,
    Figure pat00064
    )는 표정이 없을 때의 특징점에 대한 좌표값이다.
  22. 제13항에 있어서,
    상기 최종 감정을 분류하는 단계는,
    상기 얼굴 특징으로부터 추출된 상위 2가지의 감정에 대한 정보를 전달받는 단계,
    상기 전달받은 상위 2가지의 감정을 인식값으로 산출하는 단계, 그리고
    상기 산출된 상위 2가지의 감정에 대한 인식값과 상기 특징점의 차이를 이용하여 산출된 상위 2개의 감정에 대한 벡터값에 가중치를 부여하여 상위 2가지의 감정에 대해 결과값을 산출하고, 산출된 결과값 중에서 최고 값이 부여된 감정을 상기 감정 인식 대상이 되는 얼굴 이미지에 대한 감정으로 결정하는 단계를 포함하는 얼굴 감정 인식 방법.
  23. 제22항에 있어서,
    상기 최종 감정을 분류하는 단계는,
    하기 수학식에 의해 상기 상위 2가지의 감정에 대해 결과값을 산출하는 얼굴 감정 인식 방법:
    Figure pat00065

    여기서,
    Figure pat00066
    는 얼굴 특징 추출부에서 추출된 감정에 대한 인식값이고,
    Figure pat00067
    는 기하학적 변화량 추출부에서 추출된 감정에 대한 벡터값이며,
    Figure pat00068
    는 가중치 값을 나타낸다.
  24. 제23항에 있어서,
    상기 가중치 값은 0.7과 0.8의 사이의 값으로 설정되는 얼굴 감정 인식 방법.
KR1020180135303A 2018-11-06 2018-11-06 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법 KR102174175B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180135303A KR102174175B1 (ko) 2018-11-06 2018-11-06 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180135303A KR102174175B1 (ko) 2018-11-06 2018-11-06 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200055811A true KR20200055811A (ko) 2020-05-22
KR102174175B1 KR102174175B1 (ko) 2020-11-06

Family

ID=70913973

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180135303A KR102174175B1 (ko) 2018-11-06 2018-11-06 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102174175B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881822A (zh) * 2020-07-27 2020-11-03 深圳市爱深盈通信息技术有限公司 基于人脸识别的门禁方法、装置、设备及存储介质
WO2021001851A1 (en) * 2019-07-02 2021-01-07 Entropik Technologies Private Limited A system for estimating a user's response to a stimulus
KR102240895B1 (ko) * 2020-08-07 2021-04-15 윤태훈 체중 관리를 위한 정보 제공 시스템
WO2023282445A1 (ko) * 2021-07-05 2023-01-12 숙명여자대학교산학협력단 감정 인식 장치 및 그 동작방법
CN116682159A (zh) * 2023-06-07 2023-09-01 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801403A (zh) * 2021-02-10 2021-05-14 武汉科技大学 基于ssa-bp的空中目标潜在威胁度预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160122323A (ko) * 2015-04-13 2016-10-24 한밭대학교 산학협력단 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법
KR20180043937A (ko) * 2016-10-21 2018-05-02 삼성전자주식회사 표정 인식 방법 및 장치
KR20180093632A (ko) * 2017-02-14 2018-08-22 영남대학교 산학협력단 멀티 모달 데이터 기반 표정인식방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160122323A (ko) * 2015-04-13 2016-10-24 한밭대학교 산학협력단 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법
KR20180043937A (ko) * 2016-10-21 2018-05-02 삼성전자주식회사 표정 인식 방법 및 장치
KR20180093632A (ko) * 2017-02-14 2018-08-22 영남대학교 산학협력단 멀티 모달 데이터 기반 표정인식방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021001851A1 (en) * 2019-07-02 2021-01-07 Entropik Technologies Private Limited A system for estimating a user's response to a stimulus
CN111881822A (zh) * 2020-07-27 2020-11-03 深圳市爱深盈通信息技术有限公司 基于人脸识别的门禁方法、装置、设备及存储介质
KR102240895B1 (ko) * 2020-08-07 2021-04-15 윤태훈 체중 관리를 위한 정보 제공 시스템
WO2023282445A1 (ko) * 2021-07-05 2023-01-12 숙명여자대학교산학협력단 감정 인식 장치 및 그 동작방법
CN116682159A (zh) * 2023-06-07 2023-09-01 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法
CN116682159B (zh) * 2023-06-07 2024-02-02 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法

Also Published As

Publication number Publication date
KR102174175B1 (ko) 2020-11-06

Similar Documents

Publication Publication Date Title
KR102174175B1 (ko) 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법
CN110678875B (zh) 用于引导用户拍摄自拍照的系统和方法
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
KR101549645B1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
Jan et al. Accurate facial parts localization and deep learning for 3D facial expression recognition
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
Bhavana et al. Hand sign recognition using CNN
CN112287891B (zh) 基于表情行为特征提取的通过视频评估学习专注力的方法
CN109657554A (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN110765839B (zh) 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN108280426A (zh) 基于迁移学习的暗光源表情识别方法及装置
US11127181B2 (en) Avatar facial expression generating system and method of avatar facial expression generation
CN111797705A (zh) 一种基于人物关系建模的动作识别方法
Lipi et al. Static-gesture word recognition in Bangla sign language using convolutional neural network
CN114372926A (zh) 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法
TWI829944B (zh) 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
Hassan et al. SIPFormer: Segmentation of multiocular biometric traits with transformers
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
CN111626130A (zh) 肤色识别方法、装置、电子设备及介质
KR102508765B1 (ko) 인공 신경망 기반의 사용자 맞춤 메타 콘텐츠 제공 시스템 및 그 방법
Li et al. Saliency consistency-based image re-colorization for color blindness
JP2022169432A (ja) ユーザーの毛髪分析のためのシステム及び方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant