KR20230026560A - 표정 인식 학습 장치 및 방법 - Google Patents
표정 인식 학습 장치 및 방법 Download PDFInfo
- Publication number
- KR20230026560A KR20230026560A KR1020210107861A KR20210107861A KR20230026560A KR 20230026560 A KR20230026560 A KR 20230026560A KR 1020210107861 A KR1020210107861 A KR 1020210107861A KR 20210107861 A KR20210107861 A KR 20210107861A KR 20230026560 A KR20230026560 A KR 20230026560A
- Authority
- KR
- South Korea
- Prior art keywords
- facial expression
- expression recognition
- landmark
- feature vector
- user terminal
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 68
- 210000001508 eye Anatomy 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 18
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims abstract description 14
- 210000001061 forehead Anatomy 0.000 claims abstract description 13
- 230000003190 augmentative effect Effects 0.000 claims description 43
- 230000014509 gene expression Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 20
- 230000002996 emotional effect Effects 0.000 abstract description 5
- 230000037303 wrinkles Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 210000003205 muscle Anatomy 0.000 description 8
- 210000000744 eyelid Anatomy 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 4
- 229920001690 polydopamine Polymers 0.000 description 4
- 210000000216 zygoma Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
표정 인식 학습 장치 및 방법이 개시된다. 본 발명의 일 측면에 따른 표정 인식 학습 장치는, 수집된 얼굴 이미지에서 기 설정된 제1 랜드마크 및 제2 랜드마크를 검출하고, 상기 제1 랜드마크 및 제2 랜드마크로부터 제1 특징벡터 및 제2 특징벡터를 추출하며, 상기 제1 특징벡터 및 제2 특징벡터에 기초하여 얼굴의 표정을 분류하며, 상기 분류된 표정을 제1 특징벡터와 매칭시켜 표정 인식 모델을 생성하는 표정 인식 모델 생성모듈을 포함하되, 상기 제1 랜드마크는 눈, 눈썹, 미간, 및 이마를 포함하는 영역이고, 상기 제2 랜드마크는 코, 입 및 턱을 포함하는 영역일 수 있다.
Description
본 발명은 표정 인식 학습 장치 및 방법에 관한 것으로서, 보다 상세하게는 아이들을 대상으로 마스크 속 가려진 얼굴 표정을 인식할 수 있도록 하는 표정 인식 학습 장치 및 방법에 관한 것이다.
마스크를 착용하는 일상에서 아이들은 여러 어려움을 겪을 수밖에 없다. 전문가들은 마스크 착용으로 유아들이 언어와 지적능력을 키우는데 어려움을 겪을 것으로 우려하고 있다. 이호영 서울대 언어학과 교수는 "아이들은 상대의 입 모양과 표정을 보면서 상호작용을 하고 언어발달과 지적발달에 자극을 받는데, 마스크로 인해 다른 세대에 비해 발달 지연이 올 수밖에 없을 것"이라며 "현재 갓난아기부터 6세 미만 아이들이 피해를 볼 것으로 우려된다"고 말했다. 또한, 모 유치원 원장은 "코로나19 사태 이후 교육현장에서는 교육활동보다도 유아의 안전을 위한 방역이 우선시 되는 상황"이라며 "유아들은 교사들의 표정을 보면서 상호작용하고 소통을 하는 데 마스크 착용으로 교사와의 교감을 할 수 없어 언어 사용이나 감정선이 단순화될 수밖에 없을 것"이라고 말했다. 이처럼 마스크 속 가려진 표정으로 아이들의 비언어적 소통 즉, 정서적 교류를 어렵게 하고, 이로 인해 아이들은 사회성이 떨어지거나 사람 간 관계를 단절시킬 수 있고, 사람 간 소통을 어렵게 하는 문제를 겪을 수 있다.
이에, 아이들을 대상으로 마스크 속 가려진 얼굴 표정을 인식할 수 있도록 하는 기술 개발이 요구되고 있다.
본 발명의 배경기술은 대한민국특허공고번호 제10-2229056호(2021.03.17. 공개)의 '표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위하여 안출된 것으로, 본 발명의 일 측면에 따른 목적은 아이들을 대상으로 마스크 속 가려진 얼굴 표정을 인식할 수 있도록 하는 표정 인식 학습 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 표정 인식 학습 장치는, 수집된 얼굴 이미지에서 기 설정된 제1 랜드마크 및 제2 랜드마크를 검출하고, 상기 제1 랜드마크 및 제2 랜드마크로부터 제1 특징벡터 및 제2 특징벡터를 추출하며, 상기 제1 특징벡터 및 제2 특징벡터에 기초하여 얼굴의 표정을 분류하며, 상기 분류된 표정을 제1 특징벡터와 매칭시켜 표정 인식 모델을 생성하는 표정 인식 모델 생성모듈을 포함하되, 상기 제1 랜드마크는 눈, 눈썹, 미간, 및 이마를 포함하는 영역이고, 상기 제2 랜드마크는 코, 입 및 턱을 포함하는 영역일 수 있다.
본 발명은 사용자 단말기로부터 얼굴의 일정 영역이 가려진 대상자 얼굴 이미지가 수신된 경우, 상기 대상자 얼굴 이미지의 제1 랜드마크로부터 특징벡터를 추출하고, 상기 추출된 특징벡터를 상기 표정 인식 모델에 적용하여 대상자 얼굴 표정을 인식하며, 상기 인식된 얼굴 표정에 대응하는 그래픽 이미지를 생성하고, 상기 생성된 그래픽 이미지를 상기 대상자 얼굴 이미지와 합성하여 증강데이터를 생성하며, 상기 증강데이터를 상기 사용자 단말기에 제공하는 증강데이터 생성모듈을 더 포함할 수 있다.
본 발명에서 상기 증강데이터 생성모듈은, 상기 그래픽 이미지와 상기 대상자 얼굴 이미지가 합성된 증강데이터를 랜더링(landering)하고, 상기 랜더링된 3차원 이미지를 상기 사용자 단말기에 제공할 수 있다.
본 발명은 사용자 단말기로부터 표정 인식 게임 실행이 요청된 경우, 얼굴의 일정 영역이 가려진 캐릭터 이미지의 표정을 맞추는 게임 콘텐츠를 상기 사용자 단말기에 제공하고, 상기 사용자 단말기로부터 상기 게임 콘텐츠에 대한 응답을 수신하며, 상기 응답에 대한 정답 여부를 판단하는 게임 콘텐츠 서비스 모듈을 더 포함할 수 있다.
본 발명의 일 측면에 따른 표정 인식 학습 방법은, 표정 인식 장치가, 수집된 얼굴 이미지에서 기 설정된 제1 랜드마크 및 제2 랜드마크를 검출하는 단계, 상기 표정 인식 장치가, 상기 제1 랜드마크 및 제2 랜드마크로부터 제1 특징벡터 및 제2 특징벡터를 추출하며, 상기 제1 특징벡터 및 제2 특징벡터에 기초하여 얼굴의 표정을 분류하는 단계, 및 상기 표정 인식 장치가, 상기 분류된 표정을 상기 제1 특징벡터와 매칭시켜 표정 인식 모델을 생성하는 단계를 포함하되, 상기 제1 랜드마크는 눈, 눈썹, 미간, 및 이마를 포함하는 영역이고, 상기 제2 랜드마크는 코, 입 및 턱을 포함하는 영역일 수 있다.
본 발명은 상기 표정 인식 모델을 생성하는 단계 이후, 사용자 단말기로부터 얼굴의 일정 영역이 가려진 대상자 얼굴 이미지가 수신된 경우, 상기 표정 인식 장치가 상기 대상자 얼굴 이미지의 제1 랜드마크로부터 특징벡터를 추출하는 단계, 상기 표정 인식 장치가 상기 추출된 특징벡터를 상기 표정 인식 모델에 적용하여 대상자 얼굴 표정을 인식하는 단계, 상기 표정 인식 장치가 상기 인식된 얼굴 표정에 대응하는 그래픽 이미지를 생성하고, 상기 생성된 그래픽 이미지를 상기 대상자 얼굴 이미지와 합성하여 증강데이터를 생성하며, 상기 증강데이터를 상기 사용자 단말기에 제공하는 단계를 더 포함할 수 있다.
본 발명은 상기 증강데이터를 상기 사용자 단말기에 제공하는 단계에서, 상기 표정 인식 장치는, 상기 그래픽 이미지와 상기 대상자 얼굴 이미지가 합성된 증강데이터를 랜더링(landering)하고, 상기 랜더링된 3차원 이미지를 상기 사용자 단말기에 제공할 수 있다.
본 발명은 상기 표정 인식 모델을 생성하는 단계 이후, 사용자 단말기로부터 표정 인식 게임 실행이 요청된 경우, 상기 표정 인식 장치가 얼굴의 일정 영역이 가려진 캐릭터 이미지의 표정을 맞추는 게임 콘텐츠를 상기 사용자 단말기에 제공하는 단계, 및 상기 표정 인식 장치가, 상기 사용자 단말기로부터 상기 게임 콘텐츠에 대한 응답을 수신하며, 상기 응답에 대한 정답 여부를 판단하는 단계를 더 포함할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.
본 발명의 일 실시예에 따른 표정 인식 학습 장치 및 방법은, 눈과 눈썹 근육 등의 표현으로 얼굴 표정을 파악할 수 있는 표정 인식 모델을 생성함으로써, 아이들은 마스크 속 가려진 얼굴 표정을 인식할 수 있고, 이를 통해 정서적 교류 및 소통을 원활히 할 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 표정 인식 학습을 위한 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 표정 인식 학습 장치의 구성을 개략적으로 나타낸 블록도이다.
도 3은 도 2에 도시된 표정 인식 모델 생성모듈을 구체적으로 나타낸 블록도이다.
도 4는 도 2에 도시된 증강 데이터 생성모듈을 구체적으로 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 표정 인식 모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 표정 인식 학습 장치의 구성을 개략적으로 나타낸 블록도이다.
도 3은 도 2에 도시된 표정 인식 모델 생성모듈을 구체적으로 나타낸 블록도이다.
도 4는 도 2에 도시된 증강 데이터 생성모듈을 구체적으로 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 표정 인식 모델을 생성하는 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 표정 인식 학습 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 표정 인식 학습을 위한 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 표정 인식 학습을 위한 시스템은 사용자 단말기(100) 및 표정 인식 학습 장치(200)를 포함하고, 이들은 통신망을 통해 연결될 수 있다.
사용자 단말기(100)는 사용자의 얼굴 표정이 포함된 이미지 또는 동영상을 획득할 수 있는 촬영부(미도시)를 구비할 수 있다. 또한, 사용자 단말기(100)는 제3자의 얼굴표정이 담긴 영상정보를 표정 인식 학습 장치(200)에 제공할 수도 있다.
사용자 단말기(100)는 카메라로 얼굴 이미지를 획득하여 표정 인식 학습 장치(200)로 전송할 수 있다. 사용자 단말기(100)는 카메라 및 통신 모듈을 포함하는 스마트 폰과, 웹 카메라, 마이크, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 즉, 사용자 단말기(100)는 유무선 통신망을 경유하여 표정 인식 학습 장치(200)에 접속하기 위한 특정 어플리케이션을 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. 즉, 사용자 단말기(100)는 카메라를 구비한 개인 PC인 것이 일반적이지만, 표정 인식 학습 장치(200)와 서버-클라이언트 통신이 가능하다면 그 어떠한 단말기도 가능하며, 이미지나 동영상을 전송할 수 있는 노트북 컴퓨터, 이동통신 단말기, PDA 등 여하한 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다.
표정 인식 학습 장치(200)는 얼굴의 일정 영역이 마스크로 가려진 얼굴 이미지와 마스크를 착용한 얼굴 이미지를 수집하고, 수집된 얼굴 이미지들을 이용하여 마스크 속 가려진 얼굴 표정을 추정하기 위한 표정 인식 모델을 생성할 수 있다.
이하에서는 표정 인식 모델이 인식하는 객체가 사람(Human)의 얼굴인 경우를 전제로 설명하나, 이에 한정되는 것은 아니고 표정을 지을 수 있는 동물, 및 감정 표현과 연관된 신체 부위 등을 포함할 수 있다.
표정 인식 학습 장치(200)는 학습 이미지인 사람의 얼굴 이미지로부터 특징벡터를 추출하고, 추출된 특징벡터를 미리 저장된 표정 정보를 비교하여 학습함으로써 표정 인식 모델을 생성할 수 있다.
표정 인식 학습 장치(200)는, 사용자 단말기(100)로부터 얼굴의 일정 영역이 마스크로 가려진 대상자 얼굴 이미지를 수신한 경우, 표정 인식 모델을 이용하여 대상자의 얼굴 표정을 인식할 수 있고, 인식된 얼굴 표정에 대응하는 그래픽 이미지를 생성함으로써, 마스크로 가려진 영역을 증강데이터로 출력되도록 할 수 있다.
표정 인식 학습 장치(200)는, 사용자 단말기(100)로부터 표정 인식 게임 실행이 요청된 경우, 얼굴의 일정 영역이 마스크로 가려진 캐릭터 이미지의 표정을 맞추는 게임 콘텐츠를 사용자 단말기(100)에 제공할 수 있다. 표정 인식 학습 장치(200)는 게임 콘텐츠에 대한 응답이 정답인 경우 사용자에게 보상을 제공할 수 있다.
이러한 표정 인식 학습 장치(200)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 또한, 표정 인식 학습 장치(200)는 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 또는 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등의 적어도 일부로 구현될 수 있다.
이러한 표정 인식 학습 장치(200)에 대한 상세한 설명은 도 2를 참조하기로 한다.
도 2는 본 발명의 일 실시예에 따른 표정 인식 학습 장치의 구성을 개략적으로 나타낸 블록도, 도 3은 도 2에 도시된 표정 인식 모델 생성모듈을 구체적으로 나타낸 블록도, 도 4는 도 2에 도시된 증강 데이터 생성모듈을 구체적으로 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 표정 인식 학습 장치(200)는 통신부(210), 저장부(220), 데이터베이스(230), 표정 인식 모델 생성모듈(240), 증강 데이터 생성모듈(250), 게임 콘텐츠 서비스 모듈(260), 및 제어부(270)를 포함한다.
통신부(210)는 통신망을 통해 사용자 단말기(100)와 통신하기 위한 구성으로, 얼굴 이미지, 게임 콘텐츠 등 다양한 정보를 송수신할 수 있다. 이때, 통신부(210)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.
저장부(220)는 표정 인식 학습 장치(200)의 동작과 관련된 데이터들을 저장하는 구성이다. 여기서 저장부(220)는 공지된 저장매체를 이용할 수 있으며, 예를 들어, ROM, PROM, EPROM, EEPROM, RAM 등과 같이 공지된 저장매체 중 어느 하나 이상을 이용할 수 있다. 특히, 저장부(220)에는 표정 인식 모델 생성 프로그램(애플리케이션 또는 애플릿), 증강 데이터 생성 프로그램(애플리케이션 또는 애플릿), 및 게임 콘텐츠 서비스 프로그램(애플리케이션 또는 애플릿) 등이 저장될 수 있으며, 저장되는 정보들은 필요에 따라 제어부(270)에 의해 취사선택될 수 있다.
데이터베이스(230)는 얼굴의 일정 영역이 마스크로 가려진 얼굴 이미지와 마스크를 착용한 얼굴 이미지를 저장할 수 있다.
표정 인식 모델 생성모듈(240)은 데이터베이스(230)에 저장되거나 수집된 얼굴 이미지에서 기 설정된 제1 랜드마크 및 제2 랜드마크를 검출하고, 제1 랜드마크 및 제2 랜드마크로부터 제1 특징벡터 및 제2 특징벡터를 추출하며, 제1 특징벡터 및 제2 특징벡터에 기초하여 해당 사용자의 표정을 분류하며, 분류된 표정을 제1 특징벡터와 매칭시켜 표정 인식 모델을 생성할 수 있다.
표정 인식 모델 생성모듈(240)은 도 3에 도시된 바와 같이 검출부(242), 추출부(244), 분류부(246) 및 생성부(248)를 포함할 수 있다.
검출부(242)는 데이터베이스(230)에 저장되거나 수집된 얼굴 이미지에서 제1 랜드마크 및 제2 랜드마크를 검출할 수 있다. 여기서, 제1 랜드마크는 눈, 눈썹, 미간, 및 이마 등 마스크 착용시 마스크에 의해 가려지지 않은 영역일 수 있다. 제2 랜드마크는 코, 입 및 턱 등 마스크 착용시 마스크에 의해 가려지는 영역일 수 있다.
검출부(242)는 사용자의 얼굴에서 주요 부분의 특징을 추출하는 것으로서, 주요 부분은 사용자 얼굴에서 눈, 눈썹, 미간, 이마, 코, 입, 및 턱 등을 포함할 수 있고, 제1 랜드마크 및 제2 랜드마크를 포함할 수 있다.
추출부(244)는 검출부(242)에서 검출된 제1 랜드마크 및 제2 랜드마크로부터 제1 특징벡터 및 제2 특징벡터를 추출할 수 있다. 추출부(244)는 랜드마크 상호간의 각도, 거리 비율 정보를 이용하여 특징벡터를 추출할 수 있다.
즉, 추출부(244)는 눈썹, 눈꺼풀, 눈꼬리, 미간, 이마 주름, 미간 주름, 눈 주위 근육변화 등의 조합을 기준으로 제1 특징벡터를 추출할 수 있고, 광대뼈의 주름, 입꼬리, 입모양, 얼굴구조의 조합을 기준으로 제2 특징벡터를 추출할 수 있다.
분류부(246)는 추출부(244)에서 추출된 제1 특징벡터 및 제2 특징벡터에 기초하여 사용자의 표정을 분류할 수 있다. 여기서 표정은 사용자(객체)의 표정으로서, 예를 들어, 분노(anger), 경멸(contempt), 혐오(disgust), 공포(fear), 기쁨(happy), 슬픔(sad), 놀람(surprise), 및 중립(neutral)(예를 들어, 무감정) 등의 감정을 나타내는 정보일 수 있다. 다른 예를 들어, 표정은 졸림(sleepiness), 집중(concentration), 부정(negative), 긍정(positive), 흥분(arousal) 및 균형(balance) 등의 상태를 나타내는 정보일 수 있다. 다만, 표정의 종류를 이로 한정하는 것은 아니고, 설계에 따라 다른 분류 체계가 사용될 수 있다.
예를 들어, 찡그린 얼굴, 눈썹이 낮게 움직이고 양측이 서로 가깝게 움직인 특징을 추출하는 경우, 분류부(246)는 화남으로 분류할 수 있다. 또한, 주름진 코와 들어 올린 윗입술의 특징을 추출하는 경우 분류부(246)는 혐오로 분류할 수 있다. 또한, 눈썹이 위로 올라가고 양측이 서로 밀착되고, 위쪽 눈꺼풀이 위로 당기고, 아래쪽 눈꺼풀을 긴장 상태이고, 입이 옆으로 약간 당겨진 특징을 추출하는 경우, 분류부(246)는 두려움으로 분류할 수 있다. 또한, 눈꼬리, 광대뼈의 주름, 눈 주위 근육의 변화하는 특징을 추출하는 경우, 분류부(246)는 행복으로 분류할 수 있다.
생성부(248)는 분류부(246)에서 분류된 표정을 제1 특징벡터와 매칭시켜 표정 인식 모델을 생성할 수 있다. 생성부(248)에 의해 생성되는 표정 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 일 실시예에 따른 표정 인식 모델은 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예를 들어, 표정 인식 모델은 CNN(Convolution Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델로 구현될 수 있으나, 이에 한정되지는 않는다.
증강데이터 생성모듈(250)은, 사용자 단말기(100)로부터 얼굴의 일정 영역이 가려진 대상자 얼굴 이미지가 수신된 경우, 대상자 얼굴 이미지의 제1 랜드마크로부터 특징벡터를 추출하고, 추출된 특징벡터를 표정 인식 모델에 적용하여 사용자의 얼굴 표정을 인식하며, 인식된 얼굴 표정에 대응하는 그래픽 이미지를 생성하고, 생성된 그래픽 이미지를 대상자 얼굴 이미지와 합성하여 증강데이터를 생성하며, 증강데이터를 사용자 단말기(100)에 제공할 수 있다.
증강데이터 생성모듈(250)은 도 4에 도시된 바와 같이 얼굴 검출부(252), 특징벡터 추출부(254), 표정 인식부(256), 및 증강데이터 생성부(258)를 포함할 수 있다.
얼굴 검출부(252)는 사용자 단말기(100)로부터 전달받은 이미지에서 얼굴을 검출할 수 있다. 이때, 얼굴 검출부(252)는 사용자 단말기(100)로부터 전달받은 이미지의 에지 추출 등을 수행하여 이미지에 포함된 객체와 기 저장된 이미지 데이터를 비교하고, 그 비교 결과에 따라 이미지에서 얼굴을 검출할 수 있다. 또한, 얼굴 검출부(252)는 기 설정된 얼굴 검출 알고리즘을 이용하여 이미지로부터 얼굴 영역을 검출할 수 있다.
특징벡터 추출부(254)는 검출된 얼굴에서 제1 랜드마크를 검출하고, 검출된 제1 랜드마크에서 특징벡터를 추출할 수 있다. 이때, 특징벡터 추출부(254)는 눈썹, 눈꺼풀, 눈꼬리, 미간, 이마 주름, 미간 주름, 눈 주위 근육변화 등의 조합을 기준으로 특징벡터를 추출할 수 있다.
표정 인식부(256)는 제1 랜드마크의 특징벡터를 표정 인식 모델에 입력하여 대상자의 얼굴 표정을 인식할 수 있다. 표정 인식부(256)는 표정 인식 모델을 이용하여 얼굴 전체에 따른 표정을 인식하는 것으로 찡그린 표정, 무표정, 웃는 표정 등과 같이 세분화된 표정을 인식할 수 있다.
증강데이터 생성부(258)는 인식된 얼굴 표정에 대응하는 그래픽 이미지를 생성하고, 생성된 그래픽 이미지를 대상자 얼굴 이미지와 합성하여 증강데이터를 생성하며, 증강데이터를 사용자 단말기(100)에 제공할 수 있다. 증강데이터 생성부(258)는 마스크로 가려된 얼굴 영역을 그래픽 이미지로 생성하고, 그 그래픽 이미지를 대상자 얼굴 이미지와 합성함으로써, 마스크로 가려진 얼굴 영역을 증강현실로 출력되도록 할 수 있다. 즉, 증강데이터 생성부(258)는 인식된 표정에 대응하는 얼굴 표정 전체를 생성하여 출력되도록 할 수 있다.
증강데이터 생성부(258)는 그래픽 이미지와 대상자 얼굴 이미지가 합성된 증강데이터를 랜더링(landering)할 수 있다. 여기서, 랜더링은 2차원의 화상에 광원, 위치, 색상 등 외부 정보를 고려하여 사실감을 불어넣어, 3차원 화상을 만드는 과정이다. 이후, 증강데이터 생성부(258)는 랜더링된 3차원 이미지를 사용자 단말기(100)에 제공할 수 있다.
예를 들어, 코와 입 영역이 가려진 얼굴 이미지의 경우, 증강데이터 생성부(258)는 인식된 표정에 대응하는 코와 입 영역의 그래픽 이미지를 생성하고, 생성된 그래픽 이미지를 얼굴 이미지와 합성하여 제공함으로써, 인식된 표정에 대응하는 얼굴 표정 전체를 생성하여 출력되도록 할 수 있다. 그러면, 사용자는 코와 입 영역이 가려진 표정을 보고도 상대방의 표정을 인식할 수 있다.
게임 콘텐츠 서비스 모듈(260)은, 사용자 단말기(100)로부터 표정 인식 게임 실행이 요청된 경우, 얼굴의 일정 영역이 가려진 캐릭터 이미지의 표정을 맞추는 게임 콘텐츠를 사용자 단말기(100)에 제공하고, 사용자 단말기(100)로부터 게임 콘텐츠에 대한 응답을 수신하며, 응답에 대한 정답 여부를 판단하여 그 결과를 사용자 단말기(100)에 제공할 수 있다. 여기서, 게임 콘텐츠는 얼굴의 일정영역(예컨대, 코 및 입 영역)이 마스크로 가려진 캐릭터 이미지를 제시하고 그 캐릭터 이미지의 표정을 유추하도록 하는 퀴즈일 수 있다.
예를 들면, 게임 콘텐츠는 캐릭터 이미지의 표정을 선택하도록 하는 객관식 퀴즈일 수 있다. 또한, 게임 콘텐츠는 캐릭터 이미지의 표정에 대응하는 특수효과를 선택하도록 하는 퀴즈일 수 있다. 여기서, 특수효과는 표정에 매칭되는 것으로, 예컨대, 태양, 눈물, 구름, 비 등을 포함할 수 있다. 예를 들어, 태양은 웃는 표정에 매칭되는 특수효과일 수 있고, 눈물 및 비는 우는 표정에 매칭되는 특수효과일 수 있다.
또한, 게임 콘텐츠는 캐릭터 이미지의 표정에 대응되는 아이템을 선택하도록 하는 퀴즈일 수 있다. 즉, 게임 콘텐츠는 캐릭터 이미지의 표정을 유추하고, 그 캐릭터에게 선물하면 좋을 아이템을 선택하도록 하는 퀴즈일 수 있다. 예를 들어, 캐릭터 이미지의 표정이 슬픔을 나타낸 경우, 게임 콘텐츠는 슬픈 캐릭터에게 선물하면 좋을 아이템 목록을 제시하고, 제시된 아이템 목록 중에서 특정 아이템을 선택하도록 하는 퀴즈일 수 있다.
게임 콘텐츠 서비스 모듈(260)은 마스크로 가려지는 부분을 제외한 눈과 눈썹 근육 등으로 표현되는 표정의 캐릭터 이미지를 구현하고, 사용자가 캐릭터 이미지를 보고 표정을 인식할 수 있도록 게임 콘텐츠를 제공할 수 있다. 사용자가 캐릭터 이미지의 표정에 대한 정답을 맞힐 시 스탬프 같은 보상을 제공할 수 있다.
이처럼 게임 콘텐츠 서비스 모듈(260)은 표정 인지 및 미세 표정 파악 등에 도움을 줄 수 있는 게임형식의 콘텐츠를 제공할 수 있다.
한편, 표정 인식 모델 생성모듈(240), 증강 데이터 생성모듈(250), 및 게임 콘텐츠 서비스 모듈(260)은 컴퓨팅 장치 상에서 프로그램을 실행하기 위해 필요한 프로세서 등에 의해 각각 구현될 수 있다. 이처럼 표정 인식 모델 생성모듈(240), 증강 데이터 생성모듈(250), 및 게임 콘텐츠 서비스 모듈(260)은 물리적으로 독립된 각각의 구성으로 구현될 수도 있고, 하나의 프로세서 내에서 기능적으로 구분되는 형태로 구현될 수도 있다.
제어부(270)는 통신부(210), 저장부(220), 데이터베이스(230), 표정 인식 모델 생성모듈(240), 증강 데이터 생성모듈(250), 및 게임 콘텐츠 서비스 모듈(260)을 포함하는 표정 인식 학습 장치(200)의 다양한 구성부들의 동작을 제어하는 구성으로, 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
도 5는 본 발명의 일 실시예에 따른 표정 인식 모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 표정 인식 학습 장치(200)는 수집된 얼굴 이미지에서 제1 랜드마크 및 제2 랜드마크를 검출하고(S510), 검출된 제1 랜드마크 및 제2 랜드마크로부터 제1 특징벡터 및 제2 특징벡터를 추출한다(S520). 즉, 표정 인식 학습 장치(200)는 얼굴 이미지에서 제1 랜드마크는 눈, 눈썹, 미간, 및 이마를 포함하는 영역을 제1 랜드마크로 추출하고, 코, 입, 및 턱을 포함하는 영역을 제2 랜드마크로 추출할 수 있다. 그런 후, 표정 인식 학습 장치(200)는 제1 랜드마크 상호간의 각도, 거리 비율 정보를 이용하여 제1 특징벡터를 추출할 수 있고, 제2 랜드마크 상호간의 각도, 거리 비율 정보를 이용하여 제2 특징벡터를 추출할 수 있다. 예를 들면, 표정 인식 학습 장치(200)는 눈썹, 눈꺼풀, 눈꼬리, 미간, 이마 주름, 미간 주름, 눈 주위 근육변화 등의 조합을 기준으로 제1 특징벡터를 추출할 수 있고, 광대뼈의 주름, 입꼬리, 입모양, 얼굴구조의 조합을 기준으로 제2 특징벡터를 추출할 수 있다.
S520 단계가 수행되면, 표정 인식 학습 장치(200)는 제1 특징벡터 및 제2 특징벡터에 기초하여 사용자의 표정을 분류한다(S530). 예를 들어, 찡그린 얼굴, 눈썹이 낮게 움직이고 양측이 서로 가깝게 움직인 특징을 추출하는 경우, 표정 인식 학습 장치(200)는 화남으로 분류할 수 있다. 또한, 주름진 코와 들어 올린 윗입술의 특징을 추출하는 경우 표정 인식 학습 장치(200)는 혐오로 분류할 수 있다. 또한, 눈썹이 위로 올라가고 양측이 서로 밀착되고, 위쪽 눈꺼풀이 위로 당기고, 아래쪽 눈꺼풀을 긴장 상태이고, 입이 옆으로 약간 당겨진 특징을 추출하는 경우, 표정 인식 학습 장치(200)는 두려움으로 분류할 수 있다. 또한, 눈꼬리, 광대뼈의 주름, 눈 주위 근육의 변화하는 특징을 추출하는 경우, 표정 인식 학습 장치(200)는 행복으로 분류할 수 있다.
S530 단계가 수행되면, 표정 인식 학습 장치(200)는 분류된 표정을 제1 특징벡터와 매칭시켜 표정 인식 모델을 생성한다(S540). 표정 인식 학습 장치(200)는 표정 인식 모델에 기초하여, 객체 이미지로부터 표정 특징을 추출할 수 있다. 표정 인식 학습 장치(200)는 표정 인식 모델에 객체 이미지를 입력함으로써, 표정 특징을 추출할 수 있다. 표정 특징은 객체의 표정과 연관된 특징을 나타낼 수 있다. 표정 인식 모델은 기준 이미지로부터 기준 표정을 출력하도록 트레이닝된 모델로서, 예를 들어, 뉴럴 네트워크를 포함하는 기계 학습 구조일 수 있다. 표정 인식 모델을 이용하여 얼굴의 일정 영역이 가려진 얼굴 이미지의 표정을 인식하도록 하는 것으로, 찡그린 표정, 무표정, 웃는 표정 등과 같이 세분화된 표정을 인식할 수 있다.
추후, 사용자 단말기(100)로부터 얼굴의 일정 영역이 마스크로 가려진 대상자 얼굴 이미지를 수신되면, 표정 인식 학습 장치(200)는 표정 인식 모델을 이용하여 대상자의 얼굴 표정을 인식할 수 있고, 인식된 얼굴 표정에 대응하는 그래픽 이미지를 생성함으로써, 마스크로 가려진 영역을 증강데이터로 출력되도록 할 수 있다.
또한, 사용자 단말기(100)로부터 표정 인식 게임 실행이 요청되면, 표정 인식 학습 장치(200)는 얼굴의 일정 영역이 마스크로 가려진 캐릭터 이미지의 표정을 맞추는 게임 콘텐츠를 사용자 단말기(100)에 제공할 수 있다.
상술한 바와 같이 본 발명의 일 실시예에 따른 표정 인식 학습 장치 및 방법은, 눈과 눈썹 근육 등의 표현으로 얼굴 표정을 파악할 수 있는 표정 인식 모델을 생성함으로써, 아이들은 마스크 속 가려진 얼굴 표정을 인식할 수 있고, 이를 통해 정서적 교류 및 소통을 원활히 할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 사용자 단말기
200 : 표정 인식 학습 장치
210 : 통신부
220 : 저장부
230 : 데이터베이스
240 : 표정 인식 모델 생성모듈
242 : 검출부
244 : 추출부
246 : 분류부
248 : 생성부
250 : 증강 데이터 생성모듈
252 : 얼굴 검출부
254 : 특징벡터 추출부
256 : 표정 인식부
258 : 증강데이터 생성부
260 : 게임 콘텐츠 서비스 모듈
270 : 제어부
200 : 표정 인식 학습 장치
210 : 통신부
220 : 저장부
230 : 데이터베이스
240 : 표정 인식 모델 생성모듈
242 : 검출부
244 : 추출부
246 : 분류부
248 : 생성부
250 : 증강 데이터 생성모듈
252 : 얼굴 검출부
254 : 특징벡터 추출부
256 : 표정 인식부
258 : 증강데이터 생성부
260 : 게임 콘텐츠 서비스 모듈
270 : 제어부
Claims (8)
- 수집된 얼굴 이미지에서 기 설정된 제1 랜드마크 및 제2 랜드마크를 검출하고, 상기 제1 랜드마크 및 제2 랜드마크로부터 제1 특징벡터 및 제2 특징벡터를 추출하며, 상기 제1 특징벡터 및 제2 특징벡터에 기초하여 얼굴의 표정을 분류하며, 상기 분류된 표정을 제1 특징벡터와 매칭시켜 표정 인식 모델을 생성하는 표정 인식 모델 생성모듈을 포함하되,
상기 제1 랜드마크는 눈, 눈썹, 미간, 및 이마를 포함하는 영역이고,
상기 제2 랜드마크는 코, 입 및 턱을 포함하는 영역인 것을 특징으로 하는 표정 인식 학습 장치.
- 제1항에 있어서,
사용자 단말기로부터 얼굴의 일정 영역이 가려진 대상자 얼굴 이미지가 수신된 경우, 상기 대상자 얼굴 이미지의 제1 랜드마크로부터 특징벡터를 추출하고, 상기 추출된 특징벡터를 상기 표정 인식 모델에 적용하여 대상자 얼굴 표정을 인식하며, 상기 인식된 얼굴 표정에 대응하는 그래픽 이미지를 생성하고, 상기 생성된 그래픽 이미지를 상기 대상자 얼굴 이미지와 합성하여 증강데이터를 생성하며, 상기 증강데이터를 상기 사용자 단말기에 제공하는 증강데이터 생성모듈을 더 포함하는 것을 특징으로 하는 표정 인식 학습 장치.
- 제2항에 있어서,
상기 증강데이터 생성모듈은,
상기 그래픽 이미지와 상기 대상자 얼굴 이미지가 합성된 증강데이터를 랜더링(landering)하고, 상기 랜더링된 3차원 이미지를 상기 사용자 단말기에 제공하는 것을 특징으로 하는 표정 인식 학습 장치.
- 제1항에 있어서,
사용자 단말기로부터 표정 인식 게임 실행이 요청된 경우, 얼굴의 일정 영역이 가려진 캐릭터 이미지의 표정을 맞추는 게임 콘텐츠를 상기 사용자 단말기에 제공하고, 상기 사용자 단말기로부터 상기 게임 콘텐츠에 대한 응답을 수신하며, 상기 응답에 대한 정답 여부를 판단하는 게임 콘텐츠 서비스 모듈을 더 포함하는 것을 특징으로 하는 표정 인식 학습 장치.
- 표정 인식 학습 장치가, 수집된 얼굴 이미지에서 기 설정된 제1 랜드마크 및 제2 랜드마크를 검출하는 단계;
상기 표정 인식 학습 장치가, 상기 제1 랜드마크 및 제2 랜드마크로부터 제1 특징벡터 및 제2 특징벡터를 추출하며, 상기 제1 특징벡터 및 제2 특징벡터에 기초하여 얼굴의 표정을 분류하는 단계; 및
상기 표정 인식 학습 장치가, 상기 분류된 표정을 상기 제1 특징벡터와 매칭시켜 표정 인식 모델을 생성하는 단계를 포함하되,
상기 제1 랜드마크는 눈, 눈썹, 미간, 및 이마를 포함하는 영역이고,
상기 제2 랜드마크는 코, 입 및 턱을 포함하는 영역인 것을 특징으로 하는 표정 인식 학습 방법.
- 제5항에 있어서,
상기 표정 인식 모델을 생성하는 단계 이후,
사용자 단말기로부터 얼굴의 일정 영역이 가려진 대상자 얼굴 이미지가 수신된 경우, 상기 표정 인식 학습 장치가 상기 대상자 얼굴 이미지의 제1 랜드마크로부터 특징벡터를 추출하는 단계;
상기 표정 인식 학습 장치가 상기 추출된 특징벡터를 상기 표정 인식 모델에 적용하여 대상자 얼굴 표정을 인식하는 단계; 및
상기 표정 인식 학습 장치가 상기 인식된 얼굴 표정에 대응하는 그래픽 이미지를 생성하고, 상기 생성된 그래픽 이미지를 상기 대상자 얼굴 이미지와 합성하여 증강데이터를 생성하며, 상기 증강데이터를 상기 사용자 단말기에 제공하는 단계를 더 포함하는 것을 특징으로 하는 표정 인식 학습 방법.
- 제6항에 있어서,
상기 증강데이터를 상기 사용자 단말기에 제공하는 단계에서,
상기 표정 인식 학습 장치는, 상기 그래픽 이미지와 상기 대상자 얼굴 이미지가 합성된 증강데이터를 랜더링(landering)하고, 상기 랜더링된 3차원 이미지를 상기 사용자 단말기에 제공하는 것을 특징으로 하는 표정 인식 학습 방법.
- 제5항에 있어서,
상기 표정 인식 모델을 생성하는 단계 이후,
사용자 단말기로부터 표정 인식 게임 실행이 요청된 경우, 상기 표정 인식 학습 장치가 얼굴의 일정 영역이 가려진 캐릭터 이미지의 표정을 맞추는 게임 콘텐츠를 상기 사용자 단말기에 제공하는 단계; 및
상기 표정 인식 학습 장치가, 상기 사용자 단말기로부터 상기 게임 콘텐츠에 대한 응답을 수신하며, 상기 응답에 대한 정답 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 표정 인식 학습 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210107861A KR102630872B1 (ko) | 2021-08-17 | 2021-08-17 | 표정 인식 학습 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210107861A KR102630872B1 (ko) | 2021-08-17 | 2021-08-17 | 표정 인식 학습 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230026560A true KR20230026560A (ko) | 2023-02-27 |
| KR102630872B1 KR102630872B1 (ko) | 2024-02-01 |
Family
ID=85329443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210107861A KR102630872B1 (ko) | 2021-08-17 | 2021-08-17 | 표정 인식 학습 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102630872B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013228847A (ja) * | 2012-04-25 | 2013-11-07 | Nippon Hoso Kyokai <Nhk> | 顔表情解析装置および顔表情解析プログラム |
| CN112418085A (zh) * | 2020-11-23 | 2021-02-26 | 同济大学 | 一种部分遮挡工况下的面部表情识别方法 |
-
2021
- 2021-08-17 KR KR1020210107861A patent/KR102630872B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013228847A (ja) * | 2012-04-25 | 2013-11-07 | Nippon Hoso Kyokai <Nhk> | 顔表情解析装置および顔表情解析プログラム |
| CN112418085A (zh) * | 2020-11-23 | 2021-02-26 | 同济大学 | 一种部分遮挡工况下的面部表情识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102630872B1 (ko) | 2024-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393206B2 (en) | Image recognition method and apparatus, terminal, and storage medium | |
| US11798246B2 (en) | Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same | |
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| Ahuja et al. | To react or not to react: End-to-end visual pose forecasting for personalized avatar during dyadic conversations | |
| Abdullahi et al. | American sign language words recognition using spatio-temporal prosodic and angle features: A sequential learning approach | |
| CN111432267B (zh) | 视频调整方法、装置、电子设备及存储介质 | |
| KR102167760B1 (ko) | 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템 | |
| EP3467619A2 (en) | Device for influencing virtual objects of augmented-reality | |
| KR102229061B1 (ko) | 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법 | |
| WO2017086108A1 (ja) | 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム | |
| Marshall et al. | 4D Cardiff Conversation Database (4D CCDb): A 4D database of natural, dyadic conversations | |
| Pablos et al. | Dynamic facial emotion recognition oriented to HCI applications | |
| Upadhyay et al. | Facial expression recognition: A review | |
| KR102630872B1 (ko) | 표정 인식 학습 장치 및 방법 | |
| Ivanova | Researching affective computing techniques for intelligent tutoring systems | |
| CN110675312A (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
| KR20200019296A (ko) | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| KR20210015977A (ko) | 사망자와의 대화 구현 장치 | |
| Lee | Virtual representation of facial avatar through weighted emotional recognition | |
| Khoeun et al. | Emotion Recognition of Partial Face using Star-Like Particle Polygon Estimation | |
| Barman et al. | HUMAN EMOTION RECOGNITION FROM FACE IMAGES. | |
| Rivera et al. | Development of an automatic expression recognition system based on facial action coding system | |
| CN117152843B (zh) | 数字人的动作控制方法及其系统 | |
| Borkar et al. | Sign Language Recognition Using Machine Learning | |
| US20240104180A1 (en) | User authentication based on three-dimensional face modeling using partial face images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |