KR20210075886A - 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법 - Google Patents

듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR20210075886A
KR20210075886A KR1020200173377A KR20200173377A KR20210075886A KR 20210075886 A KR20210075886 A KR 20210075886A KR 1020200173377 A KR1020200173377 A KR 1020200173377A KR 20200173377 A KR20200173377 A KR 20200173377A KR 20210075886 A KR20210075886 A KR 20210075886A
Authority
KR
South Korea
Prior art keywords
image
recognition
facial expression
feature
deep network
Prior art date
Application number
KR1020200173377A
Other languages
English (en)
Inventor
이승룡
서현석
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20210075886A publication Critical patent/KR20210075886A/ko

Links

Images

Classifications

    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법이 제공된다. 상기 방법은, 서버에 의해 수행되는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법에 있어서, 획득한 인식영상정보에 포함된 인식객체를 감지하는 단계; 감지된 상기 인식객체에 대응하여 공간영역 및 시간영역으로 바운딩박스를 할당하는 단계; 할당된 공간영역인식이미지 및 시간영역인식이미지가 포함된 영역인식이미지를 전처리하는 단계; 전처리된 상기 영역인식이미지로부터 상기 인식객체의 얼굴표정을 인식하여 얼굴특징에 대한 공간특징인식이미지 및 시간특징인식이미지가 포함된 특징인식이미지를 추출하는 단계; 및 표준이미지데이터를 기초하여 상기 특징인식이미지를 이용하여 얼굴표정을 판별하여 인식이미지데이터를 생성하는 단계;를 포함할 수 있다.

Description

듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법 {IMAGE-BASED FACIAL EXPRESSION EMOTION RECOGNITION SYSTEM USING DUAL DEEP NETWORK AND METHOD THEREOF}
본 발명은 듀얼 딥 네트워크를 이용한 영상 기반 얼굴표정 감정인식 시스템 및 그 방법에 관한 것으로써, 더욱 구체적으로 영상을 기반으로 공간영역과 시간영역을 고려하여 감정을 표현하는 대상 객체의 얼굴표정 변화를 실시간으로 감지하여 대상 객체가 느끼는 감정을 인식할 수 있는 듀얼 딥 네트워크를 이용한 영상 기반 얼굴표정 감정인식 시스템 및 그 방법에 관한 것이다.
멀티모달 감정 인식(multimodal emotion recognition)은 facial expression, speech, gesture, gaze, head movement, context등의 여러가지 정보를 이용해서 감정을 파악하는 것을 의미하고, 멀티모달 인터페이스를 통한 멀티 모달 정보가 입력되면 각각의 모달리티에서 입력된 정보가 융합되어 분석될 수 있다.
또한, 멀티 모달리티에서 입력된 정보의 특징을 추출하고 분류하기 위해서는 다양한 학습 알고리즘이 사용될 수 있다. 이때, 어떠한 학습 알고리즘이 적용되는지 여부에 따라 결과를 분석하여 인식하는 에러율이 달라질 수 있다.
사용자의 감정을 인식할 수 있는 기능은 지능형 인터페이스의 중요 요소인데, 이를 위하여 사용자의 얼굴표정, 음성 등의 특징을 이용한 감정인식 기술이 시도되고 있다. 단, 얼굴표정에 기반한 감정인식 기술의 경우 대부분 정지된 화상과 다양한 알고리즘을 사용하나 그 인식률이 만족할 만한 수준에 도달하지 못하는 문제점이 있었다.
또한, 자연스러운 감정을 유발하여 객체반응을 측정하지 않고, 인위적인 감정상태의 객체반응 데이터를 사용함 으로써, 실제 이벤트와 매칭되지 않는 경우가 빈번하게 발생 된다는 문제점도 있었으므로, 이에 대한 해결방안 이 요구되는 실정이었다.
한국등록특허 제10-1794399호, 2014.03.06
본 발명이 해결하고자 하는 과제는 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법은, 서버에 의해 수행되는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법에 있어서, 획득한 인식영상정보에 포함된 인식객체를 감지하는 단계; 감지된 상기 인식객체에 대응하여 공간영역 및 시간영역으로 바운딩박스를 할당하는 단계; 할당된 공간영역인식이미지 및 시간영역인식이미지가 포함된 영역인식이미지를 전처리하는 단계; 전처리된 상기 영역인식이미지로부터 상기 인식객체의 얼굴표정을 인식하여 얼굴특징에 대한 공간특징인식이미지 및 시간특징인식이미지가 포함된 특징인식이미지를 추출하는 단계; 및 표준이미지데이터를 기초하여 상기 특징인식이미지를 이용하여 얼굴표정을 판별하여 인식이미지데이터를 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 인식객체를 감지하는 단계는, HOG(Histogram of Oriented Gradients) 알고리즘 및 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 상기 인식영상정보로부터 상기 인식객체를 감지할 수 있다.
본 발명의 일 실시예에 있어서, 상기 바운딩박스를 할당하는 단계는, 상기 HOG 알고리즘을 통해 감지된 HOG 감지 이미지의 벡터 및 상기 SIFT 알고리즘을 통해 감지된 SIFT 감지 이미지의 벡터를 결합하여 상기 바운딩박스를 할당할 수 있다.
본 발명의 일 실시예에 있어서, 상기 특징인식이미지를 추출하는 단계는, S-CNN(Spatial-based Convolutional Neural Network)를 기반으로 상기 공간영역인식이미지로부터 상기 공간특징인식이미지를 추출하는 단계; 및 T-CNN(Temporal-based Convolutional Neural Network)를 기반으로 상기 시간영역인식이미지로부터 상기 시간특징인식이미지를 추출하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 인식이미지데이터를 생성하는 단계는, 상기 공간특징인식이미지와, 상기 표준이미지데이터에 포함된 공간특징표준이미지를 매칭하여 제1 매칭데이터를 생성하는 단계; 상기 시간특징인식이미지와 상기 표준이미지데이터에 포함된 시간특징표준이미지를 매칭하여 제2 매칭데이터를 생성하는 단계; 및 상기 표준이미지데이터에 포함된 표준분류이미지를 기초로 상기 제1 매칭데이터 및 상기 제2 매칭데이터를 조합하여 인식분류이미지를 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 서버가 상기 표준이미지데이터를 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 표준이미지데이터를 생성하는 단계는, 빅데이터를 이용하여 기준영상정보에 대응하는 상기 표준분류이미지를 반복학습하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 특징인식이미지를 추출하는 단계는, 상기 인식객체의 눈썹, 눈꺼풀, 눈꼬리, 광대뼈의 주름, 눈 주위 근육변화, 입꼬리, 입모양, 얼굴구조 또는 이들의 조합을 기준으로 특징을 추출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 인식분류이미지에 기초하여 상기 표준이미지데이터를 실시간 업데이트하는 단계;를 더 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명의 다른 일실시예에 따른 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템은, 적어도 하나 이상의 영상을 획득하고, 획득한 영상정보에 포함된 객체를 감지하고, 감지된 상기 객체의 표정을 인식 및 특징을 추출하여 생성된 특징이미지를 이용하여 사용자의 얼굴표정을 판별하여 분류이미지를 생성하는 서버;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 서버는, 표준이미지데이터를 기초로하여 상기 특징이미지를 공간특징이미지 및 시간특징이미지로 분류할 수 있다.
본 발명의 일 실시예에 있어서, 상기 영상정보에는 이미지 및 동영상 중 적어도 하나가 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 영상정보에 포함된 정보가 이미지인 경우, 상기 서버는 상기 이미지로부터 적어도 하나 이상의 공간특징이미지를 추출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 영상정보에 포함된 정보가 동영상인 경우, 상기 서버는 상기 동영상으로부터 정상이미지를 판단하여 최소 6장의 이미지를 추출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 서버는 상기 이미지로부터 적어도 하나 이상의 공간특징이미지 및 적어도 하나 이상의 시간특징이미지를 추출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 분류이미지에 기초하여 표준이미지데이터를 실시간 업데이트하는 관리자 단말기;를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 관리자 단말기는, 빅데이터를 이용하여 상기 영상정보에 대응하는 상기 분류이미지를 반복학습하여 상기 표준이미지데이터를 생성할 수 있다.
본 발명의 일 실시예에 있어서, HOG(Histogram of Oriented Gradients) 알고리즘 및 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 상기 인식영상정보로부터 상기 인식객체를 감지할 수 있다.
본 발명의 일 실시예에 있어서, 상기 HOG 알고리즘을 통해 감지된 HOG 감지 이미지의 벡터 및 상기 SIFT 알고리즘을 통해 감지된 SIFT 감지 이미지의 벡터를 결합하여 바운딩박스를 할당할 수 있다.
본 발명의 일실시예에 따른 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 공간영역과 시간영역을 고려하여 이미지 및 영상을 듀얼 딥 네트워크를 이용하여 감정을 표현하는 대상 객체의 얼굴표정 변화를 실시간으로 감지함으로써, 대상 객체가 느끼는 다양한 감정을 더욱 객관적으로 판별할 수 있다. 즉, 화남(Anger), 혐오(Disgust), 두려움(Fear), 행복(Happiness), 보통(Neutral), 슬픔(Sadness), 놀라움(Surprise)을 포함하는 7가지의 감정을 객관적으로 판별할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템을 설명하기 위한 개념도이다.
도 2는 도 1에 도시된 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템의 상세 구성을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 일실시예에 따른 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법을 설명하기 위한 도면이다.
도 5는 도 4에 도시된 표준이미지데이터를 생성하는 단계를 설명하기 도면이다.
도 6은 도 4에 도시된 객체감지 및 바운딩박스 할당하는 단계를 설명하기 위한 도면이다.
도 7은 도 4에 도시된 인식이미지를 전처리하는 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 영상정보로부터 공간특징이미지를 추출하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 영상정보로부터 공간특징이미지 및 시간특징이미지를 추출하는 방법을 설명하기 위한 도면이다.
도 10은 도 4에 도시된 분류이미지를 생성하는 단계를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)” 및/또는 “포함하는(comprising)”은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, “및/또는”은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 “제1”, “제2” 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템을 설명하기 위한 개념도이고, 도 2는 도 1에 도시된 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템의 상세 구성을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예인 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템은 서버(10), 사용자 단말기(20) 및 관리자 단말기(30)를 포함할 수 있다. 실시예에 따라, 관리자 단말기(30)는 생략될 수 있다.
여기서, 서버(10), 사용자 단말기(20) 및 관리자 단말기(30)는 무선통신망을 이용하여 실시간으로 동기화되어 데이터를 송수신할 수 있다. 무선통신망은 다양한 원거리 통신 방식이 지원될 수 있으며, 예를 들어 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), BLE(Bluetooth Low Energy), 지그비(Zigbee), RF(Radio Frequency), LoRa(Long Range) 등과 같은 다양한 통신 방식이 적용될 수 있으나 이에 한정되지 않으며 널리 알려진 다양한 무선통신 또는 이동통신 방식이 적용될 수도 있다.
서버(10)는 도 2에 도시된 바와 같이, 통신부(12), 데이터베이스부(14), 모니터링부(16) 및 관리제어부(18)를 포함할 수 있다.
통신부(12)는 사용자 단말기(20)로부터 인식된 인식영상정보를 수신할 수 있다. 여기서, 인식영상정보는 이미지 및 동영상을 포함할 수 있다. 예를 들어, 인식영상정보는 최소 1장의 이미지와, 10초 이상의 동영상을 포함할 수 있지만, 이에 한정하지 않는다.
실시예에 따라, 통신부(12)는 인식영상정보 및 표준이미지데이터를 관리자 단말기(30)로 전송하고, 인식영상정보에 대응하는 인식분류이미지가 포함된 인식이미지데이터를 관리자 단말기(30)로부터 수신할 수 있다. 여기서, 표준이미지데이터는 빅데이터를 이용하여 기준영상정보에 대응하는 표준분류이미지를 반복학습하여 생성된 데이터를 포함일 수 있다.
또한, 표준분류이미지는 얼굴표정으로부터 획득한 기준 감정일 수 있다. 본 실시예에서, 화남(Anger), 혐오(Disgust), 두려움(Fear), 행복(Happiness), 보통(Neutral), 슬픔(Sadness), 놀라움(Surprise)을 포함하는 7가지 감정으로 개시하였지만, 이에 한정하지 않는다.
또한, 인식분류이미지는 인식영상정보로부터 분류된 이미지일 수 있다. 예를 들어, 인식분류이미지는 화남, 혐오, 두려움, 행복, 보통, 슬픔 및 놀라움 중 한가지 감정을 포함할 수 있다. 하지만, 이에 한정하지 않고, 적어도 2개 이상의 감정을 포함할 수도 있다.
인식이미지데이터는 표준이미지데이터를 기초로 인식영상정보에 대응하는 인식분류이미지가 매칭되어 생성된 데이터를 포함일 수 있다.
실시예에 따라, 통신부(12)는 인식영상정보에 대응하는 인식분류이미지를 사용자 단말기(20)로 전송할 수 있다.
이와 같은 통신부(12)는 서버(10)와 사용자 단말기(20) 사이 또는 서버(10)와 관리자 단말기(30) 사이에 데이터를 송수신할 수 있다.
데이터베이스부(14)는 무선통신망을 통해 서버(10)와 사용자 단말기(20) 사이 또는 서버(10)와 관리자 단말기(30) 사이에 송수신되는 데이터를 저장할 수 있다. 이때, 표준이미지데이터는 분류이미지에 대응하여 실시간으로 업데이트되어 저장될 수 있다.
데이터베이스부(14)는 서버(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 데이터베이스부(14)는 서버(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서버(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.
한편, 데이터베이스부(14)에 저장되는 본 실시예에서 사용되는 인식이미지데이터와 표준이미지데이터가 상호 대응되는 매핑 테이블의 형태로 구현될 수 있으나 이에 한정하는 것은 아니다.
모니터링부(16)는 서버(10)의 동작상태, 그리고 서버(10)와 사용자 단말기(20) 사이 또는 서버(10)와 관리자 단말기(30) 사이의 송수신되는 데이터 등을 화면을 통해 모니터링 할 수 있다. 즉, 서버(10) 동작의 오류가 발생하는 경우 실시간으로 빠르게 대처하여 사용자 단말기(20) 또는 관리자 단말기(30)에게 신뢰성을 높일 수 있다.
관리제어부(18)는 일종의 중앙처리장치로서, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정의 감정을 인식하는 전체 과정을 제어할 수 있다.
구체적으로, 관리제어부(18)는 영상처리모듈(180), 이미지추출모듈(182), 이미지분류모듈(184) 및 제어모듈(186)을 포함할 수 있다.
영상처리모듈(180)은 획득한 기준영상정보에 포함된 인식객체를 감지하고, 인식객체가 감지된 이미지를 전처리할 수 있다.
구체적으로, 영상처리모듈(180)은 획득한 인식영상정보에 포함된 인식객체를 감지할 수 있다(Face Detection).
예를 들어, 영상처리모듈(180)은 HOG(Histogram of Oriented Gradients) 알고리즘 및 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 인식영상정보로부터 인식객체를 감지할 수 있다.
본 실시예에서는 이미지에서 원하는 객체의 추출을 위해 HOG(histogram of Oriented Gradients) 디스크립터(descriptor)와, SIFT(Scale Invariant Feature Transform)를 활용하는 경우의 예로 개시하였지만, 이에 한정하지 않는다. 여기서, HOG는 객체 탐색의 목적을 위해 컴퓨터 비전이나 이미지 프로세싱에서 사용되는 특징 디스크립터(feature descriptor)일 수 있고, SIFT(Scale Invariant Feature Transform)는 이미지 피라미드 기법에 적용 가능한 기법일 수 있다. 이때, 이미지의 특징점을 찾기 위한 알고리즘으로서, SURF(Speed Up Robust Feature) 등과 같은 잘 알려진 다양한 기법들이 활용될 수 있음을 당업자라면 쉽게 이해할 수 있다.
또한, 영상처리모듈(180)은 감지된 인식객체에 대응하여 공간영역 및 시간영역으로 바운딩박스를 할당할 수 있다(Allocation). 즉, 영상처리모듈(180)은 인식영상정보를 공간영역인식이미지 및 시간영역인식이미지로 할당할 수 있다.
여기서, 공간영역은 감지된 인식객체가 포함된 이미지를 단일이미지로 인식할 수 있고, 시간영역은 감지된 인식객체가 포함된 이미지를 연속이미지로 인식할 수 있다.
예를 들어, 영상처리모듈(180)은 인식영상정보에 포함된 이미지가 포함된 경우, 이미지를 단일이미지로 인식할 수 있다. 또한, 영상처리모듈(180)은인식영상정보에 포함된 이미지가 동영상인 경우, 동영상으로부터 추출된 정상이미지를 연속이미지로 인식할 수 있다.
또한, 영상처리모듈(180)은 HOG 알고리즘을 통해 감지된 HOG 감지 이미지의 벡터 및 SIFT 알고리즘을 통해 감지된 SIFT 감지 이미지의 벡터를 결합하여 바운딩박스를 할당할 수 있다.
그리고, 영상처리모듈(180)은 할당된 공간영역인식이미지 및 시간영역인식이미지가 포함된 영역인식이미지를 전처리할 수 있다(Preprocessing).
예를 들어, 영역인식이미지를 기설정된 기준에 따라 자동으로 밝기, 채도, 선명도, 명암 등을 보정할 수 있다.
이미지추출모듈(182)은 전처리된 영역인식이미지로부터 인식객체의 얼굴표정을 인식하여 얼굴특징에 대한 공간특징인식이미지 및 시간특징인식이미지가 포함된 특징인식이미지를 추출할 수 있다(Facial Feature Extraction).
구체적으로, 이미지추출모듈(182)은 S-CNN(Spatial-based Convolutional Neural Network)를 기반으로 공간영역인식이미지로부터 공간특징인식이미지를 추출할 수 있다(Dual Network Association).
또한, 이미지추출모듈(182)은 T-CNN(Temporal-based Convolutional Neural Network)를 기반으로 시간영역인식이미지로부터 시간특징인식이미지를 추출할 수 있다.
이때, 이미지추출모듈(182)은 인식객체의 눈썹, 눈꺼풀, 눈꼬리, 광대뼈의 주름, 눈 주위 근육변화, 입꼬리, 입모양, 얼굴구조 또는 이들의 조합을 기준으로 특징을 추출할 수 있다.
예를 들어, 이미지추출모듈(182)가 공간영역인식이미지 및 시간영역인식이미지로부터 찡그린 얼굴, 눈썹이 낮게 움직이고 양측이 서로 가깝게 움직인 특징을 추출하는 경우 인식분류이미지는 화남의 감정으로 분류될 수 있지만, 이에 한정하지 않는다.
또한, 이미지추출모듈(182)가 공간영역인식이미지 및 시간영역인식이미지로부터 주름진 코와 들어올린 윗입술의 특징을 추출하는 경우 인식분류이미지는 혐오의 감정으로 분류될 수 있지만, 이에 한정하지 않는다.
또한, 이미지추출모듈(182)가 공간영역인식이미지 및 시간영역인식이미지로부터 눈썹이 위로 올라가고 양측이 서로 밀착되고, 위쪽 눈꺼풀이 위로 당기고, 아래쪽 눈꺼풀을 긴장 상태이고, 입이 옆으로 약간 당겨진 특징을 추출하는 경우 인식분류이미지는 두려움의 감정으로 분류될 수 있지만, 이에 한정하지 않는다.
또한, 이미지추출모듈(182)가 공간영역인식이미지 및 시간영역인식이미지로부터 눈꼬리, 광대뼈의 주름, 눈 주위 근육의 변화하는 특징을 추출하는 경우 인식분류이미지는 행복의 감정으로 분류될 수 있지만, 이에 한정하지 않는다.
또한, 이미지추출모듈(182)가 공간영역인식이미지 및 시간영역인식이미지로부터 인간의 대부분의 시간에 표현되는 가장 자연스러운 표정의 특징을 추출하는 경우 인식분류이미지는 보통의 감정으로 분류될 수 있지만, 이에 한정하지 않는다.
또한, 이미지추출모듈(182)가 공간영역인식이미지 및 시간영역인식이미지로부터 윗 눈꺼풀의 꼬리가 떨어지고 눈이 산만 해지고 가장자리가 약간 아래로 당겨지는 특징을 추출하는 경우 인식분류이미지는 슬픔의 감정으로 분류될 수 있지만, 이에 한정하지 않는다.
그리고, 이미지추출모듈(182)가 공간영역인식이미지 및 시간영역인식이미지로부터 눈썹을 올리고, 눈을 크게 뜨고 입을 벌리는 특징을 추출하는 경우 인식분류이미지는 놀라움의 감정으로 분류될 수 있지만, 이에 한정하지 않는다.
이미지분류모듈(184)은 표준이미지데이터를 기초하여 특징인식이미지를 이용하여 얼굴표정을 판별하여 인식분류이미지를 생성할 수 있다(Emotion Classification).
구체적으로, 이미지분류모듈(184)은 공간특징인식이미지와, 표준이미지데이터에 포함된 공간특징표준이미지를 매칭하여 제1 매칭데이터를 생성하고, 시간특징인식이미지와 표준이미지데이터에 포함된 시간특징표준이미지를 매칭하여 제2 매칭데이터를 생성할 수 있다.
이미지분류모듈(184)은 표준이미지데이터에 포함된 표준분류이미지를 기초로 제1 매칭데이터 및 제2 매칭데이터를 조합하여 인식분류이미지를 생성할 수 있다.
제어모듈(186)은 빅데이터로부터 추출된 기준영상정보와 기준분류이미지를 매칭하고, 반복 학습하여 표준이미지데이터를 생성할 수 있다. 이때, 표준이미지데이터는 딥러닝에 의해 반복 학습하여 생성될 수 있지만, 이에 한정하지 않고 랜덤 포레스트(Random Forest), 서포트 벡터 머신(Support Vector Machine) 등의 머신러닝 기법을 이용할 수 있다. 여기서, 표준이미지데이터는 인식분류이미지에 대응하여 실시간으로 표준이미지데이터를 업데이트할 수 있다.
제어모듈(186)은 표준이미지데이터를 기초하여 인식영상정보에 대응하는 인식분류이미지가 포함된 인식이미지데이터를 생성할 수 있다.
이와 같은 서버(10)는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.
사용자 단말기(20)는 사용자가 소지한 휴대 가능한 단말기로써, 본 개시에서 응용 프로그램(application program 또는 애플리케이션(application))을 이용하여 동작할 수 있으며, 이러한 응용 프로그램은 무선통신을 통해 외부서버 또는 서버(10)로부터 다운로드 될 수 있다. 예를 들어, 사용자 단말기(20)는 스마트폰(Smart phone), PDA(Personal Digital Assistant), 테블릿(Tablet), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display)등 포함) 및 각종 IoT(Internet of Things) 단말과 같은 다양한 단말을 포함할 수 있지만 이에 한정하는 것은 아니다.
사용자 단말기(20)는 사용자의 얼굴표정이 포함된 이미지 또는 동영상을 획득할 수 있는 촬영장치를 구비할 수 있다. 이와 달리 제3자의 얼굴표정이 담긴 영상정보를 서버(10)에 제공할 수도 있다.
관리자 단말기(30)는 별도의 관리자가 소지한 단말기로써, 서버(10) 및 사용자 단말기(20)와 무선통신망을 이용하여 실시간으로 동기화되어 데이터를 송수신할 수 있다. 이때, 관리자 단말기(30)는 응용 프로그램(application program 또는 애플리케이션(application))을 이용하여 데이터를 송수신할 수 있다.
관리자 단말기(30)는 서버(10)로부터 수신된 표준이미지데이터를 학습하여, 사용자 단말기(20)로부터 수신받은 인식영상정보를 분석하여 인식분류이미지가 포함된 인식이미지데이터를 생성할 수 있다.
이와 같은 구조를 갖는 본 발명의 일실시예에 따른 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템의 동작은 다음과 같다. 도 3 및 도 4는 본 발명의 일실시예에 따른 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법을 설명하기 위한 도면이고, 도 5는 도 4에 도시된 표준이미지데이터를 생성하는 단계를 설명하기 도면이며, 도 6은 도 4에 도시된 객체감지 및 바운딩박스 할당하는 단계를 설명하기 위한 도면이고, 도 7은 도 4에 도시된 인식이미지를 전처리하는 단계를 설명하기 위한 도면이며, 도 8은 본 발명의 일실시예에 따른 영상정보로부터 공간특징이미지를 추출하는 방법을 설명하기 위한 도면이고, 도 9는 본 발명의 일실시예에 따른 영상정보로부터 공간특징이미지 및 시간특징이미지를 추출하는 방법을 설명하기 위한 도면이며, 도 10은 도 4에 도시된 분류이미지를 생성하는 단계를 설명하기 위한 도면이다.
우선, 도 3 및 도 4에 도시된 바와 같이, 서버(10)는 표준이미지데이터를 생성할 수 있다(S10).
구체적으로, 서버(10)는 빅데이터를 이용하여 기준영상정보에 대응하는 표준분류이미지를 반복학습하여 표준이미지데이터를 생성할 수 있다.
예를 들어, 도 5를 참조하면, 서버(10)는 빅데이터를 이용하여 기준영상정보에 포함된 기준객체를 감지하고, 감지된 기준객체에 대응하여 공간영역 및 시간영역으로 바운딩박스를 할당하고, 할당된 공간영역표준이미지 및 시간영역표준이미지가 포함된 영역표준이미지를 전처리하고, 전처리된 영역표준이미지로부터 기준객체의 얼굴표정을 인식하여 얼굴특징에 대한 공간특징표준이미지 및 시간특징표준이미지가 포함된 특징표준이미지를 추출한 후, 특징표준이미지를 이용하여 얼굴표정을 판별하여 표준분류이미지가 포함된 인식이미지데이터를 생성할 수 있다.
다음으로, 서버(10)는 인식영상정보를 사용자 단말기(20)로부터 획득할 수 있다(S12).
다음으로, 서버(10)는 획득한 인식영상정보에 포함된 인식객체를 감지할 수 있다(S14, Face Detection).
구체적으로, 서버(10)는 HOG(Histogram of Oriented Gradients) 알고리즘 및 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 인식영상정보로부터 인식객체를 감지할 수 있다.
다음으로, 서버(10)는 감지된 인식객체에 대응하여 공간영역 및 시간영역으로 바운딩박스를 할당할 수 있다(S16, Allocation).
구체적으로, 서버(10)는 인식영상정보를부터 감지된 인식객체에 대응하여 이미지를 공간영역인식이미지 및 시간영역인식이미지로 할당할 수 있다.
예를 들어, 도 6을 참조하면, 서버(10)는 HOG 알고리즘을 통해 감지된 HOG 감지 이미지의 벡터 및 SIFT 알고리즘을 통해 감지된 SIFT 감지 이미지의 벡터를 결합하여 바운딩박스를 할당할 수 있다.
다음으로, 서버(10)는 할당된 공간영역인식이미지 및 시간영역인식이미지가 포함된 영역인식이미지를 전처리할 수 있다(S18, Preprocessing).
예를 들어, 도 7을 참조하면, 서버(10)는 영역인식이미지를 기설정된 기준에 따라 자동으로 밝기, 채도, 선명도, 명암 등을 보정할 수 있다.
구체적으로, 노이즈를 감소시키고, 콘트라스트를 향상시켜 히스토그램 평활화(Histogram Equalization)할 수 있다. 예를 들어, 비선형공간필터(non-linear spatial filters)를 사용하여 즉 중앙 필터가 적용되어 얼굴 이미지의 기본 속성에서 비선형 로컬 및 글로벌 정보를 사용하여 노이즈를 감소시키고, 히스토그램 평활화는 밝기와 본능 구조를 유지하면서 이미지의 대비를 개선할 수 있다.
다음으로, 서버(10)는 전처리된 영역인식이미지로부터 인식객체의 얼굴표정을 인식하여 얼굴특징에 특징인식이미지를 추출할 수 있다(S20, Facial Feature Extraction). 즉, 서버(10)는 얼굴특징에 대한 공간특징인식이미지 및 시간특징인식이미지가 포함된 특징인식이미지를 추출할 수 있다. 이때, 서버(10)는 인식객체의 눈썹, 눈꺼풀, 눈꼬리, 광대뼈의 주름, 눈 주위 근육변화, 입꼬리, 입모양, 얼굴구조 또는 이들의 조합을 기준으로 특징을 추출할 수 있다.
구체적으로, 서버(10)는 S-CNN(Spatial-based Convolutional Neural Network)를 기반으로 공간영역인식이미지로부터 공간특징인식이미지를 추출할 수 있다(Dual Network Association).
예를 들어, 도 8을 참조하면 서버(10)는 단기적인 감정을 인식하여 공간특징인식이미지를 추출할 수 있다. 즉, 게임, 영화관람 등에 있어서, 순간 포착되는 이미지로부터 특징을 공간특징인식이미지로 추출할 수 있다.
또한, 서버(10)는 T-CNN(Temporal-based Convolutional Neural Network)를 기반으로 시간영역인식이미지로부터 시간특징인식이미지를 추출할 수 있다.
예를 들어, 도 9를 참조하면 서버(10)는 순차적인 감정을 시간순으로 인식하여 시간특징인식이미지를 추출할 수 있다. 즉, 게임, 영화관람 등에 있어서, 시간순으로 순차적인 감정을 인식하여 순차적으로 포착되는 이미지로부터 특징을 시간특징인식이미지로 추출할 수 있다. 축구경기시 상대방의 골대에 골을 점수를 획득했을때의 기쁨과, 상대방으로부터 점수를 내어주었을 때의 슬픔과, 상대방으로부터 반칙을 당했을때의 분노를 순차적으로 인식하여 시간특징인식이미지를 추출할 수 있다.
다음으로, 서버(10)는 표준이미지데이터를 기초하여 특징인식이미지를 이용하여 얼굴표정을 판별하여 인식분류이미지를 생성할 수 있다(S22, Emotion Classification).
구체적으로, 도 10을 참조하면, 서버(10)는 공간특징인식이미지와, 표준이미지데이터에 포함된 공간특징표준이미지를 매칭하여 제1 매칭데이터를 생성하고(S100), 시간특징인식이미지와 표준이미지데이터에 포함된 시간특징표준이미지를 매칭하여 제2 매칭데이터를 생성하며(S120), 표준이미지데이터에 포함된 표준분류이미지를 기초로 제1 매칭데이터 및 제2 매칭데이터를 조합하여 인식분류이미지를 생성할 수 있다(S140).
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10 : 서버
20 : 사용자 단말기
30 : 관리자 단말기

Claims (20)

  1. 서버에 의해 수행되는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법에 있어서,
    획득한 인식영상정보에 포함된 인식객체를 감지하는 단계;
    감지된 상기 인식객체에 대응하여 공간영역 및 시간영역으로 바운딩박스를 할당하는 단계;
    할당된 공간영역인식이미지 및 시간영역인식이미지가 포함된 영역인식이미지를 전처리하는 단계;
    전처리된 상기 영역인식이미지로부터 상기 인식객체의 얼굴표정을 인식하여 얼굴특징에 대한 공간특징인식이미지 및 시간특징인식이미지가 포함된 특징인식이미지를 추출하는 단계; 및
    표준이미지데이터를 기초하여 상기 특징인식이미지를 이용하여 얼굴표정을 판별하여 인식이미지데이터를 생성하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  2. 제1항에 있어서,
    상기 인식객체를 감지하는 단계는,
    HOG(Histogram of Oriented Gradients) 알고리즘 및 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 상기 인식영상정보로부터 상기 인식객체를 감지하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  3. 제2항에 있어서,
    상기 바운딩박스를 할당하는 단계는,
    상기 HOG 알고리즘을 통해 감지된 HOG 감지 이미지의 벡터 및 상기 SIFT 알고리즘을 통해 감지된 SIFT 감지 이미지의 벡터를 결합하여 상기 바운딩박스를 할당하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  4. 제1항에 있어서,
    상기 특징인식이미지를 추출하는 단계는,
    S-CNN(Spatial-based Convolutional Neural Network)를 기반으로 상기 공간영역인식이미지로부터 상기 공간특징인식이미지를 추출하는 단계; 및
    T-CNN(Temporal-based Convolutional Neural Network)를 기반으로 상기 시간영역인식이미지로부터 상기 시간특징인식이미지를 추출하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  5. 제4항에 있어서,
    상기 인식이미지데이터를 생성하는 단계는,
    상기 공간특징인식이미지와, 상기 표준이미지데이터에 포함된 공간특징표준이미지를 매칭하여 제1 매칭데이터를 생성하는 단계;
    상기 시간특징인식이미지와 상기 표준이미지데이터에 포함된 시간특징표준이미지를 매칭하여 제2 매칭데이터를 생성하는 단계; 및
    상기 표준이미지데이터에 포함된 표준분류이미지를 기초로 상기 제1 매칭데이터 및 상기 제2 매칭데이터를 조합하여 인식분류이미지를 생성하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  6. 제5항에 있어서,
    상기 서버가 상기 표준이미지데이터를 생성하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  7. 제6항에 있어서,
    상기 표준이미지데이터를 생성하는 단계는,
    빅데이터를 이용하여 기준영상정보에 대응하는 상기 표준분류이미지를 반복학습하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  8. 제1항에 있어서,
    상기 특징인식이미지를 추출하는 단계는,
    상기 인식객체의 눈썹, 눈꺼풀, 눈꼬리, 광대뼈의 주름, 눈 주위 근육변화, 입꼬리, 입모양, 얼굴구조 또는 이들의 조합을 기준으로 특징을 추출하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  9. 제1항에 있어서,
    상기 인식분류이미지에 기초하여 상기 표준이미지데이터를 실시간 업데이트하는 단계;를 더 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법.
  10. 적어도 하나 이상의 영상을 획득하고, 획득한 영상정보에 포함된 객체를 감지하고, 감지된 상기 객체의 표정을 인식 및 특징을 추출하여 생성된 특징이미지를 이용하여 사용자의 얼굴표정을 판별하여 분류이미지를 생성하는 서버;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  11. 제10항에 있어서,
    상기 서버는,
    표준이미지데이터를 기초로하여 상기 특징이미지를 공간특징이미지 및 시간특징이미지로 분류하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  12. 제11항에 있어서,
    상기 영상정보에는 이미지 및 동영상 중 적어도 하나가 포함되는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  13. 제12항에 있어서,
    상기 영상정보에 포함된 정보가 이미지인 경우, 상기 서버는 상기 이미지로부터 적어도 하나 이상의 공간특징이미지를 추출하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  14. 제13항에 있어서,
    상기 영상정보에 포함된 정보가 동영상인 경우, 상기 서버는 상기 동영상으로부터 정상이미지를 판단하여 최소 6장의 이미지를 추출하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  15. 제15항에 있어서,
    상기 서버는 상기 이미지로부터 적어도 하나 이상의 공간특징이미지 및 적어도 하나 이상의 시간특징이미지를 추출하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  16. 제11항에 있어서,
    상기 분류이미지에 기초하여 표준이미지데이터를 실시간 업데이트하는 관리자 단말기;를 더 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  17. 제16항에 있어서,
    상기 관리자 단말기는, 빅데이터를 이용하여 상기 영상정보에 대응하는 상기 분류이미지를 반복학습하여 상기 표준이미지데이터를 생성하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  18. 제10항에 있어서,
    HOG(Histogram of Oriented Gradients) 알고리즘 및 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 상기 인식영상정보로부터 상기 인식객체를 감지하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  19. 제18항에 있어서,
    상기 HOG 알고리즘을 통해 감지된 HOG 감지 이미지의 벡터 및 상기 SIFT 알고리즘을 통해 감지된 SIFT 감지 이미지의 벡터를 결합하여 바운딩박스를 할당하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템.
  20. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020200173377A 2019-12-13 2020-12-11 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법 KR20210075886A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190166272 2019-12-13
KR20190166272 2019-12-13

Publications (1)

Publication Number Publication Date
KR20210075886A true KR20210075886A (ko) 2021-06-23

Family

ID=76599549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173377A KR20210075886A (ko) 2019-12-13 2020-12-11 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20210075886A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762148A (zh) * 2021-09-07 2021-12-07 京东科技信息技术有限公司 图像识别模型训练方法和装置、图像识别方法和装置
CN114140843A (zh) * 2021-11-09 2022-03-04 东南大学 一种基于样本自修复的跨数据库表情识别方法
KR102472600B1 (ko) * 2021-12-20 2022-11-29 우주엽 임플란트픽스쳐 인식장치 및 그 방법
KR20230083417A (ko) 2021-12-03 2023-06-12 한국전자기술연구원 각도 마진 함수를 이용한 감정 인식 훈련 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794399B1 (ko) 2015-02-04 2017-11-06 단국대학교 천안캠퍼스 산학협력단 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794399B1 (ko) 2015-02-04 2017-11-06 단국대학교 천안캠퍼스 산학협력단 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762148A (zh) * 2021-09-07 2021-12-07 京东科技信息技术有限公司 图像识别模型训练方法和装置、图像识别方法和装置
CN113762148B (zh) * 2021-09-07 2023-12-08 京东科技信息技术有限公司 图像识别模型训练方法和装置、图像识别方法和装置
CN114140843A (zh) * 2021-11-09 2022-03-04 东南大学 一种基于样本自修复的跨数据库表情识别方法
CN114140843B (zh) * 2021-11-09 2024-04-16 东南大学 一种基于样本自修复的跨数据库表情识别方法
KR20230083417A (ko) 2021-12-03 2023-06-12 한국전자기술연구원 각도 마진 함수를 이용한 감정 인식 훈련 방법 및 시스템
KR102472600B1 (ko) * 2021-12-20 2022-11-29 우주엽 임플란트픽스쳐 인식장치 및 그 방법

Similar Documents

Publication Publication Date Title
KR20210075886A (ko) 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법
US10445562B2 (en) AU feature recognition method and device, and storage medium
KR102174595B1 (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
JP6662876B2 (ja) アバター選択機構
CN106778450B (zh) 一种面部识别方法和装置
CN109325462B (zh) 基于虹膜的人脸识别活体检测方法及装置
CN111758116B (zh) 脸部图像识别系统、识别器生成装置、识别装置与系统
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN108259758B (zh) 图像处理方法、装置、存储介质和电子设备
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
KR102455966B1 (ko) 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
WO2020125386A1 (zh) 表情识别方法、装置、计算机设备和存储介质
Das et al. A new efficient and adaptive sclera recognition system
US20170185827A1 (en) Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
KR101265466B1 (ko) 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체
JP2019048026A (ja) 生体情報解析装置及び手肌解析方法
Das et al. Fuzzy logic based selera recognition
CN113657195A (zh) 人脸图像识别方法、设备、电子装置和存储介质
CN111428666A (zh) 基于快速人脸检测的智能家庭陪伴机器人系统及方法
CN114187166A (zh) 图像处理方法、智能终端及存储介质
US20170300514A1 (en) Method and terminal for implementing image sequencing
KR100847142B1 (ko) 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
KR101344851B1 (ko) 영상처리장치 및 영상처리방법
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
JP6855737B2 (ja) 情報処理装置、評価システムおよびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application