KR101855168B1 - Emotion classification method based on deep learning and method thereof - Google Patents

Emotion classification method based on deep learning and method thereof Download PDF

Info

Publication number
KR101855168B1
KR101855168B1 KR1020160154027A KR20160154027A KR101855168B1 KR 101855168 B1 KR101855168 B1 KR 101855168B1 KR 1020160154027 A KR1020160154027 A KR 1020160154027A KR 20160154027 A KR20160154027 A KR 20160154027A KR 101855168 B1 KR101855168 B1 KR 101855168B1
Authority
KR
South Korea
Prior art keywords
time
emotion
spectrograms
pupil size
pupil
Prior art date
Application number
KR1020160154027A
Other languages
Korean (ko)
Inventor
이희재
박연호
이상국
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020160154027A priority Critical patent/KR101855168B1/en
Application granted granted Critical
Publication of KR101855168B1 publication Critical patent/KR101855168B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

The present invention relates to a deep learning-based emotion classification device and a method thereof. According to the present invention, the deep learning-based emotion classification method using the emotion classification device comprises the steps of: acquiring a pupil size variation data by exposing, to a subject, a visual stimulus image corresponding to each emotion for a set time with respect to each of a plurality of emotions; dividing the pupil size variation data, acquired during the set time, into a plurality of sections based on a preset first time interval; generating a plurality of spectrograms corresponding to the plurality of sections by converting the data of the section into a spectrogram representing a pupil size variation according to time and frequency; and building an emotion classification model based on a user′s pupil variation by inputting the plurality of spectrograms, corresponding to the emotion according to each of the plurality of emotions, into a recurrent neural network (RNN) capable of time series data analysis to allow the learning of the emotion. According to the present invention, the reliable emotion classification model based on the variation in the pupil can be provided by using a result of the time series analysis, through a deep learning technique, for variations in the user′s pupil corresponding to an emotion stimulus. In addition, there is an advantage that the current emotional state of the user can be quickly and accurately analyzed and predicted only by observing the variation in the user′s pupil.

Description

딥러닝 기반의 감성 분류 장치 및 그 방법{Emotion classification method based on deep learning and method thereof}[0001] The present invention relates to a deep learning-based emotion classification apparatus and a method thereof,

본 발명은 딥러닝 기반의 감성 분류 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 감성 자극에 대응하는 사용자의 동공 변화를 딥러닝 기술을 이용하여 분석하여 신뢰성 있는 감성 분류 모델을 제공할 수 있는 딥러닝 기반의 감성 분류 장치 및 그 방법에 관한 것이다.The present invention relates to a deep learning-based emotion classification apparatus and a method thereof, and more particularly, to a deep emotion classification apparatus and a method thereof, which are capable of providing a reliable emotion classification model by analyzing a user's pupil change corresponding to emotion stimulation using a deep learning technique The present invention relates to a learning-based emotional classification apparatus and a method thereof.

최근 인간과 컴퓨터의 상호 작용이 양방향의 인터페이스로 변화하면서 사용자의 명령 없이도 사용자의 욕구를 파악하기 위한 연구들이 진행되고 있으며, 대표적으로 사용자의 감성 인식 기술이 있다. 감성을 과학적으로 분석하고 분석 결과를 제품 및 환경 설계에 응용할 경우 인간의 삶을 더욱 편리하고 안락하고 쾌적하게 만들 수 있다.In recent years, researches have been conducted to grasp the users' desires without the user's commands, and the user's emotional recognition technology is typically used. Scientific analysis of emotions and application of analysis results to product and environmental design can make human life more convenient, comfortable and pleasant.

감성 측정 방법은 심박수 측정, 뇌파 측정, 얼굴 표정 인식 등을 이용하는 방법이 있다. 심박수와 뇌파 측정을 이용하는 센서 부착식의 감성 인식 기술은 피부 표면에 직접 센서를 부착해야 하므로 착용의 불편함이 있고 사용자의 움직임에 따라 노이즈가 발생하여 측정 성능이 저하되는 단점이 있다.Sensitivity measurement methods include heart rate measurement, brain wave measurement, and facial expression recognition. The sensor-based emotion recognition technology using heart rate and brain wave measurement has disadvantages in that the sensor must be attached directly to the surface of the skin, and there is a disadvantage that the measurement performance is degraded due to noise due to movement of the user.

그 밖에도 사용자의 눈 동작의 변화를 이용하여 감성을 분석하는 시각 분석을 통한 감성 추론 방식이 있다. 하지만, 종래의 시각 분석을 통한 감성 추론 방식은 어느 한가지의 눈 특징만을 통해 감정을 추론하거나 각각의 눈 특징이 각각의 감정에 유의미한지 만을 평가하였기 때문에, 정확한 감성 추론이 어려운 문제점이 있다.In addition, there is a sensory reasoning method through visual analysis that analyzes emotions using changes in the user's eye movements. However, the emotion inference method through conventional visual analysis has a problem in that accurate emotion inferencing is difficult because the emotion is inferred through only one eye feature or only each eye feature is significant to each emotion.

본 발명의 배경이 되는 기술은 등록특허 제10-1265466호(2013.05.16공고)에 개시되어 있다.The technology underlying the present invention is disclosed in Patent No. 10-1265466 (published on May 31, 2013).

본 발명은, 감성 자극에 대응하는 사용자의 동공 변화를 딥러닝 기술을 이용하여 분석하여 신뢰성 있는 감성 분류 모델을 제공할 수 있는 딥러닝 기반의 감성 분류 장치 및 그 방법을 제공하는데 목적이 있다.An object of the present invention is to provide a deep learning-based emotion classification apparatus and method which can analyze a pupil change of a user corresponding to emotional stimulation using a deep learning technique to provide a reliable emotion classification model.

본 발명은, 감성 분류 장치를 이용한 감성 분류 방법에 있어서, 복수의 감성 각각에 대해, 상기 감성에 대응하는 시각 자극 이미지가 설정 시간 동안 피험자에게 노출될 때 동공 크기 변화 데이터를 획득하는 단계와, 상기 설정 시간 동안 획득된 상기 동공 크기 변화 데이터를 기 설정된 제1 시간 간격을 기초로 복수의 구간으로 구분하는 단계와, 상기 구간의 데이터를 시간 및 주파수에 따른 동공 크기 변화를 나타낸 스펙트로그램(spectrogram) 형태로 변환하여 상기 복수의 구간에 대응하는 복수의 스펙트로그램을 생성하는 단계, 및 상기 복수의 감성별로 상기 감성에 대응하는 상기 복수의 스펙트로그램을 시계열 데이터 분석이 가능한 순환형 신경망(RNN;Recurrent Neural Network)에 입력시켜 상기 감성을 학습시킴에 따라 사용자의 동공 변화에 기초한 감성 분류 모델을 구축하는 단계를 포함하는 딥러닝 기반의 감성 분류 방법을 제공한다.The present invention relates to a sensitivity classification method using a sensitivity classification apparatus, comprising the steps of: acquiring pupil size variation data when a visual stimulus image corresponding to the sensibility is exposed to a subject for a set time for each of a plurality of emotions; Dividing the pupil size change data obtained during the set time into a plurality of sections based on a predetermined first time interval, and dividing the data of the section into a spectrogram shape representing a pupil size change according to time and frequency Generating a plurality of spectrograms corresponding to the plurality of senses by converting the plurality of spectrograms corresponding to the senses into a plurality of spectrograms corresponding to the plurality of senses by using a Recurrent Neural Network (RNN) ), The emotion is learned, and the sensibility based on the pupil change of the user Provide a deep learning based on emotion classification method comprising the steps to build the model.

여기서, 상기 복수의 구간은, 인접한 구간끼리 상기 제1 시간보다 짧은 제2 시간만큼 오버랩핑(overlapping) 되어 있을 수 있다.Here, the plurality of sections may overlap with each other by a second time shorter than the first time.

또한, 상기 제2 시간은 상기 제1 시간의 절반에 대응하는 시간일 수 있다.In addition, the second time may be a time corresponding to half of the first time.

또한, 상기 감성 분류 방법은, 상기 설정 시간 동안 측정되는 사용자의 동공 크기 변화 데이터로부터 상기 복수의 스펙트로그램을 생성한 다음, 생성한 복수의 스펙트로그램을 상기 감성 분류 모델에 입력시켜 상기 사용자의 현재 감성 상태를 분류하는 단계를 더 포함할 수 있다.The sensory classification method may further include generating the plurality of spectrograms from the user's pupil size change data measured during the set time, inputting the plurality of generated spectrograms to the sensible classification model, And classifying the state.

또한, 상기 감성 분류 모델을 구축하는 단계는, 상기 순환형 신경망에 입력된 복수의 스펙트로그램으로부터 각각 추출되는 특징 벡터의 결과를 이용하여 상기 감성을 학습시키되, 장단기 기억 메모리(LSTM;Long Short-Term Memory) 구조를 가지는 순환형 신경망(LSTM-RNN)에 드랍아웃(drop-out) 기법을 사용하여 상기 감성을 학습시키며, 상기 특징 벡터는, 동공 크기, 눈 깜빡임 시점 및 눈 감은 시간의 정보를 포함할 수 있다.The step of constructing the emotional classification model may include learning the emotion using a result of a feature vector extracted from a plurality of spectrograms input to the circulating neural network, The feature vector includes information on a pupil size, an eye blinking time, and a eye-blinking time using a drop-out technique on a circularly-shaped neural network (LSTM-RNN) having a memory structure. can do.

그리고, 본 발명은,복수의 감성 각각에 대해, 상기 감성에 대응하는 시각 자극 이미지가 설정 시간 동안 피험자에게 노출될 때 동공 크기 변화 데이터를 획득하는 데이터 획득부와, 상기 설정 시간 동안 획득된 상기 동공 크기 변화 데이터를 기 설정된 제1 시간 간격을 기초로 복수의 구간으로 구분하고, 상기 구간의 데이터를 시간 및 주파수에 따른 동공 크기 변화를 나타낸 스펙트로그램(spectrogram) 형태로 변환하여 상기 복수의 구간에 대응하는 복수의 스펙트로그램을 생성하는 스펙트로그램 생성부, 및 상기 복수의 감성별로 상기 감성에 대응하는 상기 복수의 스펙트로그램을 시계열 데이터 분석이 가능한 순환형 신경망(RNN;Recurrent Neural Network)에 입력시켜 상기 감성을 학습시킴에 따라 사용자의 동공 변화에 기초한 감성 분류 모델을 구축하는 모델 학습부를 포함하는 딥러닝 기반의 감성 분류 장치를 제공한다.The present invention is characterized by comprising a data obtaining unit for obtaining pupil size change data when a visual stimulus image corresponding to the emotion is exposed to a subject for a set time for each of a plurality of emotions, Size change data is divided into a plurality of sections based on a predetermined first time interval and the data of the section is converted into a spectrogram form showing a change in pupil size according to time and frequency to correspond to the plurality of sections And a plurality of spectrograms corresponding to the emotions are input to a Recurrent Neural Network (RNN) capable of time-series data analysis by the plurality of emotions, A model for building an emotional classification model based on a user's pupil change according to learning S provide a deep learning of emotional classification based devices, including wealth.

또한, 상기 감성 분류 장치는, 상기 설정 시간 동안 측정되는 사용자의 동공 크기 변화 데이터로부터 상기 복수의 스펙트로그램이 생성되면, 생성된 복수의 스펙트로그램을 상기 감성 분류 모델에 입력시켜 상기 사용자의 현재 감성 상태를 분류하도록 하는 제어부를 더 포함할 수 있다.In addition, when the plurality of spectrograms are generated from the user's pupil size variation data measured during the set time, the sensible classification apparatus inputs the generated plurality of spectrograms to the sensibility classification model, And a control unit for classifying the image data.

또한, 상기 모델 학습부는, 상기 순환형 신경망에 입력된 복수의 스펙트로그램으로부터 각각 추출되는 특징 벡터의 결과를 이용하여 상기 감성을 학습시키되, 장단기 기억 메모리(LSTM;Long Short-Term Memory) 구조를 가지는 순환형 신경망(LSTM-RNN)에 드랍아웃(drop-out) 기법을 사용하여 상기 감성을 학습시키며, 상기 특징 벡터는, 동공 크기, 눈 깜빡임 시점 및 눈 감은 시간의 정보를 포함할 수 있다.The model learning unit learns the emotion using a result of a feature vector extracted from a plurality of spectrograms input to the circulating neural network, The emotion is learned by using a drop-out technique in a circulating neural network (LSTM-RNN), and the feature vector may include information on a pupil size, an eye blinking time, and a eye-winking time.

본 발명에 따른 딥러닝 기반의 감성 분류 장치 및 그 방법에 따르면, 감성 자극에 대응하는 사용자의 동공 변화를 딥러닝 기술을 통해 시계열 분석한 결과를 기초로 신뢰성 있는 감성 분류 모델을 제공할 수 있음은 물론, 사용자의 동공 변화를 관측하는 것만으로 사용자의 감성 상태를 빠르고 정확하게 분석하고 예측할 수 있는 이점이 있다.According to the deep learning-based emotion classification apparatus and method of the present invention, it is possible to provide a reliable emotion classification model based on a result of time series analysis of a user's pupil change corresponding to emotion stimulation through a deep learning technique Of course, there is an advantage that the emotional state of the user can be quickly and accurately analyzed and predicted only by observing the pupil change of the user.

도 1은 본 발명의 실시예에 따른 감성 분류 장치를 나타낸 도면이다.
도 2는 도 1에 도시된 감성 분류 장치를 이용한 감성 분류 방법을 나타낸 도면이다.
도 3은 본 발명의 실시예에서 아이트래커를 이용하여 동공 영상을 획득하는 모습을 나타낸 도면이다.
도 4는 본 발명의 실시예에서 시각 자극 이미지 제시 후 동공 지름의 변화를 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 스펙트로그램 결과를 예시한 도면이다.
도 6은 본 발명의 실시예에서 딥러닝 기반의 순환형 신경망을 이용하여 학습 분류 모델을 구축하는 원리를 설명하는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing a sensitivity classification apparatus according to an embodiment of the present invention; FIG.
2 is a view showing a sensitivity classification method using the sensitivity classification apparatus shown in FIG.
FIG. 3 is a diagram illustrating a pupil image acquisition using an eye tracker according to an embodiment of the present invention.
4 is a diagram illustrating a change in pupil diameter after visual stimulus image presentation in an embodiment of the present invention.
5 is a diagram illustrating a spectrogram result according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a principle of building a learning classification model using a deep learning-based recurrent neural network in an embodiment of the present invention.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

본 발명은 딥러닝 기반의 감성 분류 장치 및 그 방법에 관한 것으로, 사용자에게 제시한 감성 자극에 의해 변화하는 사용자의 동공 크기 데이터를 시계열 데이터 분석이 가능한 딥러닝(Deep Learning) 기술을 통하여 학습시킴으로써 사용자의 감성 분류 및 예측이 가능하게 하는 감성 분류 기법을 제시한다.The present invention relates to a deep learning-based emotional classification apparatus and method thereof, and more particularly, to a deep learning-based emotional classification apparatus and method that learns pupil size data of a user that changes due to emotional stimulation presented to a user through a deep learning technique capable of time- This paper proposes an emotional classification scheme that enables classification and prediction of emotions.

도 1은 본 발명의 실시예에 따른 감성 분류 장치를 나타낸 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 감성 분류 장치(100)는 데이터 획득부(110), 스펙트로그램 생성부(120), 모델 학습부(130) 및 제어부(140)를 포함한다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing a sensitivity classification apparatus according to an embodiment of the present invention; FIG. Referring to FIG. 1, the apparatus 100 includes a data acquisition unit 110, a spectrogram generation unit 120, a model learning unit 130, and a control unit 140.

데이터 획득부(110)는 복수의 감성 각각을 대상으로, 감성에 대응하는 시각 자극 이미지가 설정 시간 동안 피험자에게 노출될 때 피험자의 동공 크기 변화 데이터를 획득한다.The data obtaining unit 110 obtains the pupil size change data of the subject when the visual stimulus image corresponding to the emotion is exposed to the subject for the set time with respect to each of the plurality of emotion.

스펙트로그램 생성부(120)는 설정 시간 동안 획득된 동공 크기 변화 데이터를 기 설정된 제1 시간 간격에 따라 복수의 구간으로 구분하고, 구분한 각 구간의 데이터를 시간 및 주파수에 따른 동공 크기 변화를 나타낸 스펙트로그램(spectrogram) 형태로 변환한다. 이에 따라, 복수의 구간에 대응하는 복수의 스펙트로그램이 생성된다.The spectrogram generator 120 divides the pupil size change data obtained during the set time into a plurality of intervals according to a predetermined first time interval, and displays the data of the divided intervals in a pupil size change according to time and frequency And converts it into a spectrogram form. Thereby, a plurality of spectrograms corresponding to the plurality of sections are generated.

모델 학습부(130)는 각각의 감성 별로, 감성에 대응하여 생성된 복수의 스펙트로그램을 시계열 데이터 분석이 가능한 순환형 신경망(RNN;Recurrent Neural Network)에 입력시켜 각각의 감성을 학습시키며, 이에 따라 사용자의 동공 변화에 기초한 감성 분류 모델을 구축한다.The model learning unit 130 inputs a plurality of spectrograms generated in response to emotion for each emotion to a Recurrent Neural Network (RNN) capable of analyzing time series data, thereby learning each emotion. We construct emotional classification model based on user's pupil change.

제어부(140)는 각 부(110,120,130)의 동작을 제어할 수 있으며, 구축된 감성 분류 모델을 이용하여 사용자의 감성 상태를 분류한다. 이때, 기존에 모델 구축을 위해 사용한 데이터 획득 과정 및 스펙트로그램 변환 과정을 동일하게 수행하면 된다.The control unit 140 can control the operations of the units 110, 120, and 130 and classifies the emotional state of the user using the established sensory classification model. At this time, the data acquisition process and the spectrogram conversion process used for model construction may be performed in the same manner.

즉, 설정 시간 동안 측정되는 사용자의 동공 크기 변화 데이터를 복수의 구간으로 분할하여 복수의 스펙트로그램을 생성한 다음, 생성한 복수의 스펙트로그램을 기 구축된 감성 분류 모델에 입력시켜 나온 결과를 기초로 사용자의 현재 감성 상태를 분류하면 된다.That is, the pupil size change data of the user measured during the set time is divided into a plurality of sections to generate a plurality of spectrograms, and a plurality of generated spectrograms are input to the pre-built emotional classification model The current emotional state of the user can be classified.

다음은 본 발명의 실시예에 따른 감성 분류 방법에 관하여 상세히 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The following is a detailed description of a sensitivity classification method according to an embodiment of the present invention.

도 2는 도 1에 도시된 감성 분류 장치를 이용한 감성 분류 방법을 나타낸 도면이다.2 is a view showing a sensitivity classification method using the sensitivity classification apparatus shown in FIG.

먼저, 데이터 획득부(110)는 복수의 감성 각각에 대해, 감성에 대응하는 시각 자극 이미지가 설정 시간 동안 피험자에게 노출될 때 동공 크기 변화 데이터를 획득한다(S210). First, the data obtaining unit 110 obtains the pupil size change data when the visual stimulus image corresponding to the emotion is exposed to the subject during the set time for each of the plurality of emotions (S210).

여기서, 복수의 감성이란 평온(Neutral), 슬픔(Sadness), 혐오(Disgust), 분노(Anger), 공포(Fear), 놀람(Surprise), 행복(Happiness) 등의 감성을 포함할 수 있다. Here, the plurality of emotions may include emotions such as Neutral, Sadness, Disgust, Anger, Fear, Surprise, Happiness, and the like.

이러한 S210 단계는, 예를 들어, '분노' 감성을 일으키는 시각 자극 이미지를 피험자에게 설정 자극 시간(ex, 5초) 동안 제시하면서 피험자의 동공 영상을 관측하고, 동공 영상으로부터 동공 크기 변화 데이터를 획득한다. 동공 영상은 아이트래커(eye tracker)를 활용할 수 있다.In step S210, for example, the pupil image of the subject is observed while the visual stimulus image causing the 'anger' sensation is presented to the subject for the set stimulation time (ex, 5 seconds), and pupil size change data is acquired from the pupil image do. The pupil image can utilize an eye tracker.

도 3은 본 발명의 실시예에서 아이트래커를 이용하여 동공 영상을 획득하는 모습을 나타낸 도면이다. 도 3의 (a)는 동공 영상을 획득하기 위해 제작한 아이트래커를 나타내며, (b)는 아이트래커를 사용하여 획득한 눈의 영상을 예시한 것이다.FIG. 3 is a diagram illustrating a pupil image acquisition using an eye tracker according to an embodiment of the present invention. 3 (a) shows an eye tracker manufactured to acquire a pupil image, and FIG. 3 (b) illustrates an image of an eye acquired using an eye tracker.

여기서, 아이트래커는 적외선 카메라를 이용할 수 있다. 일반적으로 동양인의 경우 일반 카메라로부터 획득한 눈 영상에서 홍채와 동공의 경계를 구분하는 것이 어렵다. 하지만, 도 3의 (b)와 같이 적외선 광을 이용하여 촬영하면 외부 가시광선의 영향을 줄이고 멜라닌 색소의 양에 의해 결정되는 홍채 색상에 관계없이 뚜렷한 동공 경계의 눈 영상을 획득할 수 있다. Here, the eye tracker can use an infrared camera. In general, it is difficult to distinguish the border between the iris and the pupil in the eye image obtained from the general camera in the case of the Oriental person. However, as shown in FIG. 3 (b), when infrared light is used, it is possible to reduce the influence of external visible light and acquire an eye image of a clear pupil boundary irrespective of the iris color determined by the amount of melanin pigment.

S210 단계에서 획득되는 동공 크기 변화 데이터는 자극 제시 시간(ex, 5초) 동안에 시간 흐름에 따라 획득되는 동공 크기(지름)의 원 신호(raw data)를 나타낸다. 원 신호에는 동공 크기 변화, 눈 깜빡임 횟수, 눈을 감은 지속 시간 등의 정보를 내포하고 있다.The pupil size change data obtained in step S210 represents raw data of the pupil size (diameter) obtained according to the time flow during the stimulation presentation time (ex, 5 seconds). The original signal contains information such as pupil size change, number of eye blinks, and duration of eyes closed.

도 4는 본 발명의 실시예에서 시각 자극 이미지 제시 후 동공 지름의 변화를 예시한 도면이다. 도 4의 (a)는 눈 깜빡임이 없는 동공 크기의 변화이고, (b)는 눈 깜빡임(2회)이 있는 동공 크기 변화를 나타낸다.4 is a diagram illustrating a change in pupil diameter after visual stimulus image presentation in an embodiment of the present invention. Fig. 4 (a) shows changes in pupil size without blinking, and Fig. 4 (b) shows change in pupil size with blinking of eyes (twice).

도 4의 (a),(b) 모두를 참조하면, 일반적으로 시각 자극 이미지가 제시되었을 때, 피험자의 동공은 초기에 적응기(이미지에 초점을 맞추기 위해 동공의 크기가 약 1초간 작아지는 시기)를 거친 이후에 자극 상태 시작 전의 동공 크기로 돌아가려는 특성을 보이는 것을 확인할 수 있다. Referring to both FIGS. 4A and 4B, when a visual stimulus image is generally presented, the pupil of the subject is initially placed in an adaptive state (a period in which the pupil size is reduced by about one second to focus on the image) And then return to the pupil size before the start of the stimulation state.

즉, 자극을 제시하기 시작한 0초부터 대략 1초 시점까지는 동공 크기가 작아지는 적응기를 거치게 되고 이후에 다시 동공 크기가 회복하는 것을 알 수 있다. 다만, 도 4의 (b)는 이후에 눈 깜빡임이 2회 있는 경우로, 2초와 4초 지점에서 눈 깜빡임으로 인한 폴(pole)이 발생한 것을 알 수 있다. In other words, the pupil size is reduced from the 0 second to about 1 second after the stimulus is presented, and then the pupil size is restored. 4 (b) shows a case where the blinking of the eyes occurs twice, and a pole due to blinking of the eyes occurs at the positions of 2 seconds and 4 seconds.

눈 깜빡임의 경우 짧은 시간(ex, 0.5초)에 폴이 형성된 것을 알 수 있다. 만일 눈을 감았다 뜰 경우에는 동공 크기가 0인 구간이 감은 시간 동안 나타날 것이다. 피험자가 가진 감성 상태에 따라 동공의 크기, 눈 깜빡임 횟수나 빈도, 눈을 감은 지속시간 등에 변화가 발생할 수 있는데, 이러한 점은 감성 분류에 필요한 특징 정보로 활용될 수 있다.In the case of blinking of eyes, it is seen that a pole is formed in a short time (ex, 0.5 second). If your eyes are closed, a section with a pupil size of zero will appear during the time of the winding. Depending on the emotional state of the subject, the size of the pupil, the frequency and frequency of blinking of the eyes, and the duration of the eye may change. This can be used as feature information for emotional classification.

이와 같은 본 발명의 실시예는 시각 자극 이미지의 밝기 또는 채도로 인한 적응기 동안 동공 크기가 영향을 받는 것 외에도, 시각 자극 이미지 내에 포함된 콘텐츠(감성 종류)로 인하여 동공 크기 변화가 상이해지는 것도 고려한 것으로, 동공 크기 변화 데이터로부터 얻어지는 크기 변화율, 눈 깜빡임 빈도, 눈을 감은 지속시간 등의 특징 정보를 감성 별로 학습시켜 감성 분류에 활용할 수 있다.The embodiment of the present invention takes into consideration not only the pupil size during the adaptive period due to the brightness or the saturation of the visual stimulated image but also the variation in the pupil size due to the content (emotion type) included in the visual stimulated image , The size change rate obtained from the pupil size change data, the frequency of eye blinking, and the duration of the eyes closed can be learned for each emotion and used for emotion classification.

S210 단계 이후, 스펙트로그램 생성부(120)는 설정 시간(ex, 5초) 동안 획득된 동공 크기 변화 데이터를 기 설정된 제1 시간 간격(ex, 1초)을 이용하여 복수의 구간으로 구분한다(S220).After step S210, the spectrogram generator 120 divides the pupil size change data obtained during the set time (ex, 5 seconds) into a plurality of sections using the predetermined first time interval (ex, 1 second) S220).

이때, 복수의 구간은, 인접한 구간끼리 제1 시간(ex, 1초)보다 짧은 제2 시간(ex, 0.5초)만큼 오버랩핑(overlapping) 될 수 있다. 이와 같이 원 신호의 시간을 오버래핑하는 이유는 시간 정보를 극대화하기 위한 것이며 오버래핑되는 시간은 눈 깜빡임 시간을 고려하여 결정될 수 있다. At this time, the plurality of sections may overlap by a second time (ex, 0.5 second) shorter than the first time (ex, 1 second) between adjacent sections. The reason for overlapping the time of the original signal is to maximize the time information and the overlapping time can be determined in consideration of the eye flicker time.

눈 깜박임의 제어는 'Blinking Center'라는 기관에서 수행하며, 이는 뇌의 외곽부와 눈 사이에 위치하는 신경조직이다. 가수면 상태 또는 인위적인 조정이 아닌 경우 눈 깜빡임의 시간은 대략 100~400ms이다. 따라서, 본 발명의 실시예는 눈 깜빡임이 포함될 수 있는 충분한 시간인 500ms(0.5초)로 오버랩을 실시할 수 있다. Control of blinking is carried out by an organization called 'Blinking Center', which is a nervous system located between the outer part of the brain and the eye. The blinking time is approximately 100 to 400 milliseconds, unless it is a musical surface condition or an artificial adjustment. Thus, an embodiment of the present invention can perform an overlap with 500ms (0.5 seconds), which is a sufficient time for blinking to be included.

예를 들어, 5초 동안 획득된 데이터를 1초 단위의 여러 구간으로 구분하되, 각각의 구간을 0.5초씩 오버랩핑하면 총 9개의 구간(0~1초, 0.5~1.5초, 1~2초, 1.5~2.5초, 2~3초, 2.5~3.5초, 3~4초, 3.5~4.5초, 4~5초의 구간)이 얻어진다.For example, if the data acquired over 5 seconds is divided into several intervals of 1 second, each interval is overlapped by 0.5 seconds, so that 9 intervals (0 to 1 second, 0.5 to 1.5 seconds, 1 to 2 seconds, 1.5 to 2.5 seconds, 2 to 3 seconds, 2.5 to 3.5 seconds, 3 to 4 seconds, 3.5 to 4.5 seconds, and 4 to 5 seconds).

스펙트로그램 생성부(120)는 구분한 각 구간의 데이터를 스펙트로그램(spectrogram) 변환하여, 복수의 구간에 대응하는 복수의 스펙트로그램을 생성한다(S230). The spectrogram generator 120 spectrograms the data of each section to generate a plurality of spectrograms corresponding to the plurality of sections (S230).

앞서와 같이, 데이터가 9개의 구간으로 구분된 경우 총 9장의 스펙트로그램이 생성될 수 있으며 각각의 스펙트로그램은 1초에 대한 시간 정보를 포함하고 있다. As mentioned above, if the data is divided into 9 intervals, a total of 9 spectrograms can be generated, and each spectrogram contains time information for 1 second.

도 5는 본 발명의 실시예에 따른 스펙트로그램 결과를 예시한 도면이다. 도 5의 (a)~(i)는 도 4의 (a)에 도시된 동공 크기 변화 데이터를 9개의 구간으로 구분하여 얻은 9개의 스펙트로그램 결과를 나타낸다.5 is a diagram illustrating a spectrogram result according to an embodiment of the present invention. 5 (a) to 5 (i) show nine spectrogram results obtained by dividing the pupil size change data shown in FIG. 4 (a) into nine sections.

도 5에 도시된 것과 같이, 스펙트로그램은 시간 및 주파수에 따른 동공 크기 변화를 그래프 이미지로 표현할 수 있다. 스펙트로그램의 가로 축은 시간 값, 세로 축은 주파수 값을 나타내고, 각각의 좌표 지점은 해당 시간과 주파수가 만나는 지점과 대응하는 동공 크기를 색상 정보로 표출한다. 예를 들어, 색상이 붉은색에 가까울수록 동공 크기가 큰 것을 의미하고 파란색에 가까울수록 작은 것을 의미할 수 있다.As shown in FIG. 5, the spectrogram can represent a change in pupil size according to time and frequency as a graphical image. The horizontal axis of the spectrogram represents the time value and the vertical axis represents the frequency value, and each coordinate point expresses the point where the corresponding time and frequency meet and the corresponding pupil size as color information. For example, the closer the color is to red, the larger the pupil size, and the closer to blue the smaller the color.

이처럼 본 발명의 실시예는 원 신호에 대한 주파수, 크기 및 시간 성분을 표현하기 위한 스펙트로그램 변환을 초 단위로 수행하며 시간 성분의 극대화를 위하여 구간 간에 겹침이 있는 형태로 수행한다. 또한 각각의 감성 별로, 감성에 대응하여 생성한 복수의 스펙트로그램 결과데이터를 딥 러닝을 통하여 학습시킴에 따라 복수의 감성에 대한 감성 분류 모델을 구축할 수 있다.As described above, the embodiment of the present invention performs the spectrogram conversion in units of seconds to express the frequency, magnitude and time components of the original signal, and performs the spectrogram conversion in the form of overlapping between the sections in order to maximize the time components. In addition, a plurality of spectrogram result data generated corresponding to emotion can be learned through deep learning for each emotion, and a plurality of emotion classification models for emotion can be constructed.

즉, 모델 학습부(130)는 복수의 감성별로 감성에 대응하는 복수의 스펙트로그램을 시계열 데이터 분석이 가능한 순환형 신경망(RNN;Recurrent Neural Network)에 입력시켜 각각의 감성을 학습시킴에 따라, 사용자의 동공 변화에 기초한 본 발명의 실시예에 따른 감성 분류 모델을 구축한다(S240).That is, the model learning unit 130 inputs a plurality of spectrograms corresponding to emotions to a plurality of emotions into a Recurrent Neural Network (RNN) capable of time-series data analysis, A sensory classification model according to an embodiment of the present invention is constructed based on the pupil change of the subject (S240).

이러한 S240 단계는 순환형 신경망에 입력된 복수의 스펙트로그램으로부터 각각 추출되는 특징 벡터의 결과를 이용하여 해당 감성을 학습시키되, 장단기 기억 메모리(LSTM;Long Short-Term Memory) 구조를 가지는 순환형 신경망(LSTM-RNN)에 드랍아웃(drop-out) 기법을 사용하여 감성을 학습시킨다. 여기서, 특징 벡터란 동공 크기, 눈 깜빡임 시점 및 눈 감은 시간의 정보 등을 포함할 수 있다.In step S240, the emotion is learned using the results of the feature vectors extracted from the plurality of spectrograms input to the circulating neural network, and a cyclic neural network (LSTM) having a short-term memory (LSTM) LSTM-RNN) using a drop-out technique. Here, the feature vector may include the pupil size, the blink time of the eye, and the information on the eye-winking time.

도 6은 본 발명의 실시예에서 딥러닝 기반의 순환형 신경망을 이용하여 학습 분류 모델을 구축하는 원리를 설명하는 도면이다. FIG. 6 is a diagram illustrating a principle of building a learning classification model using a deep learning-based recurrent neural network in an embodiment of the present invention.

도 6을 참조하면, 앞서 S230 단계에서 생성된 9개의 스펙트로그램 결과는 시계열 데이터 분석이 가능한 딥러닝 기술인 RNN의 입력으로 각각 사용되는 것을 확인할 수 있다. t0 내지 tn은 제1 내지 제n 시간 구간(시간 스텝)을 의미하는 것으로, 본 발명의 실시예에서 n=9를 나타낸다.Referring to FIG. 6, it can be seen that the results of the nine spectrograms generated in step S230 are used as inputs to the RNN, which is a deep-running technology capable of analyzing time-series data. t 0 to t n mean the first to n-th time periods (time steps), and n = 9 in the embodiment of the present invention.

여기서, 시계열 데이터 분석이 가능한 딥러닝 기술인 RNN에서 그래디언트 소실 문제(Grandient Vanishing problem)를 해결하기 위하여 LSTM 메모리 구조를 사용한다. 이와 같은 LSTM 메모리 구조의 RNN은 기 공지된 것으로 상세한 설명은 생략한다. Here, an LSTM memory structure is used to solve a grandient vanishing problem in the RNN, a deep-running technology capable of analyzing time-series data. The RNN of such an LSTM memory structure is well known and will not be described in detail.

도 6에서 각각의 스펙트로그램은 RNN의 각 시간 스텝의 입력 값으로 사용되며, 연속적인 데이터에서 과거의 학습 데이터 정보와 더불어 미래의 학습 데이터 정보를 사용(양방향 학습)하는 Bidirectional RNN(Bi-RNN)을 사용함으로써 분류율을 향상시킨다. 그리고, Bi-RNN의 순방향과 역방향에서 생성된 히든 레이어(Hidden Layer)들의 벡터들을 연결하여 각 시간 스텝의 히든 레이어의 차원 수를 2배로 늘리고 두 방향에 의한 평균을 최종 분류 레이어의 입력으로 각각 사용한다. In FIG. 6, each spectrogram is used as an input value of each time step of RNN, and a Bidirectional RNN (Bi-RNN) that uses past learning data information and future learning data information (continuous learning) To improve the classification rate. Then, the vectors of the hidden layers generated in the forward direction and the reverse direction of the Bi-RNN are connected to double the number of the hidden layers of each time step, and the average by the two directions is used as the input of the final classification layer do.

LSTM의 출력에 위치한 박스는 LSTM에서 나오는 벡터를 나타낸다. 벡터는 실험자가 지정하는 개수만큼 생성될 수 있으며, 예를 들어 256(2m; m=8일 때) 차원의 벡터가 생성될 수 있다. 이러한 LSTM에서 나오는 벡터는 최종 분류 계층의 입력으로 사용된다. The box at the output of the LSTM represents the vector from the LSTM. The vector may be generated as many times as the experimenter specifies, for example, a vector of dimensions of 256 (2 m , when m = 8) can be generated. The vectors from these LSTMs are used as inputs to the final classification hierarchy.

그리고 각 클래스에 대한 분류 확률을 구하기 위해 소프트맥스(Softmax) 함수를 이용할 수 있으며, 과적합(Overfitting)문제를 해결하기 위하여 드랍아웃(drop-out) 기법을 사용한다. 이러한 드랍아웃 기법 역시 딥러닝 기술에서 공지된 것으로 상세한 설명은 생략한다. And we can use softmax function to find classification probability for each class and use drop-out technique to solve overfitting problem. This dropout technique is well known in the deep learning technology, and a detailed description thereof will be omitted.

이와 같은 학습 과정에 의하면, 예를 들어 신경망을 통하여 출력된 값이 0.5~0.6 범위이면 슬픔(sadness), 0.6~0.7 범위이면 혐오(disgust), 0.7~0.8 범위이면 분노(Anger) 등으로 분류하도록 감성 분류 모델을 구축할 수 있다. 구축된 감성 분류 모델을 이용하면 사용자의 동공 변화 데이터 획득만으로 감성 상태를 분류할 수 있다. According to this learning process, for example, sadness is classified as disgust in the range of 0.6 to 0.7, and anger is in the range of 0.7 to 0.8 when the value outputted from the neural network is in the range of 0.5 to 0.6 A sensitivity classification model can be constructed. Using the constructed emotion classification model, the emotion state can be classified only by acquiring the pupil change data of the user.

추후, 사용자의 감성 분류를 위하여, 데이터 획득부(110)는 설정 시간(ex, 5초) 동안 측정되는 사용자의 동공 크기 변화 데이터를 획득하고 스펙트로그램 생성부(120)는 획득된 동공 크기 변화 데이터를 복수의 구간으로 구분하여 복수의 스펙트로그램을 생성한다. 이들 과정은 제어부(140)의 제어를 통해 이루어질 수 있다. The data acquisition unit 110 acquires the user's pupil size change data measured during the set time (ex, 5 seconds), and the spectrogram generation unit 120 generates the pupil size change data Are divided into a plurality of sections to generate a plurality of spectrograms. These processes may be performed through the control of the controller 140. [

이후 제어부(140)는 생성된 복수의 스펙트로그램을 감성 분류 모델에 입력시켜서 사용자의 현재 감성 상태를 분류하게 하고 분류된 결과를 제공할 수 있다(S250). 이와 같이 본 발명의 실시예는 사용자의 동공 변화 데이터를 측정하는 것만으로도 현재 사용자가 가진 감성이나 심리 상태를 용이하게 판단하고 예측할 수 있다.Thereafter, the control unit 140 may classify the currently sensed state of the user by inputting the plurality of generated spectrograms into the sensory classification model, and provide the classified result (S250). As described above, according to the embodiment of the present invention, it is possible to easily determine and estimate the emotional state or the psychological state of the current user by simply measuring the pupil change data of the user.

이상과 같은 본 발명에 따른 딥러닝 기반의 감성 분류 장치 및 그 방법에 따르면, 감성 자극에 대응하는 사용자의 동공 변화를 딥러닝 기술을 통해 시계열 분석한 결과를 기초로 신뢰성 있는 감성 분류 모델을 제공할 수 있음은 물론, 사용자의 동공 변화를 관측하는 것만으로 사용자의 감성 상태를 빠르고 정확하게 분석하고 예측할 수 있는 이점이 있다.According to the deep learning-based emotion classification apparatus and method according to the present invention, it is possible to provide a reliable emotion classification model based on the result of time-series analysis of the pupil change of the user corresponding to the emotion stimulus through the deep learning technique It is possible to quickly and accurately analyze and predict the emotional state of the user merely by observing the pupil change of the user.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100: 감성 분류 장치 110: 데이터 획득부
120: 스펙트로그램 생성부 130: 모델 학습부
140: 제어부100: Sensibility classification device 110: Data acquisition unit
120: spectrogram generator 130: model learning unit
140:

Claims (10)

감성 분류 장치를 이용한 감성 분류 방법에 있어서,
복수의 감성 각각에 대해, 상기 감성에 대응하는 시각 자극 이미지가 설정 시간 동안 피험자에게 노출될 때 동공 크기 변화 데이터를 획득하는 단계;
상기 설정 시간 동안 획득된 상기 동공 크기 변화 데이터를 기 설정된 제1 시간 간격을 기초로 복수의 구간으로 구분하는 단계;
상기 구간의 데이터를 시간 및 주파수에 따른 동공 크기 변화를 나타낸 스펙트로그램(spectrogram) 형태로 변환하여 상기 복수의 구간에 대응하는 복수의 스펙트로그램을 생성하는 단계; 및
상기 복수의 감성별로 상기 감성에 대응하는 상기 복수의 스펙트로그램을 시계열 데이터 분석이 가능한 순환형 신경망(RNN;Recurrent Neural Network)에 입력시켜 상기 감성을 학습시킴에 따라 사용자의 동공 변화에 기초한 감성 분류 모델을 구축하는 단계를 포함하는 딥러닝 기반의 감성 분류 방법.In a sensibility classification method using a sensitivity classification apparatus,
Acquiring pupil size change data when a visual stimulus image corresponding to the sensibility is exposed to a subject for a set time for each of a plurality of emotions;
Dividing the pupil size change data obtained during the set time into a plurality of sections based on a predetermined first time interval;
Generating a plurality of spectrograms corresponding to the plurality of intervals by converting the data of the intervals into a spectrogram representing a change in pupil size according to time and frequency; And
And a plurality of spectrograms corresponding to the emotions are input to a Recurrent Neural Network (RNN) capable of time-series data analysis for each of the plurality of emotions to learn the emotions, The method comprising the steps of: 청구항 1에 있어서,
상기 복수의 구간은,
인접한 구간끼리 상기 제1 시간보다 짧은 제2 시간만큼 오버랩핑(overlapping) 되어 있는 딥러닝 기반의 감성 분류 방법.The method according to claim 1,
The plurality of sections may include:
And the adjacent intervals are overlapped by a second time shorter than the first time. 청구항 2에 있어서,
상기 제2 시간은 상기 제1 시간의 절반에 대응하는 시간인 딥러닝 기반의 감성 분류 방법.The method of claim 2,
Wherein the second time is a time corresponding to half of the first time. 청구항 1에 있어서,
상기 설정 시간 동안 측정되는 사용자의 동공 크기 변화 데이터로부터 상기 복수의 스펙트로그램을 생성한 다음, 생성한 복수의 스펙트로그램을 상기 감성 분류 모델에 입력시켜 상기 사용자의 현재 감성 상태를 분류하는 단계를 더 포함하는 딥러닝 기반의 감성 분류 방법.The method according to claim 1,
Further comprising generating the plurality of spectrograms from the user's pupil size change data measured during the set time and inputting the generated plurality of spectrograms into the sensibility classification model to classify the current sensibility state of the user A method of emotion classification based on deep learning. 청구항 1에 있어서,
상기 감성 분류 모델을 구축하는 단계는,
상기 순환형 신경망에 입력된 복수의 스펙트로그램으로부터 각각 추출되는 특징 벡터의 결과를 이용하여 상기 감성을 학습시키되, 장단기 기억 메모리(LSTM;Long Short-Term Memory) 구조를 가지는 순환형 신경망(LSTM-RNN)에 드랍아웃(drop-out) 기법을 사용하여 상기 감성을 학습시키며,
상기 특징 벡터는,
동공 크기, 눈 깜빡임 시점 및 눈 감은 시간의 정보를 포함하는 딥러닝 기반의 감성 분류 방법.The method according to claim 1,
Wherein the step of constructing the emotion classification model comprises:
(LSTM-RNN) having a long-short-term memory (LSTM) structure by learning the sensibility using the results of feature vectors extracted from a plurality of spectrograms input to the circulating neural network. ) To learn the emotion using a drop-out technique,
The feature vector,
A pupil size, a blinking time of eyes, and a time of eyelid retraction. 복수의 감성 각각에 대해, 상기 감성에 대응하는 시각 자극 이미지가 설정 시간 동안 피험자에게 노출될 때 동공 크기 변화 데이터를 획득하는 데이터 획득부;
상기 설정 시간 동안 획득된 상기 동공 크기 변화 데이터를 기 설정된 제1 시간 간격을 기초로 복수의 구간으로 구분하고, 상기 구간의 데이터를 시간 및 주파수에 따른 동공 크기 변화를 나타낸 스펙트로그램(spectrogram) 형태로 변환하여 상기 복수의 구간에 대응하는 복수의 스펙트로그램을 생성하는 스펙트로그램 생성부; 및
상기 복수의 감성별로 상기 감성에 대응하는 상기 복수의 스펙트로그램을 시계열 데이터 분석이 가능한 순환형 신경망(RNN;Recurrent Neural Network)에 입력시켜 상기 감성을 학습시킴에 따라 사용자의 동공 변화에 기초한 감성 분류 모델을 구축하는 모델 학습부를 포함하는 딥러닝 기반의 감성 분류 장치.A data acquiring unit for acquiring pupil size change data for each of a plurality of emotions when a visual stimulus image corresponding to the sensibility is exposed to a subject during a set time;
The pupil size change data obtained during the set time is divided into a plurality of sections based on a predetermined first time interval, and the data of the section is classified into a spectrogram representing a pupil size change according to time and frequency A spectrogram generator for generating a plurality of spectrograms corresponding to the plurality of intervals; And
And a plurality of spectrograms corresponding to the emotions are input to a Recurrent Neural Network (RNN) capable of time-series data analysis for each of the plurality of emotions to learn the emotions, And a model learning unit for constructing a deep learning based emotion classifying unit. 청구항 6에 있어서,
상기 복수의 구간은,
인접한 구간끼리 상기 제1 시간보다 짧은 제2 시간만큼 오버랩핑(overlapping) 되어 있는 딥러닝 기반의 감성 분류 장치.The method of claim 6,
The plurality of sections may include:
And the adjacent sections are overlapped by a second time shorter than the first time. 청구항 7에 있어서,
상기 제2 시간은 상기 제1 시간의 절반에 대응하는 시간인 딥러닝 기반의 감성 분류 장치.The method of claim 7,
Wherein the second time is a time corresponding to half of the first time. 청구항 6에 있어서,
상기 설정 시간 동안 측정되는 사용자의 동공 크기 변화 데이터로부터 상기 복수의 스펙트로그램이 생성되면, 생성된 복수의 스펙트로그램을 상기 감성 분류 모델에 입력시켜 상기 사용자의 현재 감성 상태를 분류하도록 하는 제어부를 더 포함하는 딥러닝 기반의 감성 분류 장치.The method of claim 6,
Further comprising a controller for inputting the generated plurality of spectrograms into the sensory classification model to classify the current sensibility state of the user when the plurality of spectrograms are generated from the user's pupil size variation data measured during the set time Based sensing type classification apparatus. 청구항 6에 있어서,
상기 모델 학습부는,
상기 순환형 신경망에 입력된 복수의 스펙트로그램으로부터 각각 추출되는 특징 벡터의 결과를 이용하여 상기 감성을 학습시키되, 장단기 기억 메모리(LSTM;Long Short-Term Memory) 구조를 가지는 순환형 신경망(LSTM-RNN)에 드랍아웃(drop-out) 기법을 사용하여 상기 감성을 학습시키며,
상기 특징 벡터는,
동공 크기, 눈 깜빡임 시점 및 눈 감은 시간의 정보를 포함하는 딥러닝 기반의 감성 분류 장치.The method of claim 6,
The model learning unit,
(LSTM-RNN) having a long-short-term memory (LSTM) structure by learning the sensibility using the results of feature vectors extracted from a plurality of spectrograms input to the circulating neural network. ) To learn the emotion using a drop-out technique,
The feature vector,
A pupil size, a blinking time of eyes, and a time of eyelashes.
KR1020160154027A 2016-11-18 2016-11-18 Emotion classification method based on deep learning and method thereof KR101855168B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160154027A KR101855168B1 (en) 2016-11-18 2016-11-18 Emotion classification method based on deep learning and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160154027A KR101855168B1 (en) 2016-11-18 2016-11-18 Emotion classification method based on deep learning and method thereof

Publications (1)

Publication Number Publication Date
KR101855168B1 true KR101855168B1 (en) 2018-05-10

Family

ID=62184672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160154027A KR101855168B1 (en) 2016-11-18 2016-11-18 Emotion classification method based on deep learning and method thereof

Country Status (1)

Country Link
KR (1) KR101855168B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376621A (en) * 2018-09-30 2019-02-22 北京七鑫易维信息技术有限公司 A kind of sample data generation method, device and robot
KR20190109121A (en) * 2018-03-16 2019-09-25 울산과학기술원 A Unified Deep Learning Model for Time Series Data Prediction
CN110638472A (en) * 2019-09-27 2020-01-03 新华网股份有限公司 Emotion recognition method and device, electronic equipment and computer readable storage medium
KR20200017568A (en) 2018-07-23 2020-02-19 전남대학교산학협력단 Sentence sentiment classification system and method based on sentiment dictionary construction by the price fluctuation and convolutional neural network
KR20200088699A (en) 2019-01-15 2020-07-23 연세대학교 산학협력단 Low-bias classification apparatus and method therof
KR102154828B1 (en) * 2019-05-13 2020-09-10 숭실대학교산학협력단 Method and apparatus for predicting game results
WO2023060719A1 (en) * 2021-10-11 2023-04-20 北京工业大学 Method, apparatus, and system for calculating emotional indicators based on pupil waves

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184763A (en) 2014-03-20 2015-10-22 ヤフー株式会社 Feeling estimation apparatus, feeling estimation method, and feeling estimation program
JP2015184764A (en) 2014-03-20 2015-10-22 ヤフー株式会社 behavior prediction apparatus, behavior prediction method, and behavior prediction program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184763A (en) 2014-03-20 2015-10-22 ヤフー株式会社 Feeling estimation apparatus, feeling estimation method, and feeling estimation program
JP2015184764A (en) 2014-03-20 2015-10-22 ヤフー株式会社 behavior prediction apparatus, behavior prediction method, and behavior prediction program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190109121A (en) * 2018-03-16 2019-09-25 울산과학기술원 A Unified Deep Learning Model for Time Series Data Prediction
KR102113218B1 (en) 2018-03-16 2020-05-20 울산과학기술원 A Unified Deep Learning Model for Time Series Data Prediction
KR20200017568A (en) 2018-07-23 2020-02-19 전남대학교산학협력단 Sentence sentiment classification system and method based on sentiment dictionary construction by the price fluctuation and convolutional neural network
CN109376621A (en) * 2018-09-30 2019-02-22 北京七鑫易维信息技术有限公司 A kind of sample data generation method, device and robot
KR20200088699A (en) 2019-01-15 2020-07-23 연세대학교 산학협력단 Low-bias classification apparatus and method therof
KR102154828B1 (en) * 2019-05-13 2020-09-10 숭실대학교산학협력단 Method and apparatus for predicting game results
CN110638472A (en) * 2019-09-27 2020-01-03 新华网股份有限公司 Emotion recognition method and device, electronic equipment and computer readable storage medium
CN110638472B (en) * 2019-09-27 2022-07-05 新华网股份有限公司 Emotion recognition method and device, electronic equipment and computer readable storage medium
WO2023060719A1 (en) * 2021-10-11 2023-04-20 北京工业大学 Method, apparatus, and system for calculating emotional indicators based on pupil waves

Similar Documents

Publication Publication Date Title
KR101855168B1 (en) Emotion classification method based on deep learning and method thereof
Vinola et al. A survey on human emotion recognition approaches, databases and applications
US20190138096A1 (en) Method for detecting facial expressions and emotions of users
Krumhuber et al. The role of facial movements in emotion recognition
US20170365277A1 (en) Emotional interaction apparatus
CN112766173B (en) Multi-mode emotion analysis method and system based on AI deep learning
Al Osman et al. Multimodal affect recognition: Current approaches and challenges
CN113729707A (en) FECNN-LSTM-based emotion recognition method based on multi-mode fusion of eye movement and PPG
CN110013231B (en) Sleep environment illumination condition identification method
Wang et al. Maximum weight multi-modal information fusion algorithm of electroencephalographs and face images for emotion recognition
CN108186030A (en) A kind of stimulus information provides the cognition index analysis method of device and latent energy value test
CN113951837A (en) Reading surface light measuring method in sleeping environment
Brandizzi et al. Automatic rgb inference based on facial emotion recognition
Castellano et al. Body gesture and facial expression analysis for automatic affect recognition
KR101734845B1 (en) Emotion classification apparatus using visual analysis and method thereof
KR102285482B1 (en) Method and apparatus for providing content based on machine learning analysis of biometric information
Fardian et al. Thermography for emotion recognition using deep learning in academic settings: A review
Gómez-Gómez et al. Exploring facial expressions and affective domains for Parkinson detection
US20230372190A1 (en) Adaptive speech and biofeedback control of sexual stimulation devices
Gómez-Vilda et al. Data-Driven Vs Model-Driven Approaches in Cognitive Speech Processing
Khorrami How deep learning can help emotion recognition
Bianchi-Berthouze et al. 11 Automatic Recognition of Affective Body Expressions
KR20210051055A (en) Apparatus and method for generating image using brain wave
US20220160286A1 (en) Adaptive User Interaction Systems For Interfacing With Cognitive Processes
El Mougy Character-IoT (CIoT): Toward Human-Centered Ubiquitous Computing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant