KR20200115692A - 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법 - Google Patents

Abstract

본 발명은 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법에 관한 것으로, 더욱 자세하게는 실험자로부터 생체신호정보를 수신하여, 딥러닝 알고리즘과 생체신호정보를 기반으로 딥러닝을 수행하고, 딥러닝을 수행한 결과에 따라 실험자의 감정을 파악할 수 있어 딥러닝을 기반으로 실시간으로 실험자의 감정 변화를 확인할 수 있고 생체신호로 사람의 감정을 파악할 수 있는 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법에 관한 것이다.

Description

생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법{A Deep learning-based real time emotional recognition system using bi-signal and methodology.}

본 발명은 생체신호를 이용한 딥러닝을 기반으로 실시간 감정인식 시스템 및 이를 이용한 방법에 관한 것이다.

감정인식기술이란, 인간의 감정을 측정하여 이를 분석함으로써 제품 개발이나 환경 설계에 적용하여 인간의 삶의 질적 향상을 도모하는 기술로, 인간의 특성을 파악하려는 생체측정기술, 인간의 오감 센서 및 감정 처리 기술, 감정 디자인 기술, 마이크로 가공 기술, 및 사용성 평가나 가상 현실 기술 등의 인간의 삶과 관련이 있는 기술이다. 현재 감정 인식 시스템은 인간 공학 시스템이 발달함에 따라 사람의 감정과 같이 사람의 상태를 분석하는 연구의 중요성이 증대되고 있다. 최근에는 인공지능 기술과 바이오 센서를 결합하여 감정을 분석하는 연구가 활발하게 진행되고 있다. 인공지능 기술 중에서도 기계 학습이나 딥러닝을 감정인식 기술분야와 접목하여 기계학습은 대량의 학습 데이터를 기계에게 읽혀서 분류나 판단과 같은 추론을 위한 법칙을 기계가 스스로 만들게 하는 장치이고, 딥러닝은 뇌 과학의 연구 성과를 기반으로 데이터의 분류 및 식별 기준을 사람이 가르치지 않아도 데이터를 해석함으로써 스스로 찾아낼 수 있는 기계학습의 방법 중 하나이다.

여기서, 감정 분석이란, 인간의 감정이 갖는 법칙을 파악하고자하는 본원적인 호기심과 생체 데이터를 해석하는 연구로, 딥러닝을 통해 표정에서 감정을 분석하는 것이 가능해지면서 표정 사진이외의 다양한 생체 데이터를 활용해서 감정 분석의 정확도를 높일 수 있다.

종래에는 감정을 인식하는 기술로서, 대한민국 공개특허 제 10-2018-0125756호("감정인식 인터페이스 장치", 2018.11.26., 이하 '선행문헌'이라고 함)와 같은 기술에서는 사용자의 얼굴영상을 촬영하여 감정을 인식하는 감정인식 장치 기술이 개시되어있다. 이러한 선행문헌의 감정인식 장치는 사용자의 얼굴을 촬영하여 감정을 인식하는데 이로부터 추출된 데이터는 실험자의 의도와는 다르게 표현되고 정확한 인식을 할 수 없어 오히려 감정 분류에 혼란을 주는 경우가 있다는 문제점이 있다.

대한민국 공개특허 제 10-2018-0125756호("감정인식 인터페이스 장치", 2018.11.26)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서 본 발명의 목적은, 실험자의 생체신호를 감지하고, 생체신호정보와 딥러닝 알고리즘을 이용하여 딥러닝을 수행하여 실험자의 감정을 파악하는 것을 목표로 하는 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법을 제공함에 있다.

본 발명의 생체신호를 이용한 딥러닝 기반 실시간 감정인식 방법은, 생체신호정보를 이용하여 사람의 감정 상태를 인식하는 딥러닝 기반 감정인식 방법에 있어서, 상기 생체신호정보를 감지하는 생체신호 감지단계; 상기 생체신호 감지단계에서 감지된 상기 생체신호정보를 딥러닝 알고리즘에 적용하는 딥러닝 수행단계; 및 상기 딥러닝 수행단계에서 도출된 감정상태 결과정보에 따라 피드백 정보를 제공하는 피드백정보 제공단계를 포함하는 것을 특징으로 한다.

또한, 상기 딥러닝 알고리즘은, 컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network; CNN) 구조를 포함하는 것을 특징으로 한다.

또한, 상기 생체신호 감지단계는, 실험자 신체에 전기 신호선을 부착하여 생체신호정보를 전달받는 생체신호정보 수신단계를 포함하는 것을 특징으로 한다.

또한, 상기 딥러닝 수행단계는, 상기 생체신호정보를 상기 딥러닝 알고리즘에 적용하는 알고리즘 적용단계; 및 상기 알고리즘 적용단계에서 도출된 정보와 감정샘플정보를 비교하여 상기 실험자의 감정상태 결과정보를 분류하는 감정상태정보 분류단계를 포함하는 것을 특징으로 한다.

또한, 상기 생체신호정보는, 근전도 정보 또한 혈류량 정보를 포함하는 것을 특징으로 한다.

또한, 상기 피드백 정보는, 상기 감정상태정보 분류단계에서 분류된 감정상태 결과정보와 현재 감정상태정보를 비교하여 딥러닝 수행단계의 정확도를 제공하는 것을 특징으로 한다.

또한, 상기 감정샘플정보는, 기 등록된 감정정보와 종래에 받은 감정상태정보 및 종래에 받은 분석결과를 포함하는 것을 특징으로 한다.

생체신호정보를 이용하여 사람의 감정 상태를 인식하는 딥러닝 기반 감정인식 시스템에 있어서, 상기 생체신호정보를 감지하는 생체신호 감지부; 상기 생체신호 감지부에서 감지된 상기 생체신호정보를 딥러닝 알고리즘에 적용하는 딥러닝 수행부; 및 상기 딥러닝 수행부에서 도출된 결과 정보에 따라 피드백 정보를 제공하는 피드백 제공부를 포함하는 것을 특징으로 한다.

또한, 상기 생체신호 감지부는, 실험자 신체에 전기 신호선을 부착하여 생체신호정보를 수신하는 생체신호정보 수신부를 포함하는 것을 특징으로 한다.

또한, 상기 딥러닝 수행부는, 상기 생체신호정보를 상기 딥러닝 알고리즘에 적용하는 알고리즘 적용부; 및 상기 알고리즘 적용부에서 도출된 감정상태정보와 감정샘플정보를 비교하여 상기 실험자의 감정상태 결과정보를 분류하는 감정상태정보 분류부를 포함하는 것을 특징으로 한다.

또한, 상기 딥러닝 알고리즘은, 컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network; CNN) 구조를 포함하는 것을 특징으로 한다.

또한, 상기 감정샘플정보는, 기 등록된 감정정보와 종래에 받은 감정상태정보 및 종래에 받은 분석결과를 포함하는 것을 특징으로 한다.

또한, 상기 알고리즘 적용부는, 시간의 흐름 또는 상기 생체신호정보에 따라 실시간으로 측정되는 상기 감정상태정보와 상기 감정샘플정보를 기초로 실시간으로 딥러닝을 수행하는 것을 특징으로 한다.

또한, 상기 피드백 정보는, 상기 생체신호 감지부에서 측정한 감정상태정보와 상기 감정샘플정보와 비교해서 현재 감정상태정보의 정확도를 제공하는 것을 특징으로 한다.

생체신호를 이용한 딥러닝 기반 실시간 감정인식 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장매체.

생체신호를 이용한 딥러닝 기반 실시간 감정인식 방법을 수행하기 위한 명령어를 포함하는, 컴퓨터 판독 가능 저장매체에 저장되는 컴퓨터 프로그램.

본 발명에 의하면, 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법은 실시간으로 생체신호을 통해 딥러닝 수행을 하기 때문에 짧은 순간에도 생체신호를 통해 감정분류가 가능하여 감정변화에도 감정을 분류할 수 있다는 효과가 있다.

또한, 본 발명에 의하면, CNN 딥러닝 모델을 기반으로 딥러닝을 수행하여 감정을 종래의 기술보다 정확하게 분류할 수 있다는 효과가 있다.

또한, 본 발명에 의하면, 피드백 단계를 통해 정확성을 높인 딥러닝 감정인식을 할 수 있다는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 생체신호를 이용한 딥러닝 기반 실시간 감정인식 방법의 전체 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템의 구성도이다.

이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 첨부된 도면은 본 발명의 기술적 사상을 더욱 구체적으로 설명하기 위하여 도시한 일예에 불과하므로 본 발명의 기술적 사상이 첨부된 도면의 형태에 한정되는 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 생체신호를 이용한 딥러닝 기반 실시간 감정인식 방법의 전체 흐름도를 도시하는 것이다. 도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 딥러닝 기반 실시간 감정인식 방법은, 기본적으로는 생체신호 감지단계(S100), 딥러닝 수행단계(S200), 피드백정보 제공단계(S300)를 포함하며 이루어지는 것이 바람직하다.

각 단계에 대해서 자세히 알아보자면,

상기 생체신호 감지단계(S100)는, 먼저, 생체신호정보를 감지할 수 있도록 피실험자의 신체에 센서를 포함하는 전기 신호선을 부착하고, 실험자의 생체신호를 전기적으로 수신 받을 수 있는 환경을 조성하여 생체신호를 감지할 수 있으며, 생체신호정보 수신단계(S110)를 더 포함하는 것이 바람직하다.

더 자세하게 설명하자면, 상기 실험자의 생체신호를 수신 받을 수 있는 환경이란, 해당하는 환경으로부터 실험자가 느낄 수 있는 감정을 미리 설정하기 위해 영화나 드라마를 포함하는 영상매체, 책, 음악 등을 실험자에게 노출시킨다. 실험자는 일정 시간 동안 기설정한 환경에 노출되어 실험하는 것이 바람직하며 실시간으로 생체신호를 전기 신호선을 통해 전달하는 것이 바람직하다. 또한, 여기서 미리 설정한 감정은 한 단어로 정의할 수 있는 기쁜 감정, 슬픈 감정, 놀란 감정 등이 주제인 환경인 것이 바람직하다. 이러한 구성은 설명할 피드백 단계에서 기설정된 감정과 실험자가 느낌 감정을 비교하여 피드백하여 정확도를 높이는데 활용된다.

상기 생체신호정보 수신단계(S110)는, 실험자의 신체에 부착된 센서를 통해 생체신호정보를 수신 받는다. 상기 생체신호정보는 상기 생체신호를 상기 딥러닝 수행단계(S200)를 수행할 수 있도록 데이터로 변환한 정보이고, 데이터는 다양하게 표현될 수 있지만 본 발명에서는 matlab 자료형으로 사용될 수 있도록 숫자 데이터인 것이 바람직하다. 여기서, 실험자의 생체신호는 혈류량, 근전도, 혈압, 맥박수, 신체의 온도, 심전도, 뇌파, 위전도, 망막전위도, 전기피부반응 등을 포함하고, 일실시예에 따른 본 발명에서 실험자로부터 수신 받는 생체신호는 혈류량 정보와 근전도 정보인 것이 바람직하다. 다시 말해, 본 발명에서 사용되는 상기 생체신호는 센서로부터 출력되는 혈류량에 존재하는 데이터 정보와 근육의 전기적 활성도를 감지하여 데이터의 정보이며, 실시간으로 변화하는 실험자의 생체신호를 감지하여 변화를 확인할 수 있도록 하는 것이 바람직하다.

상기 딥러닝 수행단계(S200)는 상기 생체신호 감지단계(S100)에서 수신받은 상기 생체신호정보를 딥러닝 알고리즘에 적용하는 단계이고, 알고리즘 적용단계(S210)와 감정상태정보 분류단계(S220)를 포함하는 것이 바람직하다.

상기 딥러닝 알고리즘은 컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network; CNN) 구조를 포함하여 이루어진다. 상기 컨벌루셔널 뉴럴 네트워크(이하 'CNN'이라고 함)를 사용하여 딥러닝을 수행하는 경우, 직접 학습하기 때문에 특징을 입력하지 않아도 기존 네트워크를 바탕으로 새로운 인식 작업을 시작할 때 상기 CNN을 재학습하여 사용할 수 있다는 효과가 있다.

이에 따라, 상기 알고리즘 적용단계(S210)는 상기 딥러닝 알고리즘에 상기 생체신호정보를 적용한다. 더 자세하게 설명하자면, 숫자 데이터로 출력되는 상기 생체신호정보는 상기 딥러닝 알고리즘인 CNN 알고리즘에 상기 데이터를 입력값으로 입력하여 딥러닝을 수행한다.

상기 감정상태정보 분류단계(S220)는 상기 알고리즘 적용단계(S210)에서 도출된 정보와 감정샘플정보를 비교하여 상기 실험자의 감정상태 결과정보를 분류한다. 더 자세하게 설명하면, 상기 알고리즘 적용단계(S210)에서 도출된 정보는 상기 생체신호정보를 CNN 알고리즘으로 딥러닝을 수행하고 도출된 데이터이고, 상기 감정샘플정보는 기등록된 감정정보와 종래에 받은 감정상태정보 및 종래에 받은 분석결과를 포함한다. 상기 기등록된 감정정보는 사람이 느낄 수 있는 감정 상태의 정보에 대한 데이터를 모두 포함하는 정보를 등록한 것이고, 종래에 받은 감정상태정보는 종래에 동일한 실험자 또는 다른 실험자의 생체신호를 딥러닝 수행단계(S200)를 수행하여 도출한 정보이다. 상기 기등록된 감정정보는 기존에 알려진 감정 데이터들을 포함한 정보이고, 종래에 받은 감정상태정보는 각 실험 환경에 따라 실험자마다 느끼는 감정이 다르기 때문에 다양한 감정상태정보일 수 있다.

이러한 특징으로 인하여 딥러닝 수행단계(S200)를 수행하면 할수록 더 나은 감정 데이터가 도출되어 현재 실험자의 감정을 명확하게 파악할 수 있다는 효과가 있다.

상기 피드백정보 제공단계(S300)는 상기 딥러닝 수행단계(S200)에서 도출된 감정상태 결과정보에 따라 피드백 정보를 제공한다. 상기 감정상태 결과정보는 상기 딥러닝 수행단계(S200)에서 딥러닝을 수행하고, 상기 감정상태 분류단계에서 상기 감정샘플정보를 기반으로 감정상태를 분류한 결과이다.

하나의 실시예로써, 본 발명의 상기 감정상태 결과정보는 아래와 같이 표현될 수 있는데, 1)Arousal High, 2)Arousal Low, 3)Valence High, 4)Valence Low를 포함하여 이루어질 수 있으며, 상기 1), 2), 3), 4)로 실험자의 감정을 나타낼 수 있다. 물론 이로써 본 발명이 한정되는 것은 아니며, 더 세분화하여 감정을 나타낼 수 있다.

더불어, 상기 피드백 정보는 상기 딥러닝 수행단계(S200)가 조성한 환경에서 느껴지는 감정 정보와 유사하게 또는 동일하게 도출되었는지 확인할 수 있도록, 상기 감정상태정보 분류단계(S220)에서 분류된 감정상태 결과정보와 현재감정상태 정보를 비교하여 상기 딥러닝 수행단계(S200)의 정확도를 제공한다. 여기서, 상기 현재감정상태 정보는 상기 생체신호 감지단계(S100)에서 생체신호를 감지할 때 조성한 환경에서 느낄 수 있는 감정인 것을 포함한다.

위와 같은 단계를 거듭할수록 딥러닝 학습이 반복되고 상기 피드백 단계에서 상기 피드백 정보를 상기 딥러닝 수행단계(S200)에 적용하여 본 발명인 딥러닝을 기반한 감정인식 방법의 정확도가 높아지고, 실험자의 생체신호을 통해 실시간으로 감정인식을 하기 때문에 미세한 감정 변화를 확인할 수 있다는 효과가 나타난다.

도 2는 본 발명의 일 실시예에 따른 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템(1000)의 구성도를 도시하는 것이다. 도 2에 도시된 바와 같이 본 발명의 생체신호를 이용한 일실시예에 따른 딥러닝 기반 실시간 감정인식 시스템(1000)의 구성은 생체신호 감지부(100), 딥러닝 수행부(200), 피드백 제공부(300)를 포함하여 이루어질 수 있고, 부가적으로 생체신호정보 수신부(110), 알고리즘 적용부(210), 감정상태정보 분류부(220)를 포함하여 이루어질 수 있다.

각 딥러닝 기반 실시간 감정인식 시스템(1000)에 대해서 자세히 알아보자면,

상기 생체신호 감지부(100)는 상기 생체신호를 감지하고, 상기 생체신호정보 수신부(110)를 포함한다. 상기 생체신호정보 수신부(110)는 상기 실험자 신체에 전기 신호선으로부터 상기 생체신호정보를 수신받는다. 상기 생체신호정보는 상기 실험자의 감정 상태를 파악하는 데 사용되는 정보이다.

상기 딥러닝 수행부(200)는 상기 생체신호 감지부(100)에서 감지된 상기 생체신호정보를 상기 딥러닝 알고리즘에 적용하고, 상기 알고리즘 적용부(210), 상기 감정상태정보 분류부(220)를 포함한다.

상기 알고리즘 적용부(210)는 상기 생체신호정보를 상기 딥러닝 알고리즘에 적용하고 시간의 흐름, 상기 생체신호정보에 따라 실시간으로 측정되는 상기 감정상태정보와 상기 감정샘플정보를 기초로 실시간으로 딥러닝 알고리즘을 적용하여 딥러닝을 수행하는 것이 바람직하다. 이러한 특징으로 인하여, 실시간으로 사용자의 감정의 변화를 세밀하게 확인할 수 있다는 효과가 나타날 수 있다.

상기 감정상태정보 분류부(220)는 상기 알고리즘 적용부(210)에서 도출된 감정상태정보와 상기 감정샘플정보를 비교하여 감정상태 결과정보를 분류한다. 상기 감정샘플정보에는 기쁨, 슬픔, 놀람, 분노 등의 감정샘플정보가 포함되며, 본 발명은 이로써 한정되지 아니하고 사람이 느낄 수 있는 다양한 감정을 포함하는 것이 바람직하다.

상기 피드백 제공부(300)는 상기 딥러닝 수행부(200)에서 도출된 감정상태 결과정보에 따라 상기 피드백 정보를 제공한다. 상기 피드백 제공부(300)를 통해 감정상태 결과정보와 실험을 위해 기설정한 감정을 비교하여 본 발명에 대한 정확도를 높일 수 있다는 장점이 있다.

한편, 본 발명의 실시예에 따른 딥러닝 기반 실시간 감정인식 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장매체에 기록될 수 있다. 저장매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행도리 수 있는 고급 언어 코드를 포함한다.

더불어, 딥러닝 기반 실시간 감정인식 방법은 방법을 수행하기 위한 다양한 명령어를 포함하는, 컴퓨터 판독 가능 저장매체에 저장되는 컴퓨터 프로그램을 포함한다.

이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

1000 : 딥러닝 기반 실시간 감정인식 시스템
100 : 생체신호 감지부 110 : 생체신호정보 수신부
200 : 딥러닝 수행부 210 : 알고리즘 적용부
220 : 감정상태정보 분류부
300 : 피드백 제공부

Claims (16)

1. 생체신호정보를 이용하여 사람의 감정 상태를 인식하는 딥러닝 기반 감정인식 방법에 있어서,
   상기 생체신호정보를 감지하는 생체신호 감지단계;
   상기 생체신호 감지단계에서 감지된 상기 생체신호정보를 딥러닝 알고리즘에 적용하는 딥러닝 수행단계;
   상기 딥러닝 수행단계에서 도출된 감정상태 결과정보에 따라 피드백 정보를 제공하는 피드백정보 제공단계를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 방법.
   
2. 제 1항에 있어서,
   상기 딥러닝 알고리즘은,
   컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network; CNN) 구조를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 방법.
   
3. 제 1항에 있어서,
   상기 생체신호 감지단계는,
   실험자 신체에 전기 신호선을 부착하여 생체신호정보를 전달받는 생체신호정보 수신단계를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 방법.
   
4. 제 1항에 있어서,
   상기 딥러닝 수행단계는,
   상기 생체신호정보를 상기 딥러닝 알고리즘에 적용하는 알고리즘 적용단계; 및
   상기 알고리즘 적용단계에서 도출된 정보와 감정샘플정보를 비교하여 상기 실험자의 감정상태 결과정보를 분류하는 감정상태정보 분류단계를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 방법.
   
5. 제 1항에 있어서,
   상기 생체신호정보는,
   근전도 정보 또한 혈류량 정보를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 방법.
   
6. 제 4항에 있어서,
   상기 피드백 정보는,
   상기 감정상태정보 분류단계에서 분류된 감정상태 결과정보와 현재 감정상태정보를 비교하여 딥러닝 수행단계의 정확도를 제공하는 것을 특징으로 하는 딥러닝 기반 감정인식 방법.
   
7. 제 4항에 있어서,
   상기 감정샘플정보는,
   기 등록된 감정정보와 종래에 받은 감정상태정보 및 종래에 받은 분석결과를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 방법.
   
8. 생체신호정보를 이용하여 사람의 감정 상태를 인식하는 딥러닝 기반 감정인식 시스템에 있어서,
   상기 생체신호정보를 감지하는 생체신호 감지부;
   상기 생체신호 감지부에서 감지된 상기 생체신호정보를 딥러닝 알고리즘에 적용하는 딥러닝 수행부; 및
   상기 딥러닝 수행부에서 도출된 결과 정보에 따라 피드백 정보를 제공하는 피드백 제공부를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 시스템.
   
9. 제 8항에 있어서,
   상기 생체신호 감지부는,
   실험자 신체에 전기 신호선을 부착하여 생체신호정보를 수신하는 생체신호정보 수신부를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 시스템.
   
10. 제 9항에 있어서,
    상기 딥러닝 수행부는,
    상기 생체신호정보를 상기 딥러닝 알고리즘에 적용하는 알고리즘 적용부; 및
    상기 알고리즘 적용부에서 도출된 감정상태정보와 감정샘플정보를 비교하여 상기 실험자의 감정상태 결과정보를 분류하는 감정상태정보 분류부를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 시스템.
    
11. 제 8항에 있어서,
    상기 딥러닝 알고리즘은,
    컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network; CNN) 구조를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 시스템.
    
12. 제 10항에 있어서,
    상기 감정샘플정보는,
    기 등록된 감정정보와 종래에 받은 감정상태정보 및 종래에 받은 분석결과를 포함하는 것을 특징으로 하는 딥러닝 기반 감정인식 시스템.
    
13. 제 10항에 있어서,
    상기 알고리즘 적용부는,
    시간의 흐름 또는 상기 생체신호정보에 따라 실시간으로 측정되는 상기 감정상태정보와 상기 감정샘플정보를 기초로 실시간으로 딥러닝을 수행하는 것을 특징으로 하는 딥러닝 기반 감정인식 시스템.
    
14. 제 8항에 있어서,
    상기 피드백 정보는,
    상기 생체신호 감지부에서 측정한 감정상태정보와 상기 감정샘플정보와 비교해서 현재 감정상태정보의 정확도를 제공하는 것을 특징으로 하는 딥러닝 기반 감정인식 시스템.
    
15. 제 1항 내지 제 7항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장매체.
    
16. 제 1항 내지 제 7항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는, 컴퓨터 판독 가능 저장매체에 저장되는 컴퓨터 프로그램.

Images