KR20220144983A

KR20220144983A - 영상 및 심전도를 이용한 감정 인식 시스템

Info

Publication number: KR20220144983A
Application number: KR1020210051531A
Authority: KR
Inventors: 곽근창; 이명원
Original assignee: 조선대학교산학협력단
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2022-10-28
Also published as: KR102540057B1

Abstract

본 발명은 영상 및 심전도를 이용한 감정 인식 시스템에 관한 것으로서, 측정 대상자의 얼굴을 촬영하는 촬영부와, 상기 측정 대상자의 생체정보를 측정할 수 있도록 상기 측정 대상자에 착용되는 웨어러블 디바이스와, 상기 촬영부에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스에서 제공되는 상기 생체정보를 분석하여 해당 측정 대상자의 감정 상태를 판별하는 감정 판별부를 구비한다.
본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템은 측정대상자의 얼굴 영상 및 심전도에 대한 정보를 토대로 해당 측정대상자의 감정 상태를 판별하므로 판별 정보에 대한 신뢰도 및 정확도가 비교적 높다는 장점이 있다.
또한, 본 발명은 감정 판별을 위한 신경망 모델을 구축하는데 있어서, 얼굴 영상 및 심전도에 대한 데이터를 시퀀스 형태로 저장하여 분석하므로 보다 많은 수의 유의미한 데이터를 획득할 수 있어 감정 인식률이 향상되는 장점이 있다.

Description

영상 및 심전도를 이용한 감정 인식 시스템{Emotion recognition system using image and electrocardiogram}

본 발명은 영상 및 심전도를 이용한 감정 인식 시스템에 관한 것으로서, 더욱 상세하게는 측정대상자의 얼굴 영상 및 심전도에 대한 정보를 토대로 해당 측정대상자의 감정 상태를 판별할 수 있는 영상 및 심전도를 이용한 감정 인식 시스템에 관한 것이다.

멀티모달 인터페이스는 인간과 기계의 통신을 위해 음성, 키보드, 펜 등을 이용해 인터페이스하는 방법을 의미한다. 이러한 멀티모달 인터페이스를 통한 멀티 모달 정보가 입력된 경우 이러한 각각의 모달리티에서 입력된 정보를 각각 융합하여 분석하는 방법이 사용된다.

그러나 이러한 멀티 모달리티에서 입력된 정보의 특징을 추출하고 분류하기 위해서는 다양한 학습 알고리즘이 사용될 수 있다. 따라서 어떤 학습 알고리즘을 사용하느냐에 따라 이를 분석하여 인식하는 에러율이 다양하게 나타난다.

한편, 감정 인식률이 높은 시각 모달리티 반응을 이용한 종래기술은 객체의 감정인식시 밝기에 대한 제약이 있었다. 또한, 인위적인 감정상태의 객체반응 데이터를 사용함으로써 자연스러운 감정을 유발하여 객체반응을 측정하는 발명에 비해 감정인식이 실제로 잘 이루어지지 않는 문제가 있었다. 그리고 멀티 모달리티를 활용하여 특징을 추출한 후 이러한 특징을 융합할 수 없는 문제점이 있었다.

등록특허공보 제10-1265466호: 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체

본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 측정대상자의 얼굴 영상 및 심전도에 대한 정보를 토대로 해당 측정대상자의 감정 상태를 판별할 수 있는 영상 및 심전도를 이용한 감정 인식 시스템을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템은 측정 대상자의 얼굴의 촬영하는 촬영부와, 상기 측정 대상자의 생체정보를 측정할 수 있도록 상기 측정 대상자에 착용되는 웨어러블 디바이스와, 상기 촬영부에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스에서 제공되는 상기 생체정보를 분석하여 해당 측정 대상자의 감정 상태를 판별하는 감정 판별부를 구비한다.

상기 생체 정보는 심전도 인 것이 바람직하다.

상기 감정 판별부는 상기 촬영부에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스에서 제공되는 상기 측정 대상자의 생체정보를, 얼굴 영상 및 생체정보를 토대로 감정을 판별하기 위해 기구축된 신경망 모델에 적용하여 상기 측정 대상자의 감정을 판별할 수 있다.

상기 감정 판별부는 상기 촬영부에서 촬영된 상기 측정대상자의 얼굴 영상에서, 상기 측정 대상자의 얼굴 표정에 대한 제1특징 정보를 산출하는 제1특징점 산출부와, 상기 웨어러블 디바이스에서 제공되는 상기 측정대상자의 생체정보에 대한 제2특징 정보를 산출하는 제2특징점 산출부와, 상기 제1 및 제2특징점 산출부에서 제공되는 상기 제1 및 제2특징 정보를 상기 신경망 모델에 적용하여 상기 측정대상자의 감정을 판별하는 판별모듈을 구비한다.

상기 제1특징점 산출부는 상기 촬영부에서 제공되는 영상에서, 상기 측정대상자의 얼굴부분을 제1관심영역으로 설정하고, 해당 영상에서 상기 제1관심영역을 추출하는 제1ROI 선택부와, 상기 제1ROI 선택부에서 추출된 상기 제1관심영역에 대한 영상을 시퀀스(sequence) 형태의 제1얼굴 시퀀스 데이터로 변환하는 제1데이터 변환부와, 상기 제1데이터 변환부에서 제공되는 제1얼굴 시퀀스 데이터에서 특징 정보를 추출하여 상기 제1특징 정보를 생성하는 제1산출모듈을 구비한다.

상기 생체정보는 심전도이고, 상기 제2특징점 산출부는 상기 웨어러블 디바이스에서 제공되는 심전도에서 R 피크(R-peak) 점을 검출하는 피크점 검출부와, 상기 피크점 검출부에서 검출된 R 피크 점을 기준으로 상기 심전도를 시퀀스(sequence) 형태의 제1심전도 시퀀스 데이터로 변환하는 제2데이터 변환부와, 상기 제2데이터 변환부에서 제공되는 제1심전도 시퀀스 데이터에서 특징 정보를 추출하여 상기 제2특징 정보를 생성하는 제2산출모듈을 구비한다.

상기 신경망 모델은 앙상블(Ensemble) 기법에 의해 생성된 것으로서, 얼굴 표정을 토대로 측정대상자의 감정상태를 판별하기 위해 기구축된 제1감정 판별 네트워크와, 생체정보를 토대로 측정대상자의 감정 상태를 판별하기 위해 기구축된 제2감정 판별 네트워크가 포함된 앙상블 네트워크인 것이 바람직하다.

한편, 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템은 상기 측정 대상자의 감정 상태에 따른 얼굴 영상 및 생체정보를 토대로 상기 신경망 모델을 구축하여 상기 감정 판별부에 제공하는 모델 구축부를 더 구비할 수 있다.

상기 모델 구축부는 상기 측정 대상자에게, 상호 상이한 감정들을 유발시킬 수 있는 다수의 감정 유발 정보를 제공하는 감정 유발모듈과, 상기 감정 유발 정보들에 대한 상기 측정 대상자의 얼굴 영상 및 생체 정보를 수집하는 정보 수집부와, 상기 정보 수집부에서 수집된 정보를 토대로 상기 신경망 모델을 구축하는 구축모듈을 구비한다.

상기 감정 유발 정보는 해당 감정을 유발시키기 위한 컨텐츠가 포함된 동영상인 것이 바람직하다.

상기 감정 유발모듈은 상기 측정 대상자에게 상기 감정 유발 정보들을 순차적으로 상기 측정 대상자에게 제공하되, 상기 감정 유발 정보들과, 감정을 진정시키기 위한 감정 진정 정보를 교번하여 제공할 수 있다.

상기 감전 진정 정보는 상기 측정 대상자의 감정을 진정시키기 위한 컨텐츠가 포함된 영상인 것이 바람직하다.

상기 정보 수집부는 상기 감정 유발모듈에서 각 상기 감정 유발 정보가 상기 측정 대상자에게 제공되는 동안 해당 측정 대상자의 얼굴 영상에 대한 정보를 수집하는 표정 수집모듈과, 상기 감정 유발모듈에서 각 상기 감정 유발 정보가 상기 측정 대상자에게 제공되는 동안 해당 측정 대상자의 생체정보를 수집하는 생체 정보 수집모듈을 구비한다.

상기 표정 수집모듈은 상기 감정 유발모듈로부터 해당 감정 유발 정보를 제공받은 상기 측정 대상자의 얼굴을 촬영하는 촬영 카메라와, 상기 촬영 카메라에서 촬영된 상기 측정 대상자의 얼굴 영상에서, 상기 감정 유발 정보에 대한 상기 측정 대상자의 얼굴 표정에 대한 제3특징 정보를 산출하고, 산출된 상기 제3특징 정보를 상기 구축모듈에 제공하는 제3특징점 산출부를 구비한다.

상기 제3특징점 산출부는 상기 촬영 카메라에서 제공되는 영상에서, 각 상기 감정 유발 정보를 제공받은 시점의 영상을 단위 영상으로 분류하는 영상 분류부와, 상기 단위 영상들에서 상기 측정 대상자의 얼굴 부분을 제2관심영역으로 설정하고, 각 상기 단위 영상에서 상기 제2관심영역을 추출하는 제2ROI 선택부와, 상기 제2ROI 선택부에서 추출된 상기 제2관심영역에 대한 영상들을 시퀀스(sequence) 형태의 제2얼굴 시퀀스 데이터로 변환하는 제3데이터 변환부와, 상기 제3데이터 변환부에서 제공되는 제2얼굴 시퀀스 데이터에서 특징 정보를 추출하여 상기 제3특징 정보를 생성하는 제3산출모듈을 구비한다.

상기 생체 정보 수집모듈은 상기 감정 유발모듈로부터 해당 감정 유발 정보를 제공받은 상기 측정 대상자의 생체정보를 측정하기 위해 상기 측정 대상자가 착용하는 측정 센서유닛과, 상기 측정 센서유닛에서 제공되는 생체정보에 대한 제4특징 정보를 산출하고, 산출된 상기 제4특징 정보를 상기 구축모듈에 제공하는 제4특징점 산출부를 구비한다.

상기 생체정보는 심전도이고, 상기 제4특징점 산출부는 상기 측정 센서유닛에서 제공되는 심전도에서, 각 상기 감정 유발 정보를 제공받은 시점의 부분을 단위 신호로 분류하는 신호 분류부와, 상기 신호 분류부에서 제공되는 각 단위 신호들에서, R 피크(R-peak) 점을 검출하는 신호 검출부와, 상기 신호 검출부에서 검출된 R 피크 점을 기준으로 상기 단위 신호를 시퀀스(sequence) 형태의 제2심전도 시퀀스 데이터로 변환하는 제4데이터 변환부와, 상기 제4데이터 변환부에서 제공되는 제2심전도 시퀀스 데이터에서 특징 정보를 추출하여 상기 제4특징 정보를 생성하는 제4산출모듈을 구비한다.

한편, 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템은 상기 측정대상자 주위에서 움직이는 것으로서, 상기 촬영부가 설치되는 이동로봇과, 상기 이동로봇에 마련되어 상기 측정대상자에게 리액션 정보를 제공하는 반응부와, 상기 측정대상자의 감정 상태에 대응되게 상기 이동로봇이 움직이거나 상기 리액션 정보가 제공되도록 상기 감정 판별부에서 판별된 상기 측정대상자의 감정에 따라 상기 이동로봇 또는 반응부를 제어하는 로봇 제어부를 더 구비할 수 있다.

또한, 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템은 상기 이동로봇에 설치되어 해당 측정대상자의 주위 환경에 대한 정보를 수집하는 환경정보수집부를 더 구비할 수 있다.

한편, 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템은 상기 반응부에서 제공되는 리액션 정보에 대한 상기 측정대상자의 음성을 입력받을 수 있도록 상기 이동로봇에 설치된 마이크와, 상기 측정대상자와 이동로봇 사이의 이격 거리를 측정하기 위해 상기 이동로봇에 설치되는 거리센서부와, 상기 환경정보수집부에서 제공되는 주위환경에 대한 정보, 상기 마이크에서 제공되는 상기 측정대상자의 음성 및 상기 거리센서부에서 제공되는 상기 측정대상자와 이동로봇 사이의 이격거리에 대한 정보를 분석하여 상기 측정대상자의 감정 상태를 재판별하는 재판별부를 더 구비할 수 있다.

또한, 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템은 상기 재판별부에서 판별된 상기 측정대상자의 감정 상태에 대한 정보와, 상기 재판별부에서 상기 측정대상자의 감정 상태를 판별한 시점에서의 상기 촬영부에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스에서 제공되는 상기 생체정보를 토대로 상기 신경망 모델을 보완하는 모델 보완부를 더 구비할 수 있다.

상기 리액션 정보는 상기 측정대상자의 답변을 유도할 수 있는 음성 메시지인 것이 바람직하다.

본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템은 측정대상자의 얼굴 영상 및 심전도에 대한 정보를 토대로 해당 측정대상자의 감정 상태를 판별하므로 판별 정보에 대한 신뢰도 및 정확도가 비교적 높다는 장점이 있다.

또한, 본 발명은 감정 판별을 위한 신경망 모델을 구축하는데 있어서, 얼굴 영상 및 심전도에 대한 데이터를 시퀀스 형태로 저장하여 분석하므로 보다 많은 수의 유의미한 데이터를 획득할 수 있어 감정 인식률이 향상되는 장점이 있다.

도 1은 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템에 대한 개념도이고,
도 2 및 도 3은 도 1의 영상 및 심전도를 이용한 감정 인식 시스템에 대한 블럭도이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 영상 및 심전도를 이용한 감정 인식 시스템에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 에는 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템(10)이 도시되어 있다.

도면을 참조하면, 상기 영상 및 심전도를 이용한 감정 인식 시스템(10)은 상기 측정대상자 주위에서 움직이는 것으로서, 상기 촬영부(300)가 설치되는 이동로봇(100)과, 상기 이동로봇(100)에 마련되어 상기 측정대상자에게 리액션 정보를 제공하는 반응부(200)와, 측정 대상자의 얼굴의 촬영하는 촬영부(300)와, 상기 측정 대상자의 생체정보를 측정할 수 있도록 상기 측정 대상자에 착용되는 웨어러블 디바이스(400)와, 상기 촬영부(300)에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스(400)에서 제공되는 상기 생체정보를 분석하여 해당 측정 대상자의 감정 상태를 판별하는 감정 판별부(500)와, 상기 측정대상자의 감정 상태에 대응되게 상기 이동로봇(100)이 움직이거나 상기 리액션 정보가 제공되도록 상기 감정 판별부(500)에서 판별된 상기 측정대상자의 감정에 따라 상기 이동로봇(100) 또는 반응부(200)를 제어하는 로봇 제어부(600)를 구비한다. 여기서, 웨어러블 디바이스(400)에서 측정되는 생체정보는 심전도가 적용된다.

이동로봇(100)은 본체(110)와, 상기 본체(110)에 설치되어 해당 본체(110)를 이동시키는 구동부(120)를 구비한다. 본체(110)는 소정의 형상을 갖는 구조물로 형성되며, 하부에 마련된 구동부(120)에 의해 이동된다. 한편, 본체(110)는 도시된 예에 한정하는 것이 아니라 제작자에 의해 보다 다양한 형상이 적용될 수 있다.

한편, 본체(110)의 상측에는 측정대상자의 얼굴을 촬영할 수 있도록 촬영부(300)가 설치되어 있으며, 해당 촬영부(300)에 인접된 위치의 본체(110)에는, 반응부(200)에서 제공되는 리액션 정보에 대한 측정대상자의 음성을 입력받을 수 있도록 마이크(140)가 설치되어 있다.

상기 마이크(140)는 측정대상자의 음성을 수집할 수 있도록 마이크(140)로폰(microphone)이 적용되며, 측정대상자의 발화(utterance)된 음성이 입력되는 이를 전기적인 음성신호로 변환하여 저장한다.

또한, 본체(110)는 해당 측정대상자의 주위 환경에 대한 정보를 수집하는 환경정보수집부(130)가 설치되어 있다. 상기 환경정보수집부(130)는 본체(110)에 설치되어 이동로봇(100) 주위의 온도를 측정하는 온도센서(131), 이동로봇(100) 주위의 습도를 측정하는 습도센서(132)를 구비한다. 한편, 환경정보수집부(130)는 이동로봇(100)의 위치에 대한 정보를 생성하고, 기상관측서버와 통신하여, 해당 기상관측서버로부터 측정대상자 주위의 날씨에 대한 정보를 획득하는 날씨수집모듈(133)을 더 구비할 수 있다. 상기 온도센서(131), 습도센서(132) 및 날씨수집모듈(133)은 온도 및 습도를 측정하거나 날씨 정보를 수집하기 위해 종래에 일반적으로 사용되는 측정수단이므로 상세한 설명은 생략한다.

한편, 본체(110)의 외주면에, 측정대상자와 이동로봇(100) 사이의 이격 거리를 측정하기 위한 거리센서부(150)가 설치되어 있다. 상기 거리센서부(150)는 주위의 대상물과의 거리를 측정하기 위한 것으로서, 종래에 일반적으로 사용되는 거리측정 센서이므로 상세한 설명은 생략한다.

구동부(120)는 본체(110)의 하부에 회전가능하게 설치된 다수의 구동바퀴와, 상기 구동바퀴 중 일부를 회동시켜 이동하는 이동로봇(100)을 조향하는 조향유닛과, 상기 구동바퀴를 회전시키도록 상기 구동바퀴에 설치된 구동모터를 구비한다. 한편, 구동부(120)는 이에 한정하는 것이 아니라 해당 본체(110)를 로봇 제어부(600)에 의해 이동시킬 수 있는 이동수단이면 무엇이든 적용가능하다.

반응부(200)는 이동로봇(100)의 본체(110)에 설치되어 측정대상자에게 리액션 정보를 제공한다. 여기서, 리액션 정보는 소정의 멘트가 포함된 음성 정보가 적용된다. 상기 반응부(200)는 본체(110)에 설치되어 음성 정보를 외부로 출력하는 스피커(201)와, 다양한 감정 상태에 적합하도록 기설정된 다수의 음성 정보가 저장된 데이터 베이스(202)와, 데이터 베이스(202)에 저장된 음성 정보를 스피커(201)에 제공하는 반응 제어모듈(203)을 구비한다. 여기서, 상기 반응 제어모듈(203)은 데이터 베이스(202)로부터 감정 판별부(500)에서 판별된 측정대상자의 감정 상태에 대응되는 음성정보를 추출하여 스피커(201)에 제공하는 것이 바람직하다.

한편, 상술된 예에서, 반응부(200)는 멘트가 포함된 음성 정보를 리액션 정보로 제공하는 것으로 설명되었으나, 반응부(200)는 이에 한정하는 것이 아니라 음악이나 영상 등과 같이 보다 다양한 종류의 리액션 정보를 측정대상자에게 제공할 수도 있다.

촬영부(300)는 이동로봇(100)의 본체(110)에 설치되어 측정대상자의 얼굴을 촬영하는 메인 카메라를 구비한다. 이때, 메인 카메라는 본체(110)의 상부에 설치되며, 측정 대상자의 얼굴 부분을 촬영할 수 있도록 팬, 틸트 또는 줌 동작을 수행할 수 있는 PTZ 카메라가 적용된다.

웨어러블 디바이스(400)는 도면에 도시되진 않았지만, 측정대상자의 신체에 착용 가능하게 형성된 착용 바디와, 상기 착용 바디에 설치되며, 고유 식별 정보 및 측정대상자의 개인정보가 저장된 메모리와, 측정대상자의 심전도를 측정하는 심전도 센서(404)와, 메모리에 저장된 정보 및 심전도 센서(404)의 측정 값을 전송하기 위한 통신모듈을 구비한다.

착용 바디는 사용자의 손목에 착용 가능하도록 손목시계나 손목 밴드 형태로 형성될 수 있다. 한편, 착용 바디는 이에 한정하는 것이 아니라 인체에 착용하는 형태로 형성될 수 있으나, 신체에 부착할 수 있도록 하는 부착 스티커 또는 패드 형태로 형성될 수도 있다.

상기 메모리에는 측정대상자의 이름, 성별, 나이 등과 같은 개인정보와, 해당 웨어러블 디바이스(400)를 식별하기 위한 식별정보가 저장되어 있다.

통신모듈은 감정 판별부(500)와의 통신을 위한 것으로서, 저전력 동작을 위한 BLE(Bluetooth Low Energy)가 적용된다. 한편, 통신모듈은 이에 한정하는 것이 아니라 심전도 센서(404)의 측정 값과 같은 데이터를 전송할 수 있는 통신수단이면 무엇이든 적용 가능하다.

심전도 센서(404)는 측정대상자의 신체에 접촉할 수 있도록 착용 바디에 설치되어 해당 측정대상자의 심전도 신호를 측정한다. 여기서, 상기 심전도 센서(404)는 측정대상자의 심전도를 측정하기 위해 종래에 일반적으로 사용되는 심전도 측정 수단이므로 상세한 설명은 생략한다.

감정 판별부(500)는 상기 촬영부(300)에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스(400)에서 제공되는 상기 측정 대상자의 생체정보를, 얼굴 영상 및 생체정보를 토대로 감정을 판별하기 위해 기구축된 신경망 모델에 적용하여 상기 측정 대상자의 감정을 판별한다.

여기서, 감정 판별부(500)는 상기 촬영부(300)에서 촬영된 상기 측정대상자의 얼굴 영상에서, 상기 측정 대상자의 얼굴 표정에 대한 제1특징 정보를 산출하는 제1특징점 산출부(510)와, 상기 웨어러블 디바이스(400)에서 제공되는 상기 측정대상자의 생체정보에 대한 제2특징 정보를 산출하는 제2특징점 산출부(520)와, 상기 제1 및 제2특징점 산출부(520)에서 제공되는 상기 제1 및 제2특징 정보를 상기 신경망 모델에 적용하여 상기 측정대상자의 감정을 판별하는 판별모듈(530)을 구비한다.

상기 제1특징점 산출부(510)는 상기 촬영부(300)에서 제공되는 영상에서 제1특징 정보를 산출하는 것으로서, 제1ROI 선택부(511), 제1데이터 변환부(512) 및 제1산출모듈(513)을 구비한다.

상기 제1ROI 선택부(511)는 촬영부(300)의 메인 카메라에서 촬영된 촬영 영상을 제공받고, 제공받은 촬영 영상에서, 제1관심영역을 산출한다. 여기서, 제1관심영역은 측정대상자의 얼굴이고, 측정대상자의 표정을 판별할 수 있도록 얼굴 전체에 대한 영역이 적용된다. 또한, 제1ROI 선택부(511)는 촬영영상에서 제1관심영역에 대한 영상을 추출한다. 한편, 상기 제1ROI 선택부(511)는 영상에서 관심영역을 추출하기 위해 종래에 일반적으로 사용되는 영상처리수단이므로 상세한 설명은 생략한다.

제1데이터 변환부(512)는 제1ROI 선택부(511)에서 추출된 제1관심영역에 대한 영상을 시간 순의 시계열 데이터인 시퀀스(sequen) 형태의 제1얼굴 시퀀스 데이터로 변환하여 저장한다.

제1산출모듈(513)은 제1데이터 변환부(512)에서 제공되는 제1얼굴 시퀀스 데이터에서 특징정보를 추출하여 제1특징 정보를 생성한다. 여기서, 제1산출모듈(513)은 얼굴 시퀀스 데이터에서 특징정보를 추출하기 위하 기구축된 제1추출 모델에, 해당 제1얼굴 시퀀스 데이터를 적용하여 제1특징 정보를 산출할 수도 있다.

여기서, 제1추출 모델은 합성곱 신경망(CNN: Convolutional Neural Network) 모델과 같은 인공 신경망 모델이 적용되는데, 상기 CNN 모델은 복수의 연산 레이어(Convolutional Layer, pooling Layer)를 번갈아 수행하여 최종적으로는 입력 데이터의 특징을 추출하는 데 사용되는 계층 모델이다. 상기 제1추출모듈은 얼굴 시퀀스 데이터와, 해당 얼굴 시퀀스 데이터에 대한 특징 정보가 포함된 샘플 데이터들을 지도학습(Supervised Learning) 기법에 따라 처리하여 구축된다. 한편, 제1추출모듈은 이에 한정하는 것이 아니라 얼굴 시퀀스 데이터로부터 특징정보를 추출할 수 있는 인공 신경망 모델이면 무엇이든 적용 가능하다.

상기 제2특징점 산출부(520)는 피크점 검출부(521), 제2데이터 변환부(522) 및 제2산출모듈(523)을 구비한다.

피크점 검출부(521)는 웨어러블 디바이스(400)에서 제공되는 심전도에서 R 피크(R-peak) 점을 검출한다. 여기서, 피크점 검출부(521)는 웨어러블 디바스에서 획득한 심전도 신호를 QRS 검출 알고리즘을 통해 R 피크 점을 산출하고, 해당 심전도 정보에 R 피크 점을 표시한다.

제2데이터 변환부(522)는 피크점 검출부(521)에서 검출된 R 피크 점을 기준으로 상기 심전도를 시간 순의 시계열 데이터인 시퀀스(sequence) 형태의 제1심전도 시퀀스 데이터로 변환한다.

제2산출모듈(523)은 상기 제2데이터 변환부(522)에서 제공되는 제1심전도 시퀀스 데이터에서 특징 정보를 추출하여 상기 제2특징 정보를 생성한다. 여기서, 제2산출모듈(523)은 심전도 시퀀스 데이터에서 특징정보를 추출하기 위해 기구축된 제2추출모델에, 해당 제1심전도 시퀀스 데이터를 적용하여 제2특징 정보를 산출할 수도 있다. 여기서, 제2추출모델은 합성곱 신경망 모델이 적용될 수 있으나, 이에 한정하는 것이 아니라 심전도 시퀀스 데이터로부터 특징정보를 추출할 수 있는 인공 신경망 모델이면 무엇이든 적용 가능하다.

판별모듈(530)은 상기 제1 및 제2특징점 산출부(520)에서 제공되는 상기 제1 및 제2특징 정보를 상기 신경망 모델에 적용하여 상기 측정대상자의 감정을 판별한다. 여기서, 상기 신경망 모델은 앙상블(Ensemble) 기법에 의해 생성된 것으로서, 얼굴 표정을 토대로 측정대상자의 감정상태를 판별하기 위해 기구축된 제1감정 판별 네트워크와, 생체정보를 토대로 측정대상자의 감정 상태를 판별하기 위해 기구축된 제2감정 판별 네트워크가 포함된 앙상블 네트워크가 적용된다.

여기서, 앙상블 기법은 여러 개의 결정 트리(Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법인다. 앙상블 기법의 핵심은 여러 개의 약 분류기(Weak Classifier)를 결합하여 강 분류기(Strong Classifier)를 만들기 때문에 학습의 정확성을 향상시킬 수 있다. 상술된 바와 같이 상기 앙상블 네트워크는 복수의 하위 네트워크 즉, 제1 및 제2감정 판별 네트워크를 포함한다. 이때, 상기 제1 및 제2감정 판별 네트워크는 Fully Connected Layer를 포함하는 다중 레이어로 구성되어 있다.

상기 제1 및 제2감정 판별 네트워크는 합성곱 신경망(CNN: Convolutional Neural Network) 모델과 같은 인공 신경망 모델이 적용되는데, 상기 CNN 모델은 복수의 연산 레이어(Convolutional Layer, pooling Layer)를 번갈아 수행하여 최종적으로는 입력 데이터의 특징을 추출하는 데 사용되는 계층 모델이다. 상기 제1감정 판별 네트워크는 얼굴 시퀀스 데이터의 특징정보와, 해당 얼굴 시퀀스 데이터에 대응되는 측정대상자의 감정 상태 정보가 포함된 샘플 데이터들을 지도학습 기법에 따라 처리하여 구축된다. 상기 제2감정 판별 네트워크는 심전도 시퀀스 데이터의 특징정보와, 해당 심전도 시퀀스 데이터에 대응되는 측정대상자의 감정 상태 정보가 포함된 샘플 데이터들을 지도학습 기법에 따라 처리하여 구축된다. 한편, 제1 및 제2감정 판별 네트워크는 이에 한정하는 것이 아니라 얼굴 시퀀스 데이터 또는 심전도 시퀀스 데이터로부터 감정 상태 정보를 추출할 수 있는 인공 신경망 모델이면 무엇이든 적용 가능하다.

여기서, 앙상블 네트워크는 제1산출모듈(513)에서 제공되는 제1특징 정보를 제1감정 네트워크에 적용하여 출력된 제1감정값과, 제2산출모듈(523)에서 제공되는 제2특징정보를 제2감정 네트워크에 적용하여 출력된 제2감정값을 합성곱 연산을 통해 앙상블을 수행하여 측정대상자의 감정 상태를 판별하여 출력할 수 있다. 이때, 앙상블 네트워크는 상기 측정대상자의 감정 상태를 기쁨, 슬픔, 화남, 놀람, 혐오, 공포 중 어느 하나로 판별할 수 있다.

로봇 제어부(600)는 판별모듈(530)에서 판별된 측정대상자의 감정 상태에 따라 이동로봇(100) 또는 반응부(200)를 제어한다. 이때, 로봇 제어부(600)는 각 감정 상태에 대한 이동로봇(100)의 이동 패턴에 대한 정보가 기저장되고, 판별모듈(530)에서 판별된 감정 상태에 대응되는 이동 패턴에 따라 해당 이동로봇(100)이 이동하도록 이동로봇(100)의 구동부(120)를 작동시킨다. 일예로, 측정대상자가 기쁨 상태일때, 로봇 제어부(600)는 이동로봇(100)이 측정대상자를 중심으로 원형의 궤도를 따라 반복해서 이동하도록 구동부(120)를 작동시킬 수 있다. 또한, 로봇 제어부(600)는 판별모듈(530)에서 판별된 감정 상태에 따라 해당 반응부(200)가 리액션 정보를 출력하도록 반응부(200)를 작동시킨다.

본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템(10)은 측정대상자의 얼굴 영상 및 심전도에 대한 정보를 토대로 해당 측정대상자의 감정 상태를 판별하므로 판별 정보에 대한 신뢰도 및 정확도가 비교적 높다는 장점이 있다.

한편, 본 발명에 따른 영상 및 심전도를 이용함 감정 인식 시스템(10)은 상기 측정 대상자의 감정 상태에 따른 얼굴 영상 및 생체정보를 토대로 상기 신경망 모델을 구축하여 상기 감정 판별부(500)에 제공하는 모델 구축부(700)를 더 구비할 수 있다.

상기 모델 구축부(700)는 상기 측정 대상자에게, 상호 상이한 감정들을 유발시킬 수 있는 다수의 감정 유발 정보를 제공하는 감정 유발모듈(710)과, 상기 감정 유발 정보들에 대한 상기 측정 대상자의 얼굴 영상 및 생체 정보를 수집하는 정보 수집부(720)와, 상기 정보 수집부(720)에서 수집된 정보를 토대로 상기 신경망 모델을 구축하는 구축모듈(750)을 구비한다.

감정 유발모듈(710)은 감정 유발정보를 측정대상자에게 표시하는 디스플레이 모듈(711)과, 해당 디스플레이 모듈(711)에 감정 유발정보를 제공하는 영상제공부(712)를 구비한다. 여기서, 감정 유발 정보는 측정대상자에게 특정 감정을 유발시키기 위한 컨텐츠가 포함된 동영상이 적용된다.

디스플레이 모듈(711)은 LCD 등과 같이 동영상을 출력할 수 있는 출력수단이 적용된다. 영상제공부(712)는 다수의 감정 유발정보와, 감정 진정 정보가 저장된 메모리부를 구비한다. 이때, 감정 유발정보들은 각각 기쁨, 슬픔, 화남, 놀람, 혐오, 공포를 유발할 수 있는 컨텐츠의 동영상이 적용된다. 또한, 감정 진정 정보는 상기 측정 대상자의 감정을 진정시키기 위한 컨텐츠가 포함된 영상으로서, 녹색과 같은 마음을 편안하게 하는 색상의 오브젝트가 포함될 수 있다.

여기서, 상기 영상제공부(712)는 상기 디스플레이 모듈(711)에 상기 감정 유발 정보들을 순차적으로 상기 측정 대상자에게 제공하되, 상기 감정 유발 정보들과, 감정 진정 정보를 교번하여 제공한다. 즉, 상기 영상제공부(712)는 감정 유발정보들 사이에 감정 진정 정보가 제공되도록 디스플레이 모듈(711)에 영상을 제공한다. 따라서, 측정대상자는 감정 유발정보에 의해 유발된 감정을, 감정 진정 정보를 통해 진정한 다음, 새로운 감정 유발정보를 시청할 수 있다.

정보 수집부(720)는 상기 감정 유발모듈(710)에서 각 상기 감정 유발 정보가 상기 측정 대상자에게 제공되는 동안 해당 측정 대상자의 얼굴 영상에 대한 정보를 수집하는 표정 수집모듈(730)과, 상기 감정 유발모듈(710)에서 각 상기 감정 유발 정보가 상기 측정 대상자에게 제공되는 동안 해당 측정 대상자의 생체정보를 수집하는 생체 정보 수집모듈(740)을 구비한다.

상기 표정 수집모듈(730)은 상기 감정 유발모듈(710)로부터 해당 감정 유발 정보를 제공받은 상기 측정 대상자의 얼굴을 촬영하는 촬영 카메라(731)와, 상기 촬영 카메라(731)에서 촬영된 상기 측정 대상자의 얼굴 영상에서, 상기 감정 유발 정보에 대한 상기 측정 대상자의 얼굴 표정에 대한 제3특징 정보를 산출하고, 산출된 상기 제3특징 정보를 상기 구축모듈(750)에 제공하는 제3특징점 산출부(732)를 구비한다.

상기 촬영 카메라(731)는 감정 유발모듈(710)의 디스플레이 모듈(711)에 인접된 위치에 설치되어 감정 유발정보를 시청하는 측정대상자의 얼굴을 촬영한다.

제3특징점 산출부(732)는 영상 분류부(733), 제2ROI 선택부(734), 제3데이터 변환부(735) 및 제3산출모듈(736)을 구비한다.

영상 분류부(733)는 상기 촬영 카메라(731)에서 제공되는 영상에서, 각 상기 감정 유발 정보를 제공받은 시점의 영상을 단위 영상으로 분류한다. 상기 영상 분류부(733)는 감정 유발모듈(710)로부터 해당 측정대상자에게 제공되는 감정 유발정보에 대한 정보를 제공받아 각 감정 별로 단위 영상을 생성한다.

제2ROI 선택부(734)는 단위 영상들에서 측정 대상자의 얼굴부분을 제2관심영역으로 설정한다. 여기서, 제2관심영역은 측정대상자의 얼굴이고, 측정대상자의 표정을 판별할 수 있도록 얼굴 전체에 대한 영역이 적용된다. 또한, 제2ROI 선택부(734)는 촬영 카메라(731)의 촬영 영상에서 제2관심영역에 대한 영상을 추출한다. 한편, 상기 제2ROI 선택부(734)는 영상에서 관심영역을 추출하기 위해 종래에 일반적으로 사용되는 영상처리수단이므로 상세한 설명은 생략한다.

제3데이터 변환부(735)는 제2ROI 선택부(734)에서 추출된 제2관심영역에 대한 영상을 시간 순의 시계열 데이터인 시퀀스(sequence) 형태의 제2얼굴 시퀀스 데이터로 변환하여 저장한다.

제3산출모듈(736)은 상기 제3데이터 변환부(735)에서 제공되는 제2얼굴 시퀀스 데이터에서 특징 정보를 추출하여 제3특징 정보를 생성한다. 여기서, 제3산출모듈(736)은 얼굴 시퀀스 데이터에서 특징정보를 추출하기 위하 기구축된 제1추출 모델에, 해당 제2얼굴 시퀀스 데이터를 적용하여 제3특징 정보를 산출할 수도 있다.

상기 생체 정보 수집모듈(740)은 상기 감정 유발모듈(710)로부터 해당 감정 유발 정보를 제공받은 상기 측정 대상자의 생체정보를 측정하기 위해 상기 측정 대상자가 착용하는 측정 센서유닛(741)과, 상기 측정 센서유닛(741)에서 제공되는 생체정보에 대한 제4특징 정보를 산출하고, 산출된 상기 제4특징 정보를 상기 구축모듈(750)에 제공하는 제4특징점 산출부(742)를 구비한다.

상기 측정 센서유닛(741)은 디스플레이 모듈(711)을 시청하는 측정대상자에 착용되어 해당 측정대상자의 심전도를 측정한다. 여기서, 측정 센서유닛(741)은 lead I,lead II, lead III, aVR, aVL, aVF, V1, V2, V3, V4, V5, V6의 전극을 이용한 12-lead ECG(Electrocardiography)를 측정하는 장치가 적용되나, 이에 한정하는 것이 아니라 웨어러블 기기 형태의 심전도 측정 기기가 적용될 수도 있다.

제4특징점 산출부(742)는 신호 분류부(743), 신호 검출부(744), 제4데이터 변환부(745) 및 제4산출모듈(746)을 구비한다.

상기 신호 검출부(744)는 측정 센서유닛(741)에서 제공되는 심전도에서, 각 상기 감정 유발 정보를 제공받은 시점의 부분을 단위 신호로 분류한다. 이때, 신호 검출부(744)는 감정 유발모듈(710)로부터 해당 측정대상자에게 제공되는 감정 유발정보에 대한 정보를 제공받아 각 감정 별로 단위 신호를 생성한다.

신호 검출부(744)는 상기 신호 분류부(743)에서 제공되는 각 단위 신호들에서, R 피크(R-peak) 점을 검출한다. 여기서, 신호 검출부(744)는 신호 분류부(743)에서 제공된 단위 신호를 QRS 검출 알고리즘을 통해 R 피크 점을 산출하고, 해당 심전도 정보에 R 피크 점을 표시한다.

제4데이터 변환부(745)는 신호 검출부(744)에서 검출된 R 피크 점을 기준으로 상기 단위 신호를 시간 순의 시계열 데이터인 시퀀스(sequence) 형태의 제2심전도 시퀀스 데이터로 변환한다.

제4산출모듈(746)은 상기 제4데이터 변환부(745)에서 제공되는 제2심전도 시퀀스 데이터에서 특징 정보를 추출하여 상기 제4특징 정보를 생성한다. 여기서, 제4산출모듈(746)은 심전도 시퀀스 데이터에서 특징정보를 추출하기 위해 기구축된 제2추출모델에, 해당 제2심전도 시퀀스 데이터를 적용하여 제4특징 정보를 산출할 수도 있다.

구축모듈(750)은 상기 정보 수집부(720)에서 수집된 정보를 토대로 상기 신경망 모델을 구축한다. 여기서, 구축모듈(750)은 제3산출모듈(736)에서 제공되는 제3특징정보와, 해당 제3특징정보에 대응되는 측정대상자의 감정 상태에 대한 정보를 토대로 상기 제1감정 판별 네트워크를 구축한다. 또한, 구축모듈(750)은 제4산출모듈(746)에서 제공되는 제4특징정보와 해당 제4특징정보에 대응되는 측정대상자의 감정 상태에 대한 정보를 토대로 상기 제2감정 판별 네트워크를 구축한다. 다음, 구축모듈(750)은 앙상블 기법을 이용하여, 제1 및 제2감정 판별 네트워크가 포함된 앙상블 네트워크를 생성하여 상기 신경망 모델을 구축한다. 구축모듈(750)은 구축된 신경망 모델을 감정 판별부(500)의 판별모듈(530)에 제공한다.

한편, 본 발명에 따른 영상 및 심전도를 이용한 감정 인식 시스템(10)은 마이크(140) 및 거리센서부(150)에서 제공되는 정보를 토대로 측정대상자의 감정상태를 재판별하는 재판별부(810)와, 재판별부(810)에서 재판별된 정보를 토대로 상기 신경망 모델을 보완하는 모델 보완부(820)를 더 구비할 수 있다.

재판별부(810)는 마이크(140)로부터 입력된 음성 신호에 음성 인식 알고리즘(speech recognition) 알고리즘 또는 음성 인식 엔진(speech recognition engine)을 적용하여 사용자의 음성을 인식하고, 인식된 음성에서 반응부(200)의 리액션 정보에 대한 응답을 추출하며, 추출된 응답을 저장한다. 또한, 재판별부(810)는 환경정보수집부(130)에서 제공되는 측정대상자 주위의 온도, 습도 및 날씨에 대한 정보를 수집한다. 그리고, 일반적으로 감정상태에 따라 사람은 주위 사물에 대한 이격 거리가 상이하는데, 재판별부(810)는 거리센서부(150)로부터 측정대상자와 이동로봇(100) 사이의 이격거리에 대한 정보를 수집한다.

다음, 재판별부(810)는 측정대상자의 응답, 측정대상자 주위의 온도, 습도, 날씨 및 이동로봇(100)과 측정대상자 사이의 이격거리에 대한 정보를 토대로 해당 측정대상자의 감정 상태를 재판별한다. 여기서, 재판별부(810)는, 측정대상자의 응답, 측정대상자 주위의 온도, 습도, 날씨 및 이동로봇(100)과 측정대상자 사이의 이격거리를 토대로 측정대상자의 감정상태를 판별학기 위해 기구축된 신경망 네트워크에, 측정대상자의 응답, 환정정보수집부 및 거리센서부(150)에서 제공되는 정보를 적용하여 해당 측정대상자의 감정 상태를 판별할 수 있다.

모델 보완부(820)는 해당 재판별부(810)에서 판별된 측정대상자의 감정 상태에 대한 정보와, 촬영부(300)에서 촬영된 사용자의 얼굴 영상 및 웨어러블 디바이스(400)에서 제공되는 상기 생체정보를 토대로 해당 신경망 모델을 보완한다.

이때, 모델 보완부(820)는 재판별부(810)에서 측정대상자의 감정 상태를 판별한 시점에서의 촬영부(300)에서 촬영된 얼굴 영상 및 웨어러블 디바이스(400)에서 측정된 심전도를 이용한다. 또한, 모델 보완부(820)는 해당 얼굴 영상으로부터 얼굴 부분을 관심영역으로 설정하여 추출한 다음, 추출된 관심영역 영상을 시퀀스 형태로 변환하여 특징 정보를 산출한다. 그리고, 모델 보완부(820)는 해당 심전도에서, R 피크 점을 산출한 다음, R 피크 점을 기준으로 해당 심전도를 시퀀스 형태로 변환하여 특징 정보를 산출한다. 다음, 모델 보완부(820)는 재판별부(810)에서 판별된 감정 정보와, 얼굴 영상 및 심전도의 특징 정보를 토대로 해당 신경망 모델을 보완할 수 있다. 상술된 재판별부(810)와, 모델 보완부(820)는 지속적으로 측정대상자의 감정 상태에 대한 정보를 신경망 모델에 업데이트하므로 신경망 모델의 판별에 대한 정확도 및 신뢰도를 향상시키는 장점이 있다.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

10: 영상 및 심전도를 이용한 감정 인식 시스템 100: 이동로봇
130: 환경정보수집부 131: 온도센서
132: 습도센서 133: 날씨수집모듈
140: 마이크 150: 거리센서부
200: 반응부 201: 스피커
203: 반응 제어모듈 300: 촬영부
400: 웨어러블 디바이스 500: 감정 판별부
510: 제1특징점 산출부 511: 제1ROI 선택부
512: 제1데이터 변환부 513: 제1산출모듈
520: 제2특징점 산출부 521: 피크점 검출부
522: 제2데이터 변환부 523: 제2산출모듈
530: 판별모듈 600: 로봇 제어부

Claims

측정 대상자의 얼굴을 촬영하는 촬영부;
상기 측정 대상자의 생체정보를 측정할 수 있도록 상기 측정 대상자에 착용되는 웨어러블 디바이스;
상기 촬영부에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스에서 제공되는 상기 생체정보를 분석하여 해당 측정 대상자의 감정 상태를 판별하는 감정 판별부;를 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제1항에 있어서,
상기 생체 정보는 심전도 인,
영상 및 심전도를 이용한 감정 인식 시스템.
제1항 또는 제2항에 있어서,
상기 감정 판별부는 상기 촬영부에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스에서 제공되는 상기 측정 대상자의 생체정보를, 얼굴 영상 및 생체정보를 토대로 감정을 판별하기 위해 기구축된 신경망 모델에 적용하여 상기 측정 대상자의 감정을 판별하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제3항에 있어서,
상기 감정 판별부는
상기 촬영부에서 촬영된 상기 측정대상자의 얼굴 영상에서, 상기 측정 대상자의 얼굴 표정에 대한 제1특징 정보를 산출하는 제1특징점 산출부;
상기 웨어러블 디바이스에서 제공되는 상기 측정대상자의 생체정보에 대한 제2특징 정보를 산출하는 제2특징점 산출부; 및
상기 제1 및 제2특징점 산출부에서 제공되는 상기 제1 및 제2특징 정보를 상기 신경망 모델에 적용하여 상기 측정대상자의 감정을 판별하는 판별모듈;을 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제4항에 있어서,
상기 제1특징점 산출부는
상기 촬영부에서 제공되는 영상에서, 상기 측정대상자의 얼굴부분을 제1관심영역으로 설정하고, 해당 영상에서 상기 제1관심영역을 추출하는 제1ROI 선택부;
상기 제1ROI 선택부에서 추출된 상기 제1관심영역에 대한 영상을 시퀀스(sequence) 형태의 제1얼굴 시퀀스 데이터로 변환하는 제1데이터 변환부; 및
상기 제1데이터 변환부에서 제공되는 제1얼굴 시퀀스 데이터에서 특징 정보를 추출하여 상기 제1특징 정보를 생성하는 제1산출모듈;을 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제4항에 있어서,
상기 생체정보는 심전도이고,
상기 제2특징점 산출부는
상기 웨어러블 디바이스에서 제공되는 심전도에서 R 피크(R-peak) 점을 검출하는 피크점 검출부;
상기 피크점 검출부에서 검출된 R 피크 점을 기준으로 상기 심전도를 시퀀스(sequence) 형태의 제1심전도 시퀀스 데이터로 변환하는 제2데이터 변환부; 및
상기 제2데이터 변환부에서 제공되는 제1심전도 시퀀스 데이터에서 특징 정보를 추출하여 상기 제2특징 정보를 생성하는 제2산출모듈;을 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제3항에 있어서,
상기 신경망 모델은 앙상블(Ensemble) 기법에 의해 생성된 것으로서, 얼굴 표정을 토대로 측정대상자의 감정상태를 판별하기 위해 기구축된 제1감정 판별 네트워크와, 생체정보를 토대로 측정대상자의 감정 상태를 판별하기 위해 기구축된 제2감정 판별 네트워크가 포함된 앙상블 네트워크인,
영상 및 심전도를 이용한 감정 인식 시스템.
제3항에 있어서,
상기 측정 대상자의 감정 상태에 따른 얼굴 영상 및 생체정보를 토대로 상기 신경망 모델을 구축하여 상기 감정 판별부에 제공하는 모델 구축부;를 더 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제8항에 있어서,
상기 모델 구축부는
상기 측정 대상자에게, 상호 상이한 감정들을 유발시킬 수 있는 다수의 감정 유발 정보를 제공하는 감정 유발모듈;
상기 감정 유발 정보들에 대한 상기 측정 대상자의 얼굴 영상 및 생체 정보를 수집하는 정보 수집부;
상기 정보 수집부에서 수집된 정보를 토대로 상기 신경망 모델을 구축하는 구축모듈;을 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제9항에 있어서,
상기 감정 유발 정보는 해당 감정을 유발시키기 위한 컨텐츠가 포함된 동영상인,
영상 및 심전도를 이용한 감정 인식 시스템.
제9항에 있어서,
상기 감정 유발모듈은 상기 측정 대상자에게 상기 감정 유발 정보들을 순차적으로 상기 측정 대상자에게 제공하되, 상기 감정 유발 정보들과, 감정을 진정시키기 위한 감정 진정 정보를 교번하여 제공하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제11항에 있어서,
상기 감전 진정 정보는 상기 측정 대상자의 감정을 진정시키기 위한 컨텐츠가 포함된 영상인,
영상 및 심전도를 이용한 감정 인식 시스템.
제9항에 있어서,
상기 정보 수집부는
상기 감정 유발모듈에서 각 상기 감정 유발 정보가 상기 측정 대상자에게 제공되는 동안 해당 측정 대상자의 얼굴 영상에 대한 정보를 수집하는 표정 수집모듈; 및
상기 감정 유발모듈에서 각 상기 감정 유발 정보가 상기 측정 대상자에게 제공되는 동안 해당 측정 대상자의 생체정보를 수집하는 생체 정보 수집모듈;을 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제13항에 있어서,
상기 표정 수집모듈은
상기 감정 유발모듈로부터 해당 감정 유발 정보를 제공받은 상기 측정 대상자의 얼굴을 촬영하는 촬영 카메라; 및
상기 촬영 카메라에서 촬영된 상기 측정 대상자의 얼굴 영상에서, 상기 감정 유발 정보에 대한 상기 측정 대상자의 얼굴 표정에 대한 제3특징 정보를 산출하고, 산출된 상기 제3특징 정보를 상기 구축모듈에 제공하는 제3특징점 산출부;를 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제14항에 있어서,
상기 제3특징점 산출부는
상기 촬영 카메라에서 제공되는 영상에서, 각 상기 감정 유발 정보를 제공받은 시점의 영상을 단위 영상으로 분류하는 영상 분류부;
상기 단위 영상들에서 상기 측정 대상자의 얼굴 부분을 제2관심영역으로 설정하고, 각 상기 단위 영상에서 상기 제2관심영역을 추출하는 제2ROI 선택부;
상기 제2ROI 선택부에서 추출된 상기 제2관심영역에 대한 영상들을 시퀀스(sequence) 형태의 제2얼굴 시퀀스 데이터로 변환하는 제3데이터 변환부; 및
상기 제3데이터 변환부에서 제공되는 제2얼굴 시퀀스 데이터에서 특징 정보를 추출하여 상기 제3특징 정보를 생성하는 제3산출모듈;을 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제13항에 있어서,
상기 생체 정보 수집모듈은
상기 감정 유발모듈로부터 해당 감정 유발 정보를 제공받은 상기 측정 대상자의 생체정보를 측정하기 위해 상기 측정 대상자가 착용하는 측정 센서유닛; 및
상기 측정 센서유닛에서 제공되는 생체정보에 대한 제4특징 정보를 산출하고, 산출된 상기 제4특징 정보를 상기 구축모듈에 제공하는 제4특징점 산출부;를 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제16항에 있어서,
상기 생체정보는 심전도이고,
상기 제4특징점 산출부는
상기 측정 센서유닛에서 제공되는 심전도에서, 각 상기 감정 유발 정보를 제공받은 시점의 부분을 단위 신호로 분류하는 신호 분류부;
상기 신호 분류부에서 제공되는 각 단위 신호들에서, R 피크(R-peak) 점을 검출하는 신호 검출부;
상기 신호 검출부에서 검출된 R 피크 점을 기준으로 상기 단위 신호를 시퀀스(sequence) 형태의 제2심전도 시퀀스 데이터로 변환하는 제4데이터 변환부; 및
상기 제4데이터 변환부에서 제공되는 제2심전도 시퀀스 데이터에서 특징 정보를 추출하여 상기 제4특징 정보를 생성하는 제4산출모듈;을 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제3항에 있어서,
상기 측정대상자 주위에서 움직이는 것으로서, 상기 촬영부가 설치되는 이동로봇;
상기 이동로봇에 마련되어 상기 측정대상자에게 리액션 정보를 제공하는 반응부;
상기 측정대상자의 감정 상태에 대응되게 상기 이동로봇이 움직이거나 상기 리액션 정보가 제공되도록 상기 감정 판별부에서 판별된 상기 측정대상자의 감정에 따라 상기 이동로봇 또는 반응부를 제어하는 로봇 제어부;를 더 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제18항에 있어서,
상기 이동로봇에 설치되어 해당 측정대상자의 주위 환경에 대한 정보를 수집하는 환경정보수집부;를 더 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제19항에 있어서,
상기 반응부에서 제공되는 리액션 정보에 대한 상기 측정대상자의 음성을 입력받을 수 있도록 상기 이동로봇에 설치된 마이크;
상기 측정대상자와 이동로봇 사이의 이격 거리를 측정하기 위해 상기 이동로봇에 설치되는 거리센서부; 및
상기 환경정보수집부에서 제공되는 주위환경에 대한 정보, 상기 마이크에서 제공되는 상기 측정대상자의 음성 및 상기 거리센서부에서 제공되는 상기 측정대상자와 이동로봇 사이의 이격거리에 대한 정보를 분석하여 상기 측정대상자의 감정 상태를 재판별하는 재판별부;를 더 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제20항에 있어서,
상기 재판별부에서 판별된 상기 측정대상자의 감정 상태에 대한 정보와, 상기 재판별부에서 상기 측정대상자의 감정 상태를 판별한 시점에서의 상기 촬영부에서 촬영된 상기 사용자의 얼굴 영상 및 상기 웨어러블 디바이스에서 제공되는 상기 생체정보를 토대로 상기 신경망 모델을 보완하는 모델 보완부;를 더 구비하는,
영상 및 심전도를 이용한 감정 인식 시스템.
제18항에 있어서,
상기 리액션 정보는 상기 측정대상자의 답변을 유도할 수 있는 음성 메시지인,
영상 및 심전도를 이용한 감정 인식 시스템.