KR20210104352A - 대상 동영상에 대한 감정 분석 방법 및 장치 - Google Patents

Abstract

본 발명은 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 동영상 수집부, 수집된 반응 동영상 및 대상 동영상에 포함된 각 프레임을 추출하는 프레임 추출부, 수집된 반응 동영상으로부터 추출된 제1 프레임에 포함된 인물의 표정에 기초하여 인물의 감정을 분석하는 감정 분석부 및 분석 결과에 기초하여 대상 동영상에 포함된 프레임 중에서 인물의 감정 변화를 유도하는 제2 프레임을 식별하는 프레임 식별부를 포함하는 대상 동영상에 대한 감정 분석 장치를 제공한다.

Description

대상 동영상에 대한 감정 분석 방법 및 장치{METHOD AND APPARATUS FOR ANALYZING SETIMENT RELATED TO TARGET VIDEO}

본 발명은 대상 동영상에 대한 감정 분석 방법 및 장치에 관한 것으로, 구체적으로는 대상 동영상을 시청하는 시청자를 촬영한 반응 동영상을 통해 대상 동영상에 대한 시청자의 감정을 분석하는 방법 및 장치에 관한 것이다.

스마트폰 보급의 확대되고, 무선 통신의 속도가 향상됨에 따라 동영상 컨텐츠에 대한 소비가 점차 증가하고 있다. 이와 함께 동영상 컨텐츠를 시청한 시청자들이 자신의 감정을 댓글과 같은 텍스트 형태 대신 동영상 형태로 표현하는 비중 역시 증가하고 있다. 여기서 시청자들이 자신의 감정을 표현하기 위해, 자신들이 동영상 컨텐츠를 시청하는 모습을 촬영하여 제작한 영상은 반응 동영상으로 지칭된다.

한편 대상 동영상을 시청한 시청자들의 감정 변화를 파악할 수 있다면, 시청자들로부터 특정 감정을 이끌어낼 수 있는 동영상 컨텐츠를 제작하는 것이 더 용이해질 수 있다. 따라서 반응 동영상 속 인물들의 감정을 빠르고 효과적으로 분석하고, 대상 동영상 내에서 시청자들이 감정적으로 반응하는 객체를 파악하여 특정 객체와 이를 시청하는 시청자의 감정과의 관계를 분석하는 기술에 관한 연구가 진행되고 있다.

본 발명은 대상 동영상을 시청하는 반응 동영상 내 인물의 감정을 분석하는 방법 및 장치를 제공함으로써 대상 동영상에 포함된 특정 객체와 반응 동영상 내 인물의 감정과의 관계를 분석한 결과를 도출하고자 한다.

본 발명의 대상 동영상에 대한 감정 분석 장치는 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 동영상 수집부, 수집된 반응 동영상 및 대상 동영상에 포함된 각 프레임을 추출하는 프레임 추출부, 수집된 반응 동영상으로부터 추출된 제1 프레임에 포함된 인물의 표정에 기초하여 인물의 감정을 분석하는 감정 분석부 및 분석 결과에 기초하여 대상 동영상에 포함된 프레임 중에서 인물의 감정 변화를 유도하는 제2 프레임을 식별하는 프레임 식별부를 포함한다.

일 실시예에 따르면, 감정 분석 장치는 프레임 식별부에 의해 식별된 대상 동영상의 제2 프레임에 포함된 객체를 판별하는 객체 판별부를 더 포함할 수 있다.

일 실시예에 따르면, 감정 분석 장치는 판별된 객체 및 판별된 객체와 대응하는 인물의 감정 변화 정도를 저장하고 저장된 내용을 출력하는, 객체 추천부를 더 포함할 수 있다.

일 실시예에 따르면, 감정 분석 장치는 동영상 수집부로부터 수집된 반응 동영상을 수신한 후, 수집된 반응 동영상 내에 포함된 인물이 반응을 보이는 구간만 추출하여 프레임 추출부에 전달하는, 전처리부를 더 포함할 수 있다.

일 실시예에 따르면, 감정 분석 장치는 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 판단 결과에 따라 유사한 프레임들을 동일 구간으로 병합하여 프레임 식별부에 전달하는 구간 분리부를 더 포함할 수 있다.

일 실시예에 따르면, 감정 분석부는 감정을 복수의 감정 항목으로 나눈 후, 제1 프레임 내 인물의 표정에 따라, 복수의 감정 항목의 확률값을 도출하고, 제1 프레임을 포함한 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산한 후, 각 감정 항목별 평균 변화량과 제1 프레임의 복수의 감정 항목의 확률값에 기초하여 인물의 감정을 분석하는 것일 수 있다.

일 실시예에 따르면, 인물의 감정 분석 결과는 제1 프레임의 복수의 감정 항목의 확률값 중에서 각 감정 항목별 평균 변화량보다 큰 값을 갖는 감정 항목이 있는 경우, 해당 감정 항목을 인물의 감정으로 판단하는 것일 수 있다.

본 발명의 다른 일 실시예에 따른 대상 동영상에 대한 감정 분석 방법은 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 단계, 수집된 반응 동영상 및 대상 동영상에 포함된 각 프레임을 추출하는 단계, 수집된 반응 동영상으로부터 추출된 제1 프레임에 포함된 인물의 표정에 기초하여 인물의 감정을 분석하는 단계 및 분석 결과에 기초하여 대상 동영상에 포함된 프레임 중에서 인물의 감정 변화를 유도하는 제2 프레임을 식별하는 단계를 포함한다.

일 실시예에 따르면, 상기 방법은 식별된 대상 동영상의 제2 프레임에 포함된 객체를 판별하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 방법은 판별된 객체 및 판별된 객체와 대응하는 인물의 감정 변화 정도를 저장하고, 저장된 내용을 출력하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 각 프레임을 추출하는 단계는, 수집된 반응 동영상을 수신한 후, 수집된 반응 동영상 내에 포함된 인물이 반응을 보이는 구간만 추출하는 단계인 것일 수 있다.

일 실시예에 따르면, 상기 각 프레임을 추출하는 단계는, 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 판단 결과에 따라 유사한 프레임들을 병합하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 인물의 감정을 분석하는 단계는, 감정을 복수의 감정 항목으로 나눈 후, 제1 프레임 내 인물의 표정에 따라 복수의 감정 항목의 확률값을 도출하는 단계, 제1 프레임을 포함한 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산하는 단계 및 각 감정 항목별 평균 변화량과 제1 프레임의 상기 복수의 감정 항목의 확률값에 기초하여 인물의 감정을 분석하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 인물의 감정 분석 결과는, 제1 프레임의 복수의 감정 항목의 확률값 중에서 각 감정 항목별 평균 변화량보다 큰 값을 갖는 감정 항목이 있는 경우, 해당 감정 항목을 인물의 감정으로 판단하는 것일 수 있다.

본 발명은 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상술된 방법이 수행되는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체를 제공한다.

본 발명에 개시된 일 실시예에 따르면, 광고 및 홍보 관련 분야에서 컨텐츠를 시청한 시청자들이 느끼는 감정에 관하여 일일이 조사를 수행하지 않아도, 본 발명에 의해 도출되는 감정 분석 결과에 따라 대상 동영상 내의 각 객체와 시청자의 감정 간의 관계를 파악할 수 있는 효과가 있다.

뿐만 아니라, 본 발명에 개시된 다른 실시예에 따르면, 컨텐츠 제작자들이 시청자들로 하여금 원하는 감정을 이끌어내고 싶을 때, 본 발명에 의해 도출되는 감정 분석 결과에 기초하여 컨텐츠를 제작할 수 있다. 이러한 경우, 컨텐츠 제작자들이 원하는 시청자들의 반응을 더 쉽게 이끌어낼 수 있는 컨텐츠 제작이 가능하다.

도 1은 대상 동영상 및 반응 동영상을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 대상 동영상을 시청하는 반응 동영상 내 인물의 감정을 분석하는 감정 분석 장치의 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 대상 동영상을 시청하는 반응 동영상 내 인물의 감정을 분석하는 감정 분석 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 구간 분리부의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 감정 분석부가 각 감정 항목의 확률값을 도출하는 방법을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 감정 분석 장치의 실험 결과를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 대상 동영상에 대한 감정 분석 방법을 설명하기 위한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.

도 1은 대상 동영상 및 반응 동영상을 설명하기 위한 도면이다.

대상 동영상은 시청자가 시청하는 동영상을 의미하고, 반응 동영상은 대상 동영상을 시청하는 시청자의 모습을 촬영한 동영상을 의미한다. 종래의 시청자들은 대상 동영상에 대한 자신의 감정을 댓글과 같은 텍스트 형태로 표현하였으나, 최근 대상 동영상에 대한 자신의 감정을 동영상 형태로 표현하는 시청자들이 증가하고 있다.

도 1은 대상 동영상(120)과 대상 동영상(120)을 시청하는 시청자(115)의 모습이 촬영된 반응 동영상(110)의 일 예를 나타낸 도면이다. 도 1을 참고하면, 대상 동영상(120)이 여가수(125)의 뮤직 비디오인 경우 대상 동영상(120)을 시청하는 시청자(115)는 자신의 즐거운 감정을 반응 동영상(110)을 통해 표현할 수 있다. 이때 대상 동영상(120)에 등장하는 여가수(125)는 대상 동영상에 포함된 하나의 객체로 볼 수 있다.

본 발명의 일 실시예에 따른 대상 동영상을 시청하는 반응 동영상 내 인물의 감정을 분석하는 방법 및 장치는 대상 동영상에 대한 반응 동영상을 수집한 후, 반응 동영상 내 인물의 감정 변화량을 측정하여, 측정 결과에 따라 각 감정 항목과 대상 동영상간의 관계를 분석할 수 있다. 또한 대상 동영상에 포함된 복수의 객체 중에서, 시청자로부터 특정 감정을 유도하는 특정 객체를 판별할 수 있다.

도 2는 본 발명의 일 실시예에 따른 대상 동영상을 시청하는 반응 동영상 내 인물의 감정을 분석하는 감정 분석 장치의 블록도이다.

일 실시예에 따른 대상 동영상에 대한 감정 분석 장치(200)는 영상 수집부(210), 프레임 추출부(220), 감정 분석부(230) 및 프레임 식별부(240)를 포함할 수 있으며, 감정 분석 장치(200)가 이외 다른 구성요소를 더 포함할 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.

영상 수집부(210)는 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집할 수 있다. 이때 영상 수집부(210)는 대상 동영상에 대한 하나 이상의 반응 동영상을 수집할 수 있다. 또한, 영상 수집부(210)가 수신하는 대상 동영상에 관한 정보는 대상 동영상 자체이거나 대상 동영상의 위치를 나타내는 URL(Uniform Resource Locator)일 수 있다.

프레임 추출부(220)는 수집된 반응 동영상 및 대상 동영상에 포함된 각 프레임을 추출할 수 있다.

한편, 감정 분석 장치(200)는 동영상 수집부(210)로부터 수집된 반응 동영상을 수신한 후, 수집된 반응 동영상 내에 포함된 인물이 반응을 보이는 구간만 추출하여 프레임 추출부(220)에 전달하는, 전처리부(미도시)를 더 포함할 수 있다.

또한, 감정 분석 장치(200)는 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 판단 결과에 따라 유사한 프레임들을 동일 구간으로 병합하여 프레임 식별부(240)에 전달하는 구간 분리부(미도시)를 더 포함할 수 있다.

감정 분석부(230)는 수집된 반응 동영상으로부터 추출된 제1 프레임에 포함된 인물의 표정에 기초하여 인물의 감정을 분석할 수 있다.

일 실시예에 따른 감정 분석부(230)는 감정을 복수의 감정 항목으로 나눈 후, 제1 프레임 내 인물의 표정에 따라, 복수의 감정 항목의 확률값을 도출하고, 제1 프레임을 포함한 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산한 후, 각 감정 항목별 평균 변화량과 제1 프레임의 복수의 감정 항목의 확률값에 기초하여 인물의 감정을 분석하는 것일 수 있다. 여기서, 인물의 감정 분석 결과는 제1 프레임의 복수의 감정 항목의 확률값 중에서 각 감정 항목별 평균 변화량보다 큰 값을 갖는 감정 항목이 있는 경우, 해당 감정 항목을 인물의 감정으로 판단하는 것일 수 있다.

프레임 식별부(240)는 분석 결과에 기초하여 대상 동영상에 포함된 프레임 중에서 인물의 감정 변화를 유도하는 제2 프레임을 식별할 수 있다.

한편, 감정 분석 장치(200)는 프레임 식별부(240)에 의해 식별된 대상 동영상의 제2 프레임에 포함된 객체를 판별하는 객체 판별부(미도시)를 더 포함할 수 있다. 여기서 객체 판별부(미도시)는 감정 분석 장치내 다른 구성요소(210, 220, 230)와 달리 이미지 서버에 별도로 구성될 수 있으며, 딥러닝 알고리즘에 기초하여 동작이 수행될 수 있다.

또한, 감정 분석 장치(200)는 판별된 객체 및 판별된 객체와 대응하는 인물의 감정 변화 정도를 저장하고 저장된 내용을 출력하는, 객체 추천부(미도시)를 더 포함할 수 있다.

도 3은 본 발명의 다른 실시예에 따른 대상 동영상을 시청하는 반응 동영상 내 인물의 감정을 분석하는 감정 분석 장치를 설명하기 위한 도면이다.

본 발명의 다른 실시예에 따른 감정 분석 장치(300)는 영상 수집부(310), 전처리부(315), 프레임 추출부(320), 구간 분리부(325), 감정 분석부(330), 프레임 식별부(340) 및 객체 추천부(350)를 포함할 수 있으며, 감정 분석 장치(300)가 이외 다른 구성요소를 더 포함할 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.

도 3을 참고하면 감정 분석 장치(300)의 영상 수집부(310)는 분석하고자 하는 대상 동영상에 관한 정보가 수신되면 대상 동영상과 그에 대응하는 반응 동영상을 수집할 수 있다.

이때, 수집된 반응 동영상은 전처리부(315)에 전달될 수 있으며, 전처리부(315)는 반응 동영상 내 인물이 대상 동영상에 대해서 반응하는 모습이 포함된 반응 동영상의 일 부분을 추출하여 프레임 추출부(320)에 전달할 수 있다. 이에 따라 감정 분석 장치(300)는 대상 동영상에 반응하는 인물이 포함된 반응 동영상의 일 부분에 대해서만 감정 분석을 수행할 수 있기 때문에, 소비자원량을 감소시킬 수 있는 효과가 있다.

프레임 추출부(320)는 대상 동영상 및 반응 동영상 중 적어도 하나를 소정의 시간 간격으로 분리하여 프레임을 추출할 수 있다. 예를 들어, 프레임 추출부(320)는 대상 동영상 및 반응 동영상에 대하여 각각 0.1초 간격으로 jpg 형식의 프레임을 추출할 수 있다.

이후 구간 분리부(325)는 프레임 추출부(320)로부터 대상 동영상의 각 프레임을 수신하고 대상 동영상에 포함된 프레임들 간의 유사도에 기초하여, 유사한 프레임들을 동일 구간으로 병합하여 프레임 식별부(340)에 전달할 수 있다. 구간 분리부(325)를 통해 대상 동영상의 유사한 프레임들이 동일 구간으로 병합되는 경우, 대상 동영상에서 분석에 필요한 프레임의 수는 감소하기 때문에, 소비 자원량을 감소시킬 수 있는 효과가 있다.

한편 대상 동영상의 프레임들 간의 유사도를 판단하는 기준은 아래에서 자세하게 설명한다.

도 4는 본 발명의 일 실시예에 따른 구간 분리부의 동작을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 구간 분리부(도 3의 325)는 OpenCV의 SIFT 알고리즘에 기초하여 수행될 수 있으나, 구간 분리부(도 3의 325)에 활용될 수 있는 알고리즘이 이에 제한되지 않음은 당해 기술분야의 통상의 기술자에게 자명하다.

만약 구간 분리부(도 3의 325)가 OpenCV의 SIFT 알고리즘에 기초하는 경우, 프레임 추출부(도 3의 320)에 의해 추출된 대상 동영상의 전후(前後) 프레임에 포함된 객체들이 동일한 배경에서 크기만 변하거나 회전된 정도라면, 해당 전후 프레임은 유사한 프레임으로 판단되어 동일 구간으로 병합될 수 있다.

도 4를 참고하면, 대상 동영상에 포함된 전(前) 프레임의 객체(410)와 후(後) 프레임의 객체(420)가 동일한 배경 상에서 변화가 거의 없으므로 구간 분리부(325)에 의해 도 4의 전후 프레임은 동일 구간으로 병합되어 프레임 식별부(도 3의 340)에 전달될 수 있다.

다시 도 3을 참고하면, 감정 분석부(330)는 반응 동영상에 등장하는 인물의 표정을 8가지 감정 항목으로 나누어 각 프레임 내 인물의 각 감정 항목의 확률값을 도출할 수 있다. 한편, 인물의 표정을 복수의 감정 항목으로 나누어 각 감정 항목의 확률값을 도출하는 방법은 이하에서 자세하게 설명한다.

도 5는 본 발명의 일 실시예에 따른 감정 분석부가 각 감정 항목의 확률값을 도출하는 방법을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 감정 분석부(도 3의 330)는 반응 동영상 속 인물의 감정을 분석하기 위해 Microsoft Azure의 Face API를 활용할 수 있으나, 감정 분석부(도 3의 330)가 활용할 수 있는 알고리즘이 이에 제한되지 않음은 당해 기술분야의 통상의 기술자에게 자명하다.

예를 들어, Face API 알고리즘을 이용하여 도 5의 (a)의 프레임에 포함된 인물의 감정 항목의 확률값을 도출하면 도 5의 (b)와 같은 결과를 얻을 수 있다. 도 5의 (b)를 참고하면, Face API 알고리즘을 통해 도출되는 감정 항목은 분노(anger), 즐거움(happniess), 슬픔(sadness), 혐오감(disgust), 경멸(contempt), 공포(fear), 놀람(surprise), 자제된 감정(neutral)을 포함할 수 있으며, 각 감정 항목의 확률 값은 0과 1사이의 정수 값으로 표현될 수 있다. 그러나, 상술된 감정 항목의 수와 감정 항목의 구체적인 내용은 이에 제한되지 않는다.

본 발명의 일 실시예에 따른 감정 분석 장치(도 3의 300)은 프레임 추출부(도 3의 320)에 의해 추출된 반응 동영상의 각 프레임을 순서대로 Face API 알고리즘에 입력함으로써, 각 프레임에 포함된 인물에 관하여 8가지 감정의 확률값을 획득할 수 있다. 이후 구간 분리부(도 3의 325)로부터 수신된 대상 동영상의 분리된 구간을 기준으로 구간별 평균 감정 확률값을 계산할 수 있다.

다시 도 3을 참고하면, 감정 분석부(330)는 반응 동영상의 각 프레임에 포함된 인물의 각 감정 항목의 확률값에 기초하여 시계열 그래프를 생성하고 감정 변화량을 측정할 수 있다.

또한 반응 동영상의 복수의 프레임에 대하여 각 감정 항목별 평균 변화량을 도출하여, 각 프레임에 대한 감정 항목의 확률값이 평균 변화량보다 큰 변화량을 가지는 경우, 이에 대응하는 대상 동영상의 프레임을 감정 변화를 유도하는 프레임으로 식별한다.

이후 감정 분석 장치(300)는 감정 변화를 유도하는 것으로 식별된 대상 동영상의 프레임을 프레임 식별부(340)에 전송하여 해당 프레임에 등장하는 객체를 추출한다. 이때, 일 실시예에 따른 프레임 식별부(340)는 대상 동영상의 해당 프레임에서 객체를 검출하기 위해 YOLO 알고리즘을 적용할 수 있으나, 객체 검출을 위해 활용될 수 있는 알고리즘은 이에 제한되지 않는다.

한편, 감정 분석 장치(300)는 프레임 식별부(340)에 의해 추출된 객체와 이에 대응하는 반응 동영상 내의 인물의 감정 항목을 저장하고, 필요에 따라 저장된 내용을 출력할 수 있다.

예를 들어, 피 또는 붉은 색의 액체가 등장하는 대상 동영상에 대한 반응 동영상 내 인물의 감정을 분석한 결과, 피 또는 붉은 색의 액체에 대하여 반응 동영상 내의 인물이 두려움을 느낀 것으로 분석되었다면, 공포 영화를 제작하고자 하는 다른 사용자에게 피 또는 붉은 색 계열의 액체를 컨텐츠에 추가하는 것을 추천할 수 있다.

다른 예를 들어, 부모님의 사진이나 액자가 등장하는 대상 동영상에 대한 반응 동영상 내 인물의 감정을 분석한 결과, 해당 인물이 슬픈 감정을 느끼는 것으로 분석되었다면, 대중들로부터 슬픈 감정을 유도하는 컨텐츠를 제작하려는 제작자에게 부모님의 사진이나 액자를 컨텐츠에 추가하는 것을 추천할 수 있다.

한편, 상술된 예시와 같이 분석된 결과를 테이블 형태로 저장하면, 컨텐츠 내의 각 객체에 대응하는 감정 항목별 추천도를 목록화하여 사용자에게 제공할 수 있다.

도 6 및 도 7은 본 발명의 일 실시예에 따른 감정 분석 장치의 실험 결과를 설명하기 위한 도면이다.

도 6 및 도 7의 결과를 도출하기 위해, 프레임 식별부를 포함하는 딥러닝 서버 1대를 활용하였다. 해당 서버의 사양은 Intel Xeon E5-2630V3, 옥타 코어, 캐시는 20MB이며 속도는 2.4GHz이다. 실험을 위해 사용된 소프트웨어는 Python 3.5이고, 프레임 식별부의 딥러닝 학습을 위해 YOLO v2, CUDA 8.0, cuDNN v5.1을 사용하고 구간 분리부 구현을 위한 소프트웨어로는 OpenCV 3.2버전을 사용하였다.

실험에서 대상 동영상은 선미의 '누아르'뮤직 비디오(이하 '제1 대상 동영상') 및 빌리 아일리시의'you should see me in a crown'뮤직 비디오(이하 '제2 대상 동영상')이다. 도 6의 (a) 및 도 7의 (a)는 두 대상 동영상에 대하여, 각각 10개의 반응 동영상의 인물이 각 대상 동영상 시간 순서에 따라 나타내는 8가지 감정 항목별 평균 변화량을 계산하고, SIFT 알고리즘으로 나누어진 구간별로 다시 평균을 내서 표시한 구간별 시계열 감정값 그래프이다. 프레임의 유사도에 따라 일부 프레임들이 동일 구간으로 병합되었기 때문에, 제2 대상 동영상은 74개의 구간, 제1 대상 동영상은 151개의 구간으로 나누어진다. 한편, 도 6 및 도 7에 도시된 그래프의 각 감정 항목에 대응하는 색상은 표 1과 같다.

[표 1]

먼저 도 6의 (a)를 참고하면, 제1 대상 동영상을 시청하는 인물의 감정으로, neutral 감정이 가장 많은 분포를 차지하고, happiness 감정도 다른 감정에 비해 우세하게 나타나는 것을 확인할 수 있다. 한편, 제1 대상 동영상에 관한 반응 동영상에서 neutral 감정을 제외하고, 인물의 감정 변화율이 가장 크게 나온 상위 두 가지 감정 항목은 happiness 감정과 surprise 감정으로 각 감정 항목의 변화율은 0.0456, 0.0286인 것으로 확인되었다. 이는 최하위 변화율 값인 fear 감정의 0.00083과 비교하여 50배 이상 높은 값이다.

한편, 시청자의 감정 변화를 유도하는 것으로 식별되는 대상 동영상 내 일부 구간에 포함된 프레임을 YOLO 딥러닝 모델에 입력하여 각 프레임에 포함된 객체를 판별할 수 있다. 제1 대상 동영상에 포함된 2280개의 프레임에 포함된 객체를 판별하는 데에는 152분이 소요되었다.

한편 두 가지 대상 동영상의 각 구간별 등장하는 객체, 각 구간에서의 감정 항목별 확률값을 도출하면, 도 6의 (b) 및 도 7의 (b)와 같이 표현할 수 있다.

도 6의 (b)에서, 각 구간에서 등장하는 객체는 그래프 상단 영역(610)에 표시하였다. 도 6의 (b)를 참고하면 제1 대상 동영상의 세번째 영상 구간(620, 27.7초~42.1초 구간)에서 happiness 감정과 대응되는 값이 두번째 영상 구간(24.8초~27.6초 구간)과 비교하여 35.7%에서 25.4%로 감소하였다. 두번째 영상 구간과 세번째 영상 구간 모두 같은 얼굴 객체(face)가 등장하지만, 두번째 구간에 등장하는 얼굴 객체의 표정과 세번째 구간에 등장하는 얼굴 객체의 표정은 다르다.

구체적으로, 두번째 구간에 등장하는 얼굴 객체에 대한 happiness의 감정 확률값은 0.949이나, 세번째 구간에 등장하는 얼굴 객체에 대한 happiness의 감정 확률값은 0.001로 줄어들고, 대신 neutral의 감정 확률 값은 0.932로 증가하였다. 이를 통해 대상 동영상에 같은 종류의 객체(얼굴 객체)가 포함되더라도, 대상 동영상에 등장하는 얼굴 객체의 표정에 따라 시청자가 느끼는 감정이 변화함을 알 수 있다.

도 7의 (a)를 참고하면, 제2 대상 동영상을 시청하는 인물의 감정으로, neutral 감정과 happiness 감정 외에 sadness 감정이 우세하게 나타나는 것을 확인할 수 있다. 제2 대상 동영상의 경우 neutral 감정을 제외하면, happiness 감정과 sadness 감정이 상위 변화율 값을 기록한 감정이며 각각 0.062, 0.015를 기록했다. 상술된 변화량이 큰 감정의 변화율 값은 최하위 변화율 값 contempt 감정의 19배이다. 한편, 제2 대상 동영상에 포함된 1718개의 프레임에 포함된 객체를 판별하는 데에는 114.53분이 소요되었다.

도 7의 (b)를 참고하면, 얼굴(face)과 거미(spider)가 같이 등장한 네번째 영상 구간(47.7초~48.4초 구간)보다 거미만 등장한 다섯번째 영상 구간(710, 49.3초~50.7초 구간)에서 happiness 감정과 대응되는 값이 42.7%에서 22.5%로 줄어든 것을 볼 수 있다.

도 8은 본 발명의 일 실시예에 따른 대상 동영상에 대한 감정 분석 방법을 설명하기 위한 흐름도이다.

단계 810에서, 감정 분석 장치의 동영상 수집부는 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집할 수 있다.

일 실시예에 따르면, 대상 동영상에 대한 감정 분석 방법은 식별된 대상 동영상의 제2 프레임에 포함된 객체를 판별하는 단계를 더 포함할 수 있다. 이러한 경우, 상기 방법은 판별된 객체 및 판별된 객체와 대응하는 인물의 감정 변화 정도를 저장하고, 저장된 내용을 출력하는 단계를 더 포함할 수 있다.

단계 820에서, 감정 분석 장치의 프레임 추출부는 수집된 반응 동영상 및 대상 동영상에 포함된 각 프레임을 추출할 수 있다.

여기서 단계 820는 수집된 반응 동영상을 수신한 후, 수집된 반응 동영상 내에 포함된 인물이 반응하는 구간만 추출하는 단계인 것일 수 있다.

또한, 단계 820은 대상 동영상에서 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 판단 결과에 따라 유사한 프레임들을 병합하는 단계를 포함할 수 있다.

단계 830에서, 감정 분석 장치의 감정 분석부는 수집된 반응 동영상으로부터 추출된 제1 프레임에 포함된 인물의 표정에 기초하여 인물의 감정을 분석할 수 있다. 또한, 단계 830은 감정을 복수의 감정 항목으로 나눈 후, 제1 프레임 내 인물의 표정에 따라 복수의 감정 항목의 확률값을 도출하는 단계, 제1 프레임을 포함한 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산하는 단계 및 각 감정 항목별 평균 변화량과 제1 프레임의 상기 복수의 감정 항목의 확률값에 기초하여 인물의 감정을 분석하는 단계를 포함할 수 있다. 여기서 인물의 감정 분석 결과는, 제1 프레임의 복수의 감정 항목의 확률값 중에서 각 감정 항목별 평균 변화량보다 큰 값을 갖는 감정 항목이 있는 경우, 인물의 감정은 감정 항목인 것으로 판단하는 것일 수 있다.

단계 840에서, 감정 분석 장치의 프레임 식별부는 분석 결과에 기초하여 대상 동영상에 포함된 프레임 중에서 인물의 감정 변화를 유도하는 제2 프레임을 식별할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 실행된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

1. 대상 동영상에 관한 정보가 수신되면, 상기 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 동영상 수집부;
   상기 수집된 반응 동영상 및 상기 대상 동영상에 포함된 각 프레임을 추출하는 프레임 추출부;
   상기 수집된 반응 동영상으로부터 추출된 제1 프레임에 포함된 인물의 표정에 기초하여 상기 인물의 감정을 분석하는 감정 분석부; 및
   상기 분석 결과에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 제2 프레임을 식별하는 프레임 식별부를 포함하는 것을 특징으로 하는, 대상 동영상에 대한 감정 분석 장치.
2. 제1항에 있어서,
   상기 프레임 식별부에 의해 식별된 상기 대상 동영상의 제2 프레임에 포함된 객체를 판별하는, 객체 판별부를 더 포함하는 것을 특징으로 하는, 감정 분석 장치.
3. 제2항에 있어서,
   상기 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고 상기 저장된 내용을 출력하는, 객체 추천부를 더 포함하는 것을 특징으로 하는, 감정 분석 장치.
4. 제1항에 있어서,
   상기 동영상 수집부로부터 수집된 반응 동영상을 수신한 후, 상기 수집된 반응 동영상 내에 포함된 상기 인물이 반응을 보이는 구간만 추출하여 상기 프레임 추출부에 전달하는, 전처리부를 더 포함하는 것을 특징으로 하는, 감정 분석 장치.
5. 제1항에 있어서,
   상기 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 상기 판단 결과에 따라 유사한 프레임들을 동일 구간으로 병합하여 상기 프레임 식별부에 전달하는, 구간 분리부를 더 포함하는 것을 특징으로 하는, 감정 분석 장치.
6. 제1항에 있어서,
   상기 감정 분석부는
   감정을 복수의 감정 항목으로 나눈 후, 상기 제1 프레임의 상기 인물의 표정에 따라 상기 복수의 감정 항목의 확률값을 도출하고, 상기 제1 프레임을 포함한 상기 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산한 후, 상기 각 감정 항목별 평균 변화량과 상기 제1 프레임의 상기 복수의 감정 항목의 확률값에 기초하여 상기 인물의 감정을 분석하는 것을 특징으로 하는, 감정 분석 장치.
7. 제6항에 있어서,
   상기 인물의 감정 분석 결과는,
   상기 제1 프레임의 상기 복수의 감정 항목의 확률값 중에서 상기 각 감정 항목별 평균 변화량보다 큰 값을 갖는 감정 항목이 있는 경우, 상기 인물의 감정은 상기 감정 항목인 것으로 판단하는 것을 특징으로 하는, 감정 분석 장치.
8. 대상 동영상에 관한 정보가 수신되면, 상기 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 단계;
   상기 수집된 반응 동영상 및 상기 대상 동영상에 포함된 각 프레임을 추출하는 단계;
   상기 수집된 반응 동영상으로부터 추출된 제1 프레임에 포함된 인물의 표정에 기초하여 상기 인물의 감정을 분석하는 단계; 및
   상기 분석 결과에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 제2 프레임을 식별하는 단계를 포함하는 것을 특징으로 하는, 대상 동영상에 대한 감정 분석 방법.
9. 제8항에 있어서,
   상기 식별된 상기 대상 동영상의 제2 프레임에 포함된 객체를 판별하는 단계를 더 포함하는 것을 특징으로 하는, 대상 동영상에 대한 감정 분석 방법.
10. 제9항에 있어서,
    상기 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고, 상기 저장된 내용을 출력하는 단계를 더 포함하는 것을 특징으로 하는, 대상 동영상에 대한 감정 분석 방법.
11. 제8항에 있어서,
    상기 각 프레임을 추출하는 단계는,
    상기 수집된 반응 동영상을 수신한 후, 상기 수집된 반응 동영상 내에 포함된 상기 인물이 반응을 보이는 구간만 추출하는 단계인 것을 특징으로 하는, 대상 동영상에 대한 감정 분석 방법.
12. 제8항에 있어서,
    상기 각 프레임을 추출하는 단계는,
    상기 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 상기 판단 결과에 따라 유사한 프레임들을 병합하는 단계를 포함하는 것을 특징으로 하는, 대상 동영상에 대한 감정 분석 방법.
13. 제8항에 있어서,
    상기 인물의 감정을 분석하는 단계는,
    감정을 복수의 감정 항목으로 나눈 후, 상기 제1 프레임의 상기 인물의 표정에 따라 상기 복수의 감정 항목의 확률값을 도출하는 단계;
    상기 제1 프레임을 포함한 상기 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산하는 단계; 및
    상기 각 감정 항목별 평균 변화량과 상기 제1 프레임의 상기 복수의 감정 항목의 확률값에 기초하여 상기 인물의 감정을 분석하는 단계를 포함하는 것을 특징으로 하는, 대상 동영상에 대한 감정 분석 방법.
14. 제13항에 있어서,
    상기 인물의 감정 분석 결과는,
    상기 제1 프레임의 상기 복수의 감정 항목의 확률값 중에서 상기 각 감정 항목별 평균 변화량보다 큰 값을 갖는 감정 항목이 있는 경우, 상기 인물의 감정은 상기 감정 항목인 것으로 판단하는 것을 특징으로 하는, 대상 동영상에 대한 감정 분석 방법.
15. 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제8항 내지 제14항 중 어느 한 항에 따른 방법이 수행되는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체.

Images