KR102496010B1 - 감정 객체 분석 방법 및 장치 - Google Patents

감정 객체 분석 방법 및 장치 Download PDF

Info

Publication number
KR102496010B1
KR102496010B1 KR1020200137741A KR20200137741A KR102496010B1 KR 102496010 B1 KR102496010 B1 KR 102496010B1 KR 1020200137741 A KR1020200137741 A KR 1020200137741A KR 20200137741 A KR20200137741 A KR 20200137741A KR 102496010 B1 KR102496010 B1 KR 102496010B1
Authority
KR
South Korea
Prior art keywords
emotion
frame
person
change
video
Prior art date
Application number
KR1020200137741A
Other languages
English (en)
Other versions
KR20220053358A (ko
Inventor
김윤희
이소정
손규진
Original Assignee
숙명여자대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숙명여자대학교산학협력단 filed Critical 숙명여자대학교산학협력단
Priority to KR1020200137741A priority Critical patent/KR102496010B1/ko
Publication of KR20220053358A publication Critical patent/KR20220053358A/ko
Application granted granted Critical
Publication of KR102496010B1 publication Critical patent/KR102496010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 영상 수집부, 수집된 반응 동영상 및 대상 동영상에 포함된 각 프레임을 추출하는 프레임 추출부, 상기 수집된 반응 동영상으로부터 추출된 각 프레임에 포함된 인물의 표정에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 프레임을 식별하는 감정 분석부; 및 상기 감정 변화 정도에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 객체를 판별하고, 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 객체 분석부; 상기 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고 상기 저장된 내용을 출력하는 정보 제공부를 포함하는 감정 객체 분석 장치를 제공한다.

Description

감정 객체 분석 방법 및 장치{METHOD AND APPARATUS FOR ANALYZING SENTIMENT RELATED TO OBJECT}
본 발명은 감정 객체 분석 방법 및 장치에 관한 것으로, 구체적으로는 대상 동영상에 등장하는 객체에 대한 시청자의 감정을 분석하는 방법 및 장치에 관한 것이다.
스마트폰 보급의 확대되고, 무선 통신의 속도가 향상됨에 따라 동영상 컨텐츠에 대한 소비가 점차 증가하고 있다. 이와 함께 동영상 컨텐츠를 시청한 시청자들이 자신의 감정을 댓글과 같은 텍스트 형태 대신 동영상 형태로 표현하는 비중 역시 증가하고 있다. 여기서 시청자들이 자신의 감정을 표현하기 위해, 자신들이 동영상 컨텐츠를 시청하는 모습을 촬영하여 제작한 영상은 반응 동영상으로 지칭된다.
한편 대상 동영상을 시청한 시청자들의 감정 변화를 파악할 수 있다면, 시청자들로부터 특정 감정을 이끌어낼 수 있는 동영상 컨텐츠를 제작하는 것이 더 용이해질 수 있다. 따라서 반응 동영상 속 인물들의 감정을 빠르고 효과적으로 분석하고, 대상 동영상 내에서 시청자들이 감정적으로 반응하는 객체를 파악하여 특정 객체와 이를 시청하는 시청자의 감정과의 관계를 분석하는 기술에 관한 연구가 진행되고 있다.
본 발명은 대상 동영상에 등장하는 특정 객체에 대한 시청자의 감정을 분석하는 방법 및 장치를 제공함으로써 대상 동영상에 포함된 특정 객체와 반응 동영상 내 인물의 감정과의 관계를 분석한 결과를 도출하고자 한다.
또한, 특정 객체와 반응 동영상 내 인물의 감정과의 관계에 기초하여 감정별 객체 사전을 구축하고자 한다.
본 발명의 감정 객체 분석 장치는 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 영상 수집부, 수집된 반응 동영상 및 대상 동영상에 포함된 각 프레임을 추출하는 프레임 추출부, 상기 수집된 반응 동영상으로부터 추출된 각 프레임에 포함된 인물의 표정에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 프레임을 식별하는 감정 분석부; 및 상기 감정 변화 정도에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 객체를 판별하고, 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 객체 분석부; 상기 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고 상기 저장된 내용을 출력하는 정보 제공부를 포함한다.
일 실시예에 따르면, 정보 제공부는 미리 설정된 감정 항목에 대한 감정 변화 정도가 큰 순서대로 객체를 정렬하여 감정별 객체 사전을 생성하여 저장할 수 있다.
일 실시예에 따르면, 감정 객체 분석 장치는 영상 수집부로부터 수집된 반응 동영상을 수신한 후, 수집된 반응 동영상 내에 포함된 인물이 반응을 보이는 구간만 추출하여 프레임 추출부에 전달하는, 전처리부를 더 포함할 수 있다.
일 실시예에 따르면, 감정 객체 분석 장치는 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 판단 결과에 따라 유사한 프레임들을 동일 구간으로 병합하여 프레임 식별부에 전달하는 구간 분리부를 더 포함할 수 있다.
일 실시예에 따르면, 감정 분석부는 감정을 복수의 감정 항목으로 나눈 후, 각 프레임의 상기 인물의 표정에 따라 상기 복수의 감정 항목의 확률값을 도출하고, 각 프레임을 포함한 상기 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산한 후, 상기 각 감정 항목별 평균 변화량보다 큰 값을 갖는 프레임을 유의미한 프레임으로 분류하여 유의미한 프레임을 상기 객체 분석부에 전달하는 것일 수 있다.
일 실시예에 따르면, 객체 분석부는, 식별된 각각의 객체가 등장하는 제1 프레임의 앞뒤 프레임에 대응하는 반응 동영상의 인물의 감정 항목별 평균 변화율값을 계산한 후, 상기 각 감정 항목별 평균 변화량과 상기 제1 프레임의 상기 복수의 감정 항목의 확률값에 기초하여 상기 객체에 대한 상기 인물의 감정을 분석하는 것 일 수 있다.
일 실시예에 따르면, 객체 분석부는 상기 제1 프레임이 다중 객체를 포함하는 경우, 각각의 객체에 대하여 상기 제1 프레임의 앞뒤 프레임의 객체 등장유무에 기초하여 감정값에 미치는 객체의 순위를 설정하는 것 일 수 있다.
일 실시예에 따르면, 객체 분석부는 다중 객체의 순위 설정시, 상기 앞뒤 프레임에 해당 객체가 등장하지 않는 객체의 순위를 최우선으로 하고, 앞뒤 프레임중 어느 하나에만 해당 객체가 등장하는 객체의 순위를 차순위로 하는 것 일 수 있다.
본 발명의 다른 실시예에 따른 장치에 의한 감정 객체 분석 방법은, 대상 동영상에 관한 정보가 수신되면, 상기 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 단계; 상기 수집된 반응 동영상 및 상기 대상 동영상에 포함된 각 프레임을 추출하는 단계; 상기 수집된 반응 동영상으로부터 추출된 각 프레임에 포함된 인물의 표정에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 프레임을 식별하는 단계; 상기 감정 변화 정도에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 객체를 판별하고, 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 단계; 및 상기 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고 상기 저장된 내용을 출력하는 단계를 포함할 수 있다.
일 실시예에 따르면, 감정 객체 분석 방법은 미리 설정된 감정 항목에 대한 감정 변화 정도가 큰 순서대로 객체를 정렬하여 감정별 객체 사전을 생성하여 저장하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 각 프레임을 추출하는 단계는, 상기 수집된 반응 동영상을 수신한 후, 상기 수집된 반응 동영상 내에 포함된 상기 인물이 반응을 보이는 구간만 추출하는 단계일 수 있다.
일 실시예에 따르면, 각 프레임을 추출하는 단계는, 상기 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 상기 판단 결과에 따라 유사한 프레임들을 병합하는 단계를 포함하는 것일 수 있다.
일 실시예에 따르면, 인물의 감정 변화를 유도하는 프레임을 식별하는 단계는, 감정을 복수의 감정 항목으로 나눈 후, 상기 제1 프레임의 상기 인물의 표정에 따라 상기 복수의 감정 항목의 확률값을 도출하는 단계; 상기 제1 프레임을 포함한 상기 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산하는 단계; 및 상기 각 감정 항목별 평균 변화량보다 큰 값을 갖는 프레임을 유의미한 프레임으로 분류하는 단계를 포함하는 것일 수 있다.
일 실시예에 따르면, 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 단계는, 식별된 각각의 객체가 등장하는 제1 프레임의 앞뒤 프레임에 대응하는 반응 동영상의 인물의 감정 항목별 평균 변화율값을 계산한 후, 상기 각 감정 항목별 평균 변화량과 상기 제1 프레임의 상기 복수의 감정 항목의 확률값에 기초하여 상기 객체에 대한 상기 인물의 감정을 분석하는 것일 수 있다.
일 실시예에 따르면, 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 단계는, 상기 제1 프레임이 다중 객체를 포함하는 경우, 각각의 객체에 대하여 상기 제1 프레임의 앞뒤 프레임의 객체 등장유무에 기초하여 감정값에 미치는 객체의 순위를 설정하는 단계를 포함하는 것일 수 있다.
일 실시예에 따르면, 객체의 순위를 설정하는 단계는, 상기 앞뒤 프레임에 해당 객체가 등장하지 않는 객체의 순위를 최우선으로 하고, 앞뒤 프레임중 어느 하나에만 해당 객체가 등장하는 객체의 순위를 차순위로 하는 것일 수 있다.
본 발명은 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상술된 방법이 수행되는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체를 제공한다.
본 발명에 개시된 일 실시예에 따르면, 광고 및 홍보 관련 분야에서 컨텐츠를 시청한 시청자들이 느끼는 감정에 관하여 일일이 조사를 수행하지 않아도, 본 발명에 의해 도출되는 감정 객체 분석 결과에 따라 대상 동영상 내의 각 객체와 시청자의 감정 간의 관계를 파악할 수 있는 효과가 있다.
뿐만 아니라, 본 발명에 개시된 다른 실시예에 따르면, 컨텐츠 제작자들이 시청자들로 하여금 원하는 감정을 이끌어내고 싶을 때, 본 발명에 의해 도출되는 감정 객체 분석 결과에 기초하여 컨텐츠를 제작할 수 있다. 이러한 경우, 컨텐츠 제작자들이 원하는 시청자들의 반응을 더 쉽게 이끌어낼 수 있는 컨텐츠 제작이 가능하다.
도 1은 대상 동영상 및 반응 동영상을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 대상 동영상에 포함된 객체에 대한 반응 동영상 내 인물의 감정을 분석하는 감정 객체 분석 장치의 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 대상 동영상에 포함된 객체에 대한 반응 동영상 내 인물의 감정을 분석하는 감정 객체 분석 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 구간 분리부의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 감정 분석부가 각 감정 항목의 확률값을 도출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 감정 분석부에 의해 분석되는 대상 동영상의 감정값의 시계열 그래프이다.
도 7은 본 발명의 일 실시예에 따른 객체의 감정 영향력 분석 알고리즘의 수도코드의 일 예를 나타내는 도면이다.
도 8 내지 도 10은 본 발명의 일 실시예에 따른 감정 객체 분석 장치의 실험 결과를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 감정 객체 분석 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.
도 1은 대상 동영상 및 반응 동영상을 설명하기 위한 도면이다.
대상 동영상은 시청자가 시청하는 동영상을 의미하고, 반응 동영상은 대상 동영상을 시청하는 시청자의 모습을 촬영한 동영상을 의미한다. 종래의 시청자들은 대상 동영상에 대한 자신의 감정을 댓글과 같은 텍스트 형태로 표현하였으나, 최근 대상 동영상에 대한 자신의 감정을 동영상 형태로 표현하는 시청자들이 증가하고 있다.
본 발명의 설명에 앞서, 본 명세서에서 지칭하는 감정 객체는 해당 객체에 대하여 특정 감정을 유발하는 객체를 의미한다.
도 1은 대상 동영상(120)과 대상 동영상(120)을 시청하는 시청자(115)의 모습이 촬영된 반응 동영상(110)의 일 예를 나타낸 도면이다. 도 1을 참고하면, 대상 동영상(120)이 여가수(125)의 뮤직 비디오인 경우 대상 동영상(120)을 시청하는 시청자(115)는 자신의 즐거운 감정을 반응 동영상(110)을 통해 표현할 수 있다. 이때 대상 동영상(120)에 등장하는 여가수(125)는 대상 동영상에 포함된 하나의 객체로 볼 수 있다.
본 발명의 일 실시예에 따른 대상 동영상을 시청하는 반응 동영상 내 인물의 감정에 기초하여 감정 객체 분석 방법 및 장치는 대상 동영상에 대한 반응 동영상을 수집한 후, 반응 동영상 내 인물의 감정 변화량을 측정하여, 측정 결과에 따라 대상 동영상에 포함된 복수의 객체 중에서, 시청자로부터 특정 감정을 유도하는 특정 객체를 판별하여, 각 객체에 대한 각 감정 항목 간의 관계를 분석할 수 있다. 또한, 각 객체에 대한 감정 항목 간의 관계에 기초하여 정의된 감정별 객체 사전을 구축할 수 있다.
도 2는 본 발명의 일 실시예에 따른 대상 동영상에 포함된 객체에 대한 반응 동영상 내 인물의 감정을 분석하는 감정 객체 분석 장치의 블록도이다.
일 실시예에 따른 감정 객체 분석 장치(200)는 영상 수집부(210), 프레임 추출부(220), 감정 분석부(230), 객체 분석부(240) 및 정보 제공부(250)를 포함할 수 있다. 감정 객체 분석 장치(200)에 포함된 구성요소는 설명의 편의를 위해 기능으로 구분되어 있으나, 일부 구성요소를 병합하여 하나의 구성요소로 할 수 있으며, 감정 객체 분석 장치(200)가 이외 다른 구성요소를 더 포함할 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
영상 수집부(210)는 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집할 수 있다. 이때 영상 수집부(210)는 대상 동영상에 대한 하나 이상의 반응 동영상을 수집할 수 있다. 또한, 영상 수집부(210)가 수신하는 대상 동영상에 관한 정보는 대상 동영상 자체이거나 대상 동영상의 위치를 나타내는 URL(Uniform Resource Locator)일 수 있다.
프레임 추출부(220)는 대상 동영상 및 반응 동영상 중 적어도 하나를 소정의 시간 간격으로 분리하여 프레임을 추출할 수 있다. 예를 들어, 프레임 추출부(220)는 대상 동영상 및 반응 동영상에 대하여 각각 0.1초 간격으로 jpg 형식의 프레임을 추출할 수 있다.
감정 분석부(230)는 수집된 반응 동영상으로부터 추출된 각 프레임에 포함된 인물의 표정에 기초하여 상기 인물의 감정을 분석하여 감정 변화 정도를 분석한다.
일 실시예에서, 감정 분석부(230)는 표정 분석 모듈(232)과 감정 변화량 측정 모듈(234)을 포함할 수 있다.
표정 분석 모듈(232)은 수집된 반응 동영상으로부터 추출된 제1 프레임에 포함된 인물의 표정에 기초하여 인물의 감정을 분석할 수 있다.
일 실시예에 따른 표정 분석 모듈(232)은 감정을 복수의 감정 항목으로 나눈 후, 제1 프레임 내 인물의 표정에 따라, 복수의 감정 항목의 확률값을 도출한다.
감정 변화량 측정 모듈(234)은 도출된 감정의 확률값에 기초하여 시계열 그래프를 생성하고 감정 변화량을 측정한다. 각 감정별로 평균 변화량을 도출하여, 이보다 큰 변화량을 가진 구간(또는 프레임) 유의미하다고 판단하여 선별한다. 선별된 구간(또는 프레임)의 모든 프레임 이미지를 객체 분석부(240)에 전달한다.
객체 분석부(240)는 상기 감정 변화 정도에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 객체를 판별하고, 판별된 객체의 상기 인물의 감정 변화 정도를 정량화한다.
객체 분석부(240)는 객체 판별 모듈(242) 및 객체 감정값 추출 모듈(244)을 포함할 수 있다.
일 실시예에 따른 객체 판별 모듈(242)은 감정 변화량 측정 모듈(234)에서 선별된 유의미한 프레임에 포함된 객체를 추출한다. 객체 판별 모듈(242)은 딥러닝 알고리즘에 기초하여 동작이 수행될 수 있다.
일 실시예에 따른 객체 감정값 추출 모듈(244)은 객체가 감정에 미치는 영향력을 분석하여 판별된 객체의 상기 인물의 감정 변화 정도를 정량화한다.
정보 제공부(250)는 객체 분석부(240)에서 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고 상기 저장된 내용을 출력한다.
일 실시예에 따른 정보 제공부(250)는 미리 설정된 감정 항목에 대한 감정 변화 정도가 큰 순서대로 객체를 정렬하여 감정별 객체 사전을 생성하여 저장한다.
감정별 객체 사전은 대상 동영상을 분류한 카테고리, 감정항목별 객체명, 각 객체의 감정 변화율, 객체의 순위 등을 포함한다. 객체의 순위에 대하여는 도 9를 참조하여 후술하기로 한다.
도 3은 본 발명의 다른 실시예에 따른 대상 동영상에 포함된 객체에 대한 반응 동영상 내 인물의 감정을 분석하는 감정 객체 분석 장치를 설명하기 위한 도면이다.
본 발명의 다른 실시예에 따른 감정 객체 분석 장치(300)는 영상 수집부(310), 전처리부(315), 프레임 추출부(320), 구간 분리부(325), 감정 분석부(330), 객체 분석부(340) 및 정보 제공부(270)를 포함할 수 있다. 감정 객체 분석 장치(300)에 포함된 구성요소는 설명의 편의를 위해 기능으로 구분되어 있으나, 일부 구성요소를 병합하여 하나의 구성요소로 할 수 있으며, 감정 객체 분석 장치(200)가 이외 다른 구성요소를 더 포함할 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
도 3을 참고하면 감정 객체 분석 장치(300)의 영상 수집부(310)는 분석하고자 하는 대상 동영상에 관한 정보가 수신되면 대상 동영상과 그에 대응하는 반응 동영상을 수집할 수 있다.
이때, 수집된 반응 동영상은 전처리부(315)에 전달될 수 있으며, 전처리부(315)는 반응 동영상 내 인물이 대상 동영상에 대해서 반응하는 모습이 포함된 반응 동영상의 일 부분을 추출하여 프레임 추출부(320)에 전달할 수 있다. 이에 따라 감정 객체 분석 장치(300)는 대상 동영상에 반응하는 인물이 포함된 반응 동영상의 일 부분에 대해서만 감정 분석을 수행할 수 있기 때문에, 소비자원량을 감소시킬 수 있는 효과가 있다.
프레임 추출부(320)는 대상 동영상 및 반응 동영상 중 적어도 하나를 소정의 시간 간격으로 분리하여 프레임을 추출할 수 있다. 예를 들어, 프레임 추출부(320)는 대상 동영상 및 반응 동영상에 대하여 각각 0.1초 간격으로 jpg 형식의 프레임을 추출할 수 있다.
이후 구간 분리부(325)는 프레임 추출부(320)로부터 대상 동영상의 각 프레임을 수신하고 대상 동영상에 포함된 프레임들 간의 유사도에 기초하여, 유사한 프레임들을 동일 구간으로 병합하여 감정 분석부(330)에 전달할 수 있다. 구간 분리부(325)를 통해 대상 동영상의 유사한 프레임들이 동일 구간으로 병합되는 경우, 대상 동영상에서 분석에 필요한 프레임의 수는 감소하기 때문에, 소비 자원량을 감소시킬 수 있는 효과가 있다.
한편 대상 동영상의 프레임들 간의 유사도를 판단하는 기준은 아래에서 자세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 구간 분리부의 동작을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 구간 분리부(도 3의 325)는 OpenCV의 SIFT 알고리즘에 기초하여 수행될 수 있으나, 구간 분리부(도 3의 325)에 활용될 수 있는 알고리즘이 이에 제한되지 않음은 당해 기술분야의 통상의 기술자에게 자명하다.
만약 구간 분리부(도 3의 325)가 OpenCV의 SIFT 알고리즘에 기초하는 경우, 프레임 추출부(도 3의 320)에 의해 추출된 대상 동영상의 전후(前後) 프레임에 포함된 객체들이 동일한 배경에서 크기만 변하거나 회전된 정도라면, 해당 전후 프레임은 유사한 프레임으로 판단되어 동일 구간으로 병합될 수 있다.
도 4를 참고하면, 대상 동영상에 포함된 전(前) 프레임의 객체(410)와 후(後) 프레임의 객체(420)가 동일한 배경 상에서 변화가 거의 없으므로 구간 분리부(325)에 의해 도 4의 전후 프레임은 동일 구간으로 병합되어 감정 분석부(도 3의 340)에 전달될 수 있다.
다시 도 3을 참고하면, 감정 분석부(330)는 반응 동영상에 등장하는 인물의 표정을 8가지 감정 항목으로 나누어 각 프레임 내 인물의 각 감정 항목의 확률값을 도출할 수 있다. 한편, 인물의 표정을 복수의 감정 항목으로 나누어 각 감정 항목의 확률값을 도출하는 방법은 이하에서 자세하게 설명한다.
도 5는 본 발명의 일 실시예에 따른 감정 분석부가 각 감정 항목의 확률값을 도출하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 감정 분석부(도 3의 330)는 반응 동영상 속 인물의 감정을 분석하기 위해 Microsoft Azure의 Face API를 활용할 수 있으나, 감정 분석부(도 3의 330)가 활용할 수 있는 알고리즘이 이에 제한되지 않음은 당해 기술분야의 통상의 기술자에게 자명하다.
예를 들어, Face API 알고리즘을 이용하여 도 5의 (a)의 프레임에 포함된 인물의 감정 항목의 확률값을 도출하면 도 5의 (b)와 같은 결과를 얻을 수 있다. 도 5의 (b)를 참고하면, Face API 알고리즘을 통해 도출되는 감정 항목은 분노(anger), 즐거움(happniess), 슬픔(sadness), 혐오감(disgust), 경멸(contempt), 공포(fear), 놀람(surprise), 자제된 감정(neutral)을 포함할 수 있으며, 각 감정 항목의 확률 값은 0과 1사이의 정수 값으로 표현될 수 있다. 그러나, 상술된 감정 항목의 수와 감정 항목의 구체적인 내용은 이에 제한되지 않는다.
본 발명의 일 실시예에 따른 감정 객체 분석 장치(도 3의 300)은 프레임 추출부(도 3의 320)에 의해 추출된 반응 동영상의 각 프레임을 순서대로 Face API 알고리즘에 입력함으로써, 각 프레임에 포함된 인물에 관하여 8가지 감정의 확률값을 획득할 수 있다. 이후 구간 분리부(도 3의 325)로부터 수신된 대상 동영상의 분리된 구간을 기준으로 구간별 평균 감정 확률값을 계산할 수 있다.
다시 도 3을 참고하면, 감정 분석부(330)는 반응 동영상의 각 프레임에 포함된 인물의 각 감정 항목의 확률값에 기초하여 시계열 그래프를 생성하고 감정 변화량을 측정할 수 있다.
또한 반응 동영상의 복수의 프레임에 대하여 각 감정 항목별 평균 변화량을 도출하여, 각 프레임에 대한 감정 항목의 확률값이 평균 변화량보다 큰 변화량을 가지는 경우, 이에 대응하는 대상 동영상의 프레임을 감정 변화를 유도하는 프레임으로 식별한다.
이후 감정 객체 분석 장치(300)는 감정 변화를 유도하는 것으로 식별된 대상 동영상의 프레임을 객체 분석부(340)에 전송한다.
도 6은 본 발명의 일 실시예에 따른 감정 분석부에 의해 분석되는 대상 동영상의 감정값의 시계열 그래프이다. 도 6의 그래프에서 x축은 영상의 구간을 나타내고, y축은 감정 정도(감정 정량화 값)을 나타낸다.
한편, 도 6에 도시된 그래프의 각 감정 항목에 대응하는 색상은 표 1과 같다.
감정 색상 감정 색상
anger 파란색 happiness 보라색
contempt 초록색 neutral 연두색
disgust 빨간색 sadness 검은색
fear 하늘색 surprise 주황색
도 6의 (a)에서는 neutral 감정을 제외하고, happy 감정이 우세한 것을 볼 수 있다. 또한, 도 6의 (a)에서 초반에는 happy 감정이 큰 반면, 시간이 흐를수록 happy의 값이 감소하고, anger와 surprise의 감정이 크게 증가하였다가 다시 happy의 값이 커지는 감정의 흐름을 관측할 수 있다. 도 6의 (b)에서는 전체적으로 모든 감정의 값이 크게 요동치는 것을 관찰 할 수 있다. 또한 도 6의 (b)에서는 sadness의 값이 전체적으로 많이 분포되어있음을 보아 대상 동영상이 대체적으로 암울한 분위기임을 살필 수 있다.
다시 도 3을 참고하면, 객체 분석부(340)는 유의미한 프레임에 등장하는 객체를 추출한다. 이때, 일 실시예에 따른 객체 분석부(340)는 대상 동영상의 해당 프레임에서 객체를 검출하기 위해 YOLO 알고리즘을 적용할 수 있으나, 객체 검출을 위해 활용될 수 있는 알고리즘은 이에 제한되지 않는다.
또한, 일 실시예에 따른 객체 분석부(340)는 객체가 감정에 미치는 영향력을 분석하여 판별된 객체의 상기 인물의 감정 변화 정도를 정량화한다.
객체 분석부(340)는 유의미한 구간에 등장하는 객체가 감정에 미치는 영향력을 분석하기 위해서는 앞뒤 구간(또는 프레임)에 대응하는 반응 동영상의 인물(시청자)의 감정의 변화율을 분석하여야 한다.
도 7은 본 발명의 일 실시예에 따른 객체의 감정 영향력 분석 알고리즘의 수도코드의 일 예를 나타내는 도면이다.
도 7을 참조하면 알 수 있는 바와 같이, 감정 영향력 분석 알고리즘은 앞뒤 구간의 객체 등장유무에 기초하여 객체의 감정값을 분석한다. 보다 구체적으로 감정 영향력 분석 알고리즘은 앞뒤 구간의 객체 개수와 비교하여 앞뒤에 존재, 앞이나 뒤 중 하나만 존재, 둘 다 존재하지 않음의 3가지로 분류한 후, 분류된 구간에서의 감정값을 추출한다.
먼저, 입력 데이터는 유의미한 구간의 번호와 모든 구간에 대한 문자열 정보이다. 모든 구간에 대해서 구간별 객체의 1차원 배열들의 집합으로 2차원 배열을 구성하여 객체 배열을 만든다. 그 후, 모든 유의미한 구간에 대해서 객체가 존재한다면 앞 뒤 구간을 살핀다. 해당 구간에서 검출된 객체에 대해서 3가지로 분류하는데 앞뒤 모든 구간에서 등장하였을 경우 "AllSection", 앞뒤 중 하나의 구간에서만 등장하였을 경우 "FrontOrRearSection", 앞뒤 어느 구간에도 등장하지 않았을 경우 "NotAnySection"으로 분류한다. 해당 구간의 객체 가"AllSection"으로 분류 될 경우, 해당 구간의 유의미한 감정 변화율이 검출된 객체로 인한 것이라고 판단하여 객체를 제거한다. 해당 구간의 객체가 "FrontOrRearSection"으로 분류될 경우, 앞뒤 구간 중 해당 객체가 등장하지 않은 구간과의 감정 변화율 값을 계산하여 객체의 감정값 추출기에 적용한다. 해당 구간의 객체가 "NotAnySection"으로 분류될 경우, 앞뒤 구간 모두의 감정 변화율값을 계산하여 이를 평균 내어 객체의 감정값 추출기에 적용한다. 또한, 객체가 1개 이상인 다중 객체의 경우 분류된 카테고리에 따라서 "NotAnySection", "FrontOrRearSection", "AllSection" 순으로 높은 값을 적용하여 순위를 매긴다.
다시 도 3으로 되돌아와서, 정보 제공부(350)는 객체 분석부(340)에서 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고, 필요에 따라 상기 저장된 내용을 출력한다.
또한, 일 실시예에 따른 정보 제공부(350)는 미리 설정된 감정 항목에 대한 감정 변화 정도가 큰 순서대로 객체를 정렬하여 감정별 객체 사전을 생성하여 저장하고, 필요에 따라 상기 저장된 내용을 출력한다.
한편, 상술된 예시와 같이 분석된 결과를 테이블 형태로 저장하면, 컨텐츠 내의 각 객체에 대응하는 감정 항목별 추천도를 목록화하여 사용자에게 제공할 수 있다.
도 8 내지 도 10은 본 발명의 일 실시예에 따른 감정 객체 분석 장치의 실험 결과를 설명하기 위한 도면이다.
도 8 내지 도 10의 결과를 도출하기 위해, 객체 분석부를 포함하는 딥러닝 서버 1대를 활용하였다. 해당 서버의 사양은 Intel Xeon E5-2630V3, 옥타 코어, 캐시는 20MB이며 속도는 2.4GHz이다. 실험을 위해 사용된 소프트웨어는 Python 3.5이고, 객체 분석부의 딥러닝 학습을 위해 YOLO v2, CUDA 8.0, cuDNN v5.1을 사용하고 구간 분리부 구현을 위한 소프트웨어로는 OpenCV 3.2버전을 사용하였다.
실험에서 대상 동영상은 ‘아이유 - 팔레트'뮤직 비디오(이하 '제1 대상 동영상'), ‘태연 - something new' 뮤직 비디오(이하 '제2 대상 동영상'), ‘방탄소년단 - 쩔어' 뮤직 비디오(이하 '제3 대상 동영상'), ‘빌리 아일리시 - Bury a friend' 뮤직 비디오(이하 '제4 대상 동영상') 및‘marshmello - happier' 뮤직 비디오(이하 '제5 대상 동영상')이다.
도 8은 5개의 대상 동영상에 대하여, 각각 10개의 반응 동영상의 인물이 각 대상 동영상 시간 순서에 따라 나타내는 8가지 감정 항목별 평균 변화량을 계산하고, SIFT 알고리즘으로 나누어진 구간별로 다시 평균을 내서 표시한 구간별 시계열 감정값 그래프이다. 프레임의 유사도에 따라 일부 프레임들이 동일 구간으로 병합되었기 때문에, 대상 동영상에 따른 유의미한 구간의 개수를 표 2에 나타낸 바와 같이, 제1 대상 동영상은 57개의 구간, 제2 대상 동영상은 13개의 구간, 제3 대상 동영상은 29개의 구간, 제4 대상 동영상은 91개의 구간, 제5 대상 동영상은 90개의 구간으로 나누어진다.
Content 유의미한 구간
한국 가수 IU - palette(제1 동영상) 57
Taeyeon - something new(제2 동영상) 13
BTS - dope(제3 동영상) 29
외국 가수 Bilie Eilish - Bury a friend(제4 동영상) 91
marshmello - happier(제5 동영상) 90
도 8의 (a)는 '아이유 - 팔레트' 뮤직비디오의 유의미한 구간 막대그래프이다. 제1 동영상은 표 2에 도시한 바와 같이, 57개의 유의미한 구간을 갖는다. 57개의 유의미한 구간에서 전체적으로 happiness와 sadness 값이 큰 것을 볼 수 있다. 특히 프레임 1300 이후로 happiness 값이 급격히 커지는 것을 볼 수 있는데 이 구간은 해당 가수의 face 부분이 대부분을 차지하기 때문인 것으로 보인다.
도 8의 (b)는 '태연 - something new'뮤직비디오의 유의미한 구간 막대그래프이다. 태연 - something new' 뮤직비디오는 표 2에 도시한 바와 같이, 57개의 유의미한 구간을 갖는다. 57개의 유의미한 구간에서 happiness, sadness, surprise가 전체적으로 큰 부분을 차지한다. 해당 콘텐츠의 유의미한 구간은 총 5개로 다른 콘텐츠에 비해 적은 유의미한 구간을 가진 것으로 보아 전체적으로 감정변화가 급격하지 않은 잔잔한 분위기로 추정된다. 유의미한 구간들 중 특히 첫번째 구간인 136~151 구간의 surprise가 가장 큰 값을 보이는데 해당 구간에 총이 등장하기 때문에 시청자의 감정이 surprise를 보이는 것으로 추정된다.
도 8의 (c)는 ‘방탄소년단 - 쩔어' 뮤직비디오의 유의미한 구간 막대그래프이다. 제3 동영상은 표 2에 도시한 바와 같이, 29개의 유의미한 구간을 갖는다. 29개의 유의미한 구간에서 전체적으로 happiness, sadness, surprise 감정이 큰 것을 알 수 있다. 제3 동영상은 다른 대상 동영상과 달리 가수의 얼굴이 대부분을 차지하므로, 제3 동영상을 시청하는 반응 동영상 내의 인물(시청자)의 감정의 변화는 시청자의 가수 선호도에 따른 것으로 추정된다.
도 8의 (d)는 빌리 아일리시 - Bury a friend'뮤직비디오의 유의미한 구간 막대그래프이다. 제4 동영상은 표 2에 도시된 바와 같이, 91개의 유의미한 구간을 갖는다. 제4 동영상은 유의미한 구간의 수가 많은 것을 보아 시청자의 감정 변화가 큰 것을 알 수 있다. 또한, 제4 동영상은 다른 대상 콘텐츠에 비해 시청자의 감정값 또한 다양하게 등장함을 알 수 있다.
도 8의 (e)는 'marshmello - happier'뮤직비디오의 유의미한 구간 막대그래프이다. 제4 동영상은 표 2에 도시된 바와 같이, 91개의 유의미한 구간을 갖는다. 도 8의 (e)는 이 그래프 또한 유의미한 구간의 수가 많은 것을 보아 시청자의 감정 변화가 큰 것을 알 수 있다. 전체적으로는 happiness, sadness, surprise의 감정이 큰 것을 알 수 있다. 특히 초반 부분의 happiness 값이 큰 값을 보이는데 이는 해당 구간이 생일 파티 장면이기 때문이라고 추정할 수 있다.
도 9는 본 발명의 제1 대상 동영상 및 제4 대상 동영상의 유의미한 구간 중 제1 구간의 대표 이미지를 나타낸 도면이고, 도 10은 본 발명의 제1 동영상 및 제4 동영상의 제1 구간의 연속적인 앞 뒤 구간의 감정값 막대 그래프이다.
도 9의 (a)는 본 발명의 제1 대상 동영상의 유의미한 구간 중 하나인 835~841의 대표 이미지를 나타낸 도면이고, 도 9의 (b)는 본 발명의 제4 대상 동영상의 유의미한 구간 중 하나인 177~196 의 대표 이미지를 나타낸 도면이다.
도 10의 (a)는 도 9의 (a)의 제1 구간의 연속적인 앞 뒤 구간의 감정값 막대그래프이고, 도 10의 (b)는 도 9의 (b)의 제1 구간의 연속적인 앞 뒤 구간의 감정값 막대그래프이다.
도 9의 (a)와 도 10의 (a)를 참조하면, 제1 대상 동영상 제1 구간의 감정 변화율을 계산하면, natural을 제외한 모든 감정에서 음수가 나온다. 따라서 제1 대상 동영상 제1 구간은 유의미한 구간으로 선정되었음에도 불구하고 유의미한 감정을 가진 객체가 존재하지 않는다고 판단된다.
이를 통해, 대상 동영상에 유의미한 구간으로 선정된 경우에도 유의미한 감정을 가진 객체가 존재하지 않을 수도 있음을 알 수 있다.
도 9의 (b)와 도 10의 (b)를 참조하면, 제4 대상 동영상 제1 구간은 총 4개의 객체가 등장하는 다중 객체 구간이다. flower, balloon, cone_hat의 경우 앞뒤 어느 구간에서도 등장하지 않기 때문에 1/4의 순위를 갖고, ribbon의 경우 앞 프레임에서도 등장하므로 4/4의 순위를 갖는다. 또한 앞의 구간과 비교하였을 때 happiness의 감정값이 15.494(%)만큼 증가하였는데, 이는 새로 등장한 flower, balloon, cone_hat의 객체의 감정값 변화율이라고 예측할 수 있다.
이를 통해 대상 동영상의 유의미한 제1 구간에 다중 객체가 포함되는 경우, 유의미한 제1 구간에 연속하는 앞 뒤 구간에서의 각 객체의 유무에 따라 우선 순위를 갖는다. 이 때 앞뒤 구간과 비교하여 새로 등장한 객체가 최우선 순위를 갖고, 앞뒤 구간과 비교하여 앞뒤 중 어느 하나에만 등장하는 객체는 차순위를 갖는다.
도 11은 본 발명의 일 실시예에 따른 감정 객체 분석 방법을 설명하기 위한 흐름도이다.
단계 810에서, 감정 객체 분석 장치의 영상 수집부는 대상 동영상에 관한 정보가 수신되면, 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집할 수 있다.
단계 820에서, 감정 객체 분석 장치의 프레임 추출부는 수집된 반응 동영상 및 대상 동영상에 포함된 각 프레임을 추출할 수 있다.
여기서 단계 820는 수집된 반응 동영상을 수신한 후, 수집된 반응 동영상 및 상기 대상 동영상에 포함된 각 프레임을 추출한다.
또한, 단계 820은 수집된 반응 동영상 내에 포함된 인물이 반응하는 구간만 추출하는 단계를 포함할 수 있다.
또한, 단계 820은 대상 동영상에서 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 판단 결과에 따라 유사한 프레임들을 병합하는 단계를 포함할 수 있다.
단계 830에서, 수집된 반응 동영상으로부터 추출된 각 프레임에 포함된 인물의 표정에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 프레임을 식별할 수 있다.
일 실시예에서, 단계 830에서, 감정 객체 분석 장치의 감정 분석부는 수집된 반응 동영상으로부터 추출된 각 프레임에 포함된 인물의 표정에 기초하여 인물의 감정을 분석할 수 있다. 또한, 단계 830은 감정을 복수의 감정 항목으로 나눈 후, 각 프레임 내 인물의 표정에 따라 복수의 감정 항목의 확률값을 도출하는 단계, 각 프레임을 포함한 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산하는 단계, 각 감정 항목별 평균 변화량과 각 프레임의 상기 복수의 감정 항목의 확률값에 기초하여 인물의 감정을 분석하는 단계, 및 분석 결과에 기초하여 대상 동영상에 포함된 프레임 중에서 인물의 감정 변화를 유도하는 프레임을 식별하는 단계를 포함할 수 있다. 여기서 인물의 감정 분석 결과는, 각 프레임의 복수의 감정 항목의 확률값 중에서 각 감정 항목별 평균 변화량보다 큰 값을 갖는 감정 항목이 있는 경우, 인물의 감정은 감정 항목인 것으로 판단하는 것일 수 있다.
단계 840에서, 감정 객체 분석 장치의 객체 추출부는 식별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고, 상기 저장된 내용을 출력할 수 있다.
단계 850에서, 감정 객체 분석 장치의 정보 제공부는 식별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고, 상기 저장된 내용을 출력할 수 있다. 또한, 단계 580에서, 상기 정보 제공부는 미리 설정된 감정 항목에 대한 감정 변화 정도가 큰 순서대로 객체를 정렬하여 감정별 객체 사전을 생성하여 저장할 수 있다.
감정별 객체 사전은, 컨텐츠 내의 각 객체에 대응하는 감정 항목별 추천도를 목록화한 테이블 형태로 제공될 수 있다.
본 발명의 일 실시예에 따른 제1 대상 동영상 내지 제5 대상 동영상에 등장하는 객체에 대해서 감정 영향력을 분석한 감정별 객체 사전의 일부는 표 3과 같이 나타낸다.
감정 객체 감정 변화율(%) 순위
(Rank)
한국가수 contempt neon_sign 2.30 1/1
disgust magnetic_tape 2.73 1/1
neon_sign 1.79 1/1
happiness umbrella 19.30 1/3
camera 19.30 1/3
orange 14.67 1/1
sadness neon_sign 14.74 1/1
lip 3.80 1/2
lipstick 3.80 1/2
surprise gun 7.86 1/1
phone 1.31 1/1
외국 가수 anger hand 0.79 1/1
shoes 0.45 1/1
contempt shoes 0.81 1/1
fear bed 0.74 1/3
happiness picture 11.65 1/3
cake 11.30 1/3
cone_hat 9.99 1/3
sadness syringe 2.9 1/1
soccer_ball 1.96 1/2
bed 1.87 1/3
surprise soccer_ball 5.69 1/2
bed 5.22 1/3
dog 4.18 1/1
일 실시예에 따른 감정별 객체 사전은 한국가수와 외국가수라는 2개의 카테고리에 대해서 7가지 감정값에 대하여 감정 변화율값이 높은 순서대로 객체를 정렬하여 생성하였다
유의미한 제1 구간에 등장하는 객체를 추출하여 유의미한 제1 구간 앞 뒤의 객체의 등장여부에 따라 순위(rank)를 도출한다. 객체의 감정이 동일한 객체가 여러 구간에서 등장하는 경우, 감정 변화율의 평균을 구한다.
표 3에서 알 수 있는 바와 같이, 감정 변화율의 평균이 가장 큰 happiness 감정의 경우 한국 가수 카테고리의 umbrella, camera, orange 객체의 감정에 대해서 각각 19.30%, 19.3%, 14.67%, 외국 가수 카테고리의 picture, cake, cone_hat 객체의 감정에 대해서 각각 11.65%, 11.30%, 9.99%의 감정 변화율을 보인다. 감정 변화율의 평균이 두 번째로 큰 sadness의 경우는 한국 가수 카테고리의 neon_sign, lip, lipstick 객체의 감정에 대해서 각각 14.74%, 3.80, 3.80%, 외국 가수 카테고리의 syringe, soccer_ball, bed 객체의 감정에 대해서 각각 2.9%, 1.96%, 1.87%의 감정 변화율을 보인다.
이와 같이, 한국의 대상 동영상의 반응도가 높게 나타났고 외국의 대상 동영상은 이에 비해 상대적으로 반응도가 낮게 나타났다. 즉, 객체를 활용한 콘텐츠 제작 시에 한국 대상 동영상의 객체 감정 사전을 이용하는 것이 효과가 더 클 것으로 기대된다.
예를 들어, 표 1에 도시한 바와 같은, 감정별 객체 사전을 참고하면, 한국인을 대상으로 하는 영상을 제작하는 경우, 행복에 대한 감정을 영상에서 표현하고자 하는 경우, 우산, 카메라, 오렌지 등을 영상에 추가하는 것을 추천할 수 있다.
다른 예를 들어, 외국인을 대상으로 하는 영상을 제작하는 경우, 행복에 대한 감정을 영상에서 표현하고자 하는 경우, 그림, 케이크, 모자 등을 영상에 추가하는 것을 추천할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 실행된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 하나 이상의 객체를 포함하는 대상 동영상에 관한 정보가 수신되면, 상기 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 영상 수집부;
    수집된 반응 동영상 및 상기 대상 동영상에 포함된 각 프레임을 추출하는 프레임 추출부;
    상기 수집된 반응 동영상으로부터 추출된 각 프레임에 포함된 인물의 표정에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 프레임을 식별하는 감정 분석부; 및
    상기 감정 변화 정도에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 객체를 판별하고, 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 객체 분석부;
    상기 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고 상기 저장된 내용을 출력하는 정보 제공부
    를 포함하고,
    상기 감정 분석부는
    감정을 복수의 감정 항목으로 나눈 후, 각 프레임의 상기 인물의 표정에 따라 상기 복수의 감정 항목의 확률값을 도출하고, 각 프레임을 포함한 상기 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산한 후, 상기 각 감정 항목별 평균 변화량보다 큰 값을 갖는 프레임을 유의미한 프레임으로 분류하는 감정 객체 분석 장치.
  2. 제1항에 있어서,
    상기 정보 제공부는 미리 설정된 감정 항목에 대한 감정 변화 정도가 큰 순서대로 객체를 정렬하여 감정별 객체 사전을 생성하여 저장하는 것을 특징으로 하는, 감정 객체 분석 장치.
  3. 제1항에 있어서,
    상기 영상 수집부로부터 수집된 반응 동영상을 수신한 후, 상기 수집된 반응 동영상 내에 포함된 상기 인물이 반응을 보이는 구간만 추출하여 상기 프레임 추출부에 전달하는, 전처리부를 더 포함하는 것을 특징으로 하는, 감정 객체 분석 장치.
  4. 제1항에 있어서,
    상기 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 상기 판단 결과에 따라 유사한 프레임들을 동일 구간으로 병합하여 상기 감정 분석부에 전달하는, 구간 분리부를 더 포함하는 것을 특징으로 하는, 감정 객체 분석 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 객체 분석부는,
    식별된 각각의 객체가 등장하는 제1 프레임의 앞뒤 프레임에 대응하는 반응 동영상의 인물의 감정 항목별 평균 변화율값을 계산한 후, 상기 각 감정 항목별 평균 변화량과 상기 제1 프레임의 복수의 감정 항목의 확률값에 기초하여 상기 객체에 대한 상기 인물의 감정을 분석하는 것을 특징으로 하는, 감정 객체 분석 장치.
  7. 제6항에 있어서,
    상기 객체 분석부는 상기 제1 프레임이 다중 객체를 포함하는 경우, 각각의 객체에 대하여 상기 제1 프레임의 앞뒤 프레임의 객체 등장유무에 기초하여 감정값에 미치는 객체의 순위를 설정하는 것을 특징으로 하는, 감정 객체 분석 장치.
  8. 제7항에 있어서,
    상기 객체 분석부는 다중 객체의 순위 설정시, 상기 앞뒤 프레임에 해당 객체가 등장하지 않는 객체의 순위를 최우선으로 하고, 앞뒤 프레임중 어느 하나에만 해당 객체가 등장하는 객체의 순위를 차순위로 하는 것을 특징으로 하는, 감정 객체 분석 장치.
  9. 장치에 의한 감정 객체 분석 방법으로서,
    대상 동영상에 관한 정보가 수신되면, 상기 대상 동영상을 시청하는 인물이 촬영된 반응 동영상을 수집하는 단계;
    상기 수집된 반응 동영상 및 상기 대상 동영상에 포함된 각 프레임을 추출하는 단계;
    상기 수집된 반응 동영상으로부터 추출된 각 프레임에 포함된 인물의 표정에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 프레임을 식별하는 단계;
    상기 감정 변화 정도에 기초하여 상기 대상 동영상에 포함된 프레임 중에서 상기 인물의 감정 변화를 유도하는 객체를 판별하고, 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 단계; 및
    상기 판별된 객체 및 상기 판별된 객체와 대응하는 상기 인물의 감정 변화 정도를 저장하고 상기 저장된 내용을 출력하는 단계
    를 포함하고,
    상기 인물의 감정 변화를 유도하는 프레임을 식별하는 단계는,
    감정을 복수의 감정 항목으로 나눈 후, 제1 프레임의 상기 인물의 표정에 따라 상기 복수의 감정 항목의 확률값을 도출하는 단계;
    상기 제1 프레임을 포함한 상기 반응 동영상 내 복수의 프레임의 각 감정 항목별 평균 변화량을 계산하는 단계; 및
    상기 각 감정 항목별 평균 변화량보다 큰 값을 갖는 프레임을 유의미한 프레임으로 분류하는 단계를 포함하는, 감정 객체 분석 방법.
  10. 제9항에 있어서,
    미리 설정된 감정 항목에 대한 감정 변화 정도가 큰 순서대로 객체를 정렬하여 감정별 객체 사전을 생성하여 저장하는 단계
    를 포함하는, 감정 객체 분석 방법.
  11. 제9항에 있어서,
    상기 각 프레임을 추출하는 단계는,
    상기 수집된 반응 동영상을 수신한 후, 상기 수집된 반응 동영상 내에 포함된 상기 인물이 반응을 보이는 구간만 추출하는 단계인 것을 특징으로 하는, 감정 객체 분석 방법.
  12. 제9항에 있어서,
    상기 각 프레임을 추출하는 단계는,
    상기 대상 동영상으로부터 추출된 프레임들에 대하여, 각 프레임에 등장하는 객체에 기초하여 추출된 프레임들 간의 유사도를 판단하고, 상기 판단 결과에 따라 유사한 프레임들을 병합하는 단계를 포함하는 것을 특징으로 하는, 감정 객체 분석 방법.
  13. 삭제
  14. 제9항에 있어서,
    상기 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 단계는,
    식별된 각각의 객체가 등장하는 제1 프레임의 앞뒤 프레임에 대응하는 반응 동영상의 인물의 감정 항목별 평균 변화율값을 계산한 후, 상기 각 감정 항목별 평균 변화량과 상기 제1 프레임의 상기 복수의 감정 항목의 확률값에 기초하여 상기 객체에 대한 상기 인물의 감정을 분석하는 것을 특징으로 하는, 감정 객체 분석 방법.
  15. 제14항에 있어서,
    상기 판별된 객체의 상기 인물의 감정 변화 정도를 정량화하는 단계는,
    상기 제1 프레임이 다중 객체를 포함하는 경우, 각각의 객체에 대하여 상기 제1 프레임의 앞뒤 프레임의 객체 등장유무에 기초하여 감정값에 미치는 객체의 순위를 설정하는 단계를 포함하는 것을 특징으로 하는, 감정 객체 분석 방법.
  16. 제15항에 있어서,
    상기 객체의 순위를 설정하는 단계는,
    상기 앞뒤 프레임에 해당 객체가 등장하지 않는 객체의 순위를 최우선으로 하고, 앞뒤 프레임중 어느 하나에만 해당 객체가 등장하는 객체의 순위를 차순위로 하는 것을 특징으로 하는, 감정 객체 분석 방법.
  17. 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제9항 내지 제12항 및 제14항 내지 제16항 중 어느 한 항에 따른 방법이 수행되는 컴퓨터 프로그램을 저장한 컴퓨터-판독가능 저장 매체.


KR1020200137741A 2020-10-22 2020-10-22 감정 객체 분석 방법 및 장치 KR102496010B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200137741A KR102496010B1 (ko) 2020-10-22 2020-10-22 감정 객체 분석 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200137741A KR102496010B1 (ko) 2020-10-22 2020-10-22 감정 객체 분석 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220053358A KR20220053358A (ko) 2022-04-29
KR102496010B1 true KR102496010B1 (ko) 2023-02-06

Family

ID=81428843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200137741A KR102496010B1 (ko) 2020-10-22 2020-10-22 감정 객체 분석 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102496010B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102512468B1 (ko) * 2022-11-09 2023-03-22 주식회사 제로투원파트너스 동영상 콘텐츠에 대한 시청자 반응 분석 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511620A (ja) * 2011-02-27 2014-05-15 アフェクティヴァ，インコーポレイテッド 感情に基づく映像推薦

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571879B2 (en) * 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
KR20200063777A (ko) * 2018-11-28 2020-06-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511620A (ja) * 2011-02-27 2014-05-15 アフェクティヴァ，インコーポレイテッド 感情に基づく映像推薦

Also Published As

Publication number Publication date
KR20220053358A (ko) 2022-04-29

Similar Documents

Publication Publication Date Title
US11113587B2 (en) System and method for appearance search
US9176987B1 (en) Automatic face annotation method and system
Redi et al. 6 seconds of sound and vision: Creativity in micro-videos
US20170083770A1 (en) Video segmentation techniques
CN112738556B (zh) 视频处理方法及装置
TW201907736A (zh) 視訊摘要的生成方法及裝置
TW200921454A (en) Method and apparatus for video digest generation
Moghaddam et al. Predicting movie popularity and ratings with visual features
Haq et al. QuickLook: Movie summarization using scene-based leading characters with psychological cues fusion
KR102496010B1 (ko) 감정 객체 분석 방법 및 장치
EP2345978A1 (en) Detection of flash illuminated scenes in video clips and related ranking of video clips
Erol et al. YouTube video categorization using moviebarcode
Miniakhmetova et al. An approach to personalized video summarization based on user preferences analysis
KR20210104352A (ko) 대상 동영상에 대한 감정 분석 방법 및 장치
JP2003330941A (ja) 類似画像分類装置
Çakar et al. Creating cover photos (thumbnail) for movies and tv series with convolutional neural network
Svanera et al. Who is the director of this movie? Automatic style recognition based on shot features
CN112188116B (zh) 基于对象的视频合成方法、客户端及系统
CN115294621A (zh) 一种基于两阶段自愈网络的表情识别系统及方法
US20200242155A1 (en) Search apparatus, search method, and non-transitory storage medium
KR102009158B1 (ko) 조선왕조실록을 이용한 실시간 역사극 고증 서비스 시스템
Lan et al. Creating video summarization from emotion perspective
US20230394820A1 (en) Method and system for annotating video scenes in video data
JP2021197633A (ja) 映像変換装置及びプログラム
KR20210136564A (ko) 스포츠 경기 요약 영상 생성 장치 및 스포츠 경기 요약 영상 생성 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant