KR20170098380A - 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치 - Google Patents

콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치 Download PDF

Info

Publication number
KR20170098380A
KR20170098380A KR1020160019897A KR20160019897A KR20170098380A KR 20170098380 A KR20170098380 A KR 20170098380A KR 1020160019897 A KR1020160019897 A KR 1020160019897A KR 20160019897 A KR20160019897 A KR 20160019897A KR 20170098380 A KR20170098380 A KR 20170098380A
Authority
KR
South Korea
Prior art keywords
emotion
information
image
user
image content
Prior art date
Application number
KR1020160019897A
Other languages
English (en)
Other versions
KR101838792B1 (ko
Inventor
박정민
김준성
임정연
김건오
Original Assignee
한국산업기술대학교산학협력단
임정연
김건오
김준성
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단, 임정연, 김건오, 김준성 filed Critical 한국산업기술대학교산학협력단
Priority to KR1020160019897A priority Critical patent/KR101838792B1/ko
Publication of KR20170098380A publication Critical patent/KR20170098380A/ko
Application granted granted Critical
Publication of KR101838792B1 publication Critical patent/KR101838792B1/ko

Links

Images

Classifications

    • H04N5/23219—
    • G06K9/00268—
    • G06K9/00302—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치가 개시된다. 감정 인식 기반 영상 콘텐츠 분석 방법은 영상 콘텐츠를 시청하는 사용자가 촬영된 영상을 획득하는 단계, 상기 영상을 분석하여 상기 영상 콘텐츠를 시청하는 사용자의 감정을 인식하는 단계 및 상기 인식된 감정에 대한 감정 정보를 상기 영상 콘텐츠와 연계하여 저장하는 단계를 포함할 수 있다.

Description

콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치{METHOD AND APPARATUS FOR SHARING USER'S FEELING ABOUT CONTENTS}
아래의 설명은 콘텐츠에 대한 사용자의 감정을 공유하는 기술에 관한 것으로, 구체적으로는 콘텐츠에 대한 사용자의 감정을 인식 및 저장하고, 이를 다른 사용자에게 제공하는 기술에 관한 것이다.
종래의 동영상 플레이어는 콘텐츠의 제공뿐만 아니라 콘텐츠에 관련된 부가적인 정보도 제공한다. 예를 들어, 각각 개인 방송 서비스, 스포츠 중계 및 자막 업로드 서비스 등의 특화된 서비스가 부가적인 정보로서 제공될 수 있다. 콘텐츠에 대한 사용자의 반응은 콘텐츠에 대한 사용자의 기호 분석에 도움이 된다. 예를 들어, 콘텐츠 제작자는 해당 콘텐츠에 대한 사용자의 반응에 기초하여 더 나은 콘텐츠를 제작할 수 있다.
일 실시예에 따른 감정 인식 기반의 영상 콘텐츠 분석 방법은, 영상 콘텐츠를 시청하는 사용자가 촬영된 영상을 획득하는 단계, 상기 영상을 분석하여 상기 영상 콘텐츠를 시청하는 사용자의 감정을 인식하는 단계 및 상기 인식된 감정에 대한 감정 정보를 상기 영상 콘텐츠와 연계하여 저장하는 단계를 포함할 수 있다.
상기 인식하는 단계는, 상기 영상에서 사용자의 얼굴 영역을 인식하는 단계, 상기 얼굴 영역에서 얼굴의 특징점들을 검출하는 단계 및 시간에 따른 상기 특징점들의 변화량에 기초하여 상기 사용자의 감정을 결정하는 단계를 포함할 수 있다.
상기 저장하는 단계는, 상기 영상 콘텐츠의 식별 정보, 상기 감정이 인식된 시간 정보, 상기 감정이 인식되었을 때 출력된 상기 영상 콘텐츠의 영상 정보 및 상기 인식된 감정의 타입 정보 중 적어도 하나를 저장할 수 있다.
일 실시예에 따른 영상 콘텐츠 재생 방법은, 서버로부터 영상 콘텐츠에 대한 감정 정보를 수신하는 단계 및 상기 감정 정보에 기초하여 상기 영상 콘텐츠를 재생하는 단계를 포함하고, 상기 재생하는 단계는, 상기 영상 콘텐츠를 재생할 때, 감정의 타입과 상기 감정이 나타나는 시간 구간을 디스플레이할 수 있다.
상기 감정 정보는, 상기 영상 콘텐츠를 시청한 다른 사용자의 감정 정보에 기초할 수 있다.
도 1은 일 실시예에 따른 영상 콘텐츠에 대한 감정 정보를 공유하기 위한 시스템의 전체적인 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 감정 인식 기반의 영상 콘텐츠 분석 방법에 대한 순서도를 나타낸다.
도 3은 일 실시예에 따른 영상 콘텐츠 재생 방법에 대한 순서도를 나타낸다.
도 4a는 일 실시예에 따른 영상 재생 장치의 Direct Show 인터페이스를 도시한 도면이다.
도 4b는 일 실시예에 따른 네트워크의 인터페이스를 도시한 도면이다.
도 5는 일 실시예에 따른 시스템 수행 과정을 도시한 도면이다.
도 6는 일 실시예에 따른 감정 검출의 일례를 도시한 도면이다.
도 7는 일 실시예에 따른 여러 종류의 영상 재생 장치와 서버 간의 동작을 도시한 도면이다.
도 8a은 일 실시예에 따른 웹페이지에서 서버에 접속한 일례를 도시한 도면이다.
도 8b은 일 실시예에 따른 사용자의 감정 기록의 일례를 도시한 도면이다.
도 8c은 일 실시예에 따른 사용자의 감정 통계 자료의 일례를 도시한 도면이다.
아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 권리 범위가 본 명세서에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 설명한 분야에 속하는 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 언급이 모두 동일한 실시예를 지칭하는 것이라고 이해되어서는 안된다.
제1 또는 제2 등의 용어가 다양한 구성요소들을 구분하기 위해 사용될 수 있지만, 구성요소들이 제1 또는 제2의 용어에 의해 한정되는 것으로 해석되어서는 안된다. 또한, 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 영상 콘텐츠에 대한 감정 정보를 공유하기 위한 시스템의 전체적인 구성을 도시한 도면이다.
일 실시예에 따른 영상 콘텐츠에 대한 감정 정보를 공유하기 위한 시스템은 시청 정보를 수집하여 감정 정보를 도출하고 이를 저장하는 단계와 도출된 감정 정보에 기초하여 영상 콘텐츠를 재생하는 단계로 구성된다. 여기서, 영상 콘텐츠는 영상 정보를 포함하는 콘텐츠로서 예를 들어, 영화, 방송, 광고, 게임 등의 콘텐츠를 포함할 수 있다. 시스템은 서버(110)와 클라이언트간의 통신을 통하여 작동될 수 있다. 여기서, 클라이언트는 시청 정보 수집 장치(120)와 영상 재생 장치(130)를 포함할 수 있다. 감정 정보는 시청 정보 수집 장치(120)에 의해 생성되거나 시청 정보 수집 장치(120)로부터 수신한 시청 정보를 이용하여 서버(110)에 의해 생성될 수 있다. 감정 정보는 영상 콘텐츠를 시청하는 사용자가 느끼는 감정에 관한 정보로서, 여기서 감정은 화남, 즐거움, 슬픔, 놀람(또는, 희노애락) 등을 포함한다.
감정 정보가 시청 정보 수집 장치(120)에 의해 생성되는 경우, 시청 정보 수집 장치(120)는 특정 영상 콘텐츠가 재생되는 동안 영상 콘텐츠를 시청하는 사용자의 감정을 인식하여 사용자의 감정 정보를 수집할 수 있다. 예를 들어, 시청 정보 수집 장치(120)는 카메라를 통하여 영상 콘텐츠를 시청하는 사용자를 촬영하여 영상을 획득하고, 획득된 영상에서 얼굴의 특징점을 검출한 후 시간에 따른 특징점 위치의 변화량에 기초하여 사용자의 감정을 인식할 수 있다. 수집된 감정 정보는 서버(110)로 전송되어 영상 콘텐츠와 연계되어 저장될 수 있다. 이후, 동일한 영상 콘텐츠가 영상 재생 장치(130)를 통하여 다른 사용자에 의해 재생되는 경우, 서버(110)는 다른 사용자의 영상 재생 장치(130)에 영상 콘텐츠와 해당 영상 콘텐츠에 관련된 감정 정보를 전송할 수 있다. 영상 콘텐츠 및 감정 정보를 수신한 영상 재생 장치는, 감정 정보에 기초하여 영상 콘텐츠가 재생되는 시간 구간에서 사용자가 느끼게 될 감정을 미리 디스플레이할 수 있다. 이와 같은 과정을 통해 영상 콘텐츠를 시청하는 사용자들이 해당 영상 콘텐츠를 시청하며 느끼는 감정을 서로 공유하는 것이 가능해진다.
감정 정보가 서버(110)에 의해 생성되는 경우, 서버(110)는 감정 정보에 관한 데이터베이스를 생성할 수 있고, 데이터베이스에는 영상 콘텐츠를 시청한 복수의 사용자들의 감정 정보, 사용자 정보(예를 들어, 성별, 나이, 국적 등), 영상 콘텐츠에 대한 평점 정보 등과 같은 다양한 정보가 저장될 수 있다. 영상 콘텐츠의 시청이 종료되면 시청 정보 수집 장치(120)에 의해 수집된 시청 정보는 서버(110)로 전송되고, 서버(110)는 수집된 시청 정보에 기반하여 감정 정보를 생성할 수 있다. 이후, 감정 정보는 영상 재생 장치(130) 또는 웹페이지를 통해 제공될 수 있다.
영상 콘텐츠에 대한 감정 정보는 영상 콘텐츠에 대한 사용자의 세부적인 기호 파악에 도움이 된다. 예를 들어, 영화 제작자는 해당 영화에 대한 사용자의 반응으로부터 피드백을 받아 더 나은 영화를 제작할 수 있고, 광고 제작자는 사용자의 반응에 기초하여 구매 의욕을 불러 일으킬 광고를 제작할 수 있다.
도 2는 일 실시예에 따른 감정 인식 기반의 영상 콘텐츠 분석 방법에 대한 순서도를 나타낸다.
일 실시예에 따르면, 감정 정보가 시청 정보 수집 장치(120)에 의해 생성되는 경우, 시청 정보 수집 장치(120)는 영상 콘텐츠를 시청하는 사용자를 계속적 또는 주기적으로 촬영할 수 있다. 시청 정보 수집 장치(120)는 촬영된 영상을 분석하여 영상 콘텐츠를 시청하는 사용자의 감정을 인식할 수 있다. 예를 들어, 시청 정보 수집 장치(120)는 시청자를 촬영한 영상에서 사용자의 얼굴 영역을 인식하고, 얼굴 영역에서 얼굴의 특징점들을 검출할 수 있다. 얼굴의 특징점들은 코, 눈, 눈썹, 입 등과 같은 얼굴 주요 영역에 위치하는 특징점들을 나타낸다. 시청 정보 수집 장치(120)는 시간에 따른 특징점들의 변화량에 기초하여 사용자의 감정을 결정할 수 있다. 예를 들어, 시청 정보 수집 장치(120)는 입 영역에 대응하는 특징점들의 위치 변화량에 기초하여 사용자의 감정이 기쁜지, 슬픈지, 화가 났는지, 평상시 상태인지 등을 판단할 수 있다.
시청 정보 수집 장치(120)는 사용자가 시청한 영상 콘텐츠의 화면을 사용자의 감정 정보와 연계하여 캡쳐할 수 있다. 예를 들어, 시청 정보 수집 장치(120)는 캡쳐되는 영상 콘텐츠의 제목과 사용자의 아이디를 캡쳐 파일이 있는 경로에 포함시키고 영상 콘텐츠의 재생 시각을 파일 이름으로 생성할 수 있다.
캡쳐되는 화면은 BMP 파일 형태일 수 있으며, 시청 정보 수집 장치(120)는 비트맵 데이터를 작성할 수 있도록 비트맵 헤더를 초기화할 수 있다. 또한, 시청 정보 수집 장치(120)는 화면을 캡쳐할 수 있는 필터인 Sample Grabber 필터를 추가할 수 있다. 시청 정보 수집 장치(120)는 Sample Grabber 필터를 이용하여 현재 감정이 일어나는 화면을 버퍼에 저장할 수 있다. 시청 정보 수집 장치(120)는 Create File 함수와 Write File 함수를 인자로 현재 화면을 저장하고 있는 버퍼와 비트맵 헤더를 통하여 비트맵 파일을 생성할 수 있다.
시청 정보 수집 장치(120)에 의해 생성된 감정 정보 및 사용자가 시청한 영상 콘텐츠에 대한 정보는 서버(110)로 전송될 수 있다.
다른 실시예에 따르면, 감정 정보가 서버(110)에 의해 생성되는 경우, 시청 정보 수집 장치(120)는 영상 콘텐츠를 시청하는 사용자에 관한 정보를 수집할 수 있다. 구체적으로, 시청 정보 수집 장치(120)는 사용자의 표정 등을 촬영할 수 있다.
일 실시예에 따르면, 시청 정보 수집 장치(120)는 수집된 사용자에 관한 정보를 서버(110)로 전송할 수 있고, 이를 통해 서버(110)는 영상 콘텐츠를 시청하는 사용자가 촬영된 영상을 획득할 수 있다. 일 실시예에 따르면, 사용자가 영상 콘텐츠를 시청할 때, 시청 정보 수집 장치(120)는 계속적으로 또는 주기적으로 사용자를 촬영하고, 촬영된 영상을 서버(110)에 전송할 수 있다.
일 실시예에 따르면, 서버(110)는 영상을 분석하여 영상 콘텐츠를 시청하는 사용자의 감정을 인식할 수 있다. 예를 들어, 서버(110)는 시청자를 촬영한 영상에서 사용자의 얼굴 영역을 인식하고, 얼굴 영역에서 얼굴의 특징점들을 검출할 수 있다. 얼굴의 특징점들은 코, 눈, 눈썹, 입 등과 같은 얼굴 주요 영역에 위치하는 특징점들을 나타낸다. 서버(110)는 시간에 따른 특징점들의 변화량에 기초하여 사용자의 감정을 결정할 수 있다.
다른 실시예에 따르면, 서버(110)는 사용자가 시청한 영상 콘텐츠의 화면을 사용자의 감정 정보와 연계하여 캡쳐할 수 있다. 서버(110)를 통해 사용자의 감정이 인식된 후 로그 파일에 로그 형식으로서 저장될 수 있다. 이후, 영상이 재생되는 동안에 로그의 변화가 감지되면 서버(110)는 파악된 감정의 정보를 읽고 그 감정이 일어난 영상 콘텐츠의 현재 재생 시각과 감정에 대한 정보를 저장할 수 있다. 이때, 서버(110)는 해당 재생 시각에서의 영상 콘텐츠의 화면을 캡쳐할 수 있다.
일 실시예에 따르면, 서버(110)는 인식된 감정에 대한 감정 정보를 영상 콘텐츠와 연계하여 저장할 수 있다. 구체적으로, 서버(110)는 영상 콘텐츠의 식별 정보, 감정이 인식된 시간 정보, 감정이 인식되었을 때 출력된 영상 콘텐츠의 영상 정보 및 인식된 감정의 타입 정보 중 적어도 하나를 저장할 수 있다.
다른 실시예에 따르면, 시청 정보 수집 장치(120)는 영상 재생 장치(130)의 기능을 함께 수행할 수 있다. 즉, 시청 정보 수집 장치(120)는 다른 사용자의 감정 정보를 표시하는 동시에 현재 시청 중인 사용자의 감정 정보를 수집할 수도 있다.
도 3은 일 실시예에 따른 영상 콘텐츠 재생 방법에 대한 순서도를 나타낸다.
영상 재생 장치(130)는 서버(110)로부터 영상 콘텐츠에 대한 감정 정보를 수신할 수 있다. 또는, 영상 재생 장치(130)는 서버(110)로부터 영상 콘텐츠를 수신할 수도 있다.
영상 재생 장치(130)는 수신한 감정 정보에 기초하여 영상 콘텐츠를 재생할 수 있다. 예를 들어, 영상 재생 장치(130)는 영상 콘텐츠를 재생할 때, 감정의 타입과 감정이 나타나는 시간 구간을 바(bar) 형태로 디스플레이할 수 있다. 감정 정보는 동일한 영상 콘텐츠를 시청한 다른 사용자의 감정에 기초한 것일 수 있다.
예를 들어, 사용자들은 웹 페이지 또는 영상 재생 장치(130)에서 영상 콘텐츠의 재생 구간 정보를 알려주는 재생 바(bar) 위에 있는 감정 바(bar)를 이용하여 다른 사용자가 어떤 장면에서 어떠한 감정을 느꼈는지를 쉽게 파악할 수 있다.
일 실시예에 따르면, 본 발명에서 사용되는 인터페이스는 크게 2가지 인터페이스들을 포함할 수 있다. 첫 번째는 영상 재생 장치(130)의 인터페이스이고, 두 번째는 네트워크 인터페이스이다. 이하 두 종류의 인터페이스들에 대해 설명한다.
도 4a는 일 실시예에 따른 영상 재생 장치의 인터페이스를 도시한 도면이다.
영상 재생 장치(130)의 인터페이스는 영상 재생 장치(130)의 기능인 재생, 일지정지, 정지, 자막넣기, 전체화면 그리고 화면 캡쳐 기능을 포함할 수 있다. UI 모듈과 감정구간 모듈은 영상 재생 장치(130)의 인터페이스에 있는 함수를 호출하여 동작하게 된다. 또한, 인터페이스 쪽에서 각 모듈에 알맞은 정보를 제공하게 되어 각 모듈은 정보에 따라 사용자에게 알맞은 화면을 출력할 수 있다.
도 4b는 일 실시예에 따른 네트워크의 인터페이스를 도시한 도면이다.
네트워크 인터페이스는 감정 정보와 로그인 정보가 저장된 서버(110)와의 통신을 위한 정보를 포함할 수 있다. 로그인 모듈과 감정 정보의 송수신 모듈 및 영화 평가 모듈은 네트워크 인터페이스에 있는 함수를 호출하며 각 함수에 알맞은 데이터를 인자로 제공할 수 있다. 인자를 받은 인터페이스는 서버(110)에 있는 함수와 각 기능에 맞는 통신을 하여 해당 정보를 송신하거나 수신할 수 있다.
도 5는 일 실시예에 따른 시스템 수행 과정을 도시한 도면이다.
영상 재생 장치(130)는 네트워크 인터페이스를 통하여 입력된 로그인 정보를 통하여 서버(110)와 통신할 수 있다. 영상 재생 장치(130)는 서버(110)로부터 현재 시청중인 사용자에 대응되는 감정 정보를 수신할 수 있다. 수신된 감정 정보는 현재 재생 중인 영상 콘텐츠와 연계하여 표시될 수 있다.
예를 들어, 디스플레이는 현재 재생 중인 영상 콘텐츠에 대한 다른 사용자들의 감정 정보를 제1 상태 바를 통하여 표시할 수 있다. 이는 누적된 감정 구간이라고 지칭될 수 있다. 또한, 디스플레이는 현재 재생 중인 영상 콘텐츠에 대한 현재 사용자의 감정 정보를 제2 상태 바를 통하여 표시할 수 있다. 이는 현재 사용자의 감정구간이라고 지칭될 수 있다.
도 6는 일 실시예에 따른 감정 검출의 일례를 도시한 도면이다.
예를 들어, 감정 정보가 서버(110)에 의해 생성되는 경우, 서버(110)는 영상에 포함된 객체의 형태와 텍스쳐 정보를 이용하여 영상 내의 객체를 찾는 ASM(Active Shape Model) 알고리즘을 사용하여 얼굴을 인식할 수 있다. 서버(110)는 카메라를 통해 인식된 얼굴의 눈썹 위치, 눈과 입의 가로 세로 크기와 높이 등 특징점을 파악하여 실시간으로 그 변화량을 측정할 수 있다. 서버(110)는 그 변화량을 기반으로 행복, 화남, 놀람, 슬픔 4가지 감정을 검출할 수 있다.
사용자가 영상 콘텐츠를 보면서 고개를 움직이거나 자세가 바뀌면 얼굴의 위치가 변하므로, 서버(110)는 양 눈썹, 입, 코 등의 변화량을 구하기 위해 기존의 기준점에서 새로운 기준점을 설정할 수 있다. 또한, 서버(110)는 입의 변화, 눈썹의 위치 변화를 통해 놀란 감정을 판별할 수 있다. 눈을 깜빡일 때도 눈썹의 위치가 변하므로 정확도를 높이기 위해 서버(110)는 깜빡임을 감정 인식에서 제외할 수 있다.
도 7는 일 실시예에 따른 여러 종류의 영상 재생 장치와 서버 간의 동작을 도시한 도면이다.
일 실시예에 따르면, 영상 재생 장치(131)는 특정 영상 콘텐츠를 재생할 때 영상의 이름을 서버(110)로 전송하면서 해당 영상 콘텐츠의 감정 정보가 있는지 요청할 수 있다. 서버(110)는 감정 정보와 영상 콘텐츠에 대한 정보가 없을 때, 데이터베이스 영화 정보 테이블에 새로이 해당 영상 콘텐츠의 정보를 삽입하고 감정 정보가 존재하지 않다는 메시지를 영상 재생 장치(131)로 전송할 수 있다. 감정 정보가 존재하면 서버(110)는 다양한 감정 중에 대표적인 감정 정보에 대응되는 구간을 찾아서 영상 재생 장치(131)로 전송할 수 있다.
다른 실시예에 따르면, 사용자는 웹 페이지(132)를 통하여 해당 영상 콘텐츠에 대한 감정 정보를 서버(110)에 요청할 수 있다. 서버(110)는 해당 영상 콘텐츠에 대한 감정 정보가 있는 경우 이를 웹 페이지에 출력할 수 있다.
도 8a은 일 실시예에 따른 웹페이지에서 서버에 접속한 일례를 도시한 도면이다. 웹 페이지에는 감정 정보뿐만 아니라 사용자들이 영화를 다 보고 난 후 부여한 작품성, 연기력, 현실성에 대한 평점 등 여러 가지 정보를 표시할 수 있다.
도 8b은 일 실시예에 따른 사용자의 감정 기록의 일례를 도시한 도면이다. 사용자는 자신이 본 영화에 대한 감정 정보를 웹 페이지를 통해 파악할 수 있다. 사용자는 해당 감정에 대한 화면 캡쳐를 검색하거나 삭제할 수 있다.
도 8c은 일 실시예에 따른 사용자의 감정 통계 자료의 일례를 도시한 도면이다. 영상 재생 장치(130) 또는 웹 페이지는 해당 영상의 특정 구간에 대응되는 다른 사용자들의 감정 정보를 통계로 표시할 수 있다. 해당 구간을 선택하는 경우 연령별로 어떠한 감정을 느꼈는지가 그래프 등을 통하여 표시될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 영상 콘텐츠를 시청하는 사용자가 촬영된 영상을 획득하는 단계;
    상기 영상을 분석하여 상기 영상 콘텐츠를 시청하는 사용자의 감정을 인식하는 단계; 및
    상기 인식된 감정에 대한 감정 정보를 상기 영상 콘텐츠와 연계하여 저장하는 단계
    를 포함하는 감정 인식 기반의 영상 콘텐츠 분석 방법.
  2. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 영상에서 사용자의 얼굴 영역을 인식하는 단계;
    상기 얼굴 영역에서 얼굴의 특징점들을 검출하는 단계; 및
    시간에 따른 상기 특징점들의 변화량에 기초하여 상기 사용자의 감정을 결정하는 단계
    를 포함하는 감정 인식 기반의 영상 콘텐츠 분석 방법.
  3. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 영상 콘텐츠의 식별 정보, 상기 감정이 인식된 시간 정보, 상기 감정이 인식되었을 때 출력된 상기 영상 콘텐츠의 영상 정보 및 상기 인식된 감정의 타입 정보 중 적어도 하나를 저장하는, 감정 인식 기반의 영상 콘텐츠 분석 방법.
  4. 서버로부터 영상 콘텐츠에 대한 감정 정보를 수신하는 단계; 및
    상기 감정 정보에 기초하여 상기 영상 콘텐츠를 재생하는 단계를 포함하고,
    상기 재생하는 단계는,
    상기 영상 콘텐츠를 재생할 때, 감정의 타입과 상기 감정이 나타나는 시간 구간을 디스플레이하는, 영상 콘텐츠 재생 방법.
  5. 제4항에 있어서,
    상기 감정 정보는,
    상기 영상 콘텐츠를 시청한 다른 사용자의 감정 정보에 기초하는, 영상 콘텐츠 재생 방법.
KR1020160019897A 2016-02-19 2016-02-19 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치 KR101838792B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160019897A KR101838792B1 (ko) 2016-02-19 2016-02-19 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160019897A KR101838792B1 (ko) 2016-02-19 2016-02-19 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170098380A true KR20170098380A (ko) 2017-08-30
KR101838792B1 KR101838792B1 (ko) 2018-03-15

Family

ID=59760415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160019897A KR101838792B1 (ko) 2016-02-19 2016-02-19 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101838792B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200029714A (ko) * 2018-09-11 2020-03-19 현대자동차주식회사 감정 분류 장치 및 감정 분류 장치의 제어 방법
KR102427964B1 (ko) * 2021-12-16 2022-08-02 조현경 양방향 반응성 웹드라마 시스템
KR20230002000A (ko) * 2021-06-29 2023-01-05 주식회사 케이에스앤픽 영상 콘텐츠 플랫폼을 제공하는 서버 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220006926A (ko) 2020-07-09 2022-01-18 삼성전자주식회사 요약 비디오를 생성하는 디바이스 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008234431A (ja) * 2007-03-22 2008-10-02 Toshiba Corp コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム
JP2016024577A (ja) * 2014-07-18 2016-02-08 株式会社Ｎｔｔドコモ ユーザ挙動記録装置、ユーザ挙動記録方法、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200029714A (ko) * 2018-09-11 2020-03-19 현대자동차주식회사 감정 분류 장치 및 감정 분류 장치의 제어 방법
KR20230002000A (ko) * 2021-06-29 2023-01-05 주식회사 케이에스앤픽 영상 콘텐츠 플랫폼을 제공하는 서버 및 그 방법
KR102427964B1 (ko) * 2021-12-16 2022-08-02 조현경 양방향 반응성 웹드라마 시스템

Also Published As

Publication number Publication date
KR101838792B1 (ko) 2018-03-15

Similar Documents

Publication Publication Date Title
US7889073B2 (en) Laugh detector and system and method for tracking an emotional response to a media presentation
US8726304B2 (en) Time varying evaluation of multimedia content
US9560411B2 (en) Method and apparatus for generating meta data of content
US9329677B2 (en) Social system and method used for bringing virtual social network into real life
CN106557937B (zh) 广告推送方法和装置
KR101838792B1 (ko) 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
WO2017221555A1 (ja) エンゲージメント値処理システム及びエンゲージメント値処理装置
JP5391144B2 (ja) 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
US20120072936A1 (en) Automatic Customized Advertisement Generation System
KR101618590B1 (ko) 몰입 효과들을 제공하기 위한 방법 및 시스템
CN110868554B (zh) 直播中实时换脸的方法、装置、设备及存储介质
WO2018097177A1 (ja) エンゲージメント測定システム
CN106851395B (zh) 视频播放方法和播放器
US9491507B2 (en) Content providing program, content providing method, and content providing apparatus
EP2798853A1 (en) Interactive media systems
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
US20050001903A1 (en) Methods and apparatuses for displaying and rating content
CN113762156B (zh) 观影数据处理方法、装置及存储介质
CN105992065B (zh) 随选视讯社交互动方法和系统
JP2011254232A (ja) 情報処理装置、情報処理方法、およびプログラム
TW201826086A (zh) 互動測定系統
TR201921941A2 (tr) İzleyicilere duygu durumu ile ilişkili senaryo sunulmasını sağlayan bir sistem
JP2013114732A (ja) 記録装置及び記録方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant