KR102427964B1 - 양방향 반응성 웹드라마 시스템 - Google Patents

양방향 반응성 웹드라마 시스템 Download PDF

Info

Publication number
KR102427964B1
KR102427964B1 KR1020210180257A KR20210180257A KR102427964B1 KR 102427964 B1 KR102427964 B1 KR 102427964B1 KR 1020210180257 A KR1020210180257 A KR 1020210180257A KR 20210180257 A KR20210180257 A KR 20210180257A KR 102427964 B1 KR102427964 B1 KR 102427964B1
Authority
KR
South Korea
Prior art keywords
data
emotion
eye
unit
mouth
Prior art date
Application number
KR1020210180257A
Other languages
English (en)
Inventor
조현경
박근철
Original Assignee
조현경
박근철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조현경, 박근철 filed Critical 조현경
Priority to KR1020210180257A priority Critical patent/KR102427964B1/ko
Application granted granted Critical
Publication of KR102427964B1 publication Critical patent/KR102427964B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Abstract

본 발명은 양방향 반응성 웹드라마 시스템에 관한 것으로서, 눈 주변 영역과 입 주변 영역을 통해 산출되는 시청자들의 반응에 따라 서로 다른 스토리를 가지는 웹드라마를 제공하는 양방향 반응성 웹드라마 시스템을 제공하고자 하는 것으로, 상기 양방향 반응성 웹드라마 시스템은 온라인 웹 상에서 재생되는 웹드라마로서 하나 이상의 분기시점을 갖고 상기 하나 이상의 분기시점을 기준으로 서로 다른 줄거리를 갖는 영상데이터가 저장되는 데이터베이스를 포함하는 데이터센터; 상기 데이터베이스로부터 상기 영상데이터를 수신하여 재생하는 단말장치;를 포함하고, 상기 단말장치는 상기 분기시점 중 어느 하나의 분기시점으로부터 선행하는 제1 측정시간동안 상기 단말장치의 디스플레이장치를 통해 재생되는 상기 영상데이터를 시청하는 시청자의 반응을 적어도 하나의 측정장치를 사용하여 측정한 제1 반응데이터를 출력하는 센서부; 상기 제1 반응데이터를 수신하고, 수신되는 상기 제1 반응데이터를 분석하여 상기 시청자의 감정상태를 나타내는 감정데이터를 출력하는 감정판별부; 및 상기 데이터센터로부터 상기 영상데이터를 수신하고, 수신한 상기 영상데이터를 재생하는 상기 디스플레이장치를 포함하는 재생부;를 포함함으로써, 상기 감정판별부가 제1 반응데이터에 포함되는 각각의 프레임의 시청자의 시청영상에서 눈 주변 영역과 입 주변 영역으로 나누어 각각에 대하여 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가의 7개의 감정상태로 구분하여 판단한 후에 종합감정판별부가 각각의 감정상태를 종합하여 시청자에 반응을 표현하는 감정데이터를 산출할 수 있음에 따라 시청자가 안경이나 마스크를 착용하고 있거나 조명에 의해 시청자의 전체 얼굴이 인식이 어려운 환경에서도 시청자의 반응을 판별할 수 있다

Description

양방향 반응성 웹드라마 시스템{Interactive Responsive Web Drama Playback system}
본 발명은 양방향 반응성 웹드라마 시스템에 관한 것이다.
최근 애플, 삼성 등 여러 기업에서 스마트폰의 개발이 이루어지고 있으며 하드웨어 등 많은 발전을 통해 보편화된 이동통신 기기로 자리 잡고 있다. 이와 같이 스마트폰의 보급률이 올라감에 따라 시간과 장소에 제약 없이 인터넷 접속이 가능해졌으며 게임, TV 시청, SNS 등 다양한 서비스를 이용할 수 있게 되었다.
이동의 제약이 걸리지 않고 빠른 속도의 인터넷 접속이 가능해지면서 스마트폰을 사용한 동영상 시청률이 늘어나고 있는데, 특히 최근에는 스마트폰을 사용하여 인터넷 웹을 통해 시청하는 웹드라마와 같은 동영상 제공 서비스가 주목받고 있다.
이러한 웹드라마 제공 서비스를 제공하는 종래 시스템은 웹드라마를 제공하고, 상기 웹드라마의 재생이 완료되면 서비스 이용자들로부터 피드백을 받아 다양한 방법으로 서비스 이용자에게 영상을 추천하여 서비스 이용자들의 서비스 이용만족도를 높이고 있다.
그러나 종래의 시스템은 서비스 이용자들이 시청하면서 느끼는 반응을 고려함이 없이 하나의 스토리를 가지는 웹드라마만을 제공하고 있어 서비스 이용자의 반응에 따라 시청자가 선호하는 결말 또는 만족도가 높은 결말을 가지는 서로 다른 스토리를 가지는 웹드라마를 제공하고 있지 못한다.
이에 대한 해결책으로 대한민국 등록특허 제 10 -1628084 호는 관람객의 심리 상태를 토대로 관객이 가장 원하는 방향의 시나리오에 따른 영화를 상영가능하게 하는 영화 재생 시스템을 개시하고 있다.
그러나, 상기 대한민국 등록특허 제 10 -1628084 호에 의한 영화 재생 시스템은 마스크를 착용하는 경우와 같은 전체 얼굴 인식이 불가능한 경우에 관람객들의 얼굴 인식을 통한 감정 상태를 판단하기 어렵다는 문제점이 있다.
대한민국 등록특허 제 10 - 1628084 호
본 발명은 양방향 반응성 웹드라마 시스템에 관한 것으로서, 눈 주변 영역과 입 주변 영역을 통해 산출되는 시청자들의 반응에 따라 서로 다른 스토리를 가지는 웹드라마를 제공하는 양방향 반응성 웹드라마 시스템을 제공하고자 하는 것이다.
본 발명의 양방향 반응성 웹드라마 시스템은 온라인 웹 상에서 재생되는 웹드라마로서 하나 이상의 분기시점을 갖고 상기 하나 이상의 분기시점을 기준으로 서로 다른 줄거리를 갖는 영상데이터가 저장되는 데이터베이스를 포함하는 데이터센터; 상기 데이터베이스로부터 상기 영상데이터를 수신하여 재생하는 단말장치;를 포함하고, 상기 단말장치는 상기 분기시점 중 어느 하나의 분기시점으로부터 선행하는 제1 측정시간동안 상기 단말장치의 디스플레이장치를 통해 재생되는 상기 영상데이터를 시청하는 시청자의 반응을 적어도 하나의 측정장치를 사용하여 측정한 제1 반응데이터를 출력하는 센서부; 상기 제1 반응데이터를 수신하고, 수신되는 상기 제1 반응데이터를 분석하여 상기 시청자의 감정상태를 나타내는 감정데이터를 출력하는 감정판별부; 및 상기 데이터센터로부터 상기 영상데이터를 수신하고, 수신한 상기 영상데이터를 재생하는 상기 디스플레이장치를 포함하는 재생부;를 포함하고, 상기 데이터센터는 상기 감정데이터에 따라 상기 어느 하나의 분기시점 다음에 재생될 영상데이터를 결정하여 상기 데이터베이스에 요청하는 영상선택부;를 더 포함하고, 상기 재생부는 상기 영상선택부에 의해 선택되는 상기 영상데이터를 수신하여 상기 어느 하나의 분기시점 뒤에 재생한다.
또한, 상기 센서부는 상기 재생부를 통해 상기 영상데이터의 재생이 완료된 시점으로부터 후행하는 제2 측정시간동안 상기 센서부를 통해 상기 시청자의 반응을 측정하여 제2 반응데이터를 출력한다.
또한, 상기 감정판별부는 상기 제1 반응데이터 또는 제2 반응데이터을 구성하는 복수의 프레임 각각에서 시청자의 얼굴영역을 인식하는 얼굴인식부; 상기 얼굴영역에서 눈 주변 영역을 구분하여 인식하는 눈표정인식부; 상기 얼굴영역에서 입 주변 영역을 구분하여 인식하는 입표정인식부; 상기 눈 주변 영역을 통해 시청자의 감정을 구분하여 눈감정데이터로 출력하는 눈감정판별부; 상기 입 주변 영역을 통해 시청자의 감정을 구분하여 입감정데이터로 출력하는 입감정판별부; 및 상기 눈감정데이터와 입감정데이터를 종합하여 상기 감정데이터 또는 평점을 출력하는 종합감정판별부;를 포함한다.
또한, 상기 감정판별부는 상기 제 1반응데이터을 분석하여 시청자의 연령을 산출하는 연령산출부;를 더 포함하고, 상기 영상선택부는 상기 연령에 따라 상기 어느 하나의 분기시점 다음에 재생될 영상데이터를 선택하여 상기 데이터베이스에 요청한다.
또한, 상기 감정판별부는 상기 눈표정인식부가 눈 주변 영역을 인식한 경우 눈 깜박임 정도를 오른쪽 눈과 왼쪽 눈으로 구분하여 산출하는 집중도데이터로 출력하는 집중도선별부; 및 오른쪽 눈에 대한 상기 집중도데이터와 왼쪽 눈에 대한 상기 집중도데이터를 종합하여 집중도를 산출하는 집중도산출부;를 더 포함하고, 상기 종합감정판별부는 상기 눈감정데이터, 입감정데이터 및 집중도를 종합하여 상기 감정데이터 또는 평점을 출력한다.
또한, 상기 단말장치는 각각의 상기 분기시점에서 산출되는 상기 감정데이터를 상기 영상데이터 및 분기시점 단위로 구분하여 저장하는 영상감정데이터저장부;를 포함하고, 상기 종합감정판별부가 산출하는 상기 평점은 상기 영상감정데이터저장부에 저장되는 상기 영상데이터의 분기시점에 대한 감정데이터와 상기 제2 반응데이터를 활용하여 “긍정” 또는 “부정” 중에 선택되는 어느 하나의 값으로 산출된다.
또한, 상기 데이터베이스는 상기 데이터베이스에 저장되는 영상데이터에 대한 제목, 스틸샷, 시놉시스, 예고영상 중에 적어도 하나를 포함하는 광고데이터를 더 저장하고, 상기 평점이 “긍정”일 경우, 상기 영상선택부는 상기 영상데이터와 유사한 줄거리를 갖는 다른 영상데이터에 대한 광고데이터를 상기 데이터베이스에 요청하여 상기 재생부로 전송하고, 상기 재생부는 상기 광고데이터를 상기 디스플레이장치로 출력한다.
또한, 상기 데이터베이스는 상기 데이터베이스에 저장되는 영상데이터와 관련되는 상품들에 대한 이미지, 판매 웹사이트 주소를 포함하는 광고데이터를 영상데이터 단위로 구분하여 더 저장하고, 상기 평점이 “긍정”일 경우, 상기 영상선택부는 상기 영상데이터와 관련되는 광고데이터를 상기 데이터베이스에 요청하여 상기 재생부로 전송하고, 상기 재생부는 상기 광고데이터를 상기 디스플레이장치로 출력한다.
또한, 상기 데이터베이스는 하나 이상의 분기시점을 갖고 상기 하나 이상의 분기시점을 기준으로 서로 다른 줄거리를 갖는 음성데이터를 더 저장하여 관리하고, 상기 영상선택부는 수신되는 상기 감정데이터가 “수면 중”임을 나타내는 경우, 시청중인 웹드라마의 어느 하나의 분기시점 다음에 재생될 영상데이터 대신 음성데이터를 상기 데이터베이스에 요청하여 상기 음성데이터를 상기 재생부로 전송하고, 상기 재생부는 상기 음성데이터를 음성출력장치를 통해 방송한다.
본 발명의 양방향 반응성 웹드라마 시스템은 시청자가 안경이나 마스크를 착용하고 있거나 조명에 의해 시청자의 전체 얼굴이 인식이 어려운 환경에서도 시청자의 반응을 산출할 수 있다.
또한, 시청자의 반응 또는 연령에 따라 웹드라마의 재생 방향을 달리하여 시청자로 하여금 웹드라마에 대한 만족도를 높일 수 있다.
또한, 시청자의 반응을 통해 시청한 웹드라마에 대한 평점을 자동 책정하고, 평점에 따라 시청한 웹드라마와 유사한 줄거리를 가지는 다른 웹드라마 또는 시청한 웹드라마와 관련되는 상품에 대한 광고를 노출시킬 수 있다.
또한, 시청자의 얼굴을 인식하여 시청자가 일정 시간 이상 눈을 감고 있다고 판단되면, 웹드라마의 스토리를 음성으로 제공하도록 자동 변환하여 제공하여 시청자로 하여금 웹드라마에 대한 만족도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 시청자의 시청영상을 분석하여 시청자의 반응 및 연령에 따른 영상데이터를 제공하는 양방향 반응성 웹드라마 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따라 시청자의 시청영상을 분석하여 시청한 영상데이터에 대한 평점을 산출하고 산출된 평점에 따라 광고데이터를 제공하는 양방향 반응성 웹드라 시스템의 개념도이다.
도 3은 본 발명의 일 실시예에 따른 양방향 반응성 웹드라마 시스템에서 시청자의 시청영상을 분석하여 감정데이터 및 평점을 산출하는 감정판별부의 개념도이다.
도 4는 본 발명의 일 실시예에 따른 양방향 반응성 웹드라마 시스템에서 시청자의 시청영상을 분석하여 시청자의 연령을 산출하는 감정판별부의 개념도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 양방향 반응성 웹드라마 시스템에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 본 발명은 양방향 반응성 웹드라마 시스템에 관한 것으로서, 눈 주변 영역(151)과 입 주변 영역(152)을 통해 산출되는 시청자들의 반응(100)에 따라 서로 다른 스토리를 가지는 웹드라마를 제공하는 양방향 반응성 웹드라마 시스템을 제공하고자 하는 것이다.
도 1은 본 발명의 일 실시예에 따라 시청자의 시청영상을 분석하여 시청자의 반응(100) 및 연령(169)에 따른 영상데이터(10)를 제공하는 양방향 반응성 웹드라마 시스템의 개념도이고, 도 2는 본 발명의 일 실시예에 따라 시청자의 반응(100)에 따라 시청한 영상데이터(10)에 대한 평점(300)을 산출하고 산출된 평점(300)에 따라 광고데이터(20)를 제공하는 양방향 반응성 웹드라 시스템의 개념도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 상기 양방향 반응성 웹드라마 시스템은 단말장치(1000)를 통해 웹드라마를 시청 중이거나 시청을 완료한 시청자의 반응(100)을 특정 분기시점에서 단말장치(1000)에 포함되는 센서부(1200)를 통해 측정하고 감정판별부(1300)가 시청자의 반응(100)을 분석하여 시청 중인 웹드라마에 대한 시청자의 감정 또는 시청을 완료한 웹드라마에 대한 평점(300)을 자동으로 산출하고, 영상선택부(2200)가 상기 시청자의 감정 또는 평점(300)에 따라 데이터베이스(2100)에서 현재 시청 중인 웹드라마 뒤에 이어질 영상데이터(10) 또는 광고데이터(20)를 검색하여 재생부(1400)로 전송하여 디스플레이장치(1410)를 통해 상기 단말장치(1000)에 표시하여 시청자가 시청자에게 노출시킨다.
이를 위하여 본 발명의 양방향 반응성 웹드라마 시스템은 시청자가 소지하면서 인터넷과 연결되어 온라인 웹상에서 재생되는 웹드라마의 시청이 가능한 스마트폰, 노트북, 태블릿PC와 같은 단말장치(1000) 및 상기 웹드라마에 대한 영상데이터(10)를 저장관리하면서 상기 단말장치(1000)의 요청에 따라 상기 영상데이터(10) 또는 광고데이터(20)를 전송하는 데이터센터(2000)를 포함한다.
또한, 본 발명의 양방향 반응성 웹드라마 시스템에서 시청자의 시청영상을 분석하여 시청자들의 반응(100)에 따라 서로 다른 스토리를 가지는 웹드라마를 제공하기 위하여 상기 데이터센터(2000)는 온라인 웹 상에서 재생되는 웹드라마로서 하나 이상의 분기시점을 갖고 상기 하나 이상의 분기시점을 기준으로 서로 다른 줄거리를 갖는 영상데이터(10)를 저장 및 관리하는 데이터베이스(2100)와 상기 데이터베이스(2100)에서 상기 단말장치(1000)가 요청하는 웹드라마의 영상데이터(10)를 검색하여 상기 단말장치(1000)로 전송하는 영상선택부(2200)를 포함한다.
상기 단말장치(1000)는 데이터베이스(2100)로부터 상기 영상데이터(10)를 수신하여 재생하는데, 시청자가 단말장치(1000)를 통해 웹드라마를 시청하는 동안 시청자의 반응(100)을 측정하는 적어도 하나의 측정장치(1100)를 포함하는 센서부(1200), 상기 반응(100)을 분석하여 시청자의 감정을 산출하는 감정판별부(1300), 상기 영상선택부(2200)에 의해 선택되는 상기 영상데이터(10) 또는 광고데이터(20)를 수신하여 상기 어느 하나의 분기시점 뒤에 재생하는 디스플레이장치(1410)를 포함하는 재생부(1400)를 포함한다.
상기 센서부(1200)는 상기 분기시점 중 어느 하나의 분기시점으로부터 선행하는 제1 측정시간동안 상기 단말장치(1000)의 디스플레이장치(1410)를 통해 재생되는 상기 영상데이터(10)를 시청하는 시청자의 반응(100)을 적어도 하나의 측정장치(1100)를 사용하여 측정한 제1 반응데이터(130)를 출력한다.
본 발명의 일 실시예에서 상기 측정장치(1100)는 시청자의 얼굴을 촬영하는 광학카메라를 사용하나, 이에 한정하지 않고 시청자의 체온, 심박수, 혈압을 측정하는 다양한 장치를 사용할 수 있으며, 상기 감정판별부(1300)는 상기 센서부(1200)에서 측정한 시청자의 반응(100)을 종합하여 시청하고 있는 웹드라마에 대한 시청반응(100)을 산출도록 구성할 수도 있다.
본 발명의 일 실시예에 따라 광학카메라를 사용하여 시청자의 얼굴을 촬영하는 경우 상기 제1 반응데이터(130)는 상기 제1 측정시간동안 촬영된 시청자의 얼굴을 포함하는 복수의 프레임으로 구성되는 시청자의 시청영상이 된다.
상기 감정판별부(1300)는 상기 제1 반응데이터(130)를 수신하고, 수신되는 상기 제1 반응데이터(130)를 분석하여 상기 시청자의 감정상태를 나타내는 감정데이터(200)를 출력하는데, 이 때, 상기 감정판별부(1300)는 상기 제1 반응데이터(130)를 구성하는 복수의 프레임 각각에 대하여 시청자의 얼굴영역(150)을 1차로 구분하여 인식한 다음, 상기 얼굴영역(150)을 눈 주변 영역(151)과 입 주변 영역(152)으로 2차로 구분하여 인식하고, 눈 주변 영역(151)과 입 주변 영역(152)에 각각을 분석하여 시청자의 반응(100)을 산출한다.
도 3은 본 발명의 일 실시예에 따른 양방향 반응성 웹드라마 시스템에서 시청자의 반응(100)에 따라 감정데이터(200) 및 평점(300)을 산출하는 감정판별부(1300)의 개념도이다.
도 1 및 도 3을 참조하면, 상기 감정판별부(1300)가 제1 반응데이터(130)를 통해 시청자의 감정상태를 파악하기 위하여 상기 감정판별부(1300)는 얼굴인식부(1310), 눈표정인식부(1320), 입표정인식부(1340), 눈감정판별부(1330), 입감정판별부(1350), 집중도선별부(1380), 집중도산출부(1390), 종합감정판별부(1360) 및 영상감정데이터저장부(1391)를 포함한다.
상기 얼굴인식부(1310)는 상기 제1 반응데이터(130)를 구성하는 복수의 프레임 각각에서 시청자의 얼굴영역(150)을 인식하고, 상기 눈표정인식부(1320)는 상기 얼굴영역(150)에서 눈 주변 영역(151)을 구분하여 인식하며, 상기 입표정인식부(1340)는 상기 얼굴영역(150)에서 입 주변 영역(152)을 구분하여 인식한다.
상기 얼굴인식부(1310)는 상기 제1 반응데이터(130)에 포함되는 각각의 프레임에 포함되는 시청자의 얼굴을 제외한 부분을 제거하여 상기 눈표정인식부(1320)와 입표정인식부(1340)에서 눈 주변 영역(151)과 입 주변 영역(152)을 구분하기에 용이하게 상기 제1 반응데이터(130)를 가공하기 위한 구성이다.
상기 디스플레이장치(1410)를 통해 웹드라마를 시청하는 시청자의 얼굴은 시청자의 얼굴 정면이 디스플레이장치(1410) 및 광학카메라와 대면하고 있는 경우가 일반적이므로 상기 얼굴인식부(1310)는 시청자의 얼굴 정면만을 구분하여 인식할 수 있도록 구성함이 바람직하다.
또한, 웹드라마를 시청하고 있는 시청자는 웹드라마를 시청하는 대부분의 시간동안 표정변화가 없는 것이 일반적인데, 표정변화가 없는 시청자의 얼굴을 포함하는 상기 제1 반응데이터(130)까지 포함하여 감정판별부(1300)가 시청자의 감정상태를 산출하는 것은 상기 단말장치(1000)의 성능에 악영향을 미칠 수 있으므로, 상기 얼굴인식부(1310)는 수신하는 제1 반응데이터(130)에서 각각의 프레임에 포함되는 형상의 변화가 일정 범위 이상인 경우만을 선별하여 시청자의 얼굴영역(150)을 인식하고, 상기 제1 반응데이터(130)에서 각각의 프레임에 포함되는 형상의 변화가 일정 범위 이하인 경우에는 무시하도록 구성할 수 있다.
상기 얼굴인식부(1310)에서 선별된 제1 반응데이터(130)에서 시청자의 얼굴영역(150)이 인식되면 상기 눈표정인식부(1320) 및 입표정인식부(1340) 각각에서는 상기 얼굴영역(150)을 눈 주변 영역(151)과 입 주변 영역(152)으로 분리하게 된다.
상기 얼굴인식부(1310), 눈표정인식부(1320), 입표정인식부(1340)는 각각 얼굴영역(150), 눈 주변 영역(151), 입 주변 영역(152)을 감지하기 위하여 PCA(Pricipal Component Analysis), FDA(Fisher Dixdrminarnt Analysis), ICA(Independent Component Analysis), CNN(Convolutional Neural Network) 알고리즘 중에 선택되는 적어도 하나를 이용하는 인공신경망 기계학습 알고리즘을 사용할 수도 있고, 얼굴 전체의 움직임 패턴을 이용하여 생성한 모션필드의 데이터셋과 시청자의 모션필드에 부합되는 3차원 모델과의 상관관계를 이용하여 인식하는 방법을 사용할 수도 있다.
상기 눈감정판별부(1330)는 상기 눈 주변 영역(151)을 통해 시청자의 감정을 구분하여 눈감정데이터(153)로 출력하고, 상기 입감정판별부(1350)는 상기 입 주변 영역(152)을 통해 시청자의 감정을 구분하여 입감정데이터(154)로 출력한다.
상기 눈감정데이터(153)와 입감정데이터(154)는 각각의 눈 주변 영역(151)과 입 주변 영역(152)의 감정을 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가의 7개 중 어느 하나의 감정으로 매칭되고, 각각의 눈 주변 영역(151)과 입 주변 영역(152)에 대하여 매칭되는 행복, 놀람, 슬품, 중립, 공포, 화남, 인식불가 중 어느 하나로 인식된 눈 주변 영역(151)과 입 주변 영역(152)의 수량을 카운트하여 그 카운트한 수를 각각의 눈 주변 영여과 입 주변 영역(152)에 대한 눈감정데이터(153)와 입감정데이터(154)로 산출한다.
예를 들어 상기 제1 반응데이터(130)를 구성하는 프레임의 총 개수가 n개 이면, 상기 얼굴인식부(1310)에서 인식된 얼굴영역(150)의 최대 개수는 n개가 되고, 상기 눈표정인식부(1320)와 입표적인식부에서 인식되는 눈 주변 영역(151)과 입 주변 영역(152)의 최대 개수 또한 각각 n개가 된다.
이 때, 상기 눈감정판별부(1330)와 입감정판별부(1350)는 최대 n개의 눈 주변 영역(151)과 입 주변 영역(152) 각각에 대하여 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가로 시청자의 감정을 구분한다.
상기 종합감정판별부(1360)는 상기 눈감정데이터(153)와 입감정데이터(154)를 종합하여 상기 감정데이터(200) 또는 평점(300)을 출력하여 상기 영상선택부(2200)로 전송하는데, 상기 종합감정판별부(1360)에서 상기 감정데이터(200)를 산출하는 방법은 상기 눈감정판별부(1330)에서 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가로 구분하여 카운트된 각각의 눈감정데이터(153)의 수와 상기 입감정판별부(1350)에서 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가로 구분하여 카운트된 각각의 입감정데이터(154) 수를 더하여 가장 높은 수치로 카운트된 감정을 감정데이터(200)로 산출한다.
예를 들어, 상기 눈감정판별부(1330)가 n개의 눈 주변 영역(151)에서 감지한 행복이 a1개, 놀람이 b1개, 슬픔이 c1개, 중립이 d1개, 공포가 e1개, 화남이 f1개, 인식불가가 g1개이고, 상기 입감정판별부(1350)가 n개의 입 주변 영역(152)에서 감지한 행복이 a2개, 놀람이 b2개, 슬픔이 c2개, 중립이 d2개, 공포가 e2개, 화남이 f2개, 인식불가가 g2개이면, 상기 종합감정판별부(1360)는 눈감정데이터(153)로 a1개, b1개, c1개, d1개, e1개, f1개, g1개를 입력받고, 입감정데이터(154)로 a2개, b2개, c2개, d2개, e2개, f2개, g2개를 입력받는다.
입감정데이터(154)와 눈감정데이터(153)를 입력받은 상기 종합감정판별부(1360)는 아래 수식 1 내지 수식 7에 의하여 행복을 나타내는 수치 a3, 놀람을 나타내는 수치 b3, 슬픔을 나타내는 수치 c3, 중립을 나타내는 수치 d3, 공포를 나나태는 수치 e3, 화남을 나타내는 수치 f3, 인식불가를 나타내는 수치 g3를 산출한다.
[수식 1]
a3 = a1 + a2
[수식 2]
b3 = b1 + b2
[수식 3]
c3 = c1 + c2
[수식 4]
d3 = d1 + d2
[수식 5]
e3 = e1 + e2
[수식 6]
f3 = f1 + f2
[수식 7]
g3 = g1 + g2
그 후, 상기 종합감정판별부(1360)는 a3 ~ g3 중 가장 큰 수치를 선택하고 선택된 값에 해당하는 감정을 상기 제1 반응데이터(130)에 대한 시청자의 감정을 나타내는 감정데이터(200)로 산출하게 된다. 이 때 상기 감정데이터(200)는 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가 중 하나로 선택된다.
예를 들어, a3 ~ g3 중 a3 값이 가장 크면 상기 감정데이터(200)는 행복이 되고, a3 ~ g3 중 b3 값이 가장 크면 상기 감정데이터(200)는 놀람이 되고, a3 ~ g3 중 c3 값이 가장 크면 상기 감정데이터(200)는 슬픔이 되고, a3 ~ g3 중 d3 값이 가장 크면 상기 감정데이터(200)는 중립이 되고, a3 ~ g3 중 e3 값이 가장 크면 상기 감정데이터(200)는 공포이 되고, a3 ~ g3 중 f3 값이 가장 크면 상기 감정데이터(200)는 화남이 되고, a3 ~ g3 중 g3 값이 가장 크면 상기 감정데이터(200)는 인식불가가 된다.
또한, 본 발명의 일 실시예에 따른 상기 감정판별부(1300)는 상기 눈표정인식부(1320)가 눈 주변 영역(151)을 인식한 경우 눈 깜박임 정도를 오른쪽 눈과 왼쪽 눈으로 구분하여 0 내지 100 범위의 값으로 산출하는 집중도데이터(171)로 출력하는 집중도선별부(1380)를 더 포함하는데, 상기 집중도데이터(171)가 0에 가까울수록 눈을 감고 있는 상태이고, 100에 가까울수록 눈을 뜨고 있는 상태이다.
이 때, 상기 집중도선별부(1380)는 상기 얼굴인식부(1310), 눈표정인식부(1320), 입표정인식부(1340)와 같이 PCA(Pricipal Component Analysis), FDA(Fisher Dixdrminarnt Analysis), ICA(Independent Component Analysis), CNN(Convolutional Neural Network) 알고리즘 중에 선택되는 적어도 하나를 이용하는 인공신경망 기계학습 알고리즘을 사용하여 구성할 수 있다.
상기 집중도선별부(1380)는 상기 제1 반응데이터(130)을 구성하는 각각의 프레임에서 눈 주변 영역(151)이 인식된 프레임 하나당 오른쪽 눈에 대한 상기 집중도데이터(171)와 왼쪽 눈에 대한 상기 집중도데이터(171)를 산출하고, 상기 집중도산출부(1390)는 오른쪽 눈에 대한 상기 집중도데이터(171)와 왼쪽 눈에 대한 상기 집중도데이터(171)를 종합하여 상기 제1 반응데이터(130)을 구성하는 각각의 프레임에서 눈 주변 영역(151)이 인식된 프레임 하나당 하나의 집중도(172)를 1.2, 1, 0.8, -1 중에 선택되는 어느 하나의 값으로 산출한다.
이 때, 상기 집중도산출부(1390)는 상기 오른쪽 눈과 왼쪽 눈에 대한 집중도데이터(171)의 산술평균값을 계산한 다음에 상기 집중도데이터(171)의 산술평균값이 80 ~ 100 범위에 있으면 1.2로, 40 ~ 79 범위에 있으면 1.0으로, 5 ~ 39 범위에 있으면 0.8로, 0 ~ 4 범위에 있으면 -1로 집중도(172)로 결정하여 산출하여 눈감정판별부(1330)로 전송한다. 상기 집중도(172)가 -1인 경우는 시청자가 눈을 감고 있는 것을 나타내는 것이다.
상기 눈감정판별부(1330)가 집중도(172)를 수신하면, 각각의 프레임에 대하여 눈 주변 영역(151)에 대하여 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가 중 어느 하나로 시청자의 감정을 산출하고, 산출한 시청자의 감정과 집중도(172)를 해당 프레임에 매칭시킨다.
만약, 눈 주변 영역(151)에 대한 프레임의 전체 개수가 24개일 경우 눈감정판별부(1330)에 의해 산출되는 시청자의 감정과 집중도(172)는 아래 표 1과 같이 24개의 프레임에 대하여 매칭될 수 있다.
프레임 감정 집중도
프레임1 슬픔 -1
프레임2 놀람 1.2
프레임3 놀람 0.8
프레임4 슬픔 1.2
프레임5 화남 1.2
프레임6 놀람 1
프레임7 슬픔 1.2
프레임8 행복 -1
프레임9 공포 -1
프레임10 화남 1.2
프레임11 놀람 -1
프레임12 놀람 1.2
프레임13 공포 1
프레임14 놀람 1.2
프레임15 놀람 -1
프레임16 슬픔 -1
프레임17 슬픔 1.2
프레임18 슬픔 -1
프레임19 인식불가 0.8
프레임20 중립 0.8
프레임21 행복 0.8
프레임22 공포 1
프레임23 놀람 1
프레임24 슬픔 1.2
다음으로, 상기 눈감정판별부(1330)는 각 프레임에 대하여 표 1과 같이 매칭되면, 표 2와 같이 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가 중 어느 하나로 결정된 각각의 감정에 대한 수량을 카운트 하고, 각각의 감정에 매칭되는 집중도(172)의 산술평균을 계산한다.
카운트 수 집중도
행복 2 -0.10
놀람 8 0.55
슬픔 7 0.26
중림 0 0.00
공포 3 0.33
화남 2 1.20
인식불가 1 0.80
다음으로 상기 눈감정판별부(1330)는 표 3과 같이 각 감정에 대한 카운트 수에 집중도(172)의 산술평균을 곱한 값을 눈감정데이터(153)로 산출하여 상기 종합감정판별부(1360)로 출력한다.
눈감정데이터
행복 -0.2
놀람 4.4
슬픔 1.8
중림 0
공포 1
화남 2.4
인식불가 0.8
상기 집중도(172)가 반영된 눈감정데이터(153)와 입감정데이터(154)를 상기 종합감정판별부(1360)에서 수신하면 전술한 방식과 같이 상기 종합감정판별부(1360)는 각각의 프레임에 대하여 산출되는 눈감정데이터(153)와 입감정데이터(154)에 포함되는 감정별로 가장 높은 수치로 카운트된 감정을 감정데이터(200)로 산출한다.
이 때, 각각의 상기 분기시점에서 산출되는 상기 감정데이터(200)는 영상감정데이터저장부(1391)에 상기 영상데이터(10) 및 분기시점 단위로 구분되어 저장 및 관리되어 웹드라마에 대한 평점(300)을 판단할 때 활용된다.
상기 감정판별부(1300)가 제1 반응데이터(130)에 포함되는 각각의 프레임의 시청자의 시청영상에서 눈 주변 영역(151)과 입 주변 영역(152)으로 나누어 각각에 대하여 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가의 7개의 감정상태로 구분하여 판단한 후에 종합감정판별부(1360)가 각각의 감정상태를 종합하여 시청자에 반응(100)을 표현하는 감정데이터(200)를 산출할 수 있음에 따라 시청자가 안경이나 마스크를 착용하고 있거나 조명에 의해 시청자의 전체 얼굴이 인식이 어려운 환경에서도 시청자의 반응(100)을 판별할 수 있다는 장점이 있다.
상기 영상선택부(2200)는 상기 감정데이터(200)를 수신하여 상기 감정데이터(200)에 따라 상기 어느 하나의 분기시점 다음에 재생될 영상데이터(10)를 결정하여 상기 데이터베이스(2100)에 요청하여 상기 단말장치(1000)의 재생부(1400)로 전송하는데, 상기 영상선택부(2200)가 상기 어느 하나의 분기시점 이후에 재생되는 영상데이터(10)를 선택함에 있어 상기 감정데이터(200)에 따라 시청자의 만족도가 향상될 수 있는 스토리를 가지도록 하며, 만약 상기 단말장치(1000)로부터 수신되는 감정데이터(200)가 행복, 놀람, 슬픔, 중립, 인식불가 중 어느 하나일 경우에는 최초에 선택되어 있는 기본 스토리를 유지하도록 영상데이터(10)를 선택하고, 상기 감정데이터(200)가 공포 또는 화남 중 어느 하나일 경우에는 최초에 선택되어 있는 기본 스토리와 다른 스토리를 가지는 영상데이터(10)를 선택한다.
상기 감정데이터(200)가 공포 또는 화남 중 어느 하나일 경우에 선택되는 다른 스토리를 가지는 영상데이터(10)는 시청자가 시청하고 있는 웹드라마의 장르에 따라 다르게 선택될 수 있는데, 만약 웹드라마의 장르가 폭력성이 강한 액션물이거나 공포물일 경우 폭력성이 완화된 스토리를 가지는 영상데이터(10)를 선택할 수 있으며, 웹드라마의 결말이 비극일 경우에는 이와 반대되는 해피엔딩의 스토리를 가지는 영상데이터(10)를 선택할 수 있다.
상기 영상선택부(2200)에서 상기 감정데이터(200)에 따라 상기 어느 하나의 분기시점 다음에 재생될 영상데이터(10)에 대한 결정이 완료되면, 상기 영상선택부(2200)는 상기 데이터베이스(2100)에서 상기 어느 하나의 분기시점 다음에 재생될 영상데이터(10)를 검색하여 재생부(1400)로 전송하고, 상기 재생부(1400)는 상기 영상선택부(2200)가 선택항 영상데이터(10)를 상기 어느 하나의 분기시점 뒤에 재생한다.
상기 양방향 반응성 웹드라마 시스템의 상기 감정판별부(1300)가 시청자의 감정상태를 눈 주변 영역(151)과 입 주변 영역(152)의 시청영상을 통해 판단하고 시청자의 감정상태에 따라 상기 영상선택부(2200)가 시청자의 만족도가 높아질 수 있는 스토리를 가지는 영상데이터(10)를 선택하여 상기 재생부(1400)를 통해 영상선택부(2200)가 선택한 영상데이터(10)를 방송할 수 있음으로써, 시청자로 하여금 웹드라마에 대한 만족도를 높일 수 있다.
다시 도 1 및 도 3을 참조하면, 제1 반응데이터(130)에 포함되는 복수의 프레임에서 집중도데이터(171)의 값이 -1인 프레임의 비중이 50%이상일 경우에는 상기 눈감정판별부(1330)는 “수면 중”임을 나타내는 눈감정데이터(153)를 산출하고, 상기 종합감정판별부(1360)가 “수면 중”임을 나타내는 눈감정데이터(153)를 수신하면 입감정데이터(154)에도 불구하고 “수면 중”임을 나타내는 감정데이터(200)를 산출하여 영상선택부(2200)에 전송한다.
상기 데이터베이스(2100)는 하나 이상의 분기시점을 갖고 상기 하나 이상의 분기시점을 기준으로 서로 다른 줄거리를 갖는 음성데이터를 더 저장하여 관리하고 있는데, 상기 영상선택부(2200)는 수신되는 상기 감정데이터(200)가 “수면 중”임을 나타내는 경우, 시청중인 웹드라마의 어느 하나의 분기시점 다음에 재생될 영상데이터(10) 대신에 음성데이터를 상기 데이터베이스(2100)에 요청하여 상기 음성데이터를 상기 재생부(1400)로 전송하고, 상기 재생부(1400)는 상기 음성데이터를 음성출력장치를 통해 방송한다.
본 발명의 일 실시예에 따른 양방향 반응성 웹드라마 시스템은 상기 감정판별부(1300)를 통해 시청자가 눈을 감고 있는 상태가 유지되고 있는 경우, 어느 하나의 분기시점 이후에 웹드라마의 스토리를 음성으로 제공하도록 자동 변환하여 제공하여 시청자로 하여금 웹드라마에 대한 만족도를 높일 수 있다.
이 때, 상기 음성데이터는 시각장애인들을 위하여 제공되는 웹드라마에 대한 스토리를 음성으로 설명하는 데이터임이 바람직하다.
도 2 및 도 3을 참조하여 본 발명의 일 실시예에 상기 감정판별부(1300)가 웹드라마에 대한 평점(300)을 산출하는 방식에 대하여 설명하기로 한다.
웹드라마에 대한 평점(300)을 산출하기 위하여 상기 센서부(1200)는 상기 재생부(1400)를 통해 상기 영상데이터(10)의 재생이 완료된 시점으로부터 후행하는 제2 측정시간동안 상기 센서부(1200)를 통해 상기 시청자의 반응(100)을 측정하여 제2 반응데이터(140)를 출력한다.
이 때, 상기 제2 반응데이터(140)는 상기 제1 반응데이터(130)와 같이 시청자의 시청영상으로 상기 제2 측정시간동안 촬영된 시청자의 얼굴을 포함하는 복수의 프레임으로 구성된다.
상기 감정판별부(1300)는 상기 제2 반응데이터(140)를 상기 얼굴인식부(1310)를 통해 시청자의 얼굴영역(150)을 구분하여 인식하여 출력하고, 상기 눈표정인식부(1320)와 입표정인식부(1340)를 통해 상기 얼굴영역(150)을 눈 주변 영역(151)과 입 주변 영역(152)으로 구분하고, 집중도선별부(1380), 눈감정판별부(1330), 입감정판별판별부와 종합감정판별부(1360)를 거치면서 전술한 방식에 따라 제2 반응데이터(140)에 대한 감정데이터(200)를 산출한다.
상기 제2 반응데이터(140)에 대한 감정데이터(200)가 산출되면, 상기 종합감정판별부(1360)는 상기 영상감정데이터저장부(1391)에 저장된 웹드라마의 분기 시점 단위로 구분되어 저장된 적어도 하나 이상의 분기 시점에 대한 각각의 감정데이터(200)를 조회하여 “행복”, ”놀람”, “슬픔”, “공포”, “화남”에 대응하는 각각의 감정데이터(200)를 종합하여 상기 평점(300)을 산출한다.
즉, 상기 제1 반응데이터(130)와 제2 반응데이터(140)에 대한 감정데이터(200) 각각의 값을 카운트하여 가장 많은 수가 카운트된 값이 “행복”, “놀람”, “슬픔”을 나타내는 경우에는 평점(300)은 “긍정”으로 매칭되고, “공포”, “화남”을 나타내는 경우에는 평점(300)은 “부정”으로 매칭한다.
상기 데이터베이스(2100)는 웹드라마에 대한 제목, 스틸샷, 시놉시스, 예고영상 및/또는 웹드라마와 관련되는 상품들에 대한 이미지, 판매 웹사이트 주소 중에 적어도 하나를 포함하는 광고데이터(20)를 더 저장하고, 상기 영상선택부(2200)는 상기 평점(300)이 “긍정”일 경우, 상기 영상데이터(10)와 관련되는 광고데이터(20)를 상기 데이터베이스(2100)에 요청하여 상기 재생부(1400)로 전송하고, 상기 재생부(1400)는 상기 광고데이터(20)를 상기 디스플레이장치(1410)로 출력한다.
본 발명에 의하면 시청자의 평점(300)이 “긍정”인 웹드라마와 유사한 스토리를 갖는 다른 웹드라마 또는 시청자의 평점(300)이 “긍정”인 웹드라마와 관련되는 상품들에 대한 정보를 포함하는 광고데이터(20)를 시청자들에게 노출시킬 수 있어 양방향 반응성 웹드라마 시스템을 마케팅 용도로 활용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 양방향 반응성 웹드라마 시스템에서 시청자의 시청영상을 분석하여 시청자의 연령(169)을 산출하는 감정판별부(1300)의 개념도이다. 도 1 및 도 4를 참조하면, 상기 감정판별부(1300)는 상기 제 1반응데이터를 분석하여 시청자의 연령(169)을 산출하는 연령산출부(1370)를 더 포함하고, 상기 영상선택부(2200)는 상기 연령(169)에 따라 상기 어느 하나의 분기시점 다음에 재생될 영상데이터(10)를 선택하여 상기 데이터베이스(2100)에 요청한다.
이를 통해, 또한, 시청자가 미성년자일 경우에는 상기 어느 하나의 분기시점 이후의 영상데이터(10)를 미성년자에 적합한 스토리를 가지는 것으로 변경하여 방송할 수 있다.
도 4에 도시된 바와 같이 시청자의 연령(169)은 상기 얼굴인식부(1310)를 통하여 제1 반응데이터(130)에 포함되는 프레임 각각에서 시청자의 얼굴영역(150)을 구분한 한 다음, 상기 눈표정인식부(1320)와 입표정인식부(1340)를 통해 각각 눈 주변 영역(151)과 입 주변 영역(152)으로 다시 구분한 후에 연령산출부(1370)에 의해 산출된다.
이 때, 연령산출부(1370)는 PCA(Pricipal Component Analysis), FDA(Fisher Dixdrminarnt Analysis), ICA(Independent Component Analysis), CNN(Convolutional Neural Network) 알고리즘 중에 선택되는 적어도 하나를 이용하는 인공신경망 기계학습 알고리즘을 사용하여 구성될 수 있다.
본 발명의 양방향 반응성 웹드라마 시스템은 시청자가 안경이나 마스크를 착용하고 있거나 조명에 의해 시청자의 전체 얼굴이 인식이 어려운 환경에서도 시청자의 반응(100)을 산출할 수 있을 뿐만 아미라, 시청자의 반응(100) 또는 연령(169)에 따라 웹드라마의 재생 방향을 달리하여 시청자로 하여금 웹드라마에 대한 만족도를 높일 수 있고, 시청자의 반응(100)을 통해 시청한 웹드라마에 대한 평점(300)을 자동 책정하고, 평점(300)에 따라 시청한 웹드라마와 유사한 줄거리를 가지는 다른 웹드라마 또는 시청한 웹드라마와 관련되는 상품에 대한 광고를 노출시킬 수 있다.
또한, 시청자의 얼굴을 인식하여 시청자가 눈을 감고 있다고 판단되면, 웹드라마의 스토리를 음성으로 제공하도록 자동 변환하여 제공하여 시청자로 하여금 웹드라마에 대한 만족도를 높일 수 있다.
이상에서 설명한 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위내에 있게 된다.
10 : 영상데이터
20 : 광고데이터
1000 : 단말장치
1200 : 센서부
1300 : 감정판별부
1400 : 재생부
2000 : 데이터센터
2100 : 데이터베이스
2200 : 영상선택부

Claims (12)

  1. 온라인 웹 상에서 재생되는 웹드라마로서 하나 이상의 분기시점을 갖고 상기 하나 이상의 분기시점을 기준으로 서로 다른 줄거리를 갖는 영상데이터가 저장되는 데이터베이스를 포함하는 데이터센터;
    상기 데이터베이스로부터 상기 영상데이터를 수신하여 재생하는 단말장치;를 포함하고,
    상기 단말장치는,
    상기 분기시점 중 어느 하나의 분기시점으로부터 선행하는 제1 측정시간동안 상기 단말장치의 디스플레이장치를 통해 재생되는 상기 영상데이터를 시청하는 시청자의 반응을 적어도 하나의 측정장치를 사용하여 측정한 제1 반응데이터를 출력하는 센서부;
    상기 제1 반응데이터를 수신하고, 수신되는 상기 제1 반응데이터를 분석하여 상기 시청자의 감정상태를 나타내는 감정데이터를 출력하는 감정판별부;
    상기 데이터센터로부터 상기 영상데이터를 수신하고, 수신한 상기 영상데이터를 재생하는 상기 디스플레이장치를 포함하는 재생부; 및,
    각각의 상기 분기시점에서 산출되는 상기 감정데이터를 상기 영상데이터 및 분기시점 단위로 구분하여 저장하는 영상감정데이터저장부;를 포함하고,
    상기 데이터센터는 상기 감정데이터에 따라 상기 어느 하나의 분기시점 다음에 재생될 영상데이터를 결정하여 상기 데이터베이스에 요청하는 영상선택부;를 더 포함하고,
    상기 재생부는 상기 영상선택부에 의해 선택되는 상기 영상데이터를 수신하여 상기 어느 하나의 분기시점 뒤에 재생하고,
    상기 감정판별부는,
    상기 제1 반응데이터를 구성하는 복수의 프레임 각각에서 시청자의 얼굴영역을 인식하는 얼굴인식부;
    상기 얼굴영역에서 눈 주변 영역을 구분하여 인식하는 눈표정인식부;
    상기 얼굴영역에서 입 주변 영역을 구분하여 인식하는 입표정인식부;
    상기 눈 주변 영역을 통해 시청자의 감정을 구분하여 눈감정데이터로 출력하는 눈감정판별부;
    상기 입 주변 영역을 통해 시청자의 감정을 구분하여 입감정데이터로 출력하는 입감정판별부; 및,
    상기 눈감정데이터와 입감정데이터를 종합하여 상기 감정데이터 또는 평점을 출력하는 종합감정판별부;를 포함하고,
    상기 얼굴인식부는 수신하는 제1 반응데이터에서 각각의 프레임에 포함되는 형상의 변화가 일정 범위 이상인 경우만을 선별하여 시청자의 얼굴영역을 인식하고, 상기 제1 반응데이터에서 각각의 프레임에 포함되는 형상의 변화가 일정 범위 이하인 경우에는 무시하고,
    상기 눈감정데이터는 눈 주변 영역의 감정을 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가의 7개 중 어느 하나의 감정으로 매칭되고,
    상기 눈감정판별부는 눈 주변 영역에 대하여 매칭되는 행복, 놀람, 슬품, 중립, 공포, 화남, 인식불가 중 어느 하나로 인식된 눈 주변 영역의 수량을 카운트하여 그 카운트한 수를 눈 주변 영역에 대한 눈감정데이터로 산출하고,
    상기 입감정데이터는 입 주변 영역의 감정을 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가의 7개 중 어느 하나의 감정으로 매칭되고,
    상기 입감정판별부는 입 주변 영역에 대하여 매칭되는 행복, 놀람, 슬품, 중립, 공포, 화남, 인식불가 중 어느 하나로 인식된 입 주변 영역의 수량을 카운트하여 그 카운트한 수를 입 주변 영역에 대한 입감정데이터로 산출하고,
    상기 종합감정판별부는 상기 눈감정판별부에서 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가로 구분하여 카운트된 각각의 눈감정데이터의 수와 상기 입감정판별부에서 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가로 구분하여 카운트된 각각의 입감정데이터 수를 더하여 가장 높은 수치로 카운트된 감정을 감정데이터로 산출하는 양방향 반응성 웹드라마 시스템.
  2. 제1항에 있어서,
    상기 센서부는 상기 재생부를 통해 상기 영상데이터의 재생이 완료된 시점으로부터 후행하는 제2 측정시간동안 상기 센서부를 통해 상기 시청자의 반응을 측정하여 제2 반응데이터를 출력하고,
    상기 감정판별부는,
    상기 제2 반응데이터를 구성하는 복수의 프레임 각각에서 시청자의 얼굴영역을 인식하는 얼굴인식부;
    상기 얼굴영역에서 눈 주변 영역을 구분하여 인식하는 눈표정인식부;
    상기 얼굴영역에서 입 주변 영역을 구분하여 인식하는 입표정인식부;
    상기 눈 주변 영역을 통해 시청자의 감정을 구분하여 눈감정데이터로 출력하는 눈감정판별부;
    상기 입 주변 영역을 통해 시청자의 감정을 구분하여 입감정데이터로 출력하는 입감정판별부; 및,
    상기 눈감정데이터와 입감정데이터를 종합하여 상기 감정데이터 또는 평점을 출력하는 종합감정판별부;를 포함하고,
    상기 얼굴인식부는 수신하는 제2 반응데이터에서 각각의 프레임에 포함되는 형상의 변화가 일정 범위 이상인 경우만을 선별하여 시청자의 얼굴영역을 인식하고, 상기 제2 반응데이터에서 각각의 프레임에 포함되는 형상의 변화가 일정 범위 이하인 경우에는 무시하는 양방향 반응성 웹드라마 시스템.
  3. 제1항에 있어서,
    상기 감정판별부는 상기 제 1반응데이터을 분석하여 시청자의 연령을 산출하는 연령산출부;를 더 포함하고,
    상기 영상선택부는 상기 연령에 따라 상기 어느 하나의 분기시점 다음에 재생될 영상데이터를 선택하여 상기 데이터베이스에 요청하는 양방향 반응성 웹드라마 시스템.
  4. 제1항 또는 제2항에 있어서,
    상기 감정판별부는,
    상기 눈표정인식부가 눈 주변 영역을 인식한 경우 눈 깜박임 정도를 오른쪽 눈과 왼쪽 눈으로 구분하여 산출하는 집중도데이터로 출력하는 집중도선별부; 및,
    오른쪽 눈에 대한 상기 집중도데이터와 왼쪽 눈에 대한 상기 집중도데이터를 종합하여 집중도를 산출하는 집중도산출부;를 더 포함하고,
    상기 종합감정판별부는 상기 눈감정데이터, 입감정데이터 및 집중도를 종합하여 상기 감정데이터 또는 평점을 출력하고,
    상기 집중도선별부는 상기 눈표정인식부가 눈 주변 영역을 인식한 경우 눈 깜박임 정도를 오른쪽 눈과 왼쪽 눈으로 구분하여 0 내지 100 범위의 값으로 산출하는 집중도데이터로 출력하는 양방향 반응성 웹드라마 시스템.
  5. 제4항에 있어서,
    상기 집중도선별부는 상기 제1 반응데이터을 구성하는 각각의 프레임에서 눈 주변 영역이 인식된 프레임 하나당 오른쪽 눈에 대한 상기 집중도데이터와 왼쪽 눈에 대한 상기 집중도데이터를 산출하고,
    상기 집중도산출부는 오른쪽 눈에 대한 상기 집중도데이터와 왼쪽 눈에 대한 상기 집중도데이터를 종합하여 상기 제1 반응데이터을 구성하는 각각의 프레임에서 눈 주변 영역이 인식된 프레임 하나당 하나의 집중도를 1.2, 1, 0.8, -1 중에 선택되는 어느 하나의 값으로 산출하고,
    상기 집중도산출부는 상기 오른쪽 눈과 왼쪽 눈에 대한 집중도데이터의 산술평균값을 계산한 다음에 상기 집중도데이터의 산술평균값이 80 ~ 100 범위에 있으면 1.2로, 40 ~ 79 범위에 있으면 1.0으로, 5 ~ 39 범위에 있으면 0.8로, 0 ~ 4 범위에 있으면 -1로 집중도로 결정하여 산출하여 눈감정판별부로 전송하고,
    상기 눈감정판별부는 상기 집중도를 수신하면, 각각의 프레임에 대하여 눈 주변 영역에 대하여 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가 중 어느 하나로 시청자의 감정을 산출하고, 산출한 시청자의 감정과 집중도를 해당 프레임에 매칭시키는 양방향 반응성 웹드라마 시스템.
  6. 제5항에 있어서,
    상기 눈감정판별부는 각 프레임에 대하여 행복, 놀람, 슬픔, 중립, 공포, 화남, 인식불가 중 어느 하나로 결정된 각각의 감정에 대한 수량을 카운트 하고, 각각의 감정에 매칭되는 집중도의 산술평균을 계산한 후에, 상기 각각의 감정에 대한 카운트된 수량에 집중도의 산술평균을 곱한 값을 눈감정데이터로 산출하여 상기 종합감정판별부로 출력하고,
    상기 종합감정판별부은 상기 집중도가 반영된 눈감정데이터와 입감정데이터를 수신하여 각각의 프레임에 대하여 산출되는 상기 눈감정데이터와 입감정데이터에 포함되는 감정별로 가장 높은 수치로 카운트된 감정을 감정데이터로 산출하는 양방향 반응성 웹드라마 시스템.
  7. 제6항에 있어서,
    상기 눈감정판별부는 제1 반응데이터에 포함되는 복수의 프레임에서 집중도데이터의 값이 -1인 프레임의 비중이 50%이상일 경우에는 “수면 중”임을 나타내는 눈감정데이터를 산출하고,
    상기 종합감정판별부가 “수면 중”임을 나타내는 눈감정데이터를 수신하면 입감정데이터에도 불구하고 “수면 중”임을 나타내는 감정데이터를 산출하여 영상선택부에 전송하는 양방향 반응성 웹드라마 시스템.
  8. 제6항에 있어서,
    상기 눈감정판별부는 제2 반응데이터에 포함되는 복수의 프레임에서 집중도데이터의 값이 -1인 프레임의 비중이 50%이상일 경우에는 “수면 중”임을 나타내는 눈감정데이터를 산출하고,
    상기 종합감정판별부가 “수면 중”임을 나타내는 눈감정데이터를 수신하면 입감정데이터에도 불구하고 “수면 중”임을 나타내는 감정데이터를 산출하여 영상선택부에 전송하는 양방향 반응성 웹드라마 시스템.
  9. 제8항에 있어서,
    상기 종합감정판별부는 상기 영상감정데이터저장부에 저장된 웹드라마의 분기 시점 단위로 구분되어 저장된 적어도 하나 이상의 분기 시점에 대한 각각의 감정데이터를 조회하여 “행복”, ”놀람”, “슬픔”, “공포”, “화남”에 대응하는 각각의 감정데이터를 종합하여 상기 평점을 산출한하되, 상기 제1 반응데이터와 제2 반응데이터에 대한 감정데이터 각각의 값을 카운트하여 가장 많은 수가 카운트된 값이 “행복”, “놀람”, “슬픔”을 나타내는 경우에는 평점을 “긍정”으로 매칭하고, “공포”, “화남”을 나타내는 경우에는 평점을 “부정”으로 매칭하는 양방향 반응성 웹드라마 시스템.
  10. 제9항에 있어서,
    상기 데이터베이스는 상기 데이터베이스에 저장되는 영상데이터에 대한 제목, 스틸샷, 시놉시스, 예고영상 중에 적어도 하나를 포함하는 광고데이터를 더 저장하고,
    상기 평점이 “긍정”일 경우, 상기 영상선택부는 상기 영상데이터와 유사한 줄거리를 갖는 다른 영상데이터에 대한 광고데이터를 상기 데이터베이스에 요청하여 상기 재생부로 전송하고,
    상기 재생부는 상기 광고데이터를 상기 디스플레이장치로 출력하는 양방향 반응성 웹드라마 시스템.
  11. 제9항에 있어서,
    상기 데이터베이스는 상기 데이터베이스에 저장되는 영상데이터와 관련되는 상품들에 대한 이미지, 판매 웹사이트 주소를 포함하는 광고데이터를 영상데이터 단위로 구분하여 더 저장하고,
    상기 평점이 “긍정”일 경우, 상기 영상선택부는 상기 영상데이터와 관련되는 광고데이터를 상기 데이터베이스에 요청하여 상기 재생부로 전송하고,
    상기 재생부는 상기 광고데이터를 상기 디스플레이장치로 출력하는 양방향 반응성 웹드라마 시스템.
  12. 제8항에 있어서,
    상기 데이터베이스는 하나 이상의 분기시점을 갖고 상기 하나 이상의 분기시점을 기준으로 서로 다른 줄거리를 갖는 음성데이터를 더 저장하여 관리하고,
    상기 영상선택부는 수신되는 상기 감정데이터가 “수면 중”임을 나타내는 경우, 시청중인 웹드라마의 어느 하나의 분기시점 다음에 재생될 영상데이터 대신 음성데이터를 상기 데이터베이스에 요청하여 상기 음성데이터를 상기 재생부로 전송하고,
    상기 재생부는 상기 음성데이터를 음성출력장치를 통해 방송하는 양방향 반응성 웹드라마 시스템.
KR1020210180257A 2021-12-16 2021-12-16 양방향 반응성 웹드라마 시스템 KR102427964B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210180257A KR102427964B1 (ko) 2021-12-16 2021-12-16 양방향 반응성 웹드라마 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210180257A KR102427964B1 (ko) 2021-12-16 2021-12-16 양방향 반응성 웹드라마 시스템

Publications (1)

Publication Number Publication Date
KR102427964B1 true KR102427964B1 (ko) 2022-08-02

Family

ID=82845919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210180257A KR102427964B1 (ko) 2021-12-16 2021-12-16 양방향 반응성 웹드라마 시스템

Country Status (1)

Country Link
KR (1) KR102427964B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396715A (zh) * 2022-08-18 2022-11-25 咪咕数字传媒有限公司 桌游互动方法、系统及存储介质
KR102567931B1 (ko) * 2022-09-30 2023-08-18 주식회사 아리아스튜디오 시청자 반응을 기초로 인터랙티브 시나리오를 업데이트하는 콘텐츠 생성 플랫폼 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101628084B1 (ko) 2015-01-27 2016-06-21 (주)프리비젼엔터테인먼트 영화 재생 시스템
KR20170027944A (ko) * 2015-09-03 2017-03-13 삼성전자주식회사 사용자 단말기 및 수면 관리 방법
KR20170098380A (ko) * 2016-02-19 2017-08-30 한국산업기술대학교산학협력단 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치
KR20200065755A (ko) * 2018-11-30 2020-06-09 오당찬 몰입도 운용 방법 및 이를 지원하는 전자 장치
JP2020192142A (ja) * 2019-05-29 2020-12-03 キヤノン株式会社 放射線撮影システム、放射線撮影制御装置及びその制御方法、並びに、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101628084B1 (ko) 2015-01-27 2016-06-21 (주)프리비젼엔터테인먼트 영화 재생 시스템
KR20170027944A (ko) * 2015-09-03 2017-03-13 삼성전자주식회사 사용자 단말기 및 수면 관리 방법
KR20170098380A (ko) * 2016-02-19 2017-08-30 한국산업기술대학교산학협력단 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치
KR20200065755A (ko) * 2018-11-30 2020-06-09 오당찬 몰입도 운용 방법 및 이를 지원하는 전자 장치
JP2020192142A (ja) * 2019-05-29 2020-12-03 キヤノン株式会社 放射線撮影システム、放射線撮影制御装置及びその制御方法、並びに、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396715A (zh) * 2022-08-18 2022-11-25 咪咕数字传媒有限公司 桌游互动方法、系统及存储介质
CN115396715B (zh) * 2022-08-18 2024-01-30 咪咕数字传媒有限公司 桌游互动方法、系统及存储介质
KR102567931B1 (ko) * 2022-09-30 2023-08-18 주식회사 아리아스튜디오 시청자 반응을 기초로 인터랙티브 시나리오를 업데이트하는 콘텐츠 생성 플랫폼 장치

Similar Documents

Publication Publication Date Title
US11350168B2 (en) System and method for dynamically selecting supplemental content based on viewer environment
KR102427964B1 (ko) 양방향 반응성 웹드라마 시스템
US9560411B2 (en) Method and apparatus for generating meta data of content
CN100423574C (zh) 根据用户的当前心情产生推荐的方法和装置
TWI581128B (zh) 基於媒體反應來控制媒體節目的方法、系統及電腦可讀取儲存記憶體
KR20150007936A (ko) 미디어 컨텐츠에 대한 사용자 피드백을 획득하는 시스템 및 방법, 컴퓨터 판독가능 기록매체
CN110519617A (zh) 视频评论处理方法、装置、计算机设备及存储介质
JP2006012171A (ja) 生体認識を用いたレビュー管理システム及び管理方法
US10257569B2 (en) Display apparatus and method for providing service thereof
US20150199995A1 (en) Modular content generation, modification, and delivery system
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
JP2009140010A (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US20140325540A1 (en) Media synchronized advertising overlay
US11043230B1 (en) Targeted content based on user reactions
CN107480265A (zh) 数据推荐方法、装置、设备以及存储介质
CN110519620A (zh) 在电视机推荐电视节目的方法以及电视机
Chen et al. Hierarchical cross-modal talking face generationwith dynamic pixel-wise loss
CN108038446B (zh) 信息采集方法
CN112188116B (zh) 基于对象的视频合成方法、客户端及系统
Uribe et al. New access services in HbbTV based on a deep learning approach for media content analysis
US20220164024A1 (en) User-driven adaptation of immersive experiences
KR20220006926A (ko) 요약 비디오를 생성하는 디바이스 및 방법
Ko et al. Learning minimal intra-genre multimodal embedding from trailer content and reactor expressions for box office prediction
Alexander What the Robot Saw
Gupta et al. Intelligent Music Recommendation System Based on Face Emotion Recognition

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant