KR20090121016A - 시청자 반응 측정 방법 및 시스템 - Google Patents

시청자 반응 측정 방법 및 시스템 Download PDF

Info

Publication number
KR20090121016A
KR20090121016A KR1020080047098A KR20080047098A KR20090121016A KR 20090121016 A KR20090121016 A KR 20090121016A KR 1020080047098 A KR1020080047098 A KR 1020080047098A KR 20080047098 A KR20080047098 A KR 20080047098A KR 20090121016 A KR20090121016 A KR 20090121016A
Authority
KR
South Korea
Prior art keywords
viewer
response
data
broadcast server
information data
Prior art date
Application number
KR1020080047098A
Other languages
English (en)
Inventor
박영민
오금용
Original Assignee
박영민
오금용
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박영민, 오금용 filed Critical 박영민
Priority to KR1020080047098A priority Critical patent/KR20090121016A/ko
Publication of KR20090121016A publication Critical patent/KR20090121016A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre

Abstract

본 발명은 시청자 반응 측정 방법 및 시스템에 관한 것이다. 본 발명의 실시예에 따른 시청자 반응 측정 방법은, 방송 서버로부터 전송되는 콘텐츠를 시청하는 시청자의 반응을 측정하는 방법에 있어서, 시청자를 모니터링 하여 상기 시청자에 대한 감지 데이터를 생성하는 단계, 감지 데이터를 분석하여 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나를 추출하는 단계, 그리고 추출된 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나로부터 시청자의 반응 강도를 나타내는 반응 정보 데이터를 생성하는 단계를 포함한다. 본 발명에 따르면 콘텐츠 제공자는 시청자의 반응 강도를 직접 확인할 수 있으므로, 시청자의 선호도를 정확히 파악할 수 있으며, 시청자의 선호도에 따른 맞춤형 서비스를 제공할 수 있다. 또한 시청자가 콘텐츠를 시청하는 자신의 표정을 직접 확인할 수 있으며, 과거에 자신이 선호하는 콘텐츠의 해당 장면을 선택할 수 있다.
감지 데이터, 양방향 TV, 콘텐츠, 반응 정보 데이터

Description

시청자 반응 측정 방법 및 시스템{VIEWER RESPONSE MEASUREMENT METHOD AND SYSTEM}
본 발명은 시청자 반응 측정 방법 및 시스템에 관한 것으로, 더욱 상세하게는 방송 서버로부터 전송되는 콘텐츠를 시청하는 시청자의 반응을 인식하는 방법 및 시스템에 관한 것이다.
최근 멀티미디어의 사용이 급증하고, 사용자가 적극적으로 참여할 수 있는 IPTV와 양방향 TV를 이용한 서비스가 증가함에 따라 시청자 위주의 서비스를 제공하려는 움직임이 활발해지고 있다. 또한, 시청자의 시청 패턴을 방송사가 스스로 관찰함으로써 시청자의 선호도를 반영한 서비스들이 많이 소개되고 있다.
현재 가장 널리 사용되는 시청자의 선호도 조사는 특정 프로그램의 시청률을 조사하는 방법이다. 그러나 시청자가 채널을 돌려가면서 TV를 시청할 수도 있으며, 특정 프로그램 중 일부 코너만을 시청할 수도 있으므로 단순한 시청률 조사로는 시청자의 진정한 선호도를 판단하기 어렵다.
또한, 시청률이 높은 프로그램이라고 할지라도 시청자의 반응 강도를 직접 확인하기는 어렵다. 예를 들면, 개그 프로그램에서 출연자가 웃음을 유도한 순간 에서 시청자의 웃음을 유발하는지, 웃음을 유발하더라도 어느 정도의 웃음인지 등을 프로그램 제작자는 단순한 시청률을 통해서는 알아낼 수 없다. 방청객을 직접 스튜디오로 초대하는 공개 프로그램의 경우에도 프로그램의 분위기 상 연출된 반응을 보여야만 하기 때문에 시청자의 반응 강도를 알아내기에는 한계가 있다.
최근 시청자의 반응 정도를 알아보기 위하여 프로그램 중간에 시청자로부터 시청 소감을 단문문자메시지(SMS)를 통해 전송 받아 화면의 하단에 표시하는 경우가 있다. 그러나 단문문자메시지를 통해 시청 소감을 생생하게 전달하기에는 한계가 있으며, 자발적으로 단문문자메시지를 보낸 시청자의 의견만 반영된다는 점에서 객관적으로 시청자의 반응을 정확하게 확인할 수 없다는 문제점이 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 시청자의 반응 강도를 정확하게 측정하는 시청자 반응 측정 방법 및 시스템을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따르면, 방송 서버로부터 전송되는 콘텐츠를 시청하는 시청자의 반응을 측정하는 방법에 있어서, 상기 시청자를 모니터링 하여 상기 시청자에 대한 감지 데이터를 생성하는 단계, 상기 감지 데이터를 분석하여 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나를 추출하는 단계, 그리고 추출된 상기 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나로부터 시청자의 반응 강도를 나타내는 반응 정보 데이터를 생성하는 단계를 포함한다.
상기 방송 서버로부터 상기 감지 데이터 또는 상기 반응 정보 데이터의 요청에 관한 시그널링 정보를 수신하는 단계를 더 포함할 수 있다.
상기 감지 데이터 및 상기 반응 정보 데이터 중 적어도 하나를 상기 방송 서버로 전송하는 단계를 더 포함할 수 있다.
상기 감지 데이터 및 상기 반응 정보 데이터 중 적어도 하나를 대응되는 콘텐츠의 해당 장면과 결합하여 저장하는 단계를 더 포함할 수 있다.
상기 감지 데이터는, 상기 시청자의 표정 또는 동작을 촬영하는 카메라, 상기 시청자로부터 발생되는 음성을 증폭시키는 마이크, 그리고 상기 시청자의 움직 임을 감지하는 적외선 센서 중 적어도 하나에 의해 센싱될 수 있다.
상기 방송 수신 장치는 양방향 TV를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 방송 서버로부터 전송되는 콘텐츠를 시청하는 시청자의 반응을 측정하는 시스템에 있어서, 상기 시청자를 모니터링 하여 상기 시청자에 대한 감지 데이터를 생성하는 센서부, 상기 감지 데이터를 분석하여 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나를 추출하는 데이터 처리부, 그리고 추출된 상기 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나로부터 시청자의 반응 강도 레벨을 측정하는 분석부를 포함한다.
이와 같이 본 발명에 따르면 콘텐츠 제공자는 시청자의 반응 강도를 직접 확인할 수 있으므로, 시청자의 선호도를 정확히 파악할 수 있으며, 시청자의 선호도에 따른 맞춤형 서비스를 제공할 수 있다. 또한 시청자가 콘텐츠를 시청하는 자신의 표정을 직접 확인할 수 있으며, 과거에 자신이 선호하는 콘텐츠의 해당 장면을 선택할 수 있다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
먼저, 도 1을 참고하여 본 발명의 실시예에 따른 반응 측정 시스템에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 반응 측정 시스템을 설명하기 위한 블록도이다.
도 1을 참고하면 본 발명의 실시예에 따른 방송 서버(110)는 주로 방송국 내에 설치된 서버로서, 오디오 또는 비디오 형식의 프로그램으로 제작된 각종 콘텐츠를 가입된 방송 수신 장치(120)로 전송한다. 방송 서버(110)는 공중파 방송 서버, 케이블 방송 서버, 인터넷 방송 서버, 오디오 방송 서버 등을 포함한다.
방송 서버(110)는 특정 콘텐츠에 대한 시청자의 반응을 알고자 하는 경우, 콘텐츠 뿐만 아니라 콘텐츠와 연동된 시그널링 정보를 전달한다. 시그널링 정보에는 사진 또는 동영상 촬영 여부, 시청자의 동의 요청 메시지, 촬영 시간 정보, 방송 서버(110)로 시청자의 표정 영상을 전송 요청하는 메시지, 사용자 정보, 방송 수신 장치의 정보 등을 포함한다. 따라서, 방송 서버(110)는 콘텐츠 전송과 더불어 시청자에게 촬영 동의를 구하는 메시지를 보내고, 시청자가 동의하면 방송용 콘텐츠가 방송되는 시간 동안 시청자의 표정 또는 행동을 촬영하도록 설정할 수 있다.
또한, 방송 서버(110)는 방송 수신 장치(120)를 식별할 수 있도록 식별 인덱스(Index)를 저장할 수 있다. 예를 들어 방송 수신 장치(120)가 IPTV인 경우에는 식별 인덱스에 방송 수신 장치(120)의 IP 주소가 포함된다. 따라서, 방송 서버(110)는 식별 인덱스를 이용하여 방송 수신 장치(120)를 식별할 수 있다. 또한, 시청자의 반응을 기록한 감지 데이터 또는 반응 정보 데이터를 방송 수신 장치(120)의 식별 인덱스에 대응하여 데이터 베이스(Data Base)화 할 수 있다.
여기서, 감지 데이터는 센서부(130)를 통해 촬영 또는 녹음된 시청자에 대한 동영상, 사진 또는 음원 파일을 포함한다. 반응 정보 데이터는 감지 데이터의 분석을 통해 생성되며, 시청자의 반응 강도를 나타낸다.
방송 수신 장치(120)는 방송 서버(110)로부터 콘텐츠를 수신하여 디스플레이 할 수 있는 TV, IPTV, DMB, 휴대폰, PC 등을 포함하며, 별도로 설치된 STB(Set-Top-Box)를 포함한다. 방송 수신 장치(120)는 콘텐츠를 수신할 수 있으며, 감지 데이터 또는 반응 정보 데이터를 전송할 수 있는 양방향 서비스가 구축될 수 있다.
특히, 양방향 TV는 방송 서버(110)와 시청자간의 쌍방향 의사 전달이 가능한 최첨단 정보통신 미디어 시스템으로서, 기존 TV와는 달리 언제라도 사용자가 원하는 프로그램을 시청할 수 있으며, 가정용 VTR과 같이 자유 자재로 되감거나 앞으로 돌릴 수 있다. 시청자는 양방향 TV를 통하여 홈 쇼핑이나 네트워크 게임, 주문형 뉴스 서비스를 통해 정치, 경제, 사회, 문화 등 자신이 관심이 있는 특정 분야에 대한 뉴스를 언제라도 제공받을 수 있다.
따라서, 방송 수신 장치(120)가 쌍방향 의사 전달이 가능한 양방향 TV인 경우에는, 감지 데이터 또는 반응 측정 시스템(140)에 의해 생성된 반응 정보 데이터를 방송 서버(110)로 전송할 수 있다.
센서부(130)는 시청자의 반응을 모니터링 할 수 있는 카메라, 마이크, 적외선 센서 등을 포함하며, 시청자의 반응으로부터 감지 데이터를 생성한다. 예를 들면, 센서부(130)가 카메라인 경우, 센서부(130)는 시청자의 얼굴 또는 몸 전체에 포커싱을 하여, 시청자의 반응을 동영상 또는 사진으로 촬영할 수 있다. 그리고, 센서부(130)가 마이크인 경우, 센서부(130)는 시청자의 웃음 소리 또는 울음 소리 등을 증폭시켜 전기적 신호로 변환한다. 여기서, 센서부(130)를 통해 촬영 또는 녹음된 시청자에 대한 동영상, 사진 또는 음원 파일이 감지 데이터가 될 수 있다. 또한, 센서부(130)가 적외선 센서인 경우에는 시청자의 움직임을 기록한 데이터가 감지 데이터가 될 수 있다. 한편, 도 1에서는 센서부(130)가 방송 수신 장치(120)와 분리되어 있는 것으로 도시하였으나, 방송 수신 장치(120) 또는 반응 측정 시스템(140)의 내부에 포함될 수도 있다.
반응 측정 시스템(140)은 센서부(130)로부터 수신된 감지 데이터를 분석하여 반응 정보 데이터를 생성한다. 반응 측정 시스템(140)은 생성된 반응 정보 데이터를 저장부(150)에 저장할 수 있으며, 방송 서버(110)의 요청이 있으면 방송 수신 장치(120)를 통하여 방송 서버(110)로 전송할 수도 있다. 도 1에서는 반응 측정 시스템(140)이 방송 수신 장치(120)의 내부에 포함된 것으로 도시하였으나, 방송 수신 장치(120)의 외부에 구비될 수도 있다.
저장부(150)는 하드 디스크 드라이브(HDD) 또는 플래시 메모리(Flash Memory) 형태로 이루어질 수 있으며, 반응 측정 시스템(140)에 의해 생성된 감지 데이터 또는 반응 정보 데이터를 저장한다. 저장부(150)는 감지 데이터 또는 반응 정보 데이터에 대응하는 콘텐츠의 해당 장면도 저장할 수 있다. 따라서, 시청자가 자신이 예전에 재미있게 시청한 콘텐츠를 다시 보고 싶은 경우, 저장부(150)를 검색하여 재생을 할 수 있다. 도 1에서는 저장부(150)가 방송 수신 장치(120)의 외부에 연결된 것으로 도시하였으나, 방송 수신 장치(120) 또는 반응 측정 시스 템(140)의 내부에 구비될 수도 있다.
이하에서는 도 2를 통해 반응 측정 시스템(140)에 대하여 더욱 상세하게 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 반응 측정 시스템의 개략도이다.
도 2에 따른 반응 측정 시스템(140)은 데이터 처리부(141), 분석부(143) 및 전송부(145)를 포함한다.
데이터 처리부(141)는 센서부(130)를 통해 촬영된 감지 데이터를 수신한다. 그리고, 데이터 처리부(141)는 감지 데이터를 기초로, 표정 인식 알고리즘, 음성 인식 알고리즘, 동작 인식 알고리즘을 이용하여 표정 요소, 음성 요소, 동작 요소 등을 추출한다.
표정 인식 알고리즘은 시청자의 얼굴로부터 표정 요소를 추출하도록 하는 알고리즘이다. 일반적으로 표정 인식 알고리즘은, 카메라를 통해 입력된 영상에 대하여 전처리 하는 과정, 전처리된 영상에서 얼굴을 추출하는 얼굴 추출 과정, 추출된 얼굴에서 눈, 눈썹, 코, 입 등의 얼굴 요소를 추출하는 과정, 추출된 얼굴 요소를 대상으로 표정 인식을 위해 필요한 특징을 추출하는 얼굴 특징 추출 과정, 추출된 얼굴 특징으로부터 표정 인식을 하는 표정 인식 과정으로 이루어진다. 따라서, 표정 인식 알고리즘은 표정 인식 과정을 통하여 표정 요소를 추출하여 웃는 표정, 슬픈 표정, 놀란 표정 등을 판단한다.
예를 들어, 표정 요소를 추출한 결과 눈의 크기가 작아지고 눈초리가 쳐지며, 입 꼬리가 올라간 것으로 판단이 되는 경우, 표정 인식 알고리즘은 웃는 표정 으로 인식한다. 또한, 눈의 깜빡임 회수가 증가하고, 콧구멍의 크기가 확장되고, 입 꼬리가 쳐지는 것으로 판단이 되는 경우, 표정 인식 알고리즘은 우는 표정으로 인식한다.
음성 인식 알고리즘은 시청자로부터 발생되는 음성으로부터 웃음 소리 또는 울음 소리에 관한 음성 요소를 추출하도록 하는 알고리즘이다. 음성 인식 알고리즘은, 시청자로부터 발생된 음원 파일 중에서 음성 대역폭, 진동수, 펄스의 크기 등을 분석하여 기록된 음성이 웃음 소리인지 또는 울음 소리인지 등을 판단하여 음성 요소를 추출하도록 한다.
동작 인식 알고리즘은 표정 인식 알고리즘과 마찬가지로, 카메라를 통해 입력된 영상을 전처리하고, 전처리된 영상에서 시청자의 몸의 이동 궤적 및 모양의 미동 등의 특징 정보를 추출하여 동작 요소를 추출하도록 한다. 또한, 동작 인식 알고리즘은 카메라뿐만 아니라 RF 통신을 이용한 적외선 센서를 통해서도 시청자의 움직임을 판단할 수 있게 한다. 따라서, 동작 인식 알고리즘은 시청자가 손뼉을 치거나, 몸을 앞으로 구부린다거나, 입을 가리는 등의 행동을 판단하여 동작 요소를 추출하도록 한다.
표정 인식 알고리즘, 음성 인식 알고리즘, 동작 인식 알고리즘은 본 발명의 실시예에서 설명한 방법 이외에도 다양한 형태로 구현될 수 있다.
분석부(143)는 데이터 처리부(141)로부터 표정 요소, 음성 요소, 동작 요소를 수신하고, 수신된 각각의 요소로부터 반응 강도 레벨을 측정하여 반응 정보 데이터를 생성한다. 즉, 다음의 표 1과 같이 시청자의 반응 유형에 따라 시청자의 반응 강도를 구분한다.
표 1은 시청자가 재미있는 장면을 보는 경우, 시청자의 반응 강도를 예시하여 나타낸 것이다.
반응 정보 데이터 시청자 반응 유형
1 레벨 웃음(표정)
2 레벨 웃음(표정 + 웃음 소리)
3 레벨 웃음(표정 + 웃음 소리 + 몸 움직임)
표 1에서 보는 바와 같이, 분석부(143)는 표정 요소, 음성 요소, 동작 요소를 통하여 재미있는 장면을 시청하는 시청자의 반응 강도를 나타내는 반응 정보 데이터를 생성한다. 즉, 시청자가 웃는 표정을 지으면 분석부(143)는 반응 강도를 1 레벨(level)로 분석한다. 또한, 분석부(143)는 시청자가 소리를 내어 웃는 경우 반응 강도를 2 레벨로 분석하고, 손뼉을 친다거나 몸을 앞으로 숙이면서 웃는 경우 반응 강도를 3 레벨로 분석한다.
표 2는 시청자가 감동적이거나 슬픈 장면을 보는 경우, 시청자의 반응 강도를 예시하여 나타낸 것이다.
시청자 반응 강도 시청자 반응 유형
1 레벨 울음(눈물)
2 레벨 울음(눈물 + 음성)
3 레벨 울음(눈물 + 음성 + 몸 움직임)
표 2에서 보는 바와 같이, 분석부(143)는 표정 요소, 음성 요소, 동작 요소를 통하여 슬픈 장면을 시청하는 시청자의 반응 강도를 나타내는 반응 정보 데이터를 생성한다.
즉, 분석부(143)는 시청자가 눈물을 흘리게 되면 반응 강도를1 레벨로 분석하고, 시청자가 소리를 내어 우는 경우 반응 강도를2 레벨로 분석한다. 또한, 시청자가 손수건 등으로 눈물을 닦거나 훌쩍거리는 경우에는 3 레벨로 분석한다.
그 밖에, 시청자가 놀라운 장면을 보거나, 무서운 장면을 보는 경우에도 앞에서 설명한 방법으로 반응 강도를 설정할 수 있다.
전송부(145)는 분석부(143)로부터 반응 정보 데이터를 수신하여 방송 서버(110)로 전송한다. 반응 정보 데이터에는 특정 콘텐츠의 시간대별에 대응하는 표 1 또는 표 2와 같은 시청자의 반응 강도 레벨이 포함된다. 여기서 전송부(145)는 특정 콘텐츠에 대해1분 주기로 반응 정보 데이터를 전송할 수도 있고, 특정 반응에 대해서만 대응되는 반응 정보 데이터를 전송할 수도 있다.
한편, 전송부(145)는 반응 정보 데이터를 저장부(150)로 전송할 수 있다. 시청자는 저장부(150)에 저장된 반응 정보 데이터를 통해 필요할 때 원하는 장면, 예를 들어 재미있는 장면이나 감동적인 장면을 선택하여 시청할 수 있다.
이하에서는 도 3 내지 도 5를 통해 반응 측정 시스템(140)의 동작에 대하여 더욱 상세하게 설명한다. 도 3은 본 발명의 제1 실시예에 따른 반응 측정 시스템의 동작을 나타낸 순서도이다.
도 3에 도시한 것처럼, 반응 측정 시스템(140)은 시청자의 반응을 모니터링 하기 위하여 센서부(130)로부터 감지 데이터를 실시간으로 수신한다(S310).
센서부(130)가 촬영 기능이 있는 경우, 특정 콘텐츠를 시청하고 있는 시청자의 표정이나 동작을 촬영한 영상 데이터가 감지 데이터가 된다. 여기서, 영상 데이터는 동영상 일 수 있고, 사진과 같은 정지 영상일 수도 있다. 또한 센서부(130)가 마이크 기능이 있는 경우, 특정 콘텐츠를 시청하고 있는 시청자가 내는 소리를 녹음한 음성 파일이 음성 데이터가 된다. 이와 같이, 반응 측정 시스템(140)은 센서부(130)로부터 영상 데이터 또는 음성 데이터 등의 감지 데이터를 실시간으로 수신한다.
반응 측정 시스템(140)은 감지 데이터를 구비된 알고리즘을 통해 분석한다(S320). 즉, 반응 측정 시스템(140)은 표정 인식 알고리즘, 음성 인식 알고리즘, 동작 인식 알고리즘을 이용하여 표정 요소, 음성 요소, 동작 요소 등을 추출한다. 반응 측정 시스템(140)은 감지 데이터를 분석하는 과정에서 감지 데이터를 실시간으로 녹화 또는 녹음할 수 있다.
그리고, 반응 측정 시스템(140)은 추출된 표정 요소, 음성 요소, 동작 요소를 이용하여 반응 강도 레벨을 측정하여 반응 정보 데이터를 생성한다(S330).
예를 들어, 시청자가 드라마나 영화를 시청하는 경우, 웃는 표정과 슬픈 표정에 대하여 각각 반응 강도의 레벨을 측정할 수 있다. 또한, 방송 서버(110)가 특정 표정에 대해서만 분석을 요청하는 경우에는 반응 측정 시스템(140)은 요청된 특정 표정에 대해서만 반응 강도를 측정할 수 있다.
반응 측정 시스템(140)은 반응 정보 데이터로부터 시청자의 반응 강도의 레벨을 판단한다(S340). 반응 측정 시스템(140)은 반응 정보 데이터가 0레벨인 경우, 즉 시청자의 반응 변화가 감지되지 않은 경우, 다시 센서부(130)로부터 감지 데이터를 실시간으로 수신하여 시청자의 반응을 모니터링 한다.
반응 측정 시스템(140)은 반응 정보 데이터가 1레벨 이상인 경우 즉, 시청자의 반응 변화가 감지된 경우, 방송 서버(110)의 요청이 있으면 해당 콘텐츠에 대응하는 감지 데이터 또는 반응 정보 데이터를 방송 서버(110)로 전송한다(S350). 여기서, 방송 서버(110)가 방송 수신 장치(120)를 식별할 수 있도록 방송 수신 장치(120)에 대한 식별 인덱스(index)를 동시에 전달할 수도 있다. 예를 들어 방송 수신 장치(120)가 IPTV인 경우에는 식별 인덱스에 IP 주소가 포함될 수 있다.
그리고, 방송 서버(110)의 요청이 없으면, 반응 측정 시스템(140)은 감지 데이터 또는 반응 정보 데이터를 반응이 감지된 콘텐츠의 해당 장면과 함께 저장부(150)로 전달하여 저장할 수 있다(S360). 따라서, 시청자는 원하는 시간에 본인이 흥미있게 시청했던 콘텐츠, 또는 감동적으로 시청했던 콘텐츠의 해당 장면을 저장부(150)를 통하여 선택하여 시청할 수 있다.
여기서, 시청자의 표정이 담긴 감지 데이터를 도 4a 및 도 4b와 같이 콘텐츠의 해당 장면과 함께 방송 서버(110) 또는 저장부(150)에 전송할 수도 있다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 콘텐츠와 감지 데이터가 결합된 것을 나타낸 예시도이다.
도 4a는 콘텐츠 중에서 재미있는 장면과 이 장면을 시청하는 시청자의 웃는 표정을 촬영한 감지 데이터를 결합한 것이고, 도 4b는 콘텐츠 중에서 무서운 장면과 이 장면을 시청하는 시청자의 놀란 표정을 촬영한 감지 데이터를 결합한 것이다.
이와 같이, 반응 측정 시스템(140)은 반응 변화가 감지된 콘텐츠의 해당 장면뿐만 아니라, 해당 장면을 시청한 시청자의 표정을 촬영한 감지 데이터를 결합하여 방송 서버(110)로 전송하거나 저장부(150)에 저장할 수 있다.
따라서, 시청자는 자신의 표정 변화를 직접 확인할 수 있으며, 자신이 재미있게 보거나 놀란 장면을 다시 선택적으로 재생할 수 있다.
도 5는 본 발명의 제2 실시예에 따른 반응 측정 시스템의 동작을 나타낸 순서도이다.
도 5에 도시한 것처럼, 반응 측정 시스템(140)은 방송 서버(110)로부터 시청자 반응 측정과 관련된 시그널링 정보를 수신한다(S510). 즉, 방송 서버(110)는 특정 콘텐츠에 대한 시청자의 반응을 알고자 하는 경우, 도 4a 또는 도 4b와 같은 감지 데이터 또는 반응 정보 데이터를 요청하는 시그널링 정보를 반응 측정 시스템(140)으로 전송한다. 방송 서버(110)는 시그널링 정보를 통하여 감지 데이터 또는 반응 정보 데이터의 수신 요청뿐만 아니라, 특정 반응에 대한 데이터 또는 특정 시간대에 방영 중인 콘텐츠에 대한 데이터를 요청할 수도 있다. 또한 생성된 감지 데이터 또는 반응 정보 데이터를 실시간으로 또는 특정 시간에 전송해 줄 것을 반응 측정 시스템(140)에 요청할 수 있다.
그리고, 시청자의 인증이 필요한 경우에는, 시청자는 반응 측정 시스템(140)을 통하여 방송 서버(110)로 인증 메시지를 전송할 수 있다(S520). 따라서, 시청자가 촬영 또는 녹음을 동의하거나, 또는 일정 시간 동안에만 촬영에 동의하는 경우, 반응 측정 시스템(140)은 동의 내용에 기초하여 감지 데이터 또는 반응 정보 데이터를 생성 및 전송할 수 있다. 이하, 단계(S530) 내지 단계(S580)의 내용은 도 3에서 설명한 단계(S310) 내지 단계(S360)과 실질적으로 동일하므로, 중복되는 설명은 생략하기로 한다.
한편, 시청자는 방송 서버(110)로 콘텐츠의 해당 장면을 다시 시청할 수 있도록 요청할 수 있는 바, 도 6을 통해 상세하게 설명한다.
도 6은 본 발명의 실시예에 따른 방송 서버로부터 재생 서비스를 수신하는 과정을 나타낸 순서도이다. 도 6에 따르면, 먼저 시청자가 반응 측정 시스템(140)을 통하여 방송 서버(110)로 콘텐츠 재생 서비스를 요청한다(S610). 즉, 시청자가 특정 반응, 예를 들면 웃는 표정, 슬픈 표정을 보였던 콘텐츠에 대하여 다시 시청할 수 있도록 재생 서비스를 요청한다.
방송 서버(110)는 재생 서비스 요청을 받으면, 시청자가 요청하는 콘텐츠가 저장되어 있는지 여부를 판단한다(S620). 예를 들면, 시청자가 슬픈 표정을 지었던 콘텐츠에 대해서 전송을 요청하면, 방송 서버(110)는 식별 인덱스를 검색하여 요청하는 콘텐츠가 저장되어 있는지를 판단한다.
식별 인덱스에 요청된 콘텐츠가 저장되어 있지 않은 경우, 방송 수신 장치(120)는 이에 대한 정보를 나타내는 메시지를 방송 서버(110)로부터 수신하여 표시한다(S630). 그리고, 식별 인덱스에 요청된 콘텐츠가 저장되어 있는 경우, 방송 서버(110)는 요청된 콘텐츠를 방송 수신 장치(120)로 전송한다(S640). 예를 들어, 시청자가 슬픈 표정을 지었던 콘텐츠에 대해서 전송을 요청하면, 방송 수신 장치(120)는 슬픈 표정이 감지된 콘텐츠의 해당 장면을 방송 서버(110)로부터 수신한다. 여기서, 콘텐츠의 해당 장면에 대응하는 감지 데이터 또는 반응 정보 데이터를 방송 수신 장치(120)로 함께 전송할 수도 있다.
방송 수신 장치(120)는 콘텐츠를 전송받고, 수신한 콘텐츠를 재생하거나 내부의 메모리나 외부의 저장부(150)에 저장할 수 있다(S650).
이와 같이 본 발명의 실시예에 따르면 시청자는 원하는 시간에 자신이 선호하는 콘텐츠를 선택하여 시청할 수 있고, 시청하는 자신의 표정을 직접 확인할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
도 1은 본 발명의 실시예에 따른 반응 측정 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 반응 측정 시스템의 개략도이다.
도 3은 본 발명의 제1 실시예에 따른 반응 측정 시스템의 동작을 나타낸 순서도이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 콘텐츠와 감지 데이터가 결합된 것을 나타낸 예시도이다.
도 5는 본 발명의 제2 실시예에 따른 반응 측정 시스템의 동작을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 방송 서버로부터 재생 서비스를 수신하는 과정을 나타낸 순서도이다.

Claims (11)

  1. 방송 서버로부터 전송되는 콘텐츠를 시청하는 시청자의 반응을 측정하는 방법에 있어서,
    상기 시청자를 모니터링 하여 상기 시청자에 대한 감지 데이터를 생성하는 단계,
    상기 감지 데이터를 분석하여 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나를 추출하는 단계, 그리고
    추출된 상기 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나로부터 시청자의 반응 강도를 나타내는 반응 정보 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 시청자 반응 측정 방법.
  2. 제1항에 있어서,
    상기 방송 서버로부터 상기 감지 데이터 또는 상기 반응 정보 데이터의 요청에 관한 시그널링 정보를 수신하는 단계를 더 포함하는 것을 특징으로 하는 시청자 반응 측정 방법.
  3. 제2항에 있어서,
    상기 감지 데이터 및 상기 반응 정보 데이터 중 적어도 하나를 상기 방송 서버로 전송하는 단계를 더 포함하는 것을 특징으로 하는 시청자 반응 측정 방법.
  4. 제1항에 있어서,
    상기 감지 데이터 및 상기 반응 정보 데이터 중 적어도 하나를 대응되는 콘텐츠의 해당 장면과 결합하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 시청자 반응 측정 방법.
  5. 제1항에 있어서,
    상기 감지 데이터는,
    상기 시청자의 표정 또는 동작을 촬영하는 카메라,
    상기 시청자로부터 발생되는 음성을 증폭시키는 마이크, 그리고
    상기 시청자의 움직임을 감지하는 적외선 센서 중 적어도 하나에 의해 센싱되는 것을 특징으로 하는 시청자 반응 측정 방법.
  6. 제1항에 있어서,
    상기 방송 수신 장치는 양방향 TV를 포함하는 것을 특징으로 하는 시청자 반응 측정 방법.
  7. 방송 서버로부터 전송되는 콘텐츠를 시청하는 시청자의 반응을 측정하는 시스템에 있어서,
    상기 시청자를 모니터링 하여 상기 시청자에 대한 감지 데이터를 생성하는 센서부,
    상기 감지 데이터를 분석하여 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나를 추출하는 데이터 처리부, 그리고
    추출된 상기 표정 요소, 음성 요소 및 동작 요소 중 적어도 하나로부터 시청자의 반응 강도 레벨을 측정하는 분석부를 포함하는 것을 특징으로 하는 시청자 반응 측정 시스템.
  8. 제7항에 있어서,
    상기 감지 데이터 및 상기 반응 정보 데이터 중 적어도 하나를 상기 방송 서버로 전송하는 전송부를 더 포함하는 것을 특징으로 하는 시청자 반응 측정 시스템.
  9. 제7항에 있어서,
    상기 감지 데이터 및 상기 반응 정보 데이터 중 적어도 하나를 대응되는 콘텐츠의 해당 장면과 결합하여 저장하는 저장부를 더 포함하는 것을 특징으로 하는 시청자 반응 측정 시스템.
  10. 제8항에 있어서,
    상기 센서부는,
    상기 시청자의 표정 또는 동작을 촬영하는 카메라,
    상기 시청자로부터 발생되는 음성을 증폭시키는 마이크, 그리고
    상기 시청자의 움직임을 감지하는 적외선 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 시청자 반응 측정 시스템.
  11. 제7항에 있어서,
    상기 방송 수신 장치는 양방향 TV를 포함하는 것을 특징으로 하는 시청자 반응 측정 시스템.
KR1020080047098A 2008-05-21 2008-05-21 시청자 반응 측정 방법 및 시스템 KR20090121016A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080047098A KR20090121016A (ko) 2008-05-21 2008-05-21 시청자 반응 측정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080047098A KR20090121016A (ko) 2008-05-21 2008-05-21 시청자 반응 측정 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20090121016A true KR20090121016A (ko) 2009-11-25

Family

ID=41604174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080047098A KR20090121016A (ko) 2008-05-21 2008-05-21 시청자 반응 측정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20090121016A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110099590A (ko) * 2010-03-02 2011-09-08 엘지전자 주식회사 콘텐츠 제어 장치 및 그 방법
WO2013106352A1 (en) * 2012-01-10 2013-07-18 Microsoft Corporation Consumption of content with reactions of an individual
KR101360471B1 (ko) * 2012-02-29 2014-02-11 한국과학기술원 사용자의 반응에 기반한 동적 콘텐츠 재생 제어 방법 및 장치
KR20140113278A (ko) * 2013-03-15 2014-09-24 삼성전자주식회사 디스플레이 장치, 서버 및 그들의 제어방법
KR20150050649A (ko) * 2013-10-29 2015-05-11 주식회사 케이티 단말 모션 제어 장치, 단말 모션 제어 방법 및 단말의 모션 응답 방법
WO2015182841A1 (ko) * 2014-05-29 2015-12-03 모젼스랩 주식회사 관객반응 분석 시스템 및 방법
US10289621B2 (en) 2014-05-28 2019-05-14 Xiaomi Inc. Method and apparatus for recommending multimedia resource
WO2019191708A1 (en) * 2018-03-30 2019-10-03 Realnetworks, Inc. Socially annotated audiovisual content
US10795988B2 (en) 2015-04-16 2020-10-06 Samsung Electronics Co., Ltd. Device and method of requesting external device to execute task

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110099590A (ko) * 2010-03-02 2011-09-08 엘지전자 주식회사 콘텐츠 제어 장치 및 그 방법
US9571879B2 (en) 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
WO2013106352A1 (en) * 2012-01-10 2013-07-18 Microsoft Corporation Consumption of content with reactions of an individual
US10045077B2 (en) 2012-01-10 2018-08-07 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
KR101360471B1 (ko) * 2012-02-29 2014-02-11 한국과학기술원 사용자의 반응에 기반한 동적 콘텐츠 재생 제어 방법 및 장치
KR20140113278A (ko) * 2013-03-15 2014-09-24 삼성전자주식회사 디스플레이 장치, 서버 및 그들의 제어방법
KR20150050649A (ko) * 2013-10-29 2015-05-11 주식회사 케이티 단말 모션 제어 장치, 단말 모션 제어 방법 및 단말의 모션 응답 방법
US10289621B2 (en) 2014-05-28 2019-05-14 Xiaomi Inc. Method and apparatus for recommending multimedia resource
KR20150137320A (ko) * 2014-05-29 2015-12-09 모젼스랩(주) 관객반응 분석 시스템 및 방법
WO2015182841A1 (ko) * 2014-05-29 2015-12-03 모젼스랩 주식회사 관객반응 분석 시스템 및 방법
US10795988B2 (en) 2015-04-16 2020-10-06 Samsung Electronics Co., Ltd. Device and method of requesting external device to execute task
WO2019191708A1 (en) * 2018-03-30 2019-10-03 Realnetworks, Inc. Socially annotated audiovisual content
US11206462B2 (en) 2018-03-30 2021-12-21 Scener Inc. Socially annotated audiovisual content
US11871093B2 (en) 2018-03-30 2024-01-09 Wp Interactive Media, Inc. Socially annotated audiovisual content

Similar Documents

Publication Publication Date Title
US9706235B2 (en) Time varying evaluation of multimedia content
US9961404B2 (en) Media fingerprinting for content determination and retrieval
KR20090121016A (ko) 시청자 반응 측정 방법 및 시스템
US9256601B2 (en) Media fingerprinting for social networking
TWI523535B (zh) 耗用內容及元資料之技術
JP5482206B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8917971B2 (en) Methods and systems for providing relevant supplemental content to a user device
US20100088406A1 (en) Method for providing dynamic contents service by using analysis of user's response and apparatus using same
US20120072936A1 (en) Automatic Customized Advertisement Generation System
US20120093481A1 (en) Intelligent determination of replays based on event identification
US7730505B2 (en) Stream reproducing device
TWI527442B (zh) 資訊萃取方法及設備以及其電腦可讀取的媒體
KR20140043070A (ko) 카메라-가용 장치를 사용하여 배경에 있는 비디오 디스플레이로부터 비디오 신호를 검출, 인덱싱, 및 비교하기 위한 장치, 시스템, 방법 및 매체
KR20100069395A (ko) 얼굴 인식 기술을 이용하여 사용자에 따라 특화된 아이피티브이 콘텐츠를 추천하는 시스템 및 방법
KR20140051450A (ko) 멀티미디어 클립들을 캡처하기 위한 제스처 사용
TW201918851A (zh) 基於用戶情緒的視頻推送系統及方法
Fink et al. Social-and interactive-television applications based on real-time ambient-audio identification
KR20090083064A (ko) 미디어 재생 시스템의 사용자 간에 정보를 공유하는 방법및 시스템
KR20140072720A (ko) 콘텐츠 제공 장치, 콘텐츠 제공 방법, 영상표시장치 및 컴퓨터 판독가능 기록매체
KR101772456B1 (ko) 멀티미디어 장치와 복수 개의 이종 이미지 센서 그리고 그 제어방법
US20130177288A1 (en) Electronic device and audio output method
WO2014207833A1 (ja) 広告効果分析システム、広告効果分析装置および広告効果分析用プログラム
KR20180103303A (ko) 영상 콘텐츠 자동 인식기술을 이용한 실시간 영상변환 시스템 및 방법
KR20120050615A (ko) 멀티미디어 장치와 복수 개의 이종 이미지 센서 그리고 그 제어방법
JP2013098997A (ja) 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application