KR101960314B1 - 영상 표시 장치 및 그 제어 방법 - Google Patents

영상 표시 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR101960314B1
KR101960314B1 KR1020127007109A KR20127007109A KR101960314B1 KR 101960314 B1 KR101960314 B1 KR 101960314B1 KR 1020127007109 A KR1020127007109 A KR 1020127007109A KR 20127007109 A KR20127007109 A KR 20127007109A KR 101960314 B1 KR101960314 B1 KR 101960314B1
Authority
KR
South Korea
Prior art keywords
information
content
display device
supplementary service
video display
Prior art date
Application number
KR1020127007109A
Other languages
English (en)
Other versions
KR20130136368A (ko
Inventor
문경수
서종열
김관석
이준휘
정재희
이현재
김진필
서동완
김상현
지애띠
서영재
김경호
박성옥
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20130136368A publication Critical patent/KR20130136368A/ko
Application granted granted Critical
Publication of KR101960314B1 publication Critical patent/KR101960314B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Abstract

영상 표시 장치는 디스플레이부를 포함한다. 영상 표시 장치는 방송 신호에서 존재하는 서비스 정보가 제외된 비압축 시청각 컨텐트를 획득하고, 디스플레이부를 통해 비압축 시청각 컨텐트를 재생한다. 영상 표시 장치는 비압축 시청각 컨텐트의 일부에 기초하여 비압축 시청각 컨텐트의 컨텐츠 정보를 획득하고, 컨텐츠 정보에 기초하여 부가 서비스를 획득하며, 디스플레이부를 통해 부가 서비스를 재생한다.

Description

영상 표시 장치 및 그 제어 방법{VIDEO DISPLAY DEVICE AND CONTROL METHOD THEREOF}
본 발명은 영상 표시 장치 및 그 제어 방법에 관한 것이다.
디지털 방송이 활성화됨에 따라, 방송국은 메인 시청각 컨텐트를 송출하면서, 이 메인 시청각 컨텐트와 연계하여 이용할 수 있거나 이 메인 시청각 컨텐트와는 독립적인 부가 서비스 데이터(enhanced service data)를 함께 송출한다.
그러나 현재의 방송 환경에서는 각 가정의 영상 표시 장치가 방송 신호를 공중파를 통해 직접 수신하는 경우가 적다. 오히려, 각 가정의 영상 표시 장치는 셋톱박스와 같은 방송 수신 장치에 연결되어 있어서, 이 방송 수신 장치가 제공하는 비압축 시청각 컨텐트를 재생하는 경우가 많다.
한편, 방송 수신 장치는 멀티채널 비디오 분배자(multichannel video programming distributor, MVPD)라고 불리는 서버로부터 컨텐츠를 제공받는다. 이 멀티채널 비디오 분배자는 방송국으로부터 방송 신호를 수신하고 수신한 방송 신호로부터 컨텐츠를 추출한 후, 자신이 송출하기에 적합한 형태의 신호로 변환하여 변환된 신호를 방송 수신 장치에 제공한다. 이 과정에서, 멀티채널 비디오 분배자는 추출한 부가 서비스 데이터를 제외할 수도 있고, 또 다른 부가 서비스 데이터를 추가할 수도 있기 때문에, 방송국은 시청각 컨텐츠를 제공하는 역할만 수행할 뿐 방송국 주도의 부가 서비스를 제공할 수 없다.
방송 수신 장치 또한 멀티채널 비디오 분배자로부터 수신한 신호로부터 메인 시청각 데이터를 추출하여 비압축 시청각 데이터만을 영상 표시 장치에게 제공하므로, 방송 수신 장치 통제하의 부가 서비스만이 이용가능할 뿐, 영상 표시 장치 통제하의 부가 서비스는 이루어 질 수 없다. 이는 더더욱 방송국이 자기 주도의 부가 서비스를 제공할 수 없게 한다.
뿐만 아니라, 방송국이 무선 채널을 통해 부가 서비스를 제공하더라도, 대역폭의 한계로 충분한 부가 서비스를 제공할 수 없다.
본 발명은 방송국 주도의 부가 서비스를 가능하게 하는 영상 표시 장치와와 그 제어 방법을 제공하기 위한 것이다.
본 발명의 한 실시예는 영상 표시 장치의 제어 방법에 관한 것으로 영상 표시 장치는 디스플레이부를 포함하고, 제어 방법은 비압축 시청각 컨텐트를 수신하는 단계; 상기 디스플레이부를 통해 상기 비압축 시청각 컨텐트를 재생하는 단계; 상기 비압축 시청각 컨텐트의 일부에 기초하여 상기 비압축 시청각 컨텐트의 컨텐츠 정보를 획득하는 단계; 상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 단계; 및 상기 디스플레이부를 통해 상기 부가 서비스를 재생하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 영상 표시 장치는 디스플레이부; 비압축 시청각 컨텐트를 수신하는 수신부; 상기 비압축 시청각 컨텐트의 일부에 기초하여 상기 비압축 시청각 컨텐트의 컨텐츠 정보를 획득하고, 상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 부가 서비스 관리부; 및 상기 비압축 시청각 컨텐트와 상기 부가 서비스를 상기 디스플레이부에 재생하는 재생 제어부를 포함한다.
본 발명의 실시예는 방송국 주도의 서비스를 가능하게 한다. 특히, 본 발명의 실시예는 방송국 주도의 대체 광고 서비스, 장면 연관 정보 제공 서비스, 등급 기반 컨텐츠 제공 서비스, 사용자 특성 기반 서비스를 가능하게 한다.
또한, 본 발명의 실시예에 따르면, 영상 표시 장치가 시간 정보 없는 시청각 컨텐트 또는 부가 서비스의 기준 시간과 다른 기준 시간을 갖는 시청각 컨텐트를 수신하더라도 영상 표시 장치는 시간에 민감한 부가 서비스를 시청각 컨텐트에 동기화시킬 수 있다.
또한, 본 발명의 다양한 실시예는 리모콘을 통한 불편한 텍스트 입력 없이도 메인 시청각 컨텐트와 관련된 정보 검색, 채팅, 뉴스 검색, 디지털 미디어 다운로드, 제품 카탈로그 다운로드 및 제품 구입을 가능하게 한다.
뿐만 아니라, 본 발명의 실시예는 무선 채널의 대역폭의 한계를 넘는 부가 서비스를 가능하게 한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
도 53는 본 발명의 한 실시예에 따른 광고 대체 방법을 도시한 흐름도이다.
도 54는 본 발명의 또 다른 실시예에 따른 광고 대체 방법을 도시한 흐름도이다.
도 55는 본 발명의 한 실시예에 따른 장면 연관 정보 표시 모드 선택 방법을 보여주는 흐름도이다.
도 56은 본 발명의 실시예에 따른 장면 연관 정보 표시 모드 선택을 위한 사용자 인터페이스를 보여준다.
도 57은 본 발명의 한 실시예에 따른 장면 연관 정보 표시 방법을 도시한 흐름도이다.
도 58는 본 발명의 실시예에 따른 장면 연관 정보의 사용자 선택 보여주기 방법을 보여주는 흐름도이다.
도 59는 본 발명의 실시예에 따른 장면 연관 정보의 사용자 선택 보여주기의 개념도이다.
도 60은 본 발명의 실시예에 따른 장면 연관 정보를 통합하여 보여주는 방법을 보여주는 흐름도이다.
도 61은 본 발명의 실시예에 따른 장면 연관 정보를 통합하여 보여주는 방법의 개념도이다.
도 62는 메인 시청각 컨텐츠의 협찬사 광고들의 통합 화면을 보여준다.
도 63는 본 발명의 한 실시예에 따른 등급 설정 정보 저장 방법을 보여주는 흐름도이다.
도 64는 본 발명의 실시예에 따른 등급 설정 정보 저장을 위한 사용자 인터페이스를 보여준다.
도 65는 본 발명의 한 실시예에 따른 등급 기반 메인 시청각 컨텐트 재생 방법을 보여주는 흐름도이다.
도 66는 본 발명의 또 다른 실시예에 따른 등급 기반 메인 시청각 컨텐트 재생 방법을 보여주는 흐름도이다.
도 67는 본 발명의 또 다른 실시예에 따른 등급 기반 메인 시청각 컨텐트 재생 방법을 보여주는 흐름도이다.
도 68은 본 발명의 한 실시예에 따라 이용 정보 측정 서버에 등록하는 방법을 도시한 흐름도이다.
도 69은 본 발명의 실시예에 따른 사용자 정보의 XML 스키마를 보여준다.
도 70은 본 발명의 한 실시예에 따른 이용 정보를 획득하고 보고하고 이용하는 방법을 도시한 흐름도이다.
도 71는 본 발명의 한 실시예에 따른 메인 시청각 컨텐트 시청 정보 아이템의 XML 스키마를 보여준다.
도 72는 본 발명의 한 실시예에 따른 부가 서비스 이용 정보 아이템의 XML 스키마를 보여준다.
도 73 내지 도 76은 본 발명의 실시예에 따른 사용자 특성 기반의 부가 서비스의 개념도이다.
도 77은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 78은 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "엔진", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
다음은 도 1 내지 도 9를 참고하여 본 발명의 일 실시예에 따른 네트워크 토폴로지를 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60), 네트워크(70), 영상 표시 장치(100)를 포함한다.
컨텐츠 제공 서버(10)는 방송국 등에 해당할 수 있으며, 메인 시청각 컨텐트(main audio-visual content)를 포함하는 방송 신호를 방송한다. 방송 신호는 부가 서비스를 더 포함할 수 있다. 부가 서비스는 메인 시청각 컨텐트와 관련이 있을 수도 있고, 관련이 없을 수도 있다. 부가 서비스는 서비스 정보(service information), 메타데이터(metadata), 부가 데이터, 컴파일된 실행 파일, 웹 애플리케이션, HTML(Hypertext Markup Language) 문서, XML 문서, CSS(cascading style sheet) 문서, 오디오 파일, 비디오 파일, ATSC 2.0 컨텐트, URL(Uniform Resource Locator)과 같은 주소 등의 형태를 가질 수 있다. 하나 이상의 컨텐츠 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 영상 표시 장치(100)가 메인 시청각 컨텐트에 기초하여 컨텐트를 인식할 수 있게 하는 컨텐트 인식 서비스를 제공한다. 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 수정을 가할 수도 있고 수정을 가하지 않을 수도 있다. 하나 이상의 컨텐츠 인식 서비스 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하는 워터마크 서버일 수 있다. 이 워터마크 서버는 메인 시청각 컨텐트의 각 프레임의 왼쪽 상단 또는 오른쪽 상단에 컨텐츠 제공자의 로고를 워터마크할 수 있다.
또, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하는 워터마크 서버일 수 있다.
또한, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트의 일부의 프레임 또는 일부의 오디오 샘플로부터 특징 정보를 추출하여 저장하는 핑거프린트 서버일 수 있다. 이 특징 정보는 시그너처라고도 불린다.
멀티채널 비디오 분배 서버(30)는 복수의 방송국으로부터 방송 신호를 수신하고 다중화하여 다중화된 신호를 방송 수신 장치(60)에 제공한다. 특히, 멀티채널 비디오 분배 서버(30)는 수신한 방송 신호에 대해 복조와 채널 복호화를 수행하여 메인 시청각 컨텐트와 부가 서비스를 추출한 후, 추출된 메인 시청각 컨텐트와 추출한 부가 서비스에 대해 채널 부호화를 수행하여 분배를 위한 다중화 신호를 생성할 수 있다. 이때, 멀티채널 비디오 분배 서버(30)는 추출한 부가 서비스를 제외할 수도 있고, 또 다른 부가 서비스를 추가할 수도 있기 때문에, 방송국은 방송국 주도의 서비스를 제공할 수 없다. 하나 이상의 멀티채널 비디오 분배 서버가 존재할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고, 튜팅한 채널의 신호를 수신하고, 수신한 신호에 대해 복조와 채널 복호를 수행하여 메인 시청각 컨텐트를 추출한다. 그리고 방송 수신 장치(60)는 추출한 메인 시청각 컨텐트를 H.264/MPEG-4 AVC(Moving Picture Experts Group-4 advanced video coding), Dolby AC-3, MPEG-2 AAC (Moving Picture Experts Group-2 Advanced Audio Coding) 알고리즘 등을 이용하여 복호하여 비압축 메인 시청각 컨텐트(uncompressed main AV content)를 생성한다. 방송 수신 장치(60)는 생성한 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)의 외부 입력 포트 등을 통해 영상 표시 장치(100)에 제공한다.
부가 서비스 정보 제공 서버(40)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐트와 관련된 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 제공한다. 하나 이상의 부가 서비스 주소 제공 서버가 존재할 수 있다. 부가 서비스 정보 제공 서버(40)는 복수의 이용가능한 부가 서비스 중에서 가장 우선순위가 높은 부가 서비스를 위한 부가 서비스 정보를 제공할 수도 있다.
부가 서비스 제공 서버(50)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공한다. 하나 이상의 부가 서비스 제공 서버가 존재할 수 있다.
영상 표시 장치(100)는 텔레비전, 노트북, 핸드폰, 스마트폰 등과 같이 디스플레이부를 장치일 수 있다. 영상 표시 장치(100)는 방송 수신 장치(60)로부터 비압축 메인 시청각 컨텐트를 수신할 수도 있고, 컨텐츠 제공 서버(10) 또는 멀티채널 비디오 분배 서버(30)로부터 부호화된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신할 수 도 있다. 영상 표시 장치(100)는 네트워크(70)를 통해 컨텐츠 인식 서비스 제공 서버(20)로부터 컨텐츠 인식 서비스를 제공받을 수 있고, 네트워크(70)를 통해 부가 서비스 정보 제공 서버(40)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스의 주소를 받을 수 있으며, 부가 서비스 제공 서버(50)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공받을 수 있다.
컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50) 중 2 이상은 하나의 서버의 형태로 결합될 수도 있고, 한 사업자에 의해 운영될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)를 더 포함한다.
도 2에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 삽입한다. 멀티채널 비디오 분배 서버(30)는 변형된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신하여 분배한다. 특히, 워터마크 서버는 이하에서 설명하는 바와 같은 디지털 워터마킹 기술을 이용할 수 있다.
디지털 워터마크는 삭제하기 어려운 방법으로 디지털 신호에 정보를 삽입하는 프로세스이다. 예를 들면, 디지털 신호는 오디오, 사진, 또는 비디오일 수 있다. 이 디지털 신호가 복사되면, 삽입된 정보 또한 복사본에 담아진다. 한 디지털 신호가 동시에 다른 여러 개의 워터마크를 운반할 수 있다.
보이는 워터마킹(visible watermarking)에서, 삽입되는 정보는 사진 또는 비디오에서 눈으로 식별가능하다. 전형적으로, 삽입된 정보는 미디어의 소유자를 식별하는 텍스트 또는 로고이다. 텔레비전 방송국이 자신의 로고를 전송되는 비디오의 코너에 추가하면, 이것이 눈으로 식별가능한 워터마크이다.
눈으로 식별 불가능한 워터마킹(invisible watermarking)에서, 정보는 디지털 데이터로서 오디오, 사진, 또는 비디오에 추가되지만, 일정 량의 정보가 숨겨져 있다는 사실은 감지할 수 있다하더라도 그러한 정보는 인지할 수는 없다. 이러한 눈으로 식별불가능한 워터마킹을 통해 비밀 메시지가 전달될 수도 있다.
워터마킹의 한 응용은 디지털 미디어의 불법 복제를 막기 위한 저작권 보호 시스템에 있다. 예컨데, 복제 장치는 디지털 미디어의 복제 전에 디지털 미디어로부터 워터마크를 얻고, 워터마크의 내용에 기초하여 복제를 할지 말지를 결정할 수 있다.
워터마킹의 또 다른 응용은 디지털 미디어의 출처 추적에 있다. 배포 경로 상의 각 지점에서 워터마크가 디지털 미디어에 임베딩된다. 나중에 이와 같은 디지털 미디어가 발견된다면, 이 디지털 미디어로부터 워터마크가 추출될 수 있고, 워터마크의 내용으로부터 배포의 출처를 파악할 수 있다.
디지털 미디어에 대한 설명이 눈으로 식별불가능한 워터마킹의 또 다른 응용이다.
디지털 미디어를 위한 파일 포멧이 메타데이터라고 불리는 추가적인 정보를 포함할 수 있는데, 디지털 워터마크는 디지털 미디어의 시청각 신호 자체로 전달된다는 점에서 메타데이터와는 구별된다.
워터마킹 방법으로 스프레드 스펙트럼, 양자화, 앰플리튜드 변조가 있다.
마킹되는 신호가 추가적인 수정에 의해 얻어진다면, 워터마킹 방법은 스프레드 스펙트럼에 해당한다. 스프레드 스펙트럼 워터마크는 꽤 강인하다고 알려져 있지만, 워터마크가 임베딩되는 호스트 신호에 간섭을 주기 때문에 많은 정보가 실리지는 않는다.
마킹되는 신호가 양자화에 의해 얻어진다면, 워터마킹 방법은 양자화 타입에 해당한다. 양자화 워터마크는 강인성은 낮지만, 꽤 많은 정보를 실을 수 있다.
마킹되는 신호가 공간 도메인에서 스프레드 스펙트럼과 유사한 추가 수정 방법으로 얻어진다면, 워터마킹 방법은 앰플리튜드 변조에 해당한다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S101).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S103).
보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 워터마크 용도는 무단 복제 방지, 시청률 조사, 부가 서비스 획득 중 하나를 나타낼 수 있다.
컨텐츠 정보는 메인 시청각 컨텐트를 제공하는 컨텐츠 제공자의 식별 정보, 메인 시청각 컨텐트 식별 정보, 메인 시청각 컨텐트 등급 정보, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보, 메인 시청각 컨텐트가 방송되는 채널의 이름, 메인 시청각 컨텐트가 방송되는 채널의 로고, 메인 시청각 컨텐트가 방송되는 채널의 설명, 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간, 메인 시청각 컨텐트와 관련하여 이용가능한 부가 서비스 정보 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 워터마크를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 이용된 워터마크가 내삽(embedding)된 컨텐트 구간의 시간 정보일 수 있다. 영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 핑거프린트를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 특징 정보가 추출된 컨텐트 구간의 시간 정보일 수 있다. 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시작 시간, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 지속 시간(duration), 컨텐츠 정보 획득에 사용된 컨텐트 구간의 종료 시간 중 하나 이상을 포함할 수 있다.
이용 정보 보고 주소는 메인 시청각 컨텐트 시청 정보 보고 주소, 부가 서비스 이용 정보 보고 주소 중 하나 이상을 포함할 수 있다. 이용 정보 보고 주기는 메인 시청각 컨텐트 시청 정보 보고 주기, 부가 서비스 이용 정보 보고 주기 중 하나 이상을 포함할 수 있다. 이용 정보 획득을 위한 최소 이용 시간은 메인 시청각 컨텐트 시청 정보 획득을 위한 최소 시청 시간, 부가 서비스 이용 정보 추출을 위한 최소 사용 시간 중 하나 이상을 포함할 수 있다.
메인 시청각 컨텐트가 최소 시청 시간 이상 시청된 경우에 기초하여 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 정보를 획득하고, 메인 시청각 컨텐트 시청 정보 보고 주기에서 메인 시청각 컨텐트 시청 정보 보고 주소로 추출한 시청 정보를 보고할 수 있다.
부가 서비스가 최소 사용 시간 이상 사용된 경우에 기초하여 영상 표시 장치(100)는 부가 서비스 이용 정보를 획득하고, 부가 서비스 이용 정보 보고 주기에서 부가 서비스 이용 정보 보고 주소로 추출한 이용 정보를 보고할 수 있다.
부가 서비스 정보는 부가 서비스가 존재하는지에 대한 정보, 부가 서비스 주소 제공 서버 주소, 각각의 이용가능한 부가 서비스의 획득 경로, 각각의 이용가능한 부가 서비스를 위한 주소, 각각의 이용가능한 부가 서비스의 시작 시간, 각각의 이용가능한 부가 서비스의 종료 시간, 각각의 이용가능한 부가 서비스의 수명 주기(lifetime), 각각의 이용가능한 부가 서비스의 획득 모드, 각각의 이용가능한 부가 서비스 위한 요청 주기, 각각의 이용가능한 부가 서비스의 우선 순위 정보, 각각의 이용가능한 부가 서비스의 설명, 각각의 이용가능한 부가 서비스의 항목(category), 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간 중 하나 이상을 포함할 수 있다.
이용가능한 부가 서비스의 획득 경로는 IP 또는 ATSC M/H(Advanced Television Systems Committee - Mobile/Handheld)를 나타낼 수 있다. 이용가능한 부가 서비스의 획득 경로가 ATSC M/H인 경우에, 부가 서비스 정보는 주파수 정보, 채널 정보를 더 포함할 수 있다. 각각의 이용가능한 부가 서비스의 획득 모드는 Push 또는 Pull을 나타낼 수 있다.
한편, 워터마크 서버(21)는 메인 시청각 컨텐트의 로고에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입할 수 있다.
예컨데, 워터마크 서버(21)는 로고의 일정 위치에 바코드를 삽입할 수 있다. 이때 로고의 일정 위치는 로고가 디스플레이되는 구역의 하단 1 라인에 해당할 수 있다. 영상 표시 장치(100)는 이와 같이 바코드가 삽입된 로고를 포함하는 메인 시청각 컨텐트를 수신하는 경우에, 바코드를 디스플레이하지 않을 수 있다.
또한, 워터마크 서버(21)는 로고의 메타데이터 형태로 워터마크 정보를 삽입할 수 있다. 이때 로고의 형상은 유지될 수 있다.
또한, 워터마크 서버(21)는 M개의 프레임의 로고의 각각에 N 비트의 워터마크 정보를 삽입할 수 있다. 즉, 워터마크 서버(21)는 M개의 프레임을 통해 M*N개의 워터마크 정보를 삽입할 수 있다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S105). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S106).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S107).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 방송 신호를 전송할 수도 있다(S108).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S109).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S111). 이 제1 응답은 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
워터마크 정보와 제1 응답이 부가 서비스 주소를 포함하고 있지 않다면, 영상 표시 장치(100)는 부가 서비스을 획득할 수 없다. 그러나 워터마크 정보와 제1 응답이 부가 서비스 주소 제공 서버 주소를 포함할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보와 제1 응답을 통해 부가 서비스 주소나 부가 서비스를 획득하지 못하였고 부가 서비스 주소 제공 서버 주소를 획득하였다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S119).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S121).
영상 표시 장치(100)는 워터마크 정보, 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S123), 부가 서비스를 획득한다(S125).
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 4에 도시된 바와 같이, 방송 수신 장치(60)가 턴온되고 채널을 튜닝하고, 영상 표시 장치(100)가 외부 입력 포트(111)를 통해 방송 수신 장치(60)로부터 튜팅된 채널의 메인 시청각 컨텐트를 수신하면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 제공자 식별자(또는 방송국 식별자)를 감지할 수 있다. 이후, 영상 표시 장치(100)는 감지한 컨텐츠 제공자 식별자에 기초하여 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 정보를 감지할 수 있다.
이때, 도 4에 도시된 바와 같이, 컨텐츠 제공자 식별자의 감지가능 주기와 컨텐츠 정보의 감지가능 주기는 다를 수 있다. 특히, 컨텐츠 제공자 식별자의 감지가능 주기는 컨텐츠 정보의 감지가능 주기보다 짧을 수 있다. 이를 통해, 영상 표시 장치(100)는 필요한 정보만을 감지하기 위한 효율적인 구성을 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 핑거프린트 서버(22)를 더 포함한다.
도 5에 도시된 바와 같은 핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S201).
핑거프린트 서버(22)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트의 복수의 프레임 구간 또는 복수의 오디오 구간으로부터 복수의 특징 정보를 추출하며, 복수의 특징 정보에 각각 대응하는 복수의 질의 결과를 위한 데이터베이스를 구축한다(S203). 질의 결과는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
MVPD(30)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S205). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S206).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S207).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S208).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S213).
영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송한다(S215).
핑거프린트 서버(22)는 제1 질의에 대한 제1 응답으로서 질의 결과를 제공한다(S217). 만약 제1 응답이 실패에 해당한다면, 영상 표시 장치(100)는 또 다른 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송할 수 있다.
핑거프린트 서버(22)는 질의 결과로서 XML (Extensible Markup Language) 문서를 제공할 수 있다. 질의 결과를 담는 XML 문서의 예를 도 7과 표 1을 참고하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 7에 도시된 바와 같이, 질의 결과를 담는 ACR-Resulttype은 ResultCode 속성과 ContentID, NTPTimestamp, SignalingChannelInformation, ServiceInformation 엘리먼트를 갖는다.
예컨데, ResultCode 속성이 200의 값을 가지면, 이는 질의 결과가 성공임을 의미할 수 있다. ResultCode 속성이 404의 값을 가지면, 이는 질의 결과가 실패임을 의미할 수 있다.
SignalingChannelInformation 엘리먼트는 SignalingChannelURL 엘리먼트를 갖고, SignalingChannelURL 엘리먼트는 UpdateMode, PollingCycle 속성을 갖는다. UpdateMode 속성은 Pull 값 또는 Push 값을 가질 수 있다.
ServiceInformation 엘리먼트는 ServiceName, ServiceLogo, ServiceDescription 엘리먼트를 갖는다.
표 1은 이와 같은 질의 결과를 담는 ACR-ResultType의 XML Schema를 보여준다.
Figure 112012022162268-pct00001
ContentID 엘리먼트로서, 아래의 표 2에서 보여주는 바와 같은 ATSC 컨텐트 식별자(ATSC content identifier)가 이용될 수 있다.
Figure 112012022162268-pct00002
표 2에서 보여지는 바와 같이, ATSC content identifier는 TSID와 하우스 번호로 구성된 구조를 가진다.
16 비트 부호없는 정수 TSID는 트랜스포트 스트림 식별자(transport stream identifier)를 담는다(carry).
5 비트 부호 없는 정수 end_of_day는 방송이 끝나서 content_id 값이 재사용될 수 있는 날의 시(hour)로 셋팅된다.
9 비트 부호 없는 정수 unique_for는 content_id 값이 재사용될 수 없는 날의 수(the number of day)로 설정된다.
content_id는 컨텐트 식별자를 나타낸다. 영상 표시 장치(100)는 매일 end_of_day에 해당하는 시간에서 unique_for를 1씩 감소시키고, unique_for가 0이 되지 않았다면 content_id가 유일한 것이라고 간주할 수 있다.
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC-M/H service를 위한 글로벌 서비스 식별자(Global Service Identifier)가 이용될 수 있다.
글로벌 서비스 식별자는 다음과 같은 폼을 갖는다.
- urn:oma:bcast:iauth:atsc:service:＜region＞:＜xsid＞:＜serviceid＞
여기에서 ＜region＞는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 ＜xsid＞ 는 ＜region＞에서 정의하는 바와 같은 TSID의 십진수이고, 지역 서비스(regional service) (major ＞ 69)를 위한 ＜xsid＞ 는 "0"이다. ＜serviceid＞ 는 ＜major＞나 ＜minor＞로 정의된다. ＜major＞ 는 메이저 채널 번호(Major Channel number)를 나타내고, ＜minor＞ 마이너 채널 번호(Minor Channel Number)를 나타낸다.
글로벌 서비스 식별자의 예는 아래와 같다.
- urn:oma:bcast:iauth:atsc:service:us:1234:5.1
- urn:oma:bcast:iauth:atsc:service:us:0:100.200
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC 컨텐트 식별자가 이용될 수 있다.
ATSC 컨텐트 식별자는 다음과 같은 폼을 갖는다.
urn:oma:bcast:iauth:atsc:content:＜region＞:＜xsidz＞:＜contentid＞:＜unique_for＞:＜end_of_day＞
여기에서 ＜region＞는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 ＜xsid＞ 는 ＜region＞에서 정의하는 바와 같은 TSID의 십진수이고, "."＜serviceid＞가 뒤따를 수 있다. 지역 서비스(regional service) (major ＞ 69)를 위한 ＜xsid＞ 는 ＜serviceid＞이다. ＜content_id＞ 는 표 2에 정의되어 있는 content_id field의 base64 부호이고, ＜unique_for＞ 는 표 2에 정의되어 있는 unique_for field의 십진수 부호이며, ＜end_of_day＞ 는 표 2에 정의되어 있는 end_of_day field의 십진수 부호이다.
이하에서는 다시 도 6을 설명한다.
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S219).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S221).
영상 표시 장치(100)는 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S223), 부가 서비스를 획득한다(S225).
UpdateMode 속성이 Pull 값을 가지는 경우, 영상 표시 장치(100)는 SignalingChannelURL을 통해 HTTP request를 부가서비스 제공 서버(50)에 전송하여 이에 대한 응답으로 PSIP 바이너리 스트림을 포함하는 HTTP response를 부가서비스 제공 서버(50)로부터 수신한다. 이 경우 영상 표시 장치(100)는 PollingCycle 속성으로 지정되는 Polling 주기에 따라 HTTP request를 전송할 수 있다. 또한, SignalingChannelURL 엘리먼트는 업데이트 시간 속성을 가질 수도 있다. 이 경우, 영상 표시 장치(100)는 업데이트 시간 속성으로 지정되는 업데이트 시간에서 HTTP request를 전송할 수 있다.
UpdateMode 속성이 Push 값을 가지는 경우, 영상 표시 장치(100)는 XMLHTTPRequest API 를 활용하여 비동기적으로 서버로부터 업데이트를 수신할 수 있다. 영상 표시 장치(100)가 서버로 XMLHTTPRequest object를 통해 비동기적인 request를 한 후에 서버가 시그널링 정보에 변경이 있을 경우에 이 채널을 통해 response로 시그널링 정보를 제공하는 방안이다. 세션의 대기 시간에 제한이 있을 경우에는 session timeout respond를 발생시키고, 바로 수신기는 이를 인지하여 재요청하여서 수신기와 서버간의 시그널링 채널을 항시 유지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)와 핑거프린트 서버(22)를 더 포함한다.
도 8에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 컨텐츠 제공자 식별 정보를 삽입한다. 워터마크 서버(21)는 로고와 같이 보이는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있고, 보이지 않는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있다.
핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S301).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S303). 보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S305). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S306).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S307).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S308).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S309).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S311). 이 제1 응답은 핑거프린트 서버 주소, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
워터마크 정보와 제1 응답이 핑거프린트 서버 주소를 포함하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S313).
영상 표시 장치(100)는 제1 응답 내의 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제2 질의를 전송한다(S315).
핑거프린트 서버(22)는 제2 질의에 대한 제2 응답으로서 질의 결과를 제공한다(S317).
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제3 질의를 전송한다(S319).
부가 서비스 정보 제공 서버(40)는 제3 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제3 질의에 대한 제3 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S321).
영상 표시 장치(100)는 제1 응답, 제2 응답, 또는 제3 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S323), 부가 서비스를 획득한다(S325).
다음은 도 10 및 도 18를 참고하여, 본 발명의 실시예에 따른 영상 표시 장치(100)를 설명한다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 표시 장치(100)는 방송 신호 수신부(101), 복조부(103), 채널 복호부(105), 역다중화부(107), 시청각 복호부(109), 외부 입력 포트(111), 재생 제어부(113), 재생 장치(120), 부가 서비스 관리부(130), 데이터 송수신부(141), 메모리(150)를 포함한다.
방송 신호 수신부(101)는 컨텐츠 제공 서버(10) 또는 MVPD(30)로부터 방송 신호를 수신한다.
복조부(103)는 수신한 방송 신호를 복조하여 복조된 신호를 생성한다.
채널 복호부(105)는 복조된 신호를 채널 복호하여 채널 복호된 데이터를 생성한다.
역다중화부(107)는 채널 복호된 데이터로부터 메인 시청각 컨텐트와 부가 서비스를 분리한다. 분리된 부가 서비스는 부가 서비스 저장부(152)에 저장된다.
시청각 복호부(109)는 분리된 메인 시청각 컨텐트를 시청각 복호(AV decoding)하여 비압축 메인 시청각 컨텐트를 생성한다.
한편, 외부 입력 포트(111)는 방송 수신 장치(60), 디브이디(digital versatile disk, DVD) 플레이어, 블루레이 디스크 (Blu-ray disc) 플레이어 등으로부터 비압축 메인 시청각 컨텐트를 수신한다. 외부 입력 포트(111)는 DSUB 포트, HDMI (High Definition Multimedia Interface) 포트, DVI (Digital Visual Interface) 포트, 컴포지트(composite) 포트, 컴포넌트(component) 포트, S-Video 포트 중 하나 이상을 포함할 수 있다.
재생 제어부(113)는 시청각 복호부(109)가 생성하는 비압축 메인 시청각 컨텐트 또는 외부 입력 포트(111)로부터 수신한 비압축 메인 시청각 컨텐트 중 적어도 하나를 사용자 선택에 의해 재생 장치(120)에 재생한다.
재생 장치(120)는 디스플레이부(121)와 스피커(123)를 포함한다. 디스플레이부(121)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보를 획득하고, 획득된 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득한다. 특히, 앞서 설명한 바와 같이 부가 서비스 관리부(130)는 비압축 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플에 기초하여 메인 시청각 컨텐트의 식별 정보를 획득할 수 있는데, 본 명세서에서는 이를 자동 컨텐츠 인식(automatic contents recognition, ACR)이라 칭하기도 한다.
데이터 송수신부(141)는 ATSC-M/H (Advanced Television Systems Committee - Mobile/Handheld) 채널 송수신부(141a)와 IP 송수신부(141b)를 포함할 수 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 표시 장치(100)는 인터넷(internet)상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(150)는 컨텐츠 정보 저장부(151), 부가 서비스 저장부(152), 로고 저장부(153), 설정 정보 저장부(154), 북마크 저장부(155), 사용자 정보 저장부(156), 이용 정보 저장부(157)를 포함할 수 있다.
컨텐츠 정보 저장부(151)는 복수의 특징 정보에 대응하는 복수의 컨텐츠 정보를 저장한다.
부가 서비스 저장부(152)는 복수의 특징 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있고, 복수의 컨텐츠 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있다.
로고 저장부(153)는 복수의 로고를 저장한다. 또, 로고 저장부는 이 복수의 로고에 대응하는 컨텐츠 제공자 식별자 또는 복수의 로고에 대응하는 워터마크 서버 주소를 더 저장할 수도 있다.
설정 정보 저장부(154)는 ACR을 위한 설정 정보를 저장한다.
북마크 저장부(155)는 북마크를 저장한다.
사용자 정보 저장부(156)는 사용자 정보를 저장한다. 사용자 정보는 하나 이상의 서비스를 위한 하나 이상의 계정 정보, 지역 정보, 가족 구성원 정보, 선호 장르 정보, 영상 표시 장치 정보, 이용 정보 제공 범위 중 하나 이상을 포함할 수 있다. 하나 이상의 계정 정보는 이용 정보 측정 서버를 위한 계정 정보, 트위터(twitter), 페이스북(facebook)과 같은 소셜 네트워크 서비스(social network service)의 계정 정보를 포함할 수 있다. 지역 정보는 주소 정보, 우편 번호를 포함할 수 있다. 가족 구성원 정보는 가족 구성원의 수, 각 구성원의 나이, 각 구성원의 성별, 각 구성원의 종교, 각 구성원의 직업 등을 포함할 수 있다. 선호 장르 정보는 스포츠, 영화, 드라마, 교육, 뉴스, 오락, 기타 장르 중에서 하나 이상으로 설정될 수 있다. 영상 표시 장치 정보는 영상 표시 장치의 종류, 제조사, 펌웨어 버전, 해상도, 모델명, OS, 브라우저, 저장 장치 유무, 저장 장치의 용량, 네트워크 속도에 대한 정보를 포함할 수 있다. 이용 정보 제공 범위가 설정되면, 영상 표시 장치(100)는 설정된 범위 내에서 메인 시청각 컨텐트 시청 정보와 부가 서비스 이용 정보를 수집하고 보고할 수 있다. 이용 정보 제공 범위는 가상 채널 각각에 대해 설정될 수 있다. 또한, 이용 정보 측정 허용 범위는 물리 채널 전체에 대해 설정될 수도 있다.
이용 정보 저장부(157)는 영상 표시 장치(100)에 의해 수집되는 메인 시청각 컨텐트 시청 정보와 부가 서비스 사용 정보를 저장한다. 또한, 영상 표시 장치(100)는 수집한 메인 시청각 컨텐트 시청 정보와 수집한 부가 서비스 사용 정보에 기초하여 서비스 이용 패턴을 분석하고, 분석된 서비스 이용 패턴을 이용 정보 저장부(157)에 저장할 수 있다.
부가 서비스 관리부(130)는 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 컨텐츠 정보 저장부(151)에 추출한 특징 정보에 해당하는 컨텐츠 정보가 없거나 충분한 컨텐츠 정보가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 컨텐츠 정보를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 컨텐츠 정보를 업데이트할 수 있다.
부가 서비스 관리부(130)는 부가 서비스 제공 서버(50) 또는 부가 서비스 저장부(153)로부터 이용가능한 부가 서비스를 획득할 수 있다. 부가 서비스 저장부(153)에 부가 서비스가 없거나 충분한 부가 서비스가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 부가 서비스를 업데이트할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 부가 서비스를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 로고를 추출하고, 로고 저장부(155)에 질의하여 추출한 로고에 대응하는 컨텐츠 제공자 식별자 또는 워터마크 서버 주소를 획득할 수 있다. 로고 저장부(155)에 추출한 로고와 일치하는 로고가 없거나 충분한 로고가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 로고를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 로고를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 추출한 로고와 로고 저장부(155) 내의 복수의 로고와의 비교를 수행하는데 연산의 부담을 줄이기 위한 다양한 방법을 수행할 수 있다.
예컨데, 부가 서비스 관리부(130)는 색깔 특성에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 색깔 특성과 로고 저장부(155) 내의 로고의 색깔 특성을 비교하여 일치 여부를 판단할 수 있다.
또, 부가 서비스 관리부(130)는 문자 인식에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고로부터 인식되는 문자와 로고 저장부(155) 내의 로고로부터 인식되는 문자를 비교하여 일치 여부를 판단할 수 있다.
뿐만 아니라, 부가 서비스 관리부(130)는 로고의 윤곽에 대한 형상에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 윤곽 형상과 로고 저장부(155) 내의 로고의 윤곽 형상을 비교하여 일치 여부를 판단할 수 있다.
이하에서는 도 11 및 도 18을 참고하여 본 발명의 다양한 실시예에 따른 부가 서비스 관리부(130)를 설명한다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 11에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131a), 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(ACR platform application program interface)(135a), 하나 이상의 ACR 엔진(136a), ACR 데몬(ACR daemon)(137a), ACR 미들웨어(138a), 하나 이상의 ACR 애플리케이션(139a)를 포함한다.
도 11에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 애플리케이션 스토어에 접속하여 애플리케이션을 다운로드할 수 있다.
오디오 드라이버(132a)는 오디오 핑거프린트 또는 오디오 워터마크를 위하여 사용되는 오디오 버퍼에 접근할 수 있다.
비디오 드라이버(133a)는 비디오 핑거프린트 또는 비디오 워터마크를 위하여 사용되는 비디오 버퍼에 접근할 수 있다.
네트워크 드라이버(134a)는 ACR 엔진(136a)이 데이터 송수신부(141)에 접근할 수 있도록 한다.
ACR 플랫폼 API(135a)는 ACR 엔진(136a)이 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a)에 접근할 수 있는 API를 제공한다.
복수의 방송국 또는 컨텐츠 제공자는 서로 다른 컨텐츠 인식 서비스를 이용할 수 있으므로, 영상 표시 장치(100)는 복수의 ACR 엔진(136a)을 탑재할 수 있다. 즉, 영상 표시 장치(100)는 복수의 비디오 워터마크 추출 알고리즘, 복수의 오디오 워트마크 추출 알고리즘, 복수의 비디오 시그너처 추출 알고리즘, 복수의 오디오 시그너처 추출 알고리즘 중 하나 이상을 위한 ACR 엔진을 포함할 수 있다. 워터마크 기반의 ACR 엔진(136a)은 워터마크 정보를 추출하여, 추출한 워터마크 정보로부터 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다. 핑거프린트 기반의 ACR 엔진(136a)은 메인 시청각 컨텐트의 일부 구간의 특징 정보를 추출하여, 추출한 특징 정보에 기초하여 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다.
ACR 데몬(ACR daemon)(137a)은 하나 이상의 ACR 엔진(136a)를 관리한다. 데몬(daemon)은 주기적인 서비스 요청을 처리하기 위해 계속 실행되는 을 말한다. 데몬은 수집된 요구들을 또 다른 프로그램이나 들이 처리할 수 있도록 적절히 전달한다. ACR 데몬(137a)은 ACR 엔진(136a)의 실행 및 종료를 관리할 수 있다. ACR 데몬(137a)은 복수의 ACR 엔진(136a) 중에서 현재의 메인 시청각 컨텐트에 매칭되는 ACR 엔진을 탐색한다. 특히, 여러 개의 ACR 엔진이 실행되어 시스템 자원이 많이 소모되는 경우에, ACR 데몬(137a)은 특정 규칙 또는 우선순위에 따라 복수의 ACR 엔진(136a)을 하나씩 순차적으로 실행시켜서 컨텐츠 인식 성공 여부를 확인할 수 있다. 또한, 복수의 ACR 엔진(136a) 중 하나가 컨텐츠 인식에 성공한 경우에, ACR 데몬(137a)은 인식된 컨텐츠를 위한 부가 서비스에 해당하는 ACR 애플리케이션(139a)을 획득하고 실행시킬 수 있다. ACR 엔진(136a)이 컨텐츠 인식을 성공적으로 수행중에, 채널 변경 등으로 더 이상 컨텐츠를 인식할 수 없다면, ACR 데몬(137a)은 ACR 애플리케이션(139a)을 종료시킬 수 있다.
ACR 미들웨어(138a)는 하나 이상의 ACR 애플리케이션(139a)을 위한 브라우저 역할을 수행한다.
ACR 애플리케이션(139a)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139a)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139a)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다. ACR 애플리케이션(139a)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136a)과 상호 작용하면서 ACR 엔진(136a)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다. 이를 위하여 ACR 애플리케이션(139a)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 3과 같다.
Figure 112012022162268-pct00003
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)가 선택되면, ACR 데몬(137a)은 하나 이상의 ACR 엔진(136a)을 통해서 튜닝된 채널에서 방송되는 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S401).
이후, ACR 데몬(137a)은 컨텐츠 정보와 관련된 이용가능한 부가 서비스를 획득한다(S403).
ACR 데몬(137a)은 획득한 부가 서비스를 백그라운드에서 실행한다(S405).
ACR 데몬(137a)은 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S407).
ACR 데몬(137a)이 부가 서비스의 이용을 수신하면, ACR 데몬(137a)은 백그라운드에서 실행이 되었던 부가 서비스를 재생 장치(120)에 재생한다(S409).
채널이 변경되거나 메인 시청각 컨텐트가 변경되면, ACR 데몬(137a)은 하나 이상의 ACR 엔진(136a)을 통해서 변경을 인식하고, 부가 서비스를 종료한다(S411).
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 13에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131b), 오디오 드라이버(132b), 비디오 드라이버(133b), 네트워크 드라이버(134b), ACR 플랫폼 API(ACR platform application program interface)(135b), 하나 이상의 ACR 엔진(136b), ACR 엔진 관리부(ACR engine manager)(137b), ACR 미들웨어(138b), 하나 이상의 ACR 애플리케이션(139b)를 포함한다.
도 13에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 인식할 필요가 있지만, ACR을 위한 질의의 수가 줄어들 수 있으므로 서버의 부담을 경감시킬 수 있다.
도 13의 부가 서비스 관리부(130) 내의 오디오 드라이버(132b), 비디오 드라이버(133b), 네트워크 드라이버(134b), ACR 플랫폼 API(135b), 복수의 ACR 엔진(136b), ACR 미들웨어(138b)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), 복수의 ACR 엔진(136a), ACR 미들웨어(138a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진 관리부(ACR engine manager)(137b)는 하나 이상의 ACR 엔진(136b)의 리스트를 관리하고 ACR 엔진(136b)의 선택 인터페이스를 ACR 애플리케이션(139b)에 제공한다.
ACR 애플리케이션(139b)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139b)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139b)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다.
ACR 애플리케이션(139b)은 ACR 미들웨어(138b)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진 관리부(ACR engine manager)(137b)와 상호 작용하면서 이용하고자 하는 ACR 엔진(136b)을 선택할 수 있다. 이를 위하여 ACR 애플리케이션(139b)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 4와 표 5과 같다.
Figure 112012022162268-pct00004
Figure 112012022162268-pct00005
ACR 애플리케이션(139b)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136b)과 상호 작용하면서 ACR 엔진(136b)을 제어 할 수 있고, ACR 엔진(136b)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다. 이를 위하여 ACR 애플리케이션(139b)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 6과 같다.
Figure 112012022162268-pct00006
Figure 112012022162268-pct00007
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 제공자 관련 애플리케이션의 핑거프린트 샘플 코드의 한 예를 구현하면 표 7과 같다.
Figure 112012022162268-pct00008
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 관련 애플리케이션의 핑거프린트 샘플 코드의 한 예를 구현하면 표 8과 같다.
Figure 112012022162268-pct00009
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 제공자 관련 애플리케이션의 워터마킹 샘플 코드의 한 예를 구현하면 표 9와 같다.
Figure 112012022162268-pct00010
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 관련 애플리케이션의 워터마킹 샘플 코드의 한 예를 구현하면 표 10과 같다.
Figure 112012022162268-pct00011
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되더라도, 영상 표시 장치(100)는 ACR 애플리케이션(139b)의 실행 이전에는 자동 컨텐츠 인식 동작을 수행하지 않는다.
메인 시청각 컨텐츠의 채널을 인지하는 사용자에 의해 해당 채널 관련 ACR 애플리케이션(139b)이 실행되면, ACR 애플리케이션(139b)은 자신이 이용하는 ACR 엔진(136a)에 대한 정보를 ACR 엔진 관리부(ACR engine manager)(137b)에 질의하여 수신한다(S501).
이후, ACR 애플리케이션(139b)은 자신이 이용하는 ACR 엔진(136b)을 시작하고(S503), ACR 엔진(136b)을 통해 컨텐츠 정보를 획득한다(S505).
ACR 애플리케이션(139b)은 획득한 컨텐츠 정보를 통해 메인 시청각 컨텐츠와 관련된 이용가능한 부가 서비스를 획득하고(S507), 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S509).
ACR 애플리케이션(139b)이 부가 서비스의 이용을 사용자로부터 수신하면, ACR 애플리케이션(139b)은 부가 서비스를 재생 장치(120)에 재생한다(S511).
ACR 미들웨어(138b)가 ACR 애플리케이션(139b)의 종료에 관한 사용자 입력을 수신하면, ACR 미들웨어(138b)는 ACR 애플리케이션(139b)을 종료시킨다(S513).
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 15에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131c), 오디오 드라이버(132c), 비디오 드라이버(133c), 네트워크 드라이버(134c), ACR 플랫폼 API(ACR platform application program interface)(135c), ACR 엔진(136c), ACR 미들웨어(138c), 하나 이상의 ACR 애플리케이션(139c)를 포함한다.
도 15에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 인식할 필요가 있지만, ACR을 위한 질의의 수가 줄어들 수 있으므로 서버의 부담을 경감시킬 수 있다.
도 15의 부가 서비스 관리부(130) 내의 오디오 드라이버(132c), 비디오 드라이버(133c), 네트워크 드라이버(134c), ACR 플랫폼 API(135c), ACR 미들웨어(138c)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), ACR 미들웨어(138a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진(136c)은 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 ACR 조정 서버(도시하지 않음)에 추출된 특징 정보를 포함하는 질의를 전송한다. ACR 조정 서버는 이 질의에 대한 응답으로 핑거프린트 서버 주소를 전송할 수 있다. 또한, ACR 조정 서버는 핑거프린트 서버 주소와 함께 특징 정보에 해당하는 컨텐츠 정보를 전송할 수도 있다.
ACR 애플리케이션(139c)은 ACR 엔진(136c)으로부터 핑거프린트 서버 주소를 수신하면, ACR 엔진(136c)이 추출한 특징 정보를 포함하는 질의를 핑거프린트 서버 주소에 해당하는 핑거프린트 서버에 직접 전송한다. 이를 위하여 ACR 애플리케이션(139c)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 표 11과 같다.
Figure 112012022162268-pct00012
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 핑거프린트 샘플 코드의 한 예를 작성하면 표 12와 같다.
Figure 112012022162268-pct00013
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되면, ACR 엔진(136c)은 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 ACR 조정 서버(도시하지 않음)에 추출된 특징 정보를 포함하는 질의를 전송한다(S601).
ACR 엔진(136c)은 이 질의에 대한 응답으로 핑거프린트 서버 주소를 수신한다(S603).
ACR 애플리케이션(139c)는 getACRBackend() 메쏘드를 이용하여 ACR 엔진(136c)로부터 핑거프린트 서버 주소를 획득한다(S605).
ACR 애플리케이션(139c)는 getSignature() 메쏘드를 이용하여 ACR 엔진(136c)로부터 메인 시청각 컨텐트의 일부 비디오 프레임 구간 또는 일부 오디오 구간의 특징 정보를 획득한다(S607).
ACR 애플리케이션(139c)는 획득한 핑거프린트 서버 주소에 해당하는 핑거프린터 서버에 획득한 특징 정보를 포함하는 질의를 전송한다(S609).
ACR 애플리케이션(139c)는 이 질의에 대한 응답으로 컨텐츠 정보를 수신한다(S611).
ACR 애플리케이션(139c)는 수신한 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득하고(S613), 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S615).
ACR 애플리케이션(139c)이 부가 서비스의 이용을 사용자로부터 수신하면, ACR 애플리케이션(139c)은 부가 서비스를 재생 장치(120)에 재생한다(S617).
ACR 미들웨어(138c)가 ACR 애플리케이션(139c)의 종료에 관한 사용자 입력을 수신하면, ACR 미들웨어(138c)는 ACR 애플리케이션(139c)을 종료시킨다(S619).
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 17에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(131d), 오디오 드라이버(132d), 비디오 드라이버(133d), 네트워크 드라이버(134d), ACR 플랫폼 API(135d), 하나 이상의 ACR 엔진(136d), ACR 엔진 관리부(ACR engine manager)(137d), 애플리케이션 관리부(138d), 하나 이상의 ACR 애플리케이션(139d)를 포함한다.
도 17에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
도 17의 부가 서비스 관리부(130) 내의 오디오 드라이버(132d), 비디오 드라이버(133d), 네트워크 드라이버(134d), ACR 플랫폼 API(135d), 복수의 ACR 엔진(136d)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), 복수의 ACR 엔진(136a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진 관리부(ACR engine manager)(137d)는 외부 입력 포트(111)로부터 수신되는 메인 시청각 컨텐트에 매칭되는 ACR 엔진(136d)을 확인하고, 애플리케이션(139d)에 매치되는 ACR 엔진(136d)를 확인한다. 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136d)을 제어하여 복수의 ACR 엔진(136d)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다. ACR 엔진 관리부(137d)는 우선 순위를 가지고 복수의 ACR 엔진(136d)을 제어할 수 있다. 복수의 ACR 엔진(136d) 중 어느 하나가 메인 시청각 컨텐트의 인식에 성공하면, ACR 엔진 관리부(137d)는 나머지 ACR 엔진을 슬립시키고, 동작하는 ACR 엔진으로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다.
애플리케이션 관리부(138d)는 ACR 엔진 관리부(ACR engine manager)(137d)와 상호 작용하면서 ACR 애플리케이션의 생성, 시작, 중단, 슬립, 종료를 제어한다.
ACR 애플리케이션(139d)은 내장 애플리케이션일 수 있다. ACR 애플리케이션(139d)은 다음의 표 13에서 보여지는 바와 같은 함수를 통해 ACR 엔진(136b)을 제어할 수 있다.
Figure 112012022162268-pct00014
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되면, ACR 엔진 관리부(137d)는 외부 입력 포트(111)로부터 수신되는 메인 시청각 컨텐트에 매칭되는 ACR 엔진(136a)을 확인한다(S701). 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136a)을 제어하여 복수의 ACR 엔진(136a)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다. ACR 엔진 관리부(137d)는 우선 순위를 가지고 복수의 ACR 엔진(136a)을 제어할 수 있다.
복수의 ACR 엔진(136a) 중 어느 하나가 메인 시청각 컨텐트의 인식에 성공하면, ACR 엔진 관리부(137d)는 나머지 ACR 엔진을 슬립시키고(S702), 동작하는 ACR 엔진으로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S703).
이후, ACR 엔진 관리부(137d)는 컨텐츠 정보와 관련된 이용가능한 애플리케이션을 확인하고(S704), 애플리케이션 관리부(138d)에 확인된 애플리케이션(139d)의 실행을 요청한다.
애플리케이션 관리부(138d)는 확인된 애플리케이션(139d)을 백그라운드에서 실행한다(S705).
백그라운드에서 실행된 애플리케이션(139d)은 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S707).
백그라운드에서 실행된 애플리케이션(139d)이 사용자로부터 부가 서비스의 이용을 수신하면, 부가 서비스를 재생 장치(120)에 재생한다(S709).
채널이 변경되거나 메인 시청각 컨텐트가 변경되면(S710), ACR 엔진 관리부(137d)는 애플리케이션(139d)에 매칭되는 ACR 엔진(136a)을 확인하고, 확인된 ACR 엔진(136a)과 애플리케이션(139d)를 연결시킨다(S711). 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136a)을 제어하여 복수의 ACR 엔진(136a)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다.
애플리케이션 관리부(138d)는 애플리케이션(139d)의 종료를 위한 사용자 입력을 수신하면(S712), 애플리케이션(139d)를 종료한다(S713).
다음은 도 19와 도 20을 참고하여 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 설명한다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
부가 서비스 정보는 부가 서비스의 시작 시간을 포함할 수 있다. 이때, 영상 표시 장치(100)는 이 시작 시간에서 부가 서비스를 시작할 필요가 있다. 그러나, 영상 표시 장치(100)는 타임 스탬프를 가지지 않는 비압축 메인 시청각 컨텐트를 전송하는 신호를 수신하기 때문에, 메인 시청각 컨텐트의 재생 시간의 기준과 부가 서비스의 시작 시간의 기준은 서로 다르다. 영상 표시 장치(100)가 시간 정보를 가지는 메인 시청각 컨텐트를 수신하더라도, 재방송 등과 같이, 메인 시청각 컨텐트의 재생 시간의 기준과 부가 서비스의 시작 시간의 기준은 서로 다를 수 있다. 따라서, 영상 표시 장치(100)는 메인 시청각 컨텐트의 기준 시간과 부가 서비스의 기준 시간을 동기화할 필요가 있다. 특히 영상 표시 장치(100)는 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 시작 시간을 동기화할 필요가 있다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S801). 메인 시청각 컨텐트의 일부 구간은 메인 시청각 컨텐트의 일부 비디오 프레임과 일부 오디오 구간 중 하나 이상을 포함할 수 있다. 부가 서비스 관리부(130)가 메인 시청각 컨텐트의 일부 구간을 추출한 시간을 Tn이라 한다.
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S803). 구체적으로 부가 서비스 관리부(130)는 추출된 구간에 보이지 않는 워터마크(invisible watermark)로 부호화된 정보를 복호하여 컨텐츠 정보를 획득할 수 있다. 또한, 부가 서비스 관리부(130)는 추출된 구간의 특징 정보를 추출하고, 추출된 특징 정보에 기초하여 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 부가 서비스 관리부(130)가 컨텐츠 정보를 획득한 시간을 Tm이라 한다.
한편, 컨텐츠 정보는 추출된 구간의 시작 시간(Ts)을 포함한다. 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간(Tm) 이후부터는 시간(Ts), 시간(Tm), 시간(Tn)에 기초하여 메인 시청각 컨텐트의 재생 시간을 부가 서비스의 시작 시간과 동기화한다(S805). 구체적으로, 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간(Tm)을 다음의 수학식 1에서 계산되는 시간(Tp)로 간주한다.
Figure 112012022162268-pct00015
그리고, 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간부터 시간(Tx)가 경과한 시간을 Tp + Tx로 간주할 수 있다.
이후, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스와 부가 서비스의 시작 시간(Ta)을 획득한다(S807).
메인 시청각 컨텐트의 동기화된 재생 시간이 부가 서비스의 시작 시간(Ta)와 일치하면, 부가 서비스 관리부(130)는 획득한 부가 서비스를 시작한다(S809). 구체적으로, 부가 서비스 관리부(130)는 다음의 수학식 2를 만족하는 경우에 부가 서비스를 시작할 수 있다.
Figure 112012022162268-pct00016
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 20에 도시된 바와 같이, 영상 표시 장치(100)는 시스템 시간(Tn)에서 시청각 샘플을 추출한다.
영상 표시 장치(100)는 추출한 시청각 샘플로부터 특징 정보를 추출하고, 핑거프린트 서버(22)에 추출한 특징 정보를 포함하는 질의를 전송하여 질의 결과를 수신한다. 영상 표시 장치(100)는 질의 결과를 파싱하여 추출한 시청각 샘플의 시작 시간(Ts)가 11000ms에 해당함을 시간(Tm)에서 확인한다.
따라서, 영상 표시 장치는 수학식 1에 따라 추출한 시청각 샘플의 시작 시간을 확인한 시점을 Ts + (Tm - Tn)로 간주하여 이후부터 메인 시청각 컨텐트의 재생 시간을 부가 서비스의 시작 시간과 동기화할 수 있다.
다음은 도 21 내지 도 50을 참고하여 본 발명의 다양한 실시예에 따른 ACR 애플리케이션을 설명한다.
본 발명의 다양한 실시예에 따른 ACR 애플리케이션으로, 자동 재생 애플리케이션, 컨텐츠 제공자 애플리케이션, 영상 표시 장치 제조사 애플리케이션 등을 들 수 있다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
자동 재생 애플리케이션은 사용자가 아무런 액션을 취하지 않더라도 부가 서비스를 자동적으로 재생한다. 이러한 의미에서, 본 명세서에서 자동 재생 애플리케이션을 린백 애플리케이션(lean back application)이라 부르기도 한다.
자동 재생 애플리케이션은 메인 시청각 컨텐트의 재생 중에 컨텐츠 제공자 또는 방송사가 제공하는 장면 연관 정보와 같은 부가 서비스를 메인 시청각 컨텐트의 재생 시간에 따라 사용자의 입력 없이 자동으로 재생한다. 즉, 컨텐츠 제공자 또는 방송사가 전적으로 자동 재생 애플리케이션을 통제한다.
도 21에 도시된 바와 같이, 자동 재생 애플리케이션이 재생되면, 화면(200)은 축소된 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 부가 정보가 디스플레이되는 서브 화면(220)을 포함할 수 있다. 부가 정보가 디스플레이되는 서브 화면(220)은 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 공간적으로 나뉘어 질 수 있다.
한편, 자동 재생 애플리케이션이 실행될 때, 부가 정보가 디스플레이되는 영역은 반투명할 수 있다. 이 경우, 부가 정보가 디스플레이되는 영역은 메인 시청각 컨텐트가 재생되는 영역의 위에 overlay될 수 있다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
본 명세서에서, 컨텐츠 제공자 애플리케이션을 풀 인터렉티브 애플리케이션(full interactive application)이라 부르기도 한다.
도 22의 (A)에 도시된 바와 같이, 영상 표시 장치(100)는 복수의 애플리케이션을 다운로드하여 저장할 수 있다. 도 22의 (A)는 복수의 애플리케이션의 아이콘(230)다. 이러한 애플리케이션 중에서 컨텐츠 제공자 애플리케이션은 컨텐츠 제공자에 의해 제작되고 배포되는 애플리케이션이어서, 컨텐츠 제공자의 통제 하에 있을 수 있다.
영상 표시 장치(100)의 사용자는 컨텐츠 제공자 애플리케이션을 애플리케이션 스토어에서 다운로드할 수 있고, 다운로드된 컨텐츠 제공자 애플리케이션의 실행을 결정할 수 있다.
도 22의 (B)는 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다. 도 22의 (B)에 도시된 바와 같이, 화면(200)은 축소된 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 부가 정보가 디스플레이되는 서브 화면(220), 메뉴가 디스플레이되는 서브 화면을 포함할 수 있다.
이하에서는 도 23 내지 도 50을 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션을 설명한다.
영상 표시 장치 제조사 애플리케이션은 영상 표시 장치 제조사 에 의해 제작되고, 영상 표시 장치 제조사에 의해 제어되며, 영상 표시 장치(100)의 생산시에 미리 저장될 수 있다. 즉, 영상 표시 장치 제조사 애플리케이션은 컨텐츠 제공자나 컨텐츠에 상관없이 동일한 서비스를 제공할 수 있으며, 컨텐츠 제공자나 컨텐츠에 상관없이 동일한 유저 인터페이스를 제공할 수 있다.
영상 표시 장치 제조사 애플리케이션은 컨텐츠 제공자가 제공하는 부가 서비스가 표시되는 영역과 영상 표시 장치 제조사가 제공하는 부가 서비스가 표시되는 영역을 분리하여 가질 수 있다. 영상 표시 장치 제조사 애플리케이션은 영상 표시 장치(100)의 사용자에 의해 실행 여부가 결정될 수 있다.
영상 표시 장치 제조사 애플리케이션은 2가지 타입을 가질 수 있다.
첫번째 타입의 영상 표시 장치 제조사 애플리케이션은 크기 조절 사용자 인터페이스(resizing user interface)를 가진다. 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션은 메인 시청각 컨텐트가 디스플레이되는 영역의 크기를 줄여 줄인 영역 내에서 메인 시청각 컨텐트의 내용 전부가 디스플레이될 수 있도록 한다. 또한, 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션은 애플리케이션이 디스플레이되는 영역을 알파벳 L자나 Inverse-L 자 구조로 만든다.
두 번째 타입의 영상 표시 장치 제조사 애플리케이션은 오버레이 사용자 인터페이스(Overlay user interface)를 가진다. 오버레이 사용자 인터페이스(Overlay user interface)를 가지는 영상 표시 장치 제조사 애플리케이션은 메인 시청각 컨텐트가 디스플레이되는 영역의 크기는 그대로 유지하면서 애플리케이션이 디스플레이되는 영역을 메인 시청각 컨텐트 위에 겹친다. 애플리케이션이 디스플레이되는 영역이 메인 시청각 컨텐트를 가리므로, 애플리케이션 영역은 반투명일 수 있다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 23에 도시된 바와 같이, 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면(300)은 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310), 메인 메뉴가 디스플레이되는 메인 메뉴 영역(320), 알림 메시지가 디스플레이되는 알림 영역(330), 영상 표시 장치 제조사 애플리케이션의 제어를 위한 제어 버튼이 디스플레이되는 제어 버튼 영역(340), 서브 메뉴가 디스플레이되는 서브 메뉴 영역(350), 부가 정보가 디스플레이되는 부가 정보 영역(360), 광고가 디스플레이되는 광고 영역(370)을 포함한다.
제어 버튼 영역(340)은 영상 표시 장치 제조사 애플리케이션의 종료 버튼(341), 영상 표시 장치 제조사 애플리케이션의 숨김 버튼(342), 이전 정보로 되돌리는 백 버튼(343)을 포함한다.
본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션에서, 메인 시청각 컨텐트 영역(310)은 화면(300)의 좌측 상단에 위치하고, 메인 메뉴 영역(320)과 알림 영역(330)은 메인 시청각 컨텐트 영역(310)의 하단에 위치하고, 제어 버튼 영역(340)은 우측 상단에 위치하고, 서브 메뉴 영역(350)은 제어 버튼 영역(340)과 부가 정보 영역(360) 사이에 위치하고, 광고 영역(370)은 우측 하단에 위치하고, 부가 정보 영역(360)은 서브 메뉴 영역(350)과 광고 영역(370) 사이에 위치하지만, 이들의 위치는 다양하게 변경될 수 있다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24에 도시된 바와 같이, 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션과 유사하게, 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면(300)은 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310), 메인 메뉴가 디스플레이되는 메인 메뉴 영역(320), 알림 메시지가 디스플레이되는 알림 영역(330), 영상 표시 장치 제조사 애플리케이션의 제어를 위한 제어 버튼이 디스플레이되는 제어 버튼 영역(340), 서브 메뉴가 디스플레이되는 서브 메뉴 영역(350), 부가 정보가 디스플레이되는 부가 정보 영역(360), 광고가 디스플레이되는 광고 영역(370)을 포함한다.
본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션에서, 메인 시청각 컨텐트 영역(310)은 화면(300)의 좌측 상단에 위치하고, 메인 메뉴 영역(320)과 알림 영역(330)은 메인 시청각 컨텐트 영역(310)의 하단에 위치하고, 제어 버튼 영역(340)은 우측 상단에 위치하고, 서브 메뉴 영역(350)은 제어 버튼 영역(340)과 부가 정보 영역(360) 사이에 위치하고, 광고 영역(370)은 우측 하단에 위치하고, 부가 정보 영역(360)은 서브 메뉴 영역(350)과 광고 영역(370) 사이에 위치하지만, 이들의 위치는 다양하게 변경될 수 있다.
이하에서는 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션을 중심으로 설명한다.
영상 표시 장치 제조사 애플리케이션은 영상 표시 장치(100)에 내장된 ACR 엔진으로부터 필요한 정보를 공급받는데, 성격에 따라 크게 두 가지 타입의 메뉴를 가진다.
첫 번째 타입의 메뉴는 시간에 민감하지 않은(time insensitive) 부가 서비스를 위한 것이다. 즉, 시간에 민감하지 않은 부가 서비스와 관련된 메뉴가 선택되면, 영상 표시 장치(100)는 화면에 재생되고 있는 메인 시청각 컨텐트의 식별자를 획득하고, 획득한 식별자에 기초하여 부가 서비스를 획득하며, 획득된 부가 서비스를 부가 정보 영역(360)에 표시한다. 이러한 시간에 민감하지 않은 부가 서비스 예로는 타이틀, 장르, 배우, 감독, 다른 사람의 평가, Short clip, Short explanation 등이 있다. 이 기본 정보를 통해 영상 표시 장치(100)는 추가 정보를 검색하거나 Facebook, Twitter 같은 소셜 네트워크 서비스와 연동하거나, 추천 서비스 및 연관된 광고를 제공할 수 있다.
두 번째 타입의 메뉴는 시간에 민감한(time sensitive) 부가 서비스를 위한 것이다. 즉, 시간에 민감한 부가 서비스와 관련된 메뉴가 선택되면, 영상 표시 장치(100)는 화면에 재생되고 있는 메인 시청각 컨텐트의 식별자와 재생 시간 정보를 획득하고, 획득한 식별자와 재생 시간 정보에 기초하여 시간에 민감한 부가 서비스를 획득하며, 획득된 부가 서비스를 부가 정보 영역(360)에 표시한다.
본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 메인 메뉴는 프로그램(program) 메뉴, 정보(Information) 메뉴, 소셜(Social) 메뉴, 추천(Recommendation) 메뉴, 카탈로그(Catalogue) 메뉴를 포함한다. 이 중에서 시간에 민감하지 않은(Time insensitive) 메뉴는 정보 메뉴, 소셜 메뉴, 추천 메뉴, 카달로그 메뉴이고, 시간에 민감한 메뉴는 프로그램 메뉴이다. 시간에 민감하지 않은 메뉴가 선택되더라도 시간에 민감한 애플리케이션이 호출될 수도 있다. 이 다섯 가지 메인 메뉴 외에 다른 메인 메뉴도 추가될 수 있다. 각각의 메인 메뉴가 선택되면, 선택된 메인 메뉴의 서브 메뉴가 서브 메뉴 영역(350)에 나타난다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
영상 표시 장치(100)가 메인 시청각 컨텐트가 재생되는 중에 리모컨의 특정 키의 누름, 모션 리모컨을 아래 방향으로 흔듬, 모션 리모컨의 커서를 화면 아래쪽으로 죽 당김을 통해 애플리케이션 선택 메뉴 표시에 해당하는 사용자 입력을 수신하면(S901), 영상 표시 장치(100)는 도 26과 같은 애플리케이션 선택 메뉴를 디스플레이한다(S903).
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 26에 도시한 바와 같이, 애플리케이션 선택 메뉴(380)는 화면(300)의 하단에 위치한다. 애플리케이션 선택 메뉴(380)는 반투명할 수 있다.
애플리케이션 선택 메뉴(380)는 영상 표시 장치(100) 내에 설치된 복수의 애플리케이션의 실행 아이콘을 포함한다. 표시된 실행 아이콘들 중에 하나의 아이콘이 영상 표시 장치 제조사 애플리케이션의 실행 아이콘에 해당한다.
영상 표시 장치(100)가 리모컨의 좌우 화살표 키의 조작이나 모션 리모컨의 움직임에 따른 커서 이동을 통해 영상 표시 장치 제조사 애플리케이션의 아이콘의 선택에 해당하는 사용자 입력을 수신하면(S905), 영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션을 실행한다(S907). 이를 통해, 사용자는 메인 시청각 컨텐트를 시청하면서 원하는 즉시 앱 스토어 접속 없이 애플리케이션을 실행시킬 수 있다.
영상 표시 장치 제조사 애플리케이션이 실행되면, 영상 표시 장치 제조사 애플리케이션의 메인 메뉴가 나타난다. 프로그램 메뉴가 default로 선택되고 프로그램 메뉴의 서브 메뉴가 서브 메뉴 영역(350)에 나타난다. 프로그램 메뉴의 서브 메뉴들 중에서 전체 서브 메뉴가 디폴트로 선택된다. 포커스는 전체 서브 메뉴에 위치한다. 시간이 흘러감에 따라 부가 정보 영역(360)에 표시되는 부가 서비스가 자동으로 업데이트된다. 이전 메뉴로 돌아가는 것은 ＜- 버튼을 통해 수행되고고, 영상 표시 장치 제조사 애플리케이션을 닫고 전체화면으로 돌아가는 것은 X 버튼을 통해 수행된다.
다음은 도 27 내지 도 29를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴를 설명한다.
프로그램 메인 메뉴는 재생되고 있는 메인 시청각 컨텐트와 시간으로 연관된 애플리케이션을 부가 정보 영역(360)에 표시하기 위한 메뉴이다. 메인 시청각 컨텐트와 연동되는 애플리케이션을 띄우는 위한 부가 서비스 정보는 TV 방송사 같은 컨텐트 소유자(Content Owner)가 제공할 수 있다. 영상 표시 장치(100)는 이 부가 서비스 정보를 해석하여, 적절한 타이밍에 부가 정보 영역(360)에 해당 애플리케이션을 디스플레이한다. 화면에 나타나는 UI를 아래 그림에 도시한다.
프로그램 메뉴는 전체(All) 서브 메뉴, 참여(Participation) 서브 메뉴, 디스커버리(Discovery) 서브 메뉴를 가진다.
전체 서브 메뉴는 참여 서브 메뉴와 디스커버리 서브 메뉴와 관련된 모든 애플리케이션이 부가 정보 영역(360)에 나타나는 메뉴이다. 참여 서브 메뉴는 프로그램에서 투표와 같이 프로그램 참여를 유도하는 애플리케이션이 나타나는 메뉴이다. 디스커버리 서브 메뉴는 장면 연관 정보와 같은 애플리케이션이 나타나는 메뉴이다. 프로그램 메뉴의 서브 메뉴는 컨텐트 소유자가 원하는 애플리케이션의 내용에 따라 추가되거나 변경될 수 있다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
프로그램 메인 메뉴의 첫번째 서브 메뉴인 전체 서브 메뉴가 선택되면, 영상 표시 장치(100)는 참여 서브 메뉴 및 디스커버리 서브 메뉴와 관련된 모든 애플리케이션을 부가 정보 영역(360)에 표시한다.
전체 서브 메뉴가 선택되면, 영상 표시 장치(100)는 특정 시간에 동기가 맞춰진 애플리케이션 또는 이벤트를 부가 정보 영역(360)에 표시한다. 특정 시간에 동기가 맞춰진 애플리케이션이 없는 경우, 영상 표시 장치(100)는 부가 정보 영역(360)을 빈공간으로 둘 수 있다. 그러나, 빈 공간은 사용자에게 추가적인 Interaction에 대한 동기 유발을 주지 못할 수 있으므로, 특정 시간에 동기가 맞춰진 애플리케이션이 없는 경우엔, 영상 표시 장치(100)는 그 시간 이전에 생긴 애플리케이션이나 이벤트를 모아 history를 표시할 수도 있다.
사용자가 영상 표시 장치 제조사 애플리케이션에 진입했을 때에는 메인 시청각 컨텐트를 시청하면서 메인 시청각 컨텐트와 연관된 interactive 애플리케이션을 수행하려는 의도를 가지고 있다고 볼 수 있다. 사용자가 이 메뉴, 저 메뉴를 돌아다니다 (navigate)보면, 어떤 특정 시간에 나타나는 이벤트를 보지 못하고 그냥 지나칠 경우가 발생할 수 있다. 특히 시간에 민감하지 않은 부가 서비스를 위한 메뉴를 돌아다닐 때 이러한 경우가 발생할 가능성이 높다. 그렇게 때문에 영상 표시 장치 제조사 애플리케이션에 진입한 후, navigation 도중에 시간에 민감한 이벤트가 발행하면, 영상 표시 장치(100)는 이에 대한 알림 메시지를 알림 영역(330)에 표시하여, 사용자에게 지금 시간에 방송사에서 보내주는 특정한 이벤트가 있다는 것을 알려줄 수 있다.
사용자가 영상 표시 장치 제조사 애플리케이션을 통해 음악정보나 장소 정보를 확인하는 중에 시간 연동 애플리케이션이 발생하면, 영상 표시 장치(100)는 알림 메시지를 알림 영역(330)에 표시한다. 영상 표시 장치(100)가 Go To 버튼 누름에 해당하는 사용자 입력을 수신하면, 영상 표시 장치(100)는 발생한 시간 연동 애플리케이션과 관련된 서브 메뉴로 진입하고, 발생한 시간 연동 애플리케이션을 부가 정보 영역(360)에 디스플레이한다. 알림 메시지는 텍스트 메시지일 수도 있다. 또한 영상 표시 장치(100)는 전달된 애플리케이션의 양을 숫자로 표시할 수 도 있다. 알림 메시지는 푸시 방식으로 시청자에게 전달될 수 있다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28에 도시된 바와 같이, 참여 서브 메뉴가 선택되면 영상 표시 장치(100)는 투표와 같은 시청자 참여를 유도하는 애플리케이션을 부가 정보 영역(360)에 표시한다. 시청자 참여 애플리케이션이 발생하면, 영상 표시 장치(100)는 부가 정보 영역에 이를 표시한다. 시청자 참여 애플리케이션이 투표인 경우, 영상 표시 장치(100)는 투표 질문과 투표 결과를 표시할 수 있다. 또한 영상 표시 장치(100)는 지금 시간의 이벤트 뿐만 아니라 과거의 시청자 참여 이벤트를 지금 시간의 이벤트 하단에 표시하여, 사용자에게 편의를 제공할 수 있다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29에 도시된 바와 같이, 디스커버리 서브 메뉴가 선택되면, 영상 표시 장치(100)는 시청자 참여 애플리케이션 이외의 모든 시간 연동 애플리케이션을 부가 정보 영역(360)에 표시한다. 예컨데, 영상 표시 장치(100)는 메인 시청각 컨텐트에 나타난 상품이나 장소에 대한 장면 연관 정보를 표시할 수 있다. 영상 표시 장치(100)는 현재의 장면 연관 정보와 함께 과거의 장면 연관 정보를 표시할 수도 있다.
한편, 영상 표시 장치(100)는 시간 연동 애플리케이션이나 이벤트가 있다는 알림을 서브 메뉴에 표시할 수도 있다. 예컨데, 시청자 참여 애플리케이션이 발생하면, 영상 표시 장치(100)는 참여 서브 메뉴에 N 이라는 깜박이는 icon을 표시하여 사용자의 참여를 유도할 수 있다. 사용자가 일정 시간동안 알림에 대한 응답을 하지 않는 경우, 영상 표시 장치(100)는 알림을 없앨 수 있다.
이하에서는 도 30 내지 도 36를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴를 설명한다.
정보 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 프로그램 메인 메뉴 이외의 메인 메뉴가 선택되면, 검색 서비스나 트위터 서비스와 같은 2차 서비스가 연동될 수 있다.
정보 메인 메뉴는 검색 서브 메뉴, 트위터 서브 메뉴, 뉴스 서브 메뉴를 가진다.
다음은 도 30 내지 도 32를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴를 설명한다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1001).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택되면(S1002), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 복수의 검색 아이템을 포함하는 검색 리스트를 획득한다(S1003). 검색 리스트는 장르, 배우, 감독, 장소, 상품 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)는 검색 리스트를 부가 정보 영역(360)에 표시한다(S1007). 검색 리스트의 표시 예를 도 30을 참고하여 설명한다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 31에 도시된 바와 같이, 검색 리스트는 메인 시청각 컨텐트의 등장 인물을 포함한다. 영상 표시 장치(100)는 부가 정보 영역(360)에 검색 아이템의 사진 또는 이름 중 하나 이상을 표시할 수 있다.
리모콘의 커서 등으로 복수의 검색 아이템 중 하나가 선택되면(S1009), 영상 표시 장치(100)는 선택된 검색 아이템에 대한 정보를 검색한다(S1011). 이때, 영상 표시 장치(100)는 구글과 같은 인터넷 검색 엔진을 이용할 수 있다. 또한, 영상 표시 장치(100)는 Tribune media나 IMDb와 같은 정보를 이용할 수도 있다.
영상 표시 장치(100)는 검색된 정보를 부가 정보 영역(360)에 표시한다(S1013). 검색 결과는 서비스 업체의 Open API를 통해 프로그래밍을 통해 자동으로 불러오게 되므로, 화면 디자인에 필요한 상당한 시간을 아낄 수 있다. 검색 정보의 표시 예를 도 32을 참고하여 설명한다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 32에 도시된 바와 같이, 영상 표시 장치(100)는 선택된 검색 아이템에 대한 검색 결과를 부가 정보 영역(360)에 디스플레이한다. 한편, 영상 표시 장치(100)는 부가 정보 영역(360)에 트위터 버튼과 편집 버튼을 배치하여, 배우의 Twitter를 Follow할 수 있게 하거나, 이 배우의 다른 출연작, Biography 등과 같은 Profile을 편집하게 할 수도 있다.
이와 같이, 본 발명의 실시예에 따른 검색 방법을 이용하면, 한번의 클릭을 통해 메인 시청각 데이터와 연관된 정보를 검색할 수 있어, 검색어 입력의 수고를 경감시킬 수 있다.
다음은 도 33과 도 34를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴를 설명한다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1101).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택되면(S1102), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 트위터 채팅 목록을 획득한다(S1103). 영상 표시 장치(100)는 Twitter의 Hashtag에 프로그램명을 적어 이 프로그램에만 관련된 Twitter 채팅 목록을 불러올 수 있다. 이 채팅 목록은 Twitter와 연동되어 실시간으로 계속 업데이트 된다.
영상 표시 장치(100)는 사용자 선택을 통해 또는 자동으로 트위터 채팅 목록 중의 한 채팅 창을 부가 정보 영역(360)에 표시한다(S1107). 채팅 창의 표시 예를 도 34을 참고하여 설명한다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 34에 도시된 바와 같이, 영상 표시 장치(100)는 채팅 창을 부가 정보 영역(360)에 표시하여 같은 프로그램을 시청하는 시청자들 사이의 채팅을 지원할 수 있다.
프로그램이 방송될 때, 실제 이 프로그램의가 직접 채팅방에서 메시지를 적어 넣을 수도 있다. 영상 표시 장치(100)가 Smart TV같이 log in 메커니즘이 있는 기기라면 이 메뉴에 진입할 때에는 이미 영상 표시 장치(100)의 사용자가 log in되어 있는 상태로 그 즉시 자신의 id로 채팅을 시작할 수도 있다. 영상 표시 장치(100)의 리모컨 입력이 불편한 경우에는 영상 표시 장치(100)는 단순히 채팅 메시지만 디스플레이할 수 있다. 만일 영상 표시 장치(100)가 Smart Phone이나 tablet처럼 2nd Device와 연동되어 있다면, 2nd Device의 입력장치를 통해 메시지가 typing될 수도 있을 것이다. Hashtag에 들어가는 정보는 기본적으로 프로그램명이지만, 앞에서 기술한 다른 기본 정보인 배우, 감독 등의 tag으로도 선택하여, 사용자는 해당 주제의 채팅에 선택적으로 참여할 수 있다.
다음은 도 35와 도 36을 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴를 설명한다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1201).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택되면(S1202), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 뉴스를 획득한다(S1203). 이때, 뉴스는 메인 시청각 컨텐트와 관련 있을 수도 있고, 관련이 없을 수도 있다. 또한, 뉴스는 메인 시청각 컨텐트의 방송사가 제공하는 것일 수 있다. 방송사가 Open API로 뉴스를 제공하는 않는다면, 영상 표시 장치(100)는 Google이나 Yahoo같은 internet 서비스의 News feed를 통해 뉴스를 수신할 수 있다.
영상 표시 장치(100)는 획득한 뉴스를 부가 정보 영역(360)에 표시한다(S1207). 뉴스의 표시 예를 도 36을 참고하여 설명한다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 36에 도시된 바와 같이, 영상 표시 장치(100)는 획득한 뉴스를 부가 정보 영역(360)에 표시할 수 있다.
이하에서는 도 37 내지 도 42를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴를 설명한다.
소셜 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 프로그램 메인 메뉴 이외의 메인 메뉴가 선택되면, Facebook과 같은 2차 서비스가 연동될 수 있다.
소셜 메인 메뉴는 시청자 리스트 서브 메뉴, 호감 표시 서브 메뉴를 가진다.
다음은 도 37 내지 도 40를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴를 설명한다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1301).
영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택되면(S1302), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 획득한다(S1303). 영상 표시 장치(100)는 facebook 같은 소셜 네트워크 서비스와 연동하여 메인 시청각 컨텐트를 시청하는 친구의 목록을 획득할 수 있다.
영상 표시 장치(100)는 획득한 시청자 리스트를 부가 정보 영역(360)에 표시한다(S1307). 시청자 리스트의 표시 예를 도 38을 참고하여 설명한다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 38에 도시된 바와 같이, 영상 표시 장치(100)는 획득한 시청자 리스트에 해당하는 시청자들의 사진과 이름을 부가 정보 영역(360)에 표시할 수 있다.
특히, 영상 표시 장치(100)는 친구의 목록을 시청 여부와 함께 표시할 수도 있고, 시청중인 친구의 목록만을 표시할 수도 있다.
표시된 친구 목록 중에서 한 친구가 선택되면(S1309), 영상 표시 장치(100)는 선택된 친구가 메인 시청각 컨텐트를 시청하고 있는지를 확인한다(S1311).
선택된 친구가 메인 시청각 컨텐트를 시청하고 있다면, 영상 표시 장치(100)는 선택된 친구와의 채팅 창을 부가 정보 영역(360)에 표시한다(S1313).
한편, 선택된 친구가 메인 시청각 컨텐트를 시청하고 있지 않다면, 영상 표시 장치(100)는 선택된 친구의 이메일 또는 핸드폰에 메인 시청각 컨텐트의 시청을 권하는 메시지를 전송한다(S1315). 선택된 친구가 메인 시청각 컨텐트를 시청하고 있지 않더라도 영상 표시 장치(100)는 선택된 친구와의 채팅 창을 부가 정보 영역(360)에 표시할 수도 있다.
채팅을 위하여 사용자는 영상 표시 장치(100)의 리모컨을 사용할 수도 있고, 영상 표시 장치(100)에 연결된 2nd device의 입력장치를 사용할 수도 있으며, 영상 표시 장치(100)와는 상관없이 Smartphone의 Social 네트워크 서비스 애플리케이션을 통해 직접 채팅을 할 수 있다. 어떤 경우에든 영상 표시 장치(100)의 화면에는 Social 네트워크 서비스의 채팅 화면이 디스플레이될 수 있다. 프로그램을 평가하는 버튼을 통해, 사용자는 자신의 의사표시를 친구들에게 전달할 수 있다. 예를 들자면, Facebook의 "좋아요" 버튼을 통해 사용자는 메인 시청각 컨텐트를 시청중임을 친구에게 알릴 수도 있고, 메인 시청각 컨텐트를 시청하지 않는 친구에게 시청을 권할 수도 있다.
이와 같이, 영상 표시 장치(100)는 시청자 리스트 서브 메뉴를 통해 ACR 기술을 이용하여 누가 어떤 프로그램을 시청하고 있는지 자동으로 파악할 수 있다. 누가 시청하고 있는 지의 확인을 위하여 사용자의 login이 요구된다. 영상 표시 장치(100)에 로그인을 위한 계정을 등록하면, 영상 표시 장치(100)는 턴온될 때마다 자동으로 log in할 수 있으므로 영상 표시 장치(100)는 누가 메인 시청각 컨텐트를 시청하고 있는 지를 파악할 수 있다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 39에 도시된 바와 같이, 친구 A의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 메인 시청각 컨텐트 A의 식별자와 친구 A의 식별자를 전송한다(S1401).
또한, 친구 B의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 메인 시청각 컨텐트 A의 식별자와 친구 B의 식별자를 전송한다(S1403).
영상 표시 장치(100)가 메인 시청각 컨텐트 A를 재생하고 있다면, 영상 표시 장치(100)는 사용자의 ID와 메인 시청각 컨텐트 A의 식별자를 SNS 제공 서버(75)에 전송한다(S1405).
SNS 제공 서버(75)는 친구 관계 정보와 수신한 컨텐트 식별자에 기초하여 영상 표시 장치(100)의 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 확인하고, 확인된 정보를 영상 표시 장치(100)에 제공한다(S1407).
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40에 도시된 바와 같이, 친구 A의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 친구 A의 식별자를 전송하고(S1501), ACR 서버(77)에 메인 시청각 컨텐트 A를 전송한다(S1503). ACR 서버(77)는 워터마크 서버(21), 핑거프린트 서버(22), 부가 서비스 정보 제공 서버(40), 부가 서비스 제공 서버(50) 중 하나 일 수 있다.
또한, 친구 B의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 친구 B의 식별자를 전송하고(S1505), ACR 서버(77)에 메인 시청각 컨텐트 A를 전송한다(S1507).
영상 표시 장치(100)는 사용자의 ID를 SNS 제공 서버(75)에 전송한다(S1509).
그러면, SNS 제공 서버(75)는 사용자의 ID에 해당하는 친구 목록을 ACR 서버(75)에 제공한다(S1511).
한편, 영상 표시 장치(100)가 메인 시청각 컨텐트 A를 재생하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트 A의 식별자를 ACR 서버(77)에 전송한다(S1513).
ACR 서버(75)는 사용자의 ID에 해당하는 친구 목록과 컨텐트 식별자에 기초하여 영상 표시 장치(100)의 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 확인하고, 확인된 정보를 영상 표시 장치(100)에 제공한다(S1515).
다음은 도 41 내지 도 42를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴를 설명한다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1601).
영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택되면(S1602), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 복수의 호감 표시 아이템을 포함하는 호감 표시 목록을 획득한다(S1603). 여기서 호감 표시 아이템은 프리뷰 또는 프리뷰 주소를 포함할 수 있다. 프리뷰는 이미지 또는 짧은 길이의 동영상 일 수 있다. 이 Preview는 방송사가 Open API를 통해 직접 제공할 수도 있고, Internet 서비스의 검색 엔진을 획득될 수 있고, 방송사의 인터넷서버에서 필요한 부분만을 추출하여 획득될 수도 있다. 몇 분의 시간 간격의 핵심 scene에 해당하는 이미지가 제공될 수도 있고, 한 프로그램에 하나의 이미지만 제공될 수도 있다.
영상 표시 장치(100)는 획득한 호감 표시 목록을 부가 정보 영역(360)에 표시한다(S1607). 시청자 리스트의 표시 예를 도 42를 참고하여 설명한다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 42에 도시된 바와 같이, 영상 표시 장치(100)는 호감 표시 목록의 프리뷰들과 호감 표시를 위한 '좋아요(Like it)' 버튼들을 부가 정보 영역(360)에 디스플레이할 수 있다.
한 호감 표시 아이템에 해당하는 '좋아요' 버튼이 선택되면(S1609), 영상 표시 장치(100)는 선택된 호감 표시 아이템에 해당하는 프리뷰와 간단한 텍스트를 facebook 등의 SNS에 포스트한다(S1611). 여기서 간단한 텍스트는 자동적으로 생성되거나, 리모컨으로 입력하거나, 2nd Device의 입력 기기를 통해 입력할 수도 있다.
이하에서는 도 43 내지 도 46을 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴를 설명한다.
추천 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 추천 메뉴가 선택되면, 다른 서비스가 연동될 수 있다.
추천 메인 메뉴는 이전 에피소드 서브 메뉴, VOD 서브 메뉴, 애플리케이션 서브 메뉴를 가진다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1701).
영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 서브 메뉴가 선택되면(S1702), 영상 표시 장치 제조사 애플리케이션은 획득한 컨텐츠 정보에 기초하여 디지털 미디어 목록을 획득한다(S1703). 이전 에피소드 서브 메뉴가 선택되면, 영상 표시 장치(100)는 이전 에피소드 목록을 획득한다. VOD 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 VOD 목록을 획득한다. 애플리케이션 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 애플리케이션의 목록을 획득한다. 여기서 디지털 미디어 목록은 프리뷰 또는 프리뷰 주소, 아이콘, 관련 이미지를 포함할 수 있다.
영상 표시 장치 제조사 애플리케이션은 획득한 디지털 미디어 목록을 부가 정보 영역(360)에 표시한다(S1707).
이전 에피소드 목록의 표시 예를 도 44를 참고하여 설명한다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 44에 도시된 바와 같이, 영상 표시 장치(100)는 이전 에피소드 목록의 프리뷰들과 타이틀들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 이전 에피소드를 검색하여 표시할 수 있다.
VOD 목록의 표시 예를 도 45를 참고하여 설명한다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45에 도시된 바와 같이, 영상 표시 장치(100)는 VOD 목록의 프리뷰들과 타이틀들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 VOD를 검색하여 표시할 수 있다.
애플리케이션 목록의 표시 예를 도 46을 참고하여 설명한다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46에 도시된 바와 같이, 영상 표시 장치(100)는 애플리케이션 목록의 아이콘들과 애플리케이션 이름들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 애플리케이션을 검색하여 표시할 수 있다.
디지털 미디어 목록 내의 한 아이템이 선택되면(S1709), 영상 표시 장치 제조사 애플리케이션은 선택된 아이템에 해당하는 디지털 미디어를 다운로드한다(S1711). 이때, 과금 후에 영상 표시 장치(100)는 디지털 미디어를 다운로드할 수 있다. 선택된 아이템이 이전 에피소드이거나 VOD인 경우, 영상 표시 장치(100)는 다운로드한 디지털 미디어를 재생할 수 있다. 선택된 아이템이 애플리케이션이면, 영상 표시 장치(100)는 다운로드한 애플리케이션을 자동으로 또는 사용자 선택을 통해 실행할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 간단한 조작을 통해 영상 표시 장치(10)는 디지털 미디어를 다운로드할 수 있다.
이하에서는 도 47 내지 도 50를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 카탈로그 메인 메뉴를 설명한다.
카탈로그 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 카탈로그 메뉴가 선택되면, 다른 서비스가 연동될 수 있다.
카탈로그 메인 메뉴는 스타일 서브 메뉴, 음악서브 메뉴, 기타 서브 메뉴를 가진다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1801).
영상 표시 장치 제조사 애플리케이션의 카탈로그 메인 메뉴의 서브 메뉴가 선택되면(S1802), 영상 표시 장치 제조사 애플리케이션은 획득한 컨텐츠 정보에 기초하여 카탈로그 목록을 획득한다(S1803). 스타일 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 의류들을 위한 카탈로그 목록을 획득한다. 음악 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 음악들을 위한 카탈로그 목록을 획득한다. 기타 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 상품이나 장소를 위한 카탈로그목록을 획득한다. 여기서 디지털 미디어 목록은 관련 이미지, 가격 정보, 설명, 쿠폰을 포함할 수 있다. 쿠폰은 번호나 QR 코드의 형태일 수 있다. 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 중에만 쿠폰을 표시할 수도 있지만, 쿠폰의 유효기간 동안은 메모리(150)에 저장하여 사용자가 추후 이용하도록 할 수도 있다.
영상 표시 장치 제조사 애플리케이션은 획득한 카탈로그 목록을 부가 정보 영역(360)에 표시한다(S1807).
의류 카탈로그 목록의 표시 예를 도 48을 참고하여 설명한다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 48에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 의류의 메이커 정보, 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 의류 카탈로그를 검색하여 표시할 수 있다.
음악 카탈로그 목록의 표시 예를 도 49를 참고하여 설명한다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 음악의 가수 정보, 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 음악 카탈로그를 검색하여 표시할 수 있다.
기타 카탈로그 목록의 표시 예를 도 50을 참고하여 설명한다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 상품이나 장소의 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 상품이나 장소에 대한 카탈로그를 검색하여 표시할 수 있다.
카탈로그 목록 내의 한 아이템이 선택되면(S1809), 영상 표시 장치 제조사 애플리케이션은 선택된 아이템에 해당하는 구매 페이지를 표시한다(S1811).
이와 같이, 본 발명의 실시예에 따르면, 간단한 조작을 통해 사용자는 제품을 구매할 수 있다.
카탈로그 목록 내의 각 아이템에는 구매 후기 버튼과 북마크 버튼이 배치될 수 있다.
구매 후기 버튼이 선택되면, 영상 표시 장치(100)는 아이템의 사용 후기를 부가 정보 영역(360)에 표시할 수 있다. 또한, 사용자는 구매 후기를 작성할 수도 있다.
또한, 사용자는 북마크 버튼을 통해 특정 아이템을 북마크한 후, 소셜 메인 메뉴의 시청자 리스트 서브 메뉴를 통해 북마크한 아이템을 추천할 수 있다.
이 경우, 영상 표시 장치(100)는 ACR 서버(77)나 SNS 제공 서버(75)에 북마크 아이템 정보를 제공할 수 있다.
이후, 추천받은 시청자의 영상 표시 장치(100)는 메인 시청각 컨텐트에서 추출된 구간에 기초하여 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보로부터 메인 시청각 컨텐트가 추천된 아이템의 광고에 해당하는 경우에, "친구 U가 추천한 상품입니다"와 같은 추천 메시지를 표시할 수 있다. 또한 추천 메시지 대신에 짧은 길이의 동영상이 표시될 수도 있다.
다음은 도 51과 도 52를 참고하여 본 발명의 실시예에 따른 ACR 기능의 온오프 제어를 설명한다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 51에 도시된 바와 같이, 재생 제어부(113)는 ACR 기능 설정 창을 디스플레이한다. 사용자는 ACR 기능 설정 창을 통해 ACR 기능을 활성화시킬 수도 있고, 비활성화시킬 수도 있다.
ACR 기능이 활성화된 경우, 사용자는 ACR 모드를 선택할 수도 있다. 본 발명의 실시예에 따른 ACR 모드는 자동 재생 애플리케이션 모드, 컨텐츠 제공자 애플리케이션 모드, 영상 표시 장치 제조사 애플리케이션 모드 중 하나로 설정될 수 있다.
이와 같이 ACR 기능의 모드가 설정되면, 재생 제어부(113)는 설정 정보를 설정 정보 저장부(154)에 저장한다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
부가 서비스 관리부(130)는 ACR 기능이 턴온되어 있는지를 확인한다(S1901).
ACR 기능이 비활성화되어 있다면, 부가 서비스 관리부(130)는 더 이상 컨텐트 정보 획득 절차를 수행하지 않는다.
ACR 기능이 활성화되어 있다면 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S1902).
부가 서비스 관리부(130)는 추출한 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S1903).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 기준 시간을 대체 광고의 기준 시간과 동기화한다(S1905).
부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스를 획득한다(S1907). 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보를 획득하고, 획득한 부가 서비스 정보에 기초하여 부가 서비스를 획득할 수도 있다.
이후, 부가 서비스 관리부(130)는 ACR 모드를 확인한다(S1909).
부가 서비스 관리부(130)는 ACR 모드에 따라 부가 서비스를 재생한다(S1911).
구체적으로, ACR 모드가 자동 재생 애플리케이션 모드이면, 부가 서비스 관리부(130)는 자동 재생 애플리케이션을 실행하고, 실행된 자동 재생 애플리케이션은 획득한 부가 서비스를 재생한다.
ACR 모드가 컨텐츠 제공자 애플리케이션 모드이면, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 대응하는 컨텐츠 제공자 애플리케이션을 백그라운드에서 실행한다. 부가 서비스 관리부(130)는 부가 서비스 이용에 해당하는 사용자 입력을 수신하면, 컨텐츠 제공자 애플리케이션을 디스플레이한다. 이 컨텐츠 제공자 애플리케이션이 획득한 부가 서비스를 재생할 수 있다. 컨텐츠 제공자 애플리케이션이 자동으로 백그라운드에서 실행되는 대신에, 컨텐츠 제공자 애플리케이션은 사용자 입력에 의해 실행될 수 있다.
ACR 모드가 영상 표시 장치 제조사 애플리케이션 모드이면, 부가 서비스 관리부(130)는 부가 서비스 관리부(130)는 영상 표시 장치 제조사 애플리케이션을 백그라운드에서 실행한다. 부가 서비스 관리부(130)는 부가 서비스 이용에 해당하는 사용자 입력을 수신하면, 영상 표시 장치 제조사 애플리케이션을 디스플레이한다. 이 영상 표시 장치 제조사 애플리케이션이 획득한 부가 서비스를 재생할 수 있다. 영상 표시 장치 제조사 애플리케이션이 자동으로 백그라운드에서 실행되는 대신에, 영상 표시 장치 제조사 애플리케이션은 사용자 입력에 의해 실행될 수 있다.
다음은 도 53과 도 54을 참고하여 본 발명의 실시예에 따른 광고 대체 방법을 설명한다.
도 53는 본 발명의 한 실시예에 따른 광고 대체 방법을 도시한 흐름도이다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S2001).
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S2003).
이후, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보인 광고 대체 정보를 획득한다(S2005).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보와 광고 대체 정보를 모두 포함하는 질의 결과를 수신할 수도 있다. 표 14는 이러한 질의 결과의 예를 보여준다.
Figure 112012022162268-pct00017
표 14에서, ＜queryresult＞ 태그는 root 태그이며, 핑거프린트 서버(22)가 보내준 질의 응답을 나타낸다. ＜content＞ 태그는 메인 시청각 컨텐트의 전체 정보를 보여준다. ＜playtime＞ 태그는 메인 시청각 컨텐트의 전체 재생 시간을 나타낸다. 영상 표시 장치(100)는 ＜playtime＞ 태그내의 정보를 이용하여 메인 시청각 컨텐트의 종료 시간을 계산할 수도 있다. ＜broadcastor＞ 태그는 메인 시청각 컨텐츠의 방송국 정보를 담는다.
＜signature＞ 태그는 영상 표시 장치(100)가 시그너처를 생성하기 위해서 사용한 AV sample의 시간 정보를 보여준다. ＜signature＞ 태그 내의 ＜starttime＞ 태그는 시그너처를 생성하기 위해서 사용한 AV sample의 시작 시간을 담고, ＜signature＞ 태그 내의 ＜endtime＞ 태그는 시그너처를 생성하기 위해서 사용한 AV sample의 끝 시간을 담는다. ＜starttime＞ 태그 내의 정보와 ＜endtime＞ 태그 내의 정보를 이용하여 영상 표시 장치(100)는 메인 시청각 컨텐트의 재생 시간을 계속해서 동기화시킬 수 있다.
＜AD＞ 태그는 지금 재생 중인 컨텐츠와 관계되는 모든 광고 대체 정보를 시간 순으로 가진다. ＜AD＞ 태그 내의 정보를 이용하여 영상 표시 장치(100)는 광고 파일이나 광고 스트림을 미리 받아와서 저장해 두거나 버퍼링할 수 있다. 또한 영상 표시 장치(100)는 ＜AD＞ 태그 내의 정보를 이용하여 메인 시청각 컨텐트와 동기화된 시간에 맞춰 적절하게 광고를 대체시킬 수도 있다.
＜ad1＞ 태그는 광고 대체에 사용될 하나의 광고에 대한 정보를 가진다. ＜adtype＞ 태그는 광고의 타입을 나타내며, 광고가 미디어 파일 또는 미디어 스트림인지를 수신기에게 알려준다. ＜category＞ 태그는 광고의 분류 항목을 보여주며, 영상 표시 장치(100)는 이를 이용하여 동일한 광고 시간에 여러 광고가 있을 경우 사용자가 원하는 광고를 선택해서 보여줄 수도 있다. ＜adname＞ 태그는 광고의 이름을 보여준다.
＜starttime＞ 태그는 대체 광고의 시작 시간을 보여주고, ＜endtime＞ 태그는 대체 광고의 종료 시간을 보여준다. 대체 광고의 시작 시간과 종료 시간은 메인 시청각 컨텐트의 시작부터 계산된 타임스탬프 값이며 ms단위로 표현된다. ＜adURI＞ 태그 내에는 대체 광고의 위치 정보가 저장된다. ＜description＞ 태그 내에는 대체 광고에 대한 설명이 기입된다.
광고 대체 정보가 전송된 이후에는, 아래의 표 15에서 보여지는 바와 같은 컨텐츠 정보만이 전송될 수 있다.
Figure 112012022162268-pct00018
부가 서비스 관리부(130)는 광고 대체 정보 내의 대체 광고 주소에 접속하여 대체 광고 파일을 획득한다(S2007). 표 14에서 보여지는 바와 같이, 광고 대체 정보가 복수의 대체 광고 주소를 포함하고 있다면 부가 서비스 관리부(130)는 복수의 대체 광고 파일을 획득한다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 시간을 대체 광고의 시작 시간과 동기화한다(S2009).
메인 시청각 컨텐트의 동기화된 재생 시간이 대체 광고의 시작 시간과 일치하면, 부가 서비스 관리부(130)는 대체 광고를 시작하여 메인 시청각 컨텐트의 광고를 획득한 대체 광고로 대체한다(S2011).
도 54는 본 발명의 또 다른 실시예에 따른 광고 대체 방법을 도시한 흐름도이다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S2101).
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S2103). 이때 컨텐츠 정보의 내용은 표 15에 해당할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 시간을 대체 광고의 시작 시간과 동기화한다(S2104).
이후, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보인 광고 대체 정보를 획득한다(S2105).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보와 광고 대체 정보를 모두 포함하는 질의 결과를 수신할 수도 있다. 표 16은 이러한 질의 결과의 예를 보여준다.
Figure 112012022162268-pct00019
부가 서비스 관리부(130)는 광고 대체 정보 내의 대체 광고 주소에 접속하여 대체 광고 파일을 획득한다(S2107).
메인 시청각 컨텐트의 동기화된 재생 시간이 대체 광고의 시작 시간과 일치하면, 부가 서비스 관리부(130)는 대체 광고를 시작하여 메인 시청각 컨텐트의 광고를 획득한 대체 광고로 대체한다(S2111).
다음은 도 55 내지 도 62을 참고하여 본 발명의 실시예에 따른 장면 연관 정보 표시 방법을 설명한다.
도 55는 본 발명의 한 실시예에 따른 장면 연관 정보 표시 모드 선택 방법을 보여주는 흐름도이고, 도 56은 본 발명의 실시예에 따른 장면 연관 정보 표시 모드 선택을 위한 사용자 인터페이스를 보여준다.
사용자에 의해 복수의 메뉴 중에서 장면 연관 정보 표시 모드가 선택되면(S2201), 부가 서비스 관리부(130)는 복수의 장면 연관 정보 표시 모드 중 적어도 하나의 선택을 위한 화면을 디스플레이부(121)에 디스플레이한다(S2203).
도 56에 도시된 바와 같이, 복수의 장면 연관 정보 표시 모드는 "바로 보여주기" 모드, "사용자 선택 보여주기" 모드, "통합하여 보여주기" 모드, 및 "장면 연관 정보 무시" 모드를 포함할 수 있다.
복수의 장면 연관 정보 표시 모드 중 적어도 하나가 선택되면(S2205), 부가 서비스 관리부(130)는 복수의 장면 연관 정보 분류 항목 (scene-related information category) 중 적어도 하나의 선택을 위한 화면을 디스플레이부(121)에 디스플레이한다(S2207).
도 56에 도시된 바와 같이, 복수의 장면 연관 정보 분류 항목은 모든 항목, 촬영 장소, 요리, 식당, 등과 같은 다양한 항목을 포함할 수 있다.
복수의 장면 연관 정보 분류 항목 중 적어도 하나가 선택되면(S2209), 부가 서비스 관리부(130)는 선택된 장면 연관 정보 표시 모드와 선택된 장면 연관 정보 분류 항목을 설정 정보 저장부(157)에 저장한다(S2211).
도 57은 본 발명의 한 실시예에 따른 장면 연관 정보 표시 방법을 도시한 흐름도이다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S2301).
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S2303).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 시간을 부가 서비스 정보인 장면 연관 정보의 시작 시간과 동기화한다(S2304).
이후, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보인 장면 연관 정보를 획득한다(S2305).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보와 장면 연관 정보를 모두 포함하는 질의 결과를 수신할 수도 있다. 표 17는 이러한 질의 결과의 예를 보여준다.
Figure 112012022162268-pct00020
부가 서비스 관리부(130)는 질의 결과 내의 장면 연관 정보 주소에 접속하여 장면 연관 정보를 획득한다(S2307).
메인 시청각 컨텐트의 동기화된 재생 시간이 장면 연관 정보의 시작 시간과 일치하면(S2308), 부가 서비스 관리부(130)는 설정 정보 저장부(157)에 저장된 장면 연관 정보 표시 모드와 장면 연관 정보 분류 항목에 따라 장면 연관 정보를 처리한다.
이때, 선택된 장면 연관 정보 표시 모드가 "바로 보여주기" 모드이고, 획득한 장면 연관 정보의 분류 항목(category)이 선택된 장면 연관 정보 표시 모드와 관련하여 선택된 장면 연관 정보 분류 항목에 해당하면(S2309), 부가 서비스 관리부(130)는 사용자의 조작에 무관하게 획득한 장면 연관 정보를 재생한다(S2310).
선택된 장면 연관 정보 표시 모드가 "장면 연관 정보 무시" 모드이고, 획득한 장면 연관 정보의 분류 항목(category)이 선택된 장면 연관 정보 표시 모드와 관련하여 선택된 장면 연관 정보 분류 항목에 해당하면(S2311), 부가 서비스 관리부(130)는 장면 연관 정보를 무시할 수 있다(S2312). 즉, 부가 서비스 관리부(130)는 장면 연관 정보를 위한 지시자를 표시하지도 않고 장면 연관 정보를 실행하지 않을 수 있다. 선택된 장면 연관 정보 표시 모드가 "장면 연관 정보 무시" 모드이면, 선택된 장면 연관 정보 분류 항목에 무관하게, 부가 서비스 관리부(130)는 장면 연관 정보를 무시할 수 있다.
선택된 장면 연관 정보 표시 모드가 "사용자 선택 보여주기" 모드이고, 획득한 장면 연관 정보의 분류 항목(category)이 선택된 장면 연관 정보 표시 모드와 관련하여 선택된 장면 연관 정보 분류 항목에 해당하면(S2313), 부가 서비스 관리부(130)는 획득한 장면 연관 정보가 있음을 알리기 위한 지시자를 디스플레이부(121)에 표시하고, 부가 서비스 표시 사용자 입력에 대응하여 획득한 장면 연관 정보를 재생 장치(120)에 재생할 수 있다. 이에 관하여 도 58와 도 59를 참고하여 설명한다.
도 58는 본 발명의 실시예에 따른 장면 연관 정보의 사용자 선택 보여주기 방법을 보여주는 흐름도이고, 도 59는 본 발명의 실시예에 따른 장면 연관 정보의 사용자 선택 보여주기의 개념도이다.
장면 연관 정보에 해당하는 애플리케이션 1의 시작 시간에 도달하면, 영상 표시 장치(100)는 하나 이상의 지시자를 디스플레이부(121)에 디스플레이한다(S2315). 도 59에 도시된 바와 같이, 하나 이상의 지시자는 지금 보기 지시자, 북마킹 지시자, 닫기 지시자를 포함할 수 있다.
영상 표시 장치(100)는 지금 보기 지시자에 해당하는 사용자 입력을 수신하면(S2316), 획득한 장면 연관 정보를 재생 장치(120)에 재생한다(S2317).
영상 표시 장치(100)는 닫기 지시자에 해당하는 사용자 입력을 수신하면(S2319), 디스플레이된 지시자를 닫고, 획득한 장면 연관 정보를 종료한다(S2321).
영상 표시 장치(100)는 북마킹 지시자에 해당하는 사용자 입력을 수신하면(S2323), 획득한 장면 연관 정보의 북마크를 북마크 저장부(155)에 저장한다(S2325). 이때, 북마크는 북마크 식별자, 장면 연관 정보의 주소, 장면 연관 정보의 설명, 장면 연관 정보의 이용 가능 시간 및 장면 연관 정보에 해당하는 메인 시청각 컨텐트의 캡쳐 이미지를 포함할 수 있다.
이후, 영상 표시 장치(100)가 북마크 디스플레이에 해당하는 사용자 입력을 수신하거나 미리 설정된 북마크 디스플레이 시간에 도달하면(S2327), 영상 표시 장치(100)는 하나 이상의 북마크를 디스플레이부(121)에 디스플레이할 수 있다(S2329). 미리 설정된 북마크 디스플레이 시간은 메인 시청각 컨텐트의 끝 시간일 수 있다. 복수의 북마크는 장면 연관 정보의 분류 항목(category)과 장면 연관 정보의 이용 가능 시간을 분류자(classifier)로 하여 디스플레이될 수 있다.
장면 연관 정보의 주소나 장면 연관 정보의 설명이 사용자에 의해 클릭되면(S2331), 영상 표시 장치(100)는 클릭된 장면 연관 정보를 재생한다(S2333).
한편, 장면 연관 정보에 해당하는 메인 시청각 컨텐트의 캡쳐 이미지가 사용자에 의해 클릭되면(S2335), 영상 표시 장치(100)는 캡쳐 이미지에 해당하는 시점부터 메인 시청각 컨텐트를 재생한다(S2337). 이때, 영상 표시 장치(100)는 메인 시청각 컨텐트를 스트림의 형태로 수신하여 재생할 수 있다.
선택된 장면 연관 정보 표시 모드가 "통합하여 보여주기" 모드이고, 획득한 장면 연관 정보의 분류 항목(category)이 선택된 장면 연관 정보 표시 모드와 관련하여 선택된 장면 연관 정보 분류 항목에 해당하면(S2314), 부가 서비스 관리부(130)는 사용자의 조작에 무관하게 획득한 장면 연관 정보의 북마크를 북마크 저장부(155)에 저장한다. 이에 관하여 도 60과 도 61을 참고하여 설명한다.
도 60은 본 발명의 실시예에 따른 장면 연관 정보를 통합하여 보여주는 방법을 보여주는 흐름도이고, 도 61은 본 발명의 실시예에 따른 장면 연관 정보를 통합하여 보여주는 방법의 개념도이다.
선택된 장면 연관 정보 표시 모드가 "통합하여 보여주기" 모드이고, 획득한 장면 연관 정보의 분류 항목(category)이 선택된 장면 연관 정보 표시 모드와 관련하여 선택된 장면 연관 정보 분류 항목에 해당하면, 영상 표시 장치(100)는 지시자를 디스플레이함 없이 사용자의 조작에 무관하게 획득한 장면 연관 정보의 북마크를 북마크 저장부(155)에 저장한다(S2339). 이때, 북마크는 북마크 식별자, 장면 연관 정보의 주소, 장면 연관 정보의 설명, 장면 연관 정보의 이용 가능 시간 및 장면 연관 정보에 해당하는 메인 시청각 컨텐트의 캡쳐 이미지를 포함할 수 있다.
이후, 영상 표시 장치(100)가 북마크 디스플레이에 해당하는 사용자 입력을 수신하거나 미리 설정된 북마크 디스플레이 시간에 도달하면(S2341), 영상 표시 장치(100)는 하나 이상의 북마크를 디스플레이부(121)에 디스플레이할 수 있다(S2343). 미리 설정된 북마크 디스플레이 시간은 메인 시청각 컨텐트의 끝 시간일 수 있다. 도 61에 도시된 바와 같이, 복수의 북마크는 장면 연관 정보의 분류 항목(category)과 장면 연관 정보의 이용 가능 시간을 분류자(classifier)로 하여 디스플레이될 수 있다.
장면 연관 정보의 주소나 장면 연관 정보의 설명이 사용자에 의해 클릭되면(S2345), 영상 표시 장치(100)는 클릭된 장면 연관 정보를 재생한다(S2347).
한편, 장면 연관 정보에 해당하는 메인 시청각 컨텐트의 캡쳐 이미지가 사용자에 의해 클릭되면(S2349), 영상 표시 장치(100)는 캡쳐 이미지에 해당하는 시점부터 메인 시청각 컨텐트를 재생한다(S2351). 이때, 영상 표시 장치(100)는 메인 시청각 컨텐트를 스트림의 형태로 수신하여 재생할 수 있다.
도 62에 도시된 바와 같은 장면 연관 정보를 통합하여 보여주는 방법을 이용하면, 메인 시청각 컨텐츠의 협찬사 광고들이 통합되어 디스플레이될 수도 있다.
도 62는 메인 시청각 컨텐츠의 협찬사 광고들의 통합 화면을 보여준다.
도 62에 도시된 바와 같이, 영상 표시 장치(100)가 북마크 디스플레이에 해당하는 사용자 입력을 수신하거나 미리 설정된 북마크 디스플레이 시간에 도달하면, 영상 표시 장치는 메인 시청각 컨텐츠의 협찬사 광고들의 통합 화면을 디스플레이할 수 있다. 이때, 메인 시청각 컨텐츠의 협찬사 광고 아이템들은 아이콘의 형태로 디스플레이되고, 아이콘이 클릭되면, 영상 표시 장치(100)는 클릭된 아이콘에 해당하는 서비스 페이지를 디스플레이할 수 있다.
다음은 도 63 내지 도 67을 참고하여 본 발명의 실시예에 따른 등급 정보에 따른 영상 표시 장치(100)의 제어 방법을 설명한다.
도 63는 본 발명의 한 실시예에 따른 등급 설정 정보 저장 방법을 보여주는 흐름도이고, 도 64는 본 발명의 실시예에 따른 등급 설정 정보 저장을 위한 사용자 인터페이스를 보여준다.
사용자에 의해 복수의 메뉴 중에서 등급 설정 메뉴가 선택되면(S2401), 부가 서비스 관리부(130)는 비밀번호(password)의 입력을 위한 화면을 디스플레이부(121)에 디스플레이한다(S2403).
정확한 패스워드가 입력되면(S2405), 부가 서비스 관리부(130)는 등급 설정 화면을 디스플레이부(121)에 디스플레이한다(S2407). 도 64에 도시된 바와 같이, 등급 설정 화면을 통해 복수의 등급 설정 아이템이 입력될 수 있다. 각 등급 설정 아이템은 등급 적용 시간 정보와 등급 값을 가질 수 있다. 등급 값은 "모든 연령 시청 가능", "7세 이상 시청 가능", "12세 이상 시청 가능", "19세 이상 시청 가능" 등으로 설정될 수 있다.
등급 설정 화면을 통해 등급 설정 정보가 입력되면(S2409), 부가 서비스 관리부(130)는 입력된 등급 설정 정보를 설정 정보 저장부(157)에 저장한다(S2411).
도 65는 본 발명의 한 실시예에 따른 등급 기반 메인 시청각 컨텐트 재생 방법을 보여주는 흐름도이다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S2501).
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S2503). 표 18은 획득한 컨텐츠 정보의 예를 보여준다.
Figure 112012022162268-pct00021
표 18에서 알 수 있듯이, 현재의 메인 시청각 컨텐트의 등급은 "12세 이상 시청 가능"에 해당함을 알 수 있다.
부가 서비스 관리부(130)는 획득한 컨텐츠 정보 내의 메인 시청각 컨텐트 등급 정보가 설정된 메인 시청각 등급 정보를 만족하는지를 판단한다(S2505).
획득한 컨텐츠 정보 내의 메인 시청각 컨텐트 등급 정보가 설정된 메인 시청각 등급 정보를 만족하지 않으면, 부가 서비스 관리부(130)는 모자이크, 사진, 광고, 패스워드 입력 화면과 같은 메인 시청각 컨텐트의 재생 방지를 위한 부가 서비스를 획득하고, 획득한 부가 서비스를 재생한다(S2507).
패스워드 입력 화면을 통해 정확한 패스워드가 입력되면(S2509), 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 방지를 위한 부가 서비스를 해제한다(S2511).
부가 서비스 관리부(130)는 설정된 메인 시청각 등급 정보를 만족하지 않은 이벤트의 발생 사실과 메인 시청각 컨텐트의 재생 방지를 위한 부가 서비스가 해제된 이벤트의 발생 사실을 기록한다(S2513).
이후, 미리 설정된 보고 시점 또는 사용자 요청 등에 의해 부가 서비스 관리부(130)는 기록한 정보를 미리 설정된 이메일 주소 등에 보고한다(S2515).
도 66는 본 발명의 또 다른 실시예에 따른 등급 기반 메인 시청각 컨텐트 재생 방법을 보여주는 흐름도이다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S2601).
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S2603). 표 19는 획득한 컨텐츠 정보의 예를 보여준다.
Figure 112012022162268-pct00022
표 19에서 알 수 있듯이, 컨텐츠 정보는 복수의 시간대(time slot)에 각각 대응하는 복수의 등급 정보 아이템을 가지는 등급 정보를 포함한다. 각 등급 정보 아이템은 시작 시간, 종료 시간, 등급 값을 가진다.
표 19에서 현재의 메인 시청각 컨텐트의 30초에서 100초 사이의 시간대(time slot)의 등급 값은 "12세 이상 시청 가능"에 해당하고, 현재의 메인 시청각 컨텐트의 15초에서 300초 사이의 시간대(time slot)의 등급은 "19세 이상 시청 가능"에 해당하고, 현재의 메인 시청각 컨텐트의 700초에서 1000초 사이의 시간대(time slot)의 등급 값은 "19세 이상 시청 가능"에 해당하고, 현재의 메인 시청각 컨텐트의 3000초에서 10000초 사이의 시간대(time slot)의 등급 값은 "12세 이상 시청 가능"에 해당한다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 시간을 등급 정보의 시간과 동기화한다(S2604).
부가 서비스 관리부(130)는 획득한 컨텐츠 정보 내의 메인 시청각 컨텐트 등급 정보에 기초하여 메인 시청각 컨텐트가 재생되는 시점의 등급 정보가 설정된 메인 시청각 등급 정보를 만족하는지를 판단한다(S2605).
메인 시청각 컨텐트가 재생되는 시점의 등급 정보가 설정된 메인 시청각 등급 정보를 만족하지 않으면, 부가 서비스 관리부(130)는 모자이크, 사진, 광고, 패스워드 입력 화면과 같은 메인 시청각 컨텐트의 재생 방지를 위한 부가 서비스를 획득하고, 획득한 부가 서비스를 재생한다(S2607).
패스워드 입력 화면을 통해 정확한 패스워드가 입력되면(S2609), 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 방지를 위한 부가 서비스를 해제한다(S2611).
부가 서비스 관리부(130)는 설정된 메인 시청각 등급 정보를 만족하지 않은 이벤트의 발생 사실과 메인 시청각 컨텐트의 재생 방지를 위한 부가 서비스가 해제된 이벤트의 발생 사실을 기록한다(S2613).
이후, 미리 설정된 보고 시점 또는 사용자 요청 등에 의해 부가 서비스 관리부(130)는 기록한 정보를 미리 설정된 이메일 주소 등에 보고한다(S2615).
도 67는 본 발명의 또 다른 실시예에 따른 등급 기반 메인 시청각 컨텐트 재생 방법을 보여주는 흐름도이다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S2701).
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S2703).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 시간을 부가 서비스인 삭제 구간 시청각 컨텐트의 시작 시간과 동기화한다(S2704).
이후, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보를 획득한다(S2705).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보와 부가 서비스 정보를 모두 포함하는 질의 결과를 수신할 수도 있다. 표 20은 이러한 질의 결과의 예를 보여준다.
표 20은 획득한 컨텐츠 정보의 예를 보여준다.
Figure 112012022162268-pct00023
표 20에서 알 수 있듯이, 컨텐츠 정보는 복수의 시간대에 각각 대응하는 복수의 등급 정보 아이템을 가지는 등급 정보를 포함한다. 각 등급 정보 아이템은 시작 시간, 종료 시간, 등급 값, 삭제 시청각 컨텐트 주소를 가진다.
표 20로부터, 현재의 메인 시청각 컨텐트의 30분에서 35분 사이의 시간대의 등급 값은 "19세 이상 시청 가능"에 해당하고, 해당 시간대가 삭제되었고, 삭제된 시간대의 시청각 컨텐트는 삭제 시청각 컨텐트 주소"www.movie.com/part/12345.avi" 에서 획득될 수 있음을 알 수 있다. 또한, 현재의 메인 시청각 컨텐트의 55분 30초에서 61분 40초 사이의 시간대의 등급 값은 "19세 이상 시청 가능"에 해당하고, 해당 시간대가 삭제되었고, 삭제된 시간대의 시청각 컨텐트는 삭제 시청각 컨텐트 주소"www.movie.com/part/12346.avi"에서 획득될 수 있음을 알 수 있다.
부가 서비스 관리부(130)는 삭제 구간의 시청각 컨텐트의 주소에 접속하여 삭제된 시간대의 시청각 컨텐트를 획득한다(S2707).
부가 서비스 관리부(130)는 삭제 시간대의 시청각 컨텐트의 등급 정보가 설정된 메인 시청각 등급 정보를 만족하는지를 판단한다(S2709).
삭제 시간대의 시청각 컨텐트의 등급 정보가 설정된 메인 시청각 등급 정보를 만족하고 메인 시청각 컨텐트의 동기화된 재생 시간이 삭제 구간의 시청각 컨텐트의 시작 시간과 일치하면, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생을 중단하고, 수신되는 메인 시청각 컨텐트를 저장하면서, 삭제 시간대의 시청각 컨텐트를 재생한다(S2711).
메인 시청각 컨텐트의 동기화된 재생 시간이 삭제 구간의 시청각 컨텐트의 종료 시간과 일치하면, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 중단 시점부터 저장된 메인 시청각 컨텐트를 재생하여 끊김없는 시청각 컨텐트를 제공한다(S2712).
부가 서비스 관리부(130)는 삭제 시간대의 시청각 컨텐트의 재생 사실을 기록한다(S2713).
이후, 미리 설정된 보고 시점 또는 사용자 요청 등에 의해 부가 서비스 관리부(130)는 기록한 정보를 미리 설정된 이메일 주소 등에 보고한다(S2715).
다음은 도 68 내지 도 76를 참고하여 본 발명의 실시예에 따른 이용 정보 보고 방법을 설명한다.
영상 표시 장치(100)는 이용 정보 보고를 위하여 이용 정보 측정 서버에 등록하는 단계와 이용 정보를 획득하는 단계와 이용 정보를 보고하고 이용하는 단계를 거칠 수 있다.
도 68은 본 발명의 한 실시예에 따라 이용 정보 측정 서버에 등록하는 방법을 도시한 흐름도이다.
도 68에 도시된 바와 같이, 영상 표시 장치(100)는 이용 정보 측정 서버(80)와 통신한다. 이용 정보 측정 서버(80)는 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60), 영상 표시 장치(100) 내의 한 모듈일 수도 있고, 별도의 홈 내외의 서버일 수도 있다.
먼저, 영상 표시 장치(100)는 사용자 정보를 수집한다(S2801). 영상 표시 장치는 계정 정보, 지역 정보, 가족 구성원 정보, 선호 장르 정보, 이용 정보 제공 범위를 사용자로부터 입력받아 수집하고 수집된 사용자 정보를 사용자 정보 저장부(156)에 저장할 수 있다. 영상 표시 장치(100)는 영상 표시 장치 정보를 사용자 정보 저장부(156)로부터 수집할 수 있다.
다음, 영상 표시 장치(100)는 수집한 사용자 정보를 포함하는 등록 요청 메시지를 생성한다(S2803). 등록 요청 메시지는 도 69에 도시된 바와 같은 XML 타입의 문서를 포함할 수 있다.
도 69은 본 발명의 실시예에 따른 사용자 정보의 XML 스키마를 보여준다.
도 69에 도시된 바와 같이, 본 발명의 실시예에 따른 사용자 정보를 담는 UserProfile 엘리먼트는 id, password, terminalID 속성을 가지고, Region, Demographic, Favorite, SNS, Terminal 엘리먼트를 가진다.
id, password 속성은 이용 정보 측정 서버(80)를 위한 계정 정보를 담는다. terminalID 속성은 영상 표시 장치(100)의 식별자를 담는다.
Region 엘리먼트는 Country, City, Address, Zip 엘리먼트를 가진다. Country 엘리먼트는 국가 정보, City 엘리먼트는 도시 정보, Address 엘리먼트는 주소 정보, Zip 엘리먼트는 우편 번호를 담는다. Region 엘리먼트 내의 정보는 지역에 따라 다른 광고, 상품 소개를 가능하게 한다.
Demographic 엘리먼트는 Age, Sex, Religion, Income, Family Type 엘리먼트를 가진다. Age 엘리먼트는 나이 정보를 담고, Sex 엘리먼트는 성별 정보를 담으며, Religion 엘리먼트는 종교 정보를 담는다. Income 엘리먼트는 가계 수입 정보를 담고, Family Type 엘리먼트는 가족 구성원의 타입 정보를 가진다. Demographic 엘리먼트 내의 정보는 가족 구성 형태에 따른 맞춤형 서비스를 가능하게 한다.
Favorite 엘리먼트는 MainCategory, SubCategory 엘리먼트를 가진다. MainCategory 엘리먼트는 메인 선호 장르를 담고, SubCategory 엘리먼트는 서브 선호 장르를 담는다.
SNS 엘리먼트는 Facebook, Twitter 엘리먼트를 가진다. Facebook 엘리먼트는 Facebook 계정 정보를 담고, Twitter 엘리먼트는 Twitter 계정 정보를 담는다.
Terminal 엘리먼트는 Type, Manufacturer, FirmwareVer, Resolution, Model, OS, Browser, Storage, Network 엘리먼트를 가진다. Type 엘리먼트는 영상 표시 장치 타입 정보를 담고, Manufacturer 엘리먼트는 영상 표시 장치 제조사 정보를 담으며, FirmwareVer 엘리먼트는 영상 표시 장치의 펌웨어 버전 정보를 담는다. Resolution 엘리먼트는 영상 표시 장치의 해상도 정보를 담고, Model 엘리먼트는 영상 표시 장치의 모델에 대한 정보를 담으며, OS 엘리먼트는 영상 표시 장치의 OS에 대한 정보를 담는다. Browser 엘리먼트는 영상 표시 장치의 브라우저에 대한 정보를 담고, Storage 엘리먼트는 영상 표시 장치의 저장 공간에 대한 정보를 담으며, Network 엘리먼트는 영상 표시 장치의 네트워크에 대한 정보를 담는다.
한편, 등록 요청 메시지는 이용 정보 제공 범위를 더 포함할 수 있다. 이용 정보 제공 범위는 가상 채널 각각에 대해 설정될 수 있다. 또한, 이용 정보 제공 범위는 물리 채널 전체에 대해 설정될 수도 있다.
영상 표시 장치(100)는 생성한 등록 요청 메시지를 이용 정보 측정 서버(80)에 전송하여 등록을 요청한다(S2805).
도 70은 본 발명의 한 실시예에 따른 이용 정보를 획득하고 보고하고 이용하는 방법을 도시한 흐름도이다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S2901).
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S2903). 구체적으로 부가 서비스 관리부(130)는 추출된 구간에 보이지 않는 워터마크(invisible watermark)로 부호화된 정보를 복호하여 컨텐츠 정보를 획득할 수 있다. 또한, 부가 서비스 관리부(130)는 추출된 구간의 특징 정보를 추출하고, 추출된 특징 정보에 기초하여 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 재생 시간을 부가 서비스 정보의 시작 시간과 동기화한다(S2904).
부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보를 획득한다(S2905).
부가 서비스 관리부(130)는 획득한 부가서비스 정보에 기초하여 부가 서비스를 획득한다(S2907).
부가 서비스 관리부(130)는 계속적으로 획득되는 컨텐츠 정보에 기초하여 이용 정보 제공 범위 내에서 메인 시청각 컨텐트 시청 정보를 수집하고(S2909), 수집한 메인 시청각 컨텐트 시청 정보를 이용 정보 저장부(157)에 저장한다. 메인 시청각 컨텐트 시청 정보는 메인 시청각 컨텐트 식별자, 메인 시청각 컨텐트 시청 시간 정보를 포함할 수 있다. 메인 시청각 컨텐트 시청 시간 정보는 메인 시청각 컨텐트의 시청 시작 시간과 시청 종료 시간을 포함할 수 있다.
부가 서비스 관리부(130)는 획득한 부가 서비스의 실행, 조작, 종료 등에 해당하는 사용자 입력에 기초하여 이용 정보 제공 범위 내에서 부가 서비스 이용 정보를 수집하고(S2911), 수집한 부가 서비스 이용 정보를 이용 정보 저장부(157)에 저장한다. 부가 서비스 이용 정보는 부가 서비스 식별자, 부가 서비스 이용 시간 정보를 포함할 수 있다. 부가 서비스 이용 시간 정보는 부가 서비스의 이용 시작 시간과 부가 서비스의 이용 종료 시간을 포함할 수 있다.
부가 서비스 관리부(130)는 이용 정보 측정 서버(80)의 주소와 보고 주기를 획득한다(S2913). 이용 정보 측정 서버의 주소와 보고 주기는 미리 설정된 것일 수 있다. 부가 서비스 관리부(130)는 컨텐츠 정보 또는 부가 서비스 정보로부터 이용 정보 측정 서버(80)의 주소와 보고 주기를 획득할 수 있다.
한편, 부가 서비스 관리부(130)는 추출한 메인 시청각 컨텐트 구간에 기초하여 컨텐츠 정보와 부가 서비스 정보를 획득하고, 이로부터 ATSC 2.0 메타데이터 서비스를 획득할 수 있다. 부가 서비스 관리부(130)는 ATSC 2.0 메타데이터 서비스의 서비스 시그널링 채널(service signaling channel)로부터 표 21 또는 표 22와 같은 이용량 보고 위치 테이블(usage reporting location table)을 추출하고, 이 테이블로부터 보고 주소와 보고 주기를 획득할 수도 있다. 이 이용량 보고 위치 테이블은 1분에 한번과 같이 낮은 시그널링 주기를 가질 수 있고, 이는 대역폭 사용량을 줄일 수 있다.
Figure 112012022162268-pct00024
표 21에서 보여지는 바와 같이, 이용량 보고 위치 테이블은 복수의 보고 주소와 복수의 보고 주기를 시그널링 할 수 있다. 복수의 보고 주기는 복수의 보고 주소에 각각 대응한다.
Figure 112012022162268-pct00025
표 22에서 보여지는 바와 같이, 이용량 보고 위치 테이블은 복수의 보고 주소와 하나의 공통 보고 주기를 시그널링 할 수 있다.
부가 서비스 관리부(130)는 하나 이상의 메인 시청각 컨텐트 시청 정보 아이템과 하나 이상의 부가 서비스 이용 정보 아이템을 포함하는 보고 정보를 생성한다(S2915).
메인 시청각 컨텐트 시청 정보 아이템과 부가 서비스 이용 정보 아이템의 예를 도 71과 도 72를 참고하여 설명한다.
도 71는 본 발명의 한 실시예에 따른 메인 시청각 컨텐트 시청 정보 아이템의 XML 스키마를 보여준다.
도 71에 도시된 바와 같이, 메인 시청각 컨텐트 시청 정보 아이템에 해당하는 AudienceMeasurement 엘리먼트는 id 속성, password 속성, terminalID 속성을 가지고, ContentInfo 엘리먼트, TimeInfo 엘리먼트를 가진다.
id 속성, password 속성에는 이용 정보 측정 서버(80)를 위한 계정 정보가 설정된다. terminalID 속성에는 영상 표시 장치(100)의 식별자가 설정된다.
ContentInfo 엘리먼트는 Id 엘리먼트, Name 엘리먼트, ChallelName 엘리먼트, Country 엘리먼트, Genre 엘리먼트, HD 엘리먼트를 가진다.
Id 엘리먼트는 메인 시청각 컨텐트 식별자를 담는다. 특히, 메인 시청각 컨텐트 식별자로서, Id 엘리먼트는 트랜스포트 스트림 식별자(Transport Stream ID), 소스 식별자(source_id) ATSC 컨텐트 식별자나 글로벌 서비스 식별자를 포함할 수 있다.
Name 엘리먼트는 메인 시청각 컨텐트 네임을 담으며, ChannelName 엘리먼트는 메인 시청각 컨텐트가 방송되는 채널의 이름을 담고, Country 엘리먼트는 메인 시청각 컨텐트가 방송되는 국가 정보를 담고, Genre 엘리먼트는 메인 시청각 컨텐트의 장르 정보를 담는다.
TimeInfo 엘리먼트는 TotalWatchingTime 엘리먼트, Slot 엘리먼트를 가진다.
TotalWatchingTime 엘리먼트는 메인 시청각 컨텐트 시청 시간 정보를 담는다.
부가 서비스 이용 정보 아이템의 예를 도 72를 참고하여 설명한다.
도 72는 본 발명의 한 실시예에 따른 부가 서비스 이용 정보 아이템의 XML 스키마를 보여준다.
도 72에 도시된 바와 같이 부가 서비스 이용 정보 아이템에 해당하는 UsageMonitor 엘리먼트는 id 속성, password 속성, terminalID 속성을 가지고, ServiceInfo 엘리먼트를 가진다.
ServiceInfo 엘리먼트 bound 속성, simplyDisplay 속성을 가지고, Id 엘리먼트, Name 엘리먼트, Category 엘리먼트, Purchase 엘리먼트, UserInteraction 엘리먼트를 가진다.
bound 속성은 bound 또는 unbound로 설정된다. Bound는 부가 서비스가 메인 시청각 컨텐트에 연계됨을 의미하고, unbound는 부가 서비스가 메인 시청각 컨텐트에 연계되지 않음을 의미한다.
simplyDisplay 속성은 단순 정보 표시 또는 사용자 상호 작용(user interaction) 필요 중 하나로 설정된다.
Id 엘리먼트는 부가 서비스 식별자를 담고, Name 엘리먼트는 부가 서비스 이름을 담고, Category는 부가 서비스 분류 항목을 담는다.
Purchase 엘리먼트는 ProductName 엘리먼트, MakerName 엘리먼트, AdditionalInfo 엘리먼트, Price 엘리먼트, ContentID 엘리먼트를 가진다. ProductName 엘리먼트는 부가 서비스 제품의 이름을 가지고, MakerName은 부가 서비스 제품의 제작자 이름을 담으며, AdditionalInfo는 부가 서비스에 관한 추가 정보를 담으며, Price는 부가 서비스 제품의 가격에 대한 정보를 담으며, ContentID 엘리먼트는 부가 서비스 제품의 컨텐트 식별자를 담는다.
UserInteraction 엘리먼트는 Time 엘리먼트, Level 엘리먼트를 가진다.
Time 엘리먼트는 From 엘리먼트, To 엘리먼트를 가진다. From 엘리먼트는 부가 서비스 이용 시작 시간을 담고, To 엘리먼트는 부가 서비스 이용 종료 시간을 담는다.
Level 엘리먼트는 no interaction, trigger 선택, 광고 내용 시청, 상품 구매, full interaction에 관한 정보를 담는다.
한편, 표 23에서 보여지는 바와 같이, 부가 서비스의 분류 항목에 따라 Id 엘리먼트와 Time 엘리먼트의 내용이 달라질 수 있다.
Figure 112012022162268-pct00026
표 23에서 보여지는 바와 같이, 부가 서비스가 웹 북마크 서비스에 해당하면, Id 엘리먼트는 TSID를 담고, Time 엘리먼트는 Web Bookmark를 설정한 시간과 Web Bookmark에 다시 접근하여 부가 서비스를 이용한 시간을 담을 수 있다.
부가 서비스가 NRT 서비스(non-real-time service)에 해당하면, Id 엘리먼트는 TSID, source_id, service_id, content_linkage를 담고, Time 엘리먼트는 Action, start_time, end_time을 담을 수 있다.
부가 서비스 관리부(130)는 계정 정보를 가지고 이용 정보 측정 서버(80)에 로그인한다(S2917). 이 과정을 생략될 수 있다.
부가 서비스 관리부(130)는 보고 주기에서 보고 주소에 해당하는 이용 정보 측정 서버(80)에 보고 정보를 전송한다(S2919). 이때, 부가 서비스 관리부(130)는 HTTP request를 통해 보고 정보를 전송하고, HTTP response를 수신하면 보고를 종료할 수 있다. 또한, 부가 서비스(130)는 영상 표시 장치(100)의 식별자와 같은 유일한 식별자를 포함하는 HTTP request를 이용 정보 측정 서버(80)에 전송하고, 이용 정보 측정 서버(80)로부터 보고 요청을 포함하는 응답을 수신하면 보고 정보를 전송할 수도 있다.
이용 정보 측정 서버(80)는 축적된 이용 정보를 컨텐츠 제공 서버(10)에 제공하여(S2921), 컨텐츠 제공 서버(10)가 이를 이용하게 할 수 있다. 특히, 컨텐츠 제공 서버(10)는 축적된 이용 정보를 커스터마이징 컨텐츠 제공, 타겟 광고 제공, 과금의 근거로 활용할 수 있다.
한편, 이용 정보 측정 서버(80)는 시청자 정보와 보고된 이용 정보를 바탕으로 사용자의 통계적, 행동학적 특성을 파악할 수 있다(S2923).
부가 서비스 관리부(130)는 파악된 사용자 특성에 기초하여 다양한 부가 서비스를 획득할 수 있다(S2925). 도 73 내지 도 76을 참고하여 사용자 특성 기반의 부가 서비스를 설명한다. 이용 정보 측정 서버(80)가 영상 표시 장치(100) 내의 한 모듈이면, 부가 서비스 관리부(130)는 부가 서비스 저장부(152)로부터 획득할 수 있다. 이용 정보 측정 서버(80)가 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60) 내의 한 모듈이면, 해당 기기로부터 부가 서비스를 획득할 수 있다.
도 73 내지 도 76은 본 발명의 실시예에 따른 사용자 특성 기반의 부가 서비스의 개념도이다.
도 73에 도시된 바와 같이, 사용자 특성은 사용자가 특정 시청각 컨텐츠를 즐겨본다는 것일 수 있다. 이 경우, 부가 서비스 관리부(130)는 특정 시청각 컨텐츠가 방송되는 채널로의 변경을 추천하는 부가 서비스를 획득할 수 있다. 부가 서비스 관리부(130)는 획득한 부가 서비스를 디스플레이하고, 채널 변경 확인에 대한 사용자 입력을 수신하면 해당 채널의 시청각 컨텐츠를 수신하고 재생할 수 있다.
도 74에 도시된 바와 같이, 사용자 특성은 사용자가 특정 장르를 즐겨본다는 것일 수 있다. 이 경우, 부가 서비스 관리부(130)는 사용자가 즐겨보는 장르에 해당하는 현재 시청각 컨텐츠 또는 부가 서비스를 추천하는 부가 서비스를 획득할 수 있다. 부가 서비스 관리부(130)는 획득한 부가 서비스를 디스플레이하고, 시청 확인에 대한 사용자 입력을 수신하면 해당 시청각 컨텐츠 또는 부가 서비스를 수신하고 재생할 수 있다.
도 75에 도시된 바와 같이, 사용자 특성은 사용자가 특정 시간에 TV를 즐겨 시청한다는 것일 수 있다. 이 경우, 부가 서비스 관리부(130)는 사용자가 TV를 즐겨 시청하는 시간을 위한 타겟 광고를 수신하고, 수신한 타겟 광고를 재생할 수 있다.
도 76에 도시된 바와 같이, 유사한 사용자 특성을 가진 사용자들은 그룹핑될 수 있다. 영상 표시 장치(100)의 사용자가 어떤 그룹에 속하는지에 대한 판단을 통하여, 해당 그룹의 사용자들이 가장 선호하는 컨텐트나 부가 서비스가 추천될 수 있다. 부가 서비스 관리부(130)는 유사한 사용자 특성을 가진 사용자가 선택하거나 현재 시청 중인 시청각 컨텐트를 추천하는 부가 서비스를 획득할 수 있다. 또한, 부가 서비스 관리부(130)는 소셜 네트워크 상의 유사 사용자가 선택하거나 현재 시청 중인 시청각 컨텐트를 추천하는 부가 서비스를 획득할 수도 있다.
다음은 도 77과 도 78을 참조하여 본 발명의 다양한 실시예에 따른 영상 표시 장치의 구조를 설명한다.
도 77은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 77에서, Tuner(501)는 air 채널을 통해 전송되는 8-VSB RF 신호로부터 Symbol을 추출한다.
8-VSB Demodulator(503)는 Tuner(501)가 추출한 8-VSB Symbol을 복조하여 의미 있는 디지털 데이터를 복원한다.
VSB Decoder(505)는 8-VSB Demodulator(503)가 복원한 디지털 데이터를 복호하여 ATSC 메인 서비스와 ATSC M/H 서비스를 복원한다.
MPEG-2 TP Demux(507)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet 또는 PVR Storage에 저장된 MPEG-2 Transport Packet 중에서 영상 표시 장치(100)가 처리하고자 하는 Transport Packet을 필터링하여 적절한 처리 모듈로 중계한다.
PES 디코더(539)는 MPEG-2 Transport Stream을 통하여 전송된 Packetized Elementary Stream을 Buffering하고 복원한다.
PSI/PSIP 디코더(541)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Section Data를 Buffering하고 분석한다. 분석된 PSI/PSIP 데이터는 Service Manager(미도시)에 의하여 수집되어, Service Map 및 Guide data 형태로 DB에 저장된다.
DSMCC Section Buffer/Handler (511)은 MPEG-2 TP를 통하여 전송되는 파일 전송 및 IP Datagram encapsulation 등을 위한 DSMCC Section Data를 버퍼링(Buffering)하고 처리한다.
IP/UDP Datagram Buffer/Header Parser(513)는 DSMCC Addressable section을 통해 encapsulate되어 MPEG-2 TP를 통하여 전송되는 IP Datagram을 버퍼링하고 복원하여 각 Datagram의 Header를 분석한다. 또한, IP/UDP Datagram Buffer/Header Parser(513)는 IP Datagram을 통하여 전송되는 UDP Datagram을 Buffering 및 복원하고, 복원된 UDP Header를 분석 및 처리한다.
Stream component handler(557)는 ES Buffer/Handler, PCR Handler, STC 모듈, Descrambler, CA Stream Buffer/Handler, Service Signaling Section Buffer/Handler를 포함할 수 있다.
ES Buffer/Handler는 PES 형태로 전송된 Video, Audio 데이터 등의 Elementary Stream을 Buffering 및 복원하여 적절한 A/V Decoder로 전달한다.
PCR Handler는 Audio 및 Video Stream의 Time synchronization 등을 위하여 사용되는 PCR (Program Clock Reference) Data를 처리한다.
STC 모듈은 PCR Handler를 통하여 전달받은 Reference Clock 값을 이용하여, A/V Decoder 들의 Clock 값을 보정하여 Time Synchronization를 수행한다.
수신된 IP Datagram의 Payload에 Scrambling이 적용된 경우, Descrambler는 CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
CA Stream Buffer/Handler는 MPEG-2 TS또는 IP Stream을 통하여 전송되는 Conditional Access 기능을 위하여 전송되는 EMM, ECM 등의 Descrambling을 위한 Key 값 등의 Data를 Buffering 및 처리한다. CA Stream Buffer/Handler의 Output은 Descrambler로 전달되어, descrambler는 A/V Data 및 File Data등을 전송하는 MPEG-2 TP 또는 IP Datagram의 암호화 해제작업을 수행한다.
Service Signaling Section Buffer/Handler는 IP Datagram의 형태로 전송되는 NRT Service Signaling Channel Section Data를 Buffering 하고 복원하며 분석한다. Service Manager(미도시)는 분석된 NRT Service Signaling Channel Section 데이터를 수집하여, Service Map 및 Guide data 형태로 DB에 저장한다.
A/V Decoder(561)는 ES Handler를 통하여 전달받은 Audio/Video 데이터의 압축을 복호화하여, 사용자에게 Presentation한다.
MPEG-2 Service Demux(미도시)는 MPEG-2 TP Buffer/Parser, Descrambler, PVR Storage 모듈을 포함할 수 있다.
MPEG-2 TP Buffer/Parser (미도시)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet을 Buffering 및 복원하고, Transport Packet Header를 검출 및 처리한다.
Descrambler는 MPEG-2 TP 중, Scramble이 적용된 Packet payload에 대하여, CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
PVR Storage 모듈은 사용자의 요구 등에 따라 8-VSB 신호를 이용하여 수신된 MPEG-2 TP를 저장하고, 또한 사용자의 요구에 의해 MPEG-2 TP를 출력한다. PVR Storage 모듈은 PVR Manager(미도시)에 의해 제어될 수 있다.
File Handler(551)는 ALC/LCT Buffer/Parser, FDT Handler, XML Parser, File Reconstruction Buffer, Decompressor, File Decoder, File Storage를 포함할 수 있다.
ALC/LCT Buffer/Parser는 UDP/IP Stream으로 전송되는 ALC/LCT 데이터를 Buffering 및 복원하고, ALC/LCT의 Header 및 Header extension을 분석한다. ALC/LCT Buffer/Parser는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
FDT Handler는 ALC/LCT session을 통하여 전송되는 FLUTE protocol의 File Description Table을 분석 및 처리한다. FDT Handler는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
XML Parser는 ALC/LCT session을 통하여 전송되는 XML Document를 분석하여, FDT Handler, SG Handler 등 적절한 모듈로 분석된 데이터를 전달한다.
File Reconstruction Buffer는 ALC/LCT, FLUTE session으로 전송되는 파일을 복원한다.
Decompressor는 ALC/LCT, FLUTE session으로 전송되는 파일이 압축되어 있는 경우, 그 압축을 해제하는 프로세스를 수행한다.
File Decoder는 File Reconstruction Buffer에서 복원된 File 또는 Decompressor에서 압축해제된 파일, 또는 File Storage에서 추출된 File을 Decoding한다.
File Storage는 복원된 파일을 필요에 의하여 저장하거나 추출한다.
M/W Engine(미도시)은 DSMCC Section, IP Datagram 등을 통하여 전송되는 A/V Stream이 아닌 파일 등의 Data를 처리한다. , M/W Engine은 처리된 데이터를 Presentation Manager 모듈로 전달한다.
SG Handler(미도시)는 XML Document 형태로 전송되는 Service Guide 데이터를 수집하고 분석하여 EPG Manager에게 전달하는 프로세스를 수행한다.
Service Manager(미도시)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Data, IP Stream으로 전송되는 Service Signaling Section Data를 수집하고 분석하여 Service Map을 제작한다. Service Manager(미도시)는 제작한 service map을 Service Map & Guide Database에 저장하며, 사용자가 원하는 Service에 대한 access를 제어한다. Operation Controller(미도시)에 의하여 제어되며, Tuner(501), MPEG-2 TP Demux(507), IP Datagram Buffer/Handler (513) 등에 대한 제어를 수행한다.
NRT Service Manager(미도시)는 IP layer 상에서 FLUTE session을 통하여 object/file 형태로 전송되는 NRT 서비스에 대한 전반적인 관리를 수행한다. NRT Service Manager(미도시)는 FDT Handler, File Storage등을 제어할 수 있다.
Application Manager(미도시)는 Object, file 등의 형태로 전송되는 Application 데이터의 처리에 관한 전반적인 관리를 수행한다.
UI Manager(미도시)는 User Interface를 통하여 사용자의 Input을 Operation Controller에 전달하고, 사용자가 요구하는 서비스를 위한 Process의 동작을 시작한다.
Operation Controller(미도시)는 UI Manager를 통하여 전달받은 사용자의 Command를 처리하고, 필요한 모듈의 Manager가 해당 Action을 수행하게 한다.
Fingerprint Extractor(565)는 Audio/Video 스트림으로 부터 fingerprint 특징 정보를 추출한다.
Fingerprint Comparator(567)는 Fingerprint Extractor가 추출한 특징 정보와 Reference fingerprint를 비교하여 일치하는 컨텐트를 찾는다. Fingerprint Comparator(567)는 Local에 저장된 Reference fingerprint DB를 이용할 수도 있고, 인터넷 상의 Fingerprint 질의 서버에 질의하여 결과를 수신할 수도 있다. 비교 결과로 매칭된 결과 데이터는 Application에 전달되어 이용될 수 있다.
Application(569)은 ACR 기능을 관장하는 모듈 혹은 ACR에 기반하여 Enhanced 서비스를 제공하는 어플리케이션 모듈로서, 시청중인 방송 컨텐트를 식별하여 이와 연계된 확장된 서비스를 제공한다.
도 78은 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 78에 도시된 워트마크 기반의 영상 표시 장치는 도 77에 도시된 핑거프린트 기반의 영상 표시 장치와 유사하나, 핑거프린트 기반의 영상 표시 장치의 Fingerprint Extractor(565)와 Fingerprint Comparator(567)를 포함하지 않으며, 대신 Watermark Extractor(566)를 더 포함한다.
Watermark Extractor(566)는 Audio/Video 스트림으로부터 watermark형태로 삽입된 데이터를 추출한다. 이렇게 추출된 데이터는 Application에 전달되어 이용될 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 영상 표시 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (50)

  1. 디스플레이부를 포함하는 영상 표시 장치의 제어 방법에 있어서,
    비압축 시청각 컨텐츠를 획득하는 단계;
    상기 디스플레이부를 통해 상기 비압축 시청각 컨텐츠를 재생하는 단계;
    상기 비압축 시청각 컨텐츠의 일부에 기초하여 상기 비압축 시청각 컨텐츠의 컨텐츠 정보를 획득하는 단계;
    상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 단계;
    상기 디스플레이부를 통해 상기 부가 서비스를 재생하는 단계; 및
    컨텐츠 정보 획득 기능 설정 창을 상기 디스플레이부에 표시하는 단계를 포함하고,
    상기 컨텐츠 정보 획득 기능 설정 창은 복수의 컨텐츠 정보 획득 모드 중 하나의 선택을 지원하고,
    상기 복수의 컨텐츠 정보 획득 모드는,
    제1 애플리케이션이 사용자의 조작에 무관하게 자동으로 상기 부가 서비스를 재생하는 제1 모드,
    컨텐츠 제공자에 의해 관리되는 제2 애플리케이션이 상기 부가 서비스를 재생하는 제2 모드, 및
    영상 표시 장치 제조사에 의해 관리되는 제3 애플리케이션이 상기 부가 서비스를 재생하는 제3 모드 중 하나 이상을 포함하는
    영상 표시 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 컨텐츠 정보는 상기 비압축 시청각 컨텐츠의 식별자와 상기 일부에 해당하는 시간 정보를 포함하고,
    상기 제어 방법은,
    상기 일부의 재생 시간과 상기 컨텐츠 정보의 획득 시간의 차이 시간 및 상기 일부에 해당하는 시간 정보에 기초하여 상기 컨텐츠 정보의 획득 시간부터 상기 비압축 시청각 컨텐츠의 재생 시간과 상기 부가 서비스의 시작 시간을 동기화하는 단계를 더 포함하고,
    상기 부가 서비스를 재생하는 단계는,
    상기 시청각 컨텐츠의 동기화된 재생 시간이 상기 부가 서비스의 시작 시간에 해당하는 경우에 상기 부가 서비스를 시작하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  3. 제1항에 있어서,
    상기 컨텐츠 정보를 획득하는 단계는
    상기 일부에 임베딩된 워터마크 정보로부터 상기 컨텐츠 정보를 획득하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  4. 제1항에 있어서,
    상기 컨텐츠 정보를 획득하는 단계는
    상기 일부의 특징 정보를 추출하는 단계와,
    상기 특징 정보를 포함하는 질의에 대한 응답을 통해 상기 컨텐츠 정보를 획득하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 컨텐츠 정보를 획득하는 단계는
    상기 일부로부터 로고를 추출하는 단계와,
    추출한 로고에 해당하는 접속 주소에 접속하여 컨텐츠 정보 제공 주소를 획득하는 단계와,
    상기 일부의 특징 정보를 추출하는 단계와,
    상기 특징 정보를 포함하는 질의를 상기 컨텐츠 정보 제공 주소로 보내어 상기 컨텐츠 정보를 획득하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  6. 제1항에 있어서,
    상기 비압축 시청각 컨텐츠는 제1 광고를 포함하고,
    상기 부가 서비스는 제2 광고를 포함하고,
    상기 부가 서비스를 재생하는 단계는
    상기 제1 광고 대신에 상기 제2 광고를 재생하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  7. 제1항에 있어서,
    복수의 표시 방법 중 적어도 하나의 선택을 위한 제1 화면을 디스플레이하는 단계를 더 포함하고,
    상기 부가 서비스를 재생하는 단계는
    상기 제1 화면을 기초로 상기 복수의 표시 방법 중에서 선택된 표시 방법에 따라 상기 부가 서비스를 재생하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  8. 제7항에 있어서,
    상기 복수의 표시 방법은
    상기 부가 서비스를 사용자의 조작에 무관하게 상기 부가 서비스를 재생하는 제1 모드와,
    사용자의 조작에 대응하여 상기 부가 서비스를 재생하는 제2 모드와,
    상기 부가 서비스를 무시하는 제3 모드와,
    사용자의 조작에 무관하게 상기 부가 서비스의 북마크를 저장하는 제4 모드 중 적어도 하나를 포함하는
    영상 표시 장치의 제어 방법.
  9. 제7항에 있어서,
    복수의 서비스 분류 항목 중 적어도 하나의 선택을 위한 제2 화면을 디스플레이하는 단계를 더 포함하고,
    상기 선택된 표시 방법에 따라 상기 부가 서비스를 재생하는 단계는
    상기 제2 화면을 기초로 상기 복수의 서비스 분류 항목 중에서 선택된 서비스 분류 항목에 해당하는 부가 서비스를 상기 선택된 표시 방법에 따라 재생하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  10. 제1항에 있어서,
    상기 컨텐츠 정보는 상기 비압축 시청각 컨텐츠의 등급 정보를 포함하고,
    상기 부가 서비스를 재생하는 단계는
    설정된 등급 정보와 상기 비압축 시청각 컨텐츠의 등급 정보의 비교를 통해 상기 비압축 시청각 컨텐츠에 상기 부가 서비스를 적용하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 비압축 시청각 컨텐츠에 상기 부가 서비스를 적용하는 단계는,
    상기 비압축 시청각 컨텐츠의 등급 정보가 상기 설정된 등급 정보를 만족하지 않으면, 상기 부가 서비스를 재생하여 상기 비압축 시청각 컨텐츠의 재생을 방해하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  12. 제10항에 있어서,
    상기 비압축 시청각 컨텐츠의 등급 정보는 복수의 시간대에 각각 대응하는 복수의 등급 정보 아이템을 가지고,
    상기 비압축 시청각 컨텐츠에 상기 부가 서비스를 적용하는 단계는,
    상기 복수의 시간대의 각각에서, 대응하는 등급 정보 아이템의 등급 값이 상기 설정된 등급 정보를 만족하지 않으면, 상기 부가 서비스를 재생하여 상기 비압축 시청각 컨텐츠의 재생을 방해하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  13. 제10항에 있어서,
    상기 비압축 시청각 컨텐츠의 등급 정보는 한 시간대의 등급 값과 시청각 컨텐츠 주소를 가지고,
    상기 비압축 시청각 컨텐츠에 상기 부가 서비스를 적용하는 단계는,
    상기 시간대에서 상기 시간대의 등급 값이 상기 설정된 등급 정보를 만족하면, 상기 시청각 컨텐츠의 재생을 중단하고 상기 시청각 컨텐츠 주소로부터 획득되는 또 다른 시청각 컨텐츠를 재생하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  14. 제10항에 있어서,
    상기 설정된 등급 정보는 복수의 등급 설정 아이템을 포함하고,
    각 등급 설정 아이템은 등급 적용 시간 정보와 등급 값을 포함하는
    영상 표시 장치의 제어 방법.
  15. 제1항에 있어서,
    상기 컨텐츠 정보에 기초하여 상기 비압축 시청각 컨텐츠의 시청 정보를 수집하는 단계를 더 포함하고,
    상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 단계는
    상기 시청 정보로부터 획득되는 사용자 특성에 더 기초하여 상기 부가 서비스를 획득하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  16. 제15항에 있어서,
    상기 부가 서비스의 이용 정보를 수집하는 단계를 더 포함하고,
    상기 사용자 특성은 상기 시청 정보와 상기 이용 정보로부터 획득되는 것인
    영상 표시 장치의 제어 방법.
  17. 제15항에 있어서,
    상기 부가 서비스는
    사용자가 즐겨보는 또 다른 시청각 컨텐츠를 추천하는 서비스, 또는
    사용자가 즐겨보는 장르에 해당하는 또 다른 시청각 컨텐츠를 추천하는 서비스, 또는
    타겟 광고, 또는
    상기 사용자 특성과 유사한 특성을 가진 사용자가 선택한 또 다른 시청각 컨텐츠를 추천하는 서비스 중 적어도 하나에 해당하는
    영상 표시 장치의 제어 방법.
  18. 제1항에 있어서,
    상기 영상 표시 장치는 메모리를 더 포함하고,
    상기 컨텐츠 정보 획득 기능 설정 창을 통해 컨텐츠 정보 획득 설정 정보를 수신하는 단계; 및
    상기 컨텐츠 정보 획득 설정 정보를 상기 메모리에 저장하는 단계를 더 포함하고,
    상기 컨텐츠 정보를 획득하는 단계는
    상기 컨텐츠 정보 획득 설정 정보가 활성화에 해당하는 경우에, 상기 컨텐츠 정보를 획득하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  19. 제18항에 있어서,
    상기 제어 방법은
    상기 컨텐츠 정보 획득 기능 설정 창을 통해 상기 복수의 컨텐츠 정보 획득 모드 중 한 컨텐츠 정보 획득 모드를 수신하는 단계; 및
    수신한 컨텐츠 정보 획득 모드를 상기 메모리에 저장하는 단계를 더 포함하고,
    상기 디스플레이부를 통해 상기 부가 서비스를 재생하는 단계는
    상기 메모리 내의 컨텐츠 정보 획득 모드에 해당하는 애플리케이션에 의해, 상기 디스플레이부를 통해 상기 부가 서비스를 재생하는 단계를 포함하는
    영상 표시 장치의 제어 방법.
  20. 삭제
  21. 제19항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 컨텐츠 정보는 상기 비압축 시청각 컨텐츠의 식별자와 상기 일부에 해당하는 시간 정보를 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 상기 시간 정보와 관련된 서비스를 획득하고, 특정 메뉴가 선택되면 획득한 서비스를 상기 디스플레이부에 표시하는
    영상 표시 장치의 제어 방법.
  22. 제19항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 하나 이상의 검색 아이템을 획득하고, 특정 메뉴가 선택되면 상기 하나 이상의 검색 아이템을 상기 디스플레이부에 표시하고, 상기 하나 이상의 검색 아이템 중에서 한 아이템이 선택되면 선택된 아이템에 대한 정보를 상기 디스플레이부에 표시하는
    영상 표시 장치의 제어 방법.
  23. 제19항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 상기 시청각 컨텐츠를 시청하는 친구 목록을 획득하고, 획득한 친구 목록을 상기 디스플레이부에 표시하고, 친구 목록 중에서 한 친구가 선택되면 선택된 친구와의 대화 창을 상기 디스플레이부에 표시하는
    영상 표시 장치의 제어 방법.
  24. 제19항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 디지털 미디어 목록을 획득하고, 특정 메뉴가 선택되면 상기 디지털 미디어 목록을 상기 디스플레이부에 표시하고, 상기 디지털 미디어 목록 내의 한 아이템이 선택되면 선택된 아이템에 해당하는 디지털 미디어를 다운로드하는
    영상 표시 장치의 제어 방법.
  25. 제19항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 카탈로그 목록을 획득하고, 특정 메뉴가 선택되면 상기 카탈로그 목록을 상기 디스플레이부에 표시하고, 상기 카탈로그 목록 내의 한 아이템이 선택되면 선택된 아이템의 구매 페이지를 상기 디스플레이부에 표시하는
    영상 표시 장치의 제어 방법.
  26. 영상 표시 장치에 있어서,
    디스플레이부;
    비압축 시청각 컨텐츠를 획득하는 수신부;
    상기 비압축 시청각 컨텐츠의 일부에 기초하여 상기 비압축 시청각 컨텐츠의 컨텐츠 정보를 획득하고, 상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 부가 서비스 관리부; 및
    상기 비압축 시청각 컨텐츠와 상기 부가 서비스 및 컨텐츠 정보 획득 기능 설정 창을 상기 디스플레이부에 재생하는 재생 제어부를 포함하고,
    상기 컨텐츠 정보 획득 기능 설정 창은 복수의 컨텐츠 정보 획득 모드 중 하나의 선택을 지원하고,
    상기 복수의 컨텐츠 정보 획득 모드는,
    제1 애플리케이션이 사용자의 조작에 무관하게 자동으로 상기 부가 서비스를 재생하는 제1 모드,
    컨텐츠 제공자에 의해 관리되는 제2 애플리케이션이 상기 부가 서비스를 재생하는 제2 모드, 및
    영상 표시 장치 제조사에 의해 관리되는 제3 애플리케이션이 상기 부가 서비스를 재생하는 제3 모드 중 하나 이상을 포함하는
    영상 표시 장치.
  27. 제26항에 있어서,
    상기 컨텐츠 정보는 상기 비압축 시청각 컨텐츠의 식별자와 상기 일부에 해당하는 시간 정보를 포함하고,
    상기 부가 서비스 관리부는 상기 일부의 재생 시간과 상기 컨텐츠 정보의 획득 시간의 차이 시간 및 상기 일부에 해당하는 시간 정보에 기초하여 상기 컨텐츠 정보의 획득 시간부터 상기 비압축 시청각 컨텐츠의 재생 시간과 상기 부가 서비스의 시작 시간을 동기화하고, 상기 시청각 컨텐츠의 동기화된 재생 시간이 상기 부가 서비스의 시작 시간에 해당하는 경우에 상기 부가 서비스를 시작하는
    영상 표시 장치.
  28. 제26항에 있어서,
    상기 부가 서비스 관리부는 상기 일부에 임베딩된 워터마크 정보로부터 상기 컨텐츠 정보를 획득하는
    영상 표시 장치.
  29. 제26항에 있어서,
    상기 부가 서비스 관리부는 상기 일부의 특징 정보를 추출하고, 상기 특징 정보를 포함하는 질의에 대한 응답을 통해 상기 컨텐츠 정보를 획득하는
    영상 표시 장치.
  30. 제26항에 있어서,
    상기 부가 서비스 관리부는 상기 일부로부터 로고를 추출하고, 추출한 로고에 해당하는 접속 주소에 접속하여 컨텐츠 정보 제공 주소를 획득하고, 상기 일부의 특징 정보를 추출하고, 상기 특징 정보를 포함하는 질의를 상기 컨텐츠 정보 제공 주소로 보내어 상기 컨텐츠 정보를 획득하는
    영상 표시 장치.
  31. 제26항에 있어서,
    상기 비압축 시청각 컨텐츠는 제1 광고를 포함하고,
    상기 부가 서비스는 제2 광고를 포함하고,
    상기 부가 서비스 관리부는 상기 제1 광고 대신에 상기 제2 광고를 재생하는
    영상 표시 장치.
  32. 제26항에 있어서,
    복수의 표시 방법 중 적어도 하나의 선택을 위한 제1 화면을 디스플레이하는 단계를 더 포함하고,
    상기 부가 서비스 관리부는 상기 제1 화면을 기초로 상기 복수의 표시 방법 중에서 선택된 표시 방법에 따라 상기 부가 서비스를 재생하는
    영상 표시 장치.
  33. 제32항에 있어서,
    상기 복수의 표시 방법은
    상기 부가 서비스를 사용자의 조작에 무관하게 상기 부가 서비스를 재생하는 제1 모드와,
    사용자의 조작에 대응하여 상기 부가 서비스를 재생하는 제2 모드와,
    상기 부가 서비스를 무시하는 제3 모드와,
    사용자의 조작에 무관하게 상기 부가 서비스의 북마크를 저장하는 제4 모드 중 적어도 하나를 포함하는
    영상 표시 장치.
  34. 제32항에 있어서,
    상기 부가 서비스 관리부는 복수의 서비스 분류 항목 중 적어도 하나의 선택을 위한 제2 화면을 디스플레이하고, 상기 제2 화면을 기초로 상기 복수의 서비스 분류 항목 중에서 선택된 서비스 분류 항목에 해당하는 부가 서비스를 상기 선택된 표시 방법에 따라 재생하는
    영상 표시 장치.
  35. 제26항에 있어서,
    상기 컨텐츠 정보는 상기 비압축 시청각 컨텐츠의 등급 정보를 포함하고,
    상기 부가 서비스 관리부는 설정된 등급 정보와 상기 비압축 시청각 컨텐츠의 등급 정보의 비교를 통해 상기 비압축 시청각 컨텐츠에 상기 부가 서비스를 적용하는
    영상 표시 장치.
  36. 제35항에 있어서,
    상기 비압축 시청각 컨텐츠의 등급 정보가 상기 설정된 등급 정보를 만족하지 않으면, 상기 부가 서비스 관리부는 상기 부가 서비스를 재생하여 상기 비압축 시청각 컨텐츠의 재생을 방해하는 단계를 포함하는
    영상 표시 장치.
  37. 제35항에 있어서,
    상기 비압축 시청각 컨텐츠의 등급 정보는 복수의 시간대에 각각 대응하는 복수의 등급 정보 아이템을 가지고,
    상기 부가 서비스 관리부는 상기 복수의 시간대의 각각에서, 대응하는 등급 정보 아이템의 등급 값이 상기 설정된 등급 정보를 만족하지 않으면, 상기 부가 서비스를 재생하여 상기 비압축 시청각 컨텐츠의 재생을 방해하는
    영상 표시 장치.
  38. 제35항에 있어서,
    상기 비압축 시청각 컨텐츠의 등급 정보는 한 시간대의 등급 값과 시청각 컨텐츠 주소를 가지고,
    상기 시간대에서 상기 시간대의 등급 값이 상기 설정된 등급 정보를 만족하면, 상기 부가 서비스 관리부는 상기 시청각 컨텐츠의 재생을 중단하고 상기 시청각 컨텐츠 주소로부터 획득되는 또 다른 시청각 컨텐츠를 재생하는
    영상 표시 장치.
  39. 제35항에 있어서,
    상기 설정된 등급 정보는 복수의 등급 설정 아이템을 포함하고,
    각 등급 설정 아이템은 등급 적용 시간 정보와 등급 값을 포함하는
    영상 표시 장치.
  40. 제26항에 있어서,
    상기 부가 서비스 관리부는 상기 컨텐츠 정보에 기초하여 상기 비압축 시청각 컨텐츠의 시청 정보를 수집하고, 상기 시청 정보로부터 획득되는 사용자 특성에 더 기초하여 상기 부가 서비스를 획득하는 단계를 포함하는
    영상 표시 장치.
  41. 제40항에 있어서,
    상기 부가 서비스 관리부는 상기 부가 서비스의 이용 정보를 수집하고,
    상기 사용자 특성은 상기 시청 정보와 상기 이용 정보로부터 획득되는 것인
    영상 표시 장치.
  42. 제40항에 있어서,
    상기 부가 서비스는
    사용자가 즐겨보는 또 다른 시청각 컨텐츠를 추천하는 서비스, 또는
    사용자가 즐겨보는 장르에 해당하는 또 다른 시청각 컨텐츠를 추천하는 서비스, 또는
    타겟 광고, 또는
    상기 사용자 특성과 유사한 특성을 가진 사용자가 선택한 또 다른 시청각 컨텐츠를 추천하는 서비스 중 적어도 하나에 해당하는
    영상 표시 장치.
  43. 제26항에 있어서,
    메모리를 더 포함하고,
    상기 재생 제어부는 상기 컨텐츠 정보 획득 기능 설정 창을 통해 컨텐츠 정보 획득 설정 정보를 수신하고, 상기 컨텐츠 정보 획득 설정 정보를 상기 메모리에 저장하고,
    상기 컨텐츠 정보 획득 설정 정보가 활성화에 해당하는 경우에, 상기 부가 서비스 관리부는 상기 컨텐츠 정보를 획득하는
    영상 표시 장치.
  44. 제43항에 있어서,
    상기 재생 제어부는 상기 컨텐츠 정보 획득 기능 설정 창을 통해 상기 복수의 컨텐츠 정보 획득 모드 중 한 컨텐츠 정보 획득 모드를 수신하고, 수신한 컨텐츠 정보 획득 모드를 상기 메모리에 저장하고,
    상기 메모리 내의 컨텐츠 정보 획득 모드에 해당하는 애플리케이션은 상기 디스플레이부를 통해 상기 부가 서비스를 재생하는 단계를 포함하는
    영상 표시 장치.
  45. 삭제
  46. 제44항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 부가 서비스 관리부는 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 컨텐츠 정보는 상기 비압축 시청각 컨텐츠의 식별자와 상기 일부에 해당하는 시간 정보를 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 상기 시간 정보와 관련된 서비스를 획득하고, 특정 메뉴가 선택되면 획득한 서비스를 상기 디스플레이부에 표시하는
    영상 표시 장치.
  47. 제44항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 부가 서비스 관리부는 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 하나 이상의 검색 아이템을 획득하고, 특정 메뉴가 선택되면 상기 하나 이상의 검색 아이템을 상기 디스플레이부에 표시하고, 상기 하나 이상의 검색 아이템 중에서 한 아이템이 선택되면 선택된 아이템에 대한 정보를 상기 디스플레이부에 표시하는
    영상 표시 장치.
  48. 제44항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 부가 서비스 관리부는 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 상기 시청각 컨텐츠를 시청하는 친구 목록을 획득하고, 획득한 친구 목록을 상기 디스플레이부에 표시하고, 친구 목록 중에서 한 친구가 선택되면 선택된 친구와의 대화 창을 상기 디스플레이부에 표시하는
    영상 표시 장치.
  49. 제44항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 부가 서비스 관리부는 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 디지털 미디어 목록을 획득하고, 특정 메뉴가 선택되면 상기 디지털 미디어 목록을 상기 디스플레이부에 표시하고, 상기 디지털 미디어 목록 내의 한 아이템이 선택되면 선택된 아이템에 해당하는 디지털 미디어를 다운로드하는
    영상 표시 장치.
  50. 제44항에 있어서,
    상기 메모리 내의 컨텐츠 정보 획득 모드가 상기 제2 모드인 경우, 상기 부가 서비스 관리부는 상기 제2 애플리케이션을 실행하는 단계를 더 포함하고,
    상기 제2 애플리케이션은 상기 컨텐츠 정보에 기초하여 카탈로그 목록을 획득하고, 특정 메뉴가 선택되면 상기 카탈로그 목록을 상기 디스플레이부에 표시하고, 상기 카탈로그 목록 내의 한 아이템이 선택되면 선택된 아이템의 구매 페이지를 상기 디스플레이부에 표시하는
    영상 표시 장치.
KR1020127007109A 2010-11-24 2011-11-24 영상 표시 장치 및 그 제어 방법 KR101960314B1 (ko)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US41718710P 2010-11-24 2010-11-24
US41719210P 2010-11-24 2010-11-24
US61/417,192 2010-11-24
US61/417,187 2010-11-24
US201161490069P 2011-05-26 2011-05-26
US61/490,069 2011-05-26
US201161525836P 2011-08-21 2011-08-21
US201161525837P 2011-08-21 2011-08-21
US201161525838P 2011-08-21 2011-08-21
US61/525,838 2011-08-21
US61/525,836 2011-08-21
US61/525,837 2011-08-21
US201161532535P 2011-09-08 2011-09-08
US61/532,535 2011-09-08
US201161536066P 2011-09-19 2011-09-19
US61/536,066 2011-09-19
US201161549237P 2011-10-20 2011-10-20
US201161549238P 2011-10-20 2011-10-20
US61/549,237 2011-10-20
US61/549,238 2011-10-20
PCT/KR2011/009045 WO2012070903A2 (ko) 2010-11-24 2011-11-24 영상 표시 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20130136368A KR20130136368A (ko) 2013-12-12
KR101960314B1 true KR101960314B1 (ko) 2019-03-20

Family

ID=46146330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127007109A KR101960314B1 (ko) 2010-11-24 2011-11-24 영상 표시 장치 및 그 제어 방법

Country Status (6)

Country Link
US (2) US9398328B2 (ko)
EP (1) EP2645731B8 (ko)
KR (1) KR101960314B1 (ko)
CN (1) CN103229513B (ko)
CA (1) CA2814197C (ko)
WO (1) WO2012070903A2 (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388451B2 (en) 2001-11-27 2022-07-12 Comcast Cable Communications Management, Llc Method and system for enabling data-rich interactive television using broadcast database
US8042132B2 (en) 2002-03-15 2011-10-18 Tvworks, Llc System and method for construction, delivery and display of iTV content
WO2003026275A2 (en) 2001-09-19 2003-03-27 Meta Tv, Inc. Interactive user interface for television applications
US8413205B2 (en) 2001-09-19 2013-04-02 Tvworks, Llc System and method for construction, delivery and display of iTV content
US7703116B1 (en) 2003-07-11 2010-04-20 Tvworks, Llc System and method for construction, delivery and display of iTV applications that blend programming information of on-demand and broadcast service offerings
US8352983B1 (en) 2002-07-11 2013-01-08 Tvworks, Llc Programming contextual interactive user interface for television
US11070890B2 (en) 2002-08-06 2021-07-20 Comcast Cable Communications Management, Llc User customization of user interfaces for interactive television
US8220018B2 (en) 2002-09-19 2012-07-10 Tvworks, Llc System and method for preferred placement programming of iTV content
US11381875B2 (en) 2003-03-14 2022-07-05 Comcast Cable Communications Management, Llc Causing display of user-selectable content types
US8578411B1 (en) 2003-03-14 2013-11-05 Tvworks, Llc System and method for controlling iTV application behaviors through the use of application profile filters
US10664138B2 (en) * 2003-03-14 2020-05-26 Comcast Cable Communications, Llc Providing supplemental content for a second screen experience
US8819734B2 (en) 2003-09-16 2014-08-26 Tvworks, Llc Contextual navigational control for digital television
US7818667B2 (en) 2005-05-03 2010-10-19 Tv Works Llc Verification of semantic constraints in multimedia data and in its announcement, signaling and interchange
US11832024B2 (en) 2008-11-20 2023-11-28 Comcast Cable Communications, Llc Method and apparatus for delivering video and video-related content at sub-asset level
KR101479890B1 (ko) 2010-12-26 2015-01-06 엘지전자 주식회사 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치
US20170041644A1 (en) * 2011-06-14 2017-02-09 Watchwith, Inc. Metadata delivery system for rendering supplementary content
US9762967B2 (en) 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
CN104137560B (zh) * 2012-02-10 2018-07-24 Lg 电子株式会社 图像显示设备及其操作方法
US9420319B1 (en) * 2012-06-07 2016-08-16 Audible, Inc. Recommendation and purchase options for recommemded products based on associations between a user and consumed digital content
JP6174691B2 (ja) 2012-06-25 2017-08-02 エルジー エレクトロニクス インコーポレイティド 対話型サービスを処理する装置及び方法
US8990844B2 (en) * 2012-07-05 2015-03-24 Lg Electronics Inc. Method and apparatus for processing digital service signals
EP2874399A4 (en) 2012-07-12 2016-03-02 Sony Corp TRANSMITTING DEVICE, METHOD FOR DATA PROCESSING, PROGRAM, RECEIVING DEVICE, AND APPLICATION LINKAGE SYSTEM
MX339103B (es) 2012-08-07 2016-05-11 Lg Electronics Inc Metodo y aparato para procesar una señal de difusion que incluye un servicio de difusion interactivo.
JP6045692B2 (ja) 2012-08-22 2016-12-14 エルジー エレクトロニクス インコーポレイティド 対話型サービスを処理する装置及び方法
JP6023518B2 (ja) 2012-09-06 2016-11-09 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム
CA2880254C (en) 2012-09-12 2017-09-19 Lg Electronics Inc. Apparatus and method for processing an interactive service
US9661361B2 (en) 2012-09-19 2017-05-23 Google Inc. Systems and methods for live media content matching
US11115722B2 (en) 2012-11-08 2021-09-07 Comcast Cable Communications, Llc Crowdsourcing supplemental content
US9769503B2 (en) * 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
RU2634837C2 (ru) * 2012-11-23 2017-11-07 Сони Корпорейшн Устройство обработки информации и способ обработки информации
EP2962473A4 (en) * 2013-02-21 2016-07-20 Lg Electronics Inc VIDEO DISPLAY APPARATUS AND METHOD OF OPERATION
US9553927B2 (en) 2013-03-13 2017-01-24 Comcast Cable Communications, Llc Synchronizing multiple transmissions of content
US9003453B2 (en) * 2013-03-14 2015-04-07 Wipro Limited System and method for sharing event information in a digital television system
US10880609B2 (en) 2013-03-14 2020-12-29 Comcast Cable Communications, Llc Content event messaging
US9124948B2 (en) 2013-03-15 2015-09-01 Ipar, Llc Systems and methods for defining ad spaces in video
WO2014200248A1 (ko) * 2013-06-12 2014-12-18 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
KR102268052B1 (ko) * 2013-11-11 2021-06-22 삼성전자주식회사 디스플레이 장치, 서버 장치 및 그 제어 방법
EP3078204A4 (en) 2013-12-03 2017-07-05 LG Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
CN103716701A (zh) * 2013-12-17 2014-04-09 深圳市九洲电器有限公司 节目分类预览方法、装置和机顶盒
US9621963B2 (en) 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
EP2922303A1 (en) 2014-03-04 2015-09-23 LG Electronics Inc. Display device for managing a plurality of time source data and method for controlling the same
US9788079B2 (en) * 2014-03-05 2017-10-10 Ricoh Co., Ltd. Generating enhanced advertisements based on user activity
US20170111692A1 (en) * 2014-05-20 2017-04-20 Lg Electronics Inc. Broadcasting transmission device, method for operating broadcasting transmission device, broadcasting reception device, and method for operating broadcasting reception device
KR102254838B1 (ko) * 2014-08-04 2021-05-24 엘지전자 주식회사 영상 표시 장치 및 그의 동작 방법
US11783382B2 (en) 2014-10-22 2023-10-10 Comcast Cable Communications, Llc Systems and methods for curating content metadata
US10779057B2 (en) * 2015-06-08 2020-09-15 Qualcomm Incorporated Broadcast content redistribution and ad insertion
CN105072460B (zh) * 2015-07-15 2018-08-07 中国科学技术大学先进技术研究院 一种基于视频内容元素的信息标注和关联方法、系统和设备
BR112018074824A2 (pt) 2016-06-08 2019-05-14 Sony Corp dispositivos de recepção e de transmissão, e, método de processamento de dados
CN106533924A (zh) * 2016-12-19 2017-03-22 广州华多网络科技有限公司 即时通信方法及装置
CN107908929B (zh) * 2017-11-24 2020-07-31 腾讯音乐娱乐科技（深圳）有限公司 播放音频数据的方法和装置
FR3078223A1 (fr) * 2018-02-16 2019-08-23 Orange Reception de flux representatif d'un contenu multimedia
CN110971932A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种频道播放的方法以及相关设备
CN111436001A (zh) * 2019-01-12 2020-07-21 北京字节跳动网络技术有限公司 一种视频上展示信息的方法、装置、设备和存储介质
US11526269B2 (en) 2019-01-12 2022-12-13 Shanghai marine diesel engine research institute Video playing control method and apparatus, device, and storage medium
WO2020143795A1 (zh) 2019-01-12 2020-07-16 北京字节跳动网络技术有限公司 一种视频上展示信息的方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040261099A1 (en) * 2000-06-21 2004-12-23 Durden George A. Method for formulating, delivering and managing data concerning programming content and portions thereof
US20050166224A1 (en) 2000-03-23 2005-07-28 Michael Ficco Broadcast advertisement adapting method and apparatus
WO2007011889A2 (en) * 2005-07-19 2007-01-25 Etv Corporation Methods and apparatus for providing content and services coordinated with television content
US20090158334A1 (en) * 2002-02-11 2009-06-18 Rodriguez Arturo A Characterization of Advertisements into Selectable Subcategories
US20090234723A1 (en) 2008-03-11 2009-09-17 Xerox Corporation Publicly generated advertisement system and method
US20100077428A1 (en) 2008-09-23 2010-03-25 International Business Machines Corporation Method and apparatus for providing supplemental content with video media

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185355B1 (en) 1998-03-04 2007-02-27 United Video Properties, Inc. Program guide system with preference profiles
KR100429806B1 (ko) * 2002-01-07 2004-05-03 삼성전자주식회사 디지털 ｔｖ 프로그램에 연관된 부가 정보를 표시하는방법 및그 장치
US8155498B2 (en) 2002-04-26 2012-04-10 The Directv Group, Inc. System and method for indexing commercials in a video presentation
CN101833968B (zh) 2003-10-10 2012-06-27 夏普株式会社 内容再现装置和内容再现方法
US20050097595A1 (en) 2003-11-05 2005-05-05 Matti Lipsanen Method and system for controlling access to content
US7904473B2 (en) 2005-04-04 2011-03-08 Aol Inc. Community-based parental controls
KR100738685B1 (ko) 2005-09-27 2007-07-11 주식회사 케이티 양방향 방송 서비스를 이용한 부가정보 제공 장치 및 그방법
KR100876743B1 (ko) 2006-02-10 2009-01-07 삼성전자주식회사 디지털 방송 프로그램 부가 정보의 전송 장치 및 방법
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
KR100932490B1 (ko) * 2007-11-08 2009-12-17 엘지전자 주식회사 방송 수신기 및 영상 데이터 처리 방법
US8209223B2 (en) * 2007-11-30 2012-06-26 Google Inc. Video object tag creation and processing
KR20100053300A (ko) 2008-11-12 2010-05-20 삼성전자주식회사 방송 부가정보를 제공하는 방송수신장치 및 그 방법
KR101172792B1 (ko) 2008-11-26 2012-08-20 한국방송공사 방송 시스템에서 부가 정보 삽입 장치 및 방법
US8782692B2 (en) * 2010-10-15 2014-07-15 Hulu, LLC Method and apparatus for recommending media programs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050166224A1 (en) 2000-03-23 2005-07-28 Michael Ficco Broadcast advertisement adapting method and apparatus
US20040261099A1 (en) * 2000-06-21 2004-12-23 Durden George A. Method for formulating, delivering and managing data concerning programming content and portions thereof
US20090158334A1 (en) * 2002-02-11 2009-06-18 Rodriguez Arturo A Characterization of Advertisements into Selectable Subcategories
WO2007011889A2 (en) * 2005-07-19 2007-01-25 Etv Corporation Methods and apparatus for providing content and services coordinated with television content
US20090234723A1 (en) 2008-03-11 2009-09-17 Xerox Corporation Publicly generated advertisement system and method
US20100077428A1 (en) 2008-09-23 2010-03-25 International Business Machines Corporation Method and apparatus for providing supplemental content with video media

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Saraju P. Mohanty. Digital watermarking: A tutorial review. URL: http://www. csee. usf. edu/~ smohanty/research/Reports/WMSurvey1999Mohanty. pdf, 1999.*

Also Published As

Publication number Publication date
CA2814197A1 (en) 2012-05-31
US9479824B2 (en) 2016-10-25
EP2645731B8 (en) 2019-04-17
US9398328B2 (en) 2016-07-19
EP2645731B1 (en) 2019-03-06
CN103229513B (zh) 2017-06-06
CN103229513A (zh) 2013-07-31
US20140009680A1 (en) 2014-01-09
US20150156537A1 (en) 2015-06-04
KR20130136368A (ko) 2013-12-12
EP2645731A2 (en) 2013-10-02
WO2012070903A2 (ko) 2012-05-31
WO2012070903A3 (ko) 2012-07-19
EP2645731A4 (en) 2014-05-21
CA2814197C (en) 2016-11-01

Similar Documents

Publication Publication Date Title
KR101960314B1 (ko) 영상 표시 장치 및 그 제어 방법
KR101706832B1 (ko) 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
CA2814196C (en) Video display device and method of controlling the same
KR101654439B1 (ko) 방송 서비스 수신 방법 및 그 수신 장치
KR101995425B1 (ko) 영상 표시 장치, 단말 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant