WO2012070901A2 - 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 - Google Patents

부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 Download PDF

Info

Publication number
WO2012070901A2
WO2012070901A2 PCT/KR2011/009043 KR2011009043W WO2012070901A2 WO 2012070901 A2 WO2012070901 A2 WO 2012070901A2 KR 2011009043 W KR2011009043 W KR 2011009043W WO 2012070901 A2 WO2012070901 A2 WO 2012070901A2
Authority
WO
WIPO (PCT)
Prior art keywords
content
information
server
display device
additional service
Prior art date
Application number
PCT/KR2011/009043
Other languages
English (en)
French (fr)
Other versions
WO2012070901A3 (ko
Inventor
김상현
서종열
김관석
이준휘
정재희
이현재
김진필
서동완
문경수
지애띠
서영재
김경호
박성옥
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020147016913A priority Critical patent/KR101706832B1/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP11843708.6A priority patent/EP2645732A4/en
Priority to DE112011103903.4T priority patent/DE112011103903B4/de
Priority to US13/988,995 priority patent/US8990876B2/en
Priority to GB1310029.2A priority patent/GB2499754B/en
Priority to CA2820574A priority patent/CA2820574C/en
Priority to KR1020137013223A priority patent/KR101506823B1/ko
Priority to CN201180064457.3A priority patent/CN103299648B/zh
Publication of WO2012070901A2 publication Critical patent/WO2012070901A2/ko
Publication of WO2012070901A3 publication Critical patent/WO2012070901A3/ko
Priority to US14/556,014 priority patent/US20150156536A1/en
Priority to US14/612,901 priority patent/US20150208117A1/en
Priority to US16/190,051 priority patent/US20200221163A9/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game

Definitions

  • the present invention relates to a method for receiving an additional service in a video display device.
  • broadcasting stations transmit main service audio content, together with enhanced service data that can be used in connection with the main audio and video content or independent of the main audio and video content.
  • video display devices in each home rarely directly receive broadcast signals through airwaves. Rather, the video display device of each home is connected to a broadcast receiving device such as a set-top box, and thus often reproduces uncompressed audio and video content provided by the broadcast receiving device.
  • a broadcast receiving device such as a set-top box
  • the broadcast reception device receives content from a server called a multichannel video programming distributor (MVD).
  • the multi-channel video distributor receives a broadcast signal from a broadcast station, extracts content from the received broadcast signal, converts the content into a signal suitable for transmission, and provides the converted signal to the broadcast receiving device.
  • the broadcasting station since the multi-channel video distributor may exclude extracted additional service data or add another additional service data, the broadcasting station only plays a role of providing audiovisual contents and provides broadcasting service-oriented additional services. Can not.
  • the broadcast receiving apparatus also extracts main audio and video data from the signal received from the multichannel video distributor, and provides only the uncompressed audio and video data to the video display device, only an additional service under the control of the broadcast receiving device is available, No additional services can be provided. This further prevents the broadcaster from providing self-directed supplementary services.
  • An object of the present invention is to provide an additional service receiving method for enabling broadcast service-driven additional service and an image display apparatus using the same.
  • An additional service receiving method includes: receiving audiovisual content (AV content); Extracting first feature information from the received audiovisual content; Transmitting the extracted first feature information to a first server, and receiving, from the first server, a database including at least one of content information associated with the first feature information, additional service information, and additional service; Storing a database received from the first server in a memory; Extracting second feature information from the received audiovisual content; And searching for and obtaining one of content information, additional service information, and additional service corresponding to the extracted second feature information from the database.
  • AV content audiovisual content
  • Extracting first feature information from the received audiovisual content Transmitting the extracted first feature information to a first server, and receiving, from the first server, a database including at least one of content information associated with the first feature information, additional service information, and additional service
  • Storing a database received from the first server in a memory Extracting second feature information from the received audiovisual content; And searching for and obtaining one of content information, additional service information, and additional service corresponding to the extracted second feature information from the
  • An additional service receiving method includes: receiving audiovisual content; Extracting first feature information from the received audiovisual content; Transmitting the extracted first feature information to a first server and receiving content information corresponding to the first feature information from the first server; Extracting second feature information from the received audiovisual content; And transmitting the extracted second feature information to the first server together with the content information received from the first server, and receiving content information corresponding to the second feature information from the first server.
  • Additional service receiving method the step of receiving audio-visual content; Selecting any one of a plurality of content recognition modules supporting different content recognition schemes according to a preset priority; And transmitting content identification information on the audio-visual content obtained using the selected content recognition module to a server, and receiving an additional service corresponding to the content identification information.
  • a method for receiving additional service includes: setting at least one sampling parameter for extracting some samples from audiovisual content; Sampling the audiovisual content according to the set parameter to obtain a sample; and transmitting the obtained sample to a server to receive content identification information about the audiovisual content from the server.
  • An image display device for receiving audio-visual content (AV content); A feature extractor for extracting first feature information from the received audiovisual content; A data transmitting / receiving unit which transmits the extracted first feature information to a first server and receives a database including at least one of content information, additional service information, and additional service associated with the first feature information from the first server; And a memory storing a database received from the first server, wherein any one of content information, additional service information, and additional service corresponding to the second feature information extracted from the audiovisual content is obtained by searching the database.
  • an image display device includes: a receiver configured to receive audiovisual content; A feature extractor for extracting first feature information from the received audiovisual content; And a data transceiver configured to transmit the extracted first feature information to a first server to receive content information corresponding to the first feature information from the first server, wherein the data transceiver is extracted from the audiovisual content.
  • the second feature information is transmitted to the first server together with the content information received from the first server, thereby receiving content information corresponding to the second feature information from the first server.
  • an image display apparatus comprising: a receiver configured to receive audio and video content; A plurality of content recognition modules supporting different content recognition methods; A controller configured to select one of the content recognition modules according to a preset priority; And a data transceiving unit configured to transmit content identification information on the audiovisual content acquired using the selected content recognition module to a server, and receive an additional service corresponding to the content identification information.
  • an image display apparatus including: a parameter setting unit configured to set at least one sampling parameter for extracting some samples from AV content; A receiver for receiving audiovisual content; A sampling unit for sampling the received audiovisual content according to the set parameter to obtain a sample; Include.
  • Embodiments of the present invention enable broadcast station-led services.
  • embodiments of the present invention enable broadcast station-driven alternative advertisement services, scene association information provision services, rating-based content provision services, and user characteristic-based services.
  • a database composed of content information associated with currently reproduced audiovisual content may be generated in a video display device or a server to improve content recognition speed and efficiently use network bandwidth.
  • the audiovisual content may be sampled and transmitted to the server according to a sampling parameter previously negotiated with the server, thereby efficiently recognizing the audiovisual content according to various content recognition schemes.
  • various embodiments of the present invention enable information retrieval, chat, news retrieval, digital media download, product catalog download, and product purchase related to the main audio-visual content without inconvenient text input through the remote control.
  • one embodiment of the present invention enables additional services beyond the limits of the bandwidth of the wireless channel.
  • FIG. 1 is a block diagram illustrating a network topology according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a watermark based network topology according to an embodiment of the present invention.
  • FIG. 3 is a ladder diagram illustrating a data flow in a watermark based network topology according to an embodiment of the present invention.
  • FIG. 4 illustrates a watermark based content recognition timing according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a fingerprint based network topology according to an embodiment of the present invention.
  • FIG. 6 is a ladder diagram illustrating a data flow in a fingerprint based network topology according to an embodiment of the present invention.
  • FIG. 7 shows an XML schema diagram of an ACR-Resulttype containing a query result according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating a watermark and fingerprint based network topology according to an embodiment of the present invention.
  • FIG. 9 is a ladder diagram illustrating a data flow in a watermark and fingerprint based network topology according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of a video display device according to an embodiment of the present invention.
  • FIG. 11 is a hierarchical diagram of an additional service management unit according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating an operation of an additional service manager according to an embodiment of the present invention.
  • FIG. 13 is a hierarchical diagram of an additional service manager according to an embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating an operation of an additional service manager according to an embodiment of the present invention.
  • 15 is a hierarchical diagram of an additional service manager according to an embodiment of the present invention.
  • 16 is a flowchart illustrating an operation of an additional service manager according to an embodiment of the present invention.
  • 17 is a hierarchical diagram of an additional service management unit according to an embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating an operation of an additional service manager according to an embodiment of the present invention.
  • 19 is a flowchart illustrating a method of synchronizing a play time of a main audio and video content and a play time of an additional service according to an embodiment of the present invention.
  • 20 is a conceptual diagram illustrating a method of synchronizing a play time of a main audio and video content and a play time of an additional service according to an embodiment of the present invention.
  • 21 shows an execution screen of an auto play application according to an embodiment of the present invention.
  • FIG. 22 shows an execution screen of a content provider application according to an embodiment of the present invention.
  • FIG. 23 illustrates a screen on which a video display device manufacturer application having a resizing user interface is executed according to an embodiment of the present invention.
  • FIG. 24 illustrates a screen on which a video display device manufacturer application having an overlay user interface according to an embodiment of the present invention is executed.
  • 25 is a flowchart illustrating a method of executing a video display device manufacturer application according to an embodiment of the present invention.
  • FIG. 26 illustrates a screen on which an application selection menu is displayed according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating a screen when an entire submenu of a program main menu of a video display device manufacturer application is selected according to an exemplary embodiment of the present invention.
  • FIG. 28 is a diagram illustrating a screen when a participation submenu of a program main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • FIG. 29 is a diagram illustrating a screen when a discovery submenu of a program main menu of an image display device manufacturer application is selected according to an exemplary embodiment of the present invention.
  • FIG. 30 is a flowchart illustrating a search method according to an embodiment of the present invention.
  • FIG. 31 is a diagram illustrating a screen when a search submenu of an information main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • FIG. 32 is a diagram illustrating another screen when a search sub menu of an information main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • FIG. 33 is a flowchart illustrating a chat window display method according to an embodiment of the present invention.
  • FIG. 34 is a diagram illustrating one screen when a twitter submenu of an information main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • 35 is a flowchart illustrating a news acquisition method according to an embodiment of the present invention.
  • 36 is a screen when a news submenu of an information main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • FIG. 37 is a flowchart illustrating a method of displaying a viewer list according to an embodiment of the present invention.
  • FIG. 38 illustrates a screen when a viewer list submenu of a social main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • 39 is a view illustrating a signal flow in which a video display device obtains a friend list and viewing information according to an embodiment of the present invention.
  • FIG. 40 is a view illustrating a signal flow for acquiring a friend list and viewing information by the video display device according to another embodiment of the present invention.
  • 41 is a flowchart illustrating a crush display method according to an embodiment of the present invention.
  • FIG. 42 illustrates a screen when a crush display submenu of a social main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • 43 is a flowchart illustrating a digital media download method according to an embodiment of the present invention.
  • 44 is a screen illustrating a case where a previous episode sub-menu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • 45 is a screen illustrating a case where a VOD submenu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • FIG. 46 illustrates a screen when an application submenu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • 47 is a flowchart illustrating a catalog display method according to an embodiment of the present invention.
  • FIG. 48 is a screen illustrating a case where a style submenu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • FIG. 49 illustrates a screen when a music sub menu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • FIG. 50 is a screen illustrating another sub-menu of a recommended main menu of a video display device manufacturer application according to an embodiment of the present invention.
  • 51 is a view illustrating a user interface for controlling an ACR function according to an embodiment of the present invention.
  • FIG. 52 is a flowchart of a control method of a video display device according to an embodiment of the present invention.
  • 53 is a flowchart illustrating a first embodiment of a method for receiving additional service according to the present invention.
  • 54 to 57 are block diagrams illustrating embodiments of the configuration of an image display device having an internal database.
  • FIG. 58 is a flowchart illustrating a second embodiment of a method of receiving additional service according to the present invention.
  • FIG. 59 is a block diagram illustrating a first embodiment of an operation between an image display device and a fingerprint server.
  • 60 and 61 are diagrams for describing a method of creating a new database in a server.
  • FIG. 62 is a block diagram illustrating a second embodiment of an operation between an image display device and a fingerprint server.
  • FIG. 63 is a block diagram illustrating a third embodiment of an operation between an image display device and a fingerprint server.
  • 64 and 65 are block diagrams for describing an operation of a video display device including a plurality of content recognition modules.
  • 66 is a flowchart illustrating a third embodiment of a method for receiving additional service according to the present invention.
  • 67 is a flowchart illustrating a fourth embodiment of a method of receiving additional service according to the present invention.
  • 68 and 69 are diagrams illustrating embodiments of a sampling area of a video sample.
  • 70 is a ladder diagram illustrating a first embodiment of a method of setting a sampling parameter.
  • 71 to 74 illustrate embodiments of parameter values exchanged between the video display device and the server in the parameter setting process.
  • 75 is a ladder diagram illustrating a second embodiment of a method of setting a sampling parameter.
  • FIG. 76 is a block diagram illustrating an embodiment of a configuration of a video display device that samples audiovisual content according to a set parameter.
  • 77 is a block diagram illustrating an embodiment of a configuration of a server for identifying content by using a sample received from a video display device.
  • FIG. 78 is a block diagram illustrating a structure of a fingerprint based video display device according to another embodiment.
  • 79 is a block diagram illustrating a structure of a watermark based video display device according to another embodiment.
  • FIG. 1 is a block diagram illustrating a network topology according to an embodiment of the present invention.
  • the network topology includes a content providing server 10, a content recognizing service providing server 20, a multi-channel video distribution server 30, and an additional service information providing server ( 40, a plurality of additional service providing servers 50, a broadcast receiving device 60, a network 70, and a video display device 100.
  • the content providing server 10 may correspond to a broadcasting station and broadcasts a broadcast signal including main audio-visual content.
  • the broadcast signal may further include an additional service.
  • the supplementary service may or may not be related to the main audiovisual content.
  • Additional services include service information, metadata, additional data, compiled executables, web applications, Hypertext Markup Language (HTML) documents, XML documents, cascading style sheet (CSS) documents, audio files, and video.
  • File ATSC 2.0 content, address, such as a Uniform Resource Locator (URL).
  • URL Uniform Resource Locator
  • the content recognizing service providing server 20 provides a content recognizing service that enables the video display device 100 to recognize content based on the main audio and video content.
  • the content recognizing service providing server 20 may or may not modify the main audio and video content.
  • One or more content recognition service providing servers may exist.
  • the content recognizing service providing server 20 may be a watermark server for modifying the main audiovisual content to insert a visible watermark such as a logo into the main audiovisual content.
  • the watermark server may watermark the content provider's logo on the upper left or upper right of each frame of the main audiovisual content.
  • the content recognizing service providing server 20 may be a watermark server for modifying the main AV content and inserting the content information into the main AV content as an invisible watermark.
  • the content recognizing service providing server 20 may be a fingerprint server that extracts and stores feature information from some frames or some audio samples of the main audio and video content. This feature information is also called signature.
  • the multi-channel video distribution server 30 receives and multiplexes broadcast signals from a plurality of broadcast stations and provides the multiplexed signals to the broadcast receiving device 60.
  • the multi-channel video distribution server 30 performs demodulation and channel decoding on the received broadcast signal to extract the main AV content and the additional service, and then performs channel encoding on the extracted main AV content and the extracted additional service. It is possible to generate multiplexed signals for distribution.
  • the multi-channel video distribution server 30 may exclude the extracted additional service or add another additional service, the broadcasting station may not provide a broadcaster-led service.
  • the broadcast receiving device 60 tunes a channel selected by a user, receives a signal of a tuned channel, performs demodulation and channel decoding on the received signal, and extracts main audio and video content.
  • the broadcast receiving device 60 extracts the extracted main audio and video content from H.264 / MPEG-4 Moving Picture Experts Group-4 advanced video coding (DVC), Dolby AC-3, and MPEG-2 Moving Picture Experts Group-2 Advanced.
  • Decoding is performed using an audio coding algorithm to generate uncompressed main AV content.
  • the broadcast receiving device 60 provides the generated uncompressed main audio and video content to the video display device 100 through an external input port of the video display device 100.
  • the supplementary service information providing server 40 provides supplementary service information for one or more available supplementary services related to the main AV content in response to a request of the video display device. There may be one or more additional service address providing servers. The additional service information providing server 40 may provide additional service information for the highest priority additional service among a plurality of available additional services.
  • the additional service providing server 50 may provide one or more additional services that may be used in connection with the main audio and video content in response to a request of the video display device. There may be one or more additional service providing servers.
  • the video display device 100 may be a display unit such as a television, a laptop, a mobile phone, a smartphone, or the like.
  • the video display device 100 may receive uncompressed main audio and video content from the broadcast reception device 60 and broadcast including main audio and video content encoded from the content providing server 10 or the multichannel video distribution server 30. You can also receive a signal.
  • the video display device 100 may be provided with a content recognition service from the content recognition service providing server 20 through the network 70, and may receive main audiovisual content from the additional service information providing server 40 through the network 70. Receive the address of one or more additional services available in relation to, and may receive one or more additional services available in connection with the main audio-visual content from the additional service providing server 50.
  • At least two of the content providing server 10, the content recognizing service providing server 20, the multichannel video distribution server 30, the additional service information providing server 40, and the plurality of additional service providing servers 50 are one server. It may be combined in the form of or may be operated by one operator.
  • FIG. 2 is a block diagram illustrating a watermark based network topology according to an embodiment of the present invention.
  • the network topology according to the embodiment of the present invention further includes a watermark server 21.
  • the watermark server 21 as shown in FIG. 2 applies a modification to the main audiovisual content and inserts the content information into the main audiovisual content.
  • the multichannel video distribution server 30 receives and distributes a broadcast signal including the modified main AV content.
  • the watermark server may use a digital watermarking technique as described below.
  • Digital watermarks are the process of embedding information in digital signals in a way that is difficult to delete.
  • the digital signal can be audio, photo, or video.
  • the inserted information is also contained in the copy.
  • One digital signal can carry several different watermarks at the same time.
  • the inserted information is discernible to the eye in the picture or video.
  • the inserted information is text or a logo that identifies the owner of the media.
  • a television station adds its logo to the corner of the video being sent, this is an eye identifiable watermark.
  • the copying device may obtain a watermark from the digital media before copying the digital media, and may decide whether to copy or not based on the content of the watermark.
  • Another application of watermarking is in tracking the source of digital media. At each point on the distribution path, a watermark is embedded in the digital media. If such digital media is found later, a watermark can be extracted from the digital media and the source of the distribution can be grasped from the content of the watermark.
  • the file format for digital media may include additional information called metadata, which is distinguished from metadata in that digital watermarks are conveyed in the audiovisual signal of digital media itself.
  • Watermarking methods include spread spectrum, quantization, and amplitude modulation.
  • the watermarking method corresponds to spread spectrum.
  • Spread-spectrum watermarks are known to be quite robust, but they do not carry much information because they interfere with the embedded host signal.
  • the watermarking method corresponds to the quantization type. Quantization watermarks are less robust, but can carry quite a bit of information.
  • the watermarking method corresponds to an amplitude modulation.
  • FIG. 3 is a ladder diagram illustrating a data flow in a watermark based network topology according to an embodiment of the present invention.
  • the content providing server 10 transmits a broadcast signal including the main audio and video content and the additional service (S101).
  • the watermark server 21 receives a broadcast signal provided by the content providing server 10 and applies a modification to the main audiovisual content to insert a visible watermark such as a logo into the main audiovisual content, or to the main audiovisual content.
  • the watermark information is inserted as an invisible watermark, and the watermarked main AV content and the supplementary service are provided to the MVPD 30 (S103).
  • the watermark information inserted through the invisible watermark may include one or more of watermark usage, content information, additional service information, and available additional services.
  • the watermark usage may indicate one of unauthorized copy protection, audience rating research, and additional service acquisition.
  • the content information may include identification information of a content provider providing main audio and video content, main audio and video content identification information, main audio and video content rating information, time information of a content section used to acquire content information, a name of a channel on which main audio and video content is broadcasted, and main Among the logo of the channel on which the audiovisual content is broadcast, the description of the channel on which the main audiovisual content is broadcast, the usage information reporting address, the usage information reporting period, the minimum usage time for obtaining the usage information, and additional service information available in connection with the main audiovisual content. It may include one or more.
  • the time information of the content section used to acquire the content information may be time information of the content section in which the used watermark is embedded. If the video display device 100 uses the fingerprint for obtaining the content information, the time information of the content section used for obtaining the content information may be time information of the content section from which the feature information is extracted.
  • the time information of the content section used to acquire the content information includes the start time of the content section used to acquire the content information, the duration of the content section used to acquire the content information, and the end time of the content section used to acquire the content information. It may include one or more of.
  • the usage information report address may include at least one of a main AV content viewing information report address and an additional service usage information report address.
  • the usage information reporting period may include one or more of a main audio and video content viewing information reporting period and an additional service usage information reporting period.
  • the minimum usage time for acquiring the usage information may include at least one of a minimum viewing time for acquiring the main AV content viewing information and a minimum usage time for extracting additional service usage information.
  • the video display device 100 Based on the case in which the main audio and video content is watched for a minimum viewing time or more, the video display device 100 obtains the viewing information of the main audio and video content, and the viewing information extracted as the main audio and video content viewing information report address in the main audio and video content viewing information reporting period. Can report.
  • the video display device 100 may obtain the additional service usage information and report the usage information extracted to the additional service usage information report address in the additional service usage information reporting period. .
  • the supplementary service information includes information on whether an supplementary service exists, an supplementary service address providing server address, an acquisition path of each available supplementary service, an address for each available supplementary service, a start time of each available supplementary service, End time of each available supplementary service, lifetime of each available supplementary service, acquisition mode of each available supplementary service, request period for each available supplementary service, of each available supplementary service
  • One or more of priority information, a description of each available additional service, a category of each available additional service, a usage information reporting address, a usage information reporting period, and a minimum usage time for obtaining usage information. have.
  • the acquisition path of the available additional service may indicate IP or Advanced Television Systems Committee-Mobile / Handheld (ATSC M / H).
  • ATSC M / H Advanced Television Systems Committee-Mobile / Handheld
  • the additional service information may further include frequency information and channel information.
  • the acquisition mode of each available supplementary service may indicate Push or Pull.
  • the watermark server 21 may insert watermark information as an invisible watermark in the logo of the main audio and video content.
  • the watermark server 21 may insert a barcode at a predetermined position of the logo.
  • the predetermined position of the logo may correspond to the bottom 1 line of the area where the logo is displayed.
  • the image display apparatus 100 may not display the barcode.
  • the watermark server 21 may insert watermark information in the form of metadata of a logo. At this time, the shape of the logo can be maintained.
  • the watermark server 21 may insert N-bit watermark information into each of the logos of the M frames. That is, the watermark server 21 may insert M * N watermark information through M frames.
  • the MVPD 30 receives a broadcast signal including watermarked main AV content and an additional service, generates a multiplexed signal, and provides the multiplexed signal to the broadcast receiving device 60 in operation S105.
  • the multiplexed signal may exclude the received additional service or include a new additional service.
  • the broadcast receiving device 60 tunes a channel selected by a user, receives a signal of a tuned channel, demodulates the received broadcast signal, performs channel decoding, and performs AV decoding to perform an uncompressed main AV. After generating the content, the generated uncompressed main AV content is provided to the video display device 100 in operation S106.
  • the content providing server 10 also broadcasts a broadcast signal including main AV content through a wireless channel (S107).
  • the MVPD 30 may transmit a broadcast signal including main AV content to the video display device 100 directly without passing through the broadcast receiving device 60 (S108).
  • the video display device 100 may receive uncompressed main audio and video content through the set top box 60. Alternatively, the video display device 100 may obtain a main audio and video content by receiving a broadcast signal through a wireless channel and demodulating and decoding the received broadcast signal. Alternatively, the video display device 100 may receive a broadcast signal from the MVPD 30, and demodulate and decode the received broadcast signal to receive main AV content. The video display device 100 extracts watermark information from audio frames of some frames or sections of the obtained main audio and video content. If the watermark information corresponds to a logo, the video display device 100 checks the watermark server address corresponding to the logo extracted from the correspondence between the plurality of logos and the plurality of watermark server addresses.
  • the video display device 100 cannot identify the main audio and video content using only the logo.
  • the video display device 100 may not identify the main audio and video content, but the watermark information may include content provider identification information or a watermark server address.
  • the video display device 100 may include a watermark server address corresponding to content provider identification information extracted from a correspondence between the plurality of content provider identification information and the plurality of watermark server addresses. You can check.
  • the video display device 100 accesses the watermark server 21 corresponding to the obtained watermark server address and transmits the first query. S109).
  • the watermark server 21 provides a first response to the first query in operation S111.
  • the first response may include one or more of content information, additional service information, and available additional services.
  • the video display device 100 may not obtain the additional service. However, the watermark information and the first response may include the additional service address providing server address. As such, if the video display device 100 does not acquire the additional service address or the additional service through the watermark information and the first response, and obtains the additional service address providing server address, the video display device 100 obtains the acquired additional information.
  • the second query including the content information is transmitted by accessing the additional service information providing server 40 corresponding to the service address providing server address (S119).
  • the supplementary service information providing server 40 retrieves one or more available supplementary services related to the content information of the second query. Thereafter, the supplementary service information providing server 40 provides supplementary service information for one or more available supplementary services to the video display device 100 as a second response to the second query in operation S121.
  • the video display device 100 obtains one or more available additional service addresses through the watermark information, the first response, or the second response, the video display device 100 accesses the one or more available additional service addresses and requests additional services (S123). In step S125, an additional service is obtained.
  • FIG. 4 illustrates a watermark based content recognition timing according to an embodiment of the present invention.
  • the broadcast receiving device 60 is turned on and the channel is tuned, and the video display device 100 is the main audiovisual of the channel tuned from the broadcast receiving device 60 through the external input port 111.
  • the video display device 100 may detect the content provider identifier (or broadcaster identifier) from the watermark of the main AV content. Thereafter, the video display device 100 may detect content information from the watermark of the main AV content based on the detected content provider identifier.
  • the detectable period of the content provider identifier and the detectable period of the content information may be different.
  • the detectable period of the content provider identifier may be shorter than the detectable period of the content information.
  • FIG. 5 is a block diagram illustrating a fingerprint based network topology according to an embodiment of the present invention.
  • the network topology according to the embodiment of the present invention further includes a fingerprint server 22.
  • the fingerprint server 22 as shown in FIG. 5 does not modify the main audio and video content, and extracts and stores feature information from audio samples of some frames or sections of the main audio and video content. Subsequently, when the fingerprint server 22 receives the characteristic information from the image display apparatus 100, the fingerprint server 22 provides the identifier and time information of the audiovisual content corresponding to the received characteristic information.
  • FIG. 6 is a ladder diagram illustrating a data flow in a fingerprint based network topology according to an embodiment of the present invention.
  • the content providing server 10 transmits a broadcast signal including the main audio and video content and the additional service (S201).
  • the fingerprint server 22 receives a broadcast signal provided by the content providing server 10, extracts a plurality of feature information from a plurality of frame sections or a plurality of audio sections of the main audio and video content, and adds the plurality of feature information to each of the plurality of feature information.
  • a database for a plurality of corresponding query results is constructed (S203).
  • the query result may include one or more of content information, additional service information, and available additional services.
  • the MVPD 30 receives a broadcast signal including main AV content and an additional service, generates a multiplexed signal, and provides the multiplexed signal to the broadcast receiving device 60 in operation S205.
  • the multiplexed signal may exclude the received additional service or include a new additional service.
  • the broadcast receiving device 60 tunes a channel selected by a user, receives a signal of a tuned channel, demodulates the received broadcast signal, performs channel decoding, and performs AV decoding to perform an uncompressed main AV. After generating the content, the generated uncompressed main AV content is provided to the video display device 100 in operation S206.
  • the content providing server 10 also broadcasts a broadcast signal including main AV content through a wireless channel (S207).
  • the MVPD 30 may transmit a signal including main AV content to the video display device 100 directly without passing through the broadcast receiving device 60 (S208).
  • the video display device 100 may receive uncompressed main audio and video content through the set top box 60. Alternatively, the video display device 100 may obtain a main audio and video content by receiving a broadcast signal through a wireless channel and demodulating and decoding the received broadcast signal. Alternatively, the video display device 100 may receive a broadcast signal from the MVPD 30, and demodulate and decode the received broadcast signal to receive main AV content. The video display device 100 extracts feature information from audio frames of some frames or some sections of the acquired main audio and video content in operation S213.
  • the video display device 100 accesses the fingerprint server 22 corresponding to the preset fingerprint server address and transmits a first query including the extracted feature information (S215).
  • the fingerprint server 22 provides a query result as a first response to the first query (S217). If the first response corresponds to a failure, the video display device 100 may access the fingerprint server 22 corresponding to another fingerprint server address and transmit a first query including the extracted feature information.
  • the fingerprint server 22 may provide an Extensible Markup Language (XML) document as a query result.
  • XML Extensible Markup Language
  • An example of an XML document containing a query result will be described with reference to FIG. 7 and Table 1.
  • FIG. 7 An example of an XML document containing a query result will be described with reference to FIG. 7 and Table 1.
  • FIG. 7 shows an XML schema diagram of an ACR-Resulttype containing a query result according to an embodiment of the present invention.
  • an ACR-Resulttype containing a query result has a ResultCode attribute, ContentID, NTPTimestamp, SignalingChannelInformation, and ServiceInformation elements.
  • the ResultCode attribute has a value of 200, this may mean that the query result is successful. If the ResultCode attribute has a value of 404, this may mean that the query result has failed.
  • the SignalingChannelInformation element has a SignalingChannelURL element, and the SignalingChannelURL element has UpdateMode and PollingCycle attributes.
  • the UpdateMode property may have a Pull value or a Push value.
  • the ServiceInformation element has a ServiceName, ServiceLogo, and ServiceDescription element.
  • Table 1 shows the XML Schema of ACR-ResultType containing such query result.
  • an ATSC content identifier as shown in Table 2 below may be used.
  • the ATSC content identifier has a structure consisting of a TSID and a house number.
  • the 16 bit unsigned integer TSID carries a transport stream identifier.
  • the 5-bit unsigned integer end_of_day is set to the hour of the day when broadcast is over and the content_id value can be reused.
  • the 9-bit unsigned integer unique_for is set to the number of days for which the content_id value cannot be reused.
  • content_id represents a content identifier.
  • the video display device 100 may decrement unique_for by 1 at a time corresponding to end_of_day every day, and may consider that content_id is unique if unique_for is not zero.
  • a Global service identifier for an ATSC-M / H service as described below may be used.
  • the global service identifier has the form
  • ⁇ region> is a two letter international country code as defined by ISO 639-2.
  • ⁇ Xsid> for local service is a decimal number of TSID as defined in ⁇ region>, and ⁇ xsid> for local service (major> 69) is "0".
  • ⁇ serviceid> is defined as ⁇ major> or ⁇ minor>. ⁇ major> represents a major channel number, and ⁇ minor> represents a minor channel number.
  • an ATSC content identifier as described below may be used.
  • the ATSC Content Identifier has the following form:
  • ⁇ region> is a two letter international country code as defined by ISO 639-2.
  • ⁇ Xsid> for local service is a decimal number of TSID as defined in ⁇ region>, which may be followed by ".”
  • ⁇ Xsid> for regional service (major> 69) is ⁇ serviceid>.
  • ⁇ content_id> is the base64 sign of the content_id field defined in Table 2
  • ⁇ unique_for> is the decimal sign of the unique_for field defined in Table 2
  • ⁇ end_of_day> is the decimal sign of the end_of_day field defined in Table 2.
  • FIG. 6 will be described again.
  • the video display device 100 provides the additional service information providing server 40 corresponding to the obtained additional service address providing server address.
  • a second query including content information is transmitted.
  • the supplementary service information providing server 40 retrieves one or more available supplementary services related to the content information of the second query. Thereafter, the supplementary service information providing server 40 provides supplementary service information for one or more available supplementary services to the video display device 100 as a second response to the second query in operation S221.
  • the video display device 100 obtains one or more available additional service addresses through the first response or the second response, the video display device 100 accesses the one or more available additional service addresses and requests additional services (S223). Acquire (S225).
  • the video display device 100 transmits an HTTP request to the supplementary service providing server 50 through SignalingChannelURL and sends an HTTP response including a PSIP binary stream in response thereto. 50).
  • the video display device 100 may transmit an HTTP request according to the polling period specified by the PollingCycle property.
  • the SignalingChannelURL element may have an update time attribute. In this case, the video display device 100 may transmit an HTTP request at the update time specified by the update time attribute.
  • the video display device 100 may asynchronously receive the update from the server by using the XMLHTTPRequest API. After the video display device 100 makes an asynchronous request to the server through the XMLHTTPRequest object, the server provides the signaling information as a response through this channel when there is a change in the signaling information. If there is a limit in the waiting time of the session, a session timeout respond is generated, and the receiver can immediately recognize and re-request it to maintain the signaling channel between the receiver and the server at all times.
  • FIG. 8 is a block diagram illustrating a watermark and fingerprint based network topology according to an embodiment of the present invention.
  • the network topology according to the embodiment of the present invention further includes a watermark server 21 and a fingerprint server 22.
  • the watermark server 21 as shown in FIG. 8 inserts content provider identification information into the main audiovisual content.
  • the watermark server 21 may insert the content provider identification information into the main audio and video content as a watermark that looks like a logo, or insert the content provider identification information into the main audio and video content as an invisible watermark.
  • the fingerprint server 22 does not modify the main audio and video content, and extracts and stores feature information from audio samples of some frames or sections of the main audio and video content. Subsequently, when the fingerprint server 22 receives the characteristic information from the image display apparatus 100, the fingerprint server 22 provides the identifier and time information of the audiovisual content corresponding to the received characteristic information.
  • FIG. 9 is a ladder diagram illustrating a data flow in a watermark and fingerprint based network topology according to an embodiment of the present invention.
  • the content providing server 10 transmits a broadcast signal including the main audio and video content and the additional service (S301).
  • the watermark server 21 receives a broadcast signal provided by the content providing server 10 and applies a modification to the main audiovisual content to insert a visible watermark such as a logo into the main audiovisual content, or to the main audiovisual content.
  • the watermark information is inserted as an invisible watermark, and the watermarked main AV content and the additional service are provided to the MVPD 30 (S303).
  • the watermark information inserted through the invisible watermark may include one or more of content information, additional service information, and available additional services.
  • the content information and the additional service information are as described above.
  • the MVPD 30 receives a broadcast signal including watermarked main AV content and an additional service, generates a multiplexed signal, and provides the multiplexed signal to the broadcast receiving device 60 in operation S305.
  • the multiplexed signal may exclude the received additional service or include a new additional service.
  • the broadcast receiving device 60 tunes a channel selected by a user, receives a signal of a tuned channel, demodulates the received broadcast signal, performs channel decoding, and performs AV decoding to perform an uncompressed main AV. After the content is generated, the generated uncompressed main AV content is provided to the video display device 100 in operation S306.
  • the content providing server 10 also broadcasts a broadcast signal including main AV content through a wireless channel (S307).
  • the MVPD 30 may transmit a signal including main AV content to the video display device 100 directly without passing through the broadcast receiving device 60 (S308).
  • the video display device 100 may receive uncompressed main audio and video content through the set top box 60. Alternatively, the video display device 100 may obtain a main audio and video content by receiving a broadcast signal through a wireless channel and demodulating and decoding the received broadcast signal. Alternatively, the video display device 100 may receive a broadcast signal from the MVPD 30, and demodulate and decode the received broadcast signal to receive main AV content. The video display device 100 extracts watermark information from audio frames of some frames or sections of the obtained main audio and video content. If the watermark information corresponds to a logo, the video display device 100 checks the watermark server address corresponding to the logo extracted from the correspondence between the plurality of logos and the plurality of watermark server addresses.
  • the video display device 100 cannot identify the main audio and video content using only the logo.
  • the video display device 100 may not identify the main audio and video content, but the watermark information may include content provider identification information or a watermark server address.
  • the video display device 100 may include a watermark server address corresponding to content provider identification information extracted from a correspondence between the plurality of content provider identification information and the plurality of watermark server addresses. You can check.
  • the video display device 100 accesses the watermark server 21 corresponding to the obtained watermark server address and transmits the first query. S309).
  • the watermark server 21 provides a first response to the first query in operation S311.
  • the first response may include one or more of a fingerprint server address, content information, additional service information, and available additional services.
  • the content information and the additional service information are as described above.
  • the video display device 100 extracts feature information from audio frames of some frames or some sections of the main audio and video content (S313).
  • the video display device 100 connects to the fingerprint server 22 corresponding to the fingerprint server address in the first response and transmits a second query including the extracted feature information (S315).
  • the fingerprint server 22 provides a query result as a second response to the second query in operation S317.
  • the video display device 100 provides the additional service information providing server 40 corresponding to the obtained additional service address providing server address.
  • a third query including content information is transmitted.
  • the supplementary service information providing server 40 retrieves one or more available supplementary services related to the content information of the third query. Thereafter, the additional service information providing server 40 provides the video display device 100 with additional service information for one or more available additional services in a third response to the third query in operation S321.
  • the video display device 100 obtains one or more available additional service addresses through the first response, the second response, or the third response, the video display device 100 accesses the one or more available additional service addresses and requests additional services (S323). In step S325, an additional service is acquired.
  • FIG. 10 is a block diagram of a video display device according to an embodiment of the present invention.
  • the video display device 100 includes a broadcast signal receiver 101, a demodulator 103, a channel decoder 105, a demultiplexer 107, and an audiovisual It includes a decoder 109, an external input port 111, a playback controller 113, a playback device 120, an additional service manager 130, a data transceiver 141, and a memory 150.
  • the broadcast signal receiving unit 101 receives a broadcast signal from the content providing server 10 or the MVPD 30.
  • the demodulator 103 demodulates the received broadcast signal to generate a demodulated signal.
  • the channel decoder 105 performs channel decoding on the demodulated signal to generate channel decoded data.
  • the demultiplexer 107 separates the main AV content and the supplementary service from the channel decoded data.
  • the separated additional service is stored in the additional service storage unit 152.
  • the audio-visual decoding unit 109 audio-decodes the separated main audio-visual content to generate uncompressed main audio-visual content.
  • the external input port 111 receives uncompressed main audio and video content from the broadcast receiving device 60, the digital versatile disk (DVD) player, the Blu-ray disc player, or the like.
  • the external input port 111 may include one or more of a DSUB port, a high definition multimedia interface (HDMI) port, a digital visual interface (DVI) port, a composite port, a component port, and an S-video port. have.
  • HDMI high definition multimedia interface
  • DVI digital visual interface
  • the reproduction control unit 113 reproduces at least one of the uncompressed main audio and video content generated by the audiovisual decoder 109 or the uncompressed main audio and video content received from the external input port 111 on the reproduction device 120 by user selection. do.
  • the playback device 120 includes a display 121 and a speaker 123.
  • the display unit 121 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), or a flexible display (flexible). and at least one of a 3D display.
  • the additional service manager 130 obtains content information of the main AV content and obtains an available additional service based on the obtained content information.
  • the additional service manager 130 may obtain identification information of the main AV content based on an audio sample of some frame or a section of the uncompressed main AV content.
  • ACR automatic contents recognition
  • the data transceiver 141 may include an ATSC-M / H (Advanced Television Systems Committee-Mobile / Handheld) channel transceiver 141a and an IP transceiver 141b.
  • ATSC-M / H Advanced Television Systems Committee-Mobile / Handheld
  • the memory 150 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM (Random Access Memory, RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic It may include a storage medium of at least one type of disk, optical disk.
  • the video display device 100 may operate in association with a web storage that performs a storage function of the memory 150 on the Internet.
  • the memory 150 includes a content information storage unit 151, an additional service storage unit 152, a logo storage unit 153, a setting information storage unit 154, a bookmark storage unit 155, and a user information storage unit 156.
  • the usage information storage unit 157 may be included.
  • the content information storage unit 151 stores a plurality of content information corresponding to the plurality of feature information.
  • the additional service storage unit 152 may store a plurality of additional services corresponding to the plurality of feature information, or may store a plurality of additional services corresponding to the plurality of content information.
  • the logo storage unit 153 stores a plurality of logos.
  • the logo storage unit may further store a content provider identifier corresponding to the plurality of logos or a watermark server address corresponding to the plurality of logos.
  • the setting information storage unit 154 stores setting information for the ACR.
  • the bookmark storage unit 155 stores the bookmark.
  • the user information storage unit 156 stores user information.
  • the user information may include one or more of one or more account information, region information, family member information, preferred genre information, video display device information, and usage information providing range for one or more services.
  • the one or more account information may include account information for the usage information measuring server and account information of a social network service such as twitter and facebook.
  • Area information may include address information, postal code.
  • Family member information may include the number of family members, the age of each member, the gender of each member, the religion of each member, the occupation of each member, and the like.
  • Preferred genre information may be set to one or more of sports, movies, dramas, education, news, entertainment, and other genres.
  • the video display device information may include information about a type, a manufacturer, a firmware version, a resolution, a model name, an OS, a browser, a storage device, a storage device capacity, and a network speed.
  • the video display device 100 may collect and report main audio and video content viewing information and additional service usage information within the set range.
  • the usage information providing range may be set for each virtual channel.
  • the usage information measurement allowable range may be set for the entire physical channel.
  • the usage information storage unit 157 stores main audio and video content viewing information and additional service usage information collected by the video display device 100.
  • the video display device 100 may analyze the service usage pattern based on the collected main audio and video content viewing information and the collected additional service usage information, and store the analyzed service usage pattern in the usage information storage unit 157. .
  • the additional service manager 130 may obtain content information of the main AV content from the fingerprint server 22 or the content information storage unit 151. If there is no content information corresponding to the extracted feature information in the content information storage unit 151 or there is not enough content information, the additional service manager 130 may receive additional content information through the data transceiver 141. In addition, the additional service manager 130 may continuously update the content information.
  • the additional service manager 130 may obtain an additional service available from the additional service providing server 50 or the additional service storage unit 153. When there is no additional service in the additional service storage unit 153 or there is not enough additional service, the additional service manager 130 may update the additional service through the data transceiver 141. In addition, the additional service manager 130 may continuously update the additional service.
  • the additional service manager 130 may extract a logo from the main audio and video content, and query the logo storage unit 155 to obtain a content provider identifier or a watermark server address corresponding to the extracted logo. If there is no logo matching the extracted logo in the logo storage unit 155 or there is not enough logo, the additional service manager 130 may receive the additional logo through the data transmission / reception unit 141. In addition, the additional service manager 130 may continuously update the logo.
  • the additional service manager 130 may perform various methods to reduce the burden of computation in comparing the logo extracted from the main audio and video content with the plurality of logos in the logo storage unit 155.
  • the additional service manager 130 may perform the comparison based on the color characteristics. That is, the additional service manager 130 may compare the color characteristics of the extracted logo with the color characteristics of the logo in the logo storage unit 155 to determine whether they match.
  • the additional service manager 130 may perform the comparison based on the character recognition. That is, the additional service manager 130 may compare the characters recognized from the extracted logo with the characters recognized from the logo in the logo storage unit 155 to determine whether they match.
  • the additional service manager 130 may perform the comparison based on the shape of the outline of the logo. That is, the additional service manager 130 may compare the contour shape of the extracted logo with the contour shape of the logo in the logo storage unit 155 to determine whether there is a match.
  • FIG. 11 is a hierarchical diagram of an additional service management unit according to an embodiment of the present invention.
  • the additional service manager 130 may include an operating system 131a, an audio driver 132a, a video driver 133a, and a network driver 134a.
  • the user does not need to recognize the channel or the content at all, and the ACR operation may always be performed.
  • the additional service manager 130 may access an application store and download an application through the data transceiver 141.
  • the audio driver 132a can access the audio buffer used for the audio fingerprint or audio watermark.
  • the video driver 133a may access a video buffer used for the video fingerprint or video watermark.
  • the network driver 134a allows the ACR engine 136a to access the data transceiver 141.
  • the ACR platform API 135a provides an API that allows the ACR engine 136a to access the audio driver 132a, the video driver 133a, and the network driver 134a.
  • the video display device 100 may mount a plurality of ACR engines 136a. That is, the video display device 100 may include an ACR engine for one or more of a plurality of video watermark extraction algorithms, a plurality of audio watermark extraction algorithms, a plurality of video signature extraction algorithms, and a plurality of audio signature extraction algorithms. .
  • the watermark based ACR engine 136a may extract watermark information to obtain one or more of watermark usage, content information, additional service information, and available additional services from the extracted watermark information.
  • the fingerprint-based ACR engine 136a may extract feature information of a portion of the main audio and video content and obtain one or more of content information, additional service information, and available additional services based on the extracted feature information.
  • An ACR daemon 137a manages one or more ACR engines 136a. Daemons are those that continue to run to service periodic service requests. The daemon properly forwards the collected requests to another program or service.
  • the ACR daemon 137a may manage the execution and termination of the ACR engine 136a.
  • the ACR daemon 137a searches for an ACR engine that matches the current main audio and video content among the plurality of ACR engines 136a. In particular, when a plurality of ACR engines are executed to consume a lot of system resources, the ACR daemon 137a sequentially executes the plurality of ACR engines 136a one by one according to a specific rule or priority to determine whether content recognition is successful. Can be.
  • the ACR daemon 137a may acquire and execute the ACR application 139a corresponding to the additional service for the recognized content. If the ACR engine 136a is successfully performing content recognition and can no longer recognize the content due to a channel change or the like, the ACR daemon 137a may terminate the ACR application 139a.
  • ACR middleware 138a serves as a browser for one or more ACR applications 139a.
  • the ACR application 139a may provide the user with an enhanced user experience with the help of ACR.
  • the ACR application 139a may be an application that can be downloaded from an application store or the Internet, or may simply be a Uniform Resource Locator (URL).
  • the ACR application 139a may provide a program specific service or a content provider specific service such as a content target advertisement, a content provider portal service, an electronic program guide (EPG) service, or the like.
  • EPG electronic program guide
  • the ACR application 139a receives content information or signatures from the ACR engine 136a while interacting with the ACR engine 136a through the ACR application interface of the ACR middleware 138a and adds an additional service corresponding to the content information or signatures. Can be obtained and reproduced in the playback device 120.
  • the ACR application interface available to the ACR application 139a is shown in Table 3 below.
  • FIG. 12 is a flowchart illustrating an operation of an additional service manager according to an embodiment of the present invention.
  • the ACR daemon 137a is connected to at least one ACR engine 136a.
  • operation S401 content information of main audio and video content broadcast in the tuned channel is obtained.
  • the ACR daemon 137a obtains an available additional service related to the content information (S403).
  • the ACR daemon 137a executes the acquired additional service in the background (S405).
  • the ACR daemon 137a displays a color button on the display 121 to inform the user that an additional service is available (S407).
  • the ACR daemon 137a When the ACR daemon 137a receives the use of the supplementary service, the ACR daemon 137a reproduces the supplementary service, which has been executed in the background, to the playback device 120 (S409).
  • the ACR daemon 137a recognizes the change through one or more ACR engines 136a and ends the additional service (S411).
  • FIG. 13 is a hierarchical diagram of an additional service manager according to an embodiment of the present invention.
  • the additional service manager 130 may include an operating system 131b, an audio driver 132b, a video driver 133b, and a network driver 134b.
  • the user needs to recognize a channel or content, but the number of queries for ACR may be reduced, thereby reducing the burden on the server.
  • the audio driver 132b, the video driver 133b, the network driver 134b, the ACR platform API 135b, the plurality of ACR engines 136b, and the ACR middleware 138b in the additional service manager 130 of FIG. The same as the audio driver 132a, the video driver 133a, the network driver 134a, the ACR platform API 135a, the plurality of ACR engines 136a, and the ACR middleware 138a in the 11 additional service manager 130.
  • a similar function is omitted, a detailed description thereof will be omitted.
  • An ACR engine manager 137b manages a list of one or more ACR engines 136b and provides a selection interface of the ACR engine 136b to the ACR application 139b.
  • the ACR application 139b may provide the user with an enhanced user experience with the help of ACR.
  • the ACR application 139b may be an application that can be downloaded from an application store or the Internet, or may simply be a Uniform Resource Locator (URL).
  • the ACR application 139b may provide a program specific service or a content provider specific service such as a content target advertisement, a content provider portal service, an electronic program guide (EPG) service, or the like.
  • the ACR application 139b may select the ACR engine 136b to use while interacting with the ACR engine manager 137b via the ACR application interface of the ACR middleware 138b. To this end, the ACR application interfaces available to the ACR application 139b are shown in Tables 4 and 5 below.
  • the ACR application 139b can control the ACR engine 136b while interacting with the ACR engine 136b through the ACR application interface of the ACR middleware 138a, and receives content information or signatures from the ACR engine 136b.
  • An additional service corresponding to the content information or the signature may be additionally acquired and reproduced by the reproduction device 120.
  • the ACR application interface available to the ACR application 139b is shown in Table 6 below.
  • FIG. 14 is a flowchart illustrating an operation of an additional service manager according to an embodiment of the present invention.
  • the video display device 100 Even if the power of the broadcast receiving device 60 and the video display device 100 is turned on and the external input port 111 of the video display device 100 is selected, the video display device 100 before the execution of the ACR application 139b. The automatic content recognition operation is not performed.
  • the ACR application 139b When the channel related ACR application 139b is executed by a user who recognizes the channel of the main audiovisual content, the ACR application 139b sends information about the ACR engine 136a used by the ACR engine manager ( 137b) to query and receive (S501).
  • the ACR application 139b starts the ACR engine 136b that it uses (S503), and acquires content information through the ACR engine 136b (S505).
  • the ACR application 139b obtains an available additional service related to the main audio and video content through the obtained content information (S507), and displays a color button on the display 121 to inform the user that the additional service is available (S507). S509).
  • the ACR application 139b When the ACR application 139b receives the use of the supplementary service from the user, the ACR application 139b reproduces the supplementary service to the reproduction device 120 (S511).
  • the ACR middleware 138b When the ACR middleware 138b receives a user input regarding the termination of the ACR application 139b, the ACR middleware 138b terminates the ACR application 139b (S513).
  • 15 is a hierarchical diagram of an additional service manager according to an embodiment of the present invention.
  • the additional service manager 130 may include an operating system 131c, an audio driver 132c, a video driver 133c, and a network driver 134c.
  • the user needs to recognize a channel or content, but the number of queries for ACR may be reduced, thereby reducing the burden on the server.
  • the audio driver 132c, the video driver 133c, the network driver 134c, the ACR platform API 135c, and the ACR middleware 138c in the additional service manager 130 of FIG. 15 are the additional service manager 130 of FIG. Since the audio driver 132a, the video driver 133a, the network driver 134a, the ACR platform API 135a, and the ACR middleware 138a respectively perform the same or similar functions, detailed description thereof will be omitted.
  • the ACR engine 136c extracts feature information from some frames or a section of audio samples of the main audiovisual content and transmits a query including the extracted feature information to an ACR coordination server (not shown).
  • the ACR coordination server may send a fingerprint server address in response to this query.
  • the ACR coordination server may transmit content information corresponding to the feature information together with the fingerprint server address.
  • the ACR application 139c When the ACR application 139c receives the fingerprint server address from the ACR engine 136c, the ACR application 139c directly transmits a query including the feature information extracted by the ACR engine 136c to the fingerprint server corresponding to the fingerprint server address. To this end, the ACR application interfaces available to the ACR application 139c are shown in Table 11.
  • Table 12 shows an example of a fingerprint sample code using the ACR application interface.
  • 16 is a flowchart illustrating an operation of an additional service manager according to an embodiment of the present invention.
  • the ACR engine 136c When the power of the broadcast receiving device 60 and the video display device 100 is turned on and the external input port 111 of the video display device 100 is selected, the ACR engine 136c performs some frames or some sections of the main audio and video content.
  • the feature information is extracted from the audio samples of the ACR coordination server (not shown), and the query including the extracted feature information is transmitted (S601).
  • the ACR engine 136c receives the fingerprint server address in response to this query (S603).
  • the ACR application 139c obtains a fingerprint server address from the ACR engine 136c using the getACRBackend () method (S605).
  • the ACR application 139c obtains feature information of some video frame sections or some audio sections of the main audio and video content from the ACR engine 136c by using the getSignature () method (S607).
  • the ACR application 139c transmits a query including the acquired feature information to the fingerprint server corresponding to the obtained fingerprint server address (S609).
  • the ACR application 139c receives content information in response to this query (S611).
  • the ACR application 139c obtains an available additional service based on the received content information (S613), and displays a color button on the display 121 to inform the user that the additional service is available (S615).
  • the ACR application 139c When the ACR application 139c receives the use of the additional service from the user, the ACR application 139c reproduces the additional service to the reproduction device 120 (S617).
  • the ACR middleware 138c When the ACR middleware 138c receives a user input regarding the termination of the ACR application 139c, the ACR middleware 138c terminates the ACR application 139c (S619).
  • 17 is a hierarchical diagram of an additional service management unit according to an embodiment of the present invention.
  • the additional service manager 130 may include an operating system 131d, an audio driver 132d, a video driver 133d, a network driver 134d, and an ACR platform API. 135d, one or more ACR engines 136d, an ACR engine manager 137d, an application manager 138d, and one or more ACR applications 139d.
  • the user does not need to recognize the channel or the content at all, and the ACR operation may always be performed.
  • the ACR engine manager 137d checks the ACR engine 136d that matches the main audiovisual content received from the external input port 111, and confirms the ACR engine 136d that matches the application 139d. do. In this case, the ACR engine manager 137d may control the plurality of ACR engines 136d so that the plurality of ACR engines 136d may perform watermark extraction or query transmission simultaneously or sequentially. The ACR engine management unit 137d may control the plurality of ACR engines 136d with priority. If any one of the plurality of ACR engines 136d succeeds in recognizing the main audio and video content, the ACR engine manager 137d sleeps the remaining ACR engines and obtains content information of the main audio and video content from the operating ACR engine.
  • the application manager 138d interacts with the ACR engine manager 137d to control the creation, start, stop, sleep, and termination of the ACR application.
  • the ACR application 139d may be a built-in application.
  • the ACR application 139d may control the ACR engine 136b through a function as shown in Table 13 below.
  • FIG. 18 is a flowchart illustrating an operation of an additional service manager according to an embodiment of the present invention.
  • the ACR engine manager 137d receives the signal from the external input port 111.
  • the ACR engine 136a matching the main audio and video content is checked (S701).
  • the ACR engine management unit 137d may control the plurality of ACR engines 136a to allow the plurality of ACR engines 136a to perform watermark extraction or query transmission simultaneously or sequentially.
  • the ACR engine manager 137d may control the plurality of ACR engines 136a with priority.
  • the ACR engine manager 137d sleeps the remaining ACR engines (S702) and acquires the content information of the main audio and video content from the operating ACR engine. (S703).
  • the ACR engine manager 137d checks the available applications related to the content information (S704), and requests the application manager 138d to execute the checked application 139d.
  • the application manager 138d executes the confirmed application 139d in the background (S705).
  • the application 139d executed in the background displays a color button on the display 121 to inform the user that an additional service is available (S707).
  • the application 139d executed in the background receives the use of the additional service from the user, the additional service is reproduced in the reproduction device 120 (S709).
  • the ACR engine manager 137d checks the ACR engine 136a matching the application 139d, and checks the identified ACR engine 136a and the application 139d. Connect (S711). At this time, the ACR engine management unit 137d may control the plurality of ACR engines 136a to allow the plurality of ACR engines 136a to perform watermark extraction or query transmission simultaneously or sequentially.
  • the application manager 138d When the application manager 138d receives a user input for terminating the application 139d (S712), the application manager 138d terminates the application 139d (S713).
  • 19 is a flowchart illustrating a method of synchronizing a play time of a main audio and video content and a play time of an additional service according to an embodiment of the present invention.
  • the additional service information may include a start time of the additional service.
  • the video display device 100 needs to start an additional service at this start time.
  • the criterion of the playback time of the main audio and video content and the start time of the additional service are different from each other.
  • the video display device 100 receives the main audio and video content having time information, the criterion of the reproduction time of the main audio and video content and the start time of the additional service may be different from each other, such as rebroadcast. Therefore, the video display device 100 needs to synchronize the reference time of the main AV content with the reference time of the additional service. In particular, the video display device 100 needs to synchronize the playback time of the main AV content with the start time of the additional service.
  • the additional service manager 130 extracts a partial section of the main audio and video content (S801). Some sections of the main audio and video content may include one or more of some video frames and some audio sections of the main audio and video content.
  • Tn The time at which the additional service manager 130 extracts a part of the main AV content.
  • the additional service manager 130 obtains content information of the main AV content based on the extracted section (S803).
  • the additional service manager 130 may obtain content information by decoding information encoded with an invisible watermark in the extracted section.
  • the additional service manager 130 extracts feature information of the extracted section and obtains content information of the main AV content from the fingerprint server 22 or the content information storage unit 151 based on the extracted feature information. Can be.
  • the time that the additional service manager 130 acquires the content information is called Tm.
  • the content information includes the start time Ts of the extracted section.
  • the additional service manager 130 synchronizes the playback time of the main AV content with the start time of the additional service based on the time Ts, the time Tm, and the time Tn after the content information acquisition time Tm (S805). ).
  • the additional service manager 130 regards the content information acquisition time Tm as the time Tp calculated in Equation 1 below.
  • the additional service manager 130 may regard the time elapsed from the content information acquisition time as Tp + Tx.
  • the additional service manager 130 obtains an additional service and a start time Ta of the additional service based on the acquired content information (S807).
  • the additional service manager 130 starts the acquired additional service (S809).
  • the additional service manager 130 may start the additional service when the following Equation 2 is satisfied.
  • 20 is a conceptual diagram illustrating a method of synchronizing a play time of a main audio and video content and a play time of an additional service according to an embodiment of the present invention.
  • the video display device 100 extracts an audiovisual sample at a system time Tn.
  • the video display device 100 extracts feature information from the extracted audiovisual sample, and transmits a query including the extracted feature information to the fingerprint server 22 to receive a query result.
  • the video display device 100 checks at time Tm that the start time Ts of the audiovisual sample obtained by parsing the query result corresponds to 11000 ms.
  • the video display device regards the time point at which the start time of the audiovisual sample extracted according to Equation 1 is regarded as Ts + (Tm-Tn), and can synchronize the play time of the main audio and video content with the start time of the additional service thereafter. .
  • An ACR application may include an automatic playback application, a content provider application, a video display device manufacturer application, and the like.
  • 21 shows an execution screen of an auto play application according to an embodiment of the present invention.
  • the autoplay application automatically plays the supplementary service even if the user takes no action.
  • the auto-play application is also referred to herein as a lean back application.
  • the auto play application automatically plays additional services such as scene association information provided by the content provider or the broadcaster during the reproduction of the main audio and video content without user input according to the reproduction time of the main audio and video content. That is, the content provider or broadcaster totally controls the autoplay application.
  • the screen 200 may include a sub screen 210 on which the reduced main audio and video content is played and a sub screen 220 on which additional information is displayed.
  • the sub screen 220 on which the additional information is displayed may be spatially divided from the sub screen 210 on which the main audio and video content is played.
  • the area where the additional information is displayed may be translucent.
  • the region where the additional information is displayed may be overlaid on the region where the main audio and video content is played.
  • FIG. 22 shows an execution screen of a content provider application according to an embodiment of the present invention.
  • the content provider application may also be referred to as a full interactive application.
  • the video display device 100 may download and store a plurality of applications.
  • 22A illustrates icons 230 of a plurality of applications.
  • the content provider application is an application produced and distributed by the content provider, and thus may be under the control of the content provider.
  • the user of the video display device 100 may download the content provider application from the application store, and determine to execute the downloaded content provider application.
  • the screen 200 includes a sub screen 210 on which the reduced main AV content is played, a sub screen 220 on which additional information is displayed, and a sub screen on which a menu is displayed. can do.
  • the video display device manufacturer application may be produced by the video display device manufacturer, controlled by the video display device manufacturer, and stored in advance in the production of the video display device 100. That is, the video display device manufacturer application may provide the same service regardless of the content provider or the content, and may provide the same user interface regardless of the content provider or the content.
  • the video display device manufacturer application may separately have an area in which an additional service provided by a content provider is displayed and an area in which an additional service provided by the video display device manufacturer is displayed.
  • the image display device manufacturer application may be determined by a user of the image display device 100.
  • the video display device manufacturer application may have two types.
  • the first type of video display device manufacturer application has a resizing user interface.
  • the video display device manufacturer application having the resizing user interface allows the entire contents of the main audio and video content to be displayed within the reduced area of the area where the main audio and video content is displayed.
  • a video display device manufacturer application having a resizing user interface makes the area in which the application is displayed to have an L or Inverse-L structure.
  • the second type of video display device manufacturer application has an overlay user interface.
  • a video display device manufacturer application having an overlay user interface superimposes the area where the application is displayed on the main audiovisual content while maintaining the size of the area where the main audiovisual content is displayed. Since the area where the application is displayed hides the main audiovisual content, the application area may be translucent.
  • FIG. 23 illustrates a screen on which a video display device manufacturer application having a resizing user interface is executed according to an embodiment of the present invention.
  • a screen 300 on which a video display device manufacturer application having a resizing user interface according to an exemplary embodiment of the present invention is executed may include a main audio and video content area 310 in which main audio and video content is displayed, and a main screen.
  • Main menu area 320 for displaying a menu for displaying a menu
  • notification area 330 for displaying a notification message for displaying a notification message
  • control button area 340 for displaying control buttons for controlling an image display device manufacturer application
  • sub menu for displaying a sub menu.
  • the control button area 340 includes an end button 341 of the video display device manufacturer application, a hide button 342 of the video display device manufacturer application, and a back button 343 for returning to previous information.
  • the main audio and video content area 310 is located at the upper left of the screen 300, and the main menu area 320 and the notification area 330 are provided.
  • the control button area 340 is located at the top right
  • the sub-menu area 350 is located between the control button area 340 and the additional information area 360
  • the advertisement area 370 is located at the lower right side
  • the additional information area 360 is located between the sub menu area 350 and the advertisement area 370, but their positions may be variously changed.
  • FIG. 24 illustrates a screen on which a video display device manufacturer application having an overlay user interface according to an embodiment of the present invention is executed.
  • the screen 300 on which the video display device manufacturer application having the overlay user interface according to an embodiment of the present invention is executed is main.
  • a main audio and video content area 310 in which audio-visual content is displayed, a main menu area 320 in which a main menu is displayed, a notification area 330 in which a notification message is displayed, and a control button for controlling a video display device manufacturer application is displayed.
  • the control button area 340 includes a sub menu area 350 on which a sub menu is displayed, an additional information area 360 on which additional information is displayed, and an advertisement area 370 on which an advertisement is displayed.
  • the main audio and video content area 310 is located at the upper left of the screen 300, and the main menu area 320 and the notification area 330 are provided.
  • the control button area 340 is located at the upper right
  • the sub-menu area 350 is located between the control button area 340 and the additional information area 360
  • the area 370 is located at the lower right side
  • the additional information area 360 is located between the sub-menu area 350 and the advertising area 370, but their positions may be variously changed.
  • the video display device manufacturer application receives the necessary information from the ACR engine built in the video display device 100. There are two types of menus according to characteristics.
  • the first type of menu is for time insensitive side services. That is, when a menu related to an additional service that is not sensitive to time is selected, the video display device 100 obtains an identifier of the main audio and video content being played on the screen, and acquires the additional service based on the obtained identifier. The added additional service is displayed on the additional information area 360. Examples of value-added services that are not time sensitive include titles, genres, actors, directors, ratings of others, short clips, and short explanations. Through this basic information, the video display device 100 may search for additional information, link with a social network service such as Facebook or Twitter, or provide a recommendation service and an associated advertisement.
  • a social network service such as Facebook or Twitter
  • the second type of menu is for time sensitive side services. That is, when a menu related to a time-sensitive additional service is selected, the video display device 100 obtains the identifier and playback time information of the main audio and video content being played on the screen, and based on the obtained identifier and playback time information Acquires an additional service sensitive to the information and displays the obtained additional service in the additional information area 360.
  • a main menu of a video display device manufacturer application includes a program menu, an information menu, a social menu, a recommendation menu, and a catalog menu.
  • the time insensitive menu is an information menu
  • a social menu is an information menu
  • a recommendation menu is a catalog menu
  • a time sensitive menu is a program menu. Even if a time-sensitive menu is selected, a time-sensitive application may be invoked.
  • other main menus can be added. When each main menu is selected, a sub menu of the selected main menu appears in the sub menu area 350.
  • 25 is a flowchart illustrating a method of executing a video display device manufacturer application according to an embodiment of the present invention.
  • the video display device 100 presses a specific key, shakes the motion remote control downward, and moves the cursor of the motion remote control to the bottom of the screen to display an application selection menu.
  • the video display device 100 displays an application selection menu as shown in FIG. 26 (S903).
  • FIG. 26 illustrates a screen on which an application selection menu is displayed according to an embodiment of the present invention.
  • the application selection menu 380 is located at the bottom of the screen 300.
  • the application selection menu 380 may be translucent.
  • the application selection menu 380 includes execution icons of a plurality of applications installed in the video display device 100. One of the displayed execution icons corresponds to the execution icon of the video display device manufacturer application.
  • the video display device 100 When the video display device 100 receives a user input corresponding to selection of an icon of the video display device manufacturer application through manipulation of the left and right arrow keys of the remote controller or movement of the cursor according to the movement of the motion remote controller (S905), the video display device ( In operation S907, the image display device manufacturer application is executed. This allows the user to watch the main audiovisual content and launch the application immediately without the app store access as desired.
  • the main menu of the video display device manufacturer application is displayed.
  • the program menu is selected as default and the submenu of the program menu appears in the submenu area 350.
  • the entire submenu is selected by default.
  • the focus is on the entire submenu.
  • the additional service displayed in the additional information area 360 is automatically updated. Returning to the previous menu is done via the ⁇ -button, and closing the video display manufacturer application and returning to full screen is done via the X button.
  • the program main menu is a menu for displaying, in the additional information area 360, an application associated with time with the main audio and video content being played. Additional service information for launching an application linked with main AV content may be provided by a content owner such as a TV broadcaster.
  • the video display device 100 interprets the additional service information and displays the corresponding application in the additional information area 360 at an appropriate timing.
  • the UI shown on the screen is shown below.
  • the program menu has an All submenu, a Participation submenu, and a Discovery submenu.
  • the entire submenu is a menu in which all applications related to the participating submenu and the discovery submenu are displayed in the additional information area 360.
  • the participation submenu is a menu in which an application for inducing program participation, such as voting in a program, appears.
  • the discovery submenu is a menu in which an application such as scene association information appears.
  • the submenu of the program menu may be added or changed according to the content of the application desired by the content owner.
  • FIG. 27 is a diagram illustrating a screen when an entire submenu of a program main menu of a video display device manufacturer application is selected according to an exemplary embodiment of the present invention.
  • the video display device 100 displays all the applications related to the participating submenu and the discovery submenu in the additional information area 360.
  • the video display device 100 displays an application or an event synchronized with a specific time in the additional information area 360.
  • the video display device 100 may leave the additional information area 360 empty. However, since the empty space may not cause the user to induce additional interaction, when there is no application synchronized at a specific time, the video display device 100 collects the history of applications or events generated before that time. Can also be displayed.
  • the user may view the main audiovisual content and have an intention of executing an interactive application associated with the main audiovisual content.
  • an interactive application associated with the main audiovisual content.
  • the video display device 100 displays a notification message for this in the notification area 330, so that the user at the broadcaster at the present time. It can tell you that there is a specific event to send.
  • the video display device 100 displays a notification message in the notification area 330.
  • the video display device 100 receives a user input corresponding to pressing the Go To button, the video display device 100 enters a sub-menu related to the generated time coordinated application, and displays the generated time coordinated application in the additional information area 360. Display on.
  • the notification message may be a text message. Also, the video display device 100 may display the amount of the delivered application numerically. The notification message may be delivered to the viewer in a push manner.
  • FIG. 28 is a diagram illustrating a screen when a participation submenu of a program main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 displays an application for inducing viewer participation such as voting in the additional information area 360.
  • the video display device 100 displays it in the additional information area.
  • the video display device 100 may display a voting question and a voting result.
  • the video display device 100 may provide not only the current time event but also the past viewer participation event at the bottom of the current time event to provide convenience to the user.
  • FIG. 29 is a diagram illustrating a screen when a discovery submenu of a program main menu of an image display device manufacturer application is selected according to an exemplary embodiment of the present invention.
  • the video display device 100 displays all the time-linked applications other than the viewer participation application in the additional information area 360.
  • the video display device 100 may display scene related information about a product or a place shown in the main audio and video content.
  • the video display device 100 may display past scene association information together with current scene association information.
  • the video display device 100 may display a notification that there is a time-linked application or an event on the sub menu. For example, when a viewer participation application occurs, the video display device 100 may induce a user's participation by displaying a blinking icon N on the participation submenu. If the user does not respond to the notification for a predetermined time, the video display device 100 may remove the notification.
  • An information main menu is an area that is not time sensitive and does not act as a UI that automatically appears and disappears at certain times, like the UI of a program main menu.
  • the time-linked application as described above may also be displayed through this menu, but if a main menu other than the program main menu is selected, a secondary service such as a search service or a tweeter service may be linked.
  • the information main menu has a search submenu, a tweeter submenu, and a news submenu.
  • FIG. 30 is a flowchart illustrating a search method according to an embodiment of the present invention.
  • the video display device 100 extracts a partial section of the main audio and video content and obtains content information based on the extracted section (S1001).
  • the video display device 100 obtains a search list including a plurality of search items corresponding to an additional service based on the acquired content information. (S1003).
  • the search list may include one or more of a genre, actor, director, place, product.
  • the video display device 100 displays the search list in the additional information area 360 (S1007).
  • An example of display of the search list will be described with reference to FIG. 30.
  • FIG. 31 is a diagram illustrating a screen when a search submenu of an information main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the search list includes a person of main audiovisual content.
  • the video display device 100 may display one or more of a picture or a name of a search item in the additional information area 360.
  • the video display device 100 searches for information on the selected search item (S1011).
  • the video display device 100 may use an internet search engine such as Google.
  • the video display device 100 may use information such as tribune media or IMDb.
  • the video display device 100 displays the retrieved information in the additional information area 360 (S1013). Search results are automatically loaded programmatically via the service provider's Open API, which saves considerable time for screen design. An example of display of the search information will be described with reference to FIG. 32.
  • FIG. 32 is a diagram illustrating another screen when a search sub menu of an information main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 displays a search result for the selected search item in the additional information area 360. Meanwhile, the video display device 100 may arrange a twitter button and an edit button in the additional information area 360 to follow an actor's Twitter or to edit a profile such as another actor's appearance or a biography. have.
  • information related to the main audio and video data may be searched through a single click, thereby reducing the trouble of inputting a search word.
  • FIG. 33 is a flowchart illustrating a chat window display method according to an embodiment of the present invention.
  • the video display device 100 extracts a partial section of the main audio and video content and obtains content information based on the extracted section (S1101).
  • the video display device 100 When the Twitter submenu of the information main menu of the video display device manufacturer application is selected (S1102), the video display device 100 obtains a Twitter chat list corresponding to an additional service based on the acquired content information (S1103).
  • the video display device 100 may write a program name on the hashtag of Twitter to bring up a Twitter chat list related to this program only. This chat list will be updated in real time in conjunction with Twitter.
  • the video display device 100 displays a chat window in the Twitter chat list in the additional information area 360 through user selection or automatically (S1107).
  • An example of the display of the chat window will be described with reference to FIG. 34.
  • FIG. 34 is a diagram illustrating one screen when a twitter submenu of an information main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 may display a chat window in the additional information area 360 to support a chat between viewers watching the same program.
  • the programmer may actually write a message directly in the chat room.
  • the video display device 100 is a device having a log in mechanism such as a smart TV, when entering the menu, the user of the video display device 100 may be logged in and start chatting immediately with his id. .
  • the video display device 100 may simply display a chat message.
  • the video display device 100 is linked with a 2nd device such as a smart phone or a tablet, a message may be input through the input device of the 2nd device.
  • the information contained in the hashtag is basically a program name, but it can also be selected as a tag such as actor or director, which is the basic information described above, so that the user can selectively participate in the chat of the subject.
  • 35 is a flowchart illustrating a news acquisition method according to an embodiment of the present invention.
  • the video display device 100 extracts a partial section of the main audio and video content, and obtains content information based on the extracted section (S1201).
  • the video display device 100 obtains news corresponding to an additional service based on the acquired content information (S1203).
  • the news may or may not be related to the main audiovisual content.
  • the news may be provided by the broadcaster of the main audio and video content. If the broadcaster does not provide news through the Open API, the video display device 100 may receive the news through a news feed of an Internet service such as Google or Yahoo.
  • the video display device 100 displays the obtained news in the additional information area 360 (S1207). An example of displaying a news will be described with reference to FIG. 36.
  • 36 is a screen when a news submenu of an information main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 may display the acquired news in the additional information area 360.
  • the social main menu is an area that is not time sensitive and does not act as a UI that automatically appears and disappears at certain times, like the UI of a program main menu.
  • the time-linked application as described above may also be displayed through this menu, but if a main menu other than the program main menu is selected, a secondary service such as Facebook may be linked.
  • the social main menu has a viewer list submenu and a crush display submenu.
  • FIG. 37 is a flowchart illustrating a method of displaying a viewer list according to an embodiment of the present invention.
  • the video display device 100 extracts a partial section of the main audio and video content and obtains content information based on the extracted section (S1301).
  • the video display device 100 may determine whether to view the friend list and the main audio and video content of each friend based on the acquired content information. To obtain (S1303).
  • the video display device 100 may acquire a list of friends who watch main AV content in association with a social network service such as a facebook.
  • the video display device 100 displays the obtained viewer list in the additional information area 360 (S1307). An example of display of the viewer list will be described with reference to FIG. 38.
  • FIG. 38 illustrates a screen when a viewer list submenu of a social main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 may display, in the additional information area 360, pictures and names of viewers corresponding to the acquired viewer list.
  • the video display device 100 may display a list of friends along with whether or not to view them, or may display only a list of friends who are watching.
  • the video display device 100 checks whether the selected friend is watching the main AV content (S1311).
  • the video display device 100 displays a chat window with the selected friend in the additional information area 360 (S1313).
  • the video display device 100 transmits a message for recommending the viewing of the main audio and video content to the email or mobile phone of the selected friend (S1315). Even if the selected friend is not watching the main audio and video content, the video display device 100 may display a chat window with the selected friend in the additional information area 360.
  • the user may use a remote controller of the video display device 100, an input device of a 2nd device connected to the video display device 100, and a social network service of a smartphone regardless of the video display device 100.
  • a chat screen of a social network service may be displayed on the screen of the video display device 100.
  • the button to rate the program allows the user to communicate his or her wishes to friends. For example, Facebook's "Like" button lets a user know that they are watching main audiovisual content, or encourages a friend not to watch the main audiovisual content.
  • the video display device 100 may automatically determine who is watching what program using the ACR technology through the viewer list submenu. User login is required to see who is watching. When an account for logging in to the video display device 100 is registered, the video display device 100 may automatically log in each time it is turned on, so the video display device 100 may determine who is watching the main audio and video content. Can be.
  • 39 is a view illustrating a signal flow in which a video display device obtains a friend list and viewing information according to an embodiment of the present invention.
  • the identifier of the main audio and video content A and the friend A's identifier are transmitted to the SNS providing server 75 (S1401).
  • the video display device of friend B if it is playing the main audio and video content A, it transmits the identifier of the main audio and video content A and the friend B to the SNS providing server 75 (S1403).
  • the video display device 100 If the video display device 100 is playing the main audio and video content A, the video display device 100 transmits the user's ID and the identifier of the main audio and video content A to the SNS providing server 75 in operation S1405.
  • the SNS providing server 75 checks the friend list of the video display device 100 and information on whether the main audio and video content of each friend is watched based on the friend relationship information and the received content identifier, and displays the confirmed information on the video. Provided to the device 100 (S1407).
  • FIG. 40 is a view illustrating a signal flow for acquiring a friend list and viewing information by the video display device according to another embodiment of the present invention.
  • the identifier of friend A is transmitted to SNS providing server 75 (S1501), and the main audio and video is transmitted to ACR server 77.
  • the content A is transmitted (S1503).
  • the ACR server 77 may be one of the watermark server 21, the fingerprint server 22, the additional service information providing server 40, and the additional service providing server 50.
  • the identifier of the friend B is transmitted to the SNS providing server 75 (S1505), and the main audio and video content A is transmitted to the ACR server 77 ( S1507).
  • the video display device 100 transmits the user's ID to the SNS providing server 75 in operation S1509.
  • the SNS providing server 75 provides a friend list corresponding to the user's ID to the ACR server 75 (S1511).
  • the video display device 100 transmits the identifier of the main audio and video content A to the ACR server 77 (S1513).
  • the ACR server 75 checks the friend list of the video display device 100 and the information on whether the main audio and video content of each friend is watched based on the friend list corresponding to the user's ID and the content identifier, and checks the confirmed information. It is provided to the video display device 100 in operation S1515.
  • 41 is a flowchart illustrating a crush display method according to an embodiment of the present invention.
  • the video display device 100 extracts a partial section of the main audio and video content and obtains content information based on the extracted section (S1601).
  • the video display device 100 obtains a crush display list including a plurality of crush display items based on the acquired content information (S1602). S1603).
  • the crush display item may include a preview or a preview address.
  • the preview may be an image or a video of short length.
  • the preview may be provided directly by the broadcaster through the Open API, may be obtained a search engine of the Internet service, or may be obtained by extracting only a necessary portion from the broadcaster's Internet server. An image corresponding to a core scene of several minutes may be provided, or only one image may be provided to a program.
  • the video display device 100 displays the obtained likelihood display list in the additional information area 360 (S1607).
  • An example of display of the viewer list will be described with reference to FIG. 42.
  • FIG. 42 illustrates a screen when a crush display submenu of a social main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 may display previews of the crush display list and 'Like it' buttons for crush display in the additional information area 360.
  • the video display device 100 posts a preview and a simple text corresponding to the selected crush display item to an SNS such as a facebook (S1611).
  • the simple text may be automatically generated, input by a remote controller, or input via a 2nd device input device.
  • the recommended main menu is an area that is not time sensitive and does not act as a UI that automatically appears and disappears at any particular time, like the UI of a program main menu.
  • the time-linked application as described above may also be displayed through this menu, but when the recommended menu is selected, other services may be linked.
  • the recommended main menu has a previous episode submenu, a VOD submenu, and an application submenu.
  • 43 is a flowchart illustrating a digital media download method according to an embodiment of the present invention.
  • the video display device 100 extracts a partial section of the main audio and video content and obtains content information based on the extracted section (S1701).
  • the video display device manufacturer application obtains a digital media list based on the acquired content information (S1703). If the previous episode submenu is selected, the video display device 100 obtains a previous episode list. When the VOD submenu is selected, the video display device 100 obtains a VOD list associated with the main audiovisual content or recommended by the provider of the main audiovisual content. When the application sub menu is selected, the video display device 100 obtains a list of applications related to the main audio and video content or recommended by the provider of the main audio and video content.
  • the digital media list may include a preview or preview address, an icon, and an associated image.
  • the video display device manufacturer application displays the acquired digital media list in the additional information area 360 (S1707).
  • 44 is a screen illustrating a case where a previous episode sub-menu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 displays previews and titles of a previous episode list in the additional information area 360. As described above, according to the exemplary embodiment of the present invention, the video display device 100 may automatically search for and display the previous episode without user's manipulation.
  • 45 is a screen illustrating a case where a VOD submenu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 displays previews and titles of the VOD list in the additional information area 360.
  • the video display device 100 may automatically search for and display the VOD related to the main audio and video content without a user's manipulation.
  • FIG. 46 illustrates a screen when an application submenu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 displays icons and application names of an application list in the additional information area 360.
  • the video display device 100 may automatically search for and display an application related to the main AV content without a user's manipulation.
  • the video display device manufacturer application downloads the digital media corresponding to the selected item (S1711). In this case, after charging, the video display device 100 may download the digital media. If the selected item is a previous episode or a VOD, the video display device 100 may play the downloaded digital media. If the selected item is an application, the video display device 100 may execute the downloaded application automatically or through user selection.
  • the video display device 10 may download the digital media through a simple operation.
  • the catalog main menu is an area that is not time sensitive and does not act as a UI that automatically appears and disappears at any particular time, like the UI of a program main menu.
  • the time-linked application as described above may also be displayed through this menu, but when the catalog menu is selected, other services may be linked.
  • the catalog main menu has a style submenu, a music submenu, and other submenus.
  • 47 is a flowchart illustrating a catalog display method according to an embodiment of the present invention.
  • the video display device 100 extracts a partial section of the main audio and video content and obtains content information based on the extracted section (S1801).
  • the video display device manufacturer application obtains a catalog list based on the acquired content information (S1803).
  • the style submenu is selected, the video display device 100 obtains a catalog list for clothes related to the main audiovisual content or recommended by the provider of the main audiovisual content.
  • the music submenu is selected, the video display device 100 obtains a catalog list for music related to the main audiovisual content or recommended by the provider of the main audiovisual content.
  • the video display device 100 obtains a catalog list for a product or a place related to the main audiovisual content or recommended by the provider of the main audiovisual content.
  • the digital media list may include related images, price information, descriptions, and coupons.
  • the coupon may be in the form of a number or a QR code.
  • the video display device 100 may display the coupon only while the main audio and video content is being viewed, the video display device 100 may store the coupon in the memory 150 for the user to use it later.
  • the video display device manufacturer application displays the obtained catalog list in the additional information area 360 (S1807).
  • a display example of the clothing catalog list will be described with reference to FIG. 48.
  • FIG. 48 is a screen illustrating a case where a style submenu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 displays maker information, price information, and description information of clothing related to the main audio and video content in the additional information area 360. As described above, according to the exemplary embodiment of the present invention, the video display device 100 may automatically search for and display the clothing catalog related to the main audio-visual content without user manipulation.
  • FIG. 49 illustrates a screen when a music sub menu of a recommended main menu of a video display device manufacturer application is selected according to an embodiment of the present invention.
  • the video display device 100 displays singer information, price information, and description information of music related to the main AV content in the additional information area 360.
  • the video display device 100 may automatically search for and display a music catalog related to the main AV content without a user's manipulation.
  • FIG. 50 is a screen illustrating another sub-menu of a recommended main menu of a video display device manufacturer application according to an embodiment of the present invention.
  • the video display device 100 displays price information and description information of a product or a place related to main AV content in the additional information area 360.
  • the video display device 100 may automatically search and display a catalog of goods or places related to the main audio and video content without a user's manipulation.
  • the video display device manufacturer application displays a purchase page corresponding to the selected item (S1811).
  • the user can purchase a product through a simple operation.
  • Each item in the catalog list may have a purchase review button and a bookmark button.
  • the video display device 100 may display a review of the item in the additional information area 360.
  • the user may also write a purchase review.
  • the user may bookmark a specific item through the bookmark button and then recommend the bookmarked item through the viewer list submenu of the social main menu.
  • the video display device 100 may provide bookmark item information to the ACR server 77 or the SNS providing server 75.
  • the recommended viewer's video display device 100 obtains the content information based on the section extracted from the main AV content, and if the main AV content corresponds to the advertisement of the recommended item from the acquired content information, Recommendation message such as "This item is recommended by friend U.” Also, a short video may be displayed instead of the recommendation message.
  • 51 is a view illustrating a user interface for controlling an ACR function according to an embodiment of the present invention.
  • the playback control section 113 displays the ACR function setting window.
  • the user can activate or deactivate the ACR function through the ACR function setting window.
  • the ACR mode may be set to one of an auto play application mode, a content provider application mode, and a video display device manufacturer application mode.
  • the reproduction control unit 113 stores the setting information in the setting information storage unit 154.
  • FIG. 52 is a flowchart of a control method of a video display device according to an embodiment of the present invention.
  • the additional service manager 130 checks whether the ACR function is turned on (S1901).
  • the enhanced service manager 130 no longer performs the content information acquisition procedure.
  • the additional service manager 130 extracts a partial section of the main audio and video content (S1902).
  • the additional service manager 130 obtains content information of the main AV content based on the extracted section (S1903).
  • the additional service manager 130 synchronizes the reference time of the main AV content with the reference time of the substitute advertisement (S1905).
  • the additional service manager 130 obtains an additional service based on the acquired content information (S1907).
  • the additional service manager 130 may obtain additional service information based on the acquired content information, and may obtain additional service based on the obtained additional service information.
  • the additional service manager 130 checks the ACR mode (S1909).
  • the additional service manager 130 reproduces the additional service according to the ACR mode (S1911).
  • the additional service manager 130 executes the auto play application, and the executed auto play application plays the obtained supplementary service.
  • the additional service manager 130 executes a content provider application corresponding to the acquired content information in the background.
  • the additional service manager 130 receives a user input corresponding to the use of the additional service, the additional service manager 130 displays the content provider application.
  • the additional service obtained by this content provider application can be played back.
  • the content provider application can be executed by user input.
  • the additional service manager 130 executes the video display device manufacturer application in the background.
  • the additional service manager 130 receives a user input corresponding to the use of the additional service
  • the additional service manager 130 displays the video display device manufacturer application.
  • the additional service acquired by the video display device manufacturer application may be played.
  • the video display device manufacturer application may be executed by user input.
  • 53 is a flowchart illustrating a first embodiment of a method of receiving additional service according to the present invention.
  • the video display device 100 receives AV content (S2001), and extracts first feature information from the received AV content (S2002).
  • the video display device 100 may extract feature information, for example, a signature, from an audio sample of some video frames or some sections of the received audiovisual content.
  • feature information for example, a signature
  • the video display device 100 transmits the extracted first feature information to a first server (S2003), and includes at least one of content information, additional service information, and additional service associated with the first feature information.
  • a database (DB, DataBase) is received from the first server (S2004).
  • the image display apparatus 100 may access a fingerprint server 22 corresponding to a preset fingerprint server address and transmit a query including the extracted first feature information.
  • the content database associated with the first feature information may be sequentially transmitted in response to the query.
  • the fingerprint server 22 After the fingerprint server 22 identifies the audiovisual content (for example, a program currently being watched) being played on the video display device 100 using the first feature information received from the video display device 100, Starting from the information corresponding to the first feature information, all content information or additional service information related to the audiovisual content may be sequentially and sequentially transmitted to the video display device 100.
  • the audiovisual content for example, a program currently being watched
  • Content information sequentially transmitted from the fingerprint server 22 may have a format as described with reference to FIG. 7 and may include, for example, content identification information (Cotent ID) and time information (timestamp). have.
  • Content ID content identification information
  • time information timestamp
  • the additional service information sequentially transmitted from the fingerprint server 22 may be additional service address information for accessing the additional service providing server 50 that provides the additional service, or the address of the additional service providing server 50. It may include additional service information providing server address information and the like for accessing the additional service information providing server 40 for providing a.
  • the content database sequentially transmitted from the fingerprint server 22 may include a plurality of information having a format as shown in FIG. 7.
  • the fingerprint server 22 identifies audiovisual content (for example, a program currently being watched) being played on the video display device 100 using the first feature information received from the video display device 100. Thereafter, all additional services related to the audiovisual content may be sequentially and sequentially transmitted to the video display device 100.
  • audiovisual content for example, a program currently being watched
  • the additional services sequentially transmitted from the fingerprint server 22 may include additional available service files.
  • the fingerprint server 22 does not provide only one of the content information, the additional service information, and the additional service corresponding to the first feature information received from the image display apparatus 100 to the image display apparatus 100. All databases related to the received audiovisual content among the databases existing therein may be provided to the video display device 100.
  • the video display device 100 stores the database received from the first server in a memory (S2005).
  • the feature information extracted from the received audiovisual content is transmitted to the fingerprint server 22. If not, it may be searched first in a database stored in the internal memory of the image display apparatus 100.
  • a database transmitted from the fingerprint server 22 may be stored in the memory in the order of transmission, and the feature information or content identification may be performed.
  • a linear search method using information ID as a key element may be possible.
  • the video display device 100 knows the transmission period of the data transmitted from the fingerprint server 22 by using the UpdateMode and PollingCycle field values of the signaling channel information Signaling Format in the query result format as shown in FIG. 7. Can be.
  • the video display device 100 extracts second feature information from the currently received audiovisual content (S2006), and the content information, additional service information, and additional service corresponding to the extracted second feature information. Any one of them is searched and obtained from the database (S2007).
  • the video display device 100 displays the first information.
  • the query including the extraction information may be transmitted to the fingerprint server 22 to receive a database related to the second extraction information and store it in a memory.
  • the image display apparatus 100 may include a receiver 161, a feature extractor 162, a DB searcher 163, a database 164, and a data transceiver 165.
  • the receiver 161 may receive audiovisual content, and the feature extractor 162 may extract feature information from the received audiovisual content.
  • the data transceiver 165 may transmit the extracted feature information to the fingerprint server 22 to receive a database associated with the feature information from the fingerprint server 22.
  • the received database 164 may be stored in a memory inside the image display apparatus 100.
  • the DB search unit 163 The feature information of the currently received audiovisual content may be input from the feature extractor 162 to search for content identification information (Content ID) corresponding to the feature information in the database 164.
  • Content ID content identification information
  • the data transmitting / receiving unit 165 transmits the content identification information (Content ID) obtained through the DB search unit 163 to the fingerprint server 22 to obtain an address of the additional service information providing server 40. can do.
  • the data transmission / reception unit 165 accesses the additional service information providing server 40 by using the obtained address to obtain an address of the additional service providing server 50, and then the additional service providing server 50. To receive additional services.
  • the searcher 163 may search for the address of the additional service information providing server 40 in the database 164 using the feature information input from the feature extractor 162.
  • the additional service providing server 50 is connected to receive the additional service. Can be.
  • the database 164 generated in the video display device 100 may include a plurality of feature information and additional service access information corresponding to the feature information (ie, addresses of the additional service providing server 50).
  • the DB search unit 163 may search for the address of the additional service providing server 50 in the database 164 using the feature information input from the feature extractor 162.
  • the additional service providing server 50 may be connected to the additional service using the searched address.
  • the DB search unit 163 may include a feature extractor (The additional information corresponding to the extracted information may be obtained by searching the database 164 using the feature information input from 162.
  • the database 164 stored in the internal memory of the video display device 100 may be deleted after a predetermined time has elapsed from the channel switching time.
  • the database 164 may not be deleted immediately upon channel switching, but may be deleted from the memory after a maximum of 30 minutes has elapsed based on the time information NTPtimStamp at the channel switching time.
  • the video display device 100 first searches the database 164 stored in the memory through the DB search unit 163 and then corresponds to the feature information.
  • the fingerprint server 22 may transmit a query including the feature information.
  • the method of receiving an additional service using a database inside the video display device 100 in the fingerprint-based content recognition scheme has been described above with reference to FIGS. 53 to 56, but the present invention is not limited thereto. For example, it may be applicable to a watermark-based content recognition scheme as described with reference to FIGS. 2 and 3.
  • the watermark extractor 166 of the video display device 100 extracts watermark information inserted into received audiovisual content, and the DB search unit 163 uses the extracted watermark information. Search the database 164 and receive the additional service using the content information or the additional service information obtained by searching the database 164.
  • the DB retrieval unit 163 may search the database 164 using content identification information (Content ID) for the audiovisual content extracted through the watermark extractor 166 to provide additional service access information (ie, , An address of the additional service providing server 50), and the data transmitting / receiving unit 165 may receive the additional service by accessing the additional service providing server 50 using the obtained access information.
  • Content ID content identification information
  • additional service access information ie, , An address of the additional service providing server 50
  • the data transmitting / receiving unit 165 may receive the additional service by accessing the additional service providing server 50 using the obtained access information.
  • FIG. 58 is a flowchart illustrating a second embodiment of a method of receiving additional service according to the present invention.
  • the video display device 100 receives audiovisual content in operation S2101 and extracts first feature information from the received audiovisual content in operation S2102.
  • the video display device 100 transmits the extracted first feature information to a first server (S2103), and receives content information corresponding to the first feature information from the first server (S2104).
  • the first server may be the fingerprint server 22 as described above, and the content information received in S2104 may have a format of the query result described with reference to FIG. 7.
  • the video display device 100 may extract and store content identification information (Cotent ID) and time information (timestamp) from the query result received from the fingerprint server 22.
  • Content ID Content identification information
  • time information timestamp
  • the video display device 100 extracts second feature information from the received audiovisual content (S2105), and extracts the extracted second feature information together with the content information previously received from the first server.
  • content information corresponding to the second characteristic information is received from the first server (S2017).
  • the video display device 100 does not transmit only the extracted second feature information to the fingerprint server 22, but in addition to the second feature information, the first feature.
  • a query including the content information for example, content ID information (Cotent ID) and time information
  • the content information for example, content ID information (Cotent ID) and time information
  • the fingerprint server 22 uses the feature information (for example, the second feature information), content identification information (Cotent ID), and time information (timestamp) received from the video display device 100.
  • the database may be searched and the query result corresponding thereto may be transmitted to the video display device 100.
  • feature information first received from the image display apparatus 100 (eg, the first feature).
  • New search database including only content information associated with the information).
  • the fingerprint server 22 includes a plurality of feature information and content information corresponding thereto (eg, content identification information (Cotent ID), time information (Start time, End time) and content).
  • content identification information Content ID
  • time information Start time, End time
  • content content identification information
  • relevant name information Show name, Episode name, broadcaster, etc.
  • the fingerprint server 22 may include only content information of feature information having the same content information as that of the first feature information. You can create a new search database consisting of:
  • the content identification information (Content ID) corresponding to the first feature information is "Content1234"
  • the content identification information (Content A new search database as shown in FIG. 61 composed only of content information whose ID) is "Content1234" can be created in the fingerprint server 22.
  • the fingerprint server 22 performs a search using the newly created search database. can do.
  • the image display apparatus 100 transmits previously received content identification information (Cotent ID) and time information (timestamp) to the fingerprint server 22 in addition to the feature information.
  • Cotent ID content identification information
  • time information timestamp
  • the video display device 100 may request a query including feature information (eg, the second feature information) extracted from currently received audiovisual content and previously received content identification information (Cotent ID).
  • the fingerprint server 22 may search the newly created search database as shown in FIG. 61 by using the received feature information and content identification information (Cotent ID). .
  • the video display device 100 sends a query to the fingerprint server 22 that includes only feature information (eg, the second feature information) extracted from the currently received audiovisual content.
  • the fingerprint server 22 may search the newly created search database as shown in FIG. 61 by using the received feature information.
  • the fingerprint server 22 caches a query result corresponding to the first received feature information (eg, the first feature information) and then receives the received feature information (eg, the first feature information). Search for the newly created search database using the second feature information) and the query result cached therein.
  • the query result cached in the fingerprint server 22 may include content identification information (Cotent ID) and time information (timestamp) corresponding to the first feature information.
  • Content ID content identification information
  • time information timestamp
  • broadcasters which are content providers, may contract with one or more of a plurality of content recognition (ACR) service providers and provide content information, and the ACR service providers may use different content recognition schemes.
  • ACR content recognition
  • audiovisual content generated according to different content recognition schemes should be processed by a content recognition (ACR) module supporting a content recognition scheme suitable for each.
  • ACR content recognition
  • each ACR service provider provides an ACR module supporting the content recognition method used by the ACR module to the video display device 100, and the video display device 100 provides audio and video content associated with the ACR service provider to the corresponding ACR module.
  • Content information may be obtained by inputting.
  • the video display device 100 extracts feature information of a video region or extracts a pattern of an audio region by sampling a received uncompressed audio and video content for a predetermined time.
  • the feature information may be extracted differently according to a specific content recognition method.
  • the content recognition technology extracts a pattern, which is characteristic information, from uncompressed audio and video content through different algorithms, and the extracted pattern is different for each algorithm. Can be.
  • the video display device 100 may include a plurality of content recognition (ACR) modules that support different content recognition schemes, and may be configured to receive audiovisual content received from the plurality of ACR modules. The user may select any one to obtain content identification information for the audiovisual content.
  • ACR content recognition
  • the plurality of broadcasting stations 11, 12, and 13 may provide content information to one or more of the plurality of ACR service providers 23, 24, and 25.
  • 23, 24, and 25 may provide content recognition services to the video display device 100 according to different content recognition schemes.
  • the video display device 100 may include a plurality of ACR modules 171, 172, and 173 that support content recognition schemes used by the ACR service providers 23, 24, and 25, respectively.
  • broadcaster 1 (11) provides ACR service provider 1 (23) and ACR service provider 2 (24) with information about audiovisual content that it transmits, and thus ACR service provider 1 (23) and ACR.
  • the first ACR module 171 and the second ACR module 172 respectively corresponding to the service provider 2 24 may be downloaded and present in the video display device 100.
  • the audiovisual content received from the broadcasting station 1 11 may be recognized by any one of the first and second ACR modules 171 and 172 included in the video display device 100.
  • broadcast station 2 12 provides content information to ACR service provider 2 24 and ACR service provider 3 25, and thus corresponds to ACR service provider 2 24 and ACR service provider 3 25, respectively.
  • the second ACR module 172 and the third ACR module 173 may be downloaded and present in the video display device 100.
  • the audiovisual content received from the broadcasting station 2 12 may be recognized by any one of the second and third ACR modules 172 and 173 included in the video display device 100.
  • the audiovisual content received from the broadcasting station 3 (13) may be recognized by the third ACR module 173 included in the video display device 100.
  • the video display device 100 has a memory space for storing the plurality of ACR modules 171, 172, and 173, and the number of ACRs that the device can receive through a pre-stored Internet address. I can see the kind.
  • the video display device 100 may store the Internet addresses of broadcasters in advance, and may know the number and types of ACR modules that can be received by the device through the broadcasters' Internet addresses.
  • each of the ACR modules may provide a list of broadcasters for content information provided through the corresponding module, and the ACR module may be a video display device through any one of a manufacturer, a broadcaster, and an ACR service provider of the video display device 100. Can be downloaded to 100.
  • the video display device 100 may receive a list of ACR modules that can be installed through a predetermined Internet address when power is supplied.
  • the received list includes version information of each module, and if the corresponding module is already installed in the video display device 100, whether or not to update the installed ACR module by comparing the version information of the modules included in the list. You can judge.
  • the module may be deleted from the video display device 100 as it is no longer needed.
  • the video display device 100 receives a list of ACR modules supporting the broadcaster through a predetermined broadcaster Internet address when power is supplied.
  • the video display device 100 may construct a minimum ACR module list capable of processing the content of all broadcasters.
  • the video display device 100 may download ACR modules according to the configured list.
  • a video of audiovisual content received as an external input through an external interface 174 of the image display apparatus 100 includes a plurality of image frames in units of pixels by the video processor 175. It may be composed of a data block.
  • the audio of the received audio-visual content may be composed of a data block digitizing the height of the sound using a pulse coding modulation (PCM) through the audio processor 176.
  • PCM pulse coding modulation
  • the video display device 100 since the content input to the plurality of ACR modules 171, 172, and 173 have the same format. The development of can be easy.
  • the ACR module 171 recognizes a data block input from the video processor 175 or the audio processor 176 according to a specific algorithm and outputs information on the audiovisual content, for example, content ID information. can do.
  • the content information output from the ACR module 171 may be converted into a standardized format by the output processor 177.
  • 66 is a flowchart illustrating a third embodiment of a method for receiving additional service according to the present invention.
  • the video display device 100 receives audio and video content (S2201), and prioritizes any one of a plurality of content recognition (ACR) modules supporting different content recognition schemes. Select according to the ranking (S2202).
  • S2201 audio and video content
  • ACR content recognition
  • the video display device 100 inquires a list of ACR modules 171, 172, and 173 provided therein, and receives the received audiovisual content (more specifically, the video processor 175 or the audio). Data blocks input from the processor 176 may be sequentially input to the ACR modules 171, 172, and 173, respectively.
  • the order in which the audiovisual content is input may be based on the preset priority, and the priority may be determined according to any one of a channel viewing time, channel preference, and number of channels.
  • the audiovisual content is inputted to an ACR module that provides content information on a channel most recently watched among the ACR modules 171, 172, and 173, and then the audiovisual content is displayed in a descending order of viewing time. Can be input sequentially.
  • the audiovisual content is inputted to an ACR module that provides content information on the most watched channel among the ACR modules 171, 172, and 173, and then the audiovisual content is sequentially ordered according to the number of viewing times. Can be entered.
  • the audiovisual content may be input to an ACR module that provides content information on the largest number of channels of the ACR modules 171, 172, and 173, and the audiovisual content may be sequentially input in order of increasing number of channels. have.
  • the controller included in the video display device 100 determines whether any of the ACR modules 171, 172, and 173 can recognize the audiovisual content in the order in which the audiovisual content is input as described above. You can check sequentially.
  • the controller can select a corresponding ACR module from the ACR modules 171, 172, and 173.
  • content identification information about the audiovisual content acquired using the selected content recognition (ACR) module is transmitted to a server (S2204), and an additional service corresponding to the content identification information is received (S2205).
  • step S2205 Since the method of receiving the additional service corresponding to the content identification information in step S2205 may be the same as described with reference to FIGS. 1 to 9, a detailed description thereof will be omitted.
  • the plurality of ACR modules as shown in FIG. 64 may have similar functions, but since content recognition should be performed automatically, it is necessary to operate in the background of the video display device 100.
  • the video display device 100 may not include a plurality of ACR modules, but may include one module common to a plurality of content recognition schemes.
  • the video display device 100 sets at least one sampling parameter for extracting some samples from audiovisual content (S2301), and samples the audiovisual content by sampling the audiovisual content according to the set parameter. Acquire (S2302).
  • the video display device 100 transmits the obtained sample to a server (S2303), and receives content identification information about the audiovisual content from the server (S2304).
  • the video display device 100 may transmit raw data of the audiovisual content for extracting an actual bit pattern such as feature information to a server in order to reduce the burden of having a plurality of ACR modules. have.
  • the video display device 100 may include only a module for obtaining raw data to be transmitted to the server from the received audiovisual content regardless of the content recognition scheme.
  • the server may process the raw data received from the video display device 100 and provide the video display device 100 with a query result including content identification information for the audiovisual content.
  • the video display device 100 and the server may negotiate and determine the pattern of the raw data to be transmitted and received in advance.
  • the video display device 100 may transmit the video or audio sample obtained by sampling the received audiovisual content as the raw data to the server as it is.
  • the video display device 100 may negotiate and set at least one sampling parameter for extracting a sample from audiovisual content, and the sampling parameter is to determine how long to acquire the sample by sampling the audiovisual content. It may include a sampling time having information about.
  • the sampling time is not long enough, the content matching result processed by the server may not be accurate. If the sampling time is excessively long, network transmission time and processing time at the server may be unnecessarily increased. have.
  • sampling parameter may include attribute information of a video or audio sample transmitted from the video display device 100.
  • the sampling parameters may include the size aspect ratio and position of the region to be sampled, the number of frames per second, the compression format, the sampling time, and the like.
  • the video sample may be obtained by sampling the entire area of the screen 181 of the audiovisual content (for example, 1920x1080 in the case of an HD image), or sampling a portion of the screen 181. have.
  • the sampled region may be located at the upper right of the title of the content, and the position of the sampled region may be displayed using coordinates of a specific point of the screen 181. Can be.
  • the sampled video sample may be resized to a smaller size and then transmitted to the server.
  • the video sample may be obtained by sampling a plurality of areas of the screen 181, for example, areas 182, 183, 184, and 185 located at four corners. have.
  • the number of frames per second of the video sample may be 24, 30, or 60, and the number of frames per second may be determined according to whether or not it is time sensitive in content recognition.
  • the video display device 100 may transmit or compress the video sample to the server without compressing it, and when compressing and transmitting the information about the compressed file format (for example, h.264, mpeg2-) ts, wmv, etc.) can be determined in consultation with the server.
  • the compressed file format for example, h.264, mpeg2-
  • Determining the sampling parameters as described above may be affected by the hardware performance of the image display apparatus 100 and the processing performance of the server, and the amount of data to be transmitted is adjusted according to the CPU performance and the memory capacity of the image display apparatus 100. Can be.
  • the sampling parameters may include a number of bits per sample, a sampling frequency and frequency band, a number of channels, a sampling time, a compression format, and the like.
  • the number of bits per sample may be 16 bits or 32 bits as the number of bits allocated to one audio sample, and the sampling frequency may be 44100, 48000 or 14000 hz as a frequency when sampling the audio sample. .
  • the number of channels may include one mono channel, two stereo channels, or 5.1 channels
  • the sampling frequency band is a frequency domain used for extracting the audio sample.
  • Human voice range 200 ⁇ 2000 hz
  • middle band near 10000 hz
  • high frequency band near 20000 hz.
  • the frequency bands used may be different according to the content recognition scheme, all the bands may be used all or some bands, or several bands may be used together.
  • the video display device 100 may transmit or compress the audio sample to the server without compressing the information, and when compressing and transmitting the information about the compressed file format (for example, mp3, mpeg2-ts, wmv, etc.) can be determined in consultation with the server.
  • the compressed file format for example, mp3, mpeg2-ts, wmv, etc.
  • the video display device 100 transmits a plurality of sampling parameter values supported by the video display device 100 to the ACR server 27 (S2401).
  • the video display device 100 transmits a query to the ACR server 27 including one or more values that can be supported by each of the sampling parameters as described with reference to FIGS. 67 through 69. Can be.
  • the video display device 100 may use 16 bits and 32 bits, that is, the number of bits per sample that can be supported, 44100 hz and 48000 hz, which are supported sampling frequencies, and mono and stereo, which are the number of supported channels. Information about may be transmitted to the ACR server 27.
  • the ACR server 27 selects any one of parameter values received from the video display device 100 according to its hardware capability (S2402) and transmits the selected parameter value to the video display device 100 ( S2403).
  • the ACR server 27 selects and selects one of parameter values supported by the video display device 100, as shown in FIG. 72.
  • the image information may be transmitted to the video display device 100 in response to the time information.
  • the video display device 100 may set the sampling parameters to values selected by the ACR server 27.
  • the video display device 100 samples the audiovisual content according to the set sampling parameters, generates a sample, and transmits the sample to the ACR server 27 (S2404 and S2406), and the ACR server 27 sends the sample.
  • the ACR server 27 sends the sample.
  • content identification information about the audiovisual content is transmitted to the video display device 100 by using.
  • the ACR server 27 may extract a pattern, which is signature information, from a sample transmitted from the video display device 100, and transmit a result matching the pattern to the video display device 100. have.
  • the matched result in the ACR server 27 may be a query result as shown in FIG. 7, and may include, for example, content ID information and timestamp.
  • the video display device 100 transmits a query including the information as shown in FIG. 73 to the ACR server 27, and sends a response including the information as shown in FIG. 74 to the ACR server.
  • the sampling parameter can be set.
  • the video display device 100 requests an ACR session connection to the ACR server 27 in a negotiation process between the video display device 100 and the ACR server 27 (S2501)
  • the ACR The server 27 transmits the supportable parameter values as described above to the video display device (S2502), and the video display device 100 selects one of the values supported by the ACR server 27 (S2503). It may also send to the server 27.
  • FIG. 76 is a block diagram illustrating an example of a configuration of an image display apparatus 100 that samples audiovisual content according to the set parameter.
  • the image display apparatus 100 may include a receiver 191 and a sampling unit ( 192, a parameter setting unit 193, and a data transmission / reception unit 194 may be included.
  • the parameter setting unit 193 may set at least one sampling parameter for extracting some samples from the audiovisual content by using the method described with reference to FIGS. 67 to 75.
  • the sampling unit 192 may obtain a sample by sampling the received audio and video content received through the receiving unit 191 according to the set parameter.
  • the data transceiver 194 may transmit the obtained sample to the ACR server 27 to receive content identification information on the received audiovisual content from the ACR server 27.
  • FIG. 77 is a block diagram showing an embodiment of the configuration of the ACR server 27 for identifying content using a sample received from a video display device.
  • the illustrated ACR server 27 includes a data transmitting and receiving unit 301, The pattern extractor 302, the pattern matcher 303, and the database 304 may be included.
  • the pattern extractor 302 may use a pattern (eg, a bit pattern) that is characteristic information from a sample received from the image display apparatus 100 through the data transceiver 301 according to the set sampling parameter. Signature) can be extracted.
  • a pattern eg, a bit pattern
  • the pattern matching unit 303 searches the database 304 by using the extracted pattern, and searches for a query result including a matched result, for example, content identification information (Content ID) and time information (timestamp). Can be obtained.
  • Content ID content identification information
  • time information timestamp
  • FIGS. 78 and 79 Next, a structure of a video display device according to various embodiments of the present disclosure will be described with reference to FIGS. 78 and 79.
  • FIG. 78 is a block diagram illustrating a structure of a fingerprint based video display device according to another embodiment.
  • the tuner 501 extracts a symbol from an 8-VSB RF signal transmitted through an air channel.
  • the 8-VSB Demodulator 503 demodulates the 8-VSB Symbol extracted by the Tuner 501 to restore meaningful digital data.
  • the VSB Decoder 505 restores the ATSC main service and ATSC M / H service by decoding the digital data restored by the 8-VSB Demodulator 503.
  • the MPEG-2 TP Demux 507 filters the transport packet to be processed by the video display device 100 from the MPEG-2 Transport Packet or the MPEG-2 Transport Packet stored in the PVR storage through an 8-VSB signal, and then processes it appropriately. Relay to the module.
  • the PES decoder 539 buffers and restores the Packetized Elementary Stream transmitted through the MPEG-2 Transport Stream.
  • the PSI / PSIP decoder 541 buffers and analyzes PSI / PSIP Section Data transmitted through the MPEG-2 Transport Stream.
  • the analyzed PSI / PSIP data is collected by a service manager (not shown) and stored in a DB in the form of a service map and guide data.
  • the DSMCC Section Buffer / Handler 511 buffers and processes DSMCC Section Data for file transfer and IP datagram encapsulation transmitted through MPEG-2 TP.
  • the IP / UDP Datagram Buffer / Header Parser 513 analyzes the header of each Datagram by encapsulating through the DSMCC Addressable section and buffering and restoring the IP Datagram transmitted through the MPEG-2 TP. In addition, the IP / UDP Datagram Buffer / Header Parser 513 buffers and restores the UDP Datagram transmitted through the IP Datagram, and analyzes and processes the restored UDP Header.
  • the stream component handler 557 may include an ES Buffer / Handler, a PCR Handler, an STC Module, a Descrambler, a CA Stream Buffer / Handler, and a Service Signaling Section Buffer / Handler.
  • ES Buffer / Handler buffers and restores Elementary Streams such as Video and Audio data transmitted in PES format and delivers them to the appropriate A / V Decoder.
  • the PCR Handler processes PCR (Program Clock Reference) Data used for Time synchronization of Audio and Video Streams.
  • STC module performs Time Synchronization by correcting Clock values of A / V Decoders using Reference Clock value received through PCR Handler.
  • the descrambler restores the payload data by using the encryption key received from the CA stream handler.
  • CA Stream Buffer / Handler buffers and processes data such as key values for Descrambling such as EMM and ECM transmitted for Conditional Access function transmitted through MPEG-2 TS or IP Stream.
  • the output of CA Stream Buffer / Handler is delivered to Descrambler, which performs decryption of MPEG-2 TP or IP Datagram that transmits A / V Data and File Data.
  • Service Signaling Section Buffer / Handler buffers restores and analyzes NRT Service Signaling Channel Section Data transmitted in the form of IP Datagram.
  • Service Manager (not shown) collects the analyzed NRT Service Signaling Channel Section data and stores it in DB in the form of Service Map and Guide data.
  • the A / V Decoder 561 decodes the audio / video data received through the ES Handler and presents it to the user.
  • the MPEG-2 Service Demux may include an MPEG-2 TP Buffer / Parser, a Descrambler, and a PVR Storage Module.
  • the MPEG-2 TP Buffer / Parser (not shown) buffers and restores an MPEG-2 Transport Packet transmitted through an 8-VSB signal, and detects and processes a Transport Packet Header.
  • the descrambler restores the payload data using the encryption key received from the CA Stream Handler for the packet payload to which Scramble is applied among the MPEG-2 TPs.
  • the PVR storage module stores the received MPEG-2 TP using the 8-VSB signal according to the user's request and also outputs the MPEG-2 TP at the user's request.
  • the PVR Storage Module may be controlled by a PVR Manager (not shown).
  • the file handler 551 may include an ALC / LCT Buffer / Parser, an FDT Handler, an XML Parser, a File Reconstruction Buffer, a Decompressor, a File Decoder, and a File Storage.
  • ALC / LCT Buffer / Parser buffers and restores ALC / LCT data transmitted through UDP / IP stream and analyzes Header and Header extension of ALC / LCT.
  • the ALC / LCT Buffer / Parser may be controlled by an NRT Service Manager (not shown).
  • FDT Handler analyzes and processes File Description Table of FLUTE protocol transmitted through ALC / LCT session.
  • the FDT Handler may be controlled by an NRT Service Manager (not shown).
  • XML Parser analyzes XML Document transmitted through ALC / LCT session and delivers analyzed data to appropriate module such as FDT Handler, SG Handler.
  • File Reconstruction Buffer restores files transmitted to ALC / LCT, FLUTE session.
  • Decompressor When a file transmitted through an ALC / LCT or FLUTE session is compressed, a process of releasing the compression is performed.
  • the File Decoder decodes a file restored from the File Reconstruction Buffer, a file extracted from the Decompressor, or a file extracted from File Storage.
  • File Storage saves or extracts restored files as needed.
  • the M / W Engine (not shown) processes data such as files, not A / V streams, which are transmitted through DSMCC Section, IP Datagram, etc.
  • the M / W Engine delivers the processed data to the Presentation Manager module.
  • the SG Handler (not shown) performs a process of collecting, analyzing, and delivering Service Guide data transmitted in the form of XML Document to the EPG Manager.
  • the Service Manager collects and analyzes PSI / PSIP Data transmitted through MPEG-2 Transport Stream and Service Signaling Section Data transmitted through IP Stream to produce a Service Map.
  • the Service Manager stores the created service map in the Service Map & Guide Database, and controls access to the service desired by the user. It is controlled by an Operation Controller (not shown), and controls Tuner 501, MPEG-2 TP Demux 507, and IP Datagram Buffer / Handler 513.
  • the NRT Service Manager (not shown) performs overall management of the NRT service transmitted in the form of object / file through a FLUTE session on the IP layer.
  • the NRT Service Manager (not shown) may control the FDT Handler, File Storage, and the like.
  • the Application Manager (not shown) performs overall management regarding the processing of Application data transmitted in the form of Object, file, and the like.
  • the UI manager (not shown) delivers the user's input to the operation controller through the user interface and starts the operation of the process for the service requested by the user.
  • An operation controller (not shown) processes a user's command received through a UI manager and allows a manager of a required module to perform a corresponding action.
  • Fingerprint Extractor 565 extracts fingerprint feature information from the Audio / Video stream.
  • the Fingerprint Comparator 567 compares the feature information extracted by the Fingerprint Extractor with a Reference fingerprint to find a matching content.
  • the Fingerprint Comparator 567 may use a Reference fingerprint DB stored locally, or may query a Fingerprint query server on the Internet and receive a result.
  • the result data matched with the comparison result may be delivered to the application and used.
  • the application 569 is an application module that provides enhanced services based on an ACR or a module that manages the ACR function.
  • the application 569 identifies extended broadcast content and provides an extended service associated with it.
  • 79 is a block diagram illustrating a structure of a watermark based video display device according to another embodiment.
  • the watermark-based image display device illustrated in FIG. 79 is similar to the fingerprint-based image display device illustrated in FIG. 78, but includes a fingerprint extractor 565 and a fingerprint printer 567 of the fingerprint-based image display device. Rather, it further comprises a Watermark Extractor (566).
  • the watermark extractor 566 extracts data inserted in the form of watermark from the audio / video stream.
  • the extracted data can be delivered to the application and used.
  • the above-described method may be implemented as code that can be read by a processor in a medium in which a program is recorded.
  • processor-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the video display device described above may not be limitedly applied to the configuration and method of the above-described embodiments, but the embodiments may be configured by selectively combining all or some of the embodiments so that various modifications may be made. May be

Abstract

본 발명은 영상 표시 장치에서 부가 서비스를 수신하는 방법에 관한 것으로, 그 방법은 시청각 컨텐트(AV content)를 수신하는 단계; 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계; 추출된 제1 특징 정보를 제1 서버로 전송하여 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 제1 서버로부터 수신하는 단계; 제1 서버로부터 수신되는 데이터베이스를 메모리에 저장하는 단계; 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 데이터베이스에서 검색하여 획득하는 단계를 포함한다.

Description

[규칙 제26조에 의한 보정 16.02.2012]　부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
본 발명은 영상 표시 장치에서 부가 서비스를 수신하는 방법에 관한 것이다.
디지털 방송이 활성화됨에 따라, 방송국은 메인 시청각 컨텐트를 송출하면서, 이 메인 시청각 컨텐트와 연계하여 이용할 수 있거나 이 메인 시청각 컨텐트와는 독립적인 부가 서비스 데이터(enhanced service data)를 함께 송출한다.
그러나 현재의 방송 환경에서는 각 가정의 영상 표시 장치가 방송 신호를 공중파를 통해 직접 수신하는 경우가 적다. 오히려, 각 가정의 영상 표시 장치는 셋톱박스와 같은 방송 수신 장치에 연결되어 있어서, 이 방송 수신 장치가 제공하는 비압축 시청각 컨텐트를 재생하는 경우가 많다.
한편, 방송 수신 장치는 멀티채널 비디오 분배자(multichannel video programming distributor, MVPD)라고 불리는 서버로부터 컨텐츠를 제공받는다. 이 멀티채널 비디오 분배자는 방송국으로부터 방송 신호를 수신하고 수신한 방송 신호로부터 컨텐츠를 추출한 후, 자신이 송출하기에 적합한 형태의 신호로 변환하여 변환된 신호를 방송 수신 장치에 제공한다. 이 과정에서, 멀티채널 비디오 분배자는 추출한 부가 서비스 데이터를 제외할 수도 있고, 또 다른 부가 서비스 데이터를 추가할 수도 있기 때문에, 방송국은 시청각 컨텐츠를 제공하는 역할만 수행할 뿐 방송국 주도의 부가 서비스를 제공할 수 없다.
방송 수신 장치 또한 멀티채널 비디오 분배자로부터 수신한 신호로부터 메인 시청각 데이터를 추출하여 비압축 시청각 데이터만을 영상 표시 장치에게 제공하므로, 방송 수신 장치 통제하의 부가 서비스만이 이용가능할 뿐, 영상 표시 장치 통제하의 부가 서비스는 이루어 질 수 없다. 이는 더더욱 방송국이 자기 주도의 부가 서비스를 제공할 수 없게 한다.
뿐만 아니라, 방송국이 무선 채널을 통해 부가 서비스를 제공하더라도, 대역폭의 한계로 충분한 부가 서비스를 제공할 수 없다.
본 발명은 방송국 주도의 부가 서비스를 가능하게 하는 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치를 제공하기 위한 것이다.
본 발명의 일실시예에 따른 부가 서비스 수신 방법은, 시청각 컨텐트(AV content)를 수신하는 단계; 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계; 상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 상기 제1 서버로부터 수신하는 단계; 상기 제1 서버로부터 수신되는 데이터베이스를 메모리에 저장하는 단계; 상기 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및 상기 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 상기 데이터베이스에서 검색하여 획득하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 부가 서비스 수신 방법은, 시청각 컨텐트를 수신하는 단계; 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계; 상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 단계; 상기 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및 상기 추출된 제2 특징 정보를 상기 제1 서버로부터 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여, 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 부가 서비스 수신 방법은, 시청각 컨텐트를 수신하는 단계; 서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택하는 단계; 및 상기 선택된 컨텐트 인식 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하여, 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 부가 서비스 수신 방법은, 시청각 컨텐트로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하는 단계; 상기 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하여 샘플을 획득하는 단계: 및 상기 획득된 샘플을 서버로 전송하여, 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신하는 단계를 포함한다.
본 발명의 일실시예에 따른 영상 표시 장치는, 시청각 컨텐트(AV content)를 수신하는 수신부; 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 특징추출부; 상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 상기 제1 서버로부터 수신하는 데이터 송수신부; 및 상기 제1 서버로부터 수신되는 데이터베이스를 저장하는 메모리를 포함하고, 상기 시청각 컨텐트로부터 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나는 상기 데이터베이스를 검색하여 획득된다.
본 발명의 다른 실시예에 따른 영상 표시 장치는, 시청각 컨텐트를 수신하는 수신부; 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 특징추출부; 및 상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 데이터 송수신부를 포함하고, 상기 데이터 송수신부는 상기 시청각 컨텐트로부터 추출된 제2 특징 정보를 상기 제1 서버로부터 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여, 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신한다.
본 발명의 또 다른 실시예에 따른 영상 표시 장치는, 시청각 컨텐트(AV content)를 수신하는 수신부; 서로 상이한 컨텐트 인식 방법을 지원하는 복수의 컨텐트 인식 모듈들; 상기 컨텐트 인식 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택하는 제어부; 및 상기 선택된 컨텐트 인식 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하여, 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 데이터 송수신부를 포함한다.
본 발명의 또 다른 실시예에 따른 영상 표시 장치는, 시청각 컨텐트(AV content)로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하는 파라미터설정부; 시청각 컨텐트를 수신하는 수신부; 상기 설정된 파라미터에 따라 상기 수신되는 시청각 컨텐트를 샘플링하여 샘플을 획득하는 샘플링부: 및 상기 획득된 샘플을 서버로 전송하여, 상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신하는 데이터 송수신부를 포함한다.
본 발명의 실시예는 방송국 주도의 서비스를 가능하게 한다. 특히, 본 발명의 실시예는 방송국 주도의 대체 광고 서비스, 장면 연관 정보 제공 서비스, 등급 기반 컨텐츠 제공 서비스, 사용자 특성 기반 서비스를 가능하게 한다.
본 발명의 일실시예에 따르면, 현재 재생되는 시청각 컨텐트와 연관된 컨텐츠 정보로 구성된 데이터베이스를 영상 표시 장치 또는 서버 내에 생성하여, 컨텐트 인식 속도를 향상시키고, 네트워크 대역폭을 효율적으로 사용할 수 있다.
본 발명의 다른 실시예에 따르면, 영상 표시 장치에 구비된 복수의 컨텐트 인식 모듈들을 우선 순위에 따라 선택하여 컨텐트를 인식함으로써, 다양한 컨텐트 인식 방식들을 효과적으로 지원할 수 있다.
본 발명의 또 다른 실시예에 따르면, 서버와 미리 협상된 샘플링 파라미터에 따라 시청각 컨텐트를 샘플링해 서버로 전송하여, 다양한 컨텐트 인식 방식들에 따른 시청각 컨텐트를 효율적으로 인식할 수 있다.
또한, 본 발명의 다양한 실시예는 리모콘을 통한 불편한 텍스트 입력 없이도 메인 시청각 컨텐트와 관련된 정보 검색, 채팅, 뉴스 검색, 디지털 미디어 다운로드, 제품 카탈로그 다운로드 및 제품 구입을 가능하게 한다.
뿐만 아니라, 본 발명의 일실시예는 무선 채널의 대역폭의 한계를 넘는 부가 서비스를 가능하게 한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
도 53은 본 발명에 따른 부가 서비스 수신 방법에 대한 제1 실시예를 나타내는 흐름도이다.
도 54 내지 도 57은 내부 데이터베이스를 구비하는 영상 표시 장치의 구성에 대한 실시예들을 나타내는 블록도들이다.
도 58은 본 발명에 따른 부가 서비스 수신 방법에 대한 제2 실시예를 나타내는 흐름도이다.
도 59는 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제1 실시예를 설명하기 위한 블록도이다.
도 60 및 도 61은 새로운 데이터베이스를 서버 내에 생성하는 방법을 설명하기 위한 도면들이다.
도 62는 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제2 실시예를 설명하기 위한 블록도이다.
도 63은 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제3 실시예를 설명하기 위한 블록도이다.
도 64 및 도 65는 복수의 컨텐트 인식 모듈들을 구비하는 영상 표시 장치의 동작을 설명하기 위한 블록도들이다.
도 66은 본 발명에 따른 부가 서비스 수신 방법에 대한 제3 실시예를 나타내는 흐름도이다.
도 67은 본 발명에 따른 부가 서비스 수신 방법에 대한 제4 실시예를 나타내는 흐름도이다.
도 68 및 도 69는 비디오 샘플의 샘플링 영역에 대한 실시예들을 나타내는 도면들이다.
도 70은 샘플링 파라미터를 설정하는 방법에 대한 제1 실시예를 나타내는 래더 다이어그램이다.
도 71 내지 도 74는 상기 파라미터 설정 과정에서 영상 표시 장치와 서버 사이에 교환되는 파라미터 값들에 대한 실시예들을 나타내는 도면들이다.
도 75는 샘플링 파라미터를 설정하는 방법에 대한 제2 실시예를 나타내는 래더 다이어그램이다.
도 76은 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하는 영상 표시 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 77은 영상 표시 장치로부터 수신되는 샘플을 이용해 컨텐츠를 식별하는 서버의 구성에 대한 일실시예를 나타내는 블록도이다.
도 78은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 79는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "엔진", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
다음은 도 1 내지 도 9를 참고하여 본 발명의 일 실시예에 따른 네트워크 토폴로지를 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60), 네트워크(70), 영상 표시 장치(100)를 포함한다.
컨텐츠 제공 서버(10)는 방송국 등에 해당할 수 있으며, 메인 시청각 컨텐트(main audio-visual content)를 포함하는 방송 신호를 방송한다. 방송 신호는 부가 서비스를 더 포함할 수 있다. 부가 서비스는 메인 시청각 컨텐트와 관련이 있을 수도 있고, 관련이 없을 수도 있다. 부가 서비스는 서비스 정보(service information), 메타데이터(metadata), 부가 데이터, 컴파일된 실행 파일, 웹 애플리케이션, HTML(Hypertext Markup Language) 문서, XML 문서, CSS(cascading style sheet) 문서, 오디오 파일, 비디오 파일, ATSC 2.0 컨텐트, URL(Uniform Resource Locator)과 같은 주소 등의 형태를 가질 수 있다. 하나 이상의 컨텐츠 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 영상 표시 장치(100)가 메인 시청각 컨텐트에 기초하여 컨텐트를 인식할 수 있게 하는 컨텐트 인식 서비스를 제공한다. 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 수정을 가할 수도 있고 수정을 가하지 않을 수도 있다. 하나 이상의 컨텐츠 인식 서비스 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하는 워터마크 서버일 수 있다. 이 워터마크 서버는 메인 시청각 컨텐트의 각 프레임의 왼쪽 상단 또는 오른쪽 상단에 컨텐츠 제공자의 로고를 워터마크할 수 있다.
또, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하는 워터마크 서버일 수 있다.
또한, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트의 일부의 프레임 또는 일부의 오디오 샘플로부터 특징 정보를 추출하여 저장하는 핑거프린트 서버일 수 있다. 이 특징 정보는 시그너처라고도 불린다.
멀티채널 비디오 분배 서버(30)는 복수의 방송국으로부터 방송 신호를 수신하고 다중화하여 다중화된 신호를 방송 수신 장치(60)에 제공한다. 특히, 멀티채널 비디오 분배 서버(30)는 수신한 방송 신호에 대해 복조와 채널 복호화를 수행하여 메인 시청각 컨텐트와 부가 서비스를 추출한 후, 추출된 메인 시청각 컨텐트와 추출한 부가 서비스에 대해 채널 부호화를 수행하여 분배를 위한 다중화 신호를 생성할 수 있다. 이때, 멀티채널 비디오 분배 서버(30)는 추출한 부가 서비스를 제외할 수도 있고, 또 다른 부가 서비스를 추가할 수도 있기 때문에, 방송국은 방송국 주도의 서비스를 제공할 수 없다. 하나 이상의 멀티채널 비디오 분배 서버가 존재할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고, 튜팅한 채널의 신호를 수신하고, 수신한 신호에 대해 복조와 채널 복호를 수행하여 메인 시청각 컨텐트를 추출한다. 그리고 방송 수신 장치(60)는 추출한 메인 시청각 컨텐트를 H.264/MPEG-4 AVC(Moving Picture Experts Group-4 advanced video coding), Dolby AC-3, MPEG-2 AAC (Moving Picture Experts Group-2 Advanced Audio Coding) 알고리즘 등을 이용하여 복호하여 비압축 메인 시청각 컨텐트(uncompressed main AV content)를 생성한다. 방송 수신 장치(60)는 생성한 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)의 외부 입력 포트 등을 통해 영상 표시 장치(100)에 제공한다.
부가 서비스 정보 제공 서버(40)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐트와 관련된 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 제공한다. 하나 이상의 부가 서비스 주소 제공 서버가 존재할 수 있다. 부가 서비스 정보 제공 서버(40)는 복수의 이용가능한 부가 서비스 중에서 가장 우선순위가 높은 부가 서비스를 위한 부가 서비스 정보를 제공할 수도 있다.
부가 서비스 제공 서버(50)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공한다. 하나 이상의 부가 서비스 제공 서버가 존재할 수 있다.
영상 표시 장치(100)는 텔레비전, 노트북, 핸드폰, 스마트폰 등과 같이 디스플레이부를 장치일 수 있다. 영상 표시 장치(100)는 방송 수신 장치(60)로부터 비압축 메인 시청각 컨텐트를 수신할 수도 있고, 컨텐츠 제공 서버(10) 또는 멀티채널 비디오 분배 서버(30)로부터 부호화된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신할 수 도 있다. 영상 표시 장치(100)는 네트워크(70)를 통해 컨텐츠 인식 서비스 제공 서버(20)로부터 컨텐츠 인식 서비스를 제공받을 수 있고, 네트워크(70)를 통해 부가 서비스 정보 제공 서버(40)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스의 주소를 받을 수 있으며, 부가 서비스 제공 서버(50)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공받을 수 있다.
컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50) 중 2 이상은 하나의 서버의 형태로 결합될 수도 있고, 한 사업자에 의해 운영될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)를 더 포함한다.
도 2에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 삽입한다. 멀티채널 비디오 분배 서버(30)는 변형된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신하여 분배한다. 특히, 워터마크 서버는 이하에서 설명하는 바와 같은 디지털 워터마킹 기술을 이용할 수 있다.
디지털 워터마크는 삭제하기 어려운 방법으로 디지털 신호에 정보를 삽입하는 프로세스이다. 예를 들면, 디지털 신호는 오디오, 사진, 또는 비디오일 수 있다. 이 디지털 신호가 복사되면, 삽입된 정보 또한 복사본에 담아진다. 한 디지털 신호가 동시에 다른 여러 개의 워터마크를 운반할 수 있다.
보이는 워터마킹(visible watermarking)에서, 삽입되는 정보는 사진 또는 비디오에서 눈으로 식별가능하다. 전형적으로, 삽입된 정보는 미디어의 소유자를 식별하는 텍스트 또는 로고이다. 텔레비전 방송국이 자신의 로고를 전송되는 비디오의 코너에 추가하면, 이것이 눈으로 식별가능한 워터마크이다.
눈으로 식별 불가능한 워터마킹(invisible watermarking)에서, 정보는 디지털 데이터로서 오디오, 사진, 또는 비디오에 추가되지만, 일정 량의 정보가 숨겨져 있다는 사실은 감지할 수 있다하더라도 그러한 정보는 인지할 수는 없다. 이러한 눈으로 식별불가능한 워터마킹을 통해 비밀 메시지가 전달될 수도 있다.
워터마킹의 한 응용은 디지털 미디어의 불법 복제를 막기 위한 저작권 보호 시스템에 있다. 예컨데, 복제 장치는 디지털 미디어의 복제 전에 디지털 미디어로부터 워터마크를 얻고, 워터마크의 내용에 기초하여 복제를 할지 말지를 결정할 수 있다.
워터마킹의 또 다른 응용은 디지털 미디어의 출처 추적에 있다. 배포 경로 상의 각 지점에서 워터마크가 디지털 미디어에 임베딩된다. 나중에 이와 같은 디지털 미디어가 발견된다면, 이 디지털 미디어로부터 워터마크가 추출될 수 있고, 워터마크의 내용으로부터 배포의 출처를 파악할 수 있다.
디지털 미디어에 대한 설명이 눈으로 식별불가능한 워터마킹의 또 다른 응용이다.
디지털 미디어를 위한 파일 포멧이 메타데이터라고 불리는 추가적인 정보를 포함할 수 있는데, 디지털 워터마크는 디지털 미디어의 시청각 신호 자체로 전달된다는 점에서 메타데이터와는 구별된다.
워터마킹 방법으로 스프레드 스펙트럼, 양자화, 앰플리튜드 변조가 있다.
마킹되는 신호가 추가적인 수정에 의해 얻어진다면, 워터마킹 방법은 스프레드 스펙트럼에 해당한다. 스프레드 스펙트럼 워터마크는 꽤 강인하다고 알려져 있지만, 워터마크가 임베딩되는 호스트 신호에 간섭을 주기 때문에 많은 정보가 실리지는 않는다.
마킹되는 신호가 양자화에 의해 얻어진다면, 워터마킹 방법은 양자화 타입에 해당한다. 양자화 워터마크는 강인성은 낮지만, 꽤 많은 정보를 실을 수 있다.
마킹되는 신호가 공간 도메인에서 스프레드 스펙트럼과 유사한 추가 수정 방법으로 얻어진다면, 워터마킹 방법은 앰플리튜드 변조에 해당한다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S101).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S103).
보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 워터마크 용도는 무단 복제 방지, 시청률 조사, 부가 서비스 획득 중 하나를 나타낼 수 있다.
컨텐츠 정보는 메인 시청각 컨텐트를 제공하는 컨텐츠 제공자의 식별 정보, 메인 시청각 컨텐트 식별 정보, 메인 시청각 컨텐트 등급 정보, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보, 메인 시청각 컨텐트가 방송되는 채널의 이름, 메인 시청각 컨텐트가 방송되는 채널의 로고, 메인 시청각 컨텐트가 방송되는 채널의 설명, 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간, 메인 시청각 컨텐트와 관련하여 이용가능한 부가 서비스 정보 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 워터마크를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 이용된 워터마크가 내삽(embedding)된 컨텐트 구간의 시간 정보일 수 있다. 영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 핑거프린트를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 특징 정보가 추출된 컨텐트 구간의 시간 정보일 수 있다. 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시작 시간, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 지속 시간(duration), 컨텐츠 정보 획득에 사용된 컨텐트 구간의 종료 시간 중 하나 이상을 포함할 수 있다.
이용 정보 보고 주소는 메인 시청각 컨텐트 시청 정보 보고 주소, 부가 서비스 이용 정보 보고 주소 중 하나 이상을 포함할 수 있다. 이용 정보 보고 주기는 메인 시청각 컨텐트 시청 정보 보고 주기, 부가 서비스 이용 정보 보고 주기 중 하나 이상을 포함할 수 있다. 이용 정보 획득을 위한 최소 이용 시간은 메인 시청각 컨텐트 시청 정보 획득을 위한 최소 시청 시간, 부가 서비스 이용 정보 추출을 위한 최소 사용 시간 중 하나 이상을 포함할 수 있다.
메인 시청각 컨텐트가 최소 시청 시간 이상 시청된 경우에 기초하여 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 정보를 획득하고, 메인 시청각 컨텐트 시청 정보 보고 주기에서 메인 시청각 컨텐트 시청 정보 보고 주소로 추출한 시청 정보를 보고할 수 있다.
부가 서비스가 최소 사용 시간 이상 사용된 경우에 기초하여 영상 표시 장치(100)는 부가 서비스 이용 정보를 획득하고, 부가 서비스 이용 정보 보고 주기에서 부가 서비스 이용 정보 보고 주소로 추출한 이용 정보를 보고할 수 있다.
부가 서비스 정보는 부가 서비스가 존재하는지에 대한 정보, 부가 서비스 주소 제공 서버 주소, 각각의 이용가능한 부가 서비스의 획득 경로, 각각의 이용가능한 부가 서비스를 위한 주소, 각각의 이용가능한 부가 서비스의 시작 시간, 각각의 이용가능한 부가 서비스의 종료 시간, 각각의 이용가능한 부가 서비스의 수명 주기(lifetime), 각각의 이용가능한 부가 서비스의 획득 모드, 각각의 이용가능한 부가 서비스 위한 요청 주기, 각각의 이용가능한 부가 서비스의 우선 순위 정보, 각각의 이용가능한 부가 서비스의 설명, 각각의 이용가능한 부가 서비스의 항목(category), 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간 중 하나 이상을 포함할 수 있다.
이용가능한 부가 서비스의 획득 경로는 IP 또는 ATSC M/H(Advanced Television Systems Committee - Mobile/Handheld)를 나타낼 수 있다. 이용가능한 부가 서비스의 획득 경로가 ATSC M/H인 경우에, 부가 서비스 정보는 주파수 정보, 채널 정보를 더 포함할 수 있다. 각각의 이용가능한 부가 서비스의 획득 모드는 Push 또는 Pull을 나타낼 수 있다.
한편, 워터마크 서버(21)는 메인 시청각 컨텐트의 로고에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입할 수 있다.
예컨데, 워터마크 서버(21)는 로고의 일정 위치에 바코드를 삽입할 수 있다. 이때 로고의 일정 위치는 로고가 디스플레이되는 구역의 하단 1 라인에 해당할 수 있다. 영상 표시 장치(100)는 이와 같이 바코드가 삽입된 로고를 포함하는 메인 시청각 컨텐트를 수신하는 경우에, 바코드를 디스플레이하지 않을 수 있다.
또한, 워터마크 서버(21)는 로고의 메타데이터 형태로 워터마크 정보를 삽입할 수 있다. 이때 로고의 형상은 유지될 수 있다.
또한, 워터마크 서버(21)는 M개의 프레임의 로고의 각각에 N 비트의 워터마크 정보를 삽입할 수 있다. 즉, 워터마크 서버(21)는 M개의 프레임을 통해 M*N개의 워터마크 정보를 삽입할 수 있다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S105). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S106).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S107).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 방송 신호를 전송할 수도 있다(S108).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S109).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S111). 이 제1 응답은 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
워터마크 정보와 제1 응답이 부가 서비스 주소를 포함하고 있지 않다면, 영상 표시 장치(100)는 부가 서비스을 획득할 수 없다. 그러나 워터마크 정보와 제1 응답이 부가 서비스 주소 제공 서버 주소를 포함할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보와 제1 응답을 통해 부가 서비스 주소나 부가 서비스를 획득하지 못하였고 부가 서비스 주소 제공 서버 주소를 획득하였다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S119).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S121).
영상 표시 장치(100)는 워터마크 정보, 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S123), 부가 서비스를 획득한다(S125).
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 4에 도시된 바와 같이, 방송 수신 장치(60)가 턴온되고 채널을 튜닝하고, 영상 표시 장치(100)가 외부 입력 포트(111)를 통해 방송 수신 장치(60)로부터 튜팅된 채널의 메인 시청각 컨텐트를 수신하면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 제공자 식별자(또는 방송국 식별자)를 감지할 수 있다. 이후, 영상 표시 장치(100)는 감지한 컨텐츠 제공자 식별자에 기초하여 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 정보를 감지할 수 있다.
이때, 도 4에 도시된 바와 같이, 컨텐츠 제공자 식별자의 감지가능 주기와 컨텐츠 정보의 감지가능 주기는 다를 수 있다. 특히, 컨텐츠 제공자 식별자의 감지가능 주기는 컨텐츠 정보의 감지가능 주기보다 짧을 수 있다. 이를 통해, 영상 표시 장치(100)는 필요한 정보만을 감지하기 위한 효율적인 구성을 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 핑거프린트 서버(22)를 더 포함한다.
도 5에 도시된 바와 같은 핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S201).
핑거프린트 서버(22)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트의 복수의 프레임 구간 또는 복수의 오디오 구간으로부터 복수의 특징 정보를 추출하며, 복수의 특징 정보에 각각 대응하는 복수의 질의 결과를 위한 데이터베이스를 구축한다(S203). 질의 결과는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
MVPD(30)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S205). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S206).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S207).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S208).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S213).
영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송한다(S215).
핑거프린트 서버(22)는 제1 질의에 대한 제1 응답으로서 질의 결과를 제공한다(S217). 만약 제1 응답이 실패에 해당한다면, 영상 표시 장치(100)는 또 다른 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송할 수 있다.
핑거프린트 서버(22)는 질의 결과로서 XML (Extensible Markup Language) 문서를 제공할 수 있다. 질의 결과를 담는 XML 문서의 예를 도 7과 표 1을 참고하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 7에 도시된 바와 같이, 질의 결과를 담는 ACR-Resulttype은 ResultCode 속성과 ContentID, NTPTimestamp, SignalingChannelInformation, ServiceInformation 엘리먼트를 갖는다.
예컨데, ResultCode 속성이 200의 값을 가지면, 이는 질의 결과가 성공임을 의미할 수 있다. ResultCode 속성이 404의 값을 가지면, 이는 질의 결과가 실패임을 의미할 수 있다.
SignalingChannelInformation 엘리먼트는 SignalingChannelURL 엘리먼트를 갖고, SignalingChannelURL 엘리먼트는 UpdateMode, PollingCycle 속성을 갖는다. UpdateMode 속성은 Pull 값 또는 Push 값을 가질 수 있다.
ServiceInformation 엘리먼트는 ServiceName, ServiceLogo, ServiceDescription 엘리먼트를 갖는다.
표 1은 이와 같은 질의 결과를 담는 ACR-ResultType의 XML Schema를 보여준다.
표 1
Figure PCTKR2011009043-appb-T000001
ContentID 엘리먼트로서, 아래의 표 2에서 보여주는 바와 같은 ATSC 컨텐트 식별자(ATSC content identifier)가 이용될 수 있다.
표 2
Figure PCTKR2011009043-appb-T000002
표 2에서 보여지는 바와 같이, ATSC content identifier는 TSID와 하우스 번호로 구성된 구조를 가진다.
16 비트 부호없는 정수 TSID는 트랜스포트 스트림 식별자(transport stream identifier)를 담는다(carry).
5 비트 부호 없는 정수 end_of_day는 방송이 끝나서 content_id 값이 재사용될 수 있는 날의 시(hour)로 셋팅된다.
9 비트 부호 없는 정수 unique_for는 content_id 값이 재사용될 수 없는 날의 수(the number of day)로 설정된다.
content_id는 컨텐트 식별자를 나타낸다. 영상 표시 장치(100)는 매일 end_of_day에 해당하는 시간에서 unique_for를 1씩 감소시키고, unique_for가 0이 되지 않았다면 content_id가 유일한 것이라고 간주할 수 있다.
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC-M/H service를 위한 글로벌 서비스 식별자(Global Service Identifier)가 이용될 수 있다.
글로벌 서비스 식별자는 다음과 같은 폼을 갖는다.
- urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 "0"이다. <serviceid> 는 <major>나 <minor>로 정의된다. <major> 는 메이저 채널 번호(Major Channel number)를 나타내고, <minor> 마이너 채널 번호(Minor Channel Number)를 나타낸다.
글로벌 서비스 식별자의 예는 아래와 같다.
- urn:oma:bcast:iauth:atsc:service:us:1234:5.1
- urn:oma:bcast:iauth:atsc:service:us:0:100.200
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC 컨텐트 식별자가 이용될 수 있다.
ATSC 컨텐트 식별자는 다음과 같은 폼을 갖는다.
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, "."<serviceid>가 뒤따를 수 있다. 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 <serviceid>이다. <content_id> 는 표 2에 정의되어 있는 content_id field의 base64 부호이고, <unique_for> 는 표 2에 정의되어 있는 unique_for field의 십진수 부호이며, <end_of_day> 는 표 2에 정의되어 있는 end_of_day field의 십진수 부호이다.
이하에서는 다시 도 6을 설명한다.
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S219).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S221).
영상 표시 장치(100)는 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S223), 부가 서비스를 획득한다(S225).
UpdateMode 속성이 Pull 값을 가지는 경우, 영상 표시 장치(100)는 SignalingChannelURL을 통해 HTTP request를 부가서비스 제공 서버(50)에 전송하여 이에 대한 응답으로 PSIP 바이너리 스트림을 포함하는 HTTP response를 부가서비스 제공 서버(50)로부터 수신한다. 이 경우 영상 표시 장치(100)는 PollingCycle 속성으로 지정되는 Polling 주기에 따라 HTTP request를 전송할 수 있다. 또한, SignalingChannelURL 엘리먼트는 업데이트 시간 속성을 가질 수도 있다. 이 경우, 영상 표시 장치(100)는 업데이트 시간 속성으로 지정되는 업데이트 시간에서 HTTP request를 전송할 수 있다.
UpdateMode 속성이 Push 값을 가지는 경우, 영상 표시 장치(100)는 XMLHTTPRequest API 를 활용하여 비동기적으로 서버로부터 업데이트를 수신할 수 있다. 영상 표시 장치(100)가 서버로 XMLHTTPRequest object를 통해 비동기적인 request를 한 후에 서버가 시그널링 정보에 변경이 있을 경우에 이 채널을 통해 response로 시그널링 정보를 제공하는 방안이다. 세션의 대기 시간에 제한이 있을 경우에는 session timeout respond를 발생시키고, 바로 수신기는 이를 인지하여 재요청하여서 수신기와 서버간의 시그널링 채널을 항시 유지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)와 핑거프린트 서버(22)를 더 포함한다.
도 8에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 컨텐츠 제공자 식별 정보를 삽입한다. 워터마크 서버(21)는 로고와 같이 보이는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있고, 보이지 않는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있다.
핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S301).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S303). 보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S305). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S306).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S307).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S308).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S309).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S311). 이 제1 응답은 핑거프린트 서버 주소, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
워터마크 정보와 제1 응답이 핑거프린트 서버 주소를 포함하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S313).
영상 표시 장치(100)는 제1 응답 내의 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제2 질의를 전송한다(S315).
핑거프린트 서버(22)는 제2 질의에 대한 제2 응답으로서 질의 결과를 제공한다(S317).
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제3 질의를 전송한다(S319).
부가 서비스 정보 제공 서버(40)는 제3 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제3 질의에 대한 제3 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S321).
영상 표시 장치(100)는 제1 응답, 제2 응답, 또는 제3 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S323), 부가 서비스를 획득한다(S325).
다음은 도 10 및 도 18를 참고하여, 본 발명의 실시예에 따른 영상 표시 장치(100)를 설명한다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 표시 장치(100)는 방송 신호 수신부(101), 복조부(103), 채널 복호부(105), 역다중화부(107), 시청각 복호부(109), 외부 입력 포트(111), 재생 제어부(113), 재생 장치(120), 부가 서비스 관리부(130), 데이터 송수신부(141), 메모리(150)를 포함한다.
방송 신호 수신부(101)는 컨텐츠 제공 서버(10) 또는 MVPD(30)로부터 방송 신호를 수신한다.
복조부(103)는 수신한 방송 신호를 복조하여 복조된 신호를 생성한다.
채널 복호부(105)는 복조된 신호를 채널 복호하여 채널 복호된 데이터를 생성한다.
역다중화부(107)는 채널 복호된 데이터로부터 메인 시청각 컨텐트와 부가 서비스를 분리한다. 분리된 부가 서비스는 부가 서비스 저장부(152)에 저장된다.
시청각 복호부(109)는 분리된 메인 시청각 컨텐트를 시청각 복호(AV decoding)하여 비압축 메인 시청각 컨텐트를 생성한다.
한편, 외부 입력 포트(111)는 방송 수신 장치(60), 디브이디(digital versatile disk, DVD) 플레이어, 블루레이 디스크 (Blu-ray disc) 플레이어 등으로부터 비압축 메인 시청각 컨텐트를 수신한다. 외부 입력 포트(111)는 DSUB 포트, HDMI (High Definition Multimedia Interface) 포트, DVI (Digital Visual Interface) 포트, 컴포지트(composite) 포트, 컴포넌트(component) 포트, S-Video 포트 중 하나 이상을 포함할 수 있다.
재생 제어부(113)는 시청각 복호부(109)가 생성하는 비압축 메인 시청각 컨텐트 또는 외부 입력 포트(111)로부터 수신한 비압축 메인 시청각 컨텐트 중 적어도 하나를 사용자 선택에 의해 재생 장치(120)에 재생한다.
재생 장치(120)는 디스플레이부(121)와 스피커(123)를 포함한다. 디스플레이부(121)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보를 획득하고, 획득된 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득한다. 특히, 앞서 설명한 바와 같이 부가 서비스 관리부(130)는 비압축 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플에 기초하여 메인 시청각 컨텐트의 식별 정보를 획득할 수 있는데, 본 명세서에서는 이를 자동 컨텐츠 인식(automatic contents recognition, ACR)이라 칭하기도 한다.
데이터 송수신부(141)는 ATSC-M/H (Advanced Television Systems Committee - Mobile/Handheld) 채널 송수신부(141a)와 IP 송수신부(141b)를 포함할 수 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 표시 장치(100)는 인터넷(internet)상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(150)는 컨텐츠 정보 저장부(151), 부가 서비스 저장부(152), 로고 저장부(153), 설정 정보 저장부(154), 북마크 저장부(155), 사용자 정보 저장부(156), 이용 정보 저장부(157)를 포함할 수 있다.
컨텐츠 정보 저장부(151)는 복수의 특징 정보에 대응하는 복수의 컨텐츠 정보를 저장한다.
부가 서비스 저장부(152)는 복수의 특징 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있고, 복수의 컨텐츠 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있다.
로고 저장부(153)는 복수의 로고를 저장한다. 또, 로고 저장부는 이 복수의 로고에 대응하는 컨텐츠 제공자 식별자 또는 복수의 로고에 대응하는 워터마크 서버 주소를 더 저장할 수도 있다.
설정 정보 저장부(154)는 ACR을 위한 설정 정보를 저장한다.
북마크 저장부(155)는 북마크를 저장한다.
사용자 정보 저장부(156)는 사용자 정보를 저장한다. 사용자 정보는 하나 이상의 서비스를 위한 하나 이상의 계정 정보, 지역 정보, 가족 구성원 정보, 선호 장르 정보, 영상 표시 장치 정보, 이용 정보 제공 범위 중 하나 이상을 포함할 수 있다. 하나 이상의 계정 정보는 이용 정보 측정 서버를 위한 계정 정보, 트위터(twitter), 페이스북(facebook)과 같은 소셜 네트워크 서비스(social network service)의 계정 정보를 포함할 수 있다. 지역 정보는 주소 정보, 우편 번호를 포함할 수 있다. 가족 구성원 정보는 가족 구성원의 수, 각 구성원의 나이, 각 구성원의 성별, 각 구성원의 종교, 각 구성원의 직업 등을 포함할 수 있다. 선호 장르 정보는 스포츠, 영화, 드라마, 교육, 뉴스, 오락, 기타 장르 중에서 하나 이상으로 설정될 수 있다. 영상 표시 장치 정보는 영상 표시 장치의 종류, 제조사, 펌웨어 버전, 해상도, 모델명, OS, 브라우저, 저장 장치 유무, 저장 장치의 용량, 네트워크 속도에 대한 정보를 포함할 수 있다. 이용 정보 제공 범위가 설정되면, 영상 표시 장치(100)는 설정된 범위 내에서 메인 시청각 컨텐트 시청 정보와 부가 서비스 이용 정보를 수집하고 보고할 수 있다. 이용 정보 제공 범위는 가상 채널 각각에 대해 설정될 수 있다. 또한, 이용 정보 측정 허용 범위는 물리 채널 전체에 대해 설정될 수도 있다.
이용 정보 저장부(157)는 영상 표시 장치(100)에 의해 수집되는 메인 시청각 컨텐트 시청 정보와 부가 서비스 사용 정보를 저장한다. 또한, 영상 표시 장치(100)는 수집한 메인 시청각 컨텐트 시청 정보와 수집한 부가 서비스 사용 정보에 기초하여 서비스 이용 패턴을 분석하고, 분석된 서비스 이용 패턴을 이용 정보 저장부(157)에 저장할 수 있다.
부가 서비스 관리부(130)는 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 컨텐츠 정보 저장부(151)에 추출한 특징 정보에 해당하는 컨텐츠 정보가 없거나 충분한 컨텐츠 정보가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 컨텐츠 정보를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 컨텐츠 정보를 업데이트할 수 있다.
부가 서비스 관리부(130)는 부가 서비스 제공 서버(50) 또는 부가 서비스 저장부(153)로부터 이용가능한 부가 서비스를 획득할 수 있다. 부가 서비스 저장부(153)에 부가 서비스가 없거나 충분한 부가 서비스가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 부가 서비스를 업데이트할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 부가 서비스를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 로고를 추출하고, 로고 저장부(155)에 질의하여 추출한 로고에 대응하는 컨텐츠 제공자 식별자 또는 워터마크 서버 주소를 획득할 수 있다. 로고 저장부(155)에 추출한 로고와 일치하는 로고가 없거나 충분한 로고가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 로고를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 로고를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 추출한 로고와 로고 저장부(155) 내의 복수의 로고와의 비교를 수행하는데 연산의 부담을 줄이기 위한 다양한 방법을 수행할 수 있다.
예컨데, 부가 서비스 관리부(130)는 색깔 특성에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 색깔 특성과 로고 저장부(155) 내의 로고의 색깔 특성을 비교하여 일치 여부를 판단할 수 있다.
또, 부가 서비스 관리부(130)는 문자 인식에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고로부터 인식되는 문자와 로고 저장부(155) 내의 로고로부터 인식되는 문자를 비교하여 일치 여부를 판단할 수 있다.
뿐만 아니라, 부가 서비스 관리부(130)는 로고의 윤곽에 대한 형상에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 윤곽 형상과 로고 저장부(155) 내의 로고의 윤곽 형상을 비교하여 일치 여부를 판단할 수 있다.
이하에서는 도 11 및 도 18을 참고하여 본 발명의 다양한 실시예에 따른 부가 서비스 관리부(130)를 설명한다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 11에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131a), 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(ACR platform application program interface)(135a), 하나 이상의 ACR 엔진(136a), ACR 데몬(ACR daemon)(137a), ACR 미들웨어(138a), 하나 이상의 ACR 애플리케이션(139a)를 포함한다.
도 11에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 애플리케이션 스토어에 접속하여 애플리케이션을 다운로드할 수 있다.
오디오 드라이버(132a)는 오디오 핑거프린트 또는 오디오 워터마크를 위하여 사용되는 오디오 버퍼에 접근할 수 있다.
비디오 드라이버(133a)는 비디오 핑거프린트 또는 비디오 워터마크를 위하여 사용되는 비디오 버퍼에 접근할 수 있다.
네트워크 드라이버(134a)는 ACR 엔진(136a)이 데이터 송수신부(141)에 접근할 수 있도록 한다.
ACR 플랫폼 API(135a)는 ACR 엔진(136a)이 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a)에 접근할 수 있는 API를 제공한다.
복수의 방송국 또는 컨텐츠 제공자는 서로 다른 컨텐츠 인식 서비스를 이용할 수 있으므로, 영상 표시 장치(100)는 복수의 ACR 엔진(136a)을 탑재할 수 있다. 즉, 영상 표시 장치(100)는 복수의 비디오 워터마크 추출 알고리즘, 복수의 오디오 워트마크 추출 알고리즘, 복수의 비디오 시그너처 추출 알고리즘, 복수의 오디오 시그너처 추출 알고리즘 중 하나 이상을 위한 ACR 엔진을 포함할 수 있다. 워터마크 기반의 ACR 엔진(136a)은 워터마크 정보를 추출하여, 추출한 워터마크 정보로부터 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다. 핑거프린트 기반의 ACR 엔진(136a)은 메인 시청각 컨텐트의 일부 구간의 특징 정보를 추출하여, 추출한 특징 정보에 기초하여 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다.
ACR 데몬(ACR daemon)(137a)은 하나 이상의 ACR 엔진(136a)를 관리한다. 데몬(daemon)은 주기적인 서비스 요청을 처리하기 위해 계속 실행되는 을 말한다. 데몬은 수집된 요구들을 또 다른 프로그램이나 들이 처리할 수 있도록 적절히 전달한다. ACR 데몬(137a)은 ACR 엔진(136a)의 실행 및 종료를 관리할 수 있다. ACR 데몬(137a)은 복수의 ACR 엔진(136a) 중에서 현재의 메인 시청각 컨텐트에 매칭되는 ACR 엔진을 탐색한다. 특히, 여러 개의 ACR 엔진이 실행되어 시스템 자원이 많이 소모되는 경우에, ACR 데몬(137a)은 특정 규칙 또는 우선순위에 따라 복수의 ACR 엔진(136a)을 하나씩 순차적으로 실행시켜서 컨텐츠 인식 성공 여부를 확인할 수 있다. 또한, 복수의 ACR 엔진(136a) 중 하나가 컨텐츠 인식에 성공한 경우에, ACR 데몬(137a)은 인식된 컨텐츠를 위한 부가 서비스에 해당하는 ACR 애플리케이션(139a)을 획득하고 실행시킬 수 있다. ACR 엔진(136a)이 컨텐츠 인식을 성공적으로 수행중에, 채널 변경 등으로 더 이상 컨텐츠를 인식할 수 없다면, ACR 데몬(137a)은 ACR 애플리케이션(139a)을 종료시킬 수 있다.
ACR 미들웨어(138a)는 하나 이상의 ACR 애플리케이션(139a)을 위한 브라우저 역할을 수행한다.
ACR 애플리케이션(139a)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139a)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139a)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다. ACR 애플리케이션(139a)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136a)과 상호 작용하면서 ACR 엔진(136a)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다. 이를 위하여 ACR 애플리케이션(139a)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 3과 같다.
표 3
Figure PCTKR2011009043-appb-T000003
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)가 선택되면, ACR 데몬(137a)은 하나 이상의 ACR 엔진(136a)을 통해서 튜닝된 채널에서 방송되는 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S401).
이후, ACR 데몬(137a)은 컨텐츠 정보와 관련된 이용가능한 부가 서비스를 획득한다(S403).
ACR 데몬(137a)은 획득한 부가 서비스를 백그라운드에서 실행한다(S405).
ACR 데몬(137a)은 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S407).
ACR 데몬(137a)이 부가 서비스의 이용을 수신하면, ACR 데몬(137a)은 백그라운드에서 실행이 되었던 부가 서비스를 재생 장치(120)에 재생한다(S409).
채널이 변경되거나 메인 시청각 컨텐트가 변경되면, ACR 데몬(137a)은 하나 이상의 ACR 엔진(136a)을 통해서 변경을 인식하고, 부가 서비스를 종료한다(S411).
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 13에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131b), 오디오 드라이버(132b), 비디오 드라이버(133b), 네트워크 드라이버(134b), ACR 플랫폼 API(ACR platform application program interface)(135b), 하나 이상의 ACR 엔진(136b), ACR 엔진 관리부(ACR engine manager)(137b), ACR 미들웨어(138b), 하나 이상의 ACR 애플리케이션(139b)를 포함한다.
도 13에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 인식할 필요가 있지만, ACR을 위한 질의의 수가 줄어들 수 있으므로 서버의 부담을 경감시킬 수 있다.
도 13의 부가 서비스 관리부(130) 내의 오디오 드라이버(132b), 비디오 드라이버(133b), 네트워크 드라이버(134b), ACR 플랫폼 API(135b), 복수의 ACR 엔진(136b), ACR 미들웨어(138b)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), 복수의 ACR 엔진(136a), ACR 미들웨어(138a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진 관리부(ACR engine manager)(137b)는 하나 이상의 ACR 엔진(136b)의 리스트를 관리하고 ACR 엔진(136b)의 선택 인터페이스를 ACR 애플리케이션(139b)에 제공한다.
ACR 애플리케이션(139b)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139b)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139b)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다.
ACR 애플리케이션(139b)은 ACR 미들웨어(138b)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진 관리부(ACR engine manager)(137b)와 상호 작용하면서 이용하고자 하는 ACR 엔진(136b)을 선택할 수 있다. 이를 위하여 ACR 애플리케이션(139b)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 4와 표 5과 같다.
표 4
Figure PCTKR2011009043-appb-T000004
표 5
Figure PCTKR2011009043-appb-T000005
ACR 애플리케이션(139b)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136b)과 상호 작용하면서 ACR 엔진(136b)을 제어 할 수 있고, ACR 엔진(136b)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다. 이를 위하여 ACR 애플리케이션(139b)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 6과 같다.
표 6
Figure PCTKR2011009043-appb-T000006
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 제공자 관련 애플리케이션의 핑거프린트 샘플 코드의 한 예를 구현하면 표 7과 같다.
표 7
Figure PCTKR2011009043-appb-T000007
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 관련 애플리케이션의 핑거프린트 샘플 코드의 한 예를 구현하면 표 8과 같다.
표 8
Figure PCTKR2011009043-appb-T000008
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 제공자 관련 애플리케이션의 워터마킹 샘플 코드의 한 예를 구현하면 표 9와 같다.
표 9
Figure PCTKR2011009043-appb-T000009
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 관련 애플리케이션의 워터마킹 샘플 코드의 한 예를 구현하면 표 10과 같다.
표 10
Figure PCTKR2011009043-appb-T000010
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되더라도, 영상 표시 장치(100)는 ACR 애플리케이션(139b)의 실행 이전에는 자동 컨텐츠 인식 동작을 수행하지 않는다.
메인 시청각 컨텐츠의 채널을 인지하는 사용자에 의해 해당 채널 관련 ACR 애플리케이션(139b)이 실행되면, ACR 애플리케이션(139b)은 자신이 이용하는 ACR 엔진(136a)에 대한 정보를 ACR 엔진 관리부(ACR engine manager)(137b)에 질의하여 수신한다(S501).
이후, ACR 애플리케이션(139b)은 자신이 이용하는 ACR 엔진(136b)을 시작하고(S503), ACR 엔진(136b)을 통해 컨텐츠 정보를 획득한다(S505).
ACR 애플리케이션(139b)은 획득한 컨텐츠 정보를 통해 메인 시청각 컨텐츠와 관련된 이용가능한 부가 서비스를 획득하고(S507), 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S509).
ACR 애플리케이션(139b)이 부가 서비스의 이용을 사용자로부터 수신하면, ACR 애플리케이션(139b)은 부가 서비스를 재생 장치(120)에 재생한다(S511).
ACR 미들웨어(138b)가 ACR 애플리케이션(139b)의 종료에 관한 사용자 입력을 수신하면, ACR 미들웨어(138b)는 ACR 애플리케이션(139b)을 종료시킨다(S513).
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 15에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131c), 오디오 드라이버(132c), 비디오 드라이버(133c), 네트워크 드라이버(134c), ACR 플랫폼 API(ACR platform application program interface)(135c), ACR 엔진(136c), ACR 미들웨어(138c), 하나 이상의 ACR 애플리케이션(139c)를 포함한다.
도 15에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 인식할 필요가 있지만, ACR을 위한 질의의 수가 줄어들 수 있으므로 서버의 부담을 경감시킬 수 있다.
도 15의 부가 서비스 관리부(130) 내의 오디오 드라이버(132c), 비디오 드라이버(133c), 네트워크 드라이버(134c), ACR 플랫폼 API(135c), ACR 미들웨어(138c)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), ACR 미들웨어(138a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진(136c)은 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 ACR 조정 서버(도시하지 않음)에 추출된 특징 정보를 포함하는 질의를 전송한다. ACR 조정 서버는 이 질의에 대한 응답으로 핑거프린트 서버 주소를 전송할 수 있다. 또한, ACR 조정 서버는 핑거프린트 서버 주소와 함께 특징 정보에 해당하는 컨텐츠 정보를 전송할 수도 있다.
ACR 애플리케이션(139c)은 ACR 엔진(136c)으로부터 핑거프린트 서버 주소를 수신하면, ACR 엔진(136c)이 추출한 특징 정보를 포함하는 질의를 핑거프린트 서버 주소에 해당하는 핑거프린트 서버에 직접 전송한다. 이를 위하여 ACR 애플리케이션(139c)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 표 11과 같다.
표 11
Figure PCTKR2011009043-appb-T000011
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 핑거프린트 샘플 코드의 한 예를 작성하면 표 12와 같다.
표 12
Figure PCTKR2011009043-appb-T000012
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되면, ACR 엔진(136c)은 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 ACR 조정 서버(도시하지 않음)에 추출된 특징 정보를 포함하는 질의를 전송한다(S601).
ACR 엔진(136c)은 이 질의에 대한 응답으로 핑거프린트 서버 주소를 수신한다(S603).
ACR 애플리케이션(139c)는 getACRBackend() 메쏘드를 이용하여 ACR 엔진(136c)로부터 핑거프린트 서버 주소를 획득한다(S605).
ACR 애플리케이션(139c)는 getSignature() 메쏘드를 이용하여 ACR 엔진(136c)로부터 메인 시청각 컨텐트의 일부 비디오 프레임 구간 또는 일부 오디오 구간의 특징 정보를 획득한다(S607).
ACR 애플리케이션(139c)는 획득한 핑거프린트 서버 주소에 해당하는 핑거프린터 서버에 획득한 특징 정보를 포함하는 질의를 전송한다(S609).
ACR 애플리케이션(139c)는 이 질의에 대한 응답으로 컨텐츠 정보를 수신한다(S611).
ACR 애플리케이션(139c)는 수신한 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득하고(S613), 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S615).
ACR 애플리케이션(139c)이 부가 서비스의 이용을 사용자로부터 수신하면, ACR 애플리케이션(139c)은 부가 서비스를 재생 장치(120)에 재생한다(S617).
ACR 미들웨어(138c)가 ACR 애플리케이션(139c)의 종료에 관한 사용자 입력을 수신하면, ACR 미들웨어(138c)는 ACR 애플리케이션(139c)을 종료시킨다(S619).
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 17에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(131d), 오디오 드라이버(132d), 비디오 드라이버(133d), 네트워크 드라이버(134d), ACR 플랫폼 API(135d), 하나 이상의 ACR 엔진(136d), ACR 엔진 관리부(ACR engine manager)(137d), 애플리케이션 관리부(138d), 하나 이상의 ACR 애플리케이션(139d)를 포함한다.
도 17에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
도 17의 부가 서비스 관리부(130) 내의 오디오 드라이버(132d), 비디오 드라이버(133d), 네트워크 드라이버(134d), ACR 플랫폼 API(135d), 복수의 ACR 엔진(136d)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), 복수의 ACR 엔진(136a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진 관리부(ACR engine manager)(137d)는 외부 입력 포트(111)로부터 수신되는 메인 시청각 컨텐트에 매칭되는 ACR 엔진(136d)을 확인하고, 애플리케이션(139d)에 매치되는 ACR 엔진(136d)를 확인한다. 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136d)을 제어하여 복수의 ACR 엔진(136d)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다. ACR 엔진 관리부(137d)는 우선 순위를 가지고 복수의 ACR 엔진(136d)을 제어할 수 있다. 복수의 ACR 엔진(136d) 중 어느 하나가 메인 시청각 컨텐트의 인식에 성공하면, ACR 엔진 관리부(137d)는 나머지 ACR 엔진을 슬립시키고, 동작하는 ACR 엔진으로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다.
애플리케이션 관리부(138d)는 ACR 엔진 관리부(ACR engine manager)(137d)와 상호 작용하면서 ACR 애플리케이션의 생성, 시작, 중단, 슬립, 종료를 제어한다.
ACR 애플리케이션(139d)은 내장 애플리케이션일 수 있다. ACR 애플리케이션(139d)은 다음의 표 13에서 보여지는 바와 같은 함수를 통해 ACR 엔진(136b)을 제어할 수 있다.
표 13
Figure PCTKR2011009043-appb-T000013
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되면, ACR 엔진 관리부(137d)는 외부 입력 포트(111)로부터 수신되는 메인 시청각 컨텐트에 매칭되는 ACR 엔진(136a)을 확인한다(S701). 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136a)을 제어하여 복수의 ACR 엔진(136a)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다. ACR 엔진 관리부(137d)는 우선 순위를 가지고 복수의 ACR 엔진(136a)을 제어할 수 있다.
복수의 ACR 엔진(136a) 중 어느 하나가 메인 시청각 컨텐트의 인식에 성공하면, ACR 엔진 관리부(137d)는 나머지 ACR 엔진을 슬립시키고(S702), 동작하는 ACR 엔진으로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S703).
이후, ACR 엔진 관리부(137d)는 컨텐츠 정보와 관련된 이용가능한 애플리케이션을 확인하고(S704), 애플리케이션 관리부(138d)에 확인된 애플리케이션(139d)의 실행을 요청한다.
애플리케이션 관리부(138d)는 확인된 애플리케이션(139d)을 백그라운드에서 실행한다(S705).
백그라운드에서 실행된 애플리케이션(139d)은 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S707).
백그라운드에서 실행된 애플리케이션(139d)이 사용자로부터 부가 서비스의 이용을 수신하면, 부가 서비스를 재생 장치(120)에 재생한다(S709).
채널이 변경되거나 메인 시청각 컨텐트가 변경되면(S710), ACR 엔진 관리부(137d)는 애플리케이션(139d)에 매칭되는 ACR 엔진(136a)을 확인하고, 확인된 ACR 엔진(136a)과 애플리케이션(139d)를 연결시킨다(S711). 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136a)을 제어하여 복수의 ACR 엔진(136a)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다.
애플리케이션 관리부(138d)는 애플리케이션(139d)의 종료를 위한 사용자 입력을 수신하면(S712), 애플리케이션(139d)를 종료한다(S713).
다음은 도 19와 도 20을 참고하여 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 설명한다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
부가 서비스 정보는 부가 서비스의 시작 시간을 포함할 수 있다. 이때, 영상 표시 장치(100)는 이 시작 시간에서 부가 서비스를 시작할 필요가 있다. 그러나, 영상 표시 장치(100)는 타임 스탬프를 가지지 않는 비압축 메인 시청각 컨텐트를 전송하는 신호를 수신하기 때문에, 메인 시청각 컨텐트의 재생 시간의 기준과 부가 서비스의 시작 시간의 기준은 서로 다르다. 영상 표시 장치(100)가 시간 정보를 가지는 메인 시청각 컨텐트를 수신하더라도, 재방송 등과 같이, 메인 시청각 컨텐트의 재생 시간의 기준과 부가 서비스의 시작 시간의 기준은 서로 다를 수 있다. 따라서, 영상 표시 장치(100)는 메인 시청각 컨텐트의 기준 시간과 부가 서비스의 기준 시간을 동기화할 필요가 있다. 특히 영상 표시 장치(100)는 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 시작 시간을 동기화할 필요가 있다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S801). 메인 시청각 컨텐트의 일부 구간은 메인 시청각 컨텐트의 일부 비디오 프레임과 일부 오디오 구간 중 하나 이상을 포함할 수 있다. 부가 서비스 관리부(130)가 메인 시청각 컨텐트의 일부 구간을 추출한 시간을 Tn이라 한다.
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S803). 구체적으로 부가 서비스 관리부(130)는 추출된 구간에 보이지 않는 워터마크(invisible watermark)로 부호화된 정보를 복호하여 컨텐츠 정보를 획득할 수 있다. 또한, 부가 서비스 관리부(130)는 추출된 구간의 특징 정보를 추출하고, 추출된 특징 정보에 기초하여 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 부가 서비스 관리부(130)가 컨텐츠 정보를 획득한 시간을 Tm이라 한다.
한편, 컨텐츠 정보는 추출된 구간의 시작 시간(Ts)을 포함한다. 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간(Tm) 이후부터는 시간(Ts), 시간(Tm), 시간(Tn)에 기초하여 메인 시청각 컨텐트의 재생 시간을 부가 서비스의 시작 시간과 동기화한다(S805). 구체적으로, 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간(Tm)을 다음의 수학식 1에서 계산되는 시간(Tp)로 간주한다.
수학식 1
Figure PCTKR2011009043-appb-M000001
그리고, 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간부터 시간(Tx)가 경과한 시간을 Tp + Tx로 간주할 수 있다.
이후, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스와 부가 서비스의 시작 시간(Ta)을 획득한다(S807).
메인 시청각 컨텐트의 동기화된 재생 시간이 부가 서비스의 시작 시간(Ta)와 일치하면, 부가 서비스 관리부(130)는 획득한 부가 서비스를 시작한다(S809). 구체적으로, 부가 서비스 관리부(130)는 다음의 수학식 2를 만족하는 경우에 부가 서비스를 시작할 수 있다.
수학식 2
Figure PCTKR2011009043-appb-M000002
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 20에 도시된 바와 같이, 영상 표시 장치(100)는 시스템 시간(Tn)에서 시청각 샘플을 추출한다.
영상 표시 장치(100)는 추출한 시청각 샘플로부터 특징 정보를 추출하고, 핑거프린트 서버(22)에 추출한 특징 정보를 포함하는 질의를 전송하여 질의 결과를 수신한다. 영상 표시 장치(100)는 질의 결과를 파싱하여 추출한 시청각 샘플의 시작 시간(Ts)가 11000ms에 해당함을 시간(Tm)에서 확인한다.
따라서, 영상 표시 장치는 수학식 1에 따라 추출한 시청각 샘플의 시작 시간을 확인한 시점을 Ts + (Tm - Tn)로 간주하여 이후부터 메인 시청각 컨텐트의 재생 시간을 부가 서비스의 시작 시간과 동기화할 수 있다.
다음은 도 21 내지 도 50을 참고하여 본 발명의 다양한 실시예에 따른 ACR 애플리케이션을 설명한다.
본 발명의 다양한 실시예에 따른 ACR 애플리케이션으로, 자동 재생 애플리케이션, 컨텐츠 제공자 애플리케이션, 영상 표시 장치 제조사 애플리케이션 등을 들 수 있다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
자동 재생 애플리케이션은 사용자가 아무런 액션을 취하지 않더라도 부가 서비스를 자동적으로 재생한다. 이러한 의미에서, 본 명세서에서 자동 재생 애플리케이션을 린백 애플리케이션(lean back application)이라 부르기도 한다.
자동 재생 애플리케이션은 메인 시청각 컨텐트의 재생 중에 컨텐츠 제공자 또는 방송사가 제공하는 장면 연관 정보와 같은 부가 서비스를 메인 시청각 컨텐트의 재생 시간에 따라 사용자의 입력 없이 자동으로 재생한다. 즉, 컨텐츠 제공자 또는 방송사가 전적으로 자동 재생 애플리케이션을 통제한다.
도 21에 도시된 바와 같이, 자동 재생 애플리케이션이 재생되면, 화면(200)은 축소된 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 부가 정보가 디스플레이되는 서브 화면(220)을 포함할 수 있다. 부가 정보가 디스플레이되는 서브 화면(220)은 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 공간적으로 나뉘어 질 수 있다.
한편, 자동 재생 애플리케이션이 실행될 때, 부가 정보가 디스플레이되는 영역은 반투명할 수 있다. 이 경우, 부가 정보가 디스플레이되는 영역은 메인 시청각 컨텐트가 재생되는 영역의 위에 overlay될 수 있다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
본 명세서에서, 컨텐츠 제공자 애플리케이션을 풀 인터렉티브 애플리케이션(full interactive application)이라 부르기도 한다.
도 22의 (A)에 도시된 바와 같이, 영상 표시 장치(100)는 복수의 애플리케이션을 다운로드하여 저장할 수 있다. 도 22의 (A)는 복수의 애플리케이션의 아이콘(230)다. 이러한 애플리케이션 중에서 컨텐츠 제공자 애플리케이션은 컨텐츠 제공자에 의해 제작되고 배포되는 애플리케이션이어서, 컨텐츠 제공자의 통제 하에 있을 수 있다.
영상 표시 장치(100)의 사용자는 컨텐츠 제공자 애플리케이션을 애플리케이션 스토어에서 다운로드할 수 있고, 다운로드된 컨텐츠 제공자 애플리케이션의 실행을 결정할 수 있다.
도 22의 (B)는 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다. 도 22의 (B)에 도시된 바와 같이, 화면(200)은 축소된 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 부가 정보가 디스플레이되는 서브 화면(220), 메뉴가 디스플레이되는 서브 화면을 포함할 수 있다.
이하에서는 도 23 내지 도 50을 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션을 설명한다.
영상 표시 장치 제조사 애플리케이션은 영상 표시 장치 제조사 에 의해 제작되고, 영상 표시 장치 제조사에 의해 제어되며, 영상 표시 장치(100)의 생산시에 미리 저장될 수 있다. 즉, 영상 표시 장치 제조사 애플리케이션은 컨텐츠 제공자나 컨텐츠에 상관없이 동일한 서비스를 제공할 수 있으며, 컨텐츠 제공자나 컨텐츠에 상관없이 동일한 유저 인터페이스를 제공할 수 있다.
영상 표시 장치 제조사 애플리케이션은 컨텐츠 제공자가 제공하는 부가 서비스가 표시되는 영역과 영상 표시 장치 제조사가 제공하는 부가 서비스가 표시되는 영역을 분리하여 가질 수 있다. 영상 표시 장치 제조사 애플리케이션은 영상 표시 장치(100)의 사용자에 의해 실행 여부가 결정될 수 있다.
영상 표시 장치 제조사 애플리케이션은 2가지 타입을 가질 수 있다.
첫번째 타입의 영상 표시 장치 제조사 애플리케이션은 크기 조절 사용자 인터페이스(resizing user interface)를 가진다. 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션은 메인 시청각 컨텐트가 디스플레이되는 영역의 크기를 줄여 줄인 영역 내에서 메인 시청각 컨텐트의 내용 전부가 디스플레이될 수 있도록 한다. 또한, 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션은 애플리케이션이 디스플레이되는 영역을 알파벳 L자나 Inverse-L 자 구조로 만든다.
두 번째 타입의 영상 표시 장치 제조사 애플리케이션은 오버레이 사용자 인터페이스(Overlay user interface)를 가진다. 오버레이 사용자 인터페이스(Overlay user interface)를 가지는 영상 표시 장치 제조사 애플리케이션은 메인 시청각 컨텐트가 디스플레이되는 영역의 크기는 그대로 유지하면서 애플리케이션이 디스플레이되는 영역을 메인 시청각 컨텐트 위에 겹친다. 애플리케이션이 디스플레이되는 영역이 메인 시청각 컨텐트를 가리므로, 애플리케이션 영역은 반투명일 수 있다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 23에 도시된 바와 같이, 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면(300)은 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310), 메인 메뉴가 디스플레이되는 메인 메뉴 영역(320), 알림 메시지가 디스플레이되는 알림 영역(330), 영상 표시 장치 제조사 애플리케이션의 제어를 위한 제어 버튼이 디스플레이되는 제어 버튼 영역(340), 서브 메뉴가 디스플레이되는 서브 메뉴 영역(350), 부가 정보가 디스플레이되는 부가 정보 영역(360), 광고가 디스플레이되는 광고 영역(370)을 포함한다.
제어 버튼 영역(340)은 영상 표시 장치 제조사 애플리케이션의 종료 버튼(341), 영상 표시 장치 제조사 애플리케이션의 숨김 버튼(342), 이전 정보로 되돌리는 백 버튼(343)을 포함한다.
본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션에서, 메인 시청각 컨텐트 영역(310)은 화면(300)의 좌측 상단에 위치하고, 메인 메뉴 영역(320)과 알림 영역(330)은 메인 시청각 컨텐트 영역(310)의 하단에 위치하고, 제어 버튼 영역(340)은 우측 상단에 위치하고, 서브 메뉴 영역(350)은 제어 버튼 영역(340)과 부가 정보 영역(360) 사이에 위치하고, 광고 영역(370)은 우측 하단에 위치하고, 부가 정보 영역(360)은 서브 메뉴 영역(350)과 광고 영역(370) 사이에 위치하지만, 이들의 위치는 다양하게 변경될 수 있다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24에 도시된 바와 같이, 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션과 유사하게, 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면(300)은 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310), 메인 메뉴가 디스플레이되는 메인 메뉴 영역(320), 알림 메시지가 디스플레이되는 알림 영역(330), 영상 표시 장치 제조사 애플리케이션의 제어를 위한 제어 버튼이 디스플레이되는 제어 버튼 영역(340), 서브 메뉴가 디스플레이되는 서브 메뉴 영역(350), 부가 정보가 디스플레이되는 부가 정보 영역(360), 광고가 디스플레이되는 광고 영역(370)을 포함한다.
본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션에서, 메인 시청각 컨텐트 영역(310)은 화면(300)의 좌측 상단에 위치하고, 메인 메뉴 영역(320)과 알림 영역(330)은 메인 시청각 컨텐트 영역(310)의 하단에 위치하고, 제어 버튼 영역(340)은 우측 상단에 위치하고, 서브 메뉴 영역(350)은 제어 버튼 영역(340)과 부가 정보 영역(360) 사이에 위치하고, 광고 영역(370)은 우측 하단에 위치하고, 부가 정보 영역(360)은 서브 메뉴 영역(350)과 광고 영역(370) 사이에 위치하지만, 이들의 위치는 다양하게 변경될 수 있다.
이하에서는 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션을 중심으로 설명한다.
영상 표시 장치 제조사 애플리케이션은 영상 표시 장치(100)에 내장된 ACR 엔진으로부터 필요한 정보를 공급받는데, 성격에 따라 크게 두 가지 타입의 메뉴를 가진다.
첫 번째 타입의 메뉴는 시간에 민감하지 않은(time insensitive) 부가 서비스를 위한 것이다. 즉, 시간에 민감하지 않은 부가 서비스와 관련된 메뉴가 선택되면, 영상 표시 장치(100)는 화면에 재생되고 있는 메인 시청각 컨텐트의 식별자를 획득하고, 획득한 식별자에 기초하여 부가 서비스를 획득하며, 획득된 부가 서비스를 부가 정보 영역(360)에 표시한다. 이러한 시간에 민감하지 않은 부가 서비스 예로는 타이틀, 장르, 배우, 감독, 다른 사람의 평가, Short clip, Short explanation 등이 있다. 이 기본 정보를 통해 영상 표시 장치(100)는 추가 정보를 검색하거나 Facebook, Twitter 같은 소셜 네트워크 서비스와 연동하거나, 추천 서비스 및 연관된 광고를 제공할 수 있다.
두 번째 타입의 메뉴는 시간에 민감한(time sensitive) 부가 서비스를 위한 것이다. 즉, 시간에 민감한 부가 서비스와 관련된 메뉴가 선택되면, 영상 표시 장치(100)는 화면에 재생되고 있는 메인 시청각 컨텐트의 식별자와 재생 시간 정보를 획득하고, 획득한 식별자와 재생 시간 정보에 기초하여 시간에 민감한 부가 서비스를 획득하며, 획득된 부가 서비스를 부가 정보 영역(360)에 표시한다.
본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 메인 메뉴는 프로그램(program) 메뉴, 정보(Information) 메뉴, 소셜(Social) 메뉴, 추천(Recommendation) 메뉴, 카탈로그(Catalogue) 메뉴를 포함한다. 이 중에서 시간에 민감하지 않은(Time insensitive) 메뉴는 정보 메뉴, 소셜 메뉴, 추천 메뉴, 카달로그 메뉴이고, 시간에 민감한 메뉴는 프로그램 메뉴이다. 시간에 민감하지 않은 메뉴가 선택되더라도 시간에 민감한 애플리케이션이 호출될 수도 있다. 이 다섯 가지 메인 메뉴 외에 다른 메인 메뉴도 추가될 수 있다. 각각의 메인 메뉴가 선택되면, 선택된 메인 메뉴의 서브 메뉴가 서브 메뉴 영역(350)에 나타난다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
영상 표시 장치(100)가 메인 시청각 컨텐트가 재생되는 중에 리모컨의 특정 키의 누름, 모션 리모컨을 아래 방향으로 흔듬, 모션 리모컨의 커서를 화면 아래쪽으로 죽 당김을 통해 애플리케이션 선택 메뉴 표시에 해당하는 사용자 입력을 수신하면(S901), 영상 표시 장치(100)는 도 26과 같은 애플리케이션 선택 메뉴를 디스플레이한다(S903).
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 26에 도시한 바와 같이, 애플리케이션 선택 메뉴(380)는 화면(300)의 하단에 위치한다. 애플리케이션 선택 메뉴(380)는 반투명할 수 있다.
애플리케이션 선택 메뉴(380)는 영상 표시 장치(100) 내에 설치된 복수의 애플리케이션의 실행 아이콘을 포함한다. 표시된 실행 아이콘들 중에 하나의 아이콘이 영상 표시 장치 제조사 애플리케이션의 실행 아이콘에 해당한다.
영상 표시 장치(100)가 리모컨의 좌우 화살표 키의 조작이나 모션 리모컨의 움직임에 따른 커서 이동을 통해 영상 표시 장치 제조사 애플리케이션의 아이콘의 선택에 해당하는 사용자 입력을 수신하면(S905), 영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션을 실행한다(S907). 이를 통해, 사용자는 메인 시청각 컨텐트를 시청하면서 원하는 즉시 앱 스토어 접속 없이 애플리케이션을 실행시킬 수 있다.
영상 표시 장치 제조사 애플리케이션이 실행되면, 영상 표시 장치 제조사 애플리케이션의 메인 메뉴가 나타난다. 프로그램 메뉴가 default로 선택되고 프로그램 메뉴의 서브 메뉴가 서브 메뉴 영역(350)에 나타난다. 프로그램 메뉴의 서브 메뉴들 중에서 전체 서브 메뉴가 디폴트로 선택된다. 포커스는 전체 서브 메뉴에 위치한다. 시간이 흘러감에 따라 부가 정보 영역(360)에 표시되는 부가 서비스가 자동으로 업데이트된다. 이전 메뉴로 돌아가는 것은 <- 버튼을 통해 수행되고고, 영상 표시 장치 제조사 애플리케이션을 닫고 전체화면으로 돌아가는 것은 X 버튼을 통해 수행된다.
다음은 도 27 내지 도 29를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴를 설명한다.
프로그램 메인 메뉴는 재생되고 있는 메인 시청각 컨텐트와 시간으로 연관된 애플리케이션을 부가 정보 영역(360)에 표시하기 위한 메뉴이다. 메인 시청각 컨텐트와 연동되는 애플리케이션을 띄우는 위한 부가 서비스 정보는 TV 방송사 같은 컨텐트 소유자(Content Owner)가 제공할 수 있다. 영상 표시 장치(100)는 이 부가 서비스 정보를 해석하여, 적절한 타이밍에 부가 정보 영역(360)에 해당 애플리케이션을 디스플레이한다. 화면에 나타나는 UI를 아래 그림에 도시한다.
프로그램 메뉴는 전체(All) 서브 메뉴, 참여(Participation) 서브 메뉴, 디스커버리(Discovery) 서브 메뉴를 가진다.
전체 서브 메뉴는 참여 서브 메뉴와 디스커버리 서브 메뉴와 관련된 모든 애플리케이션이 부가 정보 영역(360)에 나타나는 메뉴이다. 참여 서브 메뉴는 프로그램에서 투표와 같이 프로그램 참여를 유도하는 애플리케이션이 나타나는 메뉴이다. 디스커버리 서브 메뉴는 장면 연관 정보와 같은 애플리케이션이 나타나는 메뉴이다. 프로그램 메뉴의 서브 메뉴는 컨텐트 소유자가 원하는 애플리케이션의 내용에 따라 추가되거나 변경될 수 있다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
프로그램 메인 메뉴의 첫번째 서브 메뉴인 전체 서브 메뉴가 선택되면, 영상 표시 장치(100)는 참여 서브 메뉴 및 디스커버리 서브 메뉴와 관련된 모든 애플리케이션을 부가 정보 영역(360)에 표시한다.
전체 서브 메뉴가 선택되면, 영상 표시 장치(100)는 특정 시간에 동기가 맞춰진 애플리케이션 또는 이벤트를 부가 정보 영역(360)에 표시한다. 특정 시간에 동기가 맞춰진 애플리케이션이 없는 경우, 영상 표시 장치(100)는 부가 정보 영역(360)을 빈공간으로 둘 수 있다. 그러나, 빈 공간은 사용자에게 추가적인 Interaction에 대한 동기 유발을 주지 못할 수 있으므로, 특정 시간에 동기가 맞춰진 애플리케이션이 없는 경우엔, 영상 표시 장치(100)는 그 시간 이전에 생긴 애플리케이션이나 이벤트를 모아 history를 표시할 수도 있다.
사용자가 영상 표시 장치 제조사 애플리케이션에 진입했을 때에는 메인 시청각 컨텐트를 시청하면서 메인 시청각 컨텐트와 연관된 interactive 애플리케이션을 수행하려는 의도를 가지고 있다고 볼 수 있다. 사용자가 이 메뉴, 저 메뉴를 돌아다니다 (navigate)보면, 어떤 특정 시간에 나타나는 이벤트를 보지 못하고 그냥 지나칠 경우가 발생할 수 있다. 특히 시간에 민감하지 않은 부가 서비스를 위한 메뉴를 돌아다닐 때 이러한 경우가 발생할 가능성이 높다. 그렇게 때문에 영상 표시 장치 제조사 애플리케이션에 진입한 후, navigation 도중에 시간에 민감한 이벤트가 발행하면, 영상 표시 장치(100)는 이에 대한 알림 메시지를 알림 영역(330)에 표시하여, 사용자에게 지금 시간에 방송사에서 보내주는 특정한 이벤트가 있다는 것을 알려줄 수 있다.
사용자가 영상 표시 장치 제조사 애플리케이션을 통해 음악정보나 장소 정보를 확인하는 중에 시간 연동 애플리케이션이 발생하면, 영상 표시 장치(100)는 알림 메시지를 알림 영역(330)에 표시한다. 영상 표시 장치(100)가 Go To 버튼 누름에 해당하는 사용자 입력을 수신하면, 영상 표시 장치(100)는 발생한 시간 연동 애플리케이션과 관련된 서브 메뉴로 진입하고, 발생한 시간 연동 애플리케이션을 부가 정보 영역(360)에 디스플레이한다. 알림 메시지는 텍스트 메시지일 수도 있다. 또한 영상 표시 장치(100)는 전달된 애플리케이션의 양을 숫자로 표시할 수 도 있다. 알림 메시지는 푸시 방식으로 시청자에게 전달될 수 있다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28에 도시된 바와 같이, 참여 서브 메뉴가 선택되면 영상 표시 장치(100)는 투표와 같은 시청자 참여를 유도하는 애플리케이션을 부가 정보 영역(360)에 표시한다. 시청자 참여 애플리케이션이 발생하면, 영상 표시 장치(100)는 부가 정보 영역에 이를 표시한다. 시청자 참여 애플리케이션이 투표인 경우, 영상 표시 장치(100)는 투표 질문과 투표 결과를 표시할 수 있다. 또한 영상 표시 장치(100)는 지금 시간의 이벤트 뿐만 아니라 과거의 시청자 참여 이벤트를 지금 시간의 이벤트 하단에 표시하여, 사용자에게 편의를 제공할 수 있다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29에 도시된 바와 같이, 디스커버리 서브 메뉴가 선택되면, 영상 표시 장치(100)는 시청자 참여 애플리케이션 이외의 모든 시간 연동 애플리케이션을 부가 정보 영역(360)에 표시한다. 예컨데, 영상 표시 장치(100)는 메인 시청각 컨텐트에 나타난 상품이나 장소에 대한 장면 연관 정보를 표시할 수 있다. 영상 표시 장치(100)는 현재의 장면 연관 정보와 함께 과거의 장면 연관 정보를 표시할 수도 있다.
한편, 영상 표시 장치(100)는 시간 연동 애플리케이션이나 이벤트가 있다는 알림을 서브 메뉴에 표시할 수도 있다. 예컨데, 시청자 참여 애플리케이션이 발생하면, 영상 표시 장치(100)는 참여 서브 메뉴에 N 이라는 깜박이는 icon을 표시하여 사용자의 참여를 유도할 수 있다. 사용자가 일정 시간동안 알림에 대한 응답을 하지 않는 경우, 영상 표시 장치(100)는 알림을 없앨 수 있다.
이하에서는 도 30 내지 도 36를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴를 설명한다.
정보 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 프로그램 메인 메뉴 이외의 메인 메뉴가 선택되면, 검색 서비스나 트위터 서비스와 같은 2차 서비스가 연동될 수 있다.
정보 메인 메뉴는 검색 서브 메뉴, 트위터 서브 메뉴, 뉴스 서브 메뉴를 가진다.
다음은 도 30 내지 도 32를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴를 설명한다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1001).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택되면(S1002), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 복수의 검색 아이템을 포함하는 검색 리스트를 획득한다(S1003). 검색 리스트는 장르, 배우, 감독, 장소, 상품 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)는 검색 리스트를 부가 정보 영역(360)에 표시한다(S1007). 검색 리스트의 표시 예를 도 30을 참고하여 설명한다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 31에 도시된 바와 같이, 검색 리스트는 메인 시청각 컨텐트의 등장 인물을 포함한다. 영상 표시 장치(100)는 부가 정보 영역(360)에 검색 아이템의 사진 또는 이름 중 하나 이상을 표시할 수 있다.
리모콘의 커서 등으로 복수의 검색 아이템 중 하나가 선택되면(S1009), 영상 표시 장치(100)는 선택된 검색 아이템에 대한 정보를 검색한다(S1011). 이때, 영상 표시 장치(100)는 구글과 같은 인터넷 검색 엔진을 이용할 수 있다. 또한, 영상 표시 장치(100)는 Tribune media나 IMDb와 같은 정보를 이용할 수도 있다.
영상 표시 장치(100)는 검색된 정보를 부가 정보 영역(360)에 표시한다(S1013). 검색 결과는 서비스 업체의 Open API를 통해 프로그래밍을 통해 자동으로 불러오게 되므로, 화면 디자인에 필요한 상당한 시간을 아낄 수 있다. 검색 정보의 표시 예를 도 32을 참고하여 설명한다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 32에 도시된 바와 같이, 영상 표시 장치(100)는 선택된 검색 아이템에 대한 검색 결과를 부가 정보 영역(360)에 디스플레이한다. 한편, 영상 표시 장치(100)는 부가 정보 영역(360)에 트위터 버튼과 편집 버튼을 배치하여, 배우의 Twitter를 Follow할 수 있게 하거나, 이 배우의 다른 출연작, Biography 등과 같은 Profile을 편집하게 할 수도 있다.
이와 같이, 본 발명의 실시예에 따른 검색 방법을 이용하면, 한번의 클릭을 통해 메인 시청각 데이터와 연관된 정보를 검색할 수 있어, 검색어 입력의 수고를 경감시킬 수 있다.
다음은 도 33과 도 34를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴를 설명한다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1101).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택되면(S1102), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 트위터 채팅 목록을 획득한다(S1103). 영상 표시 장치(100)는 Twitter의 Hashtag에 프로그램명을 적어 이 프로그램에만 관련된 Twitter 채팅 목록을 불러올 수 있다. 이 채팅 목록은 Twitter와 연동되어 실시간으로 계속 업데이트 된다.
영상 표시 장치(100)는 사용자 선택을 통해 또는 자동으로 트위터 채팅 목록 중의 한 채팅 창을 부가 정보 영역(360)에 표시한다(S1107). 채팅 창의 표시 예를 도 34을 참고하여 설명한다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 34에 도시된 바와 같이, 영상 표시 장치(100)는 채팅 창을 부가 정보 영역(360)에 표시하여 같은 프로그램을 시청하는 시청자들 사이의 채팅을 지원할 수 있다.
프로그램이 방송될 때, 실제 이 프로그램의가 직접 채팅방에서 메시지를 적어 넣을 수도 있다. 영상 표시 장치(100)가 Smart TV같이 log in 메커니즘이 있는 기기라면 이 메뉴에 진입할 때에는 이미 영상 표시 장치(100)의 사용자가 log in되어 있는 상태로 그 즉시 자신의 id로 채팅을 시작할 수도 있다. 영상 표시 장치(100)의 리모컨 입력이 불편한 경우에는 영상 표시 장치(100)는 단순히 채팅 메시지만 디스플레이할 수 있다. 만일 영상 표시 장치(100)가 Smart Phone이나 tablet처럼 2nd Device와 연동되어 있다면, 2nd Device의 입력장치를 통해 메시지가 typing될 수도 있을 것이다. Hashtag에 들어가는 정보는 기본적으로 프로그램명이지만, 앞에서 기술한 다른 기본 정보인 배우, 감독 등의 tag으로도 선택하여, 사용자는 해당 주제의 채팅에 선택적으로 참여할 수 있다.
다음은 도 35와 도 36을 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴를 설명한다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1201).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택되면(S1202), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 뉴스를 획득한다(S1203). 이때, 뉴스는 메인 시청각 컨텐트와 관련 있을 수도 있고, 관련이 없을 수도 있다. 또한, 뉴스는 메인 시청각 컨텐트의 방송사가 제공하는 것일 수 있다. 방송사가 Open API로 뉴스를 제공하는 않는다면, 영상 표시 장치(100)는 Google이나 Yahoo같은 internet 서비스의 News feed를 통해 뉴스를 수신할 수 있다.
영상 표시 장치(100)는 획득한 뉴스를 부가 정보 영역(360)에 표시한다(S1207). 뉴스의 표시 예를 도 36을 참고하여 설명한다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 36에 도시된 바와 같이, 영상 표시 장치(100)는 획득한 뉴스를 부가 정보 영역(360)에 표시할 수 있다.
이하에서는 도 37 내지 도 42를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴를 설명한다.
소셜 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 프로그램 메인 메뉴 이외의 메인 메뉴가 선택되면, Facebook과 같은 2차 서비스가 연동될 수 있다.
소셜 메인 메뉴는 시청자 리스트 서브 메뉴, 호감 표시 서브 메뉴를 가진다.
다음은 도 37 내지 도 40를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴를 설명한다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1301).
영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택되면(S1302), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 획득한다(S1303). 영상 표시 장치(100)는 facebook 같은 소셜 네트워크 서비스와 연동하여 메인 시청각 컨텐트를 시청하는 친구의 목록을 획득할 수 있다.
영상 표시 장치(100)는 획득한 시청자 리스트를 부가 정보 영역(360)에 표시한다(S1307). 시청자 리스트의 표시 예를 도 38을 참고하여 설명한다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 38에 도시된 바와 같이, 영상 표시 장치(100)는 획득한 시청자 리스트에 해당하는 시청자들의 사진과 이름을 부가 정보 영역(360)에 표시할 수 있다.
특히, 영상 표시 장치(100)는 친구의 목록을 시청 여부와 함께 표시할 수도 있고, 시청중인 친구의 목록만을 표시할 수도 있다.
표시된 친구 목록 중에서 한 친구가 선택되면(S1309), 영상 표시 장치(100)는 선택된 친구가 메인 시청각 컨텐트를 시청하고 있는지를 확인한다(S1311).
선택된 친구가 메인 시청각 컨텐트를 시청하고 있다면, 영상 표시 장치(100)는 선택된 친구와의 채팅 창을 부가 정보 영역(360)에 표시한다(S1313).
한편, 선택된 친구가 메인 시청각 컨텐트를 시청하고 있지 않다면, 영상 표시 장치(100)는 선택된 친구의 이메일 또는 핸드폰에 메인 시청각 컨텐트의 시청을 권하는 메시지를 전송한다(S1315). 선택된 친구가 메인 시청각 컨텐트를 시청하고 있지 않더라도 영상 표시 장치(100)는 선택된 친구와의 채팅 창을 부가 정보 영역(360)에 표시할 수도 있다.
채팅을 위하여 사용자는 영상 표시 장치(100)의 리모컨을 사용할 수도 있고, 영상 표시 장치(100)에 연결된 2nd device의 입력장치를 사용할 수도 있으며, 영상 표시 장치(100)와는 상관없이 Smartphone의 Social 네트워크 서비스 애플리케이션을 통해 직접 채팅을 할 수 있다. 어떤 경우에든 영상 표시 장치(100)의 화면에는 Social 네트워크 서비스의 채팅 화면이 디스플레이될 수 있다. 프로그램을 평가하는 버튼을 통해, 사용자는 자신의 의사표시를 친구들에게 전달할 수 있다. 예를 들자면, Facebook의 "좋아요" 버튼을 통해 사용자는 메인 시청각 컨텐트를 시청중임을 친구에게 알릴 수도 있고, 메인 시청각 컨텐트를 시청하지 않는 친구에게 시청을 권할 수도 있다.
이와 같이, 영상 표시 장치(100)는 시청자 리스트 서브 메뉴를 통해 ACR 기술을 이용하여 누가 어떤 프로그램을 시청하고 있는지 자동으로 파악할 수 있다. 누가 시청하고 있는 지의 확인을 위하여 사용자의 login이 요구된다. 영상 표시 장치(100)에 로그인을 위한 계정을 등록하면, 영상 표시 장치(100)는 턴온될 때마다 자동으로 log in할 수 있으므로 영상 표시 장치(100)는 누가 메인 시청각 컨텐트를 시청하고 있는 지를 파악할 수 있다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 39에 도시된 바와 같이, 친구 A의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 메인 시청각 컨텐트 A의 식별자와 친구 A의 식별자를 전송한다(S1401).
또한, 친구 B의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 메인 시청각 컨텐트 A의 식별자와 친구 B의 식별자를 전송한다(S1403).
영상 표시 장치(100)가 메인 시청각 컨텐트 A를 재생하고 있다면, 영상 표시 장치(100)는 사용자의 ID와 메인 시청각 컨텐트 A의 식별자를 SNS 제공 서버(75)에 전송한다(S1405).
SNS 제공 서버(75)는 친구 관계 정보와 수신한 컨텐트 식별자에 기초하여 영상 표시 장치(100)의 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 확인하고, 확인된 정보를 영상 표시 장치(100)에 제공한다(S1407).
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40에 도시된 바와 같이, 친구 A의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 친구 A의 식별자를 전송하고(S1501), ACR 서버(77)에 메인 시청각 컨텐트 A를 전송한다(S1503). ACR 서버(77)는 워터마크 서버(21), 핑거프린트 서버(22), 부가 서비스 정보 제공 서버(40), 부가 서비스 제공 서버(50) 중 하나 일 수 있다.
또한, 친구 B의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 친구 B의 식별자를 전송하고(S1505), ACR 서버(77)에 메인 시청각 컨텐트 A를 전송한다(S1507).
영상 표시 장치(100)는 사용자의 ID를 SNS 제공 서버(75)에 전송한다(S1509).
그러면, SNS 제공 서버(75)는 사용자의 ID에 해당하는 친구 목록을 ACR 서버(75)에 제공한다(S1511).
한편, 영상 표시 장치(100)가 메인 시청각 컨텐트 A를 재생하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트 A의 식별자를 ACR 서버(77)에 전송한다(S1513).
ACR 서버(75)는 사용자의 ID에 해당하는 친구 목록과 컨텐트 식별자에 기초하여 영상 표시 장치(100)의 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 확인하고, 확인된 정보를 영상 표시 장치(100)에 제공한다(S1515).
다음은 도 41 내지 도 42를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴를 설명한다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1601).
영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택되면(S1602), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 복수의 호감 표시 아이템을 포함하는 호감 표시 목록을 획득한다(S1603). 여기서 호감 표시 아이템은 프리뷰 또는 프리뷰 주소를 포함할 수 있다. 프리뷰는 이미지 또는 짧은 길이의 동영상 일 수 있다. 이 Preview는 방송사가 Open API를 통해 직접 제공할 수도 있고, Internet 서비스의 검색 엔진을 획득될 수 있고, 방송사의 인터넷서버에서 필요한 부분만을 추출하여 획득될 수도 있다. 몇 분의 시간 간격의 핵심 scene에 해당하는 이미지가 제공될 수도 있고, 한 프로그램에 하나의 이미지만 제공될 수도 있다.
영상 표시 장치(100)는 획득한 호감 표시 목록을 부가 정보 영역(360)에 표시한다(S1607). 시청자 리스트의 표시 예를 도 42를 참고하여 설명한다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 42에 도시된 바와 같이, 영상 표시 장치(100)는 호감 표시 목록의 프리뷰들과 호감 표시를 위한 '좋아요(Like it)' 버튼들을 부가 정보 영역(360)에 디스플레이할 수 있다.
한 호감 표시 아이템에 해당하는 '좋아요' 버튼이 선택되면(S1609), 영상 표시 장치(100)는 선택된 호감 표시 아이템에 해당하는 프리뷰와 간단한 텍스트를 facebook 등의 SNS에 포스트한다(S1611). 여기서 간단한 텍스트는 자동적으로 생성되거나, 리모컨으로 입력하거나, 2nd Device의 입력 기기를 통해 입력할 수도 있다.
이하에서는 도 43 내지 도 46을 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴를 설명한다.
추천 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 추천 메뉴가 선택되면, 다른 서비스가 연동될 수 있다.
추천 메인 메뉴는 이전 에피소드 서브 메뉴, VOD 서브 메뉴, 애플리케이션 서브 메뉴를 가진다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1701).
영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 서브 메뉴가 선택되면(S1702), 영상 표시 장치 제조사 애플리케이션은 획득한 컨텐츠 정보에 기초하여 디지털 미디어 목록을 획득한다(S1703). 이전 에피소드 서브 메뉴가 선택되면, 영상 표시 장치(100)는 이전 에피소드 목록을 획득한다. VOD 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 VOD 목록을 획득한다. 애플리케이션 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 애플리케이션의 목록을 획득한다. 여기서 디지털 미디어 목록은 프리뷰 또는 프리뷰 주소, 아이콘, 관련 이미지를 포함할 수 있다.
영상 표시 장치 제조사 애플리케이션은 획득한 디지털 미디어 목록을 부가 정보 영역(360)에 표시한다(S1707).
이전 에피소드 목록의 표시 예를 도 44를 참고하여 설명한다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 44에 도시된 바와 같이, 영상 표시 장치(100)는 이전 에피소드 목록의 프리뷰들과 타이틀들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 이전 에피소드를 검색하여 표시할 수 있다.
VOD 목록의 표시 예를 도 45를 참고하여 설명한다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45에 도시된 바와 같이, 영상 표시 장치(100)는 VOD 목록의 프리뷰들과 타이틀들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 VOD를 검색하여 표시할 수 있다.
애플리케이션 목록의 표시 예를 도 46을 참고하여 설명한다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46에 도시된 바와 같이, 영상 표시 장치(100)는 애플리케이션 목록의 아이콘들과 애플리케이션 이름들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 애플리케이션을 검색하여 표시할 수 있다.
디지털 미디어 목록 내의 한 아이템이 선택되면(S1709), 영상 표시 장치 제조사 애플리케이션은 선택된 아이템에 해당하는 디지털 미디어를 다운로드한다(S1711). 이때, 과금 후에 영상 표시 장치(100)는 디지털 미디어를 다운로드할 수 있다. 선택된 아이템이 이전 에피소드이거나 VOD인 경우, 영상 표시 장치(100)는 다운로드한 디지털 미디어를 재생할 수 있다. 선택된 아이템이 애플리케이션이면, 영상 표시 장치(100)는 다운로드한 애플리케이션을 자동으로 또는 사용자 선택을 통해 실행할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 간단한 조작을 통해 영상 표시 장치(10)는 디지털 미디어를 다운로드할 수 있다.
이하에서는 도 47 내지 도 50를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 카탈로그 메인 메뉴를 설명한다.
카탈로그 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 카탈로그 메뉴가 선택되면, 다른 서비스가 연동될 수 있다.
카탈로그 메인 메뉴는 스타일 서브 메뉴, 음악서브 메뉴, 기타 서브 메뉴를 가진다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1801).
영상 표시 장치 제조사 애플리케이션의 카탈로그 메인 메뉴의 서브 메뉴가 선택되면(S1802), 영상 표시 장치 제조사 애플리케이션은 획득한 컨텐츠 정보에 기초하여 카탈로그 목록을 획득한다(S1803). 스타일 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 의류들을 위한 카탈로그 목록을 획득한다. 음악 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 음악들을 위한 카탈로그 목록을 획득한다. 기타 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 상품이나 장소를 위한 카탈로그목록을 획득한다. 여기서 디지털 미디어 목록은 관련 이미지, 가격 정보, 설명, 쿠폰을 포함할 수 있다. 쿠폰은 번호나 QR 코드의 형태일 수 있다. 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 중에만 쿠폰을 표시할 수도 있지만, 쿠폰의 유효기간 동안은 메모리(150)에 저장하여 사용자가 추후 이용하도록 할 수도 있다.
영상 표시 장치 제조사 애플리케이션은 획득한 카탈로그 목록을 부가 정보 영역(360)에 표시한다(S1807).
의류 카탈로그 목록의 표시 예를 도 48을 참고하여 설명한다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 48에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 의류의 메이커 정보, 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 의류 카탈로그를 검색하여 표시할 수 있다.
음악 카탈로그 목록의 표시 예를 도 49를 참고하여 설명한다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 음악의 가수 정보, 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 음악 카탈로그를 검색하여 표시할 수 있다.
기타 카탈로그 목록의 표시 예를 도 50을 참고하여 설명한다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 상품이나 장소의 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 상품이나 장소에 대한 카탈로그를 검색하여 표시할 수 있다.
카탈로그 목록 내의 한 아이템이 선택되면(S1809), 영상 표시 장치 제조사 애플리케이션은 선택된 아이템에 해당하는 구매 페이지를 표시한다(S1811).
이와 같이, 본 발명의 실시예에 따르면, 간단한 조작을 통해 사용자는 제품을 구매할 수 있다.
카탈로그 목록 내의 각 아이템에는 구매 후기 버튼과 북마크 버튼이 배치될 수 있다.
구매 후기 버튼이 선택되면, 영상 표시 장치(100)는 아이템의 사용 후기를 부가 정보 영역(360)에 표시할 수 있다. 또한, 사용자는 구매 후기를 작성할 수도 있다.
또한, 사용자는 북마크 버튼을 통해 특정 아이템을 북마크한 후, 소셜 메인 메뉴의 시청자 리스트 서브 메뉴를 통해 북마크한 아이템을 추천할 수 있다.
이 경우, 영상 표시 장치(100)는 ACR 서버(77)나 SNS 제공 서버(75)에 북마크 아이템 정보를 제공할 수 있다.
이후, 추천받은 시청자의 영상 표시 장치(100)는 메인 시청각 컨텐트에서 추출된 구간에 기초하여 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보로부터 메인 시청각 컨텐트가 추천된 아이템의 광고에 해당하는 경우에, "친구 U가 추천한 상품입니다"와 같은 추천 메시지를 표시할 수 있다. 또한 추천 메시지 대신에 짧은 길이의 동영상이 표시될 수도 있다.
다음은 도 51과 도 52를 참고하여 본 발명의 실시예에 따른 ACR 기능의 온오프 제어를 설명한다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 51에 도시된 바와 같이, 재생 제어부(113)는 ACR 기능 설정 창을 디스플레이한다. 사용자는 ACR 기능 설정 창을 통해 ACR 기능을 활성화시킬 수도 있고, 비활성화시킬 수도 있다.
ACR 기능이 활성화된 경우, 사용자는 ACR 모드를 선택할 수도 있다. 본 발명의 실시예에 따른 ACR 모드는 자동 재생 애플리케이션 모드, 컨텐츠 제공자 애플리케이션 모드, 영상 표시 장치 제조사 애플리케이션 모드 중 하나로 설정될 수 있다.
이와 같이 ACR 기능의 모드가 설정되면, 재생 제어부(113)는 설정 정보를 설정 정보 저장부(154)에 저장한다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
부가 서비스 관리부(130)는 ACR 기능이 턴온되어 있는지를 확인한다(S1901).
ACR 기능이 비활성화되어 있다면, 부가 서비스 관리부(130)는 더 이상 컨텐트 정보 획득 절차를 수행하지 않는다.
ACR 기능이 활성화되어 있다면 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S1902).
부가 서비스 관리부(130)는 추출한 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S1903).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 기준 시간을 대체 광고의 기준 시간과 동기화한다(S1905).
부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스를 획득한다(S1907). 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보를 획득하고, 획득한 부가 서비스 정보에 기초하여 부가 서비스를 획득할 수도 있다.
이후, 부가 서비스 관리부(130)는 ACR 모드를 확인한다(S1909).
부가 서비스 관리부(130)는 ACR 모드에 따라 부가 서비스를 재생한다(S1911).
구체적으로, ACR 모드가 자동 재생 애플리케이션 모드이면, 부가 서비스 관리부(130)는 자동 재생 애플리케이션을 실행하고, 실행된 자동 재생 애플리케이션은 획득한 부가 서비스를 재생한다.
ACR 모드가 컨텐츠 제공자 애플리케이션 모드이면, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 대응하는 컨텐츠 제공자 애플리케이션을 백그라운드에서 실행한다. 부가 서비스 관리부(130)는 부가 서비스 이용에 해당하는 사용자 입력을 수신하면, 컨텐츠 제공자 애플리케이션을 디스플레이한다. 이 컨텐츠 제공자 애플리케이션이 획득한 부가 서비스를 재생할 수 있다. 컨텐츠 제공자 애플리케이션이 자동으로 백그라운드에서 실행되는 대신에, 컨텐츠 제공자 애플리케이션은 사용자 입력에 의해 실행될 수 있다.
ACR 모드가 영상 표시 장치 제조사 애플리케이션 모드이면, 부가 서비스 관리부(130)는 부가 서비스 관리부(130)는 영상 표시 장치 제조사 애플리케이션을 백그라운드에서 실행한다. 부가 서비스 관리부(130)는 부가 서비스 이용에 해당하는 사용자 입력을 수신하면, 영상 표시 장치 제조사 애플리케이션을 디스플레이한다. 이 영상 표시 장치 제조사 애플리케이션이 획득한 부가 서비스를 재생할 수 있다. 영상 표시 장치 제조사 애플리케이션이 자동으로 백그라운드에서 실행되는 대신에, 영상 표시 장치 제조사 애플리케이션은 사용자 입력에 의해 실행될 수 있다.
이하에서는, 도 53 내지 도 77을 참조하여, 본 발명의 일실시예에 따른 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치에 대해 설명하기로 한다. 이하에서 설명할 내용 중 도 1 내지 도 52를 참조하여 설명한 것과 동일한 것에 대한 설명은 생략하기로 한다.
도 53은 본 발명에 따른 부가 서비스 수신 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.
도 53을 참조하면, 영상 표시 장치(100)는 시청각 컨텐트(AV content)를 수신하고(S2001), 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출한다(S2002).
구체적으로, 영상 표시 장치(100)는 상기 수신되는 시청각 컨텐트 중 일부 비디오 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보, 예를 들어 시그너처(signature)를 추출할 있다.
그 후, 영상 표시 장치(100)는 상기 추출된 제1 특징 정보를 제1 서버로 전송하고(S2003), 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스(DB, DataBase)를 상기 제1 서버로부터 수신한다(S2004).
구체적으로, 영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 상기 추출한 제1 특징 정보를 포함하는 질의를 전송할 수 있으며, 핑거프린트 서버(22)는 상기 질의에 대한 응답으로 상기 제1 특징 정보와 연관된 콘텐트 데이터 베이스를 순차적으로 전송할 수 있다.
핑거프린트 서버(22)는 상기 영상 표시 장치(100)로부터 수신된 제1 특징 정보를 이용하여 영상 표시 장치(100)에서 재생 중인 시청각 컨텐트(예를 들어, 현재 시청 중인 프로그램)를 식별한 후, 상기 제1 특징 정보에 대응되는 정보로부터 시작하여 상기 시청각 컨텐트와 관련된 모든 컨텐트 정보 또는 부가 서비스 정보를 영상 표시 장치(100)로 순차적으로 연속하여 전송할 수 있다.
상기 핑거프린트 서버(22)로부터 순차적으로 전송되는 컨텐트 정보는 도 7을 참조하여 설명한 바와 같은 포맷을 가질 수 있으며, 예를 들어 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp) 등을 포함할 수 있다.
또한, 상기 핑거프린트 서버(22)로부터 순차적으로 전송되는 부가 서비스 정보는 부가 서비스를 제공하는 부가 서비스 제공 서버(50)에 접속하기 위한 부가서비스 주소 정보, 또는 상기 부가 서비스 제공 서버(50)의 주소를 제공하는 부가 서비스 정보 제공 서버(40)에 접속하기 위한 부가서비스 정보 제공 서버 주소 정보 등을 포함할 수 있다.
위와 같은 경우, 상기 핑거프린트 서버(22)로부터 순차적으로 전송되는 컨텐트 데이터베이스는 도 7에 도시된 바와 같은 포맷을 가지는 정보를 복수 개 포함할 수 있다.
한편, 핑거프린트 서버(22)는 상기 영상 표시 장치(100)로부터 수신된 제1 특징 정보를 이용하여 영상 표시 장치(100)에서 재생 중인 시청각 컨텐트(예를 들어, 현재 시청 중인 프로그램)를 식별한 후, 상기 시청각 컨텐트와 관련된 모든 부가 서비스를 영상 표시 장치(100)로 순차적으로 연속하여 전송할 수 있다.
상기 핑거프린트 서버(22)로부터 순차적으로 전송되는 부가 서비스는 각각 이용 가능한 부가 서비스 파일을 포함할 수 있다.
즉, 핑거프린트 서버(22)는 영상 표시 장치(100)로부터 수신되는 제1 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나만을 영상 표시 장치(100)로 제공하는 것이 아니라, 내부에 존재하는 데이터베이스 중 상기 수신되는 시청각 컨텐트와 관련된 모든 데이터베이스를 영상 표시 장치(100)로 제공할 수 있다.
그 후, 영상 표시 장치(100)는 상기 제1 서버로부터 수신되는 데이터베이스를 메모리에 저장한다(S2005).
상기 핑거프린트 서버(22)로부터 상기 시청각 컨텐트와 관련된 모든 데이터베이스가 수신되어 영상 표시 장치(100)의 내부 메모리에 저장된 후에는, 수신되는 시청각 컨텐트로부터 추출된 특징 정보는 핑거프린트 서버(22)로 전송되지 아니하고 상기 영상 표시 장치(100)의 내부 메모리에 저장된 데이터베이스에서 먼저 검색될 수 있다.
한편, 향후 특징 정보를 이용하여 상기 데이터베이스를 검색할 때 검색 효율을 향상시키기 위해, 상기 핑거프린트 서버(22)로부터 전송되는 데이터베이스는 전송 순서대로 상기 메모리에 저장될 수 있으며, 상기 특징 정보 또는 컨텐트 식별 정보(Content ID)를 키 엘리먼트(key element)로 사용한 순차적 검색(linear search) 방법이 가능할 수 있다.
또한, 영상 표시 장치(100)는 도 7에 도시된 바와 같은 질의 결과 포맷 중 시그널링 채널 정보(SignalingChannelInformation)의 UpdateMode와 PollingCycle 필드 값을 이용하여 핑거프린트 서버(22)로부터 전송되는 데이터의 전송 주기를 알 수 있다.
상기 데이터베이스가 수신된 후, 영상 표시 장치(100)는 현재 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하고(S2006), 상기 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 상기 데이터베이스에서 검색하여 획득한다(S2007).
한편, 상기 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 또는 부가 서비스가 영상 표시 장치(100) 내부의 메모리에 저장된 상기 데이터베이스에 존재하지 않은 경우, 영상 표시 장치(100)는 상기 제2 추출 정보를 포함하는 질의를 핑거프린트 서버(22)로 전송하여 상기 제2 추출 정보와 관련된 데이터베이스를 수신하여 메모리에 저장할 수 있다.
이하, 도 54 내지 도 57을 참조하여, 영상 표시 장치(100)의 내부 메모리에 저장된 데이터베이스를 이용해 부가 서비스를 수신하는 방법에 대한 실시예들을 상세히 설명하기로 한다.
도 54를 참조하면, 영상 표시 장치(100)는 수신부(161), 특징 추출부(162), DB 검색부(163), 데이터베이스(164) 및 데이터 송수신부(165)를 포함할 수 있다.
수신부(161) 시청각 컨텐트(AV content)를 수신하고, 특징 추출부(162)는 상기 수신되는 시청각 컨텐트로부터 특징 정보를 추출할 수 있다.
또한, 데이터 송수신부(165)는 상기 추출된 특징 정보를 핑거프린트 서버(22)로 전송하여, 상기 특징 정보와 연관된 데이터베이스를 핑거프린트 서버(22)로부터 수신할 수 있다.
한편, 상기 수신된 데이터베이스(164)는 영상 표시 장치(100) 내부의 메모리에 저장될 수 있다.
예를 들어, 영상 표시 장치(100) 내부에 생성된 데이터베이스(164)가 복수의 특징 정보들과 그에 각각 대응되는 복수의 컨텐트 식별 정보(Content ID)들을 포함하는 경우, DB 검색부(163)는 현재 수신되는 시청각 컨텐트의 특징 정보를 특징 추출부(162)로부터 입력받아 상기 특징 정보에 대응되는 컨텐트 식별 정보(Content ID)를 상기 데이터베이스(164)에서 검색할 수 있다.
한편, 데이터 송수신부(165)는 상기 DB 검색부(163)를 통해 획득된 컨텐트 식별 정보(Content ID)를 핑거프린트 서버(22)로 전송하여, 부가 서비스 정보 제공 서버(40)의 주소를 획득할 수 있다.
그 후, 데이터 송수신부(165)는 상기 획득된 주소를 이용하여 부가 서비스 정보 제공 서버(40)에 접속해 부가 서비스 제공 서버(50)의 주소를 획득한 후, 상기 부가 서비스 제공 서버(50)에 접속하여 부가 서비스를 수신할 수 있다.
본 발명의 또 다른 실시예로서, 영상 표시 장치(100) 내부에 생성된 데이터베이스(164)가 복수의 특징 정보들과 그에 각각 대응되는 부가 서비스 정보 제공 서버(40)의 주소들을 포함하는 경우, DB 검색부(163)는 특징 추출부(162)로부터 입력되는 특징 정보를 이용하여 상기 데이터베이스(164)에서 부가 서비스 정보 제공 서버(40)의 주소를 검색할 수 있다.
이 경우, 상기 검색된 주소를 이용하여 부가 서비스 정보 제공 서버(40)에 접속해 부가 서비스 제공 서버(50)의 주소를 획득한 후, 상기 부가 서비스 제공 서버(50)에 접속하여 부가 서비스를 수신할 수 있다.
도 55를 참조하면, 영상 표시 장치(100) 내부에 생성된 데이터베이스(164)가 복수의 특징 정보들과 그에 각각 대응되는 부가 서비스 접속 정보들(즉, 부가 서비스 제공 서버(50)의 주소들)을 포함하는 경우, DB 검색부(163)는 특징 추출부(162)로부터 입력되는 특징 정보를 이용하여 상기 데이터베이스(164)에서 부가 서비스 제공 서버(50)의 주소를 검색할 수 있다.
이 경우, 상기 검색된 주소를 이용하여 부가 서비스 제공 서버(50)에 접속하여 부가 서비스를 수신할 수 있다.
도 56를 참조하면, 영상 표시 장치(100) 내부에 생성된 데이터베이스(164)가 복수의 특징 정보들과 그에 각각 대응되는 부가 서비스 파일들을 포함하는 경우, DB 검색부(163)는 특징 추출부(162)로부터 입력되는 특징 정보를 이용해 상기 데이터베이스(164)를 검색하여 상기 추출 정보에 대응되는 부가 서비스를 획득할 수 있다.
한편, 상기 시청각 컨텐트가 수신되는 채널이 전환되는 경우, 상기 채널 전환 시점으로부터 일정 시간이 경과한 후 영상 표시 장치(100)의 내부 메모리에 저장된 데이터베이스(164)가 삭제될 수 있다.
예를 들어, 상기 데이터베이스(164)는 채널 전환시 바로 삭제되지 아니하고, 상기 채널 전환 시점의 시간 정보(NTPtimStamp)를 기준으로 하여 최대 30분이 경과한 후 상기 메모리에서 삭제될 수 있다.
또한, 상기 채널 전환 후, 다시 채널이 이전 채널로 복귀되는 경우, 영상 표시 장치(100)는 DB 검색부(163)를 통해 상기 메모리에 저장된 데이터베이스(164)를 먼저 검색한 후, 특징 정보에 대응되는 정보가 존재하지 않을 때 핑거프린트 서버(22)로 상기 특징 정보를 포함하는 질의를 전송할 수 있다.
상기에서는 도 53 내지 도 56을 참조하여, 핑거프린트 기반의 컨텐트 인식 방식에 있어서 영상 표시 장치(100) 내부의 데이터베이스를 이용해 부가 서비스를 수신하는 방법에 대해 설명하였으나, 본 발명은 이에 한정되지 아니하며, 예를 들어 도 2 및 도 3을 참조하여 설명한 바와 같은 워터마크 기반의 컨텐트 인식 방식에도 적용 가능할 수 있다.
도 57을 참조하면, 영상 표시 장치(100)의 워터마크 추출부(166)는 수신되는 시청각 컨텐트에 삽입된 워터마크 정보를 추출하고, DB 검색부(163)는 상기 추출된 워터마크 정보를 이용하여 데이터베이스(164)를 검색하며, 상기 데이터베이스(164)를 검색하여 획득된 컨텐츠 정보 또는 부가 서비스 정보를 이용하여 부가 서비스를 수신할 수 있다.
예를 들어, DB 검색부(163)는 상기 워터마크 추출부(166)를 통해 추출된 상기 시청각 컨텐트에 대한 컨텐츠 식별 정보(Content ID)를 이용해 데이터베이스(164)를 검색하여 부가 서비스 접속 정보(즉, 부가 서비스 제공 서버(50)의 주소)를 획득할 수 있으며, 데이터 송수신부(165)는 상기 획득된 접속 정보를 이용해 부가 서비스 제공 서버(50)에 접속하여 부가 서비스를 수신할 수 있다.
도 58은 본 발명에 따른 부가 서비스 수신 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.
도 58을 참조하면, 영상 표시 장치(100)는 시청각 컨텐트를 수신하고(S2101), 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출한다(S2102).
영상 표시 장치(100)는 상기 추출된 제1 특징 정보를 제1 서버로 전송하고(S2103), 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신한다(S2104).
예를 들어, 상기 제1 서버는 상기한 바와 같은 핑거프린트 서버(22)일 수 있으며, 상기 S2104에서 수신되는 컨텐츠 정보는 도 7을 참조하여 설명한 질의 결과의 포맷을 가질 수 있다.
이 경우, 영상 표시 장치(100)는 상기 핑거프린트 서버(22)로부터 수신되는 질의 결과로부터 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp)를 추출하여 저장해 놓을 수 있다.
그 후, 영상 표시 장치(100)는 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하고(S2105), 상기 추출된 제2 특징 정보를 상기 제1 서버로부터 이전 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여(S2106), 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신한다(S2017).
도 59를 참조하면, 상기 S2106 단계에서, 영상 표시 장치(100)는 핑거프린트 서버(22)로 상기 추출된 제2 특징 정보만을 전송하는 것이 아니라, 상기 제2 특징 정보에 부가하여 상기 제1 특징 정보에 따라 이전 S2104 단계에서 수신된 컨텐트 정보(예를 들어, 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp))를 함께 포함하는 질의를 핑거프린트 서버(22)로 전송할 수 있다.
한편, 핑거프린트 서버(22)는 상기 영상 표시 장치(100)로부터 수신된 특징 정보(예를 들어, 상기 제2 특징 정보), 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp)를 이용해 내부의 데이터베이스를 검색하여, 그에 대응되는 질의 결과를 영상 표시 장치(100)로 전송할 수 있다.
본 발명의 일실시예에 따르면, 상기 핑거프린트 서버(22)에서의 데이터베이스 검색 속도 및 검색 효율을 향상시키기 위해, 영상 표시 장치(100)로부터 처음 수신되는 특징 정보(예를 들어, 상기 제1 특징 정보)와 연관된 컨텐츠 정보만을 포함하는 새로운 검색 데이터베이스를 생성할 수 있다.
도 60을 참조하면, 핑거프린트 서버(22)에는 복수의 특징 정보들과 그에 각각 대응되는 컨텐츠 정보들(예를 들어, 컨텐트 식별 정보(Cotent ID), 시간 정보(Start time, End time) 및 컨텐트 관련 명칭 정보(Show name, Episode name, broadcaster) 등)을 포함하는 데이터베이스가 존재할 수 있다.
이 경우, 핑거프린트 서버(22)는 상기 제1 특징 정보를 영상 표시 장치(100)로부터 수신한 후, 상기 제1 특징 정보와 컨텐트 식별 정보(Content ID)가 동일한 특징 정보들에 대한 컨텐트 정보만로 구성된 새로운 검색 데이터베이스를 생성할 수 있다.
예를 들어, 상기 영상 표시 장치(100)로부터 수신된 제1 특징 정보가 "xyzACB123"이고, 제1 특징 정보에 대응되는 컨텐트 식별 정보(Content ID)가 "Content1234"인 경우, 컨텐트 식별 정보(Content ID)가 "Content1234"인 컨텐트 정보들만으로 구성된 도 61에 도시된 바와 같은 새로운 검색 데이터베이스가 핑거프린트 서버(22) 내에 생성될 수 있다.
그 후, 영상 표시 장치(100)로부터 수신되는 다음의 특징 정보들(예를 들어, 상기 제2 특징 정보)에 대해서는, 핑거프린트 서버(22)가 상기 새롭게 생성된 검색 데이터베이스를 이용하여 검색을 수행할 수 있다.
상기에서는, 영상 표시 장치(100)가 특징 정보에 부가하여 이전 수신된 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp)를 핑거프린트 서버(22)로 전송하는 경우를 예로 들어 본 발명의 일실시예를 설명하였으나, 본 발명은 이에 한정되지 아니한다.
도 62를 참조하면, 영상 표시 장치(100)는 현재 수신되는 시청각 컨텐트로부터 추출된 특징 정보(예를 들어, 상기 제2 특징 정보)와 이전 수신된 컨텐트 식별 정보(Cotent ID)를 포함하는 질의를 핑거프린트 서버(22)로 전송하고, 핑거프린트 서버(22)는 상기 수신된 특징 정보 및 컨텐트 식별 정보(Cotent ID)를 이용하여 도 61에 도시된 바와 같은 새롭게 생성된 검색 데이터베이스를 검색할 수 있다.
또한, 도 63에 도시된 바와 같이, 영상 표시 장치(100)는 현재 수신되는 시청각 컨텐트로부터 추출된 특징 정보(예를 들어, 상기 제2 특징 정보) 만을 포함하는 질의를 핑거프린트 서버(22)로 전송하고, 핑거프린트 서버(22)는 상기 수신된 특징 정보를 이용하여 도 61에 도시된 바와 같은 새롭게 생성된 검색 데이터베이스를 검색할 수도 있다.
이 경우, 핑거프린트 서버(22)는 처음 수신된 특징 정보(예를 들어, 상기 제1 특징 정보)에 대응되는 질의 결과를 내부에 캐싱(cashing)하고, 이 후 수신된 특징 정보(예를 들어, 상기 제2 특징 정보)와 상기 내부에 캐싱된 질의 결과를 이용해 상기 새롭게 생성된 검색 데이터베이스를 검색할 수 있다.
예를 들어, 상기 핑거프린트 서버(22) 내부에 캐싱되는 질의 결과는 상기 제1 특징 정보에 대응되는 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp)를 포함할 수 있다.
상기에서는 도 58 내지 도 63을 참조하여, 핑거프린트 기반의 컨텐트 인식 방식에 있어서 핑거프린트 서버(22) 내부에 새롭게 생성된 데이터베이스를 이용해 검색을 수행하는 방법에 대해 설명하였으나, 본 발명은 이에 한정되지 아니하며, 예를 들어 도 2 및 도 3을 참조하여 설명한 바와 같은 워터마크 기반의 컨텐트 인식 방식에도 적용 가능할 수 있다.
한편, 컨텐트 제공자인 방송사들은 각각 복수의 컨텐트 인식(ACR) 서비스 제공자들 중 하나 또는 그 이상과 계약을 맺고 컨텐트 정보를 제공할 수 있으며, 상기 ACR 서비스 제공자들은 서로 상이한 컨텐트 인식 방식을 이용할 수 있다.
상기와 같이 서로 다른 컨텐트 인식 방식에 따라 생성된 시청각 컨텐트는 각각에 맞는 컨텐트 인식 방식을 지원하는 컨텐트 인식(ACR) 모듈에 의해 처리되어야 한다.
그에 따라, 각 ACR 서비스 제공자는 자신이 이용하는 컨텐트 인식 방식을 지원하는 ACR 모듈을 영상 표시 장치(100)에 제공하며, 영상 표시 장치(100)는 상기 ACR 서비스 제공자와 관련된 시청각 컨텐트를 해당 ACR 모듈에 입력하여 컨텐트 정보를 획득할 수 있다.
예를 들어, 핑거프린트 기반의 컨텐트 인식 방식의 경우, 영상 표시 장치(100)는 수신되는 비압축 시청각 컨텐트를 일정 시간동안 샘플링하여 비디오 영역의 특징 정보(signature)를 추출하거나 오디오 영역의 패턴을 추출하며, 상기 특징 정보는 구체적인 컨텐트 인식 방식에 따라 서로 다르게 추출될 수 있다.
즉, 상기 컨텐트 인식 기술을 구현한 솔류션(solution)들이 다양하게 개발되며, 상기 컨텐트 인식 기술들은 서로 다른 알고리즘을 통해 비압축 시청각 컨텐트로부터 특징 정보인 패턴을 추출하여 상기 추출된 패턴은 알고리즘마다 서로 다를 수 있다.
본 발명의 일실시예에 따르면, 영상 표시 장치(100)는 서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식(ACR) 모듈들을 구비할 수 있으며, 상기 복수의 ACR 모듈들 중 수신되는 시청각 컨텐트에 맞는 어느 하나를 선택하여 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 획득할 수 있다.
도 64를 참조하면, 복수의 방송국들(11, 12, 13)은 복수의 ACR 서비스 제공자들(23, 24, 25) 중 하나 또는 그 이상에 컨텐트 정보를 제공할 수 있으며, ACR 서비스 제공자들(23, 24, 25)은 각각 서로 상이한 컨텐트 인식 방식에 따라 영상 표시 장치(100)에 컨텐트 인식 서비스를 제공할 수 있다.
한편, ACR 서비스 제공자들(23, 24, 25)이 각각 사용하는 컨텐트 인식 방식들을 지원하는 복수의 ACR 모듈들(171, 172, 173)이 영상 표시 장치(100)에 구비될 수 있다.
예를 들어, 방송국 1(11)은 ACR 서비스 제공자 1(23) 및 ACR 서비스 제공자 2(24)에 자신이 전송하는 시청각 컨텐트에 대한 정보를 제공하며, 그에 따라 ACR 서비스 제공자 1(23) 및 ACR 서비스 제공자 2(24)에 각각 대응되는 제1 ACR 모듈(171) 및 제2 ACR 모듈(172)이 다운로드되어 영상 표시 장치(100)에 존재할 수 있다.
이 경우, 방송국 1(11)로부터 수신되는 시청각 컨텐트는 영상 표시 장치(100)에 구비된 제1, 2 ACR 모듈들(171, 172) 중 어느 하나에 의해 인식될 수 있다.
또한, 방송국 2(12)는 ACR 서비스 제공자 2(24) 및 ACR 서비스 제공자 3(25)에 컨텐트 정보를 제공하며, 그에 따라 ACR 서비스 제공자 2(24) 및 ACR 서비스 제공자 3(25)에 각각 대응되는 제2 ACR 모듈(172) 및 제3 ACR 모듈(173)이 다운로드되어 영상 표시 장치(100)에 존재할 수 있다.
이 경우, 방송국 2(12)로부터 수신되는 시청각 컨텐트는 영상 표시 장치(100)에 구비된 제2, 3 ACR 모듈들(172, 173) 중 어느 하나에 의해 인식될 수 있다.
한편, 방송국 3(13)으로부터 수신되는 시청각 컨텐트는 영상 표시 장치(100)에 구비된 제3 ACR 모듈(173)에 의해 인식될 수 있다.
그를 위해, 영상 표시 장치(100)는 복수의 ACR 모듈들(171, 172, 173)을 저장할 수 있는 메모리 공간을 가지며, 미리 저장해둔 인터넷 주소를 통하여 해당 장치가 수신할 수 있는 ACR 들의의 개수와 종류를 알 수 있다.
이와 달리, 영상 표시 장치(100)는 방송사들 각각의 인터넷 주소를 미리 저장할 수 있으며, 해당 방송사의 인터넷 주소를 통하여 해당 장치가 수신할 수 있는 ACR 모듈들의 개수와 종류를 알 수 있다.
한편, 상기 ACR 모듈들은 각각 해당 모듈을 통하여 제공되는 컨텐트 정보에 대한 방송사 목록을 제공할 수 있으며, 상기 ACR 모듈은 영상 표시 장치(100)의 제조사, 방송사 및 ACR 서비스 제공자 어느 하나를 통하여 영상 표시 장치(100)로 다운로드 될 수 있다.
예를 들어, 영상 표시 장치(100)의 제조사가 ACR 모듈을 제공하는 경우, 영상 표시 장치(100)는 전원 인가시 미리 지정한 인터넷 주소를 통하여 설치 가능한 ACR 모듈들의 목록을 수신할 수 있다.
상기 수신되는 목록은 각 모듈의 버전 정보를 포함하며, 해당 모듈이 이미 영상 표시 장치(100)에 설치된 경우, 상기 설치된 ACR 모듈과 상기 목록에 포함된 모듈의 버전 정보를 비교하여 업데이트할 것인지 여부를 판단할 수 있다.
한편, 해당 모듈이 영상 표시 장치(100)에 설치되어 있지 않은 경우, 새로운 ACR 모듈을 다운로드하여 설치한다.
또한, 상기 수신된 목록에 존재하지 않는 ACR 모듈이 영상 표시 장치(100)에 설치되어 있는 경우, 해당 모듈은 더 이상 필요하지 않은 것으로 영상 표시 장치(100)에서 삭제될 수 있다.
그리고, 방송사가 ACR 모듈을 제공하는 경우, 영상 표시 장치(100)는 전원 인가시 미리 지정한 방송사 인터넷 주소를 통하여 해당 방송사를 지원하는 ACR 모듈들의 목록을 수신한다.
영상 표시 장치(100)는 모든 방송사들 각각에 대한 ACR 모듈 목록을 수신한 후, 상기 모든 방송사들의 컨텐트를 처리할 수 있는 최소의 ACR 모듈 목록을 구성할 수 있다.
그 후, 영상 표시 장치(100)는 상기 구성된 목록에 따른 ACR 모듈들을 다운로드할 수 있다.
도 65를 참조하면, 영상 표시 장치(100)의 외부 인터페이스(174)를 통해 외부 입력으로 수신되는 시청각 컨텐트 중 비디오는, 비디오 처리부(175)에 의해 픽셀(pixel) 단위의 영상 프레임을 여러 장 포함하는 데이터 블록으로 구성될 수 있다.
한편, 상기 수신되는 시청각 컨텐트 중 오디오는, 오디오 처리부(176)를 통해 PCM(Pulse Coding Modulation) 등을 이용하여 음의 높낮이를 수치화한 데이터 블록으로 구성될 수 있다.
상기와 같이, 상기 수신되는 시청각 컨텐트의 비디오 및 오디오의 포맷을 통일시켜 표준화하는 경우, 복수의 ACR 모듈들(171, 172, 173)로 입력되는 컨텐트가 동일한 포맷을 가지므로 영상 표시 장치(100)의 개발이 용이할 수 있다.
또한, ACR 모듈(171)은 비디오 처리부(175) 또는 오디오 처리부(176)로부터 입력되는 데이터 블록을 특정 알고리즘에 따라 인식하여 상기 시청각 컨텐트에 대한 정보, 예를 들어 컨텐트 식별 정보(Content ID)를 출력할 수 있다.
한편, 상기 ACR 모듈(171)로부터 출력되는 컨텐트 정보는 출력 처리부(177)에 의해 표준화된 포맷으로 변환될 수 있다.
도 66은 본 발명에 따른 부가 서비스 수신 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.
도 66을 참조하면, 영상 표시 장치(100)는 시청각 컨텐트(AV content)를 수신하고(S2201), 서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식(ACR) 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택한다(S2202).
예를 들어, 영상 표시 장치(100)는 내부에 구비된 ACR 모듈들(171, 172, 173)의 목록을 조회하고, 상기 수신되는 시청각 컨텐트(좀 더 구체적으로는, 비디오 처리부(175) 또는 오디오 처리부(176)로부터 입력되는 데이터 블록)를 ACR 모듈들(171, 172, 173)에 각각 순차적으로 입력할 수 있다.
한편, 상기 시청각 컨텐트가 입력되는 순서는 상기 미리 설정된 우선 순위에 따를 수 있으며, 상기 우선 순위는 채널 시청 시점, 채널 선호도 및 채널 수 중 어느 하나에 따라 결정될 수 있다.
예를 들어, ACR 모듈들(171, 172, 173) 중 가장 최근에 시청한 채널에 대한 컨텐트 정보를 제공하는 ACR 모듈에 상기 시청각 컨텐트가 입력되고, 그 후 시청 시점이 빠른 순서에 따라 상기 시청각 컨텐트가 순차적으로 입력될 수 있다.
또는, ACR 모듈들(171, 172, 173) 중 가장 많이 시청한 채널에 대한 컨텐트 정보를 제공하는 ACR 모듈에 상기 시청각 컨텐트가 입력되고, 그 후 시청 회수가 많은 순서에 따라 상기 시청각 컨텐트가 순차적으로 입력될 수 있다.
또는, ACR 모듈들(171, 172, 173) 중 가장 많은 채널에 대한 컨텐트 정보를 제공하는 ACR 모듈에 상기 시청각 컨텐트가 입력되고, 그 후 채널 수가 많은 순서에 따라 상기 시청각 컨텐트가 순차적으로 입력될 수 있다.
한편, 영상 표시 장치(100)에 구비된 제어부(미도시)는 상기와 같이 시청각 컨텐트가 입력된 순서대로, ACR 모듈들(171, 172, 173) 중 어느 것이 상기 시청각 컨텐트를 인식할 수 있는지 여부를 순차적으로 확인할 수 있다.
상기 확인 결과에 따라, ACR 모듈들(171, 172, 173) 중 어느 하나가 상기 시청각 컨텐트를 인식할 수 있는 경우, 즉 상기 ACR 모듈로부터 상기 시청각 컨텐트에 컨텐트 식별 정보(예를 들어, Content ID)가 출력되는 경우, 상기 제어부는 ACR 모듈들(171, 172, 173) 중에서 해당 ACR 모듈을 선택할 수 있다.
그 후, 상기 선택된 컨텐트 인식(ACR) 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하고(S2204), 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신한다(S2205).
상기 S2205 단계에서 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 방법은, 도 1 내지 도 9를 참조하여 설명한 것과 동일할 수 있으므로, 이에 대한 상세한 설명은 생략하기로 한다.
상기에서는 영상 표시 장치(100)가 3개의 ACR 모듈들을 구비하는 것을 예로 들어 본 발명의 일실시예를 설명하였으나, 본 발명은 이에 한정되지 아니하며, 2개 또는 4 개 이상의 ACR 모듈들을 구비하는 경우에도 적용 가능하다.
한편, 도 64에 도시된 바와 같은 복수의 ACR 모듈들은 기능이 유사할 수 있으나, 컨텐트 인식이 자동으로 수행되어야 하므로 영상 표시 장치(100)의 Background에서 작동하는 것이 필요하다.
본 발명의 또 다른 실시예에 따르면, 영상 표시 장치(100)는 복수의 ACR 모듈들을 구비하지 아니하고, 복수의 컨텐트 인식 방식들에 공통된 하나의 모듈을 포함하여 구성될 수 있다.
도 67을 참조하면, 영상 표시 장치(100)는 시청각 컨텐트(AV content)로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하고(S2301), 상기 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하여 샘플을 획득한다(S2302).
그 후, 영상 표시 장치(100)는 상기 획득된 샘플을 서버로 전송하고(S2303), 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신한다(S2304)
예를 들어, 영상 표시 장치(100)는 복수의 ACR 모듈들을 구비하는 부담을 감소시키기 위해, 특징 정보 등의 실제 비트 패턴을 추출하기 위한 상기 시청각 컨텐트의 미가공 데이터(raw data)를 서버로 전송할 수 있다.
그에 따라, 영상 표시 장치(100)는, 컨텐트 인식 방식에 관계없이, 수신되는 시청각 컨텐트로부터 상기 서버로 전송할 미가공 데이터(raw data)를 획득하는 모듈만을 구비할 수 있다.
한편, 상기 서버는 영상 표시 장치(100)로부터 수신되는 상기 미가공 데이터(raw data)를 처리하여 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 포함하는 질의 결과를 영상 표시 장치(100)로 제공할 수 있다.
이 경우, 컨텐트 인식 방식에 따라 필요한 데이터의 패턴이 서로 상이할 수 있으므로, 영상 표시 장치(100)와 상기 서버는 상기 송수신되는 미가공 데이터(raw data)의 패턴을 미리 협상하여 결정할 수 있다.
좀 더 구체적으로, 영상 표시 장치(100)는, 상기 미가공 데이터(raw data)로서, 수신되는 시청각 컨텐트를 샘플링하여 획득된 비디오 또는 오디오 샘플을 원본 그대로 상기 서버에 전송할 수 있다.
이 경우, 영상 표시 장치(100)는 시청각 컨텐트로부터 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 상기 서버와 협상하여 설정할 수 있으며, 상기 샘플링 파라미터는 상기 시청각 컨텐트 얼마 동안 샘플링하여 샘플을 획득할 것인지 여부에 대한 정보를 가지는 샘플링 시간을 포함할 수 있다.
즉, 상기 샘플링 시간이 충분히 길지 않은 경우 상기 서버에서 처리된 컨텐트 매칭 결과가 정확하지 않을 수 있으며, 상기 샘플링 시간이 과도하게 긴 경우에는 네트워크 전송 시간 및 상기 서버에서의 처리 시간이 불필요하게 증가될 수 있다.
또한, 상기 샘플링 파라미터는 상기 영상 표시 장치(100)로부터 전송되는 비디오 또는 오디오 샘플에 대한 속성 정보를 포함할 수 있다.
예를 들어, 비디오 샘플의 경우, 샘플링 파라미터들은 샘플링되는 영역의 크기 종횡비(aspect ratio)와 위치, 초당 프레임 수, 압축 포맷 및 샘플링 시간 등을 포함할 수 있다.
도 68을 참조하면, 상기 비디오 샘플은 상기 시청각 컨텐트의 화면(181) 전체 영역(예를 들어, HD 영상의 경우 1920x1080)을 샘플링하거나, 또는 상기 화면(181) 중 일부 영역을 샘플링하여 획득될 수 있다.
예를 들어, 상기 샘플링되는 영역은 해당 컨텐트에 대한 제목(title)이 잘 나타나는 우측 상단에 위치할 수 있으며, 상기 샘플링되는 영역의 위치는 화면(181) 중 특정 지점의 좌표 등을 사용하여 표시될 수 있다.
또한, 상기 화면(181) 전체 영역이 샘플링되는 경우, 샘플링된 비디오 샘플을 그 보다 작은 크기로 조정(resizing)된 후 상기 서버로 전송될 수도 있다.
한편, 도 69에 도시된 바와 같이, 상기 비디오 샘플은 화면(181) 중 복수의 영역들, 예를 들어 4 방향 모서리에 위치하는 영역들(182, 183, 184, 185)을 샘플링하여 획득될 수도 있다.
그리고, 상기 비디오 샘플의 초당 프레임 수는 24장, 30장 또는 60장일 수 있으며, 컨텐트 인식에 있어 시간에 민감한지 여부에 따라 상기 초당 프레임수가 결정될 수 있다.
또한, 영상 표시 장치(100)는 상기 비디오 샘플을 압축하지 않고 상기 서버로 전송하거나 또는 압축하여 전송할 수 있으며, 압축하여 전송하는 경우 압축 파일 포맷에 대한 정보(예를 들어, h.264, mpeg2-ts, wmv 등)를 상기 서버와 협의하여 결정할 수 있다.
한편, 상기 비디오 샘플이 비압축으로 전송되는 경우, RGB 비트 패턴(RGB bit pattern)인지, 또는 YPbPr 비트 패턴(YPbPr bit pattern)인지에 대한 정보가 필요할 수 있다.
상기와 같은 샘플링 파라미터들을 결정하는 것은 영상 표시 장치(100)의 하드웨어 성능과 상기 서버의 처리 성능 등에 영향을 받을 수 있으며, 영상 표시 장치(100)의 CPU 성능, 메모리 용량에 따라 전송되는 데이터 량이 조절될 수 있다.
한편, 오디오 샘플의 경우, 샘플링 파라미터들은 샘플당 비트 수, 샘플링 주파수와 주파수 대역, 채널 수, 샘플링 시간 및 압축 포맷 등을 포함할 수 있다.
예를 들어. 상기 샘플당 비트 수는 하나의 오디오 샘플에 할당한 비트수로서 16 bit 또는 32 bit 등일 수 있으며, 상기 샘플링 주파수는 상기 오디오 샘플을 샘플링 할 때의 주파수로 44100, 48000 또는 14000 hz 등이 있을 수 있다.
또한, 상기 채널 수 오디오 채널의 개수로 모노 1채널, 스테레오 2채널 또는 5.1 채널 등이 있을 수 있으며, 상기 샘플링 주파수 대역은 상기 오디오 샘플을 추출하기 위해 사용하는 주파수 영역으로 저주파 영역(20~1000 hz), 사람의 목소리 영역(200~ 2000 hz), 중대역인 10000 hz 근처, 고주파 대역인 20000 hz 근처 등이 있을 수 있다.
좀 더 구체적으로, 컨텐트 인식 방식에 따라 사용되는 주파수 대역이 상이할 수 있으며, 전체 대역들이 모두 사용되거나 일부 대역만 사용되 수도 있고, 여러 대역들이 함께 사용될 수도 있다.
한편, 영상 표시 장치(100)는 상기 오디오 샘플을 압축하지 않고 상기 서버로 전송하거나 또는 압축하여 전송할 수 있으며, 압축하여 전송하는 경우 압축 파일 포맷에 대한 정보(예를 들어, mp3, mpeg2-ts, wmv 등)를 상기 서버와 협의하여 결정할 수 있다.
이하, 도 70 내지 도 75를 참조하여 영상 표시 장치(100)가 상기 서버와 협의하여 상기 샘플링 파라미터를 결정하는 방법에 대한 실시예들을 상세히 설명하기로 한다.
도 70을 참조하면, 영상 표시 장치(100)는 영상 표시 장치(100)가 지원 가능한 복수의 샘플링 파라미터 값들을 ACR 서버(27)로 전송한다(S2401).
예를 들어, 영상 표시 장치(100)는 도 67 내지 도 69를 참조하여 설명한 바와 같은 샘플링 파라미터들 각각에 대해 자신이 지원할 수 있는 하나 또는 그 이상의 값들을 포함하는 질의를 ACR 서버(27)로 전송할 수 있다.
도 71을 참조하면, 비압축 오디오 샘플의 경우, 영상 표시 장치(100)는 자신이 지원할 수 있는 샘플당 비트수인 16bit와 32bit, 지원 가능한 샘플링 주파수인 44100hz와 48000hz, 지원 가능한 채널 수인 Mono와 Stereo에 대한 정보를 ACR 서버(27)로 전송할 수 있다.
한편, ACR 서버(27)는 자신의 하드웨어 성능 등에 따라 영상 표시 장치(100)로부터 수신된 파라미터 값들 중 어느 하나를 선택하고(S2402), 상기 선택된 파라미터 값을 영상 표시 장치(100)로 전송한다(S2403).
도 71에 도시된 질의가 영상 표시 장치(100)로부터 수신되는 경우, ACR 서버(27)는 도 72에 도시된 바와 같이 영상 표시 장치(100)에서 지원 가능한 파라미터 값들 중에서 어느 하나를 선택하여, 샘플링 시간 정보와 함께 응답으로 영상 표시 장치(100)에 전송할 수 있다.
상기 S2401 내지 S2403 단계에 따른 협상 과정에 따라, 영상 표시 장치(100)는 상기 ACR 서버(27)에서 선택된 값들로 상기 샘플링 파라미터들을 설정할 수 있다.
그 후, 영상 표시 장치(100)는 상기 설정된 샘플링 파라미터들에 따라 시청각 컨텐트를 샘플링해 샘플을 생성하여 ACR 서버(27)로 전송하고(S2404, S2406), ACR 서버(27)는 상기 전송된 샘플을 이용하여 상기 시청각 컨텐트에 대한 컨텐츠 식별 정보를 영상 표시 장치(100)로 전송한다(S2405, S2407).
예를 들어, ACR 서버(27)는 상기 영상 표시 장치(100)로부터 전송된 샘플로부타 특징 정보(signature)인 패턴을 추출하고, 상기 패턴에 매칭되는 결과를 영상 표시 장치(100)로 전송할 수 있다.
한편, 상기 ACR 서버(27)에서 매칭된 결과는 도 7에 도시된 바와 같은 질의 결과일 수 있으며, 예를 들어, 컨텐트 식별 정보(Content ID) 및 시간 정보(timestamp) 등을 포함할 수 있다.
압축 비디오 샘플의 경우, 영상 표시 장치(100)는 도 73에 도시된 바와 같은 정보를 포함하는 질의를 ACR 서버(27)로 전송하여, 도 74에 도시된 바와 같은 정보를 포함하는 응답을 ACR 서버(27)로부터 수신하여, 상기 샘플링 파라미터를 설정할 수 있다.
한편, 도 75를 참조하면, 영상 표시 장치(100)와 ACR 서버(27) 사이의 협상 과정에서, 영상 표시 장치(100)가 ACR 서버(27)로 ACR 세션 연결을 요청하면(S2501), ACR 서버(27)가 상기한 바와 같은 지원 가능한 파라미터 값들을 영상 표시 장치고 전송하고(S2502), 영상 표시 장치(100)가 상기 ACR 서버(27)가 지원 가능한 값들 중 하나를 선택하여(S2503) ACR 서버(27)로 전송할 수도 있다.
도 76은 상기 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하는 영상 표시 장치(100)의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 영상 표시 장치(100)는 수신부(191), 샘플링부(192), 파라미터 설정부(193) 및 데이터 송수신부(194)를 포함할 수 있다.
도 76을 참조하면, 파라미터 설정부(193)는 도 67 내지 도 75를 참조하여 설명한 바와 같은 방법을 이용하여 시청각 컨텐트로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정할 수 있다.
한편, 샘플링부(192)는 수신부(191)를 통해 수신되는 상기 수신되는 시청각 컨텐트를 상기 설정된 파라미터에 따라 샘플링하여 샘플을 획득할 수 있다.
또한, 데이터 송수신부(194)는 상기 획득된 샘플을 ACR 서버(27)로 전송하여, 상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 ACR 서버(27)로부터 수신할 수 있다.
도 77은 영상 표시 장치로부터 수신되는 샘플을 이용해 컨텐츠를 식별하는 ACR 서버(27)의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 ACR 서버(27)는 데이터 송수신부(301), 패턴 추출부(302), 패턴 매칭부(303) 및 데이터베이스(304)를 포함할 수 있다.
도 77을 참조하면, 패턴 추출부(302)는 상기 설정된 샘플링 파라미터에 따라 데이터 송수신부(301)를 통해 영상 표시 장치(100)로부터 수신되는 샘플로부터 특징 정보인 패턴(예를 들어, 비트 패턴인 시그너처)를 추출할 수 있다.
또한, 패턴 매칭부(303)는 상기 추출된 패턴을 이용해 데이터베이스(304)를 검색하여, 매칭된 결과, 예를 들어 컨텐트 식별 정보(Content ID) 및 시간 정보(timestamp) 등을 포함하는 질의 결과를 획득할 수 있다.
다음은 도 78과 도 79를 참조하여 본 발명의 다양한 실시예에 따른 영상 표시 장치의 구조를 설명한다.
도 78은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 78에서, Tuner(501)는 air 채널을 통해 전송되는 8-VSB RF 신호로부터 Symbol을 추출한다.
8-VSB Demodulator(503)는 Tuner(501)가 추출한 8-VSB Symbol을 복조하여 의미 있는 디지털 데이터를 복원한다.
VSB Decoder(505)는 8-VSB Demodulator(503)가 복원한 디지털 데이터를 복호하여 ATSC 메인 서비스와 ATSC M/H 서비스를 복원한다.
MPEG-2 TP Demux(507)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet 또는 PVR Storage에 저장된 MPEG-2 Transport Packet 중에서 영상 표시 장치(100)가 처리하고자 하는 Transport Packet을 필터링하여 적절한 처리 모듈로 중계한다.
PES 디코더(539)는 MPEG-2 Transport Stream을 통하여 전송된 Packetized Elementary Stream을 Buffering하고 복원한다.
PSI/PSIP 디코더(541)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Section Data를 Buffering하고 분석한다. 분석된 PSI/PSIP 데이터는 Service Manager(미도시)에 의하여 수집되어, Service Map 및 Guide data 형태로 DB에 저장된다.
DSMCC Section Buffer/Handler (511)은 MPEG-2 TP를 통하여 전송되는 파일 전송 및 IP Datagram encapsulation 등을 위한 DSMCC Section Data를 버퍼링(Buffering)하고 처리한다.
IP/UDP Datagram Buffer/Header Parser(513)는 DSMCC Addressable section을 통해 encapsulate되어 MPEG-2 TP를 통하여 전송되는 IP Datagram을 버퍼링하고 복원하여 각 Datagram의 Header를 분석한다. 또한, IP/UDP Datagram Buffer/Header Parser(513)는 IP Datagram을 통하여 전송되는 UDP Datagram을 Buffering 및 복원하고, 복원된 UDP Header를 분석 및 처리한다.
Stream component handler(557)는 ES Buffer/Handler, PCR Handler, STC 모듈, Descrambler, CA Stream Buffer/Handler, Service Signaling Section Buffer/Handler를 포함할 수 있다.
ES Buffer/Handler는 PES 형태로 전송된 Video, Audio 데이터 등의 Elementary Stream을 Buffering 및 복원하여 적절한 A/V Decoder로 전달한다.
PCR Handler는 Audio 및 Video Stream의 Time synchronization 등을 위하여 사용되는 PCR (Program Clock Reference) Data를 처리한다.
STC 모듈은 PCR Handler를 통하여 전달받은 Reference Clock 값을 이용하여, A/V Decoder 들의 Clock 값을 보정하여 Time Synchronization를 수행한다.
수신된 IP Datagram의 Payload에 Scrambling이 적용된 경우, Descrambler는 CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
CA Stream Buffer/Handler는 MPEG-2 TS또는 IP Stream을 통하여 전송되는 Conditional Access 기능을 위하여 전송되는 EMM, ECM 등의 Descrambling을 위한 Key 값 등의 Data를 Buffering 및 처리한다. CA Stream Buffer/Handler의 Output은 Descrambler로 전달되어, descrambler는 A/V Data 및 File Data등을 전송하는 MPEG-2 TP 또는 IP Datagram의 암호화 해제작업을 수행한다.
Service Signaling Section Buffer/Handler는 IP Datagram의 형태로 전송되는 NRT Service Signaling Channel Section Data를 Buffering 하고 복원하며 분석한다. Service Manager(미도시)는 분석된 NRT Service Signaling Channel Section 데이터를 수집하여, Service Map 및 Guide data 형태로 DB에 저장한다.
A/V Decoder(561)는 ES Handler를 통하여 전달받은 Audio/Video 데이터의 압축을 복호화하여, 사용자에게 Presentation한다.
MPEG-2 Service Demux(미도시)는 MPEG-2 TP Buffer/Parser, Descrambler, PVR Storage 모듈을 포함할 수 있다.
MPEG-2 TP Buffer/Parser (미도시)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet을 Buffering 및 복원하고, Transport Packet Header를 검출 및 처리한다.
Descrambler는 MPEG-2 TP 중, Scramble이 적용된 Packet payload에 대하여, CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
PVR Storage 모듈은 사용자의 요구 등에 따라 8-VSB 신호를 이용하여 수신된 MPEG-2 TP를 저장하고, 또한 사용자의 요구에 의해 MPEG-2 TP를 출력한다. PVR Storage 모듈은 PVR Manager(미도시)에 의해 제어될 수 있다.
File Handler(551)는 ALC/LCT Buffer/Parser, FDT Handler, XML Parser, File Reconstruction Buffer, Decompressor, File Decoder, File Storage를 포함할 수 있다.
ALC/LCT Buffer/Parser는 UDP/IP Stream으로 전송되는 ALC/LCT 데이터를 Buffering 및 복원하고, ALC/LCT의 Header 및 Header extension을 분석한다. ALC/LCT Buffer/Parser는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
FDT Handler는 ALC/LCT session을 통하여 전송되는 FLUTE protocol의 File Description Table을 분석 및 처리한다. FDT Handler는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
XML Parser는 ALC/LCT session을 통하여 전송되는 XML Document를 분석하여, FDT Handler, SG Handler 등 적절한 모듈로 분석된 데이터를 전달한다.
File Reconstruction Buffer는 ALC/LCT, FLUTE session으로 전송되는 파일을 복원한다.
Decompressor는?? ALC/LCT, FLUTE session으로 전송되는 파일이 압축되어 있는 경우, 그 압축을 해제하는 프로세스를 수행한다.
File Decoder는 File Reconstruction Buffer에서 복원된 File 또는 Decompressor에서 압축해제된 파일, 또는 File Storage에서 추출된 File을 Decoding한다.
File Storage는 복원된 파일을 필요에 의하여 저장하거나 추출한다.
M/W Engine(미도시)은 DSMCC Section, IP Datagram 등을 통하여 전송되는 A/V Stream이 아닌 파일 등의 Data를 처리한다. , M/W Engine은 처리된 데이터를 Presentation Manager 모듈로 전달한다.
SG Handler(미도시)는 XML Document 형태로 전송되는 Service Guide 데이터를 수집하고 분석하여 EPG Manager에게 전달하는 프로세스를 수행한다.
Service Manager(미도시)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Data, IP Stream으로 전송되는 Service Signaling Section Data를 수집하고 분석하여 Service Map을 제작한다. Service Manager(미도시)는 제작한 service map을 Service Map & Guide Database에 저장하며, 사용자가 원하는 Service에 대한 access를 제어한다. Operation Controller(미도시)에 의하여 제어되며, Tuner(501), MPEG-2 TP Demux(507), IP Datagram Buffer/Handler (513) 등에 대한 제어를 수행한다.
NRT Service Manager(미도시)는 IP layer 상에서 FLUTE session을 통하여 object/file 형태로 전송되는 NRT 서비스에 대한 전반적인 관리를 수행한다. NRT Service Manager(미도시)는 FDT Handler, File Storage등을 제어할 수 있다.
Application Manager(미도시)는 Object, file 등의 형태로 전송되는 Application 데이터의 처리에 관한 전반적인 관리를 수행한다.
UI Manager(미도시)는 User Interface를 통하여 사용자의 Input을 Operation Controller에 전달하고, 사용자가 요구하는 서비스를 위한 Process의 동작을 시작한다.
Operation Controller(미도시)는 UI Manager를 통하여 전달받은 사용자의 Command를 처리하고, 필요한 모듈의 Manager가 해당 Action을 수행하게 한다.
Fingerprint Extractor(565)는 Audio/Video 스트림으로 부터 fingerprint 특징 정보를 추출한다.
Fingerprint Comparator(567)는 Fingerprint Extractor가 추출한 특징 정보와 Reference fingerprint를 비교하여 일치하는 컨텐트를 찾는다. Fingerprint Comparator(567)는 Local에 저장된 Reference fingerprint DB를 이용할 수도 있고, 인터넷 상의 Fingerprint 질의 서버에 질의하여 결과를 수신할 수도 있다. 비교 결과로 매칭된 결과 데이터는 Application에 전달되어 이용될 수 있다.
Application(569)은 ACR 기능을 관장하는 모듈 혹은 ACR에 기반하여 Enhanced 서비스를 제공하는 어플리케이션 모듈로서, 시청중인 방송 컨텐트를 식별하여 이와 연계된 확장된 서비스를 제공한다.
도 79는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 79에 도시된 워트마크 기반의 영상 표시 장치는 도 78에 도시된 핑거프린트 기반의 영상 표시 장치와 유사하나, 핑거프린트 기반의 영상 표시 장치의 Fingerprint Extractor(565)와 Fingerprint Comparator(567)를 포함하지 않으며, 대신 Watermark Extractor(566)를 더 포함한다.
Watermark Extractor(566)는 Audio/Video 스트림으로부터 watermark형태로 삽입된 데이터를 추출한다. 이렇게 추출된 데이터는 Application에 전달되어 이용될 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 영상 표시 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (37)

  1. 컨텐트를 재생하는 영상표시장치에서 부가 서비스를 수신하는 방법에 있어서,
    시청각 컨텐트(AV content)를 수신하는 단계;
    상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계;
    상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 상기 제1 서버로부터 수신하는 단계;
    상기 제1 서버로부터 수신되는 데이터베이스를 메모리에 저장하는 단계;
    상기 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및
    상기 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 상기 데이터베이스에서 검색하여 획득하는 단계를 포함하는 부가 서비스 수신 방법.
  2. 제1항에 있어서, 상기 데이터베이스 수신 단계는
    상기 제1 특징 정보가 추출된 시청각 컨텐트에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 순차적으로 수신하는 부가 서비스 수신 방법.
  3. 제1항에 있어서, 상기 데이터베이스 수신 단계는
    상기 시청각 컨텐트가 수신된 채널에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 순차적으로 수신하는 부가 서비스 수신 방법.
  4. 제1항에 있어서, 상기 데이터베이스 수신 단계는
    상기 시청각 컨텐트를 제공한 컨텐트 제공자에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 순차적으로 수신하는 부가 서비스 수신 방법.
  5. 제1항에 있어서, 상기 컨텐트 정보는
    상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보(content ID)를 포함하는 부가 서비스 수신 방법.
  6. 제5항에 있어서,
    상기 데이터베이스에서 검색하여 획득된 상기 제2 특징 정보에 대응되는 컨텐트 식별 정보를 상기 제1 서버로 전송하여, 상기 부가 서비스를 제공하는 제2 서버에 접속하기 위한 부가서비스 주소 정보를 상기 제1 서버로부터 수신하는 단계; 및
    상기 수신된 부가서비스 주소 정보를 이용해 상기 제2 서버에 접속하여 상기 부가서비스를 수신하는 단계를 더 포함하는 부가 서비스 수신 방법.
  7. 제1항에 있어서, 상기 부가 서비스 정보는
    상기 부가 서비스를 제공하는 제2 서버에 접속하기 위한 부가서비스 주소 정보를 포함하는 부가 서비스 수신 방법.
  8. 제7항에 있어서,
    상기 데이터베이스에서 검색하여 획득된 상기 제2 특징 정보에 대응되는 부가서비스 주소 정보를 이용해 상기 제2 서버에 접속하여 상기 부가서비스를 획득하는 단계를 더 포함하는 부가 서비스 수신 방법.
  9. 제1항에 있어서,
    상기 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나가 상기 데이터베이스에 존재하지 않는 경우, 상기 제2 특징 정보를 상기 제1 서버로 전송하는 단계를 더 포함하는 부가 서비스 수신 방법.
  10. 제1항에 있어서,
    상기 시청각 컨텐트가 수신되는 채널이 전환되는 경우, 상기 채널 전환 시점으로부터 일정 시간이 경과한 후 상기 메모리에 저장된 데이터베이스를 삭제하는 단계를 더 포함하는 부가 서비스 수신 방법.
  11. 컨텐트를 재생하는 영상표시장치에서 부가 서비스를 수신하는 방법에 있어서,
    시청각 컨텐트를 수신하는 단계;
    상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계;
    상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 단계;
    상기 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및
    상기 추출된 제2 특징 정보를 상기 제1 서버로부터 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여, 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 단계를 포함하는 부가 서비스 수신 방법.
  12. 제11항에 있어서, 상기 컨텐트 정보는
    상기 제1 특징 정보가 추출된 시청각 컨텐트에 대한 컨텐트 식별 정보 및 시간 정보를 포함하는 부가 서비스 수신 방법.
  13. 제12항에 있어서,
    상기 컨텐트 식별 정보가 동일한 특징 정보들에 대한 컨텐트 정보로 구성된 데이터베이스가 상기 제1 서버에 생성되는 부가 서비스 수신 방법.
  14. 컨텐트를 재생하는 영상표시장치에서 부가 서비스를 수신하는 방법에 있어서,
    시청각 컨텐트(AV content)를 수신하는 단계;
    서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택하는 단계; 및
    상기 선택된 컨텐트 인식 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하여, 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 단계를 포함하는 부가 서비스 수신 방법.
  15. 제14항에 있어서, 상기 우선 순위는
    채널 시청 시점, 채널 선호도 및 채널 수 중 어느 하나에 따라 결정되는 부가 서비스 수신 방법.
  16. 제14항에 있어서, 상기 선택 단계는
    상기 복수의 컨텐트 인식 모듈들 각각에 대해, 상기 수신되는 시청각 컨텐트를 인식할 수 있는지 여부를 상기 우선 순위에 따라 순차적으로 확인하는 단계를 포함하는 부가 서비스 수신 방법.
  17. 컨텐트를 재생하는 영상표시장치에서 부가 서비스를 수신하는 방법에 있어서,
    시청각 컨텐트(AV content)로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하는 단계;
    상기 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하여 샘플을 획득하는 단계: 및
    상기 획득된 샘플을 서버로 전송하여, 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신하는 단계를 포함하는 부가 서비스 수신 방법.
  18. 제17항에 있어서, 상기 샘플링 파라미터는
    상기 획득되는 샘플이 비디오인 경우, 샘플링되는 영역의 크기 종횡비(aspect ratio) 및 위치, 초당 프레임 수, 압축 포맷 및 샘플링 시간 중 적어도 하나를 포함하는 부가 서비스 수신 방법.
  19. 제17항에 있어서, 상기 샘플링 파라미터는
    상기 획득되는 샘플이 오디오인 경우, 샘플당 비트 수, 샘플링 주파수 및 주파수 대역, 채널 수, 샘플링 시간 및 압축 포맷 중 적어도 하나를 포함하는 부가 서비스 수신 방법.
  20. 제17항에 있어서, 상기 파라미터 설정 단계는
    상기 영상 표시 장치가 지원 가능한 복수의 샘플링 파라미터 값들을 상기 서버로 전송하는 단계;
    상기 전송된 샘플링 파라미터 값들 중에서 선택된 어느 하나를 상기 서버로부터 수신하는 단계를 포함하는 부가 서비스 수신 방법.
  21. 제17항에 있어서, 상기 파라미터 설정 단계는
    상기 서버가 지원 가능한 복수의 샘플링 파라미터 값들을 수신하는 단계;
    상기 수신된 샘플링 파라미터 값들 중 어느 하나를 선택하는 단계를 포함하는 부가 서비스 수신 방법.
  22. 컨텐트를 재생하는 영상표시장치에 있어서,
    시청각 컨텐트(AV content)를 수신하는 수신부;
    상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 특징추출부;
    상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 상기 제1 서버로부터 수신하는 데이터 송수신부; 및
    상기 제1 서버로부터 수신되는 데이터베이스를 저장하는 메모리를 포함하고,
    상기 시청각 컨텐트로부터 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나는 상기 데이터베이스를 검색하여 획득되는 영상 표시 장치.
  23. 제22항에 있어서, 상기 컨텐트 정보는
    상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보(content ID)를 포함하는 영상 표시 장치.
  24. 제23항에 있어서, 상기 데이터 송수신부는
    상기 데이터베이스를 검색하여 획득된 상기 제2 특징 정보에 대응되는 컨텐트 식별 정보를 상기 제1 서버로 전송하여, 상기 부가 서비스를 제공하는 제2 서버에 접속하기 위한 부가서비스 주소 정보를 상기 제1 서버로부터 수신하고,
    상기 수신된 부가서비스 주소 정보를 이용해 상기 제2 서버에 접속하여 상기 부가서비스를 수신하는 영상 표시 장치.
  25. 제22항에 있어서, 상기 부가 서비스 정보는
    상기 부가 서비스를 제공하는 제2 서버에 접속하기 위한 부가서비스 주소 정보를 포함하는 영상 표시 장치.
  26. 제25항에 있어서, 상기 데이터 송수신부는
    상기 데이터베이스를 검색하여 획득된 상기 제2 특징 정보에 대응되는 부가서비스 주소 정보를 이용해 상기 제2 서버에 접속하여 상기 부가서비스를 획득하는 영상 표시 장치.
  27. 제22항에 있어서,
    상기 시청각 컨텐트가 수신되는 채널이 전환되는 경우, 상기 채널 전환 시점으로부터 일정 시간이 경과한 후 상기 메모리에 저장된 데이터베이스가 삭제되는 영상 표시 장치.
  28. 컨텐트를 재생하는 영상표시장치에 있어서,
    시청각 컨텐트를 수신하는 수신부;
    상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 특징추출부; 및
    상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 데이터 송수신부를 포함하고,
    상기 데이터 송수신부는
    상기 시청각 컨텐트로부터 추출된 제2 특징 정보를 상기 제1 서버로부터 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여, 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 영상 표시 장치.
  29. 제28항에 있어서, 상기 컨텐트 정보는
    상기 제1 특징 정보가 추출된 시청각 컨텐트에 대한 컨텐트 식별 정보 및 시간 정보를 포함하는 영상 표시 장치.
  30. 제29항에 있어서,
    상기 컨텐트 식별 정보가 동일한 특징 정보들에 대한 컨텐트 정보로 구성된 데이터베이스가 상기 제1 서버에 생성되는 영상 표시 장치.
  31. 컨텐트를 재생하는 영상표시장치에 있어서,
    시청각 컨텐트(AV content)를 수신하는 수신부;
    서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식 모듈들;
    상기 컨텐트 인식 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택하는 제어부; 및
    상기 선택된 컨텐트 인식 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하여, 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 데이터 송수신부를 포함하는 영상 표시 장치.
  32. 제31항에 있어서, 상기 우선 순위는
    채널 시청 시점, 채널 선호도 및 채널 수 중 어느 하나에 따라 결정되는 영상 표시 장치.
  33. 컨텐트를 재생하는 영상표시장치에 있어서,
    시청각 컨텐트(AV content)로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하는 파라미터설정부;
    시청각 컨텐트를 수신하는 수신부;
    상기 설정된 파라미터에 따라 상기 수신되는 시청각 컨텐트를 샘플링하여 샘플을 획득하는 샘플링부: 및
    상기 획득된 샘플을 서버로 전송하여, 상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신하는 데이터 송수신부를 포함하는 영상 표시 장치.
  34. 제33항에 있어서, 상기 샘플링 파라미터는
    상기 획득되는 샘플이 비디오인 경우, 샘플링되는 영역의 크기 종횡비(aspect ratio) 및 위치, 초당 프레임 수, 압축 포맷 및 샘플링 시간 중 적어도 하나를 포함하는 영상 표시 장치.
  35. 제33항에 있어서, 상기 샘플링 파라미터는
    상기 획득되는 샘플이 오디오인 경우, 샘플당 비트 수, 샘플링 주파수 및 주파수 대역, 채널 수, 샘플링 시간 및 압축 포맷 중 적어도 하나를 포함하는 영상 표시 장치.
  36. 제33항에 있어서, 상기 제어부는
    상기 영상 표시 장치가 지원 가능한 복수의 샘플링 파라미터 값들을 상기 서버로 전송하고, 상기 전송된 샘플링 파라미터 값들 중에서 선택된 어느 하나를 상기 서버로부터 수신하도록 상기 데이터 송수신부를 제어하는 영상 표시 장치.
  37. 제33항에 있어서, 상기 파라미터설정부는
    상기 서버로부터 수신되는 지원 가능한 복수의 샘플링 파라미터 값들 중 어느 하나를 선택하는 영상 표시 장치.
PCT/KR2011/009043 2010-11-24 2011-11-24 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 WO2012070901A2 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
CA2820574A CA2820574C (en) 2010-11-24 2011-11-24 Method of receiving enhanced service and video display device thereof
EP11843708.6A EP2645732A4 (en) 2010-11-24 2011-11-24 IMPROVED SERVICE RECEIVING METHOD AND DISPLAY APPARATUS THEREFOR
DE112011103903.4T DE112011103903B4 (de) 2010-11-24 2011-11-24 Methode zum Empfang eines bestimmten Services und Videowiedergabegerät dazu
US13/988,995 US8990876B2 (en) 2010-11-24 2011-11-24 Method for receiving enhanced service and display apparatus thereof
GB1310029.2A GB2499754B (en) 2010-11-24 2011-11-24 Method of receiving enhanced service and video display device thereof
KR1020147016913A KR101706832B1 (ko) 2010-11-24 2011-11-24 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
KR1020137013223A KR101506823B1 (ko) 2010-11-24 2011-11-24 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
CN201180064457.3A CN103299648B (zh) 2010-11-24 2011-11-24 接收增强服务的方法及其显示装置
US14/556,014 US20150156536A1 (en) 2010-11-24 2014-11-28 Method for receiving enhanced service and display apparatus thereof
US14/612,901 US20150208117A1 (en) 2010-11-24 2015-02-03 Method for receiving enhanced service and display apparatus thereof
US16/190,051 US20200221163A9 (en) 2010-11-24 2018-11-13 Method for receiving enhanced service and display apparatus thereof

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US41720110P 2010-11-24 2010-11-24
US61/417,201 2010-11-24
US42162310P 2010-12-09 2010-12-09
US61/421,623 2010-12-09
US201161525840P 2011-08-21 2011-08-21
US61/525,840 2011-08-21
US201161536064P 2011-09-19 2011-09-19
US61/536,064 2011-09-19
US201161549237P 2011-10-20 2011-10-20
US201161549238P 2011-10-20 2011-10-20
US61/549,238 2011-10-20
US61/549,237 2011-10-20

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/988,995 A-371-Of-International US8990876B2 (en) 2010-11-24 2011-11-24 Method for receiving enhanced service and display apparatus thereof
US14/556,014 Continuation US20150156536A1 (en) 2010-11-24 2014-11-28 Method for receiving enhanced service and display apparatus thereof

Publications (2)

Publication Number Publication Date
WO2012070901A2 true WO2012070901A2 (ko) 2012-05-31
WO2012070901A3 WO2012070901A3 (ko) 2012-07-19

Family

ID=46146328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009043 WO2012070901A2 (ko) 2010-11-24 2011-11-24 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치

Country Status (8)

Country Link
US (4) US8990876B2 (ko)
EP (1) EP2645732A4 (ko)
KR (2) KR101706832B1 (ko)
CN (1) CN103299648B (ko)
CA (1) CA2820574C (ko)
DE (1) DE112011103903B4 (ko)
GB (1) GB2499754B (ko)
WO (1) WO2012070901A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014126422A1 (en) 2013-02-14 2014-08-21 Lg Electronics Inc. Video display apparatus and operating method thereof
WO2014129803A1 (en) 2013-02-21 2014-08-28 Lg Electronics Inc. Video display apparatus and operating method thereof
WO2016200160A1 (ko) * 2015-06-11 2016-12-15 삼성전자(주) 디스플레이장치, 사용자단말기 및 그 제어방법
WO2017065394A1 (ko) * 2015-10-14 2017-04-20 삼성전자 주식회사 디스플레이 장치 및 이의 제어 방법
CN116775752A (zh) * 2023-08-25 2023-09-19 广东南方电信规划咨询设计院有限公司 对数据进行可视化处理的方法及装置

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283251A (zh) 2010-12-26 2013-09-04 Lg电子株式会社 广播服务发送方法、广播服务接收方法和广播服务接收设备
WO2013021824A1 (ja) * 2011-08-05 2013-02-14 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
US9736520B2 (en) * 2012-02-01 2017-08-15 Futurewei Technologies, Inc. System and method for organizing multimedia content
US8997133B2 (en) 2012-02-07 2015-03-31 Turner Broadcasting System, Inc. Method and system for utilizing automatic content recognition for content tracking
WO2013119082A1 (ko) * 2012-02-10 2013-08-15 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US10255227B2 (en) * 2012-05-21 2019-04-09 Oath Inc. Computerized system and method for authoring, editing, and delivering an interactive social media video
US9423925B1 (en) * 2012-07-11 2016-08-23 Google Inc. Adaptive content control and display for internet media
MX343885B (es) 2012-09-12 2016-11-25 Lg Electronics Inc Aparato y metodo para procesar un servicio interactivo.
US9282346B2 (en) 2012-12-28 2016-03-08 Turner Broadcasting System, Inc. Method and system for automatic content recognition (ACR) integration for smartTVs and mobile communication devices
US9916367B2 (en) 2013-05-03 2018-03-13 Splunk Inc. Processing system search requests from multiple data stores with overlapping data
US8738629B1 (en) 2013-05-03 2014-05-27 Splunk Inc. External Result Provided process for retrieving data stored using a different configuration or protocol
US20150019653A1 (en) * 2013-07-15 2015-01-15 Civolution B.V. Method and system for adding an identifier
US9323857B2 (en) 2013-10-31 2016-04-26 Electronics And Telecommunications Research Institute System and method for providing content-related information based on digital watermark and fingerprint
KR20150069760A (ko) * 2013-12-16 2015-06-24 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN103699501A (zh) * 2013-12-17 2014-04-02 上海斐讯数据通信技术有限公司 一种移动终端的音频设备管理方法及系统
WO2015100070A1 (en) * 2013-12-27 2015-07-02 Alibaba Group Holding Limited Presenting information based on a video
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
US9596521B2 (en) 2014-03-13 2017-03-14 Verance Corporation Interactive content acquisition using embedded codes
CN105100147A (zh) * 2014-05-09 2015-11-25 中兴通讯股份有限公司 一种基于内容提供商与服务提供商分离的控制方法及装置
US9639911B2 (en) 2014-08-20 2017-05-02 Verance Corporation Watermark detection using a multiplicity of predicted patterns
KR102269276B1 (ko) * 2014-09-05 2021-06-24 엘지전자 주식회사 전자 기기, 및 그 동작 방법
KR102199568B1 (ko) 2014-11-10 2021-01-07 엘지전자 주식회사 전자 장치 및 그 동작 방법
US20190007709A1 (en) * 2015-08-20 2019-01-03 Lg Electronics Inc. Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method and broadcast signal reception method
CN105898614A (zh) * 2015-08-21 2016-08-24 乐视致新电子科技（天津）有限公司 一种设置屏幕菜单的透明度的方法、装置和芯片
US10841462B2 (en) * 2015-10-01 2020-11-17 William BOLLMAN Wireless networked record session device
US20170150231A1 (en) * 2015-11-19 2017-05-25 Echostar Technologies Llc Media content delivery selection
KR101757878B1 (ko) 2015-12-10 2017-07-14 삼성전자주식회사 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
KR102560635B1 (ko) 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
KR102482207B1 (ko) 2016-03-11 2022-12-29 삼성전자주식회사 디지털 방송 시스템에서 서비스 전환을 위한 방법 및 장치
US10701438B2 (en) 2016-12-31 2020-06-30 Turner Broadcasting System, Inc. Automatic content recognition and verification in a broadcast chain
CN107197395B (zh) * 2017-05-05 2019-08-20 中广热点云科技有限公司 一种为视频终端提供增强服务的方法
KR102418992B1 (ko) 2017-11-23 2022-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법
CN111090836A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 数据处理、水印嵌入和水印提取方法、装置及设备
US11099811B2 (en) 2019-09-24 2021-08-24 Rovi Guides, Inc. Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes
US11778261B2 (en) 2021-09-14 2023-10-03 Sony Group Corporation Electronic content glossary
WO2024010110A1 (ko) * 2022-07-06 2024-01-11 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US7325201B2 (en) * 2000-05-18 2008-01-29 Endeca Technologies, Inc. System and method for manipulating content in a hierarchical data-driven search and navigation system
US20030066091A1 (en) * 2001-10-03 2003-04-03 Koninklijke Philips Electronics N.V. Business models, methods, and apparatus for unlocking value-added services on the broadcast receivers
US20030070169A1 (en) * 2001-10-09 2003-04-10 Beyers Robert J. Triggered media content in a subscriber television system
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
US20040003394A1 (en) * 2002-07-01 2004-01-01 Arun Ramaswamy System for automatically matching video with ratings information
US20040086120A1 (en) * 2002-11-06 2004-05-06 Akins Glendon L. Selecting and downloading content to a portable player
KR100628129B1 (ko) 2004-10-01 2006-09-26 엘지전자 주식회사 디지털 방송 수신 장치 및 그의 프로그램 정보 표시 방법
US20070022437A1 (en) 2005-07-19 2007-01-25 David Gerken Methods and apparatus for providing content and services coordinated with television content
KR20070077744A (ko) 2006-01-24 2007-07-27 삼성전자주식회사 디지털멀티미디어방송 수신 단말의 데이터 방송 서비스간략 정보 제공 방법 및 장치
KR100876743B1 (ko) 2006-02-10 2009-01-07 삼성전자주식회사 디지털 방송 프로그램 부가 정보의 전송 장치 및 방법
CN100421410C (zh) * 2006-06-13 2008-09-24 中国移动通信集团公司 移动通信网络多媒体增强业务的实现方法
US8261300B2 (en) * 2006-06-23 2012-09-04 Tivo Inc. Method and apparatus for advertisement placement in a user dialog on a set-top box
CN101146247B (zh) * 2006-09-13 2012-02-29 中国电信股份有限公司 为移动网络提供增值业务的方法
JP5191493B2 (ja) * 2006-11-20 2013-05-08 エスケー プラネット カンパニー、リミテッド 放送コンテンツに関連した付加情報サービス提供システム、付加情報サービス提供サーバー及び付加情報サービス提供方法
CN101047861A (zh) * 2007-01-04 2007-10-03 深圳清华大学研究院 数字电视增值服务的扩展epg方法
CN101321264A (zh) * 2007-06-05 2008-12-10 上海未来宽带技术及应用工程研究中心有限公司 应用于iptv平台面向服务的架构
EP2283645B1 (en) * 2008-05-02 2018-09-26 Telefonaktiebolaget LM Ericsson (publ) Iptv session management
KR20100053300A (ko) 2008-11-12 2010-05-20 삼성전자주식회사 방송 부가정보를 제공하는 방송수신장치 및 그 방법
CN101415148B (zh) * 2008-11-26 2012-03-21 华为终端有限公司 实现增值业务的方法、系统及用户终端
US8705933B2 (en) * 2009-09-25 2014-04-22 Sony Corporation Video bookmarking
US8516528B2 (en) * 2010-06-30 2013-08-20 Cable Television Laboratories, Inc. Synchronization of 2nd screen applications

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2645732A4

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2957106A4 (en) * 2013-02-14 2016-11-30 Lg Electronics Inc VIDEO DISPLAY DEVICE AND OPERATING METHOD THEREFOR
WO2014126422A1 (en) 2013-02-14 2014-08-21 Lg Electronics Inc. Video display apparatus and operating method thereof
CN105075280A (zh) * 2013-02-14 2015-11-18 Lg电子株式会社 视频显示设备及其操作方法
JP2016514391A (ja) * 2013-02-14 2016-05-19 エルジー エレクトロニクス インコーポレイティド 映像表示装置及びその動作方法
US9357241B2 (en) 2013-02-14 2016-05-31 Lg Electronics Inc. Video display apparatus and operating method thereof
US20150163528A1 (en) * 2013-02-14 2015-06-11 Lg Electronics Inc. Video display apparatus and operating method thereof
CN105075280B (zh) * 2013-02-14 2019-01-01 Lg电子株式会社 视频显示设备及其操作方法
US9888268B2 (en) 2013-02-14 2018-02-06 Lg Electronics Inc. Video display apparatus and operating method thereof
WO2014129803A1 (en) 2013-02-21 2014-08-28 Lg Electronics Inc. Video display apparatus and operating method thereof
JP2016516321A (ja) * 2013-02-21 2016-06-02 エルジー エレクトロニクス インコーポレイティド 映像表示装置及びその動作方法
EP2962473A4 (en) * 2013-02-21 2016-07-20 Lg Electronics Inc VIDEO DISPLAY APPARATUS AND METHOD OF OPERATION
US9848230B2 (en) 2013-02-21 2017-12-19 Lg Electronics Inc. Video display apparatus and operating method thereof
US9992527B2 (en) 2013-02-21 2018-06-05 Lg Electronics Inc. Video display apparatus and operating method thereof
CN107710773A (zh) * 2015-06-11 2018-02-16 三星电子株式会社 显示装置、用户终端及其控制方法
WO2016200160A1 (ko) * 2015-06-11 2016-12-15 삼성전자(주) 디스플레이장치, 사용자단말기 및 그 제어방법
WO2017065394A1 (ko) * 2015-10-14 2017-04-20 삼성전자 주식회사 디스플레이 장치 및 이의 제어 방법
US10616595B2 (en) 2015-10-14 2020-04-07 Samsung Electronics Co., Ltd Display apparatus and control method therefor
CN116775752B (zh) * 2023-08-25 2023-11-17 广东南方电信规划咨询设计院有限公司 对数据进行可视化处理的方法及装置
CN116775752A (zh) * 2023-08-25 2023-09-19 广东南方电信规划咨询设计院有限公司 对数据进行可视化处理的方法及装置

Also Published As

Publication number Publication date
CA2820574C (en) 2016-10-25
CN103299648A (zh) 2013-09-11
US8990876B2 (en) 2015-03-24
CA2820574A1 (en) 2012-05-31
US20200221163A9 (en) 2020-07-09
GB2499754B (en) 2017-09-20
US20130239163A1 (en) 2013-09-12
EP2645732A4 (en) 2014-05-21
KR101706832B1 (ko) 2017-02-27
US20190082212A1 (en) 2019-03-14
US20150208117A1 (en) 2015-07-23
US20150156536A1 (en) 2015-06-04
WO2012070901A3 (ko) 2012-07-19
GB2499754A (en) 2013-08-28
CN103299648B (zh) 2017-02-15
GB201310029D0 (en) 2013-07-17
KR101506823B1 (ko) 2015-03-30
DE112011103903T5 (de) 2013-09-05
KR20140094629A (ko) 2014-07-30
KR20130083457A (ko) 2013-07-22
DE112011103903B4 (de) 2016-06-23
EP2645732A2 (en) 2013-10-02

Similar Documents

Publication Publication Date Title
WO2012070901A2 (ko) 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
WO2012070902A2 (ko) 영상 표시 장치 및 그 제어 방법
WO2012070903A2 (ko) 영상 표시 장치 및 그 제어 방법
WO2013027941A1 (en) Video display device, terminal device, and method thereof
WO2013119082A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2013042902A1 (ko) 방송 서비스 수신 방법 및 그 수신 장치
WO2013133601A1 (en) Video display apparatus and operating method thereof
WO2013103273A1 (en) Video display apparatus and operating method thereof
WO2014129803A1 (en) Video display apparatus and operating method thereof
WO2013058633A1 (ko) 방송 서비스 수신 방법 및 방송 서비스 수신 장치
WO2014126422A1 (en) Video display apparatus and operating method thereof
WO2012161535A2 (ko) 방송 서비스 전송 방법, 그 수신 장치 및 그 수신 장치의 부가 서비스 처리 방법
WO2013022309A1 (ko) 방송 서비스 전송 방법, 그 수신 방법 및 방송 서비스 수신 장치
WO2012099339A2 (en) Digital receiver and method of providing real-time rating thereof
WO2014007571A1 (en) Method and apparatus for processing digital service signals
WO2012091322A1 (ko) 방송 서비스 전송 방법, 그 수신 방법 및 그 수신 장치
WO2014200248A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2014035130A1 (en) Method and apparatus for processing digital service signal
WO2014014252A1 (en) Method and apparatus for processing digital service signals
WO2014062017A1 (en) Apparatus and method for processing an interactive service
WO2012173441A2 (ko) 방송 서비스 전송 방법, 그 수신 방법 및 방송 서비스 수신 장치
WO2014030924A1 (en) Apparatus and method for processing an interactive service
WO2016171496A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2012169779A2 (ko) 방송 서비스 전송 방법, 그 수신 방법 및 그 수신 장치
WO2014051315A1 (en) Method and apparatus for processing digital service signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11843708

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13988995

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20137013223

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2820574

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 1120111039034

Country of ref document: DE

Ref document number: 112011103903

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 1310029

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20111124

WWE Wipo information: entry into national phase

Ref document number: 1310029.2

Country of ref document: GB

WWE Wipo information: entry into national phase

Ref document number: 2011843708

Country of ref document: EP