WO2016076541A1 - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2016076541A1
WO2016076541A1 PCT/KR2015/010963 KR2015010963W WO2016076541A1 WO 2016076541 A1 WO2016076541 A1 WO 2016076541A1 KR 2015010963 W KR2015010963 W KR 2015010963W WO 2016076541 A1 WO2016076541 A1 WO 2016076541A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
input
information
additional service
electronic device
Prior art date
Application number
PCT/KR2015/010963
Other languages
English (en)
French (fr)
Inventor
문경수
유휘상
송영훈
안승주
이진원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/525,895 priority Critical patent/US10587927B2/en
Priority to EP15859679.1A priority patent/EP3220652B1/en
Publication of WO2016076541A1 publication Critical patent/WO2016076541A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Definitions

  • the present invention relates to an electronic device and a method of operating the same.
  • the present invention relates to an electronic device that controls various services in association with an image display device and a method of operating the same.
  • a broadcasting station transmits main service audio content, together with enhanced service data that can be used in connection with the main audio and video content or independent of the main audio and video content.
  • video display devices in each home rarely directly receive broadcast signals through airwaves. Rather, the video display device of each home is connected to a broadcast receiving device such as a set-top box, so that uncompressed audio and video content provided by the broadcast receiving device is often reproduced.
  • a broadcast receiving device such as a set-top box
  • a specific input is required for a home video display device to control an additional service, but there is a limit to a remote control device for operating a video display device.
  • a remote control device for operating a video display device.
  • the viewer may interfere with viewing of the main content.
  • the present invention provides a video display device for recognizing an uncompressed audio and video content type and providing an additional service related to the recognized content to a user, and an operation method thereof.
  • the present invention provides a video display device and a method of operating the additional service associated with the unrecognized content and the additional service associated with the uncompressed audio and video content through a control command input to the mobile messenger to inform the user through the mobile messenger. It is to.
  • a method of operating an electronic device includes: acquiring, by the first device, uncompressed audio and video content information and an additional service acquired through an automatic contents recognition (ACR) function; Outputting the uncompressed audio and video content information and additional services through a first application including a mutual message exchange function; Receiving an execution input for executing an additional service output through the first application; And executing an additional service according to the received execution input.
  • ACR automatic contents recognition
  • Embodiments of the present invention enable additional services that are not dependent on MVPD.
  • embodiments of the present invention enable additional services by a third party server that does not depend on the broadcast station or content provider even if the broadcaster or content provider does not provide the additional service.
  • various embodiments of the present invention enable information retrieval, chat, news search, digital media download, product catalog download, and product purchase related to the main audio-visual content through a mobile messenger without inconvenient text input through a remote control.
  • embodiments of the present invention enable additional services beyond the limits of the bandwidth of the wireless channel.
  • the image display device may acquire a channel map based on uncompressed audio and video data input through an external input.
  • the third party server may provide information on whether the leanback application is allowed to the video display device to prevent the leanback application from seriously affecting the stability of the video display device.
  • the video display device can perform content recognition quickly and reduce network latency.
  • the third party server can provide unnecessary information about resource consumption by providing information on the ACR on time interval to the video reproducing apparatus.
  • the display device may recognize content and effectively control a service related to the recognized content through a messenger application.
  • a menu providing a service related to content may be provided through a 2nd screen rather than a screen of a display device, thereby minimizing inconvenience between viewing by a user.
  • FIG. 1 is a block diagram illustrating a network topology according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a watermark based network topology according to an embodiment of the present invention.
  • FIG. 3 is a ladder diagram illustrating a data flow in a watermark based network topology according to an embodiment of the present invention.
  • FIG. 4 illustrates a watermark based content recognition timing according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a fingerprint based network topology according to an embodiment of the present invention.
  • FIG. 6 is a ladder diagram illustrating a data flow in a fingerprint based network topology according to an embodiment of the present invention.
  • FIG. 7 shows an XML schema diagram of an ACR-Resulttype containing a query result according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating a watermark and fingerprint based network topology according to an embodiment of the present invention.
  • FIG. 9 is a ladder diagram illustrating a data flow in a watermark and fingerprint based network topology according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of a video display device according to an embodiment of the present invention.
  • FIG. 11 is a block diagram illustrating a structure of a fingerprint based video display device according to another embodiment.
  • FIG. 11 is a block diagram illustrating a structure of a fingerprint based video display device according to another embodiment.
  • FIG. 12 is a block diagram illustrating a structure of a watermark based video display device according to another embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a mobile terminal related to the present invention.
  • FIG. 14 schematically illustrates a method (a) of controlling a service provided to a user by using an ACR function and a method (b) of controlling an additional service provided through an application of an electronic device according to an embodiment of the present invention.
  • 15 is a block diagram showing the overall configuration of controlling an additional service through the above-described electronic device.
  • 16 is a diagram illustrating a basic screen of a home appliance control service through a messenger.
  • 17 is a diagram illustrating a menu for registering home appliances through a messenger.
  • 18 to 19 are diagrams illustrating a menu for informing a current state of home appliances registered through the registration menu.
  • 20 is a diagram illustrating a menu indicating a product which can be currently registered.
  • 21 to 23 are views illustrating a state in which the outing mode is executed.
  • 24 to 25 are views illustrating a case where the vacation mode is executed.
  • 26 to 28 are diagrams illustrating a case where the home mode is executed.
  • 29 to 32 are diagrams illustrating an example of controlling an air conditioner through a messenger.
  • 33 is a flowchart illustrating a method of controlling an image display device and other home appliances through an application of an electronic device, according to an embodiment of the present disclosure.
  • FIG. 34 is a diagram illustrating that a user controls, via a messenger of an electronic device, a replay of another content related to a content recognized through an ACR function of a video display device.
  • FIG. 35 is a diagram illustrating that the electronic device controls an app linked to currently playing audiovisual content.
  • 36 is a diagram illustrating providing a coupon service as an example of an additional service.
  • FIG. 37 is a diagram illustrating an example of an additional service that provides a purchase service by recognizing an indirect advertisement inserted into audiovisual content in a video display device.
  • 38 is a view illustrating a chat service according to an embodiment of an additional service.
  • 39 is a diagram for providing recipe information according to one embodiment of an additional service.
  • FIG. 1 is a block diagram illustrating a network topology according to an embodiment of the present invention.
  • the network topology includes a content providing server 10, a content recognizing service providing server 20, a multi-channel video distribution server 30, and an additional service information providing server ( 40, a plurality of additional service providing servers 50, a broadcast receiving device 60, a network 70, and a video display device 100.
  • the content providing server 10 may correspond to a broadcasting station and broadcasts a broadcast signal including main audio-visual content.
  • the broadcast signal may further include an additional service.
  • the supplementary service may or may not be related to the main audiovisual content.
  • Additional services include service information, metadata, additional data, compiled executables, web applications, Hypertext Markup Language (HTML) documents, XML documents, cascading style sheet (CSS) documents, audio files, and video. It may have a form of a file, an ATSC 2.0 content, an address such as a Uniform Resource Locator (URL), and the like.
  • the content recognizing service providing server 20 provides a content recognizing service that enables the video display device 100 to recognize content based on the main audio and video content.
  • the content recognizing service providing server 20 may or may not modify the main audio and video content.
  • One or more content recognition service providing servers may exist.
  • the content recognizing service providing server 20 may be a watermark server for inserting a visible watermark such as a logo into the main audiovisual content by modifying the main audiovisual content.
  • the watermark server may watermark the content provider's logo on the upper left or upper right of each frame of the main audiovisual content.
  • the content recognizing service providing server 20 may be a watermark server for modifying the main audio and video content to insert content information into the main audio and video content as an invisible watermark.
  • the content recognizing service providing server 20 may be a fingerprint server that extracts and stores feature information from some frames or some audio samples of the main audio and video content. This feature information is also called signature.
  • the multi-channel video distribution server 30 receives and multiplexes broadcast signals from a plurality of broadcast stations and provides the multiplexed signals to the broadcast receiving device 60.
  • the multi-channel video distribution server 30 performs demodulation and channel decoding on the received broadcast signal to extract the main AV content and the additional service, and then performs channel encoding on the extracted main AV content and the extracted additional service. It is possible to generate multiplexed signals for distribution.
  • the multi-channel video distribution server 30 may exclude the extracted additional service or add another additional service, the broadcasting station may not provide a broadcaster-led service.
  • the broadcast receiving device 60 tunes a channel selected by a user, receives a signal of a tuned channel, performs demodulation and channel decoding on the received signal, and extracts main audio and video content.
  • the broadcast receiving device 60 then extracts the extracted main audio and video content from H.264 / MPEG-4 Moving Picture Experts Group-4 advanced video coding (DVC), Dolby AC-3, and MPEG-2 AAC (Moving Picture Experts Group-2 Advanced). Decompression is performed using an audio coding algorithm to generate uncompressed main AV content.
  • the broadcast receiving device 60 provides the generated uncompressed main audio and video content to the video display device 100 through an external input port of the video display device 100.
  • the supplementary service information providing server 40 provides supplementary service information for one or more available supplementary services related to the main AV content in response to a request of the video display device. There may be one or more additional service address providing servers. The additional service information providing server 40 may provide additional service information for the highest priority additional service among a plurality of available additional services.
  • the additional service providing server 50 may provide one or more additional services that may be used in connection with the main audio and video content in response to a request of the video display device. There may be one or more additional service providing servers.
  • the video display device 100 may be a device including a display unit such as a television, a laptop, a mobile phone, a smartphone, and the like.
  • the video display device 100 may receive uncompressed main audio and video content from the broadcast receiving device 60 and broadcast including main audio and video content encoded from the content providing server 10 or the multi-channel video distribution server 30. You can also receive a signal.
  • the video display device 100 may be provided with a content recognition service from the content recognition service providing server 20 through the network 70, and may receive main audiovisual content from the additional service information providing server 40 through the network 70. Receive the address of one or more additional services available in relation to, and may receive one or more additional services available in connection with the main audio-visual content from the additional service providing server 50.
  • At least two of the content providing server 10, the content recognizing service providing server 20, the multichannel video distribution server 30, the additional service information providing server 40, and the plurality of additional service providing servers 50 are one server. It may be combined in the form of or may be operated by one operator.
  • FIG. 2 is a block diagram illustrating a watermark based network topology according to an embodiment of the present invention.
  • the network topology according to the embodiment of the present invention further includes a watermark server 21.
  • the watermark server 21 as shown in FIG. 2 applies modification to the main audio and video content to insert the content information into the main audio and video content.
  • the multi-channel video distribution server 30 receives and distributes a broadcast signal including the modified main AV content.
  • the watermark server may use a digital watermarking technique as described below.
  • Digital watermarks are the process of embedding information in digital signals in a way that is difficult to delete.
  • the digital signal can be audio, photo, or video.
  • the inserted information is also contained in the copy.
  • One digital signal can carry several different watermarks at the same time.
  • the inserted information is discernible to the eye in the picture or video.
  • the inserted information is text or a logo that identifies the owner of the media.
  • a television station adds its logo to the corner of the video being sent, this is an eye identifiable watermark.
  • the copying device may obtain a watermark from the digital media before copying the digital media, and may decide whether to copy or not based on the content of the watermark.
  • Another application of watermarking is in tracking the source of digital media. At each point on the distribution path, a watermark is embedded in the digital media. If such digital media is found later, a watermark can be extracted from the digital media and the source of the distribution can be grasped from the content of the watermark.
  • the file format for digital media may include additional information called metadata, which is distinguished from metadata in that digital watermarks are conveyed in the audiovisual signal of digital media itself.
  • Watermarking methods include spread spectrum, quantization, and amplitude modulation.
  • the watermarking method corresponds to spread spectrum.
  • Spread-spectrum watermarks are known to be quite robust, but they do not carry much information because they interfere with the embedded host signal.
  • the watermarking method corresponds to the quantization type. Quantization watermarks are less robust, but can carry quite a bit of information.
  • the watermarking method corresponds to an amplitude modulation.
  • FIG. 3 is a ladder diagram illustrating a data flow in a watermark based network topology according to an embodiment of the present invention.
  • the content providing server 10 transmits a broadcast signal including the main audio and video content and the additional service (S101).
  • the watermark server 21 receives a broadcast signal provided by the content providing server 10 and applies a modified watermark to the main audiovisual content to insert a visible watermark, such as a logo, into the main audiovisual content, or the main audiovisual content.
  • the watermark information is inserted as an invisible watermark, and the watermarked main audiovisual content and the additional service are provided to the MVPD 30 (S103).
  • the watermark information inserted through the invisible watermark may include one or more of watermark usage, content information, additional service information, and available additional services.
  • the watermark usage may indicate one of unauthorized copy protection, audience rating research, and additional service acquisition.
  • the content information may include identification information of a content provider providing main audio and video content, main audio and video content identification information, main audio and video content rating information, time information of a content section used to acquire content information, a name of a channel on which main audio and video content is broadcasted, and main Among the logo of the channel where the audio-visual content is broadcasted, the description of the channel on which the main audio-visual content is broadcasted, the usage information reporting address, the usage information reporting period, the minimum usage time for acquiring the usage information, and additional service information available for the main audio-visual content It may include one or more.
  • the time information of the content section used to acquire the content information may be time information of the content section in which the used watermark is embedded. If the video display device 100 uses the fingerprint to acquire the content information, the time information of the content section used to acquire the content information may be time information of the content section from which the feature information is extracted.
  • the time information of the content section used to acquire the content information includes the start time of the content section used to acquire the content information, the duration of the content section used to acquire the content information, and the end time of the content section used to acquire the content information. It may include one or more of.
  • the usage information reporting address may include at least one of a main audio and video content viewing information reporting address and an additional service usage information reporting address.
  • the usage information reporting period may include one or more of a main audio and video content viewing information reporting period and an additional service usage information reporting period.
  • the minimum usage time for acquiring the usage information may include at least one of a minimum viewing time for acquiring the main audio and video content viewing information and a minimum usage time for extracting additional service usage information.
  • the video display device 100 Based on the case in which the main audio and video content is watched for a minimum viewing time or more, the video display device 100 obtains the viewing information of the main audio and video content, and the viewing information extracted as the main audio and video content viewing information reporting address in the main audio and video content viewing information reporting period. Can report.
  • the video display device 100 may obtain the additional service usage information and report the usage information extracted to the additional service usage information report address in the additional service usage information reporting period. .
  • the supplementary service information includes information on whether an supplementary service exists, an supplementary service address providing server address, an acquisition path of each available supplementary service, an address for each available supplementary service, a start time of each available supplementary service, End time of each available supplementary service, lifetime of each available supplementary service, acquisition mode of each available supplementary service, request period for each available supplementary service, of each available supplementary service
  • One or more of priority information, a description of each available additional service, a category of each available additional service, a usage information reporting address, a usage information reporting period, and a minimum usage time for obtaining usage information. have.
  • the acquisition path of the available additional service may indicate IP or Advanced Television Systems Committee-Mobile / Handheld (ATSC M / H).
  • ATSC M / H Advanced Television Systems Committee-Mobile / Handheld
  • the additional service information may further include frequency information and channel information.
  • the acquisition mode of each available supplementary service may indicate Push or Pull.
  • the watermark server 21 may insert watermark information as an invisible watermark in the logo of the main audio and video content.
  • the watermark server 21 may insert a barcode at a predetermined position of the logo.
  • the predetermined position of the logo may correspond to the bottom 1 line of the area where the logo is displayed.
  • the image display apparatus 100 may not display the barcode.
  • the watermark server 21 may insert watermark information in the form of metadata of a logo. At this time, the shape of the logo can be maintained.
  • the watermark server 21 may insert N-bit watermark information into each of the logos of the M frames. That is, the watermark server 21 may insert M * N watermark information through M frames.
  • the MVPD 30 receives a broadcast signal including watermarked main AV content and an additional service, generates a multiplexed signal, and provides the multiplexed signal to the broadcast receiving device 60 (S105).
  • the multiplexed signal may exclude the received additional service or include a new additional service.
  • the broadcast receiving device 60 tunes a channel selected by a user, receives a signal of a tuned channel, demodulates the received broadcast signal, performs channel decoding, and performs AV decoding to perform an uncompressed main AV. After generating the content, the generated uncompressed main AV content is provided to the video display device 100 in operation S106.
  • the content providing server 10 also broadcasts a broadcast signal including the main audio and video content through a wireless channel (S107).
  • the MVPD 30 may transmit a broadcast signal including main AV content to the video display device 100 directly without passing through the broadcast receiving device 60 (S108).
  • the video display device 100 may receive uncompressed main audio and video content through the set top box 60. Alternatively, the video display device 100 may receive a broadcast signal through a wireless channel and demodulate and decode the received broadcast signal to obtain main audio and video content. Alternatively, the video display device 100 may receive a broadcast signal from the MVPD 30, demodulate and decode the received broadcast signal to receive main audio and video content.
  • the video display device 100 extracts watermark information from audio frames of some frames or sections of the obtained main audio and video content. If the watermark information corresponds to a logo, the video display device 100 checks the watermark server address corresponding to the logo extracted from the correspondence between the plurality of logos and the plurality of watermark server addresses.
  • the video display device 100 cannot identify the main audio and video content using only the logo.
  • the video display device 100 may not identify the main audio and video content, but the watermark information may include the content provider identification information or the watermark server address.
  • the video display device 100 may include a watermark server address corresponding to content provider identification information extracted from a correspondence between the plurality of content provider identification information and the plurality of watermark server addresses. You can check.
  • the video display device 100 accesses the watermark server 21 corresponding to the acquired watermark server address and transmits the first query ( S109).
  • the watermark server 21 provides a first response to the first query in operation S111.
  • the first response may include one or more of content information, additional service information, and available additional services.
  • the video display device 100 may not obtain the additional service. However, the watermark information and the first response may include the additional service address providing server address. As such, if the video display device 100 does not acquire the additional service address or the additional service through the watermark information and the first response, and obtains the additional service address providing server address, the video display device 100 obtains the acquired additional information.
  • the second query including the content information is transmitted by accessing the additional service information providing server 40 corresponding to the service address providing server address (S119).
  • the supplementary service information providing server 40 retrieves one or more available supplementary services related to the content information of the second query. Thereafter, the supplementary service information providing server 40 provides supplementary service information for one or more available supplementary services to the video display device 100 as a second response to the second query in operation S121.
  • the video display device 100 obtains one or more available additional service addresses through the watermark information, the first response, or the second response, the video display device 100 accesses the one or more available additional service addresses and requests additional services (S123). In step S125, an additional service is obtained.
  • FIG. 4 illustrates a watermark based content recognition timing according to an embodiment of the present invention.
  • the broadcast receiving device 60 is turned on and the channel is tuned, and the video display device 100 is the main audiovisual of the channel tuned from the broadcast receiving device 60 through the external input port 111.
  • the video display device 100 may detect the content provider identifier (or broadcaster identifier) from the watermark of the main AV content. Thereafter, the video display device 100 may detect content information from the watermark of the main AV content based on the detected content provider identifier.
  • the detectable period of the content provider identifier and the detectable period of the content information may be different.
  • the detectable period of the content provider identifier may be shorter than the detectable period of the content information.
  • FIG. 5 is a block diagram illustrating a fingerprint based network topology according to an embodiment of the present invention.
  • the network topology according to the embodiment of the present invention further includes a fingerprint server 22.
  • the fingerprint server 22 as shown in FIG. 5 does not modify the main audio and video content, and extracts and stores feature information from audio samples of some frames or sections of the main audio and video content. Subsequently, when the fingerprint server 22 receives the characteristic information from the image display apparatus 100, the fingerprint server 22 provides the identifier and time information of the audiovisual content corresponding to the received characteristic information.
  • FIG. 6 is a ladder diagram illustrating a data flow in a fingerprint based network topology according to an embodiment of the present invention.
  • the content providing server 10 transmits a broadcast signal including the main audio and video content and the additional service (S201).
  • the fingerprint server 22 receives a broadcast signal provided by the content providing server 10, extracts a plurality of feature information from a plurality of frame sections or a plurality of audio sections of the main audio and video content, and adds the plurality of feature information to each of the plurality of feature information.
  • a database for a plurality of corresponding query results is constructed (S203).
  • the query result may include one or more of content information, additional service information, and available additional services.
  • the MVPD 30 receives a broadcast signal including main AV content and an additional service, generates a multiplexed signal, and provides the multiplexed signal to the broadcast receiving device 60 in operation S205.
  • the multiplexed signal may exclude the received additional service or include a new additional service.
  • the broadcast receiving device 60 tunes a channel selected by a user, receives a signal of a tuned channel, demodulates the received broadcast signal, performs channel decoding, and performs AV decoding to perform an uncompressed main AV. After generating the content, the generated uncompressed main AV content is provided to the video display device 100 in operation S206.
  • the content providing server 10 also broadcasts a broadcast signal including the main audio and video content through a wireless channel (S207).
  • the MVPD 30 may transmit a signal including the main audio and video content to the video display device 100 directly without passing through the broadcast receiving device 60 (S208).
  • the video display device 100 may receive uncompressed main audio and video content through the set top box 60. Alternatively, the video display device 100 may receive a broadcast signal through a wireless channel and demodulate and decode the received broadcast signal to obtain main audio and video content. Alternatively, the video display device 100 may receive a broadcast signal from the MVPD 30, demodulate and decode the received broadcast signal to receive main audio and video content. The video display device 100 extracts feature information from audio frames of some frames or sections of the acquired main audio and video content in operation S213.
  • the video display device 100 accesses the fingerprint server 22 corresponding to the preset fingerprint server address and transmits a first query including the extracted feature information (S215).
  • the fingerprint server 22 provides a query result as a first response to the first query (S217). If the first response corresponds to a failure, the video display device 100 may access the fingerprint server 22 corresponding to another fingerprint server address and transmit a first query including the extracted feature information.
  • the fingerprint server 22 may provide an Extensible Markup Language (XML) document as a query result.
  • XML Extensible Markup Language
  • An example of an XML document containing a query result will be described with reference to FIG. 7 and Table 1.
  • FIG. 7 An example of an XML document containing a query result will be described with reference to FIG. 7 and Table 1.
  • FIG. 7 shows an XML schema diagram of an ACR-Resulttype containing a query result according to an embodiment of the present invention.
  • an ACR-Resulttype containing a query result has a ResultCode attribute, ContentID, NTPTimestamp, SignalingChannelInformation, and ServiceInformation elements.
  • the ResultCode attribute has a value of 200, this may mean that the query result is successful. If the ResultCode attribute has a value of 404, this may mean that the query result has failed.
  • the SignalingChannelInformation element has a SignalingChannelURL element, and the SignalingChannelURL element has UpdateMode and PollingCycle attributes.
  • the UpdateMode property may have a Pull value or a Push value.
  • the ServiceInformation element has a ServiceName, ServiceLogo, and ServiceDescription element.
  • Table 1 shows the XML Schema of ACR-ResultType containing such query result.
  • an ATSC content identifier as shown in Table 2 below may be used.
  • the ATSC content identifier has a structure consisting of a TSID and a house number.
  • the 16 bit unsigned integer TSID carries a transport stream identifier.
  • the 5-bit unsigned integer end_of_day is set to the hour of the day when broadcast is over and the content_id value can be reused.
  • the 9-bit unsigned integer unique_for is set to the number of days for which the content_id value cannot be reused.
  • content_id represents a content identifier.
  • the video display device 100 may decrement unique_for by 1 at a time corresponding to end_of_day every day, and may consider that content_id is unique if unique_for is not zero.
  • a Global service identifier for an ATSC-M / H service as described below may be used.
  • the global service identifier has the form
  • ⁇ region> is a two letter international country code as defined by ISO 639-2.
  • ⁇ Xsid> for local service is a decimal number of TSID as defined in ⁇ region>, and ⁇ xsid> for local service (major> 69) is "0".
  • ⁇ serviceid> is defined as ⁇ major> or ⁇ minor>. ⁇ major> represents a major channel number, and ⁇ minor> represents a minor channel number.
  • an ATSC content identifier as described below may be used.
  • the ATSC content identifier has the form:
  • ⁇ region> is a two letter international country code as defined by ISO 639-2.
  • ⁇ Xsid> for local service is a decimal number of TSID as defined in ⁇ region>, which may be followed by ".”
  • ⁇ Xsid> for regional service (major> 69) is ⁇ serviceid>.
  • ⁇ content_id> is the base64 sign of the content_id field defined in Table 2
  • ⁇ unique_for> is the decimal sign of the unique_for field defined in Table 2
  • ⁇ end_of_day> is the decimal sign of the end_of_day field defined in Table 2.
  • FIG. 6 will be described again.
  • the video display device 100 provides the additional service information providing server 40 corresponding to the obtained additional service address providing server address.
  • a second query including content information is transmitted.
  • the supplementary service information providing server 40 retrieves one or more available supplementary services related to the content information of the second query. Thereafter, the supplementary service information providing server 40 provides supplementary service information for one or more available supplementary services to the video display device 100 as a second response to the second query in operation S221.
  • the video display device 100 obtains one or more available additional service addresses through the first response or the second response, the video display device 100 accesses the one or more available additional service addresses and requests additional services (S223). Acquire (S225).
  • the video display device 100 transmits an HTTP request to the supplementary service providing server 50 through SignalingChannelURL and sends an HTTP response including a PSIP binary stream in response thereto. 50).
  • the video display device 100 may transmit an HTTP request according to the polling period specified by the PollingCycle property.
  • the SignalingChannelURL element may have an update time attribute. In this case, the video display device 100 may transmit an HTTP request at the update time specified by the update time attribute.
  • the video display device 100 may asynchronously receive the update from the server by using the XMLHTTPRequest API. After the video display device 100 makes an asynchronous request to the server through the XMLHTTPRequest object, the server provides the signaling information as a response through this channel when there is a change in the signaling information. If there is a limit in the waiting time of the session, a session timeout respond is generated, and the receiver can recognize and re-request it so that the signaling channel between the receiver and the server can be maintained at all times.
  • FIG. 8 is a block diagram illustrating a watermark and fingerprint based network topology according to an embodiment of the present invention.
  • the network topology according to the embodiment of the present invention further includes a watermark server 21 and a fingerprint server 22.
  • the watermark server 21 as shown in FIG. 8 inserts content provider identification information into the main audiovisual content.
  • the watermark server 21 may insert the content provider identification information into the main audio and video content as a watermark that looks like a logo, or insert the content provider identification information into the main audio and video content as an invisible watermark.
  • the fingerprint server 22 does not modify the main audio and video content, and extracts and stores feature information from audio samples of some frames or sections of the main audio and video content. Subsequently, when the fingerprint server 22 receives the characteristic information from the image display apparatus 100, the fingerprint server 22 provides the identifier and time information of the audiovisual content corresponding to the received characteristic information.
  • FIG. 9 is a ladder diagram illustrating a data flow in a watermark and fingerprint based network topology according to an embodiment of the present invention.
  • the content providing server 10 transmits a broadcast signal including main audiovisual content and an additional service (S301).
  • the watermark server 21 receives a broadcast signal provided by the content providing server 10 and applies a modified watermark to the main audiovisual content to insert a visible watermark, such as a logo, into the main audiovisual content, or the main audiovisual content.
  • the watermark information is inserted as an invisible watermark, and the watermarked main audio and video content and the additional service are provided to the MVPD 30 (S303).
  • the watermark information inserted through the invisible watermark may include one or more of content information, additional service information, and available additional services.
  • the content information and the additional service information are as described above.
  • the MVPD 30 receives a broadcast signal including the watermarked main AV content and an additional service, generates a multiplexed signal, and provides the multiplexed signal to the broadcast receiving device 60 (S305).
  • the multiplexed signal may exclude the received additional service or include a new additional service.
  • the broadcast receiving device 60 tunes a channel selected by a user, receives a signal of a tuned channel, demodulates the received broadcast signal, performs channel decoding, and performs AV decoding to perform an uncompressed main AV. After the content is generated, the generated uncompressed main AV content is provided to the video display device 100 in operation S306.
  • the content providing server 10 also broadcasts a broadcast signal including the main AV content through a wireless channel (S307).
  • the MVPD 30 may transmit a signal including the main audio and video content to the video display device 100 directly without passing through the broadcast receiving device 60 (S308).
  • the video display device 100 may receive uncompressed main audio and video content through the set top box 60. Alternatively, the video display device 100 may receive a broadcast signal through a wireless channel and demodulate and decode the received broadcast signal to obtain main audio and video content. Alternatively, the video display device 100 may receive a broadcast signal from the MVPD 30, demodulate and decode the received broadcast signal to receive main audio and video content.
  • the video display device 100 extracts watermark information from audio frames of some frames or sections of the obtained main audio and video content. If the watermark information corresponds to a logo, the video display device 100 checks the watermark server address corresponding to the logo extracted from the correspondence between the plurality of logos and the plurality of watermark server addresses.
  • the video display device 100 cannot identify the main audio and video content using only the logo.
  • the video display device 100 may not identify the main audio and video content, but the watermark information may include the content provider identification information or the watermark server address.
  • the video display device 100 may include a watermark server address corresponding to content provider identification information extracted from a correspondence between the plurality of content provider identification information and the plurality of watermark server addresses. You can check.
  • the video display device 100 accesses the watermark server 21 corresponding to the acquired watermark server address and transmits the first query ( S309).
  • the watermark server 21 provides a first response to the first query in operation S311.
  • the first response may include one or more of a fingerprint server address, content information, additional service information, and available additional services.
  • the content information and the additional service information are as described above.
  • the video display device 100 extracts feature information from audio frames of some frames or some sections of the main audio and video content (S313).
  • the video display device 100 connects to the fingerprint server 22 corresponding to the fingerprint server address in the first response and transmits a second query including the extracted feature information (S315).
  • the fingerprint server 22 provides a query result as a second response to the second query in operation S317.
  • the video display device 100 provides the additional service information providing server 40 corresponding to the obtained additional service address providing server address.
  • a third query including content information is transmitted.
  • the supplementary service information providing server 40 retrieves one or more available supplementary services related to the content information of the third query. Thereafter, the additional service information providing server 40 provides the video display device 100 with additional service information for one or more available additional services in a third response to the third query in operation S321.
  • the video display device 100 obtains one or more available additional service addresses through the first response, the second response, or the third response, the video display device 100 accesses the one or more available additional service addresses and requests additional services (S323). In step S325, an additional service is acquired.
  • FIG. 10 is a block diagram of a video display device according to an embodiment of the present invention.
  • the video display device 100 includes a broadcast signal receiver 101, a demodulator 103, a channel decoder 105, a demultiplexer 107, and an audiovisual It includes a decoder 109, an external input port 111, a playback controller 113, a playback device 120, an additional service manager 130, a data transceiver 141, and a memory 150.
  • the broadcast signal receiving unit 101 receives a broadcast signal from the content providing server 10 or the MVPD 30.
  • the demodulator 103 demodulates the received broadcast signal to generate a demodulated signal.
  • the channel decoder 105 performs channel decoding on the demodulated signal to generate channel decoded data.
  • the demultiplexer 107 separates the main AV content and the supplementary service from the channel decoded data.
  • the separated additional service is stored in the additional service storage unit 152.
  • the audiovisual decoding unit 109 performs audiovisual decoding on the separated main audiovisual content to generate uncompressed main audiovisual content.
  • the external input port 111 receives uncompressed main audio and video content from the broadcast receiving device 60, a digital versatile disk (DVD) player, a Blu-ray disc player, or the like.
  • the external input port 111 may include one or more of a DSUB port, a high definition multimedia interface (HDMI) port, a digital visual interface (DVI) port, a composite port, a component port, and an S-video port. have.
  • HDMI high definition multimedia interface
  • DVI digital visual interface
  • the reproduction control unit 113 reproduces at least one of the uncompressed main audio and video content generated by the audiovisual decoder 109 or the uncompressed main audio and video content received from the external input port 111 on the reproduction device 120 by user selection. do.
  • the playback device 120 includes a display 121 and a speaker 123.
  • the display unit 121 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), or a flexible display (flexible). and at least one of a 3D display.
  • the additional service manager 130 obtains content information of the main AV content and obtains an available additional service based on the obtained content information.
  • the additional service manager 130 may obtain identification information of the main AV content based on an audio sample of some frame or a section of the uncompressed main AV content, and in this specification, automatic content recognition ( automatic contents recognition (ACR).
  • ACR automatic contents recognition
  • the data transceiver 141 may include an ATSC-M / H (Advanced Television Systems Committee-Mobile / Handheld) channel transceiver 141a and an IP transceiver 141b.
  • ATSC-M / H Advanced Television Systems Committee-Mobile / Handheld
  • the memory 150 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM (Random Access Memory, RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic It may include a storage medium of at least one type of disk, optical disk.
  • the video display device 100 may operate in association with a web storage that performs a storage function of the memory 150 on the Internet.
  • the memory 150 includes a content information storage unit 151, an additional service storage unit 152, a logo storage unit 153, a setting information storage unit 154, a bookmark storage unit 155, and a user information storage unit 156.
  • the usage information storage unit 157 may be included.
  • the content information storage unit 151 stores a plurality of content information corresponding to the plurality of feature information.
  • the additional service storage unit 152 may store a plurality of additional services corresponding to the plurality of feature information, or may store a plurality of additional services corresponding to the plurality of content information.
  • the logo storage unit 153 stores a plurality of logos.
  • the logo storage unit may further store a content provider identifier corresponding to the plurality of logos or a watermark server address corresponding to the plurality of logos.
  • the setting information storage unit 154 stores setting information for the ACR.
  • the bookmark storage unit 155 stores the bookmark.
  • the user information storage unit 156 stores user information.
  • the user information may include one or more of one or more account information, local information, family member information, preferred genre information, video display device information, and usage information providing range for one or more services.
  • the one or more account information may include account information for the usage information measuring server and account information of a social network service such as twitter and facebook.
  • Area information may include address information, postal code.
  • Family member information may include the number of family members, the age of each member, the gender of each member, the religion of each member, the occupation of each member, and the like.
  • Preferred genre information may be set to one or more of sports, movies, dramas, education, news, entertainment, and other genres.
  • the video display device information may include information about a type, a manufacturer, a firmware version, a resolution, a model name, an OS, a browser, a storage device, a storage device capacity, and a network speed.
  • the video display device 100 may collect and report the main audio and video content viewing information and the additional service usage information within the set range.
  • the usage information providing range may be set for each virtual channel.
  • the usage information measurement allowable range may be set for the entire physical channel.
  • the usage information storage unit 157 stores main audio and video content viewing information and additional service usage information collected by the video display device 100.
  • the video display device 100 may analyze the service usage pattern based on the collected main audio and video content viewing information and the collected additional service usage information, and store the analyzed service usage pattern in the usage information storage unit 157. .
  • the additional service manager 130 may obtain content information of the main AV content from the fingerprint server 22 or the content information storage unit 151. If there is no content information corresponding to the extracted feature information in the content information storage unit 151 or there is not enough content information, the additional service manager 130 may receive additional content information through the data transceiver 141. In addition, the additional service manager 130 may continuously update the content information.
  • the additional service manager 130 may obtain an additional service available from the additional service providing server 50 or the additional service storage unit 153. When there is no additional service in the additional service storage unit 153 or there is not enough additional service, the additional service manager 130 may update the additional service through the data transceiver 141. In addition, the additional service manager 130 may continuously update the additional service.
  • the additional service manager 130 may extract a logo from the main audio and video content, and query the logo storage unit 155 to obtain a content provider identifier or watermark server address corresponding to the extracted logo. If there is no logo matching the extracted logo in the logo storage unit 155 or there is not enough logo, the additional service manager 130 may receive the additional logo through the data transmission / reception unit 141. In addition, the additional service manager 130 may continuously update the logo.
  • the additional service manager 130 may perform various methods for reducing the computational burden in comparing the logo extracted from the main AV content with a plurality of logos in the logo storage 155.
  • the additional service manager 130 may perform the comparison based on the color characteristics. That is, the additional service manager 130 may compare the color characteristics of the extracted logo with the color characteristics of the logo in the logo storage unit 155 to determine whether they match.
  • the additional service manager 130 may perform the comparison based on the character recognition. That is, the additional service manager 130 may compare the characters recognized from the extracted logo with the characters recognized from the logo in the logo storage unit 155 to determine whether they match.
  • the additional service manager 130 may perform the comparison based on the shape of the outline of the logo. That is, the additional service manager 130 may compare the contour shape of the extracted logo with the contour shape of the logo in the logo storage unit 155 to determine whether there is a match.
  • FIG. 11 is a block diagram illustrating a structure of a fingerprint based video display device according to another embodiment.
  • FIG. 11 is a block diagram illustrating a structure of a fingerprint based video display device according to another embodiment.
  • the tuner 501 extracts a symbol from an 8-VSB RF signal transmitted through an air channel.
  • the 8-VSB Demodulator 503 demodulates the 8-VSB Symbol extracted by the Tuner 501 to restore meaningful digital data.
  • the VSB Decoder 505 restores the ATSC main service and ATSC M / H service by decoding the digital data restored by the 8-VSB Demodulator 503.
  • the MPEG-2 TP Demux 507 filters the transport packet to be processed by the video display device 100 from the MPEG-2 Transport Packet or the MPEG-2 Transport Packet stored in the PVR storage through an 8-VSB signal, and then processes it appropriately. Relay to the module.
  • the PES decoder 539 buffers and restores the Packetized Elementary Stream transmitted through the MPEG-2 Transport Stream.
  • the PSI / PSIP decoder 541 buffers and analyzes PSI / PSIP Section Data transmitted through the MPEG-2 Transport Stream.
  • the analyzed PSI / PSIP data is collected by a service manager (not shown) and stored in a DB in the form of a service map and guide data.
  • the DSMCC Section Buffer / Handler 511 buffers and processes DSMCC Section Data for file transfer and IP datagram encapsulation transmitted through MPEG-2 TP.
  • the IP / UDP Datagram Buffer / Header Parser 513 analyzes the header of each Datagram by encapsulating through the DSMCC Addressable section and buffering and restoring the IP Datagram transmitted through the MPEG-2 TP. In addition, the IP / UDP Datagram Buffer / Header Parser 513 buffers and restores the UDP Datagram transmitted through the IP Datagram, and analyzes and processes the restored UDP Header.
  • the stream component handler 557 may include an ES Buffer / Handler, a PCR Handler, an STC Module, a Descrambler, a CA Stream Buffer / Handler, and a Service Signaling Section Buffer / Handler.
  • ES Buffer / Handler buffers and restores Elementary Streams such as Video and Audio data transmitted in PES format and delivers them to the appropriate A / V Decoder.
  • the PCR Handler processes PCR (Program Clock Reference) Data used for Time synchronization of Audio and Video Streams.
  • STC module performs Time Synchronization by correcting Clock values of A / V Decoders using Reference Clock value received through PCR Handler.
  • the descrambler restores the payload data by using the encryption key received from the CA stream handler.
  • CA Stream Buffer / Handler buffers and processes data such as key values for Descrambling such as EMM and ECM transmitted for Conditional Access function transmitted through MPEG-2 TS or IP Stream.
  • the output of CA Stream Buffer / Handler is delivered to Descrambler, which performs decryption of MPEG-2 TP or IP Datagram that transmits A / V Data and File Data.
  • Service Signaling Section Buffer / Handler buffers restores and analyzes NRT Service Signaling Channel Section Data transmitted in the form of IP Datagram.
  • Service Manager (not shown) collects the analyzed NRT Service Signaling Channel Section data and stores it in DB in the form of Service Map and Guide data.
  • the A / V Decoder 561 decodes the audio / video data received through the ES Handler and presents it to the user.
  • the MPEG-2 Service Demux may include an MPEG-2 TP Buffer / Parser, a Descrambler, and a PVR Storage Module.
  • the MPEG-2 TP Buffer / Parser (not shown) buffers and restores an MPEG-2 Transport Packet transmitted through an 8-VSB signal, and detects and processes a Transport Packet Header.
  • the descrambler restores the payload data using the encryption key received from the CA Stream Handler for the packet payload to which Scramble is applied among the MPEG-2 TPs.
  • the PVR storage module stores the received MPEG-2 TP using the 8-VSB signal according to the user's request and also outputs the MPEG-2 TP at the user's request.
  • the PVR Storage Module may be controlled by a PVR Manager (not shown).
  • the file handler 551 may include an ALC / LCT Buffer / Parser, an FDT Handler, an XML Parser, a File Reconstruction Buffer, a Decompressor, a File Decoder, and a File Storage.
  • ALC / LCT Buffer / Parser buffers and restores ALC / LCT data transmitted through UDP / IP stream and analyzes Header and Header extension of ALC / LCT.
  • the ALC / LCT Buffer / Parser may be controlled by an NRT Service Manager (not shown).
  • FDT Handler analyzes and processes File Description Table of FLUTE protocol transmitted through ALC / LCT session.
  • the FDT Handler may be controlled by an NRT Service Manager (not shown).
  • XML Parser analyzes XML Document transmitted through ALC / LCT session and delivers analyzed data to appropriate module such as FDT Handler, SG Handler.
  • File Reconstruction Buffer restores files transmitted to ALC / LCT, FLUTE session.
  • Decompressor performs a process of decompressing a file transmitted through an ALC / LCT or FLUTE session when it is compressed.
  • the File Decoder decodes a file restored from the File Reconstruction Buffer, a file extracted from the Decompressor, or a file extracted from File Storage.
  • File Storage saves or extracts restored files as needed.
  • the M / W Engine (not shown) processes data such as files, not A / V streams, which are transmitted through DSMCC Section, IP Datagram, etc.
  • the M / W Engine delivers the processed data to the Presentation Manager module.
  • the SG Handler (not shown) performs a process of collecting, analyzing, and delivering Service Guide data transmitted in the form of XML Document to the EPG Manager.
  • the Service Manager collects and analyzes PSI / PSIP Data transmitted through MPEG-2 Transport Stream and Service Signaling Section Data transmitted through IP Stream to produce a Service Map.
  • the Service Manager stores the created service map in the Service Map & Guide Database, and controls access to the service desired by the user. It is controlled by an Operation Controller (not shown), and controls Tuner 501, MPEG-2 TP Demux 507, and IP Datagram Buffer / Handler 513.
  • the NRT Service Manager (not shown) performs overall management of the NRT service transmitted in the form of object / file through a FLUTE session on the IP layer.
  • the NRT Service Manager (not shown) may control the FDT Handler, File Storage, and the like.
  • the Application Manager (not shown) performs overall management regarding the processing of Application data transmitted in the form of Object, file, and the like.
  • the UI manager (not shown) delivers the user's input to the operation controller through the user interface and starts the operation of the process for the service requested by the user.
  • An operation controller (not shown) processes a user's command received through a UI manager and allows a manager of a required module to perform a corresponding action.
  • Fingerprint Extractor 565 extracts fingerprint feature information from the Audio / Video stream.
  • the Fingerprint Comparator 567 compares feature information extracted by the Fingerprint Extractor with a Reference fingerprint to find matching content.
  • the Fingerprint Comparator 567 may use a Reference fingerprint DB stored locally, or may query a Fingerprint query server on the Internet and receive a result.
  • the result data matched with the comparison result may be delivered to the application and used.
  • Application 569 is an application module that provides enhanced services based on ACR or a module that manages ACR function.
  • the application 569 identifies extended broadcast content and provides an extended service associated with it.
  • FIG. 12 is a block diagram illustrating a structure of a watermark based video display device according to another embodiment of the present invention.
  • the watermark-based image display device illustrated in FIG. 12 is similar to the fingerprint-based image display device illustrated in FIG. 11, but includes a fingerprint extractor 565 and a fingerprint printer 567 of the fingerprint-based image display device. Rather, it further comprises a Watermark Extractor (566).
  • the watermark extractor 566 extracts data inserted in the form of watermark from the audio / video stream.
  • the extracted data can be delivered to the application and used.
  • FIG. 13 is a block diagram illustrating a mobile terminal related to the present invention.
  • the mobile terminal 600 includes a wireless communication unit 610, an input unit 620, a sensing unit 640, an output unit 650, an interface unit 660, a memory 670, a controller 680, and a power supply unit 690. ) May be included.
  • the components shown in FIG. 13 are not essential to implementing a mobile terminal, so the mobile terminal described herein may have more or fewer components than those listed above.
  • the wireless communication unit 610 of the components, between the mobile terminal 600 and the wireless communication system, between the mobile terminal 600 and another mobile terminal 600, or the mobile terminal 600 and the external server It may include one or more modules that enable wireless communication therebetween.
  • the wireless communication unit 610 may include one or more modules for connecting the mobile terminal 600 to one or more networks.
  • the wireless communication unit 610 may include at least one of a broadcast receiving module 611, a mobile communication module 612, a wireless internet module 613, a short range communication module 614, and a location information module 615. .
  • the input unit 620 may include a camera 621 or an image input unit for inputting an image signal, a microphone 622 for inputting an audio signal, or an audio input unit and a user input unit 623 for receiving information from a user. , Touch keys, mechanical keys, and the like.
  • the voice data or the image data collected by the input unit 620 may be analyzed and processed as a control command of the user.
  • the sensing unit 640 may include one or more sensors for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information.
  • the sensing unit 640 may include a proximity sensor 641, an illumination sensor 642, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • Optical sensors e.g. cameras (see 621)), microphones (see 622), battery gauges, environmental sensors (e.g.
  • the mobile terminal disclosed herein may use a combination of information sensed by at least two or more of these sensors.
  • the output unit 650 is configured to generate an output related to sight, hearing, or tactile sense, and includes at least one of a display unit 651, an audio output unit 652, a haptic module 653, and an optical output unit 654. can do.
  • the display unit 651 may form a layer structure or an integrated structure with the touch sensor, thereby implementing a touch screen.
  • the touch screen may function as a user input unit 623 providing an input interface between the mobile terminal 600 and the user and provide an output interface between the mobile terminal 600 and the user.
  • the interface unit 660 serves as a path to various types of external devices connected to the mobile terminal 600.
  • the interface unit 660 connects a device equipped with a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port.
  • the mobile terminal 600 may perform appropriate control related to the connected external device in response to the connection of the external device to the interface unit 660.
  • the memory 670 stores data supporting various functions of the mobile terminal 600.
  • the memory 670 may store a plurality of application programs or applications that are driven in the mobile terminal 600, data for operating the mobile terminal 600, and instructions. At least some of these applications may be downloaded from an external server via wireless communication.
  • at least some of these application programs may exist on the mobile terminal 600 from the time of shipment for basic functions of the mobile terminal 600 (for example, a call forwarding, a calling function, a message receiving, and a calling function).
  • the application program may be stored in the memory 670, installed on the mobile terminal 600, and driven by the controller 680 to perform an operation (or function) of the mobile terminal.
  • the controller 680 In addition to the operation related to the application program, the controller 680 typically controls the overall operation of the mobile terminal 600.
  • the controller 680 may provide or process information or a function appropriate to a user by processing signals, data, information, and the like, which are input or output through the above-described components, or by driving an application program stored in the memory 670.
  • controller 680 may control at least some of the components described with reference to FIG. 13 to drive an application program stored in the memory 670. In addition, the controller 680 may operate by combining at least two or more of the components included in the mobile terminal 600 to drive the application program.
  • the power supply unit 690 receives power from an external power source and an internal power source under the control of the controller 680 to supply power to each component included in the mobile terminal 600.
  • the power supply unit 690 includes a battery, which may be a built-in battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other to implement an operation, control, or control method of the mobile terminal according to various embodiments described below.
  • the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 670.
  • FIG. 14 illustrates a method (a) of controlling a service provided to a user by utilizing an ACR function in the related art and a method of controlling an additional service provided through an application 303 of the electronic device 302 according to an embodiment of the present invention.
  • Figure b schematically shows.
  • the video display device 100 recognizes content that is currently being broadcast and displays additional services related to the recognized content on the screen.
  • the user controls the additional service displayed on the image display device through the remote control device 301.
  • the conventional method has difficulty in controlling the additional service through the remote control device 301 which is not familiar to the user.
  • the control of the video display device 100 through the remote control device 301 is not limited to simply pressing a button, but in order to control additional services, the pointer displayed on the video display device through the remote control device 301 is controlled. There was a difficulty to do.
  • the conventional method has a difficulty in viewing the content by the user by displaying the obtained additional service with the content.
  • the user may be necessary to be displayed for reasons such as an advertisement contract, so that the viewer may feel inconvenient in viewing the content due to the displayed additional service.
  • the additional service is not the video display device 100 but the electronic device 302. ).
  • the additional service displayed on the electronic device 302 may be controlled through an application 303 or the like already installed in the electronic device 302.
  • the electronic device 302 may include, for example, a smartphone, a tablet PC, a wearable device, and the like.
  • examples of the pre-installed application 303 may include a messenger application, a mail application, and a social network service application.
  • the convenience of use can be improved by controlling the additional service acquired through the electronic device 302 which is relatively familiar to the user compared to the remote control apparatus 301.
  • the acquired additional service may be displayed on the electronic device 302 instead of being displayed on the video display device 100 together with the content, so as not to disturb viewing of the content.
  • 15 is a block diagram showing the overall configuration of controlling an additional service through the above-described electronic device.
  • Additional service control system is the content providing server 10, the content recognition service providing server 20, the additional service providing server 50, the image display device 100, the management server 300 and An electronic device 302.
  • the content providing server 10, the content recognizing service providing server 20, and the additional service providing server 50 have been described above, and thus detailed description thereof will be omitted.
  • the electronic device 302 controls the additional service through the pre-installed application 303.
  • a messenger application is displayed as an example of an application in FIG. 15, another application capable of controlling an additional service as described above is also possible.
  • the electronic device 302 displays an additional service obtained through the application 303 and receives an input for controlling the additional service. For example, text input may be received from a user, and voice input may be received from another user.
  • the management server 300 connects the application 303 of the electronic device 302 and the image display apparatus 100 according to an embodiment. In another embodiment, the application 303 of the electronic device 302 and other home appliances other than the image display device 100 are connected.
  • the management server 300 obtains an additional service through content information recognized from the image display apparatus 100, and transfers the additional service to the electronic device 302. Then, the control command for the additional service is received from the electronic device 302 and converted into a control signal of the image display apparatus 100 and other home appliances.
  • FIG. 15 illustrates an image display apparatus 100 as an example of a device controlled by the management server 300, but other home appliances may be controlled in addition to the image display apparatus 100.
  • Other appliances may include refrigerators, washing machines, air conditioners, ovens, robot cleaners, and the like.
  • the above-described home appliances may be connected to the management server 300 through a repeater in the home, and all the connected home appliances may be controlled through the messenger application 303 of the electronic device 302.
  • a plurality of home appliances can be connected at the same time, and the user may control the plurality of home appliances at one time through the application 303.
  • 16 is a diagram illustrating a basic screen of a home appliance control service through a messenger.
  • the electronic device 302 displays a plurality of commands for controlling the home appliance through the chat window of the messenger 303, and displays examples of each description as well.
  • the user can control the home appliance by entering a command in '[]' into the chat window.
  • FIG. 17 is a diagram illustrating a menu for registering home appliances through the messenger 303.
  • the messenger 303 displays an internet address for product registration in the chat window.
  • the user can access the site by touching the displayed internet address, and can register the home appliance to be controlled through the electronic device 302 at the accessed site.
  • the registered household appliances may be connected through the messenger 303, and the user may input a command in the chat window to control the operation of the connected household appliances.
  • FIG. 18 to 19 are diagrams illustrating a menu for informing a current state of home appliances registered through the registration menu.
  • the messenger 303 displays the current status of registered home appliances.
  • the electronic device 302 may display the current driving state and reservation details of the air conditioner through the chat window of the messenger 303.
  • the electronic device 302 may display that the robot cleaner is registered but does not respond for some reason through the chat window of the messenger 303.
  • the robot cleaner may be in a state in which it cannot be controlled through the messenger in a state in which the robot cleaner is disconnected from the electronic device 302 and more precisely, the management server 300. Therefore, the user can control the robot cleaner through the messenger 303 after connecting the robot cleaner to the management server 300 by checking the status of the robot cleaner and activating the Wi-Fi function. have.
  • FIG. 20 is a diagram illustrating a menu indicating a product which can be currently registered.
  • the messenger 303 displays an internet address in the chat window where a list of currently registerable products can be checked. The user can access by touching the corresponding Internet address, and can check the list of available products from the connected site.
  • Home appliances owned at home are often different from the year of purchase, and even if the year of purchase is the same, there may be a model that does not support remote control through a mobile device for each model. Accordingly, the user can access the corresponding site and check whether the home appliance currently owned at home is a model that supports remote control through the mobile device.
  • 21 to 23 are views illustrating a state in which the outing mode is executed.
  • the messenger asks the user whether to execute the outing mode.
  • the outing mode may automatically stop the operation of products among home appliances that may be stopped by the user when the user goes out.
  • the user may provide a picture of the inside of the refrigerator so that the user can determine the goods to be purchased at the mart.
  • FIG. 22 illustrates contents output by a messenger when a user inputs a control command in a chat window but does not receive a response corresponding to an input from the management server 300 within a predetermined time.
  • the electronic device 302 may not receive a response from the management server 300 within a predetermined time when traffic is concentrated between the communication bar.
  • the messenger 303 may display a message informing the user of the message in the chat window. I can display it.
  • FIG. 23 is a view illustrating a display of an internal picture of the refrigerator when the user executes the outing mode.
  • the messenger receives the input of the outing mode execution and transmits it to the management server 300.
  • the management server 300 generates a control signal for photographing the inside of the refrigerator based on the received input and transmits the control signal to the refrigerator.
  • a user may go out to buy an item required for a mart or the like when going out.
  • the electronic device 302 displays a picture taken inside the refrigerator through a messenger, the user can grasp the food currently held in the refrigerator and can make an efficient purchase.
  • 24 to 25 are views illustrating a case where the vacation mode is executed.
  • the messenger 303 displays a message in the chat window asking whether to execute the vacation mode.
  • the vacation mode performs an operation similar to the outing mode, but unlike the outing mode, since the user is vacated for a long time, the refrigerator is additionally controlled to operate in the power saving mode.
  • the messenger 303 displays a message indicating that the air conditioner is stopped through the chat window.
  • the electronic device 302 receives an input of the vacation mode through the messenger 303, the electronic device 302 transmits it to the management server 300.
  • the management server 300 generates a control signal for stopping the air conditioner operation based on the corresponding input and transmits to the air conditioner.
  • 26 to 28 are diagrams illustrating a case where the home mode is executed.
  • the messenger 303 displays a message in the chat window asking whether to execute the home mode.
  • the messenger 303 displays the contents of driving the air conditioner before the return home in the chat window.
  • the electronic device 302 receives the return mode input through the messenger 303, the electronic device 302 transmits it to the management server 300.
  • the management server 300 generates a control signal for starting the air conditioner operation based on the corresponding input and transmits it to the air conditioner.
  • the messenger 303 may display an address in which a app for searching for a recipe to cook through the oven is displayed in the chat window. Users can access the app by touching the address displayed in the chat window, and search for recipes to cook before returning home.
  • the user may determine the food currently held by the refrigerator while searching for a recipe.
  • the electronic device 302 may display a picture of the inside of the refrigerator in a chat window in response to the home mode execution through a messenger. The user may determine the food to be cooked by returning home by identifying the searched recipe and the food currently held.
  • 29 to 32 are diagrams illustrating an example of controlling an air conditioner through a messenger.
  • a user may input an air conditioner, which is a home appliance, to be controlled in a chat window.
  • the electronic device 302 is connected to the management server through a messenger to obtain control of the air conditioner.
  • the electronic device 302 may also introduce air conditioning help for guiding commands necessary for the user to control the air conditioner via a messenger.
  • the messenger 303 displays a list of commands for controlling the air conditioner in the chat window.
  • the help may be different for each home appliance, and other instructions other than the instructions illustrated in FIG. 30 may be added through an update.
  • FIG. 31 illustrates a state in which a user inputs a command of status check in a chat window among the commands shown in FIG. 30.
  • the electronic device 302 receives the current status of the air conditioner through the management server 300.
  • the electronic device 302 displays the current state of the air conditioner received via the messenger 303 in the chat window.
  • Information of the current state displayed as shown in FIG. 31 may include current driving information or reservation details.
  • FIG. 32 shows a state in which a user inputs a command to start driving in a chat window among the commands shown in FIG. 30.
  • the messenger 302 displays a message asking whether to execute the operation of the air conditioner in the chat window.
  • the electronic device 303 transmits a driving command to the air conditioner through the management server 300.
  • FIG 33 is a flowchart illustrating a control method of an image display device and other home appliances through an application of an electronic device according to an embodiment of the present disclosure.
  • the electronic device will be described with a smartphone as a representative example, the application is a messenger as a representative example.
  • the video display device 100 receives the recognized content information in operation S401. As described above, the video display device 100 receives uncompressed audio and video content and extracts feature information from the received uncompressed audio and video content. The video display device 100 transmits the extracted content information to the content recognition service providing server 20 to obtain content information.
  • the feature information may include both a watermark and a fingerprint.
  • the video display device 100 transmits the obtained content information to the management server 300 (S403).
  • the video display device 100 obtains information on the uncompressed audio and video content currently being played through the ACR function, and transfers the obtained information to the management server 300.
  • the management server 300 obtains an additional service based on the received content information (S405).
  • the image display apparatus 100 may transmit additional service information together with content information.
  • the video display device 100 may transmit the obtained content information to the additional service providing server 50 to obtain additional service information in response.
  • the additional service information may include an additional service and an address from which the additional service can be obtained.
  • the management server 300 may transmit the content information received to the additional service providing server 50 to obtain additional service information in response.
  • the management server 300 may transmit additional service information obtained from the additional service providing server 50 to the image display apparatus 100 again.
  • the video display device 100 may output a display indicating the acquisition of an additional service through the display unit.
  • the management server 300 transmits the obtained additional service information and content information to the electronic device 302 (S407).
  • additional service information and content information received from the image display apparatus 100 or directly received by the management server 300 are transmitted to the electronic device 302.
  • the electronic device 302 outputs additional service information and content information received from the management server 300 (S409). According to an embodiment, the electronic device 302 displays additional service information or additional service received through the messenger 303 in a chat window. In another embodiment, the electronic device 302 displays the uncompressed audio and video content information currently being played on the video display device 100 in the chat window of the messenger 303. The user may grasp the audiovisual content information currently being viewed through the information displayed in the chat window of the messenger 303. In addition, the user may know the existence of the supplementary service related to the audiovisual content currently being viewed through the supplementary service information displayed in the chat window, and may access the supplementary service.
  • the electronic device 302 receives a user's control command for the content displayed in the chat window of the messenger 303 (S411). According to an embodiment of the present disclosure, the electronic device 302 may receive a control command through the user's chat contents input in the chat window of the messenger 303. In another embodiment, the electronic device 302 may receive a control command through a voice of a user. The electronic device 302 may also convert the user's voice into text.
  • FIG. 34 is a diagram illustrating that the user controls, via the messenger 303 of the electronic device 302, the replay of other content related to the content recognized through the ACR function of the image display apparatus 100.
  • FIG. As described above, the electronic device 302 receives the audiovisual content information and the additional service information currently being viewed from the management server 300.
  • the electronic device 302 may query the user whether to receive related supplementary services while outputting information of the audiovisual content currently being viewed through the chat window of the messenger 303. .
  • the electronic device 302 may display a content of querying the replay to be output from the video display device 100 in the chat window of the messenger 303.
  • the electronic device 302 may receive a response to the query through the chat window. Referring to FIG. 34, when the user inputs 'review before', another video content that is about to be played back may be played on the video display device 100.
  • the electronic device 302 may display a list of currently available additional services including a review service in the chat window of the messenger 303 and receive a user's selection input for the service list. .
  • the user may be prompted to input 'smart TV help' into the chat window, and upon receiving the input, the user may display a list of additional services that are currently playable.
  • the electronic device 302 may query the turn to watch through the chat window of the messenger 303. In addition, the electronic device 302 may receive a plurality of times. In addition, the electronic device 302 may receive a reservation for a time to play the selected replay through the chat window.
  • the video display device 100 may recognize the broadcast of the trailer through the ACR function when the trailer of the specific content is broadcast.
  • the video display device 100 may transmit the information about the trailer to the electronic device 302 through the management server 300.
  • the electronic device 302 displays information about the trailer via the messenger 303.
  • the user may set the reservation based on the trailer displayed through the chat window of the messenger 303.
  • the electronic device 302 may display the notice information that the specific content is to be broadcasted at 6 pm in the chat window, and display the content inquiring whether to make a reservation in the chat window.
  • the user inputs a message of reservation approval into the chat window, and the electronic device 302 stores the reservation contents.
  • the management server 300 may store the reservation information.
  • the electronic device 302 may display a reminder to the user through the messenger 303 when the broadcast time of the reserved content approaches based on the reservation information described above. In detail, when the time according to the stored reservation information arrives, the electronic device 302 may display, via the messenger 303, that the playback time of the corresponding content is imminent. In addition, the electronic device 302 may display a content inquiring whether to operate the video display device 100 to play the corresponding content through a chat window. The electronic device 302 receives a user control command for the query contents and transmits the user control command to the image display apparatus 100 through the intermediate server 300.
  • 35 is a diagram illustrating that the electronic device 302 controls an app linked with the currently playing audiovisual content.
  • the electronic device 302 receives information of the audiovisual content currently being played back from the management server 300.
  • the electronic device 302 may install and execute an app linked with the corresponding content based on the received content information.
  • the electronic device 302 may display presence information of an app linked to the audiovisual content currently being played and whether or not it is executed through the messenger 303 chat window.
  • the content linked app may provide content broadcasting time information, content appearance information, free bulletin board of content, event information related to the content, and the like.
  • a user may install an app of his or her favorite content on a mobile device or the like and collect various information related to the preferred content through the corresponding app. You can also participate in events related to your favorite content. You can also upload your opinions on content in real time through free bulletin board or social network service.
  • the electronic device 302 may display a content inquiring whether to install the interlocking app of the audiovisual content in the chat window.
  • the electronic device 302 automatically connects to the app store and installs the associated app.
  • the electronic device 302 may display the homepage address of the corresponding content in the chat window.
  • 36 is a diagram illustrating providing a coupon service as an example of an additional service.
  • Merchants may partner with content providers to advertise their products and, as an example of advertising, may offer coupons of goods to viewers viewing the content.
  • the content provider may provide a coupon of the product to increase the viewer rating.
  • the electronic device 302 may receive an additional service including the coupon service from the management server 300 and display the coupon service through the chat window of the messenger 303.
  • the service of the lottery may be provided.
  • the electronic device 302 may display a simple quiz related to the content currently being played in the chat window and query the correct answer as an example of the additional service.
  • the user may know the correct answer while watching the content being played on the image display apparatus 100. If the user inputs a correct answer, the application is automatically entered and the result of the drawing may be displayed by the electronic device 302 through the chat window. In this case, the user may concentrate on the audiovisual content and may view a fixed view. As a result, the present embodiment may be used as a marketing method for increasing viewership.
  • FIG. 37 is a diagram illustrating an example of an additional service, in which the image display apparatus 100 recognizes an indirect advertisement inserted into audiovisual content and provides a purchase service.
  • Drama or entertainment content may include some indirect advertising.
  • Indirect advertising unlike general advertising, allows viewers to use a specific product in a natural situation to gain viewership of that product.
  • the main character of the drama being played may appear with a bag of a specific brand.
  • the image display apparatus 100 may extract the brand logo exposed in the indirect advertisement and use it as feature information.
  • the management server 300 may obtain additional service information about purchase based on the corresponding logo information and content information.
  • the management server 300 may provide the electronic device 302 with the purchase site address of the corresponding brand to display in the chat window.
  • the brand may be searched in a purchase app installed in the electronic device 302 as a search word.
  • the electronic device 302 may display the content received from the management server through the messenger 303 in the chat window or automatically execute a purchase app.
  • the image display apparatus 100 or the management server 300 may acquire an additional service for purchase by using a scene in which the heroine carries a specific brand as a fingerprint.
  • the content providing server 10 may set a scene in which the heroine carries a bag of a specific brand as feature information, and the image display apparatus 100 may extract the scene and use it as feature information (fingerprint).
  • the content providing server 10 or the content recognition service providing server 20 may provide the feature information through a method of inserting a watermark in a segment including a scene in which the heroine carries a specific brand bag. have.
  • the above-described embodiment may be utilized depending on the partnership between the content provider and the seller even in a scene where the brand is not officially exposed.
  • FIG. 38 is a view illustrating a chat service according to one embodiment of an additional service.
  • a chat service according to one embodiment of an additional service.
  • a large number of viewers can watch the content at the same time. Therefore, among the friends registered in the messenger 303, there may be a friend who is watching the content that the viewer is currently watching, and thus, a separate chat room composed of the friends is provided to provide a service for chatting while watching the content. .
  • the management server 300 may be connected to a plurality of image display apparatuses and electronic devices.
  • the management server 300 may receive content information currently being viewed for each video display device. Therefore, the management server 300 may obtain information about the image display apparatus currently viewing the same content and the electronic device 302 connected to the image display apparatus.
  • the management server 302 receives an input for approving the execution of a chat service from the electronic device 302, the electronic device 302 sends information of another viewer who is currently watching content based on the obtained information. To pass.
  • the electronic device 302 displays the equivalent viewer list in the chat window. The viewer can determine which friends to invite to the chat room based on the list displayed in the chat window.
  • the electronic device 302 may display a content in a chat window that inquires whether to send a message of recommendation to a messenger friend who is not currently viewing the content.
  • the content currently played by the image display apparatus 100 may be a cooking program.
  • the viewer may want to obtain a detailed recipe for the cooking. Therefore, based on the content information of the cooking program acquired by the management server 300, additional service information including recipe information may be obtained and transmitted to the electronic device 302.
  • the additional service information obtained by the electronic device 302 may include a simple recipe, site address information with recipe information, and a recipe providing app access address.
  • the electronic device 302 may provide recipe information and, if there is a refrigerator connected together, display the food information currently held by the refrigerator through a chat window.
  • the content of inquiring whether to preheat the oven may be displayed through a chat window.
  • the electronic device 302 may display the contents for controlling the air conditioner in the chat window based on the corresponding content information. For example, when the viewer obtains the information that the weather is very hot tomorrow, the viewer may input the contents of operating the air conditioner through the chat window or input the reservation setting. As another example, when the viewer obtains information that the current humidity is very high, the user can input the contents of operating the dehumidifier through the chat window.
  • the electronic device 302 transmits the control command of the user corresponding to each of the above-described embodiments to the management server 300 (S413).
  • the electronic device 302 may send the control command in text form.
  • the voice input may be transmitted as it is, or the voice input may be converted into a text form and transmitted.
  • the management server 300 generates a video display device control signal based on the control command received from the electronic device 302 (S415). In detail, the management server 300 generates a video display device control signal corresponding to the command received from the electronic device 302.
  • the control signal may be previously stored in the management server 300, or may be stored in a separate server and transmitted to the management server 300.
  • the management server 300 may generate a signal for controlling other home appliances other than the image display apparatus 100 based on the control command received from the electronic device 302. For example, when the recipe information is retrieved from the electronic device 302, the electronic device 302 may transmit a control command of oven preheating to the management server 300, and the management server 300 based on the control command. To generate a control signal for the oven.
  • the management server 300 transmits the generated control signal to the video display device 100 (S419). For example, when a control command of 'review' is received from the electronic device 302, a control signal for reproducing the difference according to the control command is transmitted. In addition, as described above in operation S415, the control signal may be transmitted to other home appliances other than the image display apparatus 100.
  • the video display device 100 operates based on a control signal received from the management server 300.
  • content corresponding to the received control signal may be received and displayed.
  • the home appliance other than the image display apparatus 100 may perform a unique operation according to a control signal.
  • the above-described method may be implemented as code that can be read by a processor in a medium in which a program is recorded.
  • processor-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the video display device described above may not be limitedly applied to the configuration and method of the above-described embodiments, but the embodiments may be configured by selectively combining all or some of the embodiments so that various modifications may be made. May be

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시 예에 따른 전자 디바이스 동작 방법은 제1 디바이스가 ACR(Automatic contents recognition) 기능을 통해 획득한 비압축 시청각 컨텐트 정보 및 부가 서비스를 획득하는 단계; 상기 비압축 시청각 컨텐트 정보 및 부가 서비스를 상호 메시지 교환기능을 포함하는 제1 어플리케이션을 통해 출력하는 단계; 상기 제1 어플리케이션을 통해 출력된 부가 서비스를 실행하는 실행 입력을 수신하는 단계; 및 상기 수신된 실행 입력에 따라 부가 서비스를 실행하는 단계를 포함한다.

Description

전자 장치 및 그 동작 방법
본 발명은 전자 장치 및 그 동작 방법에 관한 것이다. 특히, 영상표시장치와 연동하여 다양한 서비스를 제어하는 전자 장치 및 그 동작 방법에 관한 것이다.
디지털 방송이 활성화됨에 따라, 방송국은 메인 시청각 컨텐츠를 송출하면서, 이 메인 시청각 컨텐츠와 연계하여 이용할 수 있거나 이 메인 시청각 컨텐츠와는 독립적인 부가 서비스 데이터(enhanced service data)를 함께 송출한다.
그러나 현재의 방송 환경에서는 각 가정의 영상 표시 장치가 방송 신호를 공중파를 통해 직접 수신하는 경우가 적다. 오히려, 각 가정의 영상 표시 장치는 셋톱박스와 같은 방송 수신 장치에 연결되어 있어서, 이 방송 수신 장치가 제공하는 비압축 시청각 컨텐츠를 재생하는 경우가 많다.
한편, 가정의 영상표시장치가 부가 서비스를 제어하기 위해서는 특정 입력이 필요한데, 통상적으로 영상표시장치를 조작하는 원격조정장치로는 그 한계가 있다. 또한, 부가 서비스를 제어하기 위한 사용자 인터페이스를 영상표시장치에 표시하는 과정에서 시청자의 메인 컨텐츠 시청을 방해하는 경우도 발생할 수 있다.
본 발명은 비압축 시청각 컨텐츠 형태를 인식하고, 인식된 컨텐츠와 관련된 부가 서비스를 사용자에게 제공하는 영상 표시 장치와 그 동작 방법을 제공하기 위한 것이다.
또한, 본 발명은 인식된 컨텐츠와 관련된 부가 서비스를 모바일 메신저를 통해 사용자에게 알리고, 모바일 메신저에 입력하는 제어 명령을 통해 비압축 시청각 컨텐츠와 연관된 부가 서비스를 제어하는 영상 표시 장치와 그 동작 방법을 제공하기 위한 것이다.
본 발명의 일 실시 예에 따른 전자 디바이스의 동작 방법은, 제1 디바이스가 ACR(Automatic contents recognition) 기능을 통해 획득한 비압축 시청각 컨텐트 정보 및 부가 서비스를 획득하는 단계; 상기 비압축 시청각 컨텐트 정보 및 부가 서비스를 상호 메시지 교환기능을 포함하는 제1 어플리케이션을 통해 출력하는 단계; 상기 제1 어플리케이션을 통해 출력된 부가 서비스를 실행하는 실행 입력을 수신하는 단계; 및 상기 수신된 실행 입력에 따라 부가 서비스를 실행하는 단계를 포함한다.
본 발명의 실시예는 MVPD에 종속하지 않는 부가 서비스를 가능하게 한다. 특히, 본 발명의 실시예는 방송국이나 컨텐츠 제공자가 부가 서비스를 제공하지 않더라도 방송국이나 컨텐츠 제공자에 종속하지 않는 제3자 서버에 의해 부가 서비스를 가능하게 한다.
또한, 본 발명의 다양한 실시예는 리모콘을 통한 불편한 텍스트 입력 없이도 모바일 메신저를 통해 메인 시청각 컨텐츠와 관련된 정보 검색, 채팅, 뉴스 검색, 디지털 미디어 다운로드, 제품 카탈로그 다운로드 및 제품 구입을 가능하게 한다.
뿐만 아니라, 본 발명의 실시예는 무선 채널의 대역폭의 한계를 넘는 부가 서비스를 가능하게 한다.
본 발명의 실시예에 따른 영상 표시 장치는 외부 입력을 통해 입력되는 비압축 시청각 데이터에 기초하여 채널맵을 획득할 수 있다.
본 발명의 실시예에 따른 제3자 서버는 린백 애플리케이션의 허용 여부에 대한 정보를 영상 표시 장치에 제공하여 린백 애플리케이션이 영상 표시 장치의 안정성에 심각한 영향을 주는 것을 방지할 수 있다.
본 발명의 실시예에 따른 영상 표시 장치와 지역적으로 가까운 ACR 서버의 URL 주소를 알려주어, 영상 표시 장치가 빠르게 컨텐츠 인식을 수행할 수 있고, 네트워크 레이턴시(network latency)를 줄일 수 있도록 한다.
본 발명의 실시예에 따른 제3자 서버는 ACR 온 타임 구간에 대한 정보를 영상 재생 장치에 제공하여 불필요한 리소스 소모를 방지할 수 있다.
본 발명의 다양한 실시 예에 따르면, 디스플레이 장치가 컨텐트를 인식하고, 인식한 컨텐트와 관련된 서비스를 메신저 어플리케이션을 통해 효과적으로 제어할 수 있다
또한, 본 발명의 실시 예에 따르면, 컨텐트와 관련된 서비스를 제공하는 메뉴를 디스플레이 장치의 화면이 아닌 2nd 스크린을 통해 제공하여 사용자가 느끼는 시청간의 불편함을 최소화 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9는 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 12는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 13은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 14는 종래에 ACR 기능을 활용하여 사용자에게 제공된 서비스를 제어하는 방법(a)과 본 발명의 일 실시 예에 따른 전자 디바이스의 어플리케이션을 통해 제공된 부가 서비스를 제어하는 방법(b)을 개략적으로 나타낸 도면이다.
도 15는 상술한 전자 디바이스를 통해 부가 서비스를 제어하는 전체 구성을 나타내는 블록도이다.
도 16은 메신저를 통한 가전 제품 제어 서비스의 기본 화면을 나타낸 도면이다.
도 17은 메신저를 통해 가전 제품을 등록하는 메뉴를 나타내는 도면이다.
도 18 내지 도 19는 상기 등록 메뉴를 통해 등록된 가전 제품들의 현재 상태를 알려주는 메뉴를 나타내는 도면이다.
도 20은 현재 등록 가능한 제품을 알려주는 메뉴를 나타내는 도면이다.
도 21 내지 도 23은 외출모드를 실행한 상태를 나타내는 도면이다.
도 24 내지 도 25는 휴가 모드를 실행한 경우를 나타내는 도면이다.
도 26 내지 도 28은 귀가 모드를 실행한 경우를 나타내는 도면이다.
도 29 내지 도 32은 일 실시 예로 메신저를 통해 에어컨을 제어하는 모습을 나타내는 도면이다.
도 33은 본 발명의 일 실시 예에 따른 전자 디바이스의 어플리케이션을 통한 영상표시장치 및 기타 가전 제품의 제어 방법을 나타내는 흐름도이다.
도 34는 사용자가 영상표시장치의 ACR 기능을 통해 인식된 컨텐트와 관련된 다른 컨텐트의 다시보기를 전자 디바이스의 메신저를 통해 제어하는 것을 나타내는 도면이다.
도 35는 현재 재생중인 시청각 컨텐트와 연동되는 앱을 전자 디바이스에서 제어하는 것을 나타내는 도면이다.
도 36은 부가 서비스의 일 예로 쿠폰 서비스를 제공하는 것을 나타내는 도면이다.
도 37은 부가 서비스의 일 예로 영상표시장치에서 시청각 컨텐트에 삽입된 간접광고를 인식하여 구매 서비스를 제공하는 것을 나타내는 도면이다.
도 38은 부가 서비스의 일 실시 예로 채팅 서비스를 제공하는 도면이다.
도 39는 부가 서비스의 일 실시 예로 레시피 정보를 제공하는 도면이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "엔진", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
다음은 도 1 내지 도 9를 참고하여 본 발명의 일 실시예에 따른 네트워크 토폴로지를 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60), 네트워크(70), 영상 표시 장치(100)를 포함한다.
컨텐츠 제공 서버(10)는 방송국 등에 해당할 수 있으며, 메인 시청각 컨텐츠(main audio-visual content)를 포함하는 방송 신호를 방송한다. 방송 신호는 부가 서비스를 더 포함할 수 있다. 부가 서비스는 메인 시청각 컨텐츠와 관련이 있을 수도 있고, 관련이 없을 수도 있다. 부가 서비스는 서비스 정보(service information), 메타데이터(metadata), 부가 데이터, 컴파일된 실행 파일, 웹 애플리케이션, HTML(Hypertext Markup Language) 문서, XML 문서, CSS(cascading style sheet) 문서, 오디오 파일, 비디오 파일, ATSC 2.0 컨텐츠, URL(Uniform Resource Locator)과 같은 주소 등의 형태를 가질 수 있다. 하나 이상의 컨텐츠 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 영상 표시 장치(100)가 메인 시청각 컨텐츠에 기초하여 컨텐츠를 인식할 수 있게 하는 컨텐츠 인식 서비스를 제공한다. 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐츠에 수정을 가할 수도 있고 수정을 가하지 않을 수도 있다. 하나 이상의 컨텐츠 인식 서비스 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하는 워터마크 서버일 수 있다. 이 워터마크 서버는 메인 시청각 컨텐츠의 각 프레임의 왼쪽 상단 또는 오른쪽 상단에 컨텐츠 제공자의 로고를 워터마크할 수 있다.
또, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 컨텐츠 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하는 워터마크 서버일 수 있다.
또한, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐츠의 일부의 프레임 또는 일부의 오디오 샘플로부터 특징 정보를 추출하여 저장하는 핑거프린트 서버일 수 있다. 이 특징 정보는 시그너처라고도 불린다.
멀티채널 비디오 분배 서버(30)는 복수의 방송국으로부터 방송 신호를 수신하고 다중화하여 다중화된 신호를 방송 수신 장치(60)에 제공한다. 특히, 멀티채널 비디오 분배 서버(30)는 수신한 방송 신호에 대해 복조와 채널 복호화를 수행하여 메인 시청각 컨텐츠와 부가 서비스를 추출한 후, 추출된 메인 시청각 컨텐츠와 추출한 부가 서비스에 대해 채널 부호화를 수행하여 분배를 위한 다중화 신호를 생성할 수 있다. 이때, 멀티채널 비디오 분배 서버(30)는 추출한 부가 서비스를 제외할 수도 있고, 또 다른 부가 서비스를 추가할 수도 있기 때문에, 방송국은 방송국 주도의 서비스를 제공할 수 없다. 하나 이상의 멀티채널 비디오 분배 서버가 존재할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고, 튜팅한 채널의 신호를 수신하고, 수신한 신호에 대해 복조와 채널 복호를 수행하여 메인 시청각 컨텐츠를 추출한다. 그리고 방송 수신 장치(60)는 추출한 메인 시청각 컨텐츠를 H.264/MPEG-4 AVC(Moving Picture Experts Group-4 advanced video coding), Dolby AC-3, MPEG-2 AAC (Moving Picture Experts Group-2 Advanced Audio Coding) 알고리즘 등을 이용하여 복호하여 비압축 메인 시청각 컨텐츠(uncompressed main AV content)를 생성한다. 방송 수신 장치(60)는 생성한 비압축 메인 시청각 컨텐츠를 영상 표시 장치(100)의 외부 입력 포트 등을 통해 영상 표시 장치(100)에 제공한다.
부가 서비스 정보 제공 서버(40)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐츠와 관련된 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 제공한다. 하나 이상의 부가 서비스 주소 제공 서버가 존재할 수 있다. 부가 서비스 정보 제공 서버(40)는 복수의 이용가능한 부가 서비스 중에서 가장 우선순위가 높은 부가 서비스를 위한 부가 서비스 정보를 제공할 수도 있다.
부가 서비스 제공 서버(50)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐츠와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공한다. 하나 이상의 부가 서비스 제공 서버가 존재할 수 있다.
영상 표시 장치(100)는 텔레비전, 노트북, 핸드폰, 스마트폰 등과 같이 디스플레이부를 포함하는 장치일 수 있다. 영상 표시 장치(100)는 방송 수신 장치(60)로부터 비압축 메인 시청각 컨텐츠를 수신할 수도 있고, 컨텐츠 제공 서버(10) 또는 멀티채널 비디오 분배 서버(30)로부터 부호화된 메인 시청각 컨텐츠를 포함하는 방송 신호를 수신할 수 도 있다. 영상 표시 장치(100)는 네트워크(70)를 통해 컨텐츠 인식 서비스 제공 서버(20)로부터 컨텐츠 인식 서비스를 제공받을 수 있고, 네트워크(70)를 통해 부가 서비스 정보 제공 서버(40)로부터 메인 시청각 컨텐츠와 관련하여 이용할 수 있는 하나 이상의 부가 서비스의 주소를 받을 수 있으며, 부가 서비스 제공 서버(50)로부터 메인 시청각 컨텐츠와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공받을 수 있다.
컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50) 중 2 이상은 하나의 서버의 형태로 결합될 수도 있고, 한 사업자에 의해 운영될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)를 더 포함한다.
도 2에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 컨텐츠 정보를 삽입한다. 멀티채널 비디오 분배 서버(30)는 변형된 메인 시청각 컨텐츠를 포함하는 방송 신호를 수신하여 분배한다. 특히, 워터마크 서버는 이하에서 설명하는 바와 같은 디지털 워터마킹 기술을 이용할 수 있다.
디지털 워터마크는 삭제하기 어려운 방법으로 디지털 신호에 정보를 삽입하는 프로세스이다. 예를 들면, 디지털 신호는 오디오, 사진, 또는 비디오일 수 있다. 이 디지털 신호가 복사되면, 삽입된 정보 또한 복사본에 담아진다. 한 디지털 신호가 동시에 다른 여러 개의 워터마크를 운반할 수 있다.
보이는 워터마킹(visible watermarking)에서, 삽입되는 정보는 사진 또는 비디오에서 눈으로 식별가능하다. 전형적으로, 삽입된 정보는 미디어의 소유자를 식별하는 텍스트 또는 로고이다. 텔레비전 방송국이 자신의 로고를 전송되는 비디오의 코너에 추가하면, 이것이 눈으로 식별가능한 워터마크이다.
눈으로 식별 불가능한 워터마킹(invisible watermarking)에서, 정보는 디지털 데이터로서 오디오, 사진, 또는 비디오에 추가되지만, 일정 량의 정보가 숨겨져 있다는 사실은 감지할 수 있다하더라도 그러한 정보는 인지할 수는 없다. 이러한 눈으로 식별불가능한 워터마킹을 통해 비밀 메시지가 전달될 수도 있다.
워터마킹의 한 응용은 디지털 미디어의 불법 복제를 막기 위한 저작권 보호 시스템에 있다. 예컨데, 복제 장치는 디지털 미디어의 복제 전에 디지털 미디어로부터 워터마크를 얻고, 워터마크의 내용에 기초하여 복제를 할지 말지를 결정할 수 있다.
워터마킹의 또 다른 응용은 디지털 미디어의 출처 추적에 있다. 배포 경로 상의 각 지점에서 워터마크가 디지털 미디어에 임베딩된다. 나중에 이와 같은 디지털 미디어가 발견된다면, 이 디지털 미디어로부터 워터마크가 추출될 수 있고, 워터마크의 내용으로부터 배포의 출처를 파악할 수 있다.
디지털 미디어에 대한 설명이 눈으로 식별불가능한 워터마킹의 또 다른 응용이다.
디지털 미디어를 위한 파일 포멧이 메타데이터라고 불리는 추가적인 정보를 포함할 수 있는데, 디지털 워터마크는 디지털 미디어의 시청각 신호 자체로 전달된다는 점에서 메타데이터와는 구별된다.
워터마킹 방법으로 스프레드 스펙트럼, 양자화, 앰플리튜드 변조가 있다.
마킹되는 신호가 추가적인 수정에 의해 얻어진다면, 워터마킹 방법은 스프레드 스펙트럼에 해당한다. 스프레드 스펙트럼 워터마크는 꽤 강인하다고 알려져 있지만, 워터마크가 임베딩되는 호스트 신호에 간섭을 주기 때문에 많은 정보가 실리지는 않는다.
마킹되는 신호가 양자화에 의해 얻어진다면, 워터마킹 방법은 양자화 타입에 해당한다. 양자화 워터마크는 강인성은 낮지만, 꽤 많은 정보를 실을 수 있다.
마킹되는 신호가 공간 도메인에서 스프레드 스펙트럼과 유사한 추가 수정 방법으로 얻어진다면, 워터마킹 방법은 앰플리튜드 변조에 해당한다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 전송한다(S101).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐츠에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐츠와 부가 서비스를 MVPD(30)에 제공한다(S103).
보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 워터마크 용도는 무단 복제 방지, 시청률 조사, 부가 서비스 획득 중 하나를 나타낼 수 있다.
컨텐츠 정보는 메인 시청각 컨텐츠를 제공하는 컨텐츠 제공자의 식별 정보, 메인 시청각 컨텐츠 식별 정보, 메인 시청각 컨텐츠 등급 정보, 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시간 정보, 메인 시청각 컨텐츠가 방송되는 채널의 이름, 메인 시청각 컨텐츠가 방송되는 채널의 로고, 메인 시청각 컨텐츠가 방송되는 채널의 설명, 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간, 메인 시청각 컨텐츠와 관련하여 이용가능한 부가 서비스 정보 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 워터마크를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시간 정보는 이용된 워터마크가 내삽(embedding)된 컨텐츠 구간의 시간 정보일 수 있다. 영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 핑거프린트를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시간 정보는 특징 정보가 추출된 컨텐츠 구간의 시간 정보일 수 있다. 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시간 정보는 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시작 시간, 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 지속 시간(duration), 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 종료 시간 중 하나 이상을 포함할 수 있다.
이용 정보 보고 주소는 메인 시청각 컨텐츠 시청 정보 보고 주소, 부가 서비스 이용 정보 보고 주소 중 하나 이상을 포함할 수 있다. 이용 정보 보고 주기는 메인 시청각 컨텐츠 시청 정보 보고 주기, 부가 서비스 이용 정보 보고 주기 중 하나 이상을 포함할 수 있다. 이용 정보 획득을 위한 최소 이용 시간은 메인 시청각 컨텐츠 시청 정보 획득을 위한 최소 시청 시간, 부가 서비스 이용 정보 추출을 위한 최소 사용 시간 중 하나 이상을 포함할 수 있다.
메인 시청각 컨텐츠가 최소 시청 시간 이상 시청된 경우에 기초하여 영상 표시 장치(100)는 메인 시청각 컨텐츠의 시청 정보를 획득하고, 메인 시청각 컨텐츠 시청 정보 보고 주기에서 메인 시청각 컨텐츠 시청 정보 보고 주소로 추출한 시청 정보를 보고할 수 있다.
부가 서비스가 최소 사용 시간 이상 사용된 경우에 기초하여 영상 표시 장치(100)는 부가 서비스 이용 정보를 획득하고, 부가 서비스 이용 정보 보고 주기에서 부가 서비스 이용 정보 보고 주소로 추출한 이용 정보를 보고할 수 있다.
부가 서비스 정보는 부가 서비스가 존재하는지에 대한 정보, 부가 서비스 주소 제공 서버 주소, 각각의 이용가능한 부가 서비스의 획득 경로, 각각의 이용가능한 부가 서비스를 위한 주소, 각각의 이용가능한 부가 서비스의 시작 시간, 각각의 이용가능한 부가 서비스의 종료 시간, 각각의 이용가능한 부가 서비스의 수명 주기(lifetime), 각각의 이용가능한 부가 서비스의 획득 모드, 각각의 이용가능한 부가 서비스 위한 요청 주기, 각각의 이용가능한 부가 서비스의 우선 순위 정보, 각각의 이용가능한 부가 서비스의 설명, 각각의 이용가능한 부가 서비스의 항목(category), 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간 중 하나 이상을 포함할 수 있다.
이용가능한 부가 서비스의 획득 경로는 IP 또는 ATSC M/H(Advanced Television Systems Committee - Mobile/Handheld)를 나타낼 수 있다. 이용가능한 부가 서비스의 획득 경로가 ATSC M/H인 경우에, 부가 서비스 정보는 주파수 정보, 채널 정보를 더 포함할 수 있다. 각각의 이용가능한 부가 서비스의 획득 모드는 Push 또는 Pull을 나타낼 수 있다.
한편, 워터마크 서버(21)는 메인 시청각 컨텐츠의 로고에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입할 수 있다.
예컨데, 워터마크 서버(21)는 로고의 일정 위치에 바코드를 삽입할 수 있다. 이때 로고의 일정 위치는 로고가 디스플레이되는 구역의 하단 1 라인에 해당할 수 있다. 영상 표시 장치(100)는 이와 같이 바코드가 삽입된 로고를 포함하는 메인 시청각 컨텐츠를 수신하는 경우에, 바코드를 디스플레이하지 않을 수 있다.
또한, 워터마크 서버(21)는 로고의 메타데이터 형태로 워터마크 정보를 삽입할 수 있다. 이때 로고의 형상은 유지될 수 있다.
또한, 워터마크 서버(21)는 M개의 프레임의 로고의 각각에 N 비트의 워터마크 정보를 삽입할 수 있다. 즉, 워터마크 서버(21)는 M개의 프레임을 통해 M*N개의 워터마크 정보를 삽입할 수 있다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S105). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐츠를 생성한 후, 생성된 비압축 메인 시청각 컨텐츠를 영상 표시 장치(100)에 제공한다(S106).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐츠를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S107).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐츠를 포함하는 방송 신호를 전송할 수도 있다(S108).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐츠를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐츠 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐츠를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S109).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S111). 이 제1 응답은 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
워터마크 정보와 제1 응답이 부가 서비스 주소를 포함하고 있지 않다면, 영상 표시 장치(100)는 부가 서비스을 획득할 수 없다. 그러나 워터마크 정보와 제1 응답이 부가 서비스 주소 제공 서버 주소를 포함할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보와 제1 응답을 통해 부가 서비스 주소나 부가 서비스를 획득하지 못하였고 부가 서비스 주소 제공 서버 주소를 획득하였다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S119).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S121).
영상 표시 장치(100)는 워터마크 정보, 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S123), 부가 서비스를 획득한다(S125).
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 4에 도시된 바와 같이, 방송 수신 장치(60)가 턴온되고 채널을 튜닝하고, 영상 표시 장치(100)가 외부 입력 포트(111)를 통해 방송 수신 장치(60)로부터 튜팅된 채널의 메인 시청각 컨텐츠를 수신하면, 영상 표시 장치(100)는 메인 시청각 컨텐츠의 워터마크로부터 컨텐츠 제공자 식별자(또는 방송국 식별자)를 감지할 수 있다. 이후, 영상 표시 장치(100)는 감지한 컨텐츠 제공자 식별자에 기초하여 메인 시청각 컨텐츠의 워터마크로부터 컨텐츠 정보를 감지할 수 있다.
이때, 도 4에 도시된 바와 같이, 컨텐츠 제공자 식별자의 감지가능 주기와 컨텐츠 정보의 감지가능 주기는 다를 수 있다. 특히, 컨텐츠 제공자 식별자의 감지가능 주기는 컨텐츠 정보의 감지가능 주기보다 짧을 수 있다. 이를 통해, 영상 표시 장치(100)는 필요한 정보만을 감지하기 위한 효율적인 구성을 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 핑거프린트 서버(22)를 더 포함한다.
도 5에 도시된 바와 같은 핑거프린트 서버(22)는 메인 시청각 컨텐츠에 변형을 가하지는 않으며 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐츠의 식별자와 시간 정보를 제공한다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 전송한다(S201).
핑거프린트 서버(22)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐츠의 복수의 프레임 구간 또는 복수의 오디오 구간으로부터 복수의 특징 정보를 추출하며, 복수의 특징 정보에 각각 대응하는 복수의 질의 결과를 위한 데이터베이스를 구축한다(S203). 질의 결과는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
MVPD(30)는 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S205). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐츠를 생성한 후, 생성된 비압축 메인 시청각 컨텐츠를 영상 표시 장치(100)에 제공한다(S206).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐츠를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S207).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐츠를 포함하는 신호를 전송할 수도 있다(S208).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐츠를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S213).
영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송한다(S215).
핑거프린트 서버(22)는 제1 질의에 대한 제1 응답으로서 질의 결과를 제공한다(S217). 만약 제1 응답이 실패에 해당한다면, 영상 표시 장치(100)는 또 다른 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송할 수 있다.
핑거프린트 서버(22)는 질의 결과로서 XML (Extensible Markup Language) 문서를 제공할 수 있다. 질의 결과를 담는 XML 문서의 예를 도 7과 표 1을 참고하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 7에 도시된 바와 같이, 질의 결과를 담는 ACR-Resulttype은 ResultCode 속성과 ContentID, NTPTimestamp, SignalingChannelInformation, ServiceInformation 엘리먼트를 갖는다.
예컨데, ResultCode 속성이 200의 값을 가지면, 이는 질의 결과가 성공임을 의미할 수 있다. ResultCode 속성이 404의 값을 가지면, 이는 질의 결과가 실패임을 의미할 수 있다.
SignalingChannelInformation 엘리먼트는 SignalingChannelURL 엘리먼트를 갖고, SignalingChannelURL 엘리먼트는 UpdateMode, PollingCycle 속성을 갖는다. UpdateMode 속성은 Pull 값 또는 Push 값을 가질 수 있다.
ServiceInformation 엘리먼트는 ServiceName, ServiceLogo, ServiceDescription 엘리먼트를 갖는다.
표 1은 이와 같은 질의 결과를 담는 ACR-ResultType의 XML Schema를 보여준다.
Figure PCTKR2015010963-appb-T000001
ContentID 엘리먼트로서, 아래의 표 2에서 보여주는 바와 같은 ATSC 컨텐츠 식별자(ATSC content identifier)가 이용될 수 있다.
Figure PCTKR2015010963-appb-T000002
표 2에서 보여지는 바와 같이, ATSC content identifier는 TSID와 하우스 번호로 구성된 구조를 가진다.
16 비트 부호없는 정수 TSID는 트랜스포트 스트림 식별자(transport stream identifier)를 담는다(carry).
5 비트 부호 없는 정수 end_of_day는 방송이 끝나서 content_id 값이 재사용될 수 있는 날의 시(hour)로 셋팅된다.
9 비트 부호 없는 정수 unique_for는 content_id 값이 재사용될 수 없는 날의 수(the number of day)로 설정된다.
content_id는 컨텐츠 식별자를 나타낸다. 영상 표시 장치(100)는 매일 end_of_day에 해당하는 시간에서 unique_for를 1씩 감소시키고, unique_for가 0이 되지 않았다면 content_id가 유일한 것이라고 간주할 수 있다.
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC-M/H service를 위한 글로벌 서비스 식별자(Global Service Identifier)가 이용될 수 있다.
글로벌 서비스 식별자는 다음과 같은 폼을 갖는다.
- urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 "0"이다. <serviceid> 는 <major>나 <minor>로 정의된다. <major> 는 메이저 채널 번호(Major Channel number)를 나타내고, <minor> 마이너 채널 번호(Minor Channel Number)를 나타낸다.
글로벌 서비스 식별자의 예는 아래와 같다.
- urn:oma:bcast:iauth:atsc:service:us:1234:5.1
- urn:oma:bcast:iauth:atsc:service:us:0:100.200
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC 컨텐츠 식별자가 이용될 수 있다.
ATSC 컨텐츠 식별자는 다음과 같은 폼을 갖는다.
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, "."<serviceid>가 뒤따를 수 있다. 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 <serviceid>이다. <content_id> 는 표 2에 정의되어 있는 content_id field의 base64 부호이고, <unique_for> 는 표 2에 정의되어 있는 unique_for field의 십진수 부호이며, <end_of_day> 는 표 2에 정의되어 있는 end_of_day field의 십진수 부호이다.
이하에서는 다시 도 6을 설명한다.
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S219).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S221).
영상 표시 장치(100)는 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S223), 부가 서비스를 획득한다(S225).
UpdateMode 속성이 Pull 값을 가지는 경우, 영상 표시 장치(100)는 SignalingChannelURL을 통해 HTTP request를 부가서비스 제공 서버(50)에 전송하여 이에 대한 응답으로 PSIP 바이너리 스트림을 포함하는 HTTP response를 부가서비스 제공 서버(50)로부터 수신한다. 이 경우 영상 표시 장치(100)는 PollingCycle 속성으로 지정되는 Polling 주기에 따라 HTTP request를 전송할 수 있다. 또한, SignalingChannelURL 엘리먼트는 업데이트 시간 속성을 가질 수도 있다. 이 경우, 영상 표시 장치(100)는 업데이트 시간 속성으로 지정되는 업데이트 시간에서 HTTP request를 전송할 수 있다.
UpdateMode 속성이 Push 값을 가지는 경우, 영상 표시 장치(100)는 XMLHTTPRequest API 를 활용하여 비동기적으로 서버로부터 업데이트를 수신할 수 있다. 영상 표시 장치(100)가 서버로 XMLHTTPRequest object를 통해 비동기적인 request를 한 후에 서버가 시그널링 정보에 변경이 있을 경우에 이 채널을 통해 response로 시그널링 정보를 제공하는 방안이다. 세션의 대기 시간에 제한이 있을 경우에는 session timeout respond를 발생시키고, 바로 수신기는 이를 인지하여 재요청하여서 수신기와 서버간의 시그널링 채널을 항시 유지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)와 핑거프린트 서버(22)를 더 포함한다.
도 8에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐츠에 컨텐츠 제공자 식별 정보를 삽입한다. 워터마크 서버(21)는 로고와 같이 보이는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐츠에 삽입할 수도 있고, 보이지 않는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐츠에 삽입할 수도 있다.
핑거프린트 서버(22)는 메인 시청각 컨텐츠에 변형을 가하지는 않으며 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐츠의 식별자와 시간 정보를 제공한다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 전송한다(S301).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐츠에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐츠와 부가 서비스를 MVPD(30)에 제공한다(S303). 보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S305). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐츠를 생성한 후, 생성된 비압축 메인 시청각 컨텐츠를 영상 표시 장치(100)에 제공한다(S306).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐츠를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S307).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐츠를 포함하는 신호를 전송할 수도 있다(S308).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐츠를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐츠 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐츠를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S309).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S311). 이 제1 응답은 핑거프린트 서버 주소, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
워터마크 정보와 제1 응답이 핑거프린트 서버 주소를 포함하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S313).
영상 표시 장치(100)는 제1 응답 내의 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제2 질의를 전송한다(S315).
핑거프린트 서버(22)는 제2 질의에 대한 제2 응답으로서 질의 결과를 제공한다(S317).
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제3 질의를 전송한다(S319).
부가 서비스 정보 제공 서버(40)는 제3 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제3 질의에 대한 제3 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S321).
영상 표시 장치(100)는 제1 응답, 제2 응답, 또는 제3 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S323), 부가 서비스를 획득한다(S325).
다음은 도 10을 참고하여, 본 발명의 실시예에 따른 영상 표시 장치(100)를 설명한다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 표시 장치(100)는 방송 신호 수신부(101), 복조부(103), 채널 복호부(105), 역다중화부(107), 시청각 복호부(109), 외부 입력 포트(111), 재생 제어부(113), 재생 장치(120), 부가 서비스 관리부(130), 데이터 송수신부(141), 메모리(150)를 포함한다.
방송 신호 수신부(101)는 컨텐츠 제공 서버(10) 또는 MVPD(30)로부터 방송 신호를 수신한다.
복조부(103)는 수신한 방송 신호를 복조하여 복조된 신호를 생성한다.
채널 복호부(105)는 복조된 신호를 채널 복호하여 채널 복호된 데이터를 생성한다.
역다중화부(107)는 채널 복호된 데이터로부터 메인 시청각 컨텐츠와 부가 서비스를 분리한다. 분리된 부가 서비스는 부가 서비스 저장부(152)에 저장된다.
시청각 복호부(109)는 분리된 메인 시청각 컨텐츠를 시청각 복호(AV decoding)하여 비압축 메인 시청각 컨텐츠를 생성한다.
한편, 외부 입력 포트(111)는 방송 수신 장치(60), 디브이디(digital versatile disk, DVD) 플레이어, 블루레이 디스크 (Blu-ray disc) 플레이어 등으로부터 비압축 메인 시청각 컨텐츠를 수신한다. 외부 입력 포트(111)는 DSUB 포트, HDMI (High Definition Multimedia Interface) 포트, DVI (Digital Visual Interface) 포트, 컴포지트(composite) 포트, 컴포넌트(component) 포트, S-Video 포트 중 하나 이상을 포함할 수 있다.
재생 제어부(113)는 시청각 복호부(109)가 생성하는 비압축 메인 시청각 컨텐츠 또는 외부 입력 포트(111)로부터 수신한 비압축 메인 시청각 컨텐츠 중 적어도 하나를 사용자 선택에 의해 재생 장치(120)에 재생한다.
재생 장치(120)는 디스플레이부(121)와 스피커(123)를 포함한다. 디스플레이부(121)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐츠의 컨텐츠 정보를 획득하고, 획득된 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득한다. 특히, 앞서 설명한 바와 같이 부가 서비스 관리부(130)는 비압축 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플에 기초하여 메인 시청각 컨텐츠의 식별 정보를 획득할 수 있는데, 본 명세서에서는 이를 자동 컨텐츠 인식(automatic contents recognition, ACR)이라 칭하기도 한다.
데이터 송수신부(141)는 ATSC-M/H (Advanced Television Systems Committee - Mobile/Handheld) 채널 송수신부(141a)와 IP 송수신부(141b)를 포함할 수 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 표시 장치(100)는 인터넷(internet)상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(150)는 컨텐츠 정보 저장부(151), 부가 서비스 저장부(152), 로고 저장부(153), 설정 정보 저장부(154), 북마크 저장부(155), 사용자 정보 저장부(156), 이용 정보 저장부(157)를 포함할 수 있다.
컨텐츠 정보 저장부(151)는 복수의 특징 정보에 대응하는 복수의 컨텐츠 정보를 저장한다.
부가 서비스 저장부(152)는 복수의 특징 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있고, 복수의 컨텐츠 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있다.
로고 저장부(153)는 복수의 로고를 저장한다. 또, 로고 저장부는 이 복수의 로고에 대응하는 컨텐츠 제공자 식별자 또는 복수의 로고에 대응하는 워터마크 서버 주소를 더 저장할 수도 있다.
*설정 정보 저장부(154)는 ACR을 위한 설정 정보를 저장한다.
북마크 저장부(155)는 북마크를 저장한다.
사용자 정보 저장부(156)는 사용자 정보를 저장한다. 사용자 정보는 하나 이상의 서비스를 위한 하나 이상의 계정 정보, 지역 정보, 가족 구성원 정보, 선호 장르 정보, 영상 표시 장치 정보, 이용 정보 제공 범위 중 하나 이상을 포함할 수 있다. 하나 이상의 계정 정보는 이용 정보 측정 서버를 위한 계정 정보, 트위터(twitter), 페이스북(facebook)과 같은 소셜 네트워크 서비스(social network service)의 계정 정보를 포함할 수 있다. 지역 정보는 주소 정보, 우편 번호를 포함할 수 있다. 가족 구성원 정보는 가족 구성원의 수, 각 구성원의 나이, 각 구성원의 성별, 각 구성원의 종교, 각 구성원의 직업 등을 포함할 수 있다. 선호 장르 정보는 스포츠, 영화, 드라마, 교육, 뉴스, 오락, 기타 장르 중에서 하나 이상으로 설정될 수 있다. 영상 표시 장치 정보는 영상 표시 장치의 종류, 제조사, 펌웨어 버전, 해상도, 모델명, OS, 브라우저, 저장 장치 유무, 저장 장치의 용량, 네트워크 속도에 대한 정보를 포함할 수 있다. 이용 정보 제공 범위가 설정되면, 영상 표시 장치(100)는 설정된 범위 내에서 메인 시청각 컨텐츠 시청 정보와 부가 서비스 이용 정보를 수집하고 보고할 수 있다. 이용 정보 제공 범위는 가상 채널 각각에 대해 설정될 수 있다. 또한, 이용 정보 측정 허용 범위는 물리 채널 전체에 대해 설정될 수도 있다.
*이용 정보 저장부(157)는 영상 표시 장치(100)에 의해 수집되는 메인 시청각 컨텐츠 시청 정보와 부가 서비스 사용 정보를 저장한다. 또한, 영상 표시 장치(100)는 수집한 메인 시청각 컨텐츠 시청 정보와 수집한 부가 서비스 사용 정보에 기초하여 서비스 이용 패턴을 분석하고, 분석된 서비스 이용 패턴을 이용 정보 저장부(157)에 저장할 수 있다.
부가 서비스 관리부(130)는 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐츠의 컨텐츠 정보를 획득할 수 있다. 컨텐츠 정보 저장부(151)에 추출한 특징 정보에 해당하는 컨텐츠 정보가 없거나 충분한 컨텐츠 정보가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 컨텐츠 정보를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 컨텐츠 정보를 업데이트할 수 있다.
부가 서비스 관리부(130)는 부가 서비스 제공 서버(50) 또는 부가 서비스 저장부(153)로부터 이용가능한 부가 서비스를 획득할 수 있다. 부가 서비스 저장부(153)에 부가 서비스가 없거나 충분한 부가 서비스가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 부가 서비스를 업데이트할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 부가 서비스를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐츠로부터 로고를 추출하고, 로고 저장부(155)에 질의하여 추출한 로고에 대응하는 컨텐츠 제공자 식별자 또는 워터마크 서버 주소를 획득할 수 있다. 로고 저장부(155)에 추출한 로고와 일치하는 로고가 없거나 충분한 로고가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 로고를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 로고를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐츠로부터 추출한 로고와 로고 저장부(155) 내의 복수의 로고와의 비교를 수행하는데 연산의 부담을 줄이기 위한 다양한 방법을 수행할 수 있다.
예컨데, 부가 서비스 관리부(130)는 색깔 특성에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 색깔 특성과 로고 저장부(155) 내의 로고의 색깔 특성을 비교하여 일치 여부를 판단할 수 있다.
또, 부가 서비스 관리부(130)는 문자 인식에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고로부터 인식되는 문자와 로고 저장부(155) 내의 로고로부터 인식되는 문자를 비교하여 일치 여부를 판단할 수 있다.
뿐만 아니라, 부가 서비스 관리부(130)는 로고의 윤곽에 대한 형상에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 윤곽 형상과 로고 저장부(155) 내의 로고의 윤곽 형상을 비교하여 일치 여부를 판단할 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 11에서, Tuner(501)는 air 채널을 통해 전송되는 8-VSB RF 신호로부터 Symbol을 추출한다.
8-VSB Demodulator(503)는 Tuner(501)가 추출한 8-VSB Symbol을 복조하여 의미 있는 디지털 데이터를 복원한다.
VSB Decoder(505)는 8-VSB Demodulator(503)가 복원한 디지털 데이터를 복호하여 ATSC 메인 서비스와 ATSC M/H 서비스를 복원한다.
MPEG-2 TP Demux(507)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet 또는 PVR Storage에 저장된 MPEG-2 Transport Packet 중에서 영상 표시 장치(100)가 처리하고자 하는 Transport Packet을 필터링하여 적절한 처리 모듈로 중계한다.
PES 디코더(539)는 MPEG-2 Transport Stream을 통하여 전송된 Packetized Elementary Stream을 Buffering하고 복원한다.
PSI/PSIP 디코더(541)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Section Data를 Buffering하고 분석한다. 분석된 PSI/PSIP 데이터는 Service Manager(미도시)에 의하여 수집되어, Service Map 및 Guide data 형태로 DB에 저장된다.
DSMCC Section Buffer/Handler (511)은 MPEG-2 TP를 통하여 전송되는 파일 전송 및 IP Datagram encapsulation 등을 위한 DSMCC Section Data를 버퍼링(Buffering)하고 처리한다.
IP/UDP Datagram Buffer/Header Parser(513)는 DSMCC Addressable section을 통해 encapsulate되어 MPEG-2 TP를 통하여 전송되는 IP Datagram을 버퍼링하고 복원하여 각 Datagram의 Header를 분석한다. 또한, IP/UDP Datagram Buffer/Header Parser(513)는 IP Datagram을 통하여 전송되는 UDP Datagram을 Buffering 및 복원하고, 복원된 UDP Header를 분석 및 처리한다.
Stream component handler(557)는 ES Buffer/Handler, PCR Handler, STC 모듈, Descrambler, CA Stream Buffer/Handler, Service Signaling Section Buffer/Handler를 포함할 수 있다.
ES Buffer/Handler는 PES 형태로 전송된 Video, Audio 데이터 등의 Elementary Stream을 Buffering 및 복원하여 적절한 A/V Decoder로 전달한다.
PCR Handler는 Audio 및 Video Stream의 Time synchronization 등을 위하여 사용되는 PCR (Program Clock Reference) Data를 처리한다.
STC 모듈은 PCR Handler를 통하여 전달받은 Reference Clock 값을 이용하여, A/V Decoder 들의 Clock 값을 보정하여 Time Synchronization를 수행한다.
수신된 IP Datagram의 Payload에 Scrambling이 적용된 경우, Descrambler는 CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
CA Stream Buffer/Handler는 MPEG-2 TS또는 IP Stream을 통하여 전송되는 Conditional Access 기능을 위하여 전송되는 EMM, ECM 등의 Descrambling을 위한 Key 값 등의 Data를 Buffering 및 처리한다. CA Stream Buffer/Handler의 Output은 Descrambler로 전달되어, descrambler는 A/V Data 및 File Data등을 전송하는 MPEG-2 TP 또는 IP Datagram의 암호화 해제작업을 수행한다.
Service Signaling Section Buffer/Handler는 IP Datagram의 형태로 전송되는 NRT Service Signaling Channel Section Data를 Buffering 하고 복원하며 분석한다. Service Manager(미도시)는 분석된 NRT Service Signaling Channel Section 데이터를 수집하여, Service Map 및 Guide data 형태로 DB에 저장한다.
A/V Decoder(561)는 ES Handler를 통하여 전달받은 Audio/Video 데이터의 압축을 복호화하여, 사용자에게 Presentation한다.
MPEG-2 Service Demux(미도시)는 MPEG-2 TP Buffer/Parser, Descrambler, PVR Storage 모듈을 포함할 수 있다.
MPEG-2 TP Buffer/Parser (미도시)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet을 Buffering 및 복원하고, Transport Packet Header를 검출 및 처리한다.
Descrambler는 MPEG-2 TP 중, Scramble이 적용된 Packet payload에 대하여, CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
PVR Storage 모듈은 사용자의 요구 등에 따라 8-VSB 신호를 이용하여 수신된 MPEG-2 TP를 저장하고, 또한 사용자의 요구에 의해 MPEG-2 TP를 출력한다. PVR Storage 모듈은 PVR Manager(미도시)에 의해 제어될 수 있다.
File Handler(551)는 ALC/LCT Buffer/Parser, FDT Handler, XML Parser, File Reconstruction Buffer, Decompressor, File Decoder, File Storage를 포함할 수 있다.
ALC/LCT Buffer/Parser는 UDP/IP Stream으로 전송되는 ALC/LCT 데이터를 Buffering 및 복원하고, ALC/LCT의 Header 및 Header extension을 분석한다. ALC/LCT Buffer/Parser는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
FDT Handler는 ALC/LCT session을 통하여 전송되는 FLUTE protocol의 File Description Table을 분석 및 처리한다. FDT Handler는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
XML Parser는 ALC/LCT session을 통하여 전송되는 XML Document를 분석하여, FDT Handler, SG Handler 등 적절한 모듈로 분석된 데이터를 전달한다.
File Reconstruction Buffer는 ALC/LCT, FLUTE session으로 전송되는 파일을 복원한다.
Decompressor는 ALC/LCT, FLUTE session으로 전송되는 파일이 압축되어 있는 경우, 그 압축을 해제하는 프로세스를 수행한다.
File Decoder는 File Reconstruction Buffer에서 복원된 File 또는 Decompressor에서 압축해제된 파일, 또는 File Storage에서 추출된 File을 Decoding한다.
File Storage는 복원된 파일을 필요에 의하여 저장하거나 추출한다.
M/W Engine(미도시)은 DSMCC Section, IP Datagram 등을 통하여 전송되는 A/V Stream이 아닌 파일 등의 Data를 처리한다. , M/W Engine은 처리된 데이터를 Presentation Manager 모듈로 전달한다.
SG Handler(미도시)는 XML Document 형태로 전송되는 Service Guide 데이터를 수집하고 분석하여 EPG Manager에게 전달하는 프로세스를 수행한다.
Service Manager(미도시)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Data, IP Stream으로 전송되는 Service Signaling Section Data를 수집하고 분석하여 Service Map을 제작한다. Service Manager(미도시)는 제작한 service map을 Service Map & Guide Database에 저장하며, 사용자가 원하는 Service에 대한 access를 제어한다. Operation Controller(미도시)에 의하여 제어되며, Tuner(501), MPEG-2 TP Demux(507), IP Datagram Buffer/Handler (513) 등에 대한 제어를 수행한다.
NRT Service Manager(미도시)는 IP layer 상에서 FLUTE session을 통하여 object/file 형태로 전송되는 NRT 서비스에 대한 전반적인 관리를 수행한다. NRT Service Manager(미도시)는 FDT Handler, File Storage등을 제어할 수 있다.
Application Manager(미도시)는 Object, file 등의 형태로 전송되는 Application 데이터의 처리에 관한 전반적인 관리를 수행한다.
UI Manager(미도시)는 User Interface를 통하여 사용자의 Input을 Operation Controller에 전달하고, 사용자가 요구하는 서비스를 위한 Process의 동작을 시작한다.
Operation Controller(미도시)는 UI Manager를 통하여 전달받은 사용자의 Command를 처리하고, 필요한 모듈의 Manager가 해당 Action을 수행하게 한다.
Fingerprint Extractor(565)는 Audio/Video 스트림으로 부터 fingerprint 특징 정보를 추출한다.
Fingerprint Comparator(567)는 Fingerprint Extractor가 추출한 특징 정보와 Reference fingerprint를 비교하여 일치하는 컨텐츠를 찾는다. Fingerprint Comparator(567)는 Local에 저장된 Reference fingerprint DB를 이용할 수도 있고, 인터넷 상의 Fingerprint 질의 서버에 질의하여 결과를 수신할 수도 있다. 비교 결과로 매칭된 결과 데이터는 Application에 전달되어 이용될 수 있다.
Application(569)은 ACR 기능을 관장하는 모듈 혹은 ACR에 기반하여 Enhanced 서비스를 제공하는 애플리케이션 모듈로서, 시청중인 방송 컨텐츠를 식별하여 이와 연계된 확장된 서비스를 제공한다.
도 12는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 12에 도시된 워트마크 기반의 영상 표시 장치는 도 11에 도시된 핑거프린트 기반의 영상 표시 장치와 유사하나, 핑거프린트 기반의 영상 표시 장치의 Fingerprint Extractor(565)와 Fingerprint Comparator(567)를 포함하지 않으며, 대신 Watermark Extractor(566)를 더 포함한다.
Watermark Extractor(566)는 Audio/Video 스트림으로부터 watermark형태로 삽입된 데이터를 추출한다. 이렇게 추출된 데이터는 Application에 전달되어 이용될 수 있다.
도 13은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
상기 이동 단말기(600)는 무선 통신부(610), 입력부(620), 센싱부(640), 출력부(650), 인터페이스부(660), 메모리(670), 제어부(680) 및 전원 공급부(690) 등을 포함할 수 있다. 도 13에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(610)는, 이동 단말기(600)와 무선 통신 시스템 사이, 이동 단말기(600)와 다른 이동 단말기(600) 사이, 또는 이동 단말기(600)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(610)는, 이동 단말기(600)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(610)는, 방송 수신 모듈(611), 이동통신 모듈(612), 무선 인터넷 모듈(613), 근거리 통신 모듈(614), 위치정보 모듈(615) 중 적어도 하나를 포함할 수 있다.
입력부(620)는, 영상 신호 입력을 위한 카메라(621) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 622), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(623, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(620)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(640)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(640)는 근접센서(641, proximity sensor), 조도 센서(642, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(621 참조)), 마이크로폰(microphone, 622 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(650)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(651), 음향 출력부(652), 햅틱 모듈(653), 광 출력부(654) 중 적어도 하나를 포함할 수 있다. 디스플레이부(651)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(600)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(623)로써 기능함과 동시에, 이동 단말기(600)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(660)는 이동 단말기(600)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(660)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(600)에서는, 상기 인터페이스부(660)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(670)는 이동 단말기(600)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(670)는 이동 단말기(600)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(600)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(600)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(600)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(670)에 저장되고, 이동 단말기(600) 상에 설치되어, 제어부(680)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(680)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(600)의 전반적인 동작을 제어한다. 제어부(680)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(670)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(680)는 메모리(670)에 저장된 응용 프로그램을 구동하기 위하여, 도 13와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(680)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(600)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(690)는 제어부(680)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(600)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(690)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(670)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
이하에서는 상술한 ACR 기능을 활용하여 획득한 부가 서비스를 전자 디바이스를 통해 제어하는 방법에 대하여 설명한다.
도 14은 종래에 ACR 기능을 활용하여 사용자에게 제공된 서비스를 제어하는 방법(a)과 본 발명의 일 실시 예에 따른 전자 디바이스(302)의 어플리케이션(303)을 통해 제공된 부가 서비스를 제어하는 방법(b)을 개략적으로 나타낸 도면이다.
도 14(a)에 도시된 바와 같이, 종래에는 영상표시장치(100)가 현재 방송 중인 컨텐트를 인식하고, 인식된 컨텐트에 연관된 부가 서비스를 화면에 같이 표시하였다. 그리고 사용자는 원격제어장치(301)를 통해 영상표시장치에 표시된 부가 서비스를 제어하였다.
그러나, 종래의 방법은 사용자가 친숙하지 않은 원격제어장치(301)를 통해 부가 서비스를 제어하여 사용자가 제어하는데 어려움이 있었다. 통상적으로, 원격제어장치(301)를 통한 영상표시장치(100)의 제어는 단순히 버튼을 누르는 정도에 그치나 부가 서비스를 제어하기 위해서는 원격제어장치(301)을 통해 영상표시장치에 표시되는 포인터를 제어해야 하는 어려움이 있었다.
또한, 종래의 방법은 획득한 부가 서비스를 본 컨텐트와 함께 표시하여 사용자가 본 컨텐트를 시청하는데 어려움이 있었다. 경우에 따라, 사용자가 부가 서비스의 표시를 원하지 않음에도 불구하고, 광고 계약 등의 이유로 반드시 표시되어야 하는 때가 있어, 시청자가 표시된 부가 서비스로 인하여 컨텐트 시청에 불편함을 느낄 수 있었다.
따라서 본 발명의 부가 서비스 제어 방법은(도 14(b)) 영상표시장치(100)가 ACR 기능을 통해 부가 서비스를 획득한 경우, 해당 부가 서비스를 영상표시장치(100)가 아닌 전자 디바이스(302)에 표시한다. 전자 디바이스(302)에 표시된 부가 서비스는 전자 디바이스(302)에 기 설치된 어플리케이션(303) 등을 통해 제어될 수 있다. 전자 디바이스(302)는 예를 들면, 스마트 폰, 태블릿 PC, 웨어러블 디바이스 등을 포함할 수 있다. 또한, 기 설치된 어플리케이션(303)의 예를 들면, 메신저 어플리케이션, 메일 어플리케이션, 소셜 네트워크 서비스 어플리케이션이 있을 수 있다.
본 발명의 부가 서비스 제어 방법에 따르면, 사용자에게 원격제어장치(301)에 비해 상대적으로 친숙한 전자 디바이스(302)를 통해 획득한 부가 서비스를 제어하여 이용 편의성을 향상시킬 수 있다.
또한, 획득한 부가 서비스가 본 컨텐트와 함께 영상표시장치(100)에 표시되는 것이 아닌 전자 디바이스(302)에 표시되어 본 컨텐트의 시청을 방해하지 않을 수 있다.
도 15은 상술한 전자 디바이스를 통해 부가 서비스를 제어하는 전체 구성을 나타내는 블록도이다.
본 발명의 일 실시 예에 따른 부가 서비스 제어 시스템은 컨텐트 제공 서버(10), 컨텐트 인식 서비스 제공 서버(20), 부가서비스 제공 서버(50), 영상표시장치(100), 관리 서버(300) 및 전자 디바이스(302)를 포함한다. 이 중 컨텐트 제공 서버(10), 컨텐트 인식 서비스 제공 서버(20), 부가 서비스 제공 서버(50)는 상술한바 여기에서 자세한 설명은 생략한다.
전자 디바이스(302)는 기 설치된 어플리케이션(303)을 통해 부가 서비스를 제어한다. 도 15에는 어플리케이션의 일 예로 메신저 어플리케이션이 표시되어 있으나 상술한 바와 같이 부가 서비스를 제어할 수 있는 다른 어플리케이션도 가능하다. 전자 디바이스(302)는 어플리케이션(303)을 통해 획득한 부가 서비스를 표시하고, 부가 서비스를 제어하는 입력을 수신한다. 예를 들면, 사용자로부터 문자 입력을 수신할 수 있으며, 다른 예를 들면 사용자로부터 음성 입력을 수신할 수 있다.
관리 서버(300)는 일 실시 예에서 전자 디바이스(302)의 어플리케이션(303)과 영상표시장치(100)를 연결한다. 또 다른 실시 예에서 전자 디바이스(302)의 어플리케이션(303)과 영상표시장치(100)외 다른 가전 제품을 연결한다.
구체적으로 관리 서버(300)는 영상표시장치(100)로부터 인식된 컨텐트 정보를 통해 부가 서비스를 획득하고, 이를 전자 디바이스(302)에 전달한다. 그리고, 전자 디바이스(302)로부터 부가 서비스에 대한 제어 명령을 수신하여 이를 영상표시장치(100) 및 그 외 가전 제품의 제어 신호로 변환한다.
도 15에는 관리서버(300)가 제어하는 장치의 일 예로 영상표시장치(100)가 도시되어 있으나, 영상표시장치(100)외 다른 가전 제품도 제어가 가능하다. 다른 가전은 냉장고, 세탁기, 에어컨, 오븐, 로봇청소기 등을 포함할 수 있다.
상술한 가전 제품들은 가정에 있는 중계기 등을 통해 관리 서버(300)에 연결될 수 있으며, 연결된 가전 제품은 모두 전자 디바이스(302)의 메신저 어플리케이션(303)등을 통해 제어 가능하다. 또한, 동시에 다수의 가전 제품이 연결 가능하며 사용자는 어플리케이션(303)을 통해 다수의 가전 제품을 한번에 제어할 수도 있다.
이하 도 16 내지 도 32을 참조하여 상술한 어플리케이션(303)을 통한 일반적인 가전 제품의 제어를 설명한다. 이하에서는 전자 디바이스(302)에 설치된 어플리케이션 중 메신저를 대표 예로 설명한다.
도 16는 메신저를 통한 가전 제품 제어 서비스의 기본 화면을 나타낸 도면이다. 도 16에 도시된 바와 같이, 전자 디바이스(302)는 메신저(303)의 채팅창을 통해 가전 제품을 제어하기 위한 복수의 명령어를 표시하고 있으며, 각 설명에 대한 예를 같이 표시하고 있다. 사용자는 '[]'안의 명령어를 채팅창에 입력하여 가전 제품을 제어할 수 있다.
도 17은 메신저(303)를 통해 가전 제품을 등록하는 메뉴를 나타내는 도면이다. 도 17에 도시된 바와 같이, 사용자가 도 16의 기본 화면 상태에서 채팅창에 '등록'을 입력하면 메신저(303)는 제품 등록을 위한 인터넷 주소를 채팅창에 표시한다. 사용자는 표시된 인터넷 주소를 터치하여 사이트에 접속할 수 있으며, 접속한 사이트에서 전자 디바이스(302)를 통해 제어할 가전 제품을 등록할 수 있다. 등록된 가전 제품은 메신저(303)를 통해 연결할 수 있으며, 사용자는 채팅창에 명령어를 입력하여 연결된 가전 제품의 동작을 제어할 수 있다.
도 18 내지 도 19는 상기 등록 메뉴를 통해 등록된 가전 제품들의 현재 상태를 알려주는 메뉴를 나타내는 도면이다. 도 18에 도시된 바와 같이, 사용자가 도 16의 기본 화면 상태에서 채팅창에 '전체상태'를 입력하면 메신저(303)는 등록된 가전 제품들의 현재 상태를 표시한다. 일 실시 예에서 도 18에 도시된 바와 같이 에어컨이 등록되어 있는 경우, 전자 디바이스(302)는 에어컨의 현재 운전 상태 및 예약 내역을 메신저(303)의 채팅창을 통해 표시할 수 있다.
또 다른 일 실시 예에서 도 19에 도시된 바와 같이, 전자 디바이스(302)는 로봇 청소기가 등록 되어 있으나 어떤 이유로 응답하지 않는다는 내용을 메신저(303)의 채팅창을 통해 표시할 수 있다. 이 경우, 로봇 청소기는 전자 디바이스(302)와, 더 정확히는 관리 서버(300)와 연결이 끊어진 상태로 메신저를 통해 제어할 수 없는 상태일 수 있다. 따라서, 사용자는 로봇 청소기의 상태를 확인하여 전원을 키거나, 와이파이 기능을 활성화하는 등의 방법으로 로봇 청소기를 관리 서버(300)와 연결시킨 후에 해당 로봇 청소기를 메신저(303)를 통해 제어할 수 있다.
도 20은 현재 등록 가능한 제품을 알려주는 메뉴를 나타내는 도면이다. 도 20에 도시된 바와 같이 사용자가 도 16의 기본 화면 상태에서 채팅창에 '등록가능제품'을 입력하면 메신저(303)는 현재 등록 가능한 제품 목록을 확인할 수 있는 인터넷 주소를 채팅창에 표시한다. 사용자는 해당 인터넷 주소를 터치하여 접속하고, 접속한 사이트로부터 연결 가능한 제품 목록을 확인할 수 있다.
가정에서 보유하고 있는 가전 제품들은 구입 년도가 다른 경우가 대부분이며, 행여 구입년도가 같더라도 모델 별로 모바일 디바이스 등을 통한 원격제어를 지원하지 않는 모델이 존재할 수 있다. 따라서, 사용자는 해당 사이트에 접속하여 현재 가정에서 보유하고 있는 가전 제품이 모바일 디바이스를 통한 원격제어를 지원하는 모델인지를 확인할 수 있다.
도 21 내지 도 23은 외출모드를 실행한 상태를 나타내는 도면이다. 도 21에 도시된 바와 같이 사용자가 도 16의 기본 화면 상태에서 채팅창에 '외출'을 입력하면 메신저는 외출 모드를 실행할지 여부를 사용자에게 물어본다. 외출 모드는 가전 제품들 중에서 사용자가 외출시에 운전을 정지해도 좋은 제품들의 운전을 자동으로 정지시킬 수 있다. 또한, 방범기능을 가진 가전 제품의 운전을 시작하게 할 수 있다. 또한, 사용자가 외출 시 마트 등에서 구입할 물건을 정할 수 있도록 냉장고 내부의 사진을 제공할 수 있다.
도 22는 사용자가 제어 명령을 채팅창에 입력하였으나, 일정 시간내에 관리 서버(300)로부터 입력에 대응하는 응답을 받지 못한 경우 메신저가 출력하는 내용을 나타낸다. 전자 디바이스(302)는 통신 간에 트래픽이 몰리는 경우 정해진 시간 내에 관리 서버(300)로부터 응답을 받지 못할 경우가 발생할 수 있는바, 이 경우 메신저(303)는 사용자에게 해당 내용을 알리는 메시지를 채팅창에 표시할 수 있다.
도 23는 사용자가 외출모드를 실행한 경우, 냉장고의 내부 사진을 표시하는 것을 나타낸 도면이다. 구체적으로 메신저는 외출모드 실행의 입력을 수신하여 이를 관리 서버(300)로 송신한다. 관리 서버(300)는 수신된 입력에 기초하여 냉장고의 내부를 촬영하는 제어 신호를 생성해 냉장고에게 전달한다.
구체적인 사용 예로, 사용자는 외출 시에 마트 등에 필요한 물건을 사러 외출할 수 있다. 이 때 전자 디바이스(302)가 냉장고 내부를 촬영한 사진을 메신저를 통해 표시하면 사용자는 현재 냉장고에 보유하고 있는 식품을 파악할 수 있어 효율적인 구매를 할 수 있다.
도 24 내지 도 25은 휴가 모드를 실행한 경우를 나타내는 도면이다. 도 24에 도시된 바와 같이 사용자가 도 16에 도시된 기본 상태에서 채팅창에 '휴가'를 입력하면, 메신저(303)는 휴가 모드를 실행할 지 여부를 묻는 메시지를 채팅창에 표시한다. 휴가 모드에서는 외출 모드와 비슷한 동작을 수행하나, 외출모드와 달리 장기간 집을 비우므로 냉장고를 절전모드로 운전하는 제어를 추가적으로 수행한다.
도 25에 도시된 바와 같이 사용자가 외출모드 실행을 승인하면 메신저(303)는 에어컨 운행을 정지한다는 내용을 채팅창을 통해 표시한다. 구체적으로 전자 디바이스(302)는 메신저(303)를 통해 휴가 모드의 입력을 수신하면 이를 관리 서버(300)로 전송한다. 관리 서버(300)는 해당 입력을 기초로 에어컨 운전을 중지하는 제어 신호를 생성하여 에어컨에 전송한다.
도 26 내지 도 28는 귀가 모드를 실행한 경우를 나타내는 도면이다. 도 26에 도시된 바와 같이 사용자가 도 16에 도시된 기본 상태에서 채팅창에 '귀가'를 입력하면 메신저(303)는 귀가 모드를 실행할지 여부를 묻는 메시지를 채팅창에 표시한다. 귀가 모드에서는 에어컨 또는 제습기를 미리 운전한다거나, 오븐의 레시피를 검색할 수 있다.
도 27에 도시된 바와 같이, 사용자가 귀가 모드 실행을 승인하면 메신저(303)는 사용자의 귀가 전 에어컨을 미리 운전하는 내용을 채팅창에 표시한다. 구체적으로, 전자 디바이스(302)는 메신저(303)를 통해 귀가 모드 입력을 수신하면 이를 관리 서버(300)로 전송한다. 관리 서버(300)는 해당 입력을 기초로 에어컨 운전을 시작하는 제어 신호를 생성하여 에어컨에 전송한다.
또한 도 28에 도시된 바와 같이 사용자가 귀가 모드 실행을 승인하면 메신저(303)는 오븐을 통해 요리할 레시피를 검색할 수 있는 앱을 실하는 주소를 채팅창에 표시할 수 있다. 사용자는 채팅창에 표시된 주소를 터치하여 앱에 접속하고, 귀가 전 미리 요리할 레시피를 검색할 수 있다.
또한, 사용자는 레시피를 검색하면서 현재 냉장고가 보유하고 있는 식품을 파악할 수도 있다. 구체적으로 전자 디바이스(302)가 메신저를 통해 귀가 모드 실행에 대응하여 냉장고 내부를 촬영한 사진을 채팅창에 표시할 수 있다. 사용자는 검색된 레시피와 현재 보유하고 있는 식품을 파악하여 집에 귀가하여 요리할 음식을 미리 결정할 수 있다.
도 29 내지 도 32은 일 실시 예로 메신저를 통해 에어컨을 제어하는 모습을 나타내는 도면이다.
도 29에 도시된 바와 같이, 사용자는 채팅창에 제어를 원하는 가전 제품인 에어컨을 입력할 수 있다. 사용자가 채팅창에 에어컨을 입력하면 전자 디바이스(302)는 메신저를 통해 관리 서버와 연결되어 에어컨에 대한 제어권을 획득한다. 또한 전자 디바이스(302)는 메신저를 통해 사용자가 에어컨을 제어하기 위해 필요한 명령어를 안내하는 에어컨도움말을 소개할 수도 있다.
사용자가 에어컨도움말을 채팅창에 입력하면, 도 30에 도시된 바와 같이 메신저(303)는 에어컨을 제어하기 위한 명령어 목록을 채팅창에 표시한다. 도움말은 각 가전별로 다를 수 있으며, 도 30에 도시된 명령어 외 다른 명령어가 업데이트를 통해 추가될 수 있다.
도 31은 도 30에 표시된 명령어 중, 사용자가 채팅창에 상태확인의 명령어를 입력한 모습을 나타낸다. 사용자가 상태확인의 명령어를 입력하면 전자 디바이스(302)는 관리 서버(300)를 통해 에어컨의 현재 상태를 수신한다. 그리고 전자 디바이스(302)는 메신저(303)를 통해 수신된 에어컨의 현재 상태를 채팅창에 표시한다. 도 31에 도시된 바와 같이 표시되는 현재 상태의 정보는 현재 운전 정보 또는 예약 내역 등을 포함할 수 있다.
도 32은 도 30에 표시된 명령어 중, 사용자가 운전시작의 명령어를 채팅창에 입력한 모습을 나태낸다. 사용자가 운전시작의 명령어를 입력하면 메신저(302)는 에어컨의 운전을 실행할 것인지 여부를 묻는 내용을 채팅창에 표시한다. 사용자가 에어컨 운전 시작을 승인하면 전자 디바이스(303)는 운전명령을 관리서버(300)를 통해 에어컨에 전달한다.
도 33는 본 발명의 일 실시 예에 따른 전자 디바이스의 어플리케이션을 통한 영상표시장치 및 기타 가전 제품의 제어 방법을 나타내는 흐름도이다. 이하에서 전자 디바이스는 스마트폰을 대표 예로, 어플리케이션은 메신저를 대표 예로 정하여 설명한다.
영상표시장치(100)는 인식된 컨텐트 정보를 수신한다(S401). 상술한 바와 같이 영상 표시장치(100)는 비압축 시청각 컨텐트를 수신하고, 수신한 비압축 시청각 컨텐트로부터 특징 정보를 추출한다. 영상표시장치(100)는 추출한 컨텐트 정보를 컨텐트 인식 서비스 제공 서버(20)로 전송하여 컨텐트 정보를 획득한다. 특징 정보는 워터마크와 핑거프린트를 모두 포함할 수 있다.
영상표시장치(100)는 획득한 컨텐트 정보를 관리서버(300)로 전송한다(S403). 구체적으로 영상표시장치(100)는 현재 재생중인 비압축 시청각 컨텐트의 정보를 ACR 기능을 통해 획득하고, 획득한 정보를 관리서버(300)에 전달한다.
관리서버(300)는 수신한 컨텐트 정보에 기초하여 부가 서비스를 획득한다(S405). 일 실시 예에서, 영상표시장치(100)는 컨텐트 정보와 함께 부가 서비스 정보를 전송할 수 있다. 이 경우 영상표시장치(100)는 획득한 컨텐트 정보를 부가 서비스 제공 서버(50)로 전송하여 그 응답으로 부가 서비스 정보를 획득할 수 있다. 부가 서비스 정보는 부가 서비스 및 부가 서비스를 획득할 수 있는 주소를 포함할 수 있다.
또 다른 실시 예에서 관리서버(300)가 수신한 컨텐트 정보를 부가 서비스 제공 서버(50)에 전송하여 그 응답으로 부가 서비스 정보를 획득할 수 있다. 이 경우 관리서버(300)는 부가 서비스 제공 서버(50)로부터 획득한 부가 서비스 정보를 다시 영상표시장치(100)로 전송할 수도 있다. 영상표시장치(100)는 부가 서비스 획득을 알리는 표시를 디스플레이부를 통해 출력할 수도 있다.
관리서버(300)는 획득한 부가 서비스 정보 및 컨텐트 정보를 전자 디바이스(302)에 전송한다(S407). 구체적으로 영상표시장치(100)로부터 전송 받거나 관리서버(300)가 직접 수신한 부가 서비스 정보 및 컨텐트 정보를 전자 디바이스(302)에 전송한다.
전자 디바이스(302)는 관리서버(300)로부터 수신한 부가 서비스 정보 및 컨텐트 정보를 출력한다(S409). 일 실시 예에서 전자 디바이스(302)는 메신저(303)을 통해 수신한 부가 서비스 정보 또는 부가 서비스를 채팅창에 표시한다. 또 다른 실시 예에서 전자 디바이스(302)는 메신저(303) 채팅창에 현재 영상표시장치(100)에 재생중인 비압축 시청각 컨텐트 정보를 표시한다. 사용자는 메신저(303)의 채팅창에 표시된 정보를 통해 현재 시청중인 시청각 컨텐트 정보를 파악할 수 있다. 또한 사용자는 채팅창에 표시된 부가 서비스 정보를 통해 현재 시청중인 시청각 컨텐트에 연관된 부가 서비스의 존재을 알 수 있으며, 부가 서비스에 접근할 수 있다.
전자 디바이스(302)는 메신저(303)의 채팅창에 표시된 내용에 대한 사용자의 제어 명령을 수신한다(S411). 일 실시 예에서 전자 디바이스(302)는 메신저(303)의 채팅창에 입력된 사용자의 채팅 내용을 통해 제어 명령을 수신할 수 있다. 또 다른 실시 예에서 전자 디바이스(302)는 사용자의 음성을 통해 제어 명령을 수신할 수 있다. 또한 전자 디바이스(302)는 사용자의 음성을 텍스트로 변환할 수도 있다.
이하 도 34 내지 도 39에서 단계 S409 및 단계 S411의 구체적인 실시 예에 대하여 설명한다.
도 34은 사용자가 영상표시장치(100)의 ACR 기능을 통해 인식된 컨텐트와 관련된 다른 컨텐트의 다시보기를 전자 디바이스(302)의 메신저(303)를 통해 제어하는 것을 나타내는 도면이다. 상술하였듯이, 전자 디바이스(302)는 관리서버(300)로부터 현재 시청중인 시청각 컨텐트 정보 및 부가 서비스 정보를 수신한다.
따라서, 도 34에 도시된 바와 같이, 전자 디바이스(302)는 메신저(303)의 채팅창을 통해 현재 시청중인 시청각 컨텐트의 정보를 출력하면서 관련 부가 서비스를 수신할 것인지 여부를 사용자에게 질의할 수 있다. 사용자가 관련 부가 서비스를 수신할 것을 승인한 경우, 전자 디바이스(302)는 메신저(303)의 채팅창에 영상표시장치(100)에서 출력할 다시 보기를 질의하는 내용을 표시할 수 있다. 그리고 전자 디바이스(302)는 채팅창을 통해 해당 질의의 응답을 수신할 수 있다. 도 34을 예로 들면 사용자가 '다시보기정도전'을 입력하면 현재 재생중인 정도전의 다른 회차 컨텐트를 영상표시장치(100)에서 재생할 수 있다. 또 다른 예를 들면, 전자 디바이스(302)는 메신저(303)의 채팅창에 다시 보기 서비스를 포함하는 현재 이용가능한 부가 서비스 목록을 표시하고, 해당 서비스 목록에 대한 사용자의 선택 입력을 수신할 수도 있다. 또 다른 예를 들면 사용자가 '스마트티비도움말'을 채팅창에 입력하도록 유도하고, 해당 입력을 수신하면 현재 재생 가능한 부가 서비스 목록을 표시할 수도 있다.
사용자가 다시 보기 서비스 실행을 승인한 경우, 전자 디바이스(302)는 메신저(303)의 채팅창을 통해 시청하고자 하는 회차를 질의할 수 있다. 또한 전자 디바이스(302)는 복수의 회차를 입력 받을 수 있다. 또한 전자 디바이스(302)는 선택된 다시 보기를 재생할 시간에 대한 예약을 채팅창을 통해 입력 받을 수도 있다.
또 다른 실시 예에서 영상표시장치(100)는 특정 컨텐트의 예고편이 방송되는 경우 ACR 기능을 통해 예고편의 방송을 인식할 수 있다. 영상표시장치(100)는 예고편에 관한 정보를 관리서버(300)를 통해 전자 디바이스(302)에 전달할 수 있다. 전자 디바이스(302)는 예고편에 관한 정보를 메신저(303)을 통해 표시한다. 사용자는 메신저(303)의 채팅창을 통해 표시된 예고편에 기초하여 예약 설정을 할 수 있다. 예를 들면, 특정 컨텐트가 오후 6시에 방송될 것이라는 예고 정보를 전자 디바이스(302)가 채팅창에 표시하고, 예약 여부를 질의하는 내용을 채팅창에 표시할 수 있다. 사용자는 예약 승인의 메시지를 채팅창에 입력하고, 전자 디바이스(302)는 예약 내용을 저장한다. 또 다른 예를 들면 예약 정보를 관리서버(300)가 저장할 수도 있다.
*추가적으로, 전자 디바이스(302)는 상술한 예약 정보에 기초하여 예약한 컨텐트의 방송 시간이 다가오면 사용자에게 리마인더를 메신저(303)을 통해 표시할 수 있다. 구체적으로, 전자 디바이스(302)는 저장된 예약 정보에 따른 시간이 도래하는 경우 해당 컨텐트의 재생 시간이 임박했다는 내용을 메신저(303)를 통해 표시할 수 있다. 또한, 전자 디바이스(302)는 해당 컨텐트를 재생하기 위해 영상표시장치(100)를 동작할지 여부를 질의하는 내용을 채팅창을 통해 표시할 수도 있다. 전자 디바이스(302)는 질의 내용에 대한 사용자 제어 명령을 수신하여 이를 중간 서버(300)를 통해 영상표시장치(100)에 전달한다.
도 35은 현재 재생중인 시청각 컨텐트와 연동되는 앱을 전자 디바이스(302)에서 제어하는 것을 나타내는 도면이다. 전자 디바이스(302)는 관리서버(300)로부터 현재 재생중인 시청각 컨텐트의 정보를 수신한다. 전자 디바이스(302)는 수신한 컨텐트 정보에 기초하여 해당 컨텐트와 연동되는 앱을 설치하고 실행할 수 있다.
구체적으로 전자 디바이스(302)는 메신저(303) 채팅창을 통해 현재 재생중인 시청각 컨텐트에 연동되는 앱의 존재 정보 및 실행 여부를 표시할 수 있다. 컨텐트 연동 앱은 컨텐트의 방송 시간 정보, 컨텐트 출연진 정보, 컨텐트의 자유 게시판, 컨텐트와 관련된 행사 정보 등을 제공할 수 있다. 사용자는 자신이 선호하는 컨텐트의 앱을 모바일 디바이스 등에 설치하고, 해당 앱을 통해 선호하는 컨텐트와 관련된 각종 정보를 수집할 수 있다. 또한 선호하는 컨텐트와 관련된 행사에 참여할 수 있다. 또한 실시간으로 컨텐트에 대한 자신의 의견을 자유게시판 또는 소셜네트워크서비스를 통해 업로드할 수 있다.
전자 디바이스(302)는 현재 전자 디바이스(302)에 시청각 컨텐트의 연동앱이 미 설치된 경우, 설치 여부를 질의하는 내용을 채팅창에 표시할 수 있다. 해당 질의에 대하여 사용자가 승인하는 내용을 채팅창에 입력하면 전자 디바이스(302)는 자동으로 앱 스토어로 연결하여 해당 연동 앱을 설치한다.
한편, 전자 디바이스(302)는 사용자가 연동 앱 실행을 승인하지 않은 경우, 해당 컨텐트의 홈페이지 주소를 채팅창에 표시할 수도 있다.
도 36는 부가 서비스의 일 예로 쿠폰 서비스를 제공하는 것을 나타내는 도면이다. 판매자들은 자신의 상품을 광고하기 위해 컨텐트 제공자와 제휴할 수 있으며, 광고의 일 예로 해당 컨텐트를 시청하는 시청자에게 상품의 쿠폰을 제공할 수 있다. 또는 시청률을 상승시키기 위해 컨텐트 제공자가 상품의 쿠폰을 제공할 수도 있다. 따라서, 전자 디바이스(302)는 관리 서버(300)로부터 쿠폰 서비스를 포함하는 부가 서비스를 수신하고, 메신저(303)의 채팅창을 통해 쿠폰 서비스를 표시할 수 있다.
또한, 도 36의 일 실시 예와 연관하여, 응모권 추첨의 서비스를 제공할 수도 있다. 구체적으로, 전자 디바이스(302)가 부가 서비스의 일 예로 현재 재생중인 컨텐트와 관련된 간단한 퀴즈를 채팅창에 표시하고 정답을 질의 할 수 있다. 사용자는 영상표시장치(100)에서 재생중인 컨텐트를 시청하면서 정답을 알 수 있다. 사용자가 정답을 입력하면, 자동으로 응모가 되며 추첨 결과를 전자 디바이스(302)가 채팅창을 통해 표시할 수 있다. 이 경우, 사용자가 해당 시청각 컨텐트에 집중 할 수 있고 고정적인 시청을 할 수도 있다. 결과적으로 본 실시 예는 시청률을 올리기 위한 일 마케팅 방법으로 활용될 수도 있다.
도 37은 부가 서비스의 일 예로 영상표시장치(100)에서 시청각 컨텐트에 삽입된 간접광고를 인식하여 구매 서비스를 제공하는 것을 나타내는 도면이다. 드라마 또는 예능 컨텐트는 일부 간접 광고를 포함할 수 있다. 간접 광고는 일반적인 광고와는 다르게 자연스러운 상황에서 유명 배우가 특정 제품을 사용하는 것을 시청자에게 노출시켜 해당 제품의 광고효과를 얻을 수 있다.
현재 시청중인 컨텐트가 드라마라고 가정하면, 재생 중인 드라마의 여주인공이 특정 브랜드의 가방을 메고 등장할 수 있다.
상술한 상황에 대한 일 실시 예에서, 영상표시장치(100)가 간접광고에서 노출되는 브랜드 로고를 추출하여 특징 정보로 활용할 수 있다. 추출된 브랜드 로고 정보를 관리서버(300)가 수신하면, 관리 서버(300)는 해당 로고 정보와 컨텐트 정보에 기초하여 구매에 관한 부가 서비스 정보를 획득할 수 있다. 예를 들면, 관리서버(300)는 전자 디바이스(302)에 해당 브랜드의 구매 사이트 주소를 제공하여 채팅창에 표시하게 할 수 있다. 또 다른 예를 들면, 해당 브랜드를 검색어로 전자 디바이스(302)에 설치된 구매앱에서 검색하게 할 수도 있다. 전자 디바이스(302)는 관리서버로부터 수신한 내용을 채팅창에 메신저(303)을 통해 표시하거나, 구매앱을 자동으로 실행할 수 있다.
또 다른 일 실시 예에서, 영상표시장치(100) 또는 관리서버(300)는 여주인공이 특정 브랜드를 메는 장면을 핑거프린트로 활용해 구매를 위한 부가 서비스를 획득할 수 있다. 예를 들면 컨텐트 제공 서버(10)가 여주인공이 특정 브랜드의 가방을 메고 있는 장면을 특징 정보로 설정하고, 영상표시장치(100)등이 해당 장면을 추출하여 특징 정보(핑거프린트)로 활용할 수 있다. 또 다른 예를 들면 컨텐트 제공 서버(10) 또는 컨텐트 인식 서비스 제공 서버(20)가 여주인공이 특정 브랜드 가방을 메고 있는 장면이 포함된 세그먼트에 워터마크를 삽입하는 방법을 통해 특징 정보를 제공할 수도 있다. 상술한 실시 예는 브랜드 로고를 추출하는 방법과 달리, 공식적으로 브랜드가 노출되지 않는 장면에서도 컨텐트 프로바이더와 판매자간의 제휴에 따라 활용할 수 있다.
도 38는 부가 서비스의 일 실시 예로 채팅 서비스를 제공하는 도면이다. 인기 컨텐트의 경우 많은 수의 시청자가 동시에 해당 컨텐트를 시청할 수 있다. 따라서, 메신저(303)에 등록된 친구들 중에도 현재 시청자가 시청중인 컨텐트를 시청하는 친구가 있을 수 있는 바, 해당 친구들로 구성된 별도의 채팅방을 구성하여 컨텐트를 시청하면서 대화를 나눌 수 있는 서비스를 제공한다.
구체적으로, 관리서버(300)에는 복수의 영상표시장치 및 전자 디바이스들이 연결될 수 있다. 또한 관리서버(300)는 각각의 영상표시장치별로 현재 시청중인 컨텐트 정보를 수신할 수 있다. 따라서 관리서버(300)는 현재 같은 컨텐트를 시청하고 있는 영상표시장치 및 해당 영상표시장치와 연결된 전자 디바이스(302) 정보를 획득할 수 있다.
만약, 관리서버(302)가 전자 디바이스(302)로부터 채팅 서비스 실행을 승인하는 입력을 수신하면, 획득한 정보에 기초하여 현재 시청중인 컨텐트를 시청하고 있는 다른 시청자의 정보를 전자 디바이스(302)에 전달한다. 전자 디바이스(302)는 획등한 시청자 목록을 채팅창에 표시한다. 시청자는 채팅창에 표시된 목록에 기초하여 채팅방에 초대할 친구를 결정할 수 있다.
또 다른 실시 예에서, 전자 디바이스(302)는 현재 컨텐트를 시청하지 않는 메신저 친구에게 시청 권유의 메시지를 보낼지 여부를 질의하는 내용을 채팅창에 표시할 수도 있다.
도 39는 부가 서비스의 일 실시 예로 레시피 정보를 제공하는 도면이다. 현재 영상표시장치(100)가 재생하는 컨텐트가 요리 프로그램일 수 있으며, 이 경우, 해당 요리에 관한 자세한 레시피를 시청자가 획득하기를 원할 수 있다. 따라서, 관리서버(300)가 획득한 요리 프로그램의 컨텐트 정보에 기초하여 레시피 정보를 포함하는 부가 서비스 정보를 획득하여 전자 디바이스(302)에 전달할 수 있다. 전자 디바이스(302)가 획득한 부가 서비스 정보는 간단한 레시피, 레시피 정보가 있는 사이트 주소 정보 및 레시피 제공 앱 접속 주소를 포함할 수 있다.
한편, 전자 디바이스(302)는 레시피 정보를 제공하면서, 같이 연결된 냉장고가 있다면 현재 냉장고가 보유하고 있는 식품 정보를 채팅창을 통해 함께 표시할 수 있다. 더하여, 오븐을 이용하는 레시피인 경우, 오븐을 예열할지 여부를 질의하는 내용을 채팅창을 통해 표시할 수 있다.
또 다른 실시 예에서, 영상표시장치(100)가 날씨관련 프로그램이 재생중인 것을 인식한 경우, 해당 컨텐트 정보에 기초하여 전자 디바이스(302)가 에어컨 제어를 위한 내용을 채팅창에 표시할 수 있다. 예를 들면, 시청자가 날씨 프로그램에서 내일 날씨가 매우 덥다는 정보를 획득하면, 채팅창을 통해 에어컨을 동작 시키는 내용을 입력하거나, 예약 설정을 입력할 수 있다. 또 다른 예를 들면, 현재 습도가 매우 높다는 정보를 시청자가 획득한 경우, 채팅창을 통해 제습기를 동작 시키는 내용을 입력할 수 있다.
본 실시 예를 통해 영상표시장치(100)로부터 획득한 날씨 정보를 즉각적으로 반영하여 가정에 있는 제품을 제어할 수 있다.
다시 도 33로 돌아온다.
전자 디바이스(302)는 상술한 각 실시 예들에 대응한 사용자의 제어 명령을 관리 서버(300)에 전송한다(S413). 전자 디바이스(302)는 제어 명령을 텍스트 형태로 전송할 수도 있다. 또한, 수신한 제어 명령이 음성 입력인 경우, 음성 입력을 그대로 전송하거나, 음성 입력을 텍스트 형태로 전환하여 전송할 수 있다.
관리서버(300)는 전자 디바이스(302)로부터 수신한 제어명령에 기초하여 영상표시장치 제어 신호를 생성한다(S415). 구체적으로, 관리서버(300)는 전자 디바이스(302)로부터 수신한 명령어에 대응하는 영상표시장치 제어 신호를 생성한다. 제어 신호는 관리 서버(300)에 기 저장되어 있을 수 있으며, 별도의 서버에 저장되어 관리서버(300)에 전송될 수도 있다.
또한 관리서버(300)는 전자 디바이스(302)로부터 수신한 제어 명령에 기초하여 영상표시장치(100)외 다른 가전 제품을 제어하는 신호를 생성할 수도 있다. 예를 들면, 레시피 정보를 전자 디바이스(302)에서 검색한 경우, 전자 디바이스(302)는 오븐 예열의 제어 명령을 관리 서버(300)로 전송할 수 있으며, 관리 서버(300)는 해당 제어 명령에 기초하여 오븐에 대한 제어 신호를 생성할 수 있다.
관리서버(300)는 생성한 제어신호를 영상표시장치(100)에 전달한다(S419). 예를 들면, 전자 디바이스(302)로부터 '다시 보기'의 제어 명령이 수신되면, 제어 명령에 따른 횟차를 재생하는 제어신호를 전달한다. 또한 단계 S415에서 상술한 바와 같이, 영상표시장치(100)외 다른 가전제품에 제어 신호를 전송할 수도 있다.
영상표시장치(100)를 관리서버(300)로부터 수신한 제어 신호에 기초하여 동작한다. 구체적으로 수신한 제어 신호에 대응하는 컨텐트를 수신하여 이를 표시할 수 있다. 또한, 영상표시장치(100)외 다른 가전 제품의 경우 제어 신호에 따른 고유의 동작을 수행할 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 영상 표시 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 전자 디바이스의 동작 방법에 있어서,
    제1 디바이스가 ACR(Automatic contents recognition) 기능을 통해 획득한 비압축 시청각 컨텐트 정보 및 부가 서비스를 획득하는 단계;
    상기 비압축 시청각 컨텐트 정보 및 부가 서비스를 상호 메시지 교환기능을 포함하는 제1 어플리케이션을 통해 출력하는 단계;
    상기 제1 어플리케이션을 통해 출력된 부가 서비스를 실행하는 실행 입력을 수신하는 단계; 및
    상기 수신된 실행 입력에 따라 부가 서비스를 실행하는 단계를 포함하는
    전자 디바이스 동작 방법.
  2. 제1항에 있어서,
    상기 부가 서비스를 실행하는 단계는
    상기 부가 서비스를 제어 하는 입력을 상기 제1 어플리케이션을 통해 수신하는 단계 및 상기 수신된 제어 입력을 제2 디바이스로 전송하는 단계를 포함하는
    전자 디바이스 동작 방법.
  3. 제2항에 있어서,
    상기 부가 서비스는 다시보기 서비스를 포함하며,
    상기 부가 서비스 제어 입력은 상기 비압축 시청각 컨텐트와 연관된 다른 시청각 컨텐트를 선택하는 컨텐트 선택 입력을 포함하는
    전자 디바이스 동작 방법.
  4. 제3항에 있어서,
    상기 선택 입력에 따라 선택된 컨텐트의 재생 시간을 예약하는 제1 예약 입력을 수신하는 단계를 더 포함하는
    전자 디바이스 동작 방법.
  5. 제2항에 있어서,
    상기 부가 서비스는 상기 비압축 시청각 컨텐트에 연동된 제2 어플리케이션을 실행하는 서비스를 포함하며,
    상기 부가 서비스 제어 입력은 상기 제2 어플리케이션을 실행하는 연동 어플리케이션 실행 입력 및 상기 제2 어플리케이션이 상기 전자 디바이스에 미 설치된 경우, 상기 제2 어플리케이션을 설치하는 연동 어플리케이션 설치 입력을 포함하는
    전자 디바이스 동작 방법.
  6. 제2항에 있어서,
    상기 부가 서비스는 상기 비압축 시청각 컨텐트로부터 추출한 상품 정보를 포함하며,
    상기 부가 서비스 제어 입력은 상기 상품 정보에 기초하여 구매 및 상품 검색 기능을 포함하는 제3 어플리케이션을 실행하는 구매 어플리케이션 실행 입력을 포함하는
    전자 디바이스 동작 방법.
  7. 제2항에 있어서,
    상기 부가 서비스는 채팅 서비스를 포함하며,
    상기 부가 서비스의 실행은, 상기 제1 어플리케이션에 현재 상기 비압축 시청각 컨텐트를 시청하고 있는 친구 목록을 출력하는 단계를 포함하고,
    상기 부가 서비스 제어 입력은 상기 비압축 시청각 컨텐트를 시청하는 친구 목록중 채팅에 초대할 친구를 선택하는 친구 선택 입력을 포함하는
    전자 디바이스 동작 방법.
  8. 제2항에 있어서,
    상기 부가 서비스는 상기 비압축 시청각 컨텐트에 연동하여 상기 제2 디바이스를 제어하는 서비스를 포함하며
    상기 부가 서비스를 제어하는 입력은 상기 제2 디바이스의 동작을 제어하는 동작 입력을 포함하는
    전자 디바이스 동작 방법.
  9. 제2항에 있어서,
    상기 부가 서비스는 제1 디바이스로부터 획득한 컨텐트 예고 정보에 기초한 시청 예약 서비스를 포함하고,
    상기 부가 서비스를 제어하는 입력은 상기 예고 정보에 대응하여 컨텐트의 시청 예약을 설정하는 제2 예약 입력을 포함하는
    전자 디바이스 동작 방법.
  10. 제9항에 있어서,
    상기 예약 설정에 기초하여, 시청 예약의 리마인더를 제1 어플리케이션을 통해 출력하는 단계를 더 포함하는
    전자 디바이스 동작 방법.
  11. 제1 디바이스가 ACR(Automatic contents recognition) 기능을 통해 획득한 비압축 시청각 컨텐트 정보 및 부가 서비스를 획득하는 무선 통신부;
    상기 무선 통신부를 통해 수신된 비압축 컨텐트 정보 및 부가 서비스를 상호 메시지 교환기능을 포함하는 제1 어플리케이션을 통해 출력하는 출력부;
    상기 출력부를 통해 출력된 부가 서비스를 실행하기위한 실행 입력을 수신하는 입력부; 및
    상기 입력부로부터 수신한 실행 입력에 따라 부가 서비스를 실행하는 제어부를 포함하는
    전자 디바이스.
  12. 제11항에 있어서,
    상기 입력부는 상기 부가 서비스를 제어하는 입력을 상기 제1 어플리케이션을 통해 수신하고,
    상기 제어부는 상기 입력부로부터 수신된 제어 입력을 제2 디바이스로 상기 무선통신부를 통해 전송하는
    전자 디바이스.
  13. 제12항에 있어서,
    상기 부가 서비스는 다시보기 서비스를 포함하며,
    상기 입력부는 상기 비압축 시청각 컨텐트와 연관된 다른 시청각 컨텐트를 선택하는 컨텐트 선택 입력을 상기 제1 어플리케이션을 통해 수신하는
    전자 디바이스.
  14. 제13항에 있어서,
    상기 입력부는 상기 선택 입력에 따라 선택된 컨텐트의 재생 시간을 예약하는 제1 예약 입력을 상기 제1 어플리케이션을 통해 수신하는
    전자 디바이스.
  15. 제12항에 있어서,
    상기 부가 서비스는 상기 비압축 시청각 컨텐트에 연동된 제2 어플리케이션을 실행하는 서비스를 포함하며,
    상기 입력부는 상기 제2 어플리케이션을 실행하는 연동 어플리케이션 실행 입력 및 상기 제2 어플리케이션이 미 설치된 경우, 상기 제2 어플리케이션을 설치하는 연동 어플리케이션 설치 입력을 상기 제1 어플리케이션을 통해 수신하는
    전자 디바이스.
  16. 제12항에 있어서,
    상기 부가 서비스는 상기 비압축 시청각 컨텐트로부터 추출한 상품 정보를 포함하며,
    상기 입력부는 상기 상품 정보에 기초하여 구매 및 상품 검색을 포함하는 제3 어플리케이션을 실행하는 구매 어플리케이션 실행 입력을 상기 제1 어플리케이션을 통해 수신하는
    전자 디바이스.
  17. 제12항에 있어서,
    상기 부가 서비스는 채팅 서비스를 포함하며,
    상기 출력부는 상기 제1 어플리케이션을 통해 현재 상기 비압축 시청각 컨텐트를 시청하고 있는 친구 목록을 출력하고,
    상기 입력부는 상기 비압축 시청각 컨텐트를 시청하는 친구 목록 중 채팅에 초대할 친구를 선택하는 친구 선택 입력을 상기 제1 어플리케이션을 통해 수신하는
    전자 디바이스.
  18. 제12항에 있어서,
    상기 부가 서비스는 상기 비압축 시청각 컨텐트에 연동하여 상기 제2 디바이스를 제어하는 서비스를 포함하며,
    상기 입력부는 상기 제2 디바이스의 동작을 제어하는 동작 입력을 상기 제1 어플리케이션을 통해 수신하는
    전자 디바이스.
  19. 제 12항에 있어서,
    상기 제1 어플리케이션을 통한 제어 입력은 문자 입력 및 음성 입력을 포함하는
    전자 디바이스.
  20. 제19항에 있어서,
    상기 제어부는,
    상기 제어 입력이 음성 입력인 경우, 상기 음성 입력을 문자 입력으로 변환하여 제2 디바이스로 전송하는
    전자 디바이스.
PCT/KR2015/010963 2014-11-10 2015-10-16 전자 장치 및 그 동작 방법 WO2016076541A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/525,895 US10587927B2 (en) 2014-11-10 2015-10-16 Electronic device and operation method thereof
EP15859679.1A EP3220652B1 (en) 2014-11-10 2015-10-16 Electronic device and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140155419A KR102199568B1 (ko) 2014-11-10 2014-11-10 전자 장치 및 그 동작 방법
KR10-2014-0155419 2014-11-10

Publications (1)

Publication Number Publication Date
WO2016076541A1 true WO2016076541A1 (ko) 2016-05-19

Family

ID=55954585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010963 WO2016076541A1 (ko) 2014-11-10 2015-10-16 전자 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US10587927B2 (ko)
EP (1) EP3220652B1 (ko)
KR (1) KR102199568B1 (ko)
WO (1) WO2016076541A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230126108A (ko) * 2022-02-22 2023-08-29 삼성전자주식회사 채팅룸 서비스를 제공하는 전자 장치 및 그 동작 방법
CN115175099B (zh) * 2022-06-29 2024-04-30 小米汽车科技有限公司 信息分享方法、装置、电子设备、可读存储介质及芯片

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130020874A (ko) * 2011-08-21 2013-03-04 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
KR20130135567A (ko) * 2012-06-01 2013-12-11 삼성전자주식회사 음성을 이용한 메시지 서비스 방법 및 장치
KR20140001690A (ko) * 2012-06-28 2014-01-07 서진철 모바일 직거래 마트 서비스 시스템 및 방법
US20140123204A1 (en) * 2012-01-05 2014-05-01 Lg Electronics Inc. Video display apparatus and operating method thereof
KR20140094629A (ko) * 2010-11-24 2014-07-30 엘지전자 주식회사 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020092021A1 (en) * 2000-03-23 2002-07-11 Adrian Yap Digital video recorder enhanced features
US7787439B1 (en) * 2000-05-26 2010-08-31 Bigband Networks Inc. Method and systems for providing enhanced television services
US20060031367A1 (en) * 2004-06-04 2006-02-09 John Buford Instant messaging and presence using virtual devices
KR100689380B1 (ko) * 2004-09-16 2007-03-02 삼성전자주식회사 개인 스케쥴 관리 기능과 방송 예약 기능을 구비하는단말의 스케쥴 관리 및 방송 예약 연동 방법 및 시스템
US8156131B2 (en) * 2007-08-27 2012-04-10 Schlumberger Technology Corporation Quality measure for a data context service
US20100077435A1 (en) * 2008-09-24 2010-03-25 Concert Technology System and method for smart trick mode display
US8458601B2 (en) * 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US9661371B2 (en) * 2011-05-24 2017-05-23 Lg Electronics Inc. Method for transmitting a broadcast service, apparatus for receiving same, and method for processing an additional service using the apparatus for receiving same
CN104137560B (zh) 2012-02-10 2018-07-24 Lg 电子株式会社 图像显示设备及其操作方法
US9002821B2 (en) * 2013-01-16 2015-04-07 Google Inc. Indexing application pages of native applications
WO2015135166A1 (en) * 2014-03-12 2015-09-17 Tencent Technology (Shenzhen) Company Limited Method and device for controlling peripheral devices via a social networking platform
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140094629A (ko) * 2010-11-24 2014-07-30 엘지전자 주식회사 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
KR20130020874A (ko) * 2011-08-21 2013-03-04 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US20140123204A1 (en) * 2012-01-05 2014-05-01 Lg Electronics Inc. Video display apparatus and operating method thereof
KR20130135567A (ko) * 2012-06-01 2013-12-11 삼성전자주식회사 음성을 이용한 메시지 서비스 방법 및 장치
KR20140001690A (ko) * 2012-06-28 2014-01-07 서진철 모바일 직거래 마트 서비스 시스템 및 방법

Also Published As

Publication number Publication date
EP3220652B1 (en) 2020-02-26
EP3220652A4 (en) 2018-08-08
US10587927B2 (en) 2020-03-10
KR102199568B1 (ko) 2021-01-07
KR20160055518A (ko) 2016-05-18
US20170318348A1 (en) 2017-11-02
EP3220652A1 (en) 2017-09-20

Similar Documents

Publication Publication Date Title
WO2012070901A2 (ko) 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치
WO2012070902A2 (ko) 영상 표시 장치 및 그 제어 방법
WO2012070903A2 (ko) 영상 표시 장치 및 그 제어 방법
WO2013119082A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2013133601A1 (en) Video display apparatus and operating method thereof
WO2013103273A1 (en) Video display apparatus and operating method thereof
WO2013027942A1 (en) Video display device, terminal device, and method thereof
WO2014007571A1 (en) Method and apparatus for processing digital service signals
WO2014129803A1 (en) Video display apparatus and operating method thereof
WO2014126422A1 (en) Video display apparatus and operating method thereof
WO2012081803A1 (ko) 영상표시기기의 애플리케이션 메뉴 제공 방법 및 그에 따른 영상표시기기
WO2015142016A1 (ko) 컨텐츠의 재생 제어 방법 및 이를 수행하기 위한 컨텐츠 재생 장치
WO2012067344A2 (ko) 웹브라우징 방법 및 그를 이용한 영상 표시 기기
WO2012030036A1 (en) Image display apparatus and method for operating the same
WO2012015117A1 (en) Method for operating image display apparatus
WO2012074189A1 (ko) 화면 표시 제어 방법 및 그를 이용한 영상 표시 기기
WO2011062385A2 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
WO2012026651A1 (en) Method for synchronizing contents and display device enabling the method
WO2012093767A2 (en) Method for providing remote control service and image display apparatus thereof
WO2014200248A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2012070789A2 (en) System, method and apparatus of providing/receiving service of plurality of content providers and client
WO2012070742A1 (ko) 애플리케이션 설치 방법 및 그를 이용한 영상 표시 기기
WO2012030025A1 (en) Image display apparatus and method for operating the same
WO2016171496A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2012030055A1 (en) Image display apparatus and image displaying method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15859679

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15525895

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015859679

Country of ref document: EP