KR20130020873A - 영상 표시 장치, 단말 장치 및 그 동작 방법 - Google Patents

영상 표시 장치, 단말 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20130020873A
KR20130020873A KR1020120063968A KR20120063968A KR20130020873A KR 20130020873 A KR20130020873 A KR 20130020873A KR 1020120063968 A KR1020120063968 A KR 1020120063968A KR 20120063968 A KR20120063968 A KR 20120063968A KR 20130020873 A KR20130020873 A KR 20130020873A
Authority
KR
South Korea
Prior art keywords
display device
video display
additional service
terminal device
content
Prior art date
Application number
KR1020120063968A
Other languages
English (en)
Other versions
KR101995425B1 (ko
Inventor
문경수
정재희
이현재
김진필
지애띠
김경호
김상현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP12826076.7A priority Critical patent/EP2745528B1/en
Priority to CA2846052A priority patent/CA2846052C/en
Priority to PCT/KR2012/006208 priority patent/WO2013027941A1/en
Priority to CN201280045048.3A priority patent/CN103814579B/zh
Priority to US13/567,620 priority patent/US9113188B2/en
Publication of KR20130020873A publication Critical patent/KR20130020873A/ko
Priority to US14/554,687 priority patent/US9948972B2/en
Priority to US14/790,952 priority patent/US9723349B2/en
Application granted granted Critical
Publication of KR101995425B1 publication Critical patent/KR101995425B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4367—Establishing a secure communication between the client and a peripheral device or smart card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4753—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for user identification, e.g. by entering a PIN or password
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

단말 장치는 영상 표시 장치가 재생하는 시청각 컨텐트의 일부를 획득하고, 획득한 시청각 컨텐트의 일부에 기초하여 시청각 컨텐트의 컨텐츠 정보를 획득한다. 단말 장치는 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득하고, 이용가능한 부가 서비스를 재생한다.

Description

영상 표시 장치, 단말 장치 및 그 동작 방법{VIDEO DISPLAY DEVICE, TERMINAL DEVICE AND OPERATING METHOD THEREOF}
본 발명은 영상 표시 장치, 단말 장치 및 그 동작 방법에 관한 것이다.
디지털 방송이 활성화됨에 따라, 방송국은 메인 시청각 컨텐트를 송출하면서, 이 메인 시청각 컨텐트와 연계하여 이용할 수 있거나 이 메인 시청각 컨텐트와는 독립적인 부가 서비스 데이터(enhanced service data)를 함께 송출한다.
그러나 현재의 방송 환경에서는 각 가정의 영상 표시 장치가 방송 신호를 공중파를 통해 직접 수신하는 경우가 적다. 오히려, 각 가정의 영상 표시 장치는 셋톱박스와 같은 방송 수신 장치에 연결되어 있어서, 이 방송 수신 장치가 제공하는 비압축 시청각 컨텐트를 재생하는 경우가 많다.
한편, 방송 수신 장치는 멀티채널 비디오 분배자(multichannel video programming distributor, MVPD)라고 불리는 서버로부터 컨텐츠를 제공받는다. 이 멀티채널 비디오 분배자는 방송국으로부터 방송 신호를 수신하고 수신한 방송 신호로부터 컨텐츠를 추출한 후, 자신이 송출하기에 적합한 형태의 신호로 변환하여 변환된 신호를 방송 수신 장치에 제공한다. 이 과정에서, 멀티채널 비디오 분배자는 추출한 부가 서비스 데이터를 제외할 수도 있고, 또 다른 부가 서비스 데이터를 추가할 수도 있기 때문에, 방송국은 시청각 컨텐츠를 제공하는 역할만 수행할 뿐 방송국 주도의 부가 서비스를 제공할 수 없다.
방송 수신 장치 또한 멀티채널 비디오 분배자로부터 수신한 신호로부터 메인 시청각 데이터를 추출하여 비압축 시청각 데이터만을 영상 표시 장치에게 제공하므로, 방송 수신 장치 통제하의 부가 서비스만이 이용가능할 뿐, 영상 표시 장치 통제하의 부가 서비스는 이루어 질 수 없다. 이는 더더욱 방송국이 자기 주도의 부가 서비스를 제공할 수 없게 한다.
뿐만 아니라, 방송국이 무선 채널을 통해 부가 서비스를 제공하더라도, 대역폭의 한계로 충분한 부가 서비스를 제공할 수 없다.
또한, 방송국 주도의 부가 서비스가 제공될 때, 영상 표시 장치의 디스플레이부의 일부에 부가 서비스가 표시되므로, 사용자의 컨텐츠 시청에 불편이 유발될 수 있다.
본 발명은 사용자의 컨텐츠 시청에 불편을 유발하지 않으면서도 방송국 주도의 부가 서비스를 가능하게 하는 영상 표시 장치, 단말 장치와 이들의 동작 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 단말 장치의 동작 방법은 상기 영상 표시 장치가 재생하는 시청각 컨텐트의 일부를 획득하는 단계; 상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트의 컨텐츠 정보를 획득하는 단계; 상기 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득하는 단계; 및 상기 이용가능한 부가 서비스를 재생하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 단말 장치는 디스플레이부; 카메라; 마이크; 인터넷 프로토콜(internet protocol, IP) 기반 네트워크와 통신하는 제1 통신부; 상기 영상 표시 장치와 통신하는 제2 통신부; 및 제어부를 포함하고, 상기 제어부는 상기 영상 표시 장치가 재생하는 시청각 컨텐트의 일부를 상기 카메라 또는 상기 마이크 또는 상기 제2 통신부를 통해 획득하고, 상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트의 컨텐츠 정보를 획득하고, 상기 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 상기 제1 통신부를 통해 획득하고, 상기 이용가능한 부가 서비스를 상기 디스플레이부에 재생한다.
본 발명의 또 다른 실시예에 따라 디스플레이부를 포함하는 영상 표시 장치의 동작 방법은 단말 장치와 페어링을 수행하는 단계; 시청각 컨텐트를 획득하는 단계; 상기 디스플레이부를 통해 상기 시청각 컨텐트를 재생하는 단계; 및 상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트를 위한 이용가능한 부가 서비스를 획득하는 상기 단말 장치로부터, 상기 이용가능한 부가 서비스를 획득하는 단계를 포함한다.
본 발명의 실시예는 컨텐츠 시청에 불편을 유발하지 않으면서도 방송국 주도의 서비스를 가능하게 한다.
또한, 본 발명의 실시예는 부가 서비스의 제어 기능만을 단말 장치에 이전하여, 사용자가 단말 장치의 다양한 입력 장치를 통해 영상 표시 장치 내의 부가 서비스를 제어할 수 있도록 한다.
뿐만 아니라, 본 발명의 실시예는 무선 채널의 대역폭의 한계를 넘는 부가 서비스를 가능하게 한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
도 53은 본 발명의 실시예에 따른 페어링 절차를 보여주는 래더 다이어그램이다.
도 54는 본 발명의 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 55는 본 발명의 실시예에 따른 인증 번호 입력 창을 보여준다.
도 56은 본 발명의 실시예에 따른 ACR 제어 방법을 보여주는 래더 다이어그램이다.
도 57은 본 발명의 일 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어 그램이다.
도 58은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어 그램이다.
도 59는 본 발명의 일 실시예에 따른 부가 서비스 알림 UI를 디스플레이하는 단말 장치의 전면도이다.
도 60은 본 발명의 또 다른 실시예에 따른 부가 서비스 알림 UI를 디스플레이하는 단말 장치의 전면도이다.
도 61은 본 발명의 또 다른 실시예에 따른 부가 서비스 알림 UI를 디스플레이하는 단말 장치의 전면도이다.
도 62는 본 발명의 일 실시예에 따른 부가 서비스가 실행된 단말 장치의 전면도이다.
도 63은 본 발명의 또 다른 실시예에 따른 부가 서비스가 실행된 영상 표시 장치와 단말 장치를 보여준다.
도 64는 본 발명의 또 다른 실시예에 따른 부가 서비스가 실행된 단말 장치의 전면도이다.
도 65는 본 발명의 또 다른 실시예에 따른 부가 서비스가 실행된 단말 장치의 전면도이다.
도 66은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
도 67은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
도 68은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
도 69은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
도 70은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
도 71은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
도 72는 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
도 73은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 74은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 75은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 76은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 77은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 78은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 79은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 80은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 81은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 82은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 디스플레이부의 상부 전면도이다.
도 83은 본 발명의 실시예에 따라 IP 기반 네트워크를 통해 애플리케이션 정보 테이블(application information table, AIT)을 획득하는 방법을 도시한 흐름도이다.
도 84는 본 발명의 한 실시예에 따른 SD&S 정보의 구조를 보여준다.
도 85는 본 발명의 또 다른 실시예에 따른 SD&S 정보의 구조를 보여준다.
도 86는 본 발명의 한 실시예에 따른 SD&S 정보의 구조를 보여준다.
도 87은 본 발명의 실시예에 따라 방송 네트워크를 통해 이용가능한 부가 서비스의 정보를 획득하는 방법을 보여주는 흐름도이다.
도 88은 본 발명의 또 다른 실시예에 따른 부가 서비스 제공 방법을 보여주는 래더 다이어그램이다.
도 89는 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 90은 본 발명의 실시예에 따른 컨텐츠 정보 보여주기 서비스를 실행하는 단말 장치의 전면도이다.
도 91은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 방법을 보여주는 래더 다이어그램이다.
도 92은 본 발명의 실시예에 따라 부가 서비스를 영상 표시 장치에 제공할 지를 사용자에게 질의하는 UI를 디스플레이하는 단말 장치의 전면도이다.
도 93은 부가 서비스를 단말 장치로부터 수신하여 실행하는 영상 표시 장치의 전면도이다.
도 94는 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 95은 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 96는 본 발명의 일 실시예와 관련된 단말 장치의 블록 구성도(block diagram)이다.
이하, 본 발명과 관련된 실시예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "엔진", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
다음은 도 1 내지 도 9를 참고하여 본 발명의 일 실시예에 따른 네트워크 토폴로지를 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60), 네트워크(70), 영상 표시 장치(100), 및 단말 장치(400)를 포함한다.
컨텐츠 제공 서버(10)는 방송국 등에 해당할 수 있으며, 메인 시청각 컨텐트(main audio-visual content)를 포함하는 방송 신호를 방송한다. 방송 신호는 부가 서비스를 더 포함할 수 있다. 부가 서비스는 메인 시청각 컨텐트와 관련이 있을 수도 있고, 관련이 없을 수도 있다. 부가 서비스는 서비스 정보(service information), 메타데이터(metadata), 부가 데이터, 컴파일된 실행 파일, 웹 애플리케이션, HTML(Hypertext Markup Language) 문서, XML 문서, CSS(cascading style sheet) 문서, 오디오 파일, 비디오 파일, ATSC 2.0 컨텐트, URL(Uniform Resource Locator)과 같은 주소 등의 형태를 가질 수 있다. 하나 이상의 컨텐츠 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 영상 표시 장치(100)가 메인 시청각 컨텐트에 기초하여 컨텐트를 인식할 수 있게 하는 컨텐트 인식 서비스를 제공한다. 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 수정을 가할 수도 있고 수정을 가하지 않을 수도 있다. 하나 이상의 컨텐츠 인식 서비스 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하는 워터마크 서버일 수 있다. 이 워터마크 서버는 메인 시청각 컨텐트의 각 프레임의 왼쪽 상단 또는 오른쪽 상단에 컨텐츠 제공자의 로고를 워터마크할 수 있다.
또, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하는 워터마크 서버일 수 있다.
또한, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트의 일부의 프레임 또는 일부의 오디오 샘플로부터 특징 정보를 추출하여 저장하는 핑거프린트 서버일 수 있다. 이 특징 정보는 시그너처라고도 불린다.
멀티채널 비디오 분배 서버(30)는 복수의 방송국으로부터 방송 신호를 수신하고 다중화하여 다중화된 신호를 방송 수신 장치(60)에 제공한다. 특히, 멀티채널 비디오 분배 서버(30)는 수신한 방송 신호에 대해 복조와 채널 복호화를 수행하여 메인 시청각 컨텐트와 부가 서비스를 추출한 후, 추출된 메인 시청각 컨텐트와 추출한 부가 서비스에 대해 채널 부호화를 수행하여 분배를 위한 다중화 신호를 생성할 수 있다. 이때, 멀티채널 비디오 분배 서버(30)는 추출한 부가 서비스를 제외할 수도 있고, 또 다른 부가 서비스를 추가할 수도 있기 때문에, 방송국은 방송국 주도의 서비스를 제공할 수 없다. 하나 이상의 멀티채널 비디오 분배 서버가 존재할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고, 튜닝한 채널의 신호를 수신하고, 수신한 신호에 대해 복조와 채널 복호를 수행하여 메인 시청각 컨텐트를 추출한다. 그리고 방송 수신 장치(60)는 추출한 메인 시청각 컨텐트를 H.264/MPEG-4 AVC(Moving Picture Experts Group-4 advanced video coding), Dolby AC-3, MPEG-2 AAC (Moving Picture Experts Group-2 Advanced Audio Coding) 알고리즘 등을 이용하여 복호하여 비압축 메인 시청각 컨텐트(uncompressed main AV content)를 생성한다. 방송 수신 장치(60)는 생성한 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)의 외부 입력 포트 등을 통해 영상 표시 장치(100)에 제공한다.
부가 서비스 정보 제공 서버(40)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐트와 관련된 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 제공한다. 부가 서비스 정보 제공 서버(40)와 영상 표시 장치(100)는 네트워크(70)를 통해 통신할 수 있다. 하나 이상의 부가 서비스 주소 제공 서버가 존재할 수 있다. 부가 서비스 정보 제공 서버(40)는 복수의 이용가능한 부가 서비스 중에서 가장 우선순위가 높은 부가 서비스를 위한 부가 서비스 정보를 제공할 수도 있다.
부가 서비스 제공 서버(50)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공한다. 하나 이상의 부가 서비스 제공 서버가 존재할 수 있다. 부가 서비스 제공 서버(50)와 영상 표시 장치(100)는 네트워크(70)를 통해 통신할 수 있다.
네트워크(70)는 IP 기반 네트워크일 수 있다.
영상 표시 장치(100)는 텔레비전, 노트북, 핸드폰, 스마트폰 등과 같이 디스플레이부를 가지는 장치일 수 있다. 영상 표시 장치(100)는 방송 수신 장치(60)로부터 비압축 메인 시청각 컨텐트를 외부 입력 포트를 통해 수신할 수도 있고, 컨텐츠 제공 서버(10) 또는 멀티채널 비디오 분배 서버(30)로부터 부호화된 메인 시청각 컨텐트를 포함하는 방송 신호를 방송 네트워크를 통해 수신할 수 도 있다. 영상 표시 장치(100)는 네트워크(70)를 통해 컨텐츠 인식 서비스 제공 서버(20)로부터 컨텐츠 인식 서비스를 제공받을 수 있고, 네트워크(70)를 통해 부가 서비스 정보 제공 서버(40)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스의 주소를 받을 수 있으며, 네트워크(70)를 통해 부가 서비스 제공 서버(50)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공받을 수 있다.
단말 장치(400)는 노트북, 핸드폰, 스마트폰 등과 같이 이동 단말 장치이거나 또 다른 영상 표시 장치일 수 있다.
컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50) 중 2 이상은 하나의 서버의 형태로 결합될 수도 있고, 한 사업자에 의해 운영될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)를 더 포함한다.
도 2에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 삽입한다. 멀티채널 비디오 분배 서버(30)는 변형된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신하여 분배한다. 특히, 워터마크 서버는 이하에서 설명하는 바와 같은 디지털 워터마킹 기술을 이용할 수 있다.
디지털 워터마크는 삭제하기 어려운 방법으로 디지털 신호에 정보를 삽입하는 프로세스이다. 예를 들면, 디지털 신호는 오디오, 사진, 또는 비디오일 수 있다. 이 디지털 신호가 복사되면, 삽입된 정보 또한 복사본에 담아진다. 한 디지털 신호가 동시에 다른 여러 개의 워터마크를 운반할 수 있다.
보이는 워터마킹(visible watermarking)에서, 삽입되는 정보는 사진 또는 비디오에서 눈으로 식별가능하다. 전형적으로, 삽입된 정보는 미디어의 소유자를 식별하는 텍스트 또는 로고이다. 텔레비전 방송국이 자신의 로고를 전송되는 비디오의 코너에 추가하면, 이것이 눈으로 식별가능한 워터마크이다.
눈으로 식별 불가능한 워터마킹(invisible watermarking)에서, 정보는 디지털 데이터로서 오디오, 사진, 또는 비디오에 추가되지만, 일정 량의 정보가 숨겨져 있다는 사실은 감지할 수 있다하더라도 그러한 정보는 인지할 수는 없다. 이러한 눈으로 식별불가능한 워터마킹을 통해 비밀 메시지가 전달될 수도 있다.
워터마킹의 한 응용은 디지털 미디어의 불법 복제를 막기 위한 저작권 보호 시스템에 있다. 예컨데, 복제 장치는 디지털 미디어의 복제 전에 디지털 미디어로부터 워터마크를 얻고, 워터마크의 내용에 기초하여 복제를 할지 말지를 결정할 수 있다.
워터마킹의 또 다른 응용은 디지털 미디어의 출처 추적에 있다. 배포 경로 상의 각 지점에서 워터마크가 디지털 미디어에 임베딩된다. 나중에 이와 같은 디지털 미디어가 발견된다면, 이 디지털 미디어로부터 워터마크가 추출될 수 있고, 워터마크의 내용으로부터 배포의 출처를 파악할 수 있다.
디지털 미디어에 대한 설명이 눈으로 식별불가능한 워터마킹의 또 다른 응용이다.
디지털 미디어를 위한 파일 포멧이 메타데이터라고 불리는 추가적인 정보를 포함할 수 있는데, 디지털 워터마크는 디지털 미디어의 시청각 신호 자체로 전달된다는 점에서 메타데이터와는 구별된다.
워터마킹 방법으로 스프레드 스펙트럼, 양자화, 앰플리튜드 변조가 있다.
마킹되는 신호가 추가적인 수정에 의해 얻어진다면, 워터마킹 방법은 스프레드 스펙트럼에 해당한다. 스프레드 스펙트럼 워터마크는 꽤 강인하다고 알려져 있지만, 워터마크가 임베딩되는 호스트 신호에 간섭을 주기 때문에 많은 정보가 실리지는 않는다.
마킹되는 신호가 양자화에 의해 얻어진다면, 워터마킹 방법은 양자화 타입에 해당한다. 양자화 워터마크는 강인성은 낮지만, 꽤 많은 정보를 실을 수 있다.
마킹되는 신호가 공간 도메인에서 스프레드 스펙트럼과 유사한 추가 수정 방법으로 얻어진다면, 워터마킹 방법은 앰플리튜드 변조에 해당한다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S100). 연동 애플리케이션이 실행되면, 단말 장치(400)는 영상 표시 장치(100)와 연동하는 동작을 수행할 수 있다.
영상 표시 장치(100)와 단말 장치(400)는 페어링을 수행하여 페이링 세션을 형성한다(S101). 구체적인 페어링 과정은 후술한다.
이후, 영상 표지 장치(100)와 단말 장치(400)는 페어링 세션을 통해 ACR 제어를 수행한다(S102). 구체적인 ACR 제어 과정은 후술한다.
컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S103).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S104).
보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 워터마크 용도는 무단 복제 방지, 시청률 조사, 부가 서비스 획득 중 하나를 나타낼 수 있다.
컨텐츠 정보는 메인 시청각 컨텐트를 제공하는 컨텐츠 제공자의 식별 정보, 메인 시청각 컨텐트 식별 정보, 메인 시청각 컨텐트 등급 정보, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보, 메인 시청각 컨텐트가 방송되는 채널의 이름, 메인 시청각 컨텐트가 방송되는 채널의 로고, 메인 시청각 컨텐트가 방송되는 채널의 설명, 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간, 메인 시청각 컨텐트와 관련하여 이용가능한 부가 서비스 정보 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 워터마크를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 이용된 워터마크가 내삽(embedding)된 컨텐트 구간의 시간 정보일 수 있다. 영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 핑거프린트를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 특징 정보가 추출된 컨텐트 구간의 시간 정보일 수 있다. 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시작 시간, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 지속 시간(duration), 컨텐츠 정보 획득에 사용된 컨텐트 구간의 종료 시간 중 하나 이상을 포함할 수 있다.
이용 정보 보고 주소는 메인 시청각 컨텐트 시청 정보 보고 주소, 부가 서비스 이용 정보 보고 주소 중 하나 이상을 포함할 수 있다. 이용 정보 보고 주기는 메인 시청각 컨텐트 시청 정보 보고 주기, 부가 서비스 이용 정보 보고 주기 중 하나 이상을 포함할 수 있다. 이용 정보 획득을 위한 최소 이용 시간은 메인 시청각 컨텐트 시청 정보 획득을 위한 최소 시청 시간, 부가 서비스 이용 정보 추출을 위한 최소 사용 시간 중 하나 이상을 포함할 수 있다.
메인 시청각 컨텐트가 최소 시청 시간 이상 시청된 경우에 기초하여 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 정보를 획득하고, 메인 시청각 컨텐트 시청 정보 보고 주기에서 메인 시청각 컨텐트 시청 정보 보고 주소로 추출한 시청 정보를 보고할 수 있다.
부가 서비스가 최소 사용 시간 이상 사용된 경우에 기초하여 영상 표시 장치(100)는 부가 서비스 이용 정보를 획득하고, 부가 서비스 이용 정보 보고 주기에서 부가 서비스 이용 정보 보고 주소로 추출한 이용 정보를 보고할 수 있다.
부가 서비스 정보는 부가 서비스가 존재하는지에 대한 정보, 부가 서비스 주소 제공 서버 주소, 각각의 이용가능한 부가 서비스의 획득 경로, 각각의 이용가능한 부가 서비스를 위한 주소, 각각의 이용가능한 부가 서비스의 시작 시간, 각각의 이용가능한 부가 서비스의 종료 시간, 각각의 이용가능한 부가 서비스의 수명 주기(lifetime), 각각의 이용가능한 부가 서비스의 획득 모드, 각각의 이용가능한 부가 서비스 위한 요청 주기, 각각의 이용가능한 부가 서비스의 우선 순위 정보, 각각의 이용가능한 부가 서비스의 설명, 각각의 이용가능한 부가 서비스의 항목(category), 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간 중 하나 이상을 포함할 수 있다.
이용가능한 부가 서비스의 획득 경로는 IP(internet protocol) 기반 네트워크 또는 ATSC M/H(Advanced Television Systems Committee - Mobile/Handheld) 채널을 나타낼 수 있다. 이용가능한 부가 서비스의 획득 경로가 ATSC M/H인 경우에, 부가 서비스 정보는 주파수 정보, 채널 정보를 더 포함할 수 있다. 각각의 이용가능한 부가 서비스의 획득 모드는 Push 또는 Pull을 나타낼 수 있다.
한편, 워터마크 서버(21)는 메인 시청각 컨텐트의 로고에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입할 수 있다.
예컨데, 워터마크 서버(21)는 로고의 일정 위치에 바코드를 삽입할 수 있다. 이때 로고의 일정 위치는 로고가 디스플레이되는 구역의 하단 1 라인에 해당할 수 있다. 영상 표시 장치(100)는 이와 같이 바코드가 삽입된 로고를 포함하는 메인 시청각 컨텐트를 수신하는 경우에, 바코드를 디스플레이하지 않을 수 있다.
또한, 워터마크 서버(21)는 로고의 메타데이터 형태로 워터마크 정보를 삽입할 수 있다. 이때 로고의 형상은 유지될 수 있다.
또한, 워터마크 서버(21)는 M개의 프레임의 로고의 각각에 N 비트의 워터마크 정보를 삽입할 수 있다. 즉, 워터마크 서버(21)는 M개의 프레임을 통해 M*N개의 워터마크 정보를 삽입할 수 있다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S105). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S106).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S107).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 방송 신호를 전송할 수도 있다(S108).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S109).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S111). 이 제1 응답은 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
워터마크 정보와 제1 응답이 부가 서비스 주소를 포함하고 있지 않다면, 영상 표시 장치(100)는 부가 서비스을 획득할 수 없다. 그러나 워터마크 정보와 제1 응답이 부가 서비스 주소 제공 서버 주소를 포함할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보와 제1 응답을 통해 부가 서비스 주소나 부가 서비스를 획득하지 못하였고 부가 서비스 주소 제공 서버 주소를 획득하였다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S119).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S121).
이처럼, 일 실시예에서, 영상 표시 장치(100)는 워터마킹된 시청각 컨텐트의 워터마킹 정보로부터 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보에 기초하여 질의/응답을 통해 이용가능한 부가 서비스의 정보를 획득할 수 있다.
한편, 또 다른 실시예에서, 영상 표시 장치(100)는 컨텐츠 제공 서버(10)로부터 방송 네트워크(broadcast network)를 통해 이용가능한 부가 서비스의 정보를 획득할 수 있다. 방송 네트워크는 DVB-T, DVB-S 또는 DVB-C와 같은 물리 레이어를 통해 MPEG-2 트랜스포트 스트림에 기초한 방송 기술을 사용한 네트워크일 수 있다. 방송 네트워크를 통한 부가 서비스 정보 획득은 후술한다.
또 다른 실시예에서, 영상 표시 장치(100)는 서비스 탐색 및 선택(Service discovery and selection, SD&S)에 기초하여 IP 기반 네트워크를 통해 이용가능한 부가 서비스의 정보를 획득할 수 있다. IP 기반 네트워크를 통한 부가 서비스 정보 획득은 후술한다.
또 다른 실시예에서, 단말 장치(400)는 영상 표시 장치(100)가 재생하는 시청각 컨텐트를 캡처하고, 캡처한 시청각 컨텐트의 워터마킹 정보로부터 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보를 영상 표시 장치(100)에 제공할 수 있다. 영상 표시 장치(100)는 단말 장치(400)로부터 획득한 컨텐츠 정보에 기초하여 질의/응답을 통해 이용가능한 부가 서비스의 정보를 획득할 수 있다.
영상 표시 장치(100)는 워터마크 정보, 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S123), 부가 서비스를 획득한다(S125).
이후, 영상 표시 장치(100)와 단말 장치(400)는 페어링 세션을 통해 또는 push notification mechanism을 통해 장치간 상호 연동 과정을 수행한다(S127). 이 장치간 상호 연동 과정과 puch notification mechanism은 구체적으로 후술한다.
단말 장치(400)는 부가서비스 제공 서버(500)와 부가서비스 상호 연동 과정을 수행한다(S129). 단말 장치(400)는 상호 연동 과정에 따라 부가서비스 제공 서버(500)와 부가서비스 상호 연동 과정을 수행할 수 있다. 이 부가서비스 상호 연동 과정은 구체적으로 후술한다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 4에 도시된 바와 같이, 방송 수신 장치(60)가 턴온되고 채널을 튜닝하고, 영상 표시 장치(100)가 외부 입력 포트(111)를 통해 방송 수신 장치(60)로부터 튜닝된 채널의 메인 시청각 컨텐트를 수신하면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 제공자 식별자(또는 방송국 식별자)를 감지할 수 있다. 이후, 영상 표시 장치(100)는 감지한 컨텐츠 제공자 식별자에 기초하여 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 정보를 감지할 수 있다.
이때, 도 4에 도시된 바와 같이, 컨텐츠 제공자 식별자의 감지가능 주기와 컨텐츠 정보의 감지가능 주기는 다를 수 있다. 특히, 컨텐츠 제공자 식별자의 감지가능 주기는 컨텐츠 정보의 감지가능 주기보다 짧을 수 있다. 이를 통해, 영상 표시 장치(100)는 필요한 정보만을 감지하기 위한 효율적인 구성을 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 핑거프린트 서버(22)를 더 포함한다.
도 5에 도시된 바와 같은 핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S200). 연동 애플리케이션이 실행되면, 단말 장치(400)는 영상 표시 장치(100)와 연동하는 동작을 수행할 수 있다.
영상 표시 장치(100)와 단말 장치(400)는 페어링을 수행하여 페이링 세션을 형성한다(S201). 구체적인 페어링 과정은 후술한다.
이후, 영상 표지 장치(100)와 단말 장치(400)는 페어링 세션을 통해 ACR 제어를 수행한다(S202).
컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S203).
핑거프린트 서버(22)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트의 복수의 프레임 구간 또는 복수의 오디오 구간으로부터 복수의 특징 정보를 추출하며, 복수의 특징 정보에 각각 대응하는 복수의 질의 결과를 위한 데이터베이스를 구축한다(S204). 질의 결과는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
MVPD(30)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S205). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S206).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S207).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S208).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S213).
영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송한다(S215).
핑거프린트 서버(22)는 제1 질의에 대한 제1 응답으로서 질의 결과를 제공한다(S217). 만약 제1 응답이 실패에 해당한다면, 영상 표시 장치(100)는 또 다른 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송할 수 있다.
핑거프린트 서버(22)는 질의 결과로서 XML (Extensible Markup Language) 문서를 제공할 수 있다. 질의 결과를 담는 XML 문서의 예를 도 7과 표 1을 참고하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 7에 도시된 바와 같이, 질의 결과를 담는 ACR-Resulttype은 ResultCode 속성과 ContentID, NTPTimestamp, SignalingChannelInformation, ServiceInformation 엘리먼트를 갖는다.
예컨데, ResultCode 속성이 200의 값을 가지면, 이는 질의 결과가 성공임을 의미할 수 있다. ResultCode 속성이 404의 값을 가지면, 이는 질의 결과가 실패임을 의미할 수 있다.
SignalingChannelInformation 엘리먼트는 SignalingChannelURL 엘리먼트를 갖고, SignalingChannelURL 엘리먼트는 UpdateMode, PollingCycle 속성을 갖는다. UpdateMode 속성은 Pull 값 또는 Push 값을 가질 수 있다.
ServiceInformation 엘리먼트는 ServiceName, ServiceLogo, ServiceDescription 엘리먼트를 갖는다.
표 1은 이와 같은 질의 결과를 담는 ACR-ResultType의 XML Schema를 보여준다.
Figure pat00001
ContentID 엘리먼트로서, 아래의 표 2에서 보여주는 바와 같은 ATSC 컨텐트 식별자(ATSC content identifier)가 이용될 수 있다.
Figure pat00002
표 2에서 보여지는 바와 같이, ATSC content identifier는 TSID와 하우스 번호로 구성된 구조를 가진다.
16 비트 부호없는 정수 TSID는 트랜스포트 스트림 식별자(transport stream identifier)를 담는다(carry).
5 비트 부호 없는 정수 end_of_day는 방송이 끝나서 content_id 값이 재사용될 수 있는 날의 시(hour)로 셋팅된다.
9 비트 부호 없는 정수 unique_for는 content_id 값이 재사용될 수 없는 날의 수(the number of day)로 설정된다.
content_id는 컨텐트 식별자를 나타낸다. 영상 표시 장치(100)는 매일 end_of_day에 해당하는 시간에서 unique_for를 1씩 감소시키고, unique_for가 0이 되지 않았다면 content_id가 유일한 것이라고 간주할 수 있다.
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC-M/H service를 위한 글로벌 서비스 식별자(Global Service Identifier)가 이용될 수 있다.
글로벌 서비스 식별자는 다음과 같은 폼을 갖는다.
- urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 "0"이다. <serviceid> 는 <major>나 <minor>로 정의된다. <major> 는 메이저 채널 번호(Major Channel number)를 나타내고, <minor> 마이너 채널 번호(Minor Channel Number)를 나타낸다.
글로벌 서비스 식별자의 예는 아래와 같다.
- urn:oma:bcast:iauth:atsc:service:us:1234:5.1
- urn:oma:bcast:iauth:atsc:service:us:0:100.200
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC 컨텐트 식별자가 이용될 수 있다.
ATSC 컨텐트 식별자는 다음과 같은 폼을 갖는다.
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, "."<serviceid>가 뒤따를 수 있다. 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 <serviceid>이다. <content_id> 는 표 2에 정의되어 있는 content_id field의 base64 부호이고, <unique_for> 는 표 2에 정의되어 있는 unique_for field의 십진수 부호이며, <end_of_day> 는 표 2에 정의되어 있는 end_of_day field의 십진수 부호이다.
이하에서는 다시 도 6을 설명한다.
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S219).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S221).
영상 표시 장치(100)는 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S223), 부가 서비스를 획득한다(S225).
UpdateMode 속성이 Pull 값을 가지는 경우, 영상 표시 장치(100)는 SignalingChannelURL을 통해 HTTP request를 부가서비스 제공 서버(50)에 전송하여 이에 대한 응답으로 PSIP 바이너리 스트림을 포함하는 HTTP response를 부가서비스 제공 서버(50)로부터 수신한다. 이 경우 영상 표시 장치(100)는 PollingCycle 속성으로 지정되는 Polling 주기에 따라 HTTP request를 전송할 수 있다. 또한, SignalingChannelURL 엘리먼트는 업데이트 시간 속성을 가질 수도 있다. 이 경우, 영상 표시 장치(100)는 업데이트 시간 속성으로 지정되는 업데이트 시간에서 HTTP request를 전송할 수 있다.
UpdateMode 속성이 Push 값을 가지는 경우, 영상 표시 장치(100)는 XMLHTTPRequest API 를 활용하여 비동기적으로 서버로부터 업데이트를 수신할 수 있다. 영상 표시 장치(100)가 서버로 XMLHTTPRequest object를 통해 비동기적인 request를 한 후에 서버가 시그널링 정보에 변경이 있을 경우에 이 채널을 통해 response로 시그널링 정보를 제공하는 방안이다. 세션의 대기 시간에 제한이 있을 경우에는 session timeout respond를 발생시키고, 바로 수신기는 이를 인지하여 재요청하여서 수신기와 서버간의 시그널링 채널을 항시 유지할 수 있다.
이후, 영상 표시 장치(100)와 단말 장치(400)는 페어링 세션을 통해 또는 push notification mechanism을 통해 장치간 상호 연동 과정을 수행한다(S227). 이 장치간 상호 연동 과정과 puch notification mechanism은 구체적으로 후술한다.
단말 장치(400)는 부가서비스 제공 서버(500)와 부가서비스 상호 연동 과정을 수행한다(S229). 단말 장치(400)는 상호 연동 과정에 따라 부가서비스 제공 서버(500)와 부가서비스 상호 연동 과정을 수행할 수 있다. 이 부가서비스 상호 연동 과정은 구체적으로 후술한다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)와 핑거프린트 서버(22)를 더 포함한다.
도 8에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 컨텐츠 제공자 식별 정보를 삽입한다. 워터마크 서버(21)는 로고와 같이 보이는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있고, 보이지 않는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있다.
핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S300). 연동 애플리케이션이 실행되면, 단말 장치(400)는 영상 표시 장치(100)와 연동하는 동작을 수행할 수 있다.
영상 표시 장치(100)와 단말 장치(400)는 페어링을 수행하여 페이링 세션을 형성한다(S301). 구체적인 페어링 과정은 후술한다.
이후, 영상 표지 장치(100)와 단말 장치(400)는 페어링 세션을 통해 ACR 제어를 수행한다(S302). 구체적인 ACR 제어 과정은 후술한다.
컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S303).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S304). 보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S305). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S306).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S307).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S308).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S309).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S311). 이 제1 응답은 핑거프린트 서버 주소, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
워터마크 정보와 제1 응답이 핑거프린트 서버 주소를 포함하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S313).
영상 표시 장치(100)는 제1 응답 내의 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제2 질의를 전송한다(S315).
핑거프린트 서버(22)는 제2 질의에 대한 제2 응답으로서 질의 결과를 제공한다(S317).
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제3 질의를 전송한다(S319).
부가 서비스 정보 제공 서버(40)는 제3 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제3 질의에 대한 제3 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S321).
영상 표시 장치(100)는 제1 응답, 제2 응답, 또는 제3 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S323), 부가 서비스를 획득한다(S325).
이후, 영상 표시 장치(100)와 단말 장치(400)는 페어링 세션을 통해 또는 push notification mechanism을 통해 장치간 상호 연동 과정을 수행한다(S327). 이 장치간 상호 연동 과정과 puch notification mechanism은 구체적으로 후술한다.
단말 장치(400)는 부가서비스 제공 서버(500)와 부가서비스 상호 연동 과정을 수행한다(S329). 단말 장치(400)는 상호 연동 과정에 따라 부가서비스 제공 서버(500)와 부가서비스 상호 연동 과정을 수행할 수 있다. 이 부가서비스 상호 연동 과정은 구체적으로 후술한다.
다음은 도 10 및 도 18를 참고하여, 본 발명의 실시예에 따른 영상 표시 장치(100)를 설명한다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 표시 장치(100)는 방송 신호 수신부(101), 복조부(103), 채널 복호부(105), 역다중화부(107), 시청각 복호부(109), 외부 입력 포트(111), 재생 제어부(113), 재생 장치(120), 부가 서비스 관리부(130), 데이터 송수신부(141), 메모리(150)를 포함한다.
방송 신호 수신부(101)는 컨텐츠 제공 서버(10) 또는 MVPD(30)로부터 방송 네트워크를 통해 방송 신호를 수신한다.
복조부(103)는 수신한 방송 신호를 복조하여 복조된 신호를 생성한다.
채널 복호부(105)는 복조된 신호를 채널 복호하여 채널 복호된 데이터를 생성한다.
역다중화부(107)는 채널 복호된 데이터로부터 메인 시청각 컨텐트와 부가 서비스를 분리한다. 분리된 부가 서비스는 부가 서비스 저장부(152)에 저장된다.
시청각 복호부(109)는 분리된 메인 시청각 컨텐트를 시청각 복호(AV decoding)하여 비압축 메인 시청각 컨텐트를 생성한다.
한편, 외부 입력 포트(111)는 방송 수신 장치(60), 디브이디(digital versatile disk, DVD) 플레이어, 블루레이 디스크 (Blu-ray disc) 플레이어 등으로부터 비압축 메인 시청각 컨텐트를 수신한다. 외부 입력 포트(111)는 DSUB 포트, HDMI (High Definition Multimedia Interface) 포트, DVI (Digital Visual Interface) 포트, 컴포지트(composite) 포트, 컴포넌트(component) 포트, S-Video 포트 중 하나 이상을 포함할 수 있다.
재생 제어부(113)는 시청각 복호부(109)가 생성하는 비압축 메인 시청각 컨텐트 또는 외부 입력 포트(111)로부터 수신한 비압축 메인 시청각 컨텐트 중 적어도 하나를 사용자 선택에 의해 재생 장치(120)에 재생한다.
재생 장치(120)는 디스플레이부(121)와 스피커(123)를 포함한다. 디스플레이부(121)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보를 획득하고, 획득된 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득한다. 특히, 앞서 설명한 바와 같이 부가 서비스 관리부(130)는 비압축 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플에 기초하여 메인 시청각 컨텐트의 식별 정보를 획득할 수 있는데, 본 명세서에서는 이를 자동 컨텐츠 인식(automatic contents recognition, ACR)이라 칭하기도 한다.
데이터 송수신부(141)는 ATSC-M/H (Advanced Television Systems Committee - Mobile/Handheld) 채널 송수신부(141a)와 IP 송수신부(141b)와 근거리 통신 모듈(141c)를 포함할 수 있다.
ATSC-M/H 채널 송수신부(141a)는 ATSC-M/H 채널을 통해 다른 장치 또는 서버와 통신한다.
IP 송수신부(141b)는 IP 기반 네트워크를 통해 다른 장치 또는 서버와 통신한다.
근거리 통신 모듈(141c)는 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 와이파이(WiFi), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다. 영상 표시 장치(100)의 근거리 통신 모듈(141c)는 단말 장치(400)의 근거리 통신 모듈(414)와 페어링을 수행하여 페어링 세션을 형성할 수 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 표시 장치(100)는 인터넷(internet)상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(150)는 컨텐츠 정보 저장부(151), 부가 서비스 저장부(152), 로고 저장부(153), 설정 정보 저장부(154), 북마크 저장부(155), 사용자 정보 저장부(156), 이용 정보 저장부(157)를 포함할 수 있다.
컨텐츠 정보 저장부(151)는 복수의 특징 정보에 대응하는 복수의 컨텐츠 정보를 저장한다.
부가 서비스 저장부(152)는 복수의 특징 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있고, 복수의 컨텐츠 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있다.
로고 저장부(153)는 복수의 로고를 저장한다. 또, 로고 저장부는 이 복수의 로고에 대응하는 컨텐츠 제공자 식별자 또는 복수의 로고에 대응하는 워터마크 서버 주소를 더 저장할 수도 있다.
설정 정보 저장부(154)는 ACR을 위한 설정 정보를 저장한다.
북마크 저장부(155)는 북마크를 저장한다.
사용자 정보 저장부(156)는 사용자 정보를 저장한다. 사용자 정보는 하나 이상의 서비스를 위한 하나 이상의 계정 정보, 지역 정보, 가족 구성원 정보, 선호 장르 정보, 영상 표시 장치 정보, 이용 정보 제공 범위 중 하나 이상을 포함할 수 있다. 하나 이상의 계정 정보는 이용 정보 측정 서버를 위한 계정 정보, 트위터(twitter), 페이스북(facebook)과 같은 소셜 네트워크 서비스(social network service)의 계정 정보를 포함할 수 있다. 지역 정보는 주소 정보, 우편 번호를 포함할 수 있다. 가족 구성원 정보는 가족 구성원의 수, 각 구성원의 나이, 각 구성원의 성별, 각 구성원의 종교, 각 구성원의 직업 등을 포함할 수 있다. 선호 장르 정보는 스포츠, 영화, 드라마, 교육, 뉴스, 오락, 기타 장르 중에서 하나 이상으로 설정될 수 있다. 영상 표시 장치 정보는 영상 표시 장치의 종류, 제조사, 펌웨어 버전, 해상도, 모델명, OS, 브라우저, 저장 장치 유무, 저장 장치의 용량, 네트워크 속도에 대한 정보를 포함할 수 있다. 이용 정보 제공 범위가 설정되면, 영상 표시 장치(100)는 설정된 범위 내에서 메인 시청각 컨텐트 시청 정보와 부가 서비스 이용 정보를 수집하고 보고할 수 있다. 이용 정보 제공 범위는 가상 채널 각각에 대해 설정될 수 있다. 또한, 이용 정보 측정 허용 범위는 물리 채널 전체에 대해 설정될 수도 있다.
이용 정보 저장부(157)는 영상 표시 장치(100)에 의해 수집되는 메인 시청각 컨텐트 시청 정보와 부가 서비스 사용 정보를 저장한다. 또한, 영상 표시 장치(100)는 수집한 메인 시청각 컨텐트 시청 정보와 수집한 부가 서비스 사용 정보에 기초하여 서비스 이용 패턴을 분석하고, 분석된 서비스 이용 패턴을 이용 정보 저장부(157)에 저장할 수 있다.
부가 서비스 관리부(130)는 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 컨텐츠 정보 저장부(151)에 추출한 특징 정보에 해당하는 컨텐츠 정보가 없거나 충분한 컨텐츠 정보가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 컨텐츠 정보를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 컨텐츠 정보를 업데이트할 수 있다.
부가 서비스 관리부(130)는 부가 서비스 제공 서버(50) 또는 부가 서비스 저장부(153)로부터 이용가능한 부가 서비스를 획득할 수 있다. 부가 서비스 저장부(153)에 부가 서비스가 없거나 충분한 부가 서비스가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 부가 서비스를 업데이트할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 부가 서비스를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 로고를 추출하고, 로고 저장부(155)에 질의하여 추출한 로고에 대응하는 컨텐츠 제공자 식별자 또는 워터마크 서버 주소를 획득할 수 있다. 로고 저장부(155)에 추출한 로고와 일치하는 로고가 없거나 충분한 로고가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 로고를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 로고를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 추출한 로고와 로고 저장부(155) 내의 복수의 로고와의 비교를 수행하는데 연산의 부담을 줄이기 위한 다양한 방법을 수행할 수 있다.
예컨데, 부가 서비스 관리부(130)는 색깔 특성에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 색깔 특성과 로고 저장부(155) 내의 로고의 색깔 특성을 비교하여 일치 여부를 판단할 수 있다.
또, 부가 서비스 관리부(130)는 문자 인식에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고로부터 인식되는 문자와 로고 저장부(155) 내의 로고로부터 인식되는 문자를 비교하여 일치 여부를 판단할 수 있다.
뿐만 아니라, 부가 서비스 관리부(130)는 로고의 윤곽에 대한 형상에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 윤곽 형상과 로고 저장부(155) 내의 로고의 윤곽 형상을 비교하여 일치 여부를 판단할 수 있다.
이하에서는 도 11 및 도 18을 참고하여 본 발명의 다양한 실시예에 따른 부가 서비스 관리부(130)를 설명한다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 11에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131a), 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(ACR platform application program interface)(135a), 하나 이상의 ACR 엔진(136a), ACR 데몬(ACR daemon)(137a), ACR 미들웨어(138a), 하나 이상의 ACR 애플리케이션(139a)를 포함한다.
도 11에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 애플리케이션 스토어에 접속하여 애플리케이션을 다운로드할 수 있다.
오디오 드라이버(132a)는 오디오 핑거프린트 또는 오디오 워터마크를 위하여 사용되는 오디오 버퍼에 접근할 수 있다.
비디오 드라이버(133a)는 비디오 핑거프린트 또는 비디오 워터마크를 위하여 사용되는 비디오 버퍼에 접근할 수 있다.
네트워크 드라이버(134a)는 ACR 엔진(136a)이 데이터 송수신부(141)에 접근할 수 있도록 한다.
ACR 플랫폼 API(135a)는 ACR 엔진(136a)이 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a)에 접근할 수 있는 API를 제공한다.
복수의 방송국 또는 컨텐츠 제공자는 서로 다른 컨텐츠 인식 서비스를 이용할 수 있으므로, 영상 표시 장치(100)는 복수의 ACR 엔진(136a)을 탑재할 수 있다. 즉, 영상 표시 장치(100)는 복수의 비디오 워터마크 추출 알고리즘, 복수의 오디오 워트마크 추출 알고리즘, 복수의 비디오 시그너처 추출 알고리즘, 복수의 오디오 시그너처 추출 알고리즘 중 하나 이상을 위한 ACR 엔진을 포함할 수 있다. 워터마크 기반의 ACR 엔진(136a)은 워터마크 정보를 추출하여, 추출한 워터마크 정보로부터 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다. 핑거프린트 기반의 ACR 엔진(136a)은 메인 시청각 컨텐트의 일부 구간의 특징 정보를 추출하여, 추출한 특징 정보에 기초하여 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다.
ACR 데몬(ACR daemon)(137a)은 하나 이상의 ACR 엔진(136a)를 관리한다. 데몬(daemon)은 주기적인 서비스 요청을 처리하기 위해 계속 실행되는 을 말한다. 데몬은 수집된 요구들을 또 다른 프로그램이나 들이 처리할 수 있도록 적절히 전달한다. ACR 데몬(137a)은 ACR 엔진(136a)의 실행 및 종료를 관리할 수 있다. ACR 데몬(137a)은 복수의 ACR 엔진(136a) 중에서 현재의 메인 시청각 컨텐트에 매칭되는 ACR 엔진을 탐색한다. 특히, 여러 개의 ACR 엔진이 실행되어 시스템 자원이 많이 소모되는 경우에, ACR 데몬(137a)은 특정 규칙 또는 우선순위에 따라 복수의 ACR 엔진(136a)을 하나씩 순차적으로 실행시켜서 컨텐츠 인식 성공 여부를 확인할 수 있다. 또한, 복수의 ACR 엔진(136a) 중 하나가 컨텐츠 인식에 성공한 경우에, ACR 데몬(137a)은 인식된 컨텐츠를 위한 부가 서비스에 해당하는 ACR 애플리케이션(139a)을 획득하고 실행시킬 수 있다. ACR 엔진(136a)이 컨텐츠 인식을 성공적으로 수행중에, 채널 변경 등으로 더 이상 컨텐츠를 인식할 수 없다면, ACR 데몬(137a)은 ACR 애플리케이션(139a)을 종료시킬 수 있다.
ACR 미들웨어(138a)는 하나 이상의 ACR 애플리케이션(139a)을 위한 브라우저 역할을 수행한다.
ACR 애플리케이션(139a)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139a)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139a)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다. ACR 애플리케이션(139a)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136a)과 상호 작용하면서 ACR 엔진(136a)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다. 이를 위하여 ACR 애플리케이션(139a)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 3과 같다.
Figure pat00003
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)가 선택되면, ACR 데몬(137a)은 하나 이상의 ACR 엔진(136a)을 통해서 튜닝된 채널에서 방송되는 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S401).
이후, ACR 데몬(137a)은 컨텐츠 정보와 관련된 이용가능한 부가 서비스를 획득한다(S403).
ACR 데몬(137a)은 획득한 부가 서비스를 백그라운드에서 실행한다(S405).
ACR 데몬(137a)은 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S407).
ACR 데몬(137a)이 부가 서비스의 이용을 수신하면, ACR 데몬(137a)은 백그라운드에서 실행이 되었던 부가 서비스를 재생 장치(120)에 재생한다(S409).
채널이 변경되거나 메인 시청각 컨텐트가 변경되면, ACR 데몬(137a)은 하나 이상의 ACR 엔진(136a)을 통해서 변경을 인식하고, 부가 서비스를 종료한다(S411).
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 13에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131b), 오디오 드라이버(132b), 비디오 드라이버(133b), 네트워크 드라이버(134b), ACR 플랫폼 API(ACR platform application program interface)(135b), 하나 이상의 ACR 엔진(136b), ACR 엔진 관리부(ACR engine manager)(137b), ACR 미들웨어(138b), 하나 이상의 ACR 애플리케이션(139b)를 포함한다.
도 13에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 인식할 필요가 있지만, ACR을 위한 질의의 수가 줄어들 수 있으므로 서버의 부담을 경감시킬 수 있다.
도 13의 부가 서비스 관리부(130) 내의 오디오 드라이버(132b), 비디오 드라이버(133b), 네트워크 드라이버(134b), ACR 플랫폼 API(135b), 복수의 ACR 엔진(136b), ACR 미들웨어(138b)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), 복수의 ACR 엔진(136a), ACR 미들웨어(138a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진 관리부(ACR engine manager)(137b)는 하나 이상의 ACR 엔진(136b)의 리스트를 관리하고 ACR 엔진(136b)의 선택 인터페이스를 ACR 애플리케이션(139b)에 제공한다.
ACR 애플리케이션(139b)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139b)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139b)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다.
ACR 애플리케이션(139b)은 ACR 미들웨어(138b)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진 관리부(ACR engine manager)(137b)와 상호 작용하면서 이용하고자 하는 ACR 엔진(136b)을 선택할 수 있다. 이를 위하여 ACR 애플리케이션(139b)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 4와 표 5과 같다.
Figure pat00004
Figure pat00005
ACR 애플리케이션(139b)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136b)과 상호 작용하면서 ACR 엔진(136b)을 제어 할 수 있고, ACR 엔진(136b)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다. 이를 위하여 ACR 애플리케이션(139b)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 6과 같다.
Figure pat00006
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 제공자 관련 애플리케이션의 핑거프린트 샘플 코드의 한 예를 구현하면 표 7과 같다.
Figure pat00007
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 관련 애플리케이션의 핑거프린트 샘플 코드의 한 예를 구현하면 표 8과 같다.
Figure pat00008
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 제공자 관련 애플리케이션의 워터마킹 샘플 코드의 한 예를 구현하면 표 9와 같다.
Figure pat00009
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 관련 애플리케이션의 워터마킹 샘플 코드의 한 예를 구현하면 표 10과 같다.
Figure pat00010
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되더라도, 영상 표시 장치(100)는 ACR 애플리케이션(139b)의 실행 이전에는 자동 컨텐츠 인식 동작을 수행하지 않는다.
메인 시청각 컨텐츠의 채널을 인지하는 사용자에 의해 해당 채널 관련 ACR 애플리케이션(139b)이 실행되면, ACR 애플리케이션(139b)은 자신이 이용하는 ACR 엔진(136a)에 대한 정보를 ACR 엔진 관리부(ACR engine manager)(137b)에 질의하여 수신한다(S501).
이후, ACR 애플리케이션(139b)은 자신이 이용하는 ACR 엔진(136b)을 시작하고(S503), ACR 엔진(136b)을 통해 컨텐츠 정보를 획득한다(S505).
ACR 애플리케이션(139b)은 획득한 컨텐츠 정보를 통해 메인 시청각 컨텐츠와 관련된 이용가능한 부가 서비스를 획득하고(S507), 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S509).
ACR 애플리케이션(139b)이 부가 서비스의 이용을 사용자로부터 수신하면, ACR 애플리케이션(139b)은 부가 서비스를 재생 장치(120)에 재생한다(S511).
ACR 미들웨어(138b)가 ACR 애플리케이션(139b)의 종료에 관한 사용자 입력을 수신하면, ACR 미들웨어(138b)는 ACR 애플리케이션(139b)을 종료시킨다(S513).
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 15에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131c), 오디오 드라이버(132c), 비디오 드라이버(133c), 네트워크 드라이버(134c), ACR 플랫폼 API(ACR platform application program interface)(135c), ACR 엔진(136c), ACR 미들웨어(138c), 하나 이상의 ACR 애플리케이션(139c)를 포함한다.
도 15에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 인식할 필요가 있지만, ACR을 위한 질의의 수가 줄어들 수 있으므로 서버의 부담을 경감시킬 수 있다.
도 15의 부가 서비스 관리부(130) 내의 오디오 드라이버(132c), 비디오 드라이버(133c), 네트워크 드라이버(134c), ACR 플랫폼 API(135c), ACR 미들웨어(138c)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), ACR 미들웨어(138a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진(136c)은 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 ACR 조정 서버(도시하지 않음)에 추출된 특징 정보를 포함하는 질의를 전송한다. ACR 조정 서버는 이 질의에 대한 응답으로 핑거프린트 서버 주소를 전송할 수 있다. 또한, ACR 조정 서버는 핑거프린트 서버 주소와 함께 특징 정보에 해당하는 컨텐츠 정보를 전송할 수도 있다.
ACR 애플리케이션(139c)은 ACR 엔진(136c)으로부터 핑거프린트 서버 주소를 수신하면, ACR 엔진(136c)이 추출한 특징 정보를 포함하는 질의를 핑거프린트 서버 주소에 해당하는 핑거프린트 서버에 직접 전송한다. 이를 위하여 ACR 애플리케이션(139c)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 표 11과 같다.
Figure pat00011
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 핑거프린트 샘플 코드의 한 예를 작성하면 표 12와 같다.
Figure pat00012
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되면, ACR 엔진(136c)은 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 ACR 조정 서버(도시하지 않음)에 추출된 특징 정보를 포함하는 질의를 전송한다(S601).
ACR 엔진(136c)은 이 질의에 대한 응답으로 핑거프린트 서버 주소를 수신한다(S603).
ACR 애플리케이션(139c)는 getACRBackend() 메쏘드를 이용하여 ACR 엔진(136c)로부터 핑거프린트 서버 주소를 획득한다(S605).
ACR 애플리케이션(139c)는 getSignature() 메쏘드를 이용하여 ACR 엔진(136c)로부터 메인 시청각 컨텐트의 일부 비디오 프레임 구간 또는 일부 오디오 구간의 특징 정보를 획득한다(S607).
ACR 애플리케이션(139c)는 획득한 핑거프린트 서버 주소에 해당하는 핑거프린터 서버에 획득한 특징 정보를 포함하는 질의를 전송한다(S609).
ACR 애플리케이션(139c)는 이 질의에 대한 응답으로 컨텐츠 정보를 수신한다(S611).
ACR 애플리케이션(139c)는 수신한 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득하고(S613), 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S615).
ACR 애플리케이션(139c)이 부가 서비스의 이용을 사용자로부터 수신하면, ACR 애플리케이션(139c)은 부가 서비스를 재생 장치(120)에 재생한다(S617).
ACR 미들웨어(138c)가 ACR 애플리케이션(139c)의 종료에 관한 사용자 입력을 수신하면, ACR 미들웨어(138c)는 ACR 애플리케이션(139c)을 종료시킨다(S619).
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 17에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(131d), 오디오 드라이버(132d), 비디오 드라이버(133d), 네트워크 드라이버(134d), ACR 플랫폼 API(135d), 하나 이상의 ACR 엔진(136d), ACR 엔진 관리부(ACR engine manager)(137d), 애플리케이션 관리부(138d), 하나 이상의 ACR 애플리케이션(139d)를 포함한다.
도 17에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
도 17의 부가 서비스 관리부(130) 내의 오디오 드라이버(132d), 비디오 드라이버(133d), 네트워크 드라이버(134d), ACR 플랫폼 API(135d), 복수의 ACR 엔진(136d)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), 복수의 ACR 엔진(136a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진 관리부(ACR engine manager)(137d)는 외부 입력 포트(111)로부터 수신되는 메인 시청각 컨텐트에 매칭되는 ACR 엔진(136d)을 확인하고, 애플리케이션(139d)에 매치되는 ACR 엔진(136d)를 확인한다. 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136d)을 제어하여 복수의 ACR 엔진(136d)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다. ACR 엔진 관리부(137d)는 우선 순위를 가지고 복수의 ACR 엔진(136d)을 제어할 수 있다. 복수의 ACR 엔진(136d) 중 어느 하나가 메인 시청각 컨텐트의 인식에 성공하면, ACR 엔진 관리부(137d)는 나머지 ACR 엔진을 슬립시키고, 동작하는 ACR 엔진으로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다.
애플리케이션 관리부(138d)는 ACR 엔진 관리부(ACR engine manager)(137d)와 상호 작용하면서 ACR 애플리케이션의 생성, 시작, 중단, 슬립, 종료를 제어한다.
ACR 애플리케이션(139d)은 내장 애플리케이션일 수 있다. ACR 애플리케이션(139d)은 다음의 표 13에서 보여지는 바와 같은 함수를 통해 ACR 엔진(136b)을 제어할 수 있다.
Figure pat00013
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되면, ACR 엔진 관리부(137d)는 외부 입력 포트(111)로부터 수신되는 메인 시청각 컨텐트에 매칭되는 ACR 엔진(136a)을 확인한다(S701). 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136a)을 제어하여 복수의 ACR 엔진(136a)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다. ACR 엔진 관리부(137d)는 우선 순위를 가지고 복수의 ACR 엔진(136a)을 제어할 수 있다.
복수의 ACR 엔진(136a) 중 어느 하나가 메인 시청각 컨텐트의 인식에 성공하면, ACR 엔진 관리부(137d)는 나머지 ACR 엔진을 슬립시키고(S702), 동작하는 ACR 엔진으로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S703).
이후, ACR 엔진 관리부(137d)는 컨텐츠 정보와 관련된 이용가능한 애플리케이션을 확인하고(S704), 애플리케이션 관리부(138d)에 확인된 애플리케이션(139d)의 실행을 요청한다.
애플리케이션 관리부(138d)는 확인된 애플리케이션(139d)을 백그라운드에서 실행한다(S705).
백그라운드에서 실행된 애플리케이션(139d)은 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S707).
백그라운드에서 실행된 애플리케이션(139d)이 사용자로부터 부가 서비스의 이용을 수신하면, 부가 서비스를 재생 장치(120)에 재생한다(S709).
채널이 변경되거나 메인 시청각 컨텐트가 변경되면(S710), ACR 엔진 관리부(137d)는 애플리케이션(139d)에 매칭되는 ACR 엔진(136a)을 확인하고, 확인된 ACR 엔진(136a)과 애플리케이션(139d)를 연결시킨다(S711). 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136a)을 제어하여 복수의 ACR 엔진(136a)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다.
애플리케이션 관리부(138d)는 애플리케이션(139d)의 종료를 위한 사용자 입력을 수신하면(S712), 애플리케이션(139d)를 종료한다(S713).
다음은 도 19와 도 20을 참고하여 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 설명한다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
부가 서비스 정보는 부가 서비스의 시작 시간을 포함할 수 있다. 이때, 영상 표시 장치(100)는 이 시작 시간에서 부가 서비스를 시작할 필요가 있다. 그러나, 영상 표시 장치(100)는 타임 스탬프를 가지지 않는 비압축 메인 시청각 컨텐트를 전송하는 신호를 수신하기 때문에, 메인 시청각 컨텐트의 재생 시간의 기준과 부가 서비스의 시작 시간의 기준은 서로 다르다. 영상 표시 장치(100)가 시간 정보를 가지는 메인 시청각 컨텐트를 수신하더라도, 재방송 등과 같이, 메인 시청각 컨텐트의 재생 시간의 기준과 부가 서비스의 시작 시간의 기준은 서로 다를 수 있다. 따라서, 영상 표시 장치(100)는 메인 시청각 컨텐트의 기준 시간과 부가 서비스의 기준 시간을 동기화할 필요가 있다. 특히 영상 표시 장치(100)는 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 시작 시간을 동기화할 필요가 있다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S801). 메인 시청각 컨텐트의 일부 구간은 메인 시청각 컨텐트의 일부 비디오 프레임과 일부 오디오 구간 중 하나 이상을 포함할 수 있다. 부가 서비스 관리부(130)가 메인 시청각 컨텐트의 일부 구간을 추출한 시간을 Tn이라 한다.
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S803). 구체적으로 부가 서비스 관리부(130)는 추출된 구간에 보이지 않는 워터마크(invisible watermark)로 부호화된 정보를 복호하여 컨텐츠 정보를 획득할 수 있다. 또한, 부가 서비스 관리부(130)는 추출된 구간의 특징 정보를 추출하고, 추출된 특징 정보에 기초하여 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 부가 서비스 관리부(130)가 컨텐츠 정보를 획득한 시간을 Tm이라 한다.
한편, 컨텐츠 정보는 추출된 구간의 시작 시간(Ts)을 포함한다. 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간(Tm) 이후부터는 시간(Ts), 시간(Tm), 시간(Tn)에 기초하여 메인 시청각 컨텐트의 재생 시간을 부가 서비스의 시작 시간과 동기화한다(S805). 구체적으로, 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간(Tm)을 다음의 수학식 1에서 계산되는 시간(Tp)로 간주한다.
Figure pat00014
그리고, 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간부터 시간(Tx)가 경과한 시간을 Tp + Tx로 간주할 수 있다.
이후, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스와 부가 서비스의 시작 시간(Ta)을 획득한다(S807).
메인 시청각 컨텐트의 동기화된 재생 시간이 부가 서비스의 시작 시간(Ta)와 일치하면, 부가 서비스 관리부(130)는 획득한 부가 서비스를 시작한다(S809). 구체적으로, 부가 서비스 관리부(130)는 다음의 수학식 2를 만족하는 경우에 부가 서비스를 시작할 수 있다.
Figure pat00015
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 20에 도시된 바와 같이, 영상 표시 장치(100)는 시스템 시간(Tn)에서 시청각 샘플을 추출한다.
영상 표시 장치(100)는 추출한 시청각 샘플로부터 특징 정보를 추출하고, 핑거프린트 서버(22)에 추출한 특징 정보를 포함하는 질의를 전송하여 질의 결과를 수신한다. 영상 표시 장치(100)는 질의 결과를 파싱하여 추출한 시청각 샘플의 시작 시간(Ts)가 11000ms에 해당함을 시간(Tm)에서 확인한다.
따라서, 영상 표시 장치는 수학식 1에 따라 추출한 시청각 샘플의 시작 시간을 확인한 시점을 Ts + (Tm - Tn)로 간주하여 이후부터 메인 시청각 컨텐트의 재생 시간을 부가 서비스의 시작 시간과 동기화할 수 있다.
다음은 도 21 내지 도 50을 참고하여 본 발명의 다양한 실시예에 따른 ACR 애플리케이션을 설명한다.
본 발명의 다양한 실시예에 따른 ACR 애플리케이션으로, 자동 재생 애플리케이션, 컨텐츠 제공자 애플리케이션, 영상 표시 장치 제조사 애플리케이션 등을 들 수 있다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
자동 재생 애플리케이션은 사용자가 아무런 액션을 취하지 않더라도 부가 서비스를 자동적으로 재생한다. 이러한 의미에서, 본 명세서에서 자동 재생 애플리케이션을 린백 애플리케이션(lean back application)이라 부르기도 한다.
자동 재생 애플리케이션은 메인 시청각 컨텐트의 재생 중에 컨텐츠 제공자 또는 방송사가 제공하는 장면 연관 정보와 같은 부가 서비스를 메인 시청각 컨텐트의 재생 시간에 따라 사용자의 입력 없이 자동으로 재생한다. 즉, 컨텐츠 제공자 또는 방송사가 전적으로 자동 재생 애플리케이션을 통제한다.
도 21에 도시된 바와 같이, 자동 재생 애플리케이션이 재생되면, 화면(200)은 축소된 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 부가 정보가 디스플레이되는 서브 화면(220)을 포함할 수 있다. 부가 정보가 디스플레이되는 서브 화면(220)은 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 공간적으로 나뉘어 질 수 있다.
한편, 자동 재생 애플리케이션이 실행될 때, 부가 정보가 디스플레이되는 영역은 반투명할 수 있다. 이 경우, 부가 정보가 디스플레이되는 영역은 메인 시청각 컨텐트가 재생되는 영역의 위에 overlay될 수 있다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
본 명세서에서, 컨텐츠 제공자 애플리케이션을 풀 인터렉티브 애플리케이션(full interactive application)이라 부르기도 한다.
도 22의 (A)에 도시된 바와 같이, 영상 표시 장치(100)는 복수의 애플리케이션을 다운로드하여 저장할 수 있다. 도 22의 (A)는 복수의 애플리케이션의 아이콘(230)다. 이러한 애플리케이션 중에서 컨텐츠 제공자 애플리케이션은 컨텐츠 제공자에 의해 제작되고 배포되는 애플리케이션이어서, 컨텐츠 제공자의 통제 하에 있을 수 있다.
영상 표시 장치(100)의 사용자는 컨텐츠 제공자 애플리케이션을 애플리케이션 스토어에서 다운로드할 수 있고, 다운로드된 컨텐츠 제공자 애플리케이션의 실행을 결정할 수 있다.
도 22의 (B)는 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다. 도 22의 (B)에 도시된 바와 같이, 화면(200)은 축소된 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 부가 정보가 디스플레이되는 서브 화면(220), 메뉴가 디스플레이되는 서브 화면을 포함할 수 있다.
이하에서는 도 23 내지 도 50을 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션을 설명한다.
영상 표시 장치 제조사 애플리케이션은 영상 표시 장치 제조사 에 의해 제작되고, 영상 표시 장치 제조사에 의해 제어되며, 영상 표시 장치(100)의 생산시에 미리 저장될 수 있다. 즉, 영상 표시 장치 제조사 애플리케이션은 컨텐츠 제공자나 컨텐츠에 상관없이 동일한 서비스를 제공할 수 있으며, 컨텐츠 제공자나 컨텐츠에 상관없이 동일한 유저 인터페이스를 제공할 수 있다.
영상 표시 장치 제조사 애플리케이션은 컨텐츠 제공자가 제공하는 부가 서비스가 표시되는 영역과 영상 표시 장치 제조사가 제공하는 부가 서비스가 표시되는 영역을 분리하여 가질 수 있다. 영상 표시 장치 제조사 애플리케이션은 영상 표시 장치(100)의 사용자에 의해 실행 여부가 결정될 수 있다.
영상 표시 장치 제조사 애플리케이션은 2가지 타입을 가질 수 있다.
첫번째 타입의 영상 표시 장치 제조사 애플리케이션은 크기 조절 사용자 인터페이스(resizing user interface)를 가진다. 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션은 메인 시청각 컨텐트가 디스플레이되는 영역의 크기를 줄여 줄인 영역 내에서 메인 시청각 컨텐트의 내용 전부가 디스플레이될 수 있도록 한다. 또한, 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션은 애플리케이션이 디스플레이되는 영역을 알파벳 L자나 Inverse-L 자 구조로 만든다.
두 번째 타입의 영상 표시 장치 제조사 애플리케이션은 오버레이 사용자 인터페이스(Overlay user interface)를 가진다. 오버레이 사용자 인터페이스(Overlay user interface)를 가지는 영상 표시 장치 제조사 애플리케이션은 메인 시청각 컨텐트가 디스플레이되는 영역의 크기는 그대로 유지하면서 애플리케이션이 디스플레이되는 영역을 메인 시청각 컨텐트 위에 겹친다. 애플리케이션이 디스플레이되는 영역이 메인 시청각 컨텐트를 가리므로, 애플리케이션 영역은 반투명일 수 있다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 23에 도시된 바와 같이, 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면(300)은 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310), 메인 메뉴가 디스플레이되는 메인 메뉴 영역(320), 알림 메시지가 디스플레이되는 알림 영역(330), 영상 표시 장치 제조사 애플리케이션의 제어를 위한 제어 버튼이 디스플레이되는 제어 버튼 영역(340), 서브 메뉴가 디스플레이되는 서브 메뉴 영역(350), 부가 정보가 디스플레이되는 부가 정보 영역(360), 광고가 디스플레이되는 광고 영역(370)을 포함한다.
제어 버튼 영역(340)은 영상 표시 장치 제조사 애플리케이션의 종료 버튼(341), 영상 표시 장치 제조사 애플리케이션의 숨김 버튼(342), 이전 정보로 되돌리는 백 버튼(343)을 포함한다.
본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션에서, 메인 시청각 컨텐트 영역(310)은 화면(300)의 좌측 상단에 위치하고, 메인 메뉴 영역(320)과 알림 영역(330)은 메인 시청각 컨텐트 영역(310)의 하단에 위치하고, 제어 버튼 영역(340)은 우측 상단에 위치하고, 서브 메뉴 영역(350)은 제어 버튼 영역(340)과 부가 정보 영역(360) 사이에 위치하고, 광고 영역(370)은 우측 하단에 위치하고, 부가 정보 영역(360)은 서브 메뉴 영역(350)과 광고 영역(370) 사이에 위치하지만, 이들의 위치는 다양하게 변경될 수 있다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24에 도시된 바와 같이, 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션과 유사하게, 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면(300)은 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310), 메인 메뉴가 디스플레이되는 메인 메뉴 영역(320), 알림 메시지가 디스플레이되는 알림 영역(330), 영상 표시 장치 제조사 애플리케이션의 제어를 위한 제어 버튼이 디스플레이되는 제어 버튼 영역(340), 서브 메뉴가 디스플레이되는 서브 메뉴 영역(350), 부가 정보가 디스플레이되는 부가 정보 영역(360), 광고가 디스플레이되는 광고 영역(370)을 포함한다.
본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션에서, 메인 시청각 컨텐트 영역(310)은 화면(300)의 좌측 상단에 위치하고, 메인 메뉴 영역(320)과 알림 영역(330)은 메인 시청각 컨텐트 영역(310)의 하단에 위치하고, 제어 버튼 영역(340)은 우측 상단에 위치하고, 서브 메뉴 영역(350)은 제어 버튼 영역(340)과 부가 정보 영역(360) 사이에 위치하고, 광고 영역(370)은 우측 하단에 위치하고, 부가 정보 영역(360)은 서브 메뉴 영역(350)과 광고 영역(370) 사이에 위치하지만, 이들의 위치는 다양하게 변경될 수 있다.
이하에서는 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션을 중심으로 설명한다.
영상 표시 장치 제조사 애플리케이션은 영상 표시 장치(100)에 내장된 ACR 엔진으로부터 필요한 정보를 공급받는데, 성격에 따라 크게 두 가지 타입의 메뉴를 가진다.
첫 번째 타입의 메뉴는 시간에 민감하지 않은(time insensitive) 부가 서비스를 위한 것이다. 즉, 시간에 민감하지 않은 부가 서비스와 관련된 메뉴가 선택되면, 영상 표시 장치(100)는 화면에 재생되고 있는 메인 시청각 컨텐트의 식별자를 획득하고, 획득한 식별자에 기초하여 부가 서비스를 획득하며, 획득된 부가 서비스를 부가 정보 영역(360)에 표시한다. 이러한 시간에 민감하지 않은 부가 서비스 예로는 타이틀, 장르, 배우, 감독, 다른 사람의 평가, Short clip, Short explanation 등이 있다. 이 기본 정보를 통해 영상 표시 장치(100)는 추가 정보를 검색하거나 Facebook, Twitter 같은 소셜 네트워크 서비스와 연동하거나, 추천 서비스 및 연관된 광고를 제공할 수 있다.
두 번째 타입의 메뉴는 시간에 민감한(time sensitive) 부가 서비스를 위한 것이다. 즉, 시간에 민감한 부가 서비스와 관련된 메뉴가 선택되면, 영상 표시 장치(100)는 화면에 재생되고 있는 메인 시청각 컨텐트의 식별자와 재생 시간 정보를 획득하고, 획득한 식별자와 재생 시간 정보에 기초하여 시간에 민감한 부가 서비스를 획득하며, 획득된 부가 서비스를 부가 정보 영역(360)에 표시한다.
본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 메인 메뉴는 프로그램(program) 메뉴, 정보(Information) 메뉴, 소셜(Social) 메뉴, 추천(Recommendation) 메뉴, 카탈로그(Catalogue) 메뉴를 포함한다. 이 중에서 시간에 민감하지 않은(Time insensitive) 메뉴는 정보 메뉴, 소셜 메뉴, 추천 메뉴, 카달로그 메뉴이고, 시간에 민감한 메뉴는 프로그램 메뉴이다. 시간에 민감하지 않은 메뉴가 선택되더라도 시간에 민감한 애플리케이션이 호출될 수도 있다. 이 다섯 가지 메인 메뉴 외에 다른 메인 메뉴도 추가될 수 있다. 각각의 메인 메뉴가 선택되면, 선택된 메인 메뉴의 서브 메뉴가 서브 메뉴 영역(350)에 나타난다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
영상 표시 장치(100)가 메인 시청각 컨텐트가 재생되는 중에 리모컨의 특정 키의 누름, 모션 리모컨을 아래 방향으로 흔듬, 모션 리모컨의 커서를 화면 아래쪽으로 죽 당김을 통해 애플리케이션 선택 메뉴 표시에 해당하는 사용자 입력을 수신하면(S901), 영상 표시 장치(100)는 도 26과 같은 애플리케이션 선택 메뉴를 디스플레이한다(S903).
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 26에 도시한 바와 같이, 애플리케이션 선택 메뉴(380)는 화면(300)의 하단에 위치한다. 애플리케이션 선택 메뉴(380)는 반투명할 수 있다.
애플리케이션 선택 메뉴(380)는 영상 표시 장치(100) 내에 설치된 복수의 애플리케이션의 실행 아이콘을 포함한다. 표시된 실행 아이콘들 중에 하나의 아이콘이 영상 표시 장치 제조사 애플리케이션의 실행 아이콘에 해당한다.
영상 표시 장치(100)가 리모컨의 좌우 화살표 키의 조작이나 모션 리모컨의 움직임에 따른 커서 이동을 통해 영상 표시 장치 제조사 애플리케이션의 아이콘의 선택에 해당하는 사용자 입력을 수신하면(S905), 영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션을 실행한다(S907). 이를 통해, 사용자는 메인 시청각 컨텐트를 시청하면서 원하는 즉시 앱 스토어 접속 없이 애플리케이션을 실행시킬 수 있다.
영상 표시 장치 제조사 애플리케이션이 실행되면, 영상 표시 장치 제조사 애플리케이션의 메인 메뉴가 나타난다. 프로그램 메뉴가 default로 선택되고 프로그램 메뉴의 서브 메뉴가 서브 메뉴 영역(350)에 나타난다. 프로그램 메뉴의 서브 메뉴들 중에서 전체 서브 메뉴가 디폴트로 선택된다. 포커스는 전체 서브 메뉴에 위치한다. 시간이 흘러감에 따라 부가 정보 영역(360)에 표시되는 부가 서비스가 자동으로 업데이트된다. 이전 메뉴로 돌아가는 것은 <- 버튼을 통해 수행되고고, 영상 표시 장치 제조사 애플리케이션을 닫고 전체화면으로 돌아가는 것은 X 버튼을 통해 수행된다.
다음은 도 27 내지 도 29를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴를 설명한다.
프로그램 메인 메뉴는 재생되고 있는 메인 시청각 컨텐트와 시간으로 연관된 애플리케이션을 부가 정보 영역(360)에 표시하기 위한 메뉴이다. 메인 시청각 컨텐트와 연동되는 애플리케이션을 띄우는 위한 부가 서비스 정보는 TV 방송사 같은 컨텐트 소유자(Content Owner)가 제공할 수 있다. 영상 표시 장치(100)는 이 부가 서비스 정보를 해석하여, 적절한 타이밍에 부가 정보 영역(360)에 해당 애플리케이션을 디스플레이한다. 화면에 나타나는 UI를 아래 그림에 도시한다.
프로그램 메뉴는 전체(All) 서브 메뉴, 참여(Participation) 서브 메뉴, 디스커버리(Discovery) 서브 메뉴를 가진다.
전체 서브 메뉴는 참여 서브 메뉴와 디스커버리 서브 메뉴와 관련된 모든 애플리케이션이 부가 정보 영역(360)에 나타나는 메뉴이다. 참여 서브 메뉴는 프로그램에서 투표와 같이 프로그램 참여를 유도하는 애플리케이션이 나타나는 메뉴이다. 디스커버리 서브 메뉴는 장면 연관 정보와 같은 애플리케이션이 나타나는 메뉴이다. 프로그램 메뉴의 서브 메뉴는 컨텐트 소유자가 원하는 애플리케이션의 내용에 따라 추가되거나 변경될 수 있다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
프로그램 메인 메뉴의 첫번째 서브 메뉴인 전체 서브 메뉴가 선택되면, 영상 표시 장치(100)는 참여 서브 메뉴 및 디스커버리 서브 메뉴와 관련된 모든 애플리케이션을 부가 정보 영역(360)에 표시한다.
전체 서브 메뉴가 선택되면, 영상 표시 장치(100)는 특정 시간에 동기가 맞춰진 애플리케이션 또는 이벤트를 부가 정보 영역(360)에 표시한다. 특정 시간에 동기가 맞춰진 애플리케이션이 없는 경우, 영상 표시 장치(100)는 부가 정보 영역(360)을 빈공간으로 둘 수 있다. 그러나, 빈 공간은 사용자에게 추가적인 Interaction에 대한 동기 유발을 주지 못할 수 있으므로, 특정 시간에 동기가 맞춰진 애플리케이션이 없는 경우엔, 영상 표시 장치(100)는 그 시간 이전에 생긴 애플리케이션이나 이벤트를 모아 history를 표시할 수도 있다.
사용자가 영상 표시 장치 제조사 애플리케이션에 진입했을 때에는 메인 시청각 컨텐트를 시청하면서 메인 시청각 컨텐트와 연관된 interactive 애플리케이션을 수행하려는 의도를 가지고 있다고 볼 수 있다. 사용자가 이 메뉴, 저 메뉴를 돌아다니다 (navigate)보면, 어떤 특정 시간에 나타나는 이벤트를 보지 못하고 그냥 지나칠 경우가 발생할 수 있다. 특히 시간에 민감하지 않은 부가 서비스를 위한 메뉴를 돌아다닐 때 이러한 경우가 발생할 가능성이 높다. 그렇게 때문에 영상 표시 장치 제조사 애플리케이션에 진입한 후, navigation 도중에 시간에 민감한 이벤트가 발행하면, 영상 표시 장치(100)는 이에 대한 알림 메시지를 알림 영역(330)에 표시하여, 사용자에게 지금 시간에 방송사에서 보내주는 특정한 이벤트가 있다는 것을 알려줄 수 있다.
사용자가 영상 표시 장치 제조사 애플리케이션을 통해 음악정보나 장소 정보를 확인하는 중에 시간 연동 애플리케이션이 발생하면, 영상 표시 장치(100)는 알림 메시지를 알림 영역(330)에 표시한다. 영상 표시 장치(100)가 Go To 버튼 누름에 해당하는 사용자 입력을 수신하면, 영상 표시 장치(100)는 발생한 시간 연동 애플리케이션과 관련된 서브 메뉴로 진입하고, 발생한 시간 연동 애플리케이션을 부가 정보 영역(360)에 디스플레이한다. 알림 메시지는 텍스트 메시지일 수도 있다. 또한 영상 표시 장치(100)는 전달된 애플리케이션의 양을 숫자로 표시할 수 도 있다. 알림 메시지는 푸시 방식으로 시청자에게 전달될 수 있다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28에 도시된 바와 같이, 참여 서브 메뉴가 선택되면 영상 표시 장치(100)는 투표와 같은 시청자 참여를 유도하는 애플리케이션을 부가 정보 영역(360)에 표시한다. 시청자 참여 애플리케이션이 발생하면, 영상 표시 장치(100)는 부가 정보 영역에 이를 표시한다. 시청자 참여 애플리케이션이 투표인 경우, 영상 표시 장치(100)는 투표 질문과 투표 결과를 표시할 수 있다. 또한 영상 표시 장치(100)는 지금 시간의 이벤트 뿐만 아니라 과거의 시청자 참여 이벤트를 지금 시간의 이벤트 하단에 표시하여, 사용자에게 편의를 제공할 수 있다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29에 도시된 바와 같이, 디스커버리 서브 메뉴가 선택되면, 영상 표시 장치(100)는 시청자 참여 애플리케이션 이외의 모든 시간 연동 애플리케이션을 부가 정보 영역(360)에 표시한다. 예컨데, 영상 표시 장치(100)는 메인 시청각 컨텐트에 나타난 상품이나 장소에 대한 장면 연관 정보를 표시할 수 있다. 영상 표시 장치(100)는 현재의 장면 연관 정보와 함께 과거의 장면 연관 정보를 표시할 수도 있다.
한편, 영상 표시 장치(100)는 시간 연동 애플리케이션이나 이벤트가 있다는 알림을 서브 메뉴에 표시할 수도 있다. 예컨데, 시청자 참여 애플리케이션이 발생하면, 영상 표시 장치(100)는 참여 서브 메뉴에 N 이라는 깜박이는 icon을 표시하여 사용자의 참여를 유도할 수 있다. 사용자가 일정 시간동안 알림에 대한 응답을 하지 않는 경우, 영상 표시 장치(100)는 알림을 없앨 수 있다.
이하에서는 도 30 내지 도 36를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴를 설명한다.
정보 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 프로그램 메인 메뉴 이외의 메인 메뉴가 선택되면, 검색 서비스나 트위터 서비스와 같은 2차 서비스가 연동될 수 있다.
정보 메인 메뉴는 검색 서브 메뉴, 트위터 서브 메뉴, 뉴스 서브 메뉴를 가진다.
다음은 도 30 내지 도 32를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴를 설명한다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1001).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택되면(S1002), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 복수의 검색 아이템을 포함하는 검색 리스트를 획득한다(S1003). 검색 리스트는 장르, 배우, 감독, 장소, 상품 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)는 검색 리스트를 부가 정보 영역(360)에 표시한다(S1007). 검색 리스트의 표시 예를 도 30을 참고하여 설명한다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 31에 도시된 바와 같이, 검색 리스트는 메인 시청각 컨텐트의 등장 인물을 포함한다. 영상 표시 장치(100)는 부가 정보 영역(360)에 검색 아이템의 사진 또는 이름 중 하나 이상을 표시할 수 있다.
리모콘의 커서 등으로 복수의 검색 아이템 중 하나가 선택되면(S1009), 영상 표시 장치(100)는 선택된 검색 아이템에 대한 정보를 검색한다(S1011). 이때, 영상 표시 장치(100)는 구글과 같은 인터넷 검색 엔진을 이용할 수 있다. 또한, 영상 표시 장치(100)는 Tribune media나 IMDb와 같은 정보를 이용할 수도 있다.
영상 표시 장치(100)는 검색된 정보를 부가 정보 영역(360)에 표시한다(S1013). 검색 결과는 서비스 업체의 Open API를 통해 프로그래밍을 통해 자동으로 불러오게 되므로, 화면 디자인에 필요한 상당한 시간을 아낄 수 있다. 검색 정보의 표시 예를 도 32을 참고하여 설명한다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 32에 도시된 바와 같이, 영상 표시 장치(100)는 선택된 검색 아이템에 대한 검색 결과를 부가 정보 영역(360)에 디스플레이한다. 한편, 영상 표시 장치(100)는 부가 정보 영역(360)에 트위터 버튼과 편집 버튼을 배치하여, 배우의 Twitter를 Follow할 수 있게 하거나, 이 배우의 다른 출연작, Biography 등과 같은 Profile을 편집하게 할 수도 있다.
이와 같이, 본 발명의 실시예에 따른 검색 방법을 이용하면, 한번의 클릭을 통해 메인 시청각 데이터와 연관된 정보를 검색할 수 있어, 검색어 입력의 수고를 경감시킬 수 있다.
다음은 도 33과 도 34를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴를 설명한다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1101).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택되면(S1102), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 트위터 채팅 목록을 획득한다(S1103). 영상 표시 장치(100)는 Twitter의 Hashtag에 프로그램명을 적어 이 프로그램에만 관련된 Twitter 채팅 목록을 불러올 수 있다. 이 채팅 목록은 Twitter와 연동되어 실시간으로 계속 업데이트 된다.
영상 표시 장치(100)는 사용자 선택을 통해 또는 자동으로 트위터 채팅 목록 중의 한 채팅 창을 부가 정보 영역(360)에 표시한다(S1107). 채팅 창의 표시 예를 도 34을 참고하여 설명한다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 34에 도시된 바와 같이, 영상 표시 장치(100)는 채팅 창을 부가 정보 영역(360)에 표시하여 같은 프로그램을 시청하는 시청자들 사이의 채팅을 지원할 수 있다.
프로그램이 방송될 때, 실제 이 프로그램의가 직접 채팅방에서 메시지를 적어 넣을 수도 있다. 영상 표시 장치(100)가 Smart TV같이 log in 메커니즘이 있는 기기라면 이 메뉴에 진입할 때에는 이미 영상 표시 장치(100)의 사용자가 log in되어 있는 상태로 그 즉시 자신의 id로 채팅을 시작할 수도 있다. 영상 표시 장치(100)의 리모컨 입력이 불편한 경우에는 영상 표시 장치(100)는 단순히 채팅 메시지만 디스플레이할 수 있다. 만일 영상 표시 장치(100)가 Smart Phone이나 tablet처럼 2nd Device와 연동되어 있다면, 2nd Device의 입력장치를 통해 메시지가 typing될 수도 있을 것이다. Hashtag에 들어가는 정보는 기본적으로 프로그램명이지만, 앞에서 기술한 다른 기본 정보인 배우, 감독 등의 tag으로도 선택하여, 사용자는 해당 주제의 채팅에 선택적으로 참여할 수 있다.
다음은 도 35와 도 36을 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴를 설명한다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1201).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택되면(S1202), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 뉴스를 획득한다(S1203). 이때, 뉴스는 메인 시청각 컨텐트와 관련 있을 수도 있고, 관련이 없을 수도 있다. 또한, 뉴스는 메인 시청각 컨텐트의 방송사가 제공하는 것일 수 있다. 방송사가 Open API로 뉴스를 제공하는 않는다면, 영상 표시 장치(100)는 Google이나 Yahoo같은 internet 서비스의 News feed를 통해 뉴스를 수신할 수 있다.
영상 표시 장치(100)는 획득한 뉴스를 부가 정보 영역(360)에 표시한다(S1207). 뉴스의 표시 예를 도 36을 참고하여 설명한다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 36에 도시된 바와 같이, 영상 표시 장치(100)는 획득한 뉴스를 부가 정보 영역(360)에 표시할 수 있다.
이하에서는 도 37 내지 도 42를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴를 설명한다.
소셜 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 프로그램 메인 메뉴 이외의 메인 메뉴가 선택되면, Facebook과 같은 2차 서비스가 연동될 수 있다.
소셜 메인 메뉴는 시청자 리스트 서브 메뉴, 호감 표시 서브 메뉴를 가진다.
다음은 도 37 내지 도 40를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴를 설명한다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1301).
영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택되면(S1302), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 획득한다(S1303). 영상 표시 장치(100)는 facebook 같은 소셜 네트워크 서비스와 연동하여 메인 시청각 컨텐트를 시청하는 친구의 목록을 획득할 수 있다.
영상 표시 장치(100)는 획득한 시청자 리스트를 부가 정보 영역(360)에 표시한다(S1307). 시청자 리스트의 표시 예를 도 38을 참고하여 설명한다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 38에 도시된 바와 같이, 영상 표시 장치(100)는 획득한 시청자 리스트에 해당하는 시청자들의 사진과 이름을 부가 정보 영역(360)에 표시할 수 있다.
특히, 영상 표시 장치(100)는 친구의 목록을 시청 여부와 함께 표시할 수도 있고, 시청중인 친구의 목록만을 표시할 수도 있다.
표시된 친구 목록 중에서 한 친구가 선택되면(S1309), 영상 표시 장치(100)는 선택된 친구가 메인 시청각 컨텐트를 시청하고 있는지를 확인한다(S1311).
선택된 친구가 메인 시청각 컨텐트를 시청하고 있다면, 영상 표시 장치(100)는 선택된 친구와의 채팅 창을 부가 정보 영역(360)에 표시한다(S1313).
한편, 선택된 친구가 메인 시청각 컨텐트를 시청하고 있지 않다면, 영상 표시 장치(100)는 선택된 친구의 이메일 또는 핸드폰에 메인 시청각 컨텐트의 시청을 권하는 메시지를 전송한다(S1315). 선택된 친구가 메인 시청각 컨텐트를 시청하고 있지 않더라도 영상 표시 장치(100)는 선택된 친구와의 채팅 창을 부가 정보 영역(360)에 표시할 수도 있다.
채팅을 위하여 사용자는 영상 표시 장치(100)의 리모컨을 사용할 수도 있고, 영상 표시 장치(100)에 연결된 2nd device의 입력장치를 사용할 수도 있으며, 영상 표시 장치(100)와는 상관없이 Smartphone의 Social 네트워크 서비스 애플리케이션을 통해 직접 채팅을 할 수 있다. 어떤 경우에든 영상 표시 장치(100)의 화면에는 Social 네트워크 서비스의 채팅 화면이 디스플레이될 수 있다. 프로그램을 평가하는 버튼을 통해, 사용자는 자신의 의사표시를 친구들에게 전달할 수 있다. 예를 들자면, Facebook의 "좋아요" 버튼을 통해 사용자는 메인 시청각 컨텐트를 시청중임을 친구에게 알릴 수도 있고, 메인 시청각 컨텐트를 시청하지 않는 친구에게 시청을 권할 수도 있다.
이와 같이, 영상 표시 장치(100)는 시청자 리스트 서브 메뉴를 통해 ACR 기술을 이용하여 누가 어떤 프로그램을 시청하고 있는지 자동으로 파악할 수 있다. 누가 시청하고 있는 지의 확인을 위하여 사용자의 login이 요구된다. 영상 표시 장치(100)에 로그인을 위한 계정을 등록하면, 영상 표시 장치(100)는 턴온될 때마다 자동으로 log in할 수 있으므로 영상 표시 장치(100)는 누가 메인 시청각 컨텐트를 시청하고 있는 지를 파악할 수 있다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 39에 도시된 바와 같이, 친구 A의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 메인 시청각 컨텐트 A의 식별자와 친구 A의 식별자를 전송한다(S1401).
또한, 친구 B의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 메인 시청각 컨텐트 A의 식별자와 친구 B의 식별자를 전송한다(S1403).
영상 표시 장치(100)가 메인 시청각 컨텐트 A를 재생하고 있다면, 영상 표시 장치(100)는 사용자의 ID와 메인 시청각 컨텐트 A의 식별자를 SNS 제공 서버(75)에 전송한다(S1405).
SNS 제공 서버(75)는 친구 관계 정보와 수신한 컨텐트 식별자에 기초하여 영상 표시 장치(100)의 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 확인하고, 확인된 정보를 영상 표시 장치(100)에 제공한다(S1407).
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40에 도시된 바와 같이, 친구 A의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 친구 A의 식별자를 전송하고(S1501), ACR 서버(77)에 메인 시청각 컨텐트 A를 전송한다(S1503). ACR 서버(77)는 워터마크 서버(21), 핑거프린트 서버(22), 부가 서비스 정보 제공 서버(40), 부가 서비스 제공 서버(50) 중 하나 일 수 있다.
또한, 친구 B의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 친구 B의 식별자를 전송하고(S1505), ACR 서버(77)에 메인 시청각 컨텐트 A를 전송한다(S1507).
영상 표시 장치(100)는 사용자의 ID를 SNS 제공 서버(75)에 전송한다(S1509).
그러면, SNS 제공 서버(75)는 사용자의 ID에 해당하는 친구 목록을 ACR 서버(75)에 제공한다(S1511).
한편, 영상 표시 장치(100)가 메인 시청각 컨텐트 A를 재생하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트 A의 식별자를 ACR 서버(77)에 전송한다(S1513).
ACR 서버(75)는 사용자의 ID에 해당하는 친구 목록과 컨텐트 식별자에 기초하여 영상 표시 장치(100)의 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 확인하고, 확인된 정보를 영상 표시 장치(100)에 제공한다(S1515).
다음은 도 41 내지 도 42를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴를 설명한다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1601).
영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택되면(S1602), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 복수의 호감 표시 아이템을 포함하는 호감 표시 목록을 획득한다(S1603). 여기서 호감 표시 아이템은 프리뷰 또는 프리뷰 주소를 포함할 수 있다. 프리뷰는 이미지 또는 짧은 길이의 동영상 일 수 있다. 이 Preview는 방송사가 Open API를 통해 직접 제공할 수도 있고, Internet 서비스의 검색 엔진을 획득될 수 있고, 방송사의 인터넷서버에서 필요한 부분만을 추출하여 획득될 수도 있다. 몇 분의 시간 간격의 핵심 scene에 해당하는 이미지가 제공될 수도 있고, 한 프로그램에 하나의 이미지만 제공될 수도 있다.
영상 표시 장치(100)는 획득한 호감 표시 목록을 부가 정보 영역(360)에 표시한다(S1607). 시청자 리스트의 표시 예를 도 42를 참고하여 설명한다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 42에 도시된 바와 같이, 영상 표시 장치(100)는 호감 표시 목록의 프리뷰들과 호감 표시를 위한 '좋아요(Like it)' 버튼들을 부가 정보 영역(360)에 디스플레이할 수 있다.
한 호감 표시 아이템에 해당하는 '좋아요' 버튼이 선택되면(S1609), 영상 표시 장치(100)는 선택된 호감 표시 아이템에 해당하는 프리뷰와 간단한 텍스트를 facebook 등의 SNS에 포스트한다(S1611). 여기서 간단한 텍스트는 자동적으로 생성되거나, 리모컨으로 입력하거나, 2nd Device의 입력 기기를 통해 입력할 수도 있다.
이하에서는 도 43 내지 도 46을 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴를 설명한다.
추천 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 추천 메뉴가 선택되면, 다른 서비스가 연동될 수 있다.
추천 메인 메뉴는 이전 에피소드 서브 메뉴, VOD 서브 메뉴, 애플리케이션 서브 메뉴를 가진다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1701).
영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 서브 메뉴가 선택되면(S1702), 영상 표시 장치 제조사 애플리케이션은 획득한 컨텐츠 정보에 기초하여 디지털 미디어 목록을 획득한다(S1703). 이전 에피소드 서브 메뉴가 선택되면, 영상 표시 장치(100)는 이전 에피소드 목록을 획득한다. VOD 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 VOD 목록을 획득한다. 애플리케이션 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 애플리케이션의 목록을 획득한다. 여기서 디지털 미디어 목록은 프리뷰 또는 프리뷰 주소, 아이콘, 관련 이미지를 포함할 수 있다.
영상 표시 장치 제조사 애플리케이션은 획득한 디지털 미디어 목록을 부가 정보 영역(360)에 표시한다(S1707).
이전 에피소드 목록의 표시 예를 도 44를 참고하여 설명한다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 44에 도시된 바와 같이, 영상 표시 장치(100)는 이전 에피소드 목록의 프리뷰들과 타이틀들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 이전 에피소드를 검색하여 표시할 수 있다.
VOD 목록의 표시 예를 도 45를 참고하여 설명한다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45에 도시된 바와 같이, 영상 표시 장치(100)는 VOD 목록의 프리뷰들과 타이틀들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 VOD를 검색하여 표시할 수 있다.
애플리케이션 목록의 표시 예를 도 46을 참고하여 설명한다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46에 도시된 바와 같이, 영상 표시 장치(100)는 애플리케이션 목록의 아이콘들과 애플리케이션 이름들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 애플리케이션을 검색하여 표시할 수 있다.
디지털 미디어 목록 내의 한 아이템이 선택되면(S1709), 영상 표시 장치 제조사 애플리케이션은 선택된 아이템에 해당하는 디지털 미디어를 다운로드한다(S1711). 이때, 과금 후에 영상 표시 장치(100)는 디지털 미디어를 다운로드할 수 있다. 선택된 아이템이 이전 에피소드이거나 VOD인 경우, 영상 표시 장치(100)는 다운로드한 디지털 미디어를 재생할 수 있다. 선택된 아이템이 애플리케이션이면, 영상 표시 장치(100)는 다운로드한 애플리케이션을 자동으로 또는 사용자 선택을 통해 실행할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 간단한 조작을 통해 영상 표시 장치(10)는 디지털 미디어를 다운로드할 수 있다.
이하에서는 도 47 내지 도 50를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 카탈로그 메인 메뉴를 설명한다.
카탈로그 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 카탈로그 메뉴가 선택되면, 다른 서비스가 연동될 수 있다.
카탈로그 메인 메뉴는 스타일 서브 메뉴, 음악서브 메뉴, 기타 서브 메뉴를 가진다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1801).
영상 표시 장치 제조사 애플리케이션의 카탈로그 메인 메뉴의 서브 메뉴가 선택되면(S1802), 영상 표시 장치 제조사 애플리케이션은 획득한 컨텐츠 정보에 기초하여 카탈로그 목록을 획득한다(S1803). 스타일 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 의류들을 위한 카탈로그 목록을 획득한다. 음악 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 음악들을 위한 카탈로그 목록을 획득한다. 기타 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 상품이나 장소를 위한 카탈로그목록을 획득한다. 여기서 디지털 미디어 목록은 관련 이미지, 가격 정보, 설명, 쿠폰을 포함할 수 있다. 쿠폰은 번호나 QR 코드의 형태일 수 있다. 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 중에만 쿠폰을 표시할 수도 있지만, 쿠폰의 유효기간 동안은 메모리(150)에 저장하여 사용자가 추후 이용하도록 할 수도 있다.
영상 표시 장치 제조사 애플리케이션은 획득한 카탈로그 목록을 부가 정보 영역(360)에 표시한다(S1807).
의류 카탈로그 목록의 표시 예를 도 48을 참고하여 설명한다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 48에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 의류의 메이커 정보, 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 의류 카탈로그를 검색하여 표시할 수 있다.
음악 카탈로그 목록의 표시 예를 도 49를 참고하여 설명한다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 음악의 가수 정보, 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 음악 카탈로그를 검색하여 표시할 수 있다.
기타 카탈로그 목록의 표시 예를 도 50을 참고하여 설명한다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 상품이나 장소의 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 상품이나 장소에 대한 카탈로그를 검색하여 표시할 수 있다.
카탈로그 목록 내의 한 아이템이 선택되면(S1809), 영상 표시 장치 제조사 애플리케이션은 선택된 아이템에 해당하는 구매 페이지를 표시한다(S1811).
이와 같이, 본 발명의 실시예에 따르면, 간단한 조작을 통해 사용자는 제품을 구매할 수 있다.
카탈로그 목록 내의 각 아이템에는 구매 후기 버튼과 북마크 버튼이 배치될 수 있다.
구매 후기 버튼이 선택되면, 영상 표시 장치(100)는 아이템의 사용 후기를 부가 정보 영역(360)에 표시할 수 있다. 또한, 사용자는 구매 후기를 작성할 수도 있다.
또한, 사용자는 북마크 버튼을 통해 특정 아이템을 북마크한 후, 소셜 메인 메뉴의 시청자 리스트 서브 메뉴를 통해 북마크한 아이템을 추천할 수 있다.
이 경우, 영상 표시 장치(100)는 ACR 서버(77)나 SNS 제공 서버(75)에 북마크 아이템 정보를 제공할 수 있다.
이후, 추천받은 시청자의 영상 표시 장치(100)는 메인 시청각 컨텐트에서 추출된 구간에 기초하여 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보로부터 메인 시청각 컨텐트가 추천된 아이템의 광고에 해당하는 경우에, "친구 U가 추천한 상품입니다"와 같은 추천 메시지를 표시할 수 있다. 또한 추천 메시지 대신에 짧은 길이의 동영상이 표시될 수도 있다.
다음은 도 51과 도 52를 참고하여 본 발명의 실시예에 따른 ACR 기능의 온오프 제어를 설명한다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 51에 도시된 바와 같이, 재생 제어부(113)는 ACR 기능 설정 창을 디스플레이한다. 사용자는 ACR 기능 설정 창을 통해 ACR 기능을 활성화시킬 수도 있고, 비활성화시킬 수도 있다.
ACR 기능이 활성화된 경우, 사용자는 ACR 모드를 선택할 수도 있다. 본 발명의 실시예에 따른 ACR 모드는 자동 재생 애플리케이션 모드, 컨텐츠 제공자 애플리케이션 모드, 영상 표시 장치 제조사 애플리케이션 모드 중 하나로 설정될 수 있다.
이와 같이 ACR 기능의 모드가 설정되면, 재생 제어부(113)는 설정 정보를 설정 정보 저장부(154)에 저장한다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
부가 서비스 관리부(130)는 ACR 기능이 턴온되어 있는지를 확인한다(S1901).
ACR 기능이 비활성화되어 있다면, 부가 서비스 관리부(130)는 더 이상 컨텐트 정보 획득 절차를 수행하지 않는다.
ACR 기능이 활성화되어 있다면 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S1902).
부가 서비스 관리부(130)는 추출한 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S1903).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 기준 시간을 대체 광고의 기준 시간과 동기화한다(S1905).
부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스를 획득한다(S1907). 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보를 획득하고, 획득한 부가 서비스 정보에 기초하여 부가 서비스를 획득할 수도 있다.
이후, 부가 서비스 관리부(130)는 ACR 모드를 확인한다(S1909).
부가 서비스 관리부(130)는 ACR 모드에 따라 부가 서비스를 재생한다(S1911).
구체적으로, ACR 모드가 자동 재생 애플리케이션 모드이면, 부가 서비스 관리부(130)는 자동 재생 애플리케이션을 실행하고, 실행된 자동 재생 애플리케이션은 획득한 부가 서비스를 재생한다.
ACR 모드가 컨텐츠 제공자 애플리케이션 모드이면, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 대응하는 컨텐츠 제공자 애플리케이션을 백그라운드에서 실행한다. 부가 서비스 관리부(130)는 부가 서비스 이용에 해당하는 사용자 입력을 수신하면, 컨텐츠 제공자 애플리케이션을 디스플레이한다. 이 컨텐츠 제공자 애플리케이션이 획득한 부가 서비스를 재생할 수 있다. 컨텐츠 제공자 애플리케이션이 자동으로 백그라운드에서 실행되는 대신에, 컨텐츠 제공자 애플리케이션은 사용자 입력에 의해 실행될 수 있다.
ACR 모드가 영상 표시 장치 제조사 애플리케이션 모드이면, 부가 서비스 관리부(130)는 부가 서비스 관리부(130)는 영상 표시 장치 제조사 애플리케이션을 백그라운드에서 실행한다. 부가 서비스 관리부(130)는 부가 서비스 이용에 해당하는 사용자 입력을 수신하면, 영상 표시 장치 제조사 애플리케이션을 디스플레이한다. 이 영상 표시 장치 제조사 애플리케이션이 획득한 부가 서비스를 재생할 수 있다. 영상 표시 장치 제조사 애플리케이션이 자동으로 백그라운드에서 실행되는 대신에, 영상 표시 장치 제조사 애플리케이션은 사용자 입력에 의해 실행될 수 있다.
다음은 도 53을 참고하여 본 발명의 실시예에 따른 페어링 절차를 설명한다.
도 53은 본 발명의 실시예에 따른 페어링 절차를 보여주는 래더 다이어그램이다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S2000). 연동 애플리케이션은 영상 표시 장치(100)의 제조사가 제공할 수 있다. 단말 장치(400)와 영상 표시 장치(100) 사이의 연동 프로토콜이 공개된 경우, 방송사, 컨텐츠 제공자, 제3자등이 연동 애플리케이션을 제작하여 제공할 수도 있다.
연동 애플리케이션에 관하여 도 54을 참고하여 설명한다.
도 54는 본 발명의 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 54에 도시된 바와 같이, 본 발명의 실시예에 따른 연동 애플리케이션은 영상 표시 장치 제어 UI를 디스플레이한다. 이때, 영상 표시 장치 제어 UI는 영상 표시 장치(100)를 제어하기 위한 다양한 기능 버튼을 상단에 포함하고, 복수의 탭 변경 버튼을 하단에 포함한다. 영상 표시 장치 제어 UI는 탭 변경 버튼으로 영상 표시 장치(100)의 볼륨과 채널을 제어하기 위한 VOL/CH 탭 변경 버튼과 ACR 탭 변경 버튼, 연동 애플리케이션의 셋팅을 변경하기 위한 setting 탭 변경 버튼을 포함한다. VOL/CH 탭 변경 버튼이 클릭되면, 영상 표시 장치 제어 UI는 기능 버튼으로 볼륨 증가 버튼, 볼륨 감소 버튼, 채널 번호 증가 버튼, 채널 번호 감소 버튼, 음량 소거 버튼, 홈 버튼 등을 표시할 수 있다.
다시 도 53을 설명한다.
단말 장치(400)는 페어링 가능한 장치들을 탐색하고(S2001), 탐색된 장치들을 디스플레이한다(S2003). 단말 장치(400)는 디지털 리빙 네트워크 얼라이언스(Digital Living Network Alliance, DLNA), Bonjour, 범용 플러그 앤 플러그(universal plug and play, UPnP), 또는 제조사 고유의 탐색 방법을 이용하여 같은 네트워크에 연결된 장치들을 탐색하고, 탐색된 장치들이 제공하는 서비스를 확인할 수 있다.
사용자(500)가 탐색된 장치들 중 하나를 선택하여, 단말 장치(400)는 탐색된 장치들 중 하나에 대한 선택을 인식한다(S2005). 이때, 영상 표시 장치(100)가 선택됨을 가정한다.
단말 장치(400)는 인증 절차에 진입하면서 이 인증 절차가 최초의 인증인지를 확인한다(S2007). 예컨대, 단말 장치(400)는 인증 정보 저장부에 인증 정보가 저장되어 있는지를 확인하여, 저장되어 있으면 이 인증 절차가 최초의 인증이 아니라고 판단하고, 저장되어 있지 않으면 이 인증 절차가 최초의 인증이라고 판단할 수 있다.
인증 절차가 최초이면, 단말 장치(400)는 영상 표시 장치(100)에 인증 번호를 요청한다(S2009). 이를 위하여, 단말 장치(400)는 표 14에서 보여지는 바와 같은 HTTP request를 영상 표시 장치(100)에 전송할 수 있다.
Figure pat00016
표 14에서 보여지는 바와 같이, 인증 번호 요청 메시지는 인증을 나타내는 auth 엘리먼트를 포함하고, 이 auth 엘리먼트는 메시지 타입을 나타내는 type 엘리먼트를 포함한다. type 엘리먼트의 값이 AuthKeyRequest인 HTTP request는 인증 번호 요청 메시지를 나타낸다.
인증 번호 요청을 수신한 영상 표시 장치(100)는 인증 번호를 생성하고(S2011), 인증 번호 생성 결과를 단말 장치(400)에 전송한다(S2013). 인증 번호 생성 결과는 생성된 인증 번호를 포함하지는 않고, 성공 또는 실패를 나타내는 정보를 포함할 수 있다. 예컨대, 영상 표시 장치(100)에 접속 가능한 단말기의 수가 제한되어 있고, 최대로 접속가능한 수의 단말기가 영상 표시 장치(100)에 접속한 상태에서 단말 장치(400)가 인증 번호 요청을 전송하면, 영상 표시 장치(100)는 실패를 나타내는 정보를 포함하는 인증 번호 생성 결과를 단말 장치(400)에 전송할 수 있다.
인증 번호 생성 결과 메시지는 표 15와 표 16에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00017
표 15에서 보여지는 바와 같이 인증 번호 생성 결과 메시지는 이 HTTP response가 인증과 관련됨을 나타내는 auth 엘리먼트를 포함한다. 이 auth 엘리먼트는 인증 번호 생성 결과에 대한 정보를 담는 result 엘리먼트와 인증 번호 생성 결과에 대한 상세 정보를 담는 resultDetail 엘리먼트를 포함한다. result 엘리먼트와 resultDetail 엘리먼트가 가질 수 있는 값의 리스트와 각 값들의 설명이 표 16에서 보여진다.
Figure pat00018
표 16에서 보여지는 바와 같이, 영상 표시 장치(100)가 단말 장치(400)로부터의 요청을 성공적으로 처리한 경우에, 영상 표시 장치(100)는 값이 200인 result 엘리먼트와 값이 "OK"인 resultDetail 엘리먼트를 포함하는 인증 번호 생성 결과 메시지를 단말 장치(400)에 전송할 수 있다.
한편, 단말 장치(400)로부터의 요청 메시지의 포맷에 오류가 있는 경우에, 영상 표시 장치(100)는 값이 400인 result 엘리먼트와 값이 "Bad Request"인 resultDetail 엘리먼트를 포함하는 인증 번호 생성 결과 메시지를 단말 장치(400)에 전송할 수 있다.
인증 번호 요청 메시지가 인증되지 않은 세션 식별자로부터의 요청이어서 영상 표시 장치(100)가 인증에 실패한 경우에, 영상 표시 장치(100)는 값이 401인 result 엘리먼트와 값이 "Unauthorized"인 resultDetail 엘리먼트를 포함하는 인증 번호 생성 결과 메시지를 단말 장치(400)에 전송할 수 있다.
URL이 잘못된 경우에, 영상 표시 장치(100)는 값이 406인 result 엘리먼트와 값이 "Not Acceptable"인 resultDetail 엘리먼트를 포함하는 인증 번호 생성 결과 메시지를 단말 장치(400)에 전송할 수 있다.
프로토콜 또는 서비스 버전 차이로 영상 표시 장치(100)가 단말 장치(400)로부터의 요청을 지원할 수 없는 경우에, 영상 표시 장치(100)는 값이 409인 result 엘리먼트와 값이 "Conflict"인 resultDetail 엘리먼트를 포함하는 인증 번호 생성 결과 메시지를 단말 장치(400)에 전송할 수 있다.
영상 표시 장치(100)가 단말 장치(400)로부터의 요청을 처리하는 과정에서 내부 오류가 발생한 경우에, 영상 표시 장치(100)는 값이 500인 result 엘리먼트와 값이 "Internal Server Error"인 resultDetail 엘리먼트를 포함하는 인증 번호 생성 결과 메시지를 단말 장치(400)에 전송할 수 있다.
단말 장치(400)로부터의 요청이 현재 서비스에서 이용가능하지 않은 경우에, 영상 표시 장치(100)는 값이 503인 result 엘리먼트와 값이 "Service Unavailable"인 resultDetail 엘리먼트를 포함하는 인증 번호 생성 결과 메시지를 단말 장치(400)에 전송할 수 있다.
영상 표시 장치(100)는 생성한 인증 번호를 디스플레이한다(S2015).
성공을 나타내는 정보를 포함하는 인증 번호 생성 결과를 수신한 단말 장치(400)는 인증 번호 입력 창을 디스플레이한다(S2017).
도 55는 본 발명의 실시예에 따른 인증 번호 입력 창을 보여준다.
도 55의 (A)에 도시된 바와 같이, 본 발명의 실시예에 따른 인증 번호 입력 창은 인증키의 입력을 위한 텍스트 박스, 사용자 타입의 입력을 위한 콤보 박스, 영상 표시 장치(100)의 암호 입력을 위한 텍스트 박스를 포함한다.
예컨데, 사용자 타입의 입력을 위한 콤보 박스는 '가족' 아이템과 '손님' 아이템을 가질 수 있다. 만약, '손님' 아이템이 선택되면, 영상 표시 장치(100)의 암호 입력을 위한 텍스트 박스가 사라질 수 있다. 영상 표시 장치(100)는 사용자 타입에 따라 부가 서비스의 이용 권한을 부여할 수 있다. 일 실시예에서, 영상 표시 장치(100)는 사용자 타입으로 '가족'이 지정되어 페어링된 단말 장치(400)에는 상대적으로 높은 권한을 부여하고, 사용자 타입으로 '손님'이 지정되어 페어링된 단말 장치(400)에는 상대적으로 낮은 권한을 부여할 수 있다. 또 다른 실시예에서, 영상 표시 장치(100)는 사용자 타입으로 '가족'이 지정되어 페어링된 단말 장치(400)에는 부가 서비스의 이용을 위하여 무제한의 권한을 부여하고, 사용자 타입으로 '손님'이 지정되어 페어링된 단말 장치(400)에는 보기 권한만을 부여하고 입력 권한은 부여하지 않을 수 있다.
다시 도 53을 설명한다.
사용자(500)가 영상 표시 장치(100)에 디스플레이된 인증 번호를 보고서 단말 장치(400)에 인증 번호를 입력하여, 단말 장치(400)는 디스플레이한 인증 번호 입력 창을 통해 인증 번호를 입력받고(S2019), 인증 정보 저장부에 입력받은 인증 번호를 저장한다.
또, 단말 장치(400)는 디스플레이한 인증 번호 입력 창을 통해 사용자 타입을 입력받는다(S2021), 인증 정보 저장부에 입력받은 사용자 타입을 저장한다.
또, 단말 장치(400)는 디스플레이한 인증 번호 입력 창을 통해 영상 표시 장치(100)의 암호를 입력받는다(S2023), 인증 정보 저장부에 입력받은 암호를 저장한다. 사용자 타입으로 '손님'이 선택되면, 단말 장치(400)는 영상 표시 장치(100)의 암호를 입력 받지 않을 수 있다.
단말 장치(400)는 인증 번호, 사용자 타입, 영상 표시 장치(100)의 암호와 함께 인증 요청을 영상 표시 장치(100)에 전송한다(S2025). 인증 요청 메시지는 표 17에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00019
표 17에서 보여지는 바와 같이, 인증 요청 메시지는 이 HTTP request가 인증과 관련됨을 나타내는 auth 엘리먼트를 포함한다. 이 auth 엘리먼트는 메시지 타입을 나타내는 type 엘리먼트, 인증 번호를 담는 key 엘리먼트, 사용자 타입을 담는 userType 엘리먼트, 영상 표시 장치(100)의 암호를 담는 pwd 엘리먼트를 포함한다. type 엘리먼트의 값이 AuthRequest인 HTTP request는 인증 요청 메시지를 나타낸다. 앞서 설명한 바와 같이, userType 엘리먼트는 "Family" 값 또는 "Guest" 값을 가질 수 있다. userType 엘리먼트의 값이 "Guest"인 경우, 인증 요청 메시지는 pwd 엘리먼트를 가지지 않을 수 있다.
영상 표시 장치(100)는 인증 요청과 함께 수신한 인증 번호, 사용자 타입, 암호에 기초하여 인증을 수행한다(S2027). 수신한 인증 번호가 생성한 인증 번호와 일치하고, 수신한 암호가 저장된 암호와 일치하는 경우, 영상 표시 장치(100)는 수신한 사용자 타입과 관련하여 인증이 성공했다고 판단할 수 있다. 수신한 인증 번호가 생성한 인증 번호와 일치하지 않거나, 수신한 암호가 저장된 암호와 일치하지 않는 경우, 영상 표시 장치(100)는 수신한 사용자 타입과 관련하여 인증이 실패했다고 판단할 수 있다.
영상 표시 장치(100)가 성공적으로 인증을 수행한 경우, 영상 표시 장치(100)는 단말 장치(400)를 위한 세션 값을 발급한다(S2028).
영상 표시 장치(100)는 인증을 수행한 후 인증 결과를 단말 장치(400)에 전송한다(S2029). 인증 결과 메시지는 표 18에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00020
표 18에서 보여지는 바와 같이, 인증 결과 메시지는 이 HTTP response가 인증과 관련됨을 나타내는 auth 엘리먼트를 포함한다. 이 auth 엘리먼트는 인증 결과 정보를 담는 result 엘리먼트와 인증 결과에 대한 상세 정보를 담는 resultDetail 엘리먼트, 세션 값을 담는 session 엘리먼트를 포함한다. result 엘리먼트와 resultDetail 엘리먼트가 가질 수 있는 값의 리스트와 각 값들의 설명이 표 16에서 보여진다. session 엘리먼트가 담는 세션 값은 상호 연동 과정에서 사용된다. 상호 연동 과정에서 메시지 내의 세션 값이 영상 표시 장치(100)가 발급한 세션 값과 일치하지 않으면 에러가 발생한다.
단말 장치(400)는 수신한 인증 결과를 디스플레이한다(S2031).
긍정적인 인증 결과를 포함하는 인증 결과 메시지에 대한 응답 또는 능력 정보 요청 메시지에 대한 응답으로 단말 장치(400)는 단말 장치(400)의 능력 정보를 포함하는 능력 정보 응답 메시지를 영상 표시 장치(100)에 전송한다(S2033). 능력 정보 응답 메시지는 deviceCapability 엘리먼트를 포함할 수 있다. deviceCapability 엘리먼트는 단말 장치(400)의 해상도에 정보를 담는 resolution 엘리먼트를 포함할 수 있다. deviceCapability 엘리먼트는 CPU 사양, 이용가능한 메모리 잔량 등을 담는 엘리먼트를 포함할 수 있다. 영상 표시 장치(100)는 페어링된 단말 장치의 리스트와 리스트 상의 단말 장치의 능력 정보를 저장하고 관리할 수 있다.
추가로, 영상 표시 장치(100)는 영상 표시 장치(100)의 능력 정보를 포함하는 메시지를 단말 장치(400)에 전송할 수 있다. 영상 표시 장치(100)는 단계(S2033)의 능력 정보 응답 메시지 또는 또는 별도의 능력 정보 요청 메시지에 대한 응답으로 영상 표시 장치(100)의 능력 정보를 포함하는 메시지를 단말 장치(400)에 전송할 수 있다. 또한, 단계(S2029)의 인증 결과 메시지가 영상 표시 장치(100)의 능력 정보를 포함할 수도 있다.
한편, 인증 절차가 최초가 아니면, 단말 장치(400)는 인증 정보 저장부에 저장되어 있는 인증 번호, 사용자 타입, 영상 표시 장치(100)의 암호와 함께 인증 요청을 영상 표시 장치(100)에 전송하고(S2025), 이후의 절차를 수행한다.
이상에서 페어링 절차에 대해 설명하였고, 페어링 절차에서 HTTP request와 HTTP response가 이용되었지만, UDP 또는 TCP 기반의 패킷이 이용될 수도 있고, 기타 포맷의 메시지가 이용될 수도 있다.
이처럼, 기기간 상호 연동은 영상 표시 장치(100)와 단말 장치(400) 사이의 페어링 절차 이후에 수행될 수 있다. 그러나, 영상 표시 장치(100)는 페어링 상태에서 단말 장치(400)에 대한 정보를 저장한 후, 영상 표시 장치(100)와 단말 장치(400)가 페어링되지 않았더라도, 영상 표시 장치(100)는 단말 장치(400)에게 기기간 상호 연동 과정에서 필요한 메시지를 전달할 수 있다. 단말 장치(400) 또한 페어링 상태에서 영상 표시 장치(100)에 대한 정보를 저장한 후, 페어링 상태에서 벗어나더라도 영상 표시 장치(100)에게 기기간 상호 연동 과정에서 필요한 메시지를 전달할 수 있다.
영상 표시 장치(100)는 페어링 상태에서 단말 장치(400)의 정보를 저장하고, 이후 페어링 해제 상태에서 저장된 정보에 기초하여 push notification mechanism을 이용하여 기기간 상호 연동 과정의 메시지를 단말 장치(400)에 전송할 수 있다.
또한, 단말 장치(400)는 페어링 상태에서 영상 표시 장치(100)의 정보를 저장하고, 이후 페어링 해제 상태에서 저장된 정보에 기초하여 push notification mechanism을 이용하여 기기간 상호 연동 과정의 메시지를 영상 표시 장치(100)에 전송할 수 있다.
다음은 도 56을 참고하여 본 발명의 실시예에 따른 ACR 제어 방법을 설명한다.
도 56은 본 발명의 실시예에 따른 ACR 제어 방법을 보여주는 래더 다이어그램이다.
도 56에 도시된 실시예를 HTTP request와 HTTP response에 기초하여 설명한다. 그러나, UDP 또는 TCP 기반의 패킷이 이용될 수도 있고, 기타 포맷의 메시지가 이용될 수도 있다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S2301).
단말 장치(400)의 연동 애플리케이션과 영상 표시 장치(100)는 페어링 과정을 수행한다(S2302).
다음으로, 단말 장치(400)의 연동 애플리케이션은 영상 표시 장치(100)가 ACR을 지원하는지를 질의하기 위하여 ACR 능력 요청 메시지를 영상 표시 장치(100)에 전송한다(S2303). ACR 능력 요청 메시지는 표 19에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00021
표 19에서 보여지는 바와 같이, ACR 능력 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 영상 표시 장치(100)가 발급한 세션 값을 담는 session 엘리먼트와 이 HTTP request가 ACR 능력 요청 메시지임을 나타내는 텍스트 값인 "ACRSupportRequest"를 담는 name 엘리먼트를 포함한다.
영상 표시 장치(100)는 ACR 능력 요청 메시지에 대한 응답으로 ACR 능력 응답 메시지를 단말 장치(400)에 전송한다(S2305). ACR 능력 응답 메시지는 영상 표시 장치(100)가 ACR을 지원하는지에 대한 정보를 포함한다. ACR 능력 응답 메시지는 표 20에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00022
표 20에서 보여지는 바와 같이, ACR 능력 응답 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 영상 표시 장치(100)가 발급한 세션 값을 담는 session 엘리먼트와 이 HTTP request가 ACR 능력 응답 메시지임을 나타내는 텍스트 값인 "ACRSupportRequest"를 담는 name 엘리먼트와 영상 표시 장치(100)가 ACR을 지원하는지에 대한 정보를 담는 acrSupport 엘리먼트를 포함한다. "Support"값을 가지는 acrSupport 엘리먼트는 영상 표시 장치(100)가 ACR을 지원함을 의미하고, "NotSupport"값을 가지는 acrSupport 엘리먼트는 영상 표시 장치(100)가 ACR을 지원하지 않음을 의미한다.
이후, 단말 장치(400)의 연동 애플리케이션은 ACR 능력 응답 메시지에 기초하여 영상 표시 장치(100)가 ACR을 지원하는지를 판단한다(S2307).
영상 표시 장치(100)가 ACR을 지원하지 않으면, 단말 장치(400)의 연동 애플리케이션은 이후의 단계를 진행하지 않을 수 있다.
또 다른 실시예에서, 영상 표시 장치(100)가 ACR을 지원하지 않으면, 단말 장치(400)는 영상 표시 장치(100)가 출력하는 비디오 또는 오디오의 일부 구간을 캡쳐하여 캡쳐된 구간에 기초하여 ACR을 지원하는 영상 표시 장치(100)와 유사한 ACR을 수행할 수 있다. 이에 관하여는 후술한다.
영상 표시 장치(100)가 ACR을 지원하면, 단말 장치(400)의 연동 애플리케이션은 영상 표시 장치(100)가 ACR 기능을 턴온하였는지를 질의하기 위하여 ACR 설정 상태 요청 메시지를 영상 표시 장치(100)에 전송한다(S2309).
ACR 설정 상태 요청 메시지에 응답하여, 영상 표시 장치(100)는 ACR 설정 상태 응답 메시지를 단말 장치(400)에 전송한다(S2311). ACR 설정 상태 응답 메시지는 영상 표시 장치(100)가 ACR 기능을 턴온하였는지에 대한 정보를 포함한다. ACR ON인 경우는 제조사 앱 모드와 방송사 앱 모드로 나뉠 수 있다. 제조사 앱 모드에서는 방송사의 자동 재생 애플리케이션은 구동될 수 없고 영상 표시 장치 제조사 애플리케이션만 구동될 수 있다. 방송사 앱 모드에서는 자동 재생 애플리케이션 및 영상 표시 장치 제조사 애플리케이션이 모두 구동될 수 있다.
단말 장치(400)의 연동 애플리케이션은 ACR 설정 상태 응답 메시지에 기초하여 영상 표시 장치(100)가 ACR 기능을 턴온하였는지를 판단한다(S2313).
만약 영상 표시 장치(100)가 ACR 기능을 턴온하지 않았다면, 단말 장치(400)의 연동 애플리케이션은 ACR ON 요청 메시지를 영상 표시 장치(100)에 전송한다(S2315). 단말 장치(400)의 연동 애플리케이션은 영상 표시 장치(100)의 ACR 기능을 턴온 또는 턴오프하기 위한 UI를 제공하고, 이 UI를 통해 ACR 기능 턴온 또는 ACR 기능 턴오프를 위한 사용자 입력을 수신하면, ACR ON 요청 메시지를 영상 표시 장치(100)에 전송하여, 영상 표시 장치(100)가 ACR 기능을 턴온하도록 할 수 있다.
ACR이 턴온되면, 영상 표시 장치(100)는 자동 컨텐트 인식을 수행하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S2317). 영상 표시 장치(100)는 앞서 설명한 바와 같이 자동 컨텐트 인식에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 영상 표시 장치(100)는 본 발명의 실시예에 따른 자동 컨텐트 인식 이외에도 다른 컨텐트 인식을 수행하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다.
이처럼, 일 실시예에서, 영상 표시 장치(100)는 메인 시청각 컨텐트의 일부에 기초하여 컨텐츠 정보를 획득할 수 있다. 한편, 또 다른 실시예에서, 영상 표시 장치(100)는 방송 네트워크(broadcast network)를 통해 컨텐츠 제공 서버(10)로부터 메인 시청각 컨텐트에 관한 컨텐츠 정보를 수신하여 획득할 수 있다. 또 다른 실시예에서, 단말 장치(400)는 영상 표시 장치(100)가 재생하는 시청각 컨텐트의 일부를 캡처하고, 캡처한 시청각 컨텐트의 일부에 기초하여 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보를 영상 표시 장치(100)에 제공할 수 있다.
이후, 단말 장치(400)의 연동 애플리케이션와 영상 표시 장치(100)는 장치간 상호 연동을 수행한다(S2318).
이하에서는 도 57 내지 도 89를 참고하여 본 발명의 다양한 실시예에 따른 장치간 상호 연동 과정을 설명한다.
도 57은 본 발명의 일 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어 그램이다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S2501).
단말 장치(400)의 연동 애플리케이션과 영상 표시 장치(100)는 앞서 설명한 바와 같은 페어링 과정을 수행한다(S2503).
단말 장치(400)의 연동 애플리케이션과 영상 표시 장치(100)는 앞서 설명한 바와 같은 ACR 제어를 수행한다(S2505).
영상 표시 장치(100)의 ACR 기능이 턴온되면, 영상 표시 장치(100)는 앞서 설명한 바와 같은 자동 컨텐트 인식을 수행한다(S2507).
한편, 단말 장치(400)의 연동 애플리케이션은 수신하고자 하는 이벤트의 등록을 요청하는 이벤트 등록 요청 메시지를 페어링된 영상 표시 장치(100)에 전송한다(S2509). 본 발명의 실시예에서, 컨텐트 인식 상태 변경 이벤트, 이용가능한 부가 서비스 통지 이벤트, 영상 표시 장치(100)에서의 애플리케이션 실행/종료 이벤트, 영상 표시 장치(100)에서 실행된 애플리케이션 내에서 발생한 이벤트, 제어 기능 이전 충돌 이벤트, URL 시작 이벤트, 영상 표시 장치 제조사 애플리케이션 이벤트 등이 이용될 수 있다. 단말 장치(400)의 연동 애플리케이션은 사용자 입력에 기초하여 수신하고자 하는 이벤트를 결정할 수 있다.
이벤트 등록 요청 메시지는 표 21에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다. 특히 표 21는 본 발명의 실시예에 따른 애플리케이션 실행/종료 이벤트의 이벤트 등록 요청 메시지의 형식을 보여준다.
Figure pat00023
표 21에서 보여지는 바와 같이, 이벤트 등록 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 command 엘리먼트를 포함한다. 이 command 엘리먼트는 영상 표시 장치(100)가 발급한 세션 값을 담는 session 엘리먼트와 이 HTTP request가 애플리케이션 실행/종료 이벤트의 이벤트 등록 요청 메시지임을 나타내는 텍스트 값인 "RegisterAppOnOffStatusEvent"를 담는 name 엘리먼트를 포함한다.
영상 표시 장치(100)는 이벤트 등록 요청 메시지에 해당하는 이벤트를 등록하고(S2510), 이벤트 등록 결과를 포함하는 이벤트 등록 확인 메시지를 단말 장치(400)에 전송한다(S2511).
단말 장치(400)가 등록한 이벤트가 발생하면(S2512), 영상 표시 장치(100)는 이벤트 발생 사실을 통보하는 이벤트 통지 메시지를 단말 장치(400)에 전송한다(S2513).
이벤트는 HTTP request를 통해서 전송되며 아래의 URL로 POST될 수 있다.
http://target_ip:8080/hdcp/api/event
이 때 target_ip는 이벤트 수신을 등록한 단말 장치의 IP 주소가 된다.
컨텐트 인식 상태 변경 이벤트가 등록되고 영상 표시 장치(100)가 자동 컨텐트 인식을 수행하여 메인 시청각 컨텐트가 변경되었다고 인식하는 경우, 영상 표시 장치(100)는 컨텐트 인식 상태 변경 이벤트에 관한 이벤트 통지 메시지를 단말 장치(400)에 전송할 수 있다. 영상 표시 장치(100)가 획득한 메인 시청각 컨텐트의 식별자나 메인 시청각 컨텐트의 현재 시점 정보가 변경되면, 영상 표시 장치(100)는 변경된 정보를 포함하는 컨텐트 인식 상태 변경 이벤트 통지 메시지를 단말 장치(400)에 전송할 수 있다. 컨텐트 인식 상태 변경 이벤트에 관한 이벤트 통지 메시지는 메인 시청각 컨텐트의 식별자, 메인 시청각 컨텐트의 현재 시점, 이용가능한 애플리케이션의 URL 등을 포함할 수 있다.
이용가능한 부가 서비스 통지 이벤트가 등록되고 영상 표시 장치(100)가 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스를 확인하는 경우, 영상 표시 장치(100)는 이용가능한 부가 서비스 통지 이벤트에 관한 이벤트 통지 메시지를 단말 장치(400)에 전송할 수 있다.
영상 표시 장치(100)에서의 애플리케이션 실행/종료 이벤트가 등록되고 영상 표시 장치(100)가 애플리케이션을 실행한 경우, 영상 표시 장치(100)는 애플리케이션을 실행했다는 사실을 통보하기 위하여 애플리케이션 실행/종료 이벤트를 단말 장치(400)에 전송할 수 있다. 특히, 영상 표시 장치(100)는 영상 표시 장치(100)가 자동 컨텐트 인식을 통하여 메인 시청각 컨텐트와 연관된 이용가능한 애플리케이션을 획득하고 실행한 경우 애플리케이션 이벤트를 단말 장치(400)에 전송할 수 있다. 영상 표시 장치(100)가 애플리케이션을 종료한 경우, 영상 표시 장치(100)는 애플리케이션을 종료했다는 사실을 통보하기 위하여 애플리케이션 종료 이벤트를 단말 장치(400)에 전송할 수 있다. 애플리케이션 실행/종료 이벤트는 단말 장치(400)를 위한 애플리케이션의 URL을 포함할 수 있다. 단말 장치(400)를 위한 애플리케이션의 URL은 영상 표시 장치(100)를 위한 애플리케이션의 URL과 동일할 수도 있고 다를 수도 있다. 특히, 단말 장치(400)를 위한 애플리케이션의 URL이 영상 표시 장치(100)를 위한 애플리케이션의 URL과 다른 경우, 영상 표시 장치(100)는 단말 장치(400)에 적합한 애플리케이션의 URL을 확보하여 단말 장치(400)에 제공해 줄 수 있다. 또한, 영상 표시 장치(100)는 영상 표시 장치(100)를 위한 애플리케이션의 URL을 단말 장치(400)에 제공하고, 단말 장치(400)는 이 URL을 바탕으로 룩업 테이블을 검색하여 단말 장치(400)에 적합한 URL을 인식할 수도 있다. 애플리케이션 실행/종료 이벤트는 표 22에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00024
표 22에서 보여지는 바와 같이, 애플리케이션 실행/종료 이벤트 메시지는 이 메시지가 영상 표시 장치(100)가 단말 장치(400)에 전송하는 이벤트 메시지임을 나타내는 event 엘리먼트를 포함한다. 이 event 엘리먼트는 영상 표시 장치(100)가 발급한 세션 값을 담는 session 엘리먼트와 이 HTTP request가 애플리케이션 실행/종료 이벤트 메시지임을 나타내는 텍스트 값인 "AppOnOffStatus"를 담는 name 엘리먼트를 포함한다. 또한, event 엘리먼트는 appId 엘리먼트와 status 엘리먼트를 포함한다. appId 엘리먼트는 영상 표시 장치(100)에서 실행/종료된 애플리케이션의 식별자를 담는다. status 엘리먼트는 appId 엘리먼트의 값에 의해 식별되는 애플리케이션이 실행되었는지 또는 종료되었는지에 대한 정보를 담는다. 값이 on인 status 엘리먼트는 appId 엘리먼트의 값에 의해 식별되는 애플리케이션이 실행되었음을 의미하고, 값이 off인 status 엘리먼트는 appId 엘리먼트의 값에 의해 식별되는 애플리케이션이 종료되었음을 의미할 수 있다. 애플리케이션 실행/종료 이벤트 메시지는 애플리케이션의 URL을 포함할 수도 있다.
영상 표시 장치(100)에서 실행된 애플리케이션 내에서 발생한 이벤트가 등록되고 영상 표시 장치(100)에서 실행된 애플리케이션 내에서 이벤트가 발생되면, 영상 표시 장치(100)는 애플리케이션 내에서 이벤트가 발생했다는 사실을 통보하기 위하여 애플리케이션 내 이벤트를 단말 장치(400)에 전송할 수 있다. 특히, 애플리케이션 내에서의 이벤트는 사용자의 선택에 의해 발생될 수 있다.
일 실시예에서, 도 30 내지 도 32에서 설명한 바와 같이, 선택된 검색 아이템에 대한 정보가 검색되면, 영상 표시 장치(100)는 이와 관련된 이벤트를 단말 장치(400)에 전송하여, 단말 장치(400)는 검색 결과를 획득하고 디스플레이할 수 있다. 이를 바탕으로 사용자는 추가 검색을 할 수 있다. 이를 통해 사용자는 TV 리모컨의 제한적인 입력과 TV 브라우져가 시청 화면을 가리는 등의 불편을 경험하지 않으면서 자유로운 검색 서비스를 사용할 수 있다.
또 다른 실시예에서, 영상 표시 장치(100)에서 실행된 애플리케이션은 메인 시청각 컨텐트가 재생되는 도중, 사용자 선택에 기초하여 메인 시청각 컨텐트와 연관된 장소에 대한 정보를 지도와 함께 제공할 수 있다. 이때, 영상 표시 장치(100)는 이와 관련된 이벤트를 단말 장치(400)에 전송하여, 단말 장치(400)는 메인 시청각 컨텐트와 연관된 장소의 지도 데이터를 획득하고 디스플레이할 수 있다. 또한 단말 장치(400)는 메인 시청각 컨텐트와 연관된 상세 위치 정보를 지도 상에 추가적으로 표시할 수 있다.
또 다른 실시예에서, 영상 표시 장치 제조사 애플리케이션 내의 채팅 서비스가 선택되면, 영상 표시 장치(100)는 이와 관련된 이벤트를 단말 장치(400)에 전송하여, 단말 장치(400)는 영상 표시 장치 제조사 애플리케이션의 제어 기능을 획득하고 디스플레이할 수 있다. 이때, 영상 표시 장치 제조사 애플리케이션의 제어 기능은 터치 스크린 상에 디스플레이된 키보드나 키패드일 수 있다.
또 다른 실시예에서, 단말 장치(400)는 업로드 서비스를 이용할 수 있다. 영상 표시 장치 제조사 애플리케이션 내의 업로드 서비스가 선택되면, 영상 표시 장치(100)는 이와 관련된 이벤트를 단말 장치(400)에 전송하여, 단말 장치(400)는 업로드 서비스와 관련된 애플리케이션을 획득하고 실행할 수 있다. 단말 장치(400)는 업로드 서비스 애플리케이션을 통해 프로그램 관련 정보나 제보 동영상을 컨텐츠 제공 서버(10), 부가 서비스 제공 서버(50) 등에 업로드할 수 있다.
또 다른 실시예에서, 영상 표시 장치 제조사 애플리케이션 내의 다운로드 서비스가 선택되면, 영상 표시 장치(100)는 이와 관련된 이벤트를 단말 장치(400)에 전송하여, 단말 장치(400)는 선택된 아이템을 다운로드하고 저장, 관리, 재생할 수 있다. 다운로드 서비스의 예로서 음악, 지난 방송 VOD, 쿠폰, 상품 카탈로그, 업로드 정보 등이 있다. 사용자는 영상 표시 장치(100)를 시청하면서 다양한 서비스를 다운로드하고, 이동 중에 다운로드한 서비스를 이용할 수 있다.
제어 기능 이전 충돌 이벤트가 등록되고 영상 표시 장치(100)가 제어 기능 이전 충돌을 확인하는 경우, 영상 표시 장치는 제어 기능 이전 충돌 이벤트에 관한 이벤트 통지 메시지를 단말 장치(400)에 전송할 수 있다.
URL 시작 이벤트가 등록되고 영상 표시 장치(100)가 URL 시작을 확인하는 경우, URL 시작 이벤트에 관한 이벤트 통지 메시지를 단말 장치(400)에 전송할 수 있다. 영상 표시 장치(100)는 특정 URL이 클릭되었음을 URL 시작 이벤트를 통해 단말 장치(400)에 알려줄 수 있다. URL이 일반적인 Web URL인 경우, 영상 표시 장치(100)가 클릭된 URL에 해당하는 페이지를 디스플레이하는 것이 부적절할 때, 영상 표시 장치(100)는 클릭된 URL을 포함하는 URL 시작 이벤트를 단말 장치(400)에 전송하여, 단말 장치(400)가 클릭된 URL에 해당하는 페이지를 디스플레이하도록 할 수 있다.
URL이 ACR 애플리케이션 URL인 경우, 영상 표시 장치(100)는 영상 표시 장치(100)를 위한 버전의 ACR 애플리케이션 URL을 단말 장치(400)를 위한 버전의 ACR 애플리케이션 URL로 변경(resolving)하는 과정을 수행할 수 있다. 예컨데, ACR 애플리케이션의 기능 중 표시 기능은 영상 표시 장치(100)에서 실행되고 ACR 애플리케이션의 제어 기능은 단말 장치(400)에서 실행될 때, 영상 표시 장치(100)는 ACR 애플리케이션의 제어 기능을 위한 ACR 애플리케이션 URL을 단말 장치(100)에 제공할 수 있다.
영상 표시 장치 제조사 애플리케이션 이벤트가 등록되고 영상 표시 장치(100)가 영상 표시 장치 제조사 애플리케이션을 실행하거나 종료하는 경우, 영상 표시 장치는 영상 표시 장치 제조사 애플리케이션 이벤트에 관한 이벤트 통지 메시지를 단말 장치(400)에 전송할 수 있다. 단말 장치(400)는 영상 표시 장치 제조사 애플리케이션 이벤트를 통해 영상 표시 장치 제조사 애플리케이션이 영상 표시 장치(100)에서 실행되었는지를 확인할 수 있다. 영상 표시 장치 제조사 애플리케이션이 영상 표시 장치(100)에서 실행되고 있음이 확인되면, 단말 장치(400)는 영상 표시 장치(100)가 영상 표시 장치 제조사 애플리케이션을 종료하거나 비활성화하거나 숨겨 영상 표시 장치 제조사 애플리케이션을 디스플레이하지 않고 단말 장치(400)가 영상 표시 장치 제조사 애플리케이션을 실행할 것을 영상 표시 장치(100)에 요청할 수 있다.
단말 장치(400)의 연동 애플리케이션은 통지된 이벤트를 히스토리 형태로 저장한다(S2514). 이후, 단말 장치(400)는 사용자의 선택에 의해 저장된 이벤트의 리스트를 디스플레이할 수 있다. 저장된 이벤트의 리스트 상의 아이템들은 다시 방문될 수도 있고 삭제될 수도 있다. 저장된 이벤트의 리스트 상의 아이템들 중 한 아이템의 방문이 선택되면, 단말 장치(400)는 선택된 아이템에 해당하는 이벤트에 따른 동작을 수행할 수 있다.
단말 장치(400)의 연동 애플리케이션은 통지된 이벤트에 따른 동작을 수행한다(S2515).
한편, 단말 장치(400)의 연동 애플리케이션은 특정 조건 하에서 영상 표시 장치(100)의 상태를 필요로 하는 때에 영상 표시 장치(100)의 상태를 질의하는 질의 메시지를 영상 표시 장치(100)에 전송할 수 있다(S2516). 예컨데, 영상 표시 장치(100)에서 실행되고 있는 부가 서비스가 단말 장치(400)로 이전될 때, 단말 장치(100)는 영상 표시 장치(100)에서 실행되고 있는 부가 서비스의 UI의 상태를 영상 표시 장치(100)에 질의하고, 그 응답을 통해 이전되는 부가 서비스의 UI의 상태를 영상 표시 장치(100)에서 실행되는 때의 UI의 상태로 유지할 수 있다. 즉, 영상 표시 장치(100)에서 실행되고 있는 부가 서비스의 UI의 상태는 계속 변경될 수 있지만, 부가 서비스가 단말 장치(400)로 이전되지 않는다면, 단말 장치(400)는 UI가 변경될 때마다 이벤트로 UI 변경 사실을 통지받을 필요는 없다.
단말 장치(400)의 연동 애플리케이션은 HTTP Get을 통해 질의 메시지를 전송하며 질의 메시지는 다음과 같은 URL 형식을 가질 수 있다.
http://target_ip:8080/hdcp/api/data?<query>
이 때 target_ip는 질의 메시지를 수신하는 영상 표시 장치(100)의 IP 주소가 될 수 있다. <query>는 HTTP GET 방식으로 Key-value 쌍을 가지는 query term들로 구성될 수 있다.
일 실시예에서, 단말 장치(400)가 영상 표시 장치(100)의 특정 애플리케이션의 현재 상태를 질의할 때, 질의 메시지는 표 23에서 보여지는 바와 같은 URL 형식을 가질 수 있다.
Figure pat00025
영상 표시 장치(100)는 질의 메시지에 대한 응답으로 질의 응답 메시지를 단말 장치(400)에 전송한다(S2517). 단말 장치(400)가 영상 표시 장치(100)의 상태를 질의할 때, 영상 표시 장치(100)는 영상 표시 장치(100)의 상태에 대한 정보를 포함하는 질의 응답 메시지를 단말 장치(400)에 전송할 수 있다. 특히, 단말 장치(400)가 영상 표시 장치(100)에서 실행되고 있는 부가 서비스의 UI의 상태를 질의할 때, 영상 표시 장치(100)는 실행되고 있는 부가 서비스의 UI의 상태에 대한 정보를 포함하는 질의 응답 메시지를 단말 장치(400)에 전송할 수 있다. 질의 응답 메시지는 표 24에서 보여지는 바와 같은 형식을 가질 수 있다.
Figure pat00026
한편, 단말 장치(400)의 연동 애플리케이션은 더 이상 수신하고자 하지 않는 이벤트의 등록 해제을 요청하는 이벤트 등록 해제 요청 메시지를 페어링된 영상 표시 장치(100)에 전송한다(S2518). 본 발명의 실시예에서, 컨텐트 인식 상태 변경 이벤트, 이용가능한 부가 서비스 통지 이벤트, 제어 기능 이전 충돌 이벤트, URL 시작 이벤트, 영상 표시 장치 제조사 애플리케이션 이벤트 등이 이용될 수 있다. 단말 장치(400)의 연동 애플리케이션은 사용자 입력에 기초하여 수신하고자 하는 이벤트를 결정할 수 있다.
영상 표시 장치(100)는 이벤트 등록 해제 요청 메시지에 해당하는 이벤트를 등록 해제하고(S2519), 이벤트 등록 해제 결과를 포함하는 이벤트 등록 해제 확인 메시지를 단말 장치(400)에 전송한다(S2521).
도 58은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어 그램이다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S2701).
단말 장치(400)의 연동 애플리케이션과 영상 표시 장치(100)는 앞서 설명한 바와 같은 페어링 과정을 수행한다(S2703).
단말 장치(400)의 연동 애플리케이션과 영상 표시 장치(100)는 앞서 설명한 바와 같은 ACR 제어를 수행한다(S2705).
영상 표시 장치(100)의 ACR 기능이 턴온되면, 영상 표시 장치(100)는 앞서 설명한 바와 같은 자동 컨텐트 인식을 수행한다(S2707).
단말 장치(400)의 연동 애플리케이션은 컨텐트 인식 상태 요청 메시지를 영상 표시 장치(100)에 전송한다(S2719). 컨텐트 인식 상태 요청 메시지는 표 25에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00027
표 25에서 보여지는 바와 같이, 컨텐트 인식 상태 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 session 엘리먼트, name 엘리먼트, repeat 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 컨텐트 인식 상태 요청 메시지임을 나타내는 텍스트 값인 "CheckACRStatus"를 담는다. repeat 엘리먼트는 영상 표시 장치(100)가 얼마나 자주 컨텐트 인식 상태 응답 메시지를 단말 장치(400)에게 전송할 지에 대한 정보를 담는다. 예컨데, repeat 엘리먼트의 값이 once이면, 영상 표시 장치(100)는 컨텐트 인식 상태 요청 메시지에 대한 응답으로 한번만 컨텐트 인식 상태 응답 메시지를 단말 장치(400)에 전송한다. repeat 엘리먼트의 값이 always이면, 영상 표시 장치(100)는 컨텐트 인식 상태 요청 메시지를 수신한 이후에 ACR 인식 상태가 변경될 때마다 컨텐트 인식 상태 응답 메시지를 단말 장치(400)에 전송한다.
영상 표시 장치(100)는 컨텐트 인식 상태 요청 메시지에 대한 응답으로 컨텐트 인식 상태 응답 메시지를 단말 장치(400)에 전송한다(S2721). 컨텐트 인식 상태 응답 메시지는 표 26에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00028
표 26에서 보여지는 바와 같이, 컨텐트 인식 상태 응답 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 session 엘리먼트, name 엘리먼트, recognition 엘리먼트, contentId 엘리먼트, mediaTime 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 컨텐트 인식 상태 응답 메시지임을 나타내는 텍스트 값인 "CheckACRStatus"를 담는다.
recognition 엘리먼트는 영상 표시 장치(100)가 메인 시청각 컨텐트를 식별하여 컨텐트 정보를 획득하였는지에 대한 정보를 포함한다. "Found" 값을 가지는 recognition 엘리먼트는 영상 표시 장치(100)가 메인 시청각 컨텐트를 식별하여 컨텐트 정보를 획득했음을 의미한다. "NotFound" 값을 가지는 recognition 엘리먼트는 영상 표시 장치(100)가 메인 시청각 컨텐트를 식별하지 못하여 컨텐트 정보를 획득하지 못했음을 의미한다. recognition 엘리먼트의 값이 "Found"일 때, acrResponse 엘리먼트는 contentId 엘리먼트와 mediaTime 엘리먼트를 가질 수 있다.contentId 엘리먼트의 값은 영상 표시 장치(100)가 획득한 메인 시청각 컨텐트 식별 정보에 해당한다. mediaTime 엘리먼트의 값은 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 또는 메인 시청각 컨텐트의 현재 시점에 해당한다. 예컨데, 표 26에서, mediaTime 엘리먼트의 값은 210이고, 이는 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 또는 메인 시청각 컨텐트의 현재 시점이 메인 시청각 컨텐트의 시작 후 210초 경과된 시점임을 의미한다.
컨텐트 인식 상태 요청 메시지 내의 repeat 엘리먼트의 값이 always이면, 영상 표시 장치(100)는 컨텐트 인식 상태 요청 메시지를 수신한 이후에 contentId 엘리먼트의 값 또는 mediaTime 엘리먼트의 값이 변경될 때마다 컨텐트 인식 상태 응답 메시지를 단말 장치(400)에 전송한다.
컨텐트 인식 상태 응답 메시지는 이용가능한 애플리케이션의 URL, 자동 재생 애플리케이션의 URL, 백엔드 URL 등을 추가로 포함할 수 있다.
단말 장치(400)의 연동 애플리케이션은 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스의 존재에 대한 통지를 영상 표시 장치(100)에 요청하기 위하여 부가 서비스 발생 이벤트 등록 요청 메시지를 영상 표시 장치(100)에 전송한다(S2723). 부가 서비스 발생 이벤트 등록 요청 메시지는 표 27에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00029
표 27에서 보여지는 바와 같이, 부가 서비스 발생 이벤트 등록 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 session 엘리먼트, name 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 부가 서비스 발생 이벤트 등록 요청 메시지임을 나타내는 텍스트 값인 "RegisterAppNotifyEvent"를 담는다.
영상 표시 장치(100)는 부가 서비스 발생 이벤트 등록 요청 메시지에 대한 응답으로 부가 서비스 발생 이벤트 등록 확인 메시지를 단말 장치(400)에 전송한다(S2725).
이후, 현재 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스가 발생하면, 영상 표시 장치(100)는 부가 서비스 발생 이벤트 메시지를 단말 장치(400)에 전송한다(S2726).
부가 서비스 발생 이벤트 메시지는 표 28에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00030
표 28에서 보여지는 바와 같이, 부가 서비스 발생 이벤트 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 session 엘리먼트, name 엘리먼트, 하나 이상의 app 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 부가 서비스 발생 이벤트 메시지임을 나타내는 텍스트 값인 "RegisterAppNotifyEvent"를 담는다.
app 엘리먼트는 appId 엘리먼트, appName 엘리먼트, 하나 이상의 appType 엘리먼트를 포함한다. appId 엘리먼트의 값은 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스의 식별자이고, appName 엘리먼트의 값은 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스의 이름이며, appType 엘리먼트의 값은 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스의 타입이다. appType 엘리먼트의 값은 "controller" 또는 "appTransfer" 중 하나가 될 수 있다. 값이 "controller"인 appType 엘리먼트는 app 엘리먼트에 해당하는 부가 서비스의 기능 중 표시 기능은 영상 표시 장치(100)에서 실행되고 제어 기능은 단말 장치(400)에서 실행될 수 있음을 의미한다. 값이 "appTransfer"인 appType 엘리먼트는 app 엘리먼트에 해당하는 부가 서비스가 영상 표시 장치(100)에서는 종료되거나 비활성화되거나 숨겨지고 단말 장치(400)에서는 실행될 수 있음을 의미한다.
appType 엘리먼트의 값이 "controller"인 경우, app 엘리먼트는 maxController 엘리먼트를 더 포함할 수 있다. maxController 엘리먼트의 값은 부가 서비스의 제어 기능이 옮겨질 수 있는 단말 장치의 최대 개수를 의미한다. 예컨데, maxController 엘리먼트의 값이 1이면, 하나의 단말 장치만이 영상 표시 장치(100)에서 실행되는 부가 서비스의 제어 기능을 가질 수 있다.
maxController 엘리먼트의 값이 2이면, 최대 2개의 단말 장치가 영상 표시 장치(100)에서 실행되는 부가 서비스의 제어 기능을 가질 수 있다. 예컨데, 부가 서비스가 2명의 사용자를 위한 대전 게임인 경우에, 2개의 단말 장치가 영상 표시 장치(100)와 페어링하여 2개의 캐릭터를 각각 제어할 수 있다.
maxController 엘리먼트의 값이 N이고 N+1 개의 단말 장치가 영상 표시 장치(100)에서 실행되는 부가 서비스의 제어 기능을 요청하는 경우 충돌이 발생할 수 있다. 이 충돌의 조정 방법에 관하여는 후술한다.
appType 엘리먼트의 값이 "appTransfer"인 경우, 영상 표시 장치(100)와 연동하는 부가 서비스를 실행하는 단말 장치의 개수는 제한되지 않을 수 있다. 부가 서비스를 실행하는 복수의 단말 장치들의 각각은 독립적으로 영상 표시 장치(100)와 연동할 수 있다.
이처럼, 일 실시예에서, 단말 장치(400)는 부가 서비스 발생 이벤트 등록 요청 메시지를 영상 표시 장치(100)에 전송하여, 부가 서비스 발생 이벤트를 수신할 수 있다.
또 다른 실시예에서, 단말 장치(400)는 부가 서비스 알림 요청 메시지를 영상 표시 장치(100)에 전송하여, 부가 서비스 알림 응답 메시지를 수신할 수 있다. 부가 서비스 발생 이벤트 등록 요청 메시지가 부가 서비스 알림 요청 메시지이고, 부가 서비스 발생 이벤트가 부가 서비스 알림 응답 메시지일 수 있다.
단말 장치(400)가 부가 서비스 알림 요청 메시지를 영상 표시 장치(100)에 전송하면, 영상 표시 장치(100)는 이용가능한 모든 부가 서비스의 식별자, 타입 및 실행 시간 등에 관한 정보를 부가 서비스 알림 응답 메시지로 단말 장치(400)에 전송할 수 있다. 이 경우, 부가 서비스의 실행 시간이 도달할 때, 단말 장치(400)는 부가 서비스를 실행할 수 있음을 알리는 UI를 표시하거나 부가 서비스를 실행할 수 있다.
단말 장치(400)가 부가 서비스 알림 요청 메시지를 영상 표시 장치(100)에 전송하면, 이용가능한 모든 애플리케이션이 발생할 때 영상 표시 장치(100)는 이용가능한 애플리케이션의 식별자, 타입 및 실행 시간 등에 관한 정보를 부가 서비스 알림 응답 메시지로 단말 장치(400)에 전송할 수 있다. 이 경우, 부가 서비스 알림 응답 메시지를 수신한 때에, 단말 장치(400)는 부가 서비스를 실행할 수 있음을 알리는 UI를 표시하거나 부가 서비스를 실행할 수 있다.
단말 장치(400)의 연동 애플리케이션은 부가 서비스 발생 이벤트 메시지에 기초하여 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스가 있음을 인식하고, 이용가능한 부가 서비스가 있음을 보여주는 부가 서비스 알림 UI를 디스플레이한다(S2727).
만약, 이용 가능한 부가 서비스가 1개인 경우, 부가 서비스 알림 UI는 이용 가능한 부가 서비스를 단말 장치(400)에서 실행할 지를 질의하기 위한 UI를 포함할 수 있다. 이용 가능한 부가 서비스의 개수가 복수인 경우, 부가 서비스 알림 UI는 복수의 이용 가능한 부가 서비스 중에서 하나를 선택하기 위한 UI를 포함할 수 있다. 이용 가능한 부가 서비스가 복수의 타입을 가지는 경우, 부가 서비스 알림 UI는 복수의 타입 중에서 하나를 선택하기 위한 UI를 포함할 수 있다. 단말 장치(400)의 연동 애플리케이션은 부가 서비스 알림 UI를 디스플레이하는 것 이외에 진동과 같은 촉각적 이벤트, 알림 소리 발생과 같은 청각적 이벤트, 깜빡임이나 색상 변화와 같은 시각적 이벤트를 발생시킬 수 있다.
단말 장치(400)의 연동 애플리케이션은 부가 서비스 실행/종료 이벤트 메시지에 기초하여 이용가능한 부가 서비스가 있음을 보여주는 부가 서비스 알림 UI를 디스플레이할 수도 있다.
다음은 도 59와 도 60을 참고하여 본 발명의 실시예에 따른 부가 서비스 알림 UI를 설명한다.
도 59는 본 발명의 일 실시예에 따른 부가 서비스 알림 UI를 디스플레이하는 단말 장치의 전면도이다.
도 59에 도시된 바와 같이, 단말 장치(400)의 연동 애플리케이션이 이용가능한 부가서비스가 존재한다는 정보를 포함하는 부가 서비스 발생 이벤트 메시지를 수신하면, 연동 애플리케이션은 ACR 탭 변경 버튼의 칼라 또는 명암을 변경하여 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스가 있음을 사용자에게 알릴 수 있다.
도 60은 본 발명의 또 다른 실시예에 따른 부가 서비스 알림 UI를 디스플레이하는 단말 장치의 전면도이다.
도 60에 도시된 바와 같이, 단말 장치(400)의 연동 애플리케이션은 이용 가능한 부가 서비스를 단말 장치(400)에서 실행할 지를 질의하기 위한 UI를 디스플레이할 수 있다. 사용자가 부가 서비스 실행에 대해 수락하면 연동 애플리케이션이 실행되고 있는 동안에는 다시 수락 여부를 질의하지 않을 수 있다.
도 61은 본 발명의 또 다른 실시예에 따른 부가 서비스 알림 UI를 디스플레이하는 단말 장치의 전면도이다.
도 61에 도시된 바와 같이, 단말 장치(400)의 연동 애플리케이션은 복수의 부가 서비스 타입 중에서 하나를 선택하기 위한 UI를 디스플레이할 수 있다. 도 61에서 TV 버튼이 선택되면, 단말 장치(400)는 부가 서비스의 실행 타입을 제어 기능 이전 타입으로 인식할 수 있다. Mobile 버튼이 선택되면, 단말 장치(400)는 부가 서비스의 실행 타입을 부가 서비스 이전 타입으로 인식할 수 있다.
다시 도 58를 설명한다.
단말 장치(400)는 부가 서비스 알림 UI를 통해 이용가능한 부가서비스의 실행에 관한 사용자 입력을 수신한다(S2729).
이용 가능한 부가 서비스가 복수의 타입을 가지는 경우, 단말 장치(400)는 부가 서비스 알림 UI를 통해 이용가능한 부가서비스의 타입 선택에 관한 사용자 입력을 수신한다(S2731).
단말 장치(400)는 선택된 부가 서비스의 이전을 요청하는 부가 서비스 이전 요청 메시지를 영상 표시 장치(100)에 전송한다(S2733). 부가 서비스 이전 요청 메시지는 표 29에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00031
표 29에서 보여지는 바와 같이, 부가 서비스 이전 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트, type 엘리먼트, deviceCapability 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 부가 서비스 이전 요청 메시지임을 나타내는 텍스트 값인 "ACRAppRequest"를 담는다.
appId 엘리먼트는 사용자가 원하는 부가 서비스의 식별자를 담는다.
type 엘리먼트는 사용자가 원하는 이전 타입을 나타내는 정보를 담는다. type 엘리먼트의 값은 "controller" 또는 "appTransfer" 중 하나가 될 수 있다. 값이 "controller"인 type 엘리먼트는 부가 서비스의 제어 기능의 이전 요청을 의미하고, 값이 "appTransfer"인 type 엘리먼트는 부가 서비스 전체의 이전 등록 요청을 의미한다.
deviceCapability 엘리먼트는 단말 장치(400)의 능력에 대한 정보를 담는다. deviceCapability 엘리먼트는 단말 장치(400)의 해상도에 정보를 담는 resolution 엘리먼트를 포함할 수 있다. deviceCapability 엘리먼트는 CPU 사양, 이용가능한 메모리 잔량 등을 담는 엘리먼트를 더 포함할 수 있다. 인증 후 단말 장치(400)가 미리 능력 정보를 영상 표시 장치(100)에 전달한 경우, 부가 서비스 이전 요청 메시지는 deviceCapability 엘리먼트를 포함하지 않을 수도 있다.
영상 표시 장치(100)는 부가 서비스 이전 요청 메시지에 따라 부가 서비스를 제어한다(S2734).
단말 장치(400)가 부가 서비스의 제어 기능의 이전을 요청하는 경우, 영상 표시 장치(100)는 요청한 부가 서비스의 표시 기능을 활성화하고, 요청한 부가 서비스의 제어 기능과 요청한 부가 서비스 타입과 단말 장치(400)의 능력에 해당하는 부가 서비스 URL을 포함하는 부가 서비스 이전 응답 메시지를 생성한다. 영상 표시 장치(100)는 요청한 부가 서비스의 제어 기능을 활성화하거나 비활성화할 수 있다.
단말 장치(400)가 부가 서비스의 이전을 요청하는 경우, 영상 표시 장치(100)는 요청된 부가 서비스를 비활성화하거나 숨기거나 종료하여 부가 서비스가 디스플레이되지 않도록 하고 메인 시청각 컨텐트를 풀 스크린 상에서 디스플레이하고, 요청한 부가 서비스와 요청한 부가 서비스 타입과 단말 장치(400)의 능력에 해당하는 부가 서비스 URL을 포함하는 부가 서비스 이전 응답 메시지를 생성한다.
영상 표시 장치(100)는 부가 서비스 이전 응답 메시지를 단말 장치(400)에 전송한다(S2735). 부가 서비스 이전 응답 메시지는 표 30에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00032
표 30에서 보여지는 바와 같이, 부가 서비스 이전 응답 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 session 엘리먼트, name 엘리먼트, type 엘리먼트, appURL 엘리먼트, result 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 부가 서비스 이전 응답 메시지임을 나타내는 텍스트 값인 "ACRAppRequest"를 담는다.
type 엘리먼트는 어떤 타입의 부가 서비스를 요청하는 부가 서비스 요청 메시지에 대한 응답인지를 나타내는 정보를 포함한다. 영상 표시 장치(100)는 type 엘리먼트의 값이 "controller"인 부가 서비스 요청 메시지를 수신하면, 이에 대한 응답으로 type 엘리먼트의 값이 "controller"인 부가 서비스 이전 응답 메시지를 전송한다. 영상 표시 장치(100)는 type 엘리먼트의 값이 "appTransfer"인 부가 서비스 요청 메시지를 수신하면, 이에 대한 응답으로 type 엘리먼트의 값이 "appTransfer"인 부가 서비스 이전 응답 메시지를 전송한다.
appURL 엘리먼트는 요청한 부가 서비스와 요청한 부가 서비스 타입과 단말 장치(400)의 능력에 해당하는 부가 서비스 URL을 포함한다.
result 엘리먼트의 값은 OK, NotOK, Conflict 중 하나가 될 수 있다. 영상 표시 장치(100)는 단말 장치(400)의 부가 서비스 요청을 성공적으로 수행한 경우, 값이 OK인 result 엘리먼트를 포함하는 부가 서비스 이전 응답 메시지를 단말 장치(400)에 전송한다. 영상 표시 장치(100)가 단말 장치(400)의 부가 서비스 요청에 대한 처리에 실패한 경우, 영상 표시 장치(100)는 값이 NotOK인 result 엘리먼트를 포함하는 부가 서비스 이전 응답 메시지를 단말 장치(400)에 전송한다. 부가 서비스의 제어 기능이 옮겨질 수 있는 단말 장치의 최대 개수가 N이고, 이 부가 서비스의 제어 기능을 실행한 단말 장치의 개수가 N인 상태에서, 영상 표시 장치(100)가 type 엘리먼트의 값이 "controller"인 부가 서비스 요청 메시지를 수신하면, 영상 표시 장치(100)는 값이 Conflict인 result 엘리먼트를 포함하는 부가 서비스 이전 응답 메시지를 단말 장치(400)에 전송한다.
영상 표시 장치(100)가 type 엘리먼트의 값이 "controller"인 부가 서비스 요청 메시지를 수신하면, 영상 표시 장치(100)는 부가 서비스 URL을 보내는 대신에 키의 위치나 터치의 위치 등을 포함하는 제어 명령을 포함하는 부가 서비스 이전 응답 메시지를 단말 장치(400)에 전송하여 단말 장치(400)가 부가 서비스 URL을 통해 컨트롤 UI를 구성하지 않고 제어 명령을 통해 컨트롤 UI를 구성할 수 있다.
단말 장치(400)는 이용가능한 부가 서비스의 URL을 영상 표시 장치(100)의 부가 서비스 응답에 기초하여 확인할 수 있다. 한편, 단말 장치(400)는 영상 표시 장치(100)의 부가 서비스 응답에 기초하지 않고, 영상 표시 장치(100)의 컨텐트 인식 상태 응답의 컨텐트 식별자와 컨텐트 시간을 포함하는 질의를 부가 서비스 정보 제공 서버(40)에 전송하여 이용가능한 부가 서비스의 URL을 확인할 수도 있다.
부가 서비스 이전 응답 메시지는 영상 표시 장치(100)에서 실행 중인 부가 서비스의 상태 정보를 포함할 수 있다.
단말 장치(400)는 부가 서비스 URL에 해당하는 부가 서비스를 요청하는 부가 서비스 요청 메시지를 부가 서비스 제공 서버(50)에 전송한다(S2737). 단말 장치(400)와 부가 서비스 제공 서버(50) 간의 정보 교환은 영상 표시 장치(100)를 거치지 않고 직접 이루어질 수 있다.
부가 서비스 제공 서버(50)는 부가 서비스를 단말 장치(400)에 제공한다(S2739).
단말 장치(400)는 부가 서비스 제공 서버(50)가 제공한 부가 서비스를 실행한다(S2741). 부가 서비스 이전 응답 메시지가 영상 표시 장치(100)에서 실행 중인 부가 서비스의 상태 정보를 포함하면, 단말 장치(400)의 연동 애플리케이션은 이 상태 정보에 따라 부가 서비스을 실행하여 끊김 없는 서비스를 제공할 수 있다.
부가 서비스의 실행에 관하여 도 62 내지 도 66을 참고하여 설명한다.
도 62는 본 발명의 일 실시예에 따른 부가 서비스가 실행된 단말 장치의 전면도이다.
특히, 도 62는 단말 장치(400)가 영상 표시 장치(100)에 부가 서비스 이전 타입의 채팅 부가 서비스를 요청하여 획득한 채팅 부가 서비스를 실행한 경우를 보여준다. 단말 장치(400)가 영상 표시 장치(100)에 부가 서비스 이전 타입의 채팅 부가 서비스를 요청하였으므로, 영상 표시 장치(100)는 요청된 부가 서비스를 비활성화하거나 숨기거나 종료하여 부가 서비스가 디스플레이되지 않도록 하고 메인 시청각 컨텐트를 풀 스크린 상에서 디스플레이할 수 있어 시청자의 메인 시청각 컨텐트의 시청이 방해받지 않을 수 있다.
도 63은 본 발명의 또 다른 실시예에 따른 부가 서비스가 실행된 영상 표시 장치와 단말 장치를 보여준다.
특히, 도 63은 단말 장치(400)가 영상 표시 장치(100)에 제어 기능 이전 타입의 채팅 부가 서비스를 요청하여 획득한 채팅 부가 서비스를 실행한 경우를 보여준다. 단말 장치(400)가 영상 표시 장치(100)에 제어 기능 이전 타입의 채팅 부가 서비스를 요청하였으므로, 영상 표시 장치(100)는 도 63의 (A)에 도시된 바와 같이 요청된 부가 서비스의 디스플레이 기능을 실행하고, 단말 장치(400)는 도 63의 (B)에 도시된 바와 같이 요청된 부가 서비스의 제어 기능을 실행한다. 이로써 단말 장치(400)의 다양한 입력 수단을 통해 영상 표시 장치(100)를 제어할 수 있다.
도 64는 본 발명의 또 다른 실시예에 따른 부가 서비스가 실행된 단말 장치의 전면도이다.
도 64에 도시된 바와 같이, 단말 장치(400)는 촬영지 위치 보여주기 서비스를 실행할 수 있다.
도 65는 본 발명의 또 다른 실시예에 따른 부가 서비스가 실행된 단말 장치의 전면도이다.
도 65의 (A)에 도시된 바와 같이, 획득한 부가 서비스는 촬영지 정보 보여주기 서비스, SNS, 배경 음악 다운로드 서비스, 드라마 다시 보기 서비스와 같은 다양한 서브 서비스를 포함할 수 있다. 일 실시예에서 단말 장치(400)는 컨텐츠 제공자의 의도나 사용자의 성향에 따라 노출 우선 순위를 결정하고, 가장 높은 우선 순위를 가진 서브 서비스를 우선적으로 디스플레이할 수 있다. 또 다른 실시예에서, 단말 장치(400)는 도 65의 (A)에 도시된 바와 같이 복수의 서브 서비스의 선택을 위한 UI를 디스플레이하여 선택된 서브 서비스를 디스플레이할 수 있다.
도 65의 (B)에 도시된 바와 같이, 단말 장치(400)는 메인 시청각 컨텐트와 연관된 음악 제공 서비스를 실행할 수 있다.
다시 도 58을 설명한다.
부가 서비스 제공 서버(50)는 부가 서비스 이벤트를 단말 장치(400)에 제공한다(S2743). 예컨데, 부가 서비스가 채팅 애플리케이션에 해당하는 경우, 부가 서비스 이벤트는 새로운 대화 텍스트 데이터에 해당할 수 있다. 단말 장치(400)의 채팅 애플리케이션은 새로운 대화 텍스트 데이터를 획득하면, 대화 창을 업데이트한다.
단말 장치(400)는 부가 서비스 제공 서버(50)에 부가 서비스 이벤트 응답을 전송한다(S2745). 예컨데, 부가 서비스 이벤트가 새로운 대화 텍스트 데이터에 해당하는 경우, 부가 서비스 이벤트 응답은 새로운 대화 텍스트 데이터에 대한 정상 수신 응답(ACK)에 해당할 수 있다.
영상 표시 장치(100)는 페어링된 단말 장치(400)가 실행한 부가 서비스에 대한 정보를 유지 관리하고, 방송 네트워크 또는 IP 기반 네트워크를 통해 부가 서비스를 위한 추가 데이터를 획득한 후 획득한 추가 데이터를 부가 서비스 이벤트를 통해 단말 장치(400)에 전송할 수 있다. 부가 서비스 이벤트는 추가 데이터의 타겟 부가 서비스의 식별자 및 추가 데이터를 포함할 수 있다. 타겟 부가 서비스의 식별자는 AppID element를 통해 지정될 수 있다. 이 이벤트를 수신한 단말 장치(400)는 해당 이벤트를 AppID로 지정된 부가 서비스에 그대로 전달하여 지정된 부가 서비스가 이 이벤트를 처리하도록 할 수 있다. 각 이벤트를 구성하는 필드들은 이벤트에 따라서 자유롭게 지정되고 이용될 수 있다.
도 66은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어 그램이다.
단말 장치(400)는 부가 서비스 제공 서버(50)가 제공한 부가 서비스를 실행한다(S2741).
이후, 단말 장치(400)가 실행된 부가 서비스의 종료를 위한 사용자 입력을 수신하면(S2747), 단말 장치(400)는 실행된 부가 서비스의 타입을 확인한다(S2749).
실행된 부가 서비스의 타입이 제어 기능 이전에 해당하는 경우, 단말 장치(400)는 제어 기능 이전 해제 요청 메시지를 영상 표시 장치(100)에 전송한다(S2751). 제어 기능 이전 해제 요청 메시지는 표 31에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00033
표 31에서 보여지는 바와 같이, 제어 기능 이전 해제 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 제어 기능 이전 해제 요청 메시지임을 나타내는 텍스트 값인 "UnregisterController"를 담는다. appId 엘리먼트는 제어 기능 이전 해제에 해당하는 부가 서비스의 식별자를 담는다.
영상 표시 장치(100)는 제어 기능 이전 해제 요청 메시지를 전송한 단말 장치(400)에 대해 제어 기능 이전을 해제한다(S2753). 영상 표시 장치(100)는 제어 기능 이전으로 등록된 단말 장치의 수를 1만큼 감소시킬 수 있다. 영상 표시 장치(100)는 단말 장치(100)에 이전한 부가 서비스의 제어 기능을 활성화할 수 있다.
이후, 영상 표시 장치(100)는 제어 기능 이전 해제 요청 메시지에 대한 응답으로 제어 기능 이전 해제 결과를 포함하는 제어 기능 이전 해제 응답 메시지를 단말 장치(400)에 전송한다(S2755). 제어 기능 이전 해제 응답 메시지는 표 32에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00034
표 32에서 보여지는 바와 같이, 제어 기능 이전 해제 응답 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트, result 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 제어 기능 이전 해제 응답 메시지임을 나타내는 텍스트 값인 "UnregisterController"를 담는다. appId 엘리먼트는 제어 기능 이전 해제에 해당하는 부가 서비스의 식별자를 담는다. result 엘리먼트는 응답으로 제어 기능 이전 해제 결과를 담는다. result 엘리먼트의 값은 제어 기능 이전 해제가 성공적으로 완료되었음을 나타내는 OK 또는 제어 기능 이전 해제에 실패했음을 나타내는 NotOK 중 하나일 수 있다.
실행된 부가 서비스의 타입이 부가 서비스 이전에 해당하는 경우, 단말 장치(400)는 부가 서비스 이전 해제 요청을 영상 표시 장치(100)에 전송한다(S2757). 부가 서비스 이전 해제 요청 메시지는 표 33에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00035
표 33에서 보여지는 바와 같이, 부가 서비스 이전 해제 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 제어 기능 이전 해제 요청 메시지임을 나타내는 텍스트 값인 "UnregisterAppTransfer"를 담는다. appId 엘리먼트는 부가 서비스 이전 해제에 해당하는 부가 서비스의 식별자를 담는다. appId 엘리먼트가 없거나 appId 엘리먼트의 값이 empty(즉, <appId></appId>)인 경우, 부가 서비스 이전 해제에 해당하는 부가 서비스는 단말 장치(400)에 대해서 단말 장치(400)로 이전된 모든 부가 서비스일 수 있다.
영상 표시 장치(100)는 부가 서비스 이전 해제 요청을 전송한 단말 장치(400)에 대해 부가 서비스 이전을 해제한다(S2759). 영상 표시 장치(100)는 부가 서비스 이전으로 등록된 단말 장치의 수를 1만큼 감소시킬 수 있다. 영상 표시 장치(100)는 단말 장치(100)에 이전한 부가 서비스를 활성화 또는 재실행 또는 디스플레이할 수 있다.
이후, 영상 표시 장치(100)는 부가 서비스 이전 해제 요청에 대한 응답으로 부가 서비스 이전 해제 결과를 포함하는 부가 서비스 이전 해제 응답 메시지를 단말 장치(400)에 전송한다(S2761). 부가 서비스 이전 해제 응답 메시지는 표 34에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00036
표 34에서 보여지는 바와 같이, 부가 서비스 이전 해제 응답 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트, result 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 부가 서비스 이전 해제 응답 메시지임을 나타내는 텍스트 값인 "UnregisterAppTransfer"를 담는다. appId 엘리먼트는 부가 서비스 이전 해제에 해당하는 부가 서비스의 식별자를 담는다. result 엘리먼트는 응답으로 부가 서비스 이전 해제 결과를 담는다. result 엘리먼트의 값은 부가 서비스 이전 해제가 성공적으로 완료되었음을 나타내는 OK 또는 부가 서비스 이전 해제에 실패했음을 나타내는 NotOK 중 하나일 수 있다.
등록 해제 결과가 긍정적인 제어 기능 이전 해제 응답 메시지 또는 등록 해제 결과가 긍정적인 부가 서비스 이전 해제 응답 메시지를 수신한 단말 장치(400)는 실행된 부가 서비스를 종료한다(S2763).
도 67은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
영상 표시 장치(100)와 단말 장치(400)는 페어링을 수행한다(S2801).
단말 장치(400)는 페어링 해제 상태에서도 영상 표시 장치(100)에 메시지를 전송하기 위하여 영상 표시 장치(100)의 정보를 저장한다(S2803).
또한, 영상 표시 장치(100)는 페어링 해제 상태에서도 단말 장치(400)에 메시지를 전송하기 위하여 단말 장치(400)의 정보를 저장한다(S2805).
이후, 영상 표시 장치(100)와 단말 장치(400) 사이의 페어링은 해제될 수 있다(S2807).
영상 표시 장치(100)는 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스가 있음을 인식하고, 이용가능한 부가 서비스가 있음을 보여주는 부가 서비스 알림 UI를 디스플레이한다(S2809).
일 실시예에서, 영상 표시 장치(100)는 메인시청각 컨텐트의 일부로부터 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보에 기초하여 질의/응답을 통해 이용가능한 부가 서비스의 정보를 획득하여 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스가 있음을 인식할 수 있다.
또 다른 실시예에서, 영상 표시 장치(100)는 컨텐츠 제공 서버(10)로부터 방송 네트워크(broadcast network)를 통해 이용가능한 부가 서비스의 정보를 획득하여 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스가 있음을 인식할 수 있다.
또 다른 실시예에서, 영상 표시 장치(100)는 서비스 탐색 및 선택(Service discovery and selection, SD&S)에 기초하여 IP 기반 네트워크를 통해 이용가능한 부가 서비스의 정보를 획득하여 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스가 있음을 인식할 수 있다. 영상 표시 장치(100)는 이용가능한 부가 서비스를 획득하여 실행할 수 있다.
또 다른 실시예에서, 단말 장치(400)가 영상 표시 장치(100)에서 재생되는 메인 시청각 컨텐트의 캡처 데이터에 기초하여 부가 서비스 정보를 획득하고, 영상 표시 장치(100)는 단말 장치(400) 또는 또 다른 단말 장치에 이용가능한 부가 서비스를 질의하여 이용가능한 부가 서비스를 획득할 수 있다.
영상 표시 장치(100)는 부가 서비스 알림 UI를 통해 이용가능한 부가서비스의 실행에 관한 사용자 입력을 수신한다(S2811). 영상 표시 장치(100)는 리모콘을 통해 이용가능한 부가서비스의 실행에 관한 사용자 입력을 수신할 수 있다.
이용 가능한 부가 서비스가 복수의 타입을 가지는 경우, 영상 표시 장치(100)는 부가 서비스 알림 UI를 통해 이용가능한 부가서비스의 타입 선택에 관한 사용자 입력을 수신한다(S2813). 영상 표시 장치(100)는 리모콘을 통해 이용가능한 부가서비스의 타입 선택에 관한 사용자 입력을 수신할 수 있다. 이때 타입은 부가 서비스 이전 타입 또는 제어 기능 이전 타입일 수 있다.
영상 표시 장치(100)는 이용가능한 단말 장치의 리스트를 획득하고 디스플레이한다(S2815). 일예로, 영상 표시 장치(100)는 페어링된 단말 장치의 리스트를 획득하고 디스플레이할 수 있다.
표 35와 표 36는 영상 표시 장치(100)에서 실행되고 있는 영상 표시 장치 제조사 애플리케이션 또는 자동 실행 애플리케이션과 같은 애플리케이션이 페어링된 단말 장치의 리스트를 획득하는데 이용하는 API를 보여준다.
영상 표시 장치(100)에서 실행되고 있는 애플리케이션은 DeviceList getPairedDeviceList() 함수를 이용할 수 있다. DeviceList getPairedDeviceList() 함수는 페어링된 단말 장치의 리스트를 반환한다.
표 35는 페어링된 단말 장치의 리스트 DeviceList의 정의를 보여준다.
typedef collection<Device> DeviceList
Figure pat00037
표 36는 페어링된 단말 장치의 리스트 DeviceList 내의 개별 인스턴스인 Device class를 보여준다.
Figure pat00038
표 36에서 보여지는 바와 같이, 영상 표시 장치(100)에서 실행되고 있는 애플리케이션은 getPairedDeviceList() 함수를 호출하여 페어링된 단말 장치의 식별자, 이름, 타입, 해상도를 획득할 수 있다.
영상 표시 장치(100)는 UI를 통해 단말 장치 선택에 관한 사용자 입력을 수신한다(S2817). 영상 표시 장치(100)는 리모콘을 통해 단말 장치 선택에 관한 사용자 입력을 수신할 수 있다.
이후, 영상 표시 장치(100)는 선택된 부가 서비스 타입의 선택된 부가 서비스의 실행 요청 메시지를 선택된 단말 장치(400)에 전송한다(S2819). 실행 요청 메시지는 부가 서비스의 주소를 포함할 수 있다. 특히, 실행 요청 메시지는 선택된 단말 장치(400)의 능력에 해당하는 부가 서비스의 주소를 포함할 수 있다. 실행 요청 메시지는 선택된 부가 서비스 타입에 관한 정보를 포함할 수도 있다. 또한, 실행 요청 메시지는 복수의 부가 서비스 타입에 관한 정보를 포함하여, 단말 장치(400)에서 부가 서비스 타입이 선택되도록 할 수도 있다.
이때, 선택된 단말 장치(400)는 영상 표시 장치(100)와 페어링되어 있을 수도 있고, 페어링되어 있지 않을 수도 있다. 페어링되어 있지 않은 상태에서 영상 표시 장치(100)는 저장된 단말 장치 정보에 기초하여 push notification mechanism을 이용하여 실행 요청 메시지를 페어링 되지 않은 단말 장치에 전송할 수 있다.
영상 표시 장치(100)에서 실행되고 있는 애플리케이션은 Boolean transferApp(DeviceParamList deviceList) 함수를 호출하여 단말 장치에 실행 요청 메시지를 전송할 수 있다.
영상 표시 장치(100)에서 실행되고 있는 애플리케이션은 deviceList 변수를 통해 하나 이상의 단말 장치에 URL을 전달할 수 있다.
표 37는 DeviceParamList의 정의를 보여준다.
typedef collection<DeviceParam> DeviceParamList
Figure pat00039
표 38는 DeviceParam 클래스의 property를 보여준다.
Figure pat00040
표 38에서 보여지는 바와 같이, 영상 표시 장치(100)는 id 변수에 의해 식별되는 단말 장치에 APP URL 또는 Web URL을 전달할 수 있다.
영상 표시 장치(100)가 메인 시청각 컨텐트의 일부로부터 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보에 기초하여 질의/응답을 통해 이용가능한 부가 서비스의 정보를 획득하여 메인 시청각 컨텐트와 연관된 이용가능한 부가 서비스가 있음을 인식하는 경우에, 표 35 내지 표 38의 Plugin API는 다음과 같은 MIME type으로 인식되는 ACR Object에서 제공될 수 있다.
MIME Type : application/x-netcast-acr
영상 표시 장치(100)가 컨텐츠 제공 서버(10)로부터 방송 네트워크(broadcast network)를 통해 이용가능한 부가 서비스의 정보를 획득하거나, 서비스 탐색 및 선택(Service discovery and selection, SD&S)에 기초하여 IP 기반 네트워크를 통해 이용가능한 부가 서비스의 정보를 획득는 경우에, 표 35 내지 표 38의 Plugin API는 다음과 같은 MIME type으로 인식되는 HbbTV Object에서 제공될 수 있다.
MIME Type : application/oipfPairedDevice
부가 서비스 실행 요청 메시지는 도 30f에서 보여지는 바와 같은 HTTP request 형식을 가질 수 있다.
Figure pat00041
표 39에서 보여지는 바와 같이, 부가 서비스 실행 요청 메시지는 영상 표시 장치(100)가 이 HTTP request를 통해 단말 장치(100)에 명령을 전송함을 나타내는 command 엘리먼트를 포함한다. 이 command 엘리먼트는 session 엘리먼트, type 엘리먼트(또는 name 엘리먼트), value 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. type 엘리먼트는 이 메시지가 부가 서비스 실행 요청 메시지임을 나타내는 텍스트 값인 "TransferAppTo2ndDevice"를 담는다. value 엘리먼트는 단말 장치(400)에 이전할 부가 서비스의 URL을 담는다.
단말 장치(400)는 부가 서비스 실행 요청 메시지에 따라 부가 서비스를 실행한다(S2821). 단말 장치(400)는 부가 서비스 실행에 관한 사용자 입력을 수신하면, 부가 서비스를 실행할 수 있다.
단말 장치(400)와 영상 표시 장치(100) 사이의 페어링이 해제된 경우, 단말 장치(400)는 영상 표시 장치(100)와 페어링을 수행할 수 있다(S2823). 특히, 실행된 부가 서비스가 페어링을 수행할 수도 있다.
단말 장치(400)는 부가 서비스 실행 결과(OK/ERROR)를 포함하는 부가 서비스 실행 응답 메시지를 영상 표시 장치(100)에 전송한다(S2825). 이때, 단말 장치(400)는 영상 표시 장치(100)와 페어링되어 있을 수도 있고, 페어링되어 있지 않을 수도 있다. 페어링되어 있지 않은 상태에서 단말 장치(400)는 저장된 영상 표시 장치 정보에 기초하여 push notification mechanism을 이용하여 실행 응답 메시지를 페어링 되지 않은 영상 표시 장치에 전송할 수 있다.
영상 표시 장치(100)는 부가 서비스 실행 결과를 포함하는 부가 서비스 실행 응답 메시지에 기초하여 영상 표시 장치(100)에서 실행된 부가 서비스를 제어한다(S2827). 예컨데, 단말 장치(400)에서 실행된 부가 서비스의 타입이 부가 서비스 이전 타입인 경우, 영상 표시 장치(100)는 실행된 부가 서비스를 비활성화할 수 있다. 또, 단말 장치(400)에서 실행된 부가 서비스의 타입이 제어 기능 이전 타입인 경우, 영상 표시 장치(100)는 실행된 부가 서비스의 제어 기능을 비활성화하고, 표시 기능을 활성화할 수 있다.
도 68은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
특히, 도 68은 영상 표시 장치(100)에서 실행된 부가 서비스의 제어 기능이 옮겨질 수 있는 단말 장치의 최대 개수보다 해당 부가 서비스의 제어 기능의 이전을 요구하는 단말 장치의 개수가 많을 때 발생하는 충돌을 조정하기 위한 장치간 상호 연동 과정을 보여준다.
도 68을 설명하기 위하여 현재의 메인 시청각 컨텐트와 연관된 부가 서비스의 제어 기능이 이전될 수 있는 단말 장치의 최대 개수를 1이라고 가정한다.
단말 장치(400)는 type 엘리먼트의 값이 "controller"인 부가 서비스 요청 메시지를 영상 표시 장치(100)에 제공하여 부가 서비스의 제어 기능의 이전을 영상 표시 장치(100)에 요청한다(S2901).
영상 표시 장치(100)는 부가 서비스 요청 메시지에 따라 부가 서비스를 제어한다(S2903). 현재의 메인 시청각 컨텐트와 연관된 부가 서비스의 제어 기능이 이전될 수 있는 단말 장치의 최대 개수가 1이고, 부가 서비스의 제어 기능이 이전된 단말 장치의 개수가 0이므로, 영상 표시 장치(100)는 단말 장치(400)에게 부가 서비스의 제어 기능을 이전할 수 있다. 단말 장치(400)가 부가 서비스의 제어 기능의 이전을 요청하므로, 영상 표시 장치(100)는 요청한 부가 서비스의 표시 기능을 활성화하고, 요청한 부가 서비스의 제어 기능과 요청한 부가 서비스 타입과 단말 장치(400)의 능력에 해당하는 부가 서비스 URL을 포함하는 부가 서비스 이전 응답 메시지를 생성한다.
영상 표시 장치(100)는 result 엘리먼트의 값이 OK인 부가 서비스 이전 응답 메시지를 단말 장치(400)에 전송한다(S2905).
단말 장치(400)는 제어 기능 이전 충돌 이벤트 등록 요청 메시지를 영상 표시 장치(100)에 전송한다(S2907). 제어 기능 이전 충돌 이벤트 등록 요청 메시지는 표 40에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00042
표 40에서 보여지는 바와 같이, 제어 기능 이전 충돌 이벤트 등록 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 제어 기능 이전 충돌 이벤트 등록 요청 메시지임을 나타내는 텍스트 값인 "RegisterControllerConflictEvent"를 담는다. appId 엘리먼트는 제어 기능 이전 충돌 이벤트 등록에 해당하는 부가 서비스의 식별자를 담는다.
영상 표시 장치(100)는 제어 기능 이전 충돌 이벤트 등록 확인 메시지를 단말 장치(400)에 전송한다(S2909). 제어 기능 이전 충돌 이벤트 등록 확인 메시지는 표 41에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00043
표 41에서 보여지는 바와 같이, 제어 기능 이전 충돌 이벤트 등록 확인 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트, result 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 부가 서비스 이전 해제 응답 메시지임을 나타내는 텍스트 값인 "RegisterControllerConflictEvent"를 담는다. appId 엘리먼트는 제어 기능 이전 충돌 이벤트 등록에 해당하는 부가 서비스의 식별자를 담는다. result 엘리먼트는 제어 기능 이전 충돌 이벤트 등록 결과를 담는다. result 엘리먼트의 값은 제어 기능 이전 충돌 이벤트 등록 해제가 성공적으로 완료되었음을 나타내는 OK 또는 제어 기능 이전 충돌 이벤트 등록 해제에 실패했음을 나타내는 NotOK 중 하나일 수 있다.
한편, 또 다른 단말 장치(410)는 type 엘리먼트의 값이 "controller"인 부가 서비스 요청 메시지를 영상 표시 장치(100)에 제공하여 부가 서비스의 제어 기능의 이전을 영상 표시 장치(100)에 요청한다(S2911).
현재의 메인 시청각 컨텐트와 연관된 부가 서비스의 제어 기능이 이전될 수 있는 단말 장치의 최대 개수가 1이고, 부가 서비스의 제어 기능이 이전된 단말 장치의 개수가 1이므로, 영상 표시 장치(100)는 추가 단말 장치(410)에게 부가 서비스의 제어 기능을 이전할 수 없다. 따라서, 영상 표시 장치(100)는 result 엘리먼트의 값이 Conflict인 부가 서비스 이전 응답 메시지를 단말 장치(410)에 전송한다(S2913).
한편, 단말 장치(400)가 제어 기능 이전 충돌 이벤트를 영상 표시 장치(100)에 등록하였고 제어 기능 이전 충돌 이벤트가 발생했으므로, 영상 표시 장치(100)는 단말 장치(400)에 제어 기능 이전 충돌 이벤트를 전송한다(2915). 제어 기능 이전 충돌 이벤트는 표 42에서 보여지는 바와 같은 형식을 가질 수 있다.
Figure pat00044
표 42에서 보여지는 바와 같이, 제어 기능 이전 충돌 이벤트 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 이벤트를 전송함을 나타내는 acrEvent 엘리먼트를 포함한다. 이 acrEvent 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 제어 기능 이전 충돌 이벤트 메시지임을 나타내는 텍스트 값인 "ControllerConflictEvent"를 담는다. appId 엘리먼트는 제어 기능 이전 충돌 이벤트가 발생한 부가 서비스의 식별자를 담는다.
단말 장치(400)가 제어 기능 이전 충돌 이벤트를 수신하면, 단말 장치(400)는 실행된 부가 서비스의 제어 기능을 유지할 지 아니면 실행된 부가 서비스의 제어 기능을 종료할 지를 결정할 수 있는 권한을 갖는다. 단말 장치(400)가 실행된 부가 서비스의 종료를 위한 사용자 입력을 수신하면(S2917), 단말 장치(400)는 제어 기능 이전 해제 요청 메시지를 영상 표시 장치(100)에 전송한다(S2919).
영상 표시 장치(100)는 제어 기능 이전 해제 요청 메시지를 전송한 단말 장치(400)에 대해 제어 기능 이전을 해제한다(S2921). 영상 표시 장치(100)는 제어 기능 이전으로 등록된 단말 장치의 수를 1만큼 감소시킬 수 있다.
영상 표시 장치(100)는 제어 기능 이전 해제 요청 메시지에 대한 응답으로 제어 기능 이전 해제 결과를 포함하는 제어 기능 이전 해제 응답 메시지를 단말 장치(400)에 전송한다(S2923).
현재의 메인 시청각 컨텐트와 연관된 부가 서비스의 제어 기능이 이전될 수 있는 단말 장치의 최대 개수가 1이고, 부가 서비스의 제어 기능이 이전된 단말 장치의 개수가 0이므로, 영상 표시 장치(100)는 추가 단말 장치(410)에게 부가 서비스의 제어 기능을 이전할 수 있다. 따라서, 영상 표시 장치(100)는 제어 기능 이전 가능 통지 메시지를 단말 장치(400)에게 전송한다(S2925).
단말 장치(410)는 type 엘리먼트의 값이 "controller"인 부가 서비스 요청 메시지를 영상 표시 장치(100)에 제공하여 부가 서비스의 제어 기능의 이전을 영상 표시 장치(100)에 요청한다(S2927).
영상 표시 장치(100)는 부가 서비스 요청 메시지에 따라 부가 서비스를 제어한다(S2929). 현재의 메인 시청각 컨텐트와 연관된 부가 서비스의 제어 기능이 이전될 수 있는 단말 장치의 최대 개수가 1이고, 부가 서비스의 제어 기능이 이전된 단말 장치의 개수가 0이므로, 영상 표시 장치(100)는 단말 장치(410)에게 부가 서비스의 제어 기능을 이전할 수 있다. 단말 장치(410)가 부가 서비스의 제어 기능의 이전을 서비스를 요청하므로, 영상 표시 장치(100)는 요청한 부가 서비스의 표시 기능을 활성화하고, 요청한 부가 서비스의 제어 기능과 요청한 부가 서비스 타입과 단말 장치(400)의 능력에 해당하는 부가 서비스 URL을 포함하는 부가 서비스 이전 응답 메시지를 생성한다. 영상 표시 장치(100)는 요청한 부가 서비스의 제어 기능을 활성화할 수도 있고 비활성화할 수도 있다.
영상 표시 장치(100)는 result 엘리먼트의 값이 OK인 부가 서비스 이전 응답 메시지를 단말 장치(440)에 전송한다(S2931).
도 69은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
메인 시청각 컨텐트와 연관된 부가 서비스가 단말 장치(400)로 이전된 경우라도 영상 표시 장치(100)는 해당 부가 서비스를 종료하지 않고 비활성화할 수 있고 활성화할 수 있다. 메인 시청각 컨텐트와 연관된 부가 서비스의 제어 기능이 단말 장치(400)로 이전된 경우라도 영상 표시 장치(100)는 해당 부가 서비스의 디스플레이 기능을 활성화한다. 또한, 영상 표시 장치(100)는 메인 시청각 컨텐트와 연관된 복수의 부가 서비스를 실행하고 있을 수 있다.
단말 장치(400)는 영상 표시 장치(100)가 실행하고 있는 부가 서비스 또는 부가 서비스의 일부 기능이 디스플레이되게 하거나 숨겨지게 할 수 있다.
먼저 단말 장치(400)는 제어 타겟의 부가 서비스의 선택에 관한 사용자 입력과 선택된 부가 서비스의 디스플레이 제어에 관한 사용자 입력을 수신한다(S3101). 이때 디스플레이 제어에 관한 사용자 입력은 부가 서비스의 보이기(show) 또는 부가 서비스의 숨김(hide) 중 하나일 수 있다.
단말 장치(400)는 부가 서비스 표시 제어 요청 메시지를 영상 표시 장치(100)에 전송한다(S3102). 부가 서비스 표시 제어 요청 메시지는 표 43에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00045
표 43에서 보여지는 바와 같이, 부가 서비스 표시 제어 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트, show 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 부가 서비스 표시 제어 요청 메시지임을 나타내는 텍스트 값인 "ShowACRApp"를 담는다.
appId 엘리먼트는 표시 제어 타겟 부가 서비스의 식별자를 담는다. appId 엘리먼트가 없거나 appId 엘리먼트의 값이 empty(즉, <appId></appId>)인 경우, 표시 제어 타겟 부가 서비스는 영상 표시 장치(100)가 실행하고 있는 모든 부가 서비스일 수 있다.
show 엘리먼트는 영상 표시 장치(100)가 appId 엘리먼트의 값에 해당하는 부가 서비스를 보일 지 말지에 관한 정보를 담는다. show 엘리먼트의 값은 true 또는 false가 될 수 있다. 값이 true인 show 엘리먼트는 영상 표시 장치(100)가 appId 엘리먼트의 값에 해당하는 부가 서비스를 보일 것을 의미하고, 값이 false인 show 엘리먼트는 영상 표시 장치(100)가 appId 엘리먼트의 값에 해당하는 부가 서비스를 숨길 것을 의미한다.
영상 표시 장치(100)는 부가 서비스 표시 제어 요청에 따라 부가 서비스의 표시를 제어한다(S3103). 값이 true인 show 엘리먼트를 포함하는 부가 서비스 표시 제어 요청 메시지를 수신하면, 영상 표시 장치(100)는 appId 엘리먼트의 값에 해당하는 부가 서비스를 보인다(show). 값이 false인 show 엘리먼트를 포함하는 부가 서비스 표시 제어 요청 메시지를 수신하면, 영상 표시 장치(100)가 appId 엘리먼트의 값에 해당하는 부가 서비스를 숨긴다(hide).
영상 표시 장치(100)는 선택된 부가 서비스를 위한 부가 서비스 제어 응답 메시지를 단말 장치(400)에 전송한다(S3105). 부가 서비스 표시 제어 응답 메시지는 표 44에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
Figure pat00046
표 44에서 보여지는 바와 같이, 부가 서비스 표시 제어 응답 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 session 엘리먼트, name 엘리먼트, appId 엘리먼트, result 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다. name 엘리먼트는 이 메시지가 부가 서비스 표시 제어 응답 메시지임을 나타내는 텍스트 값인 "ShowACRApp"를 담는다.
appId 엘리먼트는 표시 제어 타겟 부가 서비스의 식별자를 담는다. appId 엘리먼트가 없거나 appId 엘리먼트의 값이 empty(즉, <appId></appId>)인 경우, 표시 제어 타겟 부가 서비스는 영상 표시 장치(100)가 실행하고 있는 모든 부가 서비스일 수 있다.
result 엘리먼트는 부가 서비스 표시 제어 결과를 담는다. result 엘리먼트의 값은 부가 서비스 표시 제어가 성공적으로 완료되었음을 나타내는 OK 또는 부가 서비스 표시 제어에 실패했음을 나타내는 NotOK 중 하나일 수 있다.
도 70은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
단말 장치(400)는 제어 타겟 미디어의 선택에 관한 사용자 입력과 선택된 미디어의 제어 명령에 관한 사용자 입력을 수신한다(S3301). 예컨데, 사용자 입력은 단말 장치(400)가 실행중인 부가 서비스 내의 특정 URL의 클릭이나 특정 미디어에 관한 제어 버튼의 클릭일 수 있다. 이때, 실행중인 부가 서비스는 자동 재생 애플리케이션, 영상 표시 장치 제조사 애플리케이션, 메인 시청각 컨텐트와 연관된 부가 서비스 등 본 발명의 실시예에서 언급된 부가 서비스일 수 있다.
단말 장치(400)는 선택된 제어 타겟 미디어를 위한 미디어 재생 제어 요청 메시지를 영상 표시 장치(100)에 전송한다(S3302). 미디어 재생 제어 요청 메시지는 표 45에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다.
Figure pat00047
표 45에서 보여지는 바와 같이, 미디어 재생 제어 요청 메시지는 단말 장치(400)가 이 HTTP request를 통해 영상 표시 장치(100)에 명령을 전송함을 나타내는 acrCommand 엘리먼트(또는 command 엘리먼트)를 포함한다. 이 acrCommand 엘리먼트는 session 엘리먼트, name 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다.
name 엘리먼트는 이 메시지가 나타내는 제어 명령을 담는다. name 엘리먼트가 가질 수 있는 값의 리스트가 표 46에서 보여진다.
Figure pat00048
name 엘리먼트의 값이 "play"인 경우, acrCommand 엘리먼트는 url 엘리먼트와 offset 엘리먼트를 추가로 포함할 수 있다. url 엘리먼트는 제어 타겟 미디어의 url을 담는다. Offset 엘리먼트는 재생 시작 위치에 관한 정보를 담는다.
name 엘리먼트의 값이 "seek"인 경우, acrCommand 엘리먼트는 offset 엘리먼트를 추가로 포함할 수 있다. Offset 엘리먼트는 이동할 위치에 관한 정보를 담는다. 위치는 사간으로 나타낼 수도 있고, byte offset일 수도 있다.
name 엘리먼트의 값이 "FF"인 경우, acrCommand 엘리먼트는 speed 엘리먼트를 추가로 포함할 수 있다. Speed 엘리먼트는 재생 속도에 관한 정보를 담는다.
name 엘리먼트의 값이 "REW"인 경우 acrCommand 엘리먼트는 speed 엘리먼트를 추가로 포함할 수 있다. Speed 엘리먼트는 재생 속도에 관한 정보를 담는다.
영상 표시 장치(100)는 미디어 재생 제어 요청 메시지에 따라 미디어 재생을 제어한다(S3303).
name 엘리먼트의 값이 "play"인 경우, 영상 표시 장치(100)는 url 엘리먼트 값에 해당하는 url로부터 미디어를 가져와 offset 엘리먼트 값에 해당하는 위치부터 재생을 시작할 수 있다.
name 엘리먼트의 값이 "pause"인 경우, 영상 표시 장치(100)는 재생 중인 미디어를 일시 정지할 수 있다.
name 엘리먼트의 값이 "stop"인 경우, 영상 표시 장치(100)는 재생 중인 미디어의 재생을 종료할 수 있다.
name 엘리먼트의 값이 "seek"인 경우, 영상 표시 장치(100)는 재생 중인 미디어의 재생 위치를 offset 엘리먼트 값에 해당하는 위치로 변경할 수 있다.
name 엘리먼트의 값이 "FF"인 경우, 영상 표시 장치(100)는 재생 중인 미디어의 재생 속도를 speed 엘리먼트의 값에 해당하는 속도로 변경힐 수 있다.
name 엘리먼트의 값이 "REW"인 경우 영상 표시 장치(100)는 재생 중인 미디어의 재생 속도를 speed 엘리먼트의 값에 해당하는 속도로 변경힐 수 있다.
영상 표시 장치(100)는 미디어 재생 제어 결과를 포함하는 미디어 재생 제어 응답 메시지를 단말 장치(400)에 전송한다(S3305). 미디어 재생 제어 응답 메시지는 표 47에서 보여지는 바와 같은 HTTP responsequest의 형식을 가질 수 있다.
Figure pat00049
표 47에서 보여지는 바와 같이, 미디어 재생 제어 응답 메시지는 영상 표시 장치(100)가 이 HTTP response를 통해 단말 장치(400)에 응답을 전송함을 나타내는 acrResponse 엘리먼트(또는 response 엘리먼트)를 포함한다. 이 acrResponse 엘리먼트는 session 엘리먼트, name 엘리먼트, result 엘리먼트를 포함한다. session 엘리먼트는 영상 표시 장치(100)가 단말 장치(400)에 발급한 세션 값을 담는다.
name 엘리먼트는 이 메시지가 어떤 제어 명령에 대한 응답 메시지임을 나타내는 텍스트 값을 담는다.
result 엘리먼트는 미디어 재생 제어 결과를 담는다. result 엘리먼트의 값은 미디어 재생 제어가 성공적으로 완료되었음을 나타내는 OK 또는 미디어 재생 제어에 실패했음을 나타내는 NotOK 중 하나일 수 있다.
도 71은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
영상 표시 장치(100)는 제어 타겟 미디어의 선택에 관한 사용자 입력과 선택된 미디어의 제어 명령에 관한 사용자 입력을 수신한다(S3501). 예컨데, 사용자 입력은 영상 표시 장치(100)가 실행중인 부가 서비스 내의 특정 URL의 클릭이나 특정 미디어에 관한 제어 버튼의 클릭일 수 있다. 이때, 실행중인 부가 서비스는 자동 재생 애플리케이션, 영상 표시 장치 제조사 애플리케이션, 메인 시청각 컨텐트와 연관된 부가 서비스 등 본 발명의 실시예에서 언급된 부가 서비스일 수 있다. 영상 표시 장치(100)는 리모콘을 통해 이러한 사용자 입력을 수신할 수 있다.
영상 표시 장치(100)는 선택된 제어 타겟 미디어를 위한 미디어 재생 제어 요청 메시지를 단말 장치(400)에 전송한다(S3502). 이 미디어 재생 제어 요청 메시지는 표 45에서 보여지는 바와 같은 메시지와 동일 또는 유사한 포맷을 가질 수 있다.
단말 장치(400)는 미디어 재생 제어 요청 메시지에 따라 미디어 재생을 제어한다(S3503). 단말 장치(400)는 단계(S3303)에 따른 영상 표시 장치(100)의 동작과 동일 또는 유사한 동작을 수행할 수 있다.
단말 장치(400)는 미디어 재생 제어 결과를 포함하는 미디어 재생 제어 응답 메시지를 영상 표시 장치(100)에 전송한다(S3505). 이 미디어 재생 제어 응답 메시지는 표 47에서 보여지는 바와 같은 메시지와 동일 또는 유사한 포맷을 가질 수 있다.
도 72는 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 과정을 보여주는 래더 다이어그램이다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S3701).
도 73은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 73에 도시된 바와 같이, 본 발명의 실시예에 따른 연동 애플리케이션은 영상 표시 장치 제어 UI를 디스플레이한다. 이때, 영상 표시 장치 제어 UI는 영상 표시 장치(100)를 제어하기 위한 다양한 기능 버튼을 상단에 포함하고, 복수의 탭 변경 버튼을 하단에 포함한다. 영상 표시 장치 제어 UI는 탭 변경 버튼으로 영상 표시 장치(100)의 볼륨과 채널을 제어하기 위한 VOL/CH 탭 변경 버튼과 ACR 탭 변경 버튼 등을 포함한다. VOL/CH 탭 변경 버튼이 클릭되면, 영상 표시 장치 제어 UI는 기능 버튼으로 볼륨 증가 버튼, 볼륨 감소 버튼, 채널 번호 증가 버튼, 채널 번호 감소 버튼, 음량 소거 버튼, 홈 버튼 등을 표시할 수 있다.
다시 도 72를 설명한다.
단말 장치(400)의 연동 애플리케이션과 영상 표시 장치(100)는 앞서 설명한 바와 같은 페어링 과정을 수행한다(S3703).
단말 장치(400)의 연동 애플리케이션과 영상 표시 장치(100)는 앞서 설명한 바와 같은 ACR 제어를 수행한다(S3705).
도 74은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
단말 장치(400)의 ACR 제어 과정에서, 단말 장치(400)의 연동 애플리케이션은 도 74에 도시된 바와 같이 버튼을 통해 영상 표시 장치(100)의 ACR 기능을 턴온 하기 위한 사용자 입력을 수신할 수 있다. 단말 장치가 영상 표시 장치(100)의 ACR 기능을 턴온 하기 위한 사용자 입력을 수신하면, 단말 장치는 도 56의 ACR ON 요청 메시지를 영상 표시 장치(100)에 전송한다.
다시 도 72를 설명한다.
단말 장치(400)의 연동 애플리케이션은 영상 표시 장치 제조사 애플리케이션의 실행에 관한 사용자 입력을 수신하면, 영상 표시 장치 제조사 애플리케이션의 실행 요청 메시지를 영상 표시 장치(100)에 전송한다(S3707). 단말 장치(400)의 연동 애플리케이션은 도 74에 도시된 바와 같이 버튼을 통해 영상 표시 장치 제조사 애플리케이션의 실행에 관한 사용자 입력을 수신할 수 있다.
영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션의 실행 요청 메시지를 수신하면, 영상 표시 장치 제조사 애플리케이션을 실행하고(S3709), 영상 표시 장치 제조사 애플리케이션의 실행 결과를 포함하는 영상 표시 장치 제조사 애플리케이션의 실행 응답 메시지를 단말 장치(400)에 전송한다(S3711).
단말 장치(400)의 연동 애플리케이션은 영상 표시 장치 제조사 애플리케이션의 이전을 요청하는 애플리케이션 이전 요청 메시지를 영상 표시 장치(100)에 전송한다(S3713). 애플리케이션 이전 요청 메시지는 표 29에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다. 이때, 애플리케이션 이전 요청 메시지는 영상 표시 장치 제조사 애플리케이션의 이전을 요청할 수도 있고, 영상 표시 장치 제조사 애플리케이션의 일부 기능 또는 일부 컨텐트의 이전을 요청할 수도 있다. 이때 일부 기능은 제어 기능일 수 있다.
영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션 이전 요청 메시지에 따라 부가 서비스를 제어한다(S3715).
단말 장치(400)가 영상 표시 장치 제조사 애플리케이션의 일부 기능의 이전을 요청하는 경우, 영상 표시 장치(100)는 요청한 영상 표시 장치 제조사 애플리케이션의 일부 기능과 단말 장치(400)의 능력에 해당하는 영상 표시 장치 제조사 애플리케이션 URL을 포함하는 영상 표시 장치 제조사 애플리케이션 이전 응답 메시지를 생성한다. 영상 표시 장치(100)는 요청한 영상 표시 장치 제조사 애플리케이션의 일부 기능을 활성화하거나 비활성화할 수 있다.
단말 장치(400)가 영상 표시 장치 제조사 애플리케이션의 일부 컨텐트의 이전을 요청하는 경우, 영상 표시 장치(100)는 요청한 영상 표시 장치 제조사 애플리케이션의 일부 컨텐트와 단말 장치(400)의 능력에 해당하는 영상 표시 장치 제조사 애플리케이션 URL을 포함하는 영상 표시 장치 제조사 애플리케이션 이전 응답 메시지를 생성한다. 영상 표시 장치(100)는 요청한 영상 표시 장치 제조사 애플리케이션의 일부 컨텐트를 활성화하거나 비활성화할 수 있다.
단말 장치(400)가 영상 표시 장치 제조사 애플리케이션의 이전을 요청하는 경우, 영상 표시 장치(100)는 요청된 영상 표시 장치 제조사 애플리케이션을 비활성화하거나 숨기거나 종료하여 영상 표시 장치 제조사 애플리케이션이 디스플레이되지 않도록 하고 메인 시청각 컨텐트를 풀 스크린 상에서 디스플레이하고, 요청한 영상 표시 장치 제조사 애플리케이션과 단말 장치(400)의 능력에 해당하는 영상 표시 장치 제조사 애플리케이션 URL을 포함하는 영상 표시 장치 제조사 애플리케이션 이전 응답 메시지를 생성한다.
영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션 이전 응답 메시지를 단말 장치(400)에 전송한다(S3717). 영상 표시 장치 제조사 애플리케이션 이전 응답 메시지는 표 30에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다. 영상 표시 장치 제조사 애플리케이션 이전 응답 메시지는 영상 표시 장치(100)에서 실행 중인 영상 표시 장치 제조사 애플리케이션의 상태 정보를 포함할 수 있다.
단말 장치(400)의 연동 애플리케이션은 영상 표시 장치 제조사 애플리케이션 URL에 기초하여 영상 표시 장치 제조사 애플리케이션을 획득하여 실행한다(S3719). 영상 표시 장치 제조사 애플리케이션 이전 응답 메시지가 영상 표시 장치(100)에서 실행 중인 영상 표시 장치 제조사 애플리케이션의 상태 정보를 포함하면, 단말 장치(400)의 연동 애플리케이션은 이 상태 정보에 따라 영상 표시 장치 제조사 애플리케이션을 실행하여 끊김 없는 서비스를 제공할 수 있다.
단말 장치(400)는 영상 표시 장치 제조사 애플리케이션 이전 해제 요청 메시지를 영상 표시 장치(100)에 전송한다(S3721). 영상 표시 장치 제조사 애플리케이션 이전 해제 요청 메시지는 표 31 또는 표 33에서 보여지는 바와 같은 HTTP request의 형식을 가질 수 있다. 영상 표시 장치 제조사 애플리케이션 이전 해제 요청 메시지는 단말 장치(400)에서 실행 중인 영상 표시 장치 제조사 애플리케이션의 상태 정보를 포함할 수 있다.
영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션 이전 해제 요청 메시지를 전송한 단말 장치(400)에 대해 영상 표시 장치 제조사 애플리케이션의 이전을 해제한다(S3723). 특히, 영상 표시 장치 제조사 애플리케이션 이전 해제 요청메시지가 단말 장치(400)에서 실행 중인 영상 표시 장치 제조사 애플리케이션의 상태 정보를 포함하면, 영상 표시 장치(100)는 이 상태 정보에 따라 영상 표시 장치 제조사 애플리케이션을 활성화하여 끊김 없는 서비스를 제공할 수 있다.
이후, 영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션 이전 해제 요청 메시지에 대한 응답으로 영상 표시 장치 제조사 애플리케이션 이전 해제 결과를 포함하는 영상 표시 장치 제조사 애플리케이션 이전 해제 응답 메시지를 단말 장치(400)에 전송한다(S3725). 영상 표시 장치 제조사 애플리케이션 이전 해제 응답 메시지는 표 32 또는 표 34에서 보여지는 바와 같은 HTTP response의 형식을 가질 수 있다.
단말 장치(400)의 연동 애플리케이션은 영상 표시 장치 제조사 애플리케이션 이전 해제 응답 메시지를 수신하면 영상 표시 장치 애플리케이션을 종료한다(S3727).
단말 장치(400)의 연동 애플리케이션은 영상 표시 장치 제조사 애플리케이션의 종료에 관한 사용자 입력을 수신하면, 영상 표시 장치 제조사 애플리케이션의 종료 요청 메시지를 영상 표시 장치(100)에 전송한다(S3729). 단말 장치(400)의 연동 애플리케이션은 도 74에 도시된 바와 같이 버튼을 통해 영상 표시 장치 제조사 애플리케이션의 종료에 관한 사용자 입력을 수신할 수 있다.
영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션의 종료 요청 메시지를 수신하면, 영상 표시 장치 제조사 애플리케이션을 종료하고(S3731), 영상 표시 장치 제조사 애플리케이션의 종료 결과를 포함하는 영상 표시 장치 제조사 애플리케이션의 종료 응답 메시지를 단말 장치(400)에 전송한다(S3733).
영상 표시 장치 제조사 애플리케이션을 중심으로 도 72를 설명하였지만, 자동 재생 애플리케이션 등과 같은 다른 애플리케이션 또한 도 72에 적용될 수 있다.
다음은 도 75 내지 도 82를 참고하여 본 발명의 다양한 실시예에 따른 사용자 인터페이스(UI)와 사용 케이스(use case)를 설명한다.
도 75은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 75에 도시된 바와 같이, 단말 장치(400)는 컨텐트 인식 상태 응답 메시지 또는 부가 서비스 발생 이벤트 메시지 또는 부가 서비스 이전 응답 메시지 또는 컨텐트 인식 상태 변경 이벤트 메시지를 통해 획득한 컨텐트 식별자, 컨텐트 시간 정보, 이용가능한 부가 서비스의 URL 등을 연동 애플리케이션 상의 UI로 디스플레이할 수 있다.
도 76은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 76에 도시된 바와 같이, 영상 표시 장치(100)가 메인 시청각 컨텐트와 연관된 검색과 관련된 이벤트를 단말 장치(400)에 전송하면, 단말 장치(400)는 검색 결과를 획득하고 디스플레이할 수 있다. 이를 바탕으로 사용자는 추가 검색을 할 수 있다. 이를 통해 사용자는 TV 리모컨의 제한적인 입력과 TV 브라우져가 시청 화면을 가리는 등의 불편을 경험하지 않으면서 자유로운 검색 서비스를 사용할 수 있다.
도 77은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 77에 도시된 바와 같이, 단말 장치(400)는 메인 시청각 컨텐트와 연관된 장소의 지도 데이터를 획득하고 디스플레이할 수 있다. 또한 단말 장치(400)는 메인 시청각 컨텐트와 연관된 상세 위치 정보를 지도 상에 추가적으로 표시할 수 있다.
도 78은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 78에 도시된 바와 같이, 영상 표시 장치 제조사 애플리케이션 내의 채팅 서비스가 선택되면, 영상 표시 장치(100)는 이와 관련된 이벤트를 단말 장치(400)에 전송하여, 단말 장치(400)는 영상 표시 장치 제조사 애플리케이션의 제어 기능을 획득하고 디스플레이할 수 있다. 이때, 영상 표시 장치 제조사 애플리케이션의 제어 기능은 터치 스크린 상에 디스플레이된 키보드나 키패드일 수 있다.
도 79은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 79에 도시된 바와 같이, 영상 표시 장치 제조사 애플리케이션 내의 다운로드 서비스가 선택되면, 영상 표시 장치(100)는 이와 관련된 이벤트를 단말 장치(400)에 전송하여, 단말 장치(400)는 선택된 아이템을 다운로드하고 저장, 관리, 재생할 수 있다.
도 80은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
단말 장치(400)의 연동 애플리케이션은 통지된 이벤트를 히스토리 형태로 저장한다. 이후, 도 80에 도시된 바와 같이, 단말 장치(400)는 사용자의 선택에 의해 저장된 이벤트의 리스트를 디스플레이할 수 있다. 저장된 이벤트의 리스트 상의 아이템들은 다시 방문될 수도 있고 삭제될 수도 있다. 저장된 이벤트의 리스트 상의 아이템들 중 한 아이템의 방문이 선택되면, 단말 장치(400)는 선택된 아이템에 해당하는 이벤트에 따른 동작을 수행할 수 있다.
도 81은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 81에 도시된 바와 같이, 단말 장치(400)는 영상 표시 장치(100)에서 재생중인 메인 시청각 컨텐트와 연관된 부가 서비스인 비디오를 재생할 수 있다.
도 82은 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 디스플레이부의 상부 전면도이다.
영상 표시 장치(100)는 웹 애플리케이션의 형태로 이벤트를 단말 장치(400)에 전달한다. 따라서, 연동 애플리케이션은 사용자의 추가적인 네비게이션을 편리하게 하기 위해 추가적인 User Interface를 제공할 수 있다. 도 82에 도시된 바와 같이, 연동 애플리케이션은 웹 어플리케이션의 Reload를 위한 버튼, Home 페이지로 이동을 위한 버튼, 이전 페이지로 이동을 위한 Back 버튼, 이후 페이지로 이동을 위한 Forward 버튼, 사용자가 추가적인 검색을 위해 직접 웹 주소를 입력하기 위한 주소창을 제공할 수 있다.
또한, 도 82에 도시된 바와 같이, 연동 애플리케이션은 ACR 상태 체크 박스, Common App 체크 박스, ACR 이벤트 체크 박스, 영상 표시 장치(100)와 단말 장치(400) 사이의 애플리케이션 이전 선택 박스를 제공할 수 있다.
ACR 상태 체크 박스가 체크되면, 단말 장치(400)는 컨텐트 인식 상태 요청 메시지를 영상 표시 장치(100)에 제공할 수 있다.
ACR 상태 체크 박스의 체크가 해제되면, 단말 장치(400)는 ACR 컨텐트 인식 상태 요청을 해제하는 메시지를 영상 표시 장치(100)에 제공할 수 있다.
Common App 체크 박스가 체크되면, 단말 장치(400)는 Common App 실행 요청 메시지를 영상 표시 장치(100)에 제공할 수 있다.
Common App 체크 박스의 체크가 해제되면, 단말 장치(400)는 Common App 종료 요청 메시지를 영상 표시 장치(100)에 제공할 수 있다.
ACR 이벤트 체크 박스가 체크되면, 단말 장치(400)는 이벤트 등록 요청 메시지를 영상 표시 장치(100)에 제공할 수 있다.
ACR 이벤트 체크 박스의 체크가 해제되면, 단말 장치(400)는 이벤트 등록 해제 메시지를 영상 표시 장치(100)에 제공할 수 있다.
영상 표시 장치(100)와 단말 장치(400) 사이의 애플리케이션 이전 선택 박스를 통해 영상 표시 장치(100)가 선택되면, 단말 장치(400)에서 실행 중인 부가 서비스는 영상 표시 장치(100)로 이전된다. 예컨데, 단말 장치(400)는 부가 서비스 이전 해제 요청 메시지나 Common App 이전 해제 요청 메시지를 영상 표시 장치(100)에 제공할 수 있다.
영상 표시 장치(100)와 단말 장치(400) 사이의 애플리케이션 이전 선택 박스를 통해 단말 장치(400)가 선택되면, 영상 표시 장치(100)에서 실행 중인 부가 서비스는 단말 장치(400)로 이전된다. 예컨데, 단말 장치(400)는 부가 서비스 이전 요청 메시지나 Common App 이전 요청 메시지를 영상 표시 장치(100)에 제공할 수 있다.
다음은 도 83을 참고하여 본 발명의 실시예에 따라 IP 기반 네트워크(IP based network)를 통해 애플리케이션 정보 테이블(application information table, AIT)을 획득하는 방법을 설명한다.
도 83은 본 발명의 실시예에 따라 IP 기반 네트워크를 통해 애플리케이션 정보 테이블(application information table, AIT)을 획득하는 방법을 도시한 흐름도이다.
특히, 도 83은 영상 표시 장치(100)가 서비스 탐색 및 선택(Service discovery and selection, SD&S)에 기초하여 애플리케이션 정보 테이블을 획득하는 방법을 보여준다.
먼저, 영상 표시 장치(100)는 서비스 탐색 엔트리 포인트(service discovery entry point)를 결정한다(S3901). 일 실시예에서, 영상 표시 장치(100)는 잘 알려진 멀티캐스트 주소를 서비스 탐색 엔트리 포인트로 결정할 수 있다. 또 다른 실시예에서 영상 표시 장치(100)는 SD&S 엔트리 포인트들의 리스트들을 수신하여 이들 중에서 하나를 서비스 탐색 엔트리 포인트로 결정할 수 있다.
영상 표시 장치(100)는 결정된 서비스 탐색 엔트리 포인트로부터 서비스 제공자 탐색 정보(service provider discovery information)를 IP 기반 네트워크를 통해 수신한다(S3903). 서비스 제공자 탐색 정보는 하나 이상의 서비스 제공자 정보 엘리먼트를 포함할 수 있다. 각 서비스 제공자 정보 엘리먼트는 서비스 제공자의 이름, 서비스 제공자의 상세 정보, 서비스 제공자의 도메인 이름 등을 포함할 수 있다.
영상 표시 장치(100)는 서비스 제공자의 도메인 이름에 기초하여, 서비스 제공자 탐색 정보 내의 하나 이상의 서비스 제공자 중에서 하나에 접속한다(S3905).
영상 표시 장치(100)는 접속한 서비스 제공자로부터 애플리케이션 정보 테이블을 IP 기반 네트워크를 통해 수신한다(S3907). 영상 표시 장치(100)는 접속한 서비스 제공자로부터 SD&S 정보를 수신하고, 획득한 SD&S 정보를 파싱하여 애플리케이션 정보 테이블을 획득할 수 있다.
다음은 도 84 내지 도 86을 참고하여 본 발명의 실시예에 따른 SD&S 정보를 설명한다.
도 84는 본 발명의 한 실시예에 따른 SD&S 정보의 구조를 보여준다.
도 84에 도시된 바와 같이, 영상 표시 장치(100)는 SD&S 정보로서 ServiceDiscovery 엘리먼트를 포함하는 XML 문서를 수신한다.
ServiceDiscovery 엘리먼트는 하나 이상의 BroadcastDiscovery 엘리먼트, 하나 이상의 CodDiscovery 엘리먼트, 하나 이상의 ServiceFromOtherSP 엘리먼트, 하나 이상의 PackageDiscovery 엘리먼트, 하나 이상의 ServiceProviderDiscovery 엘리먼트, 0개 이상의 ApplicationDiscovery 엘리먼트를 선택적으로 포함한다.
ServiceDiscovery 엘리먼트가 어떠한 엘리먼트를 포함하고 있는지는 페이로드 식별자에 의해 식별될 수 있다. 표 48는 페이로드 식별자와 SD&S 정보의 타입 간의 관계를 보여준다.
Figure pat00050
BroadcastDiscovery 엘리먼트는 영상 표시 장치(100)가 실시간 미디어 방송 서비스를 찾기 위해 필요한 정보를 포함한다.
CodDiscovery 엘리먼트는 영상 표시 장치(100)가 이용가능한 CoD 서비스를 탐색하기 위해 필요한 정보를 제공한다.
ServiceFromOtherSP 엘리먼트는 다른 서비스 제공자가 제공하는 서비스에 관한 정보를 제공한다.
PackageDiscovery 엘리먼트는 서비스들의 집합에 관한 정보를 제공한다. 하나의 서비스는 하나 이상의 패키지에 속할 수 있다. 서비스가 임의의 패키지에 속할 필요는 없다.
ServiceProviderDiscovery 엘리먼트는 서비스 제공자에 관한 정보를 포함한다.
ApplicationDiscovery 엘리먼트는 서비스 제공자가 제공하는 이용가능한 애플리케이션에 관한 정보를 포함한다.
BroadcastDiscovery 엘리먼트는 BroadcastOffering 타입을 가지며, BroadcastOffering 타입의 엘리먼트는 하나 이상의 ServiceList 엘리먼트를 포함한다.
ServiceList 엘리먼트는 ServiceList 타입을 가지며, ServiceList 타입을 가지는 엘리먼트는 0개 이상의 ServiceDescriptionLocation 엘리먼트와 하나 이상의 SingleService 엘리먼트를 포함한다.
SingleService 엘리먼트는 IPService 타입을 가지며, IPService 타입을 가지는 엘리먼트는 ServiceLocation 엘리먼트, TextualIdentifier 엘리먼트, DVBTriplet 엘리먼트, MaxBitrate 엘리먼트, SI 엘리먼트를 포함한다. 또, IPService 타입을 가지는 엘리먼트는 0개 이상의 ApplicationList 엘리먼트와 0개 이상의 AITDescriptor 엘리먼트를 선택적으로 포함한다.
영상 표시 장치(100)는 AITDescriptor 엘리먼트가 포함하는 정보에 기초하여 IP 기반 네트워크를 통해 MPEG2 신택스를 사용하는 AIT를 수신할 수 있다. 이 경우 영상 표시 장치(100)는 도 87에 도시된 바와 같은 동작을 추가적으로 수행할 수 있다.
ServiceLocation 엘리먼트는 서비스를 발견할 수 있는 위치를 포함한다. ServiceLocation 엘리먼트는 IP 멀티캐스트 주소 또는 리얼타임 스트리밍 프로토콜(real time streaming protocol, RTSP) URL을 포함할 수 있다.
TextualIdentifier 엘리먼트는 MHP에서 정의되는 바와 같은 텍스추얼 식별자를 포함한다.
DVBTriplet 엘리먼트는 DVB에서 정의되는 바와 같은 오리지널 네트워크 식별자, 트랜스포트 스트림 식별자 및 서비스 식별자를 포함한다.
MaxBitrate 엘리먼트는 서비스를 운반(carry)하는 전체 스트림(overall stream)의 최대 비트레이트를 포함한다.
SI 엘리먼트는 서비스에 대한 정보를 포함한다.
ApplicationList 엘리먼트는 ApplicationList 타입을 가지며, 0개 이상의 Application 엘리먼트와 0개 이상의 ApplicationReference를 포함한다. 이 ApplicationReference 엘리먼트는 ApplicationIdentifier 타입을 가지며, ApplicationDescovery 엘리먼트 내의 애플리케이션 엘리먼트들을 참조한다.
한편, ApplicationDiscovery 엘리먼트는 ApplicationOfferingType 타입을 가지며, 0개 이상의 ApplicationList 엘리먼트를 가진다. ApplicationDiscovery 엘리먼트 내의 ApplicationList 엘리먼트는 0개 이상의 Application 엘리먼트를 가진다.
도 85는 본 발명의 또 다른 실시예에 따른 SD&S 정보의 구조를 보여준다.
도 85에 도시된 바와 같이, 영상 표시 장치(100)는 SD&S 정보로서 ServiceDiscovery 엘리먼트를 포함하는 XML 문서를 수신한다.
ServiceDiscovery 엘리먼트는 하나 이상의 BroadcastDiscovery 엘리먼트, 하나 이상의 CodDiscovery 엘리먼트, 하나 이상의 ServiceFromOtherSP 엘리먼트, 하나 이상의 PackageDiscovery 엘리먼트, 하나 이상의 ServiceProviderDiscovery 엘리먼트, 0개 이상의 ApplicationDiscovery 엘리먼트를 선택적으로 포함한다.
PackageDiscovery 엘리먼트는 PackagedServices 타입을 가지며, 하나 이상의 Package 엘리먼트를 포함한다.
Package 엘리먼트는 하나 이상의 Package 엘리먼트, 하나 이상의 Service 엘리먼트, 0개 이상의 CountryAvailability 엘리먼트, 0개 이상의 PackageDescription 엘리먼트, 하나 이상의 ApplicationList 엘리먼트를 포함한다.
ApplicationList 엘리먼트는 ApplicationList 타입을 가지며, 0개 이상의 Application 엘리먼트와 0개 이상의 ApplicationReference를 포함한다. 이 ApplicationReference 엘리먼트는 ApplicationIdentifier 타입을 가지며, ApplicationDescovery 엘리먼트 내의 애플리케이션 엘리먼트들을 참조한다.
한편, ApplicationDiscovery 엘리먼트는 ApplicationOfferingType 타입을 가지며, 0개 이상의 ApplicationList 엘리먼트를 가진다. ApplicationDiscovery 엘리먼트 내의 ApplicationList 엘리먼트는 0개 이상의 Application 엘리먼트를 가진다.
도 86는 본 발명의 한 실시예에 따른 SD&S 정보의 구조를 보여준다.
Application 엘리먼트는 Application 타입을 가지며, 0개 이상의 appName 엘리먼트, applicationIdentifier 엘리먼트, applicationDescriptor 엘리먼트, 0개 이상의 applicationSpecificDescriptor 엘리먼트, 0개 이상의 applicationUsageDescriptor 엘리먼트, 0개 또는 1개의 applicationBoundary 엘리먼트, 1개 이상의 applicationTransport 엘리먼트, applicationLocation 엘리먼트를 포함한다.
appName 엘리먼트는 애플리케이션의 이름을 포함한다.
applicationIdentifier 엘리먼트는 애플리케이션의 식별자를 포함한다.
applicationTransport 엘리먼트는 applicationIdentifier 엘리먼트에 의해 식별되는 애플리케이션이 방송 네트워크를 통해 획득될 수 있는지 IP 기반 네트워크를 통해 획득될 수 있는지에 대한 정보를 포함할 수 있다.
애플리케이션이 IP 기반 네트워크를 통해 획득될 수 있다면, applicationLocation 엘리먼트는 applicationIdentifier 엘리먼트에 의해 식별되는 애플리케이션을 획득할 수 있는 URL과 같은 IP 주소를 포함할 수 있다.
다음은 도 87을 참고하여 본 발명의 실시예에 따라 방송 네트워크를 통해 이용가능한 부가 서비스의 정보를 획득하는 방법을 설명한다.
도 87은 본 발명의 실시예에 따라 방송 네트워크를 통해 이용가능한 부가 서비스의 정보를 획득하는 방법을 보여주는 흐름도이다. 특히, 도 87에서 영상 표시 장치(100)는 이용가능한 부가 서비스로서 애플리케이션 정보 테이블(application information table, AIT)을 수신한다.
먼저, 영상 표시 장치(100)는 프로그램 맵 테이블을 수신한다(S4101). 프로그램 맵 테이블은 표 49에서 보여지는 바와 같은 신택스를 가질 수 있다.
Figure pat00051
표 49에서 보여지는 바와 같이, 프로그램 맵 테이블은 table_id 필드, Section_syntax_indicator 필드, section_length 필드, program_number 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, PCR_PID 필드, program_info_length 필드, 디스크립터 루프, 엘리먼테리 스트림 루프, 및 CRC_32 필드를 포함한다.
프로그램 맵 테이블의 table_id 필드는 0x02로 셋팅되고, section_syntax_indicator 필드는 1로 셋팅될 수 있다.
section_length 필드는 section_length 필드 직후부터 CRC_32 필드까지의 바이트들의 개수를 나타낼 수 있다.
program_number 필드는 program_map_PID가 적용될 수 있는 프로그램을 나타낼 수 있다.
version_number 필드는 프로그램 맵 테이블의 버전 번호를 나타낼 수 있다.
current_next_indicator 필드는 프로그램 맵 테이블이 현재 적용될 수 있는지를 나타낼 수 있다.
section_number 필드는 0x00으로 셋팅될 수 있다.
last_section_number 필드는 0x00으로 셋팅될 수 있다.
PCR_PID 필드는 program_number 필드가 나타내는 프로그램을 위하여 유효한 프로그램 클럭 레퍼런스(program clock reference, PCR) 필드를 포함하는 트랜스포트 스트림 패킷의 패킷 식별자(packet identifier, PID)를 나타낸다.
program_info_length 필드는 디스크립터 루프는 N개의 descriptor() 필드를 갖는다.
CRC_32 필드는 프로그램 맵 테이블을 위한 순환 중복 검사(cyclic redundancy checking, CRC) 값을 포함한다.
엘리먼테리 스트림 루프는 N1개의 루프 아이템을 가진다. 각 루프 아이템은 stream_type 필드, elementary_PID 필드, ES_info_length 필드, N2개의 descriptor() 필드를 가진다.
stream_type 필드는 값이 elementary_PID 필드에 의해 규정되는 PID를 가진 패킷으로 운반(carry)되는 프로그램 엘리먼트의 타입을 나태닐 수 있다. 관련 프로그램 엘리먼트가 애플리케이션 정보 테이블인 경우에, stream_type 필드의 값은 0x05일 수 있다.
elementary_PID 필드는 관련 프로그램 엘리먼트를 운반(carry)하는 트랜스포트 스트림 패킷의 패킷 식별자를 나타낼 수 있다.
ES_info_length 필드는 관련 프로그램 엘리먼트의 디스크립터들의 바이트의 수를 나타낼 수 있다.
descriptor() 필드는 관련 프로그램 엘리먼트의 디스크립터를 포함할 수 있다. descriptor() 필드는 애플리케이션 정보 테이블을 위한 애플리케이션 시그널링 디스크립터를 포함할 수 있다. 표 50은 애플리케이션 시그널링 디스크립터를 보여준다.
Figure pat00052
표 50에 보여지는 바와 같이, 애플리케이션 시그널링 디스크립터는 descriptor_tag 필드, descriptor_length 필드, N개의 application_type 필드, 및 N개의 AIT_version_number 필드를 포함한다.
descriptor_tag 필드는 이 디스크립터를 식별하는 정보를 포함할 수 있다. 이 디스크립터가 애플리케이션 시그널링 디스크립터인 경우, descriptor_tag 필드의 값은 0x6F일 수 있다.
descriptor_length 필드는 이 descriptor_length 필드를 뒤따르는 바이트들의 개수를 나타낼 수 있다.
application_type 필드는 AIT 서브-테이블의 애플리케이션 타입을 식별할 수 있다.
AIT_version_number 필드는 application_type 필드의 의해 식별되는 AIT 서브-테이블의 현재 버전 번호를 나타낼 수 있다.
영상 표시 장치(100)는 프로그램 맵 테이블의 엘리먼테리 스트림 루프에서 부가 서비스 정보인 애플리케이션 정보 테이블을 운반하는 트랜스포트 스트림 패킷의 패킷 식별자를 확인한다(S4103). 영상 표시 장치(100)는 descriptor_tag 필드의 값이 0x6F인 엘리먼테리 스트림 루프의 elementary_PID 필드 값을 애플리케이션 정보 테이블을 운반하는 트랜스포트 스트림 패킷의 패킷 식별자로 결정할 수 있다.
영상 표시 장치(100)는 확인된 패킷 식별자에 기초하여 부가 서비스 정보인 애플리케이션 정보 테이블을 운반하는 트랜스포트 스트림 패킷을 방송 네트워크로부터 수신한다(S4105).
영상 표시 장치(100)는 확인된 패킷 식별자에 기초하여 수신한 트랜스포트 스트림 패킷으로부터 부가 서비스 정보인 애플리케이션 정보 테이블을 추출한다(S4107). 표 51는 애플리케이션 정보 테이블을 보여준다.
Figure pat00053
표 51에서 보여지는 바와 같이, 애플리케이션 정보 테이블은 table_id 필드, ection_syntax_indicator 필드, section_length 필드, test_application_flag 필드, application_type 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, common_descriptors_length 필드, 디스크립터 루프, application_loop_length 필드, 및 애플리케이션 루프를 포함한다.
table_id 필드의 값은 애플리케이션 정보 테이블을 식별하는 0x74일 수 있다.
section_syntax_indicator 필드는 1로 셋팅될 수 있다.
section_length 필드는 section_length 필드 직후부터 CRC_32 필드까지의 바이트들의 개수를 나타낼 수 있다.
test_application_flag 필드는 애플리케이션이 테스트를 위한 것인지 아닌지를 나타낸다.
application_type 필드는 이 AIT 서브 테이블에서 설명되는 애플리케이션의 타입을 나타낼 수 있다.
version_number 필드는 이 AIT 서브 테이블의 버전 번호를 나타낼 수 있다.
current_next_indicator 필드는 1로 셋팅될 수 있다.
section_number 필드는 이 섹션의 번호를 나타낼 수 있다. 이 AIT 서브 테이블의 첫 섹션의 section_number 필드는 0x00으로 셋팅될 수 있다. 같은 table_id 필드와 application_type 필드를 갖는 추가 섹션에 대해서는 section_number 필드는 1만큼씩 증가될 수 있다.
last_section_number 필드는 이 AIT 서브 테이블의 마지막 섹션의 번호를 나타낼 수 있다.
common_descriptors_length 필드는 디스크립터 루프의 길이를 나타낼 수 있다.
application_loop_length 필드는 애플리케이션 루프의 길이를 나타낼 수 있다.
애플리케이션 루프는 application_identifier() 필드, application_control_code 필드, application_descriptors_loop_length 필드, 애플리케이션 디스크립터 루프를 포함할 수 있다.
application_identifier() 필드는 애플리케이션 식별자를 나타낼 수 있다.
application_control_code 필드는 애플리케이션의 상태를 제어할 수 있다.
application_descriptors_loop_length 필드는 애플리케이션 디스크립터 루프의 길이를 나타낼 수 있다.
애플리케이션 디스크립터 루프는 application_identifier() 필드에 의해 식별되는 애플리케이션의 상세 설명을 포함할 수 있다.
애플리케이션 디스크립터 루프는 application_identifier() 필드에 의해 식별되는 애플리케이션이 방송 네트워크를 통해 획득될 수 있는지 또는 IP 기반 네트워크를 통해 획득될 수 있는지에 대한 정보를 포함할 수 있다. 애플리케이션이 IP 기반 네트워크를 통해 획득될 수 있다면, 애플리케이션 디스크립터 루프는 애플리케이션을 획득할 수 있는 URL과 같은 IP 주소를 포함할 수 있다.
다음은 도 88과 도 93을 참고하여 본 발명의 또 다른 실시예에 따른 부가 서비스 제공 방법을 설명한다.
도 88은 본 발명의 또 다른 실시예에 따른 부가 서비스 제공 방법을 보여주는 래더 다이어그램이다.
먼저, 단말 장치(400)는 연동 애플리케이션을 실행한다(S4301). 본 발명의 실시예에 따른 연동 애플리케이션을 도 89를 참고하여 설명한다.
도 89는 본 발명의 또 다른 실시예에 따른 연동 애플리케이션이 실행된 단말 장치의 전면도이다.
도 89에 도시된 바와 같이, 본 발명의 실시예에 따른 또 다른 연동 애플리케이션은 영상 표시 장치 제어 UI를 디스플레이한다. 이때, 영상 표시 장치 제어 UI는 영상 표시 장치(100)를 제어하기 위한 다양한 기능 버튼을 상단에 포함하고, 복수의 탭 변경 버튼을 하단에 포함한다. 영상 표시 장치 제어 UI는 탭 변경 버튼으로 영상 표시 장치(100)의 볼륨과 채널을 제어하기 위한 VOL/CH 탭 변경 버튼과 ACR 탭 변경 버튼, 연동 애플리케이션의 셋팅을 변경하기 위한 setting 탭 변경 버튼을 포함한다. VOL/CH 탭 변경 버튼이 클릭되면, 영상 표시 장치 제어 UI는 기능 버튼으로 볼륨 증가 버튼, 볼륨 감소 버튼, 채널 번호 증가 버튼, 채널 번호 감소 버튼, 음량 소거 버튼, 홈 버튼 등을 표시할 수 있다.
다시 도 88을 설명한다.
단말 장치(400)의 연동 애플리케이션과 영상 표시 장치(100)는 페어링 과정을 수행하여 페어링 세션을 형성한다(S4303).
다음으로, 단말 장치(400)의 연동 애플리케이션은 영상 표시 장치(100)가 ACR을 지원하는지를 질의하기 위하여 ACR 능력 요청 메시지를 페어링 세션을 통해 영상 표시 장치(100)에 전송한다(S4305).
영상 표시 장치(100)는 ACR 능력 요청 메시지에 대한 응답으로 ACR 능력 응답 메시지를 페어링 세션을 통해 단말 장치(400)에 전송한다(S4307). ACR 능력 응답 메시지는 영상 표시 장치(100)가 ACR을 지원하는지에 대한 정보를 포함한다.
이후, 단말 장치(400)의 연동 애플리케이션은 ACR 능력 응답 메시지에 기초하여 영상 표시 장치(100)가 ACR을 지원하는지를 판단한다(S4309).
영상 표시 장치(100)가 ACR을 지원하지 않으면, 단말 장치(400)는 ACR 기능을 턴온하고(S4310), 영상 표시 장치(100)가 출력하는 시청각 컨텐트의 일부 구간의 캡처 데이터를 획득한다(S4311). 일 실시예에서, 단말 장치(400)는 마이크 또는 카메라를 이용하여 영상 표시 장치(100)가 출력하는 비디오 또는 오디오의 일부 구간을 캡처하여 캡처 데이터를 획득할 수 있다. 또 다른 실시예에서, 영상 표시 장치(100)와 통신하는 통신 모듈을 가지는 단말 장치(400)는 영상 표시 장치(100)에 시청각 컨텐트 캡처 데이터를 요청하여, 영상 표시 장치(100)가 캡처한 시청각 컨텐트를 페어링 세션을 통해 수신함으로써 캡처 데이터를 획득할 수도 있다.
단말 장치(400)는 캡처 데이터에 기초하여 앞서 설명한 바와 같은 ACR을 지원하는 영상 표시 장치(100)와 유사한 ACR을 수행하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S4313). 예컨데, 일 실시예에서, 단말 장치(400)는 도 3의 단계(S109) 내지 단계(S125)를 수행할 수 있다. 또 다른 실시예에서, 단말 장치(400)는 도 6의 단계(S213) 내지 단계(S225)를 수행할 수 있다. 또 다른 실시예에서, 단말 장치(400)는 도 9의 단계(S313) 내지 단계(S325)를 수행할 수 있다.
단말 장치(400)는 획득한 컨텐츠 정보를 영상 표시 장치(100)에 전송할 수 있다(S4314). 이 경우, 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 앞서 설명한 바와 같은 동작을 수행할 수 있다.
단말 장치(400)는 획득한 컨텐츠 정보에 기초하여 IP 기반 네트워크를 통해 부가 서비스를 획득하고 실행할 수 있다(S4315). 부가 서비스는 채팅 서비스, 촬영자 위치 보여주기 서비스, 컨텐츠 정보 보여주기 서비스, 다운로드 서비스 중 하나일 수 있다. 컨텐츠 정보 보여주기 서비스를 도 90을 참고하여 설명한다.
도 90은 본 발명의 실시예에 따른 컨텐츠 정보 보여주기 서비스를 실행하는 단말 장치의 전면도이다.
도 90에 도시된 바와 같이, 단말 장치(400)는 획득한 컨텐츠 정보를 메시지 박스를 이용하여 디스플레이할 수 있다.
다시 도 88을 설명한다.
이후, 단말 장치(400)는 부가 서비스 상호 연동을 수행하고(S4317), 페어링 세션을 통해 장치간 상호 연동을 수행한다(S4319). 단말 장치(400)는 앞서 설명한 바와 같은 부가 서비스 상호 연동을 수행할 수 있다. 단말 장치(400)는 앞서 설명한 바와 같은 장치간 상호 연동을 수행할 수 있다.
도 91은 본 발명의 또 다른 실시예에 따른 장치간 상호 연동 방법을 보여주는 래더 다이어그램이다.
단말 장치(400)의 연동 애플리케이션은 획득한 부가 서비스를 영상 표시 장치(100)에 제공할 지를 사용자에게 질의하는 UI를 디스플레이한다(S4320). 이러한 UI를 도 92를 참고하여 설명한다.
도 92은 본 발명의 실시예에 따라 부가 서비스를 영상 표시 장치에 제공할 지를 사용자에게 질의하는 UI를 디스플레이하는 단말 장치의 전면도이다.
도 92에 도시된 바와 같이, 단말 장치(400)는 부가 서비스를 영상 표시 장치에 제공할 지를 메시지 박스를 통해 사용자에게 질의할 수 있다.
다시 도 91을 설명한다.
사용자가 부가 서비스를 영상 표시 장치(100)에 제공하기를 원하면, 단말 장치(400)는 획득한 부가 서비스를 페어링 세션을 통해 영상 표시 장치(100)에 제공한다(S4321). 단말 장치(400)는 획득한 부가 서비스의 URL을 영상 표시 장치(100)에 제공할 수도 있고, 획득한 부가 서비스 데이터를 영상 표시 장치(100)에 제공할 수도 있다. 단말 장치(400)는 영상 표시 장치(100)의 능력에 해당하는 부가 서비스의 URL을 영상 표시 장치(100)에 제공할 수도 있고, 영상 표시 장치(100)의 능력에 해당하는 부가 서비스 데이터를 영상 표시 장치(100)에 제공할 수도 있다.
일 실시예에서, 단말 장치(400)는 획득한 부가 서비스의 전체를 영상 표시 장치(100)에 제공할 수 있다.
또 다른 실시예에서, 단말 장치(400)는 획득한 부가 서비스의 표시 기능을 영상 표시 장치(100)에 제공할 수 있다. 특히, 이 경우의 부가 서비스는 채팅 서비스 일 수 있다.
영상 표시 장치(100)는 단말 장치(400)가 제공한 부가 서비스를 실행한다(S4323). 만약, 단말 장치(400)가 부가 서비스의 URL을 영상 표시 장치(100)에 제공한 경우, 영상 표시 장치(100)는 URL에 기초하여 부가 서비스 데이터를 획득한 후 획득한 부가 서비스 데이터를 실행할 수 있다.
영상 표시 장치(100)는 부가 서비스 실행 결과를 포함하는 부가 서비스 실행 응답을 페어링 세션을 통해 단말 장치(400)에 전송한다(S4325). 그리고, 영상 표시 장치는 부가 서비스 상호 연동을 수행한다(S4327).
이와 같이 부가 서비스를 실행하는 영상 표시 장치(100)에 대하여 도 93을 참고하여 설명한다.
도 93은 부가 서비스를 단말 장치로부터 수신하여 실행하는 영상 표시 장치의 전면도이다.
도 93에 도시된 바와 같이, 영상 표시 장치(100)는 단말 장치(400)로부터 부가 서비스를 획득하여 화면의 일부를 통해 부가 서비스를 디스플레이할 수 있다.
다시 도 91을 설명한다.
단말 장치(400)는 부가 서비스 실행 응답의 부가 서비스 실행 결과에 기초하여 부가 서비스를 제어한다(S4329). 단말 장치(400)가 획득한 부가 서비스의 전체를 영상 표시 장치(100)에 제공할 때, 단말 장치(400)는 실행한 부가 서비스를 활성화하거나 비활성화할 수 있다. 단말 장치(400)는 획득한 부가 서비스의 표시 기능을 영상 표시 장치(100)에 제공할 때, 단말 장치(400)는 제공한 표시 기능을 활성화하거나 비활성화하거나 표시 기능의 UI를 간략화할 수 있다.
이후 단말 장치(400)와 영상 표시 장치(100)는 추가적인 장치간 상호 연동을 수행할 수 있다.
다음은 도 94과 도 95을 참조하여 본 발명의 다양한 실시예에 따른 영상 표시 장치의 구조를 설명한다.
도 94는 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 94에서, Tuner(501)는 air 채널을 통해 전송되는 8-VSB RF 신호로부터 Symbol을 추출한다.
8-VSB Demodulator(503)는 Tuner(501)가 추출한 8-VSB Symbol을 복조하여 의미 있는 디지털 데이터를 복원한다.
VSB Decoder(505)는 8-VSB Demodulator(503)가 복원한 디지털 데이터를 복호하여 ATSC 메인 서비스와 ATSC M/H 서비스를 복원한다.
MPEG-2 TP Demux(507)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet 또는 PVR Storage에 저장된 MPEG-2 Transport Packet 중에서 영상 표시 장치(100)가 처리하고자 하는 Transport Packet을 필터링하여 적절한 처리 모듈로 중계한다.
PES 디코더(539)는 MPEG-2 Transport Stream을 통하여 전송된 Packetized Elementary Stream을 Buffering하고 복원한다.
PSI/PSIP 디코더(541)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Section Data를 Buffering하고 분석한다. 분석된 PSI/PSIP 데이터는 Service Manager(미도시)에 의하여 수집되어, Service Map 및 Guide data 형태로 DB에 저장된다.
DSMCC Section Buffer/Handler (511)은 MPEG-2 TP를 통하여 전송되는 파일 전송 및 IP Datagram encapsulation 등을 위한 DSMCC Section Data를 버퍼링(Buffering)하고 처리한다.
IP/UDP Datagram Buffer/Header Parser(513)는 DSMCC Addressable section을 통해 encapsulate되어 MPEG-2 TP를 통하여 전송되는 IP Datagram을 버퍼링하고 복원하여 각 Datagram의 Header를 분석한다. 또한, IP/UDP Datagram Buffer/Header Parser(513)는 IP Datagram을 통하여 전송되는 UDP Datagram을 Buffering 및 복원하고, 복원된 UDP Header를 분석 및 처리한다.
Stream component handler(557)는 ES Buffer/Handler, PCR Handler, STC 모듈, Descrambler, CA Stream Buffer/Handler, Service Signaling Section Buffer/Handler를 포함할 수 있다.
ES Buffer/Handler는 PES 형태로 전송된 Video, Audio 데이터 등의 Elementary Stream을 Buffering 및 복원하여 적절한 A/V Decoder로 전달한다.
PCR Handler는 Audio 및 Video Stream의 Time synchronization 등을 위하여 사용되는 PCR (Program Clock Reference) Data를 처리한다.
STC 모듈은 PCR Handler를 통하여 전달받은 Reference Clock 값을 이용하여, A/V Decoder 들의 Clock 값을 보정하여 Time Synchronization를 수행한다.
수신된 IP Datagram의 Payload에 Scrambling이 적용된 경우, Descrambler는 CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
CA Stream Buffer/Handler는 MPEG-2 TS또는 IP Stream을 통하여 전송되는 Conditional Access 기능을 위하여 전송되는 EMM, ECM 등의 Descrambling을 위한 Key 값 등의 Data를 Buffering 및 처리한다. CA Stream Buffer/Handler의 Output은 Descrambler로 전달되어, descrambler는 A/V Data 및 File Data등을 전송하는 MPEG-2 TP 또는 IP Datagram의 암호화 해제작업을 수행한다.
Service Signaling Section Buffer/Handler는 IP Datagram의 형태로 전송되는 NRT Service Signaling Channel Section Data를 Buffering 하고 복원하며 분석한다. Service Manager(미도시)는 분석된 NRT Service Signaling Channel Section 데이터를 수집하여, Service Map 및 Guide data 형태로 DB에 저장한다.
A/V Decoder(561)는 ES Handler를 통하여 전달받은 Audio/Video 데이터의 압축을 복호화하여, 사용자에게 Presentation한다.
MPEG-2 Service Demux(미도시)는 MPEG-2 TP Buffer/Parser, Descrambler, PVR Storage 모듈을 포함할 수 있다.
MPEG-2 TP Buffer/Parser (미도시)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet을 Buffering 및 복원하고, Transport Packet Header를 검출 및 처리한다.
Descrambler는 MPEG-2 TP 중, Scramble이 적용된 Packet payload에 대하여, CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
PVR Storage 모듈은 사용자의 요구 등에 따라 8-VSB 신호를 이용하여 수신된 MPEG-2 TP를 저장하고, 또한 사용자의 요구에 의해 MPEG-2 TP를 출력한다. PVR Storage 모듈은 PVR Manager(미도시)에 의해 제어될 수 있다.
File Handler(551)는 ALC/LCT Buffer/Parser, FDT Handler, XML Parser, File Reconstruction Buffer, Decompressor, File Decoder, File Storage를 포함할 수 있다.
ALC/LCT Buffer/Parser는 UDP/IP Stream으로 전송되는 ALC/LCT 데이터를 Buffering 및 복원하고, ALC/LCT의 Header 및 Header extension을 분석한다. ALC/LCT Buffer/Parser는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
FDT Handler는 ALC/LCT session을 통하여 전송되는 FLUTE protocol의 File Description Table을 분석 및 처리한다. FDT Handler는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
XML Parser는 ALC/LCT session을 통하여 전송되는 XML Document를 분석하여, FDT Handler, SG Handler 등 적절한 모듈로 분석된 데이터를 전달한다.
File Reconstruction Buffer는 ALC/LCT, FLUTE session으로 전송되는 파일을 복원한다.
Decompressor는 ALC/LCT, FLUTE session으로 전송되는 파일이 압축되어 있는 경우, 그 압축을 해제하는 프로세스를 수행한다.
File Decoder는 File Reconstruction Buffer에서 복원된 File 또는 Decompressor에서 압축해제된 파일, 또는 File Storage에서 추출된 File을 Decoding한다.
File Storage는 복원된 파일을 필요에 의하여 저장하거나 추출한다.
M/W Engine(미도시)은 DSMCC Section, IP Datagram 등을 통하여 전송되는 A/V Stream이 아닌 파일 등의 Data를 처리한다. , M/W Engine은 처리된 데이터를 Presentation Manager 모듈로 전달한다.
SG Handler(미도시)는 XML Document 형태로 전송되는 Service Guide 데이터를 수집하고 분석하여 EPG Manager에게 전달하는 프로세스를 수행한다.
Service Manager(미도시)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Data, IP Stream으로 전송되는 Service Signaling Section Data를 수집하고 분석하여 Service Map을 제작한다. Service Manager(미도시)는 제작한 service map을 Service Map & Guide Database에 저장하며, 사용자가 원하는 Service에 대한 access를 제어한다. Operation Controller(미도시)에 의하여 제어되며, Tuner(501), MPEG-2 TP Demux(507), IP Datagram Buffer/Handler (513) 등에 대한 제어를 수행한다.
NRT Service Manager(미도시)는 IP layer 상에서 FLUTE session을 통하여 object/file 형태로 전송되는 NRT 서비스에 대한 전반적인 관리를 수행한다. NRT Service Manager(미도시)는 FDT Handler, File Storage등을 제어할 수 있다.
Application Manager(미도시)는 Object, file 등의 형태로 전송되는 Application 데이터의 처리에 관한 전반적인 관리를 수행한다.
UI Manager(미도시)는 User Interface를 통하여 사용자의 Input을 Operation Controller에 전달하고, 사용자가 요구하는 서비스를 위한 Process의 동작을 시작한다.
Operation Controller(미도시)는 UI Manager를 통하여 전달받은 사용자의 Command를 처리하고, 필요한 모듈의 Manager가 해당 Action을 수행하게 한다.
Fingerprint Extractor(565)는 Audio/Video 스트림으로 부터 fingerprint 특징 정보를 추출한다.
Fingerprint Comparator(567)는 Fingerprint Extractor가 추출한 특징 정보와 Reference fingerprint를 비교하여 일치하는 컨텐트를 찾는다. Fingerprint Comparator(567)는 Local에 저장된 Reference fingerprint DB를 이용할 수도 있고, 인터넷 상의 Fingerprint 질의 서버에 질의하여 결과를 수신할 수도 있다. 비교 결과로 매칭된 결과 데이터는 Application에 전달되어 이용될 수 있다.
Application(569)은 ACR 기능을 관장하는 모듈 혹은 ACR에 기반하여 Enhanced 서비스를 제공하는 어플리케이션 모듈로서, 시청중인 방송 컨텐트를 식별하여 이와 연계된 확장된 서비스를 제공한다.
도 95은 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 95에 도시된 워트마크 기반의 영상 표시 장치는 도 94에 도시된 핑거프린트 기반의 영상 표시 장치와 유사하나, 핑거프린트 기반의 영상 표시 장치의 Fingerprint Extractor(565)와 Fingerprint Comparator(567)를 포함하지 않으며, 대신 Watermark Extractor(566)를 더 포함한다.
Watermark Extractor(566)는 Audio/Video 스트림으로부터 watermark형태로 삽입된 데이터를 추출한다. 이렇게 추출된 데이터는 Application에 전달되어 이용될 수 있다.
다음은 도 96를 참조하여 본 발명의 실시예에 따른 단말 장치의 구조를 설명한다.
도 96는 본 발명의 일 실시예와 관련된 단말 장치의 블록 구성도(block diagram)이다.
상기 단말 장치(400)는 무선 통신부(410), A/V(Audio/Video) 입력부(420), 사용자 입력부(430), 센싱부(440), 출력부(450), 메모리(460), 인터페이스부(470), 제어부(480) 및 전원 공급부(490) 등을 포함할 수 있다. 도 96에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 단말 장치가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(410)는 단말 장치(400)와 무선 통신 시스템 사이 또는 단말 장치(400)와 단말 장치(400)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(410)는 방송 수신 모듈(411), 이동통신 모듈(412), 무선 인터넷 모듈(413), 근거리 통신 모듈(414) 및 위치정보 모듈(415) 등을 포함할 수 있다.
방송 수신 모듈(411)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(412)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(411)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(411)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(411)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(460)에 저장될 수 있다.
이동통신 모듈(412)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 제어부(480)는 이동통신 모듈(412)을 통해 IP 기반 네트워크와 통신할 수 있다. 또, 제어부(480)는 이동통신 모듈(412)을 통해 영상 표시 장치(100)와 통신할 수 있다.
무선 인터넷 모듈(413)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말 장치(400)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 제어부(480)는 무선 인터넷 모듈(413)을 통해 IP 기반 네트워크와 통신할 수 있다. 또, 제어부(480)는 무선 인터넷 모듈(413)을 통해 영상 표시 장치(100)와 통신할 수 있다.
근거리 통신 모듈(414)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다. 제어부(480)는 근거리 통신 모듈(414)을 통해 영상 표시 장치(100)와 통신할 수 있다.
위치정보 모듈(415)은 단말 장치의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
A/V(Audio/Video) 입력부(420)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(421)와 마이크(422) 등이 포함될 수 있다. 카메라(421)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(451)에 표시될 수 있다.
카메라(421)에서 처리된 화상 프레임은 메모리(460)에 저장되거나 무선 통신부(410)를 통하여 외부로 전송될 수 있다. 카메라(421)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(422)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(412)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(422)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(430)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(430)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(440)는 단말 장치(400)의 개폐 상태, 단말 장치(400)의 위치, 사용자 접촉 유무, 단말 장치(400)의 방위, 단말 장치(400)의 가속/감속 등과 같이 단말 장치(400)의 현 상태를 감지하여 단말 장치(400)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 단말 장치(400)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(490)의 전원 공급 여부, 인터페이스부(470)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(440)는 근접 센서(441)를 포함할 수 있다.
출력부(450)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(451), 음향 출력 모듈(452), 알람부(453), 및 햅틱 모듈(454) 등이 포함될 수 있다.
디스플레이부(451)는 단말 장치(400)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 단말 장치(400)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 단말 장치(400)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(451)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(451)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(451)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
단말 장치(400)의 구현 형태에 따라 디스플레이부(451)이 2개 이상 존재할 수 있다. 예를 들어, 단말 장치(400)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(451)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(451)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(451)의 특정 부위에 가해진 압력 또는 디스플레이부(4(451)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(480)로 전송한다. 이로써, 제어부(480)는 디스플레이부(451)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 터치스크린에 의해 감싸지는 단말 장치(400)의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(441)가 배치될 수 있다. 상기 근접 센서(441)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(441)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서(441)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(452)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(410)로부터 수신되거나 메모리(460)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(452)은 단말 장치(400)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(452)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(453)는 단말 장치(400)의 이벤트 발생을 알리기 위한 신호를 출력한다. 단말 장치(400)에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(453)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(451)나 음성 출력 모듈(452)을 통해서도 출력될 수 있어서, 그들(451, 452)은 알람부(453)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module) (454)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(454)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(454)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(454)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(454)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(454)은 휴대 단말기(400)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(460)는 제어부(480)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(460)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다. 메모리는 인증 정보를 저장하는 인증 정보 저장부를 포함할 수 있다.
메모리(460)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 단말 장치(400)는 인터넷(internet)상에서 상기 메모리(460)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(470)는 단말 장치(400)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(470)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단말 장치(400) 내부의 각 구성 요소에 전달하거나, 단말 장치(400) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(470)에 포함될 수 있다.
식별 모듈은 단말 장치(400)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identity Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(400)와 연결될 수 있다.
상기 인터페이스부는 이동단말기(400)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(400)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 480)는 통상적으로 단말 장치(400)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(480)는 앞서 설명한 다양한 부가 서비스를 실행하고, 무선 통신부(410)를 통해 페어링 절차, ACR 제어 절차, ACR 절차, 장치간 상호 연동 절차, 부가 서비스 상호 연동 절차를 수행한다. 또, 제어부(480)는 마이크 또는 스피커를 통해 영상 표시 장치(100)가 재생하는 시청각 컨텐트의 일부를 캡처할 수 있다.
제어부(480)는 멀티 미디어 재생을 위한 멀티미디어 모듈(481)을 구비할 수도 있다. 멀티미디어 모듈(481)은 제어부(480) 내에 구현될 수도 있고, 제어부(480)와 별도로 구현될 수도 있다.
상기 제어부(480)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(490)는 제어부(480)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(480)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 소프트웨어 코드는 메모리(460)에 저장되고, 제어부(480)에 의해 실행될 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 영상 표시 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (22)

  1. 단말 장치의 동작 방법에 있어서,
    상기 영상 표시 장치가 재생하는 시청각 컨텐트의 일부를 획득하는 단계;
    상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트의 컨텐츠 정보를 획득하는 단계;
    상기 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득하는 단계; 및
    상기 이용가능한 부가 서비스를 재생하는 단계를 포함하는
    단말 장치의 동작 방법.
  2. 제1항에 있어서,
    영상 표시 장치와 페어링을 수행하는 단계; 및
    상기 영상 표시 장치에 상기 이용가능한 부가 서비스를 제공하는 단계를 더 포함하는
    단말 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 영상 표시 장치에 상기 이용가능한 부가 서비스를 제공하는 단계는
    상기 이용가능한 부가 서비스의 제어 기능을 실행하는 단계와,
    상기 영상 표시 장치에 상기 이용가능한 부가 서비스의 표시 기능을 제공하는 단계를 포함하는
    단말 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 부가 서비스는 채팅 서비스, 촬영자 위치 보여주기 서비스, 컨텐츠 정보 보여주기 서비스, 다운로드 서비스 중 하나인
    단말 장치의 동작 방법.
  5. 제2항에 있어서,
    상기 영상 표시 장치가 상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있는지 여부를 상기 영상 표시 장치에 질의하는 단계를 더 포함하고,
    상기 영상 표시 장치가 재생하는 시청각 컨텐트의 일부를 획득하는 단계는,
    상기 영상 표시 장치가 상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트의 컨텐츠 정보를 획득할 수 없는 경우에, 상기 영상 표시 장치가 재생하는 시청각 컨텐트의 일부를 획득하는 단계를 더 포함하는
    단말 장치의 동작 방법.
  6. 제2항에 있어서,
    상기 영상 표시 장치에 상기 이용가능한 부가 서비스를 제공하는 단계는
    상기 영상 표시 장치에 상기 이용가능한 부가 서비스를 획득하기 위한 주소에 대한 정보를 제공하는 단계를 포함하는
    단말 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 영상 표시 장치의 능력에 대한 정보를 상기 영상 표시 장치로부터 수신하는 단계를 더 포함하고,
    상기 주소는 상기 영상 표시 장치의 능력에 해당하는 부가 서비스의 주소인
    단말 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 능력에 대한 정보는 상기 영상 표시 장치의 해상도, CPU 사양, 이용가능한 메모리 잔량 중 적어도 하나에 대한 정보를 포함하는
    단말 장치의 동작 방법.
  9. 제2항에 있어서,
    상기 페어링을 수행하는 단계는
    인증 번호 생성 요청을 상기 영상 표시 장치에 전송하는 단계;
    상기 인증 번호 생성 요청에 대한 응답으로 인증 번호 생성 결과를 상기 영상 표시 장치로부터 수신하고, 이때 상기 영상 표시 장치는 상기 단말 장치를 위하여 생성한 제1 인증 번호를 디스플레이하는 단계;
    제2 인증 번호를 포함하는 인증 요청 메시지를 상기 영상 표시 장치에 전송하는 단계;
    상기 제2 인증 번호가 상기 제1 인증 번호와 일치하는 경우에, 상기 영상 표시 장치로부터 세션 값을 수신하는 단계를 포함하는
    단말 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 인증 요청 메시지는 패스워드를 더 포함하고,
    상기 영상 표시 장치로부터 세션 값을 수신하는 단계는
    상기 인증 요청 메시지의 패스워드가 상기 영상 표시 장치의 패스워드와 일치하고, 상기 제2 인증 번호가 상기 제1 인증 번호와 일치하는 경우에, 상기 영상 표시 장치로부터 세션 값을 수신하는 단계를 포함하는
    단말 장치의 동작 방법.
  11. 제1항에 있어서,
    상기 컨텐츠 정보를 획득하는 단계는
    상기 시청각 컨텐트의 일부에 임베딩된 워터마크 정보로부터 상기 컨텐츠 정보를 획득하는 단계를 포함하는
    단말 장치의 동작 방법.
  12. 제1항에 있어서,
    상기 컨텐츠 정보를 획득하는 단계는
    상기 시청각 컨텐트의 일부의 특징 정보를 추출하는 단계와,
    상기 특징 정보를 포함하는 질의에 대한 응답을 수신하여 상기 컨텐츠 정보를 수신된 응답으로부터 획득하는 단계를 포함하는
    단말 장치의 동작 방법.
  13. 제1항에 있어서,
    상기 컨텐츠 정보를 획득하는 단계는
    상기 시청각 컨텐트의 일부로부터 로고를 추출하는 단계와,
    추출한 로고에 해당하는 접속 주소에 접속하여 컨텐츠 정보 제공 주소를 획득하는 단계와,
    상기 시청각 컨텐트의 일부의 특징 정보를 추출하는 단계와,
    상기 특징 정보를 포함하는 질의를 상기 컨텐츠 정보 제공 주소로 보내어 상기 컨텐츠 정보를 획득하는 단계를 포함하는
    단말 장치의 동작 방법.
  14. 단말 장치에 있어서,
    디스플레이부;
    카메라;
    마이크;
    인터넷 프로토콜(internet protocol, IP) 기반 네트워크와 통신하는 제1 통신부;
    상기 영상 표시 장치와 통신하는 제2 통신부; 및
    제어부를 포함하고,
    상기 제어부는 상기 영상 표시 장치가 재생하는 시청각 컨텐트의 일부를 상기 카메라 또는 상기 마이크 또는 상기 제2 통신부를 통해 획득하고, 상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트의 컨텐츠 정보를 획득하고, 상기 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 상기 제1 통신부를 통해 획득하고, 상기 이용가능한 부가 서비스를 상기 디스플레이부에 재생하는
    단말 장치.
  15. 제14항에 있어서,
    상기 제어부는 상기 제2 통신부를 통해 상기 영상 표시 장치와 페어링을 수행하고, 상기 영상 표시 장치에 상기 이용가능한 부가 서비스를 상기 제2 통신부를 통해 제공하는
    단말 장치.
  16. 제15항에 있어서,
    상기 제어부는 상기 이용가능한 부가 서비스의 제어 기능을 실행하고, 상기 영상 표시 장치에 상기 이용가능한 부가 서비스의 표시 기능을 제공하는
    단말 장치.
  17. 디스플레이부를 포함하는 영상 표시 장치의 동작 방법에 있어서,
    단말 장치와 페어링을 수행하는 단계;
    시청각 컨텐트를 획득하는 단계;
    상기 디스플레이부를 통해 상기 시청각 컨텐트를 재생하는 단계; 및
    상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트를 위한 이용가능한 부가 서비스를 획득하는 상기 단말 장치로부터, 상기 이용가능한 부가 서비스를 획득하는 단계를 포함하는
    영상 표시 장치의 동작 방법.
  18. 제17항에 있어서,
    상기 이용가능한 부가 서비스를 획득하는 단계는
    상기 단말 장치로부터 상기 이용가능한 부가 서비스의 주소를 수신하는 단계와,
    상기 주소에 기초하여 상기 이용가능한 부가 서비스를 인터넷 프로토콜(internet protocol, IP) 기반 네트워크를 통해 수신하는 단계를 포함하는
    영상 표시 장치의 동작 방법.
  19. 제17항에 있어서,
    상기 이용가능한 부가 서비스를 획득하는 단계는
    상기 이용가능한 부가 서비스의 제어 기능을 획득하는 단계를 포함하는
    영상 표시 장치의 동작 방법.
  20. 제17항에 있어서,
    상기 영상 표시 장치가 상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있는지에 대한 질의를 상기 단말 장치로부터 수신하는 단계; 및
    상기 영상 표시 장치가 상기 시청각 컨텐트의 일부에 기초하여 상기 시청각 컨텐트의 컨텐츠 정보를 획득할 수 없음을 상기 단말 장치에 통지하는 단계를 더 포함하는
    영상 표시 장치의 동작 방법.
  21. 제17항에 있어서,
    상기 페어링을 수행하는 단계는
    인증 번호 생성 요청을 상기 단말 장치로부터 수신하는 단계;
    상기 인증 번호 생성 요청에 대응하여 상기 단말 장치를 위한 제1 인증 번호를 생성하는 단계;
    인증 번호 생성 결과를 상기 단말 장치에 전송하는 단계;
    상기 제1 인증 번호를 상기 디스플레이부에 표시하는 단계;
    제2 인증 번호를 포함하는 인증 요청 메시지를 상기 단말 장치로부터 수신하는 단계;
    상기 제2 인증 번호가 상기 제1 인증 번호와 일치하는 경우에, 상기 단말 장치를 위한 세션 값을 생성하는 단계; 및
    상기 단말 장치에 상기 세션 값을 전송하는 단계를 포함하는
    영상 표시 장치의 동작 방법.
  22. 제21항에 있어서,
    상기 인증 요청 메시지는 패스워드를 더 포함하고,
    상기 세션 값을 생성하는 단계는
    상기 인증 요청 메시지의 패스워드가 상기 영상 표시 장치의 패스워드와 일치하고, 상기 제2 인증 번호가 상기 제1 인증 번호와 일치하는 경우에, 상기 세션 값을 생성하는 단계를 포함하는
    영상 표시 장치의 동작 방법.
KR1020120063968A 2011-08-21 2012-06-14 영상 표시 장치, 단말 장치 및 그 동작 방법 KR101995425B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP12826076.7A EP2745528B1 (en) 2011-08-21 2012-08-03 Video display device, terminal device, and method thereof
CA2846052A CA2846052C (en) 2011-08-21 2012-08-03 Video display device, terminal device, and method thereof
PCT/KR2012/006208 WO2013027941A1 (en) 2011-08-21 2012-08-03 Video display device, terminal device, and method thereof
CN201280045048.3A CN103814579B (zh) 2011-08-21 2012-08-03 视频显示装置、终端装置及其方法
US13/567,620 US9113188B2 (en) 2011-08-21 2012-08-06 Video display device, terminal device, and method thereof
US14/554,687 US9948972B2 (en) 2011-08-21 2014-11-26 Video display device, terminal device, and method thereof
US14/790,952 US9723349B2 (en) 2011-08-21 2015-07-02 Video display device, terminal device, and method thereof

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201161525835P 2011-08-21 2011-08-21
US61/525,835 2011-08-21
US201161543288P 2011-10-04 2011-10-04
US61/543,288 2011-10-04
US201161549236P 2011-10-20 2011-10-20
US61/549,236 2011-10-20

Publications (2)

Publication Number Publication Date
KR20130020873A true KR20130020873A (ko) 2013-03-04
KR101995425B1 KR101995425B1 (ko) 2019-07-02

Family

ID=48174005

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020120063969A KR101893151B1 (ko) 2011-08-21 2012-06-14 영상 표시 장치, 단말 장치 및 그 동작 방법
KR1020120063968A KR101995425B1 (ko) 2011-08-21 2012-06-14 영상 표시 장치, 단말 장치 및 그 동작 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020120063969A KR101893151B1 (ko) 2011-08-21 2012-06-14 영상 표시 장치, 단말 장치 및 그 동작 방법

Country Status (6)

Country Link
US (8) US8990845B2 (ko)
EP (2) EP2745528B1 (ko)
KR (2) KR101893151B1 (ko)
CN (2) CN103814579B (ko)
CA (2) CA2846060C (ko)
WO (2) WO2013027941A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101667603B1 (ko) * 2015-05-06 2016-10-19 경희대학교 산학협력단 방송 채널별 채팅 제공 방법, 시스템 및 채팅 서버

Families Citing this family (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR101540797B1 (ko) * 2009-03-12 2015-07-30 삼성전자 주식회사 무선 통신 기기의 연결 방법 및 이를 이용한 무선 통신 기기
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9210208B2 (en) * 2011-06-21 2015-12-08 The Nielsen Company (Us), Llc Monitoring streaming media content
KR101893151B1 (ko) 2011-08-21 2018-08-30 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US9015785B2 (en) * 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
WO2013085263A1 (ko) * 2011-12-08 2013-06-13 엘지전자 주식회사 네트워크 tv 및 네트워크 tv 동작 방법
EP2798836A4 (en) * 2011-12-31 2015-08-05 Intel Corp CONTROL SYSTEM BASED ON CONTENT
US8918804B2 (en) 2012-02-07 2014-12-23 Turner Broadcasting System, Inc. Method and system for a reward program based on automatic content recognition
WO2013119082A1 (ko) * 2012-02-10 2013-08-15 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
CN102710992B (zh) * 2012-03-22 2015-07-29 华为技术有限公司 一种互动消息展示方法、装置及系统
CN103609132B (zh) * 2012-04-19 2019-05-10 索尼公司 接收设备、接收方法、发送设备、发送方法和存储介质
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8944313B2 (en) * 2012-06-29 2015-02-03 Honeywell International Inc. Computer configured to display multimedia content
US9883247B2 (en) * 2012-08-13 2018-01-30 Saturn Licensing Llc Reception apparatus, reception method, transmission apparatus, and transmission method
US9788055B2 (en) 2012-09-19 2017-10-10 Google Inc. Identification and presentation of internet-accessible content associated with currently playing television programs
US9866899B2 (en) * 2012-09-19 2018-01-09 Google Llc Two way control of a set top box
RU2634837C2 (ru) * 2012-11-23 2017-11-07 Сони Корпорейшн Устройство обработки информации и способ обработки информации
US8914832B2 (en) * 2012-12-14 2014-12-16 Sony Corporation Information processing apparatus, information processing method, and program
US9288509B2 (en) 2012-12-28 2016-03-15 Turner Broadcasting System, Inc. Method and system for providing synchronized advertisements and services
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US9602848B2 (en) * 2013-03-04 2017-03-21 Comcast Cable Communications, Llc Optimized content delivery
KR102097640B1 (ko) * 2013-03-08 2020-04-06 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US8878997B2 (en) 2013-03-11 2014-11-04 Sony Corporation Electronic displays having paired canvases
US9258597B1 (en) 2013-03-13 2016-02-09 Google Inc. System and method for obtaining information relating to video images
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9955231B2 (en) * 2013-03-14 2018-04-24 DISH Technologies L.L.C. Relevant video content pushed to a mobile phone
US9203813B2 (en) * 2013-03-15 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Content distribution method, content distribution system, source device, and sink device
US9705728B2 (en) 2013-03-15 2017-07-11 Google Inc. Methods, systems, and media for media transmission and management
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
TWI514861B (zh) * 2013-04-19 2015-12-21 Chih Yao Lin 影音播放媒體之廣告方法
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US20150002743A1 (en) * 2013-07-01 2015-01-01 Mediatek Inc. Video data displaying system and video data displaying method
US20150019653A1 (en) * 2013-07-15 2015-01-15 Civolution B.V. Method and system for adding an identifier
EP3026922B1 (en) 2013-07-26 2021-01-06 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
EP3029944B1 (en) 2013-07-30 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
EP3043571A4 (en) * 2013-09-04 2016-08-17 Panasonic Ip Man Co Ltd VIDEO RECEIVING DEVICE, VIDEO RECOGNITION METHOD, AND ADDITIONAL INFORMATION DISPLAY SYSTEM
JP6281125B2 (ja) 2013-09-04 2018-02-21 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6418162B2 (ja) * 2013-09-30 2018-11-07 ソニー株式会社 受信装置および受信方法
US11055721B2 (en) * 2013-10-30 2021-07-06 Tencent Technology (Shenzhen) Company Limited Method, device and system for information verification
CN103616860B (zh) 2013-11-08 2017-02-15 海信集团有限公司 一种远程控制家电设备的方法和装置
CN105794220A (zh) * 2013-11-13 2016-07-20 Lg电子株式会社 管理通过网络连接的在广播接收设备和另一个设备之间的连接的方法和装置
KR20150069760A (ko) * 2013-12-16 2015-06-24 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9491522B1 (en) 2013-12-31 2016-11-08 Google Inc. Methods, systems, and media for presenting supplemental content relating to media content on a content interface based on state information that indicates a subsequent visit to the content interface
US10002191B2 (en) 2013-12-31 2018-06-19 Google Llc Methods, systems, and media for generating search results based on contextual information
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US11012747B2 (en) * 2014-01-07 2021-05-18 Sony Corporation Controlling an operation of an application based on application information table
JP6400715B2 (ja) * 2014-01-14 2018-10-03 エルジー エレクトロニクス インコーポレイティド ネットワークにより連結された放送受信デバイスと他のデバイス間の連結を管理する方法及び装置
US9621963B2 (en) 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
CN103888817B (zh) 2014-03-24 2018-02-27 青岛海信移动通信技术股份有限公司 一种将文件上传到智能电视和播放文件的方法及设备
CN105144735A (zh) 2014-03-26 2015-12-09 松下知识产权经营株式会社 影像接收装置、影像识别方法以及附加信息显示系统
EP3125567B1 (en) 2014-03-26 2019-09-04 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
CN105100906A (zh) * 2014-04-17 2015-11-25 海信集团有限公司 一种播放控制方法和设备
CN105100832A (zh) 2014-04-24 2015-11-25 海信集团有限公司 一种多媒体资源的推送方法及装置
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US10582255B2 (en) 2014-06-30 2020-03-03 Lg Electronics Inc. Broadcast receiving device, method of operating broadcast receiving device, linking device for linking to broadcast receiving device, and method of operating linking device
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
WO2016006884A1 (ko) * 2014-07-09 2016-01-14 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
KR101594874B1 (ko) 2014-07-16 2016-02-17 삼성전자주식회사 전자 장치, 외부 장치 및 전자 장치의 외부 장치 전원 제어방법
WO2016009637A1 (ja) 2014-07-17 2016-01-21 パナソニックＩｐマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
WO2016028052A2 (ko) * 2014-08-20 2016-02-25 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6432047B2 (ja) 2014-08-21 2018-12-05 パナソニックＩｐマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
KR102077237B1 (ko) 2014-09-17 2020-02-13 삼성전자주식회사 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템
WO2016060410A1 (ko) 2014-10-14 2016-04-21 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016068342A1 (en) * 2014-10-30 2016-05-06 Sharp Kabushiki Kaisha Media playback communication
KR102199568B1 (ko) * 2014-11-10 2021-01-07 엘지전자 주식회사 전자 장치 및 그 동작 방법
EP3054694A1 (en) * 2015-02-04 2016-08-10 Iddeando Business Consulting, S.L. Device, server and system for interacting with broadcasting media content
KR102019493B1 (ko) * 2015-02-09 2019-09-06 삼성전자주식회사 디스플레이 장치 및 그 정보 제공 방법
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10204104B2 (en) * 2015-04-14 2019-02-12 Google Llc Methods, systems, and media for processing queries relating to presented media content
US20170078765A1 (en) * 2015-04-23 2017-03-16 Lg Electronics Inc. Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3322195A4 (en) * 2015-07-06 2019-03-06 LG Electronics Inc. BROADCAST SIGNAL DEVICE, BROADCAST SIGNAL RECEIVER, BROADCAST SENDING METHOD AND BROADCAST SIGNAL RECEPTION PROCEDURE
WO2017014553A1 (ko) * 2015-07-21 2017-01-26 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US9913056B2 (en) 2015-08-06 2018-03-06 Dolby Laboratories Licensing Corporation System and method to enhance speakers connected to devices with microphones
US10791381B2 (en) * 2015-08-17 2020-09-29 Saturn Licensing Llc Receiving apparatus, transmitting apparatus, and data processing method
US9578351B1 (en) * 2015-08-28 2017-02-21 Accenture Global Services Limited Generating visualizations for display along with video content
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9723347B2 (en) * 2015-10-01 2017-08-01 Sorenson Media, Inc Frequency capping for media content
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
FR3046515B1 (fr) * 2015-12-30 2018-02-16 Viaccess Procede et dispositif de traitement de flux multimedia pour verification des droits d'acces
KR101811719B1 (ko) * 2016-02-11 2017-12-22 삼성전자주식회사 컨텐트를 제공하는 디바이스를 제어하는 방법, 그 디바이스 및 서버
US10848798B2 (en) 2016-06-01 2020-11-24 Lg Electronics Inc. Broadcast signal transmission and reception device and method
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10271093B1 (en) * 2016-06-27 2019-04-23 Amazon Technologies, Inc. Systems and methods for routing content to an associated output device
US20180007428A1 (en) * 2016-06-29 2018-01-04 Intel Corporation Wireless display implementation of applications
US10079871B2 (en) * 2016-10-10 2018-09-18 Google Llc Customizing media items for playback on alternative playback devices paired with a user device
CN108377576B (zh) * 2016-11-14 2020-09-29 展讯通信（上海）有限公司 一种多通路终端的来电应答方法及装置
CN108184143B (zh) * 2016-12-08 2020-12-11 腾讯科技（深圳）有限公司 获取资源的方法及装置
US10701438B2 (en) 2016-12-31 2020-06-30 Turner Broadcasting System, Inc. Automatic content recognition and verification in a broadcast chain
KR102664418B1 (ko) * 2017-01-11 2024-05-09 삼성전자주식회사 디스플레이 장치 및 그의 서비스 제공 방법
WO2018131875A1 (en) * 2017-01-11 2018-07-19 Samsung Electronics Co., Ltd. Display apparatus and method for providing service thereof
US11665758B2 (en) 2017-05-01 2023-05-30 Axon Enterprise, Inc. Systems and methods for dynamic pairing of electronic devices
US10912132B2 (en) * 2017-05-01 2021-02-02 Axon Enterprise, Inc. Systems and methods for dynamic pairing of electronic devices
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
CN108322805B (zh) * 2018-02-05 2020-07-17 青岛海信传媒网络技术有限公司 一种hbbtv显示的处理方法及装置
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
CN108419132B (zh) * 2018-04-16 2021-04-13 海信视像科技股份有限公司 HbbTV应用控制方法及装置、HbbTV终端
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10623800B2 (en) * 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
CN108900875A (zh) * 2018-07-27 2018-11-27 北京感动无限科技有限公司 用于播放内容应用的部署方法及装置
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
WO2020062179A1 (zh) * 2018-09-29 2020-04-02 Oppo广东移动通信有限公司 数据传输方法、通信设备及计算机可读存储介质
US11638059B2 (en) * 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US20200275168A1 (en) 2019-02-22 2020-08-27 The Nielsen Company (Us), Llc Use of Watermarking to Trigger Fingerprint-Related Action
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11451865B1 (en) * 2019-04-11 2022-09-20 CUE Audio, LLC Relay of audio and/or video steganography to improve second screen experiences
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2020263621A1 (en) * 2019-06-24 2020-12-30 The Nielsen Company (Us), Llc Use of watermarking to trigger fingerprint-related action
GB2589894B (en) * 2019-12-11 2022-11-02 VML Labs Ltd A method for distributing personalised video content across a network
EP4090033A4 (en) * 2020-01-07 2023-09-27 LG Electronics Inc. DISPLAY DEVICE AND REMOTE CONTROL TO CONTROL IT
US11647178B2 (en) * 2020-02-07 2023-05-09 Sony Corporation Digital television rendering verification
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
JP2021180477A (ja) * 2020-05-12 2021-11-18 パナソニックＩｐマネジメント株式会社 映像出力装置、映像表示装置、映像表示システムとそのためのペアリング方法
CN111612873B (zh) * 2020-05-29 2023-07-14 维沃移动通信有限公司 Gif图片生成方法、装置及电子设备
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN114071050A (zh) * 2020-07-29 2022-02-18 北京字节跳动网络技术有限公司 一种基于视频的互动方法、装置、电子设备及介质
EP4200792A1 (en) 2020-08-21 2023-06-28 Mobeus Industries, Inc. Integrating overlaid digital content into displayed data via graphics processing circuitry
CN113225571B (zh) * 2021-03-25 2022-10-04 海南车智易通信息技术有限公司 一种直播封面的处理系统、方法及计算设备
US11481933B1 (en) 2021-04-08 2022-10-25 Mobeus Industries, Inc. Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
US20220351425A1 (en) * 2021-04-30 2022-11-03 Mobeus Industries, Inc. Integrating overlaid digital content into data via processing circuitry using an audio buffer
US11475610B1 (en) 2021-04-30 2022-10-18 Mobeus Industries, Inc. Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
US11682101B2 (en) 2021-04-30 2023-06-20 Mobeus Industries, Inc. Overlaying displayed digital content transmitted over a communication network via graphics processing circuitry using a frame buffer
US11483156B1 (en) 2021-04-30 2022-10-25 Mobeus Industries, Inc. Integrating digital content into displayed data on an application layer via processing circuitry of a server
US11586835B2 (en) 2021-04-30 2023-02-21 Mobeus Industries, Inc. Integrating overlaid textual digital content into displayed data via graphics processing circuitry using a frame buffer
US11477020B1 (en) 2021-04-30 2022-10-18 Mobeus Industries, Inc. Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
US11601276B2 (en) 2021-04-30 2023-03-07 Mobeus Industries, Inc. Integrating and detecting visual data security token in displayed data via graphics processing circuitry using a frame buffer
US11562153B1 (en) 2021-07-16 2023-01-24 Mobeus Industries, Inc. Systems and methods for recognizability of objects in a multi-layer display

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020162120A1 (en) * 2001-04-25 2002-10-31 Slade Mitchell Apparatus and method to provide supplemental content from an interactive television system to a remote device

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122403A (en) * 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
CN101359350B (zh) * 1995-02-13 2012-10-03 英特特拉斯特技术公司 用于安全地管理在数据项上的操作的方法
US6829368B2 (en) 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US5831664A (en) * 1995-12-15 1998-11-03 Mediaone Group, Inc. Method and system for synchronizing data between at least one mobile interface device and an interactive terminal
WO2001001677A1 (en) * 1999-06-28 2001-01-04 United Video Properties, Inc. Interactive television program guide system and method with niche hubs
US7631338B2 (en) 2000-02-02 2009-12-08 Wink Communications, Inc. Interactive content delivery methods and apparatus
EP1254563A2 (en) 2000-02-04 2002-11-06 Intel Corporation Displaying enhanced content information on a remote control unit
US7698727B2 (en) * 2000-06-30 2010-04-13 Jlb Ventures Llc Method and apparatus for notifying users of interactive functions using a remote device
EP1340377A2 (en) * 2000-10-15 2003-09-03 Digital Networks North America, Inc. Method and system for dynamic ad placement
US20030007662A1 (en) 2001-07-03 2003-01-09 Koninklijke Philips Electronics N.V. Enhanced watermark computing method
EP1298926B1 (en) * 2001-09-10 2007-02-28 Telefonaktiebolaget LM Ericsson (publ) Information presentation device and method
US20030066091A1 (en) * 2001-10-03 2003-04-03 Koninklijke Philips Electronics N.V. Business models, methods, and apparatus for unlocking value-added services on the broadcast receivers
US7813954B1 (en) * 2001-12-14 2010-10-12 Keen Personal Media, Inc. Audiovisual system and method for displaying segmented advertisements tailored to the characteristic viewing preferences of a user
US20030188322A1 (en) * 2002-03-28 2003-10-02 General Instrument Corporation Method and system for remotely displaying television program content using streaming video
JP3823929B2 (ja) * 2002-05-17 2006-09-20 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツ配信装置、コンテンツ配信方法、並びにコンピュータ・プログラム
JP2004171105A (ja) 2002-11-18 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 広告効果解析方法及び広告システム
JP2004328109A (ja) * 2003-04-22 2004-11-18 Matsushita Electric Ind Co Ltd 情報回収配信システム
US7668939B2 (en) * 2003-12-19 2010-02-23 Microsoft Corporation Routing of resource information in a network
JP2006005897A (ja) * 2004-05-19 2006-01-05 Dowango:Kk 端末装置、コンテンツ配信システム、情報出力方法、情報出力プログラム
CN1930871B (zh) * 2004-06-02 2015-03-04 松下电器产业株式会社 便携式终端装置
US20080010664A1 (en) * 2004-08-30 2008-01-10 Maurizio Pelizza Method and System for Providing Interactive Services in Digital Television
CN102665112B (zh) * 2004-11-19 2015-08-19 Tivo股份有限公司 用于多媒体内容的安全传输和回放的方法和设备
US8923835B2 (en) * 2004-11-22 2014-12-30 The Invention Science Fund I, Llc Bring call here selectively
US7451078B2 (en) * 2004-12-30 2008-11-11 All Media Guide, Llc Methods and apparatus for identifying media objects
CN101107853A (zh) * 2005-01-25 2008-01-16 松下电器产业株式会社 信息分发装置及信息分发方法
US20070022437A1 (en) * 2005-07-19 2007-01-25 David Gerken Methods and apparatus for providing content and services coordinated with television content
US7344084B2 (en) * 2005-09-19 2008-03-18 Sony Corporation Portable video programs
GB2435367A (en) * 2006-02-15 2007-08-22 Intime Media Ltd User interacting with events in a broadcast audio stream, such a a quizz, by comparing patterns in the stream to a stored signature.
US8195650B2 (en) * 2007-02-28 2012-06-05 Samsung Electronics Co., Ltd. Method and system for providing information using a supplementary device
JP2008085515A (ja) * 2006-09-27 2008-04-10 Hitachi Ltd コンテンツ受信端末システム及びコンテンツ受信端末装置
US8418206B2 (en) 2007-03-22 2013-04-09 United Video Properties, Inc. User defined rules for assigning destinations of content
US7870026B2 (en) * 2007-06-08 2011-01-11 Yahoo! Inc. Selecting and displaying advertisement in a personal media space
US8661464B2 (en) * 2007-06-27 2014-02-25 Google Inc. Targeting in-video advertising
US10580459B2 (en) * 2007-08-23 2020-03-03 Sony Interactive Entertainment America Llc Dynamic media interaction using time-based metadata
US7987478B2 (en) 2007-08-28 2011-07-26 Sony Ericsson Mobile Communications Ab Methods, devices, and computer program products for providing unobtrusive video advertising content
WO2009035691A2 (en) 2007-09-11 2009-03-19 Realnetworks, Inc. Apparatus, system and methods for controlling the presentation of media content
WO2009042858A1 (en) * 2007-09-28 2009-04-02 Gracenote, Inc. Synthesizing a presentation of a multimedia event
US7831207B2 (en) * 2007-10-01 2010-11-09 Cisco Technology, Inc. Flash pairing between bluetooth devices
US20090113481A1 (en) * 2007-10-24 2009-04-30 At&T Intellectual Property I, L.P. Systems, methods and computer program products for providing presence based services
WO2009073895A1 (en) * 2007-12-07 2009-06-11 Verimatrix, Inc. Systems and methods for performing semantic analysis of media objects
US8154523B2 (en) 2007-12-13 2012-04-10 Eastman Kodak Company Electronic device, display and touch-sensitive user interface
KR20090069689A (ko) * 2007-12-26 2009-07-01 엘지전자 주식회사 서비스 가이드 정보 처리 방법 및 서비스 가이드 정보 처리장치
CN101472159A (zh) * 2007-12-29 2009-07-01 东方有线网络有限公司 一种基于互动电视平台的实现信息服务的系统和方法
JP2009267954A (ja) * 2008-04-28 2009-11-12 Victor Co Of Japan Ltd 出力装置および出力方法
US8745502B2 (en) * 2008-05-28 2014-06-03 Snibbe Interactive, Inc. System and method for interfacing interactive systems with social networks and media playback devices
US20090294538A1 (en) * 2008-05-28 2009-12-03 Sony Ericsson Mobile Communications Ab Embedded tags in a media signal
US8225124B2 (en) 2008-07-30 2012-07-17 Symbol Technologies, Inc. Method and system for determining power over ethernet class capabilities
JP2012500585A (ja) * 2008-08-18 2012-01-05 アイファロ メディア ゲーエムベーハー 補足情報配信
US8613026B2 (en) * 2008-09-10 2013-12-17 Qualcomm Incorporated Methods and systems for viewer interactivity and social networking in a mobile TV broadcast network
US8108887B2 (en) * 2008-10-30 2012-01-31 The Nielsen Company (Us), Llc Methods and apparatus for identifying media content using temporal signal characteristics
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US9800837B2 (en) 2008-12-31 2017-10-24 Echostar Technologies L.L.C. Virtual control device
JP2012517188A (ja) 2009-02-05 2012-07-26 ディジマーク コーポレイション テレビベースの広告と携帯電話向けｔｖウィジェットの配信
US8813127B2 (en) * 2009-05-19 2014-08-19 Microsoft Corporation Media content retrieval system and personal virtual channel
US8799496B2 (en) * 2009-07-21 2014-08-05 Eloy Technology, Llc System and method for video display transfer between video playback devices
JP2011085865A (ja) * 2009-10-19 2011-04-28 Kddi Corp 広告情報配信システム
WO2011053271A1 (en) * 2009-10-29 2011-05-05 Thomson Licensing Multiple-screen interactive screen architecture
US9066154B2 (en) * 2009-11-13 2015-06-23 Triveni Digital, Inc. System and method for enhanced television and delivery of enhanced television content
US9386075B2 (en) * 2009-12-08 2016-07-05 At&T Intellectual Property I, L.P. Flexible download destination
WO2011084950A2 (en) * 2010-01-05 2011-07-14 Rovi Technologies Corporation Systems and methods for providing media guidance application functionality using a wireless communications device
US9858593B2 (en) * 2010-04-09 2018-01-02 Go Daddy Operating Company, LLC URL shortening based online advertising
US8763060B2 (en) 2010-07-11 2014-06-24 Apple Inc. System and method for delivering companion content
WO2012009825A1 (en) * 2010-07-20 2012-01-26 Thomson Broadband R&D (Beijing) Co., Ltd. Method for content presentation during trick mode operations
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
US20120117511A1 (en) * 2010-11-09 2012-05-10 Sony Corporation Method and apparatus for providing an external menu display
US20120151532A1 (en) * 2010-12-09 2012-06-14 General Instrument Corporation Sdv quick tune algorithm
US8555327B2 (en) * 2011-03-28 2013-10-08 Google Inc. Broadcasting links to enhanced content
US8806540B2 (en) * 2011-05-10 2014-08-12 Verizon Patent And Licensing Inc. Interactive media content presentation systems and methods
US8996557B2 (en) * 2011-05-18 2015-03-31 Microsoft Technology Licensing, Llc Query and matching for content recognition
US20120324504A1 (en) * 2011-06-14 2012-12-20 United Video Properties, Inc. Systems and methods for providing parental controls in a cloud-based media guidance application
CA2843382C (en) 2011-08-05 2020-10-27 Sony Corporation Receiving device, receiving method, program, and information processing system
KR101893151B1 (ko) 2011-08-21 2018-08-30 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US9025739B2 (en) * 2011-10-20 2015-05-05 At&T Intellectual Property I, L.P. System and method for visual voice mail in a multi-screen environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020162120A1 (en) * 2001-04-25 2002-10-31 Slade Mitchell Apparatus and method to provide supplemental content from an interactive television system to a remote device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101667603B1 (ko) * 2015-05-06 2016-10-19 경희대학교 산학협력단 방송 채널별 채팅 제공 방법, 시스템 및 채팅 서버

Also Published As

Publication number Publication date
US20130047178A1 (en) 2013-02-21
EP2745525B1 (en) 2017-05-03
CN103814579B (zh) 2018-07-24
CN103828382A (zh) 2014-05-28
US9723349B2 (en) 2017-08-01
US20190373302A1 (en) 2019-12-05
US9948972B2 (en) 2018-04-17
US8990845B2 (en) 2015-03-24
US20150082336A1 (en) 2015-03-19
US10432995B2 (en) 2019-10-01
CA2846052A1 (en) 2013-02-28
KR101995425B1 (ko) 2019-07-02
CA2846060A1 (en) 2013-02-28
CA2846052C (en) 2017-11-28
US20150121416A1 (en) 2015-04-30
EP2745528A4 (en) 2015-04-08
US9113188B2 (en) 2015-08-18
EP2745528B1 (en) 2018-10-10
US20150156532A1 (en) 2015-06-04
EP2745525A4 (en) 2015-08-12
US9942592B2 (en) 2018-04-10
EP2745528A1 (en) 2014-06-25
EP2745525A1 (en) 2014-06-25
CN103814579A (zh) 2014-05-21
WO2013027941A1 (en) 2013-02-28
US20150382043A1 (en) 2015-12-31
KR20130020874A (ko) 2013-03-04
US20130047180A1 (en) 2013-02-21
WO2013027942A1 (en) 2013-02-28
CN103828382B (zh) 2017-09-05
KR101893151B1 (ko) 2018-08-30
US20190082209A1 (en) 2019-03-14
CA2846060C (en) 2018-01-02

Similar Documents

Publication Publication Date Title
KR101893151B1 (ko) 영상 표시 장치, 단말 장치 및 그 동작 방법
KR101960314B1 (ko) 영상 표시 장치 및 그 제어 방법
US20190082212A1 (en) Method for receiving enhanced service and display apparatus thereof
CA2814196C (en) Video display device and method of controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant