KR20130083457A - 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 - Google Patents
부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 Download PDFInfo
- Publication number
- KR20130083457A KR20130083457A KR1020137013223A KR20137013223A KR20130083457A KR 20130083457 A KR20130083457 A KR 20130083457A KR 1020137013223 A KR1020137013223 A KR 1020137013223A KR 20137013223 A KR20137013223 A KR 20137013223A KR 20130083457 A KR20130083457 A KR 20130083457A
- Authority
- KR
- South Korea
- Prior art keywords
- content
- information
- server
- display device
- additional service
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 124
- 238000005070 sampling Methods 0.000 claims description 66
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 abstract description 48
- 230000000875 corresponding effect Effects 0.000 description 80
- 238000010586 diagram Methods 0.000 description 57
- 238000003860 storage Methods 0.000 description 38
- 230000004044 response Effects 0.000 description 33
- 239000000872 buffer Substances 0.000 description 23
- 230000006870 function Effects 0.000 description 20
- 238000007726 management method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 239000008186 active pharmaceutical agent Substances 0.000 description 16
- 238000009826 distribution Methods 0.000 description 11
- 230000011664 signaling Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010367 cloning Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
- H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
Abstract
본 발명은 영상 표시 장치에서 부가 서비스를 수신하는 방법에 관한 것으로, 그 방법은 시청각 컨텐트(AV content)를 수신하는 단계; 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계; 추출된 제1 특징 정보를 제1 서버로 전송하여 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 제1 서버로부터 수신하는 단계; 제1 서버로부터 수신되는 데이터베이스를 메모리에 저장하는 단계; 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 데이터베이스에서 검색하여 획득하는 단계를 포함한다.
Description
본 발명은 영상 표시 장치에서 부가 서비스를 수신하는 방법에 관한 것이다.
디지털 방송이 활성화됨에 따라, 방송국은 메인 시청각 컨텐트를 송출하면서, 이 메인 시청각 컨텐트와 연계하여 이용할 수 있거나 이 메인 시청각 컨텐트와는 독립적인 부가 서비스 데이터(enhanced service data)를 함께 송출한다.
그러나 현재의 방송 환경에서는 각 가정의 영상 표시 장치가 방송 신호를 공중파를 통해 직접 수신하는 경우가 적다. 오히려, 각 가정의 영상 표시 장치는 셋톱박스와 같은 방송 수신 장치에 연결되어 있어서, 이 방송 수신 장치가 제공하는 비압축 시청각 컨텐트를 재생하는 경우가 많다.
한편, 방송 수신 장치는 멀티채널 비디오 분배자(multichannel video programming distributor, MVPD)라고 불리는 서버로부터 컨텐츠를 제공받는다. 이 멀티채널 비디오 분배자는 방송국으로부터 방송 신호를 수신하고 수신한 방송 신호로부터 컨텐츠를 추출한 후, 자신이 송출하기에 적합한 형태의 신호로 변환하여 변환된 신호를 방송 수신 장치에 제공한다. 이 과정에서, 멀티채널 비디오 분배자는 추출한 부가 서비스 데이터를 제외할 수도 있고, 또 다른 부가 서비스 데이터를 추가할 수도 있기 때문에, 방송국은 시청각 컨텐츠를 제공하는 역할만 수행할 뿐 방송국 주도의 부가 서비스를 제공할 수 없다.
방송 수신 장치 또한 멀티채널 비디오 분배자로부터 수신한 신호로부터 메인 시청각 데이터를 추출하여 비압축 시청각 데이터만을 영상 표시 장치에게 제공하므로, 방송 수신 장치 통제하의 부가 서비스만이 이용가능할 뿐, 영상 표시 장치 통제하의 부가 서비스는 이루어 질 수 없다. 이는 더더욱 방송국이 자기 주도의 부가 서비스를 제공할 수 없게 한다.
뿐만 아니라, 방송국이 무선 채널을 통해 부가 서비스를 제공하더라도, 대역폭의 한계로 충분한 부가 서비스를 제공할 수 없다.
본 발명은 방송국 주도의 부가 서비스를 가능하게 하는 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치를 제공하기 위한 것이다.
본 발명의 일실시예에 따른 부가 서비스 수신 방법은, 시청각 컨텐트(AV content)를 수신하는 단계; 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계; 상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 상기 제1 서버로부터 수신하는 단계; 상기 제1 서버로부터 수신되는 데이터베이스를 메모리에 저장하는 단계; 상기 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및 상기 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 상기 데이터베이스에서 검색하여 획득하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 부가 서비스 수신 방법은, 시청각 컨텐트를 수신하는 단계; 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계; 상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 단계; 상기 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및 상기 추출된 제2 특징 정보를 상기 제1 서버로부터 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여, 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 부가 서비스 수신 방법은, 시청각 컨텐트를 수신하는 단계; 서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택하는 단계; 및 상기 선택된 컨텐트 인식 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하여, 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 부가 서비스 수신 방법은, 시청각 컨텐트로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하는 단계; 상기 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하여 샘플을 획득하는 단계: 및 상기 획득된 샘플을 서버로 전송하여, 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신하는 단계를 포함한다.
본 발명의 일실시예에 따른 영상 표시 장치는, 시청각 컨텐트(AV content)를 수신하는 수신부; 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 특징추출부; 상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 상기 제1 서버로부터 수신하는 데이터 송수신부; 및 상기 제1 서버로부터 수신되는 데이터베이스를 저장하는 메모리를 포함하고, 상기 시청각 컨텐트로부터 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나는 상기 데이터베이스를 검색하여 획득된다.
본 발명의 다른 실시예에 따른 영상 표시 장치는, 시청각 컨텐트를 수신하는 수신부; 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 특징추출부; 및 상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 데이터 송수신부를 포함하고, 상기 데이터 송수신부는 상기 시청각 컨텐트로부터 추출된 제2 특징 정보를 상기 제1 서버로부터 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여, 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신한다.
본 발명의 또 다른 실시예에 따른 영상 표시 장치는, 시청각 컨텐트(AV content)를 수신하는 수신부; 서로 상이한 컨텐트 인식 방법을 지원하는 복수의 컨텐트 인식 모듈들; 상기 컨텐트 인식 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택하는 제어부; 및 상기 선택된 컨텐트 인식 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하여, 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 데이터 송수신부를 포함한다.
본 발명의 또 다른 실시예에 따른 영상 표시 장치는, 시청각 컨텐트(AV content)로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하는 파라미터설정부; 시청각 컨텐트를 수신하는 수신부; 상기 설정된 파라미터에 따라 상기 수신되는 시청각 컨텐트를 샘플링하여 샘플을 획득하는 샘플링부: 및 상기 획득된 샘플을 서버로 전송하여, 상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신하는 데이터 송수신부를 포함한다.
본 발명의 실시예는 방송국 주도의 서비스를 가능하게 한다. 특히, 본 발명의 실시예는 방송국 주도의 대체 광고 서비스, 장면 연관 정보 제공 서비스, 등급 기반 컨텐츠 제공 서비스, 사용자 특성 기반 서비스를 가능하게 한다.
본 발명의 일실시예에 따르면, 현재 재생되는 시청각 컨텐트와 연관된 컨텐츠 정보로 구성된 데이터베이스를 영상 표시 장치 또는 서버 내에 생성하여, 컨텐트 인식 속도를 향상시키고, 네트워크 대역폭을 효율적으로 사용할 수 있다.
본 발명의 다른 실시예에 따르면, 영상 표시 장치에 구비된 복수의 컨텐트 인식 모듈들을 우선 순위에 따라 선택하여 컨텐트를 인식함으로써, 다양한 컨텐트 인식 방식들을 효과적으로 지원할 수 있다.
본 발명의 또 다른 실시예에 따르면, 서버와 미리 협상된 샘플링 파라미터에 따라 시청각 컨텐트를 샘플링해 서버로 전송하여, 다양한 컨텐트 인식 방식들에 따른 시청각 컨텐트를 효율적으로 인식할 수 있다.
또한, 본 발명의 다양한 실시예는 리모콘을 통한 불편한 텍스트 입력 없이도 메인 시청각 컨텐트와 관련된 정보 검색, 채팅, 뉴스 검색, 디지털 미디어 다운로드, 제품 카탈로그 다운로드 및 제품 구입을 가능하게 한다.
뿐만 아니라, 본 발명의 일실시예는 무선 채널의 대역폭의 한계를 넘는 부가 서비스를 가능하게 한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
도 53은 본 발명에 따른 부가 서비스 수신 방법에 대한 제1 실시예를 나타내는 흐름도이다.
도 54 내지 도 57은 내부 데이터베이스를 구비하는 영상 표시 장치의 구성에 대한 실시예들을 나타내는 블록도들이다.
도 58은 본 발명에 따른 부가 서비스 수신 방법에 대한 제2 실시예를 나타내는 흐름도이다.
도 59는 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제1 실시예를 설명하기 위한 블록도이다.
도 60 및 도 61은 새로운 데이터베이스를 서버 내에 생성하는 방법을 설명하기 위한 도면들이다.
도 62는 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제2 실시예를 설명하기 위한 블록도이다.
도 63은 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제3 실시예를 설명하기 위한 블록도이다.
도 64 및 도 65는 복수의 컨텐트 인식 모듈들을 구비하는 영상 표시 장치의 동작을 설명하기 위한 블록도들이다.
도 66은 본 발명에 따른 부가 서비스 수신 방법에 대한 제3 실시예를 나타내는 흐름도이다.
도 67은 본 발명에 따른 부가 서비스 수신 방법에 대한 제4 실시예를 나타내는 흐름도이다.
도 68 및 도 69는 비디오 샘플의 샘플링 영역에 대한 실시예들을 나타내는 도면들이다.
도 70은 샘플링 파라미터를 설정하는 방법에 대한 제1 실시예를 나타내는 래더 다이어그램이다.
도 71 내지 도 74는 상기 파라미터 설정 과정에서 영상 표시 장치와 서버 사이에 교환되는 파라미터 값들에 대한 실시예들을 나타내는 도면들이다.
도 75는 샘플링 파라미터를 설정하는 방법에 대한 제2 실시예를 나타내는 래더 다이어그램이다.
도 76은 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하는 영상 표시 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 77은 영상 표시 장치로부터 수신되는 샘플을 이용해 컨텐츠를 식별하는 서버의 구성에 대한 일실시예를 나타내는 블록도이다.
도 78은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 79는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
도 53은 본 발명에 따른 부가 서비스 수신 방법에 대한 제1 실시예를 나타내는 흐름도이다.
도 54 내지 도 57은 내부 데이터베이스를 구비하는 영상 표시 장치의 구성에 대한 실시예들을 나타내는 블록도들이다.
도 58은 본 발명에 따른 부가 서비스 수신 방법에 대한 제2 실시예를 나타내는 흐름도이다.
도 59는 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제1 실시예를 설명하기 위한 블록도이다.
도 60 및 도 61은 새로운 데이터베이스를 서버 내에 생성하는 방법을 설명하기 위한 도면들이다.
도 62는 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제2 실시예를 설명하기 위한 블록도이다.
도 63은 영상 표시 장치와 핑거플린트 서버 사이의 동작에 대한 제3 실시예를 설명하기 위한 블록도이다.
도 64 및 도 65는 복수의 컨텐트 인식 모듈들을 구비하는 영상 표시 장치의 동작을 설명하기 위한 블록도들이다.
도 66은 본 발명에 따른 부가 서비스 수신 방법에 대한 제3 실시예를 나타내는 흐름도이다.
도 67은 본 발명에 따른 부가 서비스 수신 방법에 대한 제4 실시예를 나타내는 흐름도이다.
도 68 및 도 69는 비디오 샘플의 샘플링 영역에 대한 실시예들을 나타내는 도면들이다.
도 70은 샘플링 파라미터를 설정하는 방법에 대한 제1 실시예를 나타내는 래더 다이어그램이다.
도 71 내지 도 74는 상기 파라미터 설정 과정에서 영상 표시 장치와 서버 사이에 교환되는 파라미터 값들에 대한 실시예들을 나타내는 도면들이다.
도 75는 샘플링 파라미터를 설정하는 방법에 대한 제2 실시예를 나타내는 래더 다이어그램이다.
도 76은 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하는 영상 표시 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 77은 영상 표시 장치로부터 수신되는 샘플을 이용해 컨텐츠를 식별하는 서버의 구성에 대한 일실시예를 나타내는 블록도이다.
도 78은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 79는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "엔진", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
다음은 도 1 내지 도 9를 참고하여 본 발명의 일 실시예에 따른 네트워크 토폴로지를 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60), 네트워크(70), 영상 표시 장치(100)를 포함한다.
컨텐츠 제공 서버(10)는 방송국 등에 해당할 수 있으며, 메인 시청각 컨텐트(main audio-visual content)를 포함하는 방송 신호를 방송한다. 방송 신호는 부가 서비스를 더 포함할 수 있다. 부가 서비스는 메인 시청각 컨텐트와 관련이 있을 수도 있고, 관련이 없을 수도 있다. 부가 서비스는 서비스 정보(service information), 메타데이터(metadata), 부가 데이터, 컴파일된 실행 파일, 웹 애플리케이션, HTML(Hypertext Markup Language) 문서, XML 문서, CSS(cascading style sheet) 문서, 오디오 파일, 비디오 파일, ATSC 2.0 컨텐트, URL(Uniform Resource Locator)과 같은 주소 등의 형태를 가질 수 있다. 하나 이상의 컨텐츠 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 영상 표시 장치(100)가 메인 시청각 컨텐트에 기초하여 컨텐트를 인식할 수 있게 하는 컨텐트 인식 서비스를 제공한다. 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 수정을 가할 수도 있고 수정을 가하지 않을 수도 있다. 하나 이상의 컨텐츠 인식 서비스 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하는 워터마크 서버일 수 있다. 이 워터마크 서버는 메인 시청각 컨텐트의 각 프레임의 왼쪽 상단 또는 오른쪽 상단에 컨텐츠 제공자의 로고를 워터마크할 수 있다.
또, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하는 워터마크 서버일 수 있다.
또한, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트의 일부의 프레임 또는 일부의 오디오 샘플로부터 특징 정보를 추출하여 저장하는 핑거프린트 서버일 수 있다. 이 특징 정보는 시그너처라고도 불린다.
멀티채널 비디오 분배 서버(30)는 복수의 방송국으로부터 방송 신호를 수신하고 다중화하여 다중화된 신호를 방송 수신 장치(60)에 제공한다. 특히, 멀티채널 비디오 분배 서버(30)는 수신한 방송 신호에 대해 복조와 채널 복호화를 수행하여 메인 시청각 컨텐트와 부가 서비스를 추출한 후, 추출된 메인 시청각 컨텐트와 추출한 부가 서비스에 대해 채널 부호화를 수행하여 분배를 위한 다중화 신호를 생성할 수 있다. 이때, 멀티채널 비디오 분배 서버(30)는 추출한 부가 서비스를 제외할 수도 있고, 또 다른 부가 서비스를 추가할 수도 있기 때문에, 방송국은 방송국 주도의 서비스를 제공할 수 없다. 하나 이상의 멀티채널 비디오 분배 서버가 존재할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고, 튜팅한 채널의 신호를 수신하고, 수신한 신호에 대해 복조와 채널 복호를 수행하여 메인 시청각 컨텐트를 추출한다. 그리고 방송 수신 장치(60)는 추출한 메인 시청각 컨텐트를 H.264/MPEG-4 AVC(Moving Picture Experts Group-4 advanced video coding), Dolby AC-3, MPEG-2 AAC (Moving Picture Experts Group-2 Advanced Audio Coding) 알고리즘 등을 이용하여 복호하여 비압축 메인 시청각 컨텐트(uncompressed main AV content)를 생성한다. 방송 수신 장치(60)는 생성한 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)의 외부 입력 포트 등을 통해 영상 표시 장치(100)에 제공한다.
부가 서비스 정보 제공 서버(40)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐트와 관련된 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 제공한다. 하나 이상의 부가 서비스 주소 제공 서버가 존재할 수 있다. 부가 서비스 정보 제공 서버(40)는 복수의 이용가능한 부가 서비스 중에서 가장 우선순위가 높은 부가 서비스를 위한 부가 서비스 정보를 제공할 수도 있다.
부가 서비스 제공 서버(50)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공한다. 하나 이상의 부가 서비스 제공 서버가 존재할 수 있다.
영상 표시 장치(100)는 텔레비전, 노트북, 핸드폰, 스마트폰 등과 같이 디스플레이부를 장치일 수 있다. 영상 표시 장치(100)는 방송 수신 장치(60)로부터 비압축 메인 시청각 컨텐트를 수신할 수도 있고, 컨텐츠 제공 서버(10) 또는 멀티채널 비디오 분배 서버(30)로부터 부호화된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신할 수 도 있다. 영상 표시 장치(100)는 네트워크(70)를 통해 컨텐츠 인식 서비스 제공 서버(20)로부터 컨텐츠 인식 서비스를 제공받을 수 있고, 네트워크(70)를 통해 부가 서비스 정보 제공 서버(40)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스의 주소를 받을 수 있으며, 부가 서비스 제공 서버(50)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공받을 수 있다.
컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50) 중 2 이상은 하나의 서버의 형태로 결합될 수도 있고, 한 사업자에 의해 운영될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)를 더 포함한다.
도 2에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 삽입한다. 멀티채널 비디오 분배 서버(30)는 변형된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신하여 분배한다. 특히, 워터마크 서버는 이하에서 설명하는 바와 같은 디지털 워터마킹 기술을 이용할 수 있다.
디지털 워터마크는 삭제하기 어려운 방법으로 디지털 신호에 정보를 삽입하는 프로세스이다. 예를 들면, 디지털 신호는 오디오, 사진, 또는 비디오일 수 있다. 이 디지털 신호가 복사되면, 삽입된 정보 또한 복사본에 담아진다. 한 디지털 신호가 동시에 다른 여러 개의 워터마크를 운반할 수 있다.
보이는 워터마킹(visible watermarking)에서, 삽입되는 정보는 사진 또는 비디오에서 눈으로 식별가능하다. 전형적으로, 삽입된 정보는 미디어의 소유자를 식별하는 텍스트 또는 로고이다. 텔레비전 방송국이 자신의 로고를 전송되는 비디오의 코너에 추가하면, 이것이 눈으로 식별가능한 워터마크이다.
눈으로 식별 불가능한 워터마킹(invisible watermarking)에서, 정보는 디지털 데이터로서 오디오, 사진, 또는 비디오에 추가되지만, 일정 량의 정보가 숨겨져 있다는 사실은 감지할 수 있다하더라도 그러한 정보는 인지할 수는 없다. 이러한 눈으로 식별불가능한 워터마킹을 통해 비밀 메시지가 전달될 수도 있다.
워터마킹의 한 응용은 디지털 미디어의 불법 복제를 막기 위한 저작권 보호 시스템에 있다. 예컨데, 복제 장치는 디지털 미디어의 복제 전에 디지털 미디어로부터 워터마크를 얻고, 워터마크의 내용에 기초하여 복제를 할지 말지를 결정할 수 있다.
워터마킹의 또 다른 응용은 디지털 미디어의 출처 추적에 있다. 배포 경로 상의 각 지점에서 워터마크가 디지털 미디어에 임베딩된다. 나중에 이와 같은 디지털 미디어가 발견된다면, 이 디지털 미디어로부터 워터마크가 추출될 수 있고, 워터마크의 내용으로부터 배포의 출처를 파악할 수 있다.
디지털 미디어에 대한 설명이 눈으로 식별불가능한 워터마킹의 또 다른 응용이다.
디지털 미디어를 위한 파일 포멧이 메타데이터라고 불리는 추가적인 정보를 포함할 수 있는데, 디지털 워터마크는 디지털 미디어의 시청각 신호 자체로 전달된다는 점에서 메타데이터와는 구별된다.
워터마킹 방법으로 스프레드 스펙트럼, 양자화, 앰플리튜드 변조가 있다.
마킹되는 신호가 추가적인 수정에 의해 얻어진다면, 워터마킹 방법은 스프레드 스펙트럼에 해당한다. 스프레드 스펙트럼 워터마크는 꽤 강인하다고 알려져 있지만, 워터마크가 임베딩되는 호스트 신호에 간섭을 주기 때문에 많은 정보가 실리지는 않는다.
마킹되는 신호가 양자화에 의해 얻어진다면, 워터마킹 방법은 양자화 타입에 해당한다. 양자화 워터마크는 강인성은 낮지만, 꽤 많은 정보를 실을 수 있다.
마킹되는 신호가 공간 도메인에서 스프레드 스펙트럼과 유사한 추가 수정 방법으로 얻어진다면, 워터마킹 방법은 앰플리튜드 변조에 해당한다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S101).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S103).
보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 워터마크 용도는 무단 복제 방지, 시청률 조사, 부가 서비스 획득 중 하나를 나타낼 수 있다.
컨텐츠 정보는 메인 시청각 컨텐트를 제공하는 컨텐츠 제공자의 식별 정보, 메인 시청각 컨텐트 식별 정보, 메인 시청각 컨텐트 등급 정보, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보, 메인 시청각 컨텐트가 방송되는 채널의 이름, 메인 시청각 컨텐트가 방송되는 채널의 로고, 메인 시청각 컨텐트가 방송되는 채널의 설명, 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간, 메인 시청각 컨텐트와 관련하여 이용가능한 부가 서비스 정보 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 워터마크를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 이용된 워터마크가 내삽(embedding)된 컨텐트 구간의 시간 정보일 수 있다. 영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 핑거프린트를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 특징 정보가 추출된 컨텐트 구간의 시간 정보일 수 있다. 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시작 시간, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 지속 시간(duration), 컨텐츠 정보 획득에 사용된 컨텐트 구간의 종료 시간 중 하나 이상을 포함할 수 있다.
이용 정보 보고 주소는 메인 시청각 컨텐트 시청 정보 보고 주소, 부가 서비스 이용 정보 보고 주소 중 하나 이상을 포함할 수 있다. 이용 정보 보고 주기는 메인 시청각 컨텐트 시청 정보 보고 주기, 부가 서비스 이용 정보 보고 주기 중 하나 이상을 포함할 수 있다. 이용 정보 획득을 위한 최소 이용 시간은 메인 시청각 컨텐트 시청 정보 획득을 위한 최소 시청 시간, 부가 서비스 이용 정보 추출을 위한 최소 사용 시간 중 하나 이상을 포함할 수 있다.
메인 시청각 컨텐트가 최소 시청 시간 이상 시청된 경우에 기초하여 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 정보를 획득하고, 메인 시청각 컨텐트 시청 정보 보고 주기에서 메인 시청각 컨텐트 시청 정보 보고 주소로 추출한 시청 정보를 보고할 수 있다.
부가 서비스가 최소 사용 시간 이상 사용된 경우에 기초하여 영상 표시 장치(100)는 부가 서비스 이용 정보를 획득하고, 부가 서비스 이용 정보 보고 주기에서 부가 서비스 이용 정보 보고 주소로 추출한 이용 정보를 보고할 수 있다.
부가 서비스 정보는 부가 서비스가 존재하는지에 대한 정보, 부가 서비스 주소 제공 서버 주소, 각각의 이용가능한 부가 서비스의 획득 경로, 각각의 이용가능한 부가 서비스를 위한 주소, 각각의 이용가능한 부가 서비스의 시작 시간, 각각의 이용가능한 부가 서비스의 종료 시간, 각각의 이용가능한 부가 서비스의 수명 주기(lifetime), 각각의 이용가능한 부가 서비스의 획득 모드, 각각의 이용가능한 부가 서비스 위한 요청 주기, 각각의 이용가능한 부가 서비스의 우선 순위 정보, 각각의 이용가능한 부가 서비스의 설명, 각각의 이용가능한 부가 서비스의 항목(category), 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간 중 하나 이상을 포함할 수 있다.
이용가능한 부가 서비스의 획득 경로는 IP 또는 ATSC M/H(Advanced Television Systems Committee - Mobile/Handheld)를 나타낼 수 있다. 이용가능한 부가 서비스의 획득 경로가 ATSC M/H인 경우에, 부가 서비스 정보는 주파수 정보, 채널 정보를 더 포함할 수 있다. 각각의 이용가능한 부가 서비스의 획득 모드는 Push 또는 Pull을 나타낼 수 있다.
한편, 워터마크 서버(21)는 메인 시청각 컨텐트의 로고에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입할 수 있다.
예컨데, 워터마크 서버(21)는 로고의 일정 위치에 바코드를 삽입할 수 있다. 이때 로고의 일정 위치는 로고가 디스플레이되는 구역의 하단 1 라인에 해당할 수 있다. 영상 표시 장치(100)는 이와 같이 바코드가 삽입된 로고를 포함하는 메인 시청각 컨텐트를 수신하는 경우에, 바코드를 디스플레이하지 않을 수 있다.
또한, 워터마크 서버(21)는 로고의 메타데이터 형태로 워터마크 정보를 삽입할 수 있다. 이때 로고의 형상은 유지될 수 있다.
또한, 워터마크 서버(21)는 M개의 프레임의 로고의 각각에 N 비트의 워터마크 정보를 삽입할 수 있다. 즉, 워터마크 서버(21)는 M개의 프레임을 통해 M*N개의 워터마크 정보를 삽입할 수 있다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S105). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S106).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S107).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 방송 신호를 전송할 수도 있다(S108).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S109).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S111). 이 제1 응답은 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
워터마크 정보와 제1 응답이 부가 서비스 주소를 포함하고 있지 않다면, 영상 표시 장치(100)는 부가 서비스을 획득할 수 없다. 그러나 워터마크 정보와 제1 응답이 부가 서비스 주소 제공 서버 주소를 포함할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보와 제1 응답을 통해 부가 서비스 주소나 부가 서비스를 획득하지 못하였고 부가 서비스 주소 제공 서버 주소를 획득하였다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S119).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S121).
영상 표시 장치(100)는 워터마크 정보, 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S123), 부가 서비스를 획득한다(S125).
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 4에 도시된 바와 같이, 방송 수신 장치(60)가 턴온되고 채널을 튜닝하고, 영상 표시 장치(100)가 외부 입력 포트(111)를 통해 방송 수신 장치(60)로부터 튜팅된 채널의 메인 시청각 컨텐트를 수신하면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 제공자 식별자(또는 방송국 식별자)를 감지할 수 있다. 이후, 영상 표시 장치(100)는 감지한 컨텐츠 제공자 식별자에 기초하여 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 정보를 감지할 수 있다.
이때, 도 4에 도시된 바와 같이, 컨텐츠 제공자 식별자의 감지가능 주기와 컨텐츠 정보의 감지가능 주기는 다를 수 있다. 특히, 컨텐츠 제공자 식별자의 감지가능 주기는 컨텐츠 정보의 감지가능 주기보다 짧을 수 있다. 이를 통해, 영상 표시 장치(100)는 필요한 정보만을 감지하기 위한 효율적인 구성을 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 핑거프린트 서버(22)를 더 포함한다.
도 5에 도시된 바와 같은 핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S201).
핑거프린트 서버(22)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트의 복수의 프레임 구간 또는 복수의 오디오 구간으로부터 복수의 특징 정보를 추출하며, 복수의 특징 정보에 각각 대응하는 복수의 질의 결과를 위한 데이터베이스를 구축한다(S203). 질의 결과는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
MVPD(30)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S205). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S206).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S207).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S208).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S213).
영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송한다(S215).
핑거프린트 서버(22)는 제1 질의에 대한 제1 응답으로서 질의 결과를 제공한다(S217). 만약 제1 응답이 실패에 해당한다면, 영상 표시 장치(100)는 또 다른 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송할 수 있다.
핑거프린트 서버(22)는 질의 결과로서 XML (Extensible Markup Language) 문서를 제공할 수 있다. 질의 결과를 담는 XML 문서의 예를 도 7과 표 1을 참고하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 7에 도시된 바와 같이, 질의 결과를 담는 ACR-Resulttype은 ResultCode 속성과 ContentID, NTPTimestamp, SignalingChannelInformation, ServiceInformation 엘리먼트를 갖는다.
예컨데, ResultCode 속성이 200의 값을 가지면, 이는 질의 결과가 성공임을 의미할 수 있다. ResultCode 속성이 404의 값을 가지면, 이는 질의 결과가 실패임을 의미할 수 있다.
SignalingChannelInformation 엘리먼트는 SignalingChannelURL 엘리먼트를 갖고, SignalingChannelURL 엘리먼트는 UpdateMode, PollingCycle 속성을 갖는다. UpdateMode 속성은 Pull 값 또는 Push 값을 가질 수 있다.
ServiceInformation 엘리먼트는 ServiceName, ServiceLogo, ServiceDescription 엘리먼트를 갖는다.
표 1은 이와 같은 질의 결과를 담는 ACR-ResultType의 XML Schema를 보여준다.
ContentID 엘리먼트로서, 아래의 표 2에서 보여주는 바와 같은 ATSC 컨텐트 식별자(ATSC content identifier)가 이용될 수 있다.
표 2에서 보여지는 바와 같이, ATSC content identifier는 TSID와 하우스 번호로 구성된 구조를 가진다.
16 비트 부호없는 정수 TSID는 트랜스포트 스트림 식별자(transport stream identifier)를 담는다(carry).
5 비트 부호 없는 정수 end_of_day는 방송이 끝나서 content_id 값이 재사용될 수 있는 날의 시(hour)로 셋팅된다.
9 비트 부호 없는 정수 unique_for는 content_id 값이 재사용될 수 없는 날의 수(the number of day)로 설정된다.
content_id는 컨텐트 식별자를 나타낸다. 영상 표시 장치(100)는 매일 end_of_day에 해당하는 시간에서 unique_for를 1씩 감소시키고, unique_for가 0이 되지 않았다면 content_id가 유일한 것이라고 간주할 수 있다.
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC-M/H service를 위한 글로벌 서비스 식별자(Global Service Identifier)가 이용될 수 있다.
글로벌 서비스 식별자는 다음과 같은 폼을 갖는다.
- urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 "0"이다. <serviceid> 는 <major>나 <minor>로 정의된다. <major> 는 메이저 채널 번호(Major Channel number)를 나타내고, <minor> 마이너 채널 번호(Minor Channel Number)를 나타낸다.
글로벌 서비스 식별자의 예는 아래와 같다.
- urn:oma:bcast:iauth:atsc:service:us:1234:5.1
- urn:oma:bcast:iauth:atsc:service:us:0:100.200
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC 컨텐트 식별자가 이용될 수 있다.
ATSC 컨텐트 식별자는 다음과 같은 폼을 갖는다.
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, "."<serviceid>가 뒤따를 수 있다. 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 <serviceid>이다. <content_id> 는 표 2에 정의되어 있는 content_id field의 base64 부호이고, <unique_for> 는 표 2에 정의되어 있는 unique_for field의 십진수 부호이며, <end_of_day> 는 표 2에 정의되어 있는 end_of_day field의 십진수 부호이다.
이하에서는 다시 도 6을 설명한다.
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S219).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S221).
영상 표시 장치(100)는 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S223), 부가 서비스를 획득한다(S225).
UpdateMode 속성이 Pull 값을 가지는 경우, 영상 표시 장치(100)는 SignalingChannelURL을 통해 HTTP request를 부가서비스 제공 서버(50)에 전송하여 이에 대한 응답으로 PSIP 바이너리 스트림을 포함하는 HTTP response를 부가서비스 제공 서버(50)로부터 수신한다. 이 경우 영상 표시 장치(100)는 PollingCycle 속성으로 지정되는 Polling 주기에 따라 HTTP request를 전송할 수 있다. 또한, SignalingChannelURL 엘리먼트는 업데이트 시간 속성을 가질 수도 있다. 이 경우, 영상 표시 장치(100)는 업데이트 시간 속성으로 지정되는 업데이트 시간에서 HTTP request를 전송할 수 있다.
UpdateMode 속성이 Push 값을 가지는 경우, 영상 표시 장치(100)는 XMLHTTPRequest API 를 활용하여 비동기적으로 서버로부터 업데이트를 수신할 수 있다. 영상 표시 장치(100)가 서버로 XMLHTTPRequest object를 통해 비동기적인 request를 한 후에 서버가 시그널링 정보에 변경이 있을 경우에 이 채널을 통해 response로 시그널링 정보를 제공하는 방안이다. 세션의 대기 시간에 제한이 있을 경우에는 session timeout respond를 발생시키고, 바로 수신기는 이를 인지하여 재요청하여서 수신기와 서버간의 시그널링 채널을 항시 유지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)와 핑거프린트 서버(22)를 더 포함한다.
도 8에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 컨텐츠 제공자 식별 정보를 삽입한다. 워터마크 서버(21)는 로고와 같이 보이는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있고, 보이지 않는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있다.
핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S301).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S303). 보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S305). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S306).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S307).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S308).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S309).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S311). 이 제1 응답은 핑거프린트 서버 주소, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
워터마크 정보와 제1 응답이 핑거프린트 서버 주소를 포함하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S313).
영상 표시 장치(100)는 제1 응답 내의 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제2 질의를 전송한다(S315).
핑거프린트 서버(22)는 제2 질의에 대한 제2 응답으로서 질의 결과를 제공한다(S317).
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제3 질의를 전송한다(S319).
부가 서비스 정보 제공 서버(40)는 제3 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제3 질의에 대한 제3 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S321).
영상 표시 장치(100)는 제1 응답, 제2 응답, 또는 제3 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S323), 부가 서비스를 획득한다(S325).
다음은 도 10 및 도 18를 참고하여, 본 발명의 실시예에 따른 영상 표시 장치(100)를 설명한다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 표시 장치(100)는 방송 신호 수신부(101), 복조부(103), 채널 복호부(105), 역다중화부(107), 시청각 복호부(109), 외부 입력 포트(111), 재생 제어부(113), 재생 장치(120), 부가 서비스 관리부(130), 데이터 송수신부(141), 메모리(150)를 포함한다.
방송 신호 수신부(101)는 컨텐츠 제공 서버(10) 또는 MVPD(30)로부터 방송 신호를 수신한다.
복조부(103)는 수신한 방송 신호를 복조하여 복조된 신호를 생성한다.
채널 복호부(105)는 복조된 신호를 채널 복호하여 채널 복호된 데이터를 생성한다.
역다중화부(107)는 채널 복호된 데이터로부터 메인 시청각 컨텐트와 부가 서비스를 분리한다. 분리된 부가 서비스는 부가 서비스 저장부(152)에 저장된다.
시청각 복호부(109)는 분리된 메인 시청각 컨텐트를 시청각 복호(AV decoding)하여 비압축 메인 시청각 컨텐트를 생성한다.
한편, 외부 입력 포트(111)는 방송 수신 장치(60), 디브이디(digital versatile disk, DVD) 플레이어, 블루레이 디스크 (Blu-ray disc) 플레이어 등으로부터 비압축 메인 시청각 컨텐트를 수신한다. 외부 입력 포트(111)는 DSUB 포트, HDMI (High Definition Multimedia Interface) 포트, DVI (Digital Visual Interface) 포트, 컴포지트(composite) 포트, 컴포넌트(component) 포트, S-Video 포트 중 하나 이상을 포함할 수 있다.
재생 제어부(113)는 시청각 복호부(109)가 생성하는 비압축 메인 시청각 컨텐트 또는 외부 입력 포트(111)로부터 수신한 비압축 메인 시청각 컨텐트 중 적어도 하나를 사용자 선택에 의해 재생 장치(120)에 재생한다.
재생 장치(120)는 디스플레이부(121)와 스피커(123)를 포함한다. 디스플레이부(121)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보를 획득하고, 획득된 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득한다. 특히, 앞서 설명한 바와 같이 부가 서비스 관리부(130)는 비압축 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플에 기초하여 메인 시청각 컨텐트의 식별 정보를 획득할 수 있는데, 본 명세서에서는 이를 자동 컨텐츠 인식(automatic contents recognition, ACR)이라 칭하기도 한다.
데이터 송수신부(141)는 ATSC-M/H (Advanced Television Systems Committee - Mobile/Handheld) 채널 송수신부(141a)와 IP 송수신부(141b)를 포함할 수 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 표시 장치(100)는 인터넷(internet)상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(150)는 컨텐츠 정보 저장부(151), 부가 서비스 저장부(152), 로고 저장부(153), 설정 정보 저장부(154), 북마크 저장부(155), 사용자 정보 저장부(156), 이용 정보 저장부(157)를 포함할 수 있다.
컨텐츠 정보 저장부(151)는 복수의 특징 정보에 대응하는 복수의 컨텐츠 정보를 저장한다.
부가 서비스 저장부(152)는 복수의 특징 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있고, 복수의 컨텐츠 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있다.
로고 저장부(153)는 복수의 로고를 저장한다. 또, 로고 저장부는 이 복수의 로고에 대응하는 컨텐츠 제공자 식별자 또는 복수의 로고에 대응하는 워터마크 서버 주소를 더 저장할 수도 있다.
설정 정보 저장부(154)는 ACR을 위한 설정 정보를 저장한다.
북마크 저장부(155)는 북마크를 저장한다.
사용자 정보 저장부(156)는 사용자 정보를 저장한다. 사용자 정보는 하나 이상의 서비스를 위한 하나 이상의 계정 정보, 지역 정보, 가족 구성원 정보, 선호 장르 정보, 영상 표시 장치 정보, 이용 정보 제공 범위 중 하나 이상을 포함할 수 있다. 하나 이상의 계정 정보는 이용 정보 측정 서버를 위한 계정 정보, 트위터(twitter), 페이스북(facebook)과 같은 소셜 네트워크 서비스(social network service)의 계정 정보를 포함할 수 있다. 지역 정보는 주소 정보, 우편 번호를 포함할 수 있다. 가족 구성원 정보는 가족 구성원의 수, 각 구성원의 나이, 각 구성원의 성별, 각 구성원의 종교, 각 구성원의 직업 등을 포함할 수 있다. 선호 장르 정보는 스포츠, 영화, 드라마, 교육, 뉴스, 오락, 기타 장르 중에서 하나 이상으로 설정될 수 있다. 영상 표시 장치 정보는 영상 표시 장치의 종류, 제조사, 펌웨어 버전, 해상도, 모델명, OS, 브라우저, 저장 장치 유무, 저장 장치의 용량, 네트워크 속도에 대한 정보를 포함할 수 있다. 이용 정보 제공 범위가 설정되면, 영상 표시 장치(100)는 설정된 범위 내에서 메인 시청각 컨텐트 시청 정보와 부가 서비스 이용 정보를 수집하고 보고할 수 있다. 이용 정보 제공 범위는 가상 채널 각각에 대해 설정될 수 있다. 또한, 이용 정보 측정 허용 범위는 물리 채널 전체에 대해 설정될 수도 있다.
이용 정보 저장부(157)는 영상 표시 장치(100)에 의해 수집되는 메인 시청각 컨텐트 시청 정보와 부가 서비스 사용 정보를 저장한다. 또한, 영상 표시 장치(100)는 수집한 메인 시청각 컨텐트 시청 정보와 수집한 부가 서비스 사용 정보에 기초하여 서비스 이용 패턴을 분석하고, 분석된 서비스 이용 패턴을 이용 정보 저장부(157)에 저장할 수 있다.
부가 서비스 관리부(130)는 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 컨텐츠 정보 저장부(151)에 추출한 특징 정보에 해당하는 컨텐츠 정보가 없거나 충분한 컨텐츠 정보가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 컨텐츠 정보를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 컨텐츠 정보를 업데이트할 수 있다.
부가 서비스 관리부(130)는 부가 서비스 제공 서버(50) 또는 부가 서비스 저장부(153)로부터 이용가능한 부가 서비스를 획득할 수 있다. 부가 서비스 저장부(153)에 부가 서비스가 없거나 충분한 부가 서비스가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 부가 서비스를 업데이트할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 부가 서비스를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 로고를 추출하고, 로고 저장부(155)에 질의하여 추출한 로고에 대응하는 컨텐츠 제공자 식별자 또는 워터마크 서버 주소를 획득할 수 있다. 로고 저장부(155)에 추출한 로고와 일치하는 로고가 없거나 충분한 로고가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 로고를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 로고를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 추출한 로고와 로고 저장부(155) 내의 복수의 로고와의 비교를 수행하는데 연산의 부담을 줄이기 위한 다양한 방법을 수행할 수 있다.
예컨데, 부가 서비스 관리부(130)는 색깔 특성에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 색깔 특성과 로고 저장부(155) 내의 로고의 색깔 특성을 비교하여 일치 여부를 판단할 수 있다.
또, 부가 서비스 관리부(130)는 문자 인식에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고로부터 인식되는 문자와 로고 저장부(155) 내의 로고로부터 인식되는 문자를 비교하여 일치 여부를 판단할 수 있다.
뿐만 아니라, 부가 서비스 관리부(130)는 로고의 윤곽에 대한 형상에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 윤곽 형상과 로고 저장부(155) 내의 로고의 윤곽 형상을 비교하여 일치 여부를 판단할 수 있다.
이하에서는 도 11 및 도 18을 참고하여 본 발명의 다양한 실시예에 따른 부가 서비스 관리부(130)를 설명한다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 11에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131a), 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(ACR platform application program interface)(135a), 하나 이상의 ACR 엔진(136a), ACR 데몬(ACR daemon)(137a), ACR 미들웨어(138a), 하나 이상의 ACR 애플리케이션(139a)를 포함한다.
도 11에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 애플리케이션 스토어에 접속하여 애플리케이션을 다운로드할 수 있다.
오디오 드라이버(132a)는 오디오 핑거프린트 또는 오디오 워터마크를 위하여 사용되는 오디오 버퍼에 접근할 수 있다.
비디오 드라이버(133a)는 비디오 핑거프린트 또는 비디오 워터마크를 위하여 사용되는 비디오 버퍼에 접근할 수 있다.
네트워크 드라이버(134a)는 ACR 엔진(136a)이 데이터 송수신부(141)에 접근할 수 있도록 한다.
ACR 플랫폼 API(135a)는 ACR 엔진(136a)이 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a)에 접근할 수 있는 API를 제공한다.
복수의 방송국 또는 컨텐츠 제공자는 서로 다른 컨텐츠 인식 서비스를 이용할 수 있으므로, 영상 표시 장치(100)는 복수의 ACR 엔진(136a)을 탑재할 수 있다. 즉, 영상 표시 장치(100)는 복수의 비디오 워터마크 추출 알고리즘, 복수의 오디오 워트마크 추출 알고리즘, 복수의 비디오 시그너처 추출 알고리즘, 복수의 오디오 시그너처 추출 알고리즘 중 하나 이상을 위한 ACR 엔진을 포함할 수 있다. 워터마크 기반의 ACR 엔진(136a)은 워터마크 정보를 추출하여, 추출한 워터마크 정보로부터 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다. 핑거프린트 기반의 ACR 엔진(136a)은 메인 시청각 컨텐트의 일부 구간의 특징 정보를 추출하여, 추출한 특징 정보에 기초하여 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다.
ACR 데몬(ACR daemon)(137a)은 하나 이상의 ACR 엔진(136a)를 관리한다. 데몬(daemon)은 주기적인 서비스 요청을 처리하기 위해 계속 실행되는 을 말한다. 데몬은 수집된 요구들을 또 다른 프로그램이나 들이 처리할 수 있도록 적절히 전달한다. ACR 데몬(137a)은 ACR 엔진(136a)의 실행 및 종료를 관리할 수 있다. ACR 데몬(137a)은 복수의 ACR 엔진(136a) 중에서 현재의 메인 시청각 컨텐트에 매칭되는 ACR 엔진을 탐색한다. 특히, 여러 개의 ACR 엔진이 실행되어 시스템 자원이 많이 소모되는 경우에, ACR 데몬(137a)은 특정 규칙 또는 우선순위에 따라 복수의 ACR 엔진(136a)을 하나씩 순차적으로 실행시켜서 컨텐츠 인식 성공 여부를 확인할 수 있다. 또한, 복수의 ACR 엔진(136a) 중 하나가 컨텐츠 인식에 성공한 경우에, ACR 데몬(137a)은 인식된 컨텐츠를 위한 부가 서비스에 해당하는 ACR 애플리케이션(139a)을 획득하고 실행시킬 수 있다. ACR 엔진(136a)이 컨텐츠 인식을 성공적으로 수행중에, 채널 변경 등으로 더 이상 컨텐츠를 인식할 수 없다면, ACR 데몬(137a)은 ACR 애플리케이션(139a)을 종료시킬 수 있다.
ACR 미들웨어(138a)는 하나 이상의 ACR 애플리케이션(139a)을 위한 브라우저 역할을 수행한다.
ACR 애플리케이션(139a)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139a)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139a)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다. ACR 애플리케이션(139a)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136a)과 상호 작용하면서 ACR 엔진(136a)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다. 이를 위하여 ACR 애플리케이션(139a)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 3과 같다.
도 12은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)가 선택되면, ACR 데몬(137a)은 하나 이상의 ACR 엔진(136a)을 통해서 튜닝된 채널에서 방송되는 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S401).
이후, ACR 데몬(137a)은 컨텐츠 정보와 관련된 이용가능한 부가 서비스를 획득한다(S403).
ACR 데몬(137a)은 획득한 부가 서비스를 백그라운드에서 실행한다(S405).
ACR 데몬(137a)은 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S407).
ACR 데몬(137a)이 부가 서비스의 이용을 수신하면, ACR 데몬(137a)은 백그라운드에서 실행이 되었던 부가 서비스를 재생 장치(120)에 재생한다(S409).
채널이 변경되거나 메인 시청각 컨텐트가 변경되면, ACR 데몬(137a)은 하나 이상의 ACR 엔진(136a)을 통해서 변경을 인식하고, 부가 서비스를 종료한다(S411).
도 13은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 13에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131b), 오디오 드라이버(132b), 비디오 드라이버(133b), 네트워크 드라이버(134b), ACR 플랫폼 API(ACR platform application program interface)(135b), 하나 이상의 ACR 엔진(136b), ACR 엔진 관리부(ACR engine manager)(137b), ACR 미들웨어(138b), 하나 이상의 ACR 애플리케이션(139b)를 포함한다.
도 13에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 인식할 필요가 있지만, ACR을 위한 질의의 수가 줄어들 수 있으므로 서버의 부담을 경감시킬 수 있다.
도 13의 부가 서비스 관리부(130) 내의 오디오 드라이버(132b), 비디오 드라이버(133b), 네트워크 드라이버(134b), ACR 플랫폼 API(135b), 복수의 ACR 엔진(136b), ACR 미들웨어(138b)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), 복수의 ACR 엔진(136a), ACR 미들웨어(138a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진 관리부(ACR engine manager)(137b)는 하나 이상의 ACR 엔진(136b)의 리스트를 관리하고 ACR 엔진(136b)의 선택 인터페이스를 ACR 애플리케이션(139b)에 제공한다.
ACR 애플리케이션(139b)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139b)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139b)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다.
ACR 애플리케이션(139b)은 ACR 미들웨어(138b)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진 관리부(ACR engine manager)(137b)와 상호 작용하면서 이용하고자 하는 ACR 엔진(136b)을 선택할 수 있다. 이를 위하여 ACR 애플리케이션(139b)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 4와 표 5과 같다.
ACR 애플리케이션(139b)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136b)과 상호 작용하면서 ACR 엔진(136b)을 제어할 수 있고, ACR 엔진(136b)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다. 이를 위하여 ACR 애플리케이션(139b)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 아래의 표 6과 같다.
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 제공자 관련 애플리케이션의 핑거프린트 샘플 코드의 한 예를 구현하면 표 7과 같다.
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 관련 애플리케이션의 핑거프린트 샘플 코드의 한 예를 구현하면 표 8과 같다.
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 제공자 관련 애플리케이션의 워터마킹 샘플 코드의 한 예를 구현하면 표 9와 같다.
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 컨텐츠 관련 애플리케이션의 워터마킹 샘플 코드의 한 예를 구현하면 표 10과 같다.
도 14는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되더라도, 영상 표시 장치(100)는 ACR 애플리케이션(139b)의 실행 이전에는 자동 컨텐츠 인식 동작을 수행하지 않는다.
메인 시청각 컨텐츠의 채널을 인지하는 사용자에 의해 해당 채널 관련 ACR 애플리케이션(139b)이 실행되면, ACR 애플리케이션(139b)은 자신이 이용하는 ACR 엔진(136a)에 대한 정보를 ACR 엔진 관리부(ACR engine manager)(137b)에 질의하여 수신한다(S501).
이후, ACR 애플리케이션(139b)은 자신이 이용하는 ACR 엔진(136b)을 시작하고(S503), ACR 엔진(136b)을 통해 컨텐츠 정보를 획득한다(S505).
ACR 애플리케이션(139b)은 획득한 컨텐츠 정보를 통해 메인 시청각 컨텐츠와 관련된 이용가능한 부가 서비스를 획득하고(S507), 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S509).
ACR 애플리케이션(139b)이 부가 서비스의 이용을 사용자로부터 수신하면, ACR 애플리케이션(139b)은 부가 서비스를 재생 장치(120)에 재생한다(S511).
ACR 미들웨어(138b)가 ACR 애플리케이션(139b)의 종료에 관한 사용자 입력을 수신하면, ACR 미들웨어(138b)는 ACR 애플리케이션(139b)을 종료시킨다(S513).
도 15는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 15에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131c), 오디오 드라이버(132c), 비디오 드라이버(133c), 네트워크 드라이버(134c), ACR 플랫폼 API(ACR platform application program interface)(135c), ACR 엔진(136c), ACR 미들웨어(138c), 하나 이상의 ACR 애플리케이션(139c)를 포함한다.
도 15에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 인식할 필요가 있지만, ACR을 위한 질의의 수가 줄어들 수 있으므로 서버의 부담을 경감시킬 수 있다.
도 15의 부가 서비스 관리부(130) 내의 오디오 드라이버(132c), 비디오 드라이버(133c), 네트워크 드라이버(134c), ACR 플랫폼 API(135c), ACR 미들웨어(138c)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), ACR 미들웨어(138a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진(136c)은 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 ACR 조정 서버(도시하지 않음)에 추출된 특징 정보를 포함하는 질의를 전송한다. ACR 조정 서버는 이 질의에 대한 응답으로 핑거프린트 서버 주소를 전송할 수 있다. 또한, ACR 조정 서버는 핑거프린트 서버 주소와 함께 특징 정보에 해당하는 컨텐츠 정보를 전송할 수도 있다.
ACR 애플리케이션(139c)은 ACR 엔진(136c)으로부터 핑거프린트 서버 주소를 수신하면, ACR 엔진(136c)이 추출한 특징 정보를 포함하는 질의를 핑거프린트 서버 주소에 해당하는 핑거프린트 서버에 직접 전송한다. 이를 위하여 ACR 애플리케이션(139c)이 이용할 수 있는 ACR 애플리케이션 인터페이스는 표 11과 같다.
이와 같은 ACR 애플리케이션 인터페이스를 이용하여 핑거프린트 샘플 코드의 한 예를 작성하면 표 12와 같다.
도 16는 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되면, ACR 엔진(136c)은 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 ACR 조정 서버(도시하지 않음)에 추출된 특징 정보를 포함하는 질의를 전송한다(S601).
ACR 엔진(136c)은 이 질의에 대한 응답으로 핑거프린트 서버 주소를 수신한다(S603).
ACR 애플리케이션(139c)는 getACRBackend() 메쏘드를 이용하여 ACR 엔진(136c)로부터 핑거프린트 서버 주소를 획득한다(S605).
ACR 애플리케이션(139c)는 getSignature() 메쏘드를 이용하여 ACR 엔진(136c)로부터 메인 시청각 컨텐트의 일부 비디오 프레임 구간 또는 일부 오디오 구간의 특징 정보를 획득한다(S607).
ACR 애플리케이션(139c)는 획득한 핑거프린트 서버 주소에 해당하는 핑거프린터 서버에 획득한 특징 정보를 포함하는 질의를 전송한다(S609).
ACR 애플리케이션(139c)는 이 질의에 대한 응답으로 컨텐츠 정보를 수신한다(S611).
ACR 애플리케이션(139c)는 수신한 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득하고(S613), 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S615).
ACR 애플리케이션(139c)이 부가 서비스의 이용을 사용자로부터 수신하면, ACR 애플리케이션(139c)은 부가 서비스를 재생 장치(120)에 재생한다(S617).
ACR 미들웨어(138c)가 ACR 애플리케이션(139c)의 종료에 관한 사용자 입력을 수신하면, ACR 미들웨어(138c)는 ACR 애플리케이션(139c)을 종료시킨다(S619).
도 17은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 17에 도시된 바와 같이, 본 발명의 한 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(131d), 오디오 드라이버(132d), 비디오 드라이버(133d), 네트워크 드라이버(134d), ACR 플랫폼 API(135d), 하나 이상의 ACR 엔진(136d), ACR 엔진 관리부(ACR engine manager)(137d), 애플리케이션 관리부(138d), 하나 이상의 ACR 애플리케이션(139d)를 포함한다.
도 17에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
도 17의 부가 서비스 관리부(130) 내의 오디오 드라이버(132d), 비디오 드라이버(133d), 네트워크 드라이버(134d), ACR 플랫폼 API(135d), 복수의 ACR 엔진(136d)는 도 11의 부가 서비스 관리부(130) 내의 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(135a), 복수의 ACR 엔진(136a)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명을 생략한다.
ACR 엔진 관리부(ACR engine manager)(137d)는 외부 입력 포트(111)로부터 수신되는 메인 시청각 컨텐트에 매칭되는 ACR 엔진(136d)을 확인하고, 애플리케이션(139d)에 매치되는 ACR 엔진(136d)를 확인한다. 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136d)을 제어하여 복수의 ACR 엔진(136d)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다. ACR 엔진 관리부(137d)는 우선 순위를 가지고 복수의 ACR 엔진(136d)을 제어할 수 있다. 복수의 ACR 엔진(136d) 중 어느 하나가 메인 시청각 컨텐트의 인식에 성공하면, ACR 엔진 관리부(137d)는 나머지 ACR 엔진을 슬립시키고, 동작하는 ACR 엔진으로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다.
애플리케이션 관리부(138d)는 ACR 엔진 관리부(ACR engine manager)(137d)와 상호 작용하면서 ACR 애플리케이션의 생성, 시작, 중단, 슬립, 종료를 제어한다.
ACR 애플리케이션(139d)은 내장 애플리케이션일 수 있다. ACR 애플리케이션(139d)은 다음의 표 13에서 보여지는 바와 같은 함수를 통해 ACR 엔진(136b)을 제어할 수 있다.
도 18은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 동작을 보여주는 흐름도이다.
방송 수신 장치(60)와 영상 표시 장치(100)의 전원이 턴온되고 영상 표시 장치(100)의 외부 입력 포트(111)이 선택되면, ACR 엔진 관리부(137d)는 외부 입력 포트(111)로부터 수신되는 메인 시청각 컨텐트에 매칭되는 ACR 엔진(136a)을 확인한다(S701). 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136a)을 제어하여 복수의 ACR 엔진(136a)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다. ACR 엔진 관리부(137d)는 우선 순위를 가지고 복수의 ACR 엔진(136a)을 제어할 수 있다.
복수의 ACR 엔진(136a) 중 어느 하나가 메인 시청각 컨텐트의 인식에 성공하면, ACR 엔진 관리부(137d)는 나머지 ACR 엔진을 슬립시키고(S702), 동작하는 ACR 엔진으로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S703).
이후, ACR 엔진 관리부(137d)는 컨텐츠 정보와 관련된 이용가능한 애플리케이션을 확인하고(S704), 애플리케이션 관리부(138d)에 확인된 애플리케이션(139d)의 실행을 요청한다.
애플리케이션 관리부(138d)는 확인된 애플리케이션(139d)을 백그라운드에서 실행한다(S705).
백그라운드에서 실행된 애플리케이션(139d)은 디스플레이부(121)에 color button을 표시하여 부가 서비스가 이용 가능하다는 것을 사용자에게 알린다(S707).
백그라운드에서 실행된 애플리케이션(139d)이 사용자로부터 부가 서비스의 이용을 수신하면, 부가 서비스를 재생 장치(120)에 재생한다(S709).
채널이 변경되거나 메인 시청각 컨텐트가 변경되면(S710), ACR 엔진 관리부(137d)는 애플리케이션(139d)에 매칭되는 ACR 엔진(136a)을 확인하고, 확인된 ACR 엔진(136a)과 애플리케이션(139d)를 연결시킨다(S711). 이때, ACR 엔진 관리부(137d)는 복수의 ACR 엔진(136a)을 제어하여 복수의 ACR 엔진(136a)이 동시에 또는 순차적으로 워터마크 추출 또는 질의 전송을 수행하도록 할 수 있다.
애플리케이션 관리부(138d)는 애플리케이션(139d)의 종료를 위한 사용자 입력을 수신하면(S712), 애플리케이션(139d)를 종료한다(S713).
다음은 도 19와 도 20을 참고하여 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 설명한다.
도 19는 본 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 흐름도이다.
부가 서비스 정보는 부가 서비스의 시작 시간을 포함할 수 있다. 이때, 영상 표시 장치(100)는 이 시작 시간에서 부가 서비스를 시작할 필요가 있다. 그러나, 영상 표시 장치(100)는 타임 스탬프를 가지지 않는 비압축 메인 시청각 컨텐트를 전송하는 신호를 수신하기 때문에, 메인 시청각 컨텐트의 재생 시간의 기준과 부가 서비스의 시작 시간의 기준은 서로 다르다. 영상 표시 장치(100)가 시간 정보를 가지는 메인 시청각 컨텐트를 수신하더라도, 재방송 등과 같이, 메인 시청각 컨텐트의 재생 시간의 기준과 부가 서비스의 시작 시간의 기준은 서로 다를 수 있다. 따라서, 영상 표시 장치(100)는 메인 시청각 컨텐트의 기준 시간과 부가 서비스의 기준 시간을 동기화할 필요가 있다. 특히 영상 표시 장치(100)는 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 시작 시간을 동기화할 필요가 있다.
먼저, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S801). 메인 시청각 컨텐트의 일부 구간은 메인 시청각 컨텐트의 일부 비디오 프레임과 일부 오디오 구간 중 하나 이상을 포함할 수 있다. 부가 서비스 관리부(130)가 메인 시청각 컨텐트의 일부 구간을 추출한 시간을 Tn이라 한다.
부가 서비스 관리부(130)는 추출된 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S803). 구체적으로 부가 서비스 관리부(130)는 추출된 구간에 보이지 않는 워터마크(invisible watermark)로 부호화된 정보를 복호하여 컨텐츠 정보를 획득할 수 있다. 또한, 부가 서비스 관리부(130)는 추출된 구간의 특징 정보를 추출하고, 추출된 특징 정보에 기초하여 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 부가 서비스 관리부(130)가 컨텐츠 정보를 획득한 시간을 Tm이라 한다.
한편, 컨텐츠 정보는 추출된 구간의 시작 시간(Ts)을 포함한다. 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간(Tm) 이후부터는 시간(Ts), 시간(Tm), 시간(Tn)에 기초하여 메인 시청각 컨텐트의 재생 시간을 부가 서비스의 시작 시간과 동기화한다(S805). 구체적으로, 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간(Tm)을 다음의 수학식 1에서 계산되는 시간(Tp)로 간주한다.
그리고, 부가 서비스 관리부(130)는 컨텐츠 정보 획득 시간부터 시간(Tx)가 경과한 시간을 Tp + Tx로 간주할 수 있다.
이후, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스와 부가 서비스의 시작 시간(Ta)을 획득한다(S807).
메인 시청각 컨텐트의 동기화된 재생 시간이 부가 서비스의 시작 시간(Ta)와 일치하면, 부가 서비스 관리부(130)는 획득한 부가 서비스를 시작한다(S809). 구체적으로, 부가 서비스 관리부(130)는 다음의 수학식 2를 만족하는 경우에 부가 서비스를 시작할 수 있다.
도 20은 발명의 실시예에 따라 메인 시청각 컨텐트의 재생 시간과 부가 서비스의 재생 시간을 동기화하는 방법을 보여주는 개념도이다.
도 20에 도시된 바와 같이, 영상 표시 장치(100)는 시스템 시간(Tn)에서 시청각 샘플을 추출한다.
영상 표시 장치(100)는 추출한 시청각 샘플로부터 특징 정보를 추출하고, 핑거프린트 서버(22)에 추출한 특징 정보를 포함하는 질의를 전송하여 질의 결과를 수신한다. 영상 표시 장치(100)는 질의 결과를 파싱하여 추출한 시청각 샘플의 시작 시간(Ts)가 11000ms에 해당함을 시간(Tm)에서 확인한다.
따라서, 영상 표시 장치는 수학식 1에 따라 추출한 시청각 샘플의 시작 시간을 확인한 시점을 Ts + (Tm - Tn)로 간주하여 이후부터 메인 시청각 컨텐트의 재생 시간을 부가 서비스의 시작 시간과 동기화할 수 있다.
다음은 도 21 내지 도 50을 참고하여 본 발명의 다양한 실시예에 따른 ACR 애플리케이션을 설명한다.
본 발명의 다양한 실시예에 따른 ACR 애플리케이션으로, 자동 재생 애플리케이션, 컨텐츠 제공자 애플리케이션, 영상 표시 장치 제조사 애플리케이션 등을 들 수 있다.
도 21은 본 발명의 실시예에 따른 자동 재생 애플리케이션의 실행 화면을 보여준다.
자동 재생 애플리케이션은 사용자가 아무런 액션을 취하지 않더라도 부가 서비스를 자동적으로 재생한다. 이러한 의미에서, 본 명세서에서 자동 재생 애플리케이션을 린백 애플리케이션(lean back application)이라 부르기도 한다.
자동 재생 애플리케이션은 메인 시청각 컨텐트의 재생 중에 컨텐츠 제공자 또는 방송사가 제공하는 장면 연관 정보와 같은 부가 서비스를 메인 시청각 컨텐트의 재생 시간에 따라 사용자의 입력 없이 자동으로 재생한다. 즉, 컨텐츠 제공자 또는 방송사가 전적으로 자동 재생 애플리케이션을 통제한다.
도 21에 도시된 바와 같이, 자동 재생 애플리케이션이 재생되면, 화면(200)은 축소된 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 부가 정보가 디스플레이되는 서브 화면(220)을 포함할 수 있다. 부가 정보가 디스플레이되는 서브 화면(220)은 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 공간적으로 나뉘어 질 수 있다.
한편, 자동 재생 애플리케이션이 실행될 때, 부가 정보가 디스플레이되는 영역은 반투명할 수 있다. 이 경우, 부가 정보가 디스플레이되는 영역은 메인 시청각 컨텐트가 재생되는 영역의 위에 overlay될 수 있다.
도 22는 본 발명의 실시예에 따른 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다.
본 명세서에서, 컨텐츠 제공자 애플리케이션을 풀 인터렉티브 애플리케이션(full interactive application)이라 부르기도 한다.
도 22의 (A)에 도시된 바와 같이, 영상 표시 장치(100)는 복수의 애플리케이션을 다운로드하여 저장할 수 있다. 도 22의 (A)는 복수의 애플리케이션의 아이콘(230)다. 이러한 애플리케이션 중에서 컨텐츠 제공자 애플리케이션은 컨텐츠 제공자에 의해 제작되고 배포되는 애플리케이션이어서, 컨텐츠 제공자의 통제 하에 있을 수 있다.
영상 표시 장치(100)의 사용자는 컨텐츠 제공자 애플리케이션을 애플리케이션 스토어에서 다운로드할 수 있고, 다운로드된 컨텐츠 제공자 애플리케이션의 실행을 결정할 수 있다.
도 22의 (B)는 컨텐츠 제공자 애플리케이션의 실행 화면을 보여준다. 도 22의 (B)에 도시된 바와 같이, 화면(200)은 축소된 메인 시청각 컨텐트가 재생되는 서브 화면(210)과 부가 정보가 디스플레이되는 서브 화면(220), 메뉴가 디스플레이되는 서브 화면을 포함할 수 있다.
이하에서는 도 23 내지 도 50을 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션을 설명한다.
영상 표시 장치 제조사 애플리케이션은 영상 표시 장치 제조사 에 의해 제작되고, 영상 표시 장치 제조사에 의해 제어되며, 영상 표시 장치(100)의 생산시에 미리 저장될 수 있다. 즉, 영상 표시 장치 제조사 애플리케이션은 컨텐츠 제공자나 컨텐츠에 상관없이 동일한 서비스를 제공할 수 있으며, 컨텐츠 제공자나 컨텐츠에 상관없이 동일한 유저 인터페이스를 제공할 수 있다.
영상 표시 장치 제조사 애플리케이션은 컨텐츠 제공자가 제공하는 부가 서비스가 표시되는 영역과 영상 표시 장치 제조사가 제공하는 부가 서비스가 표시되는 영역을 분리하여 가질 수 있다. 영상 표시 장치 제조사 애플리케이션은 영상 표시 장치(100)의 사용자에 의해 실행 여부가 결정될 수 있다.
영상 표시 장치 제조사 애플리케이션은 2가지 타입을 가질 수 있다.
첫번째 타입의 영상 표시 장치 제조사 애플리케이션은 크기 조절 사용자 인터페이스(resizing user interface)를 가진다. 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션은 메인 시청각 컨텐트가 디스플레이되는 영역의 크기를 줄여 줄인 영역 내에서 메인 시청각 컨텐트의 내용 전부가 디스플레이될 수 있도록 한다. 또한, 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션은 애플리케이션이 디스플레이되는 영역을 알파벳 L자나 Inverse-L 자 구조로 만든다.
두 번째 타입의 영상 표시 장치 제조사 애플리케이션은 오버레이 사용자 인터페이스(Overlay user interface)를 가진다. 오버레이 사용자 인터페이스(Overlay user interface)를 가지는 영상 표시 장치 제조사 애플리케이션은 메인 시청각 컨텐트가 디스플레이되는 영역의 크기는 그대로 유지하면서 애플리케이션이 디스플레이되는 영역을 메인 시청각 컨텐트 위에 겹친다. 애플리케이션이 디스플레이되는 영역이 메인 시청각 컨텐트를 가리므로, 애플리케이션 영역은 반투명일 수 있다.
도 23은 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 23에 도시된 바와 같이, 본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면(300)은 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310), 메인 메뉴가 디스플레이되는 메인 메뉴 영역(320), 알림 메시지가 디스플레이되는 알림 영역(330), 영상 표시 장치 제조사 애플리케이션의 제어를 위한 제어 버튼이 디스플레이되는 제어 버튼 영역(340), 서브 메뉴가 디스플레이되는 서브 메뉴 영역(350), 부가 정보가 디스플레이되는 부가 정보 영역(360), 광고가 디스플레이되는 광고 영역(370)을 포함한다.
제어 버튼 영역(340)은 영상 표시 장치 제조사 애플리케이션의 종료 버튼(341), 영상 표시 장치 제조사 애플리케이션의 숨김 버튼(342), 이전 정보로 되돌리는 백 버튼(343)을 포함한다.
본 발명의 한 실시예에 따른 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션에서, 메인 시청각 컨텐트 영역(310)은 화면(300)의 좌측 상단에 위치하고, 메인 메뉴 영역(320)과 알림 영역(330)은 메인 시청각 컨텐트 영역(310)의 하단에 위치하고, 제어 버튼 영역(340)은 우측 상단에 위치하고, 서브 메뉴 영역(350)은 제어 버튼 영역(340)과 부가 정보 영역(360) 사이에 위치하고, 광고 영역(370)은 우측 하단에 위치하고, 부가 정보 영역(360)은 서브 메뉴 영역(350)과 광고 영역(370) 사이에 위치하지만, 이들의 위치는 다양하게 변경될 수 있다.
도 24는 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면을 보여준다.
도 24에 도시된 바와 같이, 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션과 유사하게, 본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션이 실행된 화면(300)은 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310), 메인 메뉴가 디스플레이되는 메인 메뉴 영역(320), 알림 메시지가 디스플레이되는 알림 영역(330), 영상 표시 장치 제조사 애플리케이션의 제어를 위한 제어 버튼이 디스플레이되는 제어 버튼 영역(340), 서브 메뉴가 디스플레이되는 서브 메뉴 영역(350), 부가 정보가 디스플레이되는 부가 정보 영역(360), 광고가 디스플레이되는 광고 영역(370)을 포함한다.
본 발명의 한 실시예에 따른 오버레이 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션에서, 메인 시청각 컨텐트 영역(310)은 화면(300)의 좌측 상단에 위치하고, 메인 메뉴 영역(320)과 알림 영역(330)은 메인 시청각 컨텐트 영역(310)의 하단에 위치하고, 제어 버튼 영역(340)은 우측 상단에 위치하고, 서브 메뉴 영역(350)은 제어 버튼 영역(340)과 부가 정보 영역(360) 사이에 위치하고, 광고 영역(370)은 우측 하단에 위치하고, 부가 정보 영역(360)은 서브 메뉴 영역(350)과 광고 영역(370) 사이에 위치하지만, 이들의 위치는 다양하게 변경될 수 있다.
이하에서는 크기 조절 사용자 인터페이스를 가지는 영상 표시 장치 제조사 애플리케이션을 중심으로 설명한다.
영상 표시 장치 제조사 애플리케이션은 영상 표시 장치(100)에 내장된 ACR 엔진으로부터 필요한 정보를 공급받는데, 성격에 따라 크게 두 가지 타입의 메뉴를 가진다.
첫 번째 타입의 메뉴는 시간에 민감하지 않은(time insensitive) 부가 서비스를 위한 것이다. 즉, 시간에 민감하지 않은 부가 서비스와 관련된 메뉴가 선택되면, 영상 표시 장치(100)는 화면에 재생되고 있는 메인 시청각 컨텐트의 식별자를 획득하고, 획득한 식별자에 기초하여 부가 서비스를 획득하며, 획득된 부가 서비스를 부가 정보 영역(360)에 표시한다. 이러한 시간에 민감하지 않은 부가 서비스 예로는 타이틀, 장르, 배우, 감독, 다른 사람의 평가, Short clip, Short explanation 등이 있다. 이 기본 정보를 통해 영상 표시 장치(100)는 추가 정보를 검색하거나 Facebook, Twitter 같은 소셜 네트워크 서비스와 연동하거나, 추천 서비스 및 연관된 광고를 제공할 수 있다.
두 번째 타입의 메뉴는 시간에 민감한(time sensitive) 부가 서비스를 위한 것이다. 즉, 시간에 민감한 부가 서비스와 관련된 메뉴가 선택되면, 영상 표시 장치(100)는 화면에 재생되고 있는 메인 시청각 컨텐트의 식별자와 재생 시간 정보를 획득하고, 획득한 식별자와 재생 시간 정보에 기초하여 시간에 민감한 부가 서비스를 획득하며, 획득된 부가 서비스를 부가 정보 영역(360)에 표시한다.
본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 메인 메뉴는 프로그램(program) 메뉴, 정보(Information) 메뉴, 소셜(Social) 메뉴, 추천(Recommendation) 메뉴, 카탈로그(Catalogue) 메뉴를 포함한다. 이 중에서 시간에 민감하지 않은(Time insensitive) 메뉴는 정보 메뉴, 소셜 메뉴, 추천 메뉴, 카달로그 메뉴이고, 시간에 민감한 메뉴는 프로그램 메뉴이다. 시간에 민감하지 않은 메뉴가 선택되더라도 시간에 민감한 애플리케이션이 호출될 수도 있다. 이 다섯 가지 메인 메뉴 외에 다른 메인 메뉴도 추가될 수 있다. 각각의 메인 메뉴가 선택되면, 선택된 메인 메뉴의 서브 메뉴가 서브 메뉴 영역(350)에 나타난다.
도 25는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 실행 방법을 보여주는 흐름도이다.
영상 표시 장치(100)가 메인 시청각 컨텐트가 재생되는 중에 리모컨의 특정 키의 누름, 모션 리모컨을 아래 방향으로 흔듬, 모션 리모컨의 커서를 화면 아래쪽으로 죽 당김을 통해 애플리케이션 선택 메뉴 표시에 해당하는 사용자 입력을 수신하면(S901), 영상 표시 장치(100)는 도 26과 같은 애플리케이션 선택 메뉴를 디스플레이한다(S903).
도 26은 본 발명의 한 실시예에 따른 애플리케이션 선택 메뉴가 표시된 화면을 도시한 도면이다.
도 26에 도시한 바와 같이, 애플리케이션 선택 메뉴(380)는 화면(300)의 하단에 위치한다. 애플리케이션 선택 메뉴(380)는 반투명할 수 있다.
애플리케이션 선택 메뉴(380)는 영상 표시 장치(100) 내에 설치된 복수의 애플리케이션의 실행 아이콘을 포함한다. 표시된 실행 아이콘들 중에 하나의 아이콘이 영상 표시 장치 제조사 애플리케이션의 실행 아이콘에 해당한다.
영상 표시 장치(100)가 리모컨의 좌우 화살표 키의 조작이나 모션 리모컨의 움직임에 따른 커서 이동을 통해 영상 표시 장치 제조사 애플리케이션의 아이콘의 선택에 해당하는 사용자 입력을 수신하면(S905), 영상 표시 장치(100)는 영상 표시 장치 제조사 애플리케이션을 실행한다(S907). 이를 통해, 사용자는 메인 시청각 컨텐트를 시청하면서 원하는 즉시 앱 스토어 접속 없이 애플리케이션을 실행시킬 수 있다.
영상 표시 장치 제조사 애플리케이션이 실행되면, 영상 표시 장치 제조사 애플리케이션의 메인 메뉴가 나타난다. 프로그램 메뉴가 default로 선택되고 프로그램 메뉴의 서브 메뉴가 서브 메뉴 영역(350)에 나타난다. 프로그램 메뉴의 서브 메뉴들 중에서 전체 서브 메뉴가 디폴트로 선택된다. 포커스는 전체 서브 메뉴에 위치한다. 시간이 흘러감에 따라 부가 정보 영역(360)에 표시되는 부가 서비스가 자동으로 업데이트된다. 이전 메뉴로 돌아가는 것은 <- 버튼을 통해 수행되고고, 영상 표시 장치 제조사 애플리케이션을 닫고 전체화면으로 돌아가는 것은 X 버튼을 통해 수행된다.
다음은 도 27 내지 도 29를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴를 설명한다.
프로그램 메인 메뉴는 재생되고 있는 메인 시청각 컨텐트와 시간으로 연관된 애플리케이션을 부가 정보 영역(360)에 표시하기 위한 메뉴이다. 메인 시청각 컨텐트와 연동되는 애플리케이션을 띄우는 위한 부가 서비스 정보는 TV 방송사 같은 컨텐트 소유자(Content Owner)가 제공할 수 있다. 영상 표시 장치(100)는 이 부가 서비스 정보를 해석하여, 적절한 타이밍에 부가 정보 영역(360)에 해당 애플리케이션을 디스플레이한다. 화면에 나타나는 UI를 아래 그림에 도시한다.
프로그램 메뉴는 전체(All) 서브 메뉴, 참여(Participation) 서브 메뉴, 디스커버리(Discovery) 서브 메뉴를 가진다.
전체 서브 메뉴는 참여 서브 메뉴와 디스커버리 서브 메뉴와 관련된 모든 애플리케이션이 부가 정보 영역(360)에 나타나는 메뉴이다. 참여 서브 메뉴는 프로그램에서 투표와 같이 프로그램 참여를 유도하는 애플리케이션이 나타나는 메뉴이다. 디스커버리 서브 메뉴는 장면 연관 정보와 같은 애플리케이션이 나타나는 메뉴이다. 프로그램 메뉴의 서브 메뉴는 컨텐트 소유자가 원하는 애플리케이션의 내용에 따라 추가되거나 변경될 수 있다.
도 27은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 전체 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
프로그램 메인 메뉴의 첫번째 서브 메뉴인 전체 서브 메뉴가 선택되면, 영상 표시 장치(100)는 참여 서브 메뉴 및 디스커버리 서브 메뉴와 관련된 모든 애플리케이션을 부가 정보 영역(360)에 표시한다.
전체 서브 메뉴가 선택되면, 영상 표시 장치(100)는 특정 시간에 동기가 맞춰진 애플리케이션 또는 이벤트를 부가 정보 영역(360)에 표시한다. 특정 시간에 동기가 맞춰진 애플리케이션이 없는 경우, 영상 표시 장치(100)는 부가 정보 영역(360)을 빈공간으로 둘 수 있다. 그러나, 빈 공간은 사용자에게 추가적인 Interaction에 대한 동기 유발을 주지 못할 수 있으므로, 특정 시간에 동기가 맞춰진 애플리케이션이 없는 경우엔, 영상 표시 장치(100)는 그 시간 이전에 생긴 애플리케이션이나 이벤트를 모아 history를 표시할 수도 있다.
사용자가 영상 표시 장치 제조사 애플리케이션에 진입했을 때에는 메인 시청각 컨텐트를 시청하면서 메인 시청각 컨텐트와 연관된 interactive 애플리케이션을 수행하려는 의도를 가지고 있다고 볼 수 있다. 사용자가 이 메뉴, 저 메뉴를 돌아다니다 (navigate)보면, 어떤 특정 시간에 나타나는 이벤트를 보지 못하고 그냥 지나칠 경우가 발생할 수 있다. 특히 시간에 민감하지 않은 부가 서비스를 위한 메뉴를 돌아다닐 때 이러한 경우가 발생할 가능성이 높다. 그렇게 때문에 영상 표시 장치 제조사 애플리케이션에 진입한 후, navigation 도중에 시간에 민감한 이벤트가 발행하면, 영상 표시 장치(100)는 이에 대한 알림 메시지를 알림 영역(330)에 표시하여, 사용자에게 지금 시간에 방송사에서 보내주는 특정한 이벤트가 있다는 것을 알려줄 수 있다.
사용자가 영상 표시 장치 제조사 애플리케이션을 통해 음악정보나 장소 정보를 확인하는 중에 시간 연동 애플리케이션이 발생하면, 영상 표시 장치(100)는 알림 메시지를 알림 영역(330)에 표시한다. 영상 표시 장치(100)가 Go To 버튼 누름에 해당하는 사용자 입력을 수신하면, 영상 표시 장치(100)는 발생한 시간 연동 애플리케이션과 관련된 서브 메뉴로 진입하고, 발생한 시간 연동 애플리케이션을 부가 정보 영역(360)에 디스플레이한다. 알림 메시지는 텍스트 메시지일 수도 있다. 또한 영상 표시 장치(100)는 전달된 애플리케이션의 양을 숫자로 표시할 수 도 있다. 알림 메시지는 푸시 방식으로 시청자에게 전달될 수 있다.
도 28은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 참여 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 28에 도시된 바와 같이, 참여 서브 메뉴가 선택되면 영상 표시 장치(100)는 투표와 같은 시청자 참여를 유도하는 애플리케이션을 부가 정보 영역(360)에 표시한다. 시청자 참여 애플리케이션이 발생하면, 영상 표시 장치(100)는 부가 정보 영역에 이를 표시한다. 시청자 참여 애플리케이션이 투표인 경우, 영상 표시 장치(100)는 투표 질문과 투표 결과를 표시할 수 있다. 또한 영상 표시 장치(100)는 지금 시간의 이벤트 뿐만 아니라 과거의 시청자 참여 이벤트를 지금 시간의 이벤트 하단에 표시하여, 사용자에게 편의를 제공할 수 있다.
도 29는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 프로그램 메인 메뉴의 디스커버리 서브 메뉴가 선택된 경우의 화면을 보여주는 도면이다.
도 29에 도시된 바와 같이, 디스커버리 서브 메뉴가 선택되면, 영상 표시 장치(100)는 시청자 참여 애플리케이션 이외의 모든 시간 연동 애플리케이션을 부가 정보 영역(360)에 표시한다. 예컨데, 영상 표시 장치(100)는 메인 시청각 컨텐트에 나타난 상품이나 장소에 대한 장면 연관 정보를 표시할 수 있다. 영상 표시 장치(100)는 현재의 장면 연관 정보와 함께 과거의 장면 연관 정보를 표시할 수도 있다.
한편, 영상 표시 장치(100)는 시간 연동 애플리케이션이나 이벤트가 있다는 알림을 서브 메뉴에 표시할 수도 있다. 예컨데, 시청자 참여 애플리케이션이 발생하면, 영상 표시 장치(100)는 참여 서브 메뉴에 N 이라는 깜박이는 icon을 표시하여 사용자의 참여를 유도할 수 있다. 사용자가 일정 시간동안 알림에 대한 응답을 하지 않는 경우, 영상 표시 장치(100)는 알림을 없앨 수 있다.
이하에서는 도 30 내지 도 36를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴를 설명한다.
정보 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 프로그램 메인 메뉴 이외의 메인 메뉴가 선택되면, 검색 서비스나 트위터 서비스와 같은 2차 서비스가 연동될 수 있다.
정보 메인 메뉴는 검색 서브 메뉴, 트위터 서브 메뉴, 뉴스 서브 메뉴를 가진다.
다음은 도 30 내지 도 32를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴를 설명한다.
도 30은 본 발명의 한 실시예에 따른 검색 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1001).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택되면(S1002), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 복수의 검색 아이템을 포함하는 검색 리스트를 획득한다(S1003). 검색 리스트는 장르, 배우, 감독, 장소, 상품 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)는 검색 리스트를 부가 정보 영역(360)에 표시한다(S1007). 검색 리스트의 표시 예를 도 30을 참고하여 설명한다.
도 31은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 31에 도시된 바와 같이, 검색 리스트는 메인 시청각 컨텐트의 등장 인물을 포함한다. 영상 표시 장치(100)는 부가 정보 영역(360)에 검색 아이템의 사진 또는 이름 중 하나 이상을 표시할 수 있다.
리모콘의 커서 등으로 복수의 검색 아이템 중 하나가 선택되면(S1009), 영상 표시 장치(100)는 선택된 검색 아이템에 대한 정보를 검색한다(S1011). 이때, 영상 표시 장치(100)는 구글과 같은 인터넷 검색 엔진을 이용할 수 있다. 또한, 영상 표시 장치(100)는 Tribune media나 IMDb와 같은 정보를 이용할 수도 있다.
영상 표시 장치(100)는 검색된 정보를 부가 정보 영역(360)에 표시한다(S1013). 검색 결과는 서비스 업체의 Open API를 통해 프로그래밍을 통해 자동으로 불러오게 되므로, 화면 디자인에 필요한 상당한 시간을 아낄 수 있다. 검색 정보의 표시 예를 도 32을 참고하여 설명한다.
도 32은 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 검색 서브 메뉴가 선택된 경우의 또 다른 화면을 보여주는 도면이다.
도 32에 도시된 바와 같이, 영상 표시 장치(100)는 선택된 검색 아이템에 대한 검색 결과를 부가 정보 영역(360)에 디스플레이한다. 한편, 영상 표시 장치(100)는 부가 정보 영역(360)에 트위터 버튼과 편집 버튼을 배치하여, 배우의 Twitter를 Follow할 수 있게 하거나, 이 배우의 다른 출연작, Biography 등과 같은 Profile을 편집하게 할 수도 있다.
이와 같이, 본 발명의 실시예에 따른 검색 방법을 이용하면, 한번의 클릭을 통해 메인 시청각 데이터와 연관된 정보를 검색할 수 있어, 검색어 입력의 수고를 경감시킬 수 있다.
다음은 도 33과 도 34를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴를 설명한다.
도 33은 본 발명의 한 실시예에 따른 채팅창 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1101).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택되면(S1102), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 트위터 채팅 목록을 획득한다(S1103). 영상 표시 장치(100)는 Twitter의 Hashtag에 프로그램명을 적어 이 프로그램에만 관련된 Twitter 채팅 목록을 불러올 수 있다. 이 채팅 목록은 Twitter와 연동되어 실시간으로 계속 업데이트 된다.
영상 표시 장치(100)는 사용자 선택을 통해 또는 자동으로 트위터 채팅 목록 중의 한 채팅 창을 부가 정보 영역(360)에 표시한다(S1107). 채팅 창의 표시 예를 도 34을 참고하여 설명한다.
도 34는 본 발명의 한 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 트위터 서브 메뉴가 선택된 경우의 한 화면을 보여주는 도면이다.
도 34에 도시된 바와 같이, 영상 표시 장치(100)는 채팅 창을 부가 정보 영역(360)에 표시하여 같은 프로그램을 시청하는 시청자들 사이의 채팅을 지원할 수 있다.
프로그램이 방송될 때, 실제 이 프로그램의가 직접 채팅방에서 메시지를 적어 넣을 수도 있다. 영상 표시 장치(100)가 Smart TV같이 log in 메커니즘이 있는 기기라면 이 메뉴에 진입할 때에는 이미 영상 표시 장치(100)의 사용자가 log in되어 있는 상태로 그 즉시 자신의 id로 채팅을 시작할 수도 있다. 영상 표시 장치(100)의 리모컨 입력이 불편한 경우에는 영상 표시 장치(100)는 단순히 채팅 메시지만 디스플레이할 수 있다. 만일 영상 표시 장치(100)가 Smart Phone이나 tablet처럼 2nd Device와 연동되어 있다면, 2nd Device의 입력장치를 통해 메시지가 typing될 수도 있을 것이다. Hashtag에 들어가는 정보는 기본적으로 프로그램명이지만, 앞에서 기술한 다른 기본 정보인 배우, 감독 등의 tag으로도 선택하여, 사용자는 해당 주제의 채팅에 선택적으로 참여할 수 있다.
다음은 도 35와 도 36을 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴를 설명한다.
도 35는 본 발명의 실시예에 따른 뉴스 획득 방법을 도시한 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1201).
영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택되면(S1202), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 부가 서비스에 해당하는 뉴스를 획득한다(S1203). 이때, 뉴스는 메인 시청각 컨텐트와 관련 있을 수도 있고, 관련이 없을 수도 있다. 또한, 뉴스는 메인 시청각 컨텐트의 방송사가 제공하는 것일 수 있다. 방송사가 Open API로 뉴스를 제공하는 않는다면, 영상 표시 장치(100)는 Google이나 Yahoo같은 internet 서비스의 News feed를 통해 뉴스를 수신할 수 있다.
영상 표시 장치(100)는 획득한 뉴스를 부가 정보 영역(360)에 표시한다(S1207). 뉴스의 표시 예를 도 36을 참고하여 설명한다.
도 36은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 정보 메인 메뉴의 뉴스 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 36에 도시된 바와 같이, 영상 표시 장치(100)는 획득한 뉴스를 부가 정보 영역(360)에 표시할 수 있다.
이하에서는 도 37 내지 도 42를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴를 설명한다.
소셜 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 프로그램 메인 메뉴 이외의 메인 메뉴가 선택되면, Facebook과 같은 2차 서비스가 연동될 수 있다.
소셜 메인 메뉴는 시청자 리스트 서브 메뉴, 호감 표시 서브 메뉴를 가진다.
다음은 도 37 내지 도 40를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴를 설명한다.
도 37은 본 발명의 실시예에 따른 시청자 리스트 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1301).
영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택되면(S1302), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 획득한다(S1303). 영상 표시 장치(100)는 facebook 같은 소셜 네트워크 서비스와 연동하여 메인 시청각 컨텐트를 시청하는 친구의 목록을 획득할 수 있다.
영상 표시 장치(100)는 획득한 시청자 리스트를 부가 정보 영역(360)에 표시한다(S1307). 시청자 리스트의 표시 예를 도 38을 참고하여 설명한다.
도 38은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 시청자 리스트 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 38에 도시된 바와 같이, 영상 표시 장치(100)는 획득한 시청자 리스트에 해당하는 시청자들의 사진과 이름을 부가 정보 영역(360)에 표시할 수 있다.
특히, 영상 표시 장치(100)는 친구의 목록을 시청 여부와 함께 표시할 수도 있고, 시청중인 친구의 목록만을 표시할 수도 있다.
표시된 친구 목록 중에서 한 친구가 선택되면(S1309), 영상 표시 장치(100)는 선택된 친구가 메인 시청각 컨텐트를 시청하고 있는지를 확인한다(S1311).
선택된 친구가 메인 시청각 컨텐트를 시청하고 있다면, 영상 표시 장치(100)는 선택된 친구와의 채팅 창을 부가 정보 영역(360)에 표시한다(S1313).
한편, 선택된 친구가 메인 시청각 컨텐트를 시청하고 있지 않다면, 영상 표시 장치(100)는 선택된 친구의 이메일 또는 핸드폰에 메인 시청각 컨텐트의 시청을 권하는 메시지를 전송한다(S1315). 선택된 친구가 메인 시청각 컨텐트를 시청하고 있지 않더라도 영상 표시 장치(100)는 선택된 친구와의 채팅 창을 부가 정보 영역(360)에 표시할 수도 있다.
채팅을 위하여 사용자는 영상 표시 장치(100)의 리모컨을 사용할 수도 있고, 영상 표시 장치(100)에 연결된 2nd device의 입력장치를 사용할 수도 있으며, 영상 표시 장치(100)와는 상관없이 Smartphone의 Social 네트워크 서비스 애플리케이션을 통해 직접 채팅을 할 수 있다. 어떤 경우에든 영상 표시 장치(100)의 화면에는 Social 네트워크 서비스의 채팅 화면이 디스플레이될 수 있다. 프로그램을 평가하는 버튼을 통해, 사용자는 자신의 의사표시를 친구들에게 전달할 수 있다. 예를 들자면, Facebook의 "좋아요" 버튼을 통해 사용자는 메인 시청각 컨텐트를 시청중임을 친구에게 알릴 수도 있고, 메인 시청각 컨텐트를 시청하지 않는 친구에게 시청을 권할 수도 있다.
이와 같이, 영상 표시 장치(100)는 시청자 리스트 서브 메뉴를 통해 ACR 기술을 이용하여 누가 어떤 프로그램을 시청하고 있는지 자동으로 파악할 수 있다. 누가 시청하고 있는 지의 확인을 위하여 사용자의 login이 요구된다. 영상 표시 장치(100)에 로그인을 위한 계정을 등록하면, 영상 표시 장치(100)는 턴온될 때마다 자동으로 log in할 수 있으므로 영상 표시 장치(100)는 누가 메인 시청각 컨텐트를 시청하고 있는 지를 파악할 수 있다.
도 39는 본 발명의 한 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 39에 도시된 바와 같이, 친구 A의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 메인 시청각 컨텐트 A의 식별자와 친구 A의 식별자를 전송한다(S1401).
또한, 친구 B의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 메인 시청각 컨텐트 A의 식별자와 친구 B의 식별자를 전송한다(S1403).
영상 표시 장치(100)가 메인 시청각 컨텐트 A를 재생하고 있다면, 영상 표시 장치(100)는 사용자의 ID와 메인 시청각 컨텐트 A의 식별자를 SNS 제공 서버(75)에 전송한다(S1405).
SNS 제공 서버(75)는 친구 관계 정보와 수신한 컨텐트 식별자에 기초하여 영상 표시 장치(100)의 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 확인하고, 확인된 정보를 영상 표시 장치(100)에 제공한다(S1407).
도 40은 본 발명의 또 다른 실시예에 따른 영상 표시 장치가 친구 목록과 시청 정보를 획득하는 신호 흐름을 보여준다.
도 40에 도시된 바와 같이, 친구 A의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 친구 A의 식별자를 전송하고(S1501), ACR 서버(77)에 메인 시청각 컨텐트 A를 전송한다(S1503). ACR 서버(77)는 워터마크 서버(21), 핑거프린트 서버(22), 부가 서비스 정보 제공 서버(40), 부가 서비스 제공 서버(50) 중 하나 일 수 있다.
또한, 친구 B의 영상 표시 장치는 메인 시청각 컨텐트 A를 재생하고 있다면, SNS 제공 서버(75)에 친구 B의 식별자를 전송하고(S1505), ACR 서버(77)에 메인 시청각 컨텐트 A를 전송한다(S1507).
영상 표시 장치(100)는 사용자의 ID를 SNS 제공 서버(75)에 전송한다(S1509).
그러면, SNS 제공 서버(75)는 사용자의 ID에 해당하는 친구 목록을 ACR 서버(75)에 제공한다(S1511).
한편, 영상 표시 장치(100)가 메인 시청각 컨텐트 A를 재생하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트 A의 식별자를 ACR 서버(77)에 전송한다(S1513).
ACR 서버(75)는 사용자의 ID에 해당하는 친구 목록과 컨텐트 식별자에 기초하여 영상 표시 장치(100)의 친구 목록과 각 친구의 메인 시청각 컨텐트의 시청 여부에 대한 정보를 확인하고, 확인된 정보를 영상 표시 장치(100)에 제공한다(S1515).
다음은 도 41 내지 도 42를 참고하여 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴를 설명한다.
도 41은 본 발명의 실시예에 따른 호감 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1601).
영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택되면(S1602), 영상 표시 장치(100)는 획득한 컨텐츠 정보에 기초하여 복수의 호감 표시 아이템을 포함하는 호감 표시 목록을 획득한다(S1603). 여기서 호감 표시 아이템은 프리뷰 또는 프리뷰 주소를 포함할 수 있다. 프리뷰는 이미지 또는 짧은 길이의 동영상 일 수 있다. 이 Preview는 방송사가 Open API를 통해 직접 제공할 수도 있고, Internet 서비스의 검색 엔진을 획득될 수 있고, 방송사의 인터넷서버에서 필요한 부분만을 추출하여 획득될 수도 있다. 몇 분의 시간 간격의 핵심 scene에 해당하는 이미지가 제공될 수도 있고, 한 프로그램에 하나의 이미지만 제공될 수도 있다.
영상 표시 장치(100)는 획득한 호감 표시 목록을 부가 정보 영역(360)에 표시한다(S1607). 시청자 리스트의 표시 예를 도 42를 참고하여 설명한다.
도 42은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 소셜 메인 메뉴의 호감 표시 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 42에 도시된 바와 같이, 영상 표시 장치(100)는 호감 표시 목록의 프리뷰들과 호감 표시를 위한 '좋아요(Like it)' 버튼들을 부가 정보 영역(360)에 디스플레이할 수 있다.
한 호감 표시 아이템에 해당하는 '좋아요' 버튼이 선택되면(S1609), 영상 표시 장치(100)는 선택된 호감 표시 아이템에 해당하는 프리뷰와 간단한 텍스트를 facebook 등의 SNS에 포스트한다(S1611). 여기서 간단한 텍스트는 자동적으로 생성되거나, 리모컨으로 입력하거나, 2nd Device의 입력 기기를 통해 입력할 수도 있다.
이하에서는 도 43 내지 도 46을 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴를 설명한다.
추천 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 추천 메뉴가 선택되면, 다른 서비스가 연동될 수 있다.
추천 메인 메뉴는 이전 에피소드 서브 메뉴, VOD 서브 메뉴, 애플리케이션 서브 메뉴를 가진다.
도 43은 본 발명의 실시예에 따른 디지털 미디어 다운로드 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1701).
영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 서브 메뉴가 선택되면(S1702), 영상 표시 장치 제조사 애플리케이션은 획득한 컨텐츠 정보에 기초하여 디지털 미디어 목록을 획득한다(S1703). 이전 에피소드 서브 메뉴가 선택되면, 영상 표시 장치(100)는 이전 에피소드 목록을 획득한다. VOD 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 VOD 목록을 획득한다. 애플리케이션 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 애플리케이션의 목록을 획득한다. 여기서 디지털 미디어 목록은 프리뷰 또는 프리뷰 주소, 아이콘, 관련 이미지를 포함할 수 있다.
영상 표시 장치 제조사 애플리케이션은 획득한 디지털 미디어 목록을 부가 정보 영역(360)에 표시한다(S1707).
이전 에피소드 목록의 표시 예를 도 44를 참고하여 설명한다.
도 44은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 이전 에피소드 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 44에 도시된 바와 같이, 영상 표시 장치(100)는 이전 에피소드 목록의 프리뷰들과 타이틀들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 이전 에피소드를 검색하여 표시할 수 있다.
VOD 목록의 표시 예를 도 45를 참고하여 설명한다.
도 45는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 VOD 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 45에 도시된 바와 같이, 영상 표시 장치(100)는 VOD 목록의 프리뷰들과 타이틀들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 VOD를 검색하여 표시할 수 있다.
애플리케이션 목록의 표시 예를 도 46을 참고하여 설명한다.
도 46은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 애플리케이션 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 46에 도시된 바와 같이, 영상 표시 장치(100)는 애플리케이션 목록의 아이콘들과 애플리케이션 이름들을 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 애플리케이션을 검색하여 표시할 수 있다.
디지털 미디어 목록 내의 한 아이템이 선택되면(S1709), 영상 표시 장치 제조사 애플리케이션은 선택된 아이템에 해당하는 디지털 미디어를 다운로드한다(S1711). 이때, 과금 후에 영상 표시 장치(100)는 디지털 미디어를 다운로드할 수 있다. 선택된 아이템이 이전 에피소드이거나 VOD인 경우, 영상 표시 장치(100)는 다운로드한 디지털 미디어를 재생할 수 있다. 선택된 아이템이 애플리케이션이면, 영상 표시 장치(100)는 다운로드한 애플리케이션을 자동으로 또는 사용자 선택을 통해 실행할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 간단한 조작을 통해 영상 표시 장치(10)는 디지털 미디어를 다운로드할 수 있다.
이하에서는 도 47 내지 도 50를 참고하여 본 발명의 실싱예에 따른 영상 표시 장치 제조사 애플리케이션의 카탈로그 메인 메뉴를 설명한다.
카탈로그 메인 메뉴는 시간에 민감하지 않은 영역에 해당하며, 프로그램 메인 메뉴의 UI처럼 어떤 특정한 시간에 자동으로 애플리케이션이 나타나고 사라지는 방식의 UI로 동작하지는 않는다. 물론 이 메뉴를 통해서도 앞에서 설명한 바와 같은 시간 연동 애플리케이션이 표시될 수는 있지만, 카탈로그 메뉴가 선택되면, 다른 서비스가 연동될 수 있다.
카탈로그 메인 메뉴는 스타일 서브 메뉴, 음악서브 메뉴, 기타 서브 메뉴를 가진다.
도 47은 본 발명의 실시예에 따른 카탈로그 표시 방법을 보여주는 흐름도이다.
영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 구간을 추출하고, 추출된 구간에 기초하여 컨텐츠 정보를 획득한다(S1801).
영상 표시 장치 제조사 애플리케이션의 카탈로그 메인 메뉴의 서브 메뉴가 선택되면(S1802), 영상 표시 장치 제조사 애플리케이션은 획득한 컨텐츠 정보에 기초하여 카탈로그 목록을 획득한다(S1803). 스타일 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 의류들을 위한 카탈로그 목록을 획득한다. 음악 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 음악들을 위한 카탈로그 목록을 획득한다. 기타 서브 메뉴가 선택되면, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련되거나 메인 시청각 컨텐트의 제공자가 추천하는 상품이나 장소를 위한 카탈로그목록을 획득한다. 여기서 디지털 미디어 목록은 관련 이미지, 가격 정보, 설명, 쿠폰을 포함할 수 있다. 쿠폰은 번호나 QR 코드의 형태일 수 있다. 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 중에만 쿠폰을 표시할 수도 있지만, 쿠폰의 유효기간 동안은 메모리(150)에 저장하여 사용자가 추후 이용하도록 할 수도 있다.
영상 표시 장치 제조사 애플리케이션은 획득한 카탈로그 목록을 부가 정보 영역(360)에 표시한다(S1807).
의류 카탈로그 목록의 표시 예를 도 48을 참고하여 설명한다.
도 48은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 스타일 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 48에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 의류의 메이커 정보, 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 의류 카탈로그를 검색하여 표시할 수 있다.
음악 카탈로그 목록의 표시 예를 도 49를 참고하여 설명한다.
도 49는 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 음악 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 49에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 음악의 가수 정보, 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 음악 카탈로그를 검색하여 표시할 수 있다.
기타 카탈로그 목록의 표시 예를 도 50을 참고하여 설명한다.
도 50은 본 발명의 실시예에 따른 영상 표시 장치 제조사 애플리케이션의 추천 메인 메뉴의 기타 서브 메뉴가 선택된 경우의 화면을 보여준다.
도 50에 도시된 바와 같이, 영상 표시 장치(100)는 메인 시청각 컨텐트와 관련된 상품이나 장소의 가격 정보, 설명 정보를 부가 정보 영역(360)에 표시한다. 이와 같이, 본 발명의 실시예에 따르면, 영상 표시 장치(100)는 사용자의 조작 없이 자동으로 메인 시청각 컨텐트와 관련된 상품이나 장소에 대한 카탈로그를 검색하여 표시할 수 있다.
카탈로그 목록 내의 한 아이템이 선택되면(S1809), 영상 표시 장치 제조사 애플리케이션은 선택된 아이템에 해당하는 구매 페이지를 표시한다(S1811).
이와 같이, 본 발명의 실시예에 따르면, 간단한 조작을 통해 사용자는 제품을 구매할 수 있다.
카탈로그 목록 내의 각 아이템에는 구매 후기 버튼과 북마크 버튼이 배치될 수 있다.
구매 후기 버튼이 선택되면, 영상 표시 장치(100)는 아이템의 사용 후기를 부가 정보 영역(360)에 표시할 수 있다. 또한, 사용자는 구매 후기를 작성할 수도 있다.
또한, 사용자는 북마크 버튼을 통해 특정 아이템을 북마크한 후, 소셜 메인 메뉴의 시청자 리스트 서브 메뉴를 통해 북마크한 아이템을 추천할 수 있다.
이 경우, 영상 표시 장치(100)는 ACR 서버(77)나 SNS 제공 서버(75)에 북마크 아이템 정보를 제공할 수 있다.
이후, 추천받은 시청자의 영상 표시 장치(100)는 메인 시청각 컨텐트에서 추출된 구간에 기초하여 컨텐츠 정보를 획득하고, 획득한 컨텐츠 정보로부터 메인 시청각 컨텐트가 추천된 아이템의 광고에 해당하는 경우에, "친구 U가 추천한 상품입니다"와 같은 추천 메시지를 표시할 수 있다. 또한 추천 메시지 대신에 짧은 길이의 동영상이 표시될 수도 있다.
다음은 도 51과 도 52를 참고하여 본 발명의 실시예에 따른 ACR 기능의 온오프 제어를 설명한다.
도 51은 본 발명의 실시예에 따른 ACR 기능의 제어를 위한 사용자 인터페이스를 보여준다.
도 51에 도시된 바와 같이, 재생 제어부(113)는 ACR 기능 설정 창을 디스플레이한다. 사용자는 ACR 기능 설정 창을 통해 ACR 기능을 활성화시킬 수도 있고, 비활성화시킬 수도 있다.
ACR 기능이 활성화된 경우, 사용자는 ACR 모드를 선택할 수도 있다. 본 발명의 실시예에 따른 ACR 모드는 자동 재생 애플리케이션 모드, 컨텐츠 제공자 애플리케이션 모드, 영상 표시 장치 제조사 애플리케이션 모드 중 하나로 설정될 수 있다.
이와 같이 ACR 기능의 모드가 설정되면, 재생 제어부(113)는 설정 정보를 설정 정보 저장부(154)에 저장한다.
도 52는 본 발명의 실시예에 따른 영상 표시 장치의 제어 방법의 흐름도이다.
부가 서비스 관리부(130)는 ACR 기능이 턴온되어 있는지를 확인한다(S1901).
ACR 기능이 비활성화되어 있다면, 부가 서비스 관리부(130)는 더 이상 컨텐트 정보 획득 절차를 수행하지 않는다.
ACR 기능이 활성화되어 있다면 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 구간을 추출한다(S1902).
부가 서비스 관리부(130)는 추출한 구간에 기초하여 메인 시청각 컨텐트의 컨텐츠 정보를 획득한다(S1903).
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 기준 시간을 대체 광고의 기준 시간과 동기화한다(S1905).
부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스를 획득한다(S1907). 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 기초하여 부가 서비스 정보를 획득하고, 획득한 부가 서비스 정보에 기초하여 부가 서비스를 획득할 수도 있다.
이후, 부가 서비스 관리부(130)는 ACR 모드를 확인한다(S1909).
부가 서비스 관리부(130)는 ACR 모드에 따라 부가 서비스를 재생한다(S1911).
구체적으로, ACR 모드가 자동 재생 애플리케이션 모드이면, 부가 서비스 관리부(130)는 자동 재생 애플리케이션을 실행하고, 실행된 자동 재생 애플리케이션은 획득한 부가 서비스를 재생한다.
ACR 모드가 컨텐츠 제공자 애플리케이션 모드이면, 부가 서비스 관리부(130)는 획득한 컨텐츠 정보에 대응하는 컨텐츠 제공자 애플리케이션을 백그라운드에서 실행한다. 부가 서비스 관리부(130)는 부가 서비스 이용에 해당하는 사용자 입력을 수신하면, 컨텐츠 제공자 애플리케이션을 디스플레이한다. 이 컨텐츠 제공자 애플리케이션이 획득한 부가 서비스를 재생할 수 있다. 컨텐츠 제공자 애플리케이션이 자동으로 백그라운드에서 실행되는 대신에, 컨텐츠 제공자 애플리케이션은 사용자 입력에 의해 실행될 수 있다.
ACR 모드가 영상 표시 장치 제조사 애플리케이션 모드이면, 부가 서비스 관리부(130)는 부가 서비스 관리부(130)는 영상 표시 장치 제조사 애플리케이션을 백그라운드에서 실행한다. 부가 서비스 관리부(130)는 부가 서비스 이용에 해당하는 사용자 입력을 수신하면, 영상 표시 장치 제조사 애플리케이션을 디스플레이한다. 이 영상 표시 장치 제조사 애플리케이션이 획득한 부가 서비스를 재생할 수 있다. 영상 표시 장치 제조사 애플리케이션이 자동으로 백그라운드에서 실행되는 대신에, 영상 표시 장치 제조사 애플리케이션은 사용자 입력에 의해 실행될 수 있다.
이하에서는, 도 53 내지 도 77을 참조하여, 본 발명의 일실시예에 따른 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치에 대해 설명하기로 한다. 이하에서 설명할 내용 중 도 1 내지 도 52를 참조하여 설명한 것과 동일한 것에 대한 설명은 생략하기로 한다.
도 53은 본 발명에 따른 부가 서비스 수신 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.
도 53을 참조하면, 영상 표시 장치(100)는 시청각 컨텐트(AV content)를 수신하고(S2001), 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출한다(S2002).
구체적으로, 영상 표시 장치(100)는 상기 수신되는 시청각 컨텐트 중 일부 비디오 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보, 예를 들어 시그너처(signature)를 추출할 있다.
그 후, 영상 표시 장치(100)는 상기 추출된 제1 특징 정보를 제1 서버로 전송하고(S2003), 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스(DB, DataBase)를 상기 제1 서버로부터 수신한다(S2004).
구체적으로, 영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 상기 추출한 제1 특징 정보를 포함하는 질의를 전송할 수 있으며, 핑거프린트 서버(22)는 상기 질의에 대한 응답으로 상기 제1 특징 정보와 연관된 콘텐트 데이터 베이스를 순차적으로 전송할 수 있다.
핑거프린트 서버(22)는 상기 영상 표시 장치(100)로부터 수신된 제1 특징 정보를 이용하여 영상 표시 장치(100)에서 재생 중인 시청각 컨텐트(예를 들어, 현재 시청 중인 프로그램)를 식별한 후, 상기 제1 특징 정보에 대응되는 정보로부터 시작하여 상기 시청각 컨텐트와 관련된 모든 컨텐트 정보 또는 부가 서비스 정보를 영상 표시 장치(100)로 순차적으로 연속하여 전송할 수 있다.
상기 핑거프린트 서버(22)로부터 순차적으로 전송되는 컨텐트 정보는 도 7을 참조하여 설명한 바와 같은 포맷을 가질 수 있으며, 예를 들어 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp) 등을 포함할 수 있다.
또한, 상기 핑거프린트 서버(22)로부터 순차적으로 전송되는 부가 서비스 정보는 부가 서비스를 제공하는 부가 서비스 제공 서버(50)에 접속하기 위한 부가서비스 주소 정보, 또는 상기 부가 서비스 제공 서버(50)의 주소를 제공하는 부가 서비스 정보 제공 서버(40)에 접속하기 위한 부가서비스 정보 제공 서버 주소 정보 등을 포함할 수 있다.
위와 같은 경우, 상기 핑거프린트 서버(22)로부터 순차적으로 전송되는 컨텐트 데이터베이스는 도 7에 도시된 바와 같은 포맷을 가지는 정보를 복수 개 포함할 수 있다.
한편, 핑거프린트 서버(22)는 상기 영상 표시 장치(100)로부터 수신된 제1 특징 정보를 이용하여 영상 표시 장치(100)에서 재생 중인 시청각 컨텐트(예를 들어, 현재 시청 중인 프로그램)를 식별한 후, 상기 시청각 컨텐트와 관련된 모든 부가 서비스를 영상 표시 장치(100)로 순차적으로 연속하여 전송할 수 있다.
상기 핑거프린트 서버(22)로부터 순차적으로 전송되는 부가 서비스는 각각 이용 가능한 부가 서비스 파일을 포함할 수 있다.
즉, 핑거프린트 서버(22)는 영상 표시 장치(100)로부터 수신되는 제1 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나만을 영상 표시 장치(100)로 제공하는 것이 아니라, 내부에 존재하는 데이터베이스 중 상기 수신되는 시청각 컨텐트와 관련된 모든 데이터베이스를 영상 표시 장치(100)로 제공할 수 있다.
그 후, 영상 표시 장치(100)는 상기 제1 서버로부터 수신되는 데이터베이스를 메모리에 저장한다(S2005).
상기 핑거프린트 서버(22)로부터 상기 시청각 컨텐트와 관련된 모든 데이터베이스가 수신되어 영상 표시 장치(100)의 내부 메모리에 저장된 후에는, 수신되는 시청각 컨텐트로부터 추출된 특징 정보는 핑거프린트 서버(22)로 전송되지 아니하고 상기 영상 표시 장치(100)의 내부 메모리에 저장된 데이터베이스에서 먼저 검색될 수 있다.
한편, 향후 특징 정보를 이용하여 상기 데이터베이스를 검색할 때 검색 효율을 향상시키기 위해, 상기 핑거프린트 서버(22)로부터 전송되는 데이터베이스는 전송 순서대로 상기 메모리에 저장될 수 있으며, 상기 특징 정보 또는 컨텐트 식별 정보(Content ID)를 키 엘리먼트(key element)로 사용한 순차적 검색(linear search) 방법이 가능할 수 있다.
또한, 영상 표시 장치(100)는 도 7에 도시된 바와 같은 질의 결과 포맷 중 시그널링 채널 정보(SignalingChannelInformation)의 UpdateMode와 PollingCycle 필드 값을 이용하여 핑거프린트 서버(22)로부터 전송되는 데이터의 전송 주기를 알 수 있다.
상기 데이터베이스가 수신된 후, 영상 표시 장치(100)는 현재 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하고(S2006), 상기 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 상기 데이터베이스에서 검색하여 획득한다(S2007).
한편, 상기 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 또는 부가 서비스가 영상 표시 장치(100) 내부의 메모리에 저장된 상기 데이터베이스에 존재하지 않은 경우, 영상 표시 장치(100)는 상기 제2 추출 정보를 포함하는 질의를 핑거프린트 서버(22)로 전송하여 상기 제2 추출 정보와 관련된 데이터베이스를 수신하여 메모리에 저장할 수 있다.
이하, 도 54 내지 도 57을 참조하여, 영상 표시 장치(100)의 내부 메모리에 저장된 데이터베이스를 이용해 부가 서비스를 수신하는 방법에 대한 실시예들을 상세히 설명하기로 한다.
도 54를 참조하면, 영상 표시 장치(100)는 수신부(161), 특징 추출부(162), DB 검색부(163), 데이터베이스(164) 및 데이터 송수신부(165)를 포함할 수 있다.
수신부(161) 시청각 컨텐트(AV content)를 수신하고, 특징 추출부(162)는 상기 수신되는 시청각 컨텐트로부터 특징 정보를 추출할 수 있다.
또한, 데이터 송수신부(165)는 상기 추출된 특징 정보를 핑거프린트 서버(22)로 전송하여, 상기 특징 정보와 연관된 데이터베이스를 핑거프린트 서버(22)로부터 수신할 수 있다.
한편, 상기 수신된 데이터베이스(164)는 영상 표시 장치(100) 내부의 메모리에 저장될 수 있다.
예를 들어, 영상 표시 장치(100) 내부에 생성된 데이터베이스(164)가 복수의 특징 정보들과 그에 각각 대응되는 복수의 컨텐트 식별 정보(Content ID)들을 포함하는 경우, DB 검색부(163)는 현재 수신되는 시청각 컨텐트의 특징 정보를 특징 추출부(162)로부터 입력받아 상기 특징 정보에 대응되는 컨텐트 식별 정보(Content ID)를 상기 데이터베이스(164)에서 검색할 수 있다.
한편, 데이터 송수신부(165)는 상기 DB 검색부(163)를 통해 획득된 컨텐트 식별 정보(Content ID)를 핑거프린트 서버(22)로 전송하여, 부가 서비스 정보 제공 서버(40)의 주소를 획득할 수 있다.
그 후, 데이터 송수신부(165)는 상기 획득된 주소를 이용하여 부가 서비스 정보 제공 서버(40)에 접속해 부가 서비스 제공 서버(50)의 주소를 획득한 후, 상기 부가 서비스 제공 서버(50)에 접속하여 부가 서비스를 수신할 수 있다.
본 발명의 또 다른 실시예로서, 영상 표시 장치(100) 내부에 생성된 데이터베이스(164)가 복수의 특징 정보들과 그에 각각 대응되는 부가 서비스 정보 제공 서버(40)의 주소들을 포함하는 경우, DB 검색부(163)는 특징 추출부(162)로부터 입력되는 특징 정보를 이용하여 상기 데이터베이스(164)에서 부가 서비스 정보 제공 서버(40)의 주소를 검색할 수 있다.
이 경우, 상기 검색된 주소를 이용하여 부가 서비스 정보 제공 서버(40)에 접속해 부가 서비스 제공 서버(50)의 주소를 획득한 후, 상기 부가 서비스 제공 서버(50)에 접속하여 부가 서비스를 수신할 수 있다.
도 55를 참조하면, 영상 표시 장치(100) 내부에 생성된 데이터베이스(164)가 복수의 특징 정보들과 그에 각각 대응되는 부가 서비스 접속 정보들(즉, 부가 서비스 제공 서버(50)의 주소들)을 포함하는 경우, DB 검색부(163)는 특징 추출부(162)로부터 입력되는 특징 정보를 이용하여 상기 데이터베이스(164)에서 부가 서비스 제공 서버(50)의 주소를 검색할 수 있다.
이 경우, 상기 검색된 주소를 이용하여 부가 서비스 제공 서버(50)에 접속하여 부가 서비스를 수신할 수 있다.
도 56를 참조하면, 영상 표시 장치(100) 내부에 생성된 데이터베이스(164)가 복수의 특징 정보들과 그에 각각 대응되는 부가 서비스 파일들을 포함하는 경우, DB 검색부(163)는 특징 추출부(162)로부터 입력되는 특징 정보를 이용해 상기 데이터베이스(164)를 검색하여 상기 추출 정보에 대응되는 부가 서비스를 획득할 수 있다.
한편, 상기 시청각 컨텐트가 수신되는 채널이 전환되는 경우, 상기 채널 전환 시점으로부터 일정 시간이 경과한 후 영상 표시 장치(100)의 내부 메모리에 저장된 데이터베이스(164)가 삭제될 수 있다.
예를 들어, 상기 데이터베이스(164)는 채널 전환시 바로 삭제되지 아니하고, 상기 채널 전환 시점의 시간 정보(NTPtimStamp)를 기준으로 하여 최대 30분이 경과한 후 상기 메모리에서 삭제될 수 있다.
또한, 상기 채널 전환 후, 다시 채널이 이전 채널로 복귀되는 경우, 영상 표시 장치(100)는 DB 검색부(163)를 통해 상기 메모리에 저장된 데이터베이스(164)를 먼저 검색한 후, 특징 정보에 대응되는 정보가 존재하지 않을 때 핑거프린트 서버(22)로 상기 특징 정보를 포함하는 질의를 전송할 수 있다.
상기에서는 도 53 내지 도 56을 참조하여, 핑거프린트 기반의 컨텐트 인식 방식에 있어서 영상 표시 장치(100) 내부의 데이터베이스를 이용해 부가 서비스를 수신하는 방법에 대해 설명하였으나, 본 발명은 이에 한정되지 아니하며, 예를 들어 도 2 및 도 3을 참조하여 설명한 바와 같은 워터마크 기반의 컨텐트 인식 방식에도 적용 가능할 수 있다.
도 57을 참조하면, 영상 표시 장치(100)의 워터마크 추출부(166)는 수신되는 시청각 컨텐트에 삽입된 워터마크 정보를 추출하고, DB 검색부(163)는 상기 추출된 워터마크 정보를 이용하여 데이터베이스(164)를 검색하며, 상기 데이터베이스(164)를 검색하여 획득된 컨텐츠 정보 또는 부가 서비스 정보를 이용하여 부가 서비스를 수신할 수 있다.
예를 들어, DB 검색부(163)는 상기 워터마크 추출부(166)를 통해 추출된 상기 시청각 컨텐트에 대한 컨텐츠 식별 정보(Content ID)를 이용해 데이터베이스(164)를 검색하여 부가 서비스 접속 정보(즉, 부가 서비스 제공 서버(50)의 주소)를 획득할 수 있으며, 데이터 송수신부(165)는 상기 획득된 접속 정보를 이용해 부가 서비스 제공 서버(50)에 접속하여 부가 서비스를 수신할 수 있다.
도 58은 본 발명에 따른 부가 서비스 수신 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.
도 58을 참조하면, 영상 표시 장치(100)는 시청각 컨텐트를 수신하고(S2101), 상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출한다(S2102).
영상 표시 장치(100)는 상기 추출된 제1 특징 정보를 제1 서버로 전송하고(S2103), 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신한다(S2104).
예를 들어, 상기 제1 서버는 상기한 바와 같은 핑거프린트 서버(22)일 수 있으며, 상기 S2104에서 수신되는 컨텐츠 정보는 도 7을 참조하여 설명한 질의 결과의 포맷을 가질 수 있다.
이 경우, 영상 표시 장치(100)는 상기 핑거프린트 서버(22)로부터 수신되는 질의 결과로부터 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp)를 추출하여 저장해 놓을 수 있다.
그 후, 영상 표시 장치(100)는 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하고(S2105), 상기 추출된 제2 특징 정보를 상기 제1 서버로부터 이전 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여(S2106), 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신한다(S2017).
도 59를 참조하면, 상기 S2106 단계에서, 영상 표시 장치(100)는 핑거프린트 서버(22)로 상기 추출된 제2 특징 정보만을 전송하는 것이 아니라, 상기 제2 특징 정보에 부가하여 상기 제1 특징 정보에 따라 이전 S2104 단계에서 수신된 컨텐트 정보(예를 들어, 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp))를 함께 포함하는 질의를 핑거프린트 서버(22)로 전송할 수 있다.
한편, 핑거프린트 서버(22)는 상기 영상 표시 장치(100)로부터 수신된 특징 정보(예를 들어, 상기 제2 특징 정보), 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp)를 이용해 내부의 데이터베이스를 검색하여, 그에 대응되는 질의 결과를 영상 표시 장치(100)로 전송할 수 있다.
본 발명의 일실시예에 따르면, 상기 핑거프린트 서버(22)에서의 데이터베이스 검색 속도 및 검색 효율을 향상시키기 위해, 영상 표시 장치(100)로부터 처음 수신되는 특징 정보(예를 들어, 상기 제1 특징 정보)와 연관된 컨텐츠 정보만을 포함하는 새로운 검색 데이터베이스를 생성할 수 있다.
도 60을 참조하면, 핑거프린트 서버(22)에는 복수의 특징 정보들과 그에 각각 대응되는 컨텐츠 정보들(예를 들어, 컨텐트 식별 정보(Cotent ID), 시간 정보(Start time, End time) 및 컨텐트 관련 명칭 정보(Show name, Episode name, broadcaster) 등)을 포함하는 데이터베이스가 존재할 수 있다.
이 경우, 핑거프린트 서버(22)는 상기 제1 특징 정보를 영상 표시 장치(100)로부터 수신한 후, 상기 제1 특징 정보와 컨텐트 식별 정보(Content ID)가 동일한 특징 정보들에 대한 컨텐트 정보만로 구성된 새로운 검색 데이터베이스를 생성할 수 있다.
예를 들어, 상기 영상 표시 장치(100)로부터 수신된 제1 특징 정보가 "xyzACB123"이고, 제1 특징 정보에 대응되는 컨텐트 식별 정보(Content ID)가 "Content1234"인 경우, 컨텐트 식별 정보(Content ID)가 "Content1234"인 컨텐트 정보들만으로 구성된 도 61에 도시된 바와 같은 새로운 검색 데이터베이스가 핑거프린트 서버(22) 내에 생성될 수 있다.
그 후, 영상 표시 장치(100)로부터 수신되는 다음의 특징 정보들(예를 들어, 상기 제2 특징 정보)에 대해서는, 핑거프린트 서버(22)가 상기 새롭게 생성된 검색 데이터베이스를 이용하여 검색을 수행할 수 있다.
상기에서는, 영상 표시 장치(100)가 특징 정보에 부가하여 이전 수신된 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp)를 핑거프린트 서버(22)로 전송하는 경우를 예로 들어 본 발명의 일실시예를 설명하였으나, 본 발명은 이에 한정되지 아니한다.
도 62를 참조하면, 영상 표시 장치(100)는 현재 수신되는 시청각 컨텐트로부터 추출된 특징 정보(예를 들어, 상기 제2 특징 정보)와 이전 수신된 컨텐트 식별 정보(Cotent ID)를 포함하는 질의를 핑거프린트 서버(22)로 전송하고, 핑거프린트 서버(22)는 상기 수신된 특징 정보 및 컨텐트 식별 정보(Cotent ID)를 이용하여 도 61에 도시된 바와 같은 새롭게 생성된 검색 데이터베이스를 검색할 수 있다.
또한, 도 63에 도시된 바와 같이, 영상 표시 장치(100)는 현재 수신되는 시청각 컨텐트로부터 추출된 특징 정보(예를 들어, 상기 제2 특징 정보) 만을 포함하는 질의를 핑거프린트 서버(22)로 전송하고, 핑거프린트 서버(22)는 상기 수신된 특징 정보를 이용하여 도 61에 도시된 바와 같은 새롭게 생성된 검색 데이터베이스를 검색할 수도 있다.
이 경우, 핑거프린트 서버(22)는 처음 수신된 특징 정보(예를 들어, 상기 제1 특징 정보)에 대응되는 질의 결과를 내부에 캐싱(cashing)하고, 이 후 수신된 특징 정보(예를 들어, 상기 제2 특징 정보)와 상기 내부에 캐싱된 질의 결과를 이용해 상기 새롭게 생성된 검색 데이터베이스를 검색할 수 있다.
예를 들어, 상기 핑거프린트 서버(22) 내부에 캐싱되는 질의 결과는 상기 제1 특징 정보에 대응되는 컨텐트 식별 정보(Cotent ID) 및 시간 정보(timestamp)를 포함할 수 있다.
상기에서는 도 58 내지 도 63을 참조하여, 핑거프린트 기반의 컨텐트 인식 방식에 있어서 핑거프린트 서버(22) 내부에 새롭게 생성된 데이터베이스를 이용해 검색을 수행하는 방법에 대해 설명하였으나, 본 발명은 이에 한정되지 아니하며, 예를 들어 도 2 및 도 3을 참조하여 설명한 바와 같은 워터마크 기반의 컨텐트 인식 방식에도 적용 가능할 수 있다.
한편, 컨텐트 제공자인 방송사들은 각각 복수의 컨텐트 인식(ACR) 서비스 제공자들 중 하나 또는 그 이상과 계약을 맺고 컨텐트 정보를 제공할 수 있으며, 상기 ACR 서비스 제공자들은 서로 상이한 컨텐트 인식 방식을 이용할 수 있다.
상기와 같이 서로 다른 컨텐트 인식 방식에 따라 생성된 시청각 컨텐트는 각각에 맞는 컨텐트 인식 방식을 지원하는 컨텐트 인식(ACR) 모듈에 의해 처리되어야 한다.
그에 따라, 각 ACR 서비스 제공자는 자신이 이용하는 컨텐트 인식 방식을 지원하는 ACR 모듈을 영상 표시 장치(100)에 제공하며, 영상 표시 장치(100)는 상기 ACR 서비스 제공자와 관련된 시청각 컨텐트를 해당 ACR 모듈에 입력하여 컨텐트 정보를 획득할 수 있다.
예를 들어, 핑거프린트 기반의 컨텐트 인식 방식의 경우, 영상 표시 장치(100)는 수신되는 비압축 시청각 컨텐트를 일정 시간동안 샘플링하여 비디오 영역의 특징 정보(signature)를 추출하거나 오디오 영역의 패턴을 추출하며, 상기 특징 정보는 구체적인 컨텐트 인식 방식에 따라 서로 다르게 추출될 수 있다.
즉, 상기 컨텐트 인식 기술을 구현한 솔류션(solution)들이 다양하게 개발되며, 상기 컨텐트 인식 기술들은 서로 다른 알고리즘을 통해 비압축 시청각 컨텐트로부터 특징 정보인 패턴을 추출하여 상기 추출된 패턴은 알고리즘마다 서로 다를 수 있다.
본 발명의 일실시예에 따르면, 영상 표시 장치(100)는 서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식(ACR) 모듈들을 구비할 수 있으며, 상기 복수의 ACR 모듈들 중 수신되는 시청각 컨텐트에 맞는 어느 하나를 선택하여 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 획득할 수 있다.
도 64를 참조하면, 복수의 방송국들(11, 12, 13)은 복수의 ACR 서비스 제공자들(23, 24, 25) 중 하나 또는 그 이상에 컨텐트 정보를 제공할 수 있으며, ACR 서비스 제공자들(23, 24, 25)은 각각 서로 상이한 컨텐트 인식 방식에 따라 영상 표시 장치(100)에 컨텐트 인식 서비스를 제공할 수 있다.
한편, ACR 서비스 제공자들(23, 24, 25)이 각각 사용하는 컨텐트 인식 방식들을 지원하는 복수의 ACR 모듈들(171, 172, 173)이 영상 표시 장치(100)에 구비될 수 있다.
예를 들어, 방송국 1(11)은 ACR 서비스 제공자 1(23) 및 ACR 서비스 제공자 2(24)에 자신이 전송하는 시청각 컨텐트에 대한 정보를 제공하며, 그에 따라 ACR 서비스 제공자 1(23) 및 ACR 서비스 제공자 2(24)에 각각 대응되는 제1 ACR 모듈(171) 및 제2 ACR 모듈(172)이 다운로드되어 영상 표시 장치(100)에 존재할 수 있다.
이 경우, 방송국 1(11)로부터 수신되는 시청각 컨텐트는 영상 표시 장치(100)에 구비된 제1, 2 ACR 모듈들(171, 172) 중 어느 하나에 의해 인식될 수 있다.
또한, 방송국 2(12)는 ACR 서비스 제공자 2(24) 및 ACR 서비스 제공자 3(25)에 컨텐트 정보를 제공하며, 그에 따라 ACR 서비스 제공자 2(24) 및 ACR 서비스 제공자 3(25)에 각각 대응되는 제2 ACR 모듈(172) 및 제3 ACR 모듈(173)이 다운로드되어 영상 표시 장치(100)에 존재할 수 있다.
이 경우, 방송국 2(12)로부터 수신되는 시청각 컨텐트는 영상 표시 장치(100)에 구비된 제2, 3 ACR 모듈들(172, 173) 중 어느 하나에 의해 인식될 수 있다.
한편, 방송국 3(13)으로부터 수신되는 시청각 컨텐트는 영상 표시 장치(100)에 구비된 제3 ACR 모듈(173)에 의해 인식될 수 있다.
그를 위해, 영상 표시 장치(100)는 복수의 ACR 모듈들(171, 172, 173)을 저장할 수 있는 메모리 공간을 가지며, 미리 저장해둔 인터넷 주소를 통하여 해당 장치가 수신할 수 있는 ACR 들의의 개수와 종류를 알 수 있다.
이와 달리, 영상 표시 장치(100)는 방송사들 각각의 인터넷 주소를 미리 저장할 수 있으며, 해당 방송사의 인터넷 주소를 통하여 해당 장치가 수신할 수 있는 ACR 모듈들의 개수와 종류를 알 수 있다.
한편, 상기 ACR 모듈들은 각각 해당 모듈을 통하여 제공되는 컨텐트 정보에 대한 방송사 목록을 제공할 수 있으며, 상기 ACR 모듈은 영상 표시 장치(100)의 제조사, 방송사 및 ACR 서비스 제공자 어느 하나를 통하여 영상 표시 장치(100)로 다운로드 될 수 있다.
예를 들어, 영상 표시 장치(100)의 제조사가 ACR 모듈을 제공하는 경우, 영상 표시 장치(100)는 전원 인가시 미리 지정한 인터넷 주소를 통하여 설치 가능한 ACR 모듈들의 목록을 수신할 수 있다.
상기 수신되는 목록은 각 모듈의 버전 정보를 포함하며, 해당 모듈이 이미 영상 표시 장치(100)에 설치된 경우, 상기 설치된 ACR 모듈과 상기 목록에 포함된 모듈의 버전 정보를 비교하여 업데이트할 것인지 여부를 판단할 수 있다.
한편, 해당 모듈이 영상 표시 장치(100)에 설치되어 있지 않은 경우, 새로운 ACR 모듈을 다운로드하여 설치한다.
또한, 상기 수신된 목록에 존재하지 않는 ACR 모듈이 영상 표시 장치(100)에 설치되어 있는 경우, 해당 모듈은 더 이상 필요하지 않은 것으로 영상 표시 장치(100)에서 삭제될 수 있다.
그리고, 방송사가 ACR 모듈을 제공하는 경우, 영상 표시 장치(100)는 전원 인가시 미리 지정한 방송사 인터넷 주소를 통하여 해당 방송사를 지원하는 ACR 모듈들의 목록을 수신한다.
영상 표시 장치(100)는 모든 방송사들 각각에 대한 ACR 모듈 목록을 수신한 후, 상기 모든 방송사들의 컨텐트를 처리할 수 있는 최소의 ACR 모듈 목록을 구성할 수 있다.
그 후, 영상 표시 장치(100)는 상기 구성된 목록에 따른 ACR 모듈들을 다운로드할 수 있다.
도 65를 참조하면, 영상 표시 장치(100)의 외부 인터페이스(174)를 통해 외부 입력으로 수신되는 시청각 컨텐트 중 비디오는, 비디오 처리부(175)에 의해 픽셀(pixel) 단위의 영상 프레임을 여러 장 포함하는 데이터 블록으로 구성될 수 있다.
한편, 상기 수신되는 시청각 컨텐트 중 오디오는, 오디오 처리부(176)를 통해 PCM(Pulse Coding Modulation) 등을 이용하여 음의 높낮이를 수치화한 데이터 블록으로 구성될 수 있다.
상기와 같이, 상기 수신되는 시청각 컨텐트의 비디오 및 오디오의 포맷을 통일시켜 표준화하는 경우, 복수의 ACR 모듈들(171, 172, 173)로 입력되는 컨텐트가 동일한 포맷을 가지므로 영상 표시 장치(100)의 개발이 용이할 수 있다.
또한, ACR 모듈(171)은 비디오 처리부(175) 또는 오디오 처리부(176)로부터 입력되는 데이터 블록을 특정 알고리즘에 따라 인식하여 상기 시청각 컨텐트에 대한 정보, 예를 들어 컨텐트 식별 정보(Content ID)를 출력할 수 있다.
한편, 상기 ACR 모듈(171)로부터 출력되는 컨텐트 정보는 출력 처리부(177)에 의해 표준화된 포맷으로 변환될 수 있다.
도 66은 본 발명에 따른 부가 서비스 수신 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.
도 66을 참조하면, 영상 표시 장치(100)는 시청각 컨텐트(AV content)를 수신하고(S2201), 서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식(ACR) 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택한다(S2202).
예를 들어, 영상 표시 장치(100)는 내부에 구비된 ACR 모듈들(171, 172, 173)의 목록을 조회하고, 상기 수신되는 시청각 컨텐트(좀 더 구체적으로는, 비디오 처리부(175) 또는 오디오 처리부(176)로부터 입력되는 데이터 블록)를 ACR 모듈들(171, 172, 173)에 각각 순차적으로 입력할 수 있다.
한편, 상기 시청각 컨텐트가 입력되는 순서는 상기 미리 설정된 우선 순위에 따를 수 있으며, 상기 우선 순위는 채널 시청 시점, 채널 선호도 및 채널 수 중 어느 하나에 따라 결정될 수 있다.
예를 들어, ACR 모듈들(171, 172, 173) 중 가장 최근에 시청한 채널에 대한 컨텐트 정보를 제공하는 ACR 모듈에 상기 시청각 컨텐트가 입력되고, 그 후 시청 시점이 빠른 순서에 따라 상기 시청각 컨텐트가 순차적으로 입력될 수 있다.
또는, ACR 모듈들(171, 172, 173) 중 가장 많이 시청한 채널에 대한 컨텐트 정보를 제공하는 ACR 모듈에 상기 시청각 컨텐트가 입력되고, 그 후 시청 회수가 많은 순서에 따라 상기 시청각 컨텐트가 순차적으로 입력될 수 있다.
또는, ACR 모듈들(171, 172, 173) 중 가장 많은 채널에 대한 컨텐트 정보를 제공하는 ACR 모듈에 상기 시청각 컨텐트가 입력되고, 그 후 채널 수가 많은 순서에 따라 상기 시청각 컨텐트가 순차적으로 입력될 수 있다.
한편, 영상 표시 장치(100)에 구비된 제어부(미도시)는 상기와 같이 시청각 컨텐트가 입력된 순서대로, ACR 모듈들(171, 172, 173) 중 어느 것이 상기 시청각 컨텐트를 인식할 수 있는지 여부를 순차적으로 확인할 수 있다.
상기 확인 결과에 따라, ACR 모듈들(171, 172, 173) 중 어느 하나가 상기 시청각 컨텐트를 인식할 수 있는 경우, 즉 상기 ACR 모듈로부터 상기 시청각 컨텐트에 컨텐트 식별 정보(예를 들어, Content ID)가 출력되는 경우, 상기 제어부는 ACR 모듈들(171, 172, 173) 중에서 해당 ACR 모듈을 선택할 수 있다.
그 후, 상기 선택된 컨텐트 인식(ACR) 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하고(S2204), 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신한다(S2205).
상기 S2205 단계에서 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 방법은, 도 1 내지 도 9를 참조하여 설명한 것과 동일할 수 있으므로, 이에 대한 상세한 설명은 생략하기로 한다.
상기에서는 영상 표시 장치(100)가 3개의 ACR 모듈들을 구비하는 것을 예로 들어 본 발명의 일실시예를 설명하였으나, 본 발명은 이에 한정되지 아니하며, 2개 또는 4 개 이상의 ACR 모듈들을 구비하는 경우에도 적용 가능하다.
한편, 도 64에 도시된 바와 같은 복수의 ACR 모듈들은 기능이 유사할 수 있으나, 컨텐트 인식이 자동으로 수행되어야 하므로 영상 표시 장치(100)의 Background에서 작동하는 것이 필요하다.
본 발명의 또 다른 실시예에 따르면, 영상 표시 장치(100)는 복수의 ACR 모듈들을 구비하지 아니하고, 복수의 컨텐트 인식 방식들에 공통된 하나의 모듈을 포함하여 구성될 수 있다.
도 67을 참조하면, 영상 표시 장치(100)는 시청각 컨텐트(AV content)로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하고(S2301), 상기 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하여 샘플을 획득한다(S2302).
그 후, 영상 표시 장치(100)는 상기 획득된 샘플을 서버로 전송하고(S2303), 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신한다(S2304)
예를 들어, 영상 표시 장치(100)는 복수의 ACR 모듈들을 구비하는 부담을 감소시키기 위해, 특징 정보 등의 실제 비트 패턴을 추출하기 위한 상기 시청각 컨텐트의 미가공 데이터(raw data)를 서버로 전송할 수 있다.
그에 따라, 영상 표시 장치(100)는, 컨텐트 인식 방식에 관계없이, 수신되는 시청각 컨텐트로부터 상기 서버로 전송할 미가공 데이터(raw data)를 획득하는 모듈만을 구비할 수 있다.
한편, 상기 서버는 영상 표시 장치(100)로부터 수신되는 상기 미가공 데이터(raw data)를 처리하여 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 포함하는 질의 결과를 영상 표시 장치(100)로 제공할 수 있다.
이 경우, 컨텐트 인식 방식에 따라 필요한 데이터의 패턴이 서로 상이할 수 있으므로, 영상 표시 장치(100)와 상기 서버는 상기 송수신되는 미가공 데이터(raw data)의 패턴을 미리 협상하여 결정할 수 있다.
좀 더 구체적으로, 영상 표시 장치(100)는, 상기 미가공 데이터(raw data)로서, 수신되는 시청각 컨텐트를 샘플링하여 획득된 비디오 또는 오디오 샘플을 원본 그대로 상기 서버에 전송할 수 있다.
이 경우, 영상 표시 장치(100)는 시청각 컨텐트로부터 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 상기 서버와 협상하여 설정할 수 있으며, 상기 샘플링 파라미터는 상기 시청각 컨텐트 얼마 동안 샘플링하여 샘플을 획득할 것인지 여부에 대한 정보를 가지는 샘플링 시간을 포함할 수 있다.
즉, 상기 샘플링 시간이 충분히 길지 않은 경우 상기 서버에서 처리된 컨텐트 매칭 결과가 정확하지 않을 수 있으며, 상기 샘플링 시간이 과도하게 긴 경우에는 네트워크 전송 시간 및 상기 서버에서의 처리 시간이 불필요하게 증가될 수 있다.
또한, 상기 샘플링 파라미터는 상기 영상 표시 장치(100)로부터 전송되는 비디오 또는 오디오 샘플에 대한 속성 정보를 포함할 수 있다.
예를 들어, 비디오 샘플의 경우, 샘플링 파라미터들은 샘플링되는 영역의 크기 종횡비(aspect ratio)와 위치, 초당 프레임 수, 압축 포맷 및 샘플링 시간 등을 포함할 수 있다.
도 68을 참조하면, 상기 비디오 샘플은 상기 시청각 컨텐트의 화면(181) 전체 영역(예를 들어, HD 영상의 경우 1920x1080)을 샘플링하거나, 또는 상기 화면(181) 중 일부 영역을 샘플링하여 획득될 수 있다.
예를 들어, 상기 샘플링되는 영역은 해당 컨텐트에 대한 제목(title)이 잘 나타나는 우측 상단에 위치할 수 있으며, 상기 샘플링되는 영역의 위치는 화면(181) 중 특정 지점의 좌표 등을 사용하여 표시될 수 있다.
또한, 상기 화면(181) 전체 영역이 샘플링되는 경우, 샘플링된 비디오 샘플을 그 보다 작은 크기로 조정(resizing)된 후 상기 서버로 전송될 수도 있다.
한편, 도 69에 도시된 바와 같이, 상기 비디오 샘플은 화면(181) 중 복수의 영역들, 예를 들어 4 방향 모서리에 위치하는 영역들(182, 183, 184, 185)을 샘플링하여 획득될 수도 있다.
그리고, 상기 비디오 샘플의 초당 프레임 수는 24장, 30장 또는 60장일 수 있으며, 컨텐트 인식에 있어 시간에 민감한지 여부에 따라 상기 초당 프레임수가 결정될 수 있다.
또한, 영상 표시 장치(100)는 상기 비디오 샘플을 압축하지 않고 상기 서버로 전송하거나 또는 압축하여 전송할 수 있으며, 압축하여 전송하는 경우 압축 파일 포맷에 대한 정보(예를 들어, h.264, mpeg2-ts, wmv 등)를 상기 서버와 협의하여 결정할 수 있다.
한편, 상기 비디오 샘플이 비압축으로 전송되는 경우, RGB 비트 패턴(RGB bit pattern)인지, 또는 YPbPr 비트 패턴(YPbPr bit pattern)인지에 대한 정보가 필요할 수 있다.
상기와 같은 샘플링 파라미터들을 결정하는 것은 영상 표시 장치(100)의 하드웨어 성능과 상기 서버의 처리 성능 등에 영향을 받을 수 있으며, 영상 표시 장치(100)의 CPU 성능, 메모리 용량에 따라 전송되는 데이터 량이 조절될 수 있다.
한편, 오디오 샘플의 경우, 샘플링 파라미터들은 샘플당 비트 수, 샘플링 주파수와 주파수 대역, 채널 수, 샘플링 시간 및 압축 포맷 등을 포함할 수 있다.
예를 들어. 상기 샘플당 비트 수는 하나의 오디오 샘플에 할당한 비트수로서 16 bit 또는 32 bit 등일 수 있으며, 상기 샘플링 주파수는 상기 오디오 샘플을 샘플링할 때의 주파수로 44100, 48000 또는 14000 hz 등이 있을 수 있다.
또한, 상기 채널 수 오디오 채널의 개수로 모노 1채널, 스테레오 2채널 또는 5.1 채널 등이 있을 수 있으며, 상기 샘플링 주파수 대역은 상기 오디오 샘플을 추출하기 위해 사용하는 주파수 영역으로 저주파 영역(20∼1000 hz), 사람의 목소리 영역(200∼ 2000 hz), 중대역인 10000 hz 근처, 고주파 대역인 20000 hz 근처 등이 있을 수 있다.
좀 더 구체적으로, 컨텐트 인식 방식에 따라 사용되는 주파수 대역이 상이할 수 있으며, 전체 대역들이 모두 사용되거나 일부 대역만 사용되 수도 있고, 여러 대역들이 함께 사용될 수도 있다.
한편, 영상 표시 장치(100)는 상기 오디오 샘플을 압축하지 않고 상기 서버로 전송하거나 또는 압축하여 전송할 수 있으며, 압축하여 전송하는 경우 압축 파일 포맷에 대한 정보(예를 들어, mp3, mpeg2-ts, wmv 등)를 상기 서버와 협의하여 결정할 수 있다.
이하, 도 70 내지 도 75를 참조하여 영상 표시 장치(100)가 상기 서버와 협의하여 상기 샘플링 파라미터를 결정하는 방법에 대한 실시예들을 상세히 설명하기로 한다.
도 70을 참조하면, 영상 표시 장치(100)는 영상 표시 장치(100)가 지원 가능한 복수의 샘플링 파라미터 값들을 ACR 서버(27)로 전송한다(S2401).
예를 들어, 영상 표시 장치(100)는 도 67 내지 도 69를 참조하여 설명한 바와 같은 샘플링 파라미터들 각각에 대해 자신이 지원할 수 있는 하나 또는 그 이상의 값들을 포함하는 질의를 ACR 서버(27)로 전송할 수 있다.
도 71을 참조하면, 비압축 오디오 샘플의 경우, 영상 표시 장치(100)는 자신이 지원할 수 있는 샘플당 비트수인 16bit와 32bit, 지원 가능한 샘플링 주파수인 44100hz와 48000hz, 지원 가능한 채널 수인 Mono와 Stereo에 대한 정보를 ACR 서버(27)로 전송할 수 있다.
한편, ACR 서버(27)는 자신의 하드웨어 성능 등에 따라 영상 표시 장치(100)로부터 수신된 파라미터 값들 중 어느 하나를 선택하고(S2402), 상기 선택된 파라미터 값을 영상 표시 장치(100)로 전송한다(S2403).
도 71에 도시된 질의가 영상 표시 장치(100)로부터 수신되는 경우, ACR 서버(27)는 도 72에 도시된 바와 같이 영상 표시 장치(100)에서 지원 가능한 파라미터 값들 중에서 어느 하나를 선택하여, 샘플링 시간 정보와 함께 응답으로 영상 표시 장치(100)에 전송할 수 있다.
상기 S2401 내지 S2403 단계에 따른 협상 과정에 따라, 영상 표시 장치(100)는 상기 ACR 서버(27)에서 선택된 값들로 상기 샘플링 파라미터들을 설정할 수 있다.
그 후, 영상 표시 장치(100)는 상기 설정된 샘플링 파라미터들에 따라 시청각 컨텐트를 샘플링해 샘플을 생성하여 ACR 서버(27)로 전송하고(S2404, S2406), ACR 서버(27)는 상기 전송된 샘플을 이용하여 상기 시청각 컨텐트에 대한 컨텐츠 식별 정보를 영상 표시 장치(100)로 전송한다(S2405, S2407).
예를 들어, ACR 서버(27)는 상기 영상 표시 장치(100)로부터 전송된 샘플로부타 특징 정보(signature)인 패턴을 추출하고, 상기 패턴에 매칭되는 결과를 영상 표시 장치(100)로 전송할 수 있다.
한편, 상기 ACR 서버(27)에서 매칭된 결과는 도 7에 도시된 바와 같은 질의 결과일 수 있으며, 예를 들어, 컨텐트 식별 정보(Content ID) 및 시간 정보(timestamp) 등을 포함할 수 있다.
압축 비디오 샘플의 경우, 영상 표시 장치(100)는 도 73에 도시된 바와 같은 정보를 포함하는 질의를 ACR 서버(27)로 전송하여, 도 74에 도시된 바와 같은 정보를 포함하는 응답을 ACR 서버(27)로부터 수신하여, 상기 샘플링 파라미터를 설정할 수 있다.
한편, 도 75를 참조하면, 영상 표시 장치(100)와 ACR 서버(27) 사이의 협상 과정에서, 영상 표시 장치(100)가 ACR 서버(27)로 ACR 세션 연결을 요청하면(S2501), ACR 서버(27)가 상기한 바와 같은 지원 가능한 파라미터 값들을 영상 표시 장치고 전송하고(S2502), 영상 표시 장치(100)가 상기 ACR 서버(27)가 지원 가능한 값들 중 하나를 선택하여(S2503) ACR 서버(27)로 전송할 수도 있다.
도 76은 상기 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하는 영상 표시 장치(100)의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 영상 표시 장치(100)는 수신부(191), 샘플링부(192), 파라미터 설정부(193) 및 데이터 송수신부(194)를 포함할 수 있다.
도 76을 참조하면, 파라미터 설정부(193)는 도 67 내지 도 75를 참조하여 설명한 바와 같은 방법을 이용하여 시청각 컨텐트로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정할 수 있다.
한편, 샘플링부(192)는 수신부(191)를 통해 수신되는 상기 수신되는 시청각 컨텐트를 상기 설정된 파라미터에 따라 샘플링하여 샘플을 획득할 수 있다.
또한, 데이터 송수신부(194)는 상기 획득된 샘플을 ACR 서버(27)로 전송하여, 상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 ACR 서버(27)로부터 수신할 수 있다.
도 77은 영상 표시 장치로부터 수신되는 샘플을 이용해 컨텐츠를 식별하는 ACR 서버(27)의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 ACR 서버(27)는 데이터 송수신부(301), 패턴 추출부(302), 패턴 매칭부(303) 및 데이터베이스(304)를 포함할 수 있다.
도 77을 참조하면, 패턴 추출부(302)는 상기 설정된 샘플링 파라미터에 따라 데이터 송수신부(301)를 통해 영상 표시 장치(100)로부터 수신되는 샘플로부터 특징 정보인 패턴(예를 들어, 비트 패턴인 시그너처)를 추출할 수 있다.
또한, 패턴 매칭부(303)는 상기 추출된 패턴을 이용해 데이터베이스(304)를 검색하여, 매칭된 결과, 예를 들어 컨텐트 식별 정보(Content ID) 및 시간 정보(timestamp) 등을 포함하는 질의 결과를 획득할 수 있다.
다음은 도 78과 도 79를 참조하여 본 발명의 다양한 실시예에 따른 영상 표시 장치의 구조를 설명한다.
도 78은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 78에서, Tuner(501)는 air 채널을 통해 전송되는 8-VSB RF 신호로부터 Symbol을 추출한다.
8-VSB Demodulator(503)는 Tuner(501)가 추출한 8-VSB Symbol을 복조하여 의미 있는 디지털 데이터를 복원한다.
VSB Decoder(505)는 8-VSB Demodulator(503)가 복원한 디지털 데이터를 복호하여 ATSC 메인 서비스와 ATSC M/H 서비스를 복원한다.
MPEG-2 TP Demux(507)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet 또는 PVR Storage에 저장된 MPEG-2 Transport Packet 중에서 영상 표시 장치(100)가 처리하고자 하는 Transport Packet을 필터링하여 적절한 처리 모듈로 중계한다.
PES 디코더(539)는 MPEG-2 Transport Stream을 통하여 전송된 Packetized Elementary Stream을 Buffering하고 복원한다.
PSI/PSIP 디코더(541)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Section Data를 Buffering하고 분석한다. 분석된 PSI/PSIP 데이터는 Service Manager(미도시)에 의하여 수집되어, Service Map 및 Guide data 형태로 DB에 저장된다.
DSMCC Section Buffer/Handler (511)은 MPEG-2 TP를 통하여 전송되는 파일 전송 및 IP Datagram encapsulation 등을 위한 DSMCC Section Data를 버퍼링(Buffering)하고 처리한다.
IP/UDP Datagram Buffer/Header Parser(513)는 DSMCC Addressable section을 통해 encapsulate되어 MPEG-2 TP를 통하여 전송되는 IP Datagram을 버퍼링하고 복원하여 각 Datagram의 Header를 분석한다. 또한, IP/UDP Datagram Buffer/Header Parser(513)는 IP Datagram을 통하여 전송되는 UDP Datagram을 Buffering 및 복원하고, 복원된 UDP Header를 분석 및 처리한다.
Stream component handler(557)는 ES Buffer/Handler, PCR Handler, STC 모듈, Descrambler, CA Stream Buffer/Handler, Service Signaling Section Buffer/Handler를 포함할 수 있다.
ES Buffer/Handler는 PES 형태로 전송된 Video, Audio 데이터 등의 Elementary Stream을 Buffering 및 복원하여 적절한 A/V Decoder로 전달한다.
PCR Handler는 Audio 및 Video Stream의 Time synchronization 등을 위하여 사용되는 PCR (Program Clock Reference) Data를 처리한다.
STC 모듈은 PCR Handler를 통하여 전달받은 Reference Clock 값을 이용하여, A/V Decoder 들의 Clock 값을 보정하여 Time Synchronization를 수행한다.
수신된 IP Datagram의 Payload에 Scrambling이 적용된 경우, Descrambler는 CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
CA Stream Buffer/Handler는 MPEG-2 TS또는 IP Stream을 통하여 전송되는 Conditional Access 기능을 위하여 전송되는 EMM, ECM 등의 Descrambling을 위한 Key 값 등의 Data를 Buffering 및 처리한다. CA Stream Buffer/Handler의 Output은 Descrambler로 전달되어, descrambler는 A/V Data 및 File Data등을 전송하는 MPEG-2 TP 또는 IP Datagram의 암호화 해제작업을 수행한다.
Service Signaling Section Buffer/Handler는 IP Datagram의 형태로 전송되는 NRT Service Signaling Channel Section Data를 Buffering 하고 복원하며 분석한다. Service Manager(미도시)는 분석된 NRT Service Signaling Channel Section 데이터를 수집하여, Service Map 및 Guide data 형태로 DB에 저장한다.
A/V Decoder(561)는 ES Handler를 통하여 전달받은 Audio/Video 데이터의 압축을 복호화하여, 사용자에게 Presentation한다.
MPEG-2 Service Demux(미도시)는 MPEG-2 TP Buffer/Parser, Descrambler, PVR Storage 모듈을 포함할 수 있다.
MPEG-2 TP Buffer/Parser (미도시)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet을 Buffering 및 복원하고, Transport Packet Header를 검출 및 처리한다.
Descrambler는 MPEG-2 TP 중, Scramble이 적용된 Packet payload에 대하여, CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
PVR Storage 모듈은 사용자의 요구 등에 따라 8-VSB 신호를 이용하여 수신된 MPEG-2 TP를 저장하고, 또한 사용자의 요구에 의해 MPEG-2 TP를 출력한다. PVR Storage 모듈은 PVR Manager(미도시)에 의해 제어될 수 있다.
File Handler(551)는 ALC/LCT Buffer/Parser, FDT Handler, XML Parser, File Reconstruction Buffer, Decompressor, File Decoder, File Storage를 포함할 수 있다.
ALC/LCT Buffer/Parser는 UDP/IP Stream으로 전송되는 ALC/LCT 데이터를 Buffering 및 복원하고, ALC/LCT의 Header 및 Header extension을 분석한다. ALC/LCT Buffer/Parser는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
FDT Handler는 ALC/LCT session을 통하여 전송되는 FLUTE protocol의 File Description Table을 분석 및 처리한다. FDT Handler는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
XML Parser는 ALC/LCT session을 통하여 전송되는 XML Document를 분석하여, FDT Handler, SG Handler 등 적절한 모듈로 분석된 데이터를 전달한다.
File Reconstruction Buffer는 ALC/LCT, FLUTE session으로 전송되는 파일을 복원한다.
Decompressor는?? ALC/LCT, FLUTE session으로 전송되는 파일이 압축되어 있는 경우, 그 압축을 해제하는 프로세스를 수행한다.
File Decoder는 File Reconstruction Buffer에서 복원된 File 또는 Decompressor에서 압축해제된 파일, 또는 File Storage에서 추출된 File을 Decoding한다.
File Storage는 복원된 파일을 필요에 의하여 저장하거나 추출한다.
M/W Engine(미도시)은 DSMCC Section, IP Datagram 등을 통하여 전송되는 A/V Stream이 아닌 파일 등의 Data를 처리한다. , M/W Engine은 처리된 데이터를 Presentation Manager 모듈로 전달한다.
SG Handler(미도시)는 XML Document 형태로 전송되는 Service Guide 데이터를 수집하고 분석하여 EPG Manager에게 전달하는 프로세스를 수행한다.
Service Manager(미도시)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Data, IP Stream으로 전송되는 Service Signaling Section Data를 수집하고 분석하여 Service Map을 제작한다. Service Manager(미도시)는 제작한 service map을 Service Map ＆ Guide Database에 저장하며, 사용자가 원하는 Service에 대한 access를 제어한다. Operation Controller(미도시)에 의하여 제어되며, Tuner(501), MPEG-2 TP Demux(507), IP Datagram Buffer/Handler (513) 등에 대한 제어를 수행한다.
NRT Service Manager(미도시)는 IP layer 상에서 FLUTE session을 통하여 object/file 형태로 전송되는 NRT 서비스에 대한 전반적인 관리를 수행한다. NRT Service Manager(미도시)는 FDT Handler, File Storage등을 제어할 수 있다.
Application Manager(미도시)는 Object, file 등의 형태로 전송되는 Application 데이터의 처리에 관한 전반적인 관리를 수행한다.
UI Manager(미도시)는 User Interface를 통하여 사용자의 Input을 Operation Controller에 전달하고, 사용자가 요구하는 서비스를 위한 Process의 동작을 시작한다.
Operation Controller(미도시)는 UI Manager를 통하여 전달받은 사용자의 Command를 처리하고, 필요한 모듈의 Manager가 해당 Action을 수행하게 한다.
Fingerprint Extractor(565)는 Audio/Video 스트림으로 부터 fingerprint 특징 정보를 추출한다.
Fingerprint Comparator(567)는 Fingerprint Extractor가 추출한 특징 정보와 Reference fingerprint를 비교하여 일치하는 컨텐트를 찾는다. Fingerprint Comparator(567)는 Local에 저장된 Reference fingerprint DB를 이용할 수도 있고, 인터넷 상의 Fingerprint 질의 서버에 질의하여 결과를 수신할 수도 있다. 비교 결과로 매칭된 결과 데이터는 Application에 전달되어 이용될 수 있다.
Application(569)은 ACR 기능을 관장하는 모듈 혹은 ACR에 기반하여 Enhanced 서비스를 제공하는 어플리케이션 모듈로서, 시청중인 방송 컨텐트를 식별하여 이와 연계된 확장된 서비스를 제공한다.
도 79는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 79에 도시된 워트마크 기반의 영상 표시 장치는 도 78에 도시된 핑거프린트 기반의 영상 표시 장치와 유사하나, 핑거프린트 기반의 영상 표시 장치의 Fingerprint Extractor(565)와 Fingerprint Comparator(567)를 포함하지 않으며, 대신 Watermark Extractor(566)를 더 포함한다.
Watermark Extractor(566)는 Audio/Video 스트림으로부터 watermark형태로 삽입된 데이터를 추출한다. 이렇게 추출된 데이터는 Application에 전달되어 이용될 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 영상 표시 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
Claims (37)
- 컨텐트를 재생하는 영상표시장치에서 부가 서비스를 수신하는 방법에 있어서,
시청각 컨텐트(AV content)를 수신하는 단계;
상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계;
상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 상기 제1 서버로부터 수신하는 단계;
상기 제1 서버로부터 수신되는 데이터베이스를 메모리에 저장하는 단계;
상기 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및
상기 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 상기 데이터베이스에서 검색하여 획득하는 단계를 포함하는 부가 서비스 수신 방법. - 제1항에 있어서, 상기 데이터베이스 수신 단계는
상기 제1 특징 정보가 추출된 시청각 컨텐트에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 순차적으로 수신하는 부가 서비스 수신 방법. - 제1항에 있어서, 상기 데이터베이스 수신 단계는
상기 시청각 컨텐트가 수신된 채널에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 순차적으로 수신하는 부가 서비스 수신 방법. - 제1항에 있어서, 상기 데이터베이스 수신 단계는
상기 시청각 컨텐트를 제공한 컨텐트 제공자에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나를 순차적으로 수신하는 부가 서비스 수신 방법. - 제1항에 있어서, 상기 컨텐트 정보는
상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보(content ID)를 포함하는 부가 서비스 수신 방법. - 제5항에 있어서,
상기 데이터베이스에서 검색하여 획득된 상기 제2 특징 정보에 대응되는 컨텐트 식별 정보를 상기 제1 서버로 전송하여, 상기 부가 서비스를 제공하는 제2 서버에 접속하기 위한 부가서비스 주소 정보를 상기 제1 서버로부터 수신하는 단계; 및
상기 수신된 부가서비스 주소 정보를 이용해 상기 제2 서버에 접속하여 상기 부가서비스를 수신하는 단계를 더 포함하는 부가 서비스 수신 방법. - 제1항에 있어서, 상기 부가 서비스 정보는
상기 부가 서비스를 제공하는 제2 서버에 접속하기 위한 부가서비스 주소 정보를 포함하는 부가 서비스 수신 방법. - 제7항에 있어서,
상기 데이터베이스에서 검색하여 획득된 상기 제2 특징 정보에 대응되는 부가서비스 주소 정보를 이용해 상기 제2 서버에 접속하여 상기 부가서비스를 획득하는 단계를 더 포함하는 부가 서비스 수신 방법. - 제1항에 있어서,
상기 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나가 상기 데이터베이스에 존재하지 않는 경우, 상기 제2 특징 정보를 상기 제1 서버로 전송하는 단계를 더 포함하는 부가 서비스 수신 방법. - 제1항에 있어서,
상기 시청각 컨텐트가 수신되는 채널이 전환되는 경우, 상기 채널 전환 시점으로부터 일정 시간이 경과한 후 상기 메모리에 저장된 데이터베이스를 삭제하는 단계를 더 포함하는 부가 서비스 수신 방법. - 컨텐트를 재생하는 영상표시장치에서 부가 서비스를 수신하는 방법에 있어서,
시청각 컨텐트를 수신하는 단계;
상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 단계;
상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 단계;
상기 수신되는 시청각 컨텐트로부터 제2 특징 정보를 추출하는 단계; 및
상기 추출된 제2 특징 정보를 상기 제1 서버로부터 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여, 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 단계를 포함하는 부가 서비스 수신 방법. - 제11항에 있어서, 상기 컨텐트 정보는
상기 제1 특징 정보가 추출된 시청각 컨텐트에 대한 컨텐트 식별 정보 및 시간 정보를 포함하는 부가 서비스 수신 방법. - 제12항에 있어서,
상기 컨텐트 식별 정보가 동일한 특징 정보들에 대한 컨텐트 정보로 구성된 데이터베이스가 상기 제1 서버에 생성되는 부가 서비스 수신 방법. - 컨텐트를 재생하는 영상표시장치에서 부가 서비스를 수신하는 방법에 있어서,
시청각 컨텐트(AV content)를 수신하는 단계;
서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택하는 단계; 및
상기 선택된 컨텐트 인식 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하여, 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 단계를 포함하는 부가 서비스 수신 방법. - 제14항에 있어서, 상기 우선 순위는
채널 시청 시점, 채널 선호도 및 채널 수 중 어느 하나에 따라 결정되는 부가 서비스 수신 방법. - 제14항에 있어서, 상기 선택 단계는
상기 복수의 컨텐트 인식 모듈들 각각에 대해, 상기 수신되는 시청각 컨텐트를 인식할 수 있는지 여부를 상기 우선 순위에 따라 순차적으로 확인하는 단계를 포함하는 부가 서비스 수신 방법. - 컨텐트를 재생하는 영상표시장치에서 부가 서비스를 수신하는 방법에 있어서,
시청각 컨텐트(AV content)로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하는 단계;
상기 설정된 파라미터에 따라 시청각 컨텐트를 샘플링하여 샘플을 획득하는 단계: 및
상기 획득된 샘플을 서버로 전송하여, 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신하는 단계를 포함하는 부가 서비스 수신 방법. - 제17항에 있어서, 상기 샘플링 파라미터는
상기 획득되는 샘플이 비디오인 경우, 샘플링되는 영역의 크기 종횡비(aspect ratio) 및 위치, 초당 프레임 수, 압축 포맷 및 샘플링 시간 중 적어도 하나를 포함하는 부가 서비스 수신 방법. - 제17항에 있어서, 상기 샘플링 파라미터는
상기 획득되는 샘플이 오디오인 경우, 샘플당 비트 수, 샘플링 주파수 및 주파수 대역, 채널 수, 샘플링 시간 및 압축 포맷 중 적어도 하나를 포함하는 부가 서비스 수신 방법. - 제17항에 있어서, 상기 파라미터 설정 단계는
상기 영상 표시 장치가 지원 가능한 복수의 샘플링 파라미터 값들을 상기 서버로 전송하는 단계;
상기 전송된 샘플링 파라미터 값들 중에서 선택된 어느 하나를 상기 서버로부터 수신하는 단계를 포함하는 부가 서비스 수신 방법. - 제17항에 있어서, 상기 파라미터 설정 단계는
상기 서버가 지원 가능한 복수의 샘플링 파라미터 값들을 수신하는 단계;
상기 수신된 샘플링 파라미터 값들 중 어느 하나를 선택하는 단계를 포함하는 부가 서비스 수신 방법. - 컨텐트를 재생하는 영상표시장치에 있어서,
시청각 컨텐트(AV content)를 수신하는 수신부;
상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 특징추출부;
상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보와 연관된 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 적어도 하나를 포함하는 데이터베이스를 상기 제1 서버로부터 수신하는 데이터 송수신부; 및
상기 제1 서버로부터 수신되는 데이터베이스를 저장하는 메모리를 포함하고,
상기 시청각 컨텐트로부터 추출된 제2 특징 정보에 대응되는 컨텐트 정보, 부가 서비스 정보 및 부가 서비스 중 어느 하나는 상기 데이터베이스를 검색하여 획득되는 영상 표시 장치. - 제22항에 있어서, 상기 컨텐트 정보는
상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보(content ID)를 포함하는 영상 표시 장치. - 제23항에 있어서, 상기 데이터 송수신부는
상기 데이터베이스를 검색하여 획득된 상기 제2 특징 정보에 대응되는 컨텐트 식별 정보를 상기 제1 서버로 전송하여, 상기 부가 서비스를 제공하는 제2 서버에 접속하기 위한 부가서비스 주소 정보를 상기 제1 서버로부터 수신하고,
상기 수신된 부가서비스 주소 정보를 이용해 상기 제2 서버에 접속하여 상기 부가서비스를 수신하는 영상 표시 장치. - 제22항에 있어서, 상기 부가 서비스 정보는
상기 부가 서비스를 제공하는 제2 서버에 접속하기 위한 부가서비스 주소 정보를 포함하는 영상 표시 장치. - 제25항에 있어서, 상기 데이터 송수신부는
상기 데이터베이스를 검색하여 획득된 상기 제2 특징 정보에 대응되는 부가서비스 주소 정보를 이용해 상기 제2 서버에 접속하여 상기 부가서비스를 획득하는 영상 표시 장치. - 제22항에 있어서,
상기 시청각 컨텐트가 수신되는 채널이 전환되는 경우, 상기 채널 전환 시점으로부터 일정 시간이 경과한 후 상기 메모리에 저장된 데이터베이스가 삭제되는 영상 표시 장치. - 컨텐트를 재생하는 영상표시장치에 있어서,
시청각 컨텐트를 수신하는 수신부;
상기 수신되는 시청각 컨텐트로부터 제1 특징 정보를 추출하는 특징추출부; 및
상기 추출된 제1 특징 정보를 제1 서버로 전송하여, 상기 제1 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 데이터 송수신부를 포함하고,
상기 데이터 송수신부는
상기 시청각 컨텐트로부터 추출된 제2 특징 정보를 상기 제1 서버로부터 수신된 컨텐트 정보와 함께 상기 제1 서버로 전송하여, 상기 제2 특징 정보에 대응되는 컨텐트 정보를 상기 제1 서버로부터 수신하는 영상 표시 장치. - 제28항에 있어서, 상기 컨텐트 정보는
상기 제1 특징 정보가 추출된 시청각 컨텐트에 대한 컨텐트 식별 정보 및 시간 정보를 포함하는 영상 표시 장치. - 제29항에 있어서,
상기 컨텐트 식별 정보가 동일한 특징 정보들에 대한 컨텐트 정보로 구성된 데이터베이스가 상기 제1 서버에 생성되는 영상 표시 장치. - 컨텐트를 재생하는 영상표시장치에 있어서,
시청각 컨텐트(AV content)를 수신하는 수신부;
서로 상이한 컨텐트 인식 방식을 지원하는 복수의 컨텐트 인식 모듈들;
상기 컨텐트 인식 모듈들 중 어느 하나를 미리 설정된 우선 순위에 따라 선택하는 제어부; 및
상기 선택된 컨텐트 인식 모듈을 이용하여 획득된 상기 시청각 컨텐트에 대한 컨텐트 식별 정보를 서버로 전송하여, 상기 컨텐트 식별 정보에 대응되는 부가 서비스를 수신하는 데이터 송수신부를 포함하는 영상 표시 장치. - 제31항에 있어서, 상기 우선 순위는
채널 시청 시점, 채널 선호도 및 채널 수 중 어느 하나에 따라 결정되는 영상 표시 장치. - 컨텐트를 재생하는 영상표시장치에 있어서,
시청각 컨텐트(AV content)로부터 일부 샘플을 추출하기 위한 적어도 하나의 샘플링 파라미터를 설정하는 파라미터설정부;
시청각 컨텐트를 수신하는 수신부;
상기 설정된 파라미터에 따라 상기 수신되는 시청각 컨텐트를 샘플링하여 샘플을 획득하는 샘플링부: 및
상기 획득된 샘플을 서버로 전송하여, 상기 수신되는 시청각 컨텐트에 대한 컨텐트 식별 정보를 상기 서버로부터 수신하는 데이터 송수신부를 포함하는 영상 표시 장치. - 제33항에 있어서, 상기 샘플링 파라미터는
상기 획득되는 샘플이 비디오인 경우, 샘플링되는 영역의 크기 종횡비(aspect ratio) 및 위치, 초당 프레임 수, 압축 포맷 및 샘플링 시간 중 적어도 하나를 포함하는 영상 표시 장치. - 제33항에 있어서, 상기 샘플링 파라미터는
상기 획득되는 샘플이 오디오인 경우, 샘플당 비트 수, 샘플링 주파수 및 주파수 대역, 채널 수, 샘플링 시간 및 압축 포맷 중 적어도 하나를 포함하는 영상 표시 장치. - 제33항에 있어서, 상기 제어부는
상기 영상 표시 장치가 지원 가능한 복수의 샘플링 파라미터 값들을 상기 서버로 전송하고, 상기 전송된 샘플링 파라미터 값들 중에서 선택된 어느 하나를 상기 서버로부터 수신하도록 상기 데이터 송수신부를 제어하는 영상 표시 장치. - 제33항에 있어서, 상기 파라미터설정부는
상기 서버로부터 수신되는 지원 가능한 복수의 샘플링 파라미터 값들 중 어느 하나를 선택하는 영상 표시 장치.
Applications Claiming Priority (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US41720110P | 2010-11-24 | 2010-11-24 | |
| US61/417,201 | 2010-11-24 | ||
| US42162310P | 2010-12-09 | 2010-12-09 | |
| US61/421,623 | 2010-12-09 | ||
| US201161525840P | 2011-08-21 | 2011-08-21 | |
| US61/525,840 | 2011-08-21 | ||
| US201161536064P | 2011-09-19 | 2011-09-19 | |
| US61/536,064 | 2011-09-19 | ||
| US201161549238P | 2011-10-20 | 2011-10-20 | |
| US201161549237P | 2011-10-20 | 2011-10-20 | |
| US61/549,238 | 2011-10-20 | ||
| US61/549,237 | 2011-10-20 | ||
| PCT/KR2011/009043 WO2012070901A2 (ko) | 2010-11-24 | 2011-11-24 | 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147016913A Division KR101706832B1 (ko) | 2010-11-24 | 2011-11-24 | 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130083457A true KR20130083457A (ko) | 2013-07-22 |
| KR101506823B1 KR101506823B1 (ko) | 2015-03-30 |
Family
ID=46146328
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137013223A KR101506823B1 (ko) | 2010-11-24 | 2011-11-24 | 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 |
| KR1020147016913A KR101706832B1 (ko) | 2010-11-24 | 2011-11-24 | 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147016913A KR101706832B1 (ko) | 2010-11-24 | 2011-11-24 | 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (4) | US8990876B2 (ko) |
| EP (1) | EP2645732A4 (ko) |
| KR (2) | KR101506823B1 (ko) |
| CN (1) | CN103299648B (ko) |
| CA (1) | CA2820574C (ko) |
| DE (1) | DE112011103903B4 (ko) |
| GB (1) | GB2499754B (ko) |
| WO (1) | WO2012070901A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160029552A (ko) * | 2014-09-05 | 2016-03-15 | 엘지전자 주식회사 | 전자 기기, 및 그 동작 방법 |
| US9323857B2 (en) | 2013-10-31 | 2016-04-26 | Electronics And Telecommunications Research Institute | System and method for providing content-related information based on digital watermark and fingerprint |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9661397B2 (en) * | 2010-12-26 | 2017-05-23 | Lg Electronics Inc. | Broadcast service transmitting method, broadcast service receiving method and broadcast service receiving apparatus |
| RU2594000C2 (ru) | 2011-08-05 | 2016-08-10 | Сони Корпорейшн | Приемное устройство, способ приема, носитель записи и система обработки информации |
| WO2013116779A1 (en) * | 2012-02-01 | 2013-08-08 | Futurewei Technologies, Inc. | System and method for organizing multimedia content |
| US8832723B2 (en) | 2012-02-07 | 2014-09-09 | Turner Broadcasting System, Inc. | Method and system for a synchronous event manager for automatic content recognition |
| EP2800392A4 (en) * | 2012-02-10 | 2015-09-09 | Lg Electronics Inc | IMAGE DISPLAY DEVICE AND OPERATING METHOD THEREFOR |
| US10255227B2 (en) * | 2012-05-21 | 2019-04-09 | Oath Inc. | Computerized system and method for authoring, editing, and delivering an interactive social media video |
| US9423925B1 (en) * | 2012-07-11 | 2016-08-23 | Google Inc. | Adaptive content control and display for internet media |
| MX343885B (es) | 2012-09-12 | 2016-11-25 | Lg Electronics Inc | Aparato y metodo para procesar un servicio interactivo. |
| US9167276B2 (en) | 2012-12-28 | 2015-10-20 | Turner Broadcasting System, Inc. | Method and system for providing and handling product and service discounts, and location based services (LBS) in an automatic content recognition based system |
| KR20150120350A (ko) * | 2013-02-14 | 2015-10-27 | 엘지전자 주식회사 | 영상 표시 장치 및 그 동작 방법 |
| CN105009596B (zh) * | 2013-02-21 | 2018-08-17 | Lg 电子株式会社 | 视频显示设备及其操作方法 |
| US8738629B1 (en) | 2013-05-03 | 2014-05-27 | Splunk Inc. | External Result Provided process for retrieving data stored using a different configuration or protocol |
| US9916367B2 (en) | 2013-05-03 | 2018-03-13 | Splunk Inc. | Processing system search requests from multiple data stores with overlapping data |
| US20150019653A1 (en) * | 2013-07-15 | 2015-01-15 | Civolution B.V. | Method and system for adding an identifier |
| KR20150069760A (ko) * | 2013-12-16 | 2015-06-24 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| CN103699501A (zh) * | 2013-12-17 | 2014-04-02 | 上海斐讯数据通信技术有限公司 | 一种移动终端的音频设备管理方法及系统 |
| WO2015100070A1 (en) * | 2013-12-27 | 2015-07-02 | Alibaba Group Holding Limited | Presenting information based on a video |
| US10504200B2 (en) | 2014-03-13 | 2019-12-10 | Verance Corporation | Metadata acquisition using embedded watermarks |
| CN106170988A (zh) * | 2014-03-13 | 2016-11-30 | 凡瑞斯公司 | 使用嵌入式代码的交互式内容获取 |
| CN105100147A (zh) * | 2014-05-09 | 2015-11-25 | 中兴通讯股份有限公司 | 一种基于内容提供商与服务提供商分离的控制方法及装置 |
| EP3183883A4 (en) | 2014-08-20 | 2018-03-28 | Verance Corporation | Watermark detection using a multiplicity of predicted patterns |
| KR102199568B1 (ko) | 2014-11-10 | 2021-01-07 | 엘지전자 주식회사 | 전자 장치 및 그 동작 방법 |
| KR20160146022A (ko) * | 2015-06-11 | 2016-12-21 | 삼성전자주식회사 | 디스플레이장치, 사용자단말기 및 그 제어방법 |
| JP6633739B2 (ja) * | 2015-08-20 | 2020-01-22 | エルジー エレクトロニクス インコーポレイティド | 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法 |
| CN105898614A (zh) * | 2015-08-21 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 一种设置屏幕菜单的透明度的方法、装置和芯片 |
| US10841462B2 (en) * | 2015-10-01 | 2020-11-17 | William BOLLMAN | Wireless networked record session device |
| KR102424839B1 (ko) | 2015-10-14 | 2022-07-25 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
| US20170150231A1 (en) * | 2015-11-19 | 2017-05-25 | Echostar Technologies Llc | Media content delivery selection |
| KR101757878B1 (ko) | 2015-12-10 | 2017-07-14 | 삼성전자주식회사 | 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템 |
| KR102560635B1 (ko) * | 2015-12-28 | 2023-07-28 | 삼성전자주식회사 | 컨텐트 인식 장치 및 그 동작 방법 |
| KR102482207B1 (ko) * | 2016-03-11 | 2022-12-29 | 삼성전자주식회사 | 디지털 방송 시스템에서 서비스 전환을 위한 방법 및 장치 |
| US10701438B2 (en) | 2016-12-31 | 2020-06-30 | Turner Broadcasting System, Inc. | Automatic content recognition and verification in a broadcast chain |
| CN107197395B (zh) * | 2017-05-05 | 2019-08-20 | 中广热点云科技有限公司 | 一种为视频终端提供增强服务的方法 |
| KR102418992B1 (ko) * | 2017-11-23 | 2022-07-11 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법 |
| CN111090836A (zh) * | 2018-10-23 | 2020-05-01 | 阿里巴巴集团控股有限公司 | 数据处理、水印嵌入和水印提取方法、装置及设备 |
| US11099811B2 (en) | 2019-09-24 | 2021-08-24 | Rovi Guides, Inc. | Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion |
| US11722741B2 (en) | 2021-02-08 | 2023-08-08 | Verance Corporation | System and method for tracking content timeline in the presence of playback rate changes |
| US11778261B2 (en) | 2021-09-14 | 2023-10-03 | Sony Group Corporation | Electronic content glossary |
| WO2024010110A1 (ko) * | 2022-07-06 | 2024-01-11 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
| CN116775752B (zh) * | 2023-08-25 | 2023-11-17 | 广东南方电信规划咨询设计院有限公司 | 对数据进行可视化处理的方法及装置 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5223924A (en) * | 1992-05-27 | 1993-06-29 | North American Philips Corporation | System and method for automatically correlating user preferences with a T.V. program information database |
| US6240555B1 (en) * | 1996-03-29 | 2001-05-29 | Microsoft Corporation | Interactive entertainment system for presenting supplemental interactive content together with continuous video programs |
| US7325201B2 (en) * | 2000-05-18 | 2008-01-29 | Endeca Technologies, Inc. | System and method for manipulating content in a hierarchical data-driven search and navigation system |
| US20030066091A1 (en) * | 2001-10-03 | 2003-04-03 | Koninklijke Philips Electronics N.V. | Business models, methods, and apparatus for unlocking value-added services on the broadcast receivers |
| US20030070169A1 (en) * | 2001-10-09 | 2003-04-10 | Beyers Robert J. | Triggered media content in a subscriber television system |
| US7987491B2 (en) * | 2002-05-10 | 2011-07-26 | Richard Reisman | Method and apparatus for browsing using alternative linkbases |
| US20040003394A1 (en) * | 2002-07-01 | 2004-01-01 | Arun Ramaswamy | System for automatically matching video with ratings information |
| US20040086120A1 (en) * | 2002-11-06 | 2004-05-06 | Akins Glendon L. | Selecting and downloading content to a portable player |
| KR100628129B1 (ko) | 2004-10-01 | 2006-09-26 | 엘지전자 주식회사 | 디지털 방송 수신 장치 및 그의 프로그램 정보 표시 방법 |
| US20070022437A1 (en) * | 2005-07-19 | 2007-01-25 | David Gerken | Methods and apparatus for providing content and services coordinated with television content |
| KR20070077744A (ko) | 2006-01-24 | 2007-07-27 | 삼성전자주식회사 | 디지털멀티미디어방송 수신 단말의 데이터 방송 서비스간략 정보 제공 방법 및 장치 |
| KR100876743B1 (ko) | 2006-02-10 | 2009-01-07 | 삼성전자주식회사 | 디지털 방송 프로그램 부가 정보의 전송 장치 및 방법 |
| CN100421410C (zh) * | 2006-06-13 | 2008-09-24 | 中国移动通信集团公司 | 移动通信网络多媒体增强业务的实现方法 |
| US8261300B2 (en) * | 2006-06-23 | 2012-09-04 | Tivo Inc. | Method and apparatus for advertisement placement in a user dialog on a set-top box |
| CN101146247B (zh) * | 2006-09-13 | 2012-02-29 | 中国电信股份有限公司 | 为移动网络提供增值业务的方法 |
| JP5191493B2 (ja) * | 2006-11-20 | 2013-05-08 | エスケー プラネット カンパニー、リミテッド | 放送コンテンツに関連した付加情報サービス提供システム、付加情報サービス提供サーバー及び付加情報サービス提供方法 |
| CN101047861A (zh) * | 2007-01-04 | 2007-10-03 | 深圳清华大学研究院 | 数字电视增值服务的扩展epg方法 |
| CN101321264A (zh) * | 2007-06-05 | 2008-12-10 | 上海未来宽带技术及应用工程研究中心有限公司 | 应用于iptv平台面向服务的架构 |
| EP2283645B1 (en) * | 2008-05-02 | 2018-09-26 | Telefonaktiebolaget LM Ericsson (publ) | Iptv session management |
| KR20100053300A (ko) | 2008-11-12 | 2010-05-20 | 삼성전자주식회사 | 방송 부가정보를 제공하는 방송수신장치 및 그 방법 |
| CN101415148B (zh) * | 2008-11-26 | 2012-03-21 | 华为终端有限公司 | 实现增值业务的方法、系统及用户终端 |
| US8705933B2 (en) * | 2009-09-25 | 2014-04-22 | Sony Corporation | Video bookmarking |
| US8516528B2 (en) * | 2010-06-30 | 2013-08-20 | Cable Television Laboratories, Inc. | Synchronization of 2nd screen applications |
-
2011
- 2011-11-24 US US13/988,995 patent/US8990876B2/en active Active
- 2011-11-24 GB GB1310029.2A patent/GB2499754B/en not_active Expired - Fee Related
- 2011-11-24 KR KR1020137013223A patent/KR101506823B1/ko active IP Right Grant
- 2011-11-24 DE DE112011103903.4T patent/DE112011103903B4/de not_active Expired - Fee Related
- 2011-11-24 KR KR1020147016913A patent/KR101706832B1/ko active IP Right Grant
- 2011-11-24 CA CA2820574A patent/CA2820574C/en active Active
- 2011-11-24 EP EP11843708.6A patent/EP2645732A4/en not_active Withdrawn
- 2011-11-24 CN CN201180064457.3A patent/CN103299648B/zh not_active Expired - Fee Related
- 2011-11-24 WO PCT/KR2011/009043 patent/WO2012070901A2/ko active Application Filing
-
2014
- 2014-11-28 US US14/556,014 patent/US20150156536A1/en not_active Abandoned
-
2015
- 2015-02-03 US US14/612,901 patent/US20150208117A1/en not_active Abandoned
-
2018
- 2018-11-13 US US16/190,051 patent/US20200221163A9/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9323857B2 (en) | 2013-10-31 | 2016-04-26 | Electronics And Telecommunications Research Institute | System and method for providing content-related information based on digital watermark and fingerprint |
| KR20160029552A (ko) * | 2014-09-05 | 2016-03-15 | 엘지전자 주식회사 | 전자 기기, 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8990876B2 (en) | 2015-03-24 |
| CN103299648B (zh) | 2017-02-15 |
| CN103299648A (zh) | 2013-09-11 |
| KR101706832B1 (ko) | 2017-02-27 |
| US20130239163A1 (en) | 2013-09-12 |
| EP2645732A2 (en) | 2013-10-02 |
| CA2820574C (en) | 2016-10-25 |
| CA2820574A1 (en) | 2012-05-31 |
| US20150156536A1 (en) | 2015-06-04 |
| KR20140094629A (ko) | 2014-07-30 |
| EP2645732A4 (en) | 2014-05-21 |
| GB2499754B (en) | 2017-09-20 |
| US20200221163A9 (en) | 2020-07-09 |
| GB201310029D0 (en) | 2013-07-17 |
| DE112011103903B4 (de) | 2016-06-23 |
| KR101506823B1 (ko) | 2015-03-30 |
| US20190082212A1 (en) | 2019-03-14 |
| WO2012070901A3 (ko) | 2012-07-19 |
| WO2012070901A2 (ko) | 2012-05-31 |
| DE112011103903T5 (de) | 2013-09-05 |
| US20150208117A1 (en) | 2015-07-23 |
| GB2499754A (en) | 2013-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101506823B1 (ko) | 부가 서비스 수신 방법 및 그를 이용한 영상 표시 장치 | |
| KR101960314B1 (ko) | 영상 표시 장치 및 그 제어 방법 | |
| CA2814196C (en) | Video display device and method of controlling the same | |
| EP3178235B1 (en) | Video display device and method of controlling the device | |
| KR102263146B1 (ko) | 영상 표시 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| A107 | Divisional application of patent | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190214 Year of fee payment: 5 |