KR101664424B1 - 디지털 서비스 신호 처리 방법 및 장치 - Google Patents

디지털 서비스 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR101664424B1
KR101664424B1 KR1020147035666A KR20147035666A KR101664424B1 KR 101664424 B1 KR101664424 B1 KR 101664424B1 KR 1020147035666 A KR1020147035666 A KR 1020147035666A KR 20147035666 A KR20147035666 A KR 20147035666A KR 101664424 B1 KR101664424 B1 KR 101664424B1
Authority
KR
South Korea
Prior art keywords
content
information
watermark
audio
sub
Prior art date
Application number
KR1020147035666A
Other languages
English (en)
Other versions
KR20150013852A (ko
Inventor
오세진
서종열
박병선
김진필
문경수
안승주
김경호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20150013852A publication Critical patent/KR20150013852A/ko
Application granted granted Critical
Publication of KR101664424B1 publication Critical patent/KR101664424B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0042—Fragile watermarking, e.g. so as to detect tampering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0071—Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0092—Payload characteristic determination in a watermarking scheme, e.g. number of bits to be embedded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/3232—Robust embedding or watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32331—Fragile embedding or watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

디지털 서비스 신호 처리 장치 및 방법이 제공된다. 본 발명의 일 실시예에 따른 디지털 서비스 신호 처리 장치는 콘텐츠의 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠에 관련된 채널 정보 및 상기 콘텐츠의 부가 데이터에 대한 URL 정보를 갖는 콘텐츠 정보를 전달하는, 워터마크를 포함하는 콘텐츠를 수신하도록 구성된 수신 모듈, 상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하도록 구성된 추출 모듈, 상기 추출된 워터마크를 이용하여 IP 네트워크를 통해 상기 부가 데이터를 획득하도록 구성된 획득 모듈을 포함한다.

Description

디지털 서비스 신호 처리 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING DIGITAL SERVICE SIGNALS}
본 발명은 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 자동 콘텐츠 인식 환경에서 방송 콘텐츠에 관련된 부가 서비스를 제공하는 방법 및 장치에 관한 것이다.
디지털 위성방송의 도입에 따라, 디지털 데이터방송이 새로운 부가 서비스로 나타났다. 대표적인 쌍방향 서비스인 쌍방향 데이터방송은 다양한 부가 서비스를 제공하기 위해 데이터 신호뿐만 아니라 기존 방송 신호를 가입자에게 전송할 수 있다.
디지털 데이터방송은 크게 가상 채널을 이용한 독립형 서비스와 ETV (enhanced television)를 통한 방송 관련 서비스로 구분될 수 있다. 독립형 서비스는 방송 이미지 신호 없이 텍스트와 그래픽만을 포함하며 기존 인터넷 웹페이지와 유사한 포맷으로 제공된다. 독립형 서비스의 대표적인 예로 날씨 및 주식 정보 제공 서비스, TV 금융 서비스, 상거래 서비스 등을 들 수 있다. 방송 관련 서비스는 방송 이미지 신호뿐만 아니라 부가적인 텍스트 및 그래픽 정보도 전송한다. 시청자는 방송 관련 서비스를 통해 시청한 방송 프로그램에 관련된 정보를 얻을 수 있다. 예를 들면, 시청자가 드라마를 시청하는 동안 이전 스토리나 촬영장소를 볼 수 있게하는 서비스가 있다.
디지털 데이터방송의 방송 관련 서비스에서는, ETV 서비스가 자동 콘텐츠 인식 기술을 바탕으로 제공될 수 있다. 자동 콘텐츠 인식이란 장치가 오디오/비디오 콘텐츠를 재생할 때 콘텐츠에 숨겨진 정보를 통해 자동으로 콘텐츠를 인식하는 기술을 말한다.
자동 콘텐츠 인식 기술을 시행할 때 콘텐츠에 관한 정보를 얻기 위해 워터마킹(watermarking)이나 핑거프린팅(finger printing) 방식이 이용될 수 있다. 워터마킹은 디지털 콘텐츠 제공자를 나타내는 정보를 디지털 콘텐츠에 삽입하는 기술을 말한다. 핑거프린팅은 특정 정보가 디지털 콘텐츠에 삽입되는 점은 워터마킹과 동일하지만, 콘텐츠 제공자에 관한 정보 대신 콘텐츠 구매자에 관한 정보가 삽입되는 점이 워터마킹과 다르다.
그러나 기존의 자동 콘텐츠 인식 기능을 통해 쌍방향 서비스를 제공하는 시스템에는 몇 가지 제약이 있다.
콘텐츠 제공자(또는 방송사)가 실시간 서비스를 위한 콘텐츠 및 ETV 서비스를 위한 인헨스먼트 데이터(또는 부가 데이터)를 전송하고, TV 수신기가 해당 실시간 서비스를 위한 콘텐츠 및 인헨스먼트 데이터를 외부 입력을 통해 수신하면, 실시간 서비스를 위한 콘텐츠는 수신될 수 있지만, 인헨스먼트 데이터는 수신되지 못한다.
또한, 기존 ETV 서비스가 자동 콘텐츠 인식 시스템상에서 제공되면, 별도의 자동 콘텐츠 인식 서버(또는 자동 콘텐츠 인식 솔루션 제공자)의 개재가 불가피하게 요구된다. 따라서 별도의 자동 콘텐츠 인식 서버 없이 자동 콘텐츠 인식 기능을 실행하는 수신자가 요구된다.
또한, ETV 서비스를 제공하기 위한 워터마킹 기술에서는, 워터마크에 포함된 정보의 양이 많으면 워터마크가 매립된 콘텐츠의 질이 저하될 수 있다. 따라서 워터마킹의 효율적인 사용에 제약이 있다.
또한, ETV 서비스를 제공하기 위한 핑거프린팅 기술에서는, 콘텐츠를 인식하기 위한 외부 자동 콘텐츠 인식 서버가 추가로 필요하고, 콘텐츠 인식 결과가 레퍼런스 세트의 크기에 의존한다.
이에 따라 본 발명은 종래기술의 제약 및 단점으로 인한 하나 이상의 문제점을 실질적으로 제거하는 디지털 서비스 신호 처리 방법 및 장치를 제공한다.
본 발명의 목적은 방송 시스템을 이용하여 방송 프로그램에 관한 정보를 확인하고 확인된 방송 프로그램의 부가 정보를 실시간으로 제공하는 것이다.
본 발명의 추가적인 이점, 목적, 특징은 다음의 상세한 설명에서 일부 제시될 것이며 일부는 다음 설명을 통해 당업자에게 명백하거나 본 발명의 실행을 통해 알 수 있다. 본 발명의 목적 및 또 다른 이점은 첨부된 도면뿐만 아니라 상세한 설명 및 청구항에서 특별히 언급한 구조에 의해 실현 및 달성될 수 있다.
본 발명의 일 실시예에 따른 디지털 서비스 신호 처리 방법은 콘텐츠의 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠에 관련된 채널 정보 및 상기 콘텐츠의 부가 데이터에 대한 URL (uniform resource locator) 정보를 갖는 콘텐츠 정보를 전달하는, 워터마크를 포함하는 콘텐츠를 수신하는 단계, 상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계, 상기 추출된 워터마크를 이용하여 IP (Internet protocol) 네트워크를 통해 상기 부가 데이터를 획득하는 단계를 포함할 수 있다.
바람직하게는, 상기 콘텐츠 정보는 상기 콘텐츠의 제공자를 식별하는 콘텐츠 제공자 식별자 정보 및 각 콘텐츠를 식별하는 콘텐츠 식별자 정보를 더 포함할 수 있다.
바람직하게는, 상기 워터마크는 상기 콘텐츠 정보에 따라 다른 주기로 상기 오디오 또는 비디오 프레임에 삽입될 수 있다.
바람직하게는, 상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계는 상기 오디오 또는 비디오 프레임을 서브프레임으로 분할하는 단계, 상기 분할된 서브프레임 중에서 상기 워터마크를 갖는 특정 서브프레임을 검출하는 단계, 상기 검출된 특정 서브프레임으로부터 상기 워터마크를 추출하는 단계를 포함할 수 있다.
바람직하게는, 상기 콘텐츠 정보가 서브 콘텐츠 정보로 분할되고 상기 분할된 서브 콘텐츠 정보가 연속적인 오디오 또는 비디오 프레임에 삽입되면, 상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계는 상기 연속적인 오디오 또는 비디오 프레임으로부터 상기 서브 콘텐츠 정보를 추출하는 단계, 상기 추출된 서브 콘텐츠 정보로부터 상기 콘텐츠 정보의 시작 태그 및 종료 태그를 추출하는 단계, 상기 시작 정보 및 상기 종료 정보를 이용하여 상기 서브 콘텐츠 정보를 상기 콘텐츠 정보로 구성하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계는 상기 비디오 프레임의 로고 데이터 영역으로부터 상기 워터마크를 추출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 콘텐츠가 3차원 콘텐츠이면, 상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계는 상기 3차원 콘텐츠의 좌 비디오 프레임 및/또는 우 비디오 프레임으로부터 상기 워터마크를 추출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 디지털 서비스 신호 처리 방법은 상기 콘텐츠로부터 핑거프린트 시그너처를 추출하는 단계, 상기 콘텐츠 정보 및 상기 핑거프린트 시그너처를 포함하는 쿼리를 생성하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 디지털 서비스 신호 처리 방법은 워터마크를 생성하는 단계, 콘텐츠에 관련된 채널 정보 및 상기 콘텐츠의 부가 데이터에 대한 URL 정보를 갖는 콘텐츠 정보를 전달하는 상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계, 상기 콘텐츠를 전송하는 단계를 포함할 수 있다.
바람직하게는, 상기 콘텐츠 정보는 상기 콘텐츠의 제공자를 식별하는 콘텐츠 제공자 식별자 정보 및 각 콘텐츠를 식별하는 콘텐츠 식별자 정보를 더 포함할 수 있다.
바람직하게는, 상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계는 상기 워터마크를 상기 콘텐츠 정보에 따라 다른 주기로 상기 오디오 또는 비디오 프레임에 삽입하는 단계를 포함할 수 있다.
바람직하게는, 상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계는 상기 오디오 또는 비디오 프레임을 서브프레임으로 분할하는 단계, 상기 워터마크를 삽입하기 위해 상기 분할된 서브프레임 중에서 특정 서브프레임을 검출하는 단계, 상기 워터마크를 상기 검출된 특정 서브프레임에 삽입하는 단계, 상기 분할된 서브프레임을 상기 오디오 또는 비디오 프레임으로 구성하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 디지털 서비스 신호 처리 방법은 상기 콘텐츠 정보의 시작 태그 및 종료 태그를 상기 콘텐츠 정보에 삽입하는 단계, 상기 콘텐츠 정보를 서브 콘텐츠 정보로 분할하는 단계, 상기 서브 콘텐츠 정보를 연속적인 오디오 또는 비디오 프레임에 삽입하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계는 상기 콘텐츠가 3차원 콘텐츠이면 상기 3차원 콘텐츠의 좌 비디오 프레임 및/또는 우 비디오 프레임에 상기 워터마크를 삽입하는 단계를 포함할 수 있다.
바람직하게는, 상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계는 상기 콘텐츠를 상기 비디오 프레임의 로고 데이터 영역에 삽입하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시예에 따른 디지털 서비스 신호 처리 장치는 콘텐츠의 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠에 관련된 채널 정보 및 상기 콘텐츠의 부가 데이터에 대한 URL 정보를 갖는 콘텐츠 정보를 전달하는, 워터마크를 포함하는 콘텐츠를 수신하도록 구성된 수신 모듈, 상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하도록 구성된 추출 모듈, 상기 추출된 워터마크를 이용하여 IP 네트워크를 통해 상기 부가 데이터를 획득하도록 구성된 획득 모듈을 포함할 수 있다.
바람직하게는, 상기 콘텐츠 정보는 상기 콘텐츠의 제공자를 식별하는 콘텐츠 제공자 식별자 정보 및 각 콘텐츠를 식별하는 콘텐츠 식별자 정보를 더 포함할 수 있다.
바람직하게는, 상기 추출 모듈은 상기 오디오 또는 비디오 프레임을 서브프레임으로 분할하고, 상기 분할된 서브프레임 중에서 상기 워터마크를 갖는 특정 서브프레임을 검출하고, 상기 검출된 특정 서브프레임으로부터 상기 워터마크를 추출할 수 있다.
본 발명의 다른 일 실시예에 따른 디지털 서비스 신호 처리 장치는 워터마크를 생성하도록 구성된 생성 모듈, 콘텐츠에 관련된 채널 정보 및 상기 콘텐츠의 부가 데이터에 대한 URL 정보를 갖는 콘텐츠 정보를 전달하는 상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하도록 구성된 삽입 모듈, 상기 콘텐츠를 전송하도록 구성된 전송 모듈을 포함할 수 있다.
바람직하게는, 상기 삽입 모듈은 상기 오디오 또는 비디오 프레임을 서브프레임으로 분할하고, 상기 워터마크를 삽입하기 위해 상기 분할된 서브프레임 중에서 특정 서브프레임을 검출하고, 상기 워터마크를 상기 검출된 특정 서브프레임에 삽입하고, 상기 분할된 서브프레임을 상기 오디오 또는 비디오 프레임으로 구성할 수 있다.
본 발명을 더욱 이해하기 위해 제공되며 본 출원에 포함되고 본 출원의 일부를 구성하는 첨부된 도면은 본 발명의 원리를 설명하는 상세한 설명과 함께 본 발명의 실시예를 예시한다.
도 1은 자동 콘텐츠 인식 기반 ETV 서비스 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 3은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 수신기의 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템의 구조를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 디지털 워터마킹 기술의 흐름을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 쿼리 결과 포맷을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 콘텐츠 ID(identifier)의 구조를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 워터마킹을 이용한 수신기의 동작을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 워터마크 추출과정을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 워터마크 정보의 프로파일링을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 16은 본 발명의 또 다른 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 17은 본 발명의 또 다른 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 워터마크를 오디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 프로파일링된 워터마크를 매립하는 방법을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 워터마크를 연속적인 프레임에 매립하는 방법을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 연속적인 프레임에 삽입된 워터마크를 추출하는 방법을 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 워터마크를 3차원 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 제공 시스템의 구조를 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 방송사 로고를 이용해 자동 콘텐츠 인식 서비스를 제공하는 방법을 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 방송사 로고를 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 방송사 로고를 이용한 자동 콘텐츠 인식 서비스를 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 로고 및 워터마크를 이용한 자동 콘텐츠 인식 서비스 제공 방법을 나타낸 도면이다.
도 28은 본 발명의 일 실시예에 따른 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법을 나타낸 도면이다.
도 29는 본 발명의 또 다른 일 실시예에 따른 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법을 나타낸 도면이다.
본 발명의 바람직한 실시예에 대해 상세히 언급할 것이며, 그 예들은 첨부된 도면에 도시되어 있다. 도면 전체에 걸쳐 가능한 곳에서 동일한 참조번호는 동일하거나 유사한 부분을 가리키기 위해 사용될 것이다.
본 발명의 바람직한 실시예에 대해 상세히 언급할 것이며, 그 예들은 첨부된 도면에 도시되어 있다.
본 발명의 바람직한 실시예에 대해 상세히 언급할 것이며, 그 예들은 첨부된 도면에 도시되어 있다. 본 발명의 실시예의 구성 및 동작은 첨부된 도면을 참조하여 서술될 것이다. 도면에 나타내고 후술하는 본 발명의 구성 및 동작은 본 발명의 사상 및 범위를 제한하지 않고 적어도 하나의 실시예에서 서술될 것이다.
본 발명에서 사용되는 용어는 일반적으로 알려지고 사용되는 용어에서 선택된 것이지만, 여기에 사용된 용어는 업자의 의도나 기술관행, 새로운 기술의 등장 등에 따라 변경될 수 있다. 또한, 본 발명의 상세한 설명에서 언급된 용어 중 일부는 출원인의 재량에 의해 선택된 것이지만, 그 상세한 의미는 상세한 설명의 관련부분에서 서술한다. 또한, 본 발명은 단순히 사용된 실제 용어가 아닌 각 용어에 내재된 의미에 의해 이해될 것이 요구된다.
도 1은 자동 콘텐츠 인식 기반 ETV 서비스 시스템을 나타낸 도면이다.
도 1에 나타낸 자동 콘텐츠 인식 기반 ETV 서비스 시스템은 방송사 또는 콘텐츠 제공자(100), 다채널 방송사업자(101), 셋톱박스(102), 디지털 TV 수신기 등의 수신기(103), 자동 콘텐츠 인식 서버(또는 자동 콘텐츠 인식 솔루션 제공자)(104)를 포함할 수 있다. 수신기(103)는 ATSC(advanced television system committee)의 정의에 따라 동작할 수 있고, 자동 콘텐츠 인식 기능을 지원할 수 있다. 실시간 방송 서비스(110)는 오디오/비디오 콘텐츠를 포함할 수 있다.
디지털 방송 서비스는 크게 방송사(100)에 의해 제공되는 지상파 방송 서비스와 다채널 방송사업자(101)에 의해 제공되는 케이블 방송 또는 위성 방송 등의 다채널 방송 서비스로 구분될 수 있다. 방송사(100)는 실시간 방송 서비스(110) 및 인헨스먼트 데이터(또는 부가 데이터)(120)를 함께 전송할 수 있다. 이 경우, 도 1에 나타낸 바와 같이, 수신기(103)는 다채널 방송사업자(101) 및 셋톱박스(102)를 통해 실시간 방송 서비스(110)만 수신할 수 있고, 인헨스먼트 데이터(120)는 수신하지 못할 수 있다.
따라서, 인헨스먼트 데이터(120)를 수신하기 위해, 수신기(103)는 오디오/비디오 콘텐츠 출력을 실시간 방송 서비스(110)로 분석 및 처리하고, 방송 프로그램 정보 및/또는 방송 프로그램 관련 메타데이터를 확인한다. 확인된 방송 프로그램 정보 및/또는 방송 프로그램 관련 메타데이터를 이용하여, 수신기(103)는 방송사(100) 또는 자동 콘텐츠 인식 서버(104)로부터 인헨스먼트 데이터를 수신할 수 있다(140). 이 경우, 인헨스먼트 데이터는 인터넷 프로토콜 네트워크(150)를 통해 전송될 수 있다. 인헨스먼트 데이터가 별도의 자동 콘텐츠 인식 서버(104)로부터 수신되면(140), 자동 콘텐츠 인식 서버(104)와 수신기(103) 사이의 메커니즘에서, ATSC 2.0 표준에서 정의한 TDO(triggered declarative object) 모델 중 요청/응답 모델을 자동 콘텐츠 인식 서버(104)에 적용할 수 있다. TDO 및 요청/응답 모델은 후술한다.
TDO는 방송 콘텐츠에 포함된 부가 정보를 나타낸다. TDO는 방송 콘텐츠 내에서 부가 정보를 적시에 트리거링하는 역할을 한다. 예를 들면, 오디오 프로그램이 방송되면, 시청자가 선호하는 오디션 참가자의 현재 순위가 방송 콘텐츠와 함께 표시된다. 이때 오디션 참가자의 현재 순위의 부가 정보는 TDO가 될 수 있다. 이러한 TDO는 시청자와의 상호작용을 통해 변경될 수도 있고, 시청자의 의도에 따라 제공될 수도 있다.
표준 ATSC 2.0의 요청/응답 자동 콘텐츠 인식 모델에서, 디지털 방송 수신기(103)는 주기적으로(예를 들면 5초마다) 콘텐츠의 시그너처(signature)를 생성하고 해당 시그너처를 포함하는 요청을 자동 콘텐츠 인식 서버(104)에 전송하게 되어 있다. 자동 콘텐츠 인식 서버(104)는 디지털 방송 수신기(103)로부터 요청을 받을면 응답을 회신한다. 통신 세션은 요청과 응답 사이에서 개방되지 않는다. 이 모델에서, 자동 콘텐츠 인식 서버(104)는 클라이언트에 대한 메시지를 시작할 수 없다.
그러나 전술한 ETV 서비스 시스템에서는, 별도의 자동 콘텐츠 인식 서버 없이는 자동 콘텐츠 인식 기능이 제공될 수 없다. 따라서 별도의 자동 콘텐츠 인식 서버 없이 수신기에서 자동 콘텐츠 인식 기능을 독립적으로 수행하는 방법이 요구된다.
도 2는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 2에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템에 따르면, 실시간 방송에 관련된 인헨스먼트 데이터는 자동 콘텐츠 인식 서버의 개재 없이 워터마킹을 이용하여 수신되어 쌍방향 서비스를 제공할 수 있다.
도 2에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템은 디지털 서비스 신호를 생성해서 전송하는 송신기(200) 및/또는 디지털 서비스 신호를 수신해서 처리하는 수신기(210)를 포함할 수 있다. 송신기(200)는 콘텐츠 제공자 또는 방송사일 수 있고, 수신기(210)는 디지털 TV 수신기와 같은 수신기일 수 있다. 송신기(200)는 생성 모듈(201), 삽입 모듈(202), 및/또는 송신 모듈(203)을 포함할 수 있다. 수신기(210)는 수신 모듈(211) 및/또는 추출 모듈(212)을 포함할 수 있다.
이후, 도 2에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템의 각 모듈의 동작을 설명한다.
우선, 송신기(200)의 생성 모듈(201)은 워터마크를 생성해서 송신될 오디오/비디오 콘텐츠의 프레임에 삽입할 수 있다. 워터마크는 워터마크가 삽입되는 콘텐츠의 채널에 관한 정보 및/또는 콘텐츠의 인헨스먼트 데이터의 URL(uniform resource locator) 정보와 같은 콘텐츠 정보(또는 메타데이터)를 포함할 수 있다. 송신 모듈(203)은 워터마크가 삽입되는 콘텐츠를 수신기(210)에 전송할 수 있다.
수신기(210)의 수신 모듈(211)은 워터마크가 삽입되는 콘텐츠를 수신할 수 있고, 콘텐츠를 추출 모듈(212)에 전달할 수 있다. 추출 모듈(212)은 전달된 콘텐츠의 오디오/비디오 프레임으로부터 삽입된 워터마크를 추출할 수 있다.
도 3은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
더욱 상세하게는, 도 3은 자동 콘텐츠 인식 기반 ETV 서비스를 지원하는 방송 서비스의 구성을 나타낸다.
도 3에 나타낸 바와 같이, 자동 콘텐츠 인식 서비스 처리 시스템은 콘텐츠 제공자 또는 방송사(300), 다채널 방송사업자(302), 셋톱박스(303), 수신기(304), 애플리케이션 URL 룩업 서버(306), 애플리케이션 서버(307)를 포함할 수 있다. 콘텐츠 제공자(300)는 워터마크 삽입기(301)를 포함할 수 있고, 수신기(304)는 워터마크 추출기(305)를 포함할 수 있다. 애플리케이션 URL 룩업 서버(306) 및 애플리케이션 서버(307)는 물리적으로 하나의 서버에 종속되어 있다.
도 3에 나타낸 수신기(304)는 자동 콘텐츠 인식 기능을 갖는다.
콘텐츠 제공자(300)는 인헨스먼트 데이터에 관련된 메타데이터를 실시간으로 전송되는 오디오/비디오 콘텐츠에 워터마크의 형태로 삽입한다. 오디오/비디오 콘텐츠가 다채널 방송사업자(302)를 통해서 수신되더라도, 인헨스먼트 데이터에 관련된 메타데이터가 워터마크의 형태로 삽입된 오디오/비디오 콘텐츠는 수신될 수 있다. 자동 콘텐츠 인식 기능을 갖는 수신기(304)는 다채널 방송사업자(302)를 통해 수신된 오디오/비디오 콘텐츠로부터 워터마크를 추출하고, 실시간으로 방송되는 프로그램에 관한 정보와 메타데이터를 인식할 수 있다. 수신기(304)는 인터넷 프로토콜 네트워크를 통해 인헨스먼트 데이터를 수신할 수 있다.
이후, 도 3에 나타낸 각 구성 요소의 동작을 설명한다.
방송사(304)는 콘텐츠를 식별하기 위한 콘텐츠 ID와 같은 인헨스먼트 데이터와 관련된 메타데이터를 오디오/비디오 콘텐츠에 워터마크의 형태로 삽입한다. 더 구체적으로, 워터마크 삽입기(301)는 오디오/비디오 콘텐츠에서 워터마크가 적절히 삽입될 영역을 검색하고, 워터마크를 검색된 영역에 삽입한다.
자동 콘텐츠 인식 기능을 갖는 수신기(304)는 워터마크가 삽입된 오디오/비디오 콘텐츠를 다채널 방송사업자(302) 및 셋톱박스(303)를 통해 수신하고, 오디오/비디오 콘텐츠로부터 워터마크를 추출하고, 인헨스먼트 데이터와 관련된 메타데이터를 획득할 수 있다.
더 구체적으로, 수신기(304)의 워터마크 추출기(305)는 오디오/비디오 콘텐츠에서 워터마크가 삽입된 영역을 검색하고, 검색된 영역에 삽입된 워터마크를 추출한다.
수신기(304)는 추출된 워터마크로부터 획득한 메타데이터를 통해 실시간 방송 프로그램에 관련된 인헨스먼트 데이터를 다운로드할 수 있다. 더 구체적으로, 수신기(304)는 인터넷 프로토콜 네트워크를 통해 애플리케이션 URL 룩업 서버(306)에 접속하여 쿼리에 따른 관련 애플리케이션의 URL을 수신할 수 있다. 애플리케이션의 URL에 따라, 수신기(304)는 애플리케이션을 관리하는 애플리케이션 URL 룩업 서버(306)에 접속하여 애플리케이션 URL 룩업 서버(306)로부터 애플리케이션에 종속된 인헨스먼트 데이터를 다운로드할 수 있다.
도 4는 본 발명의 일 실시예에 따른 수신기의 구조를 나타낸 도면이다.
구체적으로, 도 4는 워터마킹을 이용하여 자동 콘텐츠 인식 기반 ETV 서비스를 지원하는 수신기의 구성의 일례를 나타낸다.
도 4에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 기반 ETV 서비스를 지원하는 수신기는 입력 데이터 프로세서, ATSC 메인 서비스 프로세서, ATSC MH(mobile handheld) 서비스 프로세서, 및/또는 자동 콘텐츠 인식 서비스 프로세서를 포함할 수 있다. 입력 데이터 프로세서는 튜너/복조기(400) 및/또는 잔류 측파대 디코더(401)를 포함할 수 있다. ATSC 메인 서비스 프로세서는 트랜스포트 프로토콜(TP) 디멀티플렉서(402), 비실시간 가이드 정보 프로세서(403), DSM-CC(digital storage media command and control) 주소 지정 가능 섹션 파서(404), IP/UDP(information provider/user datagram protocol) 파서(405), FLUTE(file delivery over unidirectional transport) 파서(406), 메타데이터 모듈(407), 파일 모듈(408), ESG(electronic service guide)/DCD(data carrier detect) 핸들러(409), 저장 제어 모듈(410), 파일/트랜스포트 프로토콜 스위치(411), 재생 제어 모듈(412), 제1 저장 장치(413), 인터넷 프로토콜 패킷 저장 제어 모듈(414), 인터넷 접속 제어 모듈(415), 인터넷 프로토콜 인터페이스(416), 라이브 레코딩 스위치(417), 파일(오브젝트) 디코더(418), 트랜스포트 프로토콜/PES(packetized elementary stream) 디코더(420), PSI(program specific information)/PSIP(program and system information protocol) 디코더(421), 및/또는 EPG(electronic program guide) 핸들러(422)를 포함할 수 있다. ATSC MH 서비스 프로세서는 메인/MH/비실시간 스위치(419), MH 베이스밴드 프로세서(423), MH 물리적 적응 프로세서(424), 인터넷 프로토콜 스택(425), 파일 핸들러(426), ESG 핸들러(427), 제2 저장 장치(428), 및/또는 스트리밍 핸들러(429)를 포함할 수 있다. 자동 콘텐츠 인식 서비스 프로세서는 메인/MH/비실시간 스위치(419), 오디오/비디오 디코더(430), 오디오/비디오 처리 모듈(431), 외부 입력 핸들러(432), 워터마크 추출기(433), 및/또는 애플리케이션(434)을 포함할 수 있다.
이후, 각 프로세서의 각 모듈의 동작을 설명한다.
입력 데이터 프로세서에서, 튜너/복조기(400)는 안테나로부터 수신한 방송 신호를 튜닝 및 복조할 수 있다. 이 과정을 통해, 잔류 측파대 심볼이 추출될 수 있다. 잔류 측파대 디코더(401)는 튜너/복조기(400)에 의해 추출된 잔류 측파대 심볼을 디코딩할 수 있다.
잔류 측파대 디코더(401)는 디코딩에 따른 ATSC 메인 서비스 데이터 및 MH 서비스 데이터를 출력할 수 있다. ATSC 메인 서비스 데이터는 ATSC 메인 서비스 프로세서로 전달되어 처리될 수 있고, MH 서비스 데이터는 ATSC MH 서비스 프로세서로 전달되어 처리될 수 있다.
ATSC 메인 서비스 프로세서는 MH 신호를 제외한 메인 서비스 데이터를 자동 콘텐츠 인식 서비스 프로세서에 전달하기 위해 메인 서비스 신호를 처리할 수 있다. 트랜스포트 프로토콜 디멀티플렉서(402)는 잔류 측파대 신호를 통해 전송된 ATSC 메인 서비스 데이터의 전송 패킷을 역다중화하여 다른 처리 모듈에 전달할 수 있다. 즉, 트랜스포트 프로토콜 디멀티플렉서(402)는 방송 신호의 요소들이 각각 방송 수신기의 모듈에 의해 처리되도록 전송 패킷에 포함된 다양한 정보를 역다중화하여 전달할 수 있다. 역다중화된 데이터는 실시간 스트림, DSM-CC 주소 지정 가능 섹션, 및/또는 비실시간 서비스 테이블/A/90&92 시그널링 테이블을 포함할 수 있다. 더 구체적으로, 도 4에 나타낸 바와 같이, 트랜스포트 프로토콜 디멀티플렉서(402)는 실시간 스트림을 라이브 레코딩 스위치(417)로 출력할 수 있고, DSM-CC 주소 지정 가능 섹션을 DSM-CC 주소 지정 가능 섹션 파서(404)로 출력할 수 있고, 비실시간 서비스 테이블/A/90&92 시그널링 테이블을 비실시간 가이드 정보 프로세서(403)로 출력할 수 있다.
비실시간 가이드 정보 프로세서(403)는 트랜스포트 프로토콜 디멀티플렉서(402)로부터 비실시간 서비스 테이블/A/90&92 시그널링 테이블을 수신하고, FLUT 세션 정보를 추출하여 DSM-CC 주소 지정 가능 섹션 파서(404)로 전달할 수 있다. DSM-CC 주소 지정 가능 섹션 파서(404)는 트랜스포트 프로토콜 디멀티플렉서(402)로부터 DSM-CC 주소 지정 가능 섹션을 수신하고, 비실시간 가이드 정보 프로세서(403)로부터 FLUT 세션 정보를 수신하고, DSM-CC 주소 지정 가능 섹션을 처리할 수 있다. IP/UDP 파서(405)는 DSM-CC 주소 지정 가능 섹션 파서(404)로부터 데이터 출력을 수신하고, IP/UDP에 따라 전송된 IP 데이터그램을 파싱할 수 있다. FLUTE 파서(406)는 IP/UDP 파서(405)로부터 출력된 데이터를 수신하고, ALC (asynchronous layered coding) 오브젝트의 형태로 전송된 데이터 서비스를 전송하기 위한 FLUTE 데이터를 처리할 수 있다. 메타데이터 모듈(407) 및 파일 모듈(408)은 FLUTE 파서(406)로부터 출력된 데이터를 수신하고, 메타데이터 및 복원된 파일을 처리할 수 있다. ESG/DCD 핸들러(409)는 메타데이터 모듈(407)로부터 출력된 데이터를 수신하고, 방송 프로그램에 관련된 전자서비스 가이드 및/또는 하향링크 채널 서술자를 처리할 수 있다. 복구된 파일은 레퍼런스 핑거프린트 및 ATSC 2.0 콘텐츠와 같은 파일 오브젝트의 형태로 저장 제어 모듈(410)로 전달될 수 있다. 파일 오브젝트는 저장 제어 모듈(410)에 의해 처리되고, 정상 파일 및 트랜스포트 프로토콜 파일로 분리되어 제1 저장 장치(413)에 저장될 수 있다. 재생 제어 모듈(412)은 저장된 파일 오브젝트를 갱신하고 파일 오브젝트를 파일/트랜스포트 프로토콜 스위치(411)에 전달하여 정상 파일 및 트랜스포트 프로토콜 파일을 디코딩할 수 있다. 파일/트랜스포트 프로토콜 스위치(411)는 정상 파일 및 트랜스포트 프로토콜 파일이 서로 다른 경로를 통해 디코딩되도록 정상 파일은 파일 디코더(418)로 전달하고 트랜스포트 프로토콜 파일은 라이브 레코딩 스위치(417)로 전달한다.
파일 디코더(418)는 정상 파일을 디코딩하여 자동 콘텐츠 인식 서비스 프로세서로 전달할 수 있다. 디코딩된 정상 파일은 자동 콘텐츠 인식 서비스 프로세서의 메인/MH/비실시간 스위치(419)로 전달될 수 있다. 트랜스포트 프로토콜 파일은 라이브 레코딩 스위치(417)의 제어 하에 트랜스포트 프로토콜/PES 디코더(420)로 전달될 수 있다. 트랜스포트 프로토콜/PES 디코더(420)는 트랜스포트 프로토콜 파일을 디코딩하고, PSI/PSIP 디코더(421)는 디코딩된 트랜스포트 프로토콜 파일을 다시 디코딩한다. EPG 핸들러(422)는 디코딩된 트랜스포트 프로토콜 파일을 처리하고, ATSC에 따라 EPG 서비스를 처리할 수 있다.
ATSC MH 서비스 프로세서는 ATSC MH 서비스 데이터를 자동 콘텐츠 인식 서비스 프로세서에 전송하기 위해 MH 신호를 처리할 수 있다. 더 구체적으로, MH 베이스밴드 프로세서(423)는 ATSC MH 서비스 데이터를 전송에 적합한 펄스 파형으로 전환할 수 있다. MH 물리적 적응 프로세서(424)는 ATSC MH 서비스 데이터를 MH 물리적 계층에 적합한 형태로 처리할 수 있다.
인터넷 프로토콜 스택(425)은 MH 물리적 적응 프로세서(424)로부터 출력된 데이터를 수신하여 인터넷 전송/수신을 위한 통신 프로토콜에 따라 처리할 수 있다. 파일 핸들러(426)는 인터넷 프로토콜 스택(425)으로부터 출력된 데이터를 수신하고 응용 계층의 파일을 처리할 수 있다. ESG 핸들러(427)는 파일 핸들러(426)로부터 출력된 데이터를 수신하고 모바일 ESG를 처리할 수 있다. 또한, 제2 저장 장치(428)는 파일 핸들러(426)로부터 출력된 데이터를 수신하고, 파일 오브젝트를 저장할 수 있다. 또한, 인터넷 프로토콜 스택 모듈(425)로부터 출력된 데이터의 일부는 ATSC에 따른 모바일 ESG 서비스 대신 수신기의 자동 콘텐츠 인식 서비스를 위한 데이터가 될 수 있다. 이 경우, 스트리밍 핸들러(429)는 RTP(real-time transport protocol)을 통해 수신된 리얼 스트리밍을 처리하여 자동 콘텐츠 인식 서비스 프로세서에 전달할 수 있다.
자동 콘텐츠 인식 서비스 프로세서의 메인/MH/비실시간 스위치(419)는 ATSC 메인 서비스 프로세서 및/또는 ATSC MH 서비스 프로세서로부터 출력된 신호를 수신할 수 있다. 오디오/비디오 디코더(430)는 메인/MH/비실시간 스위치(419)로부터 수신된 압축 오디오/비디오 데이터를 디코딩할 수 있다. 디코딩된 오디오/비디오 데이터는 오디오/비디오 처리 모듈(431)에 전달될 수 있다.
외부 입력 핸들러(432)는 외부 입력을 통해 수신된 오디오/비디오 콘텐츠를 처리하여 오디오/비디오 처리 모듈(431)에 전송할 수 있다.
오디오/비디오 처리 모듈(431)은 오디오/비디오 디코더(430) 및/또는 외부 입력 핸들러(432)로부터 수신된 오디오/비디오 데이터를 처리하여 스크린에 표시할 수 있다. 이 경우, 워터마크 추출기(433)는 오디오/비디오 데이터로부터 워터마크의 형태로 삽입된 데이터를 추출할 수 있다. 추출된 워터마크 데이터는 애플리케이션(434)에 전달될 수 있다. 애플리케이션(434)은 자동 콘텐츠 인식 기능에 근거한 인헨스먼트 서비스를 제공하고, 방송 콘텐츠를 확인하고, 거기에 관련된 인헨스먼트 데이터를 제공할 수 있다. 애플리케이션(434)이 인헨스먼트 데이터를 오디오/비디오 처리 모듈(431)에 전달하면, 오디오/비디오 처리 모듈(431)은 수신한 오디오/비디오 데이터를 처리하여 화면에 표시할 수 있다.
도 5는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템의 구조를 나타낸 도면이다.
더 구체적으로, 도 5는 수신기(500)가 셋톱박스와 같은 외부 장치의 외부 입력을 통해 지상파 채널을 수신하면 워터마크를 이용하여 프로그램 정보를 얻기 위한 동작을 나타낸다.
도 5에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템은 수신기(500), CE 서버(501), 방송사 또는 콘텐츠 제공자(502), 애플리케이션 서버(503)를 포함할 수 있다. 수신기(500)는 오디오/비디오 프로세서(510), 워터마크 추출기(520), 응용 모듈(530)을 포함할 수 있다. 오디오/비디오 프로세서(510)는 워터마킹 매니저(511)를 포함할 수 있다. 또한, 수신기(500)는 자동 콘텐츠 인식 기능을 가질 수 있다.
오디오/비디오 프로세서(510)는 외부 입력을 통해 수신한 오디오/비디오 콘텐츠를 워터마크 추출기(520)에 전달하고, 워터마크 추출기(520)는 오디오/비디오 콘텐츠로부터 워터마크의 형태로 삽입된 데이터를 추출하고, 애플리케이션 서버(503)에 접속할 수 있다. 이때, CE 서버(501)는 워터마킹 관련 모듈 및 마이크로 코드를 관리할 수 있다.
본 발명의 일 실시예에 따른 마이크로 코드는 오디오/비디오 콘텐츠에 삽입된 워터마크를 추출하기 위한 코드를 말하며, 오디오/비디오 디코더 칩 및/또는 미가공 데이터 처리 칩에 의해 동적으로 다운로드될 수 있다. 수신기는 필요에 따라 하나 또는 복수의 마이크로 코드를 압축 및 저장하거나, 다운로드 인터페이스를 통해 하나 또는 복수의 마이크로 코드를 다운로드할 수 있다. 다운로드 인터페이스는 칩 종류에 따라 다르게 구현될 수 있다.
이후, 도 5에 나타낸 각 구성요소의 동작을 설명한다.
수신기(500)의 워터마크 추출기(520)는 오디오 콘텐츠 또는 비디오 콘텐츠로부터 워터마크를 추출하거나, 오디오 콘텐츠 및 비디오 콘텐츠를 이용하여 워터마크를 추출할 수 있다. 추출된 워터마크는 채널 정보 및/또는 콘텐츠 정보를 포함할 수 있다. 콘텐츠 정보는 ATSC 2.0 서비스에서 사용되는 콘텐츠에 관한 정보를 포함할 수 있다.
응용 모듈(530)은 채널과 관련된 콘텐츠 및/또는 워터마크로부터 추출된 채널 정보 및 콘텐츠 정보에 기초한 메타데이터를 전송하기 위한 채널에 동조하여 콘텐츠 정보를 수신할 수 있다. 또한, 응용 모듈(530)은 인터넷 프로토콜을 통해 채널과 관련된 콘텐츠 및/또는 메타데이터를 수신할 수 있다. 본 발명의 일 실시예에 따르면, 채널은 ATSC 메시지 핸들러 채널을 포함할 수 있다.
CE 서버(501)는 워터마킹과 관련된 마이크로 코드 및/또는 소프트웨어를 관리 및 갱신할 수 있다. 즉, CE 서버(501)는 방송사(500)의 프로토콜에 따라 관련된 마이크로 코드 및/또는 소프트웨어를 계속해서 추가, 삭제, 또는 갱신할 수 있다. 수신기(500)로부터 요청이 수신되거나 CE 서버(501)가 갱신되면, CE 서버(501)는 수신기(500)에 요청이 수신되거나 CE 서버(501)가 갱신되었다는 것을 알리고 새로운 코드를 다운로드한다.
워터마크 추출기(520)는 수신기(500)의 칩 상에서 동작하는 마이크로 코드 또는 소프트웨어 모듈로 구현될 수 있다. 새로운 마이크로 코드 또는 소프트웨어 모듈은 CE 서버(501)로부터 계속해서 다운로드될 수 있다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 6 내지 도 8은 비디오 디코더 및/또는 오디오 디코더의 칩에서 마이크로 코드에 기초하여 실시간으로 콘텐츠에 삽입된 워터마크를 추출하고 워터마크에 기초하여 콘텐츠를 인식하는 수신기의 구조를 나타낸다. 이후, 본 발명의 실시예를 도 6 내지 도 8을 참조하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 6에 나타낸 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치는 리모콘(600), 리모콘 수신기(601), UI(user interface) 모듈(602), 네트워크 인터페이스(603), 마이크로 코드 다운로더(604), 웹 브라우저(605), 트리거 프로세서(606), 마이크로 프로세서(607), 마이크로 코드 인터페이스(608), 오디오 디코더(609), 비디오 디코더(610), 그래픽 프로세서(611), 애플리케이션(612), 스피커(613), 디스플레이 모듈(614), 안테나(615), 튜너(616), 복조기(617), 및/또는 시스템 디코더(618)를 포함할 수 있다. 시스템 디코더(618)는 MPEG-2 TS 디코더일 수 있다. 복조기(617)는 잔류 측파대 복조기 또는 DVB(digital video broadcasting) 복조기일 수 있다. 각각의 오디오 디코더(609) 및 비디오 디코더(610)는 마이크로 코드 인터페이스(608)를 포함할 수 있다.
도 6에 나타낸 바와 같이, ETV 서비스 수신 장치는 비디오 디코더 또는 오디오 디코더의 칩 상에서 실행되는 마이크로 코드를 사용하여 실시간으로 지상파를 통해 전송되는 오디오/비디오 콘텐츠로부터 워터마크를 추출하고, 추출된 워터마크를 애플리케이션에 전송하고, 인헨스먼트 서비스를 수신할 수 있다. 마이크로 코드는 마이크로 코드 다운로더(604)를 통해 외부 장치로부터 다운로드될 수 있다. 마이크로 코드는 마이크로 코드 인터페이스(608)를 통해 오디오 디코더(609) 또는 비디오 디코더(610)의 칩 상에서 동적으로 다운로드될 수 있다.
이후, 도 6에 나타낸 ETV 서비스 수신 장치의 구성 요소 사이의 동작을 설명한다.
리모콘 수신기(601)는 리모콘(600)으로부터 적외선을 통해 시청자의 요청 신호를 수신하고, 키 코드를 사용하여 UI 모듈(602)로 신호를 전송할 수 있다. UI 모듈(602) 및/또는 리모콘 수신기(601)는 브라우저 키 코드를 사용하여 웹 브라우저(605)에 신호를 전달할 수 있다. UI 모듈(602)을 통과한 신호는 그래픽 프로세서(601)로 전달될 수 있다.
튜너(616)는 안테나(615)로부터 수신한 신호를 튜닝하고, 복조기(617)는 튜닝된 신호의 파형을 복원할 수 있다. 디코더(618)는 복원된 신호를 디코딩하여 트리거 프로세서(606)로 전달할 수 있다. 트리거 프로세서(606)는 디코딩된 신호를 트리거 데이터로 처리하여 웹 브라우저(605)로 전송할 수 있다.
웹 브라우저(605)로 전달된 신호가 마이크로 코드 다운로더(604)로 전달되면, 마이크로 코드가 다운로드되어 마이크로 코드 인터페이스(608)로 전달될 수 있다. 마이크로 코드 인터페이스(608)를 통과하는 마이크로 코드 및 디코딩된 신호는 각각 오디오 디코더(609) 및 비디오 디코더(610)로 전달되는 오디오 신호 및 비디오 신호로 분리될 수 있다. 오디오 디코더(609) 및 비디오 디코더(610)의 마이크로 코드 인터페이스(619)는 마이크로 코드를 사용하여 오디오/비디오 콘텐츠에 삽입된 워터마크를 추출할 수 있다.
추출된 워터마크는 애플리케이션(612)으로 전달되고, 오디오 신호는 스피커(613)로 전달되고, 비디오 신호는 그래픽 프로세서(611)로부터 수신된 그래픽 신호와 함께 디스플레이 모듈(614)로 출력될 수 있다.
도 7은 본 발명의 또 다른 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 7에 나타낸 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치는 리모콘(700), 리모콘 수신기(701), UI 모듈(702), 네트워크 인터페이스(703), 마이크로 코드 다운로더(704), 웹 브라우저(705), 트리거 프로세서(706), 마이크로 프로세서(707), 마이크로 코드 인터페이스(708), 오디오 디코더(709), 비디오 디코더(710), 그래픽 프로세서(711), 애플리케이션(712), 스피커(713), 디스플레이 모듈(714), 안테나(715), 튜너(716), 복조기(717), 시스템 디코더(718), 오디오 후처리 프로세서 & 증폭기(719), 및/또는 비디오 디스플레이 프로세서(720)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 시스템 디코더(718)는 MPEG-2 TS 디코더를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 복조기(717)는 잔류 측파대 복조기 및/또는 DVB 복조기를 포함할 수 있다. 각각의 오디오 후처리 프로세서 & 증폭기(719) 및 비디오 디스플레이 프로세서(720)는 마이크로 코드 인터페이스(708)를 포함할 수 있다.
도 7에 나타낸 바와 같이, ETV 서비스 수신 장치는 오디오 디코더나 비디오 디코더의 칩 대신 후처리 칩 상에서 실시간으로 마이크로 코드를 통해 오디오/비디오 콘텐츠에 삽입되는 워터마크를 추출할 수 있다. 본 발명의 일 실시예에 따르면, 후처리 칩은 오디오 후처리 프로세서 & 증폭기(719) 및 비디오 디스플레이 프로세서(720)를 포함할 수 있다. ETV 서비스 수신 장치는 추출된 워터마크를 사용하여 오디오/비디오 콘텐츠를 자동으로 인식할 수 있다. ETV 서비스 수신 장치는 마이크로 코드 다운로더(704)를 통해 외부 장치로부터 마이크로 코드를 다운로드할 수 있다. 또한, ETV 서비스 수신 장치의 오디오 또는 비디오 후처리 칩은 마이크로 코드 인터페이스(708)를 통해 마이크로 코드를 다운로드할 수 있다.
이후, 도 7에 나타낸 ETV 서비스 수신 장치의 구성 요소 사이의 동작을 설명한다.
리모콘 수신기(701)는 리모콘(700)으로부터 적외선을 통해 시청자의 요청 신호를 수신하고, 키 코드를 사용하여 UI 모듈(702)로 수신된 신호를 전송할 수 있다. UI 모듈(702) 및/또는 리모콘 수신기(701)는 브라우저 키 코드를 사용하여 웹 브라우저(705)에 신호를 전달할 수 있다. UI 모듈(702)을 통과한 신호는 그래픽 프로세서(701)로 전달될 수 있다.
튜너(716)는 안테나(715)로부터 수신한 신호를 튜닝하고, 복조기(717)는 튜닝된 신호의 파형을 복원할 수 있다. 디코더(718)는 복원된 신호를 디코딩하여 트리거 프로세서(706)로 전달할 수 있다. 트리거 프로세서(706)는 디코딩된 신호를 트리거 데이터로 처리하여 웹 브라우저(705)로 전송할 수 있다.
웹 브라우저(705)에 전달된 신호가 마이크로 코드 다운로더(704)로 전달되면, 마이크로 코드가 다운로드 되어 오디오 후처리 프로세서 & 증폭기(718)의 마이크로 코드 인터페이스(708)로 및/또는 마이크로 코드 인터페이스(708)를 통해 비디오 디스플레이 프로세서(720)로 전달될 수 있다.
디코딩된 신호는 각각 오디오 디코더(709) 및 비디오 디코더(710)로 전달되는 오디오 신호 및 비디오 신호로 분리될 수 있다. 오디오 디코더(709)에 의해 디코딩된 오디오 신호는 오디오 후처리 프로세서 & 증폭기(719)로 전달될 수 있다. 비디오 디코더(710)에 의해 디코딩된 비디오 신호는 비디오 디스플레이 프로세서(720)로 전달될 수 있다.
오디오 후처리 프로세서 & 증폭기(718)의 마이크로 코드 인터페이스(708) 및/또는 비디오 디스플레이 프로세서(720)가 마이크로 코드 인터페이스(708)를 통해 오디오 신호 및/또는 비디오 신호를 수신하면, 오디오 및/또는 비디오 콘텐츠에 삽입된 워터마크는 마이크로 코드를 통해 추출될 수 있다.
추출된 워터마크는 애플리케이션(712)로 전달될 수 있고, 오디오 신호는 스피커(713)로 출력될 수 있고, 비디오 신호는 디스플레이 모듈(714)로 출력될 수 있다.
도 8은 본 발명의 또 다른 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 8에 나타낸 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치는 리모콘(800), 리모콘 수신기(801), UI 모듈(802), 네트워크 인터페이스(803), 마이크로 코드 다운로더(804), 웹 브라우저(805), 트리거 프로세서(806), 마이크로 프로세서(807), 마이크로 코드 인터페이스(808), 오디오 디코더(809), 비디오 디코더(810), 그래픽 프로세서(811), 애플리케이션(812), 스피커(813), 디스플레이 모듈(814), 오디오 후처리 프로세서 & 증폭기(815), 셋톱박스(817), 외부 입력 핸들러(818)를 포함할 수 있다. 외부 입력 핸들러(818)는 HDMI(high definition multimedia interface)를 통해 외부 입력을 수신할 수 있다.
도 8에 나타낸 바와 같이, ETV 서비스 수신 장치는 오디오/비디오 콘텐츠가 지상파를 통해 전송되지 않고 셋톱박스(817)와 같은 외부 장치를 통해 수신되더라도, 마이크로 코드를 사용하여 오디오/비디오 콘텐츠를 자동으로 인식하고 ETV 서비스를 수신할 수 있다. 즉, 오디오/비디오 콘텐츠가 외부 장치로부터 수신되면, ETV 서비스 수신 장치는 실시간으로 마이크로 코드를 사용하여 오디오/비디오 콘텐츠로부터 워터마크를 추출할 수 있다. 이때, 비디오 또는 오디오 후처리 칩은 마이크로 코드 인터페이스(808)를 통해 마이크로 코드를 다운로드할 수 있다. 추출된 워터마크는 애플리케이션(812)으로 전달되고, 수신기는 워터마크에 포함된 데이터를 사용하여 인헨스먼트 데이터를 획득할 수 있다. 본 발명의 일 실시예에 따르면, 후처리 칩은 오디오 후처리 프로세서 & 증폭기(815) 및/또는 비디오 디스플레이 프로세서(816)를 포함할 수 있다.
이후, 도 8에 나타낸 ETV 서비스 수신 장치의 구성 요소 사이의 동작을 설명한다.
리모콘 수신기(801)는 리모콘(800)으로부터 적외선을 통해 시청자의 요청 신호를 수신하고, 키 코드를 사용하여 UI 모듈(802)로 수신된 신호를 전송할 수 있다. UI 모듈(802) 및/또는 리모콘 수신기(801)는 브라우저 키 코드를 사용하여 웹 브라우저(805)에 신호를 전달할 수 있다. 웹 브라우저(805)에 전달된 신호가 마이크로 코드 다운로더(804)로 전달되면, ETV 서비스 수신 장치는 마이크로 코드를 다운로드 하여 마이크로 코드 인터페이스(808)로 전달할 수 있다. UI 모듈(602)을 통과한 신호는 그래픽 프로세서(8701)로 전달될 수 있다.
셋톱박스를 통해 외부 장치로부터 수신된 신호는 외부 입력 핸들러(818)를 통해 디코딩되지 않고 트리거 프로세서(806)를 통해 트리거 데이터로 처리되어 웹 브라우저(805)로 전달될 수 있다. 또는, 외부 입력 핸들러(818)를 통과한 외부 입력 신호는 각각 오디오 디코더(809) 및 비디오 디코더(810)로 전달되는 오디오 신호 및 비디오 신호로 분리될 수 있다. 이때, 오디오 디코더(809)는 오디오 신호를 디코딩할 수 있다.
디코딩된 오디오 신호는 오디오 후처리 프로세서 & 증폭기(819)로 전달될 수 있고, 디코딩된 비디오 신호는 비디오 디스플레이 프로세서(816)로 전달될 수 있다. 오디오 후처리 프로세서 & 증폭기(819) 및 비디오 디스플레이 프로세서(816)의 마이크로 코드 인터페이스(808)는 마이크로 코드를 사용하여 오디오 및/또는 비디오 콘텐츠에 삽입된 워터마크를 추출할 수 있다.
추출된 워터마크는 애플리케이션(812)으로 전달될 수 있고, 오디오 신호는 스피커(813)로 출력될 수 있고, 비디오 신호는 디스플레이 모듈(814)로 출력될 수 있다.
도 9는 본 발명의 일 실시예에 따른 디지털 워터마킹 기술의 흐름을 나타낸 도면이다.
디지털 워터마킹은 제거하기 어려운 방식으로 디지털 신호에 정보를 매립하는 과정이다. 예를 들면, 신호는 음성, 화면, 또는 영상 될 수 있다. 신호가 복제되면, 정보도 복제된 신호에 실린다. 하나의 신호는 동시에 여러 다른 워터마크를 실을 수 있다.
시각적 워터마킹에서, 정보는 화면 또는 영상에서 가시적이다. 일반적으로 정보는 미디어의 소유자를 확인하는 텍스트나 로고이다. TV 방송사가 전송되는 영상의 모퉁이에 로고를 추가하면, 이 또한 시각적 워터마크이다.
시각적 워터마킹에서, 정보는 디지털 데이터로서 음성, 화면, 또는 영상에 추가되는데, 약간의 정보가 숨겨져 있다는 것을 감지할 수 있어도 그 자체가 인지되지는 못한다. 워터마크는 널리 사용되기 위한 것이어서, 검색하기 쉽게 되어있거나, 한 단체가 디지털 신호에 매립된 비밀메시지를 주고받는 스테가노그래피의 형태일 수 있다. 어느 경우이든, 시각적 워터마킹에서와 같이, 목적은 소유주나 다른 서술 정보를 제거하기 어려운 방식으로 신호에 부착하는 것이다. 숨겨진 매립 정보를 개개인 사이의 통신을 전환하기 위한 수단으로 사용할 수도 있다.
워터마킹의 하나의 응용은 디지털 미디어의 비승인 복제를 방지 또는 저지하기 위한 저작권 보호 시스템에 있다. 이 용도에서는, 복제 장치가 복제 전에 신호로부터 워터마크를 검색하고, 워터마크의 콘텐츠에 따라 복제를 하지 결정한다. 또 다른 응용은 소스 추적에 있다. 워터마크는 배포시마다 디지털 신호에 매립된다. 저작물의 복제물이 나중에 발견되면, 워터마크가 복제물로부터 검색될 수 있고, 배포의 소스가 알려진다. 보도에 따르면 이 기술은 불법적으로 복제된 영화의 소스를 알아내기 위해 사용되어 왔다.
서술 정보가 있는 디지털 사진의 어노테이션은 시각적 워터마킹의 또 다른 응용이다.
디지털 미디어에 대한 파일형식의 일부가 메타데이터라 불리는 부가 정보를 포함할 수 있는 반면, 디지털 워터마킹은 데이터가 신호 자체에서 전달된다는 점에서 구별된다.
일부 문맥에서 디지털 워터마크라는 문구가 워터마킹된 신호와 커버 신호 사이의 차이를 의미하지만, 매립될 정보는 디지털 워터마크라 불린다. 워터마크가 매립될 신호는 호스트 신호라 불린다.
워터마킹 시스템은 주로 매립(901), 공격(902), 검출(또는 추출)(903)의 세 개의 별개의 단계로 구분된다.
매립(901)에서, 알고리즘은 호스트 및 매립될 데이터를 받아들이고, 워터마킹된 신호를 생성한다.
워터마킹된 신호는 전송 또는 저장되는데, 주로 다른 사람에게 전송된다. 이 사람이 변경을 가하면, 이는 공격(902)이라 불린다. 변경이 악의적이지 않을 수도 있지만, 공격이라는 용어는 저작권 침해자들이 변경을 통해 디지털 워터마크를 제거하려는 저작권 보호 애플리케이션으로부터 발생한다. 여러 가지 변경이 가능할 수 있다. 예를 들면, 데이터의 비가역압축, 이미지 또는 영상의 크로핑, 또는 의도적으로 가하는 잡음 등이 있을 수 있다.
검출(903)은 공격받은 신호에서 워터마크를 추출하기 위해 공격받은 신호에 적용되는 알고리즘이다. 신호가 전송 중에 변경되지 않았다면, 워터마크는 여전히 존재하고 추출될 수 있다. 견고한 워터마킹 애플리케이션에서는, 변경이 강력하더라도 추출 알고리즘은 워터마크를 올바르게 생성할 수 있을 것이다. 취약한 워터마킹에서는, 신호에 어떠한 변경이 가해지더라도 추출 알고리즘은 실패할 것이다.
매립된 정보가 몇 번의 변형에 의해 저하되더라도 마킹된 신호로부터 확실히 검출될 수 있으면 디지털 워터마크는 변형에 대해 견고하다고 한다. 전형적인 이미지 저하는 JPEG 압축, 회전(rotation), 크로핑, 부가적인 잡음 및 양자화이다. 비디오 콘텐츠에 있어서, 일시적 변경 및 MPEG 압축이 주로 여기에 포함된다. 워터마킹된 콘텐츠가 원래의 워터마킹되지 않은 콘텐츠와 지각적으로 동등하면 워터마크는 감지할 수 없다고 한다. 일반적으로, 견고한 워터마크나 감지할 수 없는 워터마크는 생성하기 쉽지만, 견고하고 감지할 수 없는 워터마크는 생성하기 어렵다고 알려져 있다. 견고하고 감지할 수 없는 워터마크는 디지털 콘텐츠의 보호를 위한 도구, 예를 들면, 전문적인 비디오 콘텐츠에서 매립된 "복제 불허" 플래그로서 제안되었다.
디지털 워터마킹 기술은 몇 가지 방식으로 분류될 수 있다.
첫째로, 워터마크는 약간의 변형 후에 검출되지 못하면 취약하다고 한다(견고성). 취약한 워터마크는 보통 탬퍼 검출(무결성 입증)을 위해 사용된다. 분명히 뚜렷한 원저작물에 가한 변형은 보통 워터마크라 불리지 않고, 일반화된 바코드라 불린다. 양성 변형에는 저항력이 있지만 악성 변형 후에는 검출에 실패하는 워터마크는 약간 취약하다고 한다. 약간 취약한 워터마크는 보통 악성 변형을 검출하기 위해 사용된다. 지정된 부류의 변형에 저항력이 있는 워터마크는 견고하다고 한다. 견고한 워터마크는 복제물을 전달하고 제어 정보에 접속하기 위해 복제 방지 애플리케이션에서 사용될 수 있다.
둘째로, 원래의 커버 신호와 마킹된 신호가 지각적으로 구별될 수 없으면(구별되기 어려우면) 워터마크는 감지할 수 없다고 한다(지각성). 마킹된 신호에서의 존재가 분명하지만 비침해적이면, 워터마크는 감지할 수 있다고 한다.
셋째로, 용량에 관해서, 매립된 메시지의 길이는 두 가지 다른 주 부류의 워터마킹 방식을 결정한다.
메시지는 개념상으로 0 비트의 길이를 갖고, 시스템은 마킹된 오브젝트에서 워터마크의 존재 유무를 검출하기 위해 설계된다. 이러한 종류의 워터마킹 방식은 주로 이탤릭 0 비트 또는 이탤릭 존재 워터마킹 방식이라 불린다. 종종 이러한 종류의 워터마킹 방식은 1이 워터마크의 존재를 나타내기 때문에(0은 부재) 1 비트 워터마크라 불린다.
메시지는 n 비트 길이의 스트림이고(n = |m| 또는 M = {0,1}n), 워터마크에서 변조된다. 이러한 종류의 방식은 주로 다중비트 워터마킹 또는 비영비트 워터마킹 방식이라 불린다.
넷째로, 매립 단계에는 몇 가지 방식이 있다. 마킹된 신호가 부가적인 변형에 의해 얻어지면 워터마킹 방법은 대역 확산이라 불린다. 대역 확산 워터마크는 적당히 견고하다고 알려져 있지만, 호스트 간섭으로 인해 낮은 정보 용량을 갖는다고 알려져 있기도 하다. 마킹된 신호가 양자화에 의해 얻어지면 워터마킹 방법은 양자화 타입의 것이라고 한다. 양자화 워터마크는 낮은 견고성을 갖지만, 호스트 간섭의 배제로 인해 높은 정보 용량을 갖는다. 마킹된 신호가 대역 확산법과 유사한 부가적인 변형에 의해 매립되지만 특별히 공간 영역에서 매립되면, 워터마킹 방법은 진폭 변조라 불린다.
도 10은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 쿼리 결과 포맷을 나타낸 도면이다.
기존의 자동 콘텐츠 인식 서비스 처리 시스템에 따르면, 방송사가 실시간 서비스를 위한 콘텐츠와 ETV 서비스를 위한 인헨스먼트 데이터를 함께 전송하고, TV 수신기가 콘텐츠와 ETV 서비스를 수신하면, 실시간 서비스를 위한 콘텐츠는 수신될 수 있지만, 인헨스먼트 데이터는 수신되지 못한다.
이 경우, 본 발명의 일 실시예에 따르면, 인터넷 프로토콜 네트워크를 이용한 독립적인 인터넷 프로토콜 시그널링 채널을 통해 기존의 자동 콘텐츠 인식 처리 시스템의 문제를 해결할 수 있다. 즉, TV 수신기는 다채널 방송사업자를 통해 실시간 서비스를 위한 콘텐츠를 수신할 수 있고, 독립적인 인터넷 프로토콜 시그널링 채널을 통해 인헨스먼트 데이터를 수신할 수 있다.
이 경우, 본 발명의 일 실시예에 따르면, 인터넷 프로토콜 시그널링 채널은 PSIP 스트림이 바이너리 스트림의 형태로 전달 및 처리되도록 구성된다. 이때, 인터넷 프로토콜 시그널링 채널은 풀(pull) 방법이나 푸시(push) 방법을 이용하도록 구성된다.
풀 방법의 인터넷 프로토콜 시그널링 채널은 HTTP 요청/응답 방법에 따라 구성될 수 있다. HTTP 요청/응답 방법에 따르면, PSIP 바이너리 스트림은 HTTP 요청 신호에 대한 HTTP 응답 신호에 포함될 수 있고, SignalingChannelURL을 통해 전송될 수 있다. 이 경우, 폴링 사이클은 자동 콘텐츠 인식 쿼리 결과로서 전달된 메타데이터에서 Polling_cycle에 따라 주기적으로 요청될 수 있다. 또한, 갱신될 시간 및/또는 주기에 관련된 정보는 시그널링 채널에 포함되어 전송될 수 있다. 이 경우, 수신기는 인터넷 프로토콜 시그널링 채널로부터 수신한 갱신 시간 및/또는 주기 정보에 근거하여 서버에 시그널링 정보를 요청할 수 있다.
푸시 방법의 인터넷 프로토콜 시그널링 채널은 XMLHTTPRequest 애플리케이션 프로그래밍 인터페이스를 이용하여 구성될 수 있다. XMLHTTPRequest 애플리케이션 프로그래밍 인터페이스가 이용되면, 서버로부터 비동기로 최신정보를 수신할 수 있다. 이는 수신기 측에서는 XMLHTTPRequest 오브젝트를 통해 서버에게 비주기적으로 시그널링 정보를 요청하는 방법이고, 서버 측에서는 시그널링 정보가 변경되었으면 요청에 응답하여 이 채널을 통해 시그널링 정보를 제공하는 방법이다. 세션의 대기시간에 제한이 있으면, 세션 타임아웃 응답이 생성될 수 있고, 수신기는 세션 타임아웃 응답을 인식하고, 시그널링 정보를 다시 요청하고, 수신기와 서버 사이에서 시그널링 채널을 유지할 수 있다.
인터넷 프로토콜 시그널링 채널을 통해 인헨스먼트 데이터를 수신하기 위해, 수신기는 워터마킹과 핑거프린팅을 이용하여 동작할 수 있다. 핑거프린팅은 콘텐츠 구매자에 관한 정보를 콘텐츠 제공자 대신 콘텐츠에 삽입하는 기술을 말한다. 핑거프린팅이 이용되면, 수신기는 콘텐츠를 확인하기 위해 참조 데이터베이스를 검색할 수 있다. 콘텐츠를 확인한 결과는 자동 콘텐츠 인식 쿼리 결과라 불린다. 자동 콘텐츠 인식 쿼리 결과는 TV 시청자에게 제공된 쿼리를 포함하고, 자동 콘텐츠 인식 기능을 실행하기 위해 쿼리의 정보에 대해 대응할 수 있다. 수신기는 자동 콘텐츠 인식 쿼리 결과에 근거하여 ETV 서비스를 제공할 수 있다.
자동 콘텐츠 인식 쿼리 결과에 관한 정보는 워터마크 기반 자동 콘텐츠 인식 시스템 상에서 오디오/비디오 콘텐츠에 삽입/매립되어 전송될 수 있다. 수신기는 워터마크 추출기를 통해 자동 콘텐츠 인식 쿼리 결과 정보를 추출 및 획득한 후, ETV 서비스를 제공할 수 있다. 이 경우, ETV 서비스는 별도의 자동 콘텐츠 인식 서버 없이 제공될 수 있고, 인터넷 프로토콜 네트워크를 통한 쿼리는 생략될 수 있다.
도 10은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 쿼리 결과를 나타내는 XML 방식의 도면이다. 도 10에 나타낸 바와 같이, 자동 콘텐츠 인식 쿼리 결과의 XML 포맷은 결과 코드부(1010)를 포함할 수 있고, 자동 콘텐츠 인식 쿼리 결과 타입(1000)은 콘텐츠 ID부(1001), NTP(network time protocol) 타임스탬프부(1002), 시그널링 채널 정보부(1003), 서비스 정보부(1004), 기타 식별자부(1005)를 포함할 수 있다. 시그널링 채널 정보부(1003)는 시그널링 채널 URL부(1013), 갱신모드부(1023), 폴링 사이클부(1033)를 포함할 수 있고, 서비스 정보부(1004)는 서비스 네임부(1014), 서비스 로고부(1024), 서비스 서술부(1034)를 포함할 수 있다.
이후, 도 10에 나타낸 자동 콘텐츠 인식 쿼리 결과의 XML 방식의 도면을 상세히 설명하고, XML 방식의 예를 설명한다.
결과 코드부(1010)는 자동 콘텐츠 인식 쿼리의 결과값을 나타낼 수 있다. 이는 쿼리 성공 또는 실패, 쿼리가 실패하면 실패 이유를 코드값의 형태로 나타낼 수 있다. 예를 들면, 결과 코드부(1010)의 값이 200이면, 이는 쿼리가 성공하고 그에 해당하는 콘텐츠 정보가 반환되었다는 것을 나타낸다. 결과 코드부(1010)의 값이 404이면, 이는 콘텐츠가 발견되지 않았다는 것을 나타낸다.
콘텐츠 ID부(1001)는 전 세계적으로 유일하게 콘텐츠를 식별하기 위한 식별자를 나타내고, 서비스를 식별하기 위한 식별자인 글로벌 서비스 식별자부를 포함할 수 있다.
NTP 타임스탬프부(1002)는 자동 콘텐츠 인식 쿼리에 사용되는 샘플 프레임 간격의 특정 시점이 NTP 타임스탬프의 형태로 제공된다는 것을 나타낼 수 있다. 여기서, 특정 시점은 샘플 프레임의 시점 또는 종점일 수 있다. NTP란 인터넷을 통해 컴퓨터의 시간을 레퍼런스 클록에 맞추기 위한 프로토콜을 말하며, 타임 서버와 컴퓨터 네트워크 상에 분배된 클라이언트 사이의 시간 동기화를 위해 사용될 수 있다. NTP가 UTC(universal time coordinated) 시간을 사용하고 10 ms의 정확도를 보장하기 때문에, 수신기는 프레임 동기화 동작을 정확히 처리할 수 있다.
시그널링 채널 정보부(1003)는 ETV 서비스를 위한 인터넷 프로토콜 네트워크 상의 독립적인 시그널링 채널의 액세스 정보를 나타낼 수 있다.
더 구체적으로, 시그널링 채널 정보부(1003)의 하위부인 시그널링 채널 URL부(1013)는 시그널링 채널의 URL 정보를 나타낼 수 있다. 시그널링 채널 URL부(1013)는 갱신모드부(1023) 및 폴링 사이클부(1033)를 하위부로 포함할 수 있다. 갱신모드부(1023)는 인터넷 프로토콜 시그널링 채널을 통해 정보를 획득하는 방법을 나타낸다. 예를 들면, 풀 모드에서 수신기는 정보를 획득하기 위해 풀 방법에 따라 주기적으로 폴링을 수행할 수 있고, 푸시 모드에서 서버는 푸시 방법에 따라 수신기에 정보를 송신할 수 있다. 폴링 사이클부(1033)는 갱신모드부(1023)가 풀 모드이면 풀 방법에 따라 수신기의 기본 폴링 사이클값을 나타낼 수 있다. 그리고 수신기는 기본 폴링 사이클값을 특정하고 임의 시간 간격으로 요청 신호를 서버에 전송하여, 서버가 요청으로 과부하되는 것을 방지할 수 있다.
서비스 정보부(1004)는 방송 채널에 관한 정보를 나타낼 수 있다. 콘텐츠 ID부(1001)는 시청자에 의해 현재 시청되고 있는 서비스의 식별자를 나타낼 수 있고, 서비스 정보부(1004)는 방송 채널에 관한 구체적인 정보를 나타낼 수 있다. 예를 들면, 서비스 정보부(1004)가 나타내는 구체적인 정보는 채널명, 로고, 또는 텍스트 설명일 수 있다.
더 구체적으로, 서비스 정보부(1004)의 하위부인 서비스 네임부(1014)는 채널명을 나타낼 수 있고, 서비스 로고부(1024)는 채널 로고를 나타낼 수 있고, 서비스 서술부(1034)는 채널 텍스트 설명을 나타낼 수 있다.
다음은 본 발명의 일 실시예에 따른 도 10에 나타낸 자동 콘텐츠 인식 쿼리 결과의 요소의 XML 개요를 나타낸다.
<xs:complexType name="ACR-ResultType">
<xs:sequence>
<xs:element name="ContentID" type="xs:anyURI"/>
<xs:element name="NTPTimestamp" type="xs:unsignedLong"/>
<xs:element name="SignalingChannelInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="SignalingChannelURL" maxOccurs="unbounded">
<xs:complexType>
<xs:simpleContent>
<xs:extension base="xs:anyURI">
<xs:attribute name="UpdateMode">
<xs:simpleType>
<xs:restriction base="xs:string">
<xs:enumeration value="Pull"/>
<xs:enumeration value="Push"/>
</xs:restriction>
</xs:simpleType>
</xs:attribute>
<xs:attribute name="PollingCycle" type="xs:unsignedInt"/>
</xs:extension>
</xs:simpleContent>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name="ServiceInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="ServiceName" type="xs:string"/>
<xs:element name="ServiceLogo" type="xs:anyURI" minOccurs="0"/>
<xs:element name="ServiceDescription" type="xs:string" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="ResultCode" type="xs:string" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
도 11은 본 발명의 일 실시예에 따른 콘텐츠 ID의 구조를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 ATSC 표준에 따른 콘텐츠 ID의 구문(syntax) 구조를 나타낸다. ATSC 콘텐츠 ID는 수신기에 의해 수신한 콘텐츠를 식별하기 위한 식별자로 사용될 수 있다.
ATSC Content Identifier는 유일한 주기를 갖고 TSID(Transmitting Subscriber Identification) 및 하우스 넘버로 구성된 구조이다. 하우스 넘버는 여기에 제약된 바와 같이 TSID의 보유자가 원하는 어떤 넘버이다. 넘버는 TSID의 각각의 값에 대해 유일하다. ATSC Content Identifier 구조의 구문은 도 11에 정의된 바와 같다.
16 비트의 부호 없는 정수 필드인 TSID는 transport_stream_id의 값을 포함할 것이다. 미국에서 이 값의 할당 권한은 FCC에 있다. 멕시코, 캐나다, 미국에 대한 범위는 이들 국가 사이의 공식 협약에 의해 설정되었다. 다른 지역의 값은 임의의 권한에 의해 설정된다.
5 비트의 부호 없는 정수인 end_of_day 필드는 방송일이 종료되는 UTC에서 그 날의 시간으로 설정될 것이며, 잠시 후 content_id 값들이 unique_for에 따라 재사용될 수 있다. 이 필드의 값은 0 내지 23의 범위에 있을 것이다. 이때, 이 필드의 값은 방송사마다 고정될 것으로 예상된다.
9 비트의 부호 없는 정수인 unique_for 필드는 일수로 설정되고 끝수 올림되고 content_id 값이 다른 콘텐츠에 재할당되지 않는 end_of_day가 나타내는 시간에 관해서 측정된다. 그 값은 1 내지 511의 범위에 있을 것이다. 0은 금지될 것이다. 511은 "무기한"의 특별한 의미가 있다. 이때, 이 필드의 값은 하우스 넘버링 방법이 변경될 때만 변경되고 방송사마다 본질적으로 고정될 것으로 예상된다. 또한, 디코더는 unique_for 필드가 만료될 때까지 저장된 content_values를 유일한 것으로 취급할 수 있고, 이는 저장된 모든 unique_for 필드가 0이 될 때까지 end_of_day에 매일 1씩 감소시킴으로써 실행될 수 있다.
가변 길이 필드인 content_id 필드는 하우스 넘버 시스템이나 TSID의 값을 위한 시스템에 따라 식별자의 값으로 설정될 수 있다. 이러한 각 값은 end_of_day 및 unique_for 필드의 값에 의해 설정된 유일 기간 내에서 다른 콘텐츠로 할당될 수 없다. 해당 식별자는 사람이 판독할 수 있고/있거나 2진인 값의 어떠한 조합이 될 수 있고, 242 바이트를 넘지 않도록 하우스 넘버의 형태와 완벽히 일치할 필요는 없다.
도 12는 본 발명의 일 실시예에 따른 워터마킹을 이용한 수신기의 동작을 나타낸 도면이다.
본 발명에서 자동 콘텐츠 인식 기능을 지원하는 ETV 서비스를 제공하는 방법으로서, 워터마킹을 이용한 방법이 제안된다. 도 12는 워터마킹을 이용해서 자동 콘텐츠 인식 기능을 실행하는 수신기의 모듈 사이의 동작을 나타낸 도면이다.
도 12에 나타낸 바와 같이, 워터마킹을 이용한 수신기는 M/H 수신 모듈(1200), 인터넷 모듈(1201), 저장 모듈(1202), 외부 입력 모듈(1203), 워터마크 추출 모듈(1204), 애플리케이션 모듈(1205), 오디오/비디오 처리 모듈(1206), 표시 모듈(1207)을 포함할 수 있다.
도 12에 나타낸 바와 같이, 수신기는 워터마크를 이용하여 콘텐츠 제공자를 인식하고, 인식된 콘텐츠 제공자에 의해 제공된 인헨스먼트 서비스를 처리할 수 있다.
본 발명의 일 실시예에 따른 수신기에서, 워터마크 추출 모듈(1204)은 외부 입력을 통해 M/H 수신 모듈(1200)에 의해 수신된 오디오/비디오 신호로부터 워터마크를 추출하여 오디오/비디오 신호에 포함된 콘텐츠 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 워터마크에 포함될 수 있는 콘텐츠 정보는 후술한다.
추출된 콘텐츠 정보는 애플리케이션 모듈(1205)을 통해 시청자에게 표시될 수 있고, 시청자는 표시된 콘텐츠 정보를 이용하여 M/H 또는 인터넷을 통해 인헨스먼트 서비스를 위한 인헨스먼트 데이터를 선택적으로 수신할 수 있다.
도 12에 도시하지 않았지만, 수신된 인헨스먼트 데이터는 자동 콘텐츠 인식 서비스를 위해 사용될 저장 모듈(1202)에 저장될 수 있다. 이 경우, 콘텐츠 정보 및 메타데이터는 저장 모듈(1202)에 저장되고, 저장된 콘텐츠 정보 및 메타데이터는 오디오/비디오 재생시 관련된 인헨스먼트 데이터를 수신하기 위해 사용될 수 있다. 또는, 수신기는 콘텐츠 제공자에 접속하거나 오디오/비디오 재생시 M/H 튜닝을 통해 새롭게 인헨스먼트 데이터를 수신할 수 있다.
이후, 도 12에 나타낸 각 모듈의 동작을 설명한 후, 워터마크로부터 추출될 수 있는 콘텐츠 정보를 설명한다.
M/H 수신 모듈(1200)은 M/H 신호를 통해 콘텐츠 제공자로부터 인헨스먼트 정보를 수신할 수 있다.
인터넷 모듈(1201)은 인터넷을 통해 콘텐츠 제공자로부터 인헨스먼트 정보를 수신할 수 있다.
저장 모듈(1201)은 오디오/비디오 정보를 포함하는 데이터 및/또는 콘텐츠 제공자로부터 수신한 인헨스먼트 데이터를 저장할 수 있다. 워터마크 추출 모듈(1204)이 워터마크를 추출하면, 워터마크는 특별 메타데이터로서 표시되고 저장 장치에 저장될 수 있다.
외부 입력 모듈(1203)은 외부 입력을 통해 콘텐츠 제공자의 오디오/비디오 신호를 수신할 수 있다.
워터마크 추출 모듈(1204)은 외부 입력 모듈(1203)에 의해 수신된 오디오/비디오 신호로부터 워터마크를 추출할 수 있다. 콘텐츠가 TV의 저장 장치에 저장된 후 재생되면, 워터마크는 재생시 추출될 수 있다.
애플리케이션 모듈(1205)은 오디오/비디오 정보를 포함하는 데이터 및/또는 콘텐츠 제공자로부터 수신되고 저장 모듈(1201)에 저장된 인헨스먼트 데이터로부터 워터마크 추출 모듈(1204)에 의해 추출된 워터마크를 수신하고, 워터마크에 관한 정보를 이용하여 오디오/비디오 정보를 포함하는 데이터 및/또는 인헨스먼트 데이터를 처리할 수 있다.
오디오/비디오 처리 모듈(1206)은 오디오 디코더 및/또는 비디오 디코더를 통해 오디오/비디오 신호를 디코딩하여 애플리케이션 모듈(1205)로부터 수신된 데이터를 처리한다.
표시 모듈(1207)은 오디오/비디오 처리 모듈(1206)에 의해 처리된 데이터를 OSD(on screen display) 방식으로 수신기의 화면에 표시할 수 있다.
이후, 본 발명의 일 실시예에 따른 콘텐츠 정보를 설명한다.
워터마크를 통해 추출된 콘텐츠 정보는 콘텐츠 제공자에 관한 정보를 포함할 수 있다. 더 구체적으로, 콘텐츠 정보는 콘텐츠 제공자 또는 방송사의 ID 정보, 콘텐츠의 ID 정보, 콘텐츠의 시간에 관한 정보, 콘텐츠 라이프 사이클 정보, 및/또는 인헨스먼트 데이터에 관한 정보를 포함할 수 있다. 본 발명의 일 실시예에 따른 핑거프린팅을 이용한 자동 콘텐츠 인식 서비스에서, 자동 콘텐츠 인식 쿼리 결과는 자동 콘텐츠 인식 기능을 통해 얻어진 콘텐츠를 위한 메타데이터로서 사용될 수 있다.
콘텐츠 제공자 ID 정보는 콘텐츠 제공자 또는 방송사를 식별하기 위한 식별자를 의미할 수 있다. 본 발명의 일 실시예에 따르면, 콘텐츠 제공자 ID 정보는 일차 식별자의 역할을 할 수 있다. 콘텐츠 제공자 ID 정보는 제작자명 및 제작자를 식별하기 위한 일련번호 및/또는 국가, 지역, 서비스 특성(장르)을 식별하기 위한 일련번호의 모음을 포함할 수 있다. 본 발명의 일 실시예에 따르면, ATSC PSIP를 위해 사용되는 TS-id는 콘텐츠 제공자 ID 정보로 사용될 수 있다.
콘텐츠 ID 정보는 콘텐츠 제공자 대신 콘텐츠를 식별하기 위한 식별자를 의미할 수 있다. 더 구체적으로, 콘텐츠 ID 정보는 콘텐츠명 및 콘텐츠를 식별하기 위한 일련번호 및 콘텐츠 특성(장르)을 식별하기 위한 일련번호의 모음을 포함할 수 있다. 본 발명의 일 실시예에 따르면, ATSC PSIP를 위해 사용되는 event-id는 콘텐츠 ID 정보로 사용될 수 있다.
콘텐츠 제공자 ID 정보는 콘텐츠 ID 정보보다 높은 빈도로 워터마크에 포함될 수 있고, 더 용이하게 추출되도록 구성될 수 있다. 이 경우, 콘텐츠 제공자 ID 정보는 더 압축된 정보 또는 더 자세한 정보를 포함할 수 있다.
시간 정보는 콘텐츠와 관련된 시간 정보를 나타낼 수 있다. 더 구체적으로, 시간 정보는 시작 시각, 지속 시간, 종료 시각, 및/또는 총 서비스 재생시간을 나타내는 리드 타임을 포함할 수 있다. 본 발명의 일 실시예에 따르면, 시간 정보는 UTC나 GPS에 기초하고, ATSC PSIP의 STT와 같은 다른 포맷으로 구성될 수 있다. 또한, 시간 정보는 동기화된 위젯과 같은 서비스가 제공될 때, 표시 과정에서 동기화를 위해 사용될 수 있다. 또한, 시간 정보는 케이블이나 위성 PVR(personal video recorder) 셋톱박스에 의해 재스케줄링되는 콘텐츠를 위해 사용된다.
콘텐츠 라이프 사이클 정보는 서비스가 유효한 라이프 사이클에 관한 정보를 포함한다.
인헨스먼트 데이터에 관한 정보는 인헨스먼트 데이터의 존재 유무, 워터마크의 사용, 및/또는 인헨스먼트 데이터를 수신하는 경로에 관한 정보를 포함할 수 있다. 더 구체적으로, 인헨스먼트 데이터에 관한 정보는 콘텐츠 제공자에 의해 제공되는 인헨스먼트 데이터의 존재에 관한 정보, 워터마크가 불법 복제 또는 배포를 방지하기 위한 라이센스, 시청률 조사, 또는 부가 서비스를 위한 콘텐츠 제공자 승인을 위해 사용되는지 나타내는 정보를 포함할 수 있다. 인헨스먼트 데이터를 수신하는 경로에 관한 정보는 인터넷 프로토콜 네트워크가 사용되는지 여부 또는 모바일 기기와 같은 다른 매체가 사용되는지 여부를 나타내는 정보를 포함할 수 있다. 더 구체적으로, 인헨스먼트 데이터가 인터넷 프로토콜 네트워크를 통해 수신되면 인터넷 프로토콜 주소 및/또는 URL 정보가 포함될 수 있고, 인헨스먼트 데이터가 모바일 기기를 통해 수신되면 빈도 정보, 표준(ATSC MH, DMB, Media Flow, DVB-H, NGH 등) 정보, 및/또는 채널 정보가 포함될 수 있다.
도 13은 본 발명의 일 실시예에 따른 워터마크 추출과정을 나타낸 도면이다.
일반적인 디지털 TV 수신기와 같은 수신기(1320)는 HDMI 또는 컴포넌트 연결을 통해 수신기(1320)에 장착된 케이블 또는 위성 셋톱박스(1310)로부터 오디오/비디오 신호를 수신한다. 이후, 도 13에 나타낸 본 발명의 일 실시예에 따르면, 워터마크를 추출하고 콘텐츠 제공자를 인식하는 동작을 셋톱박스(1310) 및 수신기(1320)에서 단계적으로 설명한다.
수신기(1320)의 입력 모드가 외부 입력 모드로 설정되면, 수신기(1320)는 콘텐츠 제공자 또는 방송사를 식별하기 위한 콘텐츠 제공자 식별자를 검색할 수 있다. 셋톱박스(1310)가 온 상태가 되고 채널이 튜닝되면, 수신기(1320)는 콘텐츠 제공자 식별자를 검출할 수 있다. 수신기(1320)는 검출된 콘텐츠 제공자에 의해 제공되는 콘텐츠의 콘텐츠 식별자 및 시간 정보를 검출할 수 있다. 셋톱박스(1310)로부터 수신된 서비스의 채널이 변경되면, 셋톱박스(1310)는 변경된 채널에 따른 콘텐츠 제공자를 식별하기 위한 콘텐츠 제공자 식별자를 새롭게 검색한다.
도 14는 본 발명의 일 실시예에 따른 워터마크 정보의 프로파일링을 나타낸 도면이다.
도 12 및 13을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 수신기는 오디오/비디오 콘텐츠에 포함된 콘텐츠 제공자 정보를 전송하기 위한 워터마크를 사용하여 콘텐츠 제공자를 인식한다. 이 경우, 워터마크에 저장된 정보의 양이 증가하면, 워터마크가 삽입된 오디오/비디오 콘텐츠의 질이 저하될 수 있다. 따라서, 본 발명에서는 이러한 문제를 해결하기 위해, 워터마크에 저장된 정보의 속성에 따라 워터마크를 프로파일링 및 레벨링하고, 레벨링된 워터마크를 오디오/비디오 콘텐츠에 삽입하는 방법을 제안한다. 이 경우, 레벨링된 워터마크는 저장된 정보의 속성에 따라 구별되어 오디오/비디오 콘텐츠에 삽입되기 때문에, 삽입된 워터마크에 관한 정보의 양은 콘텐츠의 질이 저하되는 것을 방지하기 위해 조절될 수 있다.
따라서, 본 발명에서는 프로파일링에 따라 워터마크를 레벨링하기 위해, 워터마크는 워터마크에 저장된 정보의 속성에 따라 기본 프로파일 워터마크와 확장 프로파일 워터마크로 구분될 수 있다. 기본 프로파일 워터마크는 자동 콘텐츠 인식 기능을 수행하기 위해 실시간 방송 프로그램을 인식하는 데 기본적으로 필요한 정보를 포함할 수 있다. 확장 프로파일 워터마크는 자동 콘텐츠 인식 기능을 수행하는 데 기본적으로 필요한 정보 대신 부가 정보를 포함할 수 있다. 복수의 확장 프로파일 워터마크가 존재하여 정보의 속성에 따라 다시 레벨링될 수 있다. 이 경우, 기본 프로파일 워터마크와 확장 프로파일 워터마크는 서로 다른 주기로 오디오/비디오 콘텐츠에 삽입될 수 있다.
도 14는 전술한 바와 같이 레벨링된 워터마크를 오디오/비디오 콘텐츠에 삽입하는 과정을 나타낸 도면이다.
전술한 바와 같이, 콘텐츠 제공자(1400)는 오디오/비디오와 같은 원 신호(1410)를 수신하고, 워터마크가 삽입될 영역을 검색하고(1401), 제공될 콘텐츠와 관련된 메타데이터(1420)를 워터마크에 매립할 수 있다(1402). 그 후, 콘텐츠 제공자(1400)는 워터마킹된 신호(1430)를 수신기에 전송할 수 있다. 워터마킹된 신호(1430)에서, 원 신호(1410) 및 메타데이터(1420)는 워터마크의 형태로 저장될 수 있다. 일 실시예에서, 도 14의 워터마크는 기본 프로파일 워터마크 W1(1440)과 제1 및 제2 확장 프로파일 워터마크 W2 및 W3(1450 및 1460)을 포함할 수 있다.
기본 프로파일 워터마크(1440)는 콘텐츠 제공자 식별자부와 확장 지시자를 포함할 수 있다.
콘텐츠 제공자 식별자부는 콘텐츠를 제공하는 방송사나 콘텐츠 제공자를 식별하기 위한 정보를 나타낼 수 있다.
확장 지시자부는 다음 레벨의 워터마크, 즉 제1 확장 프로파일 워터마크(1450)가 추가로 삽입되는지를 나타낸다. 확장 지시자부의 값이 1이면, 이는 다음 레벨의 제1 확장 프로파일 워터마크(1450)가 삽입된다는 것을 나타낸다.
제1 확장 프로파일 워터마크(1450)는 콘텐츠 식별자부, 타임스탬프부, 확장 지시자부를 포함할 수 있다.
콘텐츠 식별자부는 콘텐츠명이나 콘텐츠를 식별하기 위한 일련번호 정보를 나타낼 수 있다.
타임스탬프부는 콘텐츠의 시간 정보를 나타낸다.
확장 지시자부는 전술한 바와 같이 다음 레벨의 워터마크, 즉 제2 확장 프로파일 워터마크(1460)가 추가로 삽입되는지를 나타낼 수 있다. 도 14에 나타낸 바와 같이, 제2 확장 프로파일 워터마크(1460)는 워터마크 삽입 사용부, 부가 정보의 URL부, 확장 지시자부를 포함할 수 있다.
워터마크 삽입 사용부는 워터마크 삽입 사용에 관한 정보를 나타낼 수 있다.
부가 정보의 URL부는 서비스를 받기 위한 부가 정보 또는 URL 정보를 나타낼 수 있다.
확장 지시자부는 다음 레벨의 워터마크가 삽입되는지를 나타낼 수 있다.
도 14에 나타낸 바와 같이, 콘텐츠 제공자나 방송사는 레벨링된 워터마크가 오디오/비디오 콘텐츠에 삽입될 때 워터마크 프로파일링에 따라 오디오/비디오 콘텐츠에 워터마크를 삽입하는 횟수를 구별할 수 있다. 예를 들면, 기본 프로파일 워터마크(1440)가 방송 프로그램의 중요한 기본 정보를 포함하므로, 콘텐츠 제공자나 방송사는 수신자가 가능한 빨리 정보를 정확히 인식하도록 기본 프로파일 워터마크를 삽입하는 횟수를 설정할 수 있다.
즉, 콘텐츠 제공자나 방송사는 워터마킹된 신호(1430)의 전송 주기 동안 제1 및 제2 확장 프로파일 워터마크(1450 및 1460)보다 기본 프로파일 워터마크(1440)를 더 삽입할 수 있다. 따라서, 수신기는 우선적으로 기본 프로파일 워터마크(1440)를 추출한 후, 필요에 따라 확장 프로파일 워터마크(1450 및 1460)를 추출할 수 있다. 이 경우, 수신기는 확장 지시자부의 값에 따라 확장 프로파일 워터마크의 존재를 확인하고, 확장 프로파일 워터마크를 추출할 수 있다. 즉, 수신기는 워터마크의 프로파일에 따라 차별적으로 삽입된 워터마크를 차별적으로 추출하고, 워터마크에 포함된 정보를 효율적으로 저장 및 관리할 수 있다.
지금까지, 본 발명의 일 실시예에 따른 워터마킹을 이용한 자동 콘텐츠 인식 서비스를 제공하는 방법 및 시스템을 설명하였다. 이후, 본 발명의 일 실시예에 따라 콘텐츠 제공자 측에서 콘텐츠에 워터마크를 매립하는 방법과 수신기 측에서 콘텐츠로부터 워터마크를 추출하는 방법을 상세히 설명한다.
콘텐츠 제공자 측에서 비디오 프레임에 워터마크를 매립하는 방법과 수신기 측에서 콘텐츠로부터 워터마크를 추출하는 방법을 도 15 내지 17을 참조하여 설명하고, 콘텐츠 제공자 측에서 오디오 프레임에 워터마크를 매립하는 방법과 수신기 측에서 콘텐츠로부터 워터마크를 추출하는 방법을 도 18을 참조하여 설명한다.
도 15는 본 발명의 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
콘텐츠 제공자는 우선 하나의 비디오 프레임(1500)을 서브프레임(1501)으로 세분화하고, 세분화된 서브프레임(1502)을 검색하고, 워터마크가 적절히 매립될 영역을 결정한다. 워터마크가 매립될 서브프레임 영역이 결정되면, 워터마크가 서브프레임 영역(1510)에 매립되고, 서브프레임들이 결합하여 하나의 비디오 프레임(1520)을 재생성한다.
수신기 측에서 하나의 비디오 프레임의 전체 영역에 매립된 비디오 프레임으로부터 워터마크를 추출하기 위해, 우선 수신기는 하나의 비디오 프레임을 서브프레임들로 세분화한다. 워터마크가 매립되어 있을 수 있는 영역은 세분화된 서브프레임으로부터 검출된다. 워터마크는 검출된 서브프레임 영역으로부터 추출되고, 추출된 워터마크들은 최종적으로 하나의 워터마크를 결정하기 위해 비교된다. 인헨스먼트 데이터는 결정된 워터마크를 통해 콘텐츠 정보를 이용하여 다운로드될 수 있다.
도 16은 본 발명의 또 다른 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
더 구체적으로, 도 16은 본 발명의 일 실시예에 따라 워터마크를 비디오 프레임의 바(bar) 데이터 영역에 매립하는 방법을 나타낸다.
워터마크가 하나의 비디오 프레임의 전체 영역에 매립되면, 워터마킹 견고성은 향상되지만, 수신기 측에서 워터마크를 추출하는 데 필요한 처리가 증가할 수 있다. 따라서, 비디오 프레임의 일부 영역에 워터마크를 매립함으로써, 수신기 측에서 워터마크를 추출하는 데 필요한 처리를 감소시켜 수신기의 동작 효율을 향상시킬 수 있다. 비디오 프레임의 전체 영역 중 워터마크가 매립될 일부 영역은 전송기/수신기의 규칙에 따라 미리 정할 수 있다. 이후, 본 발명의 일 실시예에 따르면, 콘텐츠 제공자는 비디오 프레임의 전체 영역 중 일부인 바 데이터 영역에 워터마크를 매립할 수 있다.
콘텐츠 제공자가 수신기에 콘텐츠를 전송할 때 콘텐츠의 영상비(image ratio)가 전송 포맷과 맞지 않으면, 바 데이터 영역(1600)이 스크린상에 생성될 수 있다. 예를 들면, 도 16에 나타낸 바와 같이, 16:9의 화면비를 갖는 비디오 프레임을 4:3의 화면비로 전환하는 경우, 스크린의 왼쪽 및 오른쪽 테두리를 잘라내지 않기 위해 4:3의 화면비를 갖는 스크린의 위쪽 및 아래쪽 모서리에 검은 띠가 생성될 수 있다. 검은 띠의 영역은 레터박스(letterbox)라 불리는 바 데이터 영역(1600)이 될 수 있다.
도 16에 나타낸 바와 같이, 바 데이터 영역(1600)이 존재하는 비디오 프레임의 경우, 워터마크가 바 데이터 영역(1600)이 매립되어 전송될 수 있다. 워터마크를 바 데이터 영역에 매립하는 방법은 도 15를 참조하여 설명한 워터마크를 비디오 프레임에 매립하는 과정과 동일하게 실행될 수 있다.
더 구체적으로, 콘텐츠 제공자는 워터마크가 매립될 비디오 프레임의 바 데이터 영역(1600)을 검색하고(1610), 워터마크를 바 데이터 영역(1600)에 매립한다(1620).
비디오 프레임의 일부 영역에 매립된 워터마크를 추출하기 위해, 우선 수신기는 하나의 비디오 프레임을 서브프레임들로 세분화한다. 워터마크가 매립되어 있을 수 있는 영역은 세분화된 서브프레임으로부터 검출된다. 도 16에 나타낸 본 발명의 일 실시예에 따르면, 수신기는 세분화된 서브프레임으로부터 바 데이터 영역을 검출한다. 워터마크는 검출된 서브프레임 영역으로부터 추출되고, 추출된 워터마크들은 최종적으로 하나의 워터마크를 결정하기 위해 비교된다. 인헨스먼트 데이터는 결정된 워터마크를 통해 콘텐츠 정보를 이용하여 다운로드될 수 있다.
도 17은 본 발명의 또 다른 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
더 구체적으로, 도 17은 다른 콘텐츠 정보(또는 메타데이터)를 포함하는 복수의 워터마크를 하나의 비디오 프레임의 서로 다른 영역에 매립하는 방법을 나타낸다.
예를 들면, 도 17에 나타낸 바와 같이, 콘텐츠 제공자 식별자 정보를 포함하는 워터마크는 스크린의 오른쪽 위에 위치한 로고 영역(1700)에 매립될 수 있고, 콘텐츠 식별자 및 타임스탬프 정보를 포함하는 워터마크는 같은 스크린의 중앙 영역(1701)에 매립될 수 있다.
다른 콘텐츠 정보를 포함하는 복수의 워터마크를 하나의 비디오 프레임에 매립하는 방법은 본 발명의 일 실시예에 따라 크게 두 가지 방법으로 구분될 수 있다.
복수의 다른 워터마크는 비디오 프레임의 서로 다른 영역(1700 및 1701)에 매립될 수 있다. 이때, 워터마크가 매립될 비디오 프레임의 둘 이상의 영역(1700 및 1701)은 전송기/수신기의 규칙에 따라 미리 정할 수 있다.
또는, 비디오 프레임의 서로 다른 영역(1700 및 1701)에 관한 정보를 포함하는 별도의 워터마크가 우선 매립될 수 있다. 콘텐츠 정보를 포함하는 워터마크가 매립될 서로 다른 영역(1700 및 1701)은 별도의 워터마크를 통해 검출될 수 있고, 각각의 워터마크가 영역(1700 및 1701)에 매립될 수 있다. 별도의 워터마크는 비디오 프레임의 특정 영역 또는 로고 부분에 매립할 수 있고, 전송기/수신기의 규칙에 따라 미리 정할 수 있다.
수신된 비디오 프레임이 영역에 따라 다른 콘텐츠 정보를 갖는 워터마크를 포함하면, 수신기는 우선 다른 경로를 통해 또는 전송기/수신기의 규칙에 따라 워터마크가 매립되는 영역에 관한 정보를 획득한다. 획득한 정보를 이용하여, 워터마크는 비디오 프레임의 각 영역으로부터 추출된다. 도 17에 나타낸 본 발명의 일 실시예에 따르면, 콘텐츠 제공자에 관한 정보를 포함하는 워터마크는 로고 영역(1700)으로부터 추출될 수 있고, 콘텐츠 식별자 및 시간 정보를 포함하는 워터마크는 스크린의 중앙 영역(1701)으로부터 추출될 수 있다. 또는, 추출된 워터마크로부터 서로 다른 워터마크를 추출하기 위한 정보(예를 들면, 워터마크가 매립된 영역에 관한 정보)가 포함되면, 그 정보를 이용하여 서로 다른 워터마크를 추출할 수 있다.
도 18은 본 발명의 일 실시예에 따른 워터마크를 오디오 프레임에 매립하는 방법을 나타낸 도면이다.
더 구체적으로, 하나의 워터마크를 오디오 프레임에 매립하는 과정을 나타낸다.
원 오디오 신호는 일정한 길이를 갖는 프레임으로 분리되고(1800), 분리된 오디오 프레임은 서브프레임으로 세분화된다(1801). 세분화된 서브프레임을 이용하여, 워터마크가 매립될 영역이 검색된다(1802). 예를 들면, 사람의 귀에 민감한 4 kHz를 넘는 주파수 대역이 검색되어 워터마크 매립 영역으로 결정될 수 있다. 워터마크는 검색된 영역에 매립되고(1803), 서브프레임들이 하나의 오디오 신호로 재결합된다(1803).
또한, 본 발명의 일 실시예에 따르면, 복수의 워터마크가 도 18에 나타낸 워터마크 매립 과정에 기초하여 오디오 신호에 매립될 수 있다. 매립 방법은 워터마크를 둘 이상의 서로 다른 주파수 대역에 각각 매립하고 서브프레임을 하나의 오디오 신호로 재결합하는 방법과 하나의 워터마크를 연속적인 오디오 프레임에 매립하고 나머지 워터마크를 서로 다른 주파수 대역에 매립하는 방법을 포함할 수 있다.
전술한 본 발명의 실시예에 따르면, 워터마크가 매립된 오디오 신호가 수신되면, 수신기는 오디오 신호로부터 워터마크를 추출하기 위해 우선 오디오 신호를 일정한 길이를 갖는 프레임으로 분리할 수 있다. 분리된 프레임은 서브프레임으로 세분화될 수 있고, 워터마크 추출 영역은 서브프레임으로부터 검출될 수 있다. 워터마크는 검출된 영역으로부터 추출된다. 복수의 워터마크가 오디오 신호에 매립되면, 워터마크는 전송기/수신기의 규칙에 따라 정해진 둘 이상의 주파수 대역에서 수신된 오디오 신호로부터 추출될 수 있다. 또는, 하나의 워터마크는 연속적인 오디오 프레임으로부터 추출되고, 나머지 워터마크는 전송기/수신기의 규칙에 따라 정해진 서로 다른 주파수 대역의 신호로부터 추출될 수 있다. 또한, 도 15 내지 18을 참조해서 설명한 워터마크를 매립하는 방법의 본 발명의 일 실시예에 따르면, 워터마크는 오디오 콘텐츠와 비디오 콘텐츠 모두에 매립될 수 있다.
동일한 콘텐츠 정보를 포함하는 워터마크가 오디오 프레임과 비디오 프레임 모두에 매립될 수 있으면, 동일한 워터마크가 소정의 주기로 오디오 프레임과 비디오 프레임에 반복적으로 매립될 수 있다. 이러한 방법에 따르면, 수신기는 워터마크가 매립된 비디오 프레임 및 오디오 프레임으로부터 동일한 워터마크를 동시에 추출할 수 있으므로, 워터마크 추출 결과의 정확도를 높여 최종적으로 정확한 결과를 얻는데 소비하는 시간을 절감할 수 있다.
또는, 워터마크는 워터마크에 포함된 콘텐츠 정보에 따라 분리될 수 있고, 분리된 워터마크는 비디오 프레임과 오디오 프레임에 매립될 수 있다. 예를 들면, 워터마크에 포함된 콘텐츠 정보는 콘텐츠 제공자 식별자나 콘텐츠 식별자와 같은 방송 프로그램을 인식하기 위한 필수 정보와 부가 정보로 분리된다. 필수 정보는 비디오 프레임에 매립되고, 부가 정보는 오디오 프레임에 매립될 수 있다. 반대로, 필수 정보는 오디오 프레임에 매립되고, 부가 정보는 비디오 프레임에 매립될 수 있다. 하나의 비디오 프레임 또는 오디오 프레임에 매립되는 정보의 양은 제한되므로, 이러한 방법을 이용하여 워터마크가 매립되면, 소정 시간 동안 매립되는 메타데이터의 양을 증가시킬 수 있다.
도 19는 본 발명의 일 실시예에 따른 프로파일링된 워터마크를 매립하는 방법을 나타낸 도면이다.
도 14를 참조하여 설명한 바와 같이, 워터마크에 저장된 콘텐츠 정보의 양이 증가할수록 오디오/비디오 콘텐츠의 질이 저하되므로, 워터마크에 저장된 정보의 종류에 따라 워터마크가 레벨링되면, 콘텐츠의 질을 유지하면서 워터마크를 효율적으로 이용할 수 있다.
본 발명의 일 실시예에 따르면, 워터마크에 저장된 정보의 속성에 따라 워터마크가 프로파일링되면, 소정 주기 동안 콘텐츠 프레임에 워터마크를 매립하는 횟수를 다르게 설정할 수 있다.
예를 들면, 워터마크에 저장된 정보는 방송 프로그램을 인식하기 위한 필수 정보와 부가 정보 또는 짧은 변경 주기를 갖는 정보 및 긴 변경 주기를 갖는 정보로 구분될 수 있다. 필수 정보 및/또는 짧은 변경 주기를 갖는 정보를 포함하는 워터마크를 소정 주기 동안 프레임에 매립하는 횟수는 증가할 수 있고, 부가 정보 및/또는 긴 변경 주기를 갖는 정보를 포함하는 워터마크를 소정 주기 동안 프레임에 매립하는 횟수는 감소할 수 있다.
더 구체적으로, 도 19에 나타낸 바와 같이, 콘텐츠 제공자 식별자나 콘텐츠 식별자와 같은 프로그램을 인식하기 위해 필요한 정보를 포함하는 워터마크는 로고 영역(1900)에 매립될 수 있고, URL 정보와 같은 부가 정보를 포함하는 워터마크는 프레임의 또 다른 특정 영역(1901)에 매립될 수 있다. 이 경우, 로고 영역(1900)의 워터마크는 프로그램을 인식하는 데 필요한 데이터이므로 모든 비디오 프레임(1910, 1920, 1930)에 매립될 수 있고, 부가 정보를 제공하기 위한 프레임의 특정 영역(1901)의 워터마크는 두 프레임(1910, 1930)에 한 번 매립될 수 있다.
도 20 및 21은 본 발명의 일 실시예에 따른 워터마크를 매립 및 추출하는 방법을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 워터마크를 연속적인 프레임에 매립하는 방법을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 연속적인 프레임에 삽입된 워터마크를 추출하는 방법을 나타낸 도면이다.
하나의 오디오/비디오 프레임에 매립될 수 있는 콘텐츠 정보의 양은 제한적이다. 도 20 및 21에 나타낸 본 발명의 일 실시예에 따르면, 워터마크는 많은 양의 콘텐츠 정보를 포함할 수 있다.
도 20에 나타낸 바와 같이, 콘텐츠 제공자는 콘텐츠 정보를 포함하는 워터마크를 연속적인 프레임에 매립할 수 있다. 콘텐의 정보의 시작 및 종료를 나타내기 위해, 콘텐츠 정보의 시작 정보를 나타내는 시작 태그(2001) 및 종료 태그(2002)를 콘텐츠 정보에 매립한 후, 콘텐츠 정보는 서브 콘텐츠 정보(2003)로 분리된다. 서브 콘텐츠 정보(2003)를 포함하는 워터마크는 각각 연속적인 오디오/비디오 프레임(2000)에 매립될 수 있다. 또한, 소정 주기 동안 워터마크가 연속적인 오디오/비디오 프레임(2000)에 반복적으로 매립되면, 수신기는 워터마크를 효율적으로 추출할 수 있다.
도 21에 나타낸 바와 같이, 수신기는 워터마크가 매립된 연속적인 프레임에서 워터마크를 추출할 수 있다. 우선, 수신기는 연속적인 오디오/비디오 프레임에 매립된 워터마크를 추출한다. 콘텐츠 정보의 시작 태그(2101) 및 종료 태그(2102)는 추출된 워터마크로부터 검출될 수 있다. 콘텐츠 정보의 시작 정보가 시작 태그(2101)로부터 획득되면, 서브 콘텐츠 정보(2103)를 얻기 위해 시작 태그(2101)가 검출된 후 수신된 오디오/비디오 콘텐츠로부터 워터마크가 추출되고, 획득된 서브 콘텐츠 정보(2103)는 결합된다. 콘텐츠 정보의 종료 정보가 종료 태그(2102)로부터 획득되면, 하나의 콘텐츠 정보를 획득하기 위해 서브 콘텐츠 정보(2103)를 결합하는 과정이 끝난다.
도 22는 본 발명의 일 실시예에 따른 워터마크를 3차원 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
풀 3차원(full 3D) 비디오 영상은 두 개의 카메라를 이용하여 좌영상과 우영상을 얻고, 왼쪽 눈이 좌영상을 볼 수 있게 하고, 오른쪽 눈이 우영상을 볼 수 있게 함으로써 구현될 수 있다. 본 발명에서는 3차원 비디오 프레임에 워터마크를 매립하고 3차원 비디오 프레임으로부터 워터마크를 추출하는 방법이 제안된다.
도 22에 나타낸 바와 같이, 3차원 비디오 프레임은 좌프레임(2200)과 우프레임(2201)을 포함할 수 있다. 콘텐츠 제공자는 콘텐츠 정보(또는 메타데이터)(2202)를 좌프레임(2200) 및 우프레임(2201)에 매립하고, 워터마크가 매립된 좌프레임(이후 워터마킹된 좌프레임이라 한다)(2203) 및 워터마크가 매립된 우프레임(이후 워터마킹된 우프레임이라 한다)(2204)을 생성할 수 있다.
표준화질 또는 고화질 이미지가 생성되어 전송될 수 있다.
첫째로, 콘텐츠 제공자는 워터마크를 좌프레임(2200) 또는 우프레임(2201)에만 매립하고, 워터마킹된 좌프레임 및 우프레임을 수신기에 전송할 수 있다. 수신기는 워터마킹된 좌프레임(2203) 또는 워터마킹된 우프레임(2204)으로부터 워터마크를 추출할 수 있다. 이 경우, 도 15 내지 17을 참조하여 설명한 바와 같이, 워터마크를 비디오 프레임에 매립하는 방법 및 워터마크를 비디오 프레임으로부터 추출하는 방법을 적용할 수 있다. 워터마킹된 비디오 프레임은 전송기/수신기의 규칙에 따라 미리 정할 수 있다.
둘째로, 콘텐츠 제공자는 동일한 콘텐츠 정보를 포함하는 워터마크를 좌프레임(2200) 또는 우프레임(2201)에 매립하고, 워터마킹된 좌프레임 및 우프레임을 수신기에 전송할 수 있다. 수신기는 워터마킹된 좌프레임(2203) 또는 워터마킹된 우프레임(2204)으로부터 워터마크를 추출할 수 있다. 워터마크가 동일하거나 워터마크 사이의 차이가 허용 오차 범위 내에 있으면 추출된 워터마크는 비교되고 수정될 수 있다. 이 경우, 도 15 내지 17을 참조하여 설명한 방법은 워터마크를 좌프레임(2200) 또는 우프레임(2201)에 매립하는 방법 및 매립된 워터마크를 추출하는 방법에 적용할 수 있다. 워터마크는 동일한 방법 또는 다른 방법을 이용하여 좌프레임(2200) 또는 우프레임(2201)에 매립될 수 있다. 이러한 방법은 수신기가 워터마크를 추출할 때 복잡도를 증가시키지만, 워터마크 추출 견고성은 증가할 수 있다.
셋째로, 콘텐츠 제공자는 서로 다른 워터마크를 좌프레임(2200) 또는 우프레임(2201)에 매립하고, 워터마킹된 좌프레임 및 우프레임을 수신기에 전송할 수 있다. 수신기는 워터마킹된 좌프레임(2203) 또는 워터마킹된 우프레임(2204)으로부터 워터마크를 추출할 수 있다. 추출된 워터마크는 하나의 콘텐츠 정보를 포함할 수 있다. 또는, 추출된 워터마크에 포함된 콘텐츠 정보는 결합하여 하나의 새로운 콘텐츠 정보를 생성할 수 있다. 후자의 경우, 하나의 비디오 프레임을 통해 전송 가능한 콘텐츠 정보의 양보다 많은 콘텐츠 정보가 비디오 프레임에 매립될 수 있다. 또는, 비디오 프레임에 포함될 수 있는 콘텐츠 정보는 분리되어 좌프레임(2200) 또는 우프레임(2201)에 매립될 수 있다. 이 경우, 영상의 질이 저하될 가능성을 줄일 수 있다.
도 23은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 제공 시스템의 구조를 나타낸 도면이다.
더 구체적으로, 도 23은 본 발명의 일 실시예에 따라 워터마킹 및 핑거프린팅 기술을 모두 이용하여 방송 콘텐츠를 인식하는 자동 콘텐츠 인식 서비스 제공 시스템을 나타낸다.
워터마킹에서는, 한 프레임에 매립된 콘텐츠의 인식률은 높지만, 많은 양의 콘텐츠 정보가 워터마크에 매립되면 콘텐츠의 질이 저하될 수 있다. 즉, 매립되는 메타데이터의 양이 제한적이다.
핑거프린팅에서는, 콘텐츠의 질은 영향을 받지 않지만, 콘텐츠를 인식하기 위한 자동 콘텐츠 인식 서버가 필요하다. 콘텐츠를 인식하는데 소비되는 시간과 콘텐츠 인식 결과가 레퍼런스 세트의 크기에 의존한다.
도 23에 나타낸 본 발명의 일 실시예에 따르면, 방송 콘텐츠가 워터마킹 및 핑거프린팅 기술의 조합에 의해 인식되면, 두 기술의 문제점을 해결하면서 효율적으로 자동 콘텐츠 인식 서비스를 제공할 수 있다.
본 발명은 두 기술을 이용하여 현재 시청중인 방송 프로그램을 인식하는 방법을 포함한다. 콘텐츠 제공자 또는 방송사의 식별자와 같은 프로그램을 인식하기 위해 사용되고 가장 정확하게 인식될 필요가 있는 메타데이터는 방송 오디오/비디오 콘텐츠에 매립되고 전송될 수 있다.
이후, 도 23에 나타낸 자동 콘텐츠 인식 서비스 제공 시스템의 구성요소 사이의 메커니즘을 자세히 설명한다.
콘텐츠 제공자(2300)가 워터마킹된 오디오/비디오 콘텐츠 및 인헨스먼트 데이터를 다채널 방송사업자(2301)에 전송하면(2310 및 2330), 수신기(2303)는 셋톱박스(2302)를 통해 오디오/비디오 콘텐츠는 수신하지만 인헨스먼트 데이터는 수신하지 못한다(2320). 따라서, 수신기(2303)가 또 다른 경로를 통해 인헨스먼트 데이터를 수신할 수 있도록 하기 위해, 콘텐츠 제공자(2300)는 오디오/비디오 콘텐츠의 부가 정보를 자동 콘텐츠 인식 서버(2304)에 전송하고(2340), 인헨스먼트 데이터를 애플리케이션 서버(2305)에 전송할 수 있다(2350). 오디오/비디오 콘텐츠의 부가 정보는 오디오/비디오 콘텐츠와 관련된 인헨스먼트 데이터를 수신기(2303)에 전달하기 위한 정보일 수 있고, 콘텐츠 식별자, 타임스탬프, URL 등을 포함할 수 있다.
수신기(2303)의 워터마크 추출기(2306)는 수신된 오디오/비디오 콘텐츠로부터 워터마크를 추출할 수 있고, 동시에 핑거프린트 추출기(2307)는 오디오/비디오 콘텐츠로부터 핑거프린트 시그너처를 추출할 수 있다. 수신기(2303)는 워터마크에 포함된 콘텐츠 정보를 포함하는 쿼리와 핑거프린트 시그너처를 자동 콘텐츠 인식 서버(2304)에 전송하고(2360), 자동 콘텐츠 인식 서버(2304)로부터 오디오/비디오 콘텐츠의 부가 정보를 획득할 수 있다(2360). 그 후, 수신기(2303)는 오디오/비디오 콘텐츠의 부가 정보를 이용하여 애플리케이션 서버(2305)로부터 인헨스먼트 데이터를 수신할 수 있다(2380). 워터마킹 결과를 쿼리에 포함함으로써, 자동 콘텐츠 인식 서버에서 콘텐츠를 인식하는 데 소비되는 시간을 줄일 수 있고, 자동 콘텐츠 인식 서버의 콘텐츠 인식 정확도를 높일 수 있다.
도 24는 본 발명의 일 실시예에 따른 방송사 로고를 이용해 자동 콘텐츠 인식 서비스를 제공하는 방법을 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 방송사 로고를 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 방송사 로고를 이용한 자동 콘텐츠 인식 서비스를 나타낸 도면이다.
콘텐츠 제공자(또는 방송사)는 자신의 로고를 나타내는 콘텐츠를 갖는다. 예를 들면, 콘텐츠 제공자는 도 25에 나타낸 로고를 가질 수 있다. 방송사 또는 콘텐츠 제공자는 콘텐츠를 표시하기 위해 도 26에 나타낸 스크린의 오른쪽 위, 왼쪽 위, 오른쪽 아래, 또는 왼쪽 아래에 로고를 삽입한다. 스크린에 표시된 비디오 신(video scene)이 변경되더라도, 로고는 변경되지 않고 계속 표시된다. 본 발명에서는 로고의 특성을 이용하여 스크린의 특정 부분에 계속 표시되는 정보를 자동으로 인식하는 자동 콘텐츠 인식 서비스 방법을 제안한다.
도 24에 나타낸 바와 같이, 본 발명의 일 실시예에 따르면, 자동 콘텐츠 인식 서비스를 제공하기 위해 워터마크를 로고에 삽입할 수 있다. 수신기는 로고를 인식하여 로고를 나타내는 콘텐츠 제공자 정보를 획득하고, 서비스를 받기 위해 콘텐츠 제공자에 접속할 수 있다. 이로써, 자동 콘텐츠 인식 서비스를 제공할 수 있다. 이후, 로고를 이용하여 자동 콘텐츠 인식 서비스를 제공하는 방법을 상세히 설명한다.
우선, 수신기는 로고 인식 단계(2401) 및 로고 비교 단계(2402)를 통해 로고 정보를 획득할 수 있다. 수신기는 콘텐츠 제공자 정보를 비교 결과로서 획득하여 콘텐츠 제공자를 인식하고(2403), 콘텐츠 제공자 서버에 접속한다(2404). 콘텐츠의 부가 정보는 콘텐츠 제공자 서버로부터 수신되어(2405) 부가 서버에 제공될 수 있다(2406).
수신기의 로고 인식 단계(2401) 및 로고 비교 단계(2402)는 수신기에 의해 인식된 로고와 수신기에 미리 저장된 콘텐츠 제공자의 로고를 비교함으로써 실행될 수 있다.
저장된 로고에 관한 정보는 인터넷 프로토콜 네트워크나 MH를 통해 수신기에 의해 수신 및 저장된 정보 또는 수신기에 저장된 디폴트 정보이다. 로고의 새로운 버전 정보가 유지될 수 있다. 인터넷 프로토콜 네트워크나 MH를 통해 수신된 정보의 경우, 새로운 로고 정보는 인터넷 프로토콜 네트워크나 MH를 통해 연속해서 로고 정보를 수신함으로써 유지될 수 있고, 디폴트 정보의 경우, 새로운 로고 정보는 연속적인 갱신을 통해 유지될 수 있다.
로고 비교 단계(2402)에서 인식된 로고가 수신기에 저장된 모든 로고 정보와 비교되면, 정보의 양이 많다. 따라서, 수신기에 부담이 된다. 본 발명의 일 실시예에 따르면, 추출, 저장, 비교가 로고의 구체적인 특성에 근거하여 실행될 수 있으므로, 이러한 제약을 극복할 수 있다. 예를 들면, 비교를 위해 로고 색, 글자(SBS, CNN 등), 윤곽과 같은 로고의 특성이 인식될 수 있다. 윤곽이 이용되면, 로고가 표시되는 영역이 좌표에 의해 구분되어 좌표 특성을 이용하여 로고를 인식할 수 있다.
도 27은 본 발명의 일 실시예에 따른 로고 및 워터마크를 이용한 자동 콘텐츠 인식 서비스 제공 방법을 나타낸 도면이다.
도 27에 나타낸 바와 같이, 자동 콘텐츠 인식 서비스에서, 수신기는 로고 정보(2701) 또는 워터마크(2702)를 추출하여 콘텐츠 제공자에 관한 정보를 얻을 수 있고, 인터넷 프로토콜 네트워크나 MH를 통해 콘텐츠 제공자에 의해 제공되는 부가 서비스를 받을 수 있다.
전술한 바와 같이, 워터마크가 콘텐츠에 매립되면, 그 콘텐츠의 데이터는 변경될 수 있다. 따라서, 본 발명에서는 콘텐츠에 포함된 로고 영역에 워터마크를 매립하는 방법을 제안한다.
이후, 도 25에 나타낸 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스를 위해 수신기 측에서 로고 정보 및 워터마크를 활용하는 방법을 상세히 설명한다.
전술한 바와 같이, 본 발명의 일 실시예에 따른 수신기는 콘텐츠가 재생될 때 오디오/비디오 프레임 데이터의 특정 필드에 삽입된 특정 알고리즘에 의해 소정 양의 콘텐츠 정보를 포함하는 워터마크를 추출 및 활용할 수 있다. 예를 들면, 초당 30 프레임을 포함하는 비디오 콘텐츠를 수신하는 수신기는 M 프레임으로부터 각 프레임의 특정 필드 또는 특정 위치에 해당하는 N 비트의 데이터를 포함하는 워터마크를 추출할 수 있다. 이 경우, 추출된 워터마크 데이터의 총량은 N*M 비트가 될 수 있다. 워터마킹된 프레임의 수가 증가하면, 추출될 워터마크 데이터의 양이 증가한다. 따라서, 수신기 측에서 워터마크를 추출하는 데 소비되는 시간이 증가할 수 있고, 수신기에 의해 처리되는 오디오/비디오 콘텐츠의 질이 저하될 수 있다.
따라서, 본 발명에서는 워터마크를 비디오 프레임에 포함된 로고 영역에 매립하는 방법을 제안한다. 모든 비디오 프레임에 포함되는 로고 영역은 재생 스크린이 변경되어도 스크린 상의 동일 위치에서 표시된다. 따라서, 데이터의 양이 많아도, 워터마크가 로고 영역에 매립되면, 워터마크를 추출하는 데 소비되는 시간을 줄일 수 있고, 오디오/비디오 콘텐츠의 질이 저하될 가능성을 줄일 수 있다.
이후, 본 발명의 일 실시예에 따라 워터마크를 로고에 매립하는 방법을 설명한다. 본 발명의 일 실시예에 따라 워터마크를 로고에 매립하는 방법은 바 코드 데이터를 로고의 소정 위치에 매립하는 방법, 로고 정보의 메타데이터 패킷을 워터마크로 활용하는 방법, 워터마크를 로고의 이미지 데이터의 일부에 매립하는 방법을 포함할 수 있다.
바 코드 데이터를 로고의 소정 위치에 매립하는 방법의 경우, 수신기는 특정 위치에 있는 바 코드 데이터를 워터마크로 인식할 수 있다. 이 경우, 바 코드 데이터는 표시되지 않는다.
로고 정보의 메타데이터 패킷을 워터마크로 활용하는 방법에서, 로고의 이미지 데이터의 원래 형태는 유지되면서 로고를 표현하는 메타데이터 패킷은 워터마크로 사용된다. 이 경우, 메타데이터 패킷은 콘텐츠 제공자 식별자, 콘텐츠 식별자, 시간 정보 등을 포함할 수 있다.
워터마크를 로고 정보에 매립하는 방법에서, N개의 로고 프레임이 로고의 이미지 데이터의 일부의 비트를 이용하여 결합하고, N개의 워터마크 비트가 로고 이미지 데이터에 매립된다. 이 경우, 워터마크에 포함된 콘텐츠 정보 또는 메타데이터는 전술한 바와 같다.
도 28은 본 발명의 일 실시예에 따른 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법을 나타낸 도면이다.
더 구체적으로, 도 28은 도 15 내지 22를 참조하여 설명한 본 발명의 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법의 실시예에 따른 콘텐츠 제공자의 동작을 설명하는 흐름도다.
콘텐츠 제공자는 워터마크를 생성할 수 있다(S2801).
워터마크는 콘텐츠에 관련된 채널 정보 및/또는 콘텐츠 부가 정보의 URL 정보를 갖는 콘텐츠 정보를 포함할 수 있다. 더 구체적으로, 도 12를 참조하여 설명한 바와 같이, 워터마크는 콘텐츠 제공자 또는 방송사의 식별자 정보 및/또는 콘텐츠의 식별자 정보를 포함할 수 있다. 또한, 도 14를 참조하여 설명한 바와 같이, 워터마크는 자신에 포함된 정보의 속성에 따라 레벨링될 수 있다.
콘텐츠 제공자는 생성된 워터마크를 콘텐츠에 매립할 수 있다(S2802).
콘텐츠 제공자는 워터마크를 비디오 프레임 및/또는 오디오 프레임에 매립할 수 있다.
워터마크가 비디오 프레임에 매립되면, 도 15를 참조하여 설명한 바와 같이, 콘텐츠 제공자는 비디오 콘텐츠의 프레임을 서브프레임으로 세분하고, 워터마크를 세분된 서브프레임에 매립할 수 있다. 도 16을 참조하여 설명한 바와 같이, 콘텐츠 제공자는 워터마크를 비디오 프레임의 특정 영역에 매립할 수 있다. 도 17을 참조하여 설명한 바와 같이, 콘텐츠 제공자는 서로 다른 콘텐츠 정보를 포함하는 복수의 워터마크를 하나의 비디오 프레임의 서로 다른 영역에 매립할 수 있다.
워터마크가 오디오 프레임에 매립되면, 도 18을 참조하여 설명한 바와 같이, 콘텐츠 제공자는 하나의 오디오 프레임을 서브프레임으로 세분하고, 워터마크를 세분된 서브프레임에 매립할 수 있다. 도 18을 참조하여 설명한 바와 같이, 콘텐츠 제공자는 복수의 워터마크를 하나의 오디오 신호에 매립할 수 있다.
도 15 내지 18을 참조하여 설명한 바와 같이, 콘텐츠 제공자는 워터마크를 오디오 콘텐츠와 비디오 콘텐츠에 모두 매립할 수 있다. 도 20을 참조하여 설명한 바와 같이, 콘텐츠 제공자는 워터마크를 연속된 프레임들에 매립할 수 있다. 도 22를 참조하여 설명한 바와 같이, 콘텐츠 제공자는 워터마크를 3차원 콘텐츠에 매립할 수 있다. 도 24 내지 27을 참조하여 설명한 바와 같이, 콘텐츠 제공자는 워터마크를 로고 영역에 매립할 수 있다.
워터마크가 콘텐츠 정보의 속성에 따라 레벨링되면, 도 19를 참조하여 설명한 바와 같이, 콘텐츠 제공자는 콘텐츠 정보에 따라 사이클을 변경하고, 워터마크를 프레임에 매립할 수 있다. 이 경우, 도 14 내지 19를 참조하여 설명한 바와 같이, 레벨에 따라 워터마크를 매립하는 횟수를 변경함으로써, 레벨링된 워터마크를 오디오/비디오 콘텐츠에 매립할 수 있다.
콘텐츠 제공자는 워터마크를 포함하는 콘텐츠를 전송할 수 있다(S2803).
도 29는 본 발명의 또 다른 일 실시예에 따른 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법을 나타낸 도면이다.
더 구체적으로, 도 29는 도 15 내지 22를 참조하여 설명한 본 발명의 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법의 실시예에 따른 수신기의 동작을 설명하는 흐름도다.
수신기는 워터마크를 포함하는 콘텐츠를 수신할 수 있다(S2901).
워터마크는 콘텐츠에 관련된 채널 정보 및/또는 콘텐츠 부가 정보의 URL 정보를 갖는 콘텐츠 정보를 포함할 수 있다. 더 구체적으로, 도 12를 참조하여 설명한 바와 같이, 워터마크는 콘텐츠 제공자 또는 방송사의 식별자 정보 및/또는 콘텐츠의 식별자 정보를 포함할 수 있다. 또한, 도 14를 참조하여 설명한 바와 같이, 워터마크는 자신에 포함된 정보의 속성에 따라 레벨링될 수 있다.
수신기는 비디오 및/또는 오디오 프레임으로부터 워터마크를 추출할 수 있다(S2902).
도 28을 참조하여 설명한 바와 같이, 콘텐츠 제공자는 워터마크를 비디오 및/또는 오디오 프레임에 매립할 수 있다. 수신기는 워터마크가 매립된 비디오 및/또는 오디오 프레임을 수신하고, 워터마크를 추출할 수 있다. 더 구체적으로, 도 5를 참조하여 설명한 바와 같이, 수신기는 마이크로 코드를 사용하여 워터마크를 추출할 수 있다.
워터마크가 비디오 프레임에 매립되면, 도 15를 참조하여 설명한 바와 같이, 수신기는 하나의 비디오 프레임을 서브프레임으로 세분화하고, 워터마크가 매립된 서브프레임을 검출하고, 워터마크를 추출할 수 있다. 도 16을 참조하여 설명한 바와 같이, 수신기는 세분화된 서브프레임으로부터 바 데이터 영역을 검출하고, 워터마크를 추출할 수 있다. 도 17을 참조하여 설명한 바와 같이, 비디오 프레임이 영역에 따라 다른 콘텐츠 정보를 포함하는 워터마크를 포함하면, 수신기는 워터마크가 매립된 영역에 관한 정보를 획득하고, 획득한 정보를 이용하여 비디오 프레임의 각 영역으로부터 워터마크를 추출할 수 있다.
워터마크가 오디오 프레임에 매립되면, 도 18을 참조하여 설명한 바와 같이, 수신기는 오디오 신호를 서브프레임으로 세분화하고, 워터마크 추출 영역을 검출하고, 워터마크를 추출할 수 있다.
도 21을 참조하여 설명한 바와 같이, 워터마크가 연속된 프레임들로부터 추출되면, 수신기는 연속된 프레임들로부터 서브 콘텐츠 정보를 추출하고, 시작 태그 및 종료 태그를 이용하여 서브 콘텐츠 정보를 결합하여, 하나의 콘텐츠 정보를 획득할 수 있다. 또한, 도 22를 참조하여 설명한 바와 같이, 워터마크가 3차원 콘텐츠에 매립되면, 수신기는 3차원 콘텐츠의 좌 및/또는 우 프레임으로부터 워터마크를 추출할 수 있다.
워터마크가 콘텐츠 정보의 속성에 따라 레벨링 되면, 도 19를 참조하여 설명한 바와 같이, 콘텐츠 제공자는 콘텐츠 정보에 따라 사이클을 변경하고 워터마크를 프레임에 매립할 수 있다. 이 경우, 도 14 내지 19를 참조하여 설명한 바와 같이, 수신기는 워터마크의 프로파일에 따라 차별적으로 매립된 워터마크를 차별적으로 추출할 수 있다.
수신기는 추출한 워터마크를 이용하여 IP 네트워크를 통해 부가 정보를 획득할 수 있다(S2903).
더 구체적으로, 도 23을 참조하여 설명한 바와 같이, 본 발명의 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법은 워터마킹과 핑거프린팅을 결합함으로써 자동 콘텐츠 인식 서비스를 처리하는 방법을 포함할 수 있다.
본 발명의 사상이나 범위를 탈피하지 않고 본 발명에서 다양한 변형 및 변경이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등범위 내에 있는 본 발명의 변형 및 변경을 포함하도록 의도된다.

Claims (20)

  1. 콘텐츠의 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠에 관련된 채널 정보 또는 상기 콘텐츠의 부가 데이터에 대한 위치 정보를 갖는 콘텐츠 정보를 전달하는, 워터마크를 포함하는 콘텐츠를 수신하는 단계,
    여기서, 상기 콘텐츠 정보는 하나 이상의 서브 콘텐츠 정보로 분할되고, 상기 하나 이상의 서브 콘텐츠 정보 중 적어도 하나는 상기 분할된 서브 콘텐츠 정보가 상기 콘텐츠 정보의 첫 번째 서브 콘텐츠 정보인지 여부를 식별하기 위해 사용되는 제 1 정보 및 상기 분할된 서브 콘텐츠 정보가 상기 콘텐츠 정보의 마지막 서브 콘텐츠 정보인지 여부를 식별하기 위해 사용되는 제 2 정보 중 적어도 하나를 포함하고,
    여기서, 상기 하나 이상의 서브 콘텐츠 정보는 서로 다른 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠 정보는 상기 제 1 정보, 상기 제 2 정보 및 상기 하나 이상의 서브 콘텐츠 정보를 이용하여 구성되고;
    상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계; 및
    상기 추출된 워터마크를 이용하여 IP (Internet protocol) 네트워크를 통해 상기 부가 데이터를 획득하는 단계를 포함하는, 디지털 서비스 신호 처리 방법.
  2. 제 1항에 있어서,
    상기 콘텐츠 정보는 상기 콘텐츠의 제공자를 식별하는 콘텐츠 제공자 식별자 정보 및 각 콘텐츠를 식별하는 콘텐츠 식별자 정보를 더 포함하는, 디지털 서비스 신호 처리 방법.
  3. 제 1항에 있어서,
    상기 워터마크는 상기 콘텐츠 정보에 따라 다른 주기로 상기 오디오 또는 비디오 프레임에 삽입되는, 디지털 서비스 신호 처리 방법.
  4. 제 1항에 있어서,
    상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계는,
    상기 오디오 또는 비디오 프레임을 서브프레임으로 분할하는 단계;
    상기 분할된 서브프레임 중에서 상기 워터마크를 갖는 특정 서브프레임을 검출하는 단계; 및
    상기 검출된 특정 서브프레임으로부터 상기 워터마크를 추출하는 단계를 포함하는, 디지털 서비스 신호 처리 방법.
  5. 제 1항에 있어서,
    상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계는,
    상기 비디오 프레임의 로고 데이터 영역으로부터 상기 워터마크를 추출하는 단계를 더 포함하는, 디지털 서비스 신호 처리 방법.
  6. 제 1항에 있어서,
    상기 콘텐츠가 3차원 콘텐츠이면, 상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하는 단계는,
    상기 3차원 콘텐츠의 좌 비디오 프레임 및/또는 우 비디오 프레임으로부터 상기 워터마크를 추출하는 단계를 더 포함하는, 디지털 서비스 신호 처리 방법.
  7. 제 1항에 있어서,
    상기 콘텐츠로부터 핑거프린트 시그너처를 추출하는 단계; 및
    상기 콘텐츠 정보 및 상기 핑거프린트 시그너처를 포함하는 쿼리를 생성하는 단계를 더 포함하는, 디지털 서비스 신호 처리 방법.
  8. 워터마크를 생성하는 단계;
    콘텐츠에 관련된 채널 정보 또는 상기 콘텐츠의 부가 데이터에 대한 위치 정보를 갖는 콘텐츠 정보를 전달하는 상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계,
    여기서, 상기 콘텐츠 정보는 하나 이상의 서브 콘텐츠 정보로 분할되고, 상기 하나 이상의 서브 콘텐츠 정보 중 적어도 하나는 상기 분할된 서브 콘텐츠 정보가 상기 콘텐츠 정보의 첫 번째 서브 콘텐츠 정보인지 여부를 식별하기 위해 사용되는 제 1 정보 및 상기 분할된 서브 콘텐츠 정보가 상기 콘텐츠 정보의 마지막 서브 콘텐츠 정보인지 여부를 식별하기 위해 사용되는 제 2 정보 중 적어도 하나를 포함하고,
    여기서, 상기 하나 이상의 서브 콘텐츠 정보는 서로 다른 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠 정보는 상기 제 1 정보, 상기 제 2 정보 및 상기 하나 이상의 서브 콘텐츠 정보를 이용하여 구성되고; 및
    상기 콘텐츠를 전송하는 단계를 포함하는, 디지털 서비스 신호 처리 방법.
  9. 제 8항에 있어서,
    상기 콘텐츠 정보는 상기 콘텐츠의 제공자를 식별하는 콘텐츠 제공자 식별자 정보 및 각 콘텐츠를 식별하는 콘텐츠 식별자 정보를 더 포함하는, 디지털 서비스 신호 처리 방법.
  10. 제 8항에 있어서,
    상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계는,
    상기 워터마크를 상기 콘텐츠 정보에 따라 다른 주기로 상기 오디오 또는 비디오 프레임에 삽입하는 단계를 포함하는, 디지털 서비스 신호 처리 방법.
  11. 제 10항에 있어서,
    상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계는,
    상기 오디오 또는 비디오 프레임을 서브프레임으로 분할하는 단계;
    상기 워터마크를 삽입하기 위해 상기 분할된 서브프레임 중에서 특정 서브프레임을 검출하는 단계;
    상기 워터마크를 상기 검출된 특정 서브프레임에 삽입하는 단계; 및
    상기 분할된 서브프레임을 상기 오디오 또는 비디오 프레임으로 구성하는 단계를 더 포함하는, 디지털 서비스 신호 처리 방법.
  12. 제 8항에 있어서,
    상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계는,
    상기 콘텐츠가 3차원 콘텐츠이면 상기 3차원 콘텐츠의 좌 비디오 프레임 및/또는 우 비디오 프레임에 상기 워터마크를 삽입하는 단계를 포함하는, 디지털 서비스 신호 처리 방법.
  13. 제 8항에 있어서,
    상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하는 단계는,
    상기 콘텐츠를 상기 비디오 프레임의 로고 데이터 영역에 삽입하는 단계를 포함하는, 디지털 서비스 신호 처리 방법.
  14. 콘텐츠의 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠에 관련된 채널 정보 또는 상기 콘텐츠의 부가 데이터에 대한 위치 정보를 갖는 콘텐츠 정보를 전달하는, 워터마크를 포함하는 콘텐츠를 수신하도록 구성된 수신 모듈,
    여기서, 상기 콘텐츠 정보는 하나 이상의 서브 콘텐츠 정보로 분할되고, 상기 하나 이상의 서브 콘텐츠 정보 중 적어도 하나는 상기 분할된 서브 콘텐츠 정보가 상기 콘텐츠 정보의 첫 번째 서브 콘텐츠 정보인지 여부를 식별하기 위해 사용되는 제 1 정보 및 상기 분할된 서브 콘텐츠 정보가 상기 콘텐츠 정보의 마지막 서브 콘텐츠 정보인지 여부를 식별하기 위해 사용되는 제 2 정보 중 적어도 하나를 포함하고,
    여기서, 상기 하나 이상의 서브 콘텐츠 정보는 서로 다른 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠 정보는 상기 제 1 정보, 상기 제 2 정보 및 상기 하나 이상의 서브 콘텐츠 정보를 이용하여 구성되고;
    상기 오디오 또는 비디오 프레임으로부터 상기 워터마크를 추출하도록 구성된 추출 모듈; 및
    상기 추출된 워터마크를 이용하여 IP 네트워크를 통해 상기 부가 데이터를 획득하도록 구성된 획득 모듈을 포함하는, 디지털 서비스 신호 처리 장치.
  15. 제 14항에 있어서,
    상기 콘텐츠 정보는 상기 콘텐츠의 제공자를 식별하는 콘텐츠 제공자 식별자 정보 및 각 콘텐츠를 식별하는 콘텐츠 식별자 정보를 더 포함하는, 디지털 서비스 신호 처리 장치.
  16. 제 14항에 있어서,
    상기 추출 모듈은,
    상기 오디오 또는 비디오 프레임을 서브프레임으로 분할하고,
    상기 분할된 서브프레임 중에서 상기 워터마크를 갖는 특정 서브프레임을 검출하고,
    상기 검출된 특정 서브프레임으로부터 상기 워터마크를 추출하는, 디지털 서비스 신호 처리 장치.
  17. 워터마크를 생성하도록 구성된 생성 모듈;
    콘텐츠에 관련된 채널 정보 또는 상기 콘텐츠의 부가 데이터에 대한 위치 정보를 갖는 콘텐츠 정보를 전달하는 상기 생성된 워터마크를 상기 콘텐츠의 오디오 또는 비디오 프레임에 삽입하도록 구성된 삽입 모듈,
    여기서, 상기 콘텐츠 정보는 하나 이상의 서브 콘텐츠 정보로 분할되고, 상기 하나 이상의 서브 콘텐츠 정보 중 적어도 하나는 상기 분할된 서브 콘텐츠 정보가 상기 콘텐츠 정보의 첫 번째 서브 콘텐츠 정보인지 여부를 식별하기 위해 사용되는 제 1 정보 및 상기 분할된 서브 콘텐츠 정보가 상기 콘텐츠 정보의 마지막 서브 콘텐츠 정보인지 여부를 식별하기 위해 사용되는 제 2 정보 중 적어도 하나를 포함하고,
    여기서, 상기 하나 이상의 서브 콘텐츠 정보는 서로 다른 오디오 또는 비디오 프레임에 삽입되고, 상기 콘텐츠 정보는 상기 제 1 정보, 상기 제 2 정보 및 상기 하나 이상의 서브 콘텐츠 정보를 이용하여 구성되고; 및
    상기 콘텐츠를 전송하도록 구성된 전송 모듈을 포함하는, 디지털 서비스 신호 처리 장치.
  18. 제 17항에 있어서,
    상기 삽입 모듈은,
    상기 오디오 또는 비디오 프레임을 서브프레임으로 분할하고,
    상기 워터마크를 삽입하기 위해 상기 분할된 서브프레임 중에서 특정 서브프레임을 검출하고,
    상기 워터마크를 상기 검출된 특정 서브프레임에 삽입하고,
    상기 분할된 서브프레임을 상기 오디오 또는 비디오 프레임으로 구성하는, 디지털서비스 신호 처리 장치.
  19. 삭제
  20. 삭제
KR1020147035666A 2012-07-05 2013-07-05 디지털 서비스 신호 처리 방법 및 장치 KR101664424B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261668437P 2012-07-05 2012-07-05
US61/668,437 2012-07-05
PCT/KR2013/005980 WO2014007571A1 (en) 2012-07-05 2013-07-05 Method and apparatus for processing digital service signals

Publications (2)

Publication Number Publication Date
KR20150013852A KR20150013852A (ko) 2015-02-05
KR101664424B1 true KR101664424B1 (ko) 2016-10-10

Family

ID=49879560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147035666A KR101664424B1 (ko) 2012-07-05 2013-07-05 디지털 서비스 신호 처리 방법 및 장치

Country Status (6)

Country Link
US (2) US8990844B2 (ko)
EP (1) EP2870774A4 (ko)
KR (1) KR101664424B1 (ko)
CN (1) CN104412609A (ko)
CA (1) CA2876061A1 (ko)
WO (1) WO2014007571A1 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1586045A1 (en) 2002-12-27 2005-10-19 Nielsen Media Research, Inc. Methods and apparatus for transcoding metadata
US9515904B2 (en) 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US9313544B2 (en) * 2013-02-14 2016-04-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9189627B1 (en) 2013-11-21 2015-11-17 Fireeye, Inc. System, apparatus and method for conducting on-the-fly decryption of encrypted objects for malware detection
US9621963B2 (en) 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
EP3105931A4 (en) 2014-02-10 2017-08-23 LG Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
KR20150115314A (ko) * 2014-04-03 2015-10-14 삼성전자주식회사 디스플레이 장치, 이의 제어 방법, 서버, 이의 제어 방법, 채널 정보의 위치에 대한 정보를 검출하기 위한 시스템 및 이의 제어 방법
US20150358507A1 (en) * 2014-06-04 2015-12-10 Sony Corporation Timing recovery for embedded metadata
US9418395B1 (en) * 2014-12-31 2016-08-16 The Nielsen Company (Us), Llc Power efficient detection of watermarks in media signals
EP3240195B1 (en) * 2015-02-14 2020-04-01 Samsung Electronics Co., Ltd. Method and apparatus for decoding audio bitstream including system data
CN106304851A (zh) * 2015-04-23 2017-01-04 Lg电子株式会社 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法
WO2016172585A1 (en) * 2015-04-24 2016-10-27 Verance Corporation Efficient and secure watermark screening in media servers
US20180048408A1 (en) * 2015-04-27 2018-02-15 Sharp Kabushiki Kaisha Service signaling extensions
US9762965B2 (en) 2015-05-29 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US10779057B2 (en) * 2015-06-08 2020-09-15 Qualcomm Incorporated Broadcast content redistribution and ad insertion
WO2016204421A1 (ko) * 2015-06-15 2016-12-22 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN106331744A (zh) * 2015-07-03 2017-01-11 上海尚恩华科网络科技股份有限公司 一种基于音频水印的视频交互方法
CN106331743A (zh) * 2015-07-03 2017-01-11 上海尚恩华科网络科技股份有限公司 一种基于音频水印的视频交互的系统及方法
CN113438518B (zh) * 2015-07-06 2023-02-28 Lg电子株式会社 处理广播数据的方法、接收系统和发送系统
CN105187817B (zh) * 2015-09-09 2018-05-29 武汉大学 基于数字水印加密的裸眼3d视频加密方法及系统
US9848214B2 (en) 2015-10-01 2017-12-19 Sorenson Media, Inc. Sequentially overlaying media content
US11172093B2 (en) 2015-12-07 2021-11-09 Disney Enterprises, Inc. System and method for creating a temporal-based dynamic watermark
ES2629484B1 (es) * 2016-02-09 2018-03-08 Eloi MOLINAS LOMBART Método y sistema de sincronización de vídeo y datos
KR20180107781A (ko) * 2016-03-01 2018-10-02 샤프 가부시키가이샤 워터마크들을 이용하여 자원 식별자들을 시그널링하기 위한 시스템들 및 방법들
CN106250729B (zh) * 2016-08-01 2020-05-26 腾讯科技（深圳）有限公司 一种歌曲数据处理方法及其设备
CN107197395B (zh) * 2017-05-05 2019-08-20 中广热点云科技有限公司 一种为视频终端提供增强服务的方法
CA3071560C (en) * 2017-08-10 2024-01-23 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
CN110636348B (zh) * 2018-06-22 2021-12-31 杭州海康威视系统技术有限公司 视频播放方法、装置及系统
US10448123B1 (en) 2018-07-02 2019-10-15 The Nielsen Company (Us), Llc Methods and apparatus to extend a timestamp range supported by a watermark
US10448122B1 (en) 2018-07-02 2019-10-15 The Nielsen Company (Us), Llc Methods and apparatus to extend a timestamp range supported by a watermark
US20200275168A1 (en) 2019-02-22 2020-08-27 The Nielsen Company (Us), Llc Use of Watermarking to Trigger Fingerprint-Related Action
CN109982157A (zh) * 2019-04-01 2019-07-05 北京火眼目测科技有限公司 在数字视频上嵌入隐式指纹的方法、系统和存储介质
US11689753B2 (en) * 2019-06-18 2023-06-27 The Nielsen Company (Us), Llc Use of steganographically-encoded data as basis to disambiguate fingerprint-based channel-multi-match
TWI744947B (zh) * 2019-06-24 2021-11-01 美商六科股份有限公司 使用浮水印技術來觸發指紋相關動作的方法、媒體客戶端和電腦可讀介質
CN111064993A (zh) * 2019-12-24 2020-04-24 深圳Tcl数字技术有限公司 基于水印的数据传递、生成方法、电视、机顶盒及系统
CN111431904B (zh) * 2020-03-25 2022-05-06 上海威固信息技术股份有限公司 一种基于时间特征的云存储访问控制方法
US11443401B2 (en) * 2020-05-21 2022-09-13 At&T Intellectual Property I, L.P. Digital watermarking
CN113009411A (zh) * 2021-02-25 2021-06-22 浙江德清知路导航研究院有限公司 一种具有定位功能的音频编解码芯片、定位方法及应用
US20220351323A1 (en) * 2021-04-29 2022-11-03 Genetec Inc. Steganographic techniques for tracking video access events
US11949944B2 (en) 2021-12-29 2024-04-02 The Nielsen Company (Us), Llc Methods, systems, articles of manufacture, and apparatus to identify media using screen capture

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003298834A (ja) * 2002-04-05 2003-10-17 Hitachi Ltd データ送信装置、コンテンツ配信装置、コンテンツ配信システム、デジタルコンテンツの配信方法、及びデータストレージ装置
JP2012065052A (ja) * 2010-09-14 2012-03-29 Toshiba Corp 情報処理装置及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030133592A1 (en) 1996-05-07 2003-07-17 Rhoads Geoffrey B. Content objects with computer instructions steganographically encoded therein, and associated methods
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US7450734B2 (en) * 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
EP1257921A4 (en) * 2000-02-19 2006-09-20 Digimarc Corp SOFTWARE AND DEVICES ACTIVATED BY ENCODERS AND FILIGRANE DECODERS
US7412605B2 (en) * 2000-08-28 2008-08-12 Contentguard Holdings, Inc. Method and apparatus for variable encryption of data
CN101783807B (zh) * 2001-01-17 2011-08-10 康坦夹德控股股份有限公司 使用标准演示引擎作数字权限管理的系统及方法
WO2002062009A1 (en) * 2001-01-30 2002-08-08 Digimarc Corporation Efficient interactive tv
JP2005516321A (ja) 2002-02-01 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 電子透かしベースのアクセス制御方法及び装置
AU2003275382A1 (en) * 2002-10-02 2004-04-23 Nielsen Media Research, Inc. Methods and apparatus to present survey information
TWI288873B (en) 2004-02-17 2007-10-21 Mitsubishi Electric Corp Method for burying watermarks, method and device for inspecting watermarks
WO2008072132A2 (en) * 2006-12-11 2008-06-19 Koninklijke Philips Electronics N.V. Extracting auxiliary data from a host signal
US8055708B2 (en) 2007-06-01 2011-11-08 Microsoft Corporation Multimedia spaces
US8565472B2 (en) * 2007-10-30 2013-10-22 General Instrument Corporation Method, device and system for dynamically embedding watermark information into multimedia content
US8538136B2 (en) * 2010-06-21 2013-09-17 Nbcuniversal Media, Llc Digital watermark detection in 2D-3D content conversion
EP2645731B8 (en) 2010-11-24 2019-04-17 LG Electronics Inc. Video display device and method of controlling the same
US8578404B2 (en) * 2011-06-30 2013-11-05 The Nielsen Company (Us), Llc Program telecast monitoring using watermarks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003298834A (ja) * 2002-04-05 2003-10-17 Hitachi Ltd データ送信装置、コンテンツ配信装置、コンテンツ配信システム、デジタルコンテンツの配信方法、及びデータストレージ装置
JP2012065052A (ja) * 2010-09-14 2012-03-29 Toshiba Corp 情報処理装置及びプログラム

Also Published As

Publication number Publication date
EP2870774A1 (en) 2015-05-13
KR20150013852A (ko) 2015-02-05
WO2014007571A1 (en) 2014-01-09
US8990844B2 (en) 2015-03-24
CN104412609A (zh) 2015-03-11
US20150172771A1 (en) 2015-06-18
US20140013374A1 (en) 2014-01-09
CA2876061A1 (en) 2014-01-09
EP2870774A4 (en) 2016-03-02

Similar Documents

Publication Publication Date Title
KR101664424B1 (ko) 디지털 서비스 신호 처리 방법 및 장치
KR102086514B1 (ko) 디지털 서비스 신호 처리 방법 및 장치
JP6294238B2 (ja) 映像表示装置及びその動作方法
EP2891316B1 (en) Method and apparatus for processing digital service signal
JP6290935B2 (ja) 映像表示装置及びその動作方法
JP6294503B2 (ja) 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
JP6174702B2 (ja) デジタルサービス信号処理方法及び装置
KR102254838B1 (ko) 영상 표시 장치 및 그의 동작 방법
KR102263146B1 (ko) 영상 표시 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant