KR102086514B1 - 디지털 서비스 신호 처리 방법 및 장치 - Google Patents

디지털 서비스 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR102086514B1
KR102086514B1 KR1020147034462A KR20147034462A KR102086514B1 KR 102086514 B1 KR102086514 B1 KR 102086514B1 KR 1020147034462 A KR1020147034462 A KR 1020147034462A KR 20147034462 A KR20147034462 A KR 20147034462A KR 102086514 B1 KR102086514 B1 KR 102086514B1
Authority
KR
South Korea
Prior art keywords
content
information
watermark
logo
audio
Prior art date
Application number
KR1020147034462A
Other languages
English (en)
Other versions
KR20150035582A (ko
Inventor
오세진
김진필
안승주
김경호
문경수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20150035582A publication Critical patent/KR20150035582A/ko
Application granted granted Critical
Publication of KR102086514B1 publication Critical patent/KR102086514B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디지털 서비스 신호 처리 장치 및 방법이 제공된다. 본 발명은 콘텐츠를 포함하는 디지털 서비스 신호를 수신하고 상기 콘텐츠에 관련된 부가 데이터에 대한 URL 정보를 수신하도록 구성된 수신 모듈, 상기 콘텐츠의 각 비디오 프레임으로부터 각 비디오 프레임의 특정 영역에 위치하고 콘텐츠 제공자를 나타내는 로고 데이터를 추출하도록 구성된 추출 모듈, 상기 콘텐츠의 채널 정보를 획득하기 위해 상기 추출된 로고 데이터와 저장된 로고 데이터를 비교하도록 구성된 비교 모듈, 상기 로고 데이터에 관련된 메타데이터로부터 상기 콘텐츠의 채널 정보를 획득하고 상기 콘텐츠와 관련된 부가 데이터를 획득하도록 구성된 획득 모듈, 및 상기 획득한 채널 정보를 이용하여 URL 정보를 획득하기 위한 요청을 생성하도록 구성된 생성 모듈을 포함하고, 상기 수신 모듈은 상기 생성된 요청을 이용하여 URL 정보를 수신하고, 상기 획득 모듈은 상기 URL 정보에 따라 인터넷 프로토콜 네트워크를 통해 상기 부가 데이터를 획득한다.

Description

디지털 서비스 신호 처리 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING DIGITAL SERVICE SIGNALS}
본 발명은 방송 프로그램에 관련된 자동 콘텐츠 인식 서비스를 처리하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 자동 콘텐츠 인식 환경에서 방송 콘텐츠에 관련된 부가 서비스를 제공하는 방법 및 장치에 관한 것이다.
디지털 위성방송의 도입에 따라, 디지털 데이터방송이 새로운 부가 서비스로 나타났다. 대표적인 쌍방향 서비스인 쌍방향 데이터방송은 다양한 부가 서비스를 제공하기 위해 데이터 신호뿐만 아니라 기존 방송 신호를 가입자에게 전송할 수 있다.
디지털 데이터방송은 크게 가상 채널을 이용한 독립형 서비스와 ETV (enhanced television)를 통한 방송 관련 서비스로 구분될 수 있다. 독립형 서비스는 방송 이미지 신호 없이 텍스트와 그래픽만을 포함하며 기존 인터넷 웹페이지와 유사한 포맷으로 제공된다. 독립형 서비스의 대표적인 예로 날씨 및 주식 정보 제공 서비스, TV 금융 서비스, 상거래 서비스 등을 들 수 있다. 방송 관련 서비스는 방송 이미지 신호뿐만 아니라 부가적인 텍스트 및 그래픽 정보도 전송한다. 시청자는 방송 관련 서비스를 통해 시청한 방송 프로그램에 관련된 정보를 얻을 수 있다. 예를 들면, 시청자가 드라마를 시청하는 동안 이전 스토리나 촬영장소를 볼 수 있게하는 서비스가 있다.
디지털 데이터방송의 방송 관련 서비스에서는, ETV 서비스가 자동 콘텐츠 인식 기술을 바탕으로 제공될 수 있다. 자동 콘텐츠 인식이란 장치가 오디오/비디오 콘텐츠를 재생할 때 콘텐츠에 숨겨진 정보를 통해 자동으로 콘텐츠를 인식하는 기술을 말한다.
자동 콘텐츠 인식 기술을 시행할 때 콘텐츠에 관한 정보를 얻기 위해 워터마킹(watermarking)이나 핑거프린팅(finger printing) 방식이 이용될 수 있다. 워터마킹은 디지털 콘텐츠 제공자를 나타내는 정보를 디지털 콘텐츠에 삽입하는 기술을 말한다. 핑거프린팅은 특정 정보가 디지털 콘텐츠에 삽입되는 점은 워터마킹과 동일하지만, 콘텐츠 제공자에 관한 정보 대신 콘텐츠 구매자에 관한 정보가 삽입되는 점이 워터마킹과 다르다.
그러나 기존의 자동 콘텐츠 인식 기능을 통해 쌍방향 서비스를 제공하는 시스템에는 몇 가지 제약이 있다.
콘텐츠 제공자(또는 방송사)가 실시간 서비스를 위한 콘텐츠 및 ETV 서비스를 위한 인헨스먼트 데이터(또는 부가 데이터)를 전송하고, TV 수신기가 해당 실시간 서비스를 위한 콘텐츠 및 인헨스먼트 데이터를 외부 입력을 통해 수신하면, 실시간 서비스를 위한 콘텐츠는 수신될 수 있지만, 인헨스먼트 데이터는 수신되지 못한다.
또한, 기존 ETV 서비스가 자동 콘텐츠 인식 시스템상에서 제공되면, 별도의 자동 콘텐츠 인식 서버(또는 자동 콘텐츠 인식 솔루션 제공자)의 개재가 불가피하게 요구된다. 따라서 별도의 자동 콘텐츠 인식 서버 없이 자동 콘텐츠 인식 기능을 실행하는 수신자가 요구된다.
또한, ETV 서비스를 제공하기 위한 워터마킹 기술에서는, 워터마크에 포함된 정보의 양이 많으면 워터마크가 매립된 콘텐츠의 질이 저하될 수 있다. 따라서 워터마킹의 효율적인 사용에 제약이 있다.
또한, ETV 서비스를 제공하기 위한 핑거프린팅 기술에서는, 콘텐츠를 인식하기 위한 외부 자동 콘텐츠 인식 서버가 추가로 필요하고, 콘텐츠 인식 결과가 레퍼런스 세트의 크기에 의존한다.
이에 따라 본 발명은 종래기술의 제약 및 단점으로 인한 하나 이상의 문제점을 실질적으로 제거하는 디지털 서비스 신호 처리 방법 및 장치를 제공한다.
본 발명의 목적은 방송 시스템을 이용하여 방송 프로그램에 관한 정보를 확인하고 확인된 방송 프로그램의 부가 정보를 실시간으로 제공하는 것이다.
본 발명의 추가적인 이점, 목적, 특징은 다음의 상세한 설명에서 일부 제시될 것이며 일부는 다음 설명을 통해 당업자에게 명백하거나 본 발명의 실행을 통해 알 수 있다. 본 발명의 목적 및 또 다른 이점은 첨부된 도면뿐만 아니라 상세한 설명 및 청구항에서 특별히 언급한 구조에 의해 실현 및 달성될 수 있다.
여기에 포함되고 개략적으로 서술된 바와 같이 이들 목적 및 다른 이점을 달성하기 위해 또한 본 발명의 목적에 따라, 본 발명에 따른 디지털 서비스 신호 처리 방법은 콘텐츠를 포함하는 디지털 서비스 신호를 수신하는 단계, 상기 콘텐츠의 각 비디오 프레임으로부터 각 비디오 프레임의 특정 영역에 위치하고 콘텐츠 제공자를 나타내는 로고 데이터를 추출하는 단계, 상기 추출된 로고 데이터와 저장된 로고 데이터를 비교하여 상기 콘텐츠의 채널 정보를 획득하는 단계, 상기 로고 데이터에 관련된 메타데이터로부터 상기 콘텐츠의 채널 정보를 획득하는 단계, 상기 획득한 채널 정보를 이용하여 상기 콘텐츠에 관련된 부가 데이터에 대한 URL 정보를 획득하기 위한 요청을 생성하는 단계, 상기 생성된 요청을 이용하여 URL 정보를 수신하는 단계, 및 상기 URL 정보에 따라 인터넷 프로토콜(IP) 네트워크를 통해 상기 부가 데이터를 획득하는 단계를 포함한다.
상기 방법은 상기 콘텐츠와 관련되며 각 콘텐츠를 식별하기 위한 콘텐츠 식별자 정보를 포함하는 프로그램 정보를 전달하는 워터마크를 상기 콘텐츠의 오디오 프레임으로부터 추출하는 단계, 및 상기 워터마크에서 상기 프로그램 정보를 획득하는 단계를 더 포함할 수 있다.
상기 요청을 생성하는 단계는 상기 획득한 프로그램 정보를 더 이용하여 요청을 생성할 수 있다.
상기 비디오 프레임이 상기 콘텐츠에 관련된 프로그램을 나타내기 위한 심볼 이미지 데이터를 포함하면, 상기 방법은 상기 콘텐츠의 각 비디오 프레임으로부터 상기 각 비디오 프레임의 특정 영역에 위치한 상기 심볼 이미지 데이터를 추출하는 단계, 상기 추출된 심볼 이미지 데이터를 처리하여 상기 콘텐츠와 관련되고 각 콘텐츠를 식별하기 위한 콘텐츠 식별자 정보를 포함하는 프로그램 정보를 획득하는 단계, 및 상기 프로그램 정보를 획득하는 단계를 더 포함할 수 있다.
상기 요청을 생성하는 단계는 상기 획득한 프로그램 정보를 더 이용하여 요청을 생성할 수 있다.
상기 방법은 상기 로고 데이터에 관련된 메타데이터를 주기적으로 갱신하는 단계를 더 포함할 수 있다.
상기 방법은 상기 채널 정보 및 상기 콘텐츠와 관련되고 각 콘텐츠를 식별하기 위한 콘텐츠 식별자 정보를 포함하는 프로그램 정보를 전달하는 워터마크를 상기 비디오 프레임의 특정 영역으로부터 추출하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 측면에서, 디지털 서비스 신호 처리 방법은 콘텐츠를 포함하는 디지털 서비스 신호를 생성하는 단계, 콘텐츠 제공자를 나타내는 로고 데이터를 상기 콘텐츠의 각 비디오 프레임에 삽입하고, 상기 로고 데이터는 상기 각 비디오 프레임의 특정 영역에 위치하는 단계, 및 상기 디지털 서비스 신호를 전송하는 단계를 포함하고, 상기 로고 데이터는 상기 콘텐츠의 채널 정보를 획득하기 위한 것이며, 상기 채널 정보는 상기 콘텐츠에 관련된 부가 데이터에 대한 URL 정보를 수신하기 위한 것이다.
상기 콘텐츠는 오디오 프레임을 포함하며, 상기 방법은 워터마크를 생성하는 단계, 및 상기 콘텐츠와 관련되며 각 콘텐츠를 식별하기 위한 콘텐츠 식별자 정보를 포함하는 프로그램 정보를 전달하는 상기 생성된 워터마크를 상기 콘텐츠의 오디오 프레임에 삽입하는 단계를 더 포함할 수 있다.
상기 방법은 워터마크를 생성하는 단계, 및 채널 정보 및 상기 콘텐츠와 관련되며 각 콘텐츠를 식별하기 위한 콘텐츠 식별자 정보를 포함하는 프로그램 정보를 전달하는 상기 생성된 워터마크를 상기 콘텐츠의 비디오 프레임에 삽입하는 단계를 더 포함할 수 있다.
상기 방법은 상기 오디오 프레임 또는 비디오 프레임을 서브프레임으로 분리하는 단계, 상기 분리된 서브프레임 중에서 특정 서브프레임을 검출하여 상기 워터마크를 삽입하는 단계, 상기 워터마크를 상기 검출된 특정 서브프레임에 삽입하는 단계, 및 상기 분리된 서브프레임을 상기 오디오 프레임 또는 비디오 프레임으로 구성하는 단계를 더 포함할 수 있다.
상기 방법은 상기 콘텐츠에 관련된 프로그램을 나타내는 심볼 이미지 데이터를 생성하는 단계, 및 상기 생성된 심볼 이미지 데이터를 상기 콘텐츠의 각 비디오 프레임에 삽입하는 단계를 더 포함하고, 상기 삽입된 심볼 이미지 데이터는 상기 각 비디오 프레임의 특정 영역에 위치할 수 있다.
전술한 전반적인 설명 및 후술하는 본 발명의 상세한 설명은 모두 예시적이고 설명을 위한 것이며, 청구된 바와 같은 본 발명을 더 상세히 설명하기 위한 것으로 이해되어야 한다.
본 발명에 따르면, 자동 콘텐츠 인식 기술을 이용하여 방송 프로그램에 관련된 정보를 실시간으로 확인할 수 있다.
본 발명에 따르면, TV 시청 경험의 향상을 위해 자동 콘텐츠 인식 기능을 이용하여 방송 프로그램에 관련된 인헨스먼트 데이터를 수신할 수 있다.
본 발명에 따르면, 방송 프로그램에 관련된 정보를 인식하고 워터마킹 기술을 이용하여 인헨스먼트 데이터를 수신함으로써, TV 수신기는 별도의 자동 콘텐츠 인식 서버 없이 자동 콘텐츠 인식 기능을 수행할 수 있다.
본 발명에 따르면, 워터마크에 포함된 정보에 따라 워터마크를 프로파일링하고 워터마크에 포함된 정보의 양이 많더라도 효율적으로 워터마킹을 활용할 수 있다.
본 발명에 따르면, 워터마킹과 핑거프린팅을 결합함으로써, 효율적으로 자동 콘텐츠 인식 서비스를 제공할 수 있다.
본 발명을 더욱 이해하기 위해 제공되며 본 출원에 포함되고 본 출원의 일부를 구성하는 첨부된 도면은 본 발명의 원리를 설명하는 상세한 설명과 함께 본 발명의 실시예를 예시한다.
도 1은 자동 콘텐츠 인식 기반 ETV 서비스 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 3은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 수신기의 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템의 구조를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 디지털 워터마킹 기술의 흐름을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 쿼리 결과 포맷을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 콘텐츠 ID(identifier)의 구조를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 워터마킹을 이용한 수신기의 동작을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 워터마크 추출과정을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 워터마크 정보의 프로파일링을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 16은 본 발명의 또 다른 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 17은 본 발명의 또 다른 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 워터마크를 오디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 프로파일링된 워터마크를 매립하는 방법을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 워터마크를 연속적인 프레임에 매립하는 방법을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 연속적인 프레임에 삽입된 워터마크를 추출하는 방법을 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 워터마크를 3차원 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 제공 시스템의 구조를 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 방송사 로고를 이용해 자동 콘텐츠 인식 서비스를 제공하는 방법을 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 방송사 로고를 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 방송사 로고를 이용한 자동 콘텐츠 인식 서비스를 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 로고 및 워터마크를 이용한 자동 콘텐츠 인식 서비스 제공 방법을 나타낸 도면이다.
도 28은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 29는 본 발명의 일 실시예에 따른 로고 및/또는 워터마크를 이용한 자동 콘텐츠 인식 서비스 제공 장치의 동작의 개념을 나타낸 도면이다.
도 30은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 31은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 32는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 수신 장치를 나타낸 도면이다.
도 33은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 전송 장치를 나타낸 도면이다.
도 34는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 수신 과정을 나타낸 도면이다.
도 35는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 전송 과정을 나타낸 도면이다.
본 발명의 바람직한 실시예에 대해 상세히 언급할 것이며, 그 예들은 첨부된 도면에 도시되어 있다. 도면 전체에 걸쳐 가능한 곳에서 동일한 참조번호는 동일하거나 유사한 부분을 가리키기 위해 사용될 것이다.
본 발명의 바람직한 실시예에 대해 상세히 언급할 것이며, 그 예들은 첨부된 도면에 도시되어 있다.
본 발명의 바람직한 실시예에 대해 상세히 언급할 것이며, 그 예들은 첨부된 도면에 도시되어 있다. 본 발명의 실시예의 구성 및 동작은 첨부된 도면을 참조하여 서술될 것이다. 도면에 나타내고 후술하는 본 발명의 구성 및 동작은 본 발명의 사상 및 범위를 제한하지 않고 적어도 하나의 실시예에서 서술될 것이다.
본 발명에서 사용되는 용어는 일반적으로 알려지고 사용되는 용어에서 선택된 것이지만, 여기에 사용된 용어는 업자의 의도나 기술관행, 새로운 기술의 등장 등에 따라 변경될 수 있다. 또한, 본 발명의 상세한 설명에서 언급된 용어 중 일부는 출원인의 재량에 의해 선택된 것이지만, 그 상세한 의미는 상세한 설명의 관련부분에서 서술한다. 또한, 본 발명은 단순히 사용된 실제 용어가 아닌 각 용어에 내재된 의미에 의해 이해될 것이 요구된다.
도 1은 자동 콘텐츠 인식 기반 ETV 서비스 시스템을 나타낸 도면이다.
도 1에 나타낸 자동 콘텐츠 인식 기반 ETV 서비스 시스템은 방송사 또는 콘텐츠 제공자(100), 다채널 방송사업자(101), 셋톱박스(102), 디지털 TV 수신기 등의 수신기(103), 자동 콘텐츠 인식 서버(또는 자동 콘텐츠 인식 솔루션 제공자)(104)를 포함할 수 있다. 수신기(103)는 ATSC(advanced television system committee)의 정의에 따라 동작할 수 있고, 자동 콘텐츠 인식 기능을 지원할 수 있다. 실시간 방송 서비스(110)는 오디오/비디오 콘텐츠를 포함할 수 있다.
디지털 방송 서비스는 크게 방송사(100)에 의해 제공되는 지상파 방송 서비스와 다채널 방송사업자(101)에 의해 제공되는 케이블 방송 또는 위성 방송 등의 다채널 방송 서비스로 구분될 수 있다. 방송사(100)는 실시간 방송 서비스(110) 및 인헨스먼트 데이터(또는 부가 데이터)(120)를 함께 전송할 수 있다. 이 경우, 도 1에 나타낸 바와 같이, 수신기(103)는 다채널 방송사업자(101) 및 셋톱박스(102)를 통해 실시간 방송 서비스(110)만 수신할 수 있고, 인헨스먼트 데이터(120)는 수신하지 못할 수 있다.
따라서, 인헨스먼트 데이터(120)를 수신하기 위해, 수신기(103)는 오디오/비디오 콘텐츠 출력을 실시간 방송 서비스(110)로 분석 및 처리하고, 방송 프로그램 정보 및/또는 방송 프로그램 관련 메타데이터를 확인한다. 확인된 방송 프로그램 정보 및/또는 방송 프로그램 관련 메타데이터를 이용하여, 수신기(103)는 방송사(100) 또는 자동 콘텐츠 인식 서버(104)로부터 인헨스먼트 데이터를 수신할 수 있다(140). 이 경우, 인헨스먼트 데이터는 인터넷 프로토콜 네트워크(150)를 통해 전송될 수 있다. 인헨스먼트 데이터가 별도의 자동 콘텐츠 인식 서버(104)로부터 수신되면(140), 자동 콘텐츠 인식 서버(104)와 수신기(103) 사이의 메커니즘에서, ATSC 2.0 표준에서 정의한 TDO(triggered declarative object) 모델 중 요청/응답 모델을 자동 콘텐츠 인식 서버(104)에 적용할 수 있다. TDO 및 요청/응답 모델은 후술한다.
TDO는 방송 콘텐츠에 포함된 부가 정보를 나타낸다. TDO는 방송 콘텐츠 내에서 부가 정보를 적시에 트리거링하는 역할을 한다. 예를 들면, 오디오 프로그램이 방송되면, 시청자가 선호하는 오디션 참가자의 현재 순위가 방송 콘텐츠와 함께 표시된다. 이때 오디션 참가자의 현재 순위의 부가 정보는 TDO가 될 수 있다. 이러한 TDO는 시청자와의 상호작용을 통해 변경될 수도 있고, 시청자의 의도에 따라 제공될 수도 있다.
표준 ATSC 2.0의 요청/응답 자동 콘텐츠 인식 모델에서, 디지털 방송 수신기(103)는 주기적으로(예를 들면 5초마다) 콘텐츠의 시그너처(signature)를 생성하고 해당 시그너처를 포함하는 요청을 자동 콘텐츠 인식 서버(104)에 전송하게 되어 있다. 자동 콘텐츠 인식 서버(104)는 디지털 방송 수신기(103)로부터 요청을 받을면 응답을 회신한다. 통신 세션은 요청과 응답 사이에서 개방되지 않는다. 이 모델에서, 자동 콘텐츠 인식 서버(104)는 클라이언트에 대한 메시지를 시작할 수 없다.
그러나 전술한 ETV 서비스 시스템에서는, 별도의 자동 콘텐츠 인식 서버 없이는 자동 콘텐츠 인식 기능이 제공될 수 없다. 따라서 별도의 자동 콘텐츠 인식 서버 없이 수신기에서 자동 콘텐츠 인식 기능을 독립적으로 수행하는 방법이 요구된다.
도 2는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 2에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템에 따르면, 실시간 방송에 관련된 인헨스먼트 데이터는 자동 콘텐츠 인식 서버의 개재 없이 워터마킹을 이용하여 수신되어 쌍방향 서비스를 제공할 수 있다.
도 2에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템은 디지털 서비스 신호를 생성해서 전송하는 송신기(200) 및/또는 디지털 서비스 신호를 수신해서 처리하는 수신기(210)를 포함할 수 있다. 송신기(200)는 콘텐츠 제공자 또는 방송사일 수 있고, 수신기(210)는 디지털 TV 수신기와 같은 수신기일 수 있다. 송신기(200)는 생성 모듈(201), 삽입 모듈(202), 및/또는 송신 모듈(203)을 포함할 수 있다. 수신기(210)는 수신 모듈(211) 및/또는 추출 모듈(212)을 포함할 수 있다.
이후, 도 2에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템의 각 모듈의 동작을 설명한다.
우선, 송신기(200)의 생성 모듈(201)은 워터마크를 생성해서 송신될 오디오/비디오 콘텐츠의 프레임에 삽입할 수 있다. 워터마크는 워터마크가 삽입되는 콘텐츠의 채널에 관한 정보 및/또는 콘텐츠의 인헨스먼트 데이터의 URL(uniform resource locator) 정보와 같은 콘텐츠 정보(또는 메타데이터)를 포함할 수 있다. 송신 모듈(203)은 워터마크가 삽입되는 콘텐츠를 수신기(210)에 전송할 수 있다.
수신기(210)의 수신 모듈(211)은 워터마크가 삽입되는 콘텐츠를 수신할 수 있고, 콘텐츠를 추출 모듈(212)에 전달할 수 있다. 추출 모듈(212)은 전달된 콘텐츠의 오디오/비디오 프레임으로부터 삽입된 워터마크를 추출할 수 있다.
도 3은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
더욱 상세하게는, 도 3은 자동 콘텐츠 인식 기반 ETV 서비스를 지원하는 방송 서비스의 구성을 나타낸다.
도 3에 나타낸 바와 같이, 자동 콘텐츠 인식 서비스 처리 시스템은 콘텐츠 제공자 또는 방송사(300), 다채널 방송사업자(302), 셋톱박스(303), 수신기(304), 애플리케이션 URL 룩업 서버(306), 애플리케이션 서버(307)를 포함할 수 있다. 콘텐츠 제공자(300)는 워터마크 삽입기(301)를 포함할 수 있고, 수신기(304)는 워터마크 추출기(305)를 포함할 수 있다. 애플리케이션 URL 룩업 서버(306) 및 애플리케이션 서버(307)는 물리적으로 하나의 서버에 종속되어 있다.
도 3에 나타낸 수신기(304)는 자동 콘텐츠 인식 기능을 갖는다.
콘텐츠 제공자(300)는 인헨스먼트 데이터에 관련된 메타데이터를 실시간으로 전송되는 오디오/비디오 콘텐츠에 워터마크의 형태로 삽입한다. 오디오/비디오 콘텐츠가 다채널 방송사업자(302)를 통해서 수신되더라도, 인헨스먼트 데이터에 관련된 메타데이터가 워터마크의 형태로 삽입된 오디오/비디오 콘텐츠는 수신될 수 있다. 자동 콘텐츠 인식 기능을 갖는 수신기(304)는 다채널 방송사업자(302)를 통해 수신된 오디오/비디오 콘텐츠로부터 워터마크를 추출하고, 실시간으로 방송되는 프로그램에 관한 정보와 메타데이터를 인식할 수 있다. 수신기(304)는 인터넷 프로토콜 네트워크를 통해 인헨스먼트 데이터를 수신할 수 있다.
이후, 도 3에 나타낸 각 구성 요소의 동작을 설명한다.
방송사(304)는 콘텐츠를 식별하기 위한 콘텐츠 ID와 같은 인헨스먼트 데이터와 관련된 메타데이터를 오디오/비디오 콘텐츠에 워터마크의 형태로 삽입한다. 더 구체적으로, 워터마크 삽입기(301)는 오디오/비디오 콘텐츠에서 워터마크가 적절히 삽입될 영역을 검색하고, 워터마크를 검색된 영역에 삽입한다.
자동 콘텐츠 인식 기능을 갖는 수신기(304)는 워터마크가 삽입된 오디오/비디오 콘텐츠를 다채널 방송사업자(302) 및 셋톱박스(303)를 통해 수신하고, 오디오/비디오 콘텐츠로부터 워터마크를 추출하고, 인헨스먼트 데이터와 관련된 메타데이터를 획득할 수 있다.
더 구체적으로, 수신기(304)의 워터마크 추출기(305)는 오디오/비디오 콘텐츠에서 워터마크가 삽입된 영역을 검색하고, 검색된 영역에 삽입된 워터마크를 추출한다.
수신기(304)는 추출된 워터마크로부터 획득한 메타데이터를 통해 실시간 방송 프로그램에 관련된 인헨스먼트 데이터를 다운로드할 수 있다. 더 구체적으로, 수신기(304)는 인터넷 프로토콜 네트워크를 통해 애플리케이션 URL 룩업 서버(306)에 접속하여 쿼리에 따른 관련 애플리케이션의 URL을 수신할 수 있다. 애플리케이션의 URL에 따라, 수신기(304)는 애플리케이션을 관리하는 애플리케이션 URL 룩업 서버(306)에 접속하여 애플리케이션 URL 룩업 서버(306)로부터 애플리케이션에 종속된 인헨스먼트 데이터를 다운로드할 수 있다.
도 4는 본 발명의 일 실시예에 따른 수신기의 구조를 나타낸 도면이다.
구체적으로, 도 4는 워터마킹을 이용하여 자동 콘텐츠 인식 기반 ETV 서비스를 지원하는 수신기의 구성의 일례를 나타낸다.
도 4에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 기반 ETV 서비스를 지원하는 수신기는 입력 데이터 프로세서, ATSC 메인 서비스 프로세서, ATSC MH(mobile handheld) 서비스 프로세서, 및/또는 자동 콘텐츠 인식 서비스 프로세서를 포함할 수 있다. 입력 데이터 프로세서는 튜너/복조기(400) 및/또는 잔류 측파대 디코더(401)를 포함할 수 있다. ATSC 메인 서비스 프로세서는 트랜스포트 프로토콜(TP) 디멀티플렉서(402), 비실시간 가이드 정보 프로세서(403), DSM-CC(digital storage media command and control) 주소 지정 가능 섹션 파서(404), IP/UDP(information provider/user datagram protocol) 파서(405), FLUTE(file delivery over unidirectional transport) 파서(406), 메타데이터 모듈(407), 파일 모듈(408), ESG(electronic service guide)/DCD(data carrier detect) 핸들러(409), 저장 제어 모듈(410), 파일/트랜스포트 프로토콜 스위치(411), 재생 제어 모듈(412), 제1 저장 장치(413), 인터넷 프로토콜 패킷 저장 제어 모듈(414), 인터넷 접속 제어 모듈(415), 인터넷 프로토콜 인터페이스(416), 라이브 레코딩 스위치(417), 파일(오브젝트) 디코더(418), 트랜스포트 프로토콜/PES(packetized elementary stream) 디코더(420), PSI(program specific information)/PSIP(program and system information protocol) 디코더(421), 및/또는 EPG(electronic program guide) 핸들러(422)를 포함할 수 있다. ATSC MH 서비스 프로세서는 메인/MH/비실시간 스위치(419), MH 베이스밴드 프로세서(423), MH 물리적 적응 프로세서(424), 인터넷 프로토콜 스택(425), 파일 핸들러(426), ESG 핸들러(427), 제2 저장 장치(428), 및/또는 스트리밍 핸들러(429)를 포함할 수 있다. 자동 콘텐츠 인식 서비스 프로세서는 메인/MH/비실시간 스위치(419), 오디오/비디오 디코더(430), 오디오/비디오 처리 모듈(431), 외부 입력 핸들러(432), 워터마크 추출기(433), 및/또는 애플리케이션(434)을 포함할 수 있다.
이후, 각 프로세서의 각 모듈의 동작을 설명한다.
입력 데이터 프로세서에서, 튜너/복조기(400)는 안테나로부터 수신한 방송 신호를 튜닝 및 복조할 수 있다. 이 과정을 통해, 잔류 측파대 심볼이 추출될 수 있다. 잔류 측파대 디코더(401)는 튜너/복조기(400)에 의해 추출된 잔류 측파대 심볼을 디코딩할 수 있다.
잔류 측파대 디코더(401)는 디코딩에 따른 ATSC 메인 서비스 데이터 및 MH 서비스 데이터를 출력할 수 있다. ATSC 메인 서비스 데이터는 ATSC 메인 서비스 프로세서로 전달되어 처리될 수 있고, MH 서비스 데이터는 ATSC MH 서비스 프로세서로 전달되어 처리될 수 있다.
ATSC 메인 서비스 프로세서는 MH 신호를 제외한 메인 서비스 데이터를 자동 콘텐츠 인식 서비스 프로세서에 전달하기 위해 메인 서비스 신호를 처리할 수 있다. 트랜스포트 프로토콜 디멀티플렉서(402)는 잔류 측파대 신호를 통해 전송된 ATSC 메인 서비스 데이터의 전송 패킷을 역다중화하여 다른 처리 모듈에 전달할 수 있다. 즉, 트랜스포트 프로토콜 디멀티플렉서(402)는 방송 신호의 요소들이 각각 방송 수신기의 모듈에 의해 처리되도록 전송 패킷에 포함된 다양한 정보를 역다중화하여 전달할 수 있다. 역다중화된 데이터는 실시간 스트림, DSM-CC 주소 지정 가능 섹션, 및/또는 비실시간 서비스 테이블/A/90&92 시그널링 테이블을 포함할 수 있다. 더 구체적으로, 도 4에 나타낸 바와 같이, 트랜스포트 프로토콜 디멀티플렉서(402)는 실시간 스트림을 라이브 레코딩 스위치(417)로 출력할 수 있고, DSM-CC 주소 지정 가능 섹션을 DSM-CC 주소 지정 가능 섹션 파서(404)로 출력할 수 있고, 비실시간 서비스 테이블/A/90&92 시그널링 테이블을 비실시간 가이드 정보 프로세서(403)로 출력할 수 있다.
비실시간 가이드 정보 프로세서(403)는 트랜스포트 프로토콜 디멀티플렉서(402)로부터 비실시간 서비스 테이블/A/90&92 시그널링 테이블을 수신하고, FLUT 세션 정보를 추출하여 DSM-CC 주소 지정 가능 섹션 파서(404)로 전달할 수 있다. DSM-CC 주소 지정 가능 섹션 파서(404)는 트랜스포트 프로토콜 디멀티플렉서(402)로부터 DSM-CC 주소 지정 가능 섹션을 수신하고, 비실시간 가이드 정보 프로세서(403)로부터 FLUT 세션 정보를 수신하고, DSM-CC 주소 지정 가능 섹션을 처리할 수 있다. IP/UDP 파서(405)는 DSM-CC 주소 지정 가능 섹션 파서(404)로부터 데이터 출력을 수신하고, IP/UDP에 따라 전송된 IP 데이터그램을 파싱할 수 있다. FLUTE 파서(406)는 IP/UDP 파서(405)로부터 출력된 데이터를 수신하고, ALC (asynchronous layered coding) 오브젝트의 형태로 전송된 데이터 서비스를 전송하기 위한 FLUTE 데이터를 처리할 수 있다. 메타데이터 모듈(407) 및 파일 모듈(408)은 FLUTE 파서(406)로부터 출력된 데이터를 수신하고, 메타데이터 및 복원된 파일을 처리할 수 있다. ESG/DCD 핸들러(409)는 메타데이터 모듈(407)로부터 출력된 데이터를 수신하고, 방송 프로그램에 관련된 전자서비스 가이드 및/또는 하향링크 채널 서술자를 처리할 수 있다. 복구된 파일은 레퍼런스 핑거프린트 및 ATSC 2.0 콘텐츠와 같은 파일 오브젝트의 형태로 저장 제어 모듈(410)로 전달될 수 있다. 파일 오브젝트는 저장 제어 모듈(410)에 의해 처리되고, 정상 파일 및 트랜스포트 프로토콜 파일로 분리되어 제1 저장 장치(413)에 저장될 수 있다. 재생 제어 모듈(412)은 저장된 파일 오브젝트를 갱신하고 파일 오브젝트를 파일/트랜스포트 프로토콜 스위치(411)에 전달하여 정상 파일 및 트랜스포트 프로토콜 파일을 디코딩할 수 있다. 파일/트랜스포트 프로토콜 스위치(411)는 정상 파일 및 트랜스포트 프로토콜 파일이 서로 다른 경로를 통해 디코딩되도록 정상 파일은 파일 디코더(418)로 전달하고 트랜스포트 프로토콜 파일은 라이브 레코딩 스위치(417)로 전달한다.
파일 디코더(418)는 정상 파일을 디코딩하여 자동 콘텐츠 인식 서비스 프로세서로 전달할 수 있다. 디코딩된 정상 파일은 자동 콘텐츠 인식 서비스 프로세서의 메인/MH/비실시간 스위치(419)로 전달될 수 있다. 트랜스포트 프로토콜 파일은 라이브 레코딩 스위치(417)의 제어 하에 트랜스포트 프로토콜/PES 디코더(420)로 전달될 수 있다. 트랜스포트 프로토콜/PES 디코더(420)는 트랜스포트 프로토콜 파일을 디코딩하고, PSI/PSIP 디코더(421)는 디코딩된 트랜스포트 프로토콜 파일을 다시 디코딩한다. EPG 핸들러(422)는 디코딩된 트랜스포트 프로토콜 파일을 처리하고, ATSC에 따라 EPG 서비스를 처리할 수 있다.
ATSC MH 서비스 프로세서는 ATSC MH 서비스 데이터를 자동 콘텐츠 인식 서비스 프로세서에 전송하기 위해 MH 신호를 처리할 수 있다. 더 구체적으로, MH 베이스밴드 프로세서(423)는 ATSC MH 서비스 데이터를 전송에 적합한 펄스 파형으로 전환할 수 있다. MH 물리적 적응 프로세서(424)는 ATSC MH 서비스 데이터를 MH 물리적 계층에 적합한 형태로 처리할 수 있다.
인터넷 프로토콜 스택(425)은 MH 물리적 적응 프로세서(424)로부터 출력된 데이터를 수신하여 인터넷 전송/수신을 위한 통신 프로토콜에 따라 처리할 수 있다. 파일 핸들러(426)는 인터넷 프로토콜 스택(425)으로부터 출력된 데이터를 수신하고 응용 계층의 파일을 처리할 수 있다. ESG 핸들러(427)는 파일 핸들러(426)로부터 출력된 데이터를 수신하고 모바일 ESG를 처리할 수 있다. 또한, 제2 저장 장치(428)는 파일 핸들러(426)로부터 출력된 데이터를 수신하고, 파일 오브젝트를 저장할 수 있다. 또한, 인터넷 프로토콜 스택 모듈(425)로부터 출력된 데이터의 일부는 ATSC에 따른 모바일 ESG 서비스 대신 수신기의 자동 콘텐츠 인식 서비스를 위한 데이터가 될 수 있다. 이 경우, 스트리밍 핸들러(429)는 RTP(real-time transport protocol)을 통해 수신된 리얼 스트리밍을 처리하여 자동 콘텐츠 인식 서비스 프로세서에 전달할 수 있다.
자동 콘텐츠 인식 서비스 프로세서의 메인/MH/비실시간 스위치(419)는 ATSC 메인 서비스 프로세서 및/또는 ATSC MH 서비스 프로세서로부터 출력된 신호를 수신할 수 있다. 오디오/비디오 디코더(430)는 메인/MH/비실시간 스위치(419)로부터 수신된 압축 오디오/비디오 데이터를 디코딩할 수 있다. 디코딩된 오디오/비디오 데이터는 오디오/비디오 처리 모듈(431)에 전달될 수 있다.
외부 입력 핸들러(432)는 외부 입력을 통해 수신된 오디오/비디오 콘텐츠를 처리하여 오디오/비디오 처리 모듈(431)에 전송할 수 있다.
오디오/비디오 처리 모듈(431)은 오디오/비디오 디코더(430) 및/또는 외부 입력 핸들러(432)로부터 수신된 오디오/비디오 데이터를 처리하여 스크린에 표시할 수 있다. 이 경우, 워터마크 추출기(433)는 오디오/비디오 데이터로부터 워터마크의 형태로 삽입된 데이터를 추출할 수 있다. 추출된 워터마크 데이터는 애플리케이션(434)에 전달될 수 있다. 애플리케이션(434)은 자동 콘텐츠 인식 기능에 근거한 인헨스먼트 서비스를 제공하고, 방송 콘텐츠를 확인하고, 거기에 관련된 인헨스먼트 데이터를 제공할 수 있다. 애플리케이션(434)이 인헨스먼트 데이터를 오디오/비디오 처리 모듈(431)에 전달하면, 오디오/비디오 처리 모듈(431)은 수신한 오디오/비디오 데이터를 처리하여 화면에 표시할 수 있다.
도 5는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템의 구조를 나타낸 도면이다.
더 구체적으로, 도 5는 수신기(500)가 셋톱박스와 같은 외부 장치의 외부 입력을 통해 지상파 채널을 수신하면 워터마크를 이용하여 프로그램 정보를 얻기 위한 동작을 나타낸다.
도 5에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템은 수신기(500), CE 서버(501), 방송사 또는 콘텐츠 제공자(502), 애플리케이션 서버(503)를 포함할 수 있다. 수신기(500)는 오디오/비디오 프로세서(510), 워터마크 추출기(520), 응용 모듈(530)을 포함할 수 있다. 오디오/비디오 프로세서(510)는 워터마킹 매니저(511)를 포함할 수 있다. 또한, 수신기(500)는 자동 콘텐츠 인식 기능을 가질 수 있다.
오디오/비디오 프로세서(510)는 외부 입력을 통해 수신한 오디오/비디오 콘텐츠를 워터마크 추출기(520)에 전달하고, 워터마크 추출기(520)는 오디오/비디오 콘텐츠로부터 워터마크의 형태로 삽입된 데이터를 추출하고, 애플리케이션 서버(503)에 접속할 수 있다. 이때, CE 서버(501)는 워터마킹 관련 모듈 및 마이크로 코드를 관리할 수 있다.
본 발명의 일 실시예에 따른 마이크로 코드는 오디오/비디오 콘텐츠에 삽입된 워터마크를 추출하기 위한 코드를 말하며, 오디오/비디오 디코더 칩 및/또는 미가공 데이터 처리 칩에 의해 동적으로 다운로드될 수 있다. 수신기는 필요에 따라 하나 또는 복수의 마이크로 코드를 압축 및 저장하거나, 다운로드 인터페이스를 통해 하나 또는 복수의 마이크로 코드를 다운로드할 수 있다. 다운로드 인터페이스는 칩 종류에 따라 다르게 구현될 수 있다.
이후, 도 5에 나타낸 각 구성요소의 동작을 설명한다.
수신기(500)의 워터마크 추출기(520)는 오디오 콘텐츠 또는 비디오 콘텐츠로부터 워터마크를 추출하거나, 오디오 콘텐츠 및 비디오 콘텐츠를 이용하여 워터마크를 추출할 수 있다. 추출된 워터마크는 채널 정보 및/또는 콘텐츠 정보를 포함할 수 있다. 콘텐츠 정보는 ATSC 2.0 서비스에서 사용되는 콘텐츠에 관한 정보를 포함할 수 있다.
응용 모듈(530)은 채널과 관련된 콘텐츠 및/또는 워터마크로부터 추출된 채널 정보 및 콘텐츠 정보에 기초한 메타데이터를 전송하기 위한 채널에 동조하여 콘텐츠 정보를 수신할 수 있다. 또한, 응용 모듈(530)은 인터넷 프로토콜을 통해 채널과 관련된 콘텐츠 및/또는 메타데이터를 수신할 수 있다. 본 발명의 일 실시예에 따르면, 채널은 ATSC 메시지 핸들러 채널을 포함할 수 있다.
CE 서버(501)는 워터마킹과 관련된 마이크로 코드 및/또는 소프트웨어를 관리 및 갱신할 수 있다. 즉, CE 서버(501)는 방송사(500)의 프로토콜에 따라 관련된 마이크로 코드 및/또는 소프트웨어를 계속해서 추가, 삭제, 또는 갱신할 수 있다. 수신기(500)로부터 요청이 수신되거나 CE 서버(501)가 갱신되면, CE 서버(501)는 수신기(500)에 요청이 수신되거나 CE 서버(501)가 갱신되었다는 것을 알리고 새로운 코드를 다운로드한다.
워터마크 추출기(520)는 수신기(500)의 칩 상에서 동작하는 마이크로 코드 또는 소프트웨어 모듈로 구현될 수 있다. 새로운 마이크로 코드 또는 소프트웨어 모듈은 CE 서버(501)로부터 계속해서 다운로드될 수 있다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 6 내지 도 8은 비디오 디코더 및/또는 오디오 디코더의 칩에서 마이크로 코드에 기초하여 실시간으로 콘텐츠에 삽입된 워터마크를 추출하고 워터마크에 기초하여 콘텐츠를 인식하는 수신기의 구조를 나타낸다. 이후, 본 발명의 실시예를 도 6 내지 도 8을 참조하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 6에 나타낸 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치는 리모콘(600), 리모콘 수신기(601), UI(user interface) 모듈(602), 네트워크 인터페이스(603), 마이크로 코드 다운로더(604), 웹 브라우저(605), 트리거 프로세서(606), 마이크로 프로세서(607), 마이크로 코드 인터페이스(608), 오디오 디코더(609), 비디오 디코더(610), 그래픽 프로세서(611), 애플리케이션(612), 스피커(613), 디스플레이 모듈(614), 안테나(615), 튜너(616), 복조기(617), 및/또는 시스템 디코더(618)를 포함할 수 있다. 시스템 디코더(618)는 MPEG-2 TS 디코더일 수 있다. 복조기(617)는 잔류 측파대 복조기 또는 DVB(digital video broadcasting) 복조기일 수 있다. 각각의 오디오 디코더(609) 및 비디오 디코더(610)는 마이크로 코드 인터페이스(608)를 포함할 수 있다.
도 6에 나타낸 바와 같이, ETV 서비스 수신 장치는 비디오 디코더 또는 오디오 디코더의 칩 상에서 실행되는 마이크로 코드를 사용하여 실시간으로 지상파를 통해 전송되는 오디오/비디오 콘텐츠로부터 워터마크를 추출하고, 추출된 워터마크를 애플리케이션에 전송하고, 인헨스먼트 서비스를 수신할 수 있다. 마이크로 코드는 마이크로 코드 다운로더(604)를 통해 외부 장치로부터 다운로드될 수 있다. 마이크로 코드는 마이크로 코드 인터페이스(608)를 통해 오디오 디코더(609) 또는 비디오 디코더(610)의 칩 상에서 동적으로 다운로드될 수 있다.
이후, 도 6에 나타낸 ETV 서비스 수신 장치의 구성 요소 사이의 동작을 설명한다.
리모콘 수신기(601)는 리모콘(600)으로부터 적외선을 통해 시청자의 요청 신호를 수신하고, 키 코드를 사용하여 UI 모듈(602)로 신호를 전송할 수 있다. UI 모듈(602) 및/또는 리모콘 수신기(601)는 브라우저 키 코드를 사용하여 웹 브라우저(605)에 신호를 전달할 수 있다. UI 모듈(602)을 통과한 신호는 그래픽 프로세서(601)로 전달될 수 있다.
튜너(616)는 안테나(615)로부터 수신한 신호를 튜닝하고, 복조기(617)는 튜닝된 신호의 파형을 복원할 수 있다. 디코더(618)는 복원된 신호를 디코딩하여 트리거 프로세서(606)로 전달할 수 있다. 트리거 프로세서(606)는 디코딩된 신호를 트리거 데이터로 처리하여 웹 브라우저(605)로 전송할 수 있다.
웹 브라우저(605)로 전달된 신호가 마이크로 코드 다운로더(604)로 전달되면, 마이크로 코드가 다운로드되어 마이크로 코드 인터페이스(608)로 전달될 수 있다. 마이크로 코드 인터페이스(608)를 통과하는 마이크로 코드 및 디코딩된 신호는 각각 오디오 디코더(609) 및 비디오 디코더(610)로 전달되는 오디오 신호 및 비디오 신호로 분리될 수 있다. 오디오 디코더(609) 및 비디오 디코더(610)의 마이크로 코드 인터페이스(619)는 마이크로 코드를 사용하여 오디오/비디오 콘텐츠에 삽입된 워터마크를 추출할 수 있다.
추출된 워터마크는 애플리케이션(612)으로 전달되고, 오디오 신호는 스피커(613)로 전달되고, 비디오 신호는 그래픽 프로세서(611)로부터 수신된 그래픽 신호와 함께 디스플레이 모듈(614)로 출력될 수 있다.
도 7은 본 발명의 또 다른 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 7에 나타낸 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치는 리모콘(700), 리모콘 수신기(701), UI 모듈(702), 네트워크 인터페이스(703), 마이크로 코드 다운로더(704), 웹 브라우저(705), 트리거 프로세서(706), 마이크로 프로세서(707), 마이크로 코드 인터페이스(708), 오디오 디코더(709), 비디오 디코더(710), 그래픽 프로세서(711), 애플리케이션(712), 스피커(713), 디스플레이 모듈(714), 안테나(715), 튜너(716), 복조기(717), 시스템 디코더(718), 오디오 후처리 프로세서 & 증폭기(719), 및/또는 비디오 디스플레이 프로세서(720)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 시스템 디코더(718)는 MPEG-2 TS 디코더를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 복조기(717)는 잔류 측파대 복조기 및/또는 DVB 복조기를 포함할 수 있다. 각각의 오디오 후처리 프로세서 & 증폭기(719) 및 비디오 디스플레이 프로세서(720)는 마이크로 코드 인터페이스(708)를 포함할 수 있다.
도 7에 나타낸 바와 같이, ETV 서비스 수신 장치는 오디오 디코더나 비디오 디코더의 칩 대신 후처리 칩 상에서 실시간으로 마이크로 코드를 통해 오디오/비디오 콘텐츠에 삽입되는 워터마크를 추출할 수 있다. 본 발명의 일 실시예에 따르면, 후처리 칩은 오디오 후처리 프로세서 & 증폭기(719) 및 비디오 디스플레이 프로세서(720)를 포함할 수 있다. ETV 서비스 수신 장치는 추출된 워터마크를 사용하여 오디오/비디오 콘텐츠를 자동으로 인식할 수 있다. ETV 서비스 수신 장치는 마이크로 코드 다운로더(704)를 통해 외부 장치로부터 마이크로 코드를 다운로드할 수 있다. 또한, ETV 서비스 수신 장치의 오디오 또는 비디오 후처리 칩은 마이크로 코드 인터페이스(708)를 통해 마이크로 코드를 다운로드할 수 있다.
이후, 도 7에 나타낸 ETV 서비스 수신 장치의 구성 요소 사이의 동작을 설명한다.
리모콘 수신기(701)는 리모콘(700)으로부터 적외선을 통해 시청자의 요청 신호를 수신하고, 키 코드를 사용하여 UI 모듈(702)로 수신된 신호를 전송할 수 있다. UI 모듈(702) 및/또는 리모콘 수신기(701)는 브라우저 키 코드를 사용하여 웹 브라우저(705)에 신호를 전달할 수 있다. UI 모듈(702)을 통과한 신호는 그래픽 프로세서(701)로 전달될 수 있다.
튜너(716)는 안테나(715)로부터 수신한 신호를 튜닝하고, 복조기(717)는 튜닝된 신호의 파형을 복원할 수 있다. 디코더(718)는 복원된 신호를 디코딩하여 트리거 프로세서(706)로 전달할 수 있다. 트리거 프로세서(706)는 디코딩된 신호를 트리거 데이터로 처리하여 웹 브라우저(705)로 전송할 수 있다.
웹 브라우저(705)에 전달된 신호가 마이크로 코드 다운로더(704)로 전달되면, 마이크로 코드가 다운로드 되어 오디오 후처리 프로세서 & 증폭기(718)의 마이크로 코드 인터페이스(708)로 및/또는 마이크로 코드 인터페이스(708)를 통해 비디오 디스플레이 프로세서(720)로 전달될 수 있다.
디코딩된 신호는 각각 오디오 디코더(709) 및 비디오 디코더(710)로 전달되는 오디오 신호 및 비디오 신호로 분리될 수 있다. 오디오 디코더(709)에 의해 디코딩된 오디오 신호는 오디오 후처리 프로세서 & 증폭기(719)로 전달될 수 있다. 비디오 디코더(710)에 의해 디코딩된 비디오 신호는 비디오 디스플레이 프로세서(720)로 전달될 수 있다.
오디오 후처리 프로세서 & 증폭기(718)의 마이크로 코드 인터페이스(708) 및/또는 비디오 디스플레이 프로세서(720)가 마이크로 코드 인터페이스(708)를 통해 오디오 신호 및/또는 비디오 신호를 수신하면, 오디오 및/또는 비디오 콘텐츠에 삽입된 워터마크는 마이크로 코드를 통해 추출될 수 있다.
추출된 워터마크는 애플리케이션(712)로 전달될 수 있고, 오디오 신호는 스피커(713)로 출력될 수 있고, 비디오 신호는 디스플레이 모듈(714)로 출력될 수 있다.
도 8은 본 발명의 또 다른 일 실시예에 따른 ETV 서비스 수신 장치의 구조를 나타낸 도면이다.
도 8에 나타낸 본 발명의 일 실시예에 따른 ETV 서비스 수신 장치는 리모콘(800), 리모콘 수신기(801), UI 모듈(802), 네트워크 인터페이스(803), 마이크로 코드 다운로더(804), 웹 브라우저(805), 트리거 프로세서(806), 마이크로 프로세서(807), 마이크로 코드 인터페이스(808), 오디오 디코더(809), 비디오 디코더(810), 그래픽 프로세서(811), 애플리케이션(812), 스피커(813), 디스플레이 모듈(814), 오디오 후처리 프로세서 & 증폭기(815), 셋톱박스(817), 외부 입력 핸들러(818)를 포함할 수 있다. 외부 입력 핸들러(818)는 HDMI(high definition multimedia interface)를 통해 외부 입력을 수신할 수 있다.
도 8에 나타낸 바와 같이, ETV 서비스 수신 장치는 오디오/비디오 콘텐츠가 지상파를 통해 전송되지 않고 셋톱박스(817)와 같은 외부 장치를 통해 수신되더라도, 마이크로 코드를 사용하여 오디오/비디오 콘텐츠를 자동으로 인식하고 ETV 서비스를 수신할 수 있다. 즉, 오디오/비디오 콘텐츠가 외부 장치로부터 수신되면, ETV 서비스 수신 장치는 실시간으로 마이크로 코드를 사용하여 오디오/비디오 콘텐츠로부터 워터마크를 추출할 수 있다. 이때, 비디오 또는 오디오 후처리 칩은 마이크로 코드 인터페이스(808)를 통해 마이크로 코드를 다운로드할 수 있다. 추출된 워터마크는 애플리케이션(812)으로 전달되고, 수신기는 워터마크에 포함된 데이터를 사용하여 인헨스먼트 데이터를 획득할 수 있다. 본 발명의 일 실시예에 따르면, 후처리 칩은 오디오 후처리 프로세서 & 증폭기(815) 및/또는 비디오 디스플레이 프로세서(816)를 포함할 수 있다.
이후, 도 8에 나타낸 ETV 서비스 수신 장치의 구성 요소 사이의 동작을 설명한다.
리모콘 수신기(801)는 리모콘(800)으로부터 적외선을 통해 시청자의 요청 신호를 수신하고, 키 코드를 사용하여 UI 모듈(802)로 수신된 신호를 전송할 수 있다. UI 모듈(802) 및/또는 리모콘 수신기(801)는 브라우저 키 코드를 사용하여 웹 브라우저(805)에 신호를 전달할 수 있다. 웹 브라우저(805)에 전달된 신호가 마이크로 코드 다운로더(804)로 전달되면, ETV 서비스 수신 장치는 마이크로 코드를 다운로드 하여 마이크로 코드 인터페이스(808)로 전달할 수 있다. UI 모듈(602)을 통과한 신호는 그래픽 프로세서(8701)로 전달될 수 있다.
셋톱박스를 통해 외부 장치로부터 수신된 신호는 외부 입력 핸들러(818)를 통해 디코딩되지 않고 트리거 프로세서(806)를 통해 트리거 데이터로 처리되어 웹 브라우저(805)로 전달될 수 있다. 또는, 외부 입력 핸들러(818)를 통과한 외부 입력 신호는 각각 오디오 디코더(809) 및 비디오 디코더(810)로 전달되는 오디오 신호 및 비디오 신호로 분리될 수 있다. 이때, 오디오 디코더(809)는 오디오 신호를 디코딩할 수 있다.
디코딩된 오디오 신호는 오디오 후처리 프로세서 & 증폭기(819)로 전달될 수 있고, 디코딩된 비디오 신호는 비디오 디스플레이 프로세서(816)로 전달될 수 있다. 오디오 후처리 프로세서 & 증폭기(819) 및 비디오 디스플레이 프로세서(816)의 마이크로 코드 인터페이스(808)는 마이크로 코드를 사용하여 오디오 및/또는 비디오 콘텐츠에 삽입된 워터마크를 추출할 수 있다.
추출된 워터마크는 애플리케이션(812)으로 전달될 수 있고, 오디오 신호는 스피커(813)로 출력될 수 있고, 비디오 신호는 디스플레이 모듈(814)로 출력될 수 있다.
도 9는 본 발명의 일 실시예에 따른 디지털 워터마킹 기술의 흐름을 나타낸 도면이다.
디지털 워터마킹은 제거하기 어려운 방식으로 디지털 신호에 정보를 매립하는 과정이다. 예를 들면, 신호는 음성, 화면, 또는 영상 될 수 있다. 신호가 복제되면, 정보도 복제된 신호에 실린다. 하나의 신호는 동시에 여러 다른 워터마크를 실을 수 있다.
시각적 워터마킹에서, 정보는 화면 또는 영상에서 가시적이다. 일반적으로 정보는 미디어의 소유자를 확인하는 텍스트나 로고이다. TV 방송사가 전송되는 영상의 모퉁이에 로고를 추가하면, 이 또한 시각적 워터마크이다.
시각적 워터마킹에서, 정보는 디지털 데이터로서 음성, 화면, 또는 영상에 추가되는데, 약간의 정보가 숨겨져 있다는 것을 감지할 수 있어도 그 자체가 인지되지는 못한다. 워터마크는 널리 사용되기 위한 것이어서, 검색하기 쉽게 되어있거나, 한 단체가 디지털 신호에 매립된 비밀메시지를 주고받는 스테가노그래피의 형태일 수 있다. 어느 경우이든, 시각적 워터마킹에서와 같이, 목적은 소유주나 다른 서술 정보를 제거하기 어려운 방식으로 신호에 부착하는 것이다. 숨겨진 매립 정보를 개개인 사이의 통신을 전환하기 위한 수단으로 사용할 수도 있다.
워터마킹의 하나의 응용은 디지털 미디어의 비승인 복제를 방지 또는 저지하기 위한 저작권 보호 시스템에 있다. 이 용도에서는, 복제 장치가 복제 전에 신호로부터 워터마크를 검색하고, 워터마크의 콘텐츠에 따라 복제를 하지 결정한다. 또 다른 응용은 소스 추적에 있다. 워터마크는 배포시마다 디지털 신호에 매립된다. 저작물의 복제물이 나중에 발견되면, 워터마크가 복제물로부터 검색될 수 있고, 배포의 소스가 알려진다. 보도에 따르면 이 기술은 불법적으로 복제된 영화의 소스를 알아내기 위해 사용되어 왔다.
서술 정보가 있는 디지털 사진의 어노테이션은 시각적 워터마킹의 또 다른 응용이다.
디지털 미디어에 대한 파일형식의 일부가 메타데이터라 불리는 부가 정보를 포함할 수 있는 반면, 디지털 워터마킹은 데이터가 신호 자체에서 전달된다는 점에서 구별된다.
일부 문맥에서 디지털 워터마크라는 문구가 워터마킹된 신호와 커버 신호 사이의 차이를 의미하지만, 매립될 정보는 디지털 워터마크라 불린다. 워터마크가 매립될 신호는 호스트 신호라 불린다.
워터마킹 시스템은 주로 매립(901), 공격(902), 검출(또는 추출)(903)의 세 개의 별개의 단계로 구분된다.
매립(901)에서, 알고리즘은 호스트 및 매립될 데이터를 받아들이고, 워터마킹된 신호를 생성한다.
워터마킹된 신호는 전송 또는 저장되는데, 주로 다른 사람에게 전송된다. 이 사람이 변경을 가하면, 이는 공격(902)이라 불린다. 변경이 악의적이지 않을 수도 있지만, 공격이라는 용어는 저작권 침해자들이 변경을 통해 디지털 워터마크를 제거하려는 저작권 보호 애플리케이션으로부터 발생한다. 여러 가지 변경이 가능할 수 있다. 예를 들면, 데이터의 비가역압축, 이미지 또는 영상의 크로핑, 또는 의도적으로 가하는 잡음 등이 있을 수 있다.
검출(903)은 공격받은 신호에서 워터마크를 추출하기 위해 공격받은 신호에 적용되는 알고리즘이다. 신호가 전송 중에 변경되지 않았다면, 워터마크는 여전히 존재하고 추출될 수 있다. 견고한 워터마킹 애플리케이션에서는, 변경이 강력하더라도 추출 알고리즘은 워터마크를 올바르게 생성할 수 있을 것이다. 취약한 워터마킹에서는, 신호에 어떠한 변경이 가해지더라도 추출 알고리즘은 실패할 것이다.
매립된 정보가 몇 번의 변형에 의해 저하되더라도 마킹된 신호로부터 확실히 검출될 수 있으면 디지털 워터마크는 변형에 대해 견고하다고 한다. 전형적인 이미지 저하는 JPEG 압축, 회전(rotation), 크로핑, 부가적인 잡음 및 양자화이다. 비디오 콘텐츠에 있어서, 일시적 변경 및 MPEG 압축이 주로 여기에 포함된다. 워터마킹된 콘텐츠가 원래의 워터마킹되지 않은 콘텐츠와 지각적으로 동등하면 워터마크는 감지할 수 없다고 한다. 일반적으로, 견고한 워터마크나 감지할 수 없는 워터마크는 생성하기 쉽지만, 견고하고 감지할 수 없는 워터마크는 생성하기 어렵다고 알려져 있다. 견고하고 감지할 수 없는 워터마크는 디지털 콘텐츠의 보호를 위한 도구, 예를 들면, 전문적인 비디오 콘텐츠에서 매립된 "복제 불허" 플래그로서 제안되었다.
디지털 워터마킹 기술은 몇 가지 방식으로 분류될 수 있다.
첫째로, 워터마크는 약간의 변형 후에 검출되지 못하면 취약하다고 한다(견고성). 취약한 워터마크는 보통 탬퍼 검출(무결성 입증)을 위해 사용된다. 분명히 뚜렷한 원저작물에 가한 변형은 보통 워터마크라 불리지 않고, 일반화된 바코드라 불린다. 양성 변형에는 저항력이 있지만 악성 변형 후에는 검출에 실패하는 워터마크는 약간 취약하다고 한다. 약간 취약한 워터마크는 보통 악성 변형을 검출하기 위해 사용된다. 지정된 부류의 변형에 저항력이 있는 워터마크는 견고하다고 한다. 견고한 워터마크는 복제물을 전달하고 제어 정보에 접속하기 위해 복제 방지 애플리케이션에서 사용될 수 있다.
둘째로, 원래의 커버 신호와 마킹된 신호가 지각적으로 구별될 수 없으면(구별되기 어려우면) 워터마크는 감지할 수 없다고 한다(지각성). 마킹된 신호에서의 존재가 분명하지만 비침해적이면, 워터마크는 감지할 수 있다고 한다.
셋째로, 용량에 관해서, 매립된 메시지의 길이는 두 가지 다른 주 부류의 워터마킹 방식을 결정한다.
메시지는 개념상으로 0 비트의 길이를 갖고, 시스템은 마킹된 오브젝트에서 워터마크의 존재 유무를 검출하기 위해 설계된다. 이러한 종류의 워터마킹 방식은 주로 이탤릭 0 비트 또는 이탤릭 존재 워터마킹 방식이라 불린다. 종종 이러한 종류의 워터마킹 방식은 1이 워터마크의 존재를 나타내기 때문에(0은 부재) 1 비트 워터마크라 불린다.
메시지는 n 비트 길이의 스트림이고(n = |m| 또는 M = {0,1}n), 워터마크에서 변조된다. 이러한 종류의 방식은 주로 다중비트 워터마킹 또는 비영비트 워터마킹 방식이라 불린다.
넷째로, 매립 단계에는 몇 가지 방식이 있다. 마킹된 신호가 부가적인 변형에 의해 얻어지면 워터마킹 방법은 대역 확산이라 불린다. 대역 확산 워터마크는 적당히 견고하다고 알려져 있지만, 호스트 간섭으로 인해 낮은 정보 용량을 갖는다고 알려져 있기도 하다. 마킹된 신호가 양자화에 의해 얻어지면 워터마킹 방법은 양자화 타입의 것이라고 한다. 양자화 워터마크는 낮은 견고성을 갖지만, 호스트 간섭의 배제로 인해 높은 정보 용량을 갖는다. 마킹된 신호가 대역 확산법과 유사한 부가적인 변형에 의해 매립되지만 특별히 공간 영역에서 매립되면, 워터마킹 방법은 진폭 변조라 불린다.
도 10은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 쿼리 결과 포맷을 나타낸 도면이다.
기존의 자동 콘텐츠 인식 서비스 처리 시스템에 따르면, 방송사가 실시간 서비스를 위한 콘텐츠와 ETV 서비스를 위한 인헨스먼트 데이터를 함께 전송하고, TV 수신기가 콘텐츠와 ETV 서비스를 수신하면, 실시간 서비스를 위한 콘텐츠는 수신될 수 있지만, 인헨스먼트 데이터는 수신되지 못한다.
이 경우, 본 발명의 일 실시예에 따르면, 인터넷 프로토콜 네트워크를 이용한 독립적인 인터넷 프로토콜 시그널링 채널을 통해 기존의 자동 콘텐츠 인식 처리 시스템의 문제를 해결할 수 있다. 즉, TV 수신기는 다채널 방송사업자를 통해 실시간 서비스를 위한 콘텐츠를 수신할 수 있고, 독립적인 인터넷 프로토콜 시그널링 채널을 통해 인헨스먼트 데이터를 수신할 수 있다.
이 경우, 본 발명의 일 실시예에 따르면, 인터넷 프로토콜 시그널링 채널은 PSIP 스트림이 바이너리 스트림의 형태로 전달 및 처리되도록 구성된다. 이때, 인터넷 프로토콜 시그널링 채널은 풀(pull) 방법이나 푸시(push) 방법을 이용하도록 구성된다.
풀 방법의 인터넷 프로토콜 시그널링 채널은 HTTP 요청/응답 방법에 따라 구성될 수 있다. HTTP 요청/응답 방법에 따르면, PSIP 바이너리 스트림은 HTTP 요청 신호에 대한 HTTP 응답 신호에 포함될 수 있고, SignalingChannelURL을 통해 전송될 수 있다. 이 경우, 폴링 사이클은 자동 콘텐츠 인식 쿼리 결과로서 전달된 메타데이터에서 Polling_cycle에 따라 주기적으로 요청될 수 있다. 또한, 갱신될 시간 및/또는 주기에 관련된 정보는 시그널링 채널에 포함되어 전송될 수 있다. 이 경우, 수신기는 인터넷 프로토콜 시그널링 채널로부터 수신한 갱신 시간 및/또는 주기 정보에 근거하여 서버에 시그널링 정보를 요청할 수 있다.
푸시 방법의 인터넷 프로토콜 시그널링 채널은 XMLHTTPRequest 애플리케이션 프로그래밍 인터페이스를 이용하여 구성될 수 있다. XMLHTTPRequest 애플리케이션 프로그래밍 인터페이스가 이용되면, 서버로부터 비동기로 최신정보를 수신할 수 있다. 이는 수신기 측에서는 XMLHTTPRequest 오브젝트를 통해 서버에게 비주기적으로 시그널링 정보를 요청하는 방법이고, 서버 측에서는 시그널링 정보가 변경되었으면 요청에 응답하여 이 채널을 통해 시그널링 정보를 제공하는 방법이다. 세션의 대기시간에 제한이 있으면, 세션 타임아웃 응답이 생성될 수 있고, 수신기는 세션 타임아웃 응답을 인식하고, 시그널링 정보를 다시 요청하고, 수신기와 서버 사이에서 시그널링 채널을 유지할 수 있다.
인터넷 프로토콜 시그널링 채널을 통해 인헨스먼트 데이터를 수신하기 위해, 수신기는 워터마킹과 핑거프린팅을 이용하여 동작할 수 있다. 핑거프린팅은 콘텐츠 구매자에 관한 정보를 콘텐츠 제공자 대신 콘텐츠에 삽입하는 기술을 말한다. 핑거프린팅이 이용되면, 수신기는 콘텐츠를 확인하기 위해 참조 데이터베이스를 검색할 수 있다. 콘텐츠를 확인한 결과는 자동 콘텐츠 인식 쿼리 결과라 불린다. 자동 콘텐츠 인식 쿼리 결과는 TV 시청자에게 제공된 쿼리를 포함하고, 자동 콘텐츠 인식 기능을 실행하기 위해 쿼리의 정보에 대해 대응할 수 있다. 수신기는 자동 콘텐츠 인식 쿼리 결과에 근거하여 ETV 서비스를 제공할 수 있다.
자동 콘텐츠 인식 쿼리 결과에 관한 정보는 워터마크 기반 자동 콘텐츠 인식 시스템 상에서 오디오/비디오 콘텐츠에 삽입/매립되어 전송될 수 있다. 수신기는 워터마크 추출기를 통해 자동 콘텐츠 인식 쿼리 결과 정보를 추출 및 획득한 후, ETV 서비스를 제공할 수 있다. 이 경우, ETV 서비스는 별도의 자동 콘텐츠 인식 서버 없이 제공될 수 있고, 인터넷 프로토콜 네트워크를 통한 쿼리는 생략될 수 있다.
도 10은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 쿼리 결과를 나타내는 XML 방식의 도면이다. 도 10에 나타낸 바와 같이, 자동 콘텐츠 인식 쿼리 결과의 XML 포맷은 결과 코드부(1010)를 포함할 수 있고, 자동 콘텐츠 인식 쿼리 결과 타입(1000)은 콘텐츠 ID부(1001), NTP(network time protocol) 타임스탬프부(1002), 시그널링 채널 정보부(1003), 서비스 정보부(1004), 기타 식별자부(1005)를 포함할 수 있다. 시그널링 채널 정보부(1003)는 시그널링 채널 URL부(1013), 갱신모드부(1023), 폴링 사이클부(1033)를 포함할 수 있고, 서비스 정보부(1004)는 서비스 네임부(1014), 서비스 로고부(1024), 서비스 서술부(1034)를 포함할 수 있다.
이후, 도 10에 나타낸 자동 콘텐츠 인식 쿼리 결과의 XML 방식의 도면을 상세히 설명하고, XML 방식의 예를 설명한다.
결과 코드부(1010)는 자동 콘텐츠 인식 쿼리의 결과값을 나타낼 수 있다. 이는 쿼리 성공 또는 실패, 쿼리가 실패하면 실패 이유를 코드값의 형태로 나타낼 수 있다. 예를 들면, 결과 코드부(1010)의 값이 200이면, 이는 쿼리가 성공하고 그에 해당하는 콘텐츠 정보가 반환되었다는 것을 나타낸다. 결과 코드부(1010)의 값이 404이면, 이는 콘텐츠가 발견되지 않았다는 것을 나타낸다.
콘텐츠 ID부(1001)는 전 세계적으로 유일하게 콘텐츠를 식별하기 위한 식별자를 나타내고, 서비스를 식별하기 위한 식별자인 글로벌 서비스 식별자부를 포함할 수 있다.
NTP 타임스탬프부(1002)는 자동 콘텐츠 인식 쿼리에 사용되는 샘플 프레임 간격의 특정 시점이 NTP 타임스탬프의 형태로 제공된다는 것을 나타낼 수 있다. 여기서, 특정 시점은 샘플 프레임의 시점 또는 종점일 수 있다. NTP란 인터넷을 통해 컴퓨터의 시간을 레퍼런스 클록에 맞추기 위한 프로토콜을 말하며, 타임 서버와 컴퓨터 네트워크 상에 분배된 클라이언트 사이의 시간 동기화를 위해 사용될 수 있다. NTP가 UTC(universal time coordinated) 시간을 사용하고 10 ms의 정확도를 보장하기 때문에, 수신기는 프레임 동기화 동작을 정확히 처리할 수 있다.
시그널링 채널 정보부(1003)는 ETV 서비스를 위한 인터넷 프로토콜 네트워크 상의 독립적인 시그널링 채널의 액세스 정보를 나타낼 수 있다.
더 구체적으로, 시그널링 채널 정보부(1003)의 하위부인 시그널링 채널 URL부(1013)는 시그널링 채널의 URL 정보를 나타낼 수 있다. 시그널링 채널 URL부(1013)는 갱신모드부(1023) 및 폴링 사이클부(1033)를 하위부로 포함할 수 있다. 갱신모드부(1023)는 인터넷 프로토콜 시그널링 채널을 통해 정보를 획득하는 방법을 나타낸다. 예를 들면, 풀 모드에서 수신기는 정보를 획득하기 위해 풀 방법에 따라 주기적으로 폴링을 수행할 수 있고, 푸시 모드에서 서버는 푸시 방법에 따라 수신기에 정보를 송신할 수 있다. 폴링 사이클부(1033)는 갱신모드부(1023)가 풀 모드이면 풀 방법에 따라 수신기의 기본 폴링 사이클값을 나타낼 수 있다. 그리고 수신기는 기본 폴링 사이클값을 특정하고 임의 시간 간격으로 요청 신호를 서버에 전송하여, 서버가 요청으로 과부하되는 것을 방지할 수 있다.
서비스 정보부(1004)는 방송 채널에 관한 정보를 나타낼 수 있다. 콘텐츠 ID부(1001)는 시청자에 의해 현재 시청되고 있는 서비스의 식별자를 나타낼 수 있고, 서비스 정보부(1004)는 방송 채널에 관한 구체적인 정보를 나타낼 수 있다. 예를 들면, 서비스 정보부(1004)가 나타내는 구체적인 정보는 채널명, 로고, 또는 텍스트 설명일 수 있다.
더 구체적으로, 서비스 정보부(1004)의 하위부인 서비스 네임부(1014)는 채널명을 나타낼 수 있고, 서비스 로고부(1024)는 채널 로고를 나타낼 수 있고, 서비스 서술부(1034)는 채널 텍스트 설명을 나타낼 수 있다.
다음은 본 발명의 일 실시예에 따른 도 10에 나타낸 자동 콘텐츠 인식 쿼리 결과의 요소의 XML 개요를 나타낸다.
<xs:complexType name="ACR-ResultType">
<xs:sequence>
<xs:element name="ContentID" type="xs:anyURI"/>
<xs:element name="NTPTimestamp" type="xs:unsignedLong"/>
<xs:element name="SignalingChannelInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="SignalingChannelURL" maxOccurs="unbounded">
<xs:complexType>
<xs:simpleContent>
<xs:extension base="xs:anyURI">
<xs:attribute name="UpdateMode">
<xs:simpleType>
<xs:restriction base="xs:string">
<xs:enumeration value="Pull"/>
<xs:enumeration value="Push"/>
</xs:restriction>
</xs:simpleType>
</xs:attribute>
<xs:attribute name="PollingCycle" type="xs:unsignedInt"/>
</xs:extension>
</xs:simpleContent>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name="ServiceInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="ServiceName" type="xs:string"/>
<xs:element name="ServiceLogo" type="xs:anyURI" minOccurs="0"/>
<xs:element name="ServiceDescription" type="xs:string" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="ResultCode" type="xs:string" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
도 11은 본 발명의 일 실시예에 따른 콘텐츠 ID의 구조를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 ATSC 표준에 따른 콘텐츠 ID의 구문(syntax) 구조를 나타낸다. ATSC 콘텐츠 ID는 수신기에 의해 수신한 콘텐츠를 식별하기 위한 식별자로 사용될 수 있다.
ATSC Content Identifier는 유일한 주기를 갖고 TSID(Transmitting Subscriber Identification) 및 하우스 넘버로 구성된 구조이다. 하우스 넘버는 여기에 제약된 바와 같이 TSID의 보유자가 원하는 어떤 넘버이다. 넘버는 TSID의 각각의 값에 대해 유일하다. ATSC Content Identifier 구조의 구문은 도 11에 정의된 바와 같다.
16 비트의 부호 없는 정수 필드인 TSID는 transport_stream_id의 값을 포함할 것이다. 미국에서 이 값의 할당 권한은 FCC에 있다. 멕시코, 캐나다, 미국에 대한 범위는 이들 국가 사이의 공식 협약에 의해 설정되었다. 다른 지역의 값은 임의의 권한에 의해 설정된다.
5 비트의 부호 없는 정수인 end_of_day 필드는 방송일이 종료되는 UTC에서 그 날의 시간으로 설정될 것이며, 잠시 후 content_id 값들이 unique_for에 따라 재사용될 수 있다. 이 필드의 값은 0 내지 23의 범위에 있을 것이다. 이때, 이 필드의 값은 방송사마다 고정될 것으로 예상된다.
9 비트의 부호 없는 정수인 unique_for 필드는 일수로 설정되고 끝수 올림되고 content_id 값이 다른 콘텐츠에 재할당되지 않는 end_of_day가 나타내는 시간에 관해서 측정된다. 그 값은 1 내지 511의 범위에 있을 것이다. 0은 금지될 것이다. 511은 "무기한"의 특별한 의미가 있다. 이때, 이 필드의 값은 하우스 넘버링 방법이 변경될 때만 변경되고 방송사마다 본질적으로 고정될 것으로 예상된다. 또한, 디코더는 unique_for 필드가 만료될 때까지 저장된 content_values를 유일한 것으로 취급할 수 있고, 이는 저장된 모든 unique_for 필드가 0이 될 때까지 end_of_day에 매일 1씩 감소시킴으로써 실행될 수 있다.
가변 길이 필드인 content_id 필드는 하우스 넘버 시스템이나 TSID의 값을 위한 시스템에 따라 식별자의 값으로 설정될 수 있다. 이러한 각 값은 end_of_day 및 unique_for 필드의 값에 의해 설정된 유일 기간 내에서 다른 콘텐츠로 할당될 수 없다. 해당 식별자는 사람이 판독할 수 있고/있거나 2진인 값의 어떠한 조합이 될 수 있고, 242 바이트를 넘지 않도록 하우스 넘버의 형태와 완벽히 일치할 필요는 없다.
도 12는 본 발명의 일 실시예에 따른 워터마킹을 이용한 수신기의 동작을 나타낸 도면이다.
본 발명에서 자동 콘텐츠 인식 기능을 지원하는 ETV 서비스를 제공하는 방법으로서, 워터마킹을 이용한 방법이 제안된다. 도 12는 워터마킹을 이용해서 자동 콘텐츠 인식 기능을 실행하는 수신기의 모듈 사이의 동작을 나타낸 도면이다.
도 12에 나타낸 바와 같이, 워터마킹을 이용한 수신기는 M/H 수신 모듈(1200), 인터넷 모듈(1201), 저장 모듈(1202), 외부 입력 모듈(1203), 워터마크 추출 모듈(1204), 애플리케이션 모듈(1205), 오디오/비디오 처리 모듈(1206), 표시 모듈(1207)을 포함할 수 있다.
도 12에 나타낸 바와 같이, 수신기는 워터마크를 이용하여 콘텐츠 제공자를 인식하고, 인식된 콘텐츠 제공자에 의해 제공된 인헨스먼트 서비스를 처리할 수 있다.
본 발명의 일 실시예에 따른 수신기에서, 워터마크 추출 모듈(1204)은 외부 입력을 통해 M/H 수신 모듈(1200)에 의해 수신된 오디오/비디오 신호로부터 워터마크를 추출하여 오디오/비디오 신호에 포함된 콘텐츠 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 워터마크에 포함될 수 있는 콘텐츠 정보는 후술한다.
추출된 콘텐츠 정보는 애플리케이션 모듈(1205)을 통해 시청자에게 표시될 수 있고, 시청자는 표시된 콘텐츠 정보를 이용하여 M/H 또는 인터넷을 통해 인헨스먼트 서비스를 위한 인헨스먼트 데이터를 선택적으로 수신할 수 있다.
도 12에 도시하지 않았지만, 수신된 인헨스먼트 데이터는 자동 콘텐츠 인식 서비스를 위해 사용될 저장 모듈(1202)에 저장될 수 있다. 이 경우, 콘텐츠 정보 및 메타데이터는 저장 모듈(1202)에 저장되고, 저장된 콘텐츠 정보 및 메타데이터는 오디오/비디오 재생시 관련된 인헨스먼트 데이터를 수신하기 위해 사용될 수 있다. 또는, 수신기는 콘텐츠 제공자에 접속하거나 오디오/비디오 재생시 M/H 튜닝을 통해 새롭게 인헨스먼트 데이터를 수신할 수 있다.
이후, 도 12에 나타낸 각 모듈의 동작을 설명한 후, 워터마크로부터 추출될 수 있는 콘텐츠 정보를 설명한다.
M/H 수신 모듈(1200)은 M/H 신호를 통해 콘텐츠 제공자로부터 인헨스먼트 정보를 수신할 수 있다.
인터넷 모듈(1201)은 인터넷을 통해 콘텐츠 제공자로부터 인헨스먼트 정보를 수신할 수 있다.
저장 모듈(1201)은 오디오/비디오 정보를 포함하는 데이터 및/또는 콘텐츠 제공자로부터 수신한 인헨스먼트 데이터를 저장할 수 있다. 워터마크 추출 모듈(1204)이 워터마크를 추출하면, 워터마크는 특별 메타데이터로서 표시되고 저장 장치에 저장될 수 있다.
외부 입력 모듈(1203)은 외부 입력을 통해 콘텐츠 제공자의 오디오/비디오 신호를 수신할 수 있다.
워터마크 추출 모듈(1204)은 외부 입력 모듈(1203)에 의해 수신된 오디오/비디오 신호로부터 워터마크를 추출할 수 있다. 콘텐츠가 TV의 저장 장치에 저장된 후 재생되면, 워터마크는 재생시 추출될 수 있다.
애플리케이션 모듈(1205)은 오디오/비디오 정보를 포함하는 데이터 및/또는 콘텐츠 제공자로부터 수신되고 저장 모듈(1201)에 저장된 인헨스먼트 데이터로부터 워터마크 추출 모듈(1204)에 의해 추출된 워터마크를 수신하고, 워터마크에 관한 정보를 이용하여 오디오/비디오 정보를 포함하는 데이터 및/또는 인헨스먼트 데이터를 처리할 수 있다.
오디오/비디오 처리 모듈(1206)은 오디오 디코더 및/또는 비디오 디코더를 통해 오디오/비디오 신호를 디코딩하여 애플리케이션 모듈(1205)로부터 수신된 데이터를 처리한다.
표시 모듈(1207)은 오디오/비디오 처리 모듈(1206)에 의해 처리된 데이터를 OSD(on screen display) 방식으로 수신기의 화면에 표시할 수 있다.
이후, 본 발명의 일 실시예에 따른 콘텐츠 정보를 설명한다.
워터마크를 통해 추출된 콘텐츠 정보는 콘텐츠 제공자에 관한 정보를 포함할 수 있다. 더 구체적으로, 콘텐츠 정보는 콘텐츠 제공자 또는 방송사의 ID 정보, 콘텐츠의 ID 정보, 콘텐츠의 시간에 관한 정보, 콘텐츠 라이프 사이클 정보, 및/또는 인헨스먼트 데이터에 관한 정보를 포함할 수 있다. 본 발명의 일 실시예에 따른 핑거프린팅을 이용한 자동 콘텐츠 인식 서비스에서, 자동 콘텐츠 인식 쿼리 결과는 자동 콘텐츠 인식 기능을 통해 얻어진 콘텐츠를 위한 메타데이터로서 사용될 수 있다.
콘텐츠 제공자 ID 정보는 콘텐츠 제공자 또는 방송사를 식별하기 위한 식별자를 의미할 수 있다. 본 발명의 일 실시예에 따르면, 콘텐츠 제공자 ID 정보는 일차 식별자의 역할을 할 수 있다. 콘텐츠 제공자 ID 정보는 제작자명 및 제작자를 식별하기 위한 일련번호 및/또는 국가, 지역, 서비스 특성(장르)을 식별하기 위한 일련번호의 모음을 포함할 수 있다. 본 발명의 일 실시예에 따르면, ATSC PSIP를 위해 사용되는 TS-id는 콘텐츠 제공자 ID 정보로 사용될 수 있다.
콘텐츠 ID 정보는 콘텐츠 제공자 대신 콘텐츠를 식별하기 위한 식별자를 의미할 수 있다. 더 구체적으로, 콘텐츠 ID 정보는 콘텐츠명 및 콘텐츠를 식별하기 위한 일련번호 및 콘텐츠 특성(장르)을 식별하기 위한 일련번호의 모음을 포함할 수 있다. 본 발명의 일 실시예에 따르면, ATSC PSIP를 위해 사용되는 event-id는 콘텐츠 ID 정보로 사용될 수 있다.
콘텐츠 제공자 ID 정보는 콘텐츠 ID 정보보다 높은 빈도로 워터마크에 포함될 수 있고, 더 용이하게 추출되도록 구성될 수 있다. 이 경우, 콘텐츠 제공자 ID 정보는 더 압축된 정보 또는 더 자세한 정보를 포함할 수 있다.
시간 정보는 콘텐츠와 관련된 시간 정보를 나타낼 수 있다. 더 구체적으로, 시간 정보는 시작 시각, 지속 시간, 종료 시각, 및/또는 총 서비스 재생시간을 나타내는 리드 타임을 포함할 수 있다. 본 발명의 일 실시예에 따르면, 시간 정보는 UTC나 GPS에 기초하고, ATSC PSIP의 STT와 같은 다른 포맷으로 구성될 수 있다. 또한, 시간 정보는 동기화된 위젯과 같은 서비스가 제공될 때, 표시 과정에서 동기화를 위해 사용될 수 있다. 또한, 시간 정보는 케이블이나 위성 PVR(personal video recorder) 셋톱박스에 의해 재스케줄링되는 콘텐츠를 위해 사용된다.
콘텐츠 라이프 사이클 정보는 서비스가 유효한 라이프 사이클에 관한 정보를 포함한다.
인헨스먼트 데이터에 관한 정보는 인헨스먼트 데이터의 존재 유무, 워터마크의 사용, 및/또는 인헨스먼트 데이터를 수신하는 경로에 관한 정보를 포함할 수 있다. 더 구체적으로, 인헨스먼트 데이터에 관한 정보는 콘텐츠 제공자에 의해 제공되는 인헨스먼트 데이터의 존재에 관한 정보, 워터마크가 불법 복제 또는 배포를 방지하기 위한 라이센스, 시청률 조사, 또는 부가 서비스를 위한 콘텐츠 제공자 승인을 위해 사용되는지 나타내는 정보를 포함할 수 있다. 인헨스먼트 데이터를 수신하는 경로에 관한 정보는 인터넷 프로토콜 네트워크가 사용되는지 여부 또는 모바일 기기와 같은 다른 매체가 사용되는지 여부를 나타내는 정보를 포함할 수 있다. 더 구체적으로, 인헨스먼트 데이터가 인터넷 프로토콜 네트워크를 통해 수신되면 인터넷 프로토콜 주소 및/또는 URL 정보가 포함될 수 있고, 인헨스먼트 데이터가 모바일 기기를 통해 수신되면 빈도 정보, 표준(ATSC MH, DMB, Media Flow, DVB-H, NGH 등) 정보, 및/또는 채널 정보가 포함될 수 있다.
도 13은 본 발명의 일 실시예에 따른 워터마크 추출과정을 나타낸 도면이다.
일반적인 디지털 TV 수신기와 같은 수신기(1320)는 HDMI 또는 컴포넌트 연결을 통해 수신기(1320)에 장착된 케이블 또는 위성 셋톱박스(1310)로부터 오디오/비디오 신호를 수신한다. 이후, 도 13에 나타낸 본 발명의 일 실시예에 따르면, 워터마크를 추출하고 콘텐츠 제공자를 인식하는 동작을 셋톱박스(1310) 및 수신기(1320)에서 단계적으로 설명한다.
수신기(1320)의 입력 모드가 외부 입력 모드로 설정되면, 수신기(1320)는 콘텐츠 제공자 또는 방송사를 식별하기 위한 콘텐츠 제공자 식별자를 검색할 수 있다. 셋톱박스(1310)가 온 상태가 되고 채널이 튜닝되면, 수신기(1320)는 콘텐츠 제공자 식별자를 검출할 수 있다. 수신기(1320)는 검출된 콘텐츠 제공자에 의해 제공되는 콘텐츠의 콘텐츠 식별자 및 시간 정보를 검출할 수 있다. 셋톱박스(1310)로부터 수신된 서비스의 채널이 변경되면, 셋톱박스(1310)는 변경된 채널에 따른 콘텐츠 제공자를 식별하기 위한 콘텐츠 제공자 식별자를 새롭게 검색한다.
도 14는 본 발명의 일 실시예에 따른 워터마크 정보의 프로파일링을 나타낸 도면이다.
도 12 및 13을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 수신기는 오디오/비디오 콘텐츠에 포함된 콘텐츠 제공자 정보를 전송하기 위한 워터마크를 사용하여 콘텐츠 제공자를 인식한다. 이 경우, 워터마크에 저장된 정보의 양이 증가하면, 워터마크가 삽입된 오디오/비디오 콘텐츠의 질이 저하될 수 있다. 따라서, 본 발명에서는 이러한 문제를 해결하기 위해, 워터마크에 저장된 정보의 속성에 따라 워터마크를 프로파일링 및 레벨링하고, 레벨링된 워터마크를 오디오/비디오 콘텐츠에 삽입하는 방법을 제안한다. 이 경우, 레벨링된 워터마크는 저장된 정보의 속성에 따라 구별되어 오디오/비디오 콘텐츠에 삽입되기 때문에, 삽입된 워터마크에 관한 정보의 양은 콘텐츠의 질이 저하되는 것을 방지하기 위해 조절될 수 있다.
따라서, 본 발명에서는 프로파일링에 따라 워터마크를 레벨링하기 위해, 워터마크는 워터마크에 저장된 정보의 속성에 따라 기본 프로파일 워터마크와 확장 프로파일 워터마크로 구분될 수 있다. 기본 프로파일 워터마크는 자동 콘텐츠 인식 기능을 수행하기 위해 실시간 방송 프로그램을 인식하는 데 기본적으로 필요한 정보를 포함할 수 있다. 확장 프로파일 워터마크는 자동 콘텐츠 인식 기능을 수행하는 데 기본적으로 필요한 정보 대신 부가 정보를 포함할 수 있다. 복수의 확장 프로파일 워터마크가 존재하여 정보의 속성에 따라 다시 레벨링될 수 있다. 이 경우, 기본 프로파일 워터마크와 확장 프로파일 워터마크는 서로 다른 주기로 오디오/비디오 콘텐츠에 삽입될 수 있다.
도 14는 전술한 바와 같이 레벨링된 워터마크를 오디오/비디오 콘텐츠에 삽입하는 과정을 나타낸 도면이다.
전술한 바와 같이, 콘텐츠 제공자(1400)는 오디오/비디오와 같은 원 신호(1410)를 수신하고, 워터마크가 삽입될 영역을 검색하고(1401), 제공될 콘텐츠와 관련된 메타데이터(1420)를 워터마크에 매립할 수 있다(1402). 그 후, 콘텐츠 제공자(1400)는 워터마킹된 신호(1430)를 수신기에 전송할 수 있다. 워터마킹된 신호(1430)에서, 원 신호(1410) 및 메타데이터(1420)는 워터마크의 형태로 저장될 수 있다. 일 실시예에서, 도 14의 워터마크는 기본 프로파일 워터마크 W1(1440)과 제1 및 제2 확장 프로파일 워터마크 W2 및 W3(1450 및 1460)을 포함할 수 있다.
기본 프로파일 워터마크(1440)는 콘텐츠 제공자 식별자부와 확장 지시자를 포함할 수 있다.
콘텐츠 제공자 식별자부는 콘텐츠를 제공하는 방송사나 콘텐츠 제공자를 식별하기 위한 정보를 나타낼 수 있다.
확장 지시자부는 다음 레벨의 워터마크, 즉 제1 확장 프로파일 워터마크(1450)가 추가로 삽입되는지를 나타낸다. 확장 지시자부의 값이 1이면, 이는 다음 레벨의 제1 확장 프로파일 워터마크(1450)가 삽입된다는 것을 나타낸다.
제1 확장 프로파일 워터마크(1450)는 콘텐츠 식별자부, 타임스탬프부, 확장 지시자부를 포함할 수 있다.
콘텐츠 식별자부는 콘텐츠명이나 콘텐츠를 식별하기 위한 일련번호 정보를 나타낼 수 있다.
타임스탬프부는 콘텐츠의 시간 정보를 나타낸다.
확장 지시자부는 전술한 바와 같이 다음 레벨의 워터마크, 즉 제2 확장 프로파일 워터마크(1460)가 추가로 삽입되는지를 나타낼 수 있다. 도 14에 나타낸 바와 같이, 제2 확장 프로파일 워터마크(1460)는 워터마크 삽입 사용부, 부가 정보의 URL부, 확장 지시자부를 포함할 수 있다.
워터마크 삽입 사용부는 워터마크 삽입 사용에 관한 정보를 나타낼 수 있다.
부가 정보의 URL부는 서비스를 받기 위한 부가 정보 또는 URL 정보를 나타낼 수 있다.
확장 지시자부는 다음 레벨의 워터마크가 삽입되는지를 나타낼 수 있다.
도 14에 나타낸 바와 같이, 콘텐츠 제공자나 방송사는 레벨링된 워터마크가 오디오/비디오 콘텐츠에 삽입될 때 워터마크 프로파일링에 따라 오디오/비디오 콘텐츠에 워터마크를 삽입하는 횟수를 구별할 수 있다. 예를 들면, 기본 프로파일 워터마크(1440)가 방송 프로그램의 중요한 기본 정보를 포함하므로, 콘텐츠 제공자나 방송사는 수신자가 가능한 빨리 정보를 정확히 인식하도록 기본 프로파일 워터마크를 삽입하는 횟수를 설정할 수 있다.
즉, 콘텐츠 제공자나 방송사는 워터마킹된 신호(1430)의 전송 주기 동안 제1 및 제2 확장 프로파일 워터마크(1450 및 1460)보다 기본 프로파일 워터마크(1440)를 더 삽입할 수 있다. 따라서, 수신기는 우선적으로 기본 프로파일 워터마크(1440)를 추출한 후, 필요에 따라 확장 프로파일 워터마크(1450 및 1460)를 추출할 수 있다. 이 경우, 수신기는 확장 지시자부의 값에 따라 확장 프로파일 워터마크의 존재를 확인하고, 확장 프로파일 워터마크를 추출할 수 있다. 즉, 수신기는 워터마크의 프로파일에 따라 차별적으로 삽입된 워터마크를 차별적으로 추출하고, 워터마크에 포함된 정보를 효율적으로 저장 및 관리할 수 있다.
지금까지, 본 발명의 일 실시예에 따른 워터마킹을 이용한 자동 콘텐츠 인식 서비스를 제공하는 방법 및 시스템을 설명하였다. 이후, 본 발명의 일 실시예에 따라 콘텐츠 제공자 측에서 콘텐츠에 워터마크를 매립하는 방법과 수신기 측에서 콘텐츠로부터 워터마크를 추출하는 방법을 상세히 설명한다.
콘텐츠 제공자 측에서 비디오 프레임에 워터마크를 매립하는 방법과 수신기 측에서 콘텐츠로부터 워터마크를 추출하는 방법을 도 15 내지 17을 참조하여 설명하고, 콘텐츠 제공자 측에서 오디오 프레임에 워터마크를 매립하는 방법과 수신기 측에서 콘텐츠로부터 워터마크를 추출하는 방법을 도 18을 참조하여 설명한다.
도 15는 본 발명의 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
콘텐츠 제공자는 우선 하나의 비디오 프레임(1500)을 서브프레임(1501)으로 세분화하고, 세분화된 서브프레임(1502)을 검색하고, 워터마크가 적절히 매립될 영역을 결정한다. 워터마크가 매립될 서브프레임 영역이 결정되면, 워터마크가 서브프레임 영역(1510)에 매립되고, 서브프레임들이 결합하여 하나의 비디오 프레임(1520)을 재생성한다.
수신기 측에서 하나의 비디오 프레임의 전체 영역에 매립된 비디오 프레임으로부터 워터마크를 추출하기 위해, 우선 수신기는 하나의 비디오 프레임을 서브프레임들로 세분화한다. 워터마크가 매립되어 있을 수 있는 영역은 세분화된 서브프레임으로부터 검출된다. 워터마크는 검출된 서브프레임 영역으로부터 추출되고, 추출된 워터마크들은 최종적으로 하나의 워터마크를 결정하기 위해 비교된다. 인헨스먼트 데이터는 결정된 워터마크를 통해 콘텐츠 정보를 이용하여 다운로드될 수 있다.
도 16은 본 발명의 또 다른 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
더 구체적으로, 도 16은 본 발명의 일 실시예에 따라 워터마크를 비디오 프레임의 바(bar) 데이터 영역에 매립하는 방법을 나타낸다.
워터마크가 하나의 비디오 프레임의 전체 영역에 매립되면, 워터마킹 견고성은 향상되지만, 수신기 측에서 워터마크를 추출하는 데 필요한 처리가 증가할 수 있다. 따라서, 비디오 프레임의 일부 영역에 워터마크를 매립함으로써, 수신기 측에서 워터마크를 추출하는 데 필요한 처리를 감소시켜 수신기의 동작 효율을 향상시킬 수 있다. 비디오 프레임의 전체 영역 중 워터마크가 매립될 일부 영역은 전송기/수신기의 규칙에 따라 미리 정할 수 있다. 이후, 본 발명의 일 실시예에 따르면, 콘텐츠 제공자는 비디오 프레임의 전체 영역 중 일부인 바 데이터 영역에 워터마크를 매립할 수 있다.
콘텐츠 제공자가 수신기에 콘텐츠를 전송할 때 콘텐츠의 영상비(image ratio)가 전송 포맷과 맞지 않으면, 바 데이터 영역(1600)이 스크린상에 생성될 수 있다. 예를 들면, 도 16에 나타낸 바와 같이, 16:9의 화면비를 갖는 비디오 프레임을 4:3의 화면비로 전환하는 경우, 스크린의 왼쪽 및 오른쪽 테두리를 잘라내지 않기 위해 4:3의 화면비를 갖는 스크린의 위쪽 및 아래쪽 모서리에 검은 띠가 생성될 수 있다. 검은 띠의 영역은 레터박스(letterbox)라 불리는 바 데이터 영역(1600)이 될 수 있다.
도 16에 나타낸 바와 같이, 바 데이터 영역(1600)이 존재하는 비디오 프레임의 경우, 워터마크가 바 데이터 영역(1600)이 매립되어 전송될 수 있다. 워터마크를 바 데이터 영역에 매립하는 방법은 도 15를 참조하여 설명한 워터마크를 비디오 프레임에 매립하는 과정과 동일하게 실행될 수 있다.
더 구체적으로, 콘텐츠 제공자는 워터마크가 매립될 비디오 프레임의 바 데이터 영역(1600)을 검색하고(1610), 워터마크를 바 데이터 영역(1600)에 매립한다(1620).
비디오 프레임의 일부 영역에 매립된 워터마크를 추출하기 위해, 우선 수신기는 하나의 비디오 프레임을 서브프레임들로 세분화한다. 워터마크가 매립되어 있을 수 있는 영역은 세분화된 서브프레임으로부터 검출된다. 도 16에 나타낸 본 발명의 일 실시예에 따르면, 수신기는 세분화된 서브프레임으로부터 바 데이터 영역을 검출한다. 워터마크는 검출된 서브프레임 영역으로부터 추출되고, 추출된 워터마크들은 최종적으로 하나의 워터마크를 결정하기 위해 비교된다. 인헨스먼트 데이터는 결정된 워터마크를 통해 콘텐츠 정보를 이용하여 다운로드될 수 있다.
도 17은 본 발명의 또 다른 일 실시예에 따른 워터마크를 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
더 구체적으로, 도 17은 다른 콘텐츠 정보(또는 메타데이터)를 포함하는 복수의 워터마크를 하나의 비디오 프레임의 서로 다른 영역에 매립하는 방법을 나타낸다.
예를 들면, 도 17에 나타낸 바와 같이, 콘텐츠 제공자 식별자 정보를 포함하는 워터마크는 스크린의 오른쪽 위에 위치한 로고 영역(1700)에 매립될 수 있고, 콘텐츠 식별자 및 타임스탬프 정보를 포함하는 워터마크는 같은 스크린의 중앙 영역(1701)에 매립될 수 있다.
다른 콘텐츠 정보를 포함하는 복수의 워터마크를 하나의 비디오 프레임에 매립하는 방법은 본 발명의 일 실시예에 따라 크게 두 가지 방법으로 구분될 수 있다.
복수의 다른 워터마크는 비디오 프레임의 서로 다른 영역(1700 및 1701)에 매립될 수 있다. 이때, 워터마크가 매립될 비디오 프레임의 둘 이상의 영역(1700 및 1701)은 전송기/수신기의 규칙에 따라 미리 정할 수 있다.
또는, 비디오 프레임의 서로 다른 영역(1700 및 1701)에 관한 정보를 포함하는 별도의 워터마크가 우선 매립될 수 있다. 콘텐츠 정보를 포함하는 워터마크가 매립될 서로 다른 영역(1700 및 1701)은 별도의 워터마크를 통해 검출될 수 있고, 각각의 워터마크가 영역(1700 및 1701)에 매립될 수 있다. 별도의 워터마크는 비디오 프레임의 특정 영역 또는 로고 부분에 매립할 수 있고, 전송기/수신기의 규칙에 따라 미리 정할 수 있다.
수신된 비디오 프레임이 영역에 따라 다른 콘텐츠 정보를 갖는 워터마크를 포함하면, 수신기는 우선 다른 경로를 통해 또는 전송기/수신기의 규칙에 따라 워터마크가 매립되는 영역에 관한 정보를 획득한다. 획득한 정보를 이용하여, 워터마크는 비디오 프레임의 각 영역으로부터 추출된다. 도 17에 나타낸 본 발명의 일 실시예에 따르면, 콘텐츠 제공자에 관한 정보를 포함하는 워터마크는 로고 영역(1700)으로부터 추출될 수 있고, 콘텐츠 식별자 및 시간 정보를 포함하는 워터마크는 스크린의 중앙 영역(1701)으로부터 추출될 수 있다. 또는, 추출된 워터마크로부터 서로 다른 워터마크를 추출하기 위한 정보(예를 들면, 워터마크가 매립된 영역에 관한 정보)가 포함되면, 그 정보를 이용하여 서로 다른 워터마크를 추출할 수 있다.
도 18은 본 발명의 일 실시예에 따른 워터마크를 오디오 프레임에 매립하는 방법을 나타낸 도면이다.
더 구체적으로, 하나의 워터마크를 오디오 프레임에 매립하는 과정을 나타낸다.
원 오디오 신호는 일정한 길이를 갖는 프레임으로 분리되고(1800), 분리된 오디오 프레임은 서브프레임으로 세분화된다(1801). 세분화된 서브프레임을 이용하여, 워터마크가 매립될 영역이 검색된다(1802). 예를 들면, 사람의 귀에 민감한 4 kHz를 넘는 주파수 대역이 검색되어 워터마크 매립 영역으로 결정될 수 있다. 워터마크는 검색된 영역에 매립되고(1803), 서브프레임들이 하나의 오디오 신호로 재결합된다(1803).
또한, 본 발명의 일 실시예에 따르면, 복수의 워터마크가 도 18에 나타낸 워터마크 매립 과정에 기초하여 오디오 신호에 매립될 수 있다. 매립 방법은 워터마크를 둘 이상의 서로 다른 주파수 대역에 각각 매립하고 서브프레임을 하나의 오디오 신호로 재결합하는 방법과 하나의 워터마크를 연속적인 오디오 프레임에 매립하고 나머지 워터마크를 서로 다른 주파수 대역에 매립하는 방법을 포함할 수 있다.
전술한 본 발명의 실시예에 따르면, 워터마크가 매립된 오디오 신호가 수신되면, 수신기는 오디오 신호로부터 워터마크를 추출하기 위해 우선 오디오 신호를 일정한 길이를 갖는 프레임으로 분리할 수 있다. 분리된 프레임은 서브프레임으로 세분화될 수 있고, 워터마크 추출 영역은 서브프레임으로부터 검출될 수 있다. 워터마크는 검출된 영역으로부터 추출된다. 복수의 워터마크가 오디오 신호에 매립되면, 워터마크는 전송기/수신기의 규칙에 따라 정해진 둘 이상의 주파수 대역에서 수신된 오디오 신호로부터 추출될 수 있다. 또는, 하나의 워터마크는 연속적인 오디오 프레임으로부터 추출되고, 나머지 워터마크는 전송기/수신기의 규칙에 따라 정해진 서로 다른 주파수 대역의 신호로부터 추출될 수 있다. 또한, 도 15 내지 18을 참조해서 설명한 워터마크를 매립하는 방법의 본 발명의 일 실시예에 따르면, 워터마크는 오디오 콘텐츠와 비디오 콘텐츠 모두에 매립될 수 있다.
동일한 콘텐츠 정보를 포함하는 워터마크가 오디오 프레임과 비디오 프레임 모두에 매립될 수 있으면, 동일한 워터마크가 소정의 주기로 오디오 프레임과 비디오 프레임에 반복적으로 매립될 수 있다. 이러한 방법에 따르면, 수신기는 워터마크가 매립된 비디오 프레임 및 오디오 프레임으로부터 동일한 워터마크를 동시에 추출할 수 있으므로, 워터마크 추출 결과의 정확도를 높여 최종적으로 정확한 결과를 얻는데 소비하는 시간을 절감할 수 있다.
또는, 워터마크는 워터마크에 포함된 콘텐츠 정보에 따라 분리될 수 있고, 분리된 워터마크는 비디오 프레임과 오디오 프레임에 매립될 수 있다. 예를 들면, 워터마크에 포함된 콘텐츠 정보는 콘텐츠 제공자 식별자나 콘텐츠 식별자와 같은 방송 프로그램을 인식하기 위한 필수 정보와 부가 정보로 분리된다. 필수 정보는 비디오 프레임에 매립되고, 부가 정보는 오디오 프레임에 매립될 수 있다. 반대로, 필수 정보는 오디오 프레임에 매립되고, 부가 정보는 비디오 프레임에 매립될 수 있다. 하나의 비디오 프레임 또는 오디오 프레임에 매립되는 정보의 양은 제한되므로, 이러한 방법을 이용하여 워터마크가 매립되면, 소정 시간 동안 매립되는 메타데이터의 양을 증가시킬 수 있다.
도 19는 본 발명의 일 실시예에 따른 프로파일링된 워터마크를 매립하는 방법을 나타낸 도면이다.
도 14를 참조하여 설명한 바와 같이, 워터마크에 저장된 콘텐츠 정보의 양이 증가할수록 오디오/비디오 콘텐츠의 질이 저하되므로, 워터마크에 저장된 정보의 종류에 따라 워터마크가 레벨링되면, 콘텐츠의 질을 유지하면서 워터마크를 효율적으로 이용할 수 있다.
본 발명의 일 실시예에 따르면, 워터마크에 저장된 정보의 속성에 따라 워터마크가 프로파일링되면, 소정 주기 동안 콘텐츠 프레임에 워터마크를 매립하는 횟수를 다르게 설정할 수 있다.
예를 들면, 워터마크에 저장된 정보는 방송 프로그램을 인식하기 위한 필수 정보와 부가 정보 또는 짧은 변경 주기를 갖는 정보 및 긴 변경 주기를 갖는 정보로 구분될 수 있다. 필수 정보 및/또는 짧은 변경 주기를 갖는 정보를 포함하는 워터마크를 소정 주기 동안 프레임에 매립하는 횟수는 증가할 수 있고, 부가 정보 및/또는 긴 변경 주기를 갖는 정보를 포함하는 워터마크를 소정 주기 동안 프레임에 매립하는 횟수는 감소할 수 있다.
더 구체적으로, 도 19에 나타낸 바와 같이, 콘텐츠 제공자 식별자나 콘텐츠 식별자와 같은 프로그램을 인식하기 위해 필요한 정보를 포함하는 워터마크는 로고 영역(1900)에 매립될 수 있고, URL 정보와 같은 부가 정보를 포함하는 워터마크는 프레임의 또 다른 특정 영역(1901)에 매립될 수 있다. 이 경우, 로고 영역(1900)의 워터마크는 프로그램을 인식하는 데 필요한 데이터이므로 모든 비디오 프레임(1910, 1920, 1930)에 매립될 수 있고, 부가 정보를 제공하기 위한 프레임의 특정 영역(1901)의 워터마크는 두 프레임(1910, 1930)에 한 번 매립될 수 있다.
도 20 및 21은 본 발명의 일 실시예에 따른 워터마크를 매립 및 추출하는 방법을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 워터마크를 연속적인 프레임에 매립하는 방법을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 연속적인 프레임에 삽입된 워터마크를 추출하는 방법을 나타낸 도면이다.
하나의 오디오/비디오 프레임에 매립될 수 있는 콘텐츠 정보의 양은 제한적이다. 도 20 및 21에 나타낸 본 발명의 일 실시예에 따르면, 워터마크는 많은 양의 콘텐츠 정보를 포함할 수 있다.
도 20에 나타낸 바와 같이, 콘텐츠 제공자는 콘텐츠 정보를 포함하는 워터마크를 연속적인 프레임에 매립할 수 있다. 콘텐의 정보의 시작 및 종료를 나타내기 위해, 콘텐츠 정보의 시작 정보를 나타내는 시작 태그(2001) 및 종료 태그(2002)를 콘텐츠 정보에 매립한 후, 콘텐츠 정보는 서브 콘텐츠 정보(2003)로 분리된다. 서브 콘텐츠 정보(2003)를 포함하는 워터마크는 각각 연속적인 오디오/비디오 프레임(2000)에 매립될 수 있다. 또한, 소정 주기 동안 워터마크가 연속적인 오디오/비디오 프레임(2000)에 반복적으로 매립되면, 수신기는 워터마크를 효율적으로 추출할 수 있다.
도 21에 나타낸 바와 같이, 수신기는 워터마크가 매립된 연속적인 프레임에서 워터마크를 추출할 수 있다. 우선, 수신기는 연속적인 오디오/비디오 프레임에 매립된 워터마크를 추출한다. 콘텐츠 정보의 시작 태그(2101) 및 종료 태그(2102)는 추출된 워터마크로부터 검출될 수 있다. 콘텐츠 정보의 시작 정보가 시작 태그(2101)로부터 획득되면, 서브 콘텐츠 정보(2103)를 얻기 위해 시작 태그(2101)가 검출된 후 수신된 오디오/비디오 콘텐츠로부터 워터마크가 추출되고, 획득된 서브 콘텐츠 정보(2103)는 결합된다. 콘텐츠 정보의 종료 정보가 종료 태그(2102)로부터 획득되면, 하나의 콘텐츠 정보를 획득하기 위해 서브 콘텐츠 정보(2103)를 결합하는 과정이 끝난다.
도 22는 본 발명의 일 실시예에 따른 워터마크를 3차원 비디오 프레임에 매립하는 방법을 나타낸 도면이다.
풀 3차원(full 3D) 비디오 영상은 두 개의 카메라를 이용하여 좌영상과 우영상을 얻고, 왼쪽 눈이 좌영상을 볼 수 있게 하고, 오른쪽 눈이 우영상을 볼 수 있게 함으로써 구현될 수 있다. 본 발명에서는 3차원 비디오 프레임에 워터마크를 매립하고 3차원 비디오 프레임으로부터 워터마크를 추출하는 방법이 제안된다.
도 22에 나타낸 바와 같이, 3차원 비디오 프레임은 좌프레임(2200)과 우프레임(2201)을 포함할 수 있다. 콘텐츠 제공자는 콘텐츠 정보(또는 메타데이터)(2202)를 좌프레임(2200) 및 우프레임(2201)에 매립하고, 워터마크가 매립된 좌프레임(이후 워터마킹된 좌프레임이라 한다)(2203) 및 워터마크가 매립된 우프레임(이후 워터마킹된 우프레임이라 한다)(2204)을 생성할 수 있다.
표준화질 또는 고화질 이미지가 생성되어 전송될 수 있다.
첫째로, 콘텐츠 제공자는 워터마크를 좌프레임(2200) 또는 우프레임(2201)에만 매립하고, 워터마킹된 좌프레임 및 우프레임을 수신기에 전송할 수 있다. 수신기는 워터마킹된 좌프레임(2203) 또는 워터마킹된 우프레임(2204)으로부터 워터마크를 추출할 수 있다. 이 경우, 도 15 내지 17을 참조하여 설명한 바와 같이, 워터마크를 비디오 프레임에 매립하는 방법 및 워터마크를 비디오 프레임으로부터 추출하는 방법을 적용할 수 있다. 워터마킹된 비디오 프레임은 전송기/수신기의 규칙에 따라 미리 정할 수 있다.
둘째로, 콘텐츠 제공자는 동일한 콘텐츠 정보를 포함하는 워터마크를 좌프레임(2200) 또는 우프레임(2201)에 매립하고, 워터마킹된 좌프레임 및 우프레임을 수신기에 전송할 수 있다. 수신기는 워터마킹된 좌프레임(2203) 또는 워터마킹된 우프레임(2204)으로부터 워터마크를 추출할 수 있다. 워터마크가 동일하거나 워터마크 사이의 차이가 허용 오차 범위 내에 있으면 추출된 워터마크는 비교되고 수정될 수 있다. 이 경우, 도 15 내지 17을 참조하여 설명한 방법은 워터마크를 좌프레임(2200) 또는 우프레임(2201)에 매립하는 방법 및 매립된 워터마크를 추출하는 방법에 적용할 수 있다. 워터마크는 동일한 방법 또는 다른 방법을 이용하여 좌프레임(2200) 또는 우프레임(2201)에 매립될 수 있다. 이러한 방법은 수신기가 워터마크를 추출할 때 복잡도를 증가시키지만, 워터마크 추출 견고성은 증가할 수 있다.
셋째로, 콘텐츠 제공자는 서로 다른 워터마크를 좌프레임(2200) 또는 우프레임(2201)에 매립하고, 워터마킹된 좌프레임 및 우프레임을 수신기에 전송할 수 있다. 수신기는 워터마킹된 좌프레임(2203) 또는 워터마킹된 우프레임(2204)으로부터 워터마크를 추출할 수 있다. 추출된 워터마크는 하나의 콘텐츠 정보를 포함할 수 있다. 또는, 추출된 워터마크에 포함된 콘텐츠 정보는 결합하여 하나의 새로운 콘텐츠 정보를 생성할 수 있다. 후자의 경우, 하나의 비디오 프레임을 통해 전송 가능한 콘텐츠 정보의 양보다 많은 콘텐츠 정보가 비디오 프레임에 매립될 수 있다. 또는, 비디오 프레임에 포함될 수 있는 콘텐츠 정보는 분리되어 좌프레임(2200) 또는 우프레임(2201)에 매립될 수 있다. 이 경우, 영상의 질이 저하될 가능성을 줄일 수 있다.
도 23은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 제공 시스템의 구조를 나타낸 도면이다.
더 구체적으로, 도 23은 본 발명의 일 실시예에 따라 워터마킹 및 핑거프린팅 기술을 모두 이용하여 방송 콘텐츠를 인식하는 자동 콘텐츠 인식 서비스 제공 시스템을 나타낸다.
워터마킹에서는, 한 프레임에 매립된 콘텐츠의 인식률은 높지만, 많은 양의 콘텐츠 정보가 워터마크에 매립되면 콘텐츠의 질이 저하될 수 있다. 즉, 매립되는 메타데이터의 양이 제한적이다.
핑거프린팅에서는, 콘텐츠의 질은 영향을 받지 않지만, 콘텐츠를 인식하기 위한 자동 콘텐츠 인식 서버가 필요하다. 콘텐츠를 인식하는데 소비되는 시간과 콘텐츠 인식 결과가 레퍼런스 세트의 크기에 의존한다.
도 23에 나타낸 본 발명의 일 실시예에 따르면, 방송 콘텐츠가 워터마킹 및 핑거프린팅 기술의 조합에 의해 인식되면, 두 기술의 문제점을 해결하면서 효율적으로 자동 콘텐츠 인식 서비스를 제공할 수 있다.
본 발명은 두 기술을 이용하여 현재 시청중인 방송 프로그램을 인식하는 방법을 포함한다. 콘텐츠 제공자 또는 방송사의 식별자와 같은 프로그램을 인식하기 위해 사용되고 가장 정확하게 인식될 필요가 있는 메타데이터는 방송 오디오/비디오 콘텐츠에 매립되고 전송될 수 있다.
이후, 도 23에 나타낸 자동 콘텐츠 인식 서비스 제공 시스템의 구성요소 사이의 메커니즘을 자세히 설명한다.
콘텐츠 제공자(2300)가 워터마킹된 오디오/비디오 콘텐츠 및 인헨스먼트 데이터를 다채널 방송사업자(2301)에 전송하면(2310 및 2330), 수신기(2303)는 셋톱박스(2302)를 통해 오디오/비디오 콘텐츠는 수신하지만 인헨스먼트 데이터는 수신하지 못한다(2320). 따라서, 수신기(2303)가 또 다른 경로를 통해 인헨스먼트 데이터를 수신할 수 있도록 하기 위해, 콘텐츠 제공자(2300)는 오디오/비디오 콘텐츠의 부가 정보를 자동 콘텐츠 인식 서버(2304)에 전송하고(2340), 인헨스먼트 데이터를 애플리케이션 서버(2305)에 전송할 수 있다(2350). 오디오/비디오 콘텐츠의 부가 정보는 오디오/비디오 콘텐츠와 관련된 인헨스먼트 데이터를 수신기(2303)에 전달하기 위한 정보일 수 있고, 콘텐츠 식별자, 타임스탬프, URL 등을 포함할 수 있다.
수신기(2303)의 워터마크 추출기(2306)는 수신된 오디오/비디오 콘텐츠로부터 워터마크를 추출할 수 있고, 동시에 핑거프린트 추출기(2307)는 오디오/비디오 콘텐츠로부터 핑거프린트 시그너처를 추출할 수 있다. 수신기(2303)는 워터마크에 포함된 콘텐츠 정보를 포함하는 쿼리와 핑거프린트 시그너처를 자동 콘텐츠 인식 서버(2304)에 전송하고(2360), 자동 콘텐츠 인식 서버(2304)로부터 오디오/비디오 콘텐츠의 부가 정보를 획득할 수 있다(2360). 그 후, 수신기(2303)는 오디오/비디오 콘텐츠의 부가 정보를 이용하여 애플리케이션 서버(2305)로부터 인헨스먼트 데이터를 수신할 수 있다(2380). 워터마킹 결과를 쿼리에 포함함으로써, 자동 콘텐츠 인식 서버에서 콘텐츠를 인식하는 데 소비되는 시간을 줄일 수 있고, 자동 콘텐츠 인식 서버의 콘텐츠 인식 정확도를 높일 수 있다.
도 24는 본 발명의 일 실시예에 따른 방송사 로고를 이용해 자동 콘텐츠 인식 서비스를 제공하는 방법을 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 방송사 로고를 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 방송사 로고를 이용한 자동 콘텐츠 인식 서비스를 나타낸 도면이다.
콘텐츠 제공자(또는 방송사)는 자신의 로고를 나타내는 콘텐츠를 갖는다. 예를 들면, 콘텐츠 제공자는 도 25에 나타낸 로고를 가질 수 있다. 방송사 또는 콘텐츠 제공자는 콘텐츠를 표시하기 위해 도 26에 나타낸 스크린의 오른쪽 위, 왼쪽 위, 오른쪽 아래, 또는 왼쪽 아래에 로고를 삽입한다. 스크린에 표시된 비디오 신(video scene)이 변경되더라도, 로고는 변경되지 않고 계속 표시된다. 본 발명에서는 로고의 특성을 이용하여 스크린의 특정 부분에 계속 표시되는 정보를 자동으로 인식하는 자동 콘텐츠 인식 서비스 방법을 제안한다.
도 24에 나타낸 바와 같이, 본 발명의 일 실시예에 따르면, 자동 콘텐츠 인식 서비스를 제공하기 위해 워터마크를 로고에 삽입할 수 있다. 수신기는 로고를 인식하여 로고를 나타내는 콘텐츠 제공자 정보를 획득하고, 서비스를 받기 위해 콘텐츠 제공자에 접속할 수 있다. 이로써, 자동 콘텐츠 인식 서비스를 제공할 수 있다. 이후, 로고를 이용하여 자동 콘텐츠 인식 서비스를 제공하는 방법을 상세히 설명한다.
우선, 수신기는 로고 인식 단계(2401) 및 로고 비교 단계(2402)를 통해 로고 정보를 획득할 수 있다. 수신기는 콘텐츠 제공자 정보를 비교 결과로서 획득하여 콘텐츠 제공자를 인식하고(2403), 콘텐츠 제공자 서버에 접속한다(2404). 콘텐츠의 부가 정보는 콘텐츠 제공자 서버로부터 수신되어(2405) 부가 서버에 제공될 수 있다(2406).
수신기의 로고 인식 단계(2401) 및 로고 비교 단계(2402)는 수신기에 의해 인식된 로고와 수신기에 미리 저장된 콘텐츠 제공자의 로고를 비교함으로써 실행될 수 있다.
저장된 로고에 관한 정보는 인터넷 프로토콜 네트워크나 MH를 통해 수신기에 의해 수신 및 저장된 정보 또는 수신기에 저장된 디폴트 정보이다. 로고의 새로운 버전 정보가 유지될 수 있다. 인터넷 프로토콜 네트워크나 MH를 통해 수신된 정보의 경우, 새로운 로고 정보는 인터넷 프로토콜 네트워크나 MH를 통해 연속해서 로고 정보를 수신함으로써 유지될 수 있고, 디폴트 정보의 경우, 새로운 로고 정보는 연속적인 갱신을 통해 유지될 수 있다.
로고 비교 단계(2402)에서 인식된 로고가 수신기에 저장된 모든 로고 정보와 비교되면, 정보의 양이 많다. 따라서, 수신기에 부담이 된다. 본 발명의 일 실시예에 따르면, 추출, 저장, 비교가 로고의 구체적인 특성에 근거하여 실행될 수 있으므로, 이러한 제약을 극복할 수 있다. 예를 들면, 비교를 위해 로고 색, 글자(SBS, CNN 등), 윤곽과 같은 로고의 특성이 인식될 수 있다. 윤곽이 이용되면, 로고가 표시되는 영역이 좌표에 의해 구분되어 좌표 특성을 이용하여 로고를 인식할 수 있다.
도 27은 본 발명의 일 실시예에 따른 로고 및 워터마크를 이용한 자동 콘텐츠 인식 서비스 제공 방법을 나타낸 도면이다.
도 27에 나타낸 바와 같이, 자동 콘텐츠 인식 서비스에서, 수신기는 로고 정보(2701) 또는 워터마크(2702)를 추출하여 콘텐츠 제공자에 관한 정보를 얻을 수 있고, 인터넷 프로토콜 네트워크나 MH를 통해 콘텐츠 제공자에 의해 제공되는 부가 서비스를 받을 수 있다.
전술한 바와 같이, 워터마크가 콘텐츠에 매립되면, 그 콘텐츠의 데이터는 변경될 수 있다. 따라서, 본 발명에서는 콘텐츠에 포함된 로고 영역에 워터마크를 매립하는 방법을 제안한다.
이후, 도 25에 나타낸 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스를 위해 수신기 측에서 로고 정보 및 워터마크를 활용하는 방법을 상세히 설명한다.
전술한 바와 같이, 본 발명의 일 실시예에 따른 수신기는 콘텐츠가 재생될 때 오디오/비디오 프레임 데이터의 특정 필드에 삽입된 특정 알고리즘에 의해 소정 양의 콘텐츠 정보를 포함하는 워터마크를 추출 및 활용할 수 있다. 예를 들면, 초당 30 프레임을 포함하는 비디오 콘텐츠를 수신하는 수신기는 M 프레임으로부터 각 프레임의 특정 필드 또는 특정 위치에 해당하는 N 비트의 데이터를 포함하는 워터마크를 추출할 수 있다. 이 경우, 추출된 워터마크 데이터의 총량은 N*M 비트가 될 수 있다. 워터마킹된 프레임의 수가 증가하면, 추출될 워터마크 데이터의 양이 증가한다. 따라서, 수신기 측에서 워터마크를 추출하는 데 소비되는 시간이 증가할 수 있고, 수신기에 의해 처리되는 오디오/비디오 콘텐츠의 질이 저하될 수 있다.
따라서, 본 발명에서는 워터마크를 비디오 프레임에 포함된 로고 영역에 매립하는 방법을 제안한다. 모든 비디오 프레임에 포함되는 로고 영역은 재생 스크린이 변경되어도 스크린 상의 동일 위치에서 표시된다. 따라서, 데이터의 양이 많아도, 워터마크가 로고 영역에 매립되면, 워터마크를 추출하는 데 소비되는 시간을 줄일 수 있고, 오디오/비디오 콘텐츠의 질이 저하될 가능성을 줄일 수 있다.
이후, 본 발명의 일 실시예에 따라 워터마크를 로고에 매립하는 방법을 설명한다. 본 발명의 일 실시예에 따라 워터마크를 로고에 매립하는 방법은 바 코드 데이터를 로고의 소정 위치에 매립하는 방법, 로고 정보의 메타데이터 패킷을 워터마크로 활용하는 방법, 워터마크를 로고의 이미지 데이터의 일부에 매립하는 방법을 포함할 수 있다.
바 코드 데이터를 로고의 소정 위치에 매립하는 방법의 경우, 수신기는 특정 위치에 있는 바 코드 데이터를 워터마크로 인식할 수 있다. 이 경우, 바 코드 데이터는 표시되지 않는다.
로고 정보의 메타데이터 패킷을 워터마크로 활용하는 방법에서, 로고의 이미지 데이터의 원래 형태는 유지되면서 로고를 표현하는 메타데이터 패킷은 워터마크로 사용된다. 이 경우, 메타데이터 패킷은 콘텐츠 제공자 식별자, 콘텐츠 식별자, 시간 정보 등을 포함할 수 있다.
워터마크를 로고 정보에 매립하는 방법에서, N개의 로고 프레임이 로고의 이미지 데이터의 일부의 비트를 이용하여 결합하고, N개의 워터마크 비트가 로고 이미지 데이터에 매립된다. 이 경우, 워터마크에 포함된 콘텐츠 정보 또는 메타데이터는 전술한 바와 같다.
도 28은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 28은 로고 및 워터마크를 이용하여 자동 콘텐츠 인식 서비스를 처리하는 시스템으로서 도 27과는 달리 비디오 콘텐츠로부터 로고 데이터를 추출하는 방법을 이용하고, 로고 데이터를 인식하고, 로고 데이터가 나타내는 콘텐츠 제공자에 관한 정보를 인식하는 시스템을 나타내는 도면이다. 도 28의 자동 콘텐츠 인식 서비스 처리 시스템은 셋톱박스(2800), 단말(2801), 로고 서버(2802), 메타데이터 서버(2803), 애플리케이션 룩업 서버(2804), 및/또는 애플리케이션 서버(2805)를 포함할 수 있다. 본 발명의 일 실시예에 따른 수신기는 셋톱박스(2800), 단말(2801), 로고 서버(2802)를 포함하거나, 메타데이터 서버(2803), 애플리케이션 룩업 서버(2804), 애플리케이션 서버(2805) 중 적어도 하나를 포함할 수 있는데, 이는 설계자의 의도에 따라 변경될 수 있다.
도 28에 나타낸 바와 같이, 로고 및 워터마크를 이용한 자동 콘텐츠 인식 서비스 제공 장치는 셋톱박스(2800), 단말(2801), 로고 서버(2802), 메타데이터 서버(2803), 애플리케이션 룩업 서버(2804), 및/또는 애플리케이션 서버(2805)를 포함할 수 있다. 여기서, 로고 서버(2802), 메타데이터 서버(2803), 애플리케이션 룩업 서버(2804), 및/또는 애플리케이션 서버(2805)는 단말에 내부 구성요소로서 내장될 수 있고, 또는 단말과 별도로 제공될 수 있다.
본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 수신 장치(수신기)는 셋톱박스(2800), 단말(2801), 로고 서버(2802)를 포함하거나, 메타데이터 서버(2803), 애플리케이션 룩업 서버(2804), 애플리케이션 서버(2805) 중 적어도 하나를 포함할 수 있는데, 이는 설계자의 의도에 따라 변경될 수 있다.
더 구체적으로, 도 28은 본 발명의 일 실시예에 따른 수신기가 셋톱박스(2800)를 통해 방송 콘텐츠를 수신하면, 로고 데이터 및 워터마크를 이용하여 방송 콘텐츠와 관련된 부가 데이터(또는 인헨스먼트 데이터)를 수신하는 수신기의 구성요소 사이의 관계를 나타낸다. 로고 데이터는 콘텐츠 제공자를 나타내고, 콘텐츠의 특정 영역에 표시되는 방송사 엠블럼(emblem)과 같은 로고 이미지에 해당된다. 이후, 도 28에 나타낸 구성요소를 설명한다.
단말(2801)은 셋톱박스(2800)를 통해 수신한 방송 콘텐츠의 미가공 데이터의 비디오 프레임으로부터 로고 데이터를 인식 및 추출할 수 있다. 본 발명의 일 실시예에 따른 로고 데이터는 콘텐츠의 특정 영역에 표시되는 로고 이미지에 해당된다. 단말(2801)은 추출한 로고 데이터 및 채널 정보 검색 신호를 로고 서버(2802)에 전송하고, 콘텐츠가 전송되는 채널의 채널 정보를 로고 서버(2802)로부터 수신할 수 있다. 본 발명의 일 실시예에 따른 채널 정보 검색 신호는 추출된 로고 데이터에 기초하여 생성될 수 있고, 요청 구문일 수 있다. 또한, 본 발명의 일 실시예에 따른 채널 정보는 로고 데이터가 나타내는 콘텐츠 제공자를 나타내는 정보를 포함할 수 있다. 또한, 단말(2801)은 방송 콘텐츠의 오디오 프레임으로부터 워터마크를 추출하여 방송 콘텐츠의 프로그램 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 프로그램 정보는 콘텐츠 식별자 정보 및/또는 시간 정보를 포함할 수 있다.
단말(2801)은 획득한 채널 정보 및/또는 프로그램 정보를 이용하여 URL 주소 및/또는 인터넷 프로토콜 주소를 획득하기 위한 요청을 생성할 수 있다. 단말(2801)은 애플리케이션 룩업 서버(2804)에 요청을 보내어 URL 주소 및/또는 인터넷 프로토콜 주소를 획득할 수 있고, 획득한 URL 주소 및/또는 인터넷 프로토콜 주소를 이용하여 애플리케이션 서버(2805)에 접속하여 콘텐츠의 부가 데이터를 수신할 수 있다.
로고 서버(2802)는 메타데이터 서버(2803)로부터 로고 데이터에 관련된 메타데이터를 수신하고, 메타데이터를 데이터베이스에 저장하여 관리할 수 있다. 메타데이터는 로고 데이터가 나타낸 콘텐츠의 채널 정보를 포함할 수 있다.
로고 서버(2802)는 단말(2801)로부터 로고 데이터 및 채널 정보 검색 신호를 수신하고, 수신한 로고 데이터에 관련된 채널 정보를 데이터베이스에서 검색할 수 있다.
본 발명의 일 실시예에 따른 로고 서버(2802)는 수신한 로고 데이터를 데이터베이스에 미리 저장된 로고 데이터와 비교하여, 수신한 로고 데이터가 나타내는 콘텐츠 제공자를 확인할 수 있다. 더 구체적으로, 로고 서버(2802)는 수신한 로고 데이터가 데이터베이스에 저장된 로고 데이터와 동일한지 여부를 판단할 수 있다. 본 발명의 일 실시예에 따른 로고 서버(2802)는 도 24를 참조하여 설명한 바와 같이 로고 데이터에 해당하는 로고 이미지, 로고 이미지 색, 텍스트, 및/또는 윤곽을 비교하여 수신한 로고 데이터에 해당하는 로고 이미지가 데이터베이스에 저장된 로고 데이터의 로고 이미지와 동일한지 여부를 판단할 수 있다.
수신한 로고 데이터가 데이터베이스에 저장된 로고 데이터와 동일하면, 수신한 로고 데이터가 나타내는 콘텐츠 제공자는 데이터베이스에 저장된 로고 데이터가 나타내는 콘텐츠 제공자와 동일하다. 따라서, 로고 서버(2802)는 동일한 데이터베이스에 저장된 로고 데이터에 관련된 메타데이터를 데이터베이스로부터 수신한 로고 데이터로서 획득할 수 있다. 전술한 바와 같이, 메타데이터는 채널 정보를 포함할 수 있다.
로고 서버(2802)는 로고 데이터에 관련된 메타데이터의 채널 정보를 단말(2801)에 보낼 수 있다. 채널 정보가 로고 서버(2802)의 데이터베이스에 존재하지 않으면, 로고 서버(2802)는 메타데이터 서버(2803)로부터 채널 정보를 수신할 수 있다.
메타데이터 서버(2803)는 로고 데이터에 관련된 메타데이터를 갱신할 수 있다. 더 구체적으로, 메타데이터 서버(2803)는 메타데이터를 추가, 갱신, 및/또는 삭제하고 주기적으로 갱신된 메타데이터를 로고 서버(2802)의 데이터베이스에 보내어 로고 서버(2802)의 데이터베이스를 갱신할 수 있다. 메타데이터 서버(2803)는 콘텐츠 제공자(방송사 또는 제삼자)에 의해 관리될 수 있고, 단말(2801)은 제조사(수신기 제조사 또는 SDP(service delivery platform) 서버)에 의해 관리될 수 있는데, 이는 설계자의 의도에 따라 변경될 수 있다.
애플리케이션 룩업 서버(2804)는 단말(2801)로부터 수신한 요청을 분석하여 요청에 포함된 채널 정보 및/또는 프로그램 정보를 획득할 수 있다. 분석 결과를 통해서, 애플리케이션 룩업 서버(2804)는 채널 정보 및/또는 프로그램 정보에 해당하는 콘텐츠를 위한 애플리케이션이 존재하는지 여부를 판단할 수 있다. 콘텐츠를 위한 애플리케이션이 존재하면, 애플리케이션 룩업 서버(2804)는 애플리케이션 서버(2805)의 URL 주소 및/또는 인터넷 프로토콜 주소를 단말(2801)에 보낼 수 있다.
애플리케이션 서버(2805)는 애플리케이션에 관련된 콘텐츠 및/또는 데이터를 위한 애플리케이션을 관리할 수 있다.
전술할 바와 같이, 단말(2801)은 로고 데이터 및 워터마크를 이용하여 요청을 생성하고, 생성된 요청을 통해 애플리케이션 룩업 서버로부터 URL 주소 및/또는 인터넷 프로토콜 주소를 수신할 수 있다. 그 후, 단말(2801)은 수신한 URL 주소 및/또는 인터넷 프로토콜 주소를 이용하여 애플리케이션 서버(2805)에 접속하여 애플리케이션을 다운로드할 수 있다. 애플리케이션 서버(2805)는 수신기에 의해 다운로드된 애플리케이션을 관리할 수 있다. 그 후, 수신기는 애플리케이션을 통해 콘텐츠의 부가 데이터를 수신할 수 있다.
수신기가 오디오 신호에 접속하지 못하여 오디오 프레임에 삽입된 워터마크를 추출하지 못하면, 본 발명의 일 실시예에 따른 단말(2801)은 비디오 프레임으로부터 추출된 로고 데이터만을 이용하여 요청을 생성할 수 있다. 더 구체적으로, 본 발명의 일 실시예에 따른 단말(2801)은 로고 데이터를 통해 획득한 채널 정보를 포함하는 요청을 애플리케이션 룩업 서버(2804)에 보낼 수 있다. 본 발명의 일 실시예에 따른 요청은 HTTP 프로토콜을 사용할 수 있다. 애플리케이션 룩업 서버(2804)는 HTTP의 헤더에 포함된 데이터 필드값을 이용하여 수신한 요청의 시간 정보를 확인할 수 있다. 그 후, 애플리케이션 룩업 서버(2804)는 채널 정보 및/또는 시간 정보를 이용하여 단말(2801)에 의해 접속 가능한 애플리케이션의 URL 주소 및/또는 인터넷 프로토콜 주소를 검색하여 수신기에 보낼 수 있다. 그 후, 수신기는 URL 주소 및/또는 인터넷 프로토콜 주소를 통해 부가 데이터를 수신할 수 있다.
수신기가 오디오 신호에 접속하지 못하여 오디오 프레임에 삽입된 워터마크를 추출하지 못하면, 본 발명의 일 실시예에 따른 단말(2801)은 비디오 프레임에 포함된 심볼 데이터를 이용하여 요청을 생성할 수 있다. 본 발명의 일 실시예에 따른 심볼 데이터는 스크린상에 표시되는 심볼 이미지에 해당하고, 콘텐츠에 관련된 프로그램을 나타낼 수 있다. 더 구체적으로, 심볼 데이터가 비디오 프레임에 포함되면, 단말(2801)은 심볼 데이터를 추출하고, 로고 데이터 및 심볼 데이터를 이용하여 요청을 생성할 수 있다. 심볼 데이터를 이용한 자동 콘텐츠 인식 서비스 시스템은 후술한다.
수신기가 비디오 신호에 접속하지 못하여 비디오 프레임에 삽입된 워터마크를 추출하지 못하면, 본 발명의 일 실시예에 따른 단말(2801)은 오디오 프레임으로부터 추출된 워터마크만을 이용하여 요청을 생성할 수 있다. 단말(2801)은 워터마크로부터 획득한 정보를 포함하는 요청을 생성하여 애플리케이션 룩업 서버(2804)에 보낼 수 있다. 그 후, 애플리케이션 룩업 서버(2804)는 수신한 요청을 이용하여 단말(2801)에 의해 접속 가능한 애플리케이션의 URL 주소 및/또는 인터넷 프로토콜 주소를 검색하여 수신기에 보낼 수 있다. 그 후, 수신기는 URL 주소 및/또는 인터넷 프로토콜 주소를 통해 부가 데이터를 수신할 수 있다.
도 29는 본 발명의 일 실시예에 따른 로고 및/또는 워터마크를 이용한 자동 콘텐츠 인식 서비스 제공 장치의 동작의 개념을 나타낸 도면이다.
도 29는 도 28을 참조하여 설명한 로고 및 워터마크를 이용하여 자동 콘텐츠 인식 서비스를 제공하는 자동 콘텐츠 인식 서비스 제공 장치의 동작, 즉 단말(2901), 로고 서버(2902), 메타데이터 서버(2903), 애플리케이션 룩업 서버(2904), 애플리케이션 서버(2905) 사이의 동작의 개념을 나타낸다. 이후, 구성요소 사이의 동작을 설명한다.
우선, 단말(2901)은 비디오 프레임으로부터 로고 데이터를 추출할 수 있다. 그 후, 단말(2901)은 전술한 바와 같이 로고 데이터 및 채널 정보 검색 신호를 로고 서버(2902)에 보낼 수 있다.
로고 서버(2902)는 단말의 요청 신호에 따라 채널 정보를 검색하고, 검색된 채널 정보를 단말(2901)에 전송할 수 있다.
메타데이터 서버(2903)는 주기적으로 로고 데이터에 관련된 메타데이터를 갱신하고, 갱신된 메타데이터를 로고 서버(2902)에 보낼 수 있다. 메타데이터 서버(2903)는 로고 데이터를 수신하기 전이나 로고 데이터를 수신한 후에 메타데이터를 갱신할 수 있다.
또한, 단말(2901)은 오디오 프레임으로부터 워터마크를 추출하고, 워터마크로부터 프로그램 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른 단말(2901)은 비디오 프레임으로부터 로고 데이터를 추출하는 과정 및 오디오 데이터로부터 워터마크를 추출하는 과정을 동시에 또는 순차적으로 실행할 수 있는데, 이는 설계자의 의도에 따라 변경할 수 있다.
그 후, 단말(2901)은 로고 데이터로부터 추출된 채널 정보 및/또는 워터마크로부터 추출된 프로그램 정보를 이용하여 요청을 생성할 수 있다. 단말(2901)은 해당 요청을 HTTP 프로토콜을 통해 애플리케이션 룩업 서버(2904)로 보낼 수 있다.
애플리케이션 룩업 서버(2904)는 수신한 요청을 분석하고, 채널 및/또는 프로그램의 부가 데이터를 제공할 수 있는 애플리케이션의 URL 주소 및/또는 인터넷 프로토콜 주소를 검색하고, URL 주소 및/또는 인터넷 프로토콜 주소를 단말(2901)에 보낼 수 있다.
단말(2901)은 수신한 URL 주소 및/또는 인터넷 프로토콜 주소를 통해 애플리케이션 서버(2905)에 접속하여 애플리케이션을 다운로드할 수 있다. 다운로드된 애플리케이션은 애플리케이션 서버(2905)에 의해 관리될 수 있고, 부가 데이터는 다운로드된 애플리케이션을 통해 단말(2901)로 보내질 수 있다.
도 30은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 30은 도 29를 참조하여 설명한 동작에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타내는데, 이는 셋톱박스, 단말, 로고 서버, 메타데이터 서버, 애플리케이션 룩업 서버, 및/또는 애플리케이션 서버를 포함할 수 있다. 단말은 로고 추출기(3001) 및/또는 워터마크 추출기(3002)를 더 포함할 수 있다. 도 30에 나타낸 바와 같이, 비디오 프레임에 포함된 로고 데이터에 해당하는 로고 이미지(3000)는 표시된 콘텐츠의 특정 부분에 포함될 수 있다. 도 28 및 29를 참조하여 설명한 바와 같이, 단말은 요청(3003)을 애플리케이션 룩업 서버에 보낼 수 있다. 도 30에 나타낸 기본 구성요소는 도 28을 참조하여 설명한 것과 동일하고, 도 28을 참조하여 설명한 것과 동일한 구성요소의 동작의 설명은 생략한다.
도 30에 나타낸 바와 같이, 단말은 독립적인 경로를 통해 셋톱박스로부터 수신한 방송 신호에 포함된 비디오 신호 및 오디오 신호를 처리할 수 있다. 이후, 터미널에 포함된 로고 추출기(3001) 및/또는 워터마크 추출기(3002)에 중점을 둔다.
로고 추출기(3001)는 비디오 프레임으로부터 로고 이미지(3000)에 해당하는 로고 데이터를 자동으로 인식 및 추출할 수 있다. 더 구체적으로, 로고 추출기(3001)는 비디오 프레임의 특정 영역을 인식하고, 특정 영역에 위치한 로고 데이터를 추출할 수 있다. 로고 추출기(3001)는 이미지 처리를 통해 추출된 로고 데이터에 해당하는 로고 이미지(3000)를 인식할 수 있다.
단말은 로고 서버가 로고 추출기(3001)에 의해 추출된 로고 데이터를 로고 서버의 데이터베이스에 저장된 로고 데이터와 비교하도록 추출된 로고 데이터를 로고 서버에 보낼 수 있다. 자세한 비교 방법은 도 28을 참조하여 설명한다. 추출된 로고 데이터에 해당하는 로고 이미지(3000)가 로고 데이터에 저장된 로고 이미지와 동일하면, 로고 서버는 로고 데이터의 채널 정보를 검색하여 단말에 보낼 수 있다. 본 발명의 일 실시예에 따르면, 채널 정보는 "채널 번호(주-부)" - "단축 번호" 형식으로 나타낼 수 있다.
로고 서버는 메타데이터 서버로부터 갱신된 로고 데이터를 주기적으로 수신하고, 로고 서버의 데이터베이스를 계속해서 갱신할 수 있다. 로고 데이터의 채널 정보가 로고 서버의 데이터베이스에 현재 존재하지 않으면, 로고 서버는 메타데이터 서버로부터 채널 정보를 수신할 수 있다.
워터마크 추출기(3002)는 오디오 프레임에 삽입된 워터마크를 인식 및 추출할 수 있다. 오디오 프레임에 삽입된 워터마크는 콘텐츠 식별자 정보 및/또는 시간 정보를 포함하는 프로그램 정보를 포함할 수 있고, 도 12를 참조하여 설명한 콘텐츠 식별자 정보 및 콘텐츠 라이프 사이클 정보를 더 포함할 수 있는데, 이는 설계자의 의도에 따라 변경할 수 있다. 따라서, 워터마크 추출기(3002)는 추출된 워터마크로부터 프로그램 정보를 획득할 수 있다.
단말은 오디오 프레임의 워터마크로부터 추출된 프로그램 정보 및 비디오 프레임의 로고 데이터로부터 추출된 채널 정보를 이용해서 요청을 생성하여 애플리케이션 룩업 서버에 보낼 수 있다.
본 발명의 일 실시예에 따른 요청(3003)은 채널 정보, 프로그램 정보, 애플리케이션 서버의 URL 주소의 조합으로 이루어질 수 있다. 도 30은 본 발명의 일 실시예에 따른 요청(3003)인 "http://www.ohtv.org?ch=7-1-KBS2HD&ContentID=12-2345&..."를 나타낸다.
도 30에 나타낸 요청은 채널 정보 및 프로그램 정보를 파라미터 형태로 나타낸 요청이다. "http://www.ohtv.org?"는 애플리케이션 룩업 서버(2904)의 URL 주소를 나타낼 수 있고, "ch=7-1-KBS2HD&"는 채널 정보를 나타낼 수 있고, "ContentID=12-2345&..."는 프로그램 정보를 나타낼 수 있다.
애플리케이션 룩업 서버는 단말로부터 수신된 요청의 파라미터를 이용하여 부가 데이터를 획득할 수 있는 애플리케이션의 URL 주소 및/또는 인터넷 프로토콜 주소를 검색하고, 검색 결과를 단말에 보낼 수 있다.
도 31은 본 발명의 또 다른 일 실시예에 따른 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸 도면이다.
도 31은 로고 데이터 및 심볼 데이터를 이용하여 생성된 요청을 통해 부가 데이터를 수신하기 위한 자동 콘텐츠 인식 서비스 처리 시스템을 나타낸다. 도 31에 나타낸 자동 콘텐츠 인식 서비스 처리 시스템은 도 30과 동일하게 셋톱박스, 단말, 로고 서버, 메타데이터 서버, 애플리케이션 룩업 서버, 및/또는 애플리케이션 서버를 포함할 수 있다. 도 31의 자동 콘텐츠 인식 서비스 처리 시스템은 심볼 추출기(3102) 및/또는 콘텐츠 메타데이터 서버(3103)를 더 포함할 수 있다.
도 31에 나타낸 기본 구성은 도 28 및 30을 참조하여 설명한 것과 동일하고, 그에 대한 설명은 생략한다. 이후, 심볼 추출기(3102) 및/또는 콘텐츠 메타데이터 서버(3103)에 중점을 둔다.
도 31에 나타낸 바와 같이, 심볼 추출기(3102)는 단말에 내장될 수 있다. 콘텐츠 메타데이터 서버(3103)는 단말에 내장되거나, 단말과 별도로 위치할 수 있는데, 이는 설계자의 의도에 따라 변경될 수 있다. 도 31에 나타낸 바와 같이, 심볼 이미지(3100) 및/또는 로고 이미지(3101)는 표시된 콘텐츠의 특정 영역에 포함될 수 있다.
도 28을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 수신기가 오디오 신호에 접속하면, 단말은 비디오 프레임에 포함된 심볼 데이터를 취득하고, 로고 데이터 및 심볼 데이터를 이용하여 요청을 생성할 수 있다.
더 구체적으로, 도 31에 나타낸 단말의 심볼 추출기(3108)는 비디오 프레임으로부터 심볼 이미지(3100)에 해당하는 심볼 데이터를 추출하고, 이미지 처리 방법을 이용하여 추출된 심볼 데이터에 해당하는 심볼 이미지(3100)를 인식할 수 있다. 그 후, 단말은 인식된 심볼 이미지(3100) 또는 심볼 이미지(3100)에 해당하는 심볼 데이터를 콘텐츠 메타데이터 서버(3103)에 보낼 수 있다.
콘텐츠 메타데이터 서버(3103)는 심볼 이미지(3100)가 나타내는 프로그램의 프로그램 정보를 획득하여 단말에 보낼 수 있다. 콘텐츠 메타데이터 서버(3103)는 메타데이터 서버로부터 심볼 이미지(3100)에 관련된 프로그램 정보를 포함하는 메타데이터를 수신하여 데이터베이스에 저장 및 관리할 수 있다. 콘텐츠 메타데이터 서버(3103)는 프로그램 정보를 얻기 위해 콘텐츠 메타데이터 서버(3103)의 데이터베이스를 통해 검색하고, 프로그램 정보가 데이터베이스에 존재하지 않으면 메타데이터 서버로부터 프로그램 정보를 수신할 수 있다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 프로그램 정보는 콘텐츠 식별자 정보 및/또는 시간 정보를 포함할 수 있다. 프로그램 정보를 포함하는 메타데이터는 메타데이터 서버에 의해 추가, 정정, 갱신, 및/또는 삭제될 수 있다. 갱신된 메타데이터는 콘텐츠 메타데이터 서버(3103)의 데이터베이스에 주기적으로 보내질 수 있다.
도 31에 나타낸 바와 같이, 단말은 비디오 프레임으로부터 로고 데이터를 추출할 수 있다. 도 30을 참조하여 설명한 바와 같이, 단말에 포함된 로고 추출기는 비디오 프레임으로부터 로고 이미지(3103)에 해당하는 로고 데이터를 추출하여 로고 서버에 보내고, 로고 서버로부터 로고 데이터의 채널 정보를 수신할 수 있다.
전술한 로고 추출기 및 심볼 추출기(3102)의 동작은 순차적으로 또는 동시에 실행될 수 있고, 설계자의 의도에 따라 변경될 수 있다. 단말은 심볼 데이터를 이용하여 획득한 프로그램 정보 및/또는 로고 데이터를 이용하여 획득한 채널 프로그램을 포함하는 요청을 생성할 수 있다. 생성된 요청을 이용하여 단말에서 부가 데이터를 수신하는 방법은 도 29를 참조하여 설명한 방법과 동일하며, 그 설명은 생략한다.
도 32는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 수신 장치를 나타낸 도면이다.
도 32에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 수신 장치는 수신 모듈(3201), 추출 모듈(3202), 비교 모듈(3203), 획득 모듈(3204), 및/또는 생성 모듈(3205)을 포함할 수 있다.
도 32에 나타낸 수신 모듈(3201), 추출 모듈(3202), 획득 모듈(3204), 및/또는 생성 모듈(3205)은 도 28 내지 31을 참조하여 설명한 단말(2801)에 내장될 수 있고, 도 32에 나타낸 비교 모듈(3203)은 도 28 내지 31을 참조하여 설명한 로고 서버(2802)에 내장될 수 있는데, 이는 설계자의 의도에 따라 변경될 수 있다. 이후, 도 32의 모듈을 설명한다.
수신 모듈(3201)은 콘텐츠를 포함하는 디지털 서비스 신호를 수신할 수 있다. 또한, 수신 모듈(3201)은 콘텐츠의 부가 데이터를 수신하기 위한 URL 주소 및/또는 인터넷 프로토콜 주소를 수신할 수 있다. URL 주소 및/또는 인터넷 프로토콜 주소를 수신하는 자세한 과정은 도 28 내지 31을 참조하여 설명하였다.
추출 모듈(3202)은 수신한 콘텐츠의 각 비디오 프레임에 포함된 로고 데이터를 추출할 수 있다. 로고 데이터는 도 28 내지 31을 참조하여 설명한 바와 같이 비디오 프레임의 특정 영역에 포함될 수 있고, 콘텐츠의 특정 영역에 표시된 로고 이미지에 해당한다. 추출 모듈(3202)은 비디오 프레임의 특정 영역에서 워터마크를 추출할 수 있다. 본 발명의 일 실시예에서, 비디오 프레임에서 추출된 워터마크는 채널 정보 및/또는 프로그램 정보를 포함할 수 있다.
비교 모듈(3203)은 추출 모듈(3202)에 의해 추출된 로고 데이터를 자동 콘텐츠 인식 서비스 수신 장치(3200)에 저장된 로고 데이터와 비교할 수 있다. 추출된 로고 데이터를 저장된 로고 데이터와 비교하는 자세한 방법은 도 28 내지 31을 참조하여 설명하였다.
획득 모듈(3204)은 비교 모듈(3203)의 비교 결과를 이용하여 로고 데이터에 관련된 메타데이터로부터 채널 정보를 획득할 수 있다. 획득 모듈(3204)은 수신 모듈(3201)에 의해 수신된 URL 주소 및/또는 인터넷 프로토콜 주소를 이용하여 콘텐츠의 부가 데이터를 획득할 수 있다.
생성 모듈(3205)은 획득 모듈(3204)에 의해 획득한 채널 정보를 이용하여 요청을 생성할 수 있다. 도 28 내지 31을 참조하여 설명한 바와 같이, 생성 모듈(3205)은 획득한 로고 데이터의 채널 정보 및/또는 오디오 프레임에 포함된 워터마크의 프로그램 정보를 이용하여 요청을 생성할 수 있다. 오디오 프레임에 접속할 수 없으면, 생성 모듈(3205)은 비디오 프레임에 포함된 심볼 데이터 또는 획득한 로고 데이터의 채널 정보만을 이용하여 요청을 생성할 수 있다. 비디오 프레임에 접속할 수 없으면, 생성 모듈(3205)은 오디오 프레임에 포함된 워터마크의 프로그램 정보만을 이용하여 요청을 생성할 수 있다.
수신 모듈(3201)은 생성 모듈(3205)이 생성한 요청을 이용하여 URL 주소 및/또는 인터넷 프로토콜 주소를 수신할 수 있다. 획득 모듈(3204)은 수신 모듈(3201)에 의해 수신된 URL 주소 및/또는 인터넷 프로토콜 주소에 따라 인터넷 프로토콜 네트워크를 통해 부가 데이터를 획득할 수 있다.
도 32에 나타내지 않았지만, 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 수신 장치(3200)는 워터마크 추출 모듈, 프로그램 정보 획득 모듈, 심볼 추출 모듈, 처리 모듈, 및/또는 갱신 모듈을 더 포함할 수 있다. 워터마크 추출 모듈, 프로그램 정보 획득 모듈, 및/또는 심볼 추출 모듈은 도 28 내지 31을 참조하여 설명한 단말(2801)에 포함될 수 있다. 처리 모듈은 도 28 내지 31을 참조하여 설명한 단말(2801) 또는 콘텐츠 메타데이터 서버(3103)에 포함될 수 있다. 갱신 모듈은 도 28 내지 31을 참조하여 설명한 단말(2801) 또는 메타데이터 서버(2803)에 포함될 수 있다. 이는 설계자의 의도에 따라 변경될 수 있다.
본 발명의 일 실시예에 따른 워터마크 추출 모듈은 수신 모듈(3201)에 의해 수신된 콘텐츠의 오디오 프레임으로부터 워터마크를 추출할 수 있다. 그 후, 프로그램 정보 획득 모듈은 추출된 워터마크에 포함된 프로그램 정보를 획득할 수 있다. 도 28을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 프로그램 정보는 콘텐츠 식별자 정보 및/또는 시간 정보를 포함할 수 있다. 단말 측에서 오디오 프레임으로부터 워터마크를 추출하는 자세한 방법은 도 30을 참조하여 설명하였다.
심볼 데이터가 비디오 프레임에 포함되면, 본 발명의 일 실시예에 따른 심볼 추출 모듈은 비디오 프레임으로부터 심볼 데이터를 추출할 수 있다. 그 후, 본 발명의 일 실시예에 따른 프로그램 정보 획득 모듈은 추출된 워터마크로부터 프로그램 정보를 획득할 수 있다. 심볼 데이터는 각 비디오 프레임의 특정 영역에 포함될 수 있다. 심볼 추출 모듈 및/또는 프로그램 정보 획득 모듈의 구체적인 동작은 도 31을 참조하여 설명하였다.
본 발명의 일 실시예에 따른 갱신 모듈은 로고 데이터에 관련된 메타데이터를 주기적으로 갱신할 수 있다. 도 28 내지 31을 참조하여 설명한 바와 같이, 메타데이터 서버(2803)는 메타데이터 룩업 서버(2804)에 저장된 로고 데이터를 계속해서 추가, 갱신, 및/또는 삭제할 수 있다.
도 33은 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 전송 장치를 나타낸 도면이다.
도 33에 나타낸 바와 같이, 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 전송 장치는 생성 모듈(3301), 삽입 모듈(3302), 및/또는 전송 모듈(3303)을 포함할 수 있다.
생성 모듈(3301)은 콘텐츠를 포함하는 디지털 서비스 신호를 생성할 수 있다. 더 구체적으로, 본 발명의 일 실시예에 따라 생성된 콘텐츠는 비디오 콘텐츠와 오디오 콘텐츠를 모두 포함할 수 있다. 생성 모듈(3301)은 오디오 프레임 및/또는 비디오 프레임에 삽입될 워터마크를 생성할 수 있다. 생성 모듈(3301)은 콘텐츠의 프로그램을 나타내는 심볼 데이터를 생성할 수 있다.
삽입 모듈(3302)은 로고 데이터를 콘텐츠의 각 비디오 프레임에 삽입할 수 있다. 더 구체적으로, 로고 데이터는 각 비디오 프레임의 동일한 특정 영역에 삽입될 수 있고, 콘텐츠의 특정 영역에 표시된 로고 이미지에 해당한다.
또한, 삽입 모듈(3302)은 워터마크를 오디오 프레임 및/또는 비디오 프레임에 삽입할 수 있다. 더 구체적으로, 삽입 모듈(3302)은 오디오 프레임 및/또는 비디오 프레임을 서브프레임으로 분리하고, 분리된 서브프레임으로부터 워터마크가 삽입될 특정 서브프레임을 검출할 수 있다. 그 후, 삽입 모듈(3302)은 워터마크를 특정 서브프레임에 삽입하고, 서브프레임을 결합하여 오디오 프레임 및/또는 비디오 프레임을 생성할 수 있다.
삽입 모듈(3302)은 생성 모듈(3301)에 의해 생성된 심볼 데이터를 콘텐츠의 각 비디오 프레임의 특정 영역에 삽입할 수 있다.
전송 모듈(3303)은 삽입 모듈(3302)을 통해 로고 데이터 및/또는 워터마크가 삽입된 콘텐츠를 포함하는 디지털 서비스 신호를 도 32를 참조하여 설명한 자동 콘텐츠 인식 서비스 수신 장치(3200)에 전송할 수 있다. 본 발명의 일 실시예에 따른 로고 데이터는 도 32를 참조하여 설명한 획득 모듈(3204)에 의해 채널 정보를 수신하기 위해 사용될 수 있다. 본 발명의 일 실시예에 따른 채널 정보는 도 32를 참조하여 설명한 수신 모듈(3201)에 의해 URL 주소 및/또는 인터넷 프로토콜 주소를 수신하기 위해 사용될 수 있다.
도 34는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 수신 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따른 수신 모듈(3201)은 콘텐츠를 포함하는 디지털 서비스 신호를 수신할 수 있다(S3401). 전술한 바와 같이, 수신 모듈(3201)은 도 28 내지 32를 참조하여 설명한 단말(2801)에 포함될 수 있다. 더 구체적으로, 도 28을 참조하여 설명한 바와 같이, 단말(2801)은 셋톱박스(2800)를 통해 수신한 방송 콘텐츠의 미가공 데이터의 비디오 프레임으로부터 로고 데이터를 인식할 수 있다.
본 발명의 일 실시예에 따른 추출 모듈(3202)은 수신한 콘텐츠의 각 비디오 프레임의 특정 영역에서 로고 데이터를 추출할 수 있다(S3402). 전술한 바와 같이, 추출 모듈(3202)은 도 28 내지 32를 참조하여 설명한 단말(2801)에 내장될 수 있다.
더 구체적으로, 도 30을 참조하여 설명한 바와 같이, 단말의 로고 추출기(3001)는 이미지 처리를 통해 비디오 프레임으로부터 로고 데이터를 추출할 수 있다. 로고 데이터는 도 28 내지 31을 참조하여 설명한 바와 같이 비디오 프레임의 특정 영역에 포함될 수 있고, 콘텐츠의 특정 영역에 표시된 로고 이미지에 해당할 수 있다.
본 발명의 일 실시예에 따른 단말(2801)은 오디오 프레임에서 워터마크를 추출하고, 추출된 워터마크를 이용하여 프로그램 정보를 획득할 수 있다. 추출된 워터마크는 프로그램 정보를 포함할 수 있다. 도 28을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 프로그램 정보는 콘텐츠 식별자 정보 및/또는 시간 정보를 포함할 수 있다. 단말 측에서 오디오 프레임으로부터 워터마크를 추출하는 구체적인 방법은 도 30을 참조하여 설명하였다.
본 발명의 일 실시예에 따른 단말(2801)은 각 비디오 프레임의 특정 영역에서 심볼 데이터를 추출할 수 있다. 그 후, 단말(2801)은 추출된 심볼 데이터를 처리하여 프로그램 정보를 획득할 수 있다. 심볼 데이터는 도 31을 참조하여 자세히 설명한 프로그램 정보를 포함할 수 있다.
도 28 내지 31을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 단말(2801)은 각 비디오 프레임의 특정 영역에서 심볼 데이터를 추출할 수 있다. 본 발명의 일 실시예에서 비디오 프레임으로부터 추출된 워터마크는 채널 정보 및/또는 프로그램 정보를 포함한다.
본 발명의 일 실시예에 따른 비교 모듈(3203)은 추출된 로고 데이터를 로고 서버(2802)의 데이터베이스에 저장된 로고 데이터와 비교한다(S3403). 전술할 바와 같이, 비교 모듈(3203)은 도 28 내지 32를 참조하여 설명한 단말에 내장될 수 있다. 추출된 로고 데이터를 저장된 로고 데이터와 비교하는 자세한 방법은 도 28 내지 31을 참조하여 설명하였다.
본 발명의 일 실시예에 따른 획득 모듈(3204)은 로고 데이터에 관련된 메타데이터로부터 채널 정보를 획득할 수 있다(S3404). 전술한 바와 같이, 획득 모듈(3204)은 도 28 내지 31을 참조하여 설명한 단말(2801)에 내장될 수 있다.
더 구체적으로, 도 28 내지 30을 참조하여 설명한 바와 같이, 추출된 로고 데이터의 이미지와 저장된 로고 데이터의 이미지가 동일하면, 로고 서버는 데이터베이스에서 로고 데이터의 채널 정보를 검색하여 단말에 보낼 수 있다.
또한, 본 발명의 일 실시예에 따른 갱신 모듈은 로고 데이터에 관련된 메타데이터를 주기적으로 갱신할 수 있다. 도 32를 참조하여 설명한 바와 같이, 갱신 모듈은 단말 또는 메타데이터 서버에 내장될 수 있다. 본 발명의 일 실시예에 따른 메타데이터 서버는 로고 서버의 데이터베이스에 저장된 메타데이터를 주기적으로 갱신할 수 있다.
본 발명의 일 실시예에 따른 생성 모듈(3205)은 채널 정보를 이용하여 요청을 생성할 수 있다(S3405). 전술한 바와 같이, 생성 모듈(3205)은 도 28 내지 32를 참조하여 설명한 단말(2801)에 내장될 수 있다.
더 구체적으로, 도 30을 참조하여 설명한 바와 같이, 단말은 로고 서버로부터 수신한 채널 정보를 이용하여 요청을 생성할 수 있다. 도 29를 참조하여 설명한 바와 같이, 단말은 생성된 요청을 HTTP 프로토콜을 통해 애플리케이션 룩업 서버(2904)에 보낼 수 있다.
도 28 내지 31을 참조하여 설명한 바와 같이, 생성 모듈(3205)은 획득한 로고 데이터의 채널 정보 및 오디오 프레임에 포함된 워터마크의 프로그램 정보를 이용하여 요청을 생성할 수 있다. 또한, 오디오 프레임에 접속할 수 없으면, 생성 모듈(3205)은 획득한 로고 데이터의 채널 정보만을 이용하여 또는 비디오 프레임에 포함된 심볼 데이터를 이용하여 요청을 생성할 수 있다. 비디오 프레임에 접속할 수 없으면, 생성 모듈(3205)은 오디오 프레임에 포함된 워터마크의 프로그램 정보만을 이용하여 요청을 생성할 수 있다.
본 발명의 일 실시예에 따른 수신 모듈(3201)은 요청을 이용하여 URL 주소 및/또는 인터넷 프로토콜 주소를 수신할 수 있다(S3406). 전술한 바와 같이, 수신 모듈(3201)은 도 28 내지 32를 참조하여 설명한 단말(2801)에 내장될 수 있다.
더 구체적으로, 도 29를 참조하여 설명한 바와 같이, 단말(2901)은 애플리케이션 룩업 서버(2904)에 의해 요청을 이용하여 검색한 애플리케이션의 URL 주소 및/또는 인터넷 프로토콜 주소를 수신할 수 있다. URL 주소 및/또는 인터넷 프로토콜 주소의 구체적인 과정은 도 28 내지 31을 참조하여 설명하였다.
본 발명의 일 실시예에 따른 획득 모듈(3204)은 URL 주소 및/또는 인터넷 프로토콜 주소에 따라 인터넷 프로토콜 네트워크를 통해 부가 데이터를 획득할 수 있다(S3407). 전술한 바와 같이, 획득 모듈(3204)은 도 28 내지 32를 참조하여 설명한 단말(2801)에 내장될 수 있다.
더 구체적으로, 도 29를 참조하여 설명한 바와 같이, 단말(2901)은 URL 주소 및/또는 인터넷 프로토콜 주소를 통해 애플리케이션 서버(2905)에 접속하여 애플리케이션을 다운로드할 수 있다. 다운로드된 애플리케이션은 애플리케이션 서버(2905)에 의해 관리될 수 있고, 부가 데이터는 다운로드된 애플리케이션을 통해 단말(2901)에 보내질 수 있는데, 이는 도 28 내지 31을 참조하여 상세히 설명하였다.
도 35는 본 발명의 일 실시예에 따른 자동 콘텐츠 인식 서비스 전송 과정을 나타낸 도면이다.
본 발명의 일 실시예에 따른 생성 모듈(3301)은 콘텐츠를 포함하는 디지털 서비스 신호를 생성할 수 있다(S3501). 더 구체적으로, 본 발명의 일 실시예에 따라 생성된 콘텐츠는 비디오 콘텐츠와 오디오 콘텐츠를 모두 포함할 수 있다.
생성 모듈(3301)은 오디오 프레임 및/또는 비디오 프레임에 삽입될 워터마크를 생성할 수 있다. 또한, 생성 모듈(3301)은 콘텐츠의 프로그램을 나타내는 심볼 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따른 삽입 모듈(3302)은 로고 데이터를 콘텐츠의 각 비디오 프레임에 삽입할 수 있다(S3502). 더 구체적으로, 로고 데이터는 각 비디오 프레임의 동일한 특정 영역에 삽입될 수 있고, 콘텐츠의 특정 영역에 표시된 로고 이미지에 해당할 수 있다.
삽입 모듈(3302)은 워터마크를 오디오 프레임 및/또는 비디오 프레임에 삽입할 수 있다. 더 구체적으로, 삽입 모듈(3302)은 오디오 프레임 및/또는 비디오 프레임을 서브프레임으로 구분하고, 구분된 서브프레임으로부터 워터마크가 삽입될 특정 서브프레임을 검출할 수 있다. 그 후, 삽입 모듈(3302)은 워터마크를 특정 서브프레임에 삽입하고, 서브프레임을 결합하여 오디오 프레임 및/또는 비디오 프레임을 생성할 수 있다.
또한, 삽입 모듈(3302)은 심볼 데이터를 콘텐츠의 각 비디오 프레임의 특정 영역에 삽입할 수 있는데, 이는 도 31을 참조하여 상세히 설명한다.
본 발명의 일 실시예에 따른 전송 모듈(3303)은 디지털 서비스 신호를 전송할 수 있다(S3503). 전송 모듈(3303)은 워터마크 및/또는 로고 데이터가 삽입 모듈(3302)을 통해 삽입된 콘텐츠를 포함하는 디지털 서비스 신호를 도 32를 참조하여 설명한 자동 콘텐츠 인식 서비스 수신 장치(3200)에 전송할 수 있다. 본 발명의 일 실시예에 따른 로고 데이터는 도 32를 참조하여 설명한 획득 모듈(3204)에 의해 채널 정보를 수신하기 위해 사용될 수 있다. 본 발명의 일 실시예에 따른 채널 정보는 도 32를 참조하여 설명한 수신 모듈(3201)에 의해 URL 주소 및/또는 인터넷 프로토콜 주소를 수신하기 위해 사용될 수 있다.
전술한 바와 같이, 본 발명은 듀얼 디스플레이를 위한 장치에 전체적으로 또는 부분적으로 적용될 수 있다.
본 발명의 사상이나 범위를 탈피하지 않고 본 발명에서 다양한 변형 및 변경이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등범위 내에 있는 본 발명의 변형 및 변경을 포함하도록 의도된다.

Claims (22)

  1. 콘텐트의 부가정보를 포함하는 적어도 하나의 워터마크를 포함하는 제 1 오디오 또는 비디오 프레임들 및 적어도 하나의 핑거프린트 시그너처를 포함하는 제 2 오디오 또는 비디오 프레임들을 수신하는 단계;
    상기 제 1 오디오 또는 비디오 프레임들로부터 상기 적어도 하나의 워터마크를 추출하는 단계;
    상기 제 2 오디오 또는 비디오 프레임들로부터 상기 적어도 하나의 핑거프린트 시그너처를 추출하는 단계;
    상기 적어도 하나의 워터마크로부터 상기 부가정보를 획득하는 단계;
    상기 적어도 하나의 핑거프린트 시그너처를 전송하는 단계;
    상기 전송한 핑거프린트 시그니처에 응하여 상기 콘텐트와 관련된 부가 데이터를 위한 메타데이터를 획득하는 단계; 및
    상기 부가정보 또는 상기 메타데이터에 따라 상기 부가 데이터를 획득하는 단계; 를 포함하고,
    상기 부가정보는 적어도 하나의 서브 부가정보로 분할되고, 상기 적어도 하나의 서브 부가정보는 제 1 정보 및 제 2 정보 중 적어도 하나를 포함하고,
    상기 제 1 정보는 상기 부가정보의 시작 서브 부가정보를 나타내기 위해 사용되고, 상기 제 2 정보는 상기 부가정보의 끝 서브 부가정보를나타내고,
    상기 적어도 하나의 서브 부가정보는 서로 다른 오디오 프레임들 또는 비디오 프레임들에 삽입되는 것을 포함하는, 디지털 서비스 신호 처리 방법.
  2. 제 1항에 있어서,
    상기 부가정보는 상기 콘텐트의 식별 정보 및 상기 콘텐트의 시간 정보 중 적어도 어느 하나를 포함하는, 디지털 서비스 신호 처리 방법.
  3. 제 2항에 있어서,
    상기 적어도 하나의 워터마크로부터 상기 부가정보를 획득하는 단계는,
    상기 서로 다른 오디오 프레임들 또는 비디오 프레임들로부터 상기 적어도 하나의 서브 부가정보를 획득하는 것을 더 포함하고, 상기 제 1 정보 및 상기 제 2 정보를 이용하여 상기 부가정보를 생성하기 위한 상기 적어도 하나의 서브 부가정보를 결합하는 단계를 더 포함하는, 디지털 서비스 신호 처리 방법.
  4. 제 1항에 있어서, 상기 콘텐트는 로고 이미지 데이터 및 심볼 이미지 데이터를 더 포함하고, 상기 로고 이미지 데이터는 콘텐트 제공자를 나타내고, 상기 심볼 이미지 데이터는 상기 로고 이미지 데이터에 의해 지시되는 상기 콘텐트 제공자와 관련된 상기 콘텐트를 지시하고, 상기 로고 이미지 데이터 및 상기 심볼 이미지 데이터는 상기 콘텐트의 비디오 프레임들에 포함되는, 디지털 서비스 신호 처리 방법.
  5. 제 4항에 있어서, 상기 제 1 오디오 또는 비디오 프레임들로부터 상기 적어도 하나의 워터마크를 추출하는 단계는
    상기 로고 이미지 데이터 및 상기 심볼 이미지 데이터를 획득하는 단계;
    로고 서버에 저장된 로고 이미지 데이터의 색, 텍스트 및 윤곽과 상기 획득한 로고 이미지 데이터의 색, 텍스트 및 윤곽을 비교하는 단계로서, 상기 로고 이미지 데이터는 상기 비디오 프레임들의 각 비디오 프레임 내 고정된 특정 지역에 위치하고;
    심볼 서버에 저장된 심볼 이미지 데이터의 색, 텍스트 및 윤곽과 상기 획득한 심볼 이미지 데이터의 색, 텍스트 및 윤곽을 비교하는 단계로서, 상기 심볼 이미지 데이터는 상기 비디오 프레임들의 각 비디오 프레임 내 고정된 특정 지역에 위치하고;
    상기 로고 서버로부터 상기 콘텐트의 제공자를 식별하는 콘텐트 식별자 정보를 획득하는 단계; 및 상기 심볼 서버로부터 상기 콘텐트의 제공자를 식별하는 콘텐트 식별자 정보를 획득하는 단계를 더 포함하는, 디지털 서비스 신호 처리 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 콘텐트의 부가정보를 포함하는 적어도 하나의 워터마크를 포함하는 제 1 오디오 또는 비디오 프레임들 및 적어도 하나의 핑거프린트 시그너처를 포함하는 제 2 오디오 또는 비디오 프레임들을 수신하도록 구성된 수신 프로세서;
    상기 제 1 오디오 또는 비디오 프레임들로부터 상기 적어도 하나의 워터마크를 추출하는 워터마크 추출 프로세서; 및
    상기 제 2 오디오 또는 비디오 프레임들로부터 상기 적어도 하나의 핑거프린트 시그너처를 추출하는 핑거프린트 추출 프로세서로서,
    상기 수신 프로세서는 상기 적어도 하나의 워터마크로부터 상기 부가정보를 획득하고, 상기 적어도 하나의 핑거프린트 시그너처를 전송하고, 상기 전송한 핑거프린트 시그니처에 응하여 상기 콘텐트와 관련된 부가 데이터를 위한 메타데이터를 획득하고, 상기 부가정보 또는 상기 메타데이터에 따라 상기 부가 데이터를 획득함; 를 포함하고,
    상기 부가정보는 적어도 하나의 서브 부가정보로 분할되고, 상기 적어도 하나의 서브 부가정보는 제 1 정보 및 제 2 정보 중 적어도 하나를 포함하고,
    상기 제 1 정보는 상기 부가정보의 시작 서브 부가정보를 나타내기 위해 사용되고, 상기 제 2 정보는 상기 부가정보의 끝 서브 부가정보를나타내고,
    상기 적어도 하나의 서브 부가정보는 서로 다른 오디오 프레임들 또는 비디오 프레임들에 삽입되는 것을 포함하는, 디지털 서비스 신호 처리 장치.
  14. 제 13항에 있어서,
    상기 부가정보는 상기 콘텐트의 식별 정보 및 상기 콘텐트의 시간 정보 중 적어도 어느 하나를 포함하는, 디지털 서비스 신호 처리 장치.
  15. 제 14항에 있어서,
    상기 수신 프로세서는 상기 서로 다른 오디오 프레임들 또는 비디오 프레임들로부터 상기 적어도 하나의 서브 부가정보를 획득하고, 상기 제 1 정보 및 상기 제 2 정보를 이용하여 상기 부가정보를 생성하기 위한 상기 적어도 하나의 서브 부가정보를 결합하는 결합기를 더 포함하는, 디지털 서비스 신호 처리 장치.
  16. 제 13항에 있어서,
    상기 콘텐트는 로고 이미지 데이터 및 심볼 이미지 데이터를 더 포함하고, 상기 로고 이미지 데이터는 콘텐트 제공자를 나타내고, 상기 심볼 이미지 데이터는 상기 로고 이미지 데이터에 의해 지시되는 상기 콘텐트 제공자와 관련된 상기 콘텐트를 지시하고, 상기 로고 이미지 데이터 및 상기 심볼 이미지 데이터는 상기 콘텐트의 비디오 프레임들에 포함되는, 디지털 서비스 신호 처리 장치.
  17. 제 16항에 있어서,
    상기 워터마크 추출 프로세서는, 상기 로고 이미지 데이터 및 상기 심볼 이미지 데이터를 획득하고,
    로고 서버에 저장된 로고 이미지 데이터의 색, 텍스트 및 윤곽과 상기 획득한 로고 이미지 데이터의 색, 텍스트 및 윤곽을 비교하는 제 1 비교 프로세서로서, 상기 로고 이미지 데이터는 상기 비디오 프레임들의 각 비디오 프레임 내 고정된 특정 지역에 위치하고;
    심볼 서버에 저장된 심볼 이미지 데이터의 색, 텍스트 및 윤곽과 상기 획득한 심볼 이미지 데이터의 색, 텍스트 및 윤곽을 비교하는 제 2 비교 프로세서로서, 상기 심볼 이미지 데이터는 상기 비디오 프레임들의 각 비디오 프레임 내 고정된 특정 지역에 위치하고, 상기 수신 프로세서는 상기 로고 서버로부터 상기 콘텐트의 제공자를 식별하는 콘텐트 식별자 정보를 획득하고 상기 심볼 서버로부터 상기 콘텐트의 제공자를 식별하는 콘텐트 식별자 정보를 획득하는 것을 포함하는, 디지털 서비스 신호 처리 장치.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
KR1020147034462A 2012-07-16 2013-07-16 디지털 서비스 신호 처리 방법 및 장치 KR102086514B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261671807P 2012-07-16 2012-07-16
US61/671,807 2012-07-16
PCT/KR2013/006344 WO2014014252A1 (en) 2012-07-16 2013-07-16 Method and apparatus for processing digital service signals

Publications (2)

Publication Number Publication Date
KR20150035582A KR20150035582A (ko) 2015-04-06
KR102086514B1 true KR102086514B1 (ko) 2020-03-09

Family

ID=49949027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147034462A KR102086514B1 (ko) 2012-07-16 2013-07-16 디지털 서비스 신호 처리 방법 및 장치

Country Status (7)

Country Link
US (2) US9131264B2 (ko)
EP (1) EP2839668A4 (ko)
JP (1) JP6193993B2 (ko)
KR (1) KR102086514B1 (ko)
CN (1) CN104471951B (ko)
MX (1) MX338996B (ko)
WO (1) WO2014014252A1 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196631A1 (en) * 2010-12-03 2016-07-07 Dolby Laboratories Licensing Corporation Hybrid Automatic Content Recognition and Watermarking
KR101831775B1 (ko) * 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
US9491437B2 (en) 2010-12-07 2016-11-08 Samsung Electronics Co., Ltd. Transmitter for transmitting data for constituting content, receiver for receiving and processing data, and method therefor
US9363551B2 (en) * 2013-10-31 2016-06-07 Tencent Technology (Shenzhen) Company Limited TV program identification method, apparatus, terminal, server and system
CN103686407A (zh) * 2013-12-04 2014-03-26 乐视网信息技术（北京）股份有限公司 轮播水印显示的方法和系统
JP6474835B2 (ja) * 2014-02-17 2019-02-27 エルジー エレクトロニクス インコーポレイティド ハイブリッド放送サービスを処理する装置、及びハイブリッド放送サービスを処理する方法
JP6132068B2 (ja) * 2014-03-05 2017-05-24 株式会社島津製作所 情報表示処理装置及び情報表示処理装置の制御プログラム
KR102166423B1 (ko) 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
CN106170988A (zh) 2014-03-13 2016-11-30 凡瑞斯公司 使用嵌入式代码的交互式内容获取
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
KR20150115314A (ko) * 2014-04-03 2015-10-14 삼성전자주식회사 디스플레이 장치, 이의 제어 방법, 서버, 이의 제어 방법, 채널 정보의 위치에 대한 정보를 검출하기 위한 시스템 및 이의 제어 방법
EP3138264B1 (en) * 2014-05-02 2019-11-20 Verance Corporation Metadata acquisition using embedded codes
WO2016028936A1 (en) * 2014-08-20 2016-02-25 Verance Corporation Watermark detection using a multiplicity of predicted patterns
JP6355521B2 (ja) * 2014-10-21 2018-07-11 三菱電機株式会社 デジタル放送受信装置及び方法
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
EP3225034A4 (en) 2014-11-25 2018-05-02 Verance Corporation Enhanced metadata and content delivery using watermarks
WO2016100916A1 (en) 2014-12-18 2016-06-23 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
US9418395B1 (en) 2014-12-31 2016-08-16 The Nielsen Company (Us), Llc Power efficient detection of watermarks in media signals
EP3043572A1 (en) * 2015-01-07 2016-07-13 Dolby Laboratories Licensing Corporation Hybrid automatic content recognition and watermarking
CN104581393A (zh) * 2015-01-27 2015-04-29 北京正奇联讯科技有限公司 电视播出信号的故障判断和切换方法及其系统
US9912986B2 (en) * 2015-03-19 2018-03-06 Sony Corporation System for distributing metadata embedded in video
KR101838084B1 (ko) * 2015-04-23 2018-03-13 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN104918107B (zh) * 2015-05-29 2018-11-02 小米科技有限责任公司 视频文件的标识处理方法及装置
US10779057B2 (en) 2015-06-08 2020-09-15 Qualcomm Incorporated Broadcast content redistribution and ad insertion
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
WO2016204421A1 (ko) * 2015-06-15 2016-12-22 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP2017011503A (ja) * 2015-06-22 2017-01-12 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
CN113438517B (zh) 2015-07-06 2023-02-28 Lg电子株式会社 处理广播数据的方法、接收系统和发送系统
KR102575517B1 (ko) 2015-08-17 2023-09-07 소니그룹주식회사 수신 장치, 송신 장치 및 데이터 처리 방법
CA2995157C (en) * 2015-08-19 2021-02-16 Sharp Kabushiki Kaisha Broadcast system with a watermark payload
KR102393158B1 (ko) * 2015-10-13 2022-05-02 삼성전자주식회사 메타데이터를 포함하는 비트 스트림을 이용한 서비스 제공 방법 및 장치
CN205305025U (zh) * 2016-01-06 2016-06-08 京东方科技集团股份有限公司 一种高清视频发送、接收装置与设备及高清视频传输系统
KR102496618B1 (ko) * 2016-03-16 2023-02-06 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
DE102017111993A1 (de) * 2016-05-31 2017-11-30 Maxim Integrated Products, Inc. Vorrichtung und verfahren zum schützen sicherheits- und absicherungsrelevanter echtzeit-videodaten
CN107592579B (zh) * 2016-05-31 2022-04-15 马克西姆综合产品公司 用于保护实时安全性和安全相关视频数据的装置和方法
US10136194B2 (en) * 2016-07-06 2018-11-20 Cisco Technology, Inc. Streaming piracy detection method and system
US10200692B2 (en) * 2017-03-16 2019-02-05 Cisco Technology, Inc. Compressed domain data channel for watermarking, scrambling and steganography
US10136098B2 (en) 2017-03-28 2018-11-20 International Business Machines Corporation Integrity verification of an audio-visual data stream
JP7042567B2 (ja) * 2017-07-07 2022-03-28 合同会社DMM.com ユーザ特定情報が埋め込まれたデジタルコンテンツの配信
KR20200035396A (ko) * 2017-08-10 2020-04-03 소니 주식회사 송신 장치, 송신 방법, 수신 장치, 및 수신 방법
KR102546026B1 (ko) 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
US10958958B2 (en) * 2018-08-21 2021-03-23 International Business Machines Corporation Intelligent updating of media data in a computing environment
CN111090836A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 数据处理、水印嵌入和水印提取方法、装置及设备
KR102568626B1 (ko) * 2018-10-31 2023-08-22 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
KR20200080387A (ko) 2018-12-18 2020-07-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2020256718A1 (en) * 2019-06-19 2020-12-24 Google Llc Improved image watermarking
US11343564B2 (en) * 2019-08-14 2022-05-24 Samsung Electronics Co., Ltd Automated learning platform of a content provider and method thereof
US11153616B2 (en) 2019-09-13 2021-10-19 Roku, Inc. Method and system for re-uniting metadata with media-stream content at a media client, to facilitate action by the media client
US10777177B1 (en) 2019-09-30 2020-09-15 Spotify Ab Systems and methods for embedding data in media content
US11132557B2 (en) * 2019-12-25 2021-09-28 Tcl China Star Optoelectronics Technology Co., Ltd. Logo extraction device, and brightness adjusting method and device for logo
CN113453039B (zh) * 2020-03-24 2023-04-18 阿里巴巴集团控股有限公司 视频文件处理与水印提取的方法和装置
CN111431904B (zh) * 2020-03-25 2022-05-06 上海威固信息技术股份有限公司 一种基于时间特征的云存储访问控制方法
US11443401B2 (en) * 2020-05-21 2022-09-13 At&T Intellectual Property I, L.P. Digital watermarking
CN112069950B (zh) * 2020-08-25 2023-04-07 北京字节跳动网络技术有限公司 提取热词的方法、系统、电子设备及介质
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes
US11695988B2 (en) * 2021-07-15 2023-07-04 Disney Enterprises, Inc. Content stream having encoded metadata for video enhancement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669224B1 (ko) 2006-04-28 2007-01-16 모두스타 주식회사 디지털저작권관리 기반의 디지털 컨텐츠 및 사용자 제작컨텐츠 거래하는 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421070B1 (en) * 1996-11-12 2002-07-16 Digimarc Corporation Smart images and image bookmarking for an internet browser
JP4596495B2 (ja) * 1997-07-18 2010-12-08 ソニー株式会社 制御装置、制御方法、電気機器システム、電気機器システムの制御方法、および、記録媒体
US7756892B2 (en) * 2000-05-02 2010-07-13 Digimarc Corporation Using embedded data with file sharing
US8332478B2 (en) 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US20010052133A1 (en) * 2000-04-12 2001-12-13 Lg Electronics Inc. Apparatus and method for providing and obtaining product information through a broadcast signal
JP2004505349A (ja) * 2000-07-20 2004-02-19 ディジマーク　コーポレイション ファイル共有で組み込まれたデータの使用
JP2002232685A (ja) * 2001-01-31 2002-08-16 Canon Inc 電子透かし処理装置、情報処理装置、ディジタルコンテンツ配布システム、電子透かし挿入方法、及び記憶媒体
JP3578091B2 (ja) * 2001-02-13 2004-10-20 日本電信電話株式会社 コンテンツ取得方法及びコンテンツ提供方法及びコンテンツ取得装置及びコンテンツ提供装置及びコンテンツ取得プログラム及びコンテンツ提供プログラム
US8407752B2 (en) * 2004-03-18 2013-03-26 Digimarc Corporation Synchronizing broadcast content with corresponding network content
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
US7263205B2 (en) 2004-12-06 2007-08-28 Dspv, Ltd. System and method of generic symbol recognition and user authentication using a communication device with imaging capabilities
CN101115124B (zh) * 2006-07-26 2012-04-18 日电（中国）有限公司 基于音频水印识别媒体节目的方法和装置
US8763050B2 (en) 2007-04-30 2014-06-24 At&T Intellectual Property I, Lp System and apparatus for enhancing delivery of media services
JP4962335B2 (ja) * 2008-02-04 2012-06-27 富士通株式会社 埋込みデータを復元するための方法
KR20100048711A (ko) * 2008-10-31 2010-05-11 에스케이 텔레콤주식회사 컨텐츠 배포 추적 관리 시스템 및 방법
US9788043B2 (en) * 2008-11-07 2017-10-10 Digimarc Corporation Content interaction methods and systems employing portable devices
JP5319451B2 (ja) 2009-08-11 2013-10-16 株式会社神戸製鋼所 出力値予測方法、該装置および該方法のプログラム
WO2011039763A2 (en) * 2009-09-07 2011-04-07 Tata Consultancy Services Ltd. System for obtaining information about tv broadcasts via a plurality of channels
JP2011203790A (ja) * 2010-03-24 2011-10-13 Kddi Corp 画像照合装置
WO2012093407A2 (en) * 2011-01-04 2012-07-12 Tata Consultancy Services Limited Logo recognition
JP4948667B2 (ja) * 2011-08-08 2012-06-06 日立公共システムエンジニアリング株式会社 動画コンテンツの改ざん検出装置及びシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669224B1 (ko) 2006-04-28 2007-01-16 모두스타 주식회사 디지털저작권관리 기반의 디지털 컨텐츠 및 사용자 제작컨텐츠 거래하는 방법

Also Published As

Publication number Publication date
US20140047475A1 (en) 2014-02-13
WO2014014252A1 (en) 2014-01-23
MX2014014912A (es) 2015-03-09
EP2839668A4 (en) 2016-03-09
JP2015531189A (ja) 2015-10-29
JP6193993B2 (ja) 2017-09-06
CN104471951A (zh) 2015-03-25
MX338996B (es) 2016-05-09
CN104471951B (zh) 2018-02-23
EP2839668A1 (en) 2015-02-25
US9131264B2 (en) 2015-09-08
US9756381B2 (en) 2017-09-05
KR20150035582A (ko) 2015-04-06
US20150334459A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
KR102086514B1 (ko) 디지털 서비스 신호 처리 방법 및 장치
KR101664424B1 (ko) 디지털 서비스 신호 처리 방법 및 장치
EP2891316B1 (en) Method and apparatus for processing digital service signal
US9197946B2 (en) System and method for automatic content program discovery
JP6294503B2 (ja) 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
CA2878043C (en) Method and apparatus for processing digital service signal
KR102254838B1 (ko) 영상 표시 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant