KR101923110B1 - 멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들 - Google Patents

멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들 Download PDF

Info

Publication number
KR101923110B1
KR101923110B1 KR1020147005792A KR20147005792A KR101923110B1 KR 101923110 B1 KR101923110 B1 KR 101923110B1 KR 1020147005792 A KR1020147005792 A KR 1020147005792A KR 20147005792 A KR20147005792 A KR 20147005792A KR 101923110 B1 KR101923110 B1 KR 101923110B1
Authority
KR
South Korea
Prior art keywords
multimedia content
component
components
watermark sequence
transmission medium
Prior art date
Application number
KR1020147005792A
Other languages
English (en)
Other versions
KR20140068923A (ko
Inventor
세르지오 사그리오코
레오나르도 질레오
로베르토 보리
Original Assignee
에스.아이.에스브이.이엘. 쏘시에타‘ 이탈리아나 퍼 로 스빌루포 델‘엘레트로니카 에스.피.에이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스.아이.에스브이.이엘. 쏘시에타‘ 이탈리아나 퍼 로 스빌루포 델‘엘레트로니카 에스.피.에이. filed Critical 에스.아이.에스브이.이엘. 쏘시에타‘ 이탈리아나 퍼 로 스빌루포 델‘엘레트로니카 에스.피.에이.
Publication of KR20140068923A publication Critical patent/KR20140068923A/ko
Application granted granted Critical
Publication of KR101923110B1 publication Critical patent/KR101923110B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/0675—Arrangements or circuits at the transmitter end for mixing the synchronising signals with the picture signal or mutually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0071—Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 적어도 2개의 컴포넌트들(C1, C2)을 포함하는 멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들에 관한 것이다; 수신 방법은 제1 전송 매체(DVB)로부터 제1 컴포넌트(C1)의 수신 및 제2 전송 매체(IP)로부터 제2 컴포넌트(C2)의 수신뿐만 아니라 다음의 단계들을 수반한다: 상기 제1 컴포넌트(C1)로부터 제1 "워터마크" 시퀀스를 검출하는 단계(A4), 상기 제2 컴포넌트(C2)로부터 제2 "워터마크" 시퀀스를 검출하는 단계(A4), 상기 제1 및 제2 "워터마크" 시퀀스들에 기반하여 상기 제1 및 제2 컴포넌트들(C1, C2)을 동기화하는 단계(A5), 및 상기 멀티미디어 콘텐츠(MM)를 형성하기 위해 상기 동기화된 제1 및 제2 컴포넌트들(C1, C2)을 결합하는 단계(A6); 물론, 상기 수신 방법은 양 컴포넌트들이 전송 이전에 적합하고 반복적으로 마킹되었으면 원하는 결과들을 제공한다.

Description

멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들{METHODS AND APPARATUSES FOR TRANSMITTING AND FOR RECEIVING MULTIMEDIA CONTENTS}
본 발명은 멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들에 관한 것이다.
멀티미디어 콘텐츠들의 달성은 최근에 사용자들에 의해 점점 더 느껴지고 있고, 미래에 훨씬 더 증가하는 경향이 있을 요구이다.
예를 들면, 수년 전에, 텔레비전 신호는 2개의 컴포넌트들을 포함했다: 오디오 및 비디오 컴포넌트. 텔렉텍스 컴포넌트가 그 다음 부가되었다. 더 최근에, 특히, 위성을 통하여 방송되는 텔레비전 프로그램들에 대하여, 각각이 상이한 언어에 대응하는 복수의 오디오 컴포넌트들이 포함되었다. 입체(또는 "3D) 텔레비전 프로그램들이 이제 진보하기 시작하고 있다; 간단히 말하면, 시청자들에 의해 인지되는 3차원 효과를 개선하기 위해, 이미지들의 조금 상이한 시퀀스들이 우측 눈 및 좌측 눈에 제공된다.
멀티미디어 콘텐츠들은 일반적으로 전기 및/또는 광 신호들을 통하여 전송하기 위해 생성된다; 멀티미디어 콘텐츠가 예를 들면, 새로운 컴포넌트들이 추가되기 때문에, 변하면, 전송된 신호는 또한 변경될 것이다; 따라서, 이런 변화들이 실현 가능하면, 이런 수정된 신호들의 수신은 사용자들이 소유한 수신기들에 변화들을 필요로 할 것이고, 그렇지 않으면 사용자들은 새로운 수신기들을 구입해야 할 것이다.
많은 사용자들이 종종 "개선된" 멀티미디어 콘텐츠들의 시청에 관심이 없기 때문에, 이런 사용자들이 "비-개선된" 멀티미디어 콘텐츠들을 계속 볼 수 있음을 보장하는 것이 중요하다는 것이 또한 고려되어야 한다; 예를 들면, "3D 텔레비전"에 관심이 없는 이들 사용자들은 여전히 "2D 텔레비전"을 시청하도록 허용되어야 한다.
이 점에서, 유럽 연합에 의해 자금 조달된 DIOMEDES 프로젝트가 2개의 "전달 채널들", 즉 DVB 기술을 이용한 제1 채널(모두에 의해 시청될 수 있는 "기본 콘텐츠"용) 및 IP 기술을 이용한 제2 채널("부가 콘텐츠"용)을 통한 "3D 콘텐츠"의 방송의 가능성을 제안하고 연구해왔다.
이 프로젝트는, 그러나, 다음의 관점들에 특히 부딪쳤고:
- 2개의 "전달 채널들"을 통하여 전송된 신호들의 동기화,
- 2개의 "전달 채널들"을 통하여 전송된 신호들의 시그널링(signalling);
그리고 총칭적으로 전기통신 표준들이 이미 이런 목적들을 위해 사용될 수 있는 메커니즘들을 포함했다고 명시하였다.
동기화에 관한 한, DIOMEDES 프로젝트는 각 뷰(view)의 비디오 PID들(Packet Identifiers], 각 트랙의 오디오 PID들, 및 PCR[Program Clock Reference]의 PID를 사용하는 것을, 그리고 동일 클록으로부터 시작함으로써 PTS들[Presentation Time Stamps] 및 DTS들[Decoding Time Stamps]을 발생하는 것을 제안하였다; 이런 정보는 그러나 상이한 정보 스트림들 사이의 동기화를 확립하는 것에 대해 고려되지 않았고, 따라서 그것은 임의의 정확도를 전혀 보장하지 않는다; 게다가, 정보 스트림들은 상이하고 예측할 수 없는 경로들(특히, 인터넷-전송된 스트림에 관련하여)을 따르기 때문에, 그것들 중 하나 또는 양자가 멀티플렉싱 및/또는 리코딩(re-coding) 동작들을 겪고, 따라서 그것들이 동일 "전송 스트림"의 2개의 "기본 스트림들"이었다는 사실에 의해 원래 주어진 공통 시간 참조의 트랙을 상실하는 일이 발생할 수 있다.
시그널링에 관한 한, DIOMEDES 프로젝트는 ETSI TS 102 809 V1.1.1 표준에 설명된 시그널링 메커니즘들을 사용할 것을 제안하였다; 이는, "기본 콘텐츠" 또는 "주요 스트림"이 반드시 DVB 기술로 전송되어야 함을 의미하는데, 그 이유는 이런 표준 및 이의 시그널링이 특히 그 기술을 인용하기 때문이다.
본 발명의 일반적인 목적은 종래 기술을 극복하는 것이다.
이런 및 다른 목적들이 본 발명의 일체로 된 부분이 되도록 의도된 첨부된 청구범위들에 개시된 기술적 특징을 갖는 멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들을 통하여 달성된다.
본 발명의 기본 사상은 적어도 동기화 목적들을 위해 그리고 바람직하게는 또한 시그널링 목적들을 위해 "워터마킹(watermarking)"을 이용하는 것이다.
"워터마킹"은 멀티미디어 콘텐츠들을 공인되지 않은 복사로부터 보호하기 위해 및/또는 멀티미디어 콘텐츠 진품(authenticity)을 보장하기 위해 전자 산업에 일반적으로 사용되는 공지된 기법이다. 이런 애플리케이션들에서, 마크(예를 들면, 로고)는 콘텐츠(예를 들면, 이미지 또는 이미지들의 시퀀스, 즉, 비디오) 상에 겹쳐 놓인다; 상기 마크는 실제 정보 콘텐츠를 갖지 않거나, 더 정확하게 말하면, 단지 그것이 "참조 마크"와 비교될 때 존재하고, 인식할 수 있다는 이유로, 값을 갖는다; 각 콘텐츠(이미지, 비디오)에 대하여, 상이한 마크가 사용될 수 있지만, 종종 다수의 콘텐츠의 저자 또는 소유자는 모든 콘텐츠들에 대하여 동일 마크를 사용한다. 이런 기법은, 예를 들면, 2003년 7월에 Artech House에 의해 출판된, Michael Arnold, Martin Schmucker, Stephen D. Wolthusen에 의한 "Techniques and Applications of Digital Watermarking and Content Protection" 서적에 상세히 설명되었다.
대신, 본 발명은 멀티미디어 콘텐츠에/멀티미디어 콘텐츠 상에 추가 정보를 부가하기 위해, 더 정확히 말하면, 겹쳐 놓기 위해 "워터마크"를 사용한다; 게다가, 복수의 상이한 마크들이 모든 단일 멀티미디어 콘텐츠에 대하여 요구된다.
일반적으로, 목적은 적어도 2개의 컴포넌트들을 포함하는 멀티미디어 콘텐츠를 적어도 2개의 대응하는 전송 매체들을 통하여 전송하는 것이다.
본 발명의 전형적인(그러나 비한정적인) 애플리케이션에 따르면, 상기 매체들은 DVB-T 기술을 이용한 텔레비전 채널 및 IP 기술을 이용한 인터넷 접속일 수 있다; 대안적으로, 예를 들면, 2개의 매체들은 2개의 텔레비전 채널들 또는 2개의 인터넷 접속들일 수 있다.
본 발명의 전형적인(그러나 비한정적인) 애플리케이션에 따르면, 상기 2개의 컴포넌트들 중 제1 컴포넌트는 전통적인 텔레비전 신호(결국, 따라서 3개의 서브-컴포넌트들을 포함함: 2D 비디오, 오디오 및 텔레텍스)이고, 상기 2개의 컴포넌트들 중 제2 컴포넌트는 2D 비디오 신호이다; 상기 2개의 2D 비디오 컴포넌트들은 전체로서 3D 비디오를 구성한다.
상기 제1 컴포넌트는 상기 제1 매체를 통하여 전송되는 반면, 제2 컴포넌트는 제2 매체를 통하여 전송된다.
2개의 전송 매체들이 사용되기 때문에, 수신기는, 일반적으로, 컴포넌트들이 완전하게 동기화된 방식으로 전송되었음에도 불구하고, 동기화된 시간들에 양 컴포넌트들을 수신하지 않을 것이다.
상기 수신기가 상기 2개의 수신된 컴포넌트들을 재동기화할 수 있게 하기 위해, 송신 시스템은,
A) 상기 제1 컴포넌트의 전송 이전에 미리결정된 제1 "워터마크" 시퀀스를 통하여 상기 제1 컴포넌트를 반복적으로 마킹(mark),
및
B) 상기 제2 컴포넌트의 전송 이전에 미리결정된 제2 "워터마크" 시퀀스를 통하여 상기 제2 컴포넌트를 반복적으로 마킹해야 할 것이다;
상기 제1 "워터마크" 시퀀스는 상기 제2 "워터마크" 시퀀스와 일치한다(입체 비디오의 가장 단순하고 가장 전형적인 경우에, 2개의 시퀀스들은 동일하다); 그래서 단계들 A 및 B는, 실제로, 상기 제1 컴포넌트로의 "워터마크들"의 삽입 및 상기 제2 컴포넌트로의 "워터마크들"의 삽입이 상기 제1 및 제2 컴포넌트들의 대응하는 점들 또는 인스턴트들(instants)에서 발생한다고 고려된다.
초기 송신기에서 최종 수신기까지의 경로를 따라 2개의 컴포넌트들에서 발생하는 것이 무엇이든 동기화 정보가 컴포넌트들 자체에 내장되어 있기 때문에, 최종 수신기에 의한 재동기화는 항상 가능하다; 따라서, 특정 제한들이 상기 전송 매체들에 부과되지 않는다. 단지 잡음 및 장애들이 수신된 컴포넌트들을 재동기화하는 가능성을 위태롭게 하지만, 이들 엘리먼트들은 또한 수신된 컴포넌트들의 콘텐츠의 품질에 직접 영향을 준다.
적어도 2개의 컴포넌트들을 포함하고, 위에서 명시된 바와 같이 전송되었던 멀티미디어 콘텐츠를 수신하기 위해, 상기 수신기는 제1 전송 매체로부터 상기 적어도 2개의 컴포넌트들 중 제1 컴포넌트를 수신하고, 제2 전송 매체로부터 상기 적어도 2개의 컴포넌트들 중 제2 컴포넌트를 수신한다; 게다가, 그것은 다음을 실시한다:
A) 그것은 상기 제1 컴포넌트로부터 제1 "워터마크" 시퀀스를 검출함,
B) 그것은 상기 제2 컴포넌트로부터 제2 "워터마크" 시퀀스를 검출함,
C) 그것은 상기 제1 및 제2 "워터마크" 시퀀스들에 기반하여 상기 제1 및 제2 컴포넌트들을 동기화함, 및
D) 그것은 상기 멀티미디어 콘텐츠를 형성하기 위해 상기 동기화된 제1 및 제2 컴포넌트들을 결합함.
본 발명의 기술적 특징들 및 이점들은 첨부된 도면들을 참조한 다음의 설명으로부터 더 명확해질 것이다.
도 1은 본 발명에 따른 수신 장치의 실시예의 예의 블록도를 도시하고,
도 2는 본 발명에 따른 전송 방법을 이해하기 위해 유용한 제1 다이어그램을 도시하며,
도 3은 본 발명에 따른 수신 방법을 이해하기 위해 유용한 제1 다이어그램을 도시하고, 여기서, 멀티미디어 콘텐츠의 2개의 컴포넌트들은 동기화되지 않으며,
도 4는 본 발명에 따른 수신 방법을 이해하기 위해 유용한 제2 다이어그램을 도시하고, 여기서, 멀티미디어 콘텐츠의 2개의 컴포넌트들은 재동기화되었으며,
도 5는 본 발명에 따른 "워터마킹"에 의해 코딩된 제1 가능한 정보 구조를 도시하고,
도 6은 도 5의 정보 구조에 기반하여 "워터마킹"의 가능한 실시예를 도시하며(일정한 비율이 아닌 이미지들),
도 7은 본 발명에 따른 "워터마킹"에 의해 코딩된 제2 가능한 정보 구조를 도시하고,
도 8은 도 7의 정보 구조에 기반하여 "워터마킹"의 가능한 실시예를 도시하며(일정한 비율이 아닌 이미지들),
도 9는 본 발명에 따른 "워터마킹"에 의해 코딩된 제3 가능한 정보 구조를 도시하고,
도 10은 도 9의 정보 구조에 기반하여 "워터마킹"의 가능한 실시예를 도시한다(제 크기가 아닌 이미지임).
이런 설명 및 상기 도면들 모두는 단지 설명, 따라서 비한정적인, 목적들로 고려되어야 한다; 본 발명은 따라서 이의 다른 및 상이한 실시예들에 따라 구현될 수 있다.
아래에 고려될 간단한 예들은 본 발명의 이해를 용이하게 할 것이다.
이제 도 2를 참조하여, 관련된 오디오를 갖는 3D 비디오에 대응하는 멀티미디어 콘텐츠가 있다고 가정한다; 3D 비디오는 우측 눈에 대한 이미지들의 시퀀스(도 2에서 ID1, ID2, ...으로 지칭됨)를 갖는 제1 2D비디오(도 2에서 V1로 지칭됨) 및 좌측 눈에 대한 이미지들의 시퀀스(도 2에서 IS1, IS2, ...으로 지칭됨)를 갖는 제2 2D비디오를 포함한다. 2개의 2D 비디오들(도 2에서 V1 및 V2로 지칭됨) 및 오디오(도 2에서 AU로 지칭됨)는 서로 동기화된다; 특히, 2개의 비디오들에 관하여, 3차원 효과를 생성하도록 제1 2D 비디오의 하나의 이미지는 제2 2D 비디오의 하나의 이미지에 대응한다(그리고 그 역으로); 도 2에서, 제1 화살표는 비디오 V1의 하나의 이미지 ID1과 비디오 V2의 이미지 IS1의 대응을 나타내고, 제2 화살표는 비디오 V1의 하나의 이미지 ID2와 비디오 V2의 이미지 IS2의 대응을 나타낸다.
또한, 멀티미디어 신호의 제1 컴포넌트(C1)를 함께 구성하는 제1 2D 비디오(V1) 및 오디오(AU)는 전통적인 텔레비전 신호를 통하여, 특히 DVB-T 기술(DVB로서 지시된 화살표에 의해 도 2에 개략적으로 도시된 바와 같이)을 이용함으로써 전송되고, 멀티미디어 신호의 제2 컴포넌트(C2)를 구성하는 제2 2D 비디오는 인터넷(IP로서 지시된 화살표에 의해 도 2에 개략적으로 도시된 바와 같이)을 통하여 전송된다고 가정한다. 이런 경우, 텔레비전 신호는 안테나들에 연결된 하나, 또는 더 전형적으로, 복수의 무선 송신기들을 통하여 방송될 수 있는 한편, 제2 2D 비디오는 예를 들면, 인터넷에 연결된 서버 덕분에 인터넷을 통하여 이용가능할 것이다.
본 발명은 또한 방금 설명된 경우보다 더 복잡한 경우들, 예를 들면, 멀티미디어 콘텐츠가 3개 이상의 컴포넌트들로 세분화되는 경우, 및/또는 3개 이상의 전송 매체들이 사용되는 경우, 및/또는 각 컴포넌트들이 복수의 서브-컴포넌트들을 포함하는 경우(예를 들면, 각 컴포넌트는 비디오 신호 및 오디오 신호를 포함할 수 있음)에 적용가능하다.
비디오(V1) 및 오디오(AU)를 포함하는 텔레비전 신호를 방송하는 무선 송신기들 및 비디오(V2)를 이용가능하게 하는 서버의 업스트림에서, 각각 멀티미디어 콘텐츠를 수신하고, 멀티미디어 콘텐츠를 2개의 컴포넌트들(C1, C2)로 세분하며, 컴포넌트들을 송신기들 및 서버로 전송하는 디바이스를 제공하는 것이 필요하다; 상기 디바이스로 구성되는 세트, 송신기들 및 서버(더하여 임의의 다른 가능한 컴포넌트들)는 멀티미디어 콘텐츠들을 전송하기 위한 대규모 장치 또는 시스템으로 고려될 수 있다.
텔레비전 신호는, 전기통신 표준들에 의해 정의된 바와 같이, 동기화된 비디오 및 오디오, 특히 비디오(V1) 및 오디오(AU)를 보유하고, 그것들을 사용자 단말로 동시에 이송한다.
그러나, 사용자 단말이 비디오들(V1 및 V2)을 수신한 후 그것들을 재동기화하게 하기 위해, 그래서 그것이 원하는 3-차원 효과를 재생할 수 있도록, 특정한 전송 방법을 구현하는 것이 필요하다.
본 발명에 따르면, 멀티미디어 콘텐츠의 제1 컴포넌트(C1), 특히 비디오(V1)의 이미지들은 미리결정된 제1 "워터마크" 시퀀스로 마킹되고, 멀티미디어 콘텐츠의 제2 컴포넌트(C2), 특히 비디오(V2)의 이미지들은 미리결정된 제2 "워터마크" 시퀀스로 마킹된다; 컴포넌트들(C1, C2)은 그 다음 선택된 전송 매체들을 통하여 전송된다.
도 2의 경우에서, 이미지들이 제1 컴포넌트 및 제2 컴포넌트 양자에 마킹되기 때문에, 2개의 "워터마킹" 시퀀스들은, 단순화를 위해, 심지어 동일할 수도 있다(또는 서로, 특히 정확한 일치로 대응할 수 있음).
"워터마킹" 시퀀스들의 마크들은 2개의 비디오들의 이미지들 사이의 단일의 관련성을 허용해야 한다; 관련성의 하나의 이런 가능성은 마크들 자체들을 통하여 코딩된 정보에 의해 주어진다.
간단하고 효과적인 해결책은, 예를 들면, 2자리, 3자리, 4자리 또는 더 많은 자리를 갖는 숫자들을 사용하는 것이다; 자리의 수는 2개의 컴포넌트들 사이의 가장 긴 가능한 수신 지연을 고려함으로써 유리하게 선택될 수 있다(평균적으로 하나의 이미지가 20ms마다 전송되면, 2자리를 이용하여 2개의 컴포넌트들 사이의 최대한 2초의 지연을 보상하는 것이 가능할 것이다).
제1 예에 따르면, 이미지 ID1(도 2 참조)이 숫자 "44"에 대응하는 마크로 마킹되면, 또한 대응하는 이미지 IS1(도 2 참조)은 숫자 "44"에 대응하는 마크로 마킹될 수 있고, 다음 이미지 ID2(도 2 참조)가 숫자 "17"에 대응하는 마크로 마킹되면, 또한 대응하는 이미지 IS2(도 2 참조)는 숫자 "17"에 대응하는 마크로 마킹될 수 있다; 마크들이 비디오의 정확하고 완전한 수신을 재분류하거나 확인하기 위해 반드시 사용되지는 않기 때문에, 숫자들의 순서는 중요하지 않지만, 동일 숫자가 2개의 일시적으로 근접한 이미지들과 관련되지 않도록 미리결정되어야 함이 이해될 수 있다; 인터넷을 통하여 전송된 비디오에 관한 한, 이미지들의 수신의 순서는 전송의 순서와 대응하지 않고, 그래서 "워터마크들"은 또한 특히, 시퀀스가 유지됨을 보장할 수 없는 이들 전송 매체들에 대하여 이미지들의 재분류를 도울 수 있다는 것이 발생할 수 있음에 주목되어야 한다(RTP 및 TCP 네트워크 프로토콜들이 이미 데이터 패킷 재분류 메커니즘들을 포함하고 있음이 기억되어야 한다).
제2 예에 따르면, 이미지 ID1(도 2 참조)이 숫자 "1044"에 대응하는 마크로 마킹되면, 대응하는 이미지 IS1(도 2 참조)은 숫자 "2044"에 대응하는 마크로 마킹될 수 있고, 이미지 ID2(도 2 참조)가 숫자 "1017"에 대응하는 마크로 마킹되면, 대응하는 이미지 IS2(도 2 참조)는 숫자 "2017"에 대응하는 마크로 마킹될 수 있다; 이런 경우, 숫자들은 상이하지만, 그럼에도 불구하고 그것들은 일치를 나타내며, 즉, 첫째 자리가 비디오의 단계별 숫자(progressive number)를 나타내고(비디오 V1에 대하여 "1" 및 비디오 V2에 대하여 "2"), 나머지 3 자리가 동기화 목적들을 위해 사용된다.
다른 예들에 따르면, 문자숫자(alphanumeric) 스트링들이 "워터마크들"로서 사용될 수 있다. 전송 시스템에서 현재 사용되는 워터마킹 기술에 따라 송신기에 의해 끼워 넣어지고 수신기에 의해 추출되는 워터마킹 데이터의 인식을 보장하도록 이진 형태로 또는 정보 이론에 따라 유효하다고 고려된 임의의 관련된 표현 형태가 수신 측에 또한 알려지면, 상기 자리 또는 문자숫자 스트링들은 또한 상기 형태로 나타내어질 수 있고, 이에 의해 그것들은 둘 다 호환 가능하다.
동기화 목적들을 위해, 방금 설명된 2개의 예들에서 이루어진 바와 같이, 모든 이미지들의 마킹이 회피될 수 있다; 예를 들면, 하나의 이미지가 마킹되고, 그 후 다음 이미지가 마킹되지 않을 수 있으며, 또는 하나의 이미지가 마킹될 수 있고, 그 후 다음 2개의 이미지들이 마킹되지 않을 수 있다; 물론, 우수한 동기화를 보장하기 위해, 마크들은 매우 빈번하게 삽입되는 것이 바람직하다.
멀티미디어 콘텐츠를 수신하기 위한 장치, 특히 "3D 텔레비전"을 수신하기 위한 장치 내에서 수신시 발생할 수 있는 것들이 이제 고려될 것이다.
도 3은 텔레비전 안테나(화살표 DVB)로부터 그리고 인터넷(화살표 IP)으로부터 이러한 수신기에 의해 수신되는 이미지들의 상황을 개략적으로 도시한다; 본 명세서에서 수신기가 제1 전송 매체로부터 수신되는 제1 컴포넌트를 위한 제1 버퍼(B1) 및 제2 전송 매체로부터 수신되는 제2 컴포넌트를 위한 제2 버퍼(B2)를 갖는다고 가정한다; 버퍼(B1)에, 숫자들 "15", "16", "17", "18", "19" 및 "20"에 대응하는 마크들로 각각 마킹된 6개의 우측 이미지들 이 있다; 버퍼(B2)에, 숫자들 "13", "14", "15", "16", "17" 및 "18"에 대응하는 마크들로 각각 마킹된 6개의 좌측 이미지들 이 있다; 도 3은 또한 "15"로 마킹된 우측 이미지가 "13"으로 마킹된 좌측 이미지와 동시에 수신되었고, "16"으로 마킹된 우측 이미지가 "14"로 마킹된 좌측 이미지와 동시에 수신되었으며, "17"로 마킹된 우측 이미지가 "15"로 마킹된 좌측 이미지와 동시에 수신되었고, "18"로 마킹된 우측 이미지가 "16"으로 마킹된 좌측 이미지와 동시에 수신되었으며, "19"로 마킹된 우측 이미지가 "17"로 마킹된 좌측 이미지와 동시에 수신되었고, "20"으로 마킹된 우측 이미지가 "18"로 마킹된 좌측 이미지와 동시에 수신되었다(이런 경우 단계별 숫자들이 사용되었지만, 상술한 바와 같이, 그것이 본 발명에 대하여 유리할지라도 이는 엄밀히 필요하지 않다)는 사실을 나타낸다.
본 발명에 따른 수신기는 양 컴포넌트들에 관한 "워터마크들"을 검출하고, 이런 마크들을 디코딩하며, 그에 의해 상술한 숫자들(또는 더 일반적으로 정보)을 획득하고, 이런 숫자들에 기반하여, 수신기는 2개의 컴포넌트들을 재동기화할 수 있다.
도 4는 2개의 재동기화된 컴포넌트들의 일부 이미지들을 도시한다; 동기화 프로세스는 수신기의 메모리 내의 데이터의 이동을 반드시 필요로 하지 않지만, 포인터들을 사용하는 것, 그리고 정확하게 도 4에 도시된 바와 같이, 버퍼들이 재생 단계에서 적절하게 판독될 수 있게 하는 정보를 상기 포인터들에 저장하는 것이면 충분할 수 있음은 주목할 만하다.
지금까지, 멀티미디어 콘텐츠들(본 발명에 따른)을 전송하기 위한 장치 및 멀티미디어 콘텐츠들(본 발명에 따른)을 수신하기 위한 장치는 어떻게 멀티미디어 콘텐츠가 컴포넌트들(예를 들면, 하나의 오디오 및 하나의 비디오를 포함하는 제1 컴포넌트 및 단지 하나의 비디오를 포함하는 제2 컴포넌트)로 세분화되었는지, 어떤 전송 매체가 수반되는지(예를 들면, 디지털 지상파 텔레비전 인프라 및 인터넷), 및 어떤 파라미터들이 수반되는지, 즉, 전송되고 수신되어야 하는지(예를 들면, 무선 주파수 및 인터넷 어드레스)를 안다고 가정했다.
제1 옵션에 따르면, 이런 동작 정보(또는 그의 일부)는 장치들 중 하나 또는 양자에서 사전에 설정된다. 멀티미디어 콘텐츠의 세분화 및 전송 매체의 식별과 관련하여, 이런 제1 옵션은 이들 2개의 엘리먼트들이 하드웨어 상에 더 많거나 더 적은 직접적인 영향을 미친다는 점에서, 또한 타당할 수 있다.
제 2의 더 유연한 옵션에 따르면, 이런 동작 정보(또는 이의 일부)는 장치들 중 하나 또는 양자에서 각각의 사용자들에 의해 설정된다; 이런 제2 옵션은 전송 장치(또는 시스템)를 대표하지만, 그것이 전형적으로 보통 사람인 그것의 사용자가 전문적인 기술을 필요로 하는 정보를 처리하도록 강요하기 때문에, 그것은 수신 장치에 대하여 불편하다.
단지 수신 장치(본 발명에 따른)에만 사용될 수 있는 제3 옵션에 따르면, 이런 동작 정보(또는 그의 일부)는 수신되고 있는 신호들로부터 직접 장치에 의해 획득된다; 쉽게 이해될 수 있는 바와 같이, 이런 제3 옵션은 특히 유리하다.
이런 시그널링은 "워터마킹"을 통하여, 즉, 멀티미디어 콘텐츠의 컴포넌트들을 식별, 수신 및 처리하도록 그리고 따라서 멀티미디어 콘텐츠를 복원하도록 허용하는 동작 정보를 코딩하도록, 따라서 수신기로 시그널링하도록 구성된 마크들로 전송될 멀티미디어 콘텐츠 중 하나, 일부 또는 모든 컴포넌트들을 마킹함으로써, 유리하게 제공될 수 있다.
특히, 2개의 컴포넌트들로 세분화된 멀티미디어 콘텐츠의 간단한 경우, 제1 컴포넌트는 제2 컴포넌트와 관련된 동작 정보를 시그널링할 것이고, 및/또는 제2 컴포넌트는 제1 컴포넌트와 관련된 동작 정보를 시그널링할 것이다. 이론상, 하나, 일부 또는 모든 컴포넌트들은 대량의 시그널링 정보를 "이송"할 수 있다; 그러나, 정보가 너무 많으면, "마킹"은 멀티미디어 콘텐츠의 품질을 과도하게 저하할 수 있다.
시그널링될 많은 정보가 다음 중 하나, 일부 또는 모두일 수 있다 :
- TI: 컴포넌트에 포함된 정보의 유형(특히, 컴포넌트는 그 컴포넌트와 관련되지 않지만 다른 컴포넌트와 관련된 시그널링 정보를 포함할 수 있음)
- SO : 컴포넌트(특히, 다른 컴포넌트)가 생성된 소스 또는 전송 매체
- PR : 컴포넌트(특히, 다른 컴포넌트)의 우선권
- PA : 컴포넌트(특히, 다른 컴포넌트)와 관련된 다양한 파라미터들
정보 TI는, 예를 들면, 다음 값들(전형적으로 이진 정보로 알맞게 코딩됨)을 포함할 수 있다:
- "우측 뷰"
- "좌측 뷰"
- "주 언어의 오디오"
- "보조 언어의 오디오"
- "자막들"
- "우측 뷰" + "주 언어의 오디오"
- "좌측 뷰" + "보조 언어의 오디오"
- … … …
정보 SO는, 예를 들면, 다음 값들(전형적으로 2진 정보로 알맞게 코팅됨)을 포함할 수 있다:
- "rtp://IP:PORT" 이는 다음을 의미한다:
어드레스 IP 및 포트 PORT로부터의 IP 상의 RTP 스트림
- "udp://IP:PORT" 이는 다음을 의미한다:
어드레스 IP 및 포트 PORT로부터의 IP 상의 UDP 스트림
- "dvb-t://FREQ,PID" 이는 다음을 의미한다:
주파수 FREQ 및 pid PID에서 DVB-T 스트림
- "dvb-s://SOURCE,FREQ,SRATE,POL,PID" 이는 다음을 의미한다:
주파수 FREQ, 심볼 레이트 SRATE, 성극(polarization) POL 및 pid PID에서 위성 SOURCE으로부터의 DVB-S
- "dvb-t2://FREQ,PID" 이는 다음을 의미한다:
주파수 FREQ 및 pid PID에서 DVB-T2 스트림
- "dvb-s2://SOURCE,FREQ,SRATE,POL,PID" 이는 다음을 의미한다:
주파수 FREQ, 심볼 레이트 SRATE, 성극 POL 및 pid PID에서 위성 SOURCE으로부터의 DVB-S2 스트림
- … … …
정보 PR(전형적으로 2진 정보로 적절하게 코딩됨)은, 멀티미디어 콘텐츠가 상이한 전송 매체들을 통하여 전송된 3개 이상의 컴포넌트들로 세분화되었고, 서브-컴포넌트들이 바람직하게 검색되어야 하는 수신기로 시그널링되어져야 할 경우, 유용할 수 있다. 예를 들면, 우측 뷰가 DVB-T 스트림을 통하여 전송되고, 좌측 뷰가 DVB-S 스트림 및 RTP 스트림을 통하여 전송되는 경우, 좌측 뷰를 수신하기 위하여, DVB-S 스트림을 사용하는 것이 바람직한 수신기로 시그널링하는 것이 유용할 수 있다; 전형적으로, 수신기가 DVB-S 스트림을 수신하도록(즉, 위성 신호들을 수신하도록) 적응되면, 그것은 송신기에 의해 시그널링된 우선권을 따르고, 그렇지 않으면, 그것은 RTP 스트림으로부터 좌측 뷰를 수신하거나, 그것을 전혀 수신하지 않을 것이다(예를 들면, 그것이 인터넷 인터페이스를 갖추지 않거나, 인터넷 연결이 활성화되지 않은 경우). 추가 예로서, 우측 뷰가 DVB-T 스트림을 통하여 전송되고, 좌측 뷰가 어드레스 IP1로부터의 RTP 스트림 및 어드레스 IP2로부터의 RTP 스트림 양자를 통하여 전송되는 경우, 수신기는 더 강력한 서버에 대응하기 때문에, 또는 서버는 사용자와 근접하기 때문에, 좌측 뷰를 수신하기 위해 어드레스 IP1로부터의 RTP 스트림을 이용하는 것이 바람직하다는 것을 수신기로 시그널링하는 것이 유용할 수 있다.
정보 PA는 많은 다른 목적들에 대하여 유용할 수 있다; 예를 들면, 정보 TI가 "주 언어의 오디오" 또는 "보조 언어의 오디오"를 시그널링하는 경우, 정보 PA는 어떤 언어가 그것인지(이탈리어 어에 대하여 "IT", 프랑스 어에 대하여 "FR", 영국 영어에 대하여 "GB", 등), 또는 다른 관련된 컴포넌트들의 수신이 페이 서비스(pay service)인지를 시그널링할 수 있다.
시그널링 목적을 위한 "워터마킹"은 하나, 양자 또는 모든 컴포넌트들 상에 반복적으로, 그리고 전형적으로 정기적인 또는 유사-정기적인 방식으로 이루어진다. 이런 마킹에 의해 운송되는 정보는 일정하게 유지되거나 아주 드물게 변동함이 주목되어야 한다; 따라서, 대응하는 "워터마킹" 시퀀스는 매우 긴 시간, 예를 들면, 몇 주, 몇 달 또는 심지어 몇 년 동안 반복되는 동일 마크로 구성될 수 있다.
"전송"되고 있는 정보의 유형에 관한 한, 시그널링 "워터마킹" 주파수는 유리하게 동기화 "워터마킹" 주파수보다 훨씬 낮을 수 있다; 예를 들면, 초당 한번 내지 분당 한번 사이에 포함된 주파수를 채택하는 것이 생각될 수 있다; 이런 선택은, 멀티미디어 콘텐츠의 품질이 과도하고 쓸데없이 저하되지 않을 것이기 때문에 그리고 수신기가 멀티미디어 콘텐츠의 수신된 컴포넌트들의 복잡하고 빠른 프로세싱을 수행하지 않아도 될 것이기 때문에, 유리하다.
본 발명은 "워터마킹" 시퀀스를 통한 동기화 마킹, 및 가능한 그리고 유리하게, 또한 "워터마킹" 시퀀스를 통한 시그널링 마킹을 적용하는 것을 제공함이 상기로부터 이해될 수 있다.
이들 동작들에 대하여, 동기화만에 대한 단일 "워터마킹" 시퀀스, 또는 동기화에 대한 "워터마킹" 시퀀스 및 시그널링에 대한 개별 "워터마킹" 시퀀스, 또는 동기화 및 시그널링 모두에 대한 단일 "워터마킹" 시퀀스가 사용될 수 있다; 도 5 및 도 6은 첫 번째 경우를 나타낸다; 도 7 및 도 8은 두 번째 경우를 나타낸다; 도 9 및 도 10은 세 번째 경우를 나타낸다.
도 6 및 도 8 및 도 10의 경우에서, 워터마크들은 도 5 및 도 7 및 도 9의 예들의 이해를 용이하게 하기 위해 가시적인(visible) 방식으로 이미지들 상에 겹쳐 놓인 그래픽 심볼들이지만, 바람직하게는, 마크들은 비가시적(invisible) 또는 거의 비가시적임은 주목할 만하다. 또한, 도 6 및 도 8 및 도 10에 도시된 위치들은 본 발명에 대한 한정으로 고려되지 않아야 한다; 비가시적 또는 거의 비가시적 마크들이 사용되는 경우, 마크들은 전형적으로 전체 이미지에 걸쳐 분배되고, 따라서 임의의 특정 위치와 관련되지 않는다.
도 5에서, "워터마킹"을 통하여 코딩될 정보의 구조는 간단히 데이터 필드 SI(예를 들면, 숫자, 알파벳 또는 문자숫자 부호들의 스트링)로 구성된다; 이런 구조는, 도 6에 개략적으로 도시된 바와 같이, 그의 상부 좌측 위치에서 비디오의 이미지들 ID/IS 상에 겹쳐 놓인, 예를 들면, 마크들 M1을 발생할 수 있다.
도 7에서, "워터마킹"을 통하여 코딩될 정보의 구조는 2개의 엘리먼트들로 구성된다; 제1 엘리먼트는 단지 하나의 데이터 필드 SI(예를 들면, 숫자, 알파벳 또는 문자숫자 부호들의 스트링)를 포함하고, 제2 엘리먼트는 데이터 필드들 TI, SO, PR, PA의 세트(예를 들면, 숫자, 알파벳 또는 문자숫자 부호들의 스트링)를 포함한다; 이런 구조는, 예를 들면, 제1 엘리먼트에 대한 마크들 M2 및 제2 엘리먼트에 대한 마크들 M3을 발생할 수 있다; 마크들 M2 및 마크들 M3 양자는, 도 8에 개략적으로 도시된 바와 같이, 그의 상부 좌측 위치에서 비디오의 이미지들 ID/IS 상에 겹쳐 놓이고 나란히 배열된다. 2개의 마크들이 상이한 시간 필요조건들을 갖기 때문에, 마크들 M2 및 마크들 M3 양자가 단지 몇몇 비디오 이미지들 상에 겹쳐 놓이고, 마크들 M2만이 대부분의 비디오 이미지들 상에 겹쳐 놓이는 것이 가능함이 기억되어야 한다. 이런 경우, 유리하게, 마크들 M2 및 M3은 동일 방식으로 이루어지고, 그래서 그것들은 동일 하드웨어 및/또는 소프트웨어 수단들에 의해 수신기에서 검출되고 디코딩될 수 있다.
도 9는 "워터마킹"을 통하여 코딩될 정보의 구조는 데이터 필드들 SI, TI, SO, PR, PA(예를 들면, 숫자, 알파벳 또는 문자숫자 부호들의 스트링)의 세트를 포함하는 단지 하나의 엘리먼트로 구성된다; 이런 구조는 도 10에 개략적으로 도시된 바와 같이, 그의 상부 좌측 위치에서 비디오의 이미지들 ID/IS 상에 겹쳐 놓인, 예를 들면, 마크들 M4를 발생할 수 있다.
도 6 및 도 8 및 도 10의 경우에, 워터마크들은 가시적인 방식으로 이미지들 상에 겹쳐 놓인 그래픽 심볼들이다; 바람직하게는, 그러나, 마크들은 비가시적 또는 거의 비가시적이다.
그럼에도 불구하고, 당업자들에게 알려진 바와 같이, "워터마킹" 기법들은 이런 종류의 물리적 및 가시적 합성에 한정되지 않고, 본 발명은 이런 점에서 제한이 없음이 주목되어야 한다.
일부 유형들의 디지털 신호들은 예를 들면, "메타데이터"와 같은 추가 정보/데이터를 포함할 수 있다; "워터마킹"은 정보/데이터가 신호에 의해 직접 전달되고, 또는 다시 말해, 그것이 신호 상에 겹쳐 놓이기 때문에 매우 상이하다.
"워터마킹" 기법들, 특히 "디지털 워터마킹" 기법들은 몇몇 특정 파라미터들; 강인성(robustness), 가시성(visibility), 용량 및 삽입 방법에 대하여 서로 상이하다.
강인성에 관한 한, 마킹은 연성(fragile), 반연성(semi-fragile) 또는 강인할 수 있다. 본 발명을 구현하기 위해, 더 많은 정보가 동일 합성으로 전송되기 때문에, 마킹이 연성 또는 반연성인 것이 바람직하다; 게다가, 본 발명의 마킹이 멀티미디어 콘텐츠의 오용을 방지함을 목적으로 하지 않기 때문에, 강인성은 필요하지 않다.
가시성에 관한 한, 마킹은 가시적 또는 비가시적 중 어느 하나일 수 있다. 본 발명을 구현하기 위해, 마킹이 비가시적 또는 거의 비가시적인 것이 바람직하고, 그래서 그것은 멀티미디어 콘텐츠를 방해하는 엘리먼트로서 사용자에 의해 인지될 수 없다.
용량(마크에 의해 코딩될 정보의 양)에 관한 한, 마킹은 "0-비트 길이" 또는 "1비트 워터마크" 또는 "n비트 워터마크" 또는 "멀티-비트 워터마크"일 수 있다. 본 발명을 구현하기 위해, 마크들이 멀티미디어 컴포넌트들의 재동기화를 보장하기에 적어도 충분한 정보를 코딩해야한다는 점에서, 마킹은 "n비트 워터마크" 또는 "멀티-비트 워터마크"의 유형을 갖는 것이 필요하다.
삽입 방법에 관한 한, 마킹은 필수적으로 "시간 영역" 또는 "주파수 영역" 중 어느 하나에 있을 수 있다. 본 발명을 구현하기 위해, 이런 유형의 삽입이 마크 비가시성을 촉진하기 때문에, 마킹은 "주파수 영역"에 있는 것이 바람직하다: 특히, 합성은 이미지가 더 "블러링(blurred)"되는(공간 및/또는 시간에서) 곳에 위치되어야 하고, 그래서, 그것은 덜 가시적이어야 한다.
도 1은 매우 개략적인 방식으로, 본 발명에 따른 수신 장치(ARX)의 실시예의 예를 도시한다.
장치(ARX)는 공중(air) DVB를 통하여 그리고 인터넷 IP로부터 신호들을 수신하도록 구성된다: 상기 공중의 경우, 장치들이 DVB 표준들(특히, DVB-T 및/또는 DVB-S) 중 적어도 하나에 따른 전기 신호들을 검출하기 때문에 DVB 심볼이 사용되는데, 상기 신호들은 공중에서 전파되고 장치(ARX)에 포함되거나 장치(ARX)에 연결된 안테나에 의해 수신된다.
장치(ARX)는 DVB 표준에 따른 전기 신호들에 동조하도록 구성되는 튜너 및 복조기들(A1)을 포함하는데, 이 신호들은 멀티미디어 콘텐츠(MM)의 제1 컴포넌트(C1)를 운송해야 한다; 상기 전기 신호들은, 특히, 그것들이 본 발명의 기법들에 따라 적합하게 마킹되었다는 매우 중요한 사실을 제외하면, 보통의 텔레비전 신호들이다.
장치(ARX)는 인터넷으로부터 전기 신호들을 수신하도록 구성된 인터페이스(A2)를 더 포함하는데, 이 신호들은 멀티미디어 콘텐츠(MM)의 제2 컴포넌트(C2)를 운송해야 한다; 애플리케이션 레벨들에서, 콘텐츠들이 단지 일방향으로만 전송되어야 하는 경우에도, 인터넷은 그것이 양방향 데이터 전송을 필요로 하는 방식으로 기능하기 때문에, 도면에서, 인터페이스(A2)는 양방향 화살표를 통하여 인터넷 IP에 연결된다.
튜너 및 복조기(A1) 및 인터페이스(A2)는 블록(A3)에 연결되며, 그것의 태스크는 시그널링 마킹을 검출하고 디코딩하며 그 다음 그에 따라 튜너 및 복조기(A1) 또는 인터페이스(A2)를 제어하는 것이다. 예를 들면, 튜너 및 변조기(A1)는 텔레비전 신호를 수신한다; 블록(A3)은 텔레비전 신호 상의 시그널링 마킹을 검출하고, 그것을 디코딩하며, 이런 텔레비전 신호에 포함되는 우측 뷰에 대응하는 좌측 뷰가 주어진 인터넷 어드레스의 서버로부터 그리고 어떤 파라미터들에 따라 획득될 수 있는지를 결정한다; 블록(A3)은 이런 인터넷 어드레스 및 이들 파라미터들을 인터페이스(A2)에 공급한다; 인터페이스(A2)는 이런 서버에 연결되고, 좌측 뷰의 수신이 개시된다.
제1 컴포넌트에 대응하는 신호들은 튜너 및 복조기(A1)에 의해 블록(A4)으로 전송된다; 제2 컴포넌트에 대응하는 신호들은 인터페이스(A2)에 의해 블록(A4)으로 전송된다.
블록(A4)의 기능은 이들 2개의 신호들 상의 동기화 마크들을 검출하고 그것들을 디코딩하는 것이다; 블록(A4)은 그 다음 이들 2개의 신호들을 추출된 동기화 정보와 함께 블록(A5)으로 핸드오버(hand over)한다.
블록(A5)의 기능은 이전 블록에 의해 추출된 동기화 정보에 기반하여 이들 2개의 신호들을 재동기화하는 것이다; 블록(A5)은 그 다음 이들 2개의 재동기화된 신호들을 블록(A6)으로 핸드오버한다.
블록(A6)의 기능은 사용자에게 보여주기 위해 준비된 멀티미디어 콘텐츠(MM)를 형성하기 위해 이들 2개의 재동기화된 신호들, 즉, 멀티미디어 콘텐츠의 2개의 컴포넌트들을 결합하는 것이다.

Claims (16)

  1. 멀티미디어 콘텐츠(MM)를 전송하기 위한 방법으로서,
    상기 멀티미디어 콘텐츠(MM)는 적어도 2개의 컴포넌트들(C1, C2)을 포함하고, 상기 적어도 2개의 컴포넌트들 중 제1 컴포넌트(C1)의 전송은 제1 전송 매체(DVB)를 통하여 발생하고, 상기 적어도 2개의 컴포넌트들 중 제2 컴포넌트(C2)의 전송은 제2 전송 매체(IP)를 통하여 발생하며, 상기 방법은,
    A) 상기 제1 컴포넌트가 전송되기 전에 미리결정된 제1 워터마크 시퀀스를 통하여 상기 제1 컴포넌트(C1)를 반복적으로 마킹하는(marking) 단계, 및
    B) 상기 제2 컴포넌트가 전송되기 전에 미리결정된 제2 워터마크 시퀀스를 통하여 상기 제2 컴포넌트(C2)를 반복적으로 마킹하는 단계
    를 포함하고,
    상기 제1 워터마크 시퀀스는 상기 제2 워터마크 시퀀스와 대응관계를 갖고,
    상기 제 1 워터마크 시퀀스의 워터마크들 및 상기 제 2 워터마크 시퀀스의 워터마크들 중 적어도 하나는 멀티미디어 콘텐츠 컴포넌트에 관한 동작 정보를 포함하고, 그리고
    상기 A 단계 및 B 단계는 상기 제1 컴포넌트(C1)로의 워터마크들의 삽입 및 상기 제2 컴포넌트(C2)로의 워터마크들의 삽입이 상기 제1 및 제2 컴포넌트들(C1, C2)의 대응하는 점들 또는 인스턴트들(instants)(ID1, IS1: ID2, IS2)에서 발생하도록 하는 방식으로 수행되는,
    멀티미디어 콘텐츠(MM)를 전송하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 제1 및 제2 컴포넌트들(C1, C2)은 서로 동기화되고, 상기 A 단계 및 B 단계는 상기 제1 및 제2 컴포넌트들이 수신시 재동기화(resynchronize)(A5)될 수 있도록 하는 방식으로 수행되는,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 A 단계 및 B 단계 중 적어도 하나는 상기 제2 및 제1 전송 매체들 중 적어도 하나를 시그널링(signal)(SO)하도록 수행되는,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    C) 상기 제1 컴포넌트가 전송되기 전에 미리결정된 제3 워터마크 시퀀스를 통하여 상기 제1 컴포넌트를 반복적으로 마킹하는 단계를 더 포함하고,
    상기 제3 워터마크 시퀀스의 워터마크들은 적어도 상기 제2 전송 매체를 시그널링하는,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  5. 제 4 항에 있어서,
    D) 상기 제2 컴포넌트가 전송되기 전에, 미리결정된 제4 워터마크 시퀀스를 통하여 상기 제2 컴포넌트를 반복적으로 마킹하는 단계를 더 포함하고,
    상기 제4 워터마크 시퀀스의 워터마크들은 적어도 상기 제1 전송 매체를 시그널링하는,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 미리결정된 제1 및 제2 워터마크 시퀀스들 중 적어도 하나의 워터마크 시퀀스의 워터마크들은 연성(fragile) 또는 반연성(semi-fragile) 유형인,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  7. 제 5 항에 있어서,
    상기 미리결정된 제1, 제2, 제3 및 제4 워터마크 시퀀스들 중 적어도 하나의 워터마크 시퀀스의 워터마크들은 비가시적인(invisible) 유형인,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  8. 제 5 항에 있어서,
    상기 미리결정된 제1, 제2, 제3 및 제4 워터마크 시퀀스들 중 적어도 하나의 워터마크 시퀀스의 워터마크들은 멀티-비트 유형인,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  9. 제 8 항에 있어서,
    상기 미리결정된 제1, 제2, 제3 및 제4 워터마크 시퀀스들 중 적어도 하나의 워터마크 시퀀스의 워터마크들은,
    멀티미디어 콘텐츠 컴포넌트의 유형을 시그널링하도록 구성되는 정보 필드(TI),
    멀티미디어 콘텐츠 컴포넌트의 전송 매체를 시그널링하도록 구성되는 정보 필드(SO),
    멀티미디어 콘텐츠 컴포넌트의 우선권을 시그널링하도록 구성되는 정보 필드(PR),
    멀티미디어 콘텐츠 컴포넌트의 파라미터를 시그널링하도록 구성되는 정보 필드(PA)
    중 하나 이상을 포함하는,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 제1 컴포넌트(C1)는 입체 콘텐츠의 우측 뷰들(views)(ID1, ID2)을 포함하고, 상기 제2 컴포넌트(C2)는 입체 콘텐츠의 좌측 뷰들(IS1, IS2)을 포함하는,
    멀티미디어 콘텐츠를 전송하기 위한 방법.
  11. 적어도 2개의 컴포넌트들(C1, C2)을 포함하는 멀티미디어 콘텐츠(MM)를 전송하기 위한 장치로서,
    상기 멀티미디어 콘텐츠(MM)를 상기 적어도 2개의 컴포넌트들(C1, C2)로 세분하기 위한 수단,
    제1 전송 매체(DVB)를 통하여 상기 적어도 2개의 컴포넌트들(C1, C2) 중 제1 컴포넌트(C1)를 전송하기 위한 수단,
    제2 전송 매체(IP)를 통하여 상기 적어도 2개의 컴포넌트들(C1, C2) 중 제2 컴포넌트(C2)를 전송하기 위한 수단
    을 포함하고,
    제 1 항 또는 제 2 항의 전송 방법에 따라 상기 적어도 2개의 컴포넌트들을 프로세싱하기 위한 수단을 더 포함하는,
    멀티미디어 콘텐츠를 전송하기 위한 장치.
  12. 멀티미디어 콘텐츠(MM)를 수신하기 위한 방법으로서,
    상기 멀티미디어 콘텐츠(MM)는 적어도 2개의 컴포넌트들(C1, C2)을 포함하고, 상기 적어도 2개의 컴포넌트들(C1, C2) 중 제1 컴포넌트(C1)의 수신은 제1 전송 매체(DVB)를 통하여 발생하며, 상기 적어도 2개의 컴포넌트들(C1, C2) 중 제2 컴포넌트(C2)의 수신은 제2 전송 매체(IP)를 통하여 발생하고, 상기 방법은,
    A) 상기 제1 컴포넌트(C1)로부터 제1 워터마크 시퀀스를 검출하는 단계(A4),
    B) 상기 제2 컴포넌트(C2)로부터 제2 워터마크 시퀀스를 검출하는 단계(A4),
    C) 상기 제 1 워터마크 시퀀스 및 상기 제 2 워터마크 시퀀스 중 적어도 하나를 프로세싱함으로써 멀티미디어 콘텐츠 컴포넌트에 관한 동작 정보를 추출하는 단계,
    D) 상기 제1 및 제2 워터마크 시퀀스들에 기반하여 상기 제1 및 제2 컴포넌트들(C1, C2)을 동기화하는 단계(A5), 및
    E) 상기 멀티미디어 콘텐츠(MM)를 형성하기 위해 상기 동기화된 제1 및 제2 컴포넌트들(C1, C2)을 결합하는 단계(A6)의 단계
    를 포함하는,
    멀티미디어 콘텐츠를 수신하기 위한 방법.
  13. 제 12 항에 있어서,
    F) 상기 제1 워터마크 시퀀스에 기반하여 상기 제2 전송 매체를 결정하는 단계(A3)를 더 포함하고,
    상기 F 단계는 상기 B, C, D 및 E 단계들 이전에 수행되는,
    멀티미디어 콘텐츠를 수신하기 위한 방법.
  14. 제 12 항에 있어서,
    G) 상기 제1 컴포넌트로부터 제3 워터마크 시퀀스를 검출하는 단계(A1),
    H) 상기 제3 워터마크 시퀀스에 기반하여 상기 제2 전송 매체를 결정하는 단계(A3)를 더 포함하고,
    상기 G 단계 및 H 단계는 상기 B, C, D 및 E 단계들 이전에 수행되는,
    멀티미디어 콘텐츠를 수신하기 위한 방법.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 동작 정보는:
    멀티미디어 콘텐츠 컴포넌트의 유형을 시그널링하도록 구성되는 정보 필드(TI),
    멀티미디어 콘텐츠 컴포넌트의 전송 매체를 시그널링하도록 구성되는 정보 필드(SO),
    멀티미디어 콘텐츠 컴포넌트의 우선권을 시그널링하도록 구성되는 정보 필드(PR),
    멀티미디어 콘텐츠 컴포넌트의 파라미터를 시그널링하도록 구성되는 정보 필드(PA)
    중 하나 이상을 포함하는,
    멀티미디어 콘텐츠를 수신하기 위한 방법.
  16. 적어도 2개의 컴포넌트들(C1, C2)을 포함하는 멀티미디어 콘텐츠(MM)를 수신하기 위한 장치로서,
    제1 전송 매체(DVB)를 통하여 상기 적어도 2개의 컴포넌트들 중 제1 컴포넌트(C1)를 수신하기 위한 수단(A1),
    제2 전송 매체(IP)를 통하여 상기 적어도 2개의 컴포넌트들 중 제2 컴포넌트(C2)를 수신하기 위한 수단(A2),
    상기 멀티미디어 콘텐츠(MM)를 형성하기 위해 상기 제1 및 제2 컴포넌트들(C1, C2)을 결합하기 위한 수단(A6)
    을 포함하고,
    제 12 항 내지 제 14 항 중 어느 한 항의 수신 방법에 따라 상기 적어도 2개의 컴포넌트들을 프로세싱하기 위한 수단들을 더 포함하는,
    멀티미디어 콘텐츠를 수신하기 위한 장치.
KR1020147005792A 2011-08-03 2012-08-02 멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들 KR101923110B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITTO2011A000723 2011-08-03
IT000723A ITTO20110723A1 (it) 2011-08-03 2011-08-03 Metodi ed apparecchi per trasmettere e per ricevere contenuti multimediali
PCT/IB2012/053967 WO2013018058A1 (en) 2011-08-03 2012-08-02 Methods and apparatuses for transmitting and for receiving multimedia contents

Publications (2)

Publication Number Publication Date
KR20140068923A KR20140068923A (ko) 2014-06-09
KR101923110B1 true KR101923110B1 (ko) 2018-11-28

Family

ID=44860477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147005792A KR101923110B1 (ko) 2011-08-03 2012-08-02 멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들

Country Status (9)

Country Link
US (1) US8964119B2 (ko)
EP (1) EP2740099B1 (ko)
JP (1) JP6091015B2 (ko)
KR (1) KR101923110B1 (ko)
CN (1) CN103975363B (ko)
IN (1) IN2014CN01543A (ko)
IT (1) ITTO20110723A1 (ko)
TW (1) TWI497442B (ko)
WO (1) WO2013018058A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US10523985B2 (en) * 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
US10419511B1 (en) 2016-10-04 2019-09-17 Zoom Video Communications, Inc. Unique watermark generation and detection during a conference
US10511885B2 (en) 2016-12-25 2019-12-17 Synamedia Limited Reinforced interleaved watermarking
CN110087098B (zh) 2018-01-26 2021-12-03 阿里巴巴（中国）有限公司 水印处理方法及装置
CN116915519B (zh) * 2023-09-14 2023-12-12 北京华云安信息技术有限公司 数据流溯源的方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259314A (ja) * 2002-02-26 2003-09-12 Nippon Hoso Kyokai <Nhk> 映像音声同期方法及びそのシステム
JP2004266497A (ja) * 2003-02-28 2004-09-24 Rikogaku Shinkokai ステレオ映像放送受信用セットトップボックスおよびステレオ映像放送方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836295B1 (en) * 1995-12-07 2004-12-28 J. Carl Cooper Audio to video timing measurement for MPEG type television systems
US6373960B1 (en) * 1998-01-06 2002-04-16 Pixel Tools Corporation Embedding watermarks into compressed video data
US6480902B1 (en) * 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
KR20040106439A (ko) * 2002-05-01 2004-12-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 워터마크들을 사용하는 멀티미디어 메시징 방법 및 시스템
CN100420306C (zh) * 2002-06-24 2008-09-17 皇家飞利浦电子股份有限公司 用于信号验证的稳健签名
JP4252324B2 (ja) * 2003-01-28 2009-04-08 三菱電機株式会社 受信機、放送送出装置及び補助コンテンツサーバ
JP4144416B2 (ja) * 2003-04-21 2008-09-03 沖電気工業株式会社 電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、及び電子透かし検出装置
KR100725387B1 (ko) * 2004-08-24 2007-06-08 삼성전자주식회사 데이터 방송에서의 전송 코드 세트 시그널링 방법 및 장치
ATE498873T1 (de) * 2006-10-05 2011-03-15 Vestel Elekt Sanayi Ve Ticaret Wasserzeichendetektionsverfahren für broadcasting
CN1946176A (zh) * 2006-10-11 2007-04-11 祝万昌 Dvb数据实时高速接收和传送的装置和方法
US8677437B2 (en) * 2008-05-07 2014-03-18 Evertz Microsystems Ltd. Systems and methods for calculating the delay between media signals
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
US8300881B2 (en) * 2009-09-16 2012-10-30 Broadcom Corporation Method and system for watermarking 3D content
JP5326972B2 (ja) * 2009-09-29 2013-10-30 沖電気工業株式会社 遠隔コミュニケーションシステムおよび送信装置
US8737679B2 (en) * 2011-07-12 2014-05-27 M/S. Amagi Media Labs Pvt. Ltd. System and method for seamless content insertion on network content using audio-video fingerprinting and watermarking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259314A (ja) * 2002-02-26 2003-09-12 Nippon Hoso Kyokai <Nhk> 映像音声同期方法及びそのシステム
JP2004266497A (ja) * 2003-02-28 2004-09-24 Rikogaku Shinkokai ステレオ映像放送受信用セットトップボックスおよびステレオ映像放送方法

Also Published As

Publication number Publication date
JP6091015B2 (ja) 2017-03-08
TWI497442B (zh) 2015-08-21
CN103975363A (zh) 2014-08-06
EP2740099B1 (en) 2019-09-25
US8964119B2 (en) 2015-02-24
IN2014CN01543A (ko) 2015-05-08
CN103975363B (zh) 2017-07-04
EP2740099A1 (en) 2014-06-11
ITTO20110723A1 (it) 2013-02-04
KR20140068923A (ko) 2014-06-09
JP2014524682A (ja) 2014-09-22
TW201320001A (zh) 2013-05-16
US20140168515A1 (en) 2014-06-19
WO2013018058A1 (en) 2013-02-07

Similar Documents

Publication Publication Date Title
KR101923110B1 (ko) 멀티미디어 콘텐츠들을 전송 및 수신하기 위한 방법들 및 장치들
CN101502107B (zh) 数字广播系统和数据处理的方法
KR101664424B1 (ko) 디지털 서비스 신호 처리 방법 및 장치
US8605725B2 (en) Channel hopping scheme for update of data for multiple services across multiple digital broadcast channels
JP2015531189A (ja) デジタルサービス信号処理方法及び装置
KR101923459B1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
GB2508451A (en) Broadcast service transmitting method, broadcast service receiving method and broadcast service receiving apparatus
JP6294503B2 (ja) 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
US20100266052A1 (en) Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system
KR20110069006A (ko) 스케일러블 비디오 코딩을 사용한 디지털 선형 ｔｖ 프로그래밍의 송신 방법
CN104902311A (zh) 一种音视频资源共享的方法、共享网关及系统
KR100910996B1 (ko) 디지털 멀티미디어 방송 시스템에서의 3차원 비디오 서비스제공 방법
US20070237106A1 (en) Systems and methods for delivering contents using broadcast networks
US10575051B2 (en) System and method for enhanced television and delivery of enhanced television content
EP1914993A2 (en) Digital broadcasting receiver and scrambled channel determination method thereof
KR101666246B1 (ko) 메타데이터 우선제공 증강방송 장치 및 방법
KR101700626B1 (ko) 멀티 앵글 뷰 처리장치
AU2017292438B2 (en) Transmission apparatus, reception apparatus, and data processing method
EP2458890B1 (en) Method to trace video content processed by a decoder
CN108605157A (zh) 用于同步视频和数据的方法和系统
KR100950771B1 (ko) 방송 신호의 송신 및 수신 방법
EP2464114A1 (en) Procedure and device for the transport of markers
WO2006035451A1 (en) Systems and methods for delivering contents using broadcast networks
JP5894759B2 (ja) 受信装置および受信プログラム
WO2009061150A2 (en) Apparatus and method for storing broadcasting content in dmb system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant