JP6091015B2 - マルチメディアコンテンツを送受信する方法および装置 - Google Patents

マルチメディアコンテンツを送受信する方法および装置 Download PDF

Info

Publication number
JP6091015B2
JP6091015B2 JP2014523433A JP2014523433A JP6091015B2 JP 6091015 B2 JP6091015 B2 JP 6091015B2 JP 2014523433 A JP2014523433 A JP 2014523433A JP 2014523433 A JP2014523433 A JP 2014523433A JP 6091015 B2 JP6091015 B2 JP 6091015B2
Authority
JP
Japan
Prior art keywords
component
watermark sequence
multimedia content
components
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014523433A
Other languages
English (en)
Other versions
JP2014524682A (ja
Inventor
サグリオッコ、セルジオ
シレオ、レオナルド
ボッリ、ロベルト
Original Assignee
シーエスピー − イノヴァツィオン ネル アイシーティー スカール
シーエスピー − イノヴァツィオン ネル アイシーティー スカール
エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー.
エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーエスピー − イノヴァツィオン ネル アイシーティー スカール, シーエスピー − イノヴァツィオン ネル アイシーティー スカール, エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー., エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー. filed Critical シーエスピー − イノヴァツィオン ネル アイシーティー スカール
Publication of JP2014524682A publication Critical patent/JP2014524682A/ja
Application granted granted Critical
Publication of JP6091015B2 publication Critical patent/JP6091015B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/0675Arrangements or circuits at the transmitter end for mixing the synchronising signals with the picture signal or mutually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0071Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、マルチメディアコンテンツを送受信する方法および装置に関する。
マルチメディアコンテンツの実現は、近年ユーザによる需要が高まってきており、今後もさらに大きくなるものと考えられる。
例えば、過去のテレビ信号は、オーディオ成分およびビデオ成分の2つの成分を含んでいた。その後、テレテキスト成分が追加された。最近では、特に衛星を介して放送されるテレビプログラムについて、複数の異なる言語に対応する複数のオーディオ成分が含まれている。現在、立体視(または「3D」)テレビプログラムが流行の兆しを見せており、簡単に言うと、視聴者が感じる3次元効果を改善するべく、右目および左目にわずかに異ならせた画像シーケンスを提供する。
マルチメディアコンテンツは一般的に、電気信号および/または光信号で送信されるべく生成される。例えば、新しい成分が追加されることでマルチメディアコンテンツが変化すれば、送信される信号も変化する。このため、このように修正された信号を受信する場合には、可能であれば、ユーザが所有する受信機を変更する必要がある。または、ユーザは新しい受信機を購入する必要がある。
また、多くのユーザが大抵「改善された」マルチメディアコンテンツを視聴することに興味が無いので、このようなユーザは「改善されていない」マルチメディアコンテンツの視聴を継続可能であることが重要であることを考慮しなければならない。例えば、「3Dテレビ」に関心のないユーザは依然として「2D」テレビを見ることが出来るようにしなければならない。
この点について、欧州連合が資金提供しているDIOMEDESプロジェクトは、2つの「配信チャネル」を介して「3Dコンテンツ」を放送する可能性を提案および研究している。つまり、第1のチャネルはDVB技術(誰もが視聴可能な「基本コンテンツ」用)を利用し、第2のチャネルがIP技術(「追加コンテンツ」用)を利用する。
しかし、このプロジェクトは、以下の点については特に取り組んでいない。
2つの「配信チャネル」を介して送信される信号の同期
2つの「配信チャネル」を介して送信される信号のための情報伝達
そして、当該プロジェクトは概して、電気通信規格は既に、これらの目的で利用され得るメカニズムを含んでいると結論付けている。
同期に関する限り、DIOMEDESプロジェクトは、各ビューのビデオPID(パケット識別子)、各トラックのオーディオPID、および、PCR(プログラムクロック基準)のPIDを利用すること、そして、同一クロックから開始することでPTS(プレゼンテーションタイムスタンプ)およびDTS(デコードタイムスタンプ)を生成することを提案している。しかし、これらの情報は、複数の異なる情報ストリーム間での同期を構築する目的で考案されたものではない。このため、精度は全く保証されない。さらに、情報ストリームは予想不可能な複数の異なる経路(特に、インターネットを介してトランスポートされるストリームの場合)をたどるので、これらの一方または両方は多重化および/または再符号化の処理が実施され、そのために、同一「トランスポートストリーム」の2つの「エレメンタリストリーム」であるという事実によって元々与えられた共通時間基準の記録が失われる可能性がある。
情報伝達に関する限り、DIOMEDESプロジェクトは、ETSI TS 102 809 V1.1.1規格に記載されている信号伝達メカニズムを利用することを提案している。これは、当該規格およびその信号伝達方式はDVB技術に具体的に言及するので、「基本コンテンツ」または「主要ストリーム」は必ずDVB技術を用いてトランスポートする必要があることを意味する。
本発明は、先行技術の問題を克服することを広義の目的とする。
上記および他の目的は、特許請求の範囲に記載されている技術的特徴を持つ、マルチメディアコンテンツを送受信する方法および装置によって実現される。特許請求の範囲は、本発明の不可欠な一部であるとする。
本発明の基本的概念は、少なくとも同期を目的として、好ましくは情報伝達の目的でも「ウォーターマーク」を利用することである。
「ウォーターマーク」は、マルチメディアコンテンツが不正に複製されないように保護すること、および/または、マルチメディアコンテンツの正当性を保証することを目的として電子機器産業において一般的に利用されている公知の技術である。これらの用途では、マーク(例えば、ロゴ)をコンテンツ(例えば、画像または画像シーケンス、つまり、ビデオ)に重畳する。当該マークは、実際の情報コンテンツを含まないか、より正確には、「基準マーク」と比較すると存在し認識可能であるというだけの理由で、価値を持つ。コンテンツ(画像、ビデオ)毎に、異なるマークを利用することができるが、複数のコンテンツの著者または所有者は全てのコンテンツについて同じマークを利用することが多い。このような技術は、例えば、「Techniques and Applications of Digital Watermarking and Content Protection」(マイケル・アーノルド(Michael Arnold)、マーティン・シューマッカー(Martin Schmucker)、スティーブン・ディー・ウォルツセン(Stephen D. Wolthusen)、2003年7月にアーテック・ハウス(Artech House)より出版)という書籍により詳しく記載されている。
これに代えて、本発明は、追加情報をマルチメディアコンテンツに追加、より正確には、重畳するために「ウォーターマーク」を利用する。さらに、複数の異なるマークがマルチメディアコンテンツ毎に必要になる。
一般的な目標は、少なくとも2つの成分を含むマルチメディアコンテンツを少なくとも2つの対応する送信媒体を介して送信することである。
本発明の通常(しかし、これに限定されない)の用途によると、媒体は、DVB−T技術を利用するテレビチャネル、および、IP技術を利用するインターネット接続であってよい。これに代えて、例えば、2つの媒体は2つのテレビチャネルまたは2つのインターネット接続であってもよい。
本発明の通常(しかし、これに限定されない)の用途によると、2つの成分のうち第1の成分は、従来のテレビ信号(このため、2Dビデオ、オーディオおよびテレテキストという3つのサブ成分を含む)であり、2つの成分のうち第2の成分は、2Dビデオ信号である。2つの2Dビデオ成分が、全体として、3Dビデオを形成する。
第1の成分は第1の媒体を介して送信され、第2の成分は第2の媒体を介して送信される。
2つの送信媒体を利用しているので、受信機は一般的に、完全に同期させて2つの成分を送信しても、両方の成分を同期したタイミングでは受信しない。
受信機が受信した2つの成分を再同期できるようにするべく、送信システムは以下のステップを実行する必要がある。
A)第1の成分を送信する前に、第1の所定の「ウォーターマーク」シーケンスを利用して第1の成分を繰り返しマーキングするステップ、および、
B)第2の成分を送信する前に、第2の所定の「ウォーターマーク」シーケンスを利用して第2の成分を繰り返しマーキングするステップ
第1の「ウォーターマーク」シーケンスは、第2の「ウォーターマーク」シーケンスと対応関係があり(立体視ビデオという最も単純で最も典型的なケースでは、これら2つのシーケンスは同一である)、ステップAおよびBは、実のところ、第1の成分への「ウォーターマーク」の挿入および第2の成分への「ウォーターマーク」の挿入は、第1および第2の成分の対応するポイントまたはタイミングで行われるものと考えられる。
最初の送信機から最後の受信機までの経路においてこれら2つの成分に何が起ころうとも同期情報は成分自体に埋め込まれたままなので、最後の受信機による再同期は常に可能である。このため、送信媒体には特に制限は課されない。受信した成分の再同期の可能性を危うくし得るのはノイズおよび障害のみであるが、これらの要素は受信した成分を含むコンテンツの品質にも直接影響を与える。
少なくとも2つの成分を含み上述したように送信されるマルチメディアコンテンツを受信するべく、受信機は、少なくとも2つの成分のうち第1の成分を第1の送信媒体から受信し、少なくとも2つの成分のうち第2の成分を第2の送信媒体から受信する。さらに、以下の処理も行う。
A)第1の成分から第1の「ウォーターマーク」シーケンスを検出
B)第2の成分から第2の「ウォーターマーク」シーケンスを検出
C)第1および第2の「ウォーターマーク」シーケンスに基づき、第1および第2の成分を同期
D)同期させた第1および第2の成分を組み合わせて、マルチメディアコンテンツを形成
本発明の技術的特徴および利点は、添付図面を参照しつつ行う以下の説明からより明らかとなる。添付図面は以下の通りである。
本発明に係る受信装置の実施形態例を示すブロック図である。 本発明に係る送信方法を理解するための第1の図である。 マルチメディアコンテンツの2つの成分が同期されない、本発明に係る受信方法を理解するための第1の図である。 マルチメディアコンテンツの2つの成分が再同期されている、本発明に係る受信方法を理解するための第2の図である。 本発明に係る、「ウォーターマーク」によって符号化されるべき第1の情報構造を示す図である。 図5の情報構造に基づく「ウォーターマーク」の実施形態を示す図である(画像は実寸に即していない)。 本発明に係る、「ウォーターマーク」によって符号化されるべき第2の情報構造を示す図である。 図7の情報構造に基づく「ウォーターマーク」の実施形態を示す図である(画像は実寸に即していない)。 本発明に係る、「ウォーターマーク」によって符号化されるべき第3の情報構造を示す図である。 図9の情報構造に基づく「ウォーターマーク」の実施形態を示す図である(画像は実寸に即していない)。
本明細書および図面は共に、単に説明のために考慮されるので、本発明を限定するものではない。本発明は、他の実施形態および異なる実施形態に応じて実施されるとしてもよい。
以下で考慮する単純なケースに基づき、本発明の理解を深められたい。
以下で図2を参照すると、対応するオーディオを含む3Dビデオに対応するマルチメディアコンテンツがあると仮定される。3Dビデオは、右目用の画像シーケンス(図2ではID1、ID2、・・・と示す)を含む第1の2Dビデオ(図2ではV1と示す)と、左目用の画像シーケンス(図2ではIS1、IS2、・・・と示す)を含む第2の2Dビデオとを有する。2つの2Dビデオ(図2ではV1およびV2と示す)およびオーディオ(図2ではAUと示す)は、互いに同期させる。特に、2つの2Dビデオに関する限り、第1の2Dビデオの一の画像は、第2の2Dビデオの一の画像に対応し(逆もまた真)、3次元効果を実現する。図2において、第1の矢印はビデオV1の一の画像ID1とビデオV2の画像IS1との対応関係を表し、第2の矢印は、ビデオV1の一の画像ID2とビデオV2の一の画像IS2との対応関係を表す。
また、第1の2DビデオV1およびオーディオAUは、組み合わせられるとマルチメディア信号の第1の成分C1を構成し、従来のテレビ信号を用いて、特に、DVB−T技術を利用して送信され(図2でDVBと示す矢印によって概略的に示す)、第2の2Dビデオは、マルチメディア信号の第2の成分C2を構成し、インターネットを介して送信される(図2でIPと示す矢印によって概略的に示す)と仮定する。この場合、テレビ信号は、アンテナに接続されている一の無線送信機、より多くの場合には、複数の無線送信機を介して放送される。一方、第2の2Dビデオは、例えば、インターネットに接続されているサーバのおかげで、インターネットを介して利用可能となる。
本発明はさらに、上述した場合よりも複雑なケース、例えば、マルチメディアコンテンツが3つ以上の成分に分割されている場合、および/または、3個以上の送信媒体が利用されている場合、および/または、各成分が複数のサブ成分を含む場合(例えば、各成分がビデオ信号およびオーディオ信号を含み得る)にも応用可能である。
ビデオV1およびオーディオAUを含むテレビ信号を放送する無線送信機、および、ビデオV2を提供するサーバの上流には、マルチメディアコンテンツを受信して、C1およびC2の2つの成分に分割し、C1およびC2を送信機およびサーバに転送するデバイスを設けることが必要である。当該デバイス、送信機およびサーバから成る一群(任意のその他の構成要素も含む)は、マルチメディアコンテンツを送信する大型の装置またはシステムと見なされる。
テレビ信号は、電気通信規格で定義されているように、ビデオおよびオーディオ、特に、ビデオV1およびオーディオAUの同期を維持して、ユーザ端末に向けて同時にトランスポートする。
しかし、ユーザ端末でビデオV1およびV2を受信した後に再同期させて所望の三次元効果を再構成させるためには、特定の送信方法を実行する必要がある。
本発明によると、マルチメディアコンテンツの第1の成分C1、特に、ビデオV1の画像は、第1の所定の「ウォーターマーク」シーケンスでマーキングされ、マルチメディアコンテンツの第2の成分C2、特に、ビデオV2の画像は、第2の所定の「ウォーターマーク」シーケンスでマーキングされ、成分C1およびC2はこの後、選択した送信媒体を介して送信される。
図2のケースでは、画像は第1の成分および第2の成分の両方においてマーキングされているので、2つの「ウォーターマーク」シーケンスは、説明を簡単にするべく、同一であってもよい(または、互いに対応し、特に、正確な対応関係を持つとしてよい)。
「ウォーターマーク」シーケンスのマークは、2つのビデオに含まれる画像同士を一意的に対応付けることが可能でなければならず、このような対応付けとして可能な例を1つ挙げると、マーク自体を利用して符号化した情報によって与えられる対応付けがある。
単純且つ効果的な解決方法は、数字、例えば、2桁、3桁、4桁またはそれ以上の桁の数字を利用する方法である。桁数は、2つの成分間の最も長い受信遅延を考慮して選択するのが有益であるとしてよい(平均で20ms毎に一の画像が送信される場合、2桁を利用して、2つの成分間で最大2秒間の遅延を補償することが可能である)。
第1の例によると、画像ID1(図2を参照のこと)を「44」という数に対応するマークでマーキングすると、対応する画像IS1(図2を参照のこと)は数「44」に対応するマークでマーキングされるとしてよい。次の画像ID2(図2を参照のこと)は数「17」に対応するマークでマーキングされる場合、対応する画像IS2(図2を参照のこと)は数「17」に対応するマークでマーキングされる。マークは必ずしもビデオの正しく完全な受信内容を再ソートまたは検証するために利用されないので、数の順序は重要ではないが、時間的に近接する2つの画像に一の同一の数字が対応付けられないように、予め決定する必要があると理解される。インターネットを介して送信されるビデオに関する限り、画像の受信順序は送信順序に対応しない場合があり、特にシーケンスの維持が保証されない送信媒体については、「ウォーターマーク」が画像の再ソートに役立つことに留意されたい(RTPおよびTCPネットワークプロトコルは既にデータパケット再ソートメカニズムを含むことに留意されたい)。
第2の例によると、画像ID1(図2を参照のこと)が数字「1044」に対応するマークでマーキングされている場合、対応する画像IS1(図2を参照のこと)は数字「2044」に対応するマークでマーキングされるとしてよく、次の画像ID2(図2を参照のこと)が数字「1017」に対応するマークでマーキングされている場合、対応する画像IS2(図2を参照のこと)は数字「2017」に対応するマークでマーキングされているとしてよい。この場合、数字は異なるが対応関係があることが分かる。つまり、最初の桁が段階的に増えていくビデオ番号を示し(「1」がビデオV1を示し、「2」はビデオV2を示す)、残りの3桁が同期を目的として利用される。
他の例によると、英数字列を「ウォーターマーク」として利用するとしてよい。上記の桁または英数字列はさらに、送信システムが現在利用しているウォーターマーク技術に応じて送信機が埋め込み受信機が抽出するウォーターマークデータを認識可能なように受信側でも既知である限りにおいて、バイナリ形式、または、情報理論に応じて有効と見なされる任意のその他の対応する表示形式で表現されるとしてもよい。送信機および受信機は共に、送信システムが現在利用しているウォーターマーク技術に準拠している。
同期を目的として、上述した2つの例でそうしているように全ての画像にマーキングするのは回避するとしてよい。例えば、一の画像にマーキングすると、次の画像にはマーキングしないとしてよい。または、一の画像にマーキングすると、次の2つの画像にはマーキングしないとしてもよい。言うまでもなく、良好に同期させるためには、マークは非常に高頻度で挿入することが推奨される。
以下では、マルチメディアコンテンツを受信する装置、特に、「3Dテレビ」を受信する装置内において受信時に何が行われるかを考える。
図3は、このような受信機がテレビアンテナ(矢印DVB)およびインターネット(矢印IP)から画像を受信する場合を概略的に示す図である。受信機は、第1の送信媒体から受信する第1の成分のための第1のバッファB1と、第2の送信媒体から受信する第2の成分のための第2のバッファB2とを備え、バッファB1には6個の右画像があり、各右画像は数字「15」、「16」、「17」、「18」、「19」、「20」に対応するマークでマーキングされており、バッファB2には6個の左画像があり、各左画像は数字「13」、「14」、「15」、「16」、「17」、「18」に対応するマークでマーキングされていると本明細書では仮定される。図3はさらに、「15」でマーキングされている右画像は「13」でマーキングされている左画像と同時に受信されたという事実、「16」でマーキングされている右画像は「14」でマーキングされている左画像と同時に受信されたという事実、「17」でマーキングされている右画像は「15」でマーキングされている左画像と同時に受信されたという事実、「18」でマーキングされている右画像は「16」でマーキングされている左画像と同時に受信されたという事実、「19」でマーキングされている右画像は「17」でマーキングされている左画像と同時に受信されたという事実、「20」でマーキングされている右画像は「18」でマーキングされている左画像と同時に受信されたという事実を示す(この場合、段階的に増える数字を利用したが、上述したように、本発明にとって有益であっても厳密にこの構成にする必要はない)。
本発明に係る受信機は、両方の成分で「ウォーターマーク」を検出し、検出したマークをデコードし、上述した数字(または、より一般的には、情報)を取得し、これらの数字に基づいて、これら2つの成分を再同期させるとしてよい。
図4は、再同期させた2つの成分に含まれる画像を幾つか示す図である。同期プロセスは必ずしも受信機のメモリ内でデータを移動させることを必要とせず、ポインタを利用してこれらのポインタに情報を格納して、再構成時においてバッファを適切に読出できるようにすることで十分であることに留意されたい。これはまさに図4に図示している内容である。
今まで、マルチメディアコンテンツを送信する装置(本発明に係る)およびマルチメディアコンテンツを受信する装置(本発明に係る)は、マルチメディアコンテンツがどのように分割されて成分を生成するか(例えば、第1の成分は一のオーディオおよび一のビデオを含み、第2の成分は一のビデオのみを含む)、どの送信媒体が関係しているか(例えば、デジタル地上テレビインフラストラクチャおよびインターネット)、および、どのパラメータが関係しているか、つまり、どのパラメータを送受信しなければならないか(例えば、無線周波数およびインターネットアドレス)を知っていると仮定してきた。
第1の選択肢によると、このような動作情報(またはその一部)は、送信装置および受信装置の一方または両方に事前に設定しておく。マルチメディアコンテンツの分割および送信媒体の特定に関しては、これら2つの要素が多かれ少なかれハードウェアに対して直接的な影響を持つので、この第1の選択肢も同様に妥当であるとしてよい。
より柔軟性のある第2の選択肢によると、このような動作情報(またはその一部)は、それぞれにユーザによって送信装置および受信装置の一方または両方に設定される。この第2の選択肢は送信装置(またはシステム)にとっては典型的なものであるが、受信装置にとっては不都合がある。これは、通常は一般人である受信装置のユーザが、技術的なスキルを必要とする情報を取り扱う必要が出てくるためである。
第3の選択肢によると、受信装置(本発明に係る)のみに利用され得る選択肢であるが、上記の動作情報(またはその一部)は、受信している信号から当該装置が直接取得する。容易に理解されるであろうが、この第3の選択肢は特に有益である。
このような情報伝達は、「ウォーターマーク」によって、つまり、送信すべきマルチメディアコンテンツのうち1つ、一部または全ての成分を、符号化するためのマークでマーキングすることで、提供されることが有益であるとしてよい。こうして、受信機に対して、マルチメディアコンテンツの成分を特定、受信および処理することにより、マルチメディアコンテンツを再構成させるための動作情報を示す通知する。
特に、2つの成分に分割されるマルチメディアコンテンツという単純なケースでは、第1の成分は第2の成分に関する動作情報を示し、および/または、第2の成分は第1の成分に関する動作情報を通知する。理論上は、一の、一部の、または、全ての成分は、多量の伝達情報を「トランスポート」することが可能であるが、情報が多過ぎると、「マーキング」することによりマルチメディアコンテンツの品質低下が過剰になる場合がある。
伝達すべき情報は、以下のうち一の、一部または全ての情報であるとしてよい。
TI:成分に含まれる情報の種類(特に、一の成分は当該成分に無関係であるが他の成分に関係する伝達情報を含むとしてよい)
SO:成分の送信元であるソースまたは送信媒体(特に、他の成分)
PR:成分の優先度(特に、他の成分)
PA:成分に関連するさまざまなパラメータ(特に、他の成分)
TI情報は、例えば、以下の値(通常はバイナリ情報に適宜符号化される)を含むとしてよい。
「右ビュー」
「左ビュー」
「主要言語のオーディオ」
「第二言語のオーディオ」
「字幕」
「右ビュー」+「主要言語のオーディオ」
「左ビュー」+「第二言語のオーディオ」等
SO情報は、例えば、以下の値(通常はバイナリ情報に適宜符号化される)を含むとしてよい。
「rtp://IP:PORT」:アドレスIPおよびポートPORTからのIP上のRTPストリーム
「udp://IP:PORT」:アドレスIPおよびポートPORTからのIP上のUDPストリーム
「dvb−t://FREQ,PID」:周波数FREQおよびpidPIDにおけるDVB−Tストリーム
「dvb−s://SOURCE,FREQ,SRATE,POL,PID」:周波数FREQ、シンボルレートSRATE、偏波POLおよびpidPIDにおける衛星SOURCEからのDVB−S
「dvb−t2://FREQ,PID」:周波数FREQおよびpidPDにおけるDVB−T2ストリーム
「dvb−s2://SOURCE,FREQ,SRATE,POL,PID」:衛星SOURCEからの、周波数FREQ、シンボルレートSRATE、偏波POLおよびpidPIDにおけるDVB−S2ストリーム等
PR情報(通常はバイナリ情報に適宜符号化される)は、マルチメディアコンテンツが、複数の異なる送信媒体を介して送信される3つ以上の成分に分割され、サブ成分を取得するのが好ましい受信機に対して通知することを希望する場合に有用であるとしてよい。例えば、右ビューがDVB−Tストリームを介して送信され、左ビューがDVB−SストリームおよびRTPストリームの両方を用いて送信される場合、受信機に対して、左ビューを受信するためにはDVB−Sストリームを利用することが好ましいと通知することが有益であるとしてよい。通常は、受信機がDVB−Sストリームを受信する(つまり、衛星信号を受信する)場合、送信機が通知する優先度に従う。そうでない場合には、左ビューをRTPストリームから受信するか、または、何も受信しない(例えば、インターネットインターフェースを備えていない場合、または、インターネット接続がアクティブでない場合)別の例を挙げると、右ビューがDVB−Tストリームを介して送信され、左ビューがアドレスIP1からのRTPストリームおよびアドレスIP2からのRTPストリームの両方を介して送信される場合、受信機に対して、左ビューを受信するためにはアドレスIP1からのRTPストリームを利用することが、より強力なサーバに対応するので、または、サーバがユーザにより近いので、好ましい旨を通知することが有益であるとしてよい。
PA情報は他の多くの目的についても有用であるとしてよい。例えば、TI情報が「主要言語のオーディオ」または「第二言語のオーディオ」を示す場合、PA情報はどの言語であるかを通知するとしてよく(「IT」がイタリア語、「FR」がフランス語、「GB」がイギリス英語等)、または、他の対応する成分の受信は有料サービスであるか否かを通知するとしてよい。
情報伝達を目的とした「ウォーターマーク」は、一の、両方の、または、全ての成分で繰り返し行われ、通常は定期的または準定期的に行われる。このマークによって伝達される情報は一定のままであるか、または、ほとんど変化しないことに留意されたい。このため、対応する「ウォーターマーク」シーケンスは、非常に長い期間、例えば、数週間、数カ月または数年にわたって繰り返される同じマークで構成されるとしてよい。
「トランスポート」される情報の種類に関する限り、信号伝達用の「ウォーターマーク」の周波数は同期用の「ウォーターマーク」の周波数よりもはるかに低いことが有益であるとしてよい。例えば、1秒当たり1回と1分当たり1回との間の周波数を採用することに想到するであろう。このような選択は、マルチメディアコンテンツの品質が過剰に、そして、無駄に低下しないので、そして、受信機が受信したマルチメディアコンテンツの成分に対して複雑で高速な処理を実行する必要がないので有益である。
上記から、本発明は「ウォーターマーク」シーケンスを用いて同期のためのマーキングを付与し、可能性として有益には、「ウォーターマーク」シーケンスを用いて情報伝達のためのマーキングも付与すると理解される。
これらの処理について、同期のみを目的として一の「ウォーターマーク」シーケンスを利用するとしてもよく、または、同期のために一の「ウォーターマーク」シーケンスを使用し情報伝達のために一の別の「ウォーターマーク」シーケンスを利用するか、または、同期および情報伝達の両方を目的として一の「ウォーターマーク」シーケンスを利用するとしてもよい。図5および図6は、一番目のケースに言及しており、図7および図8は二番目のケースに言及しており、図9および図10は三番目のケースに言及している。
図6および図8および図10の場合において、ウォーターマークは、図5および図7および図9の例を理解し易くするべく、見えるように画像に重畳されているグラフィックシンボルであるが、マークは不可視または略不可視であることが好ましいことに留意されたい。また、図6および図8および図10に示す位置は、本発明を限定するものと考慮すべきではない。不可視または略不可視のマークを利用する場合、マークは通常、画像全体に分散させ、任意の特定の位置に対応付けられない。
図5において、「ウォーターマーク」を用いて符号化されるべき情報の構造は単に、データフィールドSI(例えば、数字、アルファベットまたは英数字の列)で構成される。このような構造は、図6に概略的に示すように、例えば、左上の角においてビデオの画像ID/ISに重畳されたマークM1を生成させ得る。
図7において、「ウォーターマーク」を用いて符号化すべき情報の構造は、2つの要素から構成される。第1の要素は、一のデータフィールドSIのみを含み(例えば、数字、アルファベットまたは英数字の列)、第2の要素は、複数のデータフィールドTI、SO、PR、PA(例えば、数字、アルファベットまたは英数字の列)を含むデータフィールド群を含む。このような構造は、例えば、第1の要素についてマークM2を生成させ、第2の要素についてマークM3を生成させ得る。マークM2およびマークM3はともに、図8に概略的に示すように、ビデオの画像ID/ISの左上の角に重畳され、横方向に隣り合うように配置される。これら2個のマークは時間要件が異なるので、マークM2およびマークM3の両方が重畳されるのは数個のビデオ画像に過ぎず、大半のビデオ画像にはマークM2のみを重畳することが可能であることに留意されたい。この場合、マークM2およびマークM3は、同一の方法で作成されるので、同一のハードウェア手段および/またはソフトウェア手段を用いて受信機で検出およびデコードを行うことができるという利点がある。
図9において、「ウォーターマーク」を用いて符号化すべき情報の構造は、複数のデータフィールドSI、TI、SO、PR、PA(例えば、数字、アルファベットまたは英数字の列)を含むデータフィールド群を含む一の要素のみから構成される。このような構造は、図10に概略的に示すように、例えば、ビデオの画像ID/ISの左上の角に重畳されるマークM4を生成させ得る。
図6および図8および図10の場合には、ウォーターマークは、見えるように画像に重畳されるグラフィックシンボルである。しかし、マークは不可視または略不可視であることが好ましい。
しかし、当業者には公知であるが、「ウォーターマーク」技術はこの種類の物理的および視覚的な重畳に限定されず、本発明はこの点について限定されるものではないことに留意されたい。
一部の種類のデジタル信号は、追加情報/データ、例えば、「メタデータ」等を含むとしてよい。「ウォーターマーク」は、情報/データが信号によって直接搬送される、つまり、信号に重畳されるので、大きく異なるものである。
複数の「ウォーターマーク」技術、特に、「デジタルウォーターマーク」技術は、数個の特徴的なパラメータ、例えば、ロバスト性、可視性、容量、挿入方法に関して互いに異なる。
ロバスト性に関する限り、マーキングはフラジャイル、セミフラジャイルまたはロバストであってよい。本発明を実施する場合、同じように重畳する場合にトランスポートされる情報が多くなるので、マーキングがフラジャイルまたはセミフラジャイルであることが好ましい。他の理由としては、本発明に係るマーキングは不正利用からマルチメディアコンテンツを保護することを目的としていないので、ロバスト性は必要ないためである。
可視性に関する限り、マーキングは可視または不可視であってよい。本発明を実施する場合、マーキングは不可視または略不可視で、マルチメディアコンテンツを乱す要素とユーザに認識されないようにすることが好ましい。
容量(マークによって符号化される情報の量)に関する限り、マークは、「ビット長がゼロ」、または、「1ビットのウォーターマーク」または「nビットのウォーターマーク」または「マルチビットウォーターマーク」であってよい。本発明を実施する場合、マークは「nビットのウォーターマーク」または「マルチビットのウォーターマーク」であることが必要である。マークは、少なくともマルチメディアの成分を再同期するために十分な情報を符号化しなければならない。
挿入方法に関する限り、マークは実質的に、「時間ドメイン」または「周波数ドメイン」に含まれるとしてよい。本発明を実施する場合、マークは「周波数ドメイン」に含まれることが好ましい。これは、この種類の挿入方法によって、マークの不可視性が高まるためである。実際には、重畳を行うのは、画像が相対的に「ぼやけている」(空間的および/または時間的)箇所とすべきである。これによって、マークが見えにくくなる。
図1は、非常に簡略化されているが、本発明に係る受信装置ARXの実施形態例を示す図である。
装置ARXは、電波DVBを介して、そして、インターネットIPから信号を受信する。電波の場合、複数のDVB規格(特に、DBV−Tおよび/またはDVB−S)のうち少なくとも1つに準拠する電気信号を当該装置が検出するので、DVBシンボルが利用されてきた。このような電気信号は、電波によって伝搬し、装置ARXに含まれているか、または、装置ARXに接続されているアンテナによって受信される。
装置ARXは、DVB規格に応じた電気信号にチューニングするチューナーおよび復調器A1を備える。この電気信号は、マルチメディアコンテンツMMの第1の成分C1をトランスポートするものとする。当該電気信号は、特に、非常に重要なことであるが、本発明の教示内容に応じて適宜マーキングされている通常のテレビ信号である。
装置ARXはさらに、インターネットから電気信号を受信するインターフェースA2を備える。当該電気信号は、マルチメディアコンテンツMMの第2の成分C2をトランスポートするものとする。図中では、インターフェースA2は、インターネットは、アプリケーションレベルでコンテンツを一方向のみに送信しなければならない場合であっても、動作時に二方向のデータ送信を必要とするので、双方向の矢印でインターネットIPに接続されている。
チューナーおよび復調器A1、ならびに、インターフェースA2は、ブロックA3に接続されている。ブロックA3の機能は、情報伝達のためのマーキングを検出およびデコードして、これに応じてチューナーおよび復調器A1、または、インターフェースA2を制御することにある。例えば、チューナーおよび復調器A1は、テレビ信号を受信し、ブロックA3は当該テレビ信号上に情報伝達用のマークを検出し、当該マークをデコードし、このテレビ信号に含まれる右ビューに対応する左ビューは、所定のインターネットアドレスにおいて、特定のパラメータに応じて、サーバから取得することが可能であると判断する。ブロックA3は、このインターネットアドレスおよびこれらのパラメータをインターフェースA2に供給し、インターフェースA2はこのサーバに接続して左ビューの受信を開始する。
第1の成分に対応する信号は、チューナーおよび復調器A1によってブロックA4へと送信される。第2の成分に対応する信号は、インターフェースA2によってブロックA4へと送信される。
ブロックA4の機能は、これら2つの信号において同期マークを検出してデコードすることにある。ブロックA4はこの後、これら2つの信号を、抽出した同期情報と共に、ブロックA5へと渡す。
ブロックA5の機能は、これら2つの信号を、先行ブロックが抽出した同期情報に基づいて再同期させることにある。ブロックA5はこの後、再同期させたこれら2つの信号をブロックA6に渡す。
ブロックA6の機能は、再同期させたこれら2つの信号、つまり、マルチメディアコンテンツを形成する2つの成分を組み合わせて、ユーザに提示すべきマルチメディアコンテンツMMを形成することにある。

Claims (24)

  1. マルチメディアコンテンツを送信する方法であって、
    前記マルチメディアコンテンツは、少なくとも2つの成分を含み、前記少なくとも2つの成分のうち第1の成分の送信は、第1の送信媒体で行われ、前記少なくとも2つの成分のうち第2の成分の送信は第2の送信媒体で行われ、前記方法は、
    前記第1の成分を送信する前に、第1の所定のウォーターマークシーケンスを用いて、前記第1の成分を繰り返しマーキングするステップAと、
    前記第2の成分を送信する前に、第2の所定のウォーターマークシーケンスを用いて、前記第2の成分を繰り返しマーキングするステップBと
    を備え、
    前記第1の所定のウォーターマークシーケンスは、前記第2の所定のウォーターマークシーケンスと対応関係を持ち、
    前記第1の所定のウォーターマークシーケンスのウォーターマークおよび前記第2の所定のウォーターマークシーケンスのウォーターマークの少なくとも一方は、マルチメディアコンテンツ成分に関する動作情報を含み、
    前記ステップAおよび前記ステップBは、前記第1の成分へのウォーターマークの挿入および前記第2の成分へのウォーターマークの挿入が、前記第1の成分および前記第2の成分の対応するポイントまたはタイミングで行われるように実行される
    方法。
  2. 前記第1の成分および前記第2の成分は、互いに同期しており、
    前記ステップAおよび前記ステップBは、前記第1の成分および前記第2の成分は受信時に再同期させるように、実行される請求項1に記載の方法。
  3. マルチメディアコンテンツを送信する方法であって、
    前記マルチメディアコンテンツは、少なくとも2つの成分を含み、前記少なくとも2つの成分のうち第1の成分の送信は、第1の送信媒体で行われ、前記少なくとも2つの成分のうち第2の成分の送信は第2の送信媒体で行われ、前記方法は、
    前記第1の成分を送信する前に、第1の所定のウォーターマークシーケンスを用いて、前記第1の成分を繰り返しマーキングするステップAと、
    前記第2の成分を送信する前に、第2の所定のウォーターマークシーケンスを用いて、前記第2の成分を繰り返しマーキングするステップBと、
    前記第1の成分を送信する前に、第3の所定のウォーターマークシーケンスを利用して、前記第1の成分を繰り返しマーキングするステップCと
    を備え、
    前記第1の所定のウォーターマークシーケンスは、前記第2の所定のウォーターマークシーケンスと対応関係を持ち、
    前記第3の所定のウォーターマークシーケンスのウォーターマークは、マルチメディアコンテンツ成分に関する動作情報を含み、
    前記ステップAおよび前記ステップBは、前記第1の成分へのウォーターマークの挿入および前記第2の成分へのウォーターマークの挿入が、前記第1の成分および前記第2の成分の対応するポイントまたはタイミングで行われるように実行される
    方法。
  4. 前記第1の成分および前記第2の成分は、互いに同期しており、
    前記ステップAおよび前記ステップBは、前記第1の成分および前記第2の成分は受信時に再同期させるように、実行される請求項3に記載の方法。
  5. 前記ステップAおよび前記ステップBの少なくとも一方は、前記動作情報として前記第2の送信媒体および前記第1の送信媒体の少なくとも一方を通知するように実行される請求項1から4のいずれか一項に記載の方法。
  6. 前記第1の成分を送信する前に、第3の所定のウォーターマークシーケンスを利用して、前記第1の成分を繰り返しマーキングするステップCをさらに備え、
    前記第3の所定のウォーターマークシーケンスのウォーターマークは、前記動作情報として少なくとも前記第2の送信媒体を通知する請求項1または2に記載の方法。
  7. 前記第2の成分を送信する前に、第4の所定のウォーターマークシーケンスを利用して、前記第2の成分を繰り返しマーキングするステップDをさらに備え、
    前記第4の所定のウォーターマークシーケンスのウォーターマークは、前記動作情報として少なくとも前記第1の送信媒体を通知する請求項に記載の方法。
  8. 前記第1の所定のウォーターマークシーケンスおよび前記第2の所定のウォーターマークシーケンスの少なくとも一方のウォーターマークは、フラジャイルタイプまたはセミフラジャイルタイプである請求項1からのいずれか一項に記載の方法。
  9. 前記第1の所定のウォーターマークシーケンス、前記第2の所定のウォーターマークシーケンス、および前記第3の所定のウォーターマークシーケンスのうち少なくとも1つのウォーターマークは、不可視タイプである請求項に記載の方法。
  10. 前記第1の所定のウォーターマークシーケンス、前記第2の所定のウォーターマークシーケンス、前記第3の所定のウォーターマークシーケンス、および前記第4の所定のウォーターマークシーケンスのうち少なくとも1つのウォーターマークは、不可視タイプである請求項に記載の方法。
  11. 前記第1の所定のウォーターマークシーケンス、前記第2の所定のウォーターマークシーケンス、および前記第3の所定のウォーターマークシーケンスのうち少なくとも1つのウォーターマークは、マルチビットタイプである請求項に記載の方法。
  12. 前記第1の所定のウォーターマークシーケンス、前記第2の所定のウォーターマークシーケンス、前記第3の所定のウォーターマークシーケンス、および前記第4の所定のウォーターマークシーケンスのうち少なくとも1つのウォーターマークは、マルチビットタイプである請求項に記載の方法。
  13. 前記第1の所定のウォーターマークシーケンスおよび/または前記第2の所定のウォーターマークシーケンスおよび/または前記第3の所定のウォーターマークシーケンスのウォーターマークは、前記動作情報として、
    マルチメディアコンテンツ成分のタイプを通知する情報フィールド、
    マルチメディアコンテンツ成分の送信媒体を通知する情報フィールド、
    マルチメディアコンテンツ成分の優先度を通知する情報フィールド、
    マルチメディアコンテンツ成分のパラメータを通知する情報フィールド
    のうち1以上を含む請求項11に記載の方法。
  14. 前記第1の所定のウォーターマークシーケンスおよび/または前記第2の所定のウォーターマークシーケンスおよび/または前記第3の所定のウォーターマークシーケンスおよび/または前記第4の所定のウォーターマークシーケンスのウォーターマークは、前記動作情報として、
    マルチメディアコンテンツ成分のタイプを通知する情報フィールド、
    マルチメディアコンテンツ成分の送信媒体を通知する情報フィールド、
    マルチメディアコンテンツ成分の優先度を通知する情報フィールド、
    マルチメディアコンテンツ成分のパラメータを通知する情報フィールド
    のうち1以上を含む請求項12に記載の方法。
  15. 前記第1の成分は立体視コンテンツの右ビューを含み、前記第2の成分は前記立体視コンテンツの左ビューを含む請求項1から14のいずれか一項に記載の方法。
  16. 少なくとも2つの成分を含むマルチメディアコンテンツを送信する装置であって、
    前記マルチメディアコンテンツを前記少なくとも2つの成分に分割する手段と、
    第1の送信媒体を介して前記少なくとも2つの成分のうち第1の成分を送信する手段と、
    第2の送信媒体を介して前記少なくとも2つの成分のうち第2の成分を送信する手段と
    を備え、
    請求項1から15のいずれか一項に記載の方法に応じて、前記少なくとも2つの成分を処理する手段をさらに備える
    装置。
  17. マルチメディアコンテンツを受信する方法であって、
    前記マルチメディアコンテンツは、少なくとも2つの成分を含み、前記少なくとも2つの成分のうち第1の成分の受信は、第1の送信媒体を介して実行され、
    前記少なくとも2つの成分のうち第2の成分の受信は、第2の送信媒体を介して実行され、
    前記方法は、
    前記第1の成分から第1のウォーターマークシーケンスを検出する段階Aと、
    前記第2の成分から第2のウォーターマークシーケンスを検出する段階Bと、
    前記第1のウォーターマークシーケンスおよび前記第2のウォーターマークシーケンスの少なくとも一方を処理してマルチメディアコンテンツ成分に関する動作情報を抽出する段階Cと、
    前記第1のウォーターマークシーケンス前記第2のウォーターマークシーケンス、および前記動作情報に基づいて前記第1の成分および前記第2の成分を同期させる段階と、
    同期させた前記第1の成分および前記第2の成分を組み合わせ、前記動作情報に基づいて前記マルチメディアコンテンツを形成する段階
    を備える方法。
  18. 前記第1のウォーターマークシーケンスを処理して前記動作情報を抽出する段階Fと、
    前記段階Fで抽出した前記動作情報に基づいて、前記第2の送信媒体を決定する段階をさらに備え、
    前記段階Fおよび前記段階Gは、前記段階B、前記段階および前記段階よりも前に実行される請求項17に記載の方法。
  19. 前記第1の成分から第3のウォーターマークシーケンスを検出する段階と、
    前記第3のウォーターマークシーケンスを処理して前記動作情報を抽出する段階Iと、
    前記段階Iで抽出した前記動作情報に基づいて前記第2の送信媒体を決定する段階
    をさらに備え、
    前記段階H、前記段階Iおよび前記段階Jは、前記段階B、前記段階および前記段階よりも前に実行され、好ましくは前記段階Aよりも前に実行される
    請求項17に記載の方法。
  20. マルチメディアコンテンツを受信する方法であって、
    前記マルチメディアコンテンツは、少なくとも2つの成分を含み、前記少なくとも2つの成分のうち第1の成分の受信は、第1の送信媒体を介して実行され、
    前記少なくとも2つの成分のうち第2の成分の受信は、第2の送信媒体を介して実行され、
    前記方法は、
    前記第1の成分から第1のウォーターマークシーケンスを検出する段階Aと、
    前記第2の成分から第2のウォーターマークシーケンスを検出する段階Bと、
    前記第1の成分から第3のウォーターマークシーケンスを検出する段階Cと、
    前記第3のウォーターマークシーケンスを処理してマルチメディアコンテンツ成分に関する動作情報を抽出する段階Dと、
    前記第1のウォーターマークシーケンス、前記第2のウォーターマークシーケンス、および前記動作情報に基づいて前記第1の成分および前記第2の成分を同期させる段階Eと、
    同期させた前記第1の成分および前記第2の成分を組み合わせ、前記動作情報に基づいて前記マルチメディアコンテンツを形成する段階Fと
    を備える方法。
  21. 前記第1のウォーターマークシーケンスを処理して前記動作情報を抽出する段階Gと、
    前記段階Gで抽出した前記動作情報に基づいて、前記第2の送信媒体を決定する段階Hをさらに備え、
    前記段階Gおよび前記段階Hは、前記段階B、前記段階Eおよび前記段階Fよりも前に実行される請求項20に記載の方法。
  22. 前記段階Dで抽出した前記動作情報に基づいて、前記第2の送信媒体を決定する段階Iをさらに備え、
    前記段階C、前記段階Dおよび前記段階Iは、前記段階B、前記段階Eおよび前記段階Fよりも前に実行され、好ましくは前記段階Aよりも前に実行される
    請求項20に記載の方法。
  23. 前記動作情報は、
    マルチメディアコンテンツ成分のタイプを通知する情報フィールド、
    マルチメディアコンテンツ成分の送信媒体を通知する情報フィールド、
    マルチメディアコンテンツ成分の優先度を通知する情報フィールド、
    マルチメディアコンテンツ成分のパラメータを通知する情報フィールド、
    のうち1以上を含む、請求項17から22のいずれか一項に記載の方法。
  24. 少なくとも2つの成分を含むマルチメディアコンテンツを受信する装置であって、
    第1の送信媒体を介して前記少なくとも2つの成分のうち第1の成分を受信する手段と、
    第2の送信媒体を介して前記少なくとも2つの成分のうち第2の成分を受信する手段と、
    前記第1の成分および前記第2の成分を組み合わせて前記マルチメディアコンテンツを形成する手段と
    を備え、
    請求項17から23のいずれか一項に記載の方法にしたがって、前記少なくとも2つの成分を処理する手段をさらに備える
    装置。
JP2014523433A 2011-08-03 2012-08-02 マルチメディアコンテンツを送受信する方法および装置 Expired - Fee Related JP6091015B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT000723A ITTO20110723A1 (it) 2011-08-03 2011-08-03 Metodi ed apparecchi per trasmettere e per ricevere contenuti multimediali
ITTO2011A000723 2011-08-03
PCT/IB2012/053967 WO2013018058A1 (en) 2011-08-03 2012-08-02 Methods and apparatuses for transmitting and for receiving multimedia contents

Publications (2)

Publication Number Publication Date
JP2014524682A JP2014524682A (ja) 2014-09-22
JP6091015B2 true JP6091015B2 (ja) 2017-03-08

Family

ID=44860477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014523433A Expired - Fee Related JP6091015B2 (ja) 2011-08-03 2012-08-02 マルチメディアコンテンツを送受信する方法および装置

Country Status (9)

Country Link
US (1) US8964119B2 (ja)
EP (1) EP2740099B1 (ja)
JP (1) JP6091015B2 (ja)
KR (1) KR101923110B1 (ja)
CN (1) CN103975363B (ja)
IN (1) IN2014CN01543A (ja)
IT (1) ITTO20110723A1 (ja)
TW (1) TWI497442B (ja)
WO (1) WO2013018058A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2815582B1 (en) 2012-01-09 2019-09-04 ActiveVideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
EP3005712A1 (en) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Overlay rendering of user interface onto source video
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US10523985B2 (en) * 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
US10419511B1 (en) 2016-10-04 2019-09-17 Zoom Video Communications, Inc. Unique watermark generation and detection during a conference
US10511885B2 (en) 2016-12-25 2019-12-17 Synamedia Limited Reinforced interleaved watermarking
CN110087098B (zh) 2018-01-26 2021-12-03 阿里巴巴(中国)有限公司 水印处理方法及装置
CN116915519B (zh) * 2023-09-14 2023-12-12 北京华云安信息技术有限公司 数据流溯源的方法、装置、设备以及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836295B1 (en) * 1995-12-07 2004-12-28 J. Carl Cooper Audio to video timing measurement for MPEG type television systems
US6373960B1 (en) * 1998-01-06 2002-04-16 Pixel Tools Corporation Embedding watermarks into compressed video data
US6480902B1 (en) * 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
JP2003259314A (ja) * 2002-02-26 2003-09-12 Nippon Hoso Kyokai <Nhk> 映像音声同期方法及びそのシステム
RU2004135074A (ru) * 2002-05-01 2005-05-10 Конинклейке Филипс Электроникс Н.В. (Nl) Способ и система обмена мультимедийными сообщениями с использованием водяных знаков
AU2003241108A1 (en) * 2002-06-24 2004-01-06 Koninklijke Philips Electronics N.V. Robust signature for signal authentication
JP4252324B2 (ja) * 2003-01-28 2009-04-08 三菱電機株式会社 受信機、放送送出装置及び補助コンテンツサーバ
JP2004266497A (ja) * 2003-02-28 2004-09-24 Rikogaku Shinkokai ステレオ映像放送受信用セットトップボックスおよびステレオ映像放送方法
JP4144416B2 (ja) * 2003-04-21 2008-09-03 沖電気工業株式会社 電子透かし埋め込み方法、電子透かし検出方法、電子透かし埋め込み装置、及び電子透かし検出装置
KR100725387B1 (ko) * 2004-08-24 2007-06-08 삼성전자주식회사 데이터 방송에서의 전송 코드 세트 시그널링 방법 및 장치
DE602006020195D1 (de) * 2006-10-05 2011-03-31 Vestel Elekt Sanayi Ve Ticaret Wasserzeichendetektionsverfahren für broadcasting
CN1946176A (zh) * 2006-10-11 2007-04-11 祝万昌 Dvb数据实时高速接收和传送的装置和方法
US8677437B2 (en) * 2008-05-07 2014-03-18 Evertz Microsystems Ltd. Systems and methods for calculating the delay between media signals
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
US8300881B2 (en) * 2009-09-16 2012-10-30 Broadcom Corporation Method and system for watermarking 3D content
JP5326972B2 (ja) * 2009-09-29 2013-10-30 沖電気工業株式会社 遠隔コミュニケーションシステムおよび送信装置
US8737679B2 (en) * 2011-07-12 2014-05-27 M/S. Amagi Media Labs Pvt. Ltd. System and method for seamless content insertion on network content using audio-video fingerprinting and watermarking

Also Published As

Publication number Publication date
CN103975363B (zh) 2017-07-04
ITTO20110723A1 (it) 2013-02-04
EP2740099A1 (en) 2014-06-11
KR20140068923A (ko) 2014-06-09
TWI497442B (zh) 2015-08-21
IN2014CN01543A (ja) 2015-05-08
TW201320001A (zh) 2013-05-16
WO2013018058A1 (en) 2013-02-07
EP2740099B1 (en) 2019-09-25
KR101923110B1 (ko) 2018-11-28
US20140168515A1 (en) 2014-06-19
US8964119B2 (en) 2015-02-24
JP2014524682A (ja) 2014-09-22
CN103975363A (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
JP6091015B2 (ja) マルチメディアコンテンツを送受信する方法および装置
JP6617809B2 (ja) 復号装置、復号方法、および復号用プログラム
US20200221160A1 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
WO2018008429A1 (ja) 送信装置、受信装置、及び、データ処理方法
KR101700626B1 (ko) 멀티 앵글 뷰 처리장치
JP7505613B2 (ja) 送信装置、及び送信方法
JP2012249073A (ja) 復号化装置、符号化装置、符号化復号化システム、デスクランブラ、スクランブラ、及びそれらの方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170206

R150 Certificate of patent or registration of utility model

Ref document number: 6091015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees