JP6091015B2 - マルチメディアコンテンツを送受信する方法および装置 - Google Patents

Description

本発明は、マルチメディアコンテンツを送受信する方法および装置に関する。

マルチメディアコンテンツの実現は、近年ユーザによる需要が高まってきており、今後もさらに大きくなるものと考えられる。

例えば、過去のテレビ信号は、オーディオ成分およびビデオ成分の２つの成分を含んでいた。その後、テレテキスト成分が追加された。最近では、特に衛星を介して放送されるテレビプログラムについて、複数の異なる言語に対応する複数のオーディオ成分が含まれている。現在、立体視（または「３Ｄ」）テレビプログラムが流行の兆しを見せており、簡単に言うと、視聴者が感じる３次元効果を改善するべく、右目および左目にわずかに異ならせた画像シーケンスを提供する。

マルチメディアコンテンツは一般的に、電気信号および／または光信号で送信されるべく生成される。例えば、新しい成分が追加されることでマルチメディアコンテンツが変化すれば、送信される信号も変化する。このため、このように修正された信号を受信する場合には、可能であれば、ユーザが所有する受信機を変更する必要がある。または、ユーザは新しい受信機を購入する必要がある。

また、多くのユーザが大抵「改善された」マルチメディアコンテンツを視聴することに興味が無いので、このようなユーザは「改善されていない」マルチメディアコンテンツの視聴を継続可能であることが重要であることを考慮しなければならない。例えば、「３Ｄテレビ」に関心のないユーザは依然として「２Ｄ」テレビを見ることが出来るようにしなければならない。

この点について、欧州連合が資金提供しているＤＩＯＭＥＤＥＳプロジェクトは、２つの「配信チャネル」を介して「３Ｄコンテンツ」を放送する可能性を提案および研究している。つまり、第１のチャネルはＤＶＢ技術（誰もが視聴可能な「基本コンテンツ」用）を利用し、第２のチャネルがＩＰ技術（「追加コンテンツ」用）を利用する。

しかし、このプロジェクトは、以下の点については特に取り組んでいない。
２つの「配信チャネル」を介して送信される信号の同期
２つの「配信チャネル」を介して送信される信号のための情報伝達
そして、当該プロジェクトは概して、電気通信規格は既に、これらの目的で利用され得るメカニズムを含んでいると結論付けている。

同期に関する限り、ＤＩＯＭＥＤＥＳプロジェクトは、各ビューのビデオＰＩＤ（パケット識別子）、各トラックのオーディオＰＩＤ、および、ＰＣＲ（プログラムクロック基準）のＰＩＤを利用すること、そして、同一クロックから開始することでＰＴＳ（プレゼンテーションタイムスタンプ）およびＤＴＳ（デコードタイムスタンプ）を生成することを提案している。しかし、これらの情報は、複数の異なる情報ストリーム間での同期を構築する目的で考案されたものではない。このため、精度は全く保証されない。さらに、情報ストリームは予想不可能な複数の異なる経路（特に、インターネットを介してトランスポートされるストリームの場合）をたどるので、これらの一方または両方は多重化および／または再符号化の処理が実施され、そのために、同一「トランスポートストリーム」の２つの「エレメンタリストリーム」であるという事実によって元々与えられた共通時間基準の記録が失われる可能性がある。

情報伝達に関する限り、ＤＩＯＭＥＤＥＳプロジェクトは、ＥＴＳＩ ＴＳ １０２ ８０９ Ｖ１．１．１規格に記載されている信号伝達メカニズムを利用することを提案している。これは、当該規格およびその信号伝達方式はＤＶＢ技術に具体的に言及するので、「基本コンテンツ」または「主要ストリーム」は必ずＤＶＢ技術を用いてトランスポートする必要があることを意味する。

本発明は、先行技術の問題を克服することを広義の目的とする。

上記および他の目的は、特許請求の範囲に記載されている技術的特徴を持つ、マルチメディアコンテンツを送受信する方法および装置によって実現される。特許請求の範囲は、本発明の不可欠な一部であるとする。

本発明の基本的概念は、少なくとも同期を目的として、好ましくは情報伝達の目的でも「ウォーターマーク」を利用することである。

「ウォーターマーク」は、マルチメディアコンテンツが不正に複製されないように保護すること、および／または、マルチメディアコンテンツの正当性を保証することを目的として電子機器産業において一般的に利用されている公知の技術である。これらの用途では、マーク（例えば、ロゴ）をコンテンツ（例えば、画像または画像シーケンス、つまり、ビデオ）に重畳する。当該マークは、実際の情報コンテンツを含まないか、より正確には、「基準マーク」と比較すると存在し認識可能であるというだけの理由で、価値を持つ。コンテンツ（画像、ビデオ）毎に、異なるマークを利用することができるが、複数のコンテンツの著者または所有者は全てのコンテンツについて同じマークを利用することが多い。このような技術は、例えば、「Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｗａｔｅｒｍａｒｋｉｎｇ ａｎｄ Ｃｏｎｔｅｎｔ Ｐｒｏｔｅｃｔｉｏｎ」（マイケル・アーノルド（Ｍｉｃｈａｅｌ Ａｒｎｏｌｄ）、マーティン・シューマッカー（Ｍａｒｔｉｎ Ｓｃｈｍｕｃｋｅｒ）、スティーブン・ディー・ウォルツセン（Ｓｔｅｐｈｅｎ Ｄ． Ｗｏｌｔｈｕｓｅｎ）、２００３年７月にアーテック・ハウス（Ａｒｔｅｃｈ Ｈｏｕｓｅ）より出版）という書籍により詳しく記載されている。

これに代えて、本発明は、追加情報をマルチメディアコンテンツに追加、より正確には、重畳するために「ウォーターマーク」を利用する。さらに、複数の異なるマークがマルチメディアコンテンツ毎に必要になる。

一般的な目標は、少なくとも２つの成分を含むマルチメディアコンテンツを少なくとも２つの対応する送信媒体を介して送信することである。

本発明の通常（しかし、これに限定されない）の用途によると、媒体は、ＤＶＢ−Ｔ技術を利用するテレビチャネル、および、ＩＰ技術を利用するインターネット接続であってよい。これに代えて、例えば、２つの媒体は２つのテレビチャネルまたは２つのインターネット接続であってもよい。

本発明の通常（しかし、これに限定されない）の用途によると、２つの成分のうち第１の成分は、従来のテレビ信号（このため、２Ｄビデオ、オーディオおよびテレテキストという３つのサブ成分を含む）であり、２つの成分のうち第２の成分は、２Ｄビデオ信号である。２つの２Ｄビデオ成分が、全体として、３Ｄビデオを形成する。

第１の成分は第１の媒体を介して送信され、第２の成分は第２の媒体を介して送信される。

２つの送信媒体を利用しているので、受信機は一般的に、完全に同期させて２つの成分を送信しても、両方の成分を同期したタイミングでは受信しない。

受信機が受信した２つの成分を再同期できるようにするべく、送信システムは以下のステップを実行する必要がある。
Ａ）第１の成分を送信する前に、第１の所定の「ウォーターマーク」シーケンスを利用して第１の成分を繰り返しマーキングするステップ、および、
Ｂ）第２の成分を送信する前に、第２の所定の「ウォーターマーク」シーケンスを利用して第２の成分を繰り返しマーキングするステップ
第１の「ウォーターマーク」シーケンスは、第２の「ウォーターマーク」シーケンスと対応関係があり（立体視ビデオという最も単純で最も典型的なケースでは、これら２つのシーケンスは同一である）、ステップＡおよびＢは、実のところ、第１の成分への「ウォーターマーク」の挿入および第２の成分への「ウォーターマーク」の挿入は、第１および第２の成分の対応するポイントまたはタイミングで行われるものと考えられる。

最初の送信機から最後の受信機までの経路においてこれら２つの成分に何が起ころうとも同期情報は成分自体に埋め込まれたままなので、最後の受信機による再同期は常に可能である。このため、送信媒体には特に制限は課されない。受信した成分の再同期の可能性を危うくし得るのはノイズおよび障害のみであるが、これらの要素は受信した成分を含むコンテンツの品質にも直接影響を与える。

少なくとも２つの成分を含み上述したように送信されるマルチメディアコンテンツを受信するべく、受信機は、少なくとも２つの成分のうち第１の成分を第１の送信媒体から受信し、少なくとも２つの成分のうち第２の成分を第２の送信媒体から受信する。さらに、以下の処理も行う。
Ａ）第１の成分から第１の「ウォーターマーク」シーケンスを検出
Ｂ）第２の成分から第２の「ウォーターマーク」シーケンスを検出
Ｃ）第１および第２の「ウォーターマーク」シーケンスに基づき、第１および第２の成分を同期
Ｄ）同期させた第１および第２の成分を組み合わせて、マルチメディアコンテンツを形成

本発明の技術的特徴および利点は、添付図面を参照しつつ行う以下の説明からより明らかとなる。添付図面は以下の通りである。
本発明に係る受信装置の実施形態例を示すブロック図である。 本発明に係る送信方法を理解するための第１の図である。 マルチメディアコンテンツの２つの成分が同期されない、本発明に係る受信方法を理解するための第１の図である。 マルチメディアコンテンツの２つの成分が再同期されている、本発明に係る受信方法を理解するための第２の図である。 本発明に係る、「ウォーターマーク」によって符号化されるべき第１の情報構造を示す図である。 図５の情報構造に基づく「ウォーターマーク」の実施形態を示す図である（画像は実寸に即していない）。 本発明に係る、「ウォーターマーク」によって符号化されるべき第２の情報構造を示す図である。 図７の情報構造に基づく「ウォーターマーク」の実施形態を示す図である（画像は実寸に即していない）。 本発明に係る、「ウォーターマーク」によって符号化されるべき第３の情報構造を示す図である。 図９の情報構造に基づく「ウォーターマーク」の実施形態を示す図である（画像は実寸に即していない）。

本明細書および図面は共に、単に説明のために考慮されるので、本発明を限定するものではない。本発明は、他の実施形態および異なる実施形態に応じて実施されるとしてもよい。

以下で考慮する単純なケースに基づき、本発明の理解を深められたい。

以下で図２を参照すると、対応するオーディオを含む３Ｄビデオに対応するマルチメディアコンテンツがあると仮定される。３Ｄビデオは、右目用の画像シーケンス（図２ではＩＤ１、ＩＤ２、・・・と示す）を含む第１の２Ｄビデオ（図２ではＶ１と示す）と、左目用の画像シーケンス（図２ではＩＳ１、ＩＳ２、・・・と示す）を含む第２の２Ｄビデオとを有する。２つの２Ｄビデオ（図２ではＶ１およびＶ２と示す）およびオーディオ（図２ではＡＵと示す）は、互いに同期させる。特に、２つの２Ｄビデオに関する限り、第１の２Ｄビデオの一の画像は、第２の２Ｄビデオの一の画像に対応し（逆もまた真）、３次元効果を実現する。図２において、第１の矢印はビデオＶ１の一の画像ＩＤ１とビデオＶ２の画像ＩＳ１との対応関係を表し、第２の矢印は、ビデオＶ１の一の画像ＩＤ２とビデオＶ２の一の画像ＩＳ２との対応関係を表す。

また、第１の２ＤビデオＶ１およびオーディオＡＵは、組み合わせられるとマルチメディア信号の第１の成分Ｃ１を構成し、従来のテレビ信号を用いて、特に、ＤＶＢ−Ｔ技術を利用して送信され（図２でＤＶＢと示す矢印によって概略的に示す）、第２の２Ｄビデオは、マルチメディア信号の第２の成分Ｃ２を構成し、インターネットを介して送信される（図２でＩＰと示す矢印によって概略的に示す）と仮定する。この場合、テレビ信号は、アンテナに接続されている一の無線送信機、より多くの場合には、複数の無線送信機を介して放送される。一方、第２の２Ｄビデオは、例えば、インターネットに接続されているサーバのおかげで、インターネットを介して利用可能となる。

本発明はさらに、上述した場合よりも複雑なケース、例えば、マルチメディアコンテンツが３つ以上の成分に分割されている場合、および／または、３個以上の送信媒体が利用されている場合、および／または、各成分が複数のサブ成分を含む場合（例えば、各成分がビデオ信号およびオーディオ信号を含み得る）にも応用可能である。

ビデオＶ１およびオーディオＡＵを含むテレビ信号を放送する無線送信機、および、ビデオＶ２を提供するサーバの上流には、マルチメディアコンテンツを受信して、Ｃ１およびＣ２の２つの成分に分割し、Ｃ１およびＣ２を送信機およびサーバに転送するデバイスを設けることが必要である。当該デバイス、送信機およびサーバから成る一群（任意のその他の構成要素も含む）は、マルチメディアコンテンツを送信する大型の装置またはシステムと見なされる。

テレビ信号は、電気通信規格で定義されているように、ビデオおよびオーディオ、特に、ビデオＶ１およびオーディオＡＵの同期を維持して、ユーザ端末に向けて同時にトランスポートする。

しかし、ユーザ端末でビデオＶ１およびＶ２を受信した後に再同期させて所望の三次元効果を再構成させるためには、特定の送信方法を実行する必要がある。

本発明によると、マルチメディアコンテンツの第１の成分Ｃ１、特に、ビデオＶ１の画像は、第１の所定の「ウォーターマーク」シーケンスでマーキングされ、マルチメディアコンテンツの第２の成分Ｃ２、特に、ビデオＶ２の画像は、第２の所定の「ウォーターマーク」シーケンスでマーキングされ、成分Ｃ１およびＣ２はこの後、選択した送信媒体を介して送信される。

図２のケースでは、画像は第１の成分および第２の成分の両方においてマーキングされているので、２つの「ウォーターマーク」シーケンスは、説明を簡単にするべく、同一であってもよい（または、互いに対応し、特に、正確な対応関係を持つとしてよい）。

「ウォーターマーク」シーケンスのマークは、２つのビデオに含まれる画像同士を一意的に対応付けることが可能でなければならず、このような対応付けとして可能な例を１つ挙げると、マーク自体を利用して符号化した情報によって与えられる対応付けがある。

単純且つ効果的な解決方法は、数字、例えば、２桁、３桁、４桁またはそれ以上の桁の数字を利用する方法である。桁数は、２つの成分間の最も長い受信遅延を考慮して選択するのが有益であるとしてよい（平均で２０ｍｓ毎に一の画像が送信される場合、２桁を利用して、２つの成分間で最大２秒間の遅延を補償することが可能である）。

第１の例によると、画像ＩＤ１（図２を参照のこと）を「４４」という数に対応するマークでマーキングすると、対応する画像ＩＳ１（図２を参照のこと）は数「４４」に対応するマークでマーキングされるとしてよい。次の画像ＩＤ２（図２を参照のこと）は数「１７」に対応するマークでマーキングされる場合、対応する画像ＩＳ２（図２を参照のこと）は数「１７」に対応するマークでマーキングされる。マークは必ずしもビデオの正しく完全な受信内容を再ソートまたは検証するために利用されないので、数の順序は重要ではないが、時間的に近接する２つの画像に一の同一の数字が対応付けられないように、予め決定する必要があると理解される。インターネットを介して送信されるビデオに関する限り、画像の受信順序は送信順序に対応しない場合があり、特にシーケンスの維持が保証されない送信媒体については、「ウォーターマーク」が画像の再ソートに役立つことに留意されたい（ＲＴＰおよびＴＣＰネットワークプロトコルは既にデータパケット再ソートメカニズムを含むことに留意されたい）。

第２の例によると、画像ＩＤ１（図２を参照のこと）が数字「１０４４」に対応するマークでマーキングされている場合、対応する画像ＩＳ１（図２を参照のこと）は数字「２０４４」に対応するマークでマーキングされるとしてよく、次の画像ＩＤ２（図２を参照のこと）が数字「１０１７」に対応するマークでマーキングされている場合、対応する画像ＩＳ２（図２を参照のこと）は数字「２０１７」に対応するマークでマーキングされているとしてよい。この場合、数字は異なるが対応関係があることが分かる。つまり、最初の桁が段階的に増えていくビデオ番号を示し（「１」がビデオＶ１を示し、「２」はビデオＶ２を示す）、残りの３桁が同期を目的として利用される。

他の例によると、英数字列を「ウォーターマーク」として利用するとしてよい。上記の桁または英数字列はさらに、送信システムが現在利用しているウォーターマーク技術に応じて送信機が埋め込み受信機が抽出するウォーターマークデータを認識可能なように受信側でも既知である限りにおいて、バイナリ形式、または、情報理論に応じて有効と見なされる任意のその他の対応する表示形式で表現されるとしてもよい。送信機および受信機は共に、送信システムが現在利用しているウォーターマーク技術に準拠している。

同期を目的として、上述した２つの例でそうしているように全ての画像にマーキングするのは回避するとしてよい。例えば、一の画像にマーキングすると、次の画像にはマーキングしないとしてよい。または、一の画像にマーキングすると、次の２つの画像にはマーキングしないとしてもよい。言うまでもなく、良好に同期させるためには、マークは非常に高頻度で挿入することが推奨される。

以下では、マルチメディアコンテンツを受信する装置、特に、「３Ｄテレビ」を受信する装置内において受信時に何が行われるかを考える。

図３は、このような受信機がテレビアンテナ（矢印ＤＶＢ）およびインターネット（矢印ＩＰ）から画像を受信する場合を概略的に示す図である。受信機は、第１の送信媒体から受信する第１の成分のための第１のバッファＢ１と、第２の送信媒体から受信する第２の成分のための第２のバッファＢ２とを備え、バッファＢ１には６個の右画像があり、各右画像は数字「１５」、「１６」、「１７」、「１８」、「１９」、「２０」に対応するマークでマーキングされており、バッファＢ２には６個の左画像があり、各左画像は数字「１３」、「１４」、「１５」、「１６」、「１７」、「１８」に対応するマークでマーキングされていると本明細書では仮定される。図３はさらに、「１５」でマーキングされている右画像は「１３」でマーキングされている左画像と同時に受信されたという事実、「１６」でマーキングされている右画像は「１４」でマーキングされている左画像と同時に受信されたという事実、「１７」でマーキングされている右画像は「１５」でマーキングされている左画像と同時に受信されたという事実、「１８」でマーキングされている右画像は「１６」でマーキングされている左画像と同時に受信されたという事実、「１９」でマーキングされている右画像は「１７」でマーキングされている左画像と同時に受信されたという事実、「２０」でマーキングされている右画像は「１８」でマーキングされている左画像と同時に受信されたという事実を示す（この場合、段階的に増える数字を利用したが、上述したように、本発明にとって有益であっても厳密にこの構成にする必要はない）。

本発明に係る受信機は、両方の成分で「ウォーターマーク」を検出し、検出したマークをデコードし、上述した数字（または、より一般的には、情報）を取得し、これらの数字に基づいて、これら２つの成分を再同期させるとしてよい。

図４は、再同期させた２つの成分に含まれる画像を幾つか示す図である。同期プロセスは必ずしも受信機のメモリ内でデータを移動させることを必要とせず、ポインタを利用してこれらのポインタに情報を格納して、再構成時においてバッファを適切に読出できるようにすることで十分であることに留意されたい。これはまさに図４に図示している内容である。

今まで、マルチメディアコンテンツを送信する装置（本発明に係る）およびマルチメディアコンテンツを受信する装置（本発明に係る）は、マルチメディアコンテンツがどのように分割されて成分を生成するか（例えば、第１の成分は一のオーディオおよび一のビデオを含み、第２の成分は一のビデオのみを含む）、どの送信媒体が関係しているか（例えば、デジタル地上テレビインフラストラクチャおよびインターネット）、および、どのパラメータが関係しているか、つまり、どのパラメータを送受信しなければならないか（例えば、無線周波数およびインターネットアドレス）を知っていると仮定してきた。

第１の選択肢によると、このような動作情報（またはその一部）は、送信装置および受信装置の一方または両方に事前に設定しておく。マルチメディアコンテンツの分割および送信媒体の特定に関しては、これら２つの要素が多かれ少なかれハードウェアに対して直接的な影響を持つので、この第１の選択肢も同様に妥当であるとしてよい。

より柔軟性のある第２の選択肢によると、このような動作情報（またはその一部）は、それぞれにユーザによって送信装置および受信装置の一方または両方に設定される。この第２の選択肢は送信装置（またはシステム）にとっては典型的なものであるが、受信装置にとっては不都合がある。これは、通常は一般人である受信装置のユーザが、技術的なスキルを必要とする情報を取り扱う必要が出てくるためである。

第３の選択肢によると、受信装置（本発明に係る）のみに利用され得る選択肢であるが、上記の動作情報（またはその一部）は、受信している信号から当該装置が直接取得する。容易に理解されるであろうが、この第３の選択肢は特に有益である。

このような情報伝達は、「ウォーターマーク」によって、つまり、送信すべきマルチメディアコンテンツのうち１つ、一部または全ての成分を、符号化するためのマークでマーキングすることで、提供されることが有益であるとしてよい。こうして、受信機に対して、マルチメディアコンテンツの成分を特定、受信および処理することにより、マルチメディアコンテンツを再構成させるための動作情報を示す通知する。

特に、２つの成分に分割されるマルチメディアコンテンツという単純なケースでは、第１の成分は第２の成分に関する動作情報を示し、および／または、第２の成分は第１の成分に関する動作情報を通知する。理論上は、一の、一部の、または、全ての成分は、多量の伝達情報を「トランスポート」することが可能であるが、情報が多過ぎると、「マーキング」することによりマルチメディアコンテンツの品質低下が過剰になる場合がある。

伝達すべき情報は、以下のうち一の、一部または全ての情報であるとしてよい。
ＴＩ：成分に含まれる情報の種類（特に、一の成分は当該成分に無関係であるが他の成分に関係する伝達情報を含むとしてよい）
ＳＯ：成分の送信元であるソースまたは送信媒体（特に、他の成分）
ＰＲ：成分の優先度（特に、他の成分）
ＰＡ：成分に関連するさまざまなパラメータ（特に、他の成分）

ＴＩ情報は、例えば、以下の値（通常はバイナリ情報に適宜符号化される）を含むとしてよい。
「右ビュー」
「左ビュー」
「主要言語のオーディオ」
「第二言語のオーディオ」
「字幕」
「右ビュー」＋「主要言語のオーディオ」
「左ビュー」＋「第二言語のオーディオ」等

ＳＯ情報は、例えば、以下の値（通常はバイナリ情報に適宜符号化される）を含むとしてよい。
「ｒｔｐ：／／ＩＰ：ＰＯＲＴ」：アドレスＩＰおよびポートＰＯＲＴからのＩＰ上のＲＴＰストリーム
「ｕｄｐ：／／ＩＰ：ＰＯＲＴ」：アドレスＩＰおよびポートＰＯＲＴからのＩＰ上のＵＤＰストリーム
「ｄｖｂ−ｔ：／／ＦＲＥＱ，ＰＩＤ」：周波数ＦＲＥＱおよびｐｉｄＰＩＤにおけるＤＶＢ−Ｔストリーム
「ｄｖｂ−ｓ：／／ＳＯＵＲＣＥ，ＦＲＥＱ，ＳＲＡＴＥ，ＰＯＬ，ＰＩＤ」：周波数ＦＲＥＱ、シンボルレートＳＲＡＴＥ、偏波ＰＯＬおよびｐｉｄＰＩＤにおける衛星ＳＯＵＲＣＥからのＤＶＢ−Ｓ
「ｄｖｂ−ｔ２：／／ＦＲＥＱ，ＰＩＤ」：周波数ＦＲＥＱおよびｐｉｄＰＤにおけるＤＶＢ−Ｔ２ストリーム
「ｄｖｂ−ｓ２：／／ＳＯＵＲＣＥ，ＦＲＥＱ，ＳＲＡＴＥ，ＰＯＬ，ＰＩＤ」：衛星ＳＯＵＲＣＥからの、周波数ＦＲＥＱ、シンボルレートＳＲＡＴＥ、偏波ＰＯＬおよびｐｉｄＰＩＤにおけるＤＶＢ−Ｓ２ストリーム等

ＰＲ情報（通常はバイナリ情報に適宜符号化される）は、マルチメディアコンテンツが、複数の異なる送信媒体を介して送信される３つ以上の成分に分割され、サブ成分を取得するのが好ましい受信機に対して通知することを希望する場合に有用であるとしてよい。例えば、右ビューがＤＶＢ−Ｔストリームを介して送信され、左ビューがＤＶＢ−ＳストリームおよびＲＴＰストリームの両方を用いて送信される場合、受信機に対して、左ビューを受信するためにはＤＶＢ−Ｓストリームを利用することが好ましいと通知することが有益であるとしてよい。通常は、受信機がＤＶＢ−Ｓストリームを受信する（つまり、衛星信号を受信する）場合、送信機が通知する優先度に従う。そうでない場合には、左ビューをＲＴＰストリームから受信するか、または、何も受信しない（例えば、インターネットインターフェースを備えていない場合、または、インターネット接続がアクティブでない場合）別の例を挙げると、右ビューがＤＶＢ−Ｔストリームを介して送信され、左ビューがアドレスＩＰ１からのＲＴＰストリームおよびアドレスＩＰ２からのＲＴＰストリームの両方を介して送信される場合、受信機に対して、左ビューを受信するためにはアドレスＩＰ１からのＲＴＰストリームを利用することが、より強力なサーバに対応するので、または、サーバがユーザにより近いので、好ましい旨を通知することが有益であるとしてよい。

ＰＡ情報は他の多くの目的についても有用であるとしてよい。例えば、ＴＩ情報が「主要言語のオーディオ」または「第二言語のオーディオ」を示す場合、ＰＡ情報はどの言語であるかを通知するとしてよく（「ＩＴ」がイタリア語、「ＦＲ」がフランス語、「ＧＢ」がイギリス英語等）、または、他の対応する成分の受信は有料サービスであるか否かを通知するとしてよい。

情報伝達を目的とした「ウォーターマーク」は、一の、両方の、または、全ての成分で繰り返し行われ、通常は定期的または準定期的に行われる。このマークによって伝達される情報は一定のままであるか、または、ほとんど変化しないことに留意されたい。このため、対応する「ウォーターマーク」シーケンスは、非常に長い期間、例えば、数週間、数カ月または数年にわたって繰り返される同じマークで構成されるとしてよい。

「トランスポート」される情報の種類に関する限り、信号伝達用の「ウォーターマーク」の周波数は同期用の「ウォーターマーク」の周波数よりもはるかに低いことが有益であるとしてよい。例えば、１秒当たり１回と１分当たり１回との間の周波数を採用することに想到するであろう。このような選択は、マルチメディアコンテンツの品質が過剰に、そして、無駄に低下しないので、そして、受信機が受信したマルチメディアコンテンツの成分に対して複雑で高速な処理を実行する必要がないので有益である。

上記から、本発明は「ウォーターマーク」シーケンスを用いて同期のためのマーキングを付与し、可能性として有益には、「ウォーターマーク」シーケンスを用いて情報伝達のためのマーキングも付与すると理解される。

これらの処理について、同期のみを目的として一の「ウォーターマーク」シーケンスを利用するとしてもよく、または、同期のために一の「ウォーターマーク」シーケンスを使用し情報伝達のために一の別の「ウォーターマーク」シーケンスを利用するか、または、同期および情報伝達の両方を目的として一の「ウォーターマーク」シーケンスを利用するとしてもよい。図５および図６は、一番目のケースに言及しており、図７および図８は二番目のケースに言及しており、図９および図１０は三番目のケースに言及している。

図６および図８および図１０の場合において、ウォーターマークは、図５および図７および図９の例を理解し易くするべく、見えるように画像に重畳されているグラフィックシンボルであるが、マークは不可視または略不可視であることが好ましいことに留意されたい。また、図６および図８および図１０に示す位置は、本発明を限定するものと考慮すべきではない。不可視または略不可視のマークを利用する場合、マークは通常、画像全体に分散させ、任意の特定の位置に対応付けられない。

図５において、「ウォーターマーク」を用いて符号化されるべき情報の構造は単に、データフィールドＳＩ（例えば、数字、アルファベットまたは英数字の列）で構成される。このような構造は、図６に概略的に示すように、例えば、左上の角においてビデオの画像ＩＤ／ＩＳに重畳されたマークＭ１を生成させ得る。

図７において、「ウォーターマーク」を用いて符号化すべき情報の構造は、２つの要素から構成される。第１の要素は、一のデータフィールドＳＩのみを含み（例えば、数字、アルファベットまたは英数字の列）、第２の要素は、複数のデータフィールドＴＩ、ＳＯ、ＰＲ、ＰＡ（例えば、数字、アルファベットまたは英数字の列）を含むデータフィールド群を含む。このような構造は、例えば、第１の要素についてマークＭ２を生成させ、第２の要素についてマークＭ３を生成させ得る。マークＭ２およびマークＭ３はともに、図８に概略的に示すように、ビデオの画像ＩＤ／ＩＳの左上の角に重畳され、横方向に隣り合うように配置される。これら２個のマークは時間要件が異なるので、マークＭ２およびマークＭ３の両方が重畳されるのは数個のビデオ画像に過ぎず、大半のビデオ画像にはマークＭ２のみを重畳することが可能であることに留意されたい。この場合、マークＭ２およびマークＭ３は、同一の方法で作成されるので、同一のハードウェア手段および／またはソフトウェア手段を用いて受信機で検出およびデコードを行うことができるという利点がある。

図９において、「ウォーターマーク」を用いて符号化すべき情報の構造は、複数のデータフィールドＳＩ、ＴＩ、ＳＯ、ＰＲ、ＰＡ（例えば、数字、アルファベットまたは英数字の列）を含むデータフィールド群を含む一の要素のみから構成される。このような構造は、図１０に概略的に示すように、例えば、ビデオの画像ＩＤ／ＩＳの左上の角に重畳されるマークＭ４を生成させ得る。

図６および図８および図１０の場合には、ウォーターマークは、見えるように画像に重畳されるグラフィックシンボルである。しかし、マークは不可視または略不可視であることが好ましい。

しかし、当業者には公知であるが、「ウォーターマーク」技術はこの種類の物理的および視覚的な重畳に限定されず、本発明はこの点について限定されるものではないことに留意されたい。

一部の種類のデジタル信号は、追加情報／データ、例えば、「メタデータ」等を含むとしてよい。「ウォーターマーク」は、情報／データが信号によって直接搬送される、つまり、信号に重畳されるので、大きく異なるものである。

複数の「ウォーターマーク」技術、特に、「デジタルウォーターマーク」技術は、数個の特徴的なパラメータ、例えば、ロバスト性、可視性、容量、挿入方法に関して互いに異なる。

ロバスト性に関する限り、マーキングはフラジャイル、セミフラジャイルまたはロバストであってよい。本発明を実施する場合、同じように重畳する場合にトランスポートされる情報が多くなるので、マーキングがフラジャイルまたはセミフラジャイルであることが好ましい。他の理由としては、本発明に係るマーキングは不正利用からマルチメディアコンテンツを保護することを目的としていないので、ロバスト性は必要ないためである。

可視性に関する限り、マーキングは可視または不可視であってよい。本発明を実施する場合、マーキングは不可視または略不可視で、マルチメディアコンテンツを乱す要素とユーザに認識されないようにすることが好ましい。

容量（マークによって符号化される情報の量）に関する限り、マークは、「ビット長がゼロ」、または、「１ビットのウォーターマーク」または「ｎビットのウォーターマーク」または「マルチビットウォーターマーク」であってよい。本発明を実施する場合、マークは「ｎビットのウォーターマーク」または「マルチビットのウォーターマーク」であることが必要である。マークは、少なくともマルチメディアの成分を再同期するために十分な情報を符号化しなければならない。

挿入方法に関する限り、マークは実質的に、「時間ドメイン」または「周波数ドメイン」に含まれるとしてよい。本発明を実施する場合、マークは「周波数ドメイン」に含まれることが好ましい。これは、この種類の挿入方法によって、マークの不可視性が高まるためである。実際には、重畳を行うのは、画像が相対的に「ぼやけている」（空間的および／または時間的）箇所とすべきである。これによって、マークが見えにくくなる。

図１は、非常に簡略化されているが、本発明に係る受信装置ＡＲＸの実施形態例を示す図である。

装置ＡＲＸは、電波ＤＶＢを介して、そして、インターネットＩＰから信号を受信する。電波の場合、複数のＤＶＢ規格（特に、ＤＢＶ−Ｔおよび／またはＤＶＢ−Ｓ）のうち少なくとも１つに準拠する電気信号を当該装置が検出するので、ＤＶＢシンボルが利用されてきた。このような電気信号は、電波によって伝搬し、装置ＡＲＸに含まれているか、または、装置ＡＲＸに接続されているアンテナによって受信される。

装置ＡＲＸは、ＤＶＢ規格に応じた電気信号にチューニングするチューナーおよび復調器Ａ１を備える。この電気信号は、マルチメディアコンテンツＭＭの第１の成分Ｃ１をトランスポートするものとする。当該電気信号は、特に、非常に重要なことであるが、本発明の教示内容に応じて適宜マーキングされている通常のテレビ信号である。

装置ＡＲＸはさらに、インターネットから電気信号を受信するインターフェースＡ２を備える。当該電気信号は、マルチメディアコンテンツＭＭの第２の成分Ｃ２をトランスポートするものとする。図中では、インターフェースＡ２は、インターネットは、アプリケーションレベルでコンテンツを一方向のみに送信しなければならない場合であっても、動作時に二方向のデータ送信を必要とするので、双方向の矢印でインターネットＩＰに接続されている。

チューナーおよび復調器Ａ１、ならびに、インターフェースＡ２は、ブロックＡ３に接続されている。ブロックＡ３の機能は、情報伝達のためのマーキングを検出およびデコードして、これに応じてチューナーおよび復調器Ａ１、または、インターフェースＡ２を制御することにある。例えば、チューナーおよび復調器Ａ１は、テレビ信号を受信し、ブロックＡ３は当該テレビ信号上に情報伝達用のマークを検出し、当該マークをデコードし、このテレビ信号に含まれる右ビューに対応する左ビューは、所定のインターネットアドレスにおいて、特定のパラメータに応じて、サーバから取得することが可能であると判断する。ブロックＡ３は、このインターネットアドレスおよびこれらのパラメータをインターフェースＡ２に供給し、インターフェースＡ２はこのサーバに接続して左ビューの受信を開始する。

第１の成分に対応する信号は、チューナーおよび復調器Ａ１によってブロックＡ４へと送信される。第２の成分に対応する信号は、インターフェースＡ２によってブロックＡ４へと送信される。

ブロックＡ４の機能は、これら２つの信号において同期マークを検出してデコードすることにある。ブロックＡ４はこの後、これら２つの信号を、抽出した同期情報と共に、ブロックＡ５へと渡す。

ブロックＡ５の機能は、これら２つの信号を、先行ブロックが抽出した同期情報に基づいて再同期させることにある。ブロックＡ５はこの後、再同期させたこれら２つの信号をブロックＡ６に渡す。

ブロックＡ６の機能は、再同期させたこれら２つの信号、つまり、マルチメディアコンテンツを形成する２つの成分を組み合わせて、ユーザに提示すべきマルチメディアコンテンツＭＭを形成することにある。

Claims (24)

1. マルチメディアコンテンツを送信する方法であって、
   前記マルチメディアコンテンツは、少なくとも２つの成分を含み、前記少なくとも２つの成分のうち第１の成分の送信は、第１の送信媒体で行われ、前記少なくとも２つの成分のうち第２の成分の送信は第２の送信媒体で行われ、前記方法は、
   前記第１の成分を送信する前に、第１の所定のウォーターマークシーケンスを用いて、前記第１の成分を繰り返しマーキングするステップＡと、
   前記第２の成分を送信する前に、第２の所定のウォーターマークシーケンスを用いて、前記第２の成分を繰り返しマーキングするステップＢと
   を備え、
   前記第１の所定のウォーターマークシーケンスは、前記第２の所定のウォーターマークシーケンスと対応関係を持ち、
   前記第１の所定のウォーターマークシーケンスのウォーターマークおよび前記第２の所定のウォーターマークシーケンスのウォーターマークの少なくとも一方は、マルチメディアコンテンツ成分に関する動作情報を含み、
   前記ステップＡおよび前記ステップＢは、前記第１の成分へのウォーターマークの挿入および前記第２の成分へのウォーターマークの挿入が、前記第１の成分および前記第２の成分の対応するポイントまたはタイミングで行われるように実行される
   方法。
2. 前記第１の成分および前記第２の成分は、互いに同期しており、
   前記ステップＡおよび前記ステップＢは、前記第１の成分および前記第２の成分は受信時に再同期させるように、実行される請求項１に記載の方法。
3. マルチメディアコンテンツを送信する方法であって、
   前記マルチメディアコンテンツは、少なくとも２つの成分を含み、前記少なくとも２つの成分のうち第１の成分の送信は、第１の送信媒体で行われ、前記少なくとも２つの成分のうち第２の成分の送信は第２の送信媒体で行われ、前記方法は、
   前記第１の成分を送信する前に、第１の所定のウォーターマークシーケンスを用いて、前記第１の成分を繰り返しマーキングするステップＡと、
   前記第２の成分を送信する前に、第２の所定のウォーターマークシーケンスを用いて、前記第２の成分を繰り返しマーキングするステップＢと、
   前記第１の成分を送信する前に、第３の所定のウォーターマークシーケンスを利用して、前記第１の成分を繰り返しマーキングするステップＣと
   を備え、
   前記第１の所定のウォーターマークシーケンスは、前記第２の所定のウォーターマークシーケンスと対応関係を持ち、
   前記第３の所定のウォーターマークシーケンスのウォーターマークは、マルチメディアコンテンツ成分に関する動作情報を含み、
   前記ステップＡおよび前記ステップＢは、前記第１の成分へのウォーターマークの挿入および前記第２の成分へのウォーターマークの挿入が、前記第１の成分および前記第２の成分の対応するポイントまたはタイミングで行われるように実行される
   方法。
4. 前記第１の成分および前記第２の成分は、互いに同期しており、
   前記ステップＡおよび前記ステップＢは、前記第１の成分および前記第２の成分は受信時に再同期させるように、実行される請求項３に記載の方法。
5. 前記ステップＡおよび前記ステップＢの少なくとも一方は、前記動作情報として前記第２の送信媒体および前記第１の送信媒体の少なくとも一方を通知するように実行される請求項１から４のいずれか一項に記載の方法。
6. 前記第１の成分を送信する前に、第３の所定のウォーターマークシーケンスを利用して、前記第１の成分を繰り返しマーキングするステップＣをさらに備え、
   前記第３の所定のウォーターマークシーケンスのウォーターマークは、前記動作情報として少なくとも前記第２の送信媒体を通知する請求項１または２に記載の方法。
7. 前記第２の成分を送信する前に、第４の所定のウォーターマークシーケンスを利用して、前記第２の成分を繰り返しマーキングするステップＤをさらに備え、
   前記第４の所定のウォーターマークシーケンスのウォーターマークは、前記動作情報として少なくとも前記第１の送信媒体を通知する請求項６に記載の方法。
8. 前記第１の所定のウォーターマークシーケンスおよび前記第２の所定のウォーターマークシーケンスの少なくとも一方のウォーターマークは、フラジャイルタイプまたはセミフラジャイルタイプである請求項１から７のいずれか一項に記載の方法。
9. 前記第１の所定のウォーターマークシーケンス、前記第２の所定のウォーターマークシーケンス、および前記第３の所定のウォーターマークシーケンスのうち少なくとも１つのウォーターマークは、不可視タイプである請求項６に記載の方法。
10. 前記第１の所定のウォーターマークシーケンス、前記第２の所定のウォーターマークシーケンス、前記第３の所定のウォーターマークシーケンス、および前記第４の所定のウォーターマークシーケンスのうち少なくとも１つのウォーターマークは、不可視タイプである請求項７に記載の方法。
11. 前記第１の所定のウォーターマークシーケンス、前記第２の所定のウォーターマークシーケンス、および前記第３の所定のウォーターマークシーケンスのうち少なくとも１つのウォーターマークは、マルチビットタイプである請求項６に記載の方法。
12. 前記第１の所定のウォーターマークシーケンス、前記第２の所定のウォーターマークシーケンス、前記第３の所定のウォーターマークシーケンス、および前記第４の所定のウォーターマークシーケンスのうち少なくとも１つのウォーターマークは、マルチビットタイプである請求項７に記載の方法。
13. 前記第１の所定のウォーターマークシーケンスおよび／または前記第２の所定のウォーターマークシーケンスおよび／または前記第３の所定のウォーターマークシーケンスのウォーターマークは、前記動作情報として、
    マルチメディアコンテンツ成分のタイプを通知する情報フィールド、
    マルチメディアコンテンツ成分の送信媒体を通知する情報フィールド、
    マルチメディアコンテンツ成分の優先度を通知する情報フィールド、
    マルチメディアコンテンツ成分のパラメータを通知する情報フィールド
    のうち１以上を含む請求項１１に記載の方法。
14. 前記第１の所定のウォーターマークシーケンスおよび／または前記第２の所定のウォーターマークシーケンスおよび／または前記第３の所定のウォーターマークシーケンスおよび／または前記第４の所定のウォーターマークシーケンスのウォーターマークは、前記動作情報として、
    マルチメディアコンテンツ成分のタイプを通知する情報フィールド、
    マルチメディアコンテンツ成分の送信媒体を通知する情報フィールド、
    マルチメディアコンテンツ成分の優先度を通知する情報フィールド、
    マルチメディアコンテンツ成分のパラメータを通知する情報フィールド
    のうち１以上を含む請求項１２に記載の方法。
15. 前記第１の成分は立体視コンテンツの右ビューを含み、前記第２の成分は前記立体視コンテンツの左ビューを含む請求項１から１４のいずれか一項に記載の方法。
16. 少なくとも２つの成分を含むマルチメディアコンテンツを送信する装置であって、
    前記マルチメディアコンテンツを前記少なくとも２つの成分に分割する手段と、
    第１の送信媒体を介して前記少なくとも２つの成分のうち第１の成分を送信する手段と、
    第２の送信媒体を介して前記少なくとも２つの成分のうち第２の成分を送信する手段と
    を備え、
    請求項１から１５のいずれか一項に記載の方法に応じて、前記少なくとも２つの成分を処理する手段をさらに備える
    装置。
17. マルチメディアコンテンツを受信する方法であって、
    前記マルチメディアコンテンツは、少なくとも２つの成分を含み、前記少なくとも２つの成分のうち第１の成分の受信は、第１の送信媒体を介して実行され、
    前記少なくとも２つの成分のうち第２の成分の受信は、第２の送信媒体を介して実行され、
    前記方法は、
    前記第１の成分から第１のウォーターマークシーケンスを検出する段階Ａと、
    前記第２の成分から第２のウォーターマークシーケンスを検出する段階Ｂと、
    前記第１のウォーターマークシーケンスおよび前記第２のウォーターマークシーケンスの少なくとも一方を処理してマルチメディアコンテンツ成分に関する動作情報を抽出する段階Ｃと、
    前記第１のウォーターマークシーケンス、前記第２のウォーターマークシーケンス、および前記動作情報に基づいて前記第１の成分および前記第２の成分を同期させる段階Ｄと、
    同期させた前記第１の成分および前記第２の成分を組み合わせ、前記動作情報に基づいて前記マルチメディアコンテンツを形成する段階Ｅと
    を備える方法。
18. 前記第１のウォーターマークシーケンスを処理して前記動作情報を抽出する段階Ｆと、
    前記段階Ｆで抽出した前記動作情報に基づいて、前記第２の送信媒体を決定する段階Ｇをさらに備え、
    前記段階Ｆおよび前記段階Ｇは、前記段階Ｂ、前記段階Ｄおよび前記段階Ｅよりも前に実行される請求項１７に記載の方法。
19. 前記第１の成分から第３のウォーターマークシーケンスを検出する段階Ｈと、
    前記第３のウォーターマークシーケンスを処理して前記動作情報を抽出する段階Ｉと、
    前記段階Ｉで抽出した前記動作情報に基づいて、前記第２の送信媒体を決定する段階Ｊと
    をさらに備え、
    前記段階Ｈ、前記段階Ｉおよび前記段階Ｊは、前記段階Ｂ、前記段階Ｄおよび前記段階Ｅよりも前に実行され、好ましくは前記段階Ａよりも前に実行される
    請求項１７に記載の方法。
20. マルチメディアコンテンツを受信する方法であって、
    前記マルチメディアコンテンツは、少なくとも２つの成分を含み、前記少なくとも２つの成分のうち第１の成分の受信は、第１の送信媒体を介して実行され、
    前記少なくとも２つの成分のうち第２の成分の受信は、第２の送信媒体を介して実行され、
    前記方法は、
    前記第１の成分から第１のウォーターマークシーケンスを検出する段階Ａと、
    前記第２の成分から第２のウォーターマークシーケンスを検出する段階Ｂと、
    前記第１の成分から第３のウォーターマークシーケンスを検出する段階Ｃと、
    前記第３のウォーターマークシーケンスを処理してマルチメディアコンテンツ成分に関する動作情報を抽出する段階Ｄと、
    前記第１のウォーターマークシーケンス、前記第２のウォーターマークシーケンス、および前記動作情報に基づいて前記第１の成分および前記第２の成分を同期させる段階Ｅと、
    同期させた前記第１の成分および前記第２の成分を組み合わせ、前記動作情報に基づいて前記マルチメディアコンテンツを形成する段階Ｆと
    を備える方法。
21. 前記第１のウォーターマークシーケンスを処理して前記動作情報を抽出する段階Ｇと、
    前記段階Ｇで抽出した前記動作情報に基づいて、前記第２の送信媒体を決定する段階Ｈをさらに備え、
    前記段階Ｇおよび前記段階Ｈは、前記段階Ｂ、前記段階Ｅおよび前記段階Ｆよりも前に実行される請求項２０に記載の方法。
22. 前記段階Ｄで抽出した前記動作情報に基づいて、前記第２の送信媒体を決定する段階Ｉをさらに備え、
    前記段階Ｃ、前記段階Ｄおよび前記段階Ｉは、前記段階Ｂ、前記段階Ｅおよび前記段階Ｆよりも前に実行され、好ましくは前記段階Ａよりも前に実行される
    請求項２０に記載の方法。
23. 前記動作情報は、
    マルチメディアコンテンツ成分のタイプを通知する情報フィールド、
    マルチメディアコンテンツ成分の送信媒体を通知する情報フィールド、
    マルチメディアコンテンツ成分の優先度を通知する情報フィールド、
    マルチメディアコンテンツ成分のパラメータを通知する情報フィールド、
    のうち１以上を含む、請求項１７から２２のいずれか一項に記載の方法。
24. 少なくとも２つの成分を含むマルチメディアコンテンツを受信する装置であって、
    第１の送信媒体を介して前記少なくとも２つの成分のうち第１の成分を受信する手段と、
    第２の送信媒体を介して前記少なくとも２つの成分のうち第２の成分を受信する手段と、
    前記第１の成分および前記第２の成分を組み合わせて前記マルチメディアコンテンツを形成する手段と
    を備え、
    請求項１７から２３のいずれか一項に記載の方法にしたがって、前記少なくとも２つの成分を処理する手段をさらに備える
    装置。

Images