JP6401777B2 - 合成画像の送信および受信 - Google Patents

Description

本発明は、一般に、合成画像の送信および受信に関し、最も重要な例においては、ビデオ放送システムに、特に、ビデオシーケンスの撮影後編集および／または合成に役立つ追加情報の送信を可能にするフレームワークに関する。このフレームワークを用いれば、デジタルビデオ放送のコンテキストにおけるコンテンツ制作の柔軟性を実現することができる。

本発明の実施形態は、放送チェーンによってビデオコンテンツを配信することを目的とするデジタルビデオ放送分野を対象とし、放送チェーンは、大まかに、以下の４つの段階、すなわち、ビデオコンテンツ制作、撮影後編集、ビデオコンテンツ送信、および可能なさらなる処理を伴う受信側受信に存する。撮影後編集段階および受信側処理段階において、ビデオは、ビデオの品質を高め、いくつかの画像領域を挿入または削除し、ビデオを他のビデオと合成するなどのために操作される。さらに、受信側において、特定の視聴者のための追加情報を搬送するセカンダリストリームを埋め込むための何らかの処理を行うこともできる。この追加情報の一例は、聴覚障碍者が放送番組を理解するのに役立つように、手話通訳者ビデオによって表すことができる。前述の操作中に実行される処理は、放送配信チェーンに関与する様々な当事者間で共有される必要のある何らかの情報を必要とする場合もある。したがって、コンテンツ操作の柔軟性および無理のない帯域幅での送信を可能にするために、この情報の効率的な表現を提供することが重要である。

撮影後処理および／または受信側処理に必要なそうした情報の一例が、いわゆるアルファチャンネルによって表される透過マスクである。アルファチャンネルは、特定のビデオコンテンツに関連付けられた信号であり、典型的には、異なるビデオを併せて合成し、またはビデオにオブジェクトを挿入するのに使用される。しかし、本発明の透過マスクは、任意の形態のアルファチャンネルを包含することができることに留意すべきである。特に、アルファチャンネルを、同数のフレームを有するビデオシーケンスとして表すことができ、それによって、各フレームは、アルファチャンネルと関連付けられたビデオコンテンツに関連するフレームと同じ幅および高さを有するものになる。アルファチャンネル信号内の各画素は、当該の特定の画素についての不透過度（すなわち透過度）を表す範囲［ｖ_ｍｉｎ，ｖ_ｍａｘ］内の値を取る。特定のアルファチャンネルの１フレームの一例が図１に示されている。白い画素は不透過画素に対応し、黒い画素は透過画素に対応する。関連付けられたアルファチャンネルが透過であるビデオコンテンツ内の画素はユーザ画面上に表示されず、不透過画素は表示されることになる。図１から分かるように、アルファチャンネル信号のフレームは、空間変換、量子化、動き補償、イントラ予測などとして、最新技術のビデオ圧縮法を用いて、圧縮することができる。

本発明の目的は、１つの典型的なビデオ放送配信チェーンの様々な段階において行われるビデオ編集および撮影後処理に役立つ情報の送信を可能にすることである。

１つの態様において、本発明は、少なくとも１つの前景画像および透過マスクを含む合成画像を送信する方法であって、前景画像を符号化するステップと、透過マスクを画像として符号化するステップと、符号化された前景画像および符号化された透過マスクを、符号化された透過マスクが、各画素がただ２つの値を取ることができるバイナリ透過マスクとして復号されるべきであるか否かを示すフラグと共に送信するステップと、を含む方法に存する。画素値は、透過マスクにおいて、バイナリ透過マスクを導出するために閾値と比較することができる。復号されたバイナリ透過マスクのクリッピングにおいて使用するために復号器にクリップ値をシグナリングすることができる。

バイナリ透過マスクは、各マスクを区切ってブロックの非重複グリッドにし、各ブロックのすべての画素が同じ値を共有する場合には当該ブロックの画素値を送信し、または、当該ブロックがさらに分割されるべきであることをシグナリングする分割フラグを送信することによって符号化し、このプロセスを再帰的に続けることによって符号化することができる。最小許容ブロックサイズを決定することができ、ブロック分割のプロセスは、最小許容ブロックサイズに達するまで再帰的に続く。すべて等しいとは限らない値を有する画素を含む最小サイズを有するブロックは、予測符号化法およびエントロピー符号化法を用いて符号化することができる。

好ましくは、本方法は、透過マスクがビデオシーケンス内の前の画像の透過マスクと同じであるかどうか判定するステップと、透過マスクが前の画像の透過マスクと同じでない場合にのみ、透過マスクを画像として符号化するステップと、任意の符号化された透過マスクを、前の画像のための符号化された透過マスクが、現在の画像の符号化された前景画像と関連付けて使用されるべきであるかどうかを示すフラグと共に送信するステップと、をさらに含む。

適切には、本方法は、符号化された前景画像を、合成画像における前景画像のサイズや位置といった合成情報と共に送信するステップをさらに含む。合成情報は、合成画像のフレームを形成する画素の色を含むことができる。

別の態様において、本発明は、合成画像を復号する方法であって、符号化された前景画像および符号化された透過マスクをフラグと共に受信するステップと、符号化された前景画像を復号するステップと、上記フラグによって指示される場合に、符号化された透過マスクを、各画素がただ２つの値を取ることができるバイナリ透過マスクとして復号するステップと、合成画像を形成するに際して、前景画像をバイナリ透過マスクと関連付けて使用するステップと、を含む方法に存する。符号化された透過マスクをバイナリ透過マスクとして復号するステップは、画素がただ２つの値を取るように制約されない予備の透過マスクを生成するための復号ステップと、画素がただ２つの値を取るように制約されるバイナリ透過マスクを生成するためのクリッピングステップとを含むことができる。クリッピングステップは、符号器によって復号器にシグナリングされるクリップ値を利用することができる。

符号化されたバイナリ透過マスクはブロックへと区切ることができ；受信された値はブロックごとに読み取られ、受信された値が上記２つの許容される値のどちらかと等しい場合には、現在のブロックの画素は受信された値に設定され；そうでない場合には、現在のブロックは低減されたサイズを有するブロックへと分割され、プロセスは再帰的に繰り返される。分割プロセスが最小許容値と等しいサイズを有するブロックに至った場合には、画素の値は、受信された差分δと前に復号された画素の値とを加算することによって得られる値に設定される。

好ましくは、本方法は、フラグを受信するステップと、上記フラグによって指示される場合に、合成画像を形成するに際して、前景画像を前の画像のための透過マスクと関連付けて使用するステップと、をさらに含む。

適切には、本方法は、符号化された前景画像を合成情報と共に受信するステップと、前景画像を合成情報と関連付けて使用して合成画像を形成するステップと、をさらに含む。前景画像は、合成情報内のサイズ情報に従って変倍することができる。前景画像は、合成情報内の位置情報に従って合成画像において位置決めすることができる。合成画像のフレームは、合成情報によって指定される色を呈することができる。

合成画像は、プライマリ符号化ピクチャを形成する前景画像に関連する符号化データと同じアクセスユニットにおいてセカンダリピクチャとして送信される透過マスクに関連する符号化データを用いて、画像のビデオシーケンスの一部を形成することができる。前景画像および透過マスクは、Ｈ．２６４／ＡＶＣやＨＥＶＣといったビデオ符号化規格に従って符号化することができる。各フラグは、Ｈ．２６４／ＡＶＣ規格またはＨＥＶＣ規格の構文ヘッダ要素シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））において表すことができる。

合成情報は、Ｈ．２６４／ＡＶＣ規格およびＨＥＶＣ規格によって指定される付加拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｄ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））メッセージにおいて編成することができる。フレーム合成を目的としてＳＥＩメッセージに含まれる情報は、ＳＥＩメッセージが受信される時間にわたってのみ持続することができ、または新しいＳＥＩメッセージが受信されるまで持続することができる。

以下の説明において、アルファチャンネルという用語は、透過マスクの一例を記述するのに使用される。

１つの構成によれば、主放送番組に対応するビデオシーケンスは、Ｈ．２６４／ＡＶＣまたは新しい高効率ビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ））規格によって標準化されている動き補償予測ビデオ符号化法を用いて符号化されるフレームへ分割される。Ｈ．２６４／ＡＶＣ規格でもＨＥＶＣ規格でも、１つのフレームに関連する符号化データは、１組のネットワーク抽象化層（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ（ＮＡＬ））ユニットを含むアクセスユニットへと編成される。各ＮＡＬユニットは、符号化ビデオシーケンスに関連する符号化データを含む。これらのデータは、ビデオ・シーケンス・パラメータ（例えば、フレームの幅および高さ）に関連するヘッダとすることもでき、フレーム画素自体に関連するデータとすることもできる。主放送番組と、主放送番組と関連付けられたアルファチャンネルとを一緒に保持するために、アルファ・チャンネル・ピクチャ（以後、セカンダリピクチャともいう）の存在は、主ビデオ放送番組ビデオに関連する符号化ピクチャ（以後、前景画像またはプライマリピクチャともいう）の同じアクセスユニットにおいてシグナリングされる。フレーム合成、復号後のアルファチャンネル処理、およびアルファチャンネルを用いて合成されたフレームの後処理のためのデータをシグナリングすることも有益となりうる。最後に、ただ２つだけの値（ｖ_{ｔｒａｎｓｐａｒｅｎｔ}およびｖ_{ｏｐａｑｕｅ}）を取り、バイナリ・アルファ・チャンネルとも呼ばれるアルファチャンネル信号のための簡略化された符号化アルゴリズムも提供される。

主ビデオシーケンスの１つのフレームに関連付けられたアルファチャンネルの一例を示す図である。 １つの特定の色のフレーム後景との２つの主ピクチャ（フレーム０およびフレーム１）からのフレーム合成の一例を示す図である。 Ｈ．２６４／ＡＶＣ規格およびＨＥＶＣ規格に従ったビットストリームにおけるプライマリピクチャおよびセカンダリピクチャの編成の一例を示す図である。 すべてのフレームに固定されたアルファチャンネルを使用する放送用途の一例を示す図である。 アルファチャンネル値のためのクリッピングの一例を示す図である。 アルファチャンネル値のためのバイナリクリッピングの一例を示す図である。 バイナリ・アルファ・チャンネルの値のＤＰＣＭ符号化の一例を示す図である。

次に、本発明を、撮影後編集およびフレーム合成の分野に関連したいくつかの例によって説明する。これらの例は、編集および処理を容易にするためのセカンダリピクチャを使用したビデオビットストリームにおけるアルファチャンネル信号の埋め込みを伴う。また、これらの例は、ビデオ処理に役立つ情報を搬送する構文要素である付加拡張情報（ＳＥＩ）メッセージの概念も使用する。最後に、これらの例は、クラシス（ｃｌａｓｓｉｓ）および一般的なビデオ符号化法に対して計算量が少なくて済むバイナリ・アルファ・チャンネルのための簡略化された符号化アルゴリズムも提供するものでもある。

プライマリ符号化ピクチャとアルファチャンネルとに関連付けられたデータを一緒に保持するために、プライマリピクチャに関連する各アクセスユニットにおいてアルファチャンネル圧縮データの存在をシグナリングすることが提案される。図３に、１つのアクセスユニットがプライマリ符号化ピクチャのためのアルファ・チャンネル・データを含むのに対して、この編成の概略図を示す。「背景技術」の項で説明したように、アルファチャンネル信号は、Ｈ．２６４／ＡＶＣおよびＨＥＶＣと同じビデオ符号化規格によって標準化された符号化ツールを用いて圧縮することができる。さらに、アルファチャンネルは画素ごとの不透過度を指定するため、アルファチャンネルは、単色画像（すなわち輝度のみのピクチャ）のように見える。アルファチャンネルが存在する場合、透過値および不透過値が送信される必要がある。さらに、アルファチャンネルがバイナリであるか否かを送信する必要がある。最後に、アルファチャンネル内の画素ごとのビット数も送信される。というのは、アルファチャンネル内の画素ごとのビット数は、主符号化ビデオのビット数と異なりうるからである。以上の情報は、シーケンスレベルのパラメータを搬送する符号化ビデオの構文構造において送ることができる。一例では、全シグナリングフレームワークを、Ｈ．２６４／ＡＶＣ規格およびＨＥＶＣ規格のＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に、以下のように配置することができる。

フラグｓｅｃｏｎｄａｒｙ＿ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｔは、プライマリピクチャの同じアクセスユニット内に、アルファチャンネルの符号化データが存在するかどうかを指定する。フラグｉｓ＿ｂｉｎａｒｙ＿ｓｅｃｏｎｄａｒｙ＿ｐｉｃｔｕｒｅは、透過マスクがバイナリピクチャであり、したがって、ただ２つの値（透過および不透過）を取りうるかどうかを指定する。量ｂｉｔ＿ｄｅｐｔｈ＿ｓｅｃｏｎｄａｒｙ＿ｐｉｃｔｕｒｅは、アルファチャンネル内の画素のビット深度を指定する。バイナリ透過マスクの場合には、この量は１と等しい。量ｖａｌｕｅ＿ｏｐａｑｕｅ＿ｐｉｘｅｌｓは、不透過と分類されるアルファチャンネル内の画素の値を指定し、それと対をなして、量ｖａｌｕｅ＿ｔｒａｎｓｐａｒｅｎｔ＿ｐｉｘｅｌｓは、透過画素の値を指定する。

いくつかの用途においては、必要とされるアルファチャンネルは、バイナリ値、すなわち、α_{ｔｒａｎｓｐａｒｅｎｔ}またはα_{ｏｐａｑｕｅ}のみを取りうる。いくつかの用途の例は、ロゴ挿入広告放送や、聴覚障碍者が番組を理解するのに役立つニュースにおける手話通訳者の挿入である。バイナリチャンネルだけしか必要とされないため、送信すべき値が２つだけであることによって符号化プロセスが簡略化される。バイナリ・アルファ・チャンネルの使用はフラグによって表示される。バイナリ・アルファ・チャンネルの一例が図１に示されている。バイナリ・アルファ・チャンネルは、前景オブジェクトを後景オブジェクトと分離するためのマスクのように見える。

アルファチャンネルはフレーム合成時に使用されうると想定すると、アルファチャンネルの鋭いエッジの正確な符号化は重要である。事実、従来の非可逆圧縮アルゴリズムは、バイナリ・アルファ・チャンネルのエッジを平滑化し、不鮮明にし、最終的な合成フレーム内に不快なアーチファクトを生じさせることにもなりうる。さらに、図１を見ると、アルファチャンネル信号は、すべての画素が透過か不透過のどちらかでしかない大きな均質の領域を特徴とすることが分かる。本発明の１つの形態では、Ｎが範囲［Ｎｍｉｎ，Ｎｍａｘ］内の値を取るサイズＮ×Ｎの正方形領域を用いてバイナリ・アルファ・チャンネルを近似することによって、バイナリ・アルファ・チャンネルを符号化することが提案される。特に、アルファチャンネルの所与のフレームが、Ｎｍａｘ×Ｎｍａｘの正方形ブロックの非重複グリッドへと区切られる。正方形Ｂごとに、内部の各画素の値が評価される。Ｂに属するすべての画素がα_{ｔｒａｎｓｐａｒｅｎｔ}またはα_{ｏｐａｑｕｅ}と等しい値を有する場合、その値は送信され、符号化アルゴリズムは、Ｎｍａｘ×Ｎｍａｘの寸法を有する次の正方形ブロックへ移動する。逆に、すべての画素がα_{ｔｒａｎｓｐａｒｅｎｔ}またはα_{ｏｐａｑｕｅ}と等しい値を取るとは限らない場合には、ブロックＢは、各々が（Ｎｍａｘ／２）×（Ｎｍａｘ／２）の寸法を有する４つのブロックへ分割される。この分割によって得られた各ブロックにわたって、すべての画素がα_{ｔｒａｎｓｐａｒｅｎｔ}またはα_{ｏｐａｑｕｅ}と等しい値を取るかどうかチェックするために、各ブロックに属する画素が再度評価される。分割操作は、ブロックサイズがＮｍｉｎの最小サイズに達するまで続く。サイズＮｍｉｎ×Ｎｍｉｎを有する１つのブロックが、すべてがα_{ｔｒａｎｓｐａｒｅｎｔ}またはα_{ｏｐａｑｕｅ}と等しいとは限らない値を含む場合には、ブロック内部の値は、差分パルス符号変調（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ（ＤＰＣＭ））法を用いて符号化される。特に、図７に、画素値α_ｉごとに、差分δ_ｉが計算され、送信されるのに対して、ＤＰＣＭプロセスを示す。送信は、文献においてハフマン符号化、算術符号化などとして提案されている任意のエントロピー符号化法を使用することができる。考察されているブロックが分割される必要があるかどうかの信号は、α_{ｔｒａｎｓｐａｒｅｎｔ}およびα_{ｏｐａｑｕｅ}とは異なる従来の値（α_{ｓｐｌｉｔ}など）が送信される。したがって、復号器は、最初の正方形Ｎｍａｘ×Ｎｍａｘブロックの送信された値を読み取ることから復号を開始する。受信された値がα_{ｔｒａｎｓｐａｒｅｎｔ}またはα_{ｏｐａｑｕｅ}である場合には、復号器は、現在のブロックに属するすべての画素の値を受信された値に設定し、次のＮｍａｘ×Ｎｍａｘ正方形ブロックへ移動する。そうでない場合には、復号器は、現在のブロックを、サイズ（Ｎｍａｘ／２）×（Ｎｍａｘ／２）の４つのブロックに分割し、次に受信された値を読み取る。分割は、ブロックサイズが許容される最小サイズＮｍｉｎに達するまで続く。この場合、復号器が受け取ることになる値は、ＤＰＣＭを用いて符号化されているアルファチャンネル値を指す。

送信されたアルファチャンネル信号が復号されるときに、アルファチャンネル信号の値は、範囲［α_{ｔｒａｎｓｐａｒｅｎｔ}，α_{ｏｐａｑｕｅ}］内に留まるようにクリップされる必要が生じうる。さらに、いくつかのビデオ放送用途については、必要とされるアルファチャンネルはバイナリであるが、送信側は、アルファチャンネルの圧縮を改善することができるようにアルファチャンネルを軽減／平滑化するための何らかの処理を適用する場合がある。受信側において、復号されたアルファチャンネルは、バイナリ・アルファ・チャンネルに戻される必要がある。この場合には、適切な閾値が復号されたアルファチャンネル値に適用される必要がある。必要とされる閾値は、シーケンスレベルのパラメータのための情報を搬送する符号化ビデオの構文構造においてシグナリングすることができる。一例では、閾値は、ＳＰＳにおいて以下のようにシグナリングされる。

量ａｌｐｈａ＿ｃｌｉｐｐｉｎｇ＿ｔｙｐｅは、どの種類のクリッピングがアルファチャンネル値に適用されうるかを指定する。好都合なクリッピング操作の例が図５および図６に示されている。特に、図５に示されているクリッピングは、α_{ｔｒａｎｓｐａｒｅｎｔ}より小さいアルファチャンネル値をα_{ｔｒａｎｓｐａｒｅｎｔ}に設定し、α_{ｏｐａｑｕｅ}より大きいアルファチャンネル値をα_{ｏｐａｑｕｅ}に設定する。逆に、図６に示されているクリッピングは、アルファチャンネル値がα_{ｔｒａｎｓｐａｒｅｎｔ}より小さいか、それともα_{ｏｐａｑｕｅ}より大きいかに応じて、それぞれ、アルファチャンネル値を、α_{ｔｒａｎｓｐａｒｅｎｔ}またはα_{ｏｐａｑｕｅ}に設定する。量ａｌｐｈａ＿ｃｌｉｐｐｉｎｇ＿ｔｙｐｅは、３つの値、０、１、または２を取る。値０は、アルファチャンネル値にクリッピングが適用されないという信号に対応する。値１は、図５に示されているクリッピングがアルファチャンネル値に適用されるという信号に対応し、値２は、図６のクリッピングが適用されるという信号に対応する。最後に、量ａｌｐｈａ＿ｃｌｉｐｐｉｎｇ＿ｂｉｎａｒｙは、クリッピング操作のバイナリ閾値を、図６に示されている閾値として指定する。

図４に、ただ１つのフレームを有し、よって、すべてのビデオフレームについて繰り返されるアルファチャンネルを必要とする１つの放送用途を示す。この場合、前項で説明した構成は最初のフレームについてしか必要とされず、よって、最初のアルファ・チャンネル・フレームの繰り返しをシグナリングすることができる。アルファチャンネルの再利用は、ピクチャレベルのパラメータのための情報を搬送する符号化ビデオの構文構造においてシグナリングすることができる。一例では、アルファチャンネルの再利用は、Ｈ．２６４／ＡＶＣ規格およびＨＥＶＣ規格のピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））構文要素において、以下のようにシグナリングすることができる。

フラグｓｅｃｏｎｄａｒｙ＿ｐｉｃｔｕｒｅ＿ｓｔａｔｕｓは、以下の意味を有する４つの値を有する。
・０＝セカンダリピクチャが存在せず、アルファチャンネルは、前に復号されたフレームから再利用される。
・１＝セカンダリピクチャが存在し、前のセクションで指定された構成に従って圧縮される。
・２＝セカンダリピクチャが存在せず、すべての画素が透過値と等しいピクチャで代用される。
・３＝セカンダリピクチャが存在せず、すべての画素が不透過値と等しいピクチャで代用される。

クロマキー合成法は、輝度または任意の他の適切な色空間表現（例えば、赤、緑、青など）の（普通はキーと呼ばれる）１つの特定の値と異なる１つのピクチャからの画素を抽出することに存する。普通、コンテンツ取得プロセスにおけるカメラノイズおよび他の不都合点が与えられた場合、画像画素は、キー値を有するはずであるにもかかわらず、キーとわずかに異なる値を提示し、それがクロマキー合成法によって誤って解釈されるおそれがある。この欠点を克服するために、いくつかのロバストなクロマキー合成法が文献において考案されており、これらの方法は、相当量の計算処理リソースを必要とする。これらの種類のクロマキー合成法は、処理が復号器側で行われなければならない場合には不都合となりうる。したがって、１つの代替の手法は、キー合成を、計算処理リソースの制限がより小さい送信側で行い、次いで、キー値を有することになる画素を、厳密にこのキー値に設定するものである。キーは次いでビデオと共に送信され、その場合、受信側では、クロマキー合成プロセスは、単純なバイナリ分類（後景／前景）である。送信される画像には非可逆符号化が適用されうるため、キー値を有する画素は、元のキーと異なる値を有する可能性がある。この場合には、区間値を送って、その区間内に入るすべての画素値が引き続き後景に属するものとみなされるようにすることができる。一例では、この区間値は、Ｄ＝｜Ｖ−Ｋ｜＜Ｔである場合に、画素が引き続き後景に属するような許容差値によって表すことができ、式中、Ｖは画素値であり、Ｋはキーの値であり、Ｔは許容差であり、｜・｜は絶対差を表す。キーおよび区間の値は、シーケンスレベルのパラメータのための情報を搬送する符号化ビデオの構文構造において送信することができる。一例では、構文構造は、以下のようなＨ．２６４／ＡＶＣ規格およびＨＥＶＣ規格のＳＰＳとすることができる。

フラグｋｅｙ＿ｖａｌｕｅ＿ｐｒｅｓｅｎｔは、符号化ビデオが規定のキー値を有する画素を含むかどうかを指示する。量ｋｅｙ＿ｖａｌｕｅ＿ｃｏｍｐｏｎｅｎｔ＿１、…、ｋｅｙ＿ｖａｌｕｅ＿ｃｏｍｐｏｎｅｎｔ＿ｎは、ビデオシーケンス内の画素の成分ごとのキー値を指定する。最後に、量ｔｏｌｅｒａｎｃｅ＿ｖａｌｕｅ＿ｃｏｍｐｏｎｅｎｔ＿１、…、ｔｏｌｅｒａｎｃｅ＿ｖａｌｕｅ＿ｃｏｍｐｏｎｅｎｔ＿ｎは、キーとの差がどれほどであれば画素値を引き続き後景に属するとみなすことができるかを指定する。

図２に、フレーム０およびフレーム１からの２つのピクチャおよびアルファチャンネルを用いたフレーム合成の一例を示す。フレームを合成し、一例として、フレーム０とフレーム１の画素の最終的なアスペクト比などの何らかの情報を送信することは有益である。この情報は、放送番組全体に沿って変動しうることに留意すべきである。フレーム合成情報を伝えるための有益なファシリティが、付加拡張情報（ＳＥＩ）メッセージによって表される。ＳＥＩメッセージは、Ｈ．２６４／ＡＶＣ規格とＨＥＶＣ規格の両方で指定されている、表示のために役立つ何らかの情報を搬送するための構文要素である。ＳＥＩメッセージは、符号化フレームと非同期的に送信することができ、１つのＳＥＩメッセージにおいて指定される情報は、タイムラインにおいて前のメッセージの後に続く別のメッセージによって書き換えることができる。図２に概略的に表されているフレーム合成の問題について、可能なＳＥＩメッセージ構成は以下のとおりである。

フラグｆｒａｍｅ＿ｃｏｍｐ＿ｉｎｆｏ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、現在のＳＥＩメッセージが、前に受信されたフレーム合成のための情報を書き換えるかどうかを指定する。値に応じて、フラグは、情報が、ＳＥＩメッセージが受信されるのと同時のフレームについてのみ書き換えられること、または、新しいＳＥＩメッセージが受信されるまで、ＳＥＩメッセージが受信されるときから開始するすべての後続フレームについて書き換えられることを指示することができる。量ｃｏｍｐｏｓｉｔｅ＿ｆｒａｍｅ＿ｂａｃｋｇｒｏｕｎｄ＿ｃｏｌｏｕｒ＿１、…、ｃｏｍｐｏｓｉｔｅ＿ｆｒａｍｅ＿ｂａｃｋｇｒｏｕｎｄ＿ｃｏｌｏｕｒ＿ｎは、合成フレーム内の後景画素のすべての成分が呈する色を指定する。量ｆｒａｍｅ＿０＿ｏｆｆｓｅｔ＿ｌｅｆｔおよびｆｒａｍｅ＿０＿ｏｆｆｓｅｔ＿ｔｏｐは、フレーム０の左上隅の合成フレームにおける位置を指定する。同様に、量ｆｒａｍｅ＿１＿ｏｆｆｓｅｔ＿ｌｅｆｔおよびｆｒａｍｅ＿１＿ｏｆｆｓｅｔ＿ｔｏｐは、フレーム１の合成フレームにおける位置を指定する。量ｆｒａｍｅ＿０＿ｗｉｄｔｈおよびｆｒａｍｅ＿０＿ｈｅｉｇｈｔは、合成フレームにおけるフレーム０の幅および高さを指定する。フレーム１のｆｒａｍｅ＿１＿ｗｉｄｔｈおよびｆｒａｍｅ＿１＿ｈｅｉｇｈｔも同様の意味を表す。

Claims (10)

1. 少なくとも１つの前景画像および透過マスクを含む合成画像を送信する方法であって、
   前記前景画像を符号化するステップと、
   前記透過マスクを画像として符号化するステップと、
   前記符号化された前景画像および前記符号化された透過マスクを、前記符号化された透過マスクが、画素が２値のみを取るように制約されていない予備の透過マスクを生成する復号ステップの後に、各画素が２値のみを取り得るバイナリ透過マスクを生成するクリッピングステップを受けるか否かを示すフラグと共に送信するステップとを含む、
   方法。
2. クリップ値を、復号されたバイナリ透過マスクのクリッピングにおいて使用するために復号器にシグナリングするステップをさらに含む、
   請求項１に記載の方法。
3. 前記符号化された前景画像を、前記合成画像における前記前景画像のサイズまたは位置、及び前記合成画像の背景を形成する画素の色を含むグループから選択された少なくとも１つを含む合成情報と共に送信するステップをさらに含む、
   請求項１または２に記載の方法。
4. 合成画像を復号する方法であって、
   符号化された前景画像および符号化された透過マスクをフラグと共に受信するステップと、
   前記符号化された前景画像を復号するステップと、
   前記フラグによって指示される場合に、
   画素が２値のみを取るように制約されていない予備の透過マスクを生成する復号ステップと、
   画素が２値のみを取るように制約されたバイナリ透過マスクを生成するクリッピングステップと、
   によって、前記符号化された透過マスクを、前記バイナリ透過マスクとして復号するステップと、
   合成画像を形成するに際して、前記前景画像を前記バイナリ透過マスクと関連付けて使用するステップとを含む
   方法。
5. 前記クリッピングステップは、符号器によって復号器にシグナリングされるクリップ値を利用する、
   請求項４に記載の方法。
6. 前記合成画像は、前記透過マスクに関連する符号化データが、プライマリ符号化ピクチャを形成する前記前景画像に関連する符号化データと同じアクセスユニットにおいてセカンダリピクチャとして送信される、画像のビデオシーケンスの一部を形成する、
   請求項１から５のいずれか一項に記載の方法。
7. 前記前景画像および前記透過マスクは、前記フラグが、Ｈ．２６４／ＡＶＣ規格またはＨＥＶＣ規格の構文ヘッダ要素シーケンス・パラメータ・セット（ＳＰＳ）において表される、前記Ｈ．２６４／ＡＶＣ規格または前記ＨＥＶＣ規格のビデオ符号化規格に従って符号化される、
   請求項６に記載の方法。
8. 任意の合成情報が、前記Ｈ．２６４／ＡＶＣ規格および前記ＨＥＶＣ規格によって指定される付加拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｄ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））メッセージにおいて編成される、
   請求項７に記載の方法。
9. フレーム合成を目的として前記ＳＥＩメッセージに含まれる前記情報は、前記ＳＥＩメッセージが受信される時間にわたってのみ持続することができ、または新しいＳＥＩメッセージが受信されるまで持続することができる、
   請求項８に記載の方法。
10. 少なくとも１つの前景画像および透過マスクを含む少なくとも１つの合成画像を含むビデオシーケンスの送信および受信において使用するためのシステムであって、
    前記前景画像を符号化し、前記透過マスクを画像として符号化し、前記符号化された前景画像および前記符号化された透過マスクを、前記符号化された透過マスクが、画素が２値のみを取るように制約されていない予備の透過マスクを生成する復号ステップの後に、各画素が２値のみを取り得るバイナリ透過マスクを生成するクリッピングステップを受けるか否かを示すフラグと共に送信するためのビデオ符号器と、
    前記符号化された前景画像および前記符号化された透過マスクをフラグと共に受信し、前記符号化された前景画像を復号し、前記フラグによって指示される場合に、画素が２値のみを取るように制約されていない予備の透過マスクを生成する復号ステップと、画素が２値のみを取るように制約されたバイナリ透過マスクを生成するクリッピングステップとによって、前記符号化された透過マスクを、前記バイナリ透過マスクとして復号し、合成画像を形成するに際して、前記前景画像を前記バイナリ透過マスクと関連付けて使用するするのためのビデオ復号器とを含む、
    システム。

Images