JP5676637B2 - 符号化ビットストリームのマージ - Google Patents

Description

（関連出願の相互参照）
本願は、「２つのＡＶＣ／ＳＶＣ符号化ビットストリームのマージ（Ｍｅｒｇｉｎｇ Ｔｗｏ ＡＶＣ／ＳＶＣ Ｅｎｃｏｄｅｄ Ｂｉｔｓｔｒｅａｍｓ）」と題する２００９年１２月１４日出願の米国仮出願第６１／２８４，１５０号の出願日の利益を主張するものである。

符号化に関する実施態様について述べる。様々な特定の実施態様は、複数の符号化ストリームのマージに関する。

ユーザは、特定のビデオ・コンテンツを符号化し、ハード・ディスクに保存していることがある。後になって、当該ユーザが、同じビデオ・コンテンツの別の符号化バージョンを取得することがある。しかし、新しいバージョンでは品質が改善されていることがある。こうして、ユーザが、同じコンテンツの異なる２つのバージョンを保存し得る状況が生じる。

一般的な特徴によれば、データ・シーケンスの第１のＡＶＣ符号化にアクセスする。当該データ・シーケンスの第２のＡＶＣ符号化にアクセスする。第２のＡＶＣ符号化は、第１のＡＶＣ符号化とは品質が異なっている。第１のＡＶＣ符号化を第２のＡＶＣ符号化とマージして、ＡＶＣのＳＶＣ拡張を使用する第３のＡＶＣ符号化にする。このマージは、第１のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第１のレイヤを占め、第２のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第２のレイヤを占めるように実行される。第１のレイヤまたは第２のレイヤの少なくとも一方は、第１のレイヤまたは第２のレイヤの他方の参照レイヤである。

１つまたは複数の実施態様の詳細について、添付の図面および以下の記述で説明する。実施態様は、１つの特定の方法で記載されている場合であっても、様々な方法で構成または実施することができることは明らかであろう。例えば、実施態様は、方法として実行することも、例えば１組の動作を実行するように構成された装置や１組の動作を実行する命令を保存した装置などの装置として実施することも、あるいは信号中に実装することもできる。その他の特徴および特性は、以下の詳細な説明を添付の図面および特許請求の範囲と関連付けて考慮すれば明らかになるであろう。

トランスコーディング・システムの第１の実施態様の例を示すブロック図／流れ図である。 トランスコーディング・システムの第２の実施態様の例を示すブロック図／流れ図である。 トランスコーディング・システムの第３の実施態様の例を示すブロック図／流れ図である。 トランスコーディング・システムの第４の実施態様の例を示すブロック図／流れ図である。 トランスコーディング・システムの第５の実施態様の例を示すブロック図／流れ図である。 １つまたは複数の実施態様とともに使用することができる符号化システムの例を示すブロック図／流れ図である。 １つまたは複数の実施態様とともに使用することができるコンテンツ配信システムの例を示すブロック図／流れ図である。 １つまたは複数の実施態様とともに使用することができる復号システムの例を示すブロック図／流れ図である。 １つまたは複数の実施態様とともに使用することができるビデオ伝送システムの例を示すブロック図／流れ図である。 １つまたは複数の実施態様とともに使用することができるビデオ受信システムの例を示すブロック図／流れ図である。 ビットストリームをトランスコーディングするプロセスの一例を示すブロック図／流れ図である。

本願に記載する少なくとも１つの実施態様では、２つの符号化ビデオ・ビットストリーム（一方はＡＶＣで符号化されたビットストリーム、他方はＡＶＣまたはＳＶＣで符号化されたビットストリーム）をマージして、新たなＳＶＣビットストリームにする。前者のＡＶＣビットストリームは、後者のＡＶＣまたはＳＶＣビットストリームよりも高度なビデオ情報を含む。新たなＳＶＣビットストリームは、可能なら後者のＡＶＣまたはＳＶＣビットストリームと同一であるサブ・ビットストリームを含むように、且つ前者のＡＶＣビットストリームの高度な情報が新たなＳＶＣビットストリームの１つまたは複数の増強レイヤとして符号されるように、生成される。本実施態様では、このマージ・プロセスのトランスコーディング図について述べる。この特定の実施態様の利点としては、（ｉ）ＡＶＣまたはＳＶＣビットストリームの復号、（ｉｉ）ＡＶＣまたはＳＶＣビットストリームの動き補償、（ｉｉｉ）前者のＡＶＣビットストリームの復号、または（ｉｖ）前者のＡＶＣビットストリームの動き補償のうちの１つまたは複数を回避することができることが挙げられる。

ＡＶＣとは、より具体的には、既存のＩｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ（ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４（ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格」または「ＡＶＣ規格」や単なる「ＡＶＣ」などその変形表現）を指している。ＳＶＣとは、より具体的には、ＡＶＣ規格のスケーラブル・ビデオ・コーディング（「ＳＶＣ」）拡張（Ａｎｎｅｘ Ｇ）を指し、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＳＶＣ拡張（「ＳＶＣ拡張」や単なる「ＳＶＣ」）と呼ぶ。

図７を参照して、背景技術の項で述べた例について引き続き説明すると、図７は、家庭での実施に適したコンテンツ配信システム７００を示している。配信システム７００は、コンテンツを保存するメディア・ボールト７１０を含む。メディア・ボールトは、例えば、ハード・ディスクとすることができる。配信システム７００は、メディア・ボールト７１０のコンテンツを表示するための、メディア・ボールト７１０に接続された複数のディスプレイ・デバイスを含む。ディスプレイ・デバイスは、携帯ディジタル端末（「ＰＤＡ」）７２０、携帯電話７３０、およびテレビジョン（「ＴＶ」）７４０を含む。ユーザは、ＡＶＣまたはＳＶＣで符号化された特定のビデオ・コンテンツをメディア・ボールト７１０に保存している。その後、ユーザは、ＡＶＣで符号化された、同じビデオ・コンテンツの別のバージョンを取得する。このバージョンでは、例えばより高い解像度、より高いビット・レート、および／またはより高いフレーム・レートなど、品質が改善されている。別の例としては、このバージョンは、よりよい品質を実現するアスペクト比を有していることもある。ユーザは、例えば、この新たなＡＶＣバージョンをＴＶ７４０に表示しながら、携帯電話７３０またはＰＤＡ７２０の何れかに低品質バージョン（以前に保存したＡＶＣ／ＳＶＣバージョン）を表示する選択肢も残したいと思う可能性がある。実際に、保存領域という視点から言えば、ユーザは、通常は複数のフォーマットを含むＳＶＣ符号化を保存することを好む。そうすれば、デバイスの解像度に応じてユーザの異なるディスプレイ・デバイス７２０から７４０に異なるフォーマットを供給することができるからである。

その結果、ユーザは、この新たなＡＶＣビットストリームを既存のＡＶＣまたはＳＶＣビットストリームに追加したいと思い、結合したビットストリームをＳＶＣ符号化したいと思う。ＳＶＣでは、ユーザは、例えば同じビデオ・コンテンツの様々なバージョンを容易に取り出すことができる、ディスク領域のコストが低い、メディア・ライブラリの管理が容易であるなどの利点を得ることができる。ユーザは、このプロセスが限られた量のメモリ／ディスク領域しか必要としないという点において軽く、高速であるという点において効率的であることを望む。この目的を実現する助けとなるように、システム７００は、トランスコーダ７５０も含む。このトランスコーダ７５０は、様々な実施態様では、以下の図２〜図５に関連して述べるトランスコーダの１つである。トランスコーダ７５０は、メディア・ボールト７１０に接続され、例えば、トランスコーディング・プロセスの入力として保存された符号化にアクセスし、トランスコーディングされた出力を保存する。

新たなＡＶＣビットストリームは、既存の（ＡＶＣまたはＳＶＣ）ビデオ・ビットストリームが有するビデオ・コンテンツ情報を全て含んでいるものと仮定する。さらに、新たなビットストリームは、例えばより高い解像度、より高いフレーム・レート、より高いビット・レートまたはそれらの任意の組合せなど、追加の品質改善情報も含む。さらに、２つのビットストリームの間の対応するアクセス・ユニット（符号化ピクチャ）はそれぞれ、時間的に位置合わせされている。ここでは、時間的な位置合わせとは、時間的解像度の異なる複数のビットストリーム間で、同じビデオ・シーンに対応する符号化ピクチャは、提示時間が同じでなければならないということを意味する。この要件により、より高い時間的解像度を有するビットストリームが、それより低い時間的解像度を有するビットストリームによって符号化された全てのシーンを含むことが保証される。従って、同じシーンに対応するが異なるビットストリームに属する符号化ピクチャ間の相関を活用することが可能になる。

新たなビットストリームを作成する第１の実施態様は、新たなＡＶＣビットストリームを完全に復号して、ピクセル領域（例えばＹＵＶ）ビデオ・シーケンスにすることを含む。この実施態様では、次いで、完全なＳＶＣ符号化を適用して所望のＳＶＣビットストリームを生成し、この完全なＳＶＣ符号化の間は、既存のＡＶＣ／ＳＶＣビットストリームの同じ符号化パラメータが強制される（ｅｎｆｏｒｃｅｄ）。

新たなビットストリームを作成する第２の実施態様は、新たなＡＶＣビットストリームにトランスコーディング・プロセスを適用することを含む。すなわち、ＡＶＣからＳＶＣへのトランスコーディング・プロセスを適用する。このプロセスによって、新たなＳＶＣ出力ビットストリームが生成される。この新たなＳＶＣ出力ビットストリームは、既存のＳＶＣ／ＳＶＣビットストリームと同一である可能性があるサブ・ビットストリームを含む。なお、ＡＶＣ／ＳＶＣビットストリームは既に存在しているが、これはサブ・ビットストリームの生成には利用されないことに留意されたい。

図１を参照すると、システム１００は、第２の実施態様の一例を示したものである。システム１００は、入力として、１０８０ｐフォーマットを有する新たなＡＶＣビットストリーム１１０、ならびに７２０ｐおよび４８０ｐフォーマットを有する既存のＳＶＣビットストリームの両方を受信する。２つのフォーマットは、それぞれ異なるＳＶＣ空間レイヤにある。システム１００は、出力として、１０８０ｐ、７２０ｐおよび４８０ｐの３つ全てのフォーマットを有する新たなＳＶＣビットストリーム１３０を生成する。３つのフォーマットはそれぞれ、異なる空間レイヤを占める。新たなＳＶＣビットストリーム１３０にビットストリーム抽出プロセスを適用することにより、７２０ｐおよび４８０ｐのフォーマットを有する、この例では入力ＳＶＣビットストリーム１２０と同じであるＳＶＣサブ・ビットストリーム１５０が抽出される。ＡＶＣビットストリームを完全に復号する第１の実施態様と比較して、図１のシステム１００は、トランスコーディングを実行するので、復号および符号化のコストを節約する。

次に、第３の実施態様について述べる。第１の実施態様および第２の実施態様はともに効果的であるが、第３の実施態様は、通常はさらに効率的である。効率の向上は、第３の実施態様では、通常は第１および第２の実施態様よりも計算量が少なく、従って時間がかからないためである。さらに、効率の向上は、第３の実施態様では、通常は例えば一時的な符号化の結果を保存するのに必要となるメモリ／ディスク領域が少ないためである。

図２および図３を参照すると、第３の実施態様の２つの例が示してある。図２は、既存のビットストリームがＳＶＣビットストリームである例を示す。図３は、既存のビットストリームがＡＶＣビットストリームである例を示す。

図２を参照すると、システム２００は、入力として、新たなＡＶＣビットストリーム１１０および既存のＳＶＣビットストリーム１２０の両方を受信する。システム２００は、出力として、新たなＳＶＣビットストリーム２３０を生成するが、これは、図１のＳＶＣビットストリーム１３０と同じであることがある。出力ビットストリーム２３０のサブ・ストリームは、入力された既存のＳＶＣビットストリーム１２０と同一である。出力ビットストリーム２３０の１つまたは複数の符号化増強レイヤは、新たなＡＶＣビットストリーム１１０からの追加のビデオ・コンテンツ情報を含む。出力ビットストリーム２３０は、トランスコーダ２４０を用いて生成される。図１のトランスコーダ１４０は入力として１つのビットストリームしか受信しないが、トランスコーダ２４０は、２つの入力ビットストリームを受信する。

図３を参照すると、システム３００は、入力として、新たなＡＶＣビットストリーム１１０および既存のＡＶＣビットストリーム３２０の両方を受信する。システム３００は、出力として、新たなＳＶＣビットストリーム３３０を生成する。出力ビットストリーム３３０のサブ・ストリームは、入力された既存のＡＶＣビットストリーム３２０と同一である。出力ビットストリーム３３０の１つまたは複数の符号化増強レイヤは、新たなＡＶＣビットストリーム１１０からの追加のビデオ・コンテンツ情報を含む。出力ビットストリーム３３０は、トランスコーダ３４０を用いて生成される。図１のトランスコーダ１４０は入力として１つのビットストリームしか受信しないが、トランスコーダ３４０は、トランスコーダ２４０と同様に、２つの入力ビットストリームを受信する。

トランスコーダ２４０、３４０の１つの特徴は、トランスコーダ２４０、３４０が、新たなＡＶＣビットストリーム１１０および既存のＡＶＣ／ＳＶＣビットストリーム１２０、３２０の両方からの符号化情報を再使用することができることである。この再使用は、新たな出力ＳＶＣビットストリーム２３０、３３０の１つまたは複数の増強レイヤを得るために行われる。上述のように、トランスコーダ２４０、３４０は、通常は、従来のトランスコーダが図１に示すようにその主入力として通常は１つの符号化ビットストリームしかとらないので、従来のトランスコーダとは異なる。

トランスコーダ２４０、３４０の実施態様では、入力ビットストリームに含まれる情報を様々な方法で再使用することができる。これらの様々な方法では、例えば実施態様の複雑さと性能の間の兼ね合いを図る。

図４を参照すると、入力ビットストリームの情報を再使用する第１の実施態様が示してある。図４に限らないが、図中の破線で囲まれた部分は、任意選択の動作である。図４は、入力として、新たなＡＶＣビットストリーム１１０および既存のＡＶＣ／ＳＶＣビットストリーム４２０の両方を受信するシステム４００を含む。ビットストリーム４２０は、ＡＶＣビットストリームであってもＳＶＣビットストリームであってもよく、例えば、既存のＳＶＣビットストリーム１２０または既存のＡＶＣビットストリーム３２０とすることができる。システム４００は、出力として、出力ＳＶＣビットストリーム４３０を生成する。ＳＶＣビットストリーム４３０は、例えば、ＳＶＣビットストリーム１３０、２３０または３３０の何れかとすることができる。システム４００は、トランスコーダ２４０、３４０の何れかの実施態様を与える。

システム４００は、入力された新たなＡＶＣビットストリーム１１０を完全に復号してＹＵＶビデオ・シーケンスにするＡＶＣデコーダ４４５を含む。この出力は、図４では、復号ＹＵＶビデオ４４８と呼ばれる。

システム４００は、任意選択のＡＶＣ／ＳＶＣリエンコーダ４５０も含む。リエンコーダ４５０は、入力された既存のＡＶＣ／ＳＶＣビットストリーム４２０に対して作用して、既存のビットストリーム中の、参照レイヤとしての１つまたは複数の符号化要件に一致しない任意のピクチャ／スライス／マクロブロック（「ＭＢ」）を再符号化する。その例としては、シングル・ループ復号要件を満たすために、最高位の増強レイヤ中のイントラ符号化ＭＢは、必要に応じて、参照レイヤによって「制約付きイントラ」モードに符号化されなければならない、というものが挙げられる。

非参照レイヤと比較して、参照レイヤでは符号化パラメータまたは符号化要件が異なるので、リエンコーダ４５０が必要となることがある。さらに、ＡＶＣ／ＳＶＣビットストリーム４２０のレイヤが、ビットストリーム４２０では参照レイヤではないこともあるが、マージされた出力ＳＶＣビットストリーム４３０ではこのレイヤが参照レイヤとして使用されることもある。従って、このレイヤは、リエンコーダ４５０によって再符号化されることになる。例えば、入力ＡＶＣ／ＳＶＣビットストリーム４２０のレイヤが、ＡＶＣ／ＳＶＣビットストリーム４２０中で既に参照レイヤとして使用されている可能性があるので、リエンコーダ４５０は、任意選択である。ＡＶＣ／ＳＶＣビットストリーム４２０から、いくつのレイヤまたはピクチャを、またどのレイヤまたはピクチャを再符号化するかを決定するのは、一般に実施の際に問題になる点である。新たなビットストリームが選択対象となる参照候補をより多く有するように、ＡＶＣ／ＳＶＣビットストリーム４２０のより多くのレイヤまたはピクチャを「再符号化」することを選ぶ人もいれば、その逆の人もいる。なお、「再符号化」とは、少なくとも１つの実施態様では、ＡＶＣ／ＳＶＣビットストリーム４２０内のイントラ符号化されたマクロブロックがある場合に、そのイントラ符号化されたマクロブロックを制約付きイントラ符号化マクロブロックに変化させる、一種のトランスコーディングであることに留意されたい。リエンコーダ４５０の出力は、参照レイヤ・ビットストリーム４５２と呼ばれる。例えば既存のＡＶＣ／ＳＶＣビットストリーム４２０に対して再符号化が必要ない場合には、参照レイヤ・ビットストリーム４５２は、既存のＡＶＣ／ＳＶＣビットストリーム４２０と同じであってもよいことを理解されたい。

システム４００は、参照レイヤ・ビットストリーム４５２を受信するＡＶＣ／ＳＶＣシンタックス・パーサ４５５を含む。ＡＶＣ／ＳＶＣシンタックス・パーサ４５５は、参照レイヤ・ビットストリーム４５２から、イントラ符号化ＭＢ、動きおよび残差信号に関する関連情報を抽出する。参照レイヤからの関連情報は、標準的なＳＶＣ増強レイヤ・エンコーダへの入力として周知である。

システム４００は、増強レイヤ・エンコーダ４６０を含む。増強レイヤ・エンコーダ４６０は、ＡＶＣ／ＳＶＣシンタックス・パーサ４５５から抽出情報を受信する。増強レイヤ・エンコーダ４６０は、完全に復号されたＹＵＶビデオ・シーケンス４４８も受信する。増強レイヤ・エンコーダ４６０は、通常のＳＶＣエンコーダの通常の増強レイヤ・エンコーダと同じである。詳細には、増強レイヤ・エンコーダ４６０は、レイヤ間の相関を活用するレイヤ間予測器４６３と、レイヤ内の相関を活用するレイヤ内予測器４６４とを含む予測モジュール４６２を含む。さらに、増強レイヤ・エンコーダ４６０は、予測モジュール４６２からの出力を受信して、予測（レイヤ間およびレイヤ内の両方）によって生じる予測残差を処理する変換／スケーリング／量子化モジュール４６６を含む。変換／スケーリング／量子化モジュール４６６は、残差ピクチャエネルギーを集中させる変換をいくつかの係数に適用することによって予測残差を処理し、次いで、スケーリングおよび量子化を実行して所望のビット・レートを発生させる。さらに、増強レイヤ・エンコーダ４６０は、変換／スケーリング／量子化モジュール４６６からの出力を受信し、符号化された動き情報および量子化された残差信号内における後の統計的冗長性を除去するエントロピ・エンコーダ４６８を含む。エントロピ・エンコーダ４６８は、増強レイヤ・エンコーダ４６０から出力される増強レイヤ・ビットストリーム４６９を生成する。

システム４００は、増強レイヤ・ビットストリーム４６９および参照レイヤ・ビットストリーム４５２を受信するレイヤ結合器４７５も含む。レイヤ結合器４７５は、符号化された増強レイヤ・ビットストリーム４６９と、参照レイヤ・ビットストリーム４５２とをマージする。レイヤ結合器４７５は、所望の新たなＳＶＣビットストリーム４３０を出力する。

上記で説明し、図４に示すように、システム４００は、ＳＶＣ増強レイヤ・エンコーダにいかなる変更も加えることなく、ＳＶＣ増強レイヤ・エンコーダを使用する。これにより、実施態様の複雑さは大幅に低減される。システム４００は、効果的且つ効率的である。ただし、システム４００は、新たな入力ＡＶＣビットストリーム１１０の完全な復号、および増強レイヤの符号化を実行する。従って、システム４００は、新たな入力ＡＶＣビットストリーム１１０の符号化情報は活用していない。

図５を参照すると、入力ビットストリームの情報を再使用する第２の実施態様が示してある。図５は、システム４００と同様に、入力として新たなＡＶＣビットストリーム１１０および既存のＡＶＣ／ＳＶＣビットストリーム４２０の両方を受信するシステム５００を含む。システム５００は、出力として、出力ＳＶＣビットストリーム４３０を生成する。システム５００は、トランスコーダ２４０、３４０の何れかの実施態様を与える。以下に説明するように、システム５００は、システム４００とは異なり、入力ＡＶＣビットストリーム１１０の符号化情報を活用する。さらに、図５から分かるように、システム５００は、空間領域での動作と比較して複雑さが低減される圧縮領域で動作する。

システム５００の下側部分（図５に示される）は、既存のＡＶＣ／ＳＶＣビットストリーム４３０に対する動作に概ね対応し、システム４００と同じである。すなわち、システム５００は、ＡＶＣ／ＳＶＣビットストリーム４２０をリエンコーダ４５０に与える。リエンコーダ４５０は、参照レイヤ・ビットストリーム４５２を生成し、この参照レイヤ・ビットストリーム４５２を、ＡＶＣ／ＳＶＣシンタックス・パーサ４５５およびレイヤ結合器４７５の両方に与える。

しかし、システム５００の上側半分（図５に示される）は、システム４００とは異なる。この上側部分は、新たなＡＶＣビットストリーム１１０に対する動作に概ね対応する。

システム５００は、上側半分に、入力された新たなＡＶＣビットストリーム１１０を受信するＡＶＣシンタックス・パーサ５４５を含む。ＡＶＣシンタックス・パーサ５４５は、各ＭＢの圧縮領域中の符号化情報を抽出する。符号化情報としては、例えば、符号化モード、動き（例えば動きベクトル）および残差信号（例えば残差信号を符号化するＤＣＴ係数）を示す情報が挙げられる。抽出された符号化情報によって、システム５００は、元の符号化モード（以下でさらに詳細に説明する）の符号化コストを計算することができる。抽出された符号化情報によって、システム５００は、元の符号化モード（以下でさらに詳細に説明する）よりレイヤ間予測モードの方が符号化コストがよい場合には、レイヤ間予測モードを用いてＭＢを再符号化することもできる。

システム５００は、ＡＶＣシンタックス・パーサ５４５から抽出された符号化情報を受信するモード判断モジュール５６０を含む。モード判断モジュール５６０は、ＡＶＣ／ＳＶＣシンタックス・パーサ４５５から、参照レイヤ中の同じ位置にあるＭＢから抽出したこれに対応する情報も受信する。参照レイヤは、既存のＡＶＣ／ＳＶＣビットストリーム４２０のものである。

モード判断モジュール５６０は、新たなＡＶＣビットストリーム１１０内の各ＭＢの符号化モードを評価する。モード判断モジュール５６０は、ＡＶＣビットストリーム１１０中のＭＢの元の符号化モードに関連する符号化コスト、ならびに当該ＭＢをＳＶＣから利用できるレイヤ間予測モードの１つまたは複数で符号化した場合に生じるであろう符号化コストを計算し、比較する。

システム５００は、任意選択のレイヤ間予測モード・リエンコーダ５７０を含む。モード判断モジュール５６０が、ＳＶＣレイヤ間予測モードのうちの１つが最低の符号化コストを有すると判定した場合には、ＡＶＣビットストリーム１１０の評価中の特定のＭＢを、選択したレイヤ間予測モードを用いて再符号化する。レイヤ間予測モード・リエンコーダ５７０は、この再符号化を実行する。

モード判断モジュール５６０が、所与のＭＢについて、ＡＶＣビットストリーム１１０からの元の符号化モードが最低の符号化コストを有すると判定した場合には、当該ＭＢの再符号化は不要である。従って、レイヤ間予測モード・リエンコーダ５７０は迂回される、またはパス・スルーとして扱われる。この場合には、当該の所与のＭＢは、新たなＡＶＣビットストリーム１１０からの符号化を保持し、既存のＡＶＣ／ＳＶＣビットストリーム４２０に依存しない（すなわち既存のＡＶＣ／ＳＶＣビットストリーム４２０を参照として使用しない）。

システム５００は、任意選択の残差リエンコーダ５８０を含む。残差リエンコーダ５８０は、特定のＭＢに関連する符号化残差信号があるかどうかを判定する。符号化残差信号がある場合には、残差リエンコーダ５８０は、ＳＶＣレイヤ間残差予測機構を使用することにより、冗長性をさらに低減しようと試みる。これは、当業者には周知の標準的なＳＶＣ符号化ステップである。残差リエンコーダ５８０は、（ｉ）レイヤ間予測モード・リエンコーダ５７０からの再符号化出力を受信してこれに作用する、または（ｉｉ）レイヤ間予測モード・リエンコーダ５７０が迂回されている場合には、ＡＶＣビットストリーム１１０からのＭＢの元の符号化を受信してこれに作用する。残差リエンコーダ５８０の出力は、増強レイヤ・ビットストリーム４６９と同じであることもある増強レイヤ・ビットストリーム５８５である。なお、符号化残差信号がない場合には、残差リエンコーダ５８０は、迂回する、またはパス・スルーとして扱うことができることに留意されたい。

レイヤ結合器４７５は、増強レイヤ・ビットストリーム５８５と参照レイヤ・ビットストリーム４５２を結合する（またはマージするとも呼ばれる）。結合されたビットストリームは、レイヤ結合器４７５から、出力ＳＶＣビットストリーム４３０として出力される。システム４００と比較すると、システム５００は、新たなＡＶＣビットストリーム１１０からの符号化情報を利用して増強レイヤの符号化を補助するので、全体的な複雑さおよびメモリ／ディスク領域要件が通常は軽減される。システム４００がピクセル領域トランスコーダと呼ばれるのに対して、システム５００は、シンタックス領域トランスコーダと呼ばれる。

上述のように、モード判断モジュール５６０は、様々なモードのコスト計算を実行する。ここで、一実施態様について述べる。ただし、その他の実施態様、ならびにここで述べる実施態様のその他の詳細が、当業者のレベルの十分範囲内であることは明らかである。ＡＶＣビットストリーム１１０の既存の符号化モードの符号化コストは、考慮中のＭＢの残差を符号化するのに必要なビットを調べることによって決定することができる。別の実施態様では、コスト計算時に、符号化モードを示すのに必要なビット、動きベクトルを与えるのに必要なビットおよび参照ピクチャを示すのに必要なビットも含めて、全てのビットを考慮する。しかし、符号化コストが利用可能な複数のモードの中で最低であるかどうかは、残差に必要なビットによって決まることが多い。実施態様では、様々な異なる符号化モードを比較できるものであればどのような方法で符号化コストを決定してもよい。圧縮領域で動作する実施態様では、様々な符号化モードの厳密な符号化コストを計算しなくてもそれらのモードの符号化コストを比較することが可能であり、その比較を行えば十分であることが多い。

他のＳＶＣモードの符号化コストも、モード判断モジュール５６０によって計算される。一実施態様では、以下の解析を実行して、符号化コストを計算する。３つの異なるタイプの増強レイヤ符号化（既存のＡＶＣ／ＳＶＣビットストリーム４２０を参照として使用した既存のＡＶＣビットストリーム１１０のＭＢの符号化）、すなわちインター符号化、イントラ符号化および残差再符号化を考える。この実施態様は、可能な全ての符号化モードを明確に評価するわけではないという点で、必ずしも最適ではない。しかし、その他の実施態様では、可能な全ての符号化モードを評価するので、最適である。

インター符号化は、増強レイヤの元の符号化モードがインター符号化モードであり、且つベース・レイヤの符号化モードがインター符号化モードである場合に増強レイヤのＭＢを符号化する際に考慮される。このシナリオでは、増強レイヤは、動きベクトルや参照フレーム・インデックス、パーティション・サイズなどの動き情報を借用しており、ベース・レイヤの完全な再構築は実行しない。これにより、計算の複雑さが軽減されるという利点が得られる。借用した動きベクトルを使用して、増強レイヤの予測子を見つける。その結果として、適当な動きベクトルを見つけるための参照フレーム内の探索は実行されない。動き補償（動きベクトルの探索）は計算負荷の高い動作であることが多いので、これによっても、計算の複雑さが軽減されるという利点が得られる。ベース・レイヤの動き情報によって与えられる予測子を使用し、残差を計算する。このシナリオでは、ベース・レイヤの予測子に基づいて残差を計算できるようにするために、増強レイヤの復号を行う。残差を計算した後で、当該のインター符号化モードの符号化コストを評価することができる。

イントラ符号化は、増強レイヤの元の符号化モードがイントラ符号化モードであり、且つベース・レイヤの符号化モードがイントラ符号化モードである場合に増強レイヤのＭＢを符号化する際に考慮される。このシナリオでは、同じ位置にあるベース・レイヤのＭＢを、増強レイヤの予測子（参照）として使用できるように、復号（再構築）する。パーティション・サイズは、ベース・レイヤから借用する。さらに、増強レイヤのＭＢも復号する。しかし、動き補償は不要である。残差を計算した後で、ベース・レイヤの予測子に対して、当該のイントラ符号化モードの符号化コストを決定することができる。

残差再符号化は、残差を生成する全てのモードについて考慮される。詳細には、同じ位置にあるベース・レイヤのＭＢの残差を、増強レイヤの残差の予測子として使用する。ベース・レイヤのＤＣＴ係数を調べ、ベース・レイヤの残差を再構築し、増強レイヤの解像度までアップサンプリングし、アップサンプリングによって再構築したものを増強レイヤの残差の予測子として使用する。次いで、ベース・レイヤの残差の予測子に基づいて新たな残差を計算する。この新たな残差は、通常は、符号化利得をもたらすので、符号化コストを低減することになる。もちろん、符号化コストが低減されない場合には、残差再符号化をスキップして、以前の符号化結果を使用することができる。

残差再符号化では、増強レイヤの各マクロブロックを、イントラ符号化モードまたはインター符号化モードの何れか（もしくは上述のように新たなＡＶＣビットストリーム１１０の元の符号化モード）とすることができる選択した符号化モードで最初に符号化することは、明らかであろう。しかし、上述のように、残差再符号化のさらなる動作が実行される。上述のように、「残差再符号化」は、通常は、符号化利得をもたらすので、符号化コストを低下させる。

実際には、残差再符号化は、任意のイントラ符号化モードまたはインター符号化モードに適用することができる。モード判断モジュール５６０は、一実施態様では、任意のイントラ符号化モードまたはインター符号化モードについて（ならびに新たなＡＶＣビットストリーム１１０の元の符号化モードについて）２つのコスト計算を実行する。第１のコスト計算では、追加の残差再符号化演算を行わない。第２のコスト計算では、追加の残差再符号化演算を行う。さらに、残差再符号化では、動き補償が不要であることに留意されたい。残差再符号化では、ベース・レイヤの残差を復号する必要がある（また、新たなＡＶＣビットストリーム１１０の元の符号化モードを考慮している場合には、元の増強レイヤの残差を復号する必要がある）。しかし、残差再符号化では、ベース・レイヤの（または増強レイヤの）完全な再構築が不要である。また、完全な再構築を行うと、通常は、ベース・レイヤ（または増強レイヤ）の予測子を決定し、復号した残差をベース・レイヤ（または増強レイヤ）の予測子に付加することが必要になる。

また、システム４００は、同じ位置にあるベース・レイヤのＭＢから動き情報を借用するインター符号化モードでは動き補償が不要であることに留意されたい。さらに、システム４００は、インター符号化モードを使用して増強レイヤのＭＢを符号化する場合には、ベース・レイヤを復号する必要がない。

図１１を参照すると、ビットストリームをトランスコーディングする実施態様の一例であるプロセス１２００が示してある。プロセス１２００は、データ・シーケンスの第１のＡＶＣ符号化にアクセスすること（１２１０）、および当該データ・シーケンスの第２のＡＶＣ符号化にアクセスすること（１２２０）を含む。第２のＡＶＣ符号化は、第１のＡＶＣ符号化とは品質が異なる。

プロセス１２００は、第１のＡＶＣ符号化と第２のＡＶＣ符号化をマージして、ＡＶＣのＳＶＣ拡張を使用する第３のＡＶＣ符号化にすること（１２３０）を含む。このマージは、（ｉ）第１のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第１のレイヤを占め、（ｉｉ）第２のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第２のレイヤを占め、（ｉｉｉ）第１のレイヤまたは第２のレイヤの少なくとも一方を第１のレイヤまたは第２のレイヤの他方の参照レイヤとして使用することによって、第１のレイヤと第２のレイヤの間の少なくとも一部の相関が活用されるように、実行される。

プロセス１２００は、例えば、システム２００、３００、４００、５００または７００の何れかのトランスコーダが使用することができる。さらに、プロセス１２００を使用して、例えば、（ｉ）メディア・ボールト７１０に保存され、（ｉｉ）以下に述べる図１０に示す受信器などの受信器によって出力され、且つ／または（ｉｉｉ）以下に述べる図６または図９に示すエンコーダなどのエンコーダによって符号化されたビットストリームをマージすることができる。さらに、プロセス１２００を使用して、例えば、マージされたビットストリームを、（ｉ）メディア・ボールト７１０への保存に、（ｉｉ）以下に述べる図９に示す伝送器などの伝送器による伝送に、且つ／または（ｉｉｉ）以下に述べる図８または図１０に示すデコーダなどのデコーダによる復号に提供することができる。従って、様々な実施態様で、トランスコーダ、またはその他の適当に構成された処理デバイスが、（ｉ）図６のエンコーダ６００の出力、（ｉｉ）図８のデコーダ１１００の入力、（ｉｉｉ）図９のエンコーダ４３０２と伝送器４３０４の間、および／または（ｉｖ）図１０の受信器４４０２とデコーダ４４０６の間に含まれることは明らかであろう。

図６を参照すると、エンコーダ６００は、例えばビデオ画像または奥行き画像などの画像を符号化するために使用することができるエンコーダの実施態様を示している。一実施態様では、エンコーダ６００は、新たなＡＶＣビットストリーム１１０を形成する画像を符号化する。エンコーダ６００は、例えば、符号化ビットストリームに関する情報を与えるメタデータなどのデータを符号化するために使用することもできる。エンコーダ６００は、例えば図９を参照して以下で述べるようなビデオ伝送システムの一部として実装することができる。入力画像シーケンスは、加算器６０１ならびに変位補償ブロック６２０および変位推定ブロック６１８に到着する。なお、変位とは、例えば動きまたは視差を指すことに留意されたい。加算器６０１に対するもう１つの入力は、スイッチ６２３を介して受信される様々な可能な参照ピクチャ情報のうちの１つである。

例えば、スイッチ６２３と信号通信しているモード判断モジュール６２４が、符号化モードは、現在符号化しているのと同じブロックまたはスライスを基準とするイントラ予測でなければならないと判定した場合には、加算器は、イントラ予測モジュール６２２からその入力を受信する。あるいは、モード判断モジュール６２４が、符号化モードは、現在符号化しているブロックまたはスライスとは異なるブロックまたはスライスを基準とした変位の補償および推定でなければならないと判定した場合には、加算器は、変位補償モジュール６２０からその入力を受信する。

加算器６０１は、変換モジュール６０２に信号を提供し、変換モジュール６０２は、その入力信号を変換して、変換信号を量子化モジュール６０４に提供するように構成されている。量子化モジュール６０４は、その受信信号に対して量子化を実行して、量子化情報をエントロピ・エンコーダ６０５に出力するように構成されている。エントロピ・エンコーダ６０５は、その入力信号に対してエントロピ符号化を実行して、ビットストリームを生成するように構成されている。逆量子化モジュール６０６は、量子化モジュール６０４から量子化信号を受信して、この量子化信号に対して逆量子化を実行するように構成されている。また、逆変換モジュール６０８は、この逆量子化信号をモジュール６０６から受信して、その受信信号に対して逆変換を実行するように構成されている。モジュール６０６および６０８は、加算器６０１から出力された信号を再生または再構築する。

加算器または結合器６０９は、逆変換モジュール６０８およびスイッチ６２３から受信した信号を加算（結合）して、その結果得られた信号を、イントラ予測モジュール６２２およびループ内フィルタ６１０に出力する。さらに、イントラ予測モジュール６２２は、その受信信号を用いて、上述のようにイントラ予測を実行する。同様に、ループ内フィルタ６１０は、加算器６０９から受信した信号をフィルタリングして、フィルタリング済み信号を参照バッファ６１２に提供し、参照バッファ６１２が、変位推定モジュール６１８および変位補償モジュール６２０に画像情報を与える。

符号化メタデータとしてメタデータをエンコーダ６００に付加して、エントロピ・エンコーダ６０５からの出力ビットストリームと結合することができる。あるいは、例えば、未符号化メタデータをエントロピ・エンコーダ６０５に入力して、量子化画像シーケンスとともにエントロピ符号化することができる。

図８を参照すると、デコーダ１１００は、画像を復号して、それらの復号した画像を例えばＴＶ７４０などのディスプレイ・デバイスに提供するために使用することができるデコーダの実施態様を示している。デコーダ１１００は、例えば復号ビットストリームに関する情報を与えるメタデータを復号するために使用することもできる。デコーダ１１００は、例えば図１０を参照して以下で述べるようなビデオ受信システムの一部として実装することができる。

デコーダ１１００は、ビットストリーム受信器１１０２を用いてビットストリームを受信するように構成することができ、ビットストリーム受信器１１０２は、ビットストリーム・パーサ１１０４と信号通信しており、ビットストリームをパーサ１１０４に提供する。ビットストリーム・パーサ１１０４は、残差ビットストリームをエントロピ・デコーダ１１０６に伝送し、制御シンタックス要素をモード選択モジュール１１１６に伝送し、変位（動き／視差）ベクトル情報を変位補償モジュール１１２６に伝送するように構成することができる。逆量子化モジュール１１０８は、エントロピ・デコーダ１１０６から受信したエントロピ復号信号に対して逆量子化を実行するように構成することができる。さらに、逆変換モジュール１１１０は、逆量子化モジュール１１０８から受信した逆量子化信号に対して逆変換を実行し、逆変換信号を加算器または結合器１１１２に出力するように構成することができる。

加算器１１１２は、利用する復号モードに応じて、様々なその他の信号のうちの１つを受信することができる。例えば、モード判断モジュール１１１６は、制御シンタックス要素を構文解析および解析することにより、エンコーダによって現在処理されているブロックに対して実行されたのが変位補償であるのかイントラ予測符号化であるのかを判定することができる。判定されたモードによっては、モード選択制御モジュール１１１６は、制御シンタックス要素に基づいてスイッチ１１１７にアクセスしてこれを制御して、加算器１１１２が変位補償モジュール１１２６またはイントラ予測モジュール１１１８から信号を受信できるようにすることができる。

ここで、イントラ予測モジュール１１１８は、例えば、現在復号されているのと同じブロックまたはスライスを参照してブロックまたはスライスを復号するようにイントラ予測を実行するように構成することができる。また、変位補償モジュール１１２６は、例えば、現在処理しているのと同じフレームのブロックまたはスライスを参照して、あるいは現在復号しているブロックまたはスライスとは異なる以前に処理された別のフレームのブロックまたはスライスを参照して、ブロックまたはスライスを復号するように変位補償を実行するように構成することができる。

予測情報信号または補償情報信号を受信した後で、加算器１１１２は、この予測情報信号または補償情報信号を逆変換信号と加算して、例えばデブロッキング・フィルタなどのループ内フィルタ１１１４に伝送することができる。ループ内フィルタ１１１４は、その入力信号をフィルタリングして、復号ピクチャを出力するように構成することができる。加算器１１１２は、加算信号を、イントラ予測に使用できるようにイントラ予測モジュール１１１８に出力することもできる。さらに、ループ内フィルタ１１１４は、フィルタリング済み信号を参照バッファ１１２０に伝送することができる。参照バッファ１１２０は、その受信信号を構文解析して、要素１１２６による変位補償復号を可能にし、これを助けるように構成することができる。要素１１２６に対して、参照バッファ１１２０は、構文解析済みの信号を提供する。このような構文解析済みの信号は、例えば、様々な画像の全てまたは一部とすることができる。

ビットストリーム受信器１１０２に提供されるビットストリームに、メタデータを含めることができる。メタデータは、ビットストリーム・パーサ１１０４が構文解析し、エントロピ・デコーダ１１０６が復号することができる。復号されたメタデータは、出力（図示せず）を用いたエントロピ復号の後でデコーダ１１０から抽出することができる。

次に図９を参照すると、上述の特性および原理を適用することができるビデオ伝送システム／装置４３００が示してある。ビデオ伝送システム４３００は、例えば、例えば衛星、ケーブル、電話回線、または地上波放送などの様々な媒体の何れかを用いて信号を伝送するヘッドエンドまたは伝送システムとすることができる。伝送は、インターネットまたは他の何らかのネットワークを介して行うことができる。ビデオ伝送システム４３００は、例えば奥行き値および／または視差値を含む、例えば奥行きの指標など、例えばビデオ・コンテンツおよびその他のコンテンツを生成して配信することができる。

ビデオ伝送システム４３００は、エンコーダ４３０２および符号化信号を伝送することができる伝送器４３０４を含む。エンコーダ４３０２は、例えば画像および奥行き指標を含むことができるビデオ情報を受信し、このビデオ情報に基づいて１つまたは複数の符号化信号を生成する。エンコーダ４３０２は、例えば、上記で詳細に説明したエンコーダのうちの１つとすることができる。エンコーダ４３０２は、例えば様々な情報を受信して、保存または伝送用の構造化フォーマットにアセンブルするアセンブリ・ユニットなどのサブ・モジュールを含むことができる。これらの様々な情報としては、例えば、符号化または未符号化ビデオ、符号化または未符号化奥行き指標および／または情報、ならびに例えば動きベクトル、符号化モード指標、シンタックス要素などの符号化または未符号化要素が挙げられる。

伝送器４３０４は、例えば、符号化ピクチャおよび／またはそれに関連する情報を表す１つまたは複数のビットストリームを有するプログラム信号を伝送するようにすることができる。通常の伝送器は、例えば、誤り訂正符号化を行う、信号中のデータのインタリーブを行う、信号中のエネルギーのランダム化を行う、変調器４３０６を用いて信号を１つまたは複数の搬送波に変調するなどの機能の１つまたは複数を実行する。伝送器４３０４は、アンテナ（図示せず）を含む、またはこれとインタフェースをとることができる。さらに、伝送器４３０４のいくつかの実施態様は、変調器を含む、または変調器に限定することができる。

次に図１０を参照すると、上述の特性および原理を適用することができるビデオ受信システム／装置４４００が示してある。ビデオ受信システム４４００は、例えば衛星、ケーブル、電話回線、または地上波放送などの様々な媒体を介して信号を受信するように構成することができる。信号は、インターネットまたは他の何らかのネットワークを介して受信することができる。

ビデオ受信システム４４００は、例えば、携帯電話、コンピュータ、セット・トップ・ボックス、テレビジョン、あるいは符号化ビデオを受信して、例えば復号したビデオをユーザに対して表示する、または保存するために提供するその他のデバイスとすることができる。従って、ビデオ受信システム４４００は、その出力を、例えばＴＶ７４０などのテレビジョンのスクリーン、コンピュータ・モニタ、コンピュータ（保存、処理または表示のため）、メディア・ボールト７１０、あるいはその他の何らかの保存、処理またはディスプレイ・デバイスに与えることができる。

ビデオ受信システム４４００は、ビデオ情報を含むビデオ・コンテンツを受信して、処理することができる。ビデオ受信システム４４００は、例えば本願の実施態様で説明した信号などの符号化信号を受信することができる受信器４４０２と、この受信信号を復号することができるデコーダ４４０６とを含む。

受信器４４０２は、例えば、符号化ピクチャを表す複数のビットストリームを有するプログラム信号を受信するようにすることができる。通常の受信器は、例えば、変調および符号化データ信号を受信する、復調器４４０４を用いて１つまたは複数の搬送波からデータ信号を復調する、信号中のエネルギーをランダム化解除する、信号中のデータのインタリーブ解除を行う、信号を誤り訂正復号するなどの機能の１つまたは複数を実行する。受信器４４０２は、アンテナ（図示せず）を含む、またはこれとインタフェースをとることができる。受信器４４０２のいくつかの実施態様は、復調器を含む、または復調器に限定することができる。

デコーダ４４０６は、例えばビデオ情報を含むビデオ信号を出力する。デコーダ４４０６は、例えば、上記で詳細に説明したデコーダ１１００とすることができる。

様々な実施態様で、「画像」、「ビデオ」または「フレーム」について言及している。これらの実施態様は、より一般的には、例えば様々なビデオ構成要素またはそれらの組合せの何れかを含むことができる「ピクチャ」に適用することができる。これらの構成要素またはそれらの組合せとしては、例えば、輝度、クロミナンス、（ＹＵＶまたはＹＣｂＣｒまたはＹＰｂＰｒの）Ｙ、（ＹＵＶの）Ｕ、（ＹＵＶの）Ｖ、（ＹＣｂＣｒの）Ｃｂ、（ＹＣｂＣｒの）Ｃｒ、（ＹＰｂＰｒの）Ｐｂ、（ＹＰｂＰｒの）Ｐｒ、（ＲＧＢの）赤、（ＲＧＢの）緑、（ＲＧＢの）青、Ｓ−Ｖｉｄｅｏ、およびこれらの構成要素の何れかのネガティブまたはポジティブが挙げられる。「ピクチャ」は、例えば、フレーム、フィールドまたは画像を指すこともできる。これに加えて、またはこれに代えて、「ピクチャ」という用語は、例えば通常の２次元ビデオ、２Ｄビデオ・ピクチャの視差マップまたは２Ｄビデオ・ピクチャに対応する奥行きマップなどの様々な異なるタイプのコンテンツを指すことができる。

本発明の原理の「一実施例」もしくは「実施例」または「一実施態様」もしくは「実施態様」、ならびにその他のそれらの変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特性、構造、特徴などが、本発明の原理の少なくとも１つの実施例に含まれるという意味である。従って、本明細書の様々な箇所に見られる「一実施例において」もしくは「実施例において」または「一実施態様において」もしくは「実施態様において」という表現、ならびにその他の任意の変形例の記載は、その全てが必ずしも同じ実施例を指しているわけではない。

さらに、本願または本願の特許請求の範囲では、様々な情報を「決定する」ことについて言及していることがある。情報を決定するということには、例えば、情報を推定すること、情報を計算すること、情報を予測すること、情報を特定すること、またはメモリから情報を取り出すことなどの１つまたは複数が含まれる可能性がある。

例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」ならびに「ＡおよびＢの少なくとも１つ」の場合において、「／」、「および／または」ならびに「の少なくとも１つ」の何れかを使用することは、１番目に挙げた選択肢（Ａ）のみを選択すること、または２番目に挙げた選択肢（Ｂ）のみを選択すること、または両方の選択肢（ＡおよびＢ）を選択することを含むということであることを理解されたい。さらに別の例として、「Ａ、Ｂおよび／またはＣ」、「Ａ、ＢおよびＣの少なくとも１つ」ならびに「Ａ、ＢまたはＣの少なくとも１つ」の場合には、この表現は、１番目に挙げた選択肢（Ａ）のみを選択すること、または２番目に挙げた選択肢（Ｂ）のみを選択すること、または３番目に挙げた選択肢（Ｃ）のみを選択すること、または１番目と２番目に挙げた選択肢（ＡおよびＢ）のみを選択すること、または１番目と３番目に挙げた選択肢（ＡおよびＣ）のみを選択すること、または２番目と３番目に挙げた選択肢（ＢおよびＣ）のみを選択すること、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択することを含むということである。当技術分野および関連技術分野の当業者には容易に分かるように、このことは、列挙されている項目の数の分だけ拡張することができる。

特定の特性および特徴を有する１つまたは複数の実施態様は、それらによって実現される。しかし、これらの実施態様の変形例およびさらなる応用例が考えられ、これらは本開示の範囲であり、記載した実施態様の特性および特徴は、その他の実施態様に適応させることができる。

例えば、これらの実施態様は、３つ以上のビットストリームのグループのマージに拡張することができる。また、これらの実施態様は、例えばマルチビュー符号化（ＭＶＣ）のＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（ＡＶＣ）の拡張（ＡＶＣ規格のＡｎｎｅｘ Ｈ）、ＭＰＥＧ−２、３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（３ＤＶ）およびＨｉｇｈ−Ｐｅｒｆｏｒｍａｎｃｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＶＣ）の提案するＭＰＥＧ／ＪＶＴ規格、ならびにＭＰＥＧ−Ｃ Ｐａｒｔ ３（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ（ＩＳＯ）／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ（ＩＥＣ）２３００２−３）など、ＡＶＣおよびＳＶＣを超える様々な規格に適用されるように拡張することができる。さらに、（既存のまたは将来の）その他の規格を使用することができる。もちろん、これらの実施態様および特性は、規格で使用されなくてもよい。さらに、本発明の原理は、ビデオを符号化する状況および／または例えば奥行きデータや視差データなどその他のタイプのデータを符号化する状況で使用することもできる。

さらに別の例として、別の実施態様では、新たなＡＶＣビットストリーム１１０の代わりに新たなＳＶＣビットストリームを使用する。この実施態様では、２つのＳＶＣビットストリームのマージ、または新たなＳＶＣビットストリームと既存のＡＶＣビットストリームのマージが可能となる。

さらに別の実施態様では、新たなビットストリーム（ＡＶＣまたはＳＶＣ）の品質の方が既存のビットストリーム（ＡＶＣまたはＳＶＣ）より低い。このような一実施態様では、新たなビットストリームをマージ後のビットストリームのベース・レイヤとして使用する。

上記実施態様の別の変形例では、第１のビットストリームがＡＶＣビットストリームで、第２のビットストリームが２つの品質フォーマットを有するＳＶＣビットストリームである。２つの品質フォーマットのうちの第１のフォーマットは、ＡＶＣビットストリームよりも品質が低い。２つの品質フォーマットのうちの第２のフォーマットは、ＡＶＣビットストリームよりも品質が高い。マージ後のビットストリームでは、（ＳＶＣビットストリームの）２つの品質フォーマットのうちの第１のフォーマットが、第１のビットストリームのベース・レイヤとして使用される。

本明細書に記載する実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データ・ストリーム、あるいは信号において実施することができる。１つの形態の実施態様の状況でしか述べていない（例えば方法としてしか述べていない）場合でも、記載した特性の実施態様は、その他の形態（例えば装置やプログラム）で実施することもできる。装置は、例えば適当なハードウェア、ソフトウェア、およびファームウェアにおいて実施することができる。方法は例えば、例えばコンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスなどの処理デバイス一般を指す、例えばプロセッサなどの装置において実施することができる。プロセッサとしては、例えばコンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、およびエンド・ユーザ間での情報の通信を容易にするその他のデバイスなどの通信デバイスも挙げられる。

本明細書に記載した様々なプロセスおよび特性の実施態様は、様々な異なる機器またはアプリケーションで実施することができ、具体的には、例えば、データの符号化および復号に関連する機器またはアプリケーションで実施することができる。このような機器の例としては、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバ、セット・トップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、ＰＤＡ、およびその他の通信デバイスが挙げられる。機器は、移動機器であっても、移動可能な車両に設置したものであってもよいことは明らかであろう。

さらに、これらの方法は、プロセッサによって命令を実行することによって実施することができ、これらの命令（および／または実施態様により生成されるデータ値）は、例えば集積回路、ソフトウェア・キャリア、あるいは例えばハード・ディスク、コンパクト・ディスク、ランダム・アクセス・メモリ（「ＲＡＭ」）、または読取り専用メモリ（「ＲＯＭ」）などその他の記憶デバイスなどのプロセッサ可読媒体に保存することができる。これらの命令は、プロセッサ可読媒体上に有形に実装されるアプリケーション・プログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組合せに含めることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはその両者の組合せに見ることができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスおよびプロセスを実行するための命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスの両方の特徴を有することができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実施態様によって生成されるデータ値を保存することができる。

実施態様は、例えば保存または伝送することができる情報を担持するようにフォーマット化された様々な信号を生成することができることは、当業者には明らかであろう。このような情報としては、例えば、方法を実行するための命令、または記載した実施態様の１つによって生成されるデータが挙げられる。このような信号は、例えば、（例えばスペクトルの無線周波部分を用いて）電磁波として、またはベースバンド信号として、フォーマット化することができる。フォーマット化は、例えば、データ・ストリームの符号化、および符号化データ・ストリームによる搬送波の変調を含むことができる。信号が担持する情報は、例えば、アナログ情報またはディジタル情報とすることができる。信号は、既知の通り、様々な異なる有線または無線リンクを介して伝送することができる。信号は、プロセッサ可読媒体に保存することができる。

いくつかの実施態様について説明した。しかし、様々な修正を加えることができることを理解されたい。例えば、異なる実施態様の要素を組み合わせて、補足して、修正して、または除去して、その他の実施態様を生み出すことができる。さらに、その他の構造およびプロセスを、開示した構造およびプロセスの代わりに用いることができ、その結果得られる実施態様では、開示した実施態様と少なくとも実質的に同じ１つまたは複数の機能が、少なくとも実質的に同じ１つまた複数の方法で実行されて、少なくとも実質的に同じ１つまた複数の結果が得られることは、当業者なら理解するであろう。従って、本開示は上記の実施態様およびその他の実施態様を企図するものであり、それらの実施態様は、本開示の範囲に含まれる。

Claims (28)

1. データ・シーケンスの第１のＡＶＣ符号化にアクセスするステップと、
   前記第１のＡＶＣ符号化とは品質が異なる前記データ・シーケンスの第２のＡＶＣ符号化にアクセスするステップと、
   前記第１のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第１のレイヤを占め、前記第２のＡＶＣ符号化が前記第３のＡＶＣ符号化の少なくとも第２のレイヤを占めるように、前記第１のＡＶＣ符号化と前記第２のＡＶＣ符号化とをマージしてＡＶＣのＳＶＣ拡張を使用する前記第３のＡＶＣ符号化にする、マージするステップであって、前記第１のレイヤまたは前記第２のレイヤの少なくとも一方が、前記第１のレイヤまたは前記第２のレイヤの他方の参照レイヤである、ステップと、
   を含む、方法。
2. 前記第１のＡＶＣ符号化または前記第２のＡＶＣ符号化の一方のブロックが、前記第１のＡＶＣ符号化または前記第２のＡＶＣ符号化の他方のブロックを符号化するための参照ブロックとなる、請求項１に記載の方法。
3. マージするステップが、前記第１のＡＶＣ符号化のシンタックスを解析するステップを含む、請求項１に記載の方法。
4. マージするステップが、前記解析されたシンタックスに対応する前記第１のＡＶＣ符号化のマクロブロックを再構築することなく、前記解析されたシンタックスに基づいて所与のマクロブロックのエンハンスメント・レイヤ符号化を実行するステップをさらに含む、請求項３に記載の方法。
5. 前記エンハンスメント・レイヤ符号化が、前記第１のＡＶＣ符号化に対して実行され、
   前記所与のマクロブロックの前記エンハンスメント・レイヤ符号化で、前記所与のマクロブロックを再構築せずに、前記所与のマクロブロックの前記第１のＡＶＣ符号化の符号化モードを使用する、請求項４に記載の方法。
6. 前記エンハンスメント・レイヤ符号化が、前記第１のＡＶＣ符号化をベース・レイヤとして使用して前記第２のＡＶＣ符号化に対して実行され、
   前記所与のマクロブロックの前記エンハンスメント・レイヤ符号化で、前記所与のマクロブロックを再構築せずに、前記所与のマクロブロックと同じ位置にあるマクロブロックの前記第１のＡＶＣ符号化からの動き情報を使用する、請求項４に記載の方法。
7. マージするステップが、前記第２のＡＶＣ符号化のシンタックスを解析するステップをさらに含む、請求項３に記載の方法。
8. 前記エンハンスメント・レイヤ符号化が、前記第１のＡＶＣ符号化をベース・レイヤとして使用して前記第２のＡＶＣ符号化に対して実行され、
   前記所与のマクロブロックの前記エンハンスメント・レイヤ符号化で、前記所与のマクロブロックを再構築せずに、前記所与のマクロブロックの前記第２のＡＶＣ符号化の符号化モードを使用する、請求項７に記載の方法。
9. マージするステップが、
   前記第３のＡＶＣ符号化に、前記第１のＡＶＣ符号化の少なくとも一部分によって占められるベース・レイヤを形成するステップと、
   前記第３のＡＶＣ符号化に、前記第２のＡＶＣ符号化の少なくとも一部分によって占められるエンハンスメント・レイヤを形成するステップと、
   を含み、前記エンハンスメント・レイヤを形成するステップが、前記所与のマクロブロックの動き補償を実行することなく、前記ベース・レイヤ中の同じ位置にあるマクロブロックからの動き情報を使用して前記第２のＡＶＣ符号化の所与のマクロブロックを符号化するステップを含む、請求項１に記載の方法。
10. マージするステップが、
    前記第３のＡＶＣ符号化にベース・レイヤを形成するステップと、
    前記第３のＡＶＣ符号化に、前記第１のＡＶＣ符号化の少なくとも一部分によって占められるエンハンスメント・レイヤを形成するステップと、
    を含み、前記エンハンスメント・レイヤを形成するステップが、前記第１のＡＶＣ符号化の前記一部分の所与のマクロブロックを符号化してエンハンスメント・レイヤ残差を生成するステップと、前記ベース・レイヤ中の同じ位置にあるマクロブロックの符号化の残差に基づく予測子を使用することによって、前記エンハンスメント・レイヤ残差の残差再符号化を実行するステップと、
    を含む、請求項１に記載の方法。
11. 残差再符号化を実行するステップが、
    ＤＣＴ係数から前記ベース・レイヤ残差を再構築するステップと、
    必要に応じて、前記再構築されたベース・レイヤ残差を前記エンハンスメント・レイヤの解像度までアップサンプリングして前記予測子を生成するステップと、
    を含む、請求項１０に記載の方法。
12. マージするステップが、
    前記第１のＡＶＣ符号化の少なくとも一部分を前記第３のＡＶＣ符号化のベース・レイヤとして使用するステップと、
    前記第１のＡＶＣ符号化のシンタックスを解析するステップと、
    前記第２のＡＶＣ符号化のシンタックスを解析するステップと、
    前記第１のＡＶＣ符号化の前記解析されたシンタックスおよび前記第２のＡＶＣ符号化の前記解析されたシンタックスを使用して、前記第３のＡＶＣ符号化のエンハンスメント・レイヤとして前記第２のＡＶＣ符号化の少なくとも一部分を符号化するステップと、
    を含む、請求項１に記載の方法。
13. マージするステップが、
    前記第２のＡＶＣ符号化の前記一部分の所与のマクロブロックの前記解析されたシンタックスを評価するステップと、
    前記第１のＡＶＣ符号化の前記一部分の同じ位置にあるマクロブロックの前記解析されたシンタックスを評価するステップと、
    前記所与のマクロブロックの元の符号化モードと前記同じ位置にあるマクロブロックの元の符号化モードとがイントラ符号化モードである場合には、前記同じ位置にあるマクロブロックを再構築したものを前記所与のマクロブロックの参照として使用するステップと、
    前記所与のマクロブロックの前記元の符号化モードと前記同じ位置にあるマクロブロックの前記元の符号化モードとがインター符号化モードである場合には、前記同じ位置にあるマクロブロックからの動き情報を使用して前記所与のマクロブロックを符号化するステップと、
    前記所与のマクロブロックの前記元の符号化モードと前記同じ位置にあるマクロブロックの前記元の符号化モードとの両方がイントラ符号化モードではない、またはインター符号化モードではない場合には、前記所与のマクロブロックの符号化モードを使用して前記所与のマクロブロックを符号化するステップと、
    をさらに含む、請求項１２に記載の方法。
14. マージするステップが、前記所与のマクロブロックの符号化によって生じるエンハンスメント・レイヤ残差の残差再符号化を実行するステップをさらに含む、請求項１３に記載の方法。
15. マージするステップが、
    前記第１のＡＶＣ符号化の少なくとも一部分を前記第３のＡＶＣ符号化のベース・レイヤとして使用するステップと、
    前記第２のＡＶＣ符号化の少なくとも一部分を前記第３のＡＶＣ符号化のエンハンスメント・レイヤとして使用するステップと、
    前記第２のＡＶＣ符号化の前記一部分の所与のマクロブロックについて、前記ベース・レイヤを参照として使用する１つまたは複数の符号化モードの符号化コストを決定するステップと、
    前記評価に基づいて、前記１つまたは複数の符号化モードから、前記所与のマクロブロックの符号化に使用する符号化モードを選択するステップと、
    を含む、請求項１に記載の方法。
16. 前記選択するステップが、前記１つまたは複数の符号化モードから、決定された符号化コストが最低である符号化モードを選択するステップを含む、請求項１５に記載の方法。
17. マージするステップが、前記選択された符号化モードを使用して前記所与のマクロブロックを再符号化するステップをさらに含む、請求項１５に記載の方法。
18. マージするステップが、
    前記第１のＡＶＣ符号化の少なくとも一部分を前記第３のＡＶＣ符号化のベース・レイヤとして使用するステップと、
    前記第２のＡＶＣ符号化の少なくとも一部分を前記第３のＡＶＣ符号化のエンハンスメント・レイヤとして使用するステップと、
    前記第２のＡＶＣ符号化の少なくとも前記一部分を完全に復号して、ピクセル領域データ・シーケンスにするステップと、
    前記第１のＡＶＣ符号化の少なくとも前記一部分のシンタックスを解析するステップと、
    前記ピクセル領域データ・シーケンスおよび前記解析したシンタックスをＳＶＣエンハンスメント・レイヤ・エンコーダに提供して、前記エンハンスメント・レイヤを生成するステップと、
    を含む、請求項１に記載の方法。
19. マージするステップが、
    前記第１のＡＶＣ符号化の少なくとも一部分を前記第３のＡＶＣ符号化のベース・レイヤとして使用するステップと、
    前記第１のＡＶＣ符号化の少なくとも前記一部分を、ＳＶＣビットストリームの参照レイヤの要件に一致するように再符号化するステップと、
    を含む、請求項１に記載の方法。
20. 前記第１のＡＶＣ符号化または前記第２のＡＶＣ符号化の１つまたは複数が、少なくともベース・レイヤおよび第１のエンハンスメント・レイヤを有するＳＶＣ符号化である、請求項１に記載の方法。
21. マージするステップが、
    前記第１のＡＶＣ符号化を復号するステップと、
    前記復号した第１のＡＶＣ符号化を再符号化するステップと、
    前記第１のレイヤを、前記再符号化した第１のＡＶＣ符号化で占めるステップと、
    を含み、前記第１のＡＶＣ符号化が、前記再符号化した第１のＡＶＣ符号化の形態で前記第１のレイヤを占める、請求項１に記載の方法。
22. 前記第１のレイヤまたは前記第２のレイヤの少なくとも一方を前記第１のレイヤまたは前記第２のレイヤの他方の参照レイヤとして使用することによって、前記第１のレイヤと前記第２のレイヤの間の少なくとも一部の相関を活用する、請求項１に記載の方法。
23. データ・シーケンスの第１のＡＶＣ符号化にアクセスする手段と、
    前記第１のＡＶＣ符号化とは品質が異なる前記データ・シーケンスの第２のＡＶＣ符号化にアクセスする手段と、
    前記第１のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第１のレイヤを占め、前記第２のＡＶＣ符号化が前記第３のＡＶＣ符号化の少なくとも第２のレイヤを占めるように、前記第１のＡＶＣ符号化と前記第２のＡＶＣ符号化とをマージしてＡＶＣのＳＶＣ拡張を使用する前記第３のＡＶＣ符号化にする手段であって、前記第１のレイヤまたは前記第２のレイヤの少なくとも一方が、前記第１のレイヤまたは前記第２のレイヤの他方の参照レイヤである、手段と、
    を含む、装置。
24. 少なくとも、
    データ・シーケンスの第１のＡＶＣ符号化にアクセスするステップ、
    前記第１のＡＶＣ符号化とは品質が異なる前記データ・シーケンスの第２のＡＶＣ符号化にアクセスするステップ、および
    前記第１のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第１のレイヤを占め、前記第２のＡＶＣ符号化が前記第３のＡＶＣ符号化の少なくとも第２のレイヤを占めるように、前記第１のＡＶＣ符号化と前記第２のＡＶＣ符号化とをマージしてＡＶＣのＳＶＣ拡張を使用する前記第３のＡＶＣ符号化にするステップであって、前記第１のレイヤまたは前記第２のレイヤの少なくとも一方が、前記第１のレイヤまたは前記第２のレイヤの他方の参照レイヤである、ステップ
    を実行するように構成されたトランスコーダ。
25. 前記第１のＡＶＣ符号化にアクセスするステップ、
    前記第２のＡＶＣ符号化にアクセスするステップ、および
    前記第１のＡＶＣ符号化と前記第２のＡＶＣ符号化とをマージして前記第３のＡＶＣ符号化にするステップ
    を実行するように集合的に構成された１つまたは複数のプロセッサまたはエンコーダを含む、請求項２４に記載のトランスコーダ。
26. 少なくとも、
    データ・シーケンスの第１のＡＶＣ符号化にアクセスするステップ、
    前記第１のＡＶＣ符号化とは品質が異なる前記データ・シーケンスの第２のＡＶＣ符号化にアクセスするステップ、および
    前記第１のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第１のレイヤを占め、前記第２のＡＶＣ符号化が前記第３のＡＶＣ符号化の少なくとも第２のレイヤを占めるように、前記第１のＡＶＣ符号化と前記第２のＡＶＣ符号化とをマージしてＡＶＣのＳＶＣ拡張を使用する前記第３のＡＶＣ符号化にするステップであって、前記第１のレイヤまたは前記第２のレイヤの少なくとも一方が、前記第１のレイヤまたは前記第２のレイヤの他方の参照レイヤである、ステップ
    を１つまたは複数のプロセッサに集合的に実行させる命令を保存したプロセッサ可読媒体。
27. データ・シーケンスの第１のＡＶＣ符号化を含む信号を受信するように構成された受信器と、
    少なくとも、
    前記データ・シーケンスの前記第１のＡＶＣ符号化にアクセスするステップ、
    前記第１のＡＶＣ符号化とは品質が異なる前記データ・シーケンスの第２のＡＶＣ符号化にアクセスするステップ、および
    前記第１のＡＶＣ符号化が第３のＡＶＣ符号化の少なくとも第１のレイヤを占め、前記第２のＡＶＣ符号化が前記第３のＡＶＣ符号化の少なくとも第２のレイヤを占めるように、前記第１のＡＶＣ符号化と前記第２のＡＶＣ符号化をマージしてＡＶＣのＳＶＣ拡張を使用する前記第３のＡＶＣ符号化にするステップであって、前記第１のレイヤまたは前記第２のレイヤの少なくとも一方が、前記第１のレイヤまたは前記第２のレイヤの他方の参照レイヤである、ステップ
    を実行するように構成されたトランスコーダと、
    を含む、装置。
28. 前記トランスコーダに接続された、前記第３のＡＶＣ符号化を保存する保存デバイスをさらに含む、請求項２７に記載の装置。

Images