JP6031106B2 - エラーのない基準フレームを使用したビデオリフレッシュ - Google Patents

Description

本発明は、ビデオ信号の部分を符号化するための符号化モードを選択するときにビットレートと歪みとの間のトレードオフのバランスをとることに関する。本発明は、特に（排他的にではないが）、符号化器がストリームをカメラなどから受信するとできるだけ早く該ストリームを送信のために動的に符号化しなければならない、ビデオ通話のストリームのようなビデオストリームをリアルタイムに符号化する場合、すなわちライブ・ビデオ・ストリームの場合に適用可能であり得る。

符号化されるべきビデオデータのストリームを図１Ａに概略的に示す。ストリームは、各々が異なるそれぞれの瞬間におけるビデオ画像を表す複数のフレーム（Ｆ）を含む。当業者には既知であるように、符号化を目的として、各フレーム（Ｆ）は複数の部分に分割され、各部分も、より小さい複数の下位部分に細分化され、各部分または下位部分は、複数のピクセルを含む。たとえば、ある用語によれば、符号化されるべきビデオストリームの各フレームは複数のマクロブロック（ＭＢ）に分割され、各マクロブロックは、複数のブロックまたはサブブロック（ｂ）に細分化され、各ブロックまたはサブブロックは複数のピクセルを含む。各フレームはまた、独立して復号可能なスライス（Ｓ）に分割され得、各スライスは１つまたは複数のマクロブロックを含む。図１Ａに示す分割は例示を目的とした概略に過ぎないことに留意されたく、これらは必ずしも任意の実際の符号化方式に対応することを意味するものではなく、たとえば、各フレームはより多数のマクロブロックを含む可能性があることは了解されよう。

ビデオコード化が採用され得る例示的な通信システムを、図２のブロック図に概略的に示す。通信システムは、送信側の第１の端末１２と、受信側の第２の端末２２とを備える。たとえば、各端末１２、２２は、携帯電話もしくはスマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、またはテレビセット、セット・トップ・ボックス、ステレオシステムなどのような他の家庭用電化製品を含んでもよい。第１の端末１２および第２の端末２２は各々、通信ネットワーク３２に動作可能に結合される。それにより、送信側の第１の端末１２は、受信側の第２の端末２２によって受信される信号を送信するように構成されている。無論、送信端末１２は、受信端末２２からの信号を受信することも、その逆も可能であり得るが、説明の目的のために、ここでは送信は第１の端末１２の視点から説明し、受信は第２の端末２２の視点から説明する。通信ネットワーク３２は、たとえば、広域インターネットおよび／またはローカル・エリア・ネットワーク、および／またはモバイル・セルラ・ネットワークなどのパケットベースのネットワークを含んでもよい。

第１の端末１２は、フラッシュメモリもしくは他の電子メモリ、磁気記憶装置、および／または光記憶装置のような記憶媒体１４を含む。第１の端末１２は、１つまたは複数のコアを有するＣＰＵの形態の処理装置１６と、少なくとも送信機１８を有する有線または無線モデムのような送受信機と、端末１２の残りの部分と同じ筐体内に収容されてもよいし、されなくてもよいビデオカメラ１５も備える。記憶媒体１４、ビデオカメラ１５および送信機１８は各々処理装置１６に動作可能に結合されており、送信機１８は有線または無線リンクを介してネットワーク３２に動作可能に結合されている。同様に、第２の端末２２は、電子、磁気、および／または光記憶装置のような記憶媒体２４と、１つまたは複数のコアを有するＣＰＵの形態の処理装置２６とを備える。第２の端末は、少なくとも受信機２８を有する有線または無線モデムのような送受信機と、端末２２の残りの部分と同じ筐体内に収容されてもよいし、されなくてもよい画面２５とを備える。第２の端末の記憶媒体２４、画面２５および受信機２８は各々それぞれの処理装置２６に動作可能に結合されており、受信機２８は有線または無線リンクを介してネットワーク３２に動作可能に結合されている。

第１の端末１２にある記憶媒体１４は少なくとも、処理装置１６で実行されるように構成されているビデオ符号化器を記憶している。実行されると、符号化器は「生」の（符号化されていない）入力ビデオストリームをビデオカメラ１５から受信し、ビデオストリームを符号化してよりビットレートの低いストリームに圧縮し、符号化ビデオストリームを送信のために送信機１８および通信ネットワーク３２を介して第２の端末２２の受信機２８に対して出力する。第２の端末２２の記憶媒体は少なくとも、第２の端末２２自体の処理装置２６上で実行されるように構成されているビデオ復号器を記憶している。実行されると、復号器は、符号化ビデオストリームを受信機２８から受信し、画面２５に対する出力のために復号する。符号化器および／または復号器を指すために使用され得る一般用語が、コーデックである。

ビデオコーデックの目的は、可能な最高の品質を維持しながら、ビデオ信号を送信するのに必要とされるビットレートを低減することである。この目的は、統計冗長性（ビデオ信号の類似性）および知覚的非関連性（人間の視覚系の感度に関する）を利用することによって達成される。

今日のビデオコーデックのほとんどは、他のピクセルブロックからのピクセルブロックの予測、予測残差の変換、変換係数の量子化、および量子化指数のエントロピーコード化を含むアーキテクチャに基づく。これらのステップは、冗長性および非関連性を低減するのに寄与する。

以下の文献を参照する。
［１］ＩＴＵ−Ｔ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、２００７年
［２］Ｚｈａｎｇ他、「Ｅｒｒｏｒ ｒｅｓｉｌｉｅｎｃｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｉｎ Ｈ．２６４ ｅｎｃｏｄｅｒ ｗｉｔｈ ｐｏｔｅｎｔｉａｌ ｄｉｓｔｏｒｔｉｏｎ ｔｒａｃｋｉｎｇ」、（Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、１６３−１６６頁、２００４年）
予測は一般的に、現在のフレーム以外のビデオフレーム内のピクセルから（インター予測）、および、同じフレーム内のピクセルから（イントラ予測）実行することができる。すなわち、イントラフレーム符号化を使用して符号化される場合、フレームのブロック、サブブロックまたは他の部分（対象ブロックまたは部分）は、同じフレーム内の別のブロック、サブブロックまたは画像部分（基準ブロックまたは部分）に関連して符号化され、インターフレーム符号化を使用して符号化される場合、対象ブロックまたは部分は、別のフレーム内の基準ブロックまたは部分に関連して符号化される。この処理を、一般的に予測または予測コード化と称する。インターまたはイントラ予測モジュールはしたがって、たとえば、イントラフレーム符号化の場合には隣接するブロックまたはサブブロックの指示、および／または、インターフレーム符号化の場合は動きベクトルの形式で予測を生成する。一般的に、符号化器は、予測されたブロックと実際のブロック（または予測されたサブブロックと実際のサブブロックと、など）の間の「残った」差を表す残差信号をも生成する。その後、残差、動きベクトル、および、イントラ予測と関連付けられる任意の必要とされるデータが、一般的に、量子化器およびエントロピー符号化器のようなさらなるコード化段を介して、符号化ビデオストリーム内に出力される。したがって、ビデオ内のほとんどのブロックは、ブロック間の差に関して符号化され得、これによって符号化に必要とされるビットは、絶対ピクセル値を符号化するよりも少なく、したがって、ビットレートが節約される。イントラ予測符号化は一般的に、インター予測よりも多くのビットを必要とするが、それでも絶対値を符号化するのにまさる節約を示す。ビデオに関する適切なインターおよびイントラ符号化技法は当業者には既知であろう。

最新のコーデックは、フレーム内の異なる複数の部分に対して異なる複数の予測符号化モードを使用することを可能にする。異なる複数のコード化選択肢を有することが可能であることによって、ビデオコーデックのレート−歪み効率が増大する。すべてのフレーム領域に対して最適なコード化表現を見つけなければならない。一般的に、そのような領域は、たとえば、１６×１６ピクセルから成るマクロブロックである。すなわち、そのため、イントラ予測またはインター予測モードが各マクロブロックに対して個々に選択されることが可能であり、それによって、同じフレーム内の異なる複数のマクロブロックが異なる複数のモードで符号化されることができる。コーデックによっては、マクロブロックの異なる複数のレベルの区分化に基づいて、たとえば、マクロブロック内の各４×４サブブロックに対して別個の予測が実行されるより複雑なモードと、８×８もしくは８×１６ブロックのみまたはさらにはマクロブロック全体に基づいて予測が実行されるより複雑でないモードとの間で選択して、異なる複数のモードを使用ことも可能である。利用可能なモードは、予測を実行するための異なる複数の選択肢をも含んでもよい。たとえば、図１Ｂに概略的に示すように、あるイントラモードにおいて、直上のサブブロックからの隣接するピクセルから下方に外挿することによって、または、直ぐ左にあるサブブロックから側方に外挿することによって、４×４サブブロック（ｂ）のピクセルが決定されてもよい。コーデックによっては、「スキップモード」と呼ばれる別の特別な予測モードも提供されてもよく、これは代替的なタイプのインターモードと考えることができる。スキップモード（ＰＳｋｉｐ）においては、対象の動きベクトルが、その上および左にある動きベクトルに基づいて推定され、残差係数の符号化は行われない。動きベクトルが推定される方法は動きベクトル予測と一致しており、したがって、動きベクトル差はゼロであり、そのため、マクロブロックがスキップブロックであることを伝えるだけでよい。

図３は、送信端末１２上に実装され得るような符号化器を概略的に示す高レベルブロック図である。符号化器は、離散コサイン変換（ＤＣＴ）モジュール５１と、量子化器５３と、逆変換モジュール６１と、逆量子化器６３と、イントラ予測モジュール４１と、インター予測モジュール４３と、減算段（−）とを備える。符号化器は、スイッチ４７と、モード選択モジュール４９とをも備える。これらのモジュールの各々は、好ましくは、送信端末の記憶媒体１４に記憶されているコードの一部分として実装され、その処理装置１６で実行するように構成されているが、これらのいくつかまたはすべてが全体的にまたは部分的に専用ハードウェア回路内で実装される可能性は除外されない。

スイッチ４７およびモード選択モジュール４９の各々は、複数のマクロブロックＭＢを含む入力ビデオストリームのインスタンスを受信するように構成されている。モード選択モジュール４９は、各マクロブロックについてコード化モード「ｏ」を選択するように構成されており、マルチプレクサ４７に動作可能に結合されており、それによって、マルチプレクサを、選択されているモードに適切であるように、逆量子化器６３の出力をイントラ予測モジュール４１またはインター予測モジュール４３のいずれかの入力に通すように制御する。モード選択モジュール４９は、選択されているモード「ｏ」を関連する予測モジュール４１、４３に示し（たとえば、４×４区分化モード、８×８モード、スキップモードなどを示し）、次のフレームに関するモードの選択に使用するために予測モジュール４１、４３からフィードバックされる情報を受信するようにも構成されてもよい。イントラ予測モジュール４１またはインター予測モジュール４３の出力は、その後、減算段（−）の入力に結合され、減算段は、その他方の入力において符号化されていない入力ビデオストリームを受信して、予測されたブロックを、それらの符号化されていない相手から減算するように構成されており、したがって、残差信号を生成する。その後、残差ブロックは変換（ＤＣＴ）モジュール５１を通過し、そこで、それらの残差値が周波数領域に変換され、その後、量子化器５３に至り、そこで、変換された値が離散的な量子化指数に変換される。量子化、変換された信号は逆量子化器６３および逆変換モジュール６１を通じてフィードバックされて、選択されている予測モジュール４１、４３によって使用するためのブロックまたはサブブロックの予測バージョン（復号器において分かるような）が生成される。予測モジュール４１、４３において使用される予測の指示、インター予測モジュール４３によって生成された動きベクトル、ならびに、変換モジュール５１および量子化モジュール５３によって生成されている残差の量子化、変換された指数はすべて、一般的に、さらなる、エントロピー符号化器（図示せず）のような可逆符号化段を介して符号化ビデオストリーム内に含めるために出力され、予測値および変換、量子化された指数が、当該技術分野において既知の可逆符号化技法を使用してさらに圧縮され得る。

上記によれば、このように、コード化表現は、ブロック区分化情報、予測モード、動きベクトル、量子化精度などを含んでもよい。最適なコード化選択肢は、ビデオ内容、ビットレート、以前のコード化決定などに応じて決まる。変換係数の量子化の精度は一般的に、ビットレート制約を満たすように選択される。さらに、歪みは最小限に抑えられるべきである。

たとえば、Ｈ．２６４ビデオコーダは、予測モードを選択にあたって大きな柔軟性を提供する（非特許文献１）。ルマ成分のインター予測について、１６×１６ピクセルから成るマクロブロックが、１６×１６ピクセルから成る１つのブロック、または、１６×８ピクセルから成る２つのブロック、または、８×１６ピクセルから成る２つのブロック、または、８×８ピクセルから成る４つのブロックとして表現され得る。さらに、８×８ブロックが、８×８ピクセルから成る１つのブロック、または、８×４ピクセルから成る２つのサブブロック、または、４×８ピクセルから成る２つのサブブロック、または、４×４ピクセルから成る４つのサブブロックとして表現され得る。インター予測は、マクロブロックの各許可されている区分化に対して試行される。ブロックのインター予測は、一般的にサブピクセル予測によって推定される基準フレーム（複数の場合もあり）および動きベクトル（複数の場合もあり）をインデックス付けする（それぞれの基準フレーム内の基準ブロックから空間シフト）ことによって表現される。ルマ成分のイントラ予測について、１６×１６ブロックに対しては４つのモードの可能性があり、４×４サブブロックに対しては９つのモードの可能性がある。さらに、クロマ成分については４つのモードの可能性がある。最良の予測モードは、インター予測モードとイントラ予測モードとの性能を比較することによって選択される。

Ｈ．２６４ ＡＶＣ（非特許文献１）のようなビデオコーデックのレート−歪み性能は、大体において、マクロブロックモード選択ｏの性能に応じて決まる。これは、たとえば、イントラモードまたはインターモードを使用してレート−歪みトレードオフについてマクロブロックが最良に符号化されているかを判定する手順である。ロバスト性の視点から、イントラコード化マクロブロックは、一時的なエラー伝播を止める（制約されたイントラ予測を使用する、すなわち、インター予測されたマクロブロックからのイントラ予測が禁止されると仮定して）ため、有益である。しかしながら、イントラコード化マクロブロックは概して、インターコード化マクロブロックと比較してレートに関してより費用がかかり、したがって、復号器における歪み（たとえば、平均歪み）が特定のビット配分およびチャネル状態を所与として最小限に抑えられるように、イントラコード化マクロブロックを系統的に導入することが重要である。Ｚｈａｎｇ他による非特許文献２は、復号器における予測される平均差分二乗和（ＳＳＤ）の最小化に基づいてイントラコード化マクロブロックを導入するためのそのような系統的なフレームワークを提案している。潜在的な歪みをトラッキングすることによって、Ｚｈａｎｇ他は、符号化器レート−歪みループ内のインターマクロブロックの費用を計算するときにソースコード化歪みに付加される、予測エラー伝播歪み（復号器における）に関連するバイアス項を計算することが可能である。

レート−歪み性能最適化問題は、ビットレート制約Ｒの下で歪みを最小化することに関して定式化することができる。この問題を解決するためにラグランジュ最適化フレームワークが使用されることが多く、それに従って、最適化基準を以下のように定式化することができる。
Ｊ＝Ｄ（ｍ，ｏ）＋λＲ（ｍ，ｏ） （１）
式中、Ｊはラグランジュ関数であり、Ｄは歪みの量を表し（モードｏおよびマクロブロックｍまたはマクロブロック下位区分の関数）、Ｒはビットレートであり、λは歪みとレートとの間のトレードオフを定義するパラメータである。一般的に使用される歪み量は元のピクセルと再構築されたピクセルとの間の差分二乗和（ＳＳＤ）、または、元のピクセルと予測されるピクセルとの間の差分絶対値和（ＳＡＤ）である。

この応用において、ラグランジュ最適化問題を解くことは、ラグランジュ関数Ｊを最小化する符号化モードｏを見つけることを意味し、このラグランジュ関数Ｊは、少なくとも歪みを表す項と、ビットレートを表す項と、それら２つの間のトレードオフを表す係数（「ラグランジュ乗数」）とを含む。符号化モードｏがより完全なまたはより良好な品質の符号化モードに向かって変化するとき、歪み項Ｄは低減することになる。しかしながら、同時に、レート項Ｒは増大することになり、λに依存する特定の点において、Ｒの増大はＤの低減を上回ることになる。したがって、式Ｊは何らかの最小値を有することになり、これが起こる符号化モードｏが最適な符号化モードと考えられる。

この意味において、ビットレートＲ、またはむしろ項λＲは、この項が、増大し続ける品質から最適な符号化モードを引き戻すという点において、最適化に制約を課す。この最適なバランスが見つかるモードはλに応じて決まり、したがって、λはビットレートと歪みとの間のトレードオフを表すと考えてもよい。

ラグランジュ最適化は、コード化選択決定のプロセスにおいて一般的に使用されており、すべてのフレーム領域（たとえば、１６×１６ピクセルから成るすべてのマクロブロック）に適用される。一般的に、歪みはすべての処理段を考慮にいれるように評価され得る。これらは予測、変換、および量子化を含む。さらに、再構築されたピクセルを計算するために、逆量子化、逆変換、および逆予測のステップを実行しなければならない。ＳＳＤは、結果としてＳＡＤと比較してより高い品質をもたらすため、歪み基準として好まれることが多い。一般的に、レートは、予測、および、量子化された変換係数［４］を既述するパラメータを含む、すべての必要とされるパラメータのコード化をも考慮に入れる。

Ｚｈａｎｇ他による非特許文献２において、著者は、ソースコード化だけでなくチャネルエラーにも起因する復号器内の潜在的な歪み、すなわち、信号がチャネルを介して送信されるときのデータの損失に起因して受けることになる、潜在的なる歪みをも推定している。推定された潜在的な歪みは、その後、モード選択をイントラコード化に向かってバイアスするのに間接的に使用される（チャネルエラーの可能性がある場合）。Ｚｈａｎｇの「端から端まで」の歪みの式は、差分二乗和（ＳＳＤ）歪み量に基づき、マクロブロックの損失についてベルヌーイ分布を仮定する。最適なマクロブロックモードｏ_ｏｐｔは以下によって与えられる。

式中、Ｄ_ｓ（ｍ，ｏ）はマクロブロックｍおよびマクロブロックモードｏについての元のピクセルおよび再構築されたピクセルの間のＳＳＤ歪みを示し、Ｒは合計レートであり、λは歪みおよびレート項を関連付けるラグランジュ乗数である。Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、エラー伝播に起因する復号器内の基準マクロブロックにおける予測される歪みを示す。したがって、Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、エラー伝播歪みが大きくなりすぎる場合に最適化をイントラコード化に向かってバイアスするバイアス項をもたらす。Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、イントラコード化マクロブロックモードについてはゼロである。式Ｄ_ｓ（ｍ，ｏ）＋Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）＋λＲ（ｍ，ｏ）は、ラグランジュ関数Ｊのインスタンスとみなされ得る。Ａｒｇｍｉｎ_ｏは、式Ｊの値が最小値である引数ｏの値を出力する。

非特許文献２において、項Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は物体の運動に従い、現在の動きベクトルを使用して総歪みマップから計算される。総予測エラー伝播歪みマップＤ_ｅｐがエラー隠蔽の性能によって駆動され、各マクロブロックモード選択後に以下のように更新される。
Ｄ_ｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋ｐ（Ｄ_{ｅｃ−ｒｅｃ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋Ｄ_{ｅｃ−ｅｐ}（ｍ（ｋ），ｎ）） （３）
式中、ｎはフレーム数であり、ｍ（ｋ）はマクロブロックｍのｋ番目の下位区分（すなわち、ブロックまたはサブブロック）を示し、ｐはパケット損失の確率を示し、Ｄ_{ｅｃ−ｒｅｃ}は符号化器における再構築されたピクセルとエラー隠蔽されたピクセルとの間のＳＳＤを示し、Ｄ_{ｅｃ−ｅｐ}は符号化器および復号器におけるエラー隠蔽されたピクセルの間の予測ＳＳＤを示す。

非特許文献２において、Ｄ_ｅｐはフレームの各マクロブロックの上の４×４格子上に記憶され、すなわち、マクロブロックあたり１６個のＤ_ｅｐの値があり、そのため、各マクロブロックの４×４ピクセルサブブロックあたり１つのＤ_ｅｐの値がある。図１Ｃに示すように、Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｏ）、すなわち、時刻ｎにおけるフレームのマクロブロックｍ内のサブブロックｋに関する予測エラー伝播基準歪みの計算は、このとき、時刻ｎ−１からの先行するフレームからの４つのサブブロックからのＤ_ｅｐの値の加重和として実行される。重みは、問題のブロックｍの動きベクトルから求められる。すなわち、以下のようになる。

式中、重みｗ_ｉは重複部分に比例し、ｑ_ｉ（ｋ_ｉ）は先行するフレームｎ−１内のマクロブロックｑ_ｉのサブブロックｋ_ｉを示す。

図１Ｃは、例示的なサブブロックｂ１．．．ｂ４を参照した動きベクトルからの予測エラー伝播基準歪みおよび予測エラー伝播歪みマップの計算の図解を提供する（この例において、ｋはｂ１に対応し、ｉはｂ１．．．ｂ４を通じてカウントする）。

ＩＴＵ−Ｔ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、２００７年 Ｚｈａｎｇ他、「Ｅｒｒｏｒ ｒｅｓｉｌｉｅｎｃｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｉｎ Ｈ．２６４ ｅｎｃｏｄｅｒ ｗｉｔｈ ｐｏｔｅｎｔｉａｌ ｄｉｓｔｏｒｔｉｏｎ ｔｒａｃｋｉｎｇ」、（Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、１６３−１６６頁、２００４年）

Ｚｈａｎｇ他による非特許文献２のプロセスは、チャネルにわたる損失の可能性に関して純粋に符号化器において行われる事前の確率論的仮定のみに基づく。

しかしながら、いくつかの既存の通信システムは、受信機から送信機に戻る特定の情報を報告する目的で、および／または制御の目的でフィードバック機構を提供する。たとえば、符号化器は、いずれのフレームが正確に復号器に到着したか、および／または、いずれのフレームが送信において喪失したかに関する戻り情報を受信し得、それに応答して、エラー伝播を遮断するためにイントラフレームを生成し得る。しかしながら、既存のメカニズムは、イントラフレーム全体の生成しかトリガせず、また、まだ確認応答されていないか、またはまだ喪失を報告されていないかのいずれかである他のフレームまたはフレームの部分の損失に起因して受ける可能性がある歪みの確率的推定を何ら組み込んでいないという点で単純に過ぎる。

Ｚｈａｎｇ他による非特許文献２によるアルゴリズムは、何らのフィードバックを使用する可能性または可用性をも考慮せずエラーのあるチャネルを介してビデオを送信するシナリオのみを考慮しており、そのため、Ｚｈａｎｇのプロセスはチャネルの何らの実際の事後知識にも基づいていない。

他の視点から見ると、従来のフィードバックの使用は、イントラフレーム全体の生成のみをトリガし、フレーム内の個々の部分のレベルにおける（たとえば、マクロブロックごとの）モード選択はない。また、従来のフィードバックの使用は、チャネルにわたる可能性のある損失に起因して受けることになる歪みの推定を含まない。

他方、本発明者は、符号化器における損失適応的レート−歪み最適化プロセスにさらに適応し、それによって、Ｚｈａｎｇ他による方法と比較して全体的なレート−歪み性能を改善するために、復号器から符号化器へフィードバックされている情報、たとえば、パケットおよび／またはフレーム到着ステータスを利用することを提案する。

本発明の第１の実施形態は、短期基準および長期基準のシステムを利用することができる。たとえば、Ｈ．２６４標準規格は、特定の基準フレームをいわゆる「長期」基準としてマーキングする機能をサポートしている。これらの長期基準は明示的に削除されるまで復号画像バッファ内にあるままである。これは、復号画像バッファにおいて、新たな短期基準を最も古い短期基準フレームに上書きする「短期」基準フレームとは対照的である。

本発明の第１の実施形態によれば、フィードバック機構を使用して、復号器を、（いずれのフレームが喪失されたかに関する情報に加えて）いずれが復号器において利用可能な最近に確認応答された長期基準であるかにアウェアにすることができる。以下において、確認応答された基準とは、好ましくは、単にそれ自体が確認応答されている基準ではなく、確認応答されたエラーのない基準（すなわち、エラー伝播歪みが一切ない基準）を意味する。すなわち、この基準は、好ましくは、単に現在の基準がその履歴の厳密な確認応答なしに受信されたことが確認応答されているのとは対照的に、基準が受信されたものとして確認応答され、その基準の履歴内の関連するすべても受信されたものとして確認応答されており、それによって、エラー伝播がないと知ることができるという厳密な定義に従って確認応答されるべきである。それ自体が確認応答されているだけであるが、エラーのないブロックに対して符号化されているフレーム内の部分もエラーがない（伝播エラーがない）ことに留意されたい。

確認応答された長期基準フレームに基づくインター予測を使用して、イントラコード化と同様に、復号器内のエラー伝播を止めることができる。長期基準からのインター予測を使用する利点は、インター予測の結果、概して所与の歪みレベルに対してビットレートが低くなることである。

確認応答された長期基準をインター予測に利用することによって、本発明のこの第１の実施形態は、たとえば、Ｚｈａｎｇによる非特許文献２のフレームワーク内で使用されるイントラコード化と同様に、しかし概してより低い関連するビットレートにおいてエラー伝播を止めることができるが、追加のマクロブロックコード化モードを利用可能にする。

Ｚｈａｎｇ他による非特許文献２によるアルゴリズムは、２つの異なるタイプのコード化モード、すなわちイントラおよびインターコード化のみを考慮する。その場合、式（３）内のエラー伝播基準歪みＤ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）はイントラコード化マクロブロックモードについてのみゼロである。しかしながら、本発明の第１の実施形態は、利用可能なコード化モードのセットを拡大して、確認応答された長期基準からのインターコード化を含む。このとき、Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）はイントラコード化についてだけでなく、確認応答された基準からのインターコード化についてもゼロに設定される。そのようなコード化モードの利点は、イントラコード化と同様であるが、概してより低いビットレートにおいてエラー伝播を止めることができることである。

本発明の第１の実施形態の変形形態は、フィードバックがまだ受信されていない特定の基準（たとえば、長期基準）について、それにもかかわらず、この基準が、復号器からの中間報告に基づいてエラーのない確認応答された基準になる一定の確率を有するという着想を使用する。たとえば、確認応答されていない長期基準に基づくインター予測の使用を、確認応答されていない短期基準に基づくインター予測の使用から区別するまた別の利用可能な符号化モードが導入されてもよい。確認応答されていない長期基準について、損失の確率の事前の推定に応じて（すなわち、ｐはそれ自体はフィードバックに基づいていない）、および、確認応答されていない基準の履歴内の最後の（最近の）確認応答された長期基準からの時間（または同等にフレーム数）に基づいてエラー伝播歪みＤ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）の推定は低減される。

第１の実施形態の別の変形形態において、パケットの往復時間（ＲＴＴ）が復号画像バッファ内の長期基準の数と比較して十分に短い（往復時間とは、パケットが送信機から受信機へ進んで再び戻ってくるまでの時間である）とき、同じ概念を短期基準に適用してもよい。すなわち、十分に小さいＲＴＴについて、代替的なまたは追加の可能性は、短期基準を確認応答されているものとして認識することであり、これは、その後、上述した、確認応答された長期基準と同様に使用することができる。ここでも式（３）に対して必要とされるアルゴリズムの変更は、Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）がイントラコード化についてだけでなく、確認応答された基準からのインターコード化についてもゼロに設定されることである。

また、確認応答はフレーム全体ベースである必要はないことに留意されたい。代わりに、これは、フレームの部分、たとえば、スライスのみに対する確認応答を受信し、確認応答もしくはそれがないこと（または受信されなかったことの明確な報告）に応じてそれらの異なる複数の部分を別様に処理するように構成されてもよい。

本発明の第２の実施形態において、パケットおよび／またはフレーム到着ステータスのような、復号器から符号化器へフィードバックされている情報が、復号器内の潜在歪みマップを調整し、それによって、Ｚｈａｎｇ他による方法と比較して全体的なレート−歪み性能を改善するために使用される。

第２の実施形態によれば、潜在エラー伝播歪みマップは、符号化器の復号画像バッファ内に各フレームまたはスライスと関連付けて（エラー隠蔽再構築歪みマップ、エラー隠蔽エラー伝播マップ、対応するモード決定および動きベクトル情報とともに）記憶される。この第２の実施形態は、その後、復号器からのフィードバック情報を、潜在歪みマップを更新するのに利用する。フィードバック情報は、精密な潜在歪みトラッキングを可能にし、より良好なレート−歪み性能をもたらす。

特定のフレームが復号器に到着したことを知らせるフィードバック情報を符号化器が受信した場合、エラー隠蔽寄与を式（３）内のエラー伝播歪みマップから削除することができる。逆に、特定のフレームまたはスライスが復号器において喪失したことを知らせるフィードバック情報が受信された場合、関連するエラー伝播歪みマップが、エラー隠蔽歪みからの寄与、すなわち、式（３）の右辺の第２の項および第３の項（ｐを用いて正規化されている）のみを含むように再計算される。

このとき、往復時間（ＲＴＴ）が復号画像バッファ内の基準画像の数と比較して短い場合、時刻ｎ−ＲＴＴにおける調整された潜在エラー伝播マップを、再帰的に式（３）を使用して時刻ｎ−１におけるエラー伝播歪みマップに伝搬させることが可能である。このとき、時刻ｎ−１における更新されたエラー伝播歪みマップは、モード選択プロセス（２）において使用される時刻ｎにおけるＤ_{ｅｐ＿ｒｅｆ}の計算を基礎とすることになる。この結果、潜在歪みマップのトラッキングがより正確になり、システムの全体的なレート−歪み性能が改善する。

上記は、いくつかの特定の例示的な実施形態を概説しているが、より一般的に、本発明は、以下に一致するシステム、コンピュータプログラム製品および装置を提供する。

本発明の一態様によれば、損失を伴うチャネルを介して受信端末にある復号器に送信するための送信端末の符号化器においてビデオストリームを符号化する方法が提供され、方法は、レート−歪み最適化プロセスであって、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、対象画像部分に関する歪みの推定値および対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択することを含み、歪みの推定値はソースコード化歪み、および、チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づく、レート−歪み最適化プロセスを実行することと、選択された符号化モードを使用して対象画像部分を符号化して符号化ビデオストリームにすることと、符号化ビデオストリームをチャネルを介して送信することとを含み、上記フレームのうちの現在のフレームに対するレート−歪み最適化プロセスは、上記フレームのうちの先行するフレームに基づいて受信端末から受信されるフィードバックに従って実行される。

上記フィードバックは、上記先行するフレームの少なくとも一部分が受信されたという確認応答、および、上記先行するフレームの少なくとも一部分が受信されなかったという報告のうちの一方を含んでもよい。

本発明の第１の実施形態において、符号化モードのセットは、確認応答された先行するフレームまたは先行するフレームの確認応答された部分内の対応する基準部分に対して対象画像部分を符号化する確認応答基準インター予測モードを含んでもよい。

確認応答基準インター予測モードは、基準部分が受信されたものとして確認応答され、それに対して基準部分が符号化されたあらゆるものも受信されたものとして確認応答されており、それによって、基準部分がエラー伝播を受けないと知ることができることを条件として、符号化モード選択に使用するために利用可能であり得る。

上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、上記確認応答を含むフィードバックが受信されていることを条件として損失に起因する歪みの推定値をなしに設定することを含んでもよい。

方法は、符号化器において復号器の符号化器側インスタンスを実行することと、符号化器において、復号器の符号化器側インスタンスによって再構築された基準画像データの形態の短期および長期基準を記憶している復号画像バッファを維持することとを含んでもよく、短期基準は連続したフレームによって自動的に上書きされてもよく、一方で長期基準は明確な削除コマンドの条件に基づいて削除されてもよく、確認応答基準インター予測モードは、受信端末において受信されたと確認応答されている復号画像バッファ内の長期基準のうちの対応するものに対して対象画像部分を符号化してもよい。

符号化モードのセットは少なくとも、イントラフレームモード、少なくとも１つの非確認応答インターフレーム符号化モード、および上記確認応答インター予測モードを含んでもよい。

符号化モードのセットは、復号画像バッファ内に記憶されている確認応答されていないフレームまたはフレームの一部分内の対応する長期基準に対して対象画像部分を符号化する非確認応答長期基準インター予測モードを含んでもよく、上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、推定損失確率、および、最後に確認応答された先行するフレームまたは先行するフレームの確認応答された部分からの時間に従って損失に起因する歪みの推定値を求めることを含んでもよい。

符号化モードのセットは、非確認応答短期基準インター予測モードをも含んでもよい。

方法は、符号化器において復号器の符号化器側インスタンスを実行することと、符号化器において、復号器の符号化器側インスタンスによって再構築された基準画像データの形態の短期および長期基準を記憶している復号画像バッファを維持することとを含んでもよく、短期基準は連続したフレームによって自動的に上書きされてもよく、一方で長期基準は明確な削除コマンドの条件に基づいて削除されてもよく、確認応答基準インター予測モードは、受信端末において受信されたと確認応答されている復号画像バッファ内の対応する短期基準に対して対象画像部分を符号化してもよい。

符号化モードのセットは、インター符号化基準部分からの対象画像部分のイントラ符号化を可能にする非制約イントラ符号化モードを含んでもよい。

本発明の第２の実施形態において、上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、上記フィードバックに従って、先行するフレームまたは先行するフレームの一部分に対する歪みの推定値を調整することと、調整された歪みの推定値を現在のフレームに関連する使用に対して伝搬させることとを含んでもよい。

上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、上記確認応答および上記報告のうちの少なくとも一方に従って、先行するフレームまたは先行するフレームの一部分に対する歪みの推定値を調整することと、調整された歪みの推定値を現在のフレームに関連する使用に対して伝搬させることとを含んでもよい。

起こり得る損失に起因して受けることになる歪みの推定値は、対象部分がチャネルにわたって到着する場合に、対象部分の予測が依存する対象部分の履歴内の基準部分が到着しないことに起因して受けることになる歪みの推定値を表す第１の寄与、および、隠蔽に起因して受けることになる歪みの推定値を表す第２の寄与に基づいてもよい。

第２の寄与は、対象部分がチャネルを通じて喪失された場合に対象部分の損失を隠蔽するのに使用されることになる画像部分に対する対象部分の隠蔽歪みの量を表す寄与、および、対象部分の隠蔽が依存する対象部分の履歴内の画像部分の損失に起因して受けることになる歪みの推定値を表す寄与を含んでもよい。

上記フィードバックに従う損失適応的レート−歪み最適化プロセスの実行は、上記確認応答を含むフィードバックが受信されていることを条件として、第２の寄与を先行するフレームに関するなしに設定すること、および、受信されていないという上記報告を含むフィードバックが受信されていることを条件として、第１の寄与を先行するフレームに関するなしに設定すること、のうちの一方または両方を含んでもよい。

本発明の別の態様によれば、損失を伴うチャネルを介して受信端末にある復号器に送信するためのビデオストリームを符号化するための送信端末が提供され、送信端末は、レート−歪み最適化プロセスを実行するように構成されている符号化器であって、レート−歪み最適化プロセスは、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、対象画像部分に関する歪みの推定値および対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択することを含み、歪みの推定値はソースコード化歪み、および、チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づき、当該符号化器は、選択された符号化モードを使用して対象画像部分を符号化して符号化ビデオストリームにするように構成されている、符号化器と、符号化ビデオストリームをチャネルを介して送信するように構成されている送信機とを備え、符号化器は、上記フレームのうちの現在のフレームに対するレート−歪み最適化プロセスが、上記フレームのうちの先行するフレームに基づいて受信端末から受信されるフィードバックに従って実行されるように構成されている。

実施形態において、符号化器は、上記方法の特徴のいずれかによる動作を実行するようにさらに構成されてもよい。

本発明の別の態様によれば、損失を伴うチャネルを介して受信端末にある復号器に送信するための送信端末の符号化器においてビデオストリームを符号化するためのコンピュータプログラム製品が提供され、コンピュータプログラム製品はコンピュータ可読媒体上で具現化され、送信端末上で実行されると、レート−歪み最適化プロセスであって、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、対象画像部分に関する歪みの推定値および対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択することを含み、歪みの推定値はソースコード化歪み、および、チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づく、レート−歪み最適化プロセスを実行する動作と、選択された符号化モードを使用して対象画像部分を符号化して符号化ビデオストリームにする動作と、符号化ビデオストリームをチャネルを介して送信する動作とを実行するように構成されているコードを備え、上記フレームのうちの現在のフレームに対するレート−歪み最適化プロセスは、上記フレームのうちの先行するフレームに基づいて受信端末から受信されるフィードバックに従って実行される。

実施形態において、コードは、実行されると、上記方法の特徴のいずれかによる動作を実行するようにさらに構成されてもよい。

本発明をより良く理解し、それがどのように実行され得るかを示すために、例として添付の図面を参照する。

ビデオストリームの概略図である。 いくつかのイントラ予測コード化モードの概略図である。 エラー伝播歪みの計算の概略図である。 通信システムの概略ブロック図である。 符号化器の概略ブロック図である。 復号器から符号化器へのフィードバックを利用するシステムの概略ブロック図である。

以下は、損失適応的レート−歪み最適化プロセスにさらに適応し、それによって、全体的なレート−歪み性能を改善するために、復号器から符号化器へフィードバックされている情報、たとえば、パケットおよび／またはフレーム到着ステータスを利用する符号化システムおよび方法を説明する。符号化器は、図３に関連して説明されているものと同様であるが、モード選択モジュール４９が変更されている。これは、図１に示す種類のビデオストリームを符号化するのに使用され、図２のもののような通信システム内で実装され得る。

記載のように、モード選択は、ラグランジュ型関数を最適化（たとえば、最小化）することを含んでもよい。
Ｊ＝Ｄ（ｍ，ｏ）＋λＲ（ｍ，ｏ） （１）
式中、Ｊはラグランジュ関数であり、Ｄは歪みの量を表し（モードｏおよびマクロブロックｍまたはマクロブロック下位区分の関数）、Ｒはビットレートであり、λは歪みとレートとの間のトレードオフを定義するパラメータである。

従来の事例において、歪み項Ｄはソースコード化歪み、すなわち、量子化によって導入される歪みのような符号化器の欠陥に起因するもののみを考慮に入れる。これは、たとえば、パケットベースのネットワーク３２にわたる送信におけるパケット損失に起因する、チャネルにわたるデータの損失に起因して導入され得る歪みは考慮に入れない。

他方、本発明およびＺｈａｎｇによる非特許文献２の技法のような損失適応的技法は、ソース符号化およびチャネルにわたるデータの損失に起因する歪みの両方を考慮に入れた「端から端まで」の歪みの量を定義するように試行する。所与の（対象）ブロック、マクロブロックまたはサブブロックに対する端から端までの歪みは、以下のように記述され得る。
Ｄ＝（１−ｐ）Ｄ_{ａｒｒｉｖａｌ}＋ｐＤ_ｌｏｓｓ （５）
式中、Ｄ_{ａｒｒｉｖａｌ}は対象ブロックが復号器に到着する場合に受けることになる歪みの推定値であり、Ｄ_ｌｏｓｓは対象ブロックが、チャネルにわたるパケット損失に起因して、たとえば、パケットベースのネットワーク３２にわたるそのブロックを含むパケットの損失に起因して復号器に到着しない場合に受けることになる歪みの推定値である。パラメータｐは、結果として問題のブロックまたは画像部分が喪失されることになる、チャネルにわたって発生する損失事象の確率の推定値、たとえば、パケット損失の確率の推定値である。便宜上、「ブロック」という用語は、本明細書の所々において、概して、フレーム区分の関連レベル（たとえば、Ｈ．２６４のような特定の標準規格のブロックまたはサブブロック）を指すために使用され得る。

Ｄ_{ａｒｒｉｖａｌ}は、ソースコード化歪みだけでなく、ブロックの過去の歪み、すなわち、対象ブロックがそこから予測されることになる１つまたは複数の基準ブロック内の歪みに起因して導入されることになる歪みも表す。それゆえ、Ｄ_{ａｒｒｉｖａｌ}はソースコード化歪み項Ｄ_ｓ、および、予測される対象ブロックの履歴内の歪み（すなわち、対象ブロック内に進むことになる対象ブロックの基準ブロック内の歪み）を表すエラー伝播歪み項Ｄ_{ｅｐ＿ｒｅｆ}の両方を含む。
Ｄ_{ａｒｒｉｖａｌ}＝Ｄ_ｓ＋Ｄ_{ｅｐ＿ｒｅｆ} （６）
Ｄ_ｌｏｓｓは隠蔽に起因する損失を含む。対象ブロックが受信されない場合、復号器は、以前に復号されたブロックの凍結、または１つまたは複数の復号に成功したブロックからの（現在のフレームおよび／または前のフレームのいずれかからの）補間もしくは外挿を含み得る隠蔽アルゴリズムを適用することになる。それゆえ、Ｄ_ｌｏｓｓはこの隠蔽プロセスに起因する歪みと識別することができる。
Ｄ_ｌｏｓｓ＝Ｄ_ｅｃ （７）
そのため、式（５）を調べると、項Ｄ_ｓは、損失がまったくない場合に受けることになる歪みの推定値を表し、項Ｄ_ｅｃは、対象ブロックが喪失した場合に受けることになる歪みの推定値を表し、項Ｄ_{ｅｐ＿ｒｅｆ}は、対象ブロックの受信に成功したがその履歴内の何かが喪失した場合（対象ブロックの基準ブロックが喪失した、または基準ブロックの基準ブロックが喪失した、などの場合）に受けることになる歪みの推定値を表す。

Ｄ_ｓおよびＤ_{ｅｐ＿ｒｅｆ}は符号化モード選択ｏの関数である。Ｄ_ｅｃは、モード選択ｏの関数ではなく、そのため、ラグランジュ式から落とされている（依然として喪失されているため、喪失したブロックがどのように符号化されたかは問題にならない）。したがって、最適化は以下のように書くことができる。

Ｄ_ｓは、符号化器において知ることができる情報に基づく、たとえば、生の入力サンプル値ｓと再構築サンプル値

との間の差に基づくため、決定論的である。符号化器は、符号化器側で復号器の並列インスタンス（またはそれに類するもの）を作動させる。図３におけるインター予測モジュール４３を詳細に示す挿入図を参照されたい。インター予測モジュール４３は、動き補償予測（ＭＣＰ）ブロック４４と、各サンプルインデックスｉについて、予測サンプル

と再構築残差

とを組み合わせること、すなわち、

によって再構築サンプル

を求めるように構成されている加算段（＋）とを備える。

インター符号化の場合、符号化器において、予測サンプル

は、基準ブロック（対象フレームに対して動きベクトルの分だけずれている基準フレーム内の基準ブロック。まもなく再度説明される、図１Ｃを参照されたい）のサンプル

と同じであり得る。

したがって、符号化器は、実際のサンプルｓと、符号化器および復号器側に見られるような再構築サンプル

との間の差を求めることができる（今までのところ、これは復号器において受けるさらなる歪みを導入することになる損失の可能性を無視している）。サンプルの差は、たとえば、以下の式における対象ブロックのすべてのサンプルインデックスｉにわたる差分二乗和（ＳＳＤ）エラーとして計算され得る。

しかしながら、Ｄ_{ｅｐ＿ｒｅｆ}は推定されていないままであり、これは、符号化データが（たとえば、パケットベースのネットワーク３２にわたって）送信されることになるチャネルに関する何らかの推定を行うことに基づく。

これを達成するために、符号化器内のモード選択モジュール４９は、最近に符号化されたフレーム内の各マクロブロックまたはマクロブロックの区分の歪みを記述するエラー伝播歪みマップＤ_ｅｐを維持するように構成されてもよい。モード選択モジュール４９は、対象ブロックが底から予測されることになる基準ブロックを含むパケットがチャネルにわたって喪失されることになる確率ｐを求め（、それゆえまた、パケットが到着する確率１−ｐを黙示的にまたは明示的に求め）るようにも構成される。確率ｐは、統計的モデル化に基づいて設計段階で事前決定されてもよく、この場合、モード選択モジュール４９は、メモリ１４から値を取り出すことによってｐを決定する。一方、別の可能性として、モード選択モジュール４９は、受信機２２からのフィードバックに基づいてｐを決定することもある。

エラー伝播マップは以下のように表され得る。
Ｄ_ｅｐ＝（１−ｐ）Ｄ_{ｅｐ＿ａｒｒｉｖａｌ}＋ｐＤ_ｌｏｓｓ （９）
エラー伝播マップＤ_ｅｐは、最近に符号化されたフレームのマクロブロックｍまたはより好ましくは各下位部分（ブロックまたはサブブロック）ｍ（ｋ）に対する歪み推定値を含む。したがって、これはより明示的に以下のように書かれ得る。
Ｄ_ｅｐ（ｍ（ｋ））＝（１−ｐ）Ｄ_{ｅｐ＿ａｒｒｉｖａｌ}（ｍ（ｋ））＋ｐＤ_ｌｏｓｓ（ｍ（ｋ）） （１０）
式中、ｍ（ｋ）はマクロブロックｍのｋ番目の下位部分（たとえば、サブブロック）を示し、ｐはパケット損失の確率を示す。

Ｄ_ｌｏｓｓは上述のようにＤ_ｅｃに等しい。Ｄ_{ｅｐ＿ａｒｒｉｖａｌ}はチャネルにわたる差、すなわち、符号化器における再構築サンプルと復号器における再構築との間の差を表す。たとえば、これは、差分二乗和（ＳＳＤ）に関して量子化され得る。

式中、

はソースコード化歪みおよびチャネルに起因する歪みの両方を考慮に入れた、復号器において受信される（インデックスｉの）サンプルである。すなわち、ｓ_ｉは、生の符号化されていない入力サンプルであり、

はソースコード化歪み（たとえば、量子化に起因する）を考慮に入れた、符号化器における再構築サンプルであり、

は、チャネルの損失を伴う影響を含む合計の端から端までの歪みを考慮に入れたサンプルである。

Ｄ_{ｅｐ＿ａｒｒｉｖａｌ}は以下に拡張することができる。

式中、

は再構築残差のサンプルである。それゆえ、以下のようになる。

そのため、式（９）に代入すると、エラー伝播マップは以下のように書き換えることができる。
Ｄ_ｅｐ＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}＋ｐＤ_ｅｃ （１４）
または、
Ｄ_ｅｐ（ｍ（ｋ））＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ））＋ｐＤ_ｅｃ（ｍ（ｋ）） （１５）
モード最適化問題を考慮すると、以下のようにも書かれ得る。
Ｄ_ｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋ｐＤ_ｅｃ（ｍ（ｋ），ｎ，ｏ_ｏｐｔ） （１６）
式中、ｎはフレーム数であり、すなわち、Ｄ_ｅｐ（ｎ＋１）は、既存の決定ｏ_ｏｐｔおよび先行する時刻ｎにおけるフレームに関する歪みＤ_ｅｐ（ｎ）マップを所与として、時刻ｎ＋１におけるフレームに関してモード選択を行うために使用されることになるエラー伝播マップである。

Ｚｈａｎｇによる非特許文献２にあるように、Ｄ_ｅｃ項はまた、以下のように拡張され得る。
Ｄ_ｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋ｐ（Ｄ_{ｅｃ−ｒｅｃ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋Ｄ_{ｅｃ−ｅｐ}（ｍ（ｋ），ｎ）） （３）
式中、Ｄ_{ｅｃ−ｒｅｃ}は符号化器における再構築されたピクセルとエラー隠蔽されたピクセルとの間のＳＳＤを示し、Ｄ_{ｅｃ−ｅｐ}は符号化器および復号器におけるエラー隠蔽されたピクセルの間の予測ＳＳＤを示す。

式（３）を調べると、上記で説明したように、項Ｄ_{ｅｐ＿ｒｅｆ}は、対象ブロックの受信に成功したがその履歴内の何かが喪失した場合（対象ブロックの基準ブロックが喪失した、または基準ブロックの基準ブロックが喪失した、などの場合）に受けることになる歪みを表す。さらに、Ｄ_{ｅｃ−ｒｅｃ}は、隠蔽アルゴリズム自体の性質に起因する歪み（予測に関する内因性のソースコード化歪みＤ_ｓにいくらか類似している）の推定値を表す。このとき、Ｄ_{ｅｃ−ｅｐ}は、両方の対象ブロックが喪失し（そのため、復号器において隠蔽される必要がある）、隠蔽された対象ブロックの履歴内の何かが喪失した場合（隠蔽がそこから行われるブロックが喪失した、または、そのブロックがそこから予測もしくは隠蔽されるブロックが喪失した、等の場合）に受けることになる歪みの推定値を表す。

そのため、歪みマップＤ_ｅｐは、Ｄ_{ｅｃ−ｒｅｃ}および部分的にＤ_{ｅｃ−ｅｐ}から生じる新たな損失に起因する寄与、ならびに、Ｄ_{ｅｐ＿ｒｅｆ}および同じく部分的にＤ_{ｅｃ−ｅｐ}から生じる過去の損失に起因する寄与を含む。

シーケンス内の最初のフレームについて、フレームは、イントラコード化を用いてコード化されることになり、この場合、Ｄ_{ｅｐ＿ｒｅｆ}＝０で、それゆえＤ_ｅｐ＝ｐＤ_ｅｃである。

エラー隠蔽歪みＤ_ｅｃはモード選択モジュール４９によって計算される。項Ｄ_{ｅｃ−ｒｅｃ}は、隠蔽アルゴリズムの知識に基づき、使用される特定のエラー隠蔽アルゴリズムに応じて決まり得る。Ｄ_{ｅｃ−ｅｐ}は、Ｄ_{ｅｐ＿ｒｅｆ}と同様に、たとえば、基本隠蔽アルゴリズムの場合は同じ位置にあるブロックの歪みをコピーすることによって、または、動きを外挿するように試みるより複雑な隠蔽が使用される場合は複数の以前に符号化されたブロックｂ１〜ｂ４からの歪みの加重和を計算することによって（たとえば、下記の図１Ｃに関連する説明を参照されたい）、既存の（最近の）歪みマップに基づいて計算される。Ｄ_ｅｃを計算する他の方法が使用され得、これは、符号化器内の再構築サンプルと、復号器に見られることになるようなエラー隠蔽されたサンプル（すなわち、喪失したフレームまたは領域を隠蔽するために以前に受信されたフレームまたは同じフレームの受信された領域からコピー、補間または外挿されたサンプル）との間の差の任意の推定値であり得る。

その後、モード選択モジュール４９は、各後続のインター予測フレームに関するエラー伝播マップを、各モード選択決定後に更新することによって維持し、これはここで、既存のエラーマップの知識からＤ_{ｅｐ＿ｒｅｆ}を計算することを含む。インター予測（動き推定）の場合、Ｚｈａｎｇによる非特許文献２に従って、これは、問題のフレームの動きベクトルを使用して行われる。

この一例が図１Ｃに示されている。４つの例示的なブロックｂ１、ｂ２、ｂ３およびｂ４が基準フレームＦ_ｎ内に（時刻ｎ−１において）示されており、基準フレームはすでに符号化されている。対象フレームＦ_ｎのブロック（後続の時刻ｎにおける）は、基準フレームＦ_ｎ−１から予測されることになる。たとえば、対象フレームＦ_ｎ内の対象ブロックｂ_１を考える。この目的のために、動き予測モジュール４４が、基準ブロックが基準フレームＦ_ｎ−１内のオフセット位置から対象フレームＦ_ｎ内の対象ブロックｂ_１’の位置に平行移動されるときに、対象ブロックｂ_１の最良の推定値を与えるような、対象フレームＦ_ｎ内の対象ブロックと基準フレームＦ_ｎ−１内の基準ブロック（点線で示す）との間のオフセットを定義する動きベクトルを求める。それゆえ、点線の基準ブロックは必ずしも基準フレームＦ_ｎ−１内のインデックス可能なブロックではなく、すなわち、必ずしも基準フレームの所定の下位区分ではなく、任意裁量の量だけずれていてもよい（事実、さらにはある分数のピクセルだけずれていてもよい）ことに留意されたい。したがって、基準ブロックは、４つの実際のインデックス可能なブロックｂ１、ｂ２、ｂ３およびｂ４からの寄与から構成されている。

したがって、エラー伝播マップＤ_ｅｐ（ｎ＋１）の更新に使用するためのＤ_{ｅｐ＿ｒｅｆ}を求めるためのモード選択モジュール４９によって実行される既存の計算は、既存のマップＤ_ｅｐ（ｎ）内のブロックまたはサブブロックｂ１〜ｂ４に関して記録されている歪みの加重和を計算することを含む。

またはより明示的には、

式中、ｗ_ｉはブロックまたはサブブロックｂ_ｉからの寄与を表す重みであり、Ｄ_ｅｐ（ｉ）はブロックまたはサブブロックｂ_ｉに対するエラー伝播マップエントリである。

上記は、最初のエラー伝播マップＤ_ｅｐを求め、このエラー伝播マップを使用して後続のコード化のための最適なコード化モード決定ｏ_ｏｐｔを選択し、このコード化決定を使用してマップＤ_ｅｐを更新し、その後、更新されたマップを次のコード化決定に使用し、以下続く既存のプロセスを説明しており、エラー伝播マップは、チャネルにわたる損失の推定される影響を含む端から端までの歪みを表す。たとえば、再びＺｈａｎｇによる非特許文献２が参照される。これは、本明細書においては損失適応的レート−歪み最適化（ＬＡＲＤＯ）と称される。

しかしながら、Ｚｈａｎｇ他による非特許文献２のプロセスは、チャネルにわたる損失の可能性に関して純粋に符号化器において行われる事前の確率論的仮定のみに基づく。

本発明は、符号化器における損失適応的レート−歪み最適化プロセスにさらに適応し、それによって、全体的なレート−歪み性能を改善するために、復号器から符号化器へフィードバックされている情報、たとえば、パケットおよび／またはフレーム到着ステータスを利用することによって、Ｚｈａｎｇにまさる改善を提供する。

図４は、本発明を実施するのに使用され得る符号化器および復号器から成るシステムを示す概略ブロック図である。好ましくは、符号化器は、送信端末１２の記憶装置１４および処理装置１６内で具現化され、復号器は、受信端末２２の記憶装置２４および処理装置２６内で具現化される。送信端末１２の符号化器は、符号化モジュールと、復号器において実行されるような復号をミラーリングまたは近似する復号モジュールの符号化器側インスタンスとを備える。符号化モジュールは、順変換モジュール５１および量子化器５３、ならびに、可能性として、エントロピー符号化器（図示せず）のような１つまたは複数の他の段を備える。符号化器側復号モジュールは、逆量子化器６３および逆変換モジュール６１、ならびに、可能性として、エントロピー復号器のような他の段を備える。符号化器は、動き補償予測（ＭＣＰ）モジュール４４と、減算段（−）とをも備える。これらの符号化器要素の間の接続を説明するために、再び図３を参照する。

さらに、図３には図示されていないが、符号化器は、符号化器側復号モジュール６１、６３と動き補償予測モジュール４４との間の経路内に接続されている復号画像バッファ６５をも備える。復号画像バッファ６５は、各々が短期基準または長期基準のいずれかを保持しているとマークされ得る複数の構成バッファ領域を備える。Ｈ．２６４において、長期基準を示すためにマーカが使用されている実際のバッファは１つしかない（しかし、他の実施態様における別個の専用の短期および長期バッファの可能性は除外されない）。図４において、復号画像バッファ６５は、１つまたは複数の短期基準６６、１つまたは複数の確認応答されていない長期基準６７、および、１つまたは複数の確認応答された長期基準６８を保持しているものとして示されている。

各構成バッファ領域は、１つまたは複数の以前に符号化されたフレームまたはスライスが再構築された（すなわち、符号化された後、符号化器において見られることになるようなフレームまたはスライスを表すように、復号モジュール符号化器側インスタンス６１、６３によって再び復号されている）ものを記憶するように動作可能である。以前に符号化されたフレームまたはスライスのこれらの再構築されたものは、現在のフレームまたはスライスのインター予測コード化における基準として使用するために提供される、すなわち、それによって、符号化されるべき対象ブロックがバッファ内の基準ブロックに対してコード化されることができる。

復号画像バッファ６５は、短期基準６６が、符号化されている各連続するフレームまたはスライスを用いて自動的に更新されるように構成されている。すなわち、各フレームまたはスライスが符号化されると、その後、新たなフレームまたはスライスの復号されたものが自動的に、以前に短期バッファ内に保持されていた別の少し前の基準フレームまたはスライスに上書きされる。好適な実施形態において、復号画像バッファ６５は、複数の短期基準６６を保持することができ、最も古い短期基準が常に、バッファ内で上書きされる基準である。これを行うために追加の条件は必要ない。

記載のように、Ｈ．２６４ ＡＶＣ標準規格は、特定の基準フレームまたはスライスが長期基準６７、６８としてマークされることも可能にする。これらの長期基準は明示的に削除されるまで復号画像バッファ内にあるままである。すなわち、それらは、続いて符号化されるフレームまたはスライスによって自動的に上書きされず、代わりに、符号化器の別の動作または要素、たとえば、メモリ管理コマンドのような制御コマンドがトリガするという追加の条件に応じてのみ上書きまたは他の様態で削除される。制御コマンドは、いずれの動作を行うべきかを決定する符号化器のコントローラ（図示せず）によって発行されてもよい。長期バッファをクリアするためのコマンドが、スライスヘッダのような符号化ビットストリームのヘッダ内で復号器に送信されてもよい。同様の機能が、他の標準規格に組み込まれ得る。

受信端末２４の復号器は、動き補償予測モジュール４４、復号モジュール６１、６３、ならびに、対応する短期および長期基準６６、６７および６８を記憶するように構成されている復号画像バッファ６５の復号器側インスタンス４４’、６１’、６３’、６５’、６６’、６７’、および６８’を備える。

受信端末２４上の復号器は、フィードバックチャネルを介して送信端末１２上の符号化器と通信するように構成されている。フィードバックは好ましくは、ビデオストリームが受信端末２２に送信されるものと同じネットワーク３２、たとえば、インターネットのような同じパケットベースのネットワークを介するが、代替的なフィードバック機構の可能性は除外されない。

例として、長期基準は以下のようにコントローラによって管理され得る。たとえば、復号画像バッファ内に２つの長期基準（たとえば、ｌｔ ｐｏｓ０およびｌｔ ｐｏｓ１）を維持すると決定される。符号化される第１のフレーム（時刻ｔ０における）がｌｔ ｐｏｓ０内に置かれ得る。第１のフレームは復号器に到着することになり（１ＲＴＴ後に復号器からのフィードバックが到着することになる）、それゆえ、ｌｔ ｐｏｓ０は最初はエラーなく確認応答されたとマークされることが仮定され得る。長期基準としてマークされる次のフレームは、時刻ｔ０＋ＲＴＴにおけるフレームであり、これはｌｔ ｐｏｓ１に置かれる。ｌｔ ｐｏｓ１における基準が到着した（そして、エラー伝播を含まない）ことを示す復号器からのフィードバックを符号化器が得た場合、ｌｔ ｐｏｓ１はエラーなく確認応答されたとマークされ、次の長期基準フレーム（時刻ｔ０＋２^＊ＲＴＴ）がｌｔ ｐｏｓ０に置かれる。このように、これらの２つの位置がピンポンバッファを形成し、エラーなく確認応答される１つの位置と、精査に一時的に使用される１つの位置とが常にある。このように、損失の場合からの回復フレームを生成するのに使用することができる、復号画像バッファ内のごく最近に確認応答されたエラーのない基準が常にあるべきである。原則として、長期基準フレームが現時点位置に近くなるほど、インターコード化は効率的になり、したがって、回復フレームは（ビットが）小さくなる。しかしながら、これは例として説明した、符号化器のコントローラが長期基準を管理するための使用のために構成され得る１つの戦略に過ぎず、画像バッファ内の長期基準および短期基準のシステムを管理する他の方法が可能である（たとえば、さらにより良好な方法は、より多くの長期基準を提供することである）ことは了解されよう。

図４の例示的な実施態様を参照すると、本発明は、復号器における復号画像バッファ６５’に関する情報を含むためにフィードバックを考慮する。このフィードバックが与えられると、復号器は、たとえば、復号器内のいずれのフレームまたはスライスが、エラー伝播歪みを一切含むことなく復号されたかを知る。図４において、復号画像バッファ６５内のエントリ６８は、そのような確認応答されたエラーのないフレームを指す。復号画像バッファ６５内のエントリ６７は、確認応答されていないフレームを指す。フィードバック機構を使用して、復号器に、（いずれのフレームが喪失されたかに関する情報に加えて）いずれが復号器において利用可能な最近に確認応答された長期基準であるかを気付かせることができる。以下において、確認応答された基準とは、好ましくは、単にそれ自体が確認応答されている基準ではなく、確認応答されたエラーのない基準（すなわち、エラー伝播歪みが一切ない基準）を意味する。すなわち、この基準は、好ましくは、単に現在の基準がその履歴の厳密な確認応答なしに受信されたことが確認応答されているのとは対照的に、基準が受信されたものとして確認応答され、その基準の履歴内の関連するすべても受信されたものとして確認応答されており、それによって、エラー伝播がないと知ることができるという厳密な定義に従って確認応答されるべきである。それ自体が確認応答されているだけであるが、エラーのないブロックに対して符号化されているフレーム内の部分もエラーがない（伝播エラーがない）ことに留意されたい。

本発明の第１の実施形態によれば、確認応答された長期基準フレーム（またはスライス）に基づくインター予測を使用して、イントラコード化と同様に、復号器内のエラー伝播を止めることができる。長期基準からのインター予測を使用する利点は、インター予測の結果、概して所与の歪みレベルに対してビットレートが低くなることである。

確認応答された長期基準をインター予測に使用することによって、本発明の第１の実施形態は、たとえば、Ｚｈａｎｇによる非特許文献２のフレームワーク内で使用されることになる、イントラコード化と同様に、しかし概してより低い関連するビットレートにおいてエラー伝播を止めることができるが、追加のマクロブロックコード化モードを利用可能にする。

Ｚｈａｎｇ他による非特許文献２によるアルゴリズムは、２つの異なるタイプのコード化モード、すなわちイントラおよびインターコード化のみを考慮する。その場合、式（３）において、エラー伝播基準歪みＤ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）はイントラコード化マクロブロックモードについてのみゼロである。しかしながら、本発明の第１の実施形態は、利用可能なコード化モードのセットを拡大して、確認応答された長期基準からのインターコード化を含む。そのようなコード化モードの利点は、イントラコード化と同様であるが、概してより低いビットレートにおいてエラー伝播を止めることができることである。

上記で提示したアルゴリズムに対して必要な変更は、式（２）および（３）におけるエラー伝播基準歪みが、コード化モードが確認応答された基準フレームからのインター符号化であるときにもゼロに設定されることであり、すなわち、以下のとおりである。

第１の実施形態の特定の変形例において、上記の例は以下のように変更することができる。符号化器が、たとえば、往復時間（ＲＴＴ）に応じて決まる周期的な間隔をおいて、基準フレームを長期基準としてマークするシナリオを考える。したがって、復号画像バッファ６５（図４に示す）は、ある瞬間において、短期基準６６、「確認応答されていない」長期基準６７、および確認応答された長期基準６８を含むことになる。「確認応答されていない」長期基準６７が厳密な定義に従って復号器において確認応答されるためには、確認応答されていない長期基準の前に損失がないこと、すなわち、確認応答された長期基準が一切のエラー伝播歪みなしに復号されたフレームであることが必要とされることになる。符号化器側において、いずれのフレームが復号器によって受信されたかに関する情報を搬送するフィードバックが受信される。符号化器がいずれのフレームが（確認応答されていない）長期基準としてマークされているかを正確に知っており、パケットまたはフレーム損失確率の推定値ｐを有することを所与として、確認応答されていない長期基準が確認応答された長期基準に変換することになる確率のモデルを設定することが可能である。フレーム損失確率がｐであり、２つの長期基準の間に既知のまたは所定の間隔Ｌがある場合、確認応答されていない長期基準が確認応答されることになる事前の確率は（１−ｐ）^Ｌである。漸進的に、肯定的なフィードバック情報が受信され、たとえば、復号器がそれまでにＬ個のフレームのうちのｌを受信しているとき、長期基準が確認応答されることになる確率は（１−ｐ）^Ｌから（１−ｐ）^Ｌ−ｌに変化する。ここで、記載の確率モデルを使用して、以下のように、上記のＤ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）について式を一般化することができる。

式中、Ｄ_{ｅｐ＿ＬＴｒｅｆ}（ｍ（ｋ））は確認応答されていない長期基準（単純にそのフレームのＤ_ｅｐのコピー）に対する予測されるエラー伝播を示す。

したがって、第１の実施形態のこの変形例は、確認応答されていない長期基準に基づくインター予測の使用を、確認応答されていない短期基準に基づくインター予測の使用から区別するまた別の符号化モードを導入する。フィードバックがまだ受信されていない特定の長期基準について、それにもかかわらず、これは、復号器からの中間報告に基づいてエラーのない確認応答された基準になる一定の確率を有する。確認応答されていない長期基準について、それゆえ、損失の確率の事前の推定に応じて（すなわち、ｐはそれ自体はフィードバックに基づいていない）、および、確認応答されていない基準の履歴内の最後の（最近の）確認応答された長期基準からの時間（または同等にフレーム数）に基づいてエラー伝播歪みＤ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）の推定は重み付けされ得る。重みは、推定値を低減または抑制するために、歪みの推定値を減衰させる。

上記の論理は例示的な実施形態に過ぎず、上記の形態において、すべての損失が長期基準とマークされているフレームに影響を及ぼすと仮定している点においていくらか保守的であることが留意され得る。上記の論理は、長期基準フレームに影響を与えるフレームまたはスライスの損失のみを考慮にいれるように修正することができる。

また別の一般化において、長期基準が復号器によって受信されているが、長期基準の前に損失があった事例を考える。したがって、長期基準は上記の厳密な定義に従って「確認応答」されていない。しかしながら、フレームのすべてのマクロブロックについてモード決定が記憶されている場合、対応するモードがイントラまたは確認応答された長期基準に設定された部分は、ゼロエラー伝播基準歪みに関連付けられ、したがって、それらの領域から参照されるインター予測が、イントラコード化と比較してより低い可能性があるレート−歪みコストにおいてエラー伝播を遮断する。

上記の例示的な実施形態はすべて長期基準およびフィードバック報告の概念に基づくが、往復時間（ＲＴＴ）が復号画像バッファ内の短期基準の数と比較して十分に短いとき、同じ概念が短期基準に適用されてもよい。すなわち、十分に小さいＲＴＴについて、代替的なまたは追加の可能性は、短期基準を確認応答されているものとして認識することであり、これは、その後、上述した、確認応答された長期基準と同様に使用することができる。前の節における式（３）に対して必要とされるアルゴリズムの変更は、Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）がイントラコード化についてだけでなく、確認応答された基準からのインターコード化についてもゼロに設定されることである。

上述の第１の実施形態に対する一般化は、ロバスト性とソースコード化との間でトレードオフを行うにあたっての柔軟性を改善する。

さらに、デフォルトのＬＡＲＤＯは、制約されたイントラ予測を仮定する、すなわち、インター予測マクロブロックからのイントラ予測が禁止されている。しかしながら、本発明者は、制約されたイントラ予測が事実上、より深刻なコード化歪みを（特に、平滑な勾配画像領域上で）引き起こす可能性があることを観測している。それゆえ、本発明の特に好適な変形例において、制約されたイントラ予測なしにＬＡＲＤＯを作動させるべきである。イントラコード化モード（インター予測マクロブロックから予測されるとき）が、エラー伝播基準歪みにも関連付けられることが含まれ、したがって、エラー伝播基準歪みに関連付けられていないモードのみが、確認応答されたエラーのない基準画像からのインター予測である。

本発明の第２の実施形態において、パケットおよび／またはフレーム到着ステータスのような、復号器から符号化器へフィードバックされている情報が、符号化器内の潜在歪みマップを調整し、それによって、Ｚｈａｎｇ他による方法と比較して全体的なレート−歪み性能を改善するために使用される。

第２の実施形態によれば、各フレームまたはフレームのスライスに関する各エラー伝播歪みマップＤ_ｅｐが、符号化器の復号画像バッファ６５内にそのフレームまたはスライスと関連付けて記憶される。各フレームまたはスライスについて、符号化器における復号画像バッファ６５は、対応するエラー隠蔽再構築歪みマップＤ_{ｅｃ−ｒｅｃ}、エラー隠蔽エラー伝播マップＤ_{ｅｃ−ｅｐ}、対応するモード決定ｏおよび動きベクトル情報をも記憶する。その後、復号器からのフィードバック情報が符号化器によって歪みマップを更新するために使用される。再び式（３）を参照する。フィードバック情報は、推定歪みトラッキングを改善することを可能にし、より良好なレート−歪み性能をもたらす。

好ましくは、これは以下のように達成される。特定のフレームまたはスライスが復号器への到着に成功したことを知らせるフィードバック情報を符号化器が受信した場合、エラー隠蔽寄与Ｄ_{ｅｃ−ｒｅｃ}およびＤ_{ｅｃ−ｅｐ}を式（３）内のエラー伝播歪みマップＤ_ｅｐから削除することができる。逆に、特定のフレームまたはスライスが復号器において喪失したことを知らせるフィードバック情報が受信された場合、関連するエラー伝播歪みマップＤ_ｅｐが、エラー隠蔽歪みからの寄与、すなわち、式（３）の右辺の第２の項Ｄ_{ｅｃ−ｒｅｃ}および第３の項Ｄ_{ｅｃ−ｅｐ}（事前の損失確率推定値ｐを用いて正規化されている）のみを含むように再計算される。

このとき、往復時間（ＲＴＴ）が復号画像バッファ内の基準画像の数と比較して短い場合、時刻ｎ−ＲＴＴにおける調整された潜在エラー伝播マップＤ_ｅｐを、再帰的に式（３）を適用して時刻ｎ−１におけるエラー伝播歪みマップに伝搬させることが可能である。このとき、時刻ｎ−１における更新されたエラー伝播歪みマップＤ_ｅｐは、モード選択プロセス（２）において使用される時刻ｎにおけるＤ_{ｅｐ＿ｒｅｆ}の計算を基礎とすることになる。この結果、潜在歪みマップのトラッキングがより正確になり、システムの全体的なレート−歪み性能が改善する。

上記の実施形態は例としてのみ説明されていることが了解されよう。

概して、上記はスライス、マクロブロックおよびブロックまたはサブブロックに関して記載されているが、これらの用語は必ずしも限定であるようには意図されておらず、本明細書に記載の着想は、フレームを分割または細分化するいかなる特定の方法にも限定されない。さらに、歪みマップは、フレームまたはフレーム内の領域全体をカバーしてもよく、コード化決定プロセスはフレーム全体にわたって、またはフレーム内のある領域のみに対して適用されてもよい。また、予測ブロック粒度は歪みマップ粒度と同じである必要はなく、またはさらには関連する必要もないことに留意されたい（ただし、その可能性は除外されない）。

差分二乗和（ＳＳＤ）が、差分絶対値和（ＳＡＤ）と比較してより高い品質をもたらすため差の量として好適であることが多いが、後者の可能性または他の可能性は除外されず、概して、本発明は、歪みを量子化するための基礎としてサンプル間の差の任意の量を使用して実装され得る。

一般的に、レートの量は、予測、および、量子化された変換係数を既述するパラメータを含む、すべての必要とされるパラメータのコード化をも考慮に入れる。この種類の最適化は、本明細書においては完全レート−歪み最適化（ＲＤＯ）と称される。しかしながら、より複雑度の低い実施形態において、歪みおよび／またはレート項は、すべてではなくいくつかの処理段の影響のみを考慮に入れること、たとえば、予測の影響のみを考慮に入れることによって近似され得る。

さらに、本発明が２つのフレームｎ−１およびｎ、またはｎおよびｎ＋１などに関して説明されている場合、本発明の特定の実施形態によれば、（既存のコーデックではそうなっている場合があるが）これらが２つの隣接するフレームを参照する必要はない。いくつかの実施形態において、インター予測がさらにより先行しているフレームに対して実行され得る可能性があり、したがって、ｎ−１およびｎ、またはｎおよびｎ＋１は、本発明に関連して、それぞれ、任意の以前に符号化されたフレームまたは画像部分、および、それから予測されることになる後続のフレームまたは部分を参照するのに使用されてもよい。

再び、損失に起因する寄与、またはデータがチャネルなどにわたって喪失したなどの「場合」に起こることを既述する任意のものが本願において記載されている場合、これは復号器によって受け得ることに関して符号化器によって行われる確率的仮定（たとえば、ｐ）に関連するに過ぎず、符号化器は無論何が起こるかを知らないことに留意されたい。確率論的仮定は、統計的ネットワークモデル化に基づいて設計段階において事前決定されてもよく、および／または、さらには復号器からのフィードバックに基づいて動的に決定され得る。

本明細書における開示を所与として当業者には他の変形例が明らかになり得る。本発明の範囲は、記載されている実施形態によっては限定されず、添付の特許請求のみによって限定される。

Claims (10)

1. 損失を伴うチャネルを介して受信端末にある復号器に送信するための送信端末の符号化器においてビデオストリームを符号化する方法であって、前記方法は、
   レート−歪み最適化プロセスであって、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、前記対象画像部分に関する歪みの推定値および前記対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択することを含み、前記歪みの推定値はソースコード化歪み、および、前記チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づく、レート−歪み最適化プロセスを実行するステップであって、前記フレームのうちの現在のフレームに対する前記レート−歪み最適化プロセスは、前記フレームのうちの先行するフレームに基づいて前記受信端末から受信されるフィードバックに従って実行される、ステップと、
   前記選択された符号化モードを使用して前記対象画像部分を符号化して符号化ビデオストリームにするステップであって、前記選択された符号化モードは、イントラフレームモード、確認応答基準インター予測モード、又は非確認応答インターフレームモード、のうちの１つを有する、ステップと、
   前記符号化ビデオストリームを前記チャネルを介して送信するステップと、
   前記符号化器において前記復号器の符号化器側インスタンスを作動し、前記符号化器において、エラー伝播歪みマップを記憶する復号画像バッファを維持するステップであって、前記エラー伝播歪みマップは、前記復号画像バッファに記憶されている各々のフレームに関連付けられる、ステップと、
   各々の個々の後の符号化モード選択で使用するために、前記フィードバックに基づき前記エラー伝播歪みマップを更新するステップであって、前記の更新はレート−歪み性能を改善する、ステップと、
   を含む方法。
2. 前記フィードバックは、前記先行するフレームの少なくとも一部分が受信されたという確認応答、および、前記先行するフレームの少なくとも一部分が受信されなかったという報告のうちの一方を含む、請求項１に記載の方法。
3. 前記符号化モードのセットは、確認応答された先行するフレームまたは前記先行するフレームの確認応答された部分内の対応する基準部分に対して前記対象画像部分を符号化する前記確認応答基準インター予測モードを含み、
   前記確認応答基準インター予測モードは、前記基準部分が受信されたものとして確認応答され、それに対して前記基準部分が符号化されたあらゆるものも受信されたものとして確認応答されており、それによって、前記基準部分がエラー伝播を受けないと知ることができることを条件として、前記符号化モードの選択に使用するために利用可能である、請求項２に記載の方法。
4. 前記復号画像バッファは、前記復号器の前記符号化器側インスタンスによって再構築された基準画像データの形態の短期および長期基準を更に記憶し、前記短期基準は連続したフレームによって自動的に上書きされ、一方で前記長期基準は明確な削除コマンドの条件に基づいて削除され、
   前記確認応答基準インター予測モードは、前記受信端末において受信されたと確認応答されている前記復号画像バッファ内の前記長期基準のうちの対応するものに対して前記対象画像部分を符号化するか、または、前記受信端末において受信されたと確認応答されている前記復号画像バッファ内の対応する短期基準に対して前記対象画像部分を符号化するかのいずれかである、請求項３に記載の方法。
5. 前記符号化モードのセットは少なくとも、前記イントラフレームモード、少なくとも１つの非確認応答インターフレーム符号化モード、および前記確認応答基準インター予測モード、ならびに、インター符号化基準部分からの対象画像部分のイントラ符号化を可能にする非制約イントラ符号化モードを含む、請求項４に記載の方法。
6. 前記符号化モードのセットは、それぞれ前記復号画像バッファ内に記憶されている確認応答されていないフレームまたはフレームの一部分内の対応する長期基準および短期基準に対して前記対象画像部分を符号化する、非確認応答長期基準インター予測モードおよび非確認応答短期基準インター予測モードの少なくとも一方を含み、
   前記フィードバックに従う前記レート−歪み最適化プロセスの実行は、推定損失確率、および、最後に確認応答された先行するフレームまたは先行するフレームの確認応答された部分からの時間に従って損失に起因する歪みの推定値を求めることを含む、請求項５に記載の方法。
7. 前記フィードバックに従う前記レート−歪み最適化プロセスの実行は、前記フィードバックに従って、前記先行するフレームまたは前記先行するフレームの一部分に対する歪みの前記推定値を調整するステップと、前記調整された歪みの推定値を現在のフレームに関連して使用するために転送するステップとを含む、請求項１〜６のいずれかに記載の方法。
8. 起こり得る損失に起因して受けることになる歪みの前記推定値は、前記対象画像部分が前記チャネルにわたって到着する場合に、前記対象画像部分の予測が依存する前記対象画像部分の履歴内の基準部分が到着しないことに起因して受けることになる歪みの推定値を表す第１の寄与、ならびに、前記対象画像部分が前記チャネルにわたって喪失した場合に前記対象画像部分の損失を隠蔽するのに使用されることになる画像部分に対する前記対象画像部分の隠蔽歪みの量を表す寄与、および、前記対象画像部分の隠蔽が依存する前記対象画像部分の履歴内の画像部分の損失に起因して受けることになる歪みの推定値を表す寄与を含む、隠蔽に起因して受けることになる歪みの推定値を表す第２の寄与に基づく、請求項１〜７のいずれかに記載の方法。
9. 損失を伴うチャネルを介して受信端末にある復号器に送信するための送信端末においてビデオストリームを符号化するためのコンピュータプログラムであって、前記コンピュータプログラムはコンピュータ可読媒体上で具現化され、前記送信端末で実行されると、請求項１〜８のいずれかに記載の方法による動作を実行するように構成されているコードを備える、コンピュータプログラム。
10. 損失を伴うチャネルを介して受信端末にある復号器に送信するためのビデオストリームを符号化するための送信端末であって、前記送信端末は、
    レート−歪み最適化プロセスを実行するように構成されている符号化器であって、該レート−歪み最適化プロセスは、複数のフレームの各々の中の符号化されるべき複数の対象画像部分の各々について、前記対象画像部分に関する歪みの推定値および前記対象画像部分を符号化するのに必要とされるビットレートの量を含む関数を最適化することによって符号化モードセットのうちの好ましい符号化モードを選択するステップを含み、前記歪みの推定値はソースコード化歪み、および、前記チャネルにわたる起こり得る損失に起因して受けることになる歪みの推定値に基づき、前記フレームのうちの現在のフレームに対する前記レート−歪み最適化プロセスは、前記フレームのうちの先行するフレームに基づいて前記受信端末から受信されるフィードバックに従って実行され、前記符号化器は、前記選択された符号化モードを使用して前記対象画像部分を符号化して符号化ビデオストリームにするように構成され、前記選択された符号化モードは、イントラフレームモード、確認応答基準インター予測モード、又は非確認応答インターフレームモード、のうちの１つを有し、前記符号化器は、前記復号器の符号化器側インスタンスを作動し、エラー伝播歪みマップを記憶する復号画像バッファを維持するように構成され、前記エラー伝播歪みマップは、前記復号画像バッファに記憶されている各々のフレームに関連付けられ、前記符号化器は、各々の個々の後の符号化モード選択で使用するために、前記フィードバックに基づき前記エラー伝播歪みマップを更新するように構成され、前記の更新はレート−歪み性能を改善する、符号化器と、
    前記符号化ビデオストリームを前記チャネルを介して送信するように構成されている送信機と、
    を備える送信端末。

Images