JP6175666B2 - 誤り伝搬追跡および受信機からの誤りフィードバックを用いるビデオリフレッシュ - Google Patents

Description

本発明は、誤りのあるチャネルを介する符号化ビデオの送信に関する。本発明は、エンコーダがストリームをカメラなどから受信するとできるだけ早く該ストリームを送信のため動的に符号化する必要がある、リアルタイムでビデオストリーム、すなわち、ビデオ電話のビデオストリームのようなライブビデオストリームを符号化するとき、特に（排他的にではなく）適用できる。

符号化されるビデオデータのストリームは、図１Ａに概略的に例示されている。ストリームは、１つずつが異なったそれぞれの時点でのビデオ画像を表現する複数のフレーム（Ｆ）を備える。当業者によく知られているように、符号化の目的のため、各フレーム（Ｆ）は部分に分割され、各部分はより小さい下位部分にさらに再分割されても良く、各部分または下位部分は複数の画素を備える。たとえば、ある用語によれば、符号化されるビデオストリームの各フレームは、マクロブロック（ＭＢ）に分割され、各マクロブロックは、ブロックまたはサブブロック（ｂ）に再分割され、各ブロックまたはサブブロックは、複数の画素を備える。各フレームは、独立に復号化可能なスライス（Ｓ）に分割されても良く、各スライスは、１つ以上のマクロブロックを備える。注意すべきことは、図１Ａに示された分割が例示の目的のための概略図に過ぎないことであり、これらの分割は、何らかの実際の符号化スキームに必ずしも対応しないこと、たとえば、各フレームがより多数のマクロブロックを含んでいる可能性が高いことである。

ビデオ符号化が採用され得る例示的な通信システムは、図２のブロック図に概略的に示されている。通信システムは、第１の送信端末１２と、第２の受信端末２２とを備える。たとえば、各端末１２、２２は、携帯電話機もしくはスマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、または、テレビジョンセット、セット・トップ・ボックス、ステレオシステムなどのようなその他の家電製品を備えても良い。第１および第２の端末１２、２２は、それぞれが通信ネットワーク３２に動作可能に結合し、第１の送信端末１２は、それによって、第２の受信端末２２によって受信される信号を送信するように配置構成されている。当然ながら、送信端末１２は、受信端末２２から信号を受信する能力を備えても良く、逆もまた同様であるが、説明の目的のため、送信は、本願明細書では、第１の端末１２の立場から表現され、受信は、第２の端末２２の立場から表現されている。通信ネットワーク３２は、たとえば、ワイド・エリア・インターネットおよび／またはローカル・エリア・ネットワーク、および／または、モバイル・セルラー・ネットワークのようなパケットベース・ネットワークを備えても良い。

第１の端末１２は、フラッシュメモリもしくはその他の電子メモリ、磁気記憶装置、および／または、光学記憶装置のような記憶媒体１４を備える。第１の端末１２は、１個以上のコアを有するＣＰＵの形式の処理装置１６と、少なくとも送信機１８を有している有線または無線モデムのような送受信機と、端末１２の残部と同じ筐体内に収容され又は収容されなくても良いビデオカメラ１５とをさらに備える。記憶媒体１４、ビデオカメラ１５および送信機１８は、それぞれが処理装置１６に動作可能に結合され、送信機１８は、有線または無線リンクを介してネットワーク３２に動作可能に結合されている。同様に、第２の端末２２は、電子、磁気、および／または、光学記憶装置のような記憶媒体２４と、１個以上のコアを有するＣＰＵの形式の処理装置２６とを備える。第２の端末は、少なくとも受信機２８を有している有線または無線モデムのような送受信機と、端末２２の残部と同じ筐体内に収容され又は収容されなくても良い画面２５とを備える。第２の端末の記憶媒体２４、画面２５および受信機２８は、それぞれがそれぞれの処理装置２６に動作可能に結合され、受信機２８は、有線または無線リンクを介してネットワーク３２に動作可能に結合されている。

第１の端末１２上の記憶媒体１４は、処理装置１６上で実行されるように配置構成された少なくともビデオエンコーダを記憶する。実行されたとき、エンコーダは、ビデオカメラ１５から「未加工」（非符号化）入力ビデオストリームを受信し、より低ビットレートのストリームに圧縮するためにビデオストリームを符号化し、送信機１８および通信ネットワーク３２を介する第２の端末２２の受信機２８への送信のため符号化ビデオストリームを出力する。第２の端末２２上の記憶媒体は、第２の端末２２自身の処理装置２６上で実行されるように配置構成された少なくともビデオデコーダを記憶する。実行されたとき、デコーダは、受信機２８から符号化ビデオストリームを受信し、画面２５への出力のためこれを復号化する。エンコーダおよび／またはデコーダに言及するために使用され得る総称は、コーデックである。

いくつかのシステムでは、受信端末２２のデコーダは、フィードバックチャネルを介して、好ましくは、同じパケットベース・ネットワーク３２を介して、フィードバックを送信端末１２のエンコーダに送信するように配置構成されても良い。

ビデオコーデックの目的は、考えられる最高品質を維持しながら、ビデオ信号を送信するために必要とされるビットレートを低減することである。この目的は、統計的冗長性（ビデオ信号の中の類似性）および（人の視覚系の感度に関連する）知覚的無関連性を利用することにより達成される。

現在のビデオコーデックの大多数は、他の画素ブロックからの画素ブロックの予測と、予測残差の変換と、変換係数の量子化と、量子化指数のエントロピー符号化とを含むアーキテクチャに基づく。これらのステップは、冗長性および無関連性の低減に寄与する。

予測は、典型的に、現在フレーム以外のビデオフレームの中の画素（インター予測）から、および、同じフレームの中の画素（イントラ予測）から実行される可能性がある。すなわち、フレーム内符号化を使用して符号化される場合、ブロック、サブブロックまたはフレームのその他の部分（対象ブロックまたは部分）が同じフレームの中の別のブロック、サブブロックまたは画像部分（参照ブロックまたは部分）に関連して符号化され、そして、フレーム間符号化を使用して符号化される場合、対象ブロックまたは部分が別のフレームの中の参照ブロックまたは部分に関連して符号化される。このプロセスは、予測または予測符号化と広く呼ばれる。インターまたはイントラ予測モジュールがこのようにして、たとえば、フレーム内符号化の場合に近傍ブロックまたはサブブロック、および／または、フレーム間符号化の場合に動きベクトルの指示の形式で予測を発生させる。典型的に、エンコーダは、予測ブロックと実際のブロックと（または予測サブブロックと実際のサブブロックと、など）の間の「残りの」差を表現する残差信号をさらに発生させる。イントラ予測と関係がある残差、動きベクトル、および、何か所要のデータは、その後、典型的に、量子化器およびエントロピー・エンコーダのようなさらなる符号化段階を介して、符号化ビデオストリームに出力される。それ故に、ビデオの中の殆どのブロックは、ブロック間の差の観点から符号化される可能性があり、このことは、絶対画素値を符号化するより少数のビットしか符号化するために必要としないので、ビットレートを軽減する。イントラ予測符号化は、典型的に、インター予測より多数のビットを必要とするが、それでもなお絶対値を符号化することを超える節約を示す。ビデオのため適当なインター符号化技術およびイントラ符号化技術の詳細は、当業者によく知られているであろう。

イントラ符号化の実施例は、図１Ｂに概略的に例示され、インター符号化の実施例は、図１ｃに概略的に例示される。イントラ符号化では、対象ブロックまたはサブブロックｂの上からのまたは／および左への画素（全てが同じフレームの内部にある）が対象ブロックまたはサブブロックの予測のため使用される。このプロセスは、イントラ予測と呼ばれる。その上、イントラ予測からの残差は、さらに変換され、量子化され、エントロピー符号化されても良い。インター符号化実施例では、対象ブロックまたはサブブロックｂ１の画素が、対象ブロックまたはサブブロックｂ１から動きベクトルの分だけオフセットさせられた（ブロックの何分かの１、または、画素のさらに何分かの１ずつオフセットされても良い）前のフレームの中の対応するエリアに基づいて予測される。このプロセスは、インター予測と呼ばれる。インター予測からの残差は、イントラ予測残差と同様に、さらに変換され、量子化され、エントロピー符号化されても良い。以下の文献：
［１］ＩＴＵ−Ｔ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４，「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」，２００７
［２］Ｚｈａｎｇ ｅｔ ａｌ．，「Ｅｒｒｏｒ ｒｅｓｉｌｉｅｎｃｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｉｎ Ｈ．２６４ ｅｎｃｏｄｅｒ ｗｉｔｈ ｐｏｔｅｎｔｉａｌ ｄｉｓｔｏｒｔｉｏｎ ｔｒａｃｋｉｎｇ」，Ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．１６３−１６６，２００４
［３］Ｖａｄａｐａｌｌｉ ｅｔ ａｌ．，「Ｌｏｗ−ｃｏｍｐｌｅｘｉｔｙ ｆｒａｍｅ−ｌｅｖｅｌ ｊｏｉｎｔ ｓｏｕｒｃｅ−ｃｈａｎｎｅｌ ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍａｌ，ａｄａｐｔｉｖｅ ｉｎｔｒａ ｒｅｆｒｅｓｈ」，Ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．４７３−４８０，２００８
を参照する。

従来のシステムでは、フィードバックチャネルは、フレームが受信端末２２で損失するに至ったこと（損失レポート）を送信端末１２上のエンコーダに返信するために使用できる。フィードバックチャネルは、フレームが受信端末２２で受信に成功したこと（肯定応答）をエンコーダに返信するためにさらに使用できる。典型的に、損失フレームは、措置が講じられない限り、長時間に亘って持続する可能性がある深刻な歪みを復号化ビデオに引き起こす。１つのこのような措置は、ある種のフレームが失われたことをデコーダからエンコーダに報告を返し、その後、受信され、復号化されたときに誤り伝搬を停止させる「復元フレーム」を強制的にエンコーダに生成させることである。復元フレームは、たとえば、キーフレームである（すなわち、全てイントラ符号化される）、または、デコーダの中で利用可能であることが知られている（それ自体は、受信されたものであることが肯定応答され、かつ、この履歴において関連性のある何か他のことが肯定応答されるので、誤りのないことが分かる）誤りのないフレームに関連してインター符号化されたフレームである可能性がある。後者は、一般に、前者と比べると所定の品質でより低いビットレートという結果をもたらす。復元フレームを送信することに関連する不利点は、ビットレート・オーバーシュート（レートスパイク）、または、代替的にソース符号化歪みの増加である。ビットレート・オーバーシュートは、次には、新しい損失を引き起こすか、または、強制的にエンコーダにフレームを落とさせる可能性があり、急激に増加するソース符号化歪みは、知覚的に邪魔になるかもしれない。

異なるアプローチがＺｈａｎｇ ｅｔ ａｌ．の文献［２］によって講じられる。Ｚｈａｎｇは、復元フレームを使用することなく、むしろ、チャネルの事前確率モデルに基づいてレートと歪みのどちらを取るかを最適化しようとする方法で、（イントラ符号化モードおよびインター符号化モードを含む）種々の符号化モードの間で選択を行うモード選択プロセスを実行する。

最新のコーデックは、フレーム内部の種々の部分のため種々の予測符号化モードの使用を可能にする。種々の符号化選択肢を有する可能性は、ビデオコーデックのレート−歪み効率を増大させる。最適符号化表現があらゆるフレーム領域に対し見つけられるべきである。典型的に、このような領域は、たとえば、１６×１６画素からなるマクロブロックである。すなわち、その結果、イントラ予測またはインター予測モードが各マクロブロックに対して個別に選択されることが可能であるので、同じフレーム内部の異なるマクロブロックは、異なるモードで符号化される可能性がある。一部のコーデックでは、異なるレベルのマクロブロックの区分に基づいて、たとえば、別個の予測がマクロブロック内部の４×４のサブブロック毎に実行されるより高い複雑性モード、または、予測が僅かに８×８もしくは８×１６ブロック、または、実にマクロブロック全体に基づいて実行されるより低い複雑性モードの間で選択を行うことにより、異なるモードを使用することも可能である。利用可能なモードは、予測を実行する種々の選択肢をさらに含んでも良い。たとえば、図１Ｂに概略的に例示されるように、１つのイントラモードでは、４×４型サブブロック（ｂ）の画素は、直上にあるサブブロックからの近傍画素から下向きに外挿することにより、または、直ぐ左にあるサブブロックから横向きに外挿することにより決定されても良い。「スキップモード」と呼ばれる別の特別な予測モードがいくつかのコーデックにさらに設けられても良く、代替的な形式のインターモードとしてみなされ得る。スキップモード（ＰＳｋｉｐ）では、対象の動きベクトルは、上の方かつ左の方の動きベクトルに基づいて推定され、残差係数の符号化は存在しない。動きベクトルが推定される方法は、動きベクトル予測と整合性が取れ、それ故に、動きベクトル差分は零であるので、マクロブロックがスキップブロックであることを伝達するだけで良い。

符号化表現は、このようにして、ブロック区分情報、予測モード、動きベクトル、量子化精度などを含んでも良い。最適な符号化選択肢は、ビデオコンテンツ、ビットレート、先行の符号化決定などに依存する。変換係数の量子化の精度は、典型的に、ビットレート制約を満たすように選定される。さらに、歪みは、最小化されるべきである。

たとえば、Ｈ．２６４ビデオコーダは、予測モードの選定に大きな柔軟性を提供する［１］。輝度成分のインター予測に関して、１６×１６画素からなるマクロブロックは、１６×１６画素からなる１個のブロック、または１６×８画素の２個のブロック、または８×８画素からなる４個のブロックとして表現される可能性がある。さらに、８×８型ブロックは、８×８画素からなる１個のブロック、または８×４画素からなる２個のサブブロック、または４×８画素からなる２個のサブブロック、または４×４画素からなる４個のサブブロックとして表現される可能性がある。インター予測は、マクロブロックの許容された区分毎に試行される。ブロックのインター予測は、参照フレーム（群）と、典型的に、サブ画素精度で推定される動きベクトル（群）（それぞれの参照フレームの中の参照ブロックからの空間シフト）とを指数化することにより表現される。輝度成分のイントラ予測に関して、１６×１６型ブロックのための４個の可能なモードと、４×４型サブブロックのための９個の可能なモードとが存在する。さらに、彩度成分のための４個の可能なモードが存在する。最良予測モードは、インター予測モードおよびイントラ予測モードの性能を比較することにより選定される。

Ｈ．２６４ ＡＶＣ［１］のようなビデオコーデックのレート−歪み性能は、マクロブロックモード選択の性能ｏに大幅に依存する。すなわち、レートと歪みのどちらを取るかの点から、たとえば、イントラモードまたはインターモードを使用して、マクロブロックが最良に符号化されるか否かを決定する手続である。頑健性の観点から、イントラ符号化マクロブロックは、（制約付きのイントラ予測、すなわち、インター予測マクロブロックからのイントラ予測の使用が禁止されると仮定すると）時間的誤り伝搬を停止するので有利である。しかし、イントラ符号化マクロブロックは、一般に、レートの点から、インター符号化マクロブロックより高コストであり、それ故に、ある種のビット配分およびチャネル条件を仮定すると、デコーダでの歪み（たとえば、平均歪み）が最小化されるようにイントラ符号化マクロブロックを系統的に導入することが重要である。Ｚｈａｎｇ ｅｔ ａｌ．［２］は、デコーダでの期待平均差分二乗和（ＳＳＤ）の最小化に基づいてイントラ符号化マクロブロックを導入するためにこのような系統的な枠組みを提案する。潜在的な歪みを追跡することにより、Ｚｈａｎｇ ｅｔ ａｌ．は、エンコーダのレート−歪みループの内部のインターマクロブロックのコストを計算するとき、ソース符号化歪みに加算される（デコーダでの）期待誤り伝搬歪みに関連するバイアス項を計算することが可能である。

レート−歪み最適化（ＲＤＯ）問題は、ビットレート制約Ｒの下での歪みの最小化の点で定式化される可能性がある。ラブランジュ最適化の枠組みは、この問題を解決するためにしばしば使用され、この枠組みによれば、最適化規準は：
Ｊ＝Ｄ（ｍ，ｏ）＋λＲ（ｍ，ｏ） （１）
として定式化され、式中、Ｊは、ラグランジュ関数を表し、Ｄは、歪みの尺度（モードｏとマクロブロックｍまたはマクロブロック下位区分との関数）を表し、Ｒは、ビットレートであり、λは、歪みとレートのどちらを取るかについてのパラメータである。広く使用される歪み尺度は、原画素と再構成画素との間の差分二乗和（ＳＳＤ）、または、原画素と予測画素との間の差分絶対和（ＳＡＤ）である。

本願では、ラグランジュ最適化問題を解くことは、ラグランジュ関数Ｊを最小化する符号化モードｏを見つけることを意味し、ここで、ラグランジュ関数Ｊは、歪みを表す項と、ビットレートを表す項と、両者の間でどちらを取るかを表す倍数（「ラグランジュ乗数」））とを備える。符号化モードｏがより完全なまたはより良い品質の符号化モードに向かって変化するにつれて、歪み項Ｄは、減少する。しかし、同時に、レート項Ｒは、増加することになり、λに依存する特定の点で、Ｒの増加は、Ｄの減少を上回っても良い。それ故に、式Ｊは、何らかの最小値を有し、これが起こる符号化モードｏが最適符号化モードであると考えられる。

この意味で、ビットレートＲ、もっと正確にはλＲは、この項が絶えず増加する品質から最適符号化モードを引き戻すので、最適化に制約を課す。この最適バランスが見つけられるモードは、λに依存することになり、それ故に、λは、ビットレートと歪みのどちらを取るかを表すと考えられる。

ラグランジュ最適化は、符号化決定を選定するプロセスで広く使用され、あらゆるフレーム領域（たとえば、１６×１６画素からなるあらゆるマクロブロック）に適用される。一般に、歪みは、全ての処理段階を明らかにするために評価される。これらの処理段階は、予測、変換、および量子化を含む。さらに、再構成画素を計算するために、逆量子化、逆変換、および逆予測のステップが実行される必要がある。ＳＳＤは、ＳＡＤと比べてより高い品質という結果をもたらすので、歪み規準として好ましい場合がよくある。一般に、レートは、予測を記述するパラメータと、量子化された変換係数を含む全ての必要とされたパラメータの符号化をさらに明らかにする。

［２］Ｚｈａｎｇ ｅｔ ａｌ．では、著者は、ソース符号化だけでなく、チャネル誤り、すなわち、信号がチャネルを介して送信されるときにデータの損失のために起こるものである見込み歪みにも起因するデコーダ内での潜在的な歪みを推定する。推定された見込み歪みは、その後、イントラ符号化の方へモード選択を偏らせるために間接的に使用される（チャネル誤りの可能性がある場合）。この種類のアプローチは、本願明細書では、損失適応型レート−歪み最適化（ＬＡＲＤＯ）と呼ばれる。

Ｚｈａｎｇの「終端間」歪み式は、差分二乗和（ＳＳＤ）歪み尺度に基づき、損失マクロブロックにベルヌーイ分布を仮定する。最適マクロブロックモードｏ_ｏｐｔは：

によって与えられ、式中、Ｄ_ｓ（ｍ，ｏ）は、マクロブロックｍおよびマクロブロックモードｏに対する原画素と再構成画素との間のＳＳＤ歪みを表し、Ｒは、総レートを表し、λは、歪みおよびレート項を関連付けるラグランジュ乗数を表す。Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、誤り伝搬に起因するデコーダにおける参照マクロブロック内部の期待歪みを表す。Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、このようにして、誤り伝搬歪みが大きくなり過ぎた場合、イントラ符号化の方へ最適化を偏らせるバイアス項をもたらす。Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、イントラ符号化マクロブロックモードに対して零である。式Ｄ_ｓ（ｍ，ｏ）＋Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）＋λＲ（ｍ，ｏ）は、ラグランジュ関数Ｊの例であると考えられる。Ａｒｇｍｉｎ_ｏは、値が最小である式Ｊに対する引数ｏの値を出力する。

［２］において、項Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、物体の動きに追随し、現在の動きベクトルを使用して総歪みマップから計算される。総期待誤り伝搬歪みマップＤ_ｅｐは、誤り隠蔽の性能によって動かされ、各マクロブロックモード選択後に：
Ｄ_ｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋ｐ（Ｄ_{ｅｃ−ｒｅｃ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋Ｄ_{ｅｃ−ｅｐ}（ｍ（ｋ），ｎ）） （３）
として更新され、式中、ｎは、フレーム番号であり、ｍ（ｋ）は、マクロブロックｍのｋ番目の下位区分（すなわち、ブロックまたはサブブロック）を表し、ｐは、パケット損失の確率を表し、Ｄ_{ｅｃ−ｒｅｃ}は、エンコーダにおける再構成画素と隠蔽画素との間のＳＳＤを表し、Ｄ_{ｅｃ−ｅｐ}は、エンコーダおよびデコーダにおける誤り隠蔽画素の間の期待ＳＳＤを表す。

［２］では、Ｄ_ｅｐは、フレームの各マクロブロックに亘って４×４型グリッドで、すなわち、マクロブロック１つ当たりにＤ_ｅｐの１６個の値で、従って、各マクロブロックの４×４型画素サブブロック１つ当たりにＤ_ｅｐの１個の値で記憶される。図１ｃに示されるように、Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｏ）、すなわち、時点ｎでのフレームのマクロブロックｍの内部のサブブロックｋに対する期待誤り伝搬参照歪みの計算は、その後、時点ｎ−１からの先行フレームの４個のサブブロックからのＤ_ｅｐの値の加重和として実行される。重みは、当該ブロックｍに対する動きベクトルから決定される。すなわち：

であり、式中、重みｗ_ｉは、オーバーラップのエリアに比例し、ｑ_ｉ（ｋ_ｉ）は、先行フレームｎ−１の中のマクロブロックｑ_ｉのサブブロックｋ_ｉを表す。

図１Ｄは、典型的なサブブロックｂ１．．．ｂ４に関連して（本例では、ｋは、ｂ１に対応し、ｉは、ｂ１からｂ４まで数える）、動きベクトルおよび期待誤り伝搬歪みマップからの期待誤り伝搬参照歪みの計算の説明図を提供する。

Ｚｈａｎｇ［２］のＲＤＯに基づくモード選択プロセスは、イントラ符号化を使用してどのマクロブロックでも符号化することを偶然に決定することもあり、従って、長期に亘って、これは、必要に応じてフレームをリフレッシュする傾向がある。しかし、ＬＡＲＤＯを用いる復元は、多くの場合に十分に高速ではないので、損失レポートによって始動された復元フレームを送出することが依然として（知覚的に）有利である。他方では、復元フレームを発生させる従来の技術は、高いビットレートスパイクをもたらす結果になる。

Ｖａｄａｐａｌｌｉ［３］は、ある種の決定された規則性でフレームを強制的にリフレッシュするために付加的なイントラリフレッシュ動作でＺｈａｎｇ［２］のモード選択プロセスを補う技術を開示する。イントラリフレッシュ動作は、ある種の決定された時点で、しかし、復元フレームのビットレートコストを取り除き、かつ、レートスパイクを回避するために、復元フレームを発生させ、その後、Ｖａｄａｐｅｌｌｉに従って、各個別のインフラリフレッシュ動作がある程度の数のフレームに亘って広げられる。すなわち、所定の復元動作に対して、フレームの種々の部分領域がこのある程度の数のフレームの種々のそれぞれの部分領域においてリフレッシュされる。さらに、フレーム領域がリフレッシュされる順番は、損失の多いチャネルのＺｈａｎｇの事前確率モデルに基づいてより高い誤り伝搬歪みを持つと推定された領域が先にリフレッシュされ、その上、より低い誤り伝搬歪みを持つと推定された領域が後でリフレッシュされるように、Ｚｈａｎｇ［２］の誤り伝搬歪みマップに基づいて決定される。Ｖａｄａｐａｌｌｉ［３］では、復元動作が実行される時点は、同様にチャネルの事前確率モデルに基づいて決定された規則性で、エンコーダによって一方向に設定される。

長期に亘ってレートを平滑化するさらに別の代替的なアプローチは、いわゆるペーシングバッファを使用することである。ペーシングバッファは、ビデオエンコーダのバースト的な出力レートにローパスフィルタとしての機能を果たし、それによって、送信チャネルにより一様なレートを生じる。ペーシングバッファのコストは、遅延である。

ＩＴＵ−Ｔ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４，「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」，２００７ Ｚｈａｎｇ ｅｔ ａｌ．，「Ｅｒｒｏｒ ｒｅｓｉｌｉｅｎｃｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｉｎ Ｈ．２６４ ｅｎｃｏｄｅｒ ｗｉｔｈ ｐｏｔｅｎｔｉａｌ ｄｉｓｔｏｒｔｉｏｎ ｔｒａｃｋｉｎｇ」，Ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．１６３−１６６，２００４ Ｖａｄａｐａｌｌｉ ｅｔ ａｌ．，「Ｌｏｗ−ｃｏｍｐｌｅｘｉｔｙ ｆｒａｍｅ−ｌｅｖｅｌ ｊｏｉｎｔ ｓｏｕｒｃｅ−ｃｈａｎｎｅｌ ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍａｌ，ａｄａｐｔｉｖｅ ｉｎｔｒａ ｒｅｆｒｅｓｈ」，Ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．４７３−４８０，２００８

本発明の発明者は、十分に滑らかなビットレートを維持した状態で、誤り伝搬の歪みの影響を低減するさらなる余地があると確信している。

前述のとおり、フィードバックチャネルは、たとえば、フレームが受信機で失われたことを伝達するために使用される。典型的に、損失フレームは、ある種のフレームが失われたことをデコーダからエンコーダに返信し、その後、受信され、復号化されたときに誤り伝搬を停止する復元フレーム、たとえば、キーフレーム（全てイントラ符号化される）、または、デコーダで利用できることが知られている（受信機からフィードバックされた１つ以上の肯定応答により分かる）誤りのないフレームに関連してインター符号化されたフレームをエンコーダに強制的に発生させるような措置が講じられない限り、長期間に亘って持続する可能性がある深刻な歪みを復号化ビデオに引き起こす。後者のフレームは、一般に、前者のフレームと比べて、所定の品質でより低いビットレートという結果をもたらす。復元フレームを送出することと関係がある不利点は、ビットレート・オーバーシュートであり、または、代替的に、ソース符号化歪みの増加である。ビットレート・オーバーシュートは、次には、新しい損失を引き起こすか、または、強制的にエンコーダにフレームを落とさせる可能性があり、急激に増加するソース符号化歪みは、知覚的に邪魔になり得る。

上記問題を解決するために、本発明は、損失が報告された後に１つの完全復元フレームを発生させるのではなく、ある期間に亘って部分復元フレームを生成する。部分復元フレームは、ある程度の数のフレームに亘って広げられたフレームの種々の部分領域に適用されるイントラリフレッシュのような技術の使用を意味する。イントラリフレッシュは、標準的な復元フレームのシナリオのように同時に全てのマクロブロックではなく、ある期間に亘って各フレームの中である程度の数のマクロブロックのイントラ符号化を強制することを目的とする。リフレッシュパターンは、好ましくは、全てのマクロブロック位置がある種の期間内にイントラ符号化によって（または、デコーダにおいて復号化ピクチャバッファ内部で利用できることが知られているフレームに関して相互に）リフレッシュされるように配置構成される。この種の技術は、「ソフト復元」動作と考えられる。

本発明によれば、イントラリフレッシュまたはその他のこのようなソフト復元動作は、チャネルを介して起こった損失を報告するデコーダからのフィードバックによって始動される。

イントラリフレッシュ、または、復元フレーム（群）の発生のためのその他のソフト復元技術の使用に加えて、本発明の特に好ましい実施形態は、エンコーダにおいて推定されるようなデコーダでの（パケット損失の効果を含む）潜在的な歪みを使用するイントラリフレッシュを駆動する。エンコーダ内部でデコーダでの潜在的歪みを追跡することは、たとえば、Ｚｈａｎｇ ｅｔ ａｌ．によって［２］に開示されているように実施される可能性がある。Ｚｈａｎｇ［２］における潜在的な歪みは、デコーダ内部の間違った参照に起因した潜在的な歪みと、フレームが失われ、誤り隠蔽が呼び出された場合に導入される歪みとの加重和として構築され得る。Ｚｈａｎｇでは、歪みマップは、進行中のモード選択プロセスで単に使用されるだけであるが、本発明の好ましい実施形態によれば、歪みマップの目的は、ブロックがソフト復元動作においてリフレッシュされる順序、または、全体でリフレッシュされるべきブロックに優先度を付けることである。

復元の目的は、全ての誤り伝搬を即時に中断することである。ソフト復元の目的は、誤り伝搬を少し緩和し、数フレーム以内に復元を生じさせることである。それにもかかわらず、ソフト復元は、やはり、Ｚｈａｎｇ［２］が一般に行うＬＡＲＤＯプロセスの単なる適用よりも早く誤り伝搬歪みを終了する。すなわち、ソフト復元は、ＬＡＲＤＯプロセスが偶然にフレームのエリアを対象にするために要する時間より短いある程度の数のフレームに亘って、フレームエリアを確実にリフレッシュする。ソフト復元は、画像エリア全体または少なくとも画像のエリア全体を（複数のマクロブロックを一緒に）リフレッシュすることを目的とするが、ＲＤＯは、各個別のブロックまたはマクロブロックに対して分離してモード選択決定を行い、当該エリアの系統的なリフレッシュを行わない。

ある程度類似するアプローチが［３］においてＶａｄａｐａｌｌｉ ｅｔ ａｌ．によって提案されている。しかし、Ｖａｄａｐａｌｌｉは、フィードバックチャネルが利用できる可能性を利用できない。

Ｚｈａｎｇ［２］のプロセスおよびＶａｄａｐａｌｌｉ［３］のプロセスは、両方共に、チャネルを介する損失の可能性に関して完全にエンコーダで行われた事前確率仮定だけに基づく。すなわち、これらのプロセスは、それぞれがチャネルの確率モデルを使用する完全にモデルベースのアプローチに依拠する。歪みの推定値は、チャネルの事後経験的知識をもつことなく、損失確率ｐの所定の推定値に依拠する。

さらに、Ｚｈａｎｇ［２］とは異なって、ソフト復元動作は、報告された損失フレームによって始動された特定の時点で行われるだけであるが、ＺｈａｎｇのＲＤＯアプローチのようなＲＤＯアプローチは、いつでも起こっている進行中のプロセスである。

このようにして、本発明は、送出レートを平滑化するために（単一の全て同時の復元フレームと比べて）、チャネルを介して起こっている損失に関する事後情報を報告する受信端末からのフィードバックに応答して始動された、部分復元フレームの発生を行う。特に好ましい実施形態では、本発明は、どのマクロブロックがどの順序でリフレッシュされるかを決定するために、復号化フレームにおける潜在的な歪みに基づく優先度マップを使用する。

本発明の一態様によれば、複数のフレームのうちの各々でビデオ画像を符号化するステップであって、それによって符号化ビデオストリームを発生させ、フレーム群のうちの一部の少なくとも一部分を符号化するためにフレーム間符号化を使用するステップを含む、ステップと、復号化ビデオを生成するために受信機で復号化される符号化ビデオストリームを損失の多いチャネルを介して送信するステップと、ビデオ画像の符号化をリフレッシュするために、上記チャネルを介する損失の存在下でインター予測の効果に起因して復号化ビデオの中に現れた誤り伝搬を打ち切る復元動作を実行するステップと、を備え、上記復元動作は、受信機からフィードバックされた、損失を表すレポートによって始動され、復元動作は、複数の個数のフレームに亘って実行され、種々のそれぞれのフレームで種々の部分フレーム領域の符号化をリフレッシュする方法が提供される。

実施形態では、リフレッシュ動作は、上記個数のフレームに亘って上記ビデオ画像の全体の符号化をリフレッシュしても良い。

復元動作は、上記フレーム間符号化の代わりにフレーム内符号化を使用して上記部分フレーム領域のうちの１つ以上を符号化するステップを備えても良い。

復元動作は、受信機からフィードバックされた受け取りの肯定応答のために誤りのないことが知られている上記フレームのうちの１つの一部分に関連してインター予測を使用して上記部分フレーム領域のうちの１つ以上を符号化するステップを備えても良い。

この方法は、ビデオ画像の種々のそれぞれの部分に亘って上記誤り伝搬に起因する歪みの推定値をマッピングする誤り伝搬歪みマップを維持するステップを備えても良く、部分フレーム領域の各々は、上記部分の１つ以上を取り囲んでも良く、部分フレーム領域は、種々の部分に対する誤り伝搬歪みマップの中の歪みの推定値に依存して決定された優先度に従ってリフレッシュされても良い。

それぞれのフレームの各々で、誤り伝搬歪みマップの中の上記部分に対する推定値に基づいて、部分フレーム領域の中で誤り伝搬歪みの最大推定値に対応する１つだけ、または、部分集合がリフレッシュされても良い。

部分フレーム領域は、上記個数のフレームに亘って優先度の順番でリフレッシュされても良く、優先度の順番は、より大きい推定誤り伝搬に対応する部分フレーム領域が上記個数のフレームの中でより先にリフレッシュされ、より小さい推定誤り伝搬に対応する部分フレーム領域が上記個数のフレームの中でより後でリフレッシュされるように、誤り伝搬歪みマップの中の推定値に基づいて決定されている。

ビデオ画像の部分の全部が優先度順にリフレッシュされても良い。

フレームの上記個数は、ビデオ映像がエリア内で分割可能である上記部分フレーム領域の個数以上でも良い。

この方法は、復元動作によるリフレッシュ化を反映させるために誤り伝搬マップを更新するステップを備えても良い。

上記部分フレーム領域の各々は、複数の上記部分を取り囲んでも良く、各部分フレーム領域に対する対応する推定誤り伝搬歪みは、誤り伝搬マップの中のそれぞれの複数の部分に対する推定値に基づいて決定されても良い。

誤り伝搬マップの中の推定値は、対象部分の予測が依存する対象部分の履歴の中の参照部分の不到着に起因して、対象部分がチャネルを介して到着する場合に起こる歪みの推定値を表現する第１の寄与度と、隠蔽に起因して起こる歪みの推定値を表現する第２の寄与度とに基づいても良い。

第２の寄与度は、対象部分がチャネルを介して失われた場合に対象部分の損失を隠蔽するために使用される画像部分に関連して対象部分の隠蔽歪みの尺度を表現する寄与度と、対象部分の隠蔽が依存する対象部分の履歴の中の画像部分の損失に起因して起こる歪みの推定値を表現する寄与度とを備えても良い。

復元動作に加えて、誤り伝搬歪みマップは、各画像部分に個別に適用され、かつ、デコーダからのフィードバックによって始動されるのではなく、進行中のプロセスである別個の符号化モード選択プロセスでさらに使用されても良い。

符号化モード選択プロセスは、個別の画像部分に対してイントラ符号化とインター符号化とを選択しても良い。

復元動作は、モード選択プロセスより高速にビデオ画像の符号化をリフレッシュしても良い。

復元動作は、上記個数のフレームによって画定される所定の期間内にビデオ画像全体の符号化をリフレッシュしても良いが、モード選択プロセスは、この所定の期間内にビデオ画像全体の符号化をリフレッシュすることを保証しなくても良い。

モード選択プロセスは、どの所定の期間内にもビデオ画像全体の符号化をリフレッシュすることを保証しなくても良い。

本発明の別の態様によれば、複数のフレームのうちの各々でビデオ画像を符号化するように配置構成されているエンコーダであって、それによって符号化ビデオストリームを発生させ、フレーム群のうちの一部の少なくとも一部分を符号化するためにフレーム間符号化を使用する、エンコーダと、復号化ビデオを生成するために受信端末で復号化される符号化ビデオストリームを損失の多いチャネルを介して送信するように配置構成されている送信機とを備え、エンコーダは、ビデオ画像の符号化をリフレッシュするために、上記チャネルを介する損失の存在下でインター予測の効果に起因して復号化ビデオの中に現れた誤り伝搬を打ち切る復元動作を実行するように構成され、エンコーダは、上記復元動作が受信端末からフィードバックされた、損失を表すレポートによって始動されるように構成され、エンコーダは、複数の個数のフレームに亘って復元動作を実行し、種々のそれぞれのフレームで種々の部分フレーム領域の符号化をリフレッシュするように構成されている、送信端末が提供される。

実施形態では、エンコーダは、上記方法特徴のいずれかに記載の動作を実行するようにさらに構成されても良い。

本発明の別の態様によれば、コンピュータ読み取り可能な媒体上に具現化され、送信端末上で実行されたときに以下の動作、複数のフレームのうちの各々でビデオ画像を符号化するステップであって、それによって符号化ビデオストリームを発生させ、フレーム群のうちの一部の少なくとも一部分を符号化するためにフレーム間符号化を使用するステップを含む、ステップと、復号化ビデオを生成するために受信機で復号化される符号化ビデオストリームを損失の多いチャネルを介して送信するステップと、ビデオ画像の符号化をリフレッシュするために、上記チャネルを介する損失の存在下でインター予測の効果に起因して復号化ビデオの中に現れた誤り伝搬を打ち切る復元動作を実行するステップとを実行するように構成され、上記復元動作は、受信機からフィードバックされた、損失を表すレポートによって始動され、復元動作は、複数の個数のフレームに亘って実行され、種々のそれぞれのフレームで種々の部分フレーム領域の符号化をリフレッシュするコードを備えるコンピュータ・プログラムが提供される。

実施形態では、コードは、実行されたとき、上記方法特徴のいずれかに記載された動作を実行するようにさらに構成されても良い。

本発明のより良い理解のため、かつ、本発明がどのように実施されるかを明らかにするために、一例として添付図面を参照する。

ビデオストリームの概略図である。 いくつかのイントラ予測符号化モードの概略図である。 インター予測符号化の概略図である。 誤り伝搬歪みの計算の概略図である。 通信システムの概略ブロック図である。 エンコーダの概略ブロック図である。 誤り伝搬歪みマップの概略図である。 ソフト復元動作の始動の概略図である。

以下は、受信機から送信機まで利用可能であるフードバックチャネルを用いた誤りのあるチャネルを介したリアルタイムビデオ送信の分野に関する。

図２を再び参照すると、受信端末２２上で動かされているデコーダは、フレームまたはフレームの一部が受信端末２２で受信されなかったので、チャネルを介して失われたことを判断したとき、送信端末１２上で動いているエンコーダに返信するように構成されている。損失は、パケットがパケットベース・ネットワークを介する送信中に落とされたことを理由とすること、または、データが改竄されたことを理由とすることもあり得る。受信端末２２上のデコーダは、パケット、フレーム、またはフレームの一部が受信に成功したときに肯定応答をフィードバックすることもある。

発明の好ましい実施形態によれば、送信端末１２のエンコーダで実行されるイントラリフレッシュに基づく復元動作が受信端末２２から返信された損失レポートによって始動され、単一復元フレームの代わりにイントラリフレッシュに基づく復元またはその他のソフト復元動作を使用する方法が説明されている。

イントラリフレッシュに基づく復元スキームに関連したある程度の数の難題が存在する。第１に、（深刻な）歪みの持続期間が最小化されるように、最初に最大歪みと関係がある領域をリフレッシュすることが望ましいであろう。第２に、いくらかの期間の後、誤り伝搬歪みの確率が（新しい損失が起こらない限り）小さいということを確実にすることが望ましいであろう。これらの２つの問題を扱うため、エンコーダ内部の潜在的なデコーダ歪みを追跡することが役立つであろう。歪みを追跡する１つのこのような方法は、Ｚｈａｎｇ ｅｔ ａｌ．［２］によって説明された方法であるが、その他の方法が可能であっても良い。追跡は、送信端末１２上で動いているエンコーダで誤り伝搬歪みマップを維持することを備える。これは、チャネルを介して起こり得る損失に起因する歪みの推定値を当該ビデオ画像のフレームエリアの種々のそれぞれの部分にマッピングし、たとえば、それぞれの推定誤り伝搬歪み値をフレームエリアの各マクロブロックにマッピングする。

本発明は、フレームの中でソフト復元動作においてリフレッシュされるべき領域に優先順位を付けるために、好ましくは、領域がソフト復元に関与するフレームの個数に亘ってリフレッシュされる順番に優先順位を付けるために誤り伝搬マップの中で推定歪み値を使用する。誤り伝搬歪みの大きい方の推定値を有する領域は、先にリフレッシュされることになり、誤り伝搬歪みの小さい方の推定値を有する領域は、順番の中でより後にリフレッシュされる。しかし、Ｖａｄａｐａｌｌｉ［３］とは異なって、ソフト復元動作は、受信端末２２からフィードバックされ、チャネル（たとえば、パケットベース・ネットワーク３２を介して確立されたチャネル）を介した損失を表すレポートによって始動される。好ましくは、この始動は、特定の損失事象、すなわち、特殊なパケット、フレームまたはフレームの一部の損失に対応するレポートである。

フレームの所定の領域のリフレッシュは、イントラ符号化、または、デコーダで利用できることが知られている（それ自体は、受信されたものであることが肯定応答され、かつ、この履歴において関連性のある何かが肯定応答されているので、誤りのないことが知られている）誤りのないフレームに関連したインター符号化のいずれかを使用して達成される可能性がある。

好ましくは、ソフト復元動作は、フレームエリア全体、すなわち、ビデオ画像全体のエリアの全ての領域がリフレッシュされるまで継続する。

図４は、リフレッシュが受信端末２２からのフィードバックレポートにより始動された時点に送信端末１２でエンコーダによって維持されている誤り伝搬マップの「スナップショット」を概略的に表す。

図４に例示されているのは、誤り伝搬歪みマップへの複数のエントリであり、１つずつがフレームエリア内の種々のそれぞれの位置で全フレームエリアのそれぞれの部分に対応している。たとえば、マップは、ブロックまたはマクロブロックｍのサブブロックｍ（ｋ）毎に１個のエントリを維持しても良い。エントリの１つずつは、フレームエリアのそれぞれのフレーム部分に対する誤り伝搬歪みのそれぞれの推定値を表現するそれぞれの値Ｄ_ｅｐ（ｍ（ｋ））を格納する。これは、推定された歪みが、チャネルを介する当該符号化画像データの可能な損失に起因して、そして、誤り隠蔽データに基づくインター符号化フレームの継続する復号化のため進行中のフレームを通じて伝搬する損失の影響に起因して、フレームエリアのその部分においてデコーダで現在起こっているかもしれないことを表現する。マップは、エンコーダで実施されたチャネルの推定値またはモデルに従って決定される。当該エントリは、新しい符号化モード選択またはフレーム領域のリフレッシュが実行される度に更新される。

本発明の典型的な実施形態によれば、受信端末２２からフィードバックされた、損失のレポートにより始動されたとき、送信端末１２でエンコーダは、誤り伝搬マップの中でどれが最大推定誤り伝搬歪みを有しているかに基づいて、フレームエリアの種々の部分、たとえば、種々のブロックまたはマクロブロックのリフレッシュの相対優先順位を決定する。

図５は、符号化されているフレームの系列を概略的に例示する。図５に示されるように、ソフト復元動作は、特殊なパケット、フレーム、またはフレームの一部の損失を報告するデコーダからフィードバックされた損失レポートに応答して始動された後、少数個の部分復元フレームに亘って実行される。好ましくは、所定の復元動作の部分復元フレームは、時間的に連続するシーケンスを形成する。ソフト復元が実行される間のフレームの個数は、ＬＡＲＤＯモード選択プロセスが偶然にフレーム全体をリフレッシュするために要する時間と比べて少ない。一例として、ソフト復元は、図５では４個のフレームに亘って実行されているものとして示されているが、その他の個数も可能であることが認められるであろう。実施形態では、この個数は、固定されるか、または、そうではない場合、所定の個数であるが、その場限りで変化する個数の可能性は、排除されない。

決定された優先順位に基づいて、エンコーダは、その後、フレームの中のどの部分領域、すなわち、ブロックまたはマクロブロックのどのグループが復元のため割り当てられたフレームのうちどのフレームでリフレッシュされるかを決定する。

リフレッシュは、フレーム領域のブロックのイントラ符号化を備えても良く、または、参照フレーム、もしくは、誤り伝搬歪みなしでデコーダにおいて受信されたことが知られているフレームの一部と関連するブロックのインター符号化を備えても良い。なぜならば、この参照フレームは、デコーダによって受信されていることが肯定応答され、参照フレームの履歴の中の何らかの関連性が受信されていることが肯定応答されているからである（すなわち、参照フレーム自体が先行する参照フレームからインター予測された等の場合、連鎖の中の全ての参照フレームは、誤り伝搬歪みがないことを保証するために、デコーダによって受信されたものとして肯定応答される必要がある）。リフレッシュは、種々の領域に対してこれらの２つの技術の組み合わせをさらに備えても良い。

一例として、図４には、最高推定誤り伝搬歪み値を有しているブロックの組が太字で示されている。

一実施形態では、最高推定誤り伝搬歪みを有しているこのブロックまたはマクロブロックの組は、たとえば、１つずつが肯定応答された誤りのないフレームまたはフレームの一部に関連してインター符号化されることによって、最初にリフレッシュされる領域を形成する。しかし、マップの中で最高推定値を有しているブロックは、必ずしも互いに隣接しなくても良く、リフレッシュされる領域がマップ上で分散させられるように散乱させられても良い。これは、所望のリフレッシュ技術が互いに関連してこれらのブロックをイントラ符号化する場合、簡便ではない。

代替的な実施形態では、エンコーダは、何らかの集計尺度、たとえば、最高歪みブロックの組の最大収容部分による最高の全体的な推定誤り伝搬歪みを有しているか、または、この領域内のブロックの誤り伝搬歪み値の最大平均を有している、空間的にグループ分けされた、隣接するブロックまたはマクロブロックからなるより広い領域（しかし、依然として、フレームの部分領域）を決定する。このような領域の実施例は、図４に縁取りを付けて示されている。エンコーダは、個別に最高である歪みブロックの全てを必ずリフレッシュするのではなく、この領域のブロックを最初にリフレッシュするであろう。

好ましくは、フレームエリアが分割可能である領域と同数の復元フレームが存在するので、フレームエリア全体がこの個数の部分復元フレーム中にリフレッシュされる可能性がある。注意すべきことは、実際には、実施形態では、リフレッシュされた部分は、原則的に、リフレッシュされていない領域からの誤り伝搬のために再び改竄される可能性があるので、これは、フレームの最小個数に過ぎず、それ故に、さらなるリフレッシュが誤り伝搬歪みのない復号化を（何らかの確率で）保証するために必要とされ得ることである。

リフレッシュ優先順位の１つの戦略によれば、ソフト復元に関与しているフレームの個数の１つずつで、エンコーダは、このフレームの個数に亘ってフレームエリア全体の網羅的なリフレッシュを強制するために必ずしも措置を講じることなく、この時点でどちらでも最高推定歪みを有している領域を単に符号化しても良い。好ましくは、誤り伝搬歪みマップは、各部分フレーム領域がリフレッシュされた後に更新され、すなわち、この領域が一旦リフレッシュされると、この領域に誤り伝搬歪みが殆どまたは全くないことが分かる（部分復元フレームがチャネルを介して失われ、その結果、デコーダでリフレッシュ効果がない確率は、低いけれども存在するために、低いが零ではない期待誤り伝搬歪みが依然として存続しても良い）。この場合、いかなるフレームにおいても最大推定誤り伝搬歪み値を有している領域をリフレッシュするだけの方策は、順番を明示的に割り当てる、または、強制することなく、フレームエリア全体をリフレッシュする効果を有する。なぜならば、各部分リフレッシュの後に、領域のブロックは、殆どまたは全く歪みを有することがなく、その結果、次にリフレッシュされる可能性がなく、前に２番目に高い歪みをもつブロックのグループが今度は最高であり、以下同様に続く、からである。それ故に、この戦略は、ある種の暗黙の優先度に従ってリフレッシュし得る。

代替的に、エンコーダは、各復元フレームの時点で、しかし、比較から既にリフレッシュされた領域を除外するために連続的な復元フレームの各々の時点で、最高推定歪みを有している領域をどちらでも符号化するように構成されても良い。これは、（フレームエリアが分割可能である領域と少なくとも同数の復元フレームが依然として存在すると仮定して）フレームエリア全体が優先度順番でリフレッシュされたことを保証する効果を有するので、より高い推定誤り伝搬歪みを有している領域が先にリフレッシュされ、より低い推定誤り伝搬歪みを有している領域が後でリフレッシュされる。

別の代替的な戦略では、ソフト復元が最初に始動された動作の開始時に、エンコーダは、誤り伝搬歪みマップの中の対応する推定値に基づいて、複数の領域の全てに対して優先度順番を立案しても良いので、より高い推定誤り伝搬歪みを有している領域により高い優先度が割り当てられ、より低い推定誤り伝搬歪みを有している領域により低い優先度が割り当てられる。エンコーダは、その後、割り当てられた優先度の順番で領域の各々をリフレッシュする。

いくつかの実施形態では、上記戦略はいずれも、リフレッシュされた部分が原則としてリフレッシュされていない領域からの誤り伝搬のために再び改竄される可能性があるという事実に適応するために、１つ以上の領域が全体的または部分的に２回以上リフレッシュされ得るようにさらに適応されても良い。このようにして、さらなるリフレッシュは、誤り伝搬歪みなしの復号化を（いくらかの確率で）保証することが必要とされ得る。この場合、ソフト復元動作は、フレームエリアが分割可能である上記部分フレーム領域の個数より多くのフレームのため動くように適応させられる。前述の第２または第３の戦略の場合、これらは、最高推定誤り伝搬歪みをもつか、または、最高優先度が割り当てられた領域のうちの１つ以上に対してリフレッシュを繰り返すように配置構成されても良い。

前述のとおり、［２］では、著者は、エンコーダの中で、復号化後に（ソース符号化およびチャネル誤りに起因する）潜在的な歪みを推定する。彼らの文献では、推定された潜在的な歪みは、その後、（チャネル誤りの非零確率が存在する場合）モード選択をイントラ符号化の方へ偏らせるために間接的に使用される。

彼らのいわゆる終端間歪み式は、差分二乗和（ＳＳＤ）歪み尺度に基づき、損失マクロブロックのベルヌーイ分布を仮定する。最適マクロブロックモードｏは：

によって与えられ、式中、Ｄ_ｓ（ｍ，ｏ）は、マクロブロックｍおよびマクロブロックモードｏに対する原画素と再構成画素との間のＳＳＤソース符号化歪みを表し、Ｒは、総レートを表し、ラムダは、歪みおよびレート項を関連付けるラグランジュ乗数を表す。Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、誤り伝搬に起因するデコーダにおける参照ブロック内部の期待歪みを表す。Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、（制約付きのイントラ予測を仮定して）イントラ符号化マクロブロックモードに対して零である。［２］において、Ｄ_{ｅｐ＿ｒｅｆ}（ｍ，ｏ）は、動きに追随し、現在の動きベクトルを使用して総歪みマップから計算される。総期待誤り伝搬歪みマップＤ_ｅｐは、誤り隠蔽の性能によって動かされ、各マクロブロックモード選択後に：
Ｄ_ｅｐ（ｍ（ｋ））＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｏ_ｏｐｔ）＋ｐ（Ｄ_{ｅｃ−ｒｅｃ}（ｍ（ｋ），ｏ_ｏｐｔ）＋Ｄ_{ｅｃ−ｅｐ}（ｍ（ｋ）） （３ａ）
として更新され、式中、ｍ（ｋ）は、マクロブロックｍのｋ番目のサブブロックを表し、ｐは、パケット損失の確率を表し、Ｄ_{ｅｃ−ｒｅｃ}は、エンコーダにおける再構成画素と隠蔽画素との間のＳＳＤを表し、Ｄ_{ｅｃ−ｅｐ}は、エンコーダおよびデコーダにおける誤り隠蔽画素の間の期待ＳＳＤを表す。

本発明の実施形態では、式（２）の使用は、決定的ではない。関連性がある式は、潜在的な歪みの追跡について記述する（３）または（３ａ）である。フレーム全体に対して式（３）または（３ａ）が与えられると、エンコーダは、最大の潜在的な歪みをもつ最大Ｋ_ｍａｘ個のブロックの中からＫ個をリフレッシュするために選定する可能性があり、これによって、深刻な歪みの持続期間を最小化する第１の関心事を取り扱う。これは、イントラリフレッシュとの関連でＶａｄａｐａｌｌｉ ｅｔ ａｌ．［３］によって提案されたことに類似するが、受信機１２からフィードバックされた損失レポートによって始動される。

さらに、本発明の好ましい実施形態は、フレームとフレームとの間で歪みを追跡するので、エンコーダは、マクロブロックのリフレッシュが次のフレームにどのように伝搬するか（または再び改竄されるか）を推定し、それによって、復号化ピクチャの中の残留誤り伝搬歪みの確率の優れた推定値を取得するように構成されても良い。

ソフト復元メカニズムは、ＬＡＲＤＯモード選択の有無にかかわらず使用される可能性がある独立した復元アプローチである。本発明のソフト復元動作は、ソフトリフレッシュ動作が報告された損失フレームによって始動されたある一定の時点に限り起こるのに対して、ＬＡＲＤＯが常に起こっている進行中のプロセスであるので、モード選択プロセスと区別できる。再び図５を参照のこと。同様に、ソフトリフレッシュは、画像全体または少なくとも大量の画像全体（複数のマクロブロックを一緒に）をリフレッシュすることを目的とするのに対して、ＬＡＲＤＯは、各別個のブロックまたはマクロブロックに対して分離してモード選択決定を行う。

ＬＡＲＤＯプロセスは、イントラ符号化を使用していかなるマクロブロックでも符号化することを決定するために生じ得るので、長期に亘ると、（従来はフィードバックなしで行われていたとしても）必要に応じてフレームをリフレッシュする傾向がある。しかし、発明者は、ＬＡＲＤＯを用いた復元が多くの場合に十分に高速ではなく、その結果、損失レポートによって始動された復元フレームを送出することが依然として（知覚的に）有利であることを経験している。復元動作の目的は、全ての誤り伝搬を即座に中断することである。ソフト復元の目的は、これを少し緩和し、復元が２〜３フレーム以内に起こることを可能にすることである。しかし、ソフト復元は、それでもなお、単にＬＡＲＤＯを適用することが行う誤りより高速に誤り伝搬歪みを終了する。好ましくは、ソフト復元動作は、ソフトリフレッシュが広がるフレームの個数によって画定されたある種の所定の期間内にフレームエリア全体をリフレッシュすることを保証するのに対して、これは、ＬＡＲＤＯプロセスがその性質上保証することができない。

本発明を実施する適当なエンコーダは、図３に関連して説明されている。

図３は、送信端末１２で実施され得るエンコーダを概略的に例示するハイレベル・ブロック図である。エンコーダは、離散コサイン変換（ＤＣＴ）モジュール５１と、量子化器５３と、逆変換モジュール６１と、逆量子化器６３と、イントラ予測モジュール４１と、インター予測モジュール４３と、減算段階（−）とを備える。エンコーダは、スイッチ４７とコントローラ４９とをさらに備える。モジュールの１つずつは、好ましくは、送信端末の記憶媒体１４に記憶され、処理装置１６での実行のため配置構成されたコードの一部分として実施される。しかし、これらのモジュールの一部または全部が専用ハードウェア回路で完全にまたは部分的に実施される可能性も排除されない。

スイッチ４７およびモードコントローラ４９の１つずつは、複数のマクロブロックＭＢを備える入力ビデオストリームのインスタンスを受信するように配置構成されている。コントローラ４９は、マクロブロックがイントラ符号化を使用して符号化されているか、または、インター符号化を使用して符号化されているかを選択するように配置構成されている（そして、実施形態では、種々のインターモードおよび／または種々のイントラモードの間で選択しても良い）。コントローラ４９は、マルチプレクサが選択された符号化形式に適切に逆量子化器６３の出力をイントラ予測モジュール４１またはインター予測モジュール４３のいずれかの入力に渡すことを制御するためにマルチプレクサ４７に動作的に結合されている。コントローラ４９は、ソフト復元動作に従ってリフレッシュされたフレーム領域の発生を制御するために、たとえば、ソフトリフレッシュの期間に亘って種々の所要の位置においてイントラ符号化領域を発生させるためにこの能力を使用する。このため、コントローラ４９は、フィードバックチャネルを介して受信端末２２からフィードバックされた損失のレポート（および場合によってはさらに肯定応答）を受信するために接続されている。Ｚｈａｎｇ［２］のプロセスのようなＬＡＲＤＯモード選択プロセスがソフト復元メカニズムと並列にさらに必要とされる場合、個別のマクロブロック（など）のためのモード選択「ｏ」は、コントローラ４９によってさらに制御され得る。実施形態では、コントローラ４９は、選択されたモード「ｏ」に関する情報を関連性のある予測モジュール４１、４３に指示するために（たとえば、４×４型区分モード、８×８型モード、スキップモードなどを指示するために）、そして、予測モジュール４１、４３からフィードバックされ、次のフレームのためのモードを選択するときに用いられる情報を受信するように配置構成されても良い。

イントラ予測モジュール４１またはインター予測モジュール４３の出力は、その後、減算段階（−）の入力に結合され、この減算段階は、これのもう一方の入力で符号化されていない入力ビデオストリームを受信し、予測ブロックをこれらの符号化されていない対応部分から減算し、このようにして、残差信号を発生させるように配置構成されている。残差ブロックは、その後、それぞれの残差値が周波数ドメインに変換される変換（ＤＣＴ）モジュール５１を介して、変換された値が離散量子化指数に変換される量子化器５３に渡される。変換され、量子化された信号は、逆量子化器６３および逆変換モジュール６１を通してフィードバックされ、（デコーダで見られるように）選択された予測モジュール４１、４３によって用いられる予測されたブロックまたはサブブロックを発生させる。予測モジュール４１、４３で使用された予測の指示と、インター予測モジュール４３によって発生された動きベクトルと、変換モジュール５１および量子化モジュール５３によって発生されたような残差の変換、量子化された指数とは、全てが符号化ビデオストリームに組み込むため出力され、典型的には、予測値および量子化され、変換された指数が技術的に知られている無損失符号化技術を使用してさらに圧縮され得るエントロピーエンコーダ（図示せず）のようなさらなる無損失符号化段階を経由する。

一例として、Ｚｈａｎｇの誤り伝搬歪みマップを維持する方法は、今度はより詳細に説明される。しかし、チャネルを介する損失に起因する可能な歪みをモデリングする他の方法が存在し得る。本発明は、この特定のアプローチに限定されないことが認められるであろう。

前述のとおり、モード選択は、ラグランジュ型の関数：
Ｊ＝Ｄ（ｍ，ｏ）＋λＲ（ｍ，ｏ） （１）
を最適化（たとえば、最小化）することを含み得る。式中、Ｊは、ラグランジュ関数を表し、Ｄは、歪みの尺度（モードｏとマクロブロックｍまたはマクロブロック下位区分との関数）を表し、Ｒは、ビットレートであり、λは、歪みとレートのどちらを取るかについてのパラメータである。

従来の場合、歪み項Ｄは、ソース符号化歪みのみを考慮し、すなわち、量子化によって導入された歪みのようなエンコーダの中の不完全性に起因する。これは、チャネルを介するデータの損失に起因して、たとえば、パケットベース・ネットワーク３２を介する送信中のパケット損失に起因して導入され得る歪みを考慮しない。

他方では、本発明およびＺｈａｎｇ［２］の技術のような損失適合技術は、ソース符号化およびチャネルを介するデータの損失に起因する歪みを共に考慮する「終端間」歪みの尺度を定義しようとする。所定の（対象）ブロック、マクロブロックまたはサブブロックに対する終端間歪みは：
Ｄ＝（１−ｐ）Ｄ_{ａｒｒｉｖａｌ}＋ｐＤ_ｌｏｓｓ （５）
として記述できる。式中、Ｄ_{ａｒｒａｉｖａｌ}は、対象ブロックがデコーダに到着した場合に起こる歪みの推定値であり、Ｄ_ｌｏｓｓは、対象ブロックがチャネルを介するパケット損失に起因して、たとえば、パケットベース・ネットワーク３２を介するブロックを含むパケットの損失に起因してデコーダに到着しない場合に起こり得る歪みの推定値である。パラメータｐは、当該ブロック画像部分が結果的に失われるチャネルを介して起こる損失事象の確率の推定値、たとえば、パケット損失の確率の推定値である。簡便さのため、用語「ブロック」は、フレーム区分の関連性のあるレベル（たとえば、Ｈ．２６４のようなある種の規格のブロックまたはサブブロック）に一般的に言及するためにここでは適当な位置で使用され得る。

Ｄ_{ａｒｒａｉｖａｌ}は、ソース符号化歪みだけではなく、ブロックの過去の歪みに起因して導入される歪み、すなわち、対象ブロックが予測される原因である１つ以上の参照ブロックにおける歪みも表現する。その結果、Ｄ_{ａｒｒｉｖａｌ}は、ソース符号化歪み項Ｄ_ｓと、予測された対象ブロックの履歴の中の歪み（すなわち、対象ブロックへ繰り越す対象ブロックの参照ブロックの中の歪み）を表現する誤り伝搬歪み項Ｄ_{ｅｆ＿ｒｅｆ}とを共に含む：
Ｄ_{ａｒｒｉｖａｌ}＝Ｄ_ｓ＋Ｄ_{ｅｐ＿ｒｅｆ} （６）
Ｄ_ｌｏｓｓは、隠蔽に起因する損失を含む。対象ブロックが受信されない場合、デコーダは、先に符号化されたブロックを凍結すること、または、（現在フレームおよび／または前のフレームのいずれかからの）１つ以上の復号化に成功したブロックからの内挿または外挿を含み得る隠蔽アルゴリズムを適用する。その結果、Ｄ_ｌｏｓｓは、この隠蔽プロセスに起因する歪みとして識別される可能性がある：
Ｄ_ｌｏｓｓ＝Ｄ_ｅｃ （７）
従って、式（５）を調べると、項Ｄ_ｓは、損失が全くない場合に起こる歪みの推定値を表現し、項Ｄ_ｅｃは、対象ブロックが失われた場合に起こる歪みの推定値を表現し、項Ｄ_{ｅｐ＿ｒｅｆ}は、対象ブロックが受信に成功し、しかし、この履歴の中の何かが失われた場合（対象フレームの参照ブロックが失われた場合、または、参照フレームの参照ブロックが失われた場合など）に起こる歪みの推定値を表現する。

Ｄ_ｓおよびＤ_{ｅｐ＿ｒｅｆ}は、符号化モード選択ｏの関数である。Ｄ_ｅｃは、モード選択ｏの関数ではなく、従って、ラグランジュ式から落とされる（損失ブロックがどのように符号化されたかは問題ではない。それにもかかわらず失われている）。それ故に、最適化は：

として記述できる。

Ｄ_ｓは、エンコーダで知ることができる情報に基づくので、たとえば、未加工入力サンプル値ｓと再構成サンプル値

との間の差分に基づくので、決定論的である。エンコーダは、エンコーダ側でデコーダの並列インスタンス（または、これの近似）を動かす。図３のインター予測モジュール４３を詳述する差し込み図を参照のこと。インター予測モジュール４３は、動き補償予測（ＭＣＰ）ブロック４４と、予測サンプル

と再構成残差

とを組み合わせることにより、すなわち、各サンプル指数ｉに対して、

により再構成サンプル

を決定するように配置構成された加算段階（＋）とを備える。インター符号化の場合、エンコーダで、予測サンプル

は、参照ブロック

のサンプルと同じであっても良い（参照フレームの中の参照ブロックは、対象フレームに対して動きベクトルのみによってオフセットされている。再び簡単に説明される図１Ｃを参照のこと）。

それ故に、エンコーダは、エンコーダおよびデコーダ端で見られるような実際のサンプルｓと再構成サンプル

との間の差分を決定する可能性がある（これは、この段階では、デコーダで起こるさらなる歪みを導入する損失の可能性を無視する）。サンプルにおける差分は、たとえば、当該対象ブロックの全てのサンプル指数ｉに亘る差分二乗和（ＳＳＤ）誤り：

として計算され得る。

しかし、Ｄ_{ｅｐ＿ｒｅｆ}は、まだ推定されず、これは、符号化データが（たとえば、パケットベース・ネットワーク３２を介して）送信されるべきチャネルに関するいくつかの推定を行うことに基づく。

これを達成するために、エンコーダの中のコントローラ４９は、直前に符号化されたフレーム内部の各マクロブロックまたはマクロブロックの区分の歪みを記述する誤り伝搬歪みマップＤ_ｅｐを維持するように構成され得る。コントローラ４９は、対象ブロックが予測される原因である参照ブロックを収容するパケットがチャネルを介して失われる確率ｐを決定するように（そして、その結果、さらにパケットが到着する確率１−ｐを暗黙的または明示的に決定するように）さらに配置構成されている。確率ｐは、統計的モデリングに基づいて設計段階で予め決定されても良い。この場合、コントローラ４９は、メモリ１４から値を取り出すことによりｐを決定する。しかし、別の可能性は、コントローラ４９が受信機２２からのフィードバックに基づいてｐを決定する。

誤り伝搬マップは：
Ｄ_ｅｐ＝（１−ｐ）Ｄ_{ｅｐ＿ａｒｒｉｖａｌ}＋ｐＤ_ｌｏｓｓ （９）
として表現できる。

誤り伝搬マップＤ_ｅｐは、直前に符号化されたフレーム内部のマクロブロックｍに対する、または、より好ましくは、各下位区分（ブロックまたはサブブロック）ｍ（ｋ）に対する歪み推定値を備える。それ故に、誤り伝搬マップは、より明示的には：
Ｄ_ｅｐ（ｍ（ｋ））＝（１−ｐ）Ｄ_{ｅｐ＿ａｒｒｉｖａｌ}（ｍ（ｋ））＋ｐＤ_ｌｏｓｓ（ｍ（ｋ）） （１０）
として記述できる。式中、ｍ（ｋ）は、マクロブロックｍのｋ番目の下位区分（たとえば、サブブロック）を表し、ｐは、パケット損失の確率を表す。

Ｄ_ｌｏｓｓは、前述のとおりＤ_ｅｃに等しい。Ｄ_{ｅｐ＿ａｒｒａｉｖａｌ}は、チャネルを介する差分、すなわち、エンコーダでの再構成サンプルとデコーダでの再構成サンプルとの間の差分を表現する。たとえば、これは、差分二乗和（ＳＳＤ）の観点から定量化でき：

式中、

は、ソース符号化歪みおよびチャネルに起因する歪みを共に考慮したデコーダで受信された（指数ｉ）のサンプルである。すなわち、ｓ_ｉは、未加工の符号化されていない入力サンプルであり、

は、（たとえば、量子化に起因する）ソース符号化歪みを考慮してエンコーダで再構成されたサンプルであり、

は、チャネルの損失の多い効果を含む総終端間歪みを考慮したサンプルであり；

である。

Ｄ_{ｅｐ＿ａｒｒａｉｖａｌ}は：

に拡張できる。式中、

は、再構成残差のサンプルである。その結果：

である。

そこで、式（９）に代入すると、誤り伝搬マップは：
Ｄ_ｅｐ＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}＋ｐＤ_ｅｃ （１４）
または；
Ｄ_ｅｐ（ｍ（ｋ））＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ））＋ｐＤ_ｅｃ（ｍ（ｋ）） （１５）
として記述される可能性がある。

モード最適化問題を考慮すると、これは：
Ｄ_ｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋ｐＤ_ｅｃ（ｍ（ｋ），ｎ，ｏ_ｏｐｔ） （１６）
と記述されることもあり、式中、ｎは、フレーム番号であり、すなわち、Ｄ_ｅｐ（ｎ＋１）は、既存の決定ｏ_ｏｐｔおよび先行時点ｎでのフレームに対する歪みＤ_ｅｐ（ｎ）マップを仮定すると、時点ｎ＋１でフレームに対するモード選択を行うため使用される誤り伝搬マップである。

Ｚｈａｎｇ［２］の場合と同様に、Ｄ_ｅｃ項は：
Ｄ_ｅｐ（ｍ（ｋ），ｎ＋１）＝（１−ｐ）Ｄ_{ｅｐ＿ｒｅｆ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋ｐ（Ｄ_{ｅｃ−ｒｅｃ}（ｍ（ｋ），ｎ，ｏ_ｏｐｔ）＋Ｄ_{ｅｃ−ｅｐ}（ｍ（ｋ），ｎ）） （３）
に拡張されることもあり、式中、Ｄ_{ｅｃ−ｒｅｃ}は、エンコーダにおける再構成画素と隠蔽画素との間のＳＳＤを表し、Ｄ_{ｅｃ−ｅｐ}は、エンコーダおよびデコーダにおける誤り隠蔽画素の間の期待ＳＳＤを表す。

式（３）を調べると、前述のとおり、項Ｄ_{ｅｐ＿ｒｅｆ}は、対象ブロックは受信に成功しているが、これの履歴の中の何かが失われている場合に（対象フレームの参照ブロックが失われているか、または、参照フレームの参照ブロックが失われているなどの場合に）起こる歪みを表現する。さらに、Ｄ_{ｅｃ−ｒｅｃ}は、隠蔽アルゴリズム自体の性質に起因する歪み（予測に対して内在するソース符号化歪みＤ_ｓにやや類似する）の推定値を表現する。Ｄ_{ｅｃ−ｅｐ}は、このとき、対象ブロックが失われ（その結果、デコーダで隠蔽される必要がある）、かつ、隠蔽された対象ブロックの履歴の中の何かが失われている場合に（隠蔽が行われる原因であるブロックが失われる、または、ブロックが予測されるか、または、隠蔽される原因であるブロックが失われるなどの場合に）歪みの推定値を表現する。

従って、歪みマップＤ_ｅｐは、新しい損失に起因し、Ｄ_{ｅｃ−ｒｅｃ}および部分的にＤ_{ｅｃ−ｅｐ}の結果として生じる寄与度と、過去の損失に起因し、Ｄ_{ｅｐ−ｒｅｆ}および部分的にさらにＤ_{ｅｃ−ｅｐ}の結果として生じる寄与度とを備える。

系列の中の１番目のフレームに対して、フレームは、イントラ符号化を用いて符号化されることになり、この場合、Ｄ_{ｅｐ−ｒｅｆ}＝０であり、従って、Ｄ_ｅｐ＝ｐＤ_ｅｃである。

誤り隠蔽歪みＤ_ｅｃは、コントローラ４９によって計算される。項Ｄ_{ｅｃ−ｒｅｃ}は、隠蔽アルゴリズムの知識に基づき、使用された特殊な誤り隠蔽アルゴリズムに依存しても良い。Ｄ_{ｅｃ−ｅｐ}は、Ｄ_{ｅｐ−ｒｅｆ}に類似する方法で、たとえば、基本的な隠蔽アルゴリズムの場合に、同じ場所にあるブロックの歪みをコピーすることにより、または、より複雑な隠蔽が使用される場合に、動きを外挿しようとする複数の先に符号化されたブロックｂ１〜ｂ４から歪みの加重和を計算することにより（類推によって、以下の図１Ｃに関連した検討を参照のこと）、既存の（直前の）歪みマップに基づいて計算される。Ｄ_ｅｃを計算する他の方法が使用されることもあり、これは、エンコーダの中の再構成サンプルとデコーダによって見られる誤り隠蔽サンプル（すなわち、損失フレームまたは領域を隠蔽するために、前に受信されたフレーム、または、同じフレームの受信された領域からコピー、内挿または外挿されたサンプル）との間の差分の何らかの推定ということもあり得る。

コントローラ４９は、その後、既存の誤りマップの知識からのＤ_{ｅｐ＿ｒｅｆ}の計算を含めて、各モード選択決定の後に誤り伝搬マップを更新することにより、１つずつの後に続くインター予測フレームに対する誤り伝搬マップを維持する。インター予測（動き推定）の場合、Ｚｈａｎｇ［２］によれば、これは、当該フレームに対する動きベクトルを使用して行われる。

これの一例は、図１Ｃに例示されている。４つの実例ブロックｂ１、ｂ２、ｂ３およびｂ４が（時点ｎ−１での）参照フレームＦ_ｎに示され、この参照フレームは、既に符号化されている。（後に続く時点ｎでの）対象フレームＦ_ｎのブロックは、参照フレームＦ_ｎ−１から予測される。たとえば、対象フレームＦ_ｎの中のブロックｂ_１を考慮する。このため、動き予測モジュール４４は、参照ブロックが参照フレームＦ_ｎ−１の中のオフセット位置から対象フレームＦ_ｎの中の対象ブロックｂ_１’の位置に平行移動されたとき、対象ブロックｂ_１の最良推定値をもたらすように、対象フレームＦ_ｎの中の対象ブロックと参照フレームＦ_ｎ−１の中の（点線によって示された）参照ブロックとの間のオフセットを定義する動きベクトルを決定する。その結果、点線の参照ブロックは、必ずしも参照フレームＦ_ｎ−１の中の指数付け可能なブロックではなく、すなわち、必ずしも参照フレームの所定の再分割ではなく、任意の量によってオフセットされる得ることに（そして、実際には、画素の何分かの１によってオフセットされることさえあることに）注意すべきである。それ故に、参照ブロックは、４つの実際の指数付け可能なブロックｂ１、ｂ２、ｂ３およびｂ４からの寄与度で構成される。

その結果、誤り伝搬マップＤ_ｅｐ（ｎ＋１）の更新で用いられるＤ_{ｅｐ＿ｒｅｆ}を決定するためにコントローラ４９によって実行される既存の計算は、既存のマップＤ_ｅｐ（ｎ）においてブロックまたはサブブロックｂ１からｂ４に対して記録された歪みの加重和：

を計算することを備える。

あるいは、より明示的に：

であり、式中、ｗ_ｉは、ブロックまたはサブブロックｂ_ｉからの寄与度を表現する重みであり、Ｄ_ｅｐ（ｉ）は、ブロックまたはサブブロックｂ_ｉに対する誤り伝搬マップエントリである。

前述のとおり、本発明の実施形態では、モード選択式（２）の使用は、決定的ではなく、ソフト復元メカニズムは、ＬＡＲＤＯモード選択の有無にかかわらず使用される可能性がある独立した復元アプローチである。関連性のある式は、潜在的な歪みの追跡を記述する（３）または（３ａ）である。フレーム全体に対して式（３）または（３ａ）を仮定すると、エンコーダは、最大の潜在的な歪みをもつ最大Ｋ_ｍａｘ個のブロックの中からＫ個をリフレッシュすることを選定し、これによって、深刻な歪みの持続期間を最小化する第１の関心事を扱う可能性がある。

上記実施形態は、単なる一例として記載されていることが認められるであろう。

たとえば、上記は、Ｚｈａｎｇ［２］に記載されているように維持された誤り伝搬マップの観点から説明されている。しかし、誤り伝搬マップを維持する他の技術も可能である。たとえば、Ｚｈａｎｇの技術は、チャネルを介する損失の確率ｐの所定の推定値に基づくが、他の技術は、実際の歪みを知ることができるか、または、少なくともよりよく推定できるように、損失に起因する歪みは、何が失われたかについての実際の知識に、たとえば、デコーダで起こったｐの値のフィードバック、および／または、失われた実際のフレーム、もしくは、実際のフレームの一部のフィードバックに基礎を置くこともあり得る。

概して、上記は、スライス、マクロブロック、および、ブロックまたはサブブロックの観点から説明されているが、これらの用語は、必ずしも限定的ではなく、本願明細書に記載された考え方は、フレームを分割または再分割する何らかの特殊な方法に限定されるものではない。さらに、歪みマップは、フレーム全体またはフレーム内の領域を対象としても良く、符号化決定プロセスは、フレーム全体、または、フレーム内のある領域のみに適用されても良い。予測ブロック粒度は、（可能性は排除されないが）歪みマップ粒度と同じであること、または、歪みマップ粒度に関係させられることさえ必要でないことにも注意すべきである。

差分二乗和（ＳＳＤ）は、差分絶対和（ＳＡＤ）と比べると、結果としてより高い品質をもたらすので、多くの場合に差分の尺度として好ましいが、後者の可能性またはその他の可能性が排除されることはなく、概して、発明は、歪みを定量化する基礎としてサンプルの間の差分の何らかの尺度を使用して実施され得る。

広くは、レートの尺度は、予測を記述するパラメータおよび量子化された変換係数を含む全ての必要とされるパラメータの符号化をさらに明らかにする。この種の最適化は、本願明細書では、完全なレート−歪み最適化（ＲＤＯ）と呼ばれる。より複雑性の低い実施形態では、しかし、歪みおよび／またはレート項は、いくつかの、しかし、全部ではない処理段階の効果のみを考慮することにより、たとえば、予測の効果のみを考慮することにより近似され得る。

さらに、本発明は、２つのフレームｎ−１およびｎ、または、ｎおよびｎ＋１などの観点から説明されているが、発明のある種の実施形態では、これらは、（既存のコーデックの場合、そうであるかもしれないが）２個の隣接するフレームを参照する必要がない。いくつかの実施形態では、インター予測がさらに先行のフレームに対して実行され得るので、ｎ−１およびｎ、または、ｎおよびｎ＋１が先に符号化されたフレームまたは画像部分と、そこから予測される後に続くフレームまたは部分を参照するために本発明に関連して使用できる。

損失に起因する寄与度は、本願において言及されるか、または、データがチャネルなどを介して失われた「場合に」何が起こるかについて記載している何かであるが、このことは、デコーダに起こったかもしれないことに関して、エンコーダは、当然ながら何が起こるかを知らないが、エンコーダによって行われた確率的仮定（たとえば、ｐ）のみに関係していることにもう一度注意すべきである。確率的仮定は、統計的ネットワークモデリングに基づいて設計段階で予め決められても良く、および／または、デコーダからのフィードバックに基づいて動的に決定されても良い。

その他の変形例は、本願明細書における開示により、当業者に明らかになるであろう。発明の範囲は、記載された実施形態ではなく、特許請求の範囲のみによって限定される。

Claims (9)

1. 複数のフレームのうちの各々でビデオ画像を符号化するステップであって、それによって符号化ビデオストリームを発生させ、フレーム群のうちの幾つかの少なくとも部分を符号化するためにフレーム間符号化を使用するステップを含む、ステップと、
   復号化ビデオを生成するために受信機で復号化される前記符号化ビデオストリームを所定の損失のあるチャネルを介して送信するステップと、
   前記ビデオ画像の符号化をリフレッシュするために、前記チャネルを介する損失の存在下でインター予測の効果に起因して前記復号化ビデオの中に現れた誤り伝搬を打ち切る復元動作を実行するステップと、
   前記ビデオ画像の種々のそれぞれの部分に亘って前記誤り伝搬に起因する歪みの１又は複数の推定値をマッピングする誤り伝搬歪みマップを維持するステップと、
   を備え、
   前記復元動作は、前記受信機からフィードバックされた、損失を表すレポートによって始動され、
   前記復元動作は、複数の個数のフレームに亘って実行され、種々のそれぞれのフレームで種々の部分フレーム領域の符号化をリフレッシュし、
   前記部分フレーム領域の各々は、前記部分の１つ以上を取り囲み、前記部分フレーム領域は、前記種々の部分に対する前記誤り伝搬歪みマップの中の歪みの前記１又は複数の推定値に依存して決定された優先度に従ってリフレッシュされ、
   前記誤り伝搬歪みマップは、前記部分フレーム領域の各々がリフレッシュされる度に更新される、
   方法。
2. 前記リフレッシュは、前記個数のフレームに亘って前記ビデオ画像の全体の符号化をリフレッシュする、請求項１に記載の方法。
3. 前記復元動作は、前記フレーム間符号化の代わりにフレーム内符号化を使用して前記部分フレーム領域のうちの１つ以上を符号化するステップを備える、請求項１または２に記載の方法。
4. 前記復元動作は、前記受信機からフィードバックされた受け取りの肯定応答のために誤りのないことが知られている前記フレームのうちの１つの一部分に関連してインター予測を使用して前記部分フレーム領域のうちの１つ以上を符号化するステップを備える、請求項１、２または３に記載の方法。
5. 前記それぞれのフレームの各々で、前記誤り伝搬歪みマップの中の前記部分に対する前記推定値に基づいて、誤り伝搬歪みの最大推定値に対応する前記部分フレーム領域の中のただ１つ、または、部分集合がリフレッシュされる、請求項１乃至４のいずれか一項に記載の方法。
6. 前記部分フレーム領域は、前記個数のフレームに亘って優先度の順番でリフレッシュされ、前記優先度の順番は、より大きい推定誤り伝搬に対応する部分フレーム領域が前記個数のフレームの中でより先にリフレッシュされ、より小さい推定誤り伝搬に対応する部分フレーム領域が前記個数のフレームの中でより後でリフレッシュされるように、前記誤り伝搬歪みマップの中の前記推定値に基づいて決定される、請求項１または５に記載の方法。
7. 前記ビデオ画像の全ての部分が優先度順にリフレッシュされる、請求項１乃至６のいずれか一項に記載の方法。
8. 複数のフレームのうちの各々でビデオ画像を符号化するよう構成されているエンコーダであって、それによって符号化ビデオストリームを発生させ、フレーム群のうちの幾つかの少なくとも部分を符号化するためにフレーム間符号化を使用する、エンコーダと、
   復号化ビデオを生成するために受信端末で復号化される前記符号化ビデオストリームを所定の損失のあるチャネルを介して送信するよう構成されている送信機と
   を備え、
   前記エンコーダは、前記ビデオ画像の符号化をリフレッシュするために、前記チャネルを介する損失の存在下でインター予測の効果に起因して前記復号化ビデオの中に現れた誤り伝搬を打ち切る復元動作を実行するように構成され、
   前記エンコーダは、前記ビデオ画像の種々のそれぞれの部分に亘って前記誤り伝搬に起因する歪みの１又は複数の推定値をマッピングする誤り伝搬歪みマップを維持するように構成され、
   前記エンコーダは、前記復元動作が前記受信端末からフィードバックされた、損失を表すレポートによって始動されるように構成され、
   前記エンコーダは、複数の個数のフレームに亘って前記復元動作を実行し、種々のそれぞれのフレームで種々の部分フレーム領域の符号化をリフレッシュするように構成され、
   前記部分フレーム領域の各々は、前記部分の１つ以上を取り囲み、前記部分フレーム領域は、前記種々の部分に対する前記誤り伝搬歪みマップの中の歪みの前記１又は複数の推定値に依存して決定された優先度に従ってリフレッシュされ、
   前記誤り伝搬歪みマップは、前記部分フレーム領域の各々がリフレッシュされる度に更新される、送信端末。
9. コンピュータ読み取り可能な媒体上に具現化され、送信端末上で実行されたときに請求項１から７のいずれかに記載の動作を実行するように構成されているコードを備える、コンピュータ・プログラム。

Images