JP5722943B2 - 冗長ビデオ符号化方法および装置 - Google Patents

Description

本発明は、一般には、ビデオ符号化および復号化に関し、より詳細には、冗長ビデオ符号化のための方法および装置に関する。

本出願は、参照によりその全体が本明細書に組み込まれている、２００４年４月２０日に出願した米国仮出願第６０／７９３５３９号の優先権を主張するものである。

ビデオ伝送ネットワークでは、ビデオデータは、デコーダ側に配信されたときには欠落していることが多い。これは、たとえばネットワーク輻輳、チャネルフェージングおよび干渉、受信バッファオーバーフローなど、様々な理由によって引き起こされ得る。あるレベルのエンドユーザ視聴体験を維持するために、エラーロバストネス（error robustness）が通常、エンコーダによって、様々なやり方でビットストリームに加えられる。

冗長スライスは、ビデオエラーロバストネスを向上させるために、国際標準化機構／国際電気標準会議（ＩＳＯ／IEC:International Organization for Standardization/International Electrotechnical Commission）ムービングピクチャ エキスパートグループ４（ＭＰＥＧ−４：Moving Picture Experts Group-4）パート１０ 高度ビデオ符号化（ＡＶＣ：Advanced Video Coding）規格／国際電気通信連合、通信セクタ（ＩＴＵ−Ｔ：International Telecommunication Union,Telecommunication Sector）Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」）に導入された新しいツールである。冗長スライスは、ビデオエンコーダによってソース冗長性を加えるやり方を提供する。冗長スライス符号化では、ピクチャの冗長表現は、主符号化ピクチャとは恐らく異なる符号化パラメータを用いて符号化される。デコーダで、主スライスが欠落しているが、その冗長スライスは使用可能である場合は、デコーダは、冗長スライスを復号化することによりピクチャを復元し、したがって、失われた情報の一部またはすべてを回復する。

冗長スライスによってもたらされるエラーロバストネスは、追加のビットレートを犠牲にしたものである。冗長スライス符号化の効果的でない設計は、ビデオ歪み減少の限られた能力だけを提供しながら、かなりの量のビットレートを消費することがある。

ＭＰＥＧ−４ ＡＶＣ規格は、冗長スライスの符号化のためのシンタックスを提供するが、符号化冗長スライス内にどのタイプの情報を含めるべきか指定しない。冗長スライスの符号化または復号化のためのＭＰＥＧ−４ ＡＶＣ規格には、指定された規範的振舞いが存在しない。

冗長スライスを実装するための様々な方法の特徴は、冗長スライスに費やされるすべてのビットが、配信ビデオの歪みを減少させるのに有効であるとは限らないということである。この方法によって冗長スライス内に符号化された一部の情報は、エンドツーエンドのシステムの他の部分から容易に取得することができる。これは、ビットレートの浪費を引き起こし、したがって、符号化効率が減少することになる。

従来技術のこれら他の欠点および短所は、冗長ビデオ符号化のための方法および装置を対象とする本発明によって対処される。

本発明の諸原理の一態様によれば、装置が提供される。この装置は、冗長符号化ピクチャに含めるソースピクチャ内の個々のブロックを選択することによって、ソースピクチャに対応する冗長符号化ピクチャを符号化するためのエンコーダを含む。

本発明の諸原理の別の態様によれば、方法が提供される。この方法は、冗長符号化ピクチャに含めるソースピクチャ内の個々のブロックを選択することによって、ソースピクチャに対応する冗長符号化ピクチャを符号化するステップを含む。

本発明の諸原理の別の態様によれば、装置が提供される。この装置は、冗長符号化ピクチャに対応する主ピクチャが使用不可能な場合に、以前に符号化された少なくとも１つの主ピクチャに基づく隠蔽ピクチャ、および冗長符号化ピクチャに基づく冗長復号化ピクチャを形成し、隠蔽ピクチャと冗長復号化ピクチャを組み合わせて、復元されたピクチャを形成することによって、冗長符号化ピクチャを復号化するためのデコーダを含む。

本発明の諸原理の別の態様によれば、方法が提供される。この方法は、冗長符号化ピクチャに対応する主ピクチャが使用不可能な場合に、以前に符号化された少なくとも１つの主ピクチャに基づく隠蔽ピクチャ、および冗長符号化ピクチャに基づく冗長復号化ピクチャを形成し、隠蔽ピクチャと冗長復号化ピクチャを組み合わせて、復元されたピクチャを形成することによって、冗長符号化ピクチャを復号化するステップを含む。

本発明のこれら他の態様、特徴および利点は、添付の図面と併せて読むべき例示的な実施形態についての下記の詳細な説明から明らかになろう。

本発明は、下記の例示的な図に従ってよりよく理解することができる。

本発明の諸原理の一実施形態による、本発明の諸原理が適用され得る例示的なビデオエンコーダのブロック図である。 本発明の諸原理の一実施形態による、本発明の諸原理が適用され得る例示的なビデオデコーダのブロック図である。 本発明の諸原理の一実施形態による、冗長符号化フレーム内に含めるブロックを選択するための例示的な方法の流れ図である。 本発明の諸原理の一実施形態による、冗長スライスを含むフレームを符号化するための例示的な方法の流れ図である。 本発明の諸原理の一実施形態による、冗長スライスを含むフレームを復号化するための例示的な方法の流れ図である。

本発明は、冗長ビデオ符号化のための方法および装置を対象とする。

この説明では、本発明の諸原理を示す。したがって、本明細書には明示的に述べられず、または示されていないが、本発明の諸原理を実施し、またその精神および範囲内に含まれる様々な構成を当業者は考案できることが理解されよう。

本明細書に述べられた実施例および条件語はすべて、読者が本発明の諸原理、および技術向上のために本願発明者によって提供された諸概念を理解する助けとする教育目的のものであり、具体的に述べられたこうした実施例および条件に限定されないものと解釈すべきである。

さらに、本発明の諸原理、態様および実施形態、ならびにその具体的な実施例について本明細書に述べるすべてのことは、その構造と機能の両面の等価物を包含するものである。さらに、こうした等価物は、現在知られている等価物と、将来開発されると等価物、すなわち、構造に関係なく同じ機能を実施する、開発される任意の要素との両方を含むものである。

したがって、たとえば、本明細書に提示されたブロック図は、本発明の諸原理を実施する例示的な回路の概念図を表すことが当業者には理解されよう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどは、コンピュータ読取り可能媒体内で実質的に表現され、したがって、コンピュータまたはプロセッサが明示的に示されているかどうかに拘らず、こうしたコンピュータまたはプロセッサによって実行され得る様々なプロセスを表すことが理解されよう。

図中に示された様々な要素の諸機能は、専用ハードウェア、ならびに適切なソフトウェアに関連してソフトウェアを実行可能であるハードウェアを使用することによって提供されてもよい。プロセッサによって提供される場合、諸機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、あるいは一部が共有され得る複数の個々のプロセッサによって提供されてもよい。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行できるハードウェアだけに言及するものと解釈すべきでなく、それだけに限らないが、デジタル信号プロセッサ（「ＤＳＰ：digital signal processor」）ハードウェア、ソフトウェアを格納する読取り専用メモリ（「ＲＯＭ：read-only memory」）、ランダムアクセスメモリ（「ＲＡＭ：random access memory」）および不揮発性記憶装置を暗黙的に含み得る。

他のハードウェア、従来型および／またはカスタムソフトウェアも含まれ得る。同様に、図中で示されたどんなスイッチも概念的なものにすぎない。その機能は、プログラム論理の演算によって、専用論理によって、プログラム制御と専用論理の対話によって、さらには手動で実施することができ、文脈からより具体的に理解されるように、特定の技術が、実施者によって選択可能である。

本発明の特許請求の範囲中では、指定された機能を実施する手段として表現されたどの要素も、たとえば、ａ）その機能を実施する回路素子の組合せ、あるいはｂ）機能を実施するためにソフトウェアを実行するのに適した回路と組み合わされた、したがってファームウェア、マイクロコードなどを含めた任意の形のソフトウェアを含めて、その機能を実施するどんなやり方をも包含するものである。こうした特許請求範囲によって定義された本発明は、述べられた様々な手段によって提供される機能性が、特許請求の範囲によって求められるやり方で組み合わされ、まとめられるという事実にある。したがって、それらの機能性を提供することができるどんなやり方も、本明細書に示された機能性に等価であると見なされる。

本明細書中の「本発明の諸原理の一実施形態（one embodiment、an embodiment）」への言及は、その実施形態に関連して述べられた特定の特徴、構造、特性などが本発明の諸原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所で語句「一実施形態」が現れることは、必ずしもすべてが同じ実施形態に言及するものではない。

図１に移ると、本発明の諸原理が適用され得る例示的なビデオエンコーダが、全体として参照番号１００で示されている。

ビデオエンコーダ１００への入力は、コンバイナ１１０の非反転入力と信号通信で接続される。コンバイナ１１０の出力は、変換／量子化器１２０と信号通信で接続される。変換／量子化器１２０の出力は、エントロピー符号化器１４０と信号通信で接続される。エントロピー符号化器１４０の出力は、エンコーダ１００の出力として使用可能である。

変換／量子化器１２０の出力はさらに、逆変換／量子化器１５０と信号通信で接続される。逆変換／量子化器１５０の出力は、デブロックフィルタ１６０の入力と信号通信で接続される。デブロックフィルタ１６０の出力は、参照ピクチャストア１７０と信号通信で接続される。参照ピクチャストア１７０の第１の出力は、動き推定器１８０の第１の入力と信号通信で接続される。エンコーダ１００への入力はさらに、動き推定器１８０の第２の入力と信号通信でさらに接続される。動き推定器１８０の出力は、動き補償器１９０の第１の入力と信号通信で接続される。参照ピクチャストア１７０の第２の出力は、動き補償器１９０の第２の入力と信号通信で接続される。動き補償器１９０の出力は、コンバイナ１１０の反転入力と信号通信で接続される。

図２に移ると、本発明の諸原理が適用され得る例示的なビデオデコーダが、全体として参照符号２００で示されている。

ビデオデコーダ２００は、ビデオシーケンスを受信するためのエントロピー復号化器２１０を含む。エントロピー復号化器２１０の第１の出力は、逆量子化／変換器２２０の入力と信号通信で接続される。逆量子化／変換器２２０の出力は、コンバイナ２４０の第１の非反転入力と信号通信で接続される。

コンバイナ２４０の出力は、デブロックフィルタ２９０の入力と信号通信で接続される。デブロックフィルタ２９０の出力は、参照ピクチャストア２５０の入力と信号通信で接続される。参照ピクチャストア２５０の出力は、動き補償器２６０の第１の入力と信号通信で接続される。動き補償器２６０の出力は、コンバイナ２４０の第２の非反転入力と信号通信で接続される。エントロピー復号化器２１０の第２の出力は、動き補償器２６０の第２の入力と信号通信で接続される。デブロックフィルタ２９０の出力はビデオデコーダ２００の出力として使用可能である。

本発明の諸原理は、冗長ビデオ符号化のための方法および装置を対象とする。冗長スライスがエンコーダで符号化されるとき、主符号化ピクチャについてデコーダエラー隠蔽（decoder error concealment）によって回復することができる情報が考慮される。この情報は、エンコーダによって、冗長符号化ピクチャ内で符号化するのに必要な内容を有効に減少させるために使用され、したがって、性能を犠牲にせずに、ビットレートが潜在的に節約されるようになる。対応するシグナリング方法は、冗長スライスを使用して元のフレームを復元するとき、エンコーダが、復号化領域の異なる扱いについてデコーダに効率的に通知することができるというように説明される。

本明細書では主にＭＰＥＧ−４ ＡＶＣ規格について述べるが、本明細書に示された本発明の諸原理についての教示を考慮すると、本発明の諸原理は、ＭＰＥＧ−４ ＡＶＣ規格だけに限定されず、したがって、本発明の諸原理の範囲を維持しながら、他のビデオ符号化規格および勧告に関して実施されてもよいことを理解されたい。

一実施形態では、エンコーダは、所与のフレーム内の個々のブロックを冗長スライスの符号化領域内に含めるべきかどうか選択することによって、所与のフレームの冗長スライスを符号化する。エンコーダは、デコーダのエラー隠蔽アルゴリズムを有するモジュールを含んでもよく、このエラー隠蔽アルゴリズムは、所与のフレームの主ピクチャが失われている場合にデコーダによって使用される。エンコーダは、モジュールを使用して、所与のフレームの個々のどのブロックを冗長スライスの符号化領域内に含めるか選択してもよい。ＳＫＩＰモードを使用して、ブロックが冗長スライス内で符号化されないことを示してもよく、エンコーダは、冗長符号化スライスの符号化領域に含めるブロックにはＳＫＩＰモードを使用しないことを保証するように修正されてもよい。絶対差歪み尺度（an absolute-difference distortion measure）を使用して、ブロックを符号化領域内に含めるかどうか判断してもよい。絶対差歪み尺度は、（１）エラー隠蔽アルゴリズムの結果と、（２）主ピクチャが失われていない場合のデコーダからの予想結果との差に基づいてもよい。絶対差歪み尺度の値を閾値と比較して、ブロックを選択すべきかどうか判断してもよく、結果が閾値を超える場合は、ブロックは、冗長符号化ピクチャ（たとえば冗長スライス）内で符号化されると選択されてもよい。ブロックは、１６×１６のサイズを有してもよい。

一実施形態では、デコーダは、デコーダで主ピクチャが使用不可能であり、冗長符号化ピクチャが使用可能である場合、冗長スライスを復号化するように構成される。デコーダは、以前に符号化された主ピクチャに基づいてエラー隠蔽ピクチャ（隠蔽ピクチャ）を形成し、冗長スライスから冗長復号化ピクチャを形成し、この２つのピクチャを組み合わせる。ブロックにＳＫＩＰモードを使用して、隠蔽ピクチャを使用すべきであることを示してもよく、冗長スライスには、ＳＫＩＰモードが使用されない。エラー隠蔽方法は、フレームコピーであっても、動きコピーであってもよい。ブロックは、１６×１６のサイズを有してもよい。

上記に述べられたように、冗長スライスは、ＭＰＥＧ−４ ＡＶＣ規格に取り入れられた新しいエラーロバストネスツールである。ＭＰＥＧ−４ ＡＶＣ規格では、主符号化ピクチャ（ＰＣＰ：primary coded picture）は、復号化プロセスへの規範的影響を有する符号化ピクチャ表現である。それに反して、冗長符号化ピクチャ（ＲＣＰ：redundant coded picture）は、復号化プロセスへの規範的影響を有さない、ピクチャまたはピクチャの一部の符号化表現を含む。冗長符号化ピクチャは、冗長スライスを用いて符号化してもよい。したがって、冗長スライスを符号化するとき、エンコーダは、異なる符号化領域、量子化ステップサイズなど、主符号化ピクチャの符号化パラメータとは全く異なる符号化パラメータを使用する柔軟性を有する。デコーダで、冗長スライスは、主スライスを正確に復元できない（たとえば主スライスが欠落し、または破損している）場合にだけ復号化され、そうでない場合は、冗長スライスは廃棄される。

冗長スライスの使用に存在する一問題は、配信ビデオのエラーロバストネスを向上させるために、特性に従ってビットをどのようにして冗長スライスに効率的に費やすかということである。一目標は、末端視聴者に提示された配信ビデオの歪みを減少させることであってもよく、この目標は、エンドツーエンドシステムの観点から取り組まれてもよい。

をそれぞれ、ビデオシーケンス内のｎ番の元フレーム、エンコーダ復元フレーム、およびデコーダ復元フレームとする。ビデオ伝送システムでは、末端視聴者によって知覚されるフレームｎの総歪みＤ_nは、ソースによって引き起こされる歪みＤ_s,nと、チャネルによって引き起こされる歪みＤ_c,nとを含み、それは、以下のように定義される。

ただし、Ｅ_a｛・｝は、ピクセル演算間の平均を示し、Ｅ｛・｝は、期待値と、ピクセル演算間平均の連結を示す。その定義によれば、冗長スライスは、主スライスの復号化に影響を及ぼさず、したがって、冗長スライスは、ソースによって引き起こされる歪みＤ_s,nに影響を及ぼし得ない。したがって、チャネルによって引き起こされる歪みを減少させるために、冗長スライス符号化の使用に焦点が当てられる。

ビデオデコーダで、符号化ビデオピクチャが欠落しまたは破損していると検出されるとき、情報回復のために何らかのエラー隠蔽演算（error concealment operation）Ｅ．Ｃ．｛・｝を呼び出すことが一般的である。一般に、Ｅ．Ｃ．｛・｝は、損傷領域を復元するために、空間的または時間的近隣からの相関性を使用する。ビデオシーケンスが、ＭＰＥＧ−４ ＡＶＣエンコーダによって、ベースラインプロファイルを用いてＩＰＰＰ…に符号化され、Ｐタイプピクチャについて冗長スライスが符号化される空間ケースについて考慮されたい。デコーダ上でフレームｎが欠落しており、デコーダが、使用可能な直前のフレームｎ−１に基づいてフレームｎを隠し、したがって、

であると仮定する。

上記観察に基づいて、項

を最小にすると、Ｄ_c,nを、したがってＤ_nも同様に有効に減少させることができる。

エラー隠蔽はしばしば、デコーダで、失われた情報を回復する際に重要な役割を果たす。一般に、エラー隠蔽は、小さいまたは遅い動きを伴う領域を隠すことができるが、それは、活発で無秩序な動きを伴う領域にはアーティファクトを生じさせることがある。しかし、シーン変更などの一部の空間ケースを除いては、失われたフレームのエラー隠蔽によって、かなりの情報量を回復することができる。一方、フレーム繰返し、および動きコピーアルゴリズムなど、適切に定義され、広く使用されている、いくつかのエラー隠蔽アルゴリズムが存在する。

フレームｎの損失によって引き起こされたＤ_ｃ，ｎを除去するために、最も直接的には、その冗長符号化ピクチャは、フレームの複製を含むべきである。しかし、エンドツーエンドシステムの観点からは、デコーダは、エラー隠蔽によって失われた情報の一部を回復すると予想される。したがって、失われたフレームをデコーダがどのように隠するかエンコーダが知っている場合、回復可能な情報は、エンコーダで、歪み減少への影響を及ぼさずに冗長スライスから除外することができる。デコーダでも、情報の欠落部分は、エラー隠蔽によって得ることができる。

エンコーダが、失われたフレームを隠するためにデコーダが実施するエラー隠蔽演算を実施することができると仮定する。フレームｎの残余歪みフレーム

を以下のように定義する。

したがって、

は、信号フレームｎが失われ、エラー隠蔽演算によって隠されるときに引き起こされる歪みイメージを示している。

が、冗長スライス内に符号化され、デコーダで使用可能である場合、上記数式に従って、フレームｎは、その主スライスが失われる場合でも完全に回復できることに留意されたい。エンコーダがフレームｎの符号化およびエラー隠蔽を実施した後に、エンコーダによって、

が取得可能であることにも留意されたい。

演算は、フレームｎについての情報の多くを再生することができるので、

は、ｆ_n、または

より少ない情報を含み、したがって、これらのフレームのそれぞれが符号化される場合、最も少ないビットが費やされると予想することができる。

しかし、イメージ圧縮の予測符号化の性質により、残余フレームを直接に符号化することは通常、時間的相関性を使用できないという点で、元のフレームを符号化するよりも遥かに効率が小さい。Ｄ_ｃ，ｎを減少させることを目標としながらも、この問題に対処するには、以下の手法が取られる。フレーム

を取得した後、エンコーダは、

内のどの領域がかなりの歪みを含むかチェックする。

内のこうしたすべての領域を識別した後、エンコーダは、元のフレームｆ_ｎ内の対応する領域を選択し、符号化するために冗長スライスにそれをコピーする。エンコーダは、元のフレームから直接に領域を符号化するので、予測符号化からの主要な符号化利得が保存される。一方、元のフレームからの選択された領域だけが冗長スライス内で符号化されるので、ビットレートのコスト低下を達成することができる。

歪み領域を選択する手順は、ブロック単位に実施される。ＰＡＤ（pixel absolute difference：ピクセル絶対差）が歪み尺度であると仮定する。もちろん、ピクセル絶対差の使用は例示するためのものにすぎず、したがって、本発明の諸原理の範囲を維持しながら、本発明の諸原理の教示に従って、他の歪み尺度も使用され得ることを理解されたい。各ブロックが、Ｌ×Ｌピクセルのサイズであると仮定する。Ｔｈ_１をピクセル絶対差の閾値と定義し、

内のピクセルは、そのピクセル絶対差値がＴｈ₁を超えるときはいつでも歪んでいると見なされる。Ｔｈ₂をピクセル数の閾値と定義し、ブロックは、ブロック内に、歪んでいると見なされるピクセルがＴｈ₂ピクセルよりも多く存在するときはいつでも、歪んでいると見なされる。選択手順を示す一実施形態が、図１に関して示され述べられている。閾値Ｔｈ₁およびＴｈ₂は、元のフレームのパーセンテージ、すなわち冗長スライス内に符号化される冗長量を直接制御することに留意されたい。閾値を低下させることは、より多くの領域が冗長スライスに入ることを含み、その逆も同様である。元のフレームからのより多くの領域を冗長スライスに含めることによって、復号化フレームのより多くの領域を正確に復元することができ、したがって、それによって、より多くのビットレートの犠牲を伴うが、フレームの歪み、および付随するエラー伝播が減少する。

上記のピクセル絶対差解析では、複数の成分（たとえばＲＧＢまたはＹＵＶ）を合計してもよい。あるいは、たとえば輝度など、ピクセルの単一の成分に対して、絶対差歪み尺度が使用されてもよく、単一成分のピクセル絶対差値が、閾値と比較されてもよい。さらに、他の実装形態では、ピクセル絶対差解析は、ブロック内の各ピクセルの絶対差を合計し、その和を閾値と比較して、全ブロックに対して実施されてもよい。

上記手法の一利点は、その単純さである。歪み領域選択は、ブロック単位に行われ、したがって、エンコーダ内の既存のデータ構造を使用することができる。上記機能性の実現のため、一実施形態では、エラー隠蔽モジュール、および非常に限られた比較−コピー演算だけをエンコーダに加える必要がある。多くの単純な既製のエラー隠蔽アルゴリズムがあるので、エンコーダに加えられる追加の複雑さは制限される。冗長スライス内で符号化すべき領域が決定されると、エンコーダは、スライスを符号化するのに適したパラメータを選択する柔軟性を有する。より粗い量子化ステップサイズで符号化することが選ばれる。この手法では、冗長スライスによって表された元のフレームは、主スライスより大きいソース歪みを有するが、それはまた、符号化するのにより少ない数のビットを費やす。冗長スライスなしの主スライスが失われるときに引き起こされる歪みと比べて、ソース歪みは一般に、冗長スライスを復号化することによって遥かに小さくなり、それほど顕著ではなくなる。より粗い量子化ステップサイズを使用することの別の利点は、冗長スライスは一般に、通常の符号化ルーチンによって、小さい変更だけを伴って符号化することができ、それについて、下記に論じる。冗長スライスを符号化するための他の符号化方法を使用することも可能である。

デコーダで、フレームは、その主スライスが欠落しているが、その冗長スライスは使用可能である場合、以下のように復元することができる。デコーダは、エラー隠蔽による隠蔽フレーム、および冗長スライス復号化による冗長符号化ピクチャを取得する。次いで、デコーダは、２つのフレームを共に併合して、復元フレームを形成する。２つのフレームを併合する際、ブロック領域が冗長スライス内で符号化されていると識別される場合、ブロック領域は、冗長符号化ピクチャ内の対応する位置からコピーされる。そうでない場合は、ブロック領域は、隠蔽フレーム内の対応する位置からコピーされる。

完全ＭＢ（マクロブロック）である１６×１６ブロックサイズは、閾値を適用し、冗長符号化ピクチャ内でどの領域を符号化すべきか決定するためのユニットサイズとして使用することができる。他のより小さいブロックサイズを使用することも、より大きいブロックサイズを使用することもできる。

上記方法では、エンコーダは、元のフレームから、冗長スライス内に符号化すべき一部のマクロブロックを選択し、デコーダは、これらのマクロブロックを復号化し、それを隠蔽フレームと併合して、元のフレームを復元する。有利には、本発明の諸原理によって、冗長スライス内で選択されないマクロブロックを、最小のオーバーヘッドで表すことが可能となる。さらに、有利には、本発明の諸原理によって、デコーダは、冗長スライスを復号化するときにマクロブロックが選択されているかどうか通知を受けることが可能となる。オーバーヘッドを小さく保ち、エンコーダ／デコーダ内のほとんどの既存関数を再使用することを対象とする一実施形態では、ＳＫＩＰモードを、冗長スライスを符号化するときにエンコーダとデコーダの間のシグナリング機構の働きをするように再定義する。

具体的には、元のフレームから選択されないマクロブロックについて、冗長スライスがエンコーダで符号化されるとき、エンコーダは、それを強制的にＳＫＩＰモードで符号化させる。一方、元のフレームからコピーされるマクロブロックについては、エンコーダは、それが符号化されるとき、ＳＫＩＰモードの使用をディセーブルする。デコーダでは、冗長スライスが復号化されるとき、マクロブロックがＳＫＩＰモードで符号化されるかどうか各要素が記録している、２次元配列のｓｋｉｐ＿ｍｏｄｅ＿ｍａｐが作成される。冗長スライス全体が復号化されると、ｓｋｉｐ＿ｍｏｄｅ＿ｍａｐが満たされる。次の併合ステップで、復元されたフレーム内の各マクロブロックについて、デコーダは、ｓｋｉｐ＿ｍｏｄｅ＿ｍａｐをチェックして、マクロブロックがＳＫＩＰモードで符号化されている場合は隠蔽フレームから、そうでない場合は冗長符号化ピクチャから、どのフレームをコピーするか決定する。

この手法では、冗長スライスの符号化のために、既存の符号化および復号化ルーチンを再使用することができ、それによって、シグナリング機構として新しいシンタックスを定義する複雑さが回避される。さらに、この手法の場合、ＳＫＩＰモードでは符号化するのに非常に少ないビットだけを必要とするので、冗長スライス内に選択されていないマクロブロックは、効率的に符号化することができる。一方、選択されたそれらのマクロブロックのＳＫＩＰモードをディセーブルすると、制限された符号化効率の損失がもたらされる。これは、エラー隠蔽が有効な場合、過度の歪みを有するマクロブロックもまた、通常の符号化においてＳＫＩＰモードで符号化される可能性が低いという事実に一部起因している。エンコーダは、冗長符号化ピクチャのマクロブロックを符号化するときにＳＫＩＰモードが選択されないことを保証するように調整される必要がある。

分かり易くするために、上記議論の多くは、単一の実装形態に焦点を当てていることを理解されたい。しかし、本明細書に示された本発明の諸原理の教示を考慮すると、たとえば、本発明の諸原理の範囲を維持しながら上記実施形態および実装形態の１つまたは複数の詳細を変更することによって、他の実装形態も可能であることをさらに理解されたい。たとえば、冗長スライス符号化の方法は、Ｐ参照ピクチャの場合で述べられているが、Ｉフレーム、Ｂフレームなど、他のタイプのフレームに直接的に適用することができる。冗長スライス符号化方法は、たとえば瞬間復号化リフレッシュ（ＩＤＲ：instantaneous decoding refresh）フレームに適用することもできる。

さらに、所与のフレームの一部を２回目に符号化する態様は一般に、他のビデオ圧縮規格および通信システムに適用することができ、ＭＰＥＧ−４ ＡＶＣ規格だけに限定されない。たとえば、他の通信システムが、所与のフレームの第１の符号化に損失が生じるときにデコーダで複製することができない所与のフレームの一部のための第２の符号化を提供してもよい。

一実施形態は、たとえば、上述のＳＫＩＰモードの使用や、所与のフレーム内のどの領域を２回目に符号化するか示し、かつ／またはそれらの領域をどのように符号化するか示すための他の何らかの機構など、シグナリング機構を含んでもよい。シグナリング機構は、たとえばＭＰＥＧ−４ ＡＶＣ規格など、規格の既存の要素（たとえばＳＫＩＰモード）を使用してもよく、または新しいシンタックスを定義してもよい。シグナリング機構が既存の要素を使用するか、それとも新しいシンタックスを定義するかに拘らず、たとえばエンコーダからデコーダに送信される、結果として生じるビットストリームは、所与のフレーム内のどの領域が２回目に符号化されるか示し、かつ／またはそれらの領域がどのように符号化されるか示す信号フォーマットに従って形成されてもよい。

本明細書に示された本発明の諸原理の教示に鑑みて、これら他の変形形態および実装形態、本発明の諸原理のシグナリング方法、ならびに本発明の諸原理が適用され得る他の規格／勧告および通信システムが、当技術および関連技術分野の当業者によって、本発明の諸原理の範囲を維持しながら容易に決定される。

図３に移ると、冗長符号化フレーム内に含めるブロックを選択するための例示な方法が、全体として参照符号３００で示されている。

方法３００は、機能ブロック３１０に制御を渡す、開始ブロック３０５を含む。機能ブロック３１０は、フレームｆ_ｎおよび

を入力し、ループ端ブロック３１５に制御を渡す。ループ端ブロック３１５は、フレーム

内の各Ｌ×Ｌブロックについてループを開始し、機能ブロック３２０に制御を渡す。機能ブロック３２０は、ｎｕｍ＿ｐｉｘｅｌ ｃｎｔを０に等しく設定し、ループ端ブロック３２５に制御を渡す。ループ端ブロック３２５は、ブロック内の各ピクセル（ｉ，ｊ≦Ｌ）についてループを開始し、判断ブロック３３０に制御を渡す。判断ブロック３３０は、

かどうか判断する。そうである場合は、制御は、ループ端ブロック３３５に渡される。そうでない場合は、制御は、機能ブロック３５５に渡される。

ループ端ブロック３３５は、ブロック内の各ピクセルのループを終了し、判断ブロック３４０に制御を渡す。判断ブロック３４０は、ｎｕｍ＿ｐｉｘｅｌ＿ｃｎｔ＞Ｔｈ_２かどうか判断する。そうである場合は、制御は、機能ブロック３４５に渡される。そうでない場合は、制御は、機能ブロック３５０に渡される。

機能ブロック３４５は、冗長符号化ピクチャ（ＲＣＰ：redundant coded picture）へとコピーする、ブロックｆ_ｎ内の対応するブロックを選択し、ループ端ブロック３５０に制御を渡す。ループ端ブロック３５０は、ブロック内の各ピクセルのループを終了し、終了ブロック３９９に制御を渡す。

機能ブロック３５５は、ｎｕｍ＿ｐｉｘｅｌ＿ｃｎｔを１だけインクリメントし、ループ端ブロック３３５に制御を渡す。

図４に移ると、冗長スライスを有するフレームを符号化するための例示的な方法が、全体として参照数字４００で示されている。

方法４００は、機能ブロック４１０に制御を渡す、開始ブロック４０５を含む。機能ブロック４１０は、ビデオフレームｎ（非ＩＤＲ、参照フレーム）を入力し、機能ブロック４１５に制御を渡す。機能ブロック４１５は、主スライスを符号化し、機能ブロック４２０に制御を渡す。機能ブロック４２０は、フレームｎのエラー隠蔽を実施し、機能ブロック４２５に制御を渡す。機能ブロック４２５は、歪み領域選択を実施して、冗長スライスの内容を形成し、ループ端ブロック４３０に制御を渡す。ループ端ブロック４３０は、冗長スライス内の各マクロブロックのループを開始し、判断ブロック４４０に制御を渡す。判断ブロック４４０は、冗長スライス内にコピーするためにこのマクロブロックが選択されているかどうか判断する。そうである場合は、制御は、機能ブロック４４５に渡される。そうでない場合は、制御は、機能ブロック４６０に渡される。

機能ブロック４４５は、ＳＫＩＰモードだけをディセーブルし、機能ブロック４５０に制御を渡す。機能ブロック４５０は、マクロブロックの通常の符号化を実施し、ループ端ブロック４５５に制御を渡す。ループ端ブロック４５５は、冗長スライス内の各マクロブロックのループを終了し、終了ブロック４９９に制御を渡す。

機能ブロック４６０は、ＳＫＩＰモード以外のすべてのマクロブロック符号化モードをディセーブルし、機能ブロック４５０に制御を渡す。

図５に移ると、冗長スライスを含むフレームを復号化するための例示的な方法が、全体として参照符号５００で示されている。

方法５００は、機能ブロック５１０に制御を渡す開始ブロック５０５を含む。機能ブロック５１０は、フレームｎのスライスを入力し、判断ブロック５１５に制御を渡す。判断ブロック５１５は、主スライスが存在するかどうか判断する。そうである場合は、制御は、機能ブロック５２０に渡される。そうでない場合は、制御は、判断ブロック５３０に渡される。

機能ブロック５２０は、主スライスを復号化し、機能ブロック５２５に制御を渡す。機能ブロック５２５は、冗長スライスを廃棄し、終了ブロック５９９に制御を渡す。終了ブロック５９９は、フレームの復号化を終了する。

判断ブロック５３０は、冗長スライスが存在するかどうか判断する。そうである場合は、制御は、機能ブロック５３５に渡される。そうでない場合は、制御は、機能ブロック５７５に渡される。

機能ブロック５３５は、隠蔽フレームを取得し、機能ブロック５４０に制御を渡す。機能ブロック５４０は、ｓｋｉｐ＿ｍｏｄｅ＿ｍａｐ構造を初期化し、機能ブロック５４５に制御を渡す。機能ブロック５４５は、冗長スライスを復号化し、ｓｋｉｐ＿ｍｏｄｅ＿ｍａｐ構造を満たし、ループ端ブロック５５０に制御を渡す。ループ端ブロック５５０は、復元されたフレーム内の各マクロブロックについてループを開始し、判断ブロック５５５に制御を渡す。判断ブロック５５５は、ｓｋｉｐ＿ｍｏｄｅ＿ｍａｐに従って、マクロブロックがＳＫＩＰモードであるかどうか判断する。そうである場合は、制御は、機能ブロック５６０に渡される。そうでない場合は、制御は、機能ブロック５７０に渡される。

機能ブロック５６０は、隠蔽フレームからマクロブロックをコピーし、ループ端ブロック５６５に制御を渡す。ループ端ブロック５６５は、復元されたフレーム内の各マクロブロックのループを終了し、終了ブロック５９９に制御を渡す。終了ブロック５９９は、フレームの復号化を終了する。

機能ブロック５７５は、フレームを隠し、終了ブロック５９９に制御を渡す。

機能ブロック５７０は、復号化された冗長スライスからマクロブロックをコピーし、ループ端ブロック５６５に制御を渡す。

次に、その一部については上記に言及してある本発明の多くの付随する利点／特徴のいくつかについて述べる。たとえば、ある利点／特徴は、冗長符号化ピクチャ内に含めるソースピクチャ内の個々のブロックを選択することによって、ソースピクチャに対応する冗長符号化ピクチャを符号化するためのエンコーダを含む装置である。別の利点／特徴は、上記エンコーダを含む装置であって、エンコーダは、冗長符号化ピクチャに対応する主ピクチャがデコーダでいつ使用不可能であるか考慮する、デコーダエラー隠蔽演算（a decoder error concealment operation）を使用して個々のブロックを選択する。しかし、別の利点／特徴は、上記エンコーダを含む装置であって、エンコーダは、ＳＫＩＰモードを使用して、個々のブロックのうちの特定の１つが冗長符号化ピクチャ内で符号化されないことを示す。さらに別の利点／特徴は、上記エンコーダを含む装置であって、エンコーダは、冗長符号化ピクチャ内で符号化された個々のブロックのうちのいずれについてもＳＫＩＰモードの使用が禁止されることを保証するように構成される。さらに、別の利点／特徴は、上記エンコーダを含む装置であって、エンコーダは、歪み尺度（a distortion measure）に基づいて個々のブロックを選択する。さらに、別の利点／特徴は、上記歪み尺度に基づいて個々のブロックを選択するエンコーダを含む装置であって、歪み尺度は、ピクセル絶対差（pixel absolute difference）を使用して計算される。さらに、別の利点／特徴は、上記エンコーダを含む装置であって、エンコーダは、歪みイメージ内のピクセルのうちの特定の１つと、ソースイメージ内の対応するピクセルとの間のそれぞれの歪み尺度が第１の閾値を超えるときは、歪みイメージ内の各ピクセルを歪んでいるとそれぞれ分類し、第２の閾値を超えるそれぞれの数の歪みピクセルを有する個々のブロックのいずれかをそれぞれ選択することによって、個々のブロックを選択する。さらに、別の利点／特徴は、上記ピクセル分類および第１の閾値を使用して個々のブロックを選択するエンコーダを含む装置であって、歪みイメージは、エンコーダによって復元されたピクチャと、デコーダのエラー隠蔽演算を使用して形成された、デコーダによって復元されたイメージとの差を表す。さらに、別の利点／特徴は、上記ピクセル分類および第１の閾値を使用して個々のブロックを選択するエンコーダを含む装置であって、歪みイメージは、ソースピクチャに対応するエンコーダ復元ピクチャ、およびソースイメージの直前の別のソースピクチャに対応する別のエンコーダ復元ピクチャに適用されるデコーダの隠蔽演算を使用して計算される。さらに、別の利点／特徴は、上記ピクセル分類および第１の閾値を使用して個々のブロックを選択するエンコーダを含む装置であって、第２の閾値を超えるそれぞれの数の歪みピクセルを有する個々のブロックのいずれもが歪んでいると分類される。また、別の利点／特徴は、上記エンコーダを有する装置であって、個々のブロックはそれぞれ、１６×１６ブロックサイズを有する。

本開示では、１つまたは複数の実装形態の詳細について述べる。しかし、本開示から、他の特徴が明らかになろう。本開示の様々な態様、実装形態および特徴は、上記において１つのやり方だけが使用されている場合でも、様々なやり方のうちの１つまたは複数で実施されてもよい。たとえば、様々な態様、実装形態および特徴は、方法、装置、方法を実施するための装置、プログラムまたは他の１組の命令、プログラムまたは他の１組の命令を含む装置、およびコンピュータ読取り可能媒体のうちの１つまたは複数を使用して実施されてもよい。コンピュータ読取り可能媒体は、たとえば命令、ソフトウェア、イメージおよび他のデータを含んでもよい。

上記に示唆されるように、実装形態は、１つまたは複数のプロセスを実施するように構成された１つまたは複数の装置を含んでもよい。装置は、たとえば、個別または集積ハードウェア、ファームウェアおよびソフトウェアを含んでもよい。こうした装置は、たとえばプロセッサを含んでもよく、このプロセッサは、たとえばマイクロプロセッサ、集積回路、またはプログラマブル論理装置を含めて、処理装置全般を指す。したがって、一実装形態は、上記アルゴリズムのうちの１つまたは複数を実装するためのソフトウェアを実行するエンコーダおよびデコーダを含む。

装置は、１つまたは複数のプロセスを実施するための命令を有する１つまたは複数のコンピュータ読取り可能媒体を含んでもよい。コンピュータ読取り可能媒体は、たとえばハードディスク、コンパクトディスク、ランダムアクセスメモリ（「ＲＡＭ」）、または読取り専用メモリ（「ＲＯＭ」）などの記憶装置を含んでもよい。コンピュータ読取り可能媒体は、たとえば、フォーマット済み電磁波符号化または送信命令を含んでいてもよい。命令は、たとえばハードウェア、ファームウェア、ソフトウェア、あるいは電磁波の形であってもよい。命令は、たとえばオペレーティングシステム、別個のアプリケーション、あるいはその２つの組合せにおいて見られ得る。したがって、プロセッサは、たとえば、プロセスを実施するように構成された装置と、プロセスを実施するための命令を有するコンピュータ読取り可能媒体を含む装置との両方として特徴付けられ得る。

さらに、様々な修正を加えてもよいことが理解されよう。たとえば、それぞれ異なる実装形態の要素が組み合わされ、補足され、修正されまたは取り除かれて、他の実装形態がもたらされ得る。したがって、他の実装形態も、本発明の諸原理の範囲内である。

本発明のこれらおよび他の特徴および利点は、当業者によって、本明細書の教示に基づいて容易に確認され得る。本発明の教示は、様々な形のハードウェア、ソフトウェア、ファームウェア、特別目的プロセッサ、またはその組合せで実装されてもよいことを理解されたい。

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組合せとして実装される。さらに、ソフトウェアは、プログラム記憶装置上で有形に実施されたアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、任意の適切なアーキテクチュアを含むマシンにアップロードされ、それによって実行されてもよい。好ましくは、マシンは、１つまたは複数の中央処理装置（「ＣＰＵ：central processing unit」）、ランダムアクセスメモリ（「ＲＡＭ」）および入出力（「Ｉ／Ｏ：input/output」）インターフェースなど、ハードウェアを有するコンピュータプラットフォームで実装される。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードをも含んでもよい。本明細書に述べられた様々なプロセスおよび関数は、マイクロ命令コードの一部、またはアプリケーションプログラムの一部、あるいはＣＰＵによって実行され得る、その任意の組合せであってもよい。さらに、他の様々な周辺ユニットが、追加のデータ記憶ユニットおよび印刷ユニットなどのコンピュータプラットフォームに接続されてもよい。

添付の図面に示された、構成要素をなすシステムコンポーネントおよび方法の一部は好ましくはソフトウェアで実装されるので、システムコンポーネント間、またはプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に応じて異なり得る。本明細書の教示に鑑みて、当業者は、本発明のこれらおよび類似の実装形態または構成を企図することができる。

例示的な諸実施形態について添付の図面を参照して述べたが、本発明は、それらの厳密な実施形態に限定されず、当業者によって、本発明の範囲または精神から逸脱せずに、様々な変更および修正が本発明に加えられ得ることを理解されたい。こうした変更および修正はすべて、添付の特許請求の範囲に記載された本発明の範囲内に含まれるものである。

Claims (20)

1. ピクチャデータを符号化して符号化ソースピクチャに対応する冗長符号化ピクチャを生成するためのエンコーダを備えた装置であって、
   前記符号化ソースピクチャにおける前記冗長符号化ピクチャへの包含のための個々のマクロブロックの選択に、エンコーダ復元フレームとデコーダ復元フレームとの差違を表し、前記符号化ソースピクチャがデコーダにおいて失われ、及びエラー隠蔽演算によってデコーダにおいて隠蔽される場合に生成される、歪みイメージの計算結果を用い、
   前記エンコーダが、ＳＫＩＰモード符号化を使用し、それによって、デコーダに対して、どの特定のマクロブロックが前記冗長符号化ピクチャに含まれないかを示す、前記装置。
2. 前記エンコーダは、デコーダ上で前記冗長符号化ピクチャに対応する主ピクチャがいつ使用不可能であるか考慮するデコーダエラー隠蔽演算を使用して前記個々のマクロブロックを選択する、請求項１に記載の装置。
3. 前記エンコーダは、前記冗長符号化ピクチャ内で符号化された前記個々のマクロブロックのいずれにも前記ＳＫＩＰモードの使用を禁じることを保証するように構成される、請求項１に記載の装置。
4. 前記エンコーダは、歪み尺度に基づいて前記個々のマクロブロックを選択する、請求項１に記載の装置。
5. 前記歪み尺度はピクセル絶対差を使用して計算される、請求項４に記載の装置。
6. 前記エンコーダは、歪みイメージ内のピクセルのうちの特定の１つと、ソースピクチャ内の対応するピクセルとの間のそれぞれの歪み尺度が第１の閾値を超えるときは、該歪みイメージ内の各ピクセルが歪んでいるとそれぞれ分類し、第２の閾値を超えるそれぞれの数の歪みピクセルを有する前記個々のマクロブロックのいずれかをそれぞれ選択することによって前記個々のマクロブロックを選択する、請求項１に記載の装置。
7. 前記歪みイメージは、エンコーダ復元ピクチャと、デコーダエラー隠蔽演算を使用して形成された、デコーダ復元イメージとの差を表す、請求項６に記載の装置。
8. 前記歪みイメージは、前記ソースピクチャに対応するエンコーダ復元ピクチャ、および、前記ソースピクチャの直前の別のソースピクチャに対応する別のエンコーダ復元ピクチャに適用されるデコーダ隠蔽演算を使用して計算される、請求項６に記載の装置。
9. 前記第２の閾値より大きい前記それぞれの数の歪みピクセルを有する前記個々のマクロブロックのいずれもが歪んでいると分類される、請求項６に記載の装置。
10. 前記個々のマクロブロックがそれぞれ１６×１６のサイズを有する、請求項１に記載の装置。
11. ピクチャデータを符号化して符号化ソースピクチャに対応する冗長符号化ピクチャを生成するステップであって、
    前記符号化ソースピクチャにおける前記冗長符号化ピクチャへの包含のために個々のマクロブロックを選択することであって、該選択は、エンコーダ復元フレームとデコーダ復元フレームとの差違を表し、前記符号化ソースピクチャがデコーダにおいて失われ、及びエラー隠蔽演算によってデコーダにおいて隠蔽される場合に生成される、歪みイメージの計算結果を用いること、
    前記エンコーダからＳＫＩＰモード符号化を使用して情報を送信し、それによって、デコーダに対して、どの特定のマクロブロックが前記冗長符号化ピクチャに含まれないかを示すことによる、前記生成するステップ
    を含む方法。
12. 前記選択することが、デコーダで前記冗長符号化ピクチャに対応する主ピクチャがいつ使用不可能であるか考慮するデコーダエラー隠蔽演算を使用して前記個々のマクロブロックを選択する、請求項１１に記載の方法。
13. 前記選択することは、前記冗長符号化ピクチャ内で符号化された前記個々のマクロブロックのいずれにも前記ＳＫＩＰモードの使用を禁じることを保証するように構成される、請求項１１に記載の方法。
14. 前記選択することが、歪み尺度に基づいて前記個々のマクロブロックを選択する、請求項１１に記載の方法。
15. 前記歪み尺度はピクセル絶対差を使用して計算される、請求項１４に記載の方法。
16. 前記選択することが、歪みイメージ内のピクセルのうちの特定の１つと、ソースピクチャ内の対応するピクセルとの間のそれぞれの歪み尺度が第１の閾値を超えるときは、該歪みイメージ内の各ピクセルが歪んでいるとそれぞれ分類し、第２の閾値を超えるそれぞれの数の歪みピクセルを有する前記個々のマクロブロックのいずれかをそれぞれ選択することによって前記個々のマクロブロックを選択する、請求項１１に記載の方法。
17. 前記歪みイメージは、エンコーダ復元ピクチャと、デコーダエラー隠蔽演算を使用して形成された、デコーダ復元イメージとの差を表す、請求項１６に記載の方法。
18. 前記歪みイメージを、前記ソースピクチャに対応するエンコーダ復元ピクチャ、および、前記ソースピクチャの直前の別のソースピクチャに対応する別のエンコーダ復元ピクチャに適用されるデコーダ隠蔽演算を使用して計算する、請求項１６に記載の方法。
19. 前記第２の閾値より大きい前記それぞれの数の歪みピクセルを有する前記個々のマクロブロックのいずれもが歪んでいると分類する、請求項１６に記載の方法。
20. 前記個々のマクロブロックがそれぞれ１６×１６のサイズを有する、請求項１１に記載の方法。

Images