JP6071001B2 - ブロックベースの混合解像度のデータ刈り込みを使用したビデオ復号化 - Google Patents

Description

本出願は、２０１０年９月１０日に出願された“ＢＬＯＣＫ−ＢＡＳＥＤ ＭＩＸＥＤ−ＲＥＳＯＬＵＴＩＯＮ ＤＡＴＡ ＰＲＵＮＩＮＧ ＦＯＲ ＩＭＰＲＯＶＩＮＧ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＥＦＦＩＣＩＥＮＣＹ”と題する米国特許仮出願シリアル番号第６１／４０３０８７号明細書（テクニカラー社整理番号ＰＵ１００１９４）の利益を主張する。

本出願は、以下の同時係属中の同一所有者による特許出願に関連する。
（１）２０１１年１月２０日に出願された“Ａ ＳＡＭＰＬＩＮＧ−ＢＡＳＥＤ ＳＵＰＥＲ−ＲＥＳＯＬＵＴＩＯＮ ＡＰＰＲＯＡＣＨ ＦＯＲ ＥＦＦＩＣＥＮＴ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ”と題する国際（ＰＣＴ）特許出願シリアル番号ＰＣＴ／ＵＳ１１／０００１０７号明細書（テクニカラー社整理番号ＰＵ１００００４）
（２）２０１１年１月２１日に出願された“ＤＡＴＡ ＰＲＵＮＩＮＧ ＦＯＲ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＵＳＩＮＧ ＥＸＡＭＰＬＥ−ＢＡＳＥＤ ＳＵＰＥＲ−ＲＥＳＯＬＵＴＩＯＮ”と題する国際（ＰＣＴ）特許出願シリアル番号ＰＣＴ／ＵＳ１１／０００１１７号明細書（テクニカラー社整理番号ＰＵ１０００１４）
（３）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＥＮＣＯＤＩＮＧ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＵＳＩＮＧ ＭＯＴＩＯＮ ＣＯＭＰＥＮＳＡＴＥＤ ＥＸＡＭＰＬＥ−ＢＡＳＥＤ ＳＵＰＥＲ−ＲＥＳＯＬＵＴＩＯＮ ＦＯＲ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１００１９０）
（４）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＥＣＯＤＩＮＧ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＵＳＩＮＧ ＭＯＴＩＯＮ ＣＯＭＰＥＮＳＡＴＥＤ ＥＸＡＭＰＬＥ−ＢＡＳＥＤ ＳＵＰＥＲ−ＲＥＳＯＬＵＴＩＯＮ ＦＯＲ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１００２６６）
（５）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＥＮＣＯＤＩＮＧ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＵＳＩＮＧ ＥＸＡＭＰＬＥ−ＢＡＳＥＤ ＤＡＴＡ ＰＲＵＮＩＮＧ ＦＯＲ ＩＭＰＲＯＶＥＤ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＥＦＦＩＣＩＥＮＣＹ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１００１９３）
（６）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＥＣＯＤＩＮＧ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＵＳＩＮＧ ＥＸＡＭＰＬＥ−ＢＡＳＥＤ ＤＡＴＡ ＰＲＵＮＩＮＧ ＦＯＲ ＩＭＰＲＯＶＥＤ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＥＦＦＩＣＩＥＮＣＹ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１００２６７）
（７）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＥＮＣＯＤＩＮＧ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＦＯＲ ＢＬＯＣＫ−ＢＡＳＥＤ ＭＩＸＥＤ−ＲＥＳＯＬＵＴＩＯＮ ＤＡＴＡ ＰＲＵＮＩＮＧ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１００１９４）
（８）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＥＦＦＩＣＩＥＮＴ ＲＥＦＥＲＥＮＣＥ ＤＡＴＡ ＥＮＣＯＤＩＮＧ ＦＯＲ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＢＹ ＩＭＡＧＥ ＣＯＮＴＥＮＴ ＢＡＳＥＤ ＳＥＡＲＣＨ ＡＮＤ ＲＡＮＫＩＮＧ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１００１９５）
（９）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＥＦＦＩＣＩＥＮＴ ＲＥＦＥＲＥＮＣＥ ＤＡＴＡ ＤＥＣＯＤＩＮＧ ＦＯＲ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＢＹ ＩＭＡＧＥ ＣＯＮＴＥＮＴ ＢＡＳＥＤ ＳＥＡＲＣＨ ＡＮＤ ＲＡＮＫＩＮＧ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１１０１０６）
（１０）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＥＮＣＯＤＩＮＧ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＦＯＲ ＥＸＡＭＰＬＥ−ＢＡＳＥＤ ＤＡＴＡ ＰＲＵＮＩＮＧ ＵＳＩＮＧ ＩＮＴＲＡ−ＦＲＡＭＥ ＰＡＴＣＨ ＳＩＭＩＬＡＲＩＴＹ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１００１９６）
（１１）２０１１年９月ＸＸ日に出願された“ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＥＣＯＤＩＮＧ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＷＩＴＨ ＥＸＡＭＰＬＥ−ＢＡＳＥＤ ＤＡＴＡ ＰＲＵＮＩＮＧ ＵＳＩＮＧ ＩＮＴＲＡ−ＦＲＡＭＥ ＰＡＴＣＨ ＳＩＭＩＬＡＲＩＴＹ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１００２９６）
（１２）２０１１年９月ＸＸ日に出願された“ＰＲＵＮＩＮＧ ＤＥＣＩＳＩＯＮ ＯＰＴＩＭＩＺＡＴＩＯＮ ＩＮ ＥＸＡＭＰＬＥ−ＢＡＳＥＤ ＤＡＴＡ ＰＲＵＮＩＮＧ ＣＯＭＰＲＥＳＳＩＯＮ”と題する国際（ＰＣＴ）特許出願シリアル番号ＸＸＸＸ号明細書（テクニカラー社整理番号ＰＵ１０１９７）
本発明の原理は、一般には、ビデオ符号化およびビデオ復号化に関し、より詳細には、ビデオの圧縮効率を高めるためにブロックベースの混合解像度のデータ刈り込み（data pruning）を行う方法および装置に関する。

ビデオの符号化効率を高めるデータ刈り込みに対していくつかの異なる手法がある。例えば、第１の手法は、垂直線および水平線の除去である。第１の手法は、符号化する前にビデオフレーム内の垂直線および水平線を除去し、そして復号化の後に非線形補間によって線を回復する。どの線を除去するかは、高周波数信号を含む線であるか否かによって判定される。第１の手法の問題点は、第１の手法が、ピクセルを選択的に除去する柔軟性に欠けることである。つまり、第１の手法は、重要なピクセルを含む線を除去する場合もあり、線全体では、高周波数を有する少量の信号を含むが、容易に回復しない恐れがある。

前述の第１の手法に関する手法の別のカテゴリは、線ではなくブロックを除去して回復する、ブロック除去に基づく。しかし、その手法のもう１つのカテゴリは、内ループ(in-loop)方法を使用する。つまり、ブロック除去に適合するために符号器のアーキテクチャを変更しなければならない。従って、その手法のもう１つのカテゴリは、復号器を変更しなければならないので、厳密には、前処理ベースの手法ではない。

この手法のこれらと他の欠点および不利点は、本発明の原理によって対処され、それは、ビデオの圧縮効率を高めるためのブロックベースの混合解像度のデータ刈り込みの方法および装置を対象とする。

本発明の原理の態様に従って、ピクチャをビデオシーケンスによって符号化する装置が提供される。装置は、ピクチャの元バージョンから刈り込まれる１または複数の元ブロックを識別する刈り込みブロック識別器を含む。装置は、刈り込まれる１または複数の元ブロックに対して１または複数の置換ブロックをそれぞれ生成することによってピクチャの刈り込まれたバージョンを生成するブロック置換器をさらに含む。装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを生成するメタデータ発生器も含む。メタデータは、１または複数の置換ブロックの位置情報を含む。装置は、ピクチャおよびメタデータの刈り込まれたバージョンを符号化する符号器をさらに含む。

本発明の原理の別の態様に従って、ピクチャをビデオシーケンスによって符号化する方法が提供される。方法は、ピクチャの元バージョンから刈り込まれる１または複数のブロックを識別することを含む。方法は、刈り込まれる１または複数の元ブロックに対して１または複数の置換ブロックをそれぞれ生成することによってピクチャの刈り込まれたバージョンを生成することをさらに含む。方法は、ピクチャの刈り込まれたバージョンを回復するメタデータを生成することも含む。方法は、１または複数の置換ブロックの位置情報を含む。方法は、少なくとも１つの復号器を使用してピクチャおよびメタデータの刈り込まれたバージョンを符号化することをさらに含む。

本発明の原理のさらに別の態様に従って、ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復する装置が提供される。装置は、ピクチャの刈り込まれたバージョン内の１または複数の刈り込まれたブロックを識別する刈り込みブロック識別器を含む。装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを復号化するメタデータ復号器をさらに含む。メタデータは、１または複数の置換ブロックの位置情報を含む。装置は、１または複数の刈り込まれたブロックに対して１または複数の置換ブロックをそれぞれ生成するブロック復元器も含む。

本発明の原理のさらなる態様に従って、ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復する方法が提供される。方法は、ピクチャの刈り込まれたバージョン内の１または複数の刈り込まれたブロックを識別する刈り込みブロック識別器を含む。方法は、復号器を使用してピクチャの刈り込まれたバージョンを回復するメタデータを復号化することをさらに含む。メタデータは、１または複数の置換ブロックの位置情報を含む。方法は、１または複数の刈り込まれたブロックに対して１または複数の置換ブロックをそれぞれ生成することも含む。

本発明の原理の付加的な態様に従って、ピクチャをビデオシーケンスによって符号化する装置が提供される。装置は、ピクチャの元バージョンから刈り込まれる１または複数の元ブロックを識別する手段を含む。装置は、刈り込まれる１または複数の元ブロックに対して１または複数の置換ブロックをそれぞれ生成することによってピクチャの刈り込まれたバージョンを生成する手段をさらに含む。装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを生成する手段も含む。メタデータは、１または複数の置換ブロックの位置情報を含む。装置は、ピクチャおよびメタデータの刈り込まれたバージョンを符号化する手段を付加的に含む。

本発明の原理のさらに付加的な態様に従って、ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復する装置が提供される。装置は、ピクチャの刈り込まれたバージョン内の１または複数の刈り込まれたブロックを識別する手段を含む。装置は、ピクチャの刈り込まれたバージョンを回復するメタデータを復号化する手段をさらに含む。メタデータは、１または複数の置換ブロックの位置情報を含む。装置は、１または複数の刈り込まれたブロックに対して１または複数の置換ブロックをそれぞれ生成する手段も含む。

本発明の原理のこれらと他の態様、特徴および利点は、添付図面と共に読まれる、例示的な実施形態の以下の詳細な説明から明らかになる。

本発明の原理を以下の例示的な図面に従ってより良く理解できる。
本発明の原理の実施形態に係る、ブロックベースの混合解像度のデータ刈り込みシステム／方法のハイレベルブロック図を示すブロック図である。 本発明の原理の実施形態に係る、本発明の原理を適用できる例示的なビデオ符号器を示すブロック図である。 本発明の原理の実施形態に係る、本発明の原理を適用できる例示的なビデオ復号器を示すブロック図である。 本発明の原理の実施形態に係る、ブロックベースの混合解像度のデータ刈り込みの例示的なシステムを示すブロック図である。 本発明の原理の実施形態に係る、ビデオ圧縮に用いるブロックベースの混合解像度のデータ刈り込みの例示的な方法を示すフロー図である。 本発明の原理の実施形態に係る、ブロックベースの混合解像度のデータ刈り込みのデータ回復を行う例示的なシステムを示すブロック図である。 本発明の原理の実施形態に係る、ビデオ圧縮用のブロックベースの混合解像度のデータ刈り込みのデータ回復を行う例示的なシステムを示すブロック図である。 本発明の原理の実施形態に係る、例示的な混合解像度のフレームを示す図である。 本発明の原理の実施形態に係る、空間周波数空間で示されるブロックベースの混合解像度のデータ刈り込みプロセスの例を示す図である。 本発明の原理の実施形態に係る、メタデータを符号化する例示的な方法を示すフロー図である。 本発明の原理の実施形態に係る、メタデータを復号化する例示的な方法を示すフロー図である。 本発明の原理の実施形態に係る、例示的なブロックＩＤを示す図である。

本発明の原理は、ビデオの圧縮効率を高めるためのブロックベースの混合解像度のデータ刈り込みの方法および装置を対象としている。

本説明は、本発明の原理を明らかにする。従って、当業者は、本明細書で明示的に説明されていないが、本発明の原理を具体化し、および本発明の原理の精神および範囲内に含まれるさまざまな構成(arrangements)を考案できるであろうことが認識されよう。

本明細書に記載されたすべての例および条件付きの表現は、読者が、本発明の原理および本技術をさらに発展させる発明者（複数）によって寄与される概念を理解するのを助ける教育的目的を意図とし、そのような具体的に記載された例および条件に限定することなく解釈されるものである。

さらに、本発明の原理、態様、および実施形態、ならびにそれらの具体例を記載する本明細書のすべての記述は、その構造的および機能的な等価物の両方を網羅することを意図する。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物、即ち、構造にかかわらず同じ機能を実行する任意に開発された要素の両方を含むことを意図する。

従って、例えば、本明細書で提示されるブロック図は、本発明の原理を具体化する例示的な回路の概念図を表すことが当業者によって認識されよう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似ドコードなどはいずれも、実質的にはコンピュータ可読媒体で表され、コンピュータまたはプロセッサによってそのように実施されてよいさまざまなプロセスを表し、そのようなコンピュータまたはプロセッサが明示的に示されているか否かによらないことが認識されよう。

図に示したさまざまな要素の機能は、専用ハードウェアならびに適切なソフトウェアと関連してソフトウェアを実施する能力のあるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供される場合、その機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または一部を共有できる複数の個別プロセッサによって提供されてもよい。さらに、用語「プロセッサ」または「制御器」の明示的な使用は、ソフトウェアを実施する能力のあるハードウェアのみを指すものと解釈されるべきでなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するリードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性記憶装置を暗示的に含むことができるが、これらに限定されない。

他のハードウェア、従来型および／またはカスタムハードウェアも含むことができる。同様に、図面に示したいずれのスイッチも概念的なものにすぎない。その機能は、プログラム論理の演算を通じて、専用論理を通じて、プログラム制御と専用論理との対話を通じて、または手動でも実行されてもよく、文脈からより具体的に理解されるように、特定の技術が実装者によって選択可能になる。

本発明の特許請求の範囲において、指定された機能を実行する手段として表される任意の要素は、例えば、ａ）その機能を実行する回路素子の組み合わせ、またはｂ）機能を実行するソフトウェアを実施するのに適した回路と組み合わされ、従ってファームウェア、マイクロコードなどを含む任意の形式のファームウェアを含む機能を実行するいずれの方法も網羅することを意図する。本発明の原理は、そのような特許請求の範囲によって定義されるように、さまざまに記載された手段によって提供される機能性が、その特許請求の範囲が要求する方法で組み合わされ、統合されるという事実による。従って、そのような機能性を提供することができる任意の手段は、本明細書で示した手段と同等であると見なされる。

明細書における本発明の原理の「一実施形態」または「実施形態」、ならびにそれらの他の変形形態への言及は、その実施形態と関連して説明される特定の特徴、構造、特性などが本発明の原理のうちの少なくとも１つの実施形態に含まれることを意味する。従って、「一実施形態において」または「実施形態において」という句の出現、同じく明細書を通じてさまざまな箇所に現れるその他の変形形態は、必ずしもすべて同じ実施形態を指すとは限らない。

以下の「／」、「および／または」、および「のうちの少なくとも１つ」のうちのいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」および「ＡおよびＢのうちの少なくとも１つ」の場合、第１に記載された選択肢（Ａ）のみの選択、または第２に記載された選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を網羅することを意図することを認識されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、そのような言い回しは、第１に記載された選択肢（Ａ）のみの選択、または第２に記載された選択肢（Ｂ）のみの選択、または第３に記載された選択肢（Ｃ）のみの選択、または第１および第２に記載された選択肢（ＡおよびＢ）のみの選択、または第１および第３に記載された選択肢（ＡおよびＣ）のみの選択、または第２および第３に記載された選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢の選択（ＡおよびＢおよびＣ）を網羅することを意図する。本技術および関連技術の当業者によって容易に明らかであるように、これは、記載された多くの項目に広げてよい。

また、本明細書で使用されるように、用語「ピクチャ」および「画像」は、同じ意味で使用され、ビデオシーケンスからの静止画像またはピクチャを指す。周知のとおり、ピクチャは、フレームまたはフィールドであってもよい。

さらに、用語「回復」および「復元」は、本明細書では同じ意味で使用されることを認識されたい。

上記のように、本発明の原理は、ビデオの圧縮効率を高めるためのブロックベースの混合解像度のデータ刈り込みを対象としている。データ刈り込みは、入力ビデオデータが符号化される前にその入力ビデオデータの一部を除去することによって、より良いビデオの符号化効率を実現するビデオの前処理技術である。除去されたビデオデータは、その復号データから推測することによって復号器側で回復する。データ刈り込みの一例は、画像線の除去であり、入力ビデオ内の水平および垂直の走査線の一部を除去することである。

ビデオを刈り込むための混合解像度のデータ刈り込みスキームのフレームワークは、本発明の原理に従って開示され、そこにおいてビデオ内の高解像度(high-res)ブロックは、低解像度(low-res)ブロックまたは平坦ブロック(flat blocks)に置き換えられる。さらに本発明の原理に従った開示は、刈り込まれたブロックの位置を符号化する、メタデータ符号化スキームであり、画像処理技術とエントロピー符号化との組み合わせを使用する。

本発明の原理の実施形態に従って、ビデオフレームは、非重複ブロックに分割され、そしてそのブロックのうちのいくつかは、低解像度ブロックまたは単純な平坦ブロックに置き換えられる。刈り込まれたブロックは、その後圧縮するためにビデオ復号器に送られる。刈り込みプロセスは、ビデオフレーム内のいくつかのブロックが、低解像度ブロックまたは平坦ブロックに置き換えられるので、高周波数信号が減り、結果としてより効率的なビデオ符号化でなければならない。置き換えられたブロックを修復テクスチャ合成などの、さまざまな既存のアルゴリズムによって回復することができる。本発明の原理に従って、回復プロセスに必要なメタデータを符号化して送る方法が開示される。

前述のビデオ圧縮を高めるデータ刈り込みの手法の他のカテゴリとは異なり、本発明の原理は、厳密には、外ループ(out-of-loop)手法を提供し、その手法は、符号器および復号器が影響されずに保たれ、ブラックボックスとして扱われ、符号化（および復号化）標準または実装によって置き換えることができる。そのような外ループ手法の利点は、ユーザが符号化および復号化するワークフローに変更する必要がなく、そのワークフローは、ある環境において適していないかもしれない。

図１を参照すると、ブロックベースの混合解像度のデータ刈り込みシステム／方法のハイレベルブロック図を参照番号１００で大まかに示している。入力ビデオが与えられ、前処理フレームを得るために、ステップ１０５において（符号器側の前処理プロセッサ１５１によって）符号器側の前処理が行われる。前処理フレームは、ステップ１１０において（符号器１５２によって）符号化される。符号化されたフレームは、ステップ１１５において（復号器１５３によって）復号化される。復号化されたフレームは、ステップ１２０において出力ビデオを与えるために、（復号器側の後処理プロセッサ１５４によって）後処理が行われる。

データ刈り込みの処理は、符号器側の前処理プロセッサ１５１で実行される。刈り込まれたビデオは、その後符号器１５２に送られる。回復に必要なメタデータと一緒に符号化されたビデオは、その後復号器１５３に送られる。復号器１５３は、刈り込まれたビデオを展開し、そして復号器側の後処理プロセッサ１５４は、受け取るメタデータの有無にかかわらず刈り込まれたビデオから元ビデオに回復させる（一部の環境に見られるように、メタデータを必要としないことも可能であり、従って、その回復に使用される）。

図２を参照すると、本発明の原理を適用できる例示的なビデオ符号器を参照番号２００で大まかに示している。ビデオ符号器２００は、例えば、図１に示したビデオ符号器１５２として使用されもよい。ビデオ符号器２００は、信号通信によって結合器２８５の非反転入力に出力する、フレーム順序付けバッファ２１０を含む。結合器２８５の出力は、信号通信によって変換及び量子化器２２５の第１の入力に接続される。変換及び量子化器２２５の出力は、信号通信によってエントロピー符号器２４５の第１の入力、および逆変換及び逆量子化器２５０の第１の入力に接続される。エントロピー符号器２４５の出力は、信号通信によって結合器２９０の第１の非反転入力に接続される。結合器１９０の出力は、信号通信によって出力バッファ２３５の第１の入力に接続される。

符号器制御器２０５の第１の出力は、信号通信によってフレーム順序付けバッファ２１０の第２の入力、逆変換及び逆量子化器２５０の第２の入力、ピクチャタイプ決定モジュール２１５の入力、マクロブロックタイプ(MB-type)決定モジュール２２０の第１の入力、イントラ予測モジュール２６０の第２の入力、非ブロック化フィルタ２６５の第２の入力、動き補償器２７０の第１の入力、動き推定器２７５の第１の入力、および参照ピクチャバッファ２８０の第２の入力に接続される。

符号器制御器２０５の第２の出力は、信号通信によって補足的拡張情報（ＳＥＩ）挿入器２３０の第１の入力、変換及び量子化器２２５の第２の入力、エントロピー符号器２４５の第２の入力、出力バッファ２３５の第２の入力、およびシーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器２４０の入力に接続される。

ＳＥＩ挿入器２３０の出力は、信号通信によって結合器２９０の第２の非反転入力に接続される。

ピクチャタイプ決定モジュール２１５の第１の出力は、信号通信によってフレーム順序付けバッファ２１０の第３の入力に接続される。ピクチャタイプ決定モジュール２１５の第２の出力は、信号通信によってマクロブロックタイプ決定モジュール２２０の第２の入力に接続される。

シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器２４０の出力は、信号通信によって結合器２９０の第３の非反転入力に接続される。逆変換及び逆量子化器２５０の出力は、信号通信によって結合器２１９の第１の非反転入力に接続される。結合器２１９の出力は、信号通信によってイントラ予測モジュール２６０の第１の入力および非ブロック化フィルタ２６５の第１の入力に接続される。非ブロック化フィルタ２６５の出力は、信号通信によって参照ピクチャバッファ２８０の第１の入力に接続される。参照ピクチャバッファ２８０の出力は、信号通信によって動き推定器２７５の第２の入力および動き補償器２７０の第３の入力に接続される。動き推定器２７５の第１の出力は、信号通信によって動き補償器２７０の第２の入力に接続される。動き定器２７５の第２の出力は、信号通信によってエントロピー符号器２４５の第３の入力接続される。

動き補償器２７０の出力は、信号通信によってスイッチ２９７の第１の入力に接続される。イントラ予測モジュール２６０の出力は、信号通信によってスイッチ２９７の第２の入力に接続される。マクロブロックタイプ決定モジュール２２０の出力は、信号通信によってスイッチ２９７の第３の入力に接続される。スイッチ２９７の第３の入力は、（制御入力、即ち、第３の入力に照らして）スイッチの「データ」入力が、動き補償器２７０またはイントラ予測モジュール２６０によって与えられるべきか否かを判定する。スイッチ２９７の出力は、信号通信によって結合器２１９の第２の非反転入力および結合器２８５の反転入力に接続される。

フレーム順序付けバッファ２１０の第１の入力および符号器制御器２０５の入力は、入力ピクチャを受け取るための、ビデオ符号器２００の入力として使用可能である。さらに、補足的拡張情報（ＳＥＩ）挿入器２３０の第２の入力は、メタデータを受け取るための、ビデオ符号器２００の入力として使用可能である。出力バッファ２３５の出力は、ビットストリームを出力するための、ビデオ符号器２００の出力として使用可能である。

図３を参照すると、本発明の原理を適用できる例示的なビデオ復号器を参照番号３００で大まかに示している。ビデオ復号器３００は、例えば、図１に示したビデオ符号器１５３として使用されもよい。ビデオ復号器３００は、信号通信によってエントロピー復号器３４５の第１の入力に接続された出力を有する、入力バッファ３１０を含む。エントロピー復号器３４５の第１の出力は、信号通信によって逆変換及び逆量子化器３５０の第１の入力に接続される。逆変換及び逆量子化器３５０の出力は、信号通信によって結合器３２５の第２の非反転入力に接続される。結合器３２５の出力は、信号通信によって非ブロック化フィルタ３６５の第２の入力およびイントラ予測モジュール３６０の第１の入力に接続される。非ブロック化フィルタ３６５の第２の出力は、信号通信によって参照ピクチャバッファ３８０の第１の入力に接続される。参照ピクチャバッファ３８０の出力は、信号通信によって動き補償器３７０の第２の入力に接続される。

エントロピー復号器３４５の第２の出力は、信号通信によって動き補償器３７０の第３の入力、非ブロック化フィルタ３６５の第１の入力、およびイントラ予測器３６０の第３の入力に接続される。エントロピー復号器３４５の第３の出力は、信号通信によって復号器制御器３０５の入力に接続される。復号器制御器３０５の第１の出力は、信号通信によってエントロピー復号器３４５の第２の入力に接続される。復号器制御器３０５の第２の出力は、信号通信によって逆変換及び逆量子化器３５０の第２の入力に接続される。復号器制御器３０５の第３の出力は、信号通信によって非ブロック化フィルタ３６５の第３の入力に接続される。復号器制御器３０５の第４の出力は、信号通信によってイントラ予測モジュール３６０の第２の入力、動き補償器３７０の第１の入力、および参照ピクチャバッファ３８０の第２の入力に接続される。

動き補償器３７０の出力は、信号通信によってスイッチ３９７の第１の入力に接続される。イントラ予測モジュール３６０の出力は、信号通信によってスイッチ３９７の第２の入力に接続される。スイッチ３９７の出力は、信号通信によって結合器３２５の第１の非反転入力に接続される。

入力バッファ３１０の入力は、入力ビットストリームを受け取るための、ビデオ符号器３００の入力として使用可能である。非ブロック化フィルタ３６５の第１の出力は、出力ピクチャを出力するための、ビデオ符号器３００の出力として使用可能である。

図４を参照すると、ブロックベースの混合解像度のデータ刈り込みの例示的なシステムを参照番号４００で大まかに示している。システム４００は、信号通信によって刈り込みブロック識別器４１０の入力に接続された出力を有する、分割器４０５を含む。刈り込みブロック識別器４１０の第１の入力は、信号通信によってブロック置換器４１５の入力に接続される。刈り込みブロック識別器４１０の第２の入力は、信号通信によってメタデータ符号器４２０の入力に接続される。分割器４０５の入力は、非重複ブロックに分割する元ビデオを受け取るための、システム４００への入力として使用可能である。ブロック置換器４１５の出力は、混合解像度のビデオを出力するための、システム４００の出力として使用可能である。メタデータ符号器の出力は、符号化されたメタデータを出力するための、システム４００の出力として使用可能である。

図５を参照すると、ビデオ圧縮に用いるブロックベースの混合解像度のデータ刈り込みの例示的な方法を参照番号５００で大まかに示している。ステップ５０５において、ビデオフレームが入力される。ステップ５１０において、そのビデオフレームは、非重複ブロックに分割される。ステップ５１５において、各ブロックに対してループが実行される。ステップ５２０において、現在のブロックを刈り込むか否かを判定する。刈り込む場合、方法は、ステップ５２５に進む。刈り込まない場合、方法は、ステップ５１５に戻る。ステップ５２５において、ブロックが刈り込まれ、そして対応するメタデータが保存される。ステップ５３０において、すべてのブロックが（処理を）終了したか否かを判定する。終了した場合、制御は、機能ブロック５３５に移る。終了していない場合、方法は、ステップ５１５に戻る。ステップ５３０において、刈り込まれたフレームおよび対応するメタデータが出力される。

図４および図５を参照すると、刈り込みプロセス中、入力フレームは、最初に非重複ブロックに分割される。刈り込まれる回復可能なブロックを識別するための刈り込みブロック識別プロセスが、その後行われる。刈り込まれたブロックの座標は、メタデータとして保存され、そのメタデータは、符号化され、そして復号器側に送られる。刈り込みの準備ができたブロックは、低解像度ブロックまたは単純な平坦ブロックに置き換えられる。その結果、いくつかのブロックが高解像度を有し、およびいくつかのブロックが低解像を有する、ビデオフレーム（即ち、混合解像度のフレーム）になる。

図６を参照すると、ブロックベースの混合解像度のデータ刈り込みのデータ回復を行う例示的なシステムを参照番号６００で大まかに示している。システム６００は、信号通信によって刈り込みブロック識別器６１０の第１の入力に接続された出力を有する、分割器６０５を含む。メタデータ復号器６１５の出力は、信号通信によって刈り込みブロック識別器６１０の第２の入力およびブロック復元器６２０の第２の入力に接続される。刈り込みブロック識別器６１０の出力は、信号通信によってブロック復元器６２０の第１の入力に接続される。分割器６０５の入力は、非重複ブロックに分割する刈り込まれる混合解像度のビデオを受け取るための、システム６００の入力として使用可能である。メタデータ復号器６１５の入力は、符号化されたメタデータを受け取るための、システム６００の入力としても使用可能である。ブロック復元器６２０の出力は、回復したビデオを出力するための、システム６００の出力として使用可能である。

図７を参照すると、ビデオ圧縮用のブロックベースの混合解像度のデータ刈り込みのデータ回復を行う例示的な方法を参照番号７００で大まかに示している。ステップ７０５において、刈り込まれる混合解像度のフレームが入力される。ステップ７１０において、そのフレームは、非重複ブロックに分割される。ステップ７１５において、各ブロックに対してループが実行される。ステップ７２０において、現在のブロックが刈り込まれるブロックであるか否かを判定する。刈り込む場合、方法は、ステップ７２５に進む。刈り込まない場合、方法は、ステップ７１５に戻る。ステップ７２５において、ブロックが復元される。ステップ７３０において、すべてのブロックが（処理を）終了したか否かを判定する。終了した場合、方法は、ステップ７３５に進む。終了していない場合、方法は、ステップ７１５に戻る。ステップ７３５において、回復したフレームが出力される。

図６および図７を参照すると、回復プロセス中、刈り込まれるブロックは、メタデータを用いて識別される。また、刈り込まれるブロックは、メタデータを用いるか否かにかかわらず、修復(inpainting)アルゴリズムなどの、さまざまなアルゴリズムを使用したブロック復元プロセスによって回復する。ブロックの復元および識別は、異なるプラグイン方法に取って替わることができるが、それは、本発明の原理の主眼ではない。つまり、本発明の原理は、特定のブロックの復元および識別プロセスに基づくものではなく、従って、本発明の原理の精神を保ちつつ、本発明の原理の教示に従って、適用可能な任意のブロックの復元および識別プロセスを使用してよい。

＜刈り込みプロセス＞
入力ビデオフレームは、最初に非重複ブロックに分割される。そのブロックのサイズは、例えば、１６×１６ピクセルまたは８×８ピクセルなど、異なることもあり得る。しかし、ブロック分割は、最大圧縮効率を実現することができるように、符号器が使用するのと同じサイズの分割にすることが望ましい。例えば、標準化／国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）の動画像符号化専門家グループ（ＭＰＥＧ−４）第１０部先進動画符号化（ＡＶＣ）標準／国際電気通信連合、電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４推奨（以下、「ＭＰＥＧ−４ＡＶＣ規格」と呼ぶ）に従った符号化において、マクロブロックは、１６×１６ピクセルである。従って、ＭＰＥＧ−４ＡＶＣ規格を伴う実施形態において、データ刈り込み用のブロックサイズの好適な選択は、１６×１６ピクセルである。

各ブロックに対し、ブロック識別プロセスは、ブロックを刈り取るべきか否かを判定する。このプロセスは、さまざまな基準に基づくことが可能であるが、その基準は、復元プロセスによって判定されなければならない。例えば、修復手法を用いてブロックを復元する場合、その基準は、特定の修復プロセスを使用してブロックが復元されるか否かにしなければならない。ブロックが修復プロセスによって復元可能である場合、そのブロックは、刈り込みブロックとしてマークされる。

刈り込みブロックが識別された後、その刈り込みブロックは、低解像度ブロックまたは平坦ブロックに置き換えられ、結果として混合解像度のフレームになる。図８を参照すると、例示的な混合解像度のフレームを参照番号８００で大まかに示している。図８から見て取れるように、フレームの一部は高解像度を有し、フレームの一部は平坦ブロックに置き換えられている。低解像度または平坦ブロックの高周波数信号は、刈り込みプロセス中に除去される。従って、低解像度または平坦ブロックをより効率的に符号化することができる。図９を参照すると、空間周波数空間で示されるブロックベースの混合解像度のデータ刈り込みプロセスの例を参照番号９００で大まかに示している。平坦ブロックは、基本的に、そのＤＣコンポーネントのみが保有されるブロックであり、低解像度ブロックは、ＡＣコンポーネントのうちのいくつかが除去されるブロックである。実際、刈り込まれたブロックを平坦ブロックに置き換えることが決定された場合、最初に入力ブロックの平均色を計算し、その後そのブロック内のすべてのピクセルの色を平均色に設定することが可能である。このプロセスは、ブロックのＤＣコンポーネントのみを保有することに等しい。刈り込まれたブロックを低解像度ブロックに置き換えることが決定された場合、低域通過フィルタが入力ブロックに適用され、そしてそのブロックは、低域通過フィルタされるバージョンに置き換えられる。平坦ブロックを使用するのであれ低解像度ブロックを使用するのであれ、その低域通過フィルタのパラメータは、使用される復元アルゴリズムのタイプによって判定されなければならない。

＜メタデータの符号化および復号化＞
回復プロセスの刈り込まれたブロックを正しく復元するために、ブロックの位置を、メタデータによって表されるとおりに、復号器側に送らなければならない。ある簡易な手法は、汎用のロスレスデータ圧縮アルゴリズムを使用して位置データを圧縮するものである。しかし、本システムの場合、刈り込まれたブロックは、低解像度ブロックまたは平坦ブロックであり、その低解像度ブロックまたは平坦ブロックは、刈り込まれたブロックが高周波数信号を含むか否かを検出することによって特定され得るという事実によって、よりよい圧縮効率を実現することが可能である。

刈り込まれるブロックの最大周波数をＦｍとし、刈り込み及び復元アルゴリズムによって予め決められていると仮定すると、最大周波数Ｆｍよりも大きい信号成分のエネルギーを計算することが可能である。そのエネルギーが閾値よりも小さい場合、そのブロックは、潜在的な刈り込みブロックである。これを、最初に低域通過フィルタをブロック画像に適用して、その後フィルタされたブロック画像をその入力ブロック画像から減じ、続いてその高周波数信号のエネルギーを計算することによって実現することができる。

数学的には以下のとおりである。
Ｅ＝｜Ｂ−ＨＢ｜ （１）
この式において、Ｅは、高周波数信号のエネルギーであり、Ｂは、入力ブロック画像であり、Ｈは、帯域幅Ｆｍを有する低域通過フィルタであり、ＨＢは、Ｂが低域通過フィルタされたバージョンである。｜．｜は、画像のエネルギーを計算する関数である。

しかし、上記のプロセスは、刈り込まれていないブロックも平坦または滑らかである恐れがあるので、１００パーセント信頼できるものではない。従って、「残余」即ち、識別プロセスによって誤検出されたブロックの座標および欠損したブロックの座標を復号器に送ることも必要である。

理論的には、それらの３つのコンポーネント、即ち、閾値、誤検出されたブロックの座標、および欠損したブロックの座標を復号器側に送ることが可能である。しかし、プロセスをより簡易にするため、符号器側において、刈り込まれたすべてのブロックが識別されるように、閾値が異なってもよい。このようにして、欠損したブロックがなくなる。このプロセスは、低い高周波数エネルギーを有する刈り込まれていないブロックである、いくつかのブロックを結果として誤検出する恐れがある。従って、誤検出されたブロックの数が刈り込まれたブロックの数よりも多い場合、刈り込まれたすべてのブロックの座標がただちに送られ、そして信号フラグが０に設定される。多くない場合、誤検出されたブロックの座標が送られ、そして信号フラグが１に設定される。

図１０を参照すると、メタデータ符号化の例示的な方法を参照番号１０００で大まかに示している。ステップ１００５において、刈り込まれたフレームが入力される。ステップ１０１０において、低解像度ブロックの識別が実行される。ステップ１０１５において、低解像度ブロックの識別において欠損があるか否かを判定する。欠損がある場合、方法は、ステップ１０２０に進む。欠損がない場合、方法は、ステップ１０５０に進む。ステップ１０２０において、刈り込まれたブロックの数よりも誤検出の数が多いか否かを判定する。多い場合、方法は、ステップ１０４０に進む。多くない場合、方法は、ステップ１０４５に進む。ステップ１０４０において、刈り込みブロックシーケンスが使用され、そしてフラグが０に設定される。ステップ１０２５において、差分(differentiation)が実行される。ステップ１０３０において、ロスレス符号化が実行される。ステップ１０３５において、符号化されたメタデータが出力される。ステップ１０４５において、誤検出シーケンスが使用され、そしてフラグが１に設定される。ステップ１０５０において、閾値が調整される。

従って、以下の例示的なメタデータシーケンスが与えられる。
［フラグ］ ［閾値］ ［符号化された座標シーケンス］
「フラグ」セグメントは、次のシーケンスが誤検出ブロックまたは刈り込みブロックの座標であるかどうかを示す２進数である。「閾値」数は、数式（１）を使用した低解像度または平坦ブロックの識別に使用される。

図１１を参照すると、メタデータ復号化の例示的な方法を参照番号１１００で大まかに示している。ステップ１１０５において、符号化されるメタデータが入力される。ステップ１１１０において、ロスレス復号化が実行される。ステップ１１１５において、逆差分が実行される。ステップ１１２０において、フラグ＝０か否かを判定する。０である場合、方法は、ステップ１１２５に進む。０でない場合、方法は、ステップ１１３０に進む。ステップ１１２５において、座標シーケンスが出力される。ステップ１１３０において、低解像度ブロックの識別が実行される。ステップ１１３５において、誤検出が除去される。ステップ１１４０において、座標シーケンスが出力される。

引き続き図１１を参照すると、ブロック座標を復号器側に送るのに、ピクセル座標ではなくブロック座標が使用される。フレーム内にＭブロックがある場合、その座標番号を１からＭまでの範囲にしなければならない。さらに、復元プロセス中にブロックの依存性がない場合、最初に座標番号とその前の座標番号との差を計算し、そして差分シーケンスを符号化する、差分符号化スキームを使用して、そのブロックの座標番号が増分シーケンスになるように分類することができる。例えば、座標シーケンスが３、４、５、８、１３、１４であると仮定すると、その差分シーケンスは、３、１、１、３、５、１になる。この差分プロセスは、数字を１に近付くようにさせるので、結果として小さいエントロピーで数が分散する。データが小さいエントロピーを有する場合、情報理論に従ってそのデータを小さい符号長に符号化することができる。結果とし得られた差分シーケンスを、例えば、ハフマン符号などの、ロスレス圧縮スキームによってさらに符号化することができる。復元プロセス中にブロックの依存性がない場合、その差分プロセスを単に省くことができる。ブロックの依存性があるか否かは、実際には、復元アルゴリズムの種類によって判定される。

メタデータの復号化プロセス中、復号器側のプロセッサは、最初に、受け取った閾値を使用して低解像度ブロックの識別プロセスを実行する。受け取った「フラグ」セグメントに従って、メタデータの復号化プロセスは、次のシーケンスが誤検出ブロックシーケンスまたは刈り込みブロックシーケンスであるか否かを判定する。復元プロセス中にブロックの依存性がない場合、次のシーケンスは、最初に、座標シーケンスを生成するのに逆差分される。「フラグ」に従って、そのシーケンスが刈り込みブロックシーケンスの座標である場合、プロセスは、そのシーケンスを結果として直接出力する。そのシーケンスが誤検出シーケンスである場合、復号器側のプロセスは、最初に、低解像度ブロックの識別プロセスによって識別された結果であるブロックシーケンスを取り、その後誤検出シーケンスに含まれるすべての座標を除去する。

異なるメタデータ符号化スキームを、例えば、ブロックＩＤを復号器側に直接送るなどに使用することができることが認識されよう。これらと他の変形形態は、本明細書で提示された本発明の原理の教示を所与として当業者によって容易に企図される。

＜復元プロセス＞
復元プロセスは、刈り込まれたビデオが復号化された後に実行される。復元の前に、刈り込まれたブロックの位置は、本明細書で説明したように、メタデータを復号化することによって得られる。

各ブロックに対し、刈り込まれたブロック内のコンテンツを回復する復元プロセスが実行される。さまざまなアルゴリズムを復元に使用することができる。復元の一例として画像修復があり、画像内の欠損したピクセルを隣接ピクセルで補間することによって復元する。提示された本手法において、刈り込まれた各ブロックは、低解像度ブロックまたは平坦ブロックに置き換えられ、そしてその低解像度ブロックまたは平坦ブロックによって搬送された情報を、回復プロセスを容易にする副次的情報(side information)として使用することができるので、より良い回復精度を実現することができる。ブロック回復モジュールを従来の修復及びテクスチャ合成ベースの方法などの、任意の回復スキームによって置き換えることができる。図１２を参照すると、例示的なブロックＩＤを参照番号１２００で大まかに示している。

本発明の原理のこれらおよび他の特徴および利点は、本明細書の教示に基づいて当業者によって容易に解明されるであろう。本発明の原理の教示は、さまざまな形式のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組み合わせに実装されてよいことを理解されたい。

最も好適には、本発明の原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶装置に明示的に具体化されるアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、適した任意のアーキテクチャを備えるマシンにアップロードされ、そしてそのマシンによって実行されてもよい。好適には、マシンは、１または複数の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および入力／出力（「Ｉ／Ｏ」）インタフェースなどの、ハードウェアを有するコンピュータプラットフォームに実装される。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードを含むこともできる。本明細書で説明したさまざまなプロセスおよび機能は、マイクロ命令コードの一部またはアプリケーションプログラムの一部、またはそれらの任意の組み合わせのいずれであってもよく、ＣＰＵによって実行できる。さらに、他のさまざまな周辺装置を、付加的なデータ記憶装置および印刷装置などの、コンピュータプラットフォームに接続できる。

一部の構成システムコンポーネントおよび添付図面で示した方法は、好適にはソフトウェアに実装されるので、システムコンポーネントまたは処理機能ブロック間の実際の接続は、本発明の原理がプログラムされる方法に応じて異なる場合もあることをさらに理解されたい。本明細書の教示を所与として、当業者は、本発明の原理のこれらおよび同様の実装または構成を企図できるであろう。

例示的な実施形態は、添付図面を参照して本明細書で説明されているが、本発明の原理は、そのような詳細な実施形態に限定されず、本発明の原理の範囲または精神から逸脱せずに当業者によってさまざまな変更および改良がそれらの実施形態に行われてよいことを理解されたい。そのようなすべての変更および改良は、添付の特許請求の範囲に記載されるように本発明の原理の範囲内に含まれることを意図する。
［付記１］
ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復するための装置であって、
前記ピクチャの前記刈り込まれたバージョン内の１または複数の刈り込まれたブロックを識別するための刈り込みブロック識別器（６１０）と、
前記ピクチャの前記刈り込まれたバージョンを回復するメタデータを復号化するためのメタデータ復号器（６１５）であって、前記メタデータは、前記１または複数の置換ブロックの位置情報を含む、メタデータ復号器と、
前記１または複数の刈り込まれたブロックに対して１または複数の置換ブロックをそれぞれ生成するためのブロック復元器（６２０）と
を備える、装置。
［付記２］
前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの前記元バージョンを複数のブロックに分割し、前記１または複数の刈り込まれたブロックを前記１または複数の置換ブロックにそれぞれ置き換えることによって生成され、前記１または複数の刈り込まれたブロックのうちの少なくとも所定の１つにおけるすべてのピクセルは、同じ色値または低い解像度の色値のうちの１つを有し、前記低い解像度の色値は、前記１または複数の置換ブロックに関して判定される、付記２に記載の装置。
［付記３］
前記同じ色値は、前記複数のブロックのうちの前記少なくとも１つ内の前記ピクセルの色の平均値と等しい、付記２に記載の装置。
［付記４］
前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャである、付記２に記載の装置。
［付記５］
前記１または複数の刈り込まれたブロックは、前記１または複数の置換ブロックのそれぞれよりも、指定された周波数以上の少ない情報を備える、付記２に記載の装置。
［付記６］
前記位置情報は、前記１または複数の置換ブロックの座標情報を備える、付記１に記載の装置。
［付記７］
前記刈り込みブロック識別器（６１０）は、前記ピクチャの前記刈り込まれたバージョン内の前記１または複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記１または複数の刈り込まれたブロックのうちの所定の１つは、指定された周波数よりも大きい前記１または複数の刈り込まれたブロックのうちの前記所定の１つの信号成分のエネルギー量に基づいて、前記識別プロセスによって識別される、付記１に記載の装置。
［付記８］
前記メタデータは、前記識別プロセスに関する誤検出ブロックおよび欠損ブロックの位置情報も含む、付記７に記載の装置。
［付記９］
前記メタデータが前記ピクチャの前記刈り込まれたバージョンを回復する際の使用から省略されたとき、修復及びテクスチャ合成のうちの少なくとも１を使用して、前記ピクチャの前記刈り込まれたバージョンを回復する、付記１に記載の装置。
［付記１０］
ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復するための方法であって、
前記ピクチャの前記刈り込まれたバージョン内の１または複数の刈り込まれたブロックを識別する（６１０）ステップと、
復号器を使用して、前記ピクチャの前記刈り込まれたバージョンを回復するメタデータを復号化する（１１００）ステップであって、前記メタデータは、前記１または複数の置換ブロックの位置情報を含む、ステップと、
前記１または複数の刈り込まれたブロックに対して１または複数の置換ブロックをそれぞれ生成する（７２５）ステップと
を備える、方法。
［付記１１］
前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの前記元バージョンを複数のブロックに分割し（７１０）、前記１または複数の刈り込まれたブロックを前記１または複数の置換ブロックにそれぞれ置き換える（７２５）ことよって生成され、前記１または複数の刈り込まれたブロックのうちの少なくとも所定の１つ内のすべてのピクセルは、同じ色値または低い解像度の色値のうちの１つを有し、前記低い解像度の色値は、前記１または複数の置換ブロックに関して判定される、付記１０に記載の方法。
［付記１２］
前記同じ色値は、前記複数のブロックのうちの前記少なくとも１つ内の前記ピクセルの色の平均値と等しい、付記１１に記載の方法。
［付記１３］
前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャ（８００）である、付記１１に記載の方法。
［付記１４］
前記１または複数の刈り込まれたブロックは、前記１または複数の置換ブロック（９００）のそれぞれよりも、指定された周波数以上の少ない情報を備える、付記１１に記載の方法。
［付記１５］
前記位置情報は、前記１または複数の置換ブロックの座標情報を備える、付記１０に記載の方法。
［付記１６］
前記識別するステップは、前記ピクチャの前記刈り込まれたバージョン内の前記１または複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記１または複数の刈り込まれたブロックのうちの所定の１つは、指定された周波数よりも大きい前記１または複数の刈り込まれたブロックのうちの前記所定の１つの信号成分のエネルギー量に基づいて、前記識別プロセスによって識別される、付記１０に記載の方法。
［付記１７］
前記メタデータは、前記識別プロセス（１１３５）に関する誤検出ブロックおよび欠損ブロックの位置情報も含む、付記１６に記載の方法。
［付記１８］
前記メタデータが前記ピクチャの前記刈り込まれたバージョンを回復する際の使用から省略された場合、修復及びテクスチャ合成のうちの少なくとも１を使用して、前記ピクチャの前記刈り込まれたバージョンを回復することを特徴とする付記１０に記載の方法。
［付記１９］
ピクチャの刈り込まれたバージョンをビデオシーケンスによって回復するための装置であって、
前記ピクチャの前記刈り込まれたバージョン内の１または複数の刈り込まれたブロックを識別するための手段（６１０）と、
前記ピクチャの前記刈り込まれたバージョンを回復するメタデータを復号化するための手段（６１５）であって、前記メタデータは、前記１または複数の置換ブロックの位置情報を含む、手段と、
前記１または複数の刈り込まれたブロックに対して１または複数の置換ブロックをそれぞれ生成するための手段（６２０）と
を備える、装置
［付記２０］
前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの前記元バージョンを複数のブロックに分割し、前記１または複数の刈り込まれたブロックを前記１または複数の置換ブロックにそれぞれ置き換えることによって生成され、前記１または複数の刈り込まれたブロックのうちの少なくとも所定の１つにおけるすべてのピクセルは、同じ色値または低い解像度の色値のうちの１つを有し、前記低い解像度の色値は、前記１または複数の置換ブロックに関して判定される、付記１９に記載の装置。
［付記２１］
前記同じ色値は、前記複数のブロックのうちの前記少なくとも１つ内の前記ピクセルの色の平均値と等しい、付記２０に記載の装置。
［付記２２］
前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャである、付記２０に記載の装置。
［付記２３］
前記１または複数の刈り込まれたブロックは、前記１または複数の置換ブロックのそれぞれよりも、指定された周波数以上の少ない情報を備える、付記２０に記載の装置。
［付記２４］
前記位置情報は、前記１または複数の置換ブロックの座標情報を備える、付記１９に記載の装置。
［付記２５］
前記識別するための手段（６１０）は、前記ピクチャの前記刈り込まれたバージョン内の前記１または複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記１または複数の刈り込まれたブロックのうちの所定の１つは、指定された周波数よりも大きい前記１または複数の刈り込まれたブロックのうちの前記所定の１つの信号成分のエネルギー量に基づいて、前記識別プロセスによって識別される、付記１９に記載の装置。
［付記２６］
前記メタデータは、前記識別プロセスに関する誤検出ブロックおよび欠損ブロックの位置情報も含む、付記２５に記載の装置。
［付記２７］
前記メタデータが前記ピクチャの前記刈り込まれたバージョンを回復する際の使用から省略された場合、修復及びテクスチャ合成のうちの少なくとも１を使用して、前記ピクチャの前記刈り込まれたバージョンを回復する、付記１９に記載の装置。

Claims (15)

1. ビデオシーケンスにおけるピクチャの刈り込まれたバージョンを回復するための装置であって、
   前記ピクチャの前記刈り込まれたバージョン内の１つまたは複数の刈り込まれたブロックを識別するための刈り込みブロック識別器と、
   前記ピクチャの前記刈り込まれたバージョンを回復するためのメタデータを復号化するためのメタデータ復号器であって、前記メタデータは、前記１つまたは複数の刈り込まれたブロックの位置情報を含む、メタデータ復号器と、
   前記１つまたは複数の刈り込まれたブロックを復元することにより前記刈り込まれたバージョンを回復するためのブロック復元器と、
   を備え、
   前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの元バージョンを複数のブロックに分割し、１つまたは複数の刈り込まれるべきブロックを１つまたは複数の置換ブロックにそれぞれ置き換えることによって生成され、前記１つまたは複数の刈り込まれたブロックのうちの少なくとも所定の１つにおけるすべてのピクセルは、同じ色値を有する、前記装置。
2. 前記同じ色値は、前記複数のブロックのうちの前記少なくとも１つ内の前記ピクセルの色値の平均と等しい、請求項１に記載の装置。
3. 前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャである、請求項１に記載の装置。
4. 前記１つまたは複数の刈り込まれたブロックは、前記１つまたは複数の置換ブロックのそれぞれよりも少ない、指定された周波数を超える情報を備える、請求項１に記載の装置。
5. ビデオシーケンスにおけるピクチャの刈り込まれたバージョンを回復するための装置であって、
   前記ピクチャの前記刈り込まれたバージョン内の１つまたは複数の刈り込まれたブロックを識別するための刈り込みブロック識別器と、
   前記ピクチャの前記刈り込まれたバージョンを回復するためのメタデータを復号化するためのメタデータ復号器であって、前記メタデータは、前記１つまたは複数の刈り込まれたブロックの位置情報を含む、メタデータ復号器と、
   前記１つまたは複数の刈り込まれたブロックを復元することにより前記刈り込まれたバージョンを回復するためのブロック復元器と、
   を備え、
   前記刈り込みブロック識別器は、前記ピクチャの前記刈り込まれたバージョン内の前記１つまたは複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記１つまたは複数の刈り込まれたブロックのうちの所定の１つは、指定された周波数よりも大きい前記１つまたは複数の刈り込まれたブロックのうちの前記所定の１つの信号成分のエネルギー量に基づいて、前記識別プロセスによって識別され、
   前記メタデータは、前記識別プロセスに関する誤検出ブロックおよび欠損ブロックの位置情報も含む、前記装置。
6. ビデオシーケンスにおけるピクチャの刈り込まれたバージョンを回復するための方法であって、
   前記ピクチャの前記刈り込まれたバージョン内の１つまたは複数の刈り込まれたブロックを識別するステップと、
   復号器を使用して、前記ピクチャの前記刈り込まれたバージョンを回復するためのメタデータを復号化するステップであって、前記メタデータは、前記１つまたは複数の刈り込まれたブロックの位置情報を含む、ステップと、
   前記１つまたは複数の刈り込まれたブロックを復元することにより前記刈り込まれたバージョンを回復するステップと、
   を備え、
   前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの元バージョンを複数のブロックに分割し、１つまたは複数の刈り込まれるべきブロックを１つまたは複数の置換ブロックにそれぞれ置き換えることよって生成され、前記１つまたは複数の刈り込まれたブロックのうちの少なくとも所定の１つ内のすべてのピクセルは、同じ色値を有する、前記方法。
7. 前記同じ色値は、前記複数のブロックのうちの前記少なくとも１つ内の前記ピクセルの色値の平均と等しい、請求項６に記載の方法。
8. 前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャである、請求項６に記載の方法。
9. 前記１つまたは複数の刈り込まれたブロックは、前記１つまたは複数の置換ブロックのそれぞれよりも少ない、指定された周波数を超える情報を備える、請求項６に記載の方法。
10. ビデオシーケンスにおけるピクチャの刈り込まれたバージョンを回復するための方法であって、
    前記ピクチャの前記刈り込まれたバージョン内の１つまたは複数の刈り込まれたブロックを識別するステップと、
    復号器を使用して、前記ピクチャの前記刈り込まれたバージョンを回復するためのメタデータを復号化するステップであって、前記メタデータは、前記１つまたは複数の刈り込まれたブロックの位置情報を含む、ステップと、
    前記１つまたは複数の刈り込まれたブロックを復元することにより前記刈り込まれたバージョンを回復するステップと、
    を備え、
    前記識別するステップは、前記ピクチャの前記刈り込まれたバージョン内の前記１つまたは複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記１つまたは複数の刈り込まれたブロックのうちの所定の１つは、指定された周波数よりも大きい前記１つまたは複数の刈り込まれたブロックのうちの前記所定の１つの信号成分のエネルギー量に基づいて、前記識別プロセスによって識別され、
    前記メタデータは、前記識別プロセスに関する誤検出ブロックおよび欠損ブロックの位置情報も含む、前記方法。
11. ビデオシーケンスにおけるピクチャの刈り込まれたバージョンを回復するための装置であって、
    前記ピクチャの前記刈り込まれたバージョン内の１つまたは複数の刈り込まれたブロックを識別するための手段と、
    前記ピクチャの前記刈り込まれたバージョンを回復するためのメタデータを復号化するための手段であって、前記メタデータは、前記１つまたは複数の刈り込まれたブロックの位置情報を含む、手段と、
    前記１つまたは複数の刈り込まれたブロックを復元することにより前記刈り込まれたバージョンを回復するための手段と、
    を備え、
    前記ピクチャの前記刈り込まれたバージョンは、前記ピクチャの元バージョンを複数のブロックに分割し、１つまたは複数の刈り込まれるべきブロックを１つまたは複数の置換ブロックにそれぞれ置き換えることによって生成され、前記１つまたは複数の刈り込まれたブロックのうちの少なくとも所定の１つにおけるすべてのピクセルは、同じ色値を有する、前記装置。
12. 前記同じ色値は、前記複数のブロックのうちの前記少なくとも１つ内の前記ピクセルの色値の平均と等しい、請求項１１に記載の装置。
13. 前記ピクチャの前記刈り込まれたバージョンは、混合解像度ピクチャである、請求項１１に記載の装置。
14. 前記１つまたは複数の刈り込まれたブロックは、前記１つまたは複数の置換ブロックのそれぞれよりも少ない、指定された周波数を超える情報を備える、請求項１１に記載の装置。
15. ビデオシーケンスにおけるピクチャの刈り込まれたバージョンを回復するための装置であって、
    前記ピクチャの前記刈り込まれたバージョン内の１つまたは複数の刈り込まれたブロックを識別するための手段と、
    前記ピクチャの前記刈り込まれたバージョンを回復するためのメタデータを復号化するための手段であって、前記メタデータは、前記１つまたは複数の刈り込まれたブロックの位置情報を含む、手段と、
    前記１つまたは複数の刈り込まれたブロックを復元することにより前記刈り込まれたバージョンを回復するための手段と、
    を備え、
    前記識別するための手段は、前記ピクチャの前記刈り込まれたバージョン内の前記１つまたは複数の刈り込まれたブロックを識別する識別プロセスを実行し、前記１つまたは複数の刈り込まれたブロックのうちの所定の１つは、指定された周波数よりも大きい前記１つまたは複数の刈り込まれたブロックのうちの前記所定の１つの信号成分のエネルギー量に基づいて、前記識別プロセスによって識別され、
    前記メタデータは、前記識別プロセスに関する誤検出ブロックおよび欠損ブロックの位置情報も含む、前記装置。