JP5259608B2 - 映像符号化における参照フレームのサーチを軽減する装置及び方法 - Google Patents

Description

本願は、マルチメディア信号処理に関わり、特に映像符号化に関わる。

ビデオ符号化器のようなマルチメディア処理システムは、ＭＰＥＧ−ｘやＨ．２６ｘ規格のような国際規格に基づく符号化方法を用いて、マルチメディアデータを符号化し得る。そのような符号化方法は一般的に、伝送やストレージのためにマルチメディアデータを圧縮することに向けられている。圧縮は、大まかにはデータから冗長さを取り除く処理のことである。

映像信号は、フレーム（写真全体）、またはフィールド（例えば、インターレース映像ストリームは、写真の奇数ラインと偶数ラインの領域を交互に含む）を含む、連続した複数の写真という観点で表現され得る。本明細書では、用語「フレーム」は、写真、フレーム、またはフィールドを指すよう、広い意味で用いられる。映像符号化器のようなマルチメディアプロセッサは、フレームをブロック、または例えば（１６×１６）のピクセルのマクロブロックに分割することにより、フレームを符号化し得る。符号化器は、各々のマクロブロックを更にサブブロックに分割し得る。各サブブロックは、更なるサブブロックを更に備え得る。例えば、マクロブロックのサブブロックは（１６×８）及び（８×１６）ピクセルのサブブロックを含み得る。（８×１６）ピクセルのサブブロックのサブブロックは、（８×８）ピクセルのサブブロックを含み得る、等である。本明細書において、用語「ブロック」はマクロブロックかサブブロックを示す。

映像符号化方法は、各フレームまたはフレームのブロックを圧縮する可逆または不可逆圧縮アルゴリズムを用いて、映像信号を圧縮する。フレーム内符号化は、フレームを符号化する際に、当該フレームのデータを用いて符号化することを指す。フレーム間符号化は、他の「参照」フレームに基づくフレームの符号化を含むスキームのような、予測符号化スキームを指す。例えば、映像信号はしばしば時間的な冗長性を示し、この冗長性においては、フレームの時間的なシーケンスにおいて互いに近接するフレームは、少なくとも一部領域において、互いに一致、または少なくとも部分的に一致する。符号化器は、この時間的な冗長性を利用して、符号化データのサイズを削減出来る。

符号化器は、あるフレームと、１つ又はそれ以上の参照フレームとの間の差分の観点からフレームを符号化することによっても、時間的な冗長性を利用し得る。例えば映像符号化器は、符号化されるフレームのブロックと、１つまたはそれ以上のその他のフレームの一部領域とを一致させるアルゴリズムをベースにした動き補償を使用し得る。符号化されたフレームのブロックは、参照フレームにおいて一致する領域に対して、フレーム中においてシフトされているかもしれない。このシフトは動きベクトルによって特徴づけられる。このブロックと、参照フレームにおいて部分的に一致する一部領域との間の差分は、残差の部分として特徴づけられ得る。符号化器は、従って、フレームの特定の区分についての動きベクトルと残差の部分とのうちの１つまたはそれ以上を備えたデータとして、フレームを符号化し得る。フレーム符号化のためのブロックの特定の区分は、コスト関数を近似的に最小化することによって選択され得る。コスト関数は例えば、符号化サイズと、符号化の結果得られるフレームの内容のひずみとのバランスを取るものである。

参照フレームは、映像信号において、先行する１つまたはそれ以上のフレーム、または映像信号において、当該フレームの後に後続する１つまたはそれ以上のフレームを含み得る。Ｈ．２６４規格は例えば、最もより良く一致するブロックのサーチに、５つの参照フレームを使用することを定めている。一般的に、多くの参照フレーム内をサーチすることにより、符号化器の、参照フレームのいずれかにおいて符号化対象フレームのブロックに厳密に一致する一部領域を検出する能力は向上する。より良く一致することで、符号化すべき差分は小さくなり、その結果、一般的に、よりコンパクトな符号化が得られる。しかしながら、ブロックについて参照フレームの一致する領域を発見するためには、符号化器は、符号化されるフレームの各ブロック（例えば、マクロブロック及びサブブロック）について、各参照フレーム内をサーチしなければならない。一致する領域はシフトされ得るため、符号化器は通常、参照フレーム毎に多数回の比較処理を実行する。その結果、フレームの符号化は、特に参照フレームの数に対して計算が非常に複雑化し、これによって符号化器の消費電力、コスト、及びサイズが大きくなる。従って、映像符号化器においては、参照フレーム内のサーチについての複雑さを軽減したいという要求があった。

本明細書で説明されるシステム、方法、及びデバイスの例は、それぞれ幾つかの側面を有しており、その望ましい特性をもっぱら奏する唯一ものものでは無い。後述する特許請求の範囲に表現された本発明の範囲を限定することなく、その顕著な特徴がこれより簡単に議論される。本議論を考慮の後、そして特に「詳細な説明」と題されたセクションを読んだ後、開示された特徴が、効率的で、低電力で、及び／または高速な、映像符号化器を含む効果を、如何にして奏するのかを理解するだろう。

一側面は、マルチメディアデータを処理する方法を備える。方法は、フレームの一部領域を、複数の参照フレームと比較することを備える。フレームの一部領域は複数の小領域を備える。方法は更に、比較に基づいて、複数の参照フレームから参照フレームを選択することを備える。方法は更に、選択された参照フレームに基づいて、少なくとも一つの小領域を処理することを備える。

別の側面は、マルチメディアデータを処理する装置を備える。装置は、フレームの一部領域を複数の参照フレームと比較する手段を備える。フレームの一部領域は、複数の小領域を備える。装置は更に、比較に基づいて、複数の参照フレームから参照フレームを選択する手段を備える。装置は更に、選択された参照フレームに基づいて、少なくとも一つの小領域を処理する手段を備える。

別の側面は、マルチメディアデータを処理する装置を備える。装置は、フレームの一部領域を複数の参照フレームと比較するように構成された比較器を備える。フレームの一部領域は、複数の小領域を備える。装置は更に、比較に基づいて複数の参照フレームから参照フレームを選択するように構成されたセレクタを備える。装置は更に、選択された参照フレームに基づいて、少なくとも一つの小領域を比較するように構成されたプロセッサを備える。

一側面は、フレームの一部領域を複数の参照フレームと比較する構成を備えるマルチメディアデータプロセッサを備える。フレームの一部領域は、複数の小領域を備える。構成は更に、比較に基づいて、複数の参照フレームから参照フレームを選択し、選択された参照フレームに基づいて、少なくとも一つの小領域を処理する。

別の側面は、マルチメディアデータを処理する命令を備えた機器読み取り可能な媒体を備える。実行時において命令は機器に対して、フレームの一部領域を、複数の参照フレームと比較させる。フレームの一部領域は、複数の小領域を備える。実行時において命令は、機器に対して比較に基づいて複数の参照フレームから参照フレームを選択させ、選択された参照フレームに基づいて、少なくとも一つの小領域を処理させる。

図１は、一側面に従ったマルチメディア通信システムを示す機能ブロック図。 図２は、図１に示すようなシステムにおいて映像フレームの一部を符号化する方法の一部を視覚的に示す。 図３は、図１に示すようなシステムにおいて映像ストリームの一部を符号化する方法の一例を示すフローチャート。 図４は、図３に示す方法に従った映像データを処理する装置の例を示す機能ブロック図。 図５は、図３に示す方法の一例の一部をより詳細に示すフローチャート。 図６は、図３に示す方法の別の例の一部をより詳細に示すフローチャート。 図７は、図３に示す方法の別の例の一部をより詳細に示すフローチャート。

下記の詳細な説明は、本発明のある特定の側面に向けられている。しかし本発明は、特許請求の範囲において定義され、包括された、数多くの異なる方法で具体化され得る。本説明において、図面に参照符号が付され、全体にわたって、同様の部分は同様の番号で指定される。下記の説明において、具体的な詳細を挙げることによって、説明された側面についての十分な理解が与えられる。しかしながら、これらの側面はこれらの具体的な詳細を有することなく実施され得ることが、当業者によって理解されるだろう。例えば、電気的な要素は、意味のない細部においてこれらの側面が不明確にならないよう、ブロック図の形で示され得る。別の場合では、これらの側面を更に説明するために、そのような要素、他の構造及び方法が細部にわたって示され得る。

更に、実施形態に応じて、本明細書で説明されたあらゆる方法、プロセス、ブロック図、及びフローチャートにおけるある動作または事象は、異なる順序によって実行可能であり、そしてひとまとめにして加えられ、マージされ、または省略され得ることが認識されるだろう（例えば、説明された動作または事象の全てが、この方法の実行に必要なわけでは無い）。更に、ある実施形態では、動作及び事象は順次実行されるよりもむしろ、例えばマルチスレッド処理、割り込み処理、またはマルチプロセッサによって、同時に実行され得る。本明細書で説明された方法、プロセス、ブロック図、及びフローチャートは、その全体または一部が繰り返されても良いことが、更に認識されるだろう。

側面は、マルチメディア通信システムにおける符号化器の処理を向上するシステム及び方法を含む。マルチメディアデータは、動画映像、音声、静止画またはその他のオーディオビジュアルデータの適切なタイプのうちの１つまたはそれ以上を含み得る。側面は、映像データを符号化する装置及び方法を含む。例えば、ある側面は、映像の符号化時において、参照フレームのサーチを軽減する方法を備える。そのような側面のようなひとつは、動き補償の方法において、参照フレームのサーチを軽減する方法を備える。具体的には、参照フレームのセットの全てでは無く、これより少ない数の参照フレーム内をサーチする、一側面に従ったサーチによって、符号化フレームにおけるノイズまたは歪み量を実質的に増加させることなく、動き補償のサーチにおける計算の複雑さを軽減されることが見いだされる。

図１は、一側面に従ったマルチメディア通信システム１００を示す機能ブロック図である。システム１００は、ネットワーク１４０を介して復号器１５０と通信可能な符号化デバイス１１０を備えている。一例では、符号化デバイスは、外部ソース１０２からマルチメディア信号を受信し、ネットワーク１４０上に送信するためこの信号を符号化する。

本例では、符号化デバイス１１０は、送受信機１１６、及びメモリ１１４に接続されたプロセッサ１１２を備えている。プロセッサ１１２は、マルチメディアデータソースからのデータを符号化して、ネットワーク１４０上で通信するために、これを送受信機１１６に供給する。

本例では、復号化デバイス１５０は、送受信機１５６、及びメモリ１５４に接続されたプロセッサ１５２を備えている。プロセッサ１５２は、汎用プロセッサ及びデジタルシグナルプロセッサのうちの１つまたはそれ以上を含み得る。メモリ１５４は、半導体またはディスクベースの記憶装置のうちの１つまたはそれ以上を含み得る。送受信機１５６は、ネットワーク１４０を介してマルチメディアデータを受信し、復号化のためにこれをプロセッサ１５２に供給可能に構成されている。一例では、送受信機１５６は、無線送受信機を含む。ネットワーク１４０は、有線または無線通信システムのうちの１つまたはそれ以上を含み、これらはイーサネット（登録商標）、電話（例えばＰＯＴＳ）、ケーブル、電力線、及び光ファイバシステムのうちの１つまたはそれ以上を含み、及び／または無線通信システムは、ＧＳＭ／ＧＰＲＳ（General Packet Radio Service）／ＥＤＧＥ（enhanced data GSM environment）、ＴＥＴＲＡ（Terrestrial Trunked Radio）移動電話システム、広帯域符号分割多重接続（ＷＣＤＭＡ）システム、高データレート（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯ Gold Multicast）システム、ＩＥＥＥ８０２．１１システム、MediaＦＬＯシステム、ＤＭＢシステム、またはＤＶＢ−Ｈシステムのような、符号分割多重接続（ＣＤＭＡまたはＣＤＭＡ２０００（登録商標））通信システム、周波数分割多重接続（ＦＤＭＡ）システム、及び時分割多重接続（ＴＤＭＡ）システムのうちのひとつまたはそれ以上を備える。

図２は、図１に示すようなシステムにおける映像フレームの一部分を符号化する方法の側面を視覚的に示している。図２に示すように、フレーム１７０は、複数のマクロブロック１７１に分割され得る。各マクロブロックはピクセルの配列、例えばフレーム１７０における（１６×１６）のピクセルの配列を備える。更に符号化器１１０は、マクロブロック１７１を、（８×８）ピクセルのサブブロック１７１ａ、または（４×４）ピクセルのサブブロック１７１ｂのような、いくつかの小さなブロックに区分する。任意で、符号化器１１０はフレーム１７０内において、及び／または符号化されたフレーム１７０間で、サブブロックのサイズを変えることも出来る。マクロブロック１７１と、サブブロック１７１ａのようなマクロブロックの区分を、本明細書ではまとめて「ブロック」と呼び、図２の符号１７１を参照してまとめて示される。

符号化された映像フレーム１７０（またはフレーム１７０のブロック１７１）は、他のフレームに依存することなく符号化されても良いし（例えばイントラモード）、または符号化された他のフレームに予測的に基づいても良い（インターモード）。フレーム１７０の一部領域について使用される符号化の個々のモードは、「（符号化の）モード」と呼ばれ得る。符号化器１１０は、フレームの種々の領域（種々のブロック１７１またはサブブロック１７１）を、異なるモードによって符号化し得る。例えば、動き補償アルゴリズムが、フレーム１７０、またはフレーム１７０の１つまたはそれ以上のブロック１７１の符号化に用いられ得る。符号化器１１０の一例は、（１６×１６）、（１６×８）、（８×１６）、（８×８）、（８×４）、（４×８）、（４×４）ピクセルのようなサイズ（しかし、他のサイズが使用されても良い）のブロックを含むブロックの観点から、フレーム１７０を符号化する。符号化されたフレーム１７０は、フレームの符号化ブロック１７１のセットへの区分を含み得る。そしてこの符号化ブロック１７１のセットが、実質的にフレーム１７０の全ピクセルを符号化する。符号化ブロック１７１は、異なるサイズであって良く、コスト関数に基づいて選択され得る。コスト関数は、符号化データサイズや符号化の結果得られる画像の歪みなどの要素の重み付け平均に基づいて、異なる符号化方法を比較する。

上述のように、映像フレームを予測する１つの方法は、動き予測アルゴリズムを用いることである。動き予測アルゴリズムは、映像データにおける時間的な冗長性をうまく利用したものであり、あるフレームと別のフレーム（例えば参照フレーム）との間での少なくとも部分的に一致するブロック１７１に基づいて、フレーム１７０を符号化する。動き予測アルゴリズムは、フレーム１７０のブロック１７１と同一（例えば、少なくとも部分的に一致する）であり、おそらくは符号化されたフレーム１７４において場所的にシフトされた、１つまたはそれ以上の参照フレーム１７４におけるブロック１７６を特定する。種々の側面において動き予測アルゴリズムは、現在のフレーム１７０よりも時間的に前の参照フレーム、現在のフレーム１７０よりも時間的に後の適切な時間の参照フレーム、またはその両方を用い得ることに注意すべきである。フレーム１７０のブロック１７１は、動きベクトルと残差データの観点から符号化される。動きベクトルは、ブロック１７１と１７６との間での位置的な差分を示す。残差データは、１つまたはそれ以上の参照フレーム１７４（例えば、参照フレーム１７４ａ、１７４ｂ、１７４ｃ、１７４ｄ、１７４ｅ）のリストから見いだされた参照ブロック（参照フレーム１７４ｃのブロック１７６）におけるピクセルと、フレーム１７０のブロック１７１のピクセルとの間の差分を示す。参照フレーム１７４は、映像信号においてフレーム１７０の前または後のフレームが、時間順に順序づけられたリストであり得る。図２に示すように符号化器１１０は、フレーム１７０のブロック１７１ａを、参照フレーム１７４と比較して、フレーム１７４ｃ中のブロック１７６のような対応するブロックを特定し得る。

符号化器１１０は、動き補償データを計算し得る。このデータは例えば、ブロック１７１の（１６×１６）、（１６×８）、（８×１６）、（８×８）、（８×４）、（４×８）、及び（４×４）ピクセルのブロック（区分）のようなブロックの集合毎の、動きベクトル及び残差データである。符号化器１１０はまず、大きいブロック１７１（例えば（１６×１６）ピクセル）について動き補償データを算出し、その後、この大きなブロックのサブブロック（例えば（１６×８）や（８×８）ピクセル等）の各々について、動き補償データを算出する。符号化器１１０は、フレーム１７０の全体を実質的にカバーする１つまたはそれ以上のブロック１７１のセットまたは特定の区分を選択出来る。符号化器１１０は、コスト関数に基づいて、フレーム１７０の各領域についてのそれぞれの予測データ及び個々の区分を選択し得る。コスト関数は、例えばレート−歪み（ＲＤ）関数であり、フレームのブロックの個々のセットについての動きベクトルと残差の個々のセットを用いたフレームまたはフレームの一部領域の符号化データサイズと、対応する、結果として得られる画像の歪みの推定値と、に従って、符号化サイズと歪みとの間のトレードオフの関係の指標を備える。符号化器１１０は、技術的に知られたあらゆる適切なコスト関数を使用し得る。例えば適切なコスト関数は、“Rate-Constrained Coder Control and Comparison of Video Coding Standards”、IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY、VOL. 13、NO. 7、688 (July 2003)に開示されている。コスト関数は、例えばレート−歪み関数、及び／または差分絶対値の和（ＳＡＤ）関数を含み得る。

図３は、マルチメディアデータを符号化する方法２０４の例を示すフローチャートである。方法はブロック２２２において開始され、符号化器１１０はフレームのブロック（例えば図２に示すフレーム１７０のブロック１７１ａ）を、参照フレーム（例えば図２に示すフレーム１７４）のリストのそれぞれと比較して、ブロック１７１ａの符号化のためのマッチングデータを特定する。符号化器１１０は、少なくとも部分的にブロック１７１ａに一致する、フレーム１７４ｃのブロック１７６のような領域を見つけるために、各参照フレーム１７４内をサーチする。次にブロック２２４において符号化器１１０は、ブロック１７１ａとの間を取り持つ符号化コスト関数が最も低い参照フレーム１７４のいずれか（例えば参照フレーム１７４ｃ）を選択する。更に符号化器１１０は、状況に応じて、選択した参照フレームに基づいて参照フレーム１７４のサブセットを選択することも出来る。例えばサブセットは、選択した参照フレーム、例えば参照フレーム１７４ｃのみを含んでも良い。別の例では、参照フレーム１７４は、フレーム１からフレームＮの時間的なシーケンスを備える。この場合、選択した参照フレーム１７４はこのシーケンス中のフレームｊであり、その結果サブセットは参照フレーム（ｊ−Ｍ）から（ｊ＋Ｍ）を備える。なお、Ｍは自然数であり、サブセットのサイズをパラメータ化したものである。例えば、もしＭ＝１であれば、サブセットはフレーム（ｊ−１）から（ｊ＋１）を含み、例えば特定された参照フレームと、連続したフレーム１からＮにおいてこれに隣接する参照フレームである。Ｍ＝１は例示に過ぎず、側面はその他の値のサブセットサイズのパラメータＭを使用し得ることが理解できるであろう。更に、このレンジは、シーケンスの下端においてフレームの下限を有し（例えばフレーム１）、シーケンスの上端においてフレームの上限を有し（例えばフレームＮ）うる。

次にブロック２２８において符号化器１１０は、選択された参照フレームに基づいて、小領域（例えばサブブロック）の少なくとも一つにつき処理を行う。符号化器は、フレーム１７０のサブブロックと選択した参照フレームとを比較して、参照フレーム１７４において少なくとも部分的に一致する領域１７６を探索することによって、サブブロックを処理する。例えば、符号化器１１０は、ブロック１７１ａの各サブブロック（例えば（１６×８）及び（８×１６）ピクセルのサイズのサブブロック）を、選択された参照フレーム１７４とのみ、比較し得る。従って符号化器１１０は、サブブロックを符号化するのに、５つの全ての参照フレーム１７４内をサーチする必要が無く、これにより、歪みを実質的に増大させることなく、処理の複雑さを低減出来る。

更に、符号化器はまた、上記の方法ブロック２２４について、サブブロックを参照フレーム１７４のサブセットと比較しても良い。例えば、（８×８）ピクセルのブロック１７１ａについての参照フレームとしてフレーム１７４ｃが特定された場合、参照フレームのサブセットは、フレーム１７４ｃ、またはフレーム１７４ｃにある時間内で隣接するフレームのレンジを備えても良い。このフレームのレンジは、例えばフレーム１７４ｂから１７４ｄである。更に符号化器１１０は、全参照フレーム内のサーチ、選択された参照フレーム１７４内のみのサーチ、または参照フレームのサブセット内のみのサーチ、の組み合わせを実行するように構成されても良い。符号化器１１０は、これらの組み合わせを、例えばサーチされるブロックのサイズに基づいて選択しても良い。図５、６、７は、そのような組み合わせの具体例を示している。

上記の開示によれば、参照フレーム１７４の全てでは無く、これより少ない数の参照フレーム内がサーチされる。これにより、符号化フレーム１７０におけるノイズまたは歪みの量を実質的に増加させることなく、動き補償のサーチにおける計算の複雑さを、好ましく軽減されることが見いだされる。方法２０４は、フレーム１７０の別のブロックまたはサブブロック１７１について繰り返されても良い。

図４は、図３に示された方法に従って映像データを処理する装置の例を示すブロック図である。特に図３では符号化器１１０の例を示している。符号化器１００は、フレームの一部領域を複数の参照フレームと比較するモジュール３０２、複数の参照フレームから参照フレームを選択するモジュール３０４、及び選択した参照フレームに基づいて少なくとも１つの小領域を処理するモジュール３０６とを備えている。フレームの一部領域を比較するモジュール３０２は、フレームの一部領域を複数の参照フレームと比較可能に構成され得る。例えばモジュール３０２は、図３のブロック２２２を参照して説明した動作を実行し得る。参照フレームを選択するモジュール３０４は、複数の参照フレーム１７４（図２参照）から、参照フレーム、例えば１７４ｃを選択可能に構成され得る。例えば、モジュール３０４は、図３のブロック２２４を参照して説明した動作を実行し得る。モジュール３０４は、上記説明したコスト関数に基づいて、参照フレーム１７４を選択し得る。参照フレームを選択するモジュール３０４はまた、特定された参照フレームに基づいて、参照フレームのサブセット、例えばフレームｊ−１からｊ＋１を選択可能に構成され得る。なお、参照フレームは、時間的に連続した参照フレームのシーケンスにおけるフレームｊに特定されている。フレームの小領域を処理するモジュール３０６は、選択された参照フレーム１７４に基づいて、少なくとも１つの小領域を処理可能に構成され得る。例えばモジュール３０６は、図３のブロック２２８を参照して説明した動作を実行し得る。

下記の表１は、種々のサイズのブロックのサーチについて参照フレーム１７４のサーチが軽減された符号化方法のいくつかの例についてのシミュレート結果を示している。表１は、本明細書に開示された参照フレームのサーチを軽減する３つの方法に対して、全てのブロックサイズについて、Ｎ個全ての参照フレーム内をサーチするコストを比較している。表１は、ビットレート、ピーク信号・ノイズ比（ＰＳＮＲ）、及び例えば軽減されたサーチ方法について増加した信号・ノイズ比である「ペナルティ」を、アニメーション、音楽ビデオ、ニュース、一般的なスポーツ、ケーブルテレビのスポーツチャンネル、ケーブルテレビの映画チャンネル、及び一般的な、すなわち典型的なケーブルテレビ信号の、複数の例となる映像信号について比較している。

図５は、図３の方法２０４の第１の例の更なる詳細を示すフローチャートである。この最初の例は、表１の例Ａに対応し、sub-（８×８）モードにおける参照フレームの軽減方法を含む。例えば、Ｎ個の参照フレームの全てが３５０において、（８×８）ピクセルのサブブロックのデータの符号化のためにサーチされる。特定の参照フレーム１７４が選択される。例えば（８×８）ピクセルのサブブロックの符号化につき最小のコスト関数値を持つフレームｊが選択される。表１のシミュレーションデータでは、Ｎは５個の参照フレームである。次に３５２において、シミュレートされた符号化器１１０は、（８×８）ピクセルのブロックのサブブロック（例えば（８×４）、（４×４）、（４×８）ピクセルのブロック）のデータの符号化のために、選択されたフレームｊ内のみをサーチする。

図６は、図３の方法２０４の第２の例の更なる詳細を示すフローチャートである。第２の例は、表１における例Ｂに対応し、（１６×８）及び（８×１６）ピクセルのブロックのデータの符号化のためにサーチされた参照フレームを削減する方法を備える。例えば３６０において符号化器１１０は、（１６×１６）ピクセルのブロックのデータの符号化のためにＮ個の参照フレーム内をサーチし、（１６×１６）ピクセルのブロックの符号化につき小さい値のコスト関数を与えるフレームｊを特定する。最小値は、最小の計算されたコスト値となり得る。次に３６２において、（１６×１６）ピクセルのブロックにおける（１６×８）及び（８×１６）ピクセルのサブブロックについて、符号化器１１０はデータ符号化のために参照フレームｊ内のみをサーチする。

図７は、図３の方法２０４の第３の例の更なる詳細を示すフローチャートである。第３の例は例Ｃに対応し、（１６×８）、（８×１６）、（８×８）ピクセルのブロック、及びサブ（８×８）ピクセルのブロックを符号化するために使用される参照フレームを削減する方法を備える。例Ｃの方法は、選択された参照フレームｊ内のみをサーチすることにより（１６×８）及び（８×１６）ピクセルのブロックのサーチを軽減する、図６の項目３６０、３６２に関連する動作を含む。次に、３６２において（１６×８）及び（８×１６）ピクセルのブロックについて削減された参照フレームに基づいて符号化コストを計算した後、符号化器１１０は図６の３７４において、（１６×８）及び（８×１６）ピクセルのブロックにおける（８×８）ピクセルのサブブロックの各々について、選択された参照フレームｊに時間的に隣接する参照フレームのセット（例えば、（８×８）ピクセルのサブブロックについて１フレームの範囲、すなわち、フレーム（０及びｊ−１の大きい方）乃至フレーム（Ｎ及びｊ＋１の小さい方）の参照フレームのセット）内をサーチする。３７８に移行して符号化器１１０は、（８×８）ピクセルの各ブロックについて最小の符号化コストを有する参照フレームｉを選択する。次に、（８×８）ピクセルのブロックのサブブロックにつき、符号化器１１０はデータ符号化のために参照フレームｉ内のみをサーチする。

表１のシミュレーションデータは、適応フレーム符号化及び（３２×３２）ピクセルのサーチ範囲を仮定した際に得られた。

図示した３つの例は、参照フレームサーチの複雑さと符号化の質との間での、異なるトレードオフの関係を与える。これらの間で、例Ｃの方法が、約０．１５ｄＢに過ぎないＰＳＮＲの損失で、最も低い複雑さを有する。

上記の観点から、本発明が、映像データのようなマルチメディアデータの符号化の問題を解決することを理解するだろう。例えば、一側面に従った、参照フレームの軽減されたサーチは、映像の忠実さをほとんど損なうことなく、映像符号化の計算の複雑さを低減する。従って、映像符号化器は低電力、低レイテンシ、及び／または簡便なプロセッサ及び関連する電子機器を用いることが出来る。

当業者は、本明細書で開示された側面に関連して述べられた種々の例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップが、電子的なハードウェア、コンピュータソフトウェア、またはこれらの組み合わせによって実装され得ることを理解するだろう。ハードウェアとソフトウェアとが交換可能なことを明瞭に例示するために、種々の例示的な要素、ブロック、モジュール、回路、及びステップが、全般的にそれらの機能性に関して上記で述べられてきた。そのような機能性がハードウェアで実装されるかハードウェアで実装されるかは、システム全体に課せられた設計の制約や、個々のアプリケーションに依存する。当業者は、個々のアプリケーションについて、様々な方法によって、述べられた機能性を実装し得る。しかし、そのような実装の判断は、本発明の範囲から逸脱するものとして解釈されるべきでは無い。

本明細書に開示された側面に関連して説明された種々の例示的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイシグナル（ＦＰＧＡ）またはその他のプログラマブルな論理回路、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェア要素、または本明細書で述べられた機能を実行するように設計されたこれらの組み合わせによって、実行または実装され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代わりにプロセッサは従来の任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであっても良い。プロセッサはまた、ＤＳＰとマイクロプロセッサとの組み合わせなど、演算デバイスの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと接続された１つまたはそれ以上のマイクロプロセッサ、または他のそのような構成として、実装され得る。

本明細書に開示された側面に関連して述べられたアルゴリズムまたは方法のステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはこれらの２つの組み合わせにおいて、直接的に実施され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または技術的に知られたその他の形態の記憶媒体に保持され得る。典型的な記憶媒体は、この記憶媒体から情報を読み出し、またこの記憶媒体に情報を書き込むことが出来るプロセッサのようなプロセッサに接続される。またはその代わりに、この記憶媒体はプロセッサと一体化されても良い。このプロセッサと記憶媒体は、ＡＳＩＣ内に備えられ得る。ＡＳＩＣはユーザ機器に備えられ得る。代わりに、プロセッサと記憶媒体は、ユーザ機器のディスクリート要素として備えられても良い。

開示された側面の上記説明により、当業者による本発明の構成及び使用が可能となる。当業者には、これらの側面の種々の変形が容易に明らかであろう。そして本明細書に定義された総括的な本質は、本発明の精神または範囲を超えない範囲で、他の形態に適用し得る。よって本発明は、本明細書に示された側面に限定されることを意図されるものでは無いが、本明細書に開示された本質及び新規な点に合致する最大の範囲によって与えられる。

上記の詳細な説明では、種々の側面に適用された発明の新規な点について示され、説明され、指摘された。しかし、示されたデバイスまたはプロセスの形態及び詳細についての省略、置換、及び変更が、本願の思想を逸脱しない範囲で、当業者によりなされ得ることが理解されるだろう。当然ながら本発明は、ある特徴が、別のものとは別個に使用されまたは実行され得る際、本発明で説明された特徴及び効果の全てを与えない構成によって実施され得る。本願の範囲は、上記説明よりもむしろ添付の特許請求の範囲によって示される。特許請求の範囲と同等な意味及び範囲内で生じる全ての変更は、その範囲内のものとして捉えられる。
[1]フレームの一部領域を、複数の参照フレームと比較することであって、前記フレームの前記一部領域が複数の小領域を備えることと、前記比較に基づいて、前記複数の参照フレームから参照フレームを選択することと、前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を処理することとを備える、マルチメディアデータの処理方法。
[2]前記参照フレームを選択することは、前記参照フレームのサブセットを選択することを備え、少なくとも一つの前記小領域を処理することは、前記参照フレームの前記サブセットに基づく、[0]記載の方法。
[3]前記少なくとも一つの前記小領域を処理することは、前記参照フレームの少なくとも一つの前記サブセットを選択することと、少なくとも一つの前記サブセットに少なくとも部分的に基づいて、少なくとも一つの前記小領域を処理することと、を備える、[0]記載の方法。
[4]前記複数の参照フレームは時間的な順序を定義し、前記参照フレームの前記サブセットは、時間的に順番に隣接する少なくとも２つのフレームを備える、[0]記載の方法。
[5]少なくとも一つの前記小領域の処理は、少なくとも一つの前記小領域を、前記選択された参照フレームの少なくとも一部領域と比較することを備える、[0]記載の方法。
[6]前記一部領域はマクロブロックを備え、前記小領域はサブブロックを含む、[0]記載の方法。
[7]前記一部領域はサブブロックを備え、前記小領域は前記サブブロックのサブブロックを備える、[0]記載の方法。
[8]前記フレームの少なくとも前記一部領域につき、符号化のメトリックを計算することを更に備える、[0]記載の方法。
[9]前記参照フレームを選択することは、前記符号化のメトリックに少なくとも部分的に基づく、[8]記載の方法。
[10]前記符号化のメトリックは、符号化データのサイズと、符号化データの歪みの少なくともいずれかに基づく、[8]記載の方法。
[11]フレームの一部領域を複数の参照フレームと比較する手段であって、前記フレームの前記一部領域が複数の小領域を備える手段と、前記比較に基づいて、前記複数の参照フレームから参照フレームを選択する手段と、前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を処理する手段とを備える、マルチメディアデータの処理装置。
[12]前記選択する手段は、前記参照フレームのサブセットを選択するように構成され、前記処理する手段は、前記サブセットに基づいて少なくとも一つの前記小領域を処理するように構成される、[11]記載の装置。
[13]前記処理する手段は、前記参照フレームの少なくとも一つの前記サブセットを選択し、少なくとも一つの前記サブセットに少なくとも部分的に基づいて、少なくとも一つの前記小領域を処理する、ように構成される、[12]記載の装置。
[14]前記複数の参照フレームは時間的な順序を定義し、前記参照フレームの前記サブセットは、時間的に順番に隣接する少なくとも２つのフレームを備える、[12]記載の装置。
[15]前記処理する手段は更に、少なくとも一つの前記小領域を、前記選択された参照フレームの少なくとも一部領域と比較するように構成される、[11]記載の装置。
[16]前記一部領域はマクロブロックを備え、前記小領域はサブブロックを含む、[11]記載の装置。
[17]前記一部領域はサブブロックを備え、前記小領域は前記サブブロックのサブブロックを備える、[11]記載の装置。
[18]前記選択する手段は更に、前記フレームの少なくとも前記一部領域につき、符号化のメトリックを計算するように構成される、[11]記載の装置。
[19]前記処理する手段は更に、少なくとも一つの前記小領域を、前記選択された参照フレームの少なくとも一部領域と比較するように構成される、[11]記載の装置。
[20]前記選択する手段は更に、前記符号化のメトリックに少なくとも部分的に基づいて、前記参照フレームを選択するように構成される、[18]記載の装置。
[21]前記選択する手段は、前記符号化のメトリックに少なくとも部分的に基づいて、前記参照フレームを選択する、[18]記載の装置。
[22]前記符号化のメトリックは、符号化データのサイズと、符号化データの歪みの少なくともいずれかに基づく、[18]記載の装置。
[23]フレームの一部領域を複数の参照フレームと比較するように構成された比較器であって、前記フレームの前記一部領域が複数の小領域を備える比較器と、前記比較に基づいて、前記複数の参照フレームから参照フレームを選択するように構成されたセレクタと、前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を比較するように構成されたプロセッサとを備える、マルチメディアデータの処理装置。
[24]前記セレクタは、前記参照フレームのサブセットを選択するように構成され、前記プロセッサは、前記サブセットに基づいて少なくとも一つの前記小領域を処理するように構成される、[23]記載の装置。
[25]前記プロセッサは、前記参照フレームの少なくとも一つの前記サブセットを選択し、少なくとも一つの前記サブセットに少なくとも部分的に基づいて、少なくとも一つの前記小領域を処理する、ように構成される、[24]の装置。
[26]前記複数の参照フレームは時間的な順序を定義し、参照フレームの前記サブセットは、時間的に順番に隣接する少なくとも２つのフレームを備える、[24]記載の装置。
[27]前記一部領域はマクロブロックを備え、前記小領域はサブブロックを含む、[23]記載の装置。
[28]前記一部領域はサブブロックを備え、前記小領域は前記サブブロックのサブブロックを備える、[23]記載の装置。
[29]前記セレクタは更に、前記フレームの少なくとも前記一部領域につき、符号化のメトリックを計算するように構成される、[23]記載の装置。
[30]前記セレクタは、前記符号化のメトリックに少なくとも部分的に基づいて、前記参照フレームを選択するように構成される、[23]記載の装置。
[31]前記セレクタは更に、前記符号化のメトリックに少なくとも部分的に基づいて、前記参照フレームを選択するように構成される、[23]記載の装置。
[32]前記符号化のメトリックは、符号化データのサイズと、符号化データの歪みの少なくともいずれかに基づく、[23]記載の装置。
[33]フレームの一部領域であって、複数の小領域を備える前記一部領域を、複数の参照フレームと比較し、前記比較に基づいて、前記複数の参照フレームから参照フレームを選択し、且つ前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を処理する構成を備えたマルチメディアデータプロセッサ。
[34]マルチメディアデータを処理する命令を備えた機器読み取り可能な媒体であって、実行時において前記命令は機器に対して、フレームの一部領域であって、複数の小領域を備える前記一部領域を、複数の参照フレームと比較させ、前記比較に基づいて、前記複数の参照フレームから参照フレームを選択させ、且つ前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を処理させる機器読み取り可能な媒体。

Claims (41)

1. フレームの一部領域を、複数の参照フレームと比較することであって、前記フレームの前記一部領域が複数の小領域を備えることと、
   前記比較に基づいて、前記複数の参照フレームから、前記フレームの前記一部領域についての参照フレームを選択することと、
   前記フレームの前記一部領域についての前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を処理することと
   を備え、前記少なくとも一つの前記小領域を処理することは、
   前記フレームの前記一部領域についての前記選択された参照フレームに基づいて前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第１サブセットと、前記複数の小領域のうちの第１小領域とを、比較することと、
   前記フレームの前記一部領域についての前記選択された参照フレームに基づいて前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第２サブセットと、前記複数の小領域のうちの第２小領域とを、比較することと
   を備え、前記第１サブセットは前記第２サブセットと異なる、マルチメディアデータの処理方法。
2. 一つまたはそれ以上の参照フレームの第１サブセットと、前記複数の小領域のうちの第１小領域とを比較することは、前記複数の小領域のうちの前記第１小領域と、前記フレームの前記一部領域について選択された前記参照フレームとを比較することを備え、
   一つまたはそれ以上の参照フレームの第２サブセットと、前記複数の小領域のうちの第２小領域とを比較することは、前記複数の小領域のうちの前記第２小領域と、前記フレームの前記一部領域について選択された前記参照フレーム及び少なくとも一つの追加参照フレームと、を比較することを備える、請求項１記載の方法。
3. 前記少なくとも一つの前記小領域を処理することは、
   参照フレームの前記第１及び第２サブセットの少なくともいずれかに基づいて、前記第１及び第２小領域を処理すること
   を更に備える、請求項１記載の方法。
4. 前記複数の参照フレームは時間的な順序を定義し、前記参照フレームの前記第１及び第２サブセットの少なくともいずれかは、時間的に順番に隣接する少なくとも２つのフレームを備える、請求項１記載の方法。
5. 前記少なくとも一つの前記小領域の処理は、前記少なくとも一つの前記小領域を、前記選択された参照フレームの少なくとも一部領域と比較することを備える、請求項３記載の方法。
6. 前記一部領域はマクロブロックを備え、前記小領域はサブブロックを含む、請求項１記載の方法。
7. 前記一部領域はサブブロックを備え、前記小領域は前記サブブロックのサブブロックを備える、請求項１記載の方法。
8. 前記フレームの少なくとも前記一部領域につき、符号化のメトリックを計算することを更に備え、前記符号化のメトリックは、コスト関数を含む、請求項１記載の方法。
9. 前記参照フレームの第１及び第２サブセットは、前記符号化のメトリックに少なくとも部分的に基づく、請求項８記載の方法。
10. 前記符号化のメトリックは、符号化データのサイズと、符号化データの歪みの少なくともいずれかに基づく、請求項８記載の方法。
11. フレームの一部領域を複数の参照フレームと比較する手段であって、前記フレームの前記一部領域が複数の小領域を備える手段と、
    前記比較に基づいて、前記複数の参照フレームから、前記フレームの前記一部領域についての参照フレームを選択する手段と、
    前記フレームの前記一部領域についての前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を処理する手段と
    を備え、前記処理する手段は、
    前記フレームの前記一部領域についての前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第１サブセットと、前記複数の小領域のうちの第１小領域とを、比較する手段と、
    前記フレームの前記一部領域についての前記選択された参照フレームに基づいて前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第２サブセットと、前記複数の小領域のうちの第２小領域とを、比較する手段と
    を備え、前記第１サブセットは前記第２サブセットと異なる、マルチメディアデータの処理装置。
12. 一つまたはそれ以上の参照フレームの第１サブセットと、前記小領域のうちの第１小領域とを比較する手段は、前記複数の小領域のうちの前記第１小領域と、前記フレームの前記一部領域について選択された前記参照フレームとを比較するように構成され、
    一つまたはそれ以上の参照フレームの第２サブセットと、前記小領域のうちの第２小領域とを比較する手段は、前記複数の小領域のうちの前記第２小領域と、前記フレームの前記一部領域について選択された前記参照フレーム及び少なくとも一つの追加参照フレームと、を比較するように構成される、請求項１１記載の装置。
13. 前記処理する手段は更に、
    前記参照フレームの第１及び第２サブセットの少なくともいずれかに基づいて、前記第１及び第２小領域を処理する、ように構成される、請求項１１記載の装置。
14. 前記複数の参照フレームは時間的な順序を定義し、前記参照フレームの前記第１及び第２サブセットの少なくともいずれかは、時間的に順番に隣接する少なくとも２つのフレームを備える、請求項１１記載の装置。
15. 前記処理する手段は更に、少なくとも一つの前記小領域を、前記選択された参照フレームの少なくとも一部領域と比較するように構成される、請求項１３記載の装置。
16. 前記一部領域はマクロブロックを備え、前記小領域はサブブロックを含む、請求項１１記載の装置。
17. 前記一部領域はサブブロックを備え、前記小領域は前記サブブロックのサブブロックを備える、請求項１１記載の装置。
18. 前記選択する手段は更に、前記フレームの少なくとも前記一部領域につき、符号化のメトリックを計算するように構成されており、前記符号化のメトリックは、コスト関数を含む、請求項１１記載の装置。
19. 前記選択する手段は更に、前記符号化のメトリックに少なくとも部分的に基づいて、前記参照フレームを選択するように構成される、請求項１８記載の装置。
20. 前記参照フレームの第１及び第２サブセットは、前記符号化のメトリックに少なくとも部分的に基づいて選択される、請求項１８記載の装置。
21. 前記符号化のメトリックは、符号化データのサイズと、符号化データの歪みの少なくともいずれかに基づく、請求項１８記載の装置。
22. フレームの一部領域を複数の参照フレームと比較するように構成された比較器であって、前記フレームの前記一部領域が複数の小領域を備える比較器と、
    前記比較に基づいて、前記複数の参照フレームから、前記フレームの前記一部領域についての参照フレームを選択するように構成されたセレクタと、
    を備え、前記比較器は、
    前記フレームの前記一部領域についての前記選択された参照フレームに基づいて前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第１サブセットと、前記複数の小領域のうちの第１小領域とを比較し、
    前記フレームの前記一部領域についての前記選択された参照フレームに基づいて前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第２サブセットと、前記複数の小領域のうちの第２小領域とを比較し、
    前記第１サブセットは前記第２サブセットと異なる、マルチメディアデータの処理装置。
23. 前記比較器は更に、
    前記複数の小領域のうちの前記第１小領域と、前記フレームの前記一部領域について選択された前記参照フレームとを比較し、前記複数の小領域のうちの前記第１小領域と、前記フレームの前記一部領域について選択された前記参照フレーム及び少なくとも一つの追加参照フレームとを比較するように構成される、請求項２２記載の装置。
24. 前記参照フレームの第１及び第２サブセットに基づいて、前記第１及び第２小領域を処理する、ように構成されたプロセッサを更に備える、請求項２２記載の装置。
25. 前記複数の参照フレームは時間的な順序を定義し、前記参照フレームの前記第１及び第２サブセットの少なくともいずれかは、時間的に順番に隣接する少なくとも２つのフレームを備える、請求項２２記載の装置。
26. 前記一部領域はマクロブロックを備え、前記小領域はサブブロックを含む、請求項２２記載の装置。
27. 前記一部領域はサブブロックを備え、前記小領域は前記サブブロックのサブブロックを備える、請求項２２記載の装置。
28. 前記セレクタは更に、前記フレームの少なくとも前記一部領域につき、符号化のメトリックを計算するように構成されており、前記符号化のメトリックは、コスト関数を含む、請求項２２記載の装置。
29. 前記参照フレームの第１及び第２サブセットは、前記符号化のメトリックに少なくとも部分的に基づいて選択される、請求項２８記載の装置。
30. 前記符号化のメトリックは、符号化データのサイズと、符号化データの歪みの少なくともいずれかに基づく、請求項２８記載の装置。
31. プログラムを実行することにより、
    フレームの一部領域であって、複数の小領域を備える前記一部領域を、複数の参照フレームと比較するモジュールと、
    前記比較に基づいて、前記複数の参照フレームから、前記フレームの前記一部領域についての参照フレームを選択するモジュールと、
    前記フレームの前記一部領域についての前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を処理するモジュールと
    して機能する構成を備え、前記処理するモジュールは、
    前記フレームの前記一部領域についての、前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第１サブセットと、前記複数の小領域のうちの第１小領域とを比較し、
    前記フレームの前記一部領域についての前記選択された参照フレームに基づいて前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第２サブセットと、前記複数の小領域のうちの第２小領域とを比較する
    ように構成され、前記第１サブセットは前記第２サブセットと異なるマルチメディアデータプロセッサ。
32. マルチメディアデータを処理する命令を記録した機器読み取り可能な媒体であって、実行時において前記命令は機器に対して、
    フレームの一部領域であって、複数の小領域を備える前記一部領域を、複数の参照フレームと比較させ、
    前記比較に基づいて、前記複数の参照フレームから、前記フレームの前記一部領域についての参照フレームを選択させ、且つ
    前記フレームの前記一部領域についての前記選択された参照フレームに基づいて、少なくとも一つの前記小領域を処理させ、
    前記少なくとも一つの前記小領域の処理は、
    前記フレームの前記一部領域についての、前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第１サブセットと、前記複数の小領域のうちの第１小領域とを、比較することと、
    前記フレームの前記一部領域についての前記選択された参照フレームに基づいて前記複数の参照フレームから選択された一つまたはそれ以上の参照フレームの第２サブセットと、前記複数の小領域のうちの第２小領域とを、比較することと
    を備え、前記第１サブセットは前記第２サブセットと異なる機器読み取り可能な媒体。
33. 前記第１小領域は第１サイズを有し、前記第２小領域は第２サイズを有し、前記第１サイズは前記第２サイズと異なり、
    前記方法は、前記第１及び第２サイズに基づいて、前記参照フレームの第１及び第２サブセットを選択すること、を更に備える請求項１または２記載の方法。
34. 前記第１小領域は第１サイズを有し、前記第２小領域は第２サイズを有し、前記第１サイズは前記第２サイズと異なり、
    前記参照フレームの第１及び第２サブセットは、前記第１及び第２サイズに基づいて選択される、請求項１１または１２記載の装置。
35. 前記第１小領域は第１サイズを有し、前記第２小領域は第２サイズを有し、前記第１サイズは前記第２サイズと異なり、
    前記参照フレームの第１及び第２サブセットは、前記第１及び第２サイズに基づいて選択される、請求項２２または２３記載の装置。
36. 前記第１及び第２サブセットの少なくともいずれか一方は、前記フレームの前記一部領域についての前記選択された参照フレームを含む、請求項１記載の方法。
37. 前記第１及び第２サブセットの少なくともいずれか一方は、前記フレームの前記一部領域についての前記選択された参照フレームを含む、請求項１１記載の装置。
38. 前記第１及び第２サブセットの少なくともいずれか一方は、前記フレームの前記一部領域についての前記選択された参照フレームを含む、請求項２２記載の装置。
39. 前記第１及び第２サブセットは、少なくとも一つの共通の参照フレームを含む、請求項１記載の方法。
40. 前記第１及び第２サブセットは、少なくとも一つの共通の参照フレームを含む、請求項１１記載の装置。
41. 前記第１及び第２サブセットは、少なくとも一つの共通の参照フレームを含む、請求項２２記載の装置。

Images