JP5301277B2

JP5301277B2 - マルチメディア符号化のためのモード選択技術

Info

Publication number: JP5301277B2
Application number: JP2008533637A
Authority: JP
Inventors: ティアン、タオ; ラビーンドラン、ビジャヤラクシュミ・アール．
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2005-09-27
Filing date: 2006-09-27
Publication date: 2013-09-25
Anticipated expiration: 2026-09-27
Also published as: WO2007038722A3; US20070071105A1; KR20080067631A; CN101313587B; US8446954B2; KR100957316B1; TW200746834A; AR055186A1; EP1938617A2; CN101313587A; WO2007038722A2; JP2009510935A

Description

関連技術

（特許法第３５条１１９項に基づく優先権主張）
本出願は、２００５年９月２７日提出の仮出願第６０／７２１，４１８号、「仮説検定に基づいた高速インターモード決定（FAST INTER MODE DECISION BASED ON HYPOTHESIS TEST）」の優先権を主張する。

本開示は、マルチメディア符号化に関し、より具体的にはマルチメディアシーケンスのフレーム内のマクロブロックの符号化モードの選択に関する。

マルチメディア機能は、ディジタルテレビ、ディジタルダイレクト放送システム、無線通信デバイス、パーソナルディジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ディジタルカメラ、ディジタル記録デバイス、セル式電話または衛星無線電話などを含む幅広い範囲の装置に組み込むことができる。ディジタルマルチメディア符合化は、フルモーションマルチメディアシーケンスを作成、変更、送信、格納、記録、再生する上で、従来のアナログシステムを著しく向上させることができる。例えば放送ネットワークはマルチメディア符合化を使用することで、無線加入者デバイスへの、マルチメディアシーケンスの１または複数チャネルの配信を促進することができる。

ディジタルマルチメディアシーケンスを符合化するために、多数かつ多様なマルチメディア符合化標準が確立されてきた。例えば、動画エキスパートグループ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４を含む多数の標準を開発してきた。これ以外の標準には、国際電気通信連合（ＩＴＵ）のＨ．２６３標準、カリフォルニア州キューパティーノにあるアップルコンピュータ社（ＡｐｐｌｅＣｏｍｐｕｔｅｒ）が開発したＱｕｉｃｋＴｉｍｅ（登録商標）技術、ワシントン州レッドモンドにあるマイクロソフト社（ＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎ）ＶｉｄｅｏｆｏｒＷｉｎｄｏｗｓ（登録商標）、インテル社（ＩｎｔｅｌＣｏｒｐｏｒａｔｉｏｎ）が開発したＩｎｄｅｏ（商標）、ワシントン州シアトルにあるリアルネットワーク社（ＲｅａｌＮｅｔｗｏｒｋｓ、Ｉｎｃ．）からのＲｅａｌＶｉｄｅｏ（登録商標）、スーパーマック社（ＳｕｐｅｒＭａｃ，Ｉｎｃ．）が開発したＣｉｎｅｐａｋ（登録商標）が含まれる。さらに、新しいＩＴＵＨ．２６４標準および多数の占有された標準を含む新規の標準の出現および発展が後を切らない。ＩＴＵＨ．２６４標準はまた、ＭＰＥＧ−４のパート１０「アドバンスト・オーディオ・コーディング」にて述べられている。

多くのマルチメディア符合化標準が、マルチメディアフレームの効果的な送信を行うために送信されるべきデータの全体容量を低減するデータ圧縮をサポートしている。例えば、ＭＰＥＧ標準、ＩＴＵＨ．２６３標準およびＩＴＵＨ．２６４標準は、フレーム間圧縮を提供するために、時間または空間フレーム相関と呼ばれる連続したビデオフレーム間の類似性を利用した符合化技術をサポートする。このようなフレーム間圧縮は、典型的には、モーションサーチと動き補正符合化技術を介して達成される。これに加えて、いくつかのマルチメディア符合化技術は、空間またはイントラフレーム相関と呼ばれるフレーム内の類似性を利用してビデオフレームの圧縮を行う。

殆どのフレーム間圧縮技術は、マルチメディアフレームをデータのブロックに分割して、これらのブロックを同じマルチメディアシーケンス内の別のフレームのブロックと相関させるブロックベースの符合化を利用する。現在のブロックと別のフレームに予測されるブロックとの差を符合化することにより、データ圧縮が達成される。典型的に、エンコーダは、送信するマルチメディアフレームを、「マクロブロック」と呼ばれる複数ブロックのデータに分割する。このマクロブロックがさらにパーティションまたはサブパーティションに細分されてもよい。ＩＴＵＨ．２６４標準は、１６×１６マクロブロック、１６×８パーティション、８×１６パーティション、８×８パーティション、８×４サブパーティション、４×８サブパーティション、４×４サブパーティションをサポートする。他の標準は、サイズの異なるブロック、マクロブロック、パーティションおよび／またはサブパーティションをサポートすることができる。

エンコーダは、マルチメディアフレーム内の各ブロック（マクロブロック、パーティション、サブパーティション）について、１以上の直前のビデオフレーム（または後続のフレーム）の類似したサイズのブロックを探索することにより、「予測ブロック」と呼ばれる類似したブロックを識別する。現在のビデオブロックを、別フレームのビデオブロックと比較する処理は、一般にモーションサーチと呼ばれている。符合化する所与のブロックに「予測ブロック」が識別されると、エンコーダが、現在のブロックと予測ブロックとの間の差を符合化することができる。この、現在のブロックと予測の間の差を符合化する処理は、動き補正と呼ばれる処理を含んでいる。動き補正は、符合化する現在のブロックと予測ブロックとの間の差を示す差分ブロックを作り出すことを含む。具体的には、動き補正とは運動ベクトル使用して予測ブロックを取り出し、次に、入力ブロックから予測ブロックを減算して差分ブロックを生成する作用を指すことが普通である。

動き補正が差分ブロックを作成した後に、一般には、差分ブロックの符合化をさらに進めるための一連の追加の符合化ステップが実行される。これらの追加的ステップは、離散コサイン変換、スカラ量子化、ラスタ／ジグザグ並べ替え、ランレングス符合化、ホフマン符合化などを含む。符合化された差分ブロックは、先行フレーム（または後続フレーム）からのどのブロックを符合化に使用したかを示す運動ベクトルと共に送信することができる。デコーダは、この運動ベクトルと符合化された差分ブロックを受信し、受信した情報を復号してマルチメディアシーケンスを再現する。

符合化処理を向上させるために、多くの場合、モーションサーチ処理中にモード決定が行われる。これらのモード決定は、レート制御アルゴリズムの一部であってよく、また、どのようにマクロブロックを分割または細分して所望の速度歪みバランスを確実に達成するかを決定するために使用できる。本開示では、「モード選択」という表現は、マクロブックなどの１以上の実施可能な符合化モードの選択を指す。例えば、マクロブロックは１個の１６×１６ブロックに符合化されるべきかどうか、あるいは、マクロブロックに２個またはこれ以上のパーティションまたはサブパーティションを定義すべきかどうかを指す。残念なことに、ビデオシーケンスの全てのマクロブロックに対して実施可能な全ての符合化モードの全探索を行うことは、多くのデバイスまたはマルチメディア符合化状況について計算上禁止されている。

本開示は、マルチメディアシーケンスのマルチメディアフレームのマクロブロック（またはマルチメディアデータの別サイズのブロック）を符合化している最中にモード選択決定を向上させる技術について記述する。モーションサーチ中に、マクロブロックの符合化モードを決定することができるので、所望の符合化レートと許容可能なレベルの歪み（即ち、許容可能なレート歪み）を達成することができる。本開示は、そうでなければ実行されたであろうマクロブロックの非常に起こりそうにもないモードに関連したモード探索をおそらく排除するために、マルチメディアシーケンスに対して実行できる事前処理手順について記述する。

この技術は、各マクロブロックに対して詳細なメトリックを利用してもよく、また、この詳細なメトリックは、所与のマクロブロックを均一な視覚的品質で符合化するのに必要なビット数に関連する。この技術は、２組またはこれ以上の組のモードを定義してもよく、また、これらの組の一方を選択することができる。したがって、選択されていない組のモードは、その組のモードが所与のマクロブロックにとって非常にありそうもないものである場合には、排除することができる。いくつかのケースでは、この技術は詳細なメトリックを含んだ確率方程式を使用する。本開示では、２組のモード（インタープレナー、インターディテール）の例を定義しているが、本開示の技術は必ずしもこれに限定されるものではない。

記述した技術は、隣接するブロックに関連したモード情報を決定してもよく、また、このモード情報を使用することにより現在のマクロブロックのモード選択が向上する。さらに、各モード選択に続いて確率方程式内の統計値を更新することができる。この確率方程式への更新は、後続のマクロブロックのモード選択決定に使用することができる。マルチメディアシーケンスのフレーム中のマクロブロックのモード選択の間に確率方程式の統計値を更新することにより、この技術はマルチメディアシーケンスのコンテンツに適合してもよく、これによりマルチメディアシーケンスに対してモード選択が向上する。

いくつかの実施形態では、本開示はマルチメディアデータの処理方法を提供し、この処理方法は、１ブロックのマルチメディアフレームの少なくとも２組の実施可能なマルチメディア符合化モードの中から、１組のマルチメディア符合化モードを、ブロックに関連した詳細なメトリックと、ブロックに隣接したブロックに関するモード情報とに基づいて選択することを備えている。

いくつかの実施形態では、本開示はマルチメディアデータを処理する装置を提供し、この装置は、１ブロックのマルチメディアフレームのための少なくとも２組の実施可能なマルチメディア符合化モードの中から１組のマルチメディア符合化モードを、ブロックに関する詳細なメトリックと、ブロックに隣接するブロックに関連したモード情報とに基づいて選択するエンコーダを備える。

いくつかの実施形態では、本開示はマルチメディアデータを処理するプロセッサを提供し、このプロセッサは、マルチメディアフレームのブロックのための少なくとも２組の実施可能なマルチメディア符合化モードからマルチメディア符合化モードを、ブロックに関連した詳細なメトリックと、ブロックに隣接するブロックに関連したモード情報とに基づいて選択するように構成されている。

いくつかの実施形態では、本開示はマルチメディアデータを処理する装置を提供し、この装置は、１ブロックのマルチメディアフレームについて、少なくとも２組の実施可能なマルチメディア符合化モードの中から１組のマルチメディア符合化モードを、ブロックに関する詳細なメトリックと、ブロックに隣接するブロックに関連したモード情報とに基づいて選択する手段を備える。

本明細書で記述した技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実現することができる。ソフトウェアにて実現する場合には、このソフトウェアはディジタル信号プロセッサ（ＤＳＰ）または別タイプのプロセッサ上で実行される。この技術を実行するソフトウェアは、まず、コンピュータ読み取り可能媒体のような機械読み取り可能媒体内に格納され、次に、プロセッサ、装置、またはこれ以外の機械内でロードおよび実行されることで、本明細書で記述したモード選択が可能となる。

したがって、本開示はまた、マルチメディアフレームのブロックの少なくとも２組の実施可能なマルチメディア符合化モードの中から１組のマルチメディア符合化モードを、ブロックに関連した詳細なメトリックと、このブロックに隣接したブロックに関連するモード情報とに基づいて、機械に選択させる実行時にマルチメディアデータを処理する命令を備えた機械読み取り可能媒体を意図する。

様々な実施形態の追加の詳細について、添付の図面と以降の記述にて述べる。これ以外の特徴、目的、利点は記述、図面、請求項から明白となる。

詳細な説明

本開示は、マルチメディアシーケンスのマルチメディアフレームのマクロブロックなどの符号化中におけるモード選択決定を向上させる技術について記述している。本開示では、用語「モード選択」は、マクロブックまたは別サイズのマルチメディアデータブロックの１以上の実施可能な符号化モードの選択を指し、例えば、マクロブロックを１つの１６×１６ブロックと符号化するべきか、あるいはマクロブロックに２つまたはこれ以上のパーティションまたはサブパーティションを定義すべきかを指す。このようなモード決定はモーションサーチ処理中に行われることが多く、また、一連のフルマルチメディアフレームの１フレームに対して望ましいレート歪みのバランスを確保するために、マクロブロックをどのように分割あるいは細分するべきかを決定するためのレート制御アルゴリズムの一部であってよい。マクロブロックに選択したモードは、一般には、パーティションおよび／またはサブパーティション、即ちパーティション、サブパーティション、あるいは、パーティションおよびサブパーティションに関連したマクロブロックの粒度を定義する。しかし、本開示のモード選択技術は必ずしも具体的なサイズの任意のマクロブロック、ブロック、パーティション、サブパーティションに限定されるものではない。

本開示によれば、モーションサーチの最中に、マルチメディアシーケンスに対して事前処理手順を実行することで、マクロブロックの非常にありそうもないモードに関連したモード検索を排除できる。記載された技術は、各マクロブロックに詳細なメトリック(metric)を利用でき、またこの詳細なメトリックは、所与のマクロブロックを均一な視覚的品質で符号化すべきビット数に関連していてよい。この技術はまた、隣接するブロックに関連したモード情報であってよく、さらに、このモード情報を使用して現在のマクロブロックのモード選択を向上させることができる。

この技術は少なくとも２組のモードを定義し、これらの組のうち一方を選択することができる。本開示では、２組のモード（インタープレナー、インターディテール）の一例を定義しているが、本開示の技術はこれに限定されるものではない。いずれのケースでも、選択されなかった組のモードは、その組のモードが所与のマクロブロックにとって非常にありそうもないとき、このモードは考慮の対象から排除される。この技術は、詳細なメトリックと、近隣のブロックに関するモード選択情報とを含んだ確率方程式を使用することができる。

さらに、確率方程式における統計値を各モード選択に従って更新することができ、また、確率方程式への更新を使用して後続のマクロブロックのモード選択決定を行うことができる。こうすることで、マルチメディアシーケンスに対してモード選択を向上させる目的で、本技術を、所与のマルチメディアシーケンスの概念に適合することが可能になる。

図１は、例証的なマルチメディア符号化デバイス１０を図示したブロック図である。マルチメディア符号化デバイス１０は、符号化およびビデオデータの送信のディジタルビデオデバイス概念の一部を形成してもよい。一例として、マルチメディア符号化デバイス１０は、無線加入者デバイスへのマルチメディアシーケンスの１以上のチャネルを放送するための放送デバイスを備えることができる。別の例では、マルチメディア符号化デバイス１０は、例えばビデオ電話（ＶＴ）または他のマルチメディアアプリケーションを容易にするために、マルチメディアシーケンスを他のデバイスに通信することが可能な無線ハンドヘルド式ユニットを備えることができる。

図１に示すように、マルチメディア符号化デバイス１０は、本明細書で記述している１以上の技術を使用してマルチメディアシーケンスを符号化するマルチメディアエンコーダ１２を含む。これに加え、マルチメディア符号化デバイス１０はこれ以外の多数のコンポーネントを含むことができ、例えば、マルチメディアシーケンスを捕獲するビデオキャプチャデバイス１４、マルチメディアシーケンスを格納またはおそらくはアーカイブするメモリ１６、符号化したマルチメディアシーケンスを他のデバイスへ送信する送信機１８を含むことができる。しかし、これら追加のコンポーネントのいくつかまたは全ては、デバイス１０において任意である。マルチメディアエンコーダ１２、ビデオ捕獲デバイス１４、メモリ１６、送信機１８は、通信バス１５などによって通信可能に結合される。

マルチメディアシーケンスは、ビデオ捕獲デバイス１４によって捕獲され、メモリ１６から検索され、または別の方法で取得されてもよい。いずれのケースでも、マルチメディア符号化デバイス１０のマルチメディアエンコーダ１２はマルチメディアシーケンスを符号化するために使用でき、また、この符号化処理を向上させるために、本開示の技術のうち１以上の技術を実現することが可能である。マルチメディア符号化デバイス１０は、ディジタル放送システム、ディジタルテレビ、無線通信デバイス、パーソナルディジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ディジタルカメラ、ディジタル記録装置、セル式電話または衛星無線電話のようなデバイス、あるいは、マルチメディア符号化能力を含んだ任意のデバイスにて実現することができる。マルチメディア符号化デバイス１０は、ＭＰＥＧ−４、ＩＴＵ−ＴＨ．２６３、ＩＴＵ−ＴＨ．２６４、またはこれ以外の、マルチメディアシーケンスのフレーム内のデータのマクロブロックに使用可能ないくつかの符号化モードを提供する符号化基準のようなマルチメディア符号化基準に準拠していてよい。

マルチメディアエンコーダ１２は、いわゆる「チップ組」を備えることができ、また、ハードウェア、ソフトウェア、ファームウェア、および／または１以上のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、またはこれらの様々な組み合わせを含んでいてよい。マルチメディアエンコーダ１２は、ディジタルマルチメディアシーケンスを符号化および復号化するエンコーダ／デコーダ（ＣＯＤＥＣ）を備えていてもよい。さらに、いくつかのケースでは、マルチメディアエンコーダ１２の機能性の全体または一部は、ソフトウェアによって実現されていてもよい。したがって、本開示はまた、実行されると本明細書で記述した技術を機械（プロセッサまたはＤＳＰのような装置）に実行させる命令を備えた機械読み取り可能媒体についても意図する。

マルチメディアエンコーダ１２は、モード選択技術を、相互符号化中にモーションサーチ処理の一部として実行するモード選択ユニット２０を含む。マルチメディアエンコーダ１２はモーションサーチ器／空間推定器２２を含み、これらは統合体または分離体であってよい。マルチメディアエンコーダ１２はまた、統合体または分離体であってよい動き補償器／イントラ予測ユニット２４を含む。探索スペース２５は、予測ベース符号化に使用されるデータを格納するためのメモリユニット、例えば、典型的にはマルチメディアシーケンスの先行フレーム、または先行フレームの一部を表す。最後に、マルチメディアエンコーダ１２は、モーションサーチ処理および動き補正処理中に生成された残留ブロックに対して１以上の残留符号化処理を実行する残留(residual)符号器２６を含む。

符号化処理中に、モーションサーチ器／空間推定器２２が、データの現在のマルチメディアブロックを様々な探索スペース２５内のブロックと比較することにより、予測ブロックを識別する。一般的に、モーションサーチ器／空間推定器２２は、フレーム間符号化にモーションサーチを実行するモーションサーチ器、フレーム内符号化に空間推定を実行する空間推定器、またはモーションサーチと空間推定を実行できる組み合わせユニットを表す。一般に、予測ブロックは、フレーム間相関（または、フレーム内相関）を目的とした、データの現在のマルチメディアブロックとの適切な一致を提供することがわかった候補ブロックであり、これは探索空間内で最も一致に近い候補であってよい。予測ブロックは、モーションサーチ中に評価される、探索空間２５内の多数の候補ブロックのうちの１つである。フレーム内符号化では、モーションサーチ処理は、典型的にマクロブロックの各パーティションおよびサブパーティションに関連して実行される。本開示の技術は、所与のマクロブロックを符号化するためのモード（これはパーティションとサブパーティションの数および形状を定義する）の識別を補助することができる。

符号化するデータの現在のマルチメディアブロックと、探索空間内の候補ブロックとの間を比較するために、モーションサーチ器／空間推定器２２は絶対差の合計を求める（ＳＡＤ）の技術、平方差の合計を求める（ＳＳＤ）技術、またはこれ以外の、ブロックに関する画素強度値への比較技術を実行できる。こうすることで、モーションサーチ器／空間推定器２２が異なる候補ブロックの差分値を決定することができる。一般に、低い差分値は、候補ブロックが符号化されているブロックにより一致し、したがって、高い差分値を生産する他の候補ブロックよりも、モーションサーチ符号化への使用に適した候補であることを示す。適切な一致があれば、データの予測ブロックが識別されてもよい。

モーションサーチ器／空間推定器２２によるブロックの識別が終わると、動き補償器／イントラ予測ユニット２４が剰余を作成する。この剰余は、符号化する現在のマルチメディアブロックとモーションサーチまたは空間推定によって識別された予測ブロックとの間の差分を表す１ブロックのデータである。一般に、動き補償器／イントラ予測ユニット２４は、フレーム内符号化に動き補正を実行する動き補償器、フレーム間符号化に空間補正を実行するイントラ予測ユニット、または、フレーム内またはフレーム間符号化のどちらが使用されているかに応じて、動作不補正またはイントラ予測のいずれかを実行できるユニットの組み合わせを示す。動き補正／イントラ予測ユニット２４は、運動ベクトルを使用して探索空間２５から予測ブロックを取り出し、次に入力ブロックから予測ブロックを減算して剰余を生成する。典型的に、この剰余は、差分ブロックで表されるオリジナルのビデオブロックよりも実質的に低いデータを含み、したがってデータの比較が生じる。

動き補償器／イントラ予測ユニット２４によって剰余が作成された後に、例えば、残留符号器２６は１以上の残留符号化ステップ、例えば離散コサイン変換（ＤＣＴ）、ジグザグ走査、ランレングス符号化、可変長（「ハフマン」）符号化、またはこれ以外の、所与の符号化基準に使用される任意の処理を実行することができる。これ以外の多数の残留符号化ステップの実行も可能である。モーションサーチ処理、動き補正処理、残留符号化処理は、所与のマクロブロックの選択されたモードによって定義された各ブロック（即ち、各マクロブロック、パーティションおよび／またはサブパーティション）に関連して実行される。

本開示によれば、各マクロブロックにとって非常にありそうもないモードに関連したモード探索を排除するために、モーションサーチの最中に、モード選択ユニット２０が、マルチメディアシーケンスのフレームのマクロブロックに事前処理手順を実行する。特に、モード選択ユニット２０がすべてのマクロブロックに対して詳細なメトリックを定義し、この詳細なメトリックは所与のマクロブロックが一定の視覚的品質で符号化される必要があるビット数に関連していてもよい。モード選択ユニット２０はまた、そのようなモード選択を実行する際に隣接ブロックのモードをも考慮する。モード選択２０は、２組またはこれ以上のモードの組を定義してもよく、これらの組の１つを選択することができる。１例として、モード選択ユニット２０はモードのインタープレナーセットと、モードのインターディテールセットを定義できる。インタープレナーモードはマクロブロックモードを含んでおり、このマクロブロックモードでは、マクロブロックが１個の１６×１６パーティション（インター１６×１６モード）、２個の１６×８パーティション（インター１６×８モード）、または２個の８×１６パーティション（インター８×１６モード）を含む。インタープレナーモードはまた、そのマクロブロックについて符号化がスキップされる「ＳＫＩＰ」モードを含んでいてよい。その一方で、インターディテールモードはマクロブロックモードを含んでおり、このマクロブロックモードは、マクロブロックが４個の８×８パーティション（インター８×８モード）、１または複数個の８×４サブパーティション（インター８×４モード）、１または複数個の４×８サブパーティション（インター４×８モード）、あるいは１または複数個の４×４サブパーティション（インター４×４モード）を含んでいる。

インターディテール内の実施可能なモードの実数は、多くのパーティションおよびサブパーティションの組み合わせと副組み合わせにより相対的に大きい。しかし、実験的研究は、殆どのマルチメディアシーケンス内の９５％以上のマクロブロックは、１６×１６個、１６×１８個、８×１６個、８×８個のパーティションによって符号化される。そのため、典型的に、５％未満のマクロブロックはサブパーティションレベルにて符号化される。実施可能なすべてのモード（パーティションおよびサブパーティションの実施可能なすべての組み合わせ）を探索するために、５％未満のマクロブロックが実際にこれらのモードを使用するけれども、時間の９０％以上を小型のサブパーティションを含むモードの探索に費やしてもよい。本開示は、サブパーティションを使用しない可能性が非常に高いと考えられる時を決定する統計的な確率技術を採用する。こうしたケースでは、サブパーティションを含むこのようなモードの探索を回避できる。

したがって、モード選択ユニット２０は確率方程式を使用してもよい。確率方程式は変数として、時間帯域幅比率メトリックの形式の詳細なメトリック、隣接するブロックに関連したモード情報を含んでいてよい。詳細なメトリックは、マクロブロック内の時間および空間的詳細を表してもよい。隣接するブロックに関連したモード情報に、現在のブロックへの時間および／または空間的な近接に基づいて重み付けしてもよい。例えば、隣接するブロックのモード情報に対して、モード選択ユニット２０は、異なるサブセットのブロック間の時間差により、フレーム内の第１サブセットのブロックのモード情報を、別フレーム内の第２サブセットのブロックのモード情報とは異なるように重み付けしてもよい。いずれの場合にも、詳細なメトリックと、隣接するブロックに関連したモード情報は、現在のマクロブロックのモード選択を向上させるために分析することができる。

確率方程式における統計は、各マクロブックの各モード選択に従って更新することができ、また、確率方程式の更新を後続のマクロブックのモード選択決定に使用することができる。こうすることで、モード選択ユニット２０は、全動作マルチメディアシーケンスに対するモード選択を改良するために所定のシーケンスのコンテンツに適応できる。最終的に、モード選択ユニット２０は、選択された実施可能なマルチメディア符号化モードの組から、それぞれのマクロブロックを符号化するためのモードを選択する。多くのケースでは、本明細書で記述した技術は、選択されていないマルチメディア符号化モードの組におけるマクロブロックのモードに関連したモーションサーチの回避を補助することができる。

図２は、モード選択ユニット２０によって実施されてもよいモード選択処理のツリー線図である。具体的には、モード決定３２は、イントラ符号化３４または内部符号化３６のいずれを使用するかの決定を含んでいてもよい。イントラ符号化３４を使用する場合には、モード選択ユニット２０は、マクロブロックを１６×１６ブロック（３３）として、または４×４ブロックの組（３５）に符号化するかどうかを決定し、また、この決定は、マクロブロック内のコンテンツのレベル、および所望のレート歪みのレベルによって影響を受けてもよい。

内部符号化３６を使用する場合には、モード選択ユニット２０は、イントラプレーナモード３７またはイントラディテールモード３８のどちらを使用するかを決定する。この場合も先と同様に、これは、例えばイントラプレーナモード３７が選択されたとき詳細なサブパーティション探索を回避することにより、著しく簡単にモード探索できる。このモード選択処理は、符号化処理における符号化レートと歪みレベルをバランスさせることにより、符号化されたシーケンスの相対的に一定のマルチメディア品質を達成するために使用されるレート制御アルゴリズムの一部を形成してもよい。

本開示のモード選択技術は、具体的には、内部符号化中のモーションサーチ処理に関連した事前処理処置の最中に適用される。図３は、これに関連して実行できる技術を図示したフロー線図である。図に示すように、モード選択ユニット２０は、モード選択処理（４２）に関連した統計を初期化する。例えば、この統計は、装置製造の期間に処理されるマルチメディアフレームの非常に大きなサンプルに対して平均モード関連統計値をアクセスすることによりイニシャライズされる確率方程式を含んでいてもよい。この初期化方程式は、例えば、試験系列のシミュレーションに基づいてプログラムしてもよいが、しかし、マルチメディア符号化デバイス１０によって先に実行された符号化処理を反映するよう更新されていてもよい。

次に、モード選択ユニット２０は、確率（４３）に基づくマルチメディアシーケンスのフレームのマクロブロックのための１組のモードを選択する。この確率は確率方程式として表すことができ、また、この方程式は、マクロブロック内の時間的および空間的詳細と、このマクロブロック近隣のブロックに関連したモード情報とを示す詳細なメトリックを含んでいてもよい。１つの具体的で例証的な例は、複数のモードが、内部符号化のための実施可能な２組のモード、即ち１組のインタープレナーモードと１組のインターディテールモードに分割される。いくつかのケースでは、インタープレナーモードの組が選択されると（４５）、インターディテールモードに関連した別のモードを無視できる。いくつかの場合において、インターディテールモードの組が選択されると(４６)、インタープレナーモードに関連する他のモードを無視することができる。以下で述べるいくつかのケースでは（図３には示していない）、インターディテールの組とインタープレナーの組の両方の実施可能な各モードを探索するために、包括的な探索が望ましい。換言すれば、図３はインタープレナーモードとインターディテールモードを示しているが、例えば、インタープレナーモードまたはインターディテールモードを統計的に排除することが困難であるいくつかのケースでは、全てのモードのフル検索が実行される。この観念において、図３は、インターディテールモードまたはインタープレナーモードのいずれかが選択されるシナリオを単純に図示しているが、別のシナリオでは、全てのモードを選択および探索することができる。

いずれのケースでも、次に、所望のレベルのレート歪み（４８）を達成するために、モード選択ユニット２０は、所与のマクロブロックに対して所望のモードを選択する。このケースでは、実施可能なすべてのモードの包括的な探索が、インタープレナーの組またはインターディテールの組におけるこれらモードの探索のために回避された場合には、著しい量の計算が節約される。所与のマクロブロック（４８）に対してモードが選択されると、モード選択ユニット２０は確率統計（４９）を更新し、これによりアルゴリズムが異なるコンテンツに適合するのを可能にする。モード選択処理を次のマクロブロックについて繰り返すことができ、また、これをマルチメディアシーケンスのすべてのフレームのすべてのマクロブロックについて継続させることが可能である。

本開示の技術は、具体的に、ＩＴＵＨ．２６４（また、「アドバンスト・オーディオ・コーディング」というタイトルが付けられたＭＰＥＧ−４、パート１０）に従ったモード決定に有用である。アドバンスト・オーディオ・コーディングでは、典型的には、モーションサーチの効率の評価後にモード内決定が実行される。しかし、アドバンスト・オーディオ・コーディングはマクロブロック内の多数の異なるブロックサイズを許容し、すべてのブロックパーティションは個々のモーションサーチに関連するため、総合的な計算複雑性が大きくなる。このケースでは、本開示の技術は、所与のマクロブロックに望ましい選択であると思われないいくつかのブロックサイズを無視することができる。

ここでも、モード選択ユニット２０はマルチメディアシーケンスを事前処理することにより、すべてのマクロブロックについて時間帯域幅比率メトリックを取得する。既述のように、このメトリックは、それぞれのマクロブロックを一定の視覚的品質にて符号化するために使用されるビット数に大きく関連する。時間帯域幅比率マップの計算の１例は次式のとおりであり：

ここで、Ｄ_csatは感度メトリックフォームであり、Ｙはマクロブロックの平均輝度成分、α_INTER＝１は輝度平方およびＤ_csatの重み付け、β_0interは標準化成分、ＭＶ_P、ＭＶ_Nは現在のマクロブロックの前進運動ベクトルと後進運動ベクトル、ＳＳＤは平方差分の合計の略である。ＳＳＤが利用できない場合には、ＳＡＤ²（絶対差分の合計）を代わりに使用することができる。

１例では、２つのケース（Ｈ０、Ｈ１）に「仮説」検査を定義することができる：ＨＯ：ＩＮＴＥＲ−ｐｌａｎａｒ（ＩＮＴＥＲ１６×１６、ＩＮＴＥＲ１６×８、ＩＮＴＥＲ８×１６、ＳＫＩＰを含む）、Ｈ１：ＩＮＴＥＲ−ｄｅｔａｉｌ（ＩＮＴＥＲ８×８、ＩＮＴＥＲ８×４、ＩＮＴＥＲ４×８、ＩＮＴＥＲ４×４）。この試験は、確率に基づいて最も可能性のあるモードの組（インタープレナーまたはインターディテール）を仮定することから「仮説」試験と呼ばれる。無論、本開示の技術はさらに多くのケース、即ちさらに多くのモードの組または異なるモードの組にまで拡張することが可能である。

図４に示すように、マルチメディア符号化されたビットストリームの開始時に、モード選択ユニット２０はＩＮＴＥＲ−ｐｌａｎａｒ５２とＩＮＴＥＲ−ｄｅｔａｉｌのヒストグラムを初期化する。初期化されたヒストグラムは、コンテンツの異なるカテゴリのいくつかの長い試験シミュレーション系列をシミュレーションすることで得たものであってよい。工場で処理され、所与の装置１０に事前に格納された試験系列を、初期化されたヒストグラムを定義するために使用されてもよい。しかし、装置１０が１以上のマルチメディアシーケンスを処理すると、後続の系列の処理中に、これら追加の系列の処理も初期化されたヒストグラムに反映されてもよい。このようにして、本明細書も記載されたモード選択技術の初期化は時間に従って発展および向上してもよい。

時間帯域幅比率メトリック「ｂ」を有した新規のマクロブロックについて、モード選択ユニット２０は、図４のヒストグラムのみに基づいて確率を次式のとおり計算する：
Ｈ０（ｂ）＋Ｈ１（ｂ）≧εである場合には、

Ｈ０（ｂ）＋Ｈ１（ｂ）≧εである場合には、

ここで、εはデータの欠如を防止する小さい正数である。

マクロブロックのモードは、空間および時間的近傍と相関する。すなわち、一般的に、空間および時間的に近傍したマクロブロックについて類似のモードを維持することが望ましい。こうした空間および時間的近傍のモードはマクロブロックモードマップを定義してもよい。スムーズなマクロブロックモードマップを維持することで、マクロブロック符号化されたモードを表すために使用されるビットを減らすことができる。

図５からわかるように、現在のマクロブロックは、マクロブックがフレームの角にあるか、フレームの境界線上にあるか、またはフレーム内にあるかに応じて４〜９個の近傍を有することができる。図５に示す近傍の中でも、上方左（ＵＬ）、上方（Ｕ）、上方右（ＵＲ）、左（Ｌ）は、現在のフレーム内で決定された、すなわちフレーム内の空間近傍から決定されたモードを有する。中央（Ｃ）、右（Ｒ）、左下（ＢＬ）、下（Ｂ）、右下（ＢＲ)のモードは、先行のフレームから、即ち近傍フレーム内の空間的近傍から取得できる。

[0055]モード選択ユニット２０は次式を計算してもよい。

ｑ_０＝２×（Ｉ（Ｍ_ＵＬ＝ＩＮＴＥＲｐｌａｎａｒ）＋Ｉ（Ｍ_Ｕ＝ＩＮＴＥＲｐｌａｎａｒ）＋Ｉ（Ｍ_ＵＲ＝ＩＮＴＥＲｐｌａｎａｒ）＋（Ｉ（Ｍ_Ｌ＝ＩＮＴＥＲｐｌａｎａｒ）＋Ｉ（Ｍ_Ｃ＝ＩＮＴＥＲｐｌａｎａｒ））＋Ｉ（Ｍ_Ｒ＝ＩＮＴＥＲｐｌａｎａｒ）＋Ｉ（Ｍ_ＢＬ＝ＩＮＴＥＲｐｌａｎａｒ）＋Ｉ（Ｍ_Ｂ＝ＩＮＴＥＲｐｌａｎａｒ）＋Ｉ（Ｍ_ＢＲ＝ＩＮＴＥＲｐｌａｎａｒ、さらに、
ｑ_１＝２×（Ｉ（Ｍ_ＵＬ＝ＩＮＴＥＲｄｅｔａｉｌ）＋Ｉ（Ｍ_Ｕ＝ＩＮＴＥＲｄｅｔａｉｌ）＋Ｉ（Ｍ_ＵＲ＝ＩＮＴＥＲｄｅｔａｉｌ）＋（Ｉ（Ｍ_Ｌ＝ＩＮＴＥＲｄｅｔａｉｌ）＋Ｉ（Ｍ_Ｃ＝ＩＮＴＥＲｄｅｔａｉｌ））＋Ｉ（Ｍ_Ｒ＝ＩＮＴＥＲｄｅｔａｉｌ）＋Ｉ（Ｍ_ＢＬ＝ＩＮＴＥＲｄｅｔａｉｌ）＋Ｉ（Ｍ_Ｂ＝ＩＮＴＥＲｄｅｔａｉｌ）＋Ｉ（Ｍ_ＢＲ＝ＩＮＴＥＲｄｅｔａｉｌ、
ここで、Ｉ（・）は指標関数である。指標関数は、組のサブセット内の要素のメンバーシップ(membership)を表すことがこの組上に定義されている関数のことである。上述の例では、４個の空間的に因果関係を示す近傍（ＵＬ、Ｕ、ＵＲ、Ｌ）と、別の時間的近傍に関連して時間的な中心近傍（Ｃ）とには、これらの現在のマクロブロックに対する空間および時間的な距離により、２倍の重さが付加される。

モード選択ユニット２０はまた、インタープレナーの組およびインターディテールの組内のモードの仮説的な確率を次式のとおりに決定してもよい。

ここで、αは、モード決定内における近傍マクロブロックモードの大きさを調整するための重み付けである。

モード選択ユニット２０は、信頼レベルを「ｔ」と定義することができる。次に、モード選択ユニット２０は更新された仮説的確率を次式のとおり計算できる。

上述のケースでは、完全なレート歪み（Ｒ−Ｄ）探索を行わずに（ｗ／ｏ）１組のモードが選択される時に、計算の節約が達成されている。すべてのフレームの終わりにおいて、モード選択ユニット２０は、現在のフレーム仮説確率のヒストグラムを見つけることができる。現在のフレーム仮説確率はＨ’₀、Ｈ’₁と記すことができる。したがって、長い項の仮説確率は次式によって更新できる。

ここで、βは更新速度を調整するための重み付けである。

計算負荷とＰＳＮＲ性能の間のトレードオフを考慮することにより、モード選択ユニット２０内でパラメータの組α＝０．１０、β＝０．２、ｔ＝０．９０を選択することができる。信頼レベルをさらに調整して、符合化されたマルチメディアシーケンス内に異なる数レベルの品質および複雑性を達成できる。シミュレーションの結果は、これらの技術の実施は、ほぼ０．１乃至０．１４ｄＢの無視できるＰＳＮＲ損失を有する完全サーチに対して、完全にサーチされるマクロブロックの数を約１／６に低減することができることを示した。

図６は、符合化１００ためのモジュールを図示したブロック線図であり、このモジュールはエンコーダを備えていてよく、また、マルチメディアデータの符合化と送信が可能なディジタルビデオデバイスの一部を形成している。符合化用モジュール１００は、内部符合化中にモーションサーチ処理の一部としてモード選択技術を実行するモード選択１２０用のモジュールを含む。符合化用モジュール１２０はまた、モーションサーチ１２２用のモジュールと、動き補償用のモジュール１２４も含んでおり、これらのモジュールは、モーションサーチ器と動き補償器をそれぞれ備えていてよい。符合化用モジュール１００は、メモリユニットなどであってよい格納用モジュール１２５を備えている。符合化用モジュール１００はまた、残留符合化器を備えていてよい残留符合化１２６用のモジュールを含む。

符合化処理中に、モーションサーチ用モジュール１２２がモーションサーチ処理を実行し、動き補償用モジュール１２４が動き補償処理を実行する。この符合化処理で使用されるデータには格納用モジュール１２５からアクセスすることができる。モーションサーチ処理および動き補償処理が実行され、残留符合化用モジュール１２６が、残留ブロックに対して１以上の残留符合化ステップを実行する。

本開示によれば、モーションサーチの最中に、モード選択用モジュール１２０が、マルチメディアシーケンスのフレームのマクロブロックに対して事前処理手順を実行し、これにより、それぞれのマクロブロックの非常にありそうもないモードに関連したモード検索を排除できる。具体的には、モード選択１２０のモジュールはすべての内部符合化されたマクロブロックに詳細なメトリックを定義し、近傍のブロックに関連したモジュール情報を使用する。モード選択１２０用のモジュールは確率方程式を使用することができ、この確率方程式は詳細なメトリックと、近傍のブロックに関連したモード情報を含むことができる。

確率方程式における統計値は各マクロブロックの各モード選択に従って更新でき、この確率方程式の更新を後続のマクロブロックのモード選択決定に使用することができる。こうすることで、モード選択用モジュール１２０は、所与の系列のコンテンツに適合することができ、これにより、フル動作マルチメディアシーケンスに対するモード選択を向上させることができる。最終的に、モード選択用モジュール１２０は、それぞれのマクロブロックを符合化するモードを選択された実施可能なマルチメディア符合化モードの組の中から選択する。多くのケースにおいて、モジュール選択用モジュール１２０によって実行される技術は、選択されていないマルチメディア符合化モードの組の中のマクロブロックのモードに関連したモーションサーチを回避するように支援することができる。

本開示によれば、１組のマルチメディア符合化モードを選択する手段は、モード選択ユニット２０（図１）または選択するモジュール１２０(図６)を備えていてよい。同様にモーションサーチのための手段は、モーションサーチ器／空間推定器２２（図１）またはモーションサーチ用モジュール１２２（図６）を備えていてよい。動き補正手段は、動き補償器／内部予測ユニット２４（図１）または動き補正用モジュール１２４（図６）を備えていてよく、さらに、残留符合化手段は、残留コーダ２６（図１）または残留符合化用モジュール１２６（図６）を備えていてよい。格納手段は、探索空間２５（図１）または格納用モジュール１２６(図６)を備えていてもよい。統計を更新する手段は、モード選択決定について確率方程式を更新するために使用でき、この更新手段は、任意のハードウェアソフトウェア、ファームウェアなどを備えていてよく、これらは、例えば図４に示したものと類似するヒストグラムのようなヒストグラムなどへの統計的な更新を実行するように設計またはプログラムされている。

多数の実施形態について記述してきた。具体的には、所望の符合化速度と許容可能レベルの歪み（即ち、許容可能なレート歪み）を達成するべくマクロブロックの符合化モードを決定できるよう、モーションサーチ処理に関するモード選択技術について記述した。既述のように、これらの技術は、すべてのマクロブロックと、それぞれのマクロブロックに近傍したブロックに関するモード情報のための詳細なメトリックを利用してもよい。詳細なメトリックと、近傍のブロックに関連したモード情報とを使用するために確率方程式を実施してもよい。また、確率方程式における統計を各モード選択に従って更新することで、所与の系列のコンテンツに適合させることができる。これらの技術は、少なくとも２組のモードを定義してもよく、これらのうちの１組を選択することにより、他のモード組に関連した非常にありそうもないモードに関連したモード検索を排除できる。これらの技術は、少なくとも２組のモードを定義でき、これらのうちの一方を選択することで、他方のモードの組に関連した不必要な探索を排除することができる。これらの技術はまた、１６×１６マクロブロック以外の他のブロックサイズにも適用できる。サポートされるブロックおよびモードのサイズは、各符合化基準によって定義される。いずれのケースでも、ブロックは、ブロックのパーティションおよび／またはサブパーティションにより定義されたいくつかの実施可能なモードを有することができ、また、本明細書で記述した技術はモード選択の向上に使用されてもよい。

本明細書で記述した技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実施されてもよい。ソフトウェアで実施する場合、これらの技術を、本明細書で記述の１以上の技術を実行する命令を含んだプログラムコードを備えるコンピュータ読み取り可能媒体（または別の機械読み取り可能媒体）により部分的に実現されてもよい。この場合、コンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去が可能でプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光学データ格納媒体などを備えていてよい。

命令は、１以上のプロセッサまたは他の機械、例えば１以上のディジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム論理アレイ（ＦＰＧＡ）、またはこれ以外の同等の集積回路あるいは離散論理回路によって実行される。一般に、命令を実行する機械は装置を備えていてもよい。いくつかの実施形態では、本明細書で記述した機能を専用のソフトウェアモジュールまたはハードウェアモジュール、または符合化および復号化するべく構成されたユニットの内部に提供するか、あるいは、組み合わせたビデオエンコーダ／デコーダ（ＣＯＤＥＣ）に組み込むことができる。

請求項の範囲から逸脱しない限りで、記述した技術に様々な改造を加えることができる。したがって、上述した具体的な実施形態、これ以外の実施形態は請求項の範囲内に包括される。

本開示のいくつかの実施形態による例証的なマルチメディア符合化装置を図示したブロック図である。本開示のいくつかの実施形態に一貫したモード選択処理を図示したツリー図である。本開示のいくつかの実施形態による技術を図示したフロー図である。本開示のいくつかの実施形態による異なる２組のモードに関連した確率のヒストグラムを示すグラフである。本開示のいくつかの実施形態による符合化された現在のマクロブロックに対する可能な空間および／または空間的近傍を図示した概念図である。本開示のいくつかの実施形態による例証的な符合化用モジュールを図示したブロック図である。

Claims

マルチメディアデータの処理方法であって、前記処理方法は、ハードウェア、プロセッサを使用する非トランジトリの機械読み取り可能媒体、もしくはそれらの組み合わせと関連する技術から成る実施によって、１ブロックのマルチメディアフレームの少なくとも２組の実施可能なマルチメディア符号化モードの中から、１組のマルチメディア符号化モードを、前記ブロックに隣接するブロックに関するモード情報に対応する変数を含む１つまたは複数の確率方程式に基づいて選択することを具備し、前記確率方程式は、

のうちの少なくとも１つを含み、
ｑ０及びｑ１は、前記ブロックに隣接する前記ブロックに関する前記モード情報によって決定される値を備え、ｂは詳細なメトリックを備え、Ｈ０（ｂ）は前記詳細なメトリックのための第1の確率値を備え、Ｈ１（ｂ）は前記詳細なメトリックのための第２の確率値を備え、αは重み付けを備える、
方法。
前記ブロックは１６×１６画素マクロブロックを備えている、請求項１に記載の方法。
前記マルチメディア符号化モードは、パーティション、サブパーティション、またはパーティションおよびサブパーティションに関する前記ブロックの粒度を定義する、請求項１に記載の方法。
少なくとも２組の実施可能なマルチメディア符号化モードからの選択は、１組のインタープレナーモードと１組のインターディテールモードの間の選択を備えている、請求項１に記載の方法。
前記インタープレナーモードは、インター１６×１６モード、インター１６×８モード、インター８×１６モードを備え、
前記インターディテールモードは、インター８×８モード、インター８×４モード、インター４×８モード、インター４×４モードを備えている、請求項４に記載の方法。
前記マルチメディアフレームはマルチメディアフレームのシーケンスの一部であり、各マルチメディアフレームは複数のブロックを具備し、前記方法は、前記選択する前に、前記マルチメディアフレームのシーケンスを処理し、前記マルチメディアフレームのシーケンス内の各ブロックに関する詳細なメトリックを決定することをさらに具備する、請求項１の方法。
前記マルチメディアシーケンスのフレームの後続するブロックのモード選択決定を行うために、前記１以上の確率方程式における統計値を更新することをさらに備える、請求項１に記載の方法。
前記詳細なメトリックは、前記ブロック内の時間および空間的詳細を示す、請求項１に記載の方法。
前記ブロックに隣接するブロックに関連した前記モード情報は、前記フレーム内の第１サブセットのブロックと、別のフレーム内の第２サブセットのブロックとによって定義される、請求項１に記載の方法。
前記フレーム内の前記第１サブセットのブロックに、前記別のフレーム内の第２サブセットのブロックとは異なる重み付けを行うことをさらに備える、請求項９に記載の方法。
前記選択した実施可能なマルチメディア符号化モードの組の中から、前記ブロックを符号化するためのモードを選択することをさらに備える、請求項１に記載の方法。
選択されていない１組のマルチメディア符号化モードにおいて前記ブロックのモードに関連したモーションサーチを回避することをさらに備える、請求項１１に記載の方法。
マルチメディアデータを処理する装置であって、前記装置は、１ブロックのマルチメディアフレームのための少なくとも２組の実施可能なマルチメディア符号化モードの中から１組のマルチメディア符号化モードを、前記ブロックに隣接するブロックに関連したモード情報に対応する変数を含む１つまたは複数の確率方程式に基づいて選択するエンコーダを具備し、
前記確率方程式は、

のうちの少なくとも１つを含み、
ｑ０及びｑ１は、前記ブロックに隣接する前記ブロックに関する前記モード情報によって決定される値を備え、ｂは詳細なメトリックを備え、Ｈ０（ｂ）は前記詳細なメトリックのための第1の確率値を備え、Ｈ１（ｂ）は前記詳細なメトリックのための第２の確率値を備え、αは重み付けを備える、
装置。
前記ブロックは、１６×１６画素マクロブロックを備えている、請求項１３に記載の装置。
前記マルチメディア符号化モードは、パーティション、サブパーティション、パーティションおよびサブパーティションに関連した前記ブロックの粒度を定義する、請求項１３に記載の装置。
前記エンコーダは、１組のインタープレナーモードと１組のインターディテールモードのいずれかを選択することで、少なくとも２組の実施可能なマルチメディア符号化モードから選択を行う、請求項１３に記載の装置。
前記１以上の確率方程式は、隣接するブロックに関連した詳細なメトリックとモード情報とを変数として備えている、請求項１３に記載の装置。
前記エンコーダは、前記マルチメディアシーケンスのフレームの後続するブロックのモード選択を決定するために、前記１以上の確率方程式内の統計値を更新する、請求項１７に記載の装置。
前記ブロックに隣接するブロックに関連した前記モード情報は、前記フレーム内の第１サブセットのブロックと、別のフレーム内の第２サブセットとによって定義される、請求項１３に記載の装置。
前記エンコーダは、前記第１のサブセットのブロックに対して前記別のフレーム内の第２サブセットのブロックとは異なる重み付けをする、請求項１９に記載の装置。
前記エンコーダは、選択された実施可能なマルチメディア符号化モードの組の中から、前記ブロックを符号化するモードを選択する、請求項１３に記載の装置。
前記エンコーダは、選択されていないマルチメディア符号化モードの組の中のブロックのモードに関連したモーションサーチを回避する、請求項２１に記載の装置。
ハードウェアにおいて実施される、マルチメディアデータを処理するプロセッサであって、前記プロセッサは、マルチメディアフレームのブロックのための少なくとも２組の実施可能なマルチメディア符号化モードからマルチメディア符号化モードの組を、前記ブロックに隣接するブロックに関連したモード情報に対応する変数を含む１つまたは複数の確率方程式に基づいて選択するように構成され、
前記確率方程式は、

のうちの少なくとも１つを含み、
ｑ０及びｑ１は、前記ブロックに隣接する前記ブロックに関する前記モード情報によって決定される値を備え、ｂは詳細なメトリックを備え、Ｈ０（ｂ）は前記詳細なメトリックのための第1の確率値を備え、Ｈ１（ｂ）は前記詳細なメトリックのための第２の確率値を備え、αは重み付けを備える、
プロセッサ。
前記ブロックは１６×１６画素のマクロブロックを備えている、請求項２３に記載のプロセッサ。
前記マルチメディア符号化モードは、パーティション、サブパーティション、パーティションおよびサブパーティションに関連して前記ブロックの粒度を定義する、請求項２３に記載のプロセッサ。
前記プロセッサは、１組のインタープレナーモードと１組のインターディテールモードの間で選択を行うことにより、少なくとも２組の実施可能なマルチメディア符号化モードから選択するように構成されている、請求項２３に記載のプロセッサ。
前記マルチメディアフレームはマルチメディアフレームのシーケンスの一部であり、各マルチメディアフレームは複数のブロックを具備し、前記プロセッサは、前記選択する前に、前記マルチメディアフレームのシーケンスを処理し、前記マルチメディアフレームのシーケンス内の各ブロックに関する詳細なメトリックを決定するようにさらに構成されている、請求項２３に記載のプロセッサ。
前記プロセッサは、前記マルチメディアシーケンスのフレームの後続のブロックのモード選択を決定するために、前記１以上の実施可能な方程式内の統計値を更新するように構成されている、請求項２３に記載のプロセッサ。
非トランジトリな機械読み取り可能な媒体であって、
マルチメディアフレームのシーケンスを処理ことと、各マルチメディアフレームは複数のブロックを備え、
前記複数のマルチメディアフレームの１つの前記複数のブロックの１つについて、少なくとも２組の実施可能なマルチメディア符号化モードの中から１組のマルチメディア符号化モードを、前記複数のブロックの前記１つに隣接するブロックに関連したモード情報に対応する変数を含む１つまたは複数の確率方程式に基づいて選択することと、前記確率方程式は、

のうちの少なくとも１つを含み、
ｑ０及びｑ１は、前記ブロックに隣接する前記ブロックに関する前記モード情報によって決定される値を備え、ｂは詳細なメトリックを備え、Ｈ０（ｂ）は前記詳細なメトリックのための第1の確率値を備え、Ｈ１（ｂ）は前記詳細なメトリックのための第２の確率値を備え、αは重み付けを備える、
を備える方法を
機械に実行させるマルチメディアデータを処理する命令
を具備する、非トランジトリな機械読み取り可能媒体。
前記マルチメディア符号化モードは、パーティション、サブパーティション、パーティションおよびサブパーティションに関連してブロックの粒度を定義する、請求項２９に記載の機械読み取り可能媒体。
前記少なくとも２組の実施可能なマルチメディア符号化モードから前記選択を行うことは、１組のインタープレナーモードと１組のインターディテールモードを選択することをさらに含む、請求項２９に記載の機械読み取り可能媒体。
前記１以上の実施可能な方程式は、前記隣接するブロックの詳細なメトリックとモード情報とを変数として備えている、請求項２９に記載の機械読み取り可能媒体。
前記方法は、前記マルチメディアシーケンスのフレームの後続するブロックのモード選択決定について、１以上の実施可能な方程式内の統計値を更新することをさらに備える、請求項２９に記載の機械読み取り可能媒体。
マルチメディアデータを処理する装置であって、１ブロックのマルチメディアフレームについて、少なくとも２組の実施可能なマルチメディア符号化モードの中から１組のマルチメディア符号化モードを、前記ブロックに隣接するブロックに関連したモード情報に対応する変数を含む１つまたは複数の確率方程式に基づいて選択する手段を具備し、前記確率方程式は、

のうちの少なくとも１つを含み、
ｑ０及びｑ１は、前記ブロックに隣接する前記ブロックに関する前記モード情報によって決定される値を備え、ｂは詳細なメトリックを備え、Ｈ０（ｂ）は前記詳細なメトリックのための第1の確率値を備え、Ｈ１（ｂ）は前記詳細なメトリックのための第２の確率値を備え、αは重み付けを備える、
装置。
前記マルチメディア符号化モードは、パーティション、サブパーティション、パーティションおよびサブパーティションに関連して前記ブロックの粒度を定義する、請求項３４に記載の装置。
前記手段は、１組のインタープレナーモードと１組のインターディテールモードのいずれかを選択することにより、少なくとも２組の実施可能なマルチメディア符号化モードから選択する、請求項３４に記載の装置。
前記詳細なメトリックは、一定の視覚品質で符号化されるために前記ブロックが必要とするビットの数を示す、請求項３４に記載の装置。
前記マルチメディアシーケンスのフレームの後続するブロックのモード選択決定を行うために、前記１以上の実施可能な方程式内の統計値を更新する手段をさらに備える、請求項３４に記載の装置。
前記詳細なメトリックは、一定の視覚品質で符号化されるために前記ブロックが必要とするビットの数を示す、請求項１に記載の方法。
前記１以上の確率方程式は、隣接するブロックに関連した詳細なメトリックとモード情報とを変数として備えている、請求項１に記載の方法。
前記詳細なメトリックは、一定の視覚品質で符号化されるために前記ブロックが必要とするビットの数を示す、請求項１３に記載の装置。
前記マルチメディアフレームはマルチメディアフレームのシーケンスの一部であり、各マルチメディアフレームは複数のブロックを具備し、前記エンコーダは、前記選択する前に、前記マルチメディアフレームのシーケンスを処理し、前記マルチメディアフレームのシーケンス内の各ブロックに関する詳細なメトリックを決定することをさらに具備する、請求項１３に記載の装置。
前記詳細なメトリックは、前記ブロック内の時間および空間的詳細を示す、請求項１３に記載の装置。
前記インタープレナーモードは、インター１６×１６モード、インター１６×８モード、インター８×１６モードを備え、
前記インターディテールモードは、インター８×８モード、インター８×４モード、インター４×８モード、インター４×４モードを備えている、請求項１６に記載の装置。
前記詳細なメトリックは、一定の視覚品質で符号化されるために前記ブロックが必要とするビットの数を示す、請求項２３に記載のプロセッサ。
前記インタープレナーモードは、インター１６×１６モード、インター１６×８モード、インター８×１６モードを含み、
前記インターディテールモードは、インター８×８モード、インター８×４モード、インター４×８モード、インター４×４モードを含む、請求項２６に記載のプロセッサ。
前記１以上の確率方程式は、隣接するブロックに関連した詳細なメトリックとモード情報とを変数として備えている、請求項２３に記載のプロセッサ。
前記詳細なメトリックは、前記ブロック内の時間および空間的詳細を示す、請求項２３に記載のプロセッサ。
前記ブロックに隣接するブロックに関連した前記モード情報は、前記フレーム内の第１サブセットのブロックと、別のフレーム内の第２サブセットのブロックとによって定義される、請求項２３に記載のプロセッサ。
前記フレーム内の前記第１サブセットのブロックに、前記別のフレーム内の第２サブセットのブロックとは異なる重み付けを行うように構成された、請求項４９に記載のプロセッサ。
前記選択した実施可能なマルチメディア符号化モードの組の中から、前記ブロックを符号化するためのモードを選択するように構成された、請求項２３に記載のプロセッサ。
選択されていない１組のマルチメディア符号化モードにおいて前記ブロックのモードに関連したモーションサーチを回避するように構成された、請求項５１に記載のプロセッサ。
前記ブロックは、１６×１６画素マクロブロックを備えている、請求項２９に記載の機械読み取り可能媒体。
前記詳細なメトリックは、一定の視覚品質で符号化されるために前記ブロックが必要とするビットの数を示す、請求項２９に記載の機械読み取り可能媒体。
前記インタープレナーモードは、インター１６×１６モード、インター１６×８モード、インター８×１６モードを含み、
前記インターディテールモードは、インター８×８モード、インター８×４モード、インター４×８モード、インター４×４モードを含む、請求項３１に記載の機械読み取り可能媒体。
前記詳細なメトリックは、前記ブロック内の時間および空間的詳細を示す、請求項２９に記載の機械読み取り可能媒体。
前記ブロックに隣接するブロックに関連した前記モード情報は、前記フレーム内の第１サブセットのブロックと、別のフレーム内の第２サブセットのブロックとによって定義される、請求項２９に記載の機械読み取り可能媒体。
前記方法は、前記フレーム内の前記第１サブセットのブロックに、前記別のフレーム内の第２サブセットのブロックとは異なる重み付けを行うことをさらに備える、請求項５７に記載の機械読み取り可能媒体。
前記方法は、前記選択した実施可能なマルチメディア符号化モードの組の中から、前記ブロックを符号化するためのモードを選択することをさらに備える、請求項２９に記載の機械読み取り可能媒体。
前記方法は、選択されていない１組のマルチメディア符号化モードにおいて前記ブロックのモードに関連したモーションサーチを回避することをさらに備える、請求項５９に記載の機械読み取り可能媒体。
前記マルチメディアフレームはマルチメディアフレームのシーケンスの一部であり、各マルチメディアフレームは複数のブロックを具備し、前記マルチメディアフレームのシーケンスを前記処理することは、前記選択する前に、前記マルチメディアフレームのシーケンスを処理し、前記マルチメディアフレームのシーケンス内の各ブロックに関する詳細なメトリックを決定することをさらに具備する、請求項２９に記載の機械読み取り可能媒体。
前記ブロックは、１６×１６画素マクロブロックを備えている、請求項３４に記載の装置。
前記インタープレナーモードは、インター１６×１６モード、インター１６×８モード、インター８×１６モードを含み、
前記インターディテールモードは、インター８×８モード、インター８×４モード、インター４×８モード、インター４×４モードを含む、請求項３６に記載の装置。
前記詳細なメトリックは、前記ブロック内の時間および空間的詳細を示す、請求項３４に記載の装置。
前記ブロックに隣接するブロックに関連した前記モード情報は、前記フレーム内の第１サブセットのブロックと、別のフレーム内の第２サブセットのブロックとによって定義される、請求項３４に記載の装置。
前記フレーム内の前記第１サブセットのブロックに、前記別のフレーム内の第２サブセットのブロックとは異なる重み付けを行う手段をさらに備える、請求項６５に記載の装置。
前記選択した実施可能なマルチメディア符号化モードの組の中から、前記ブロックを符号化するためのモードを選択する手段をさらに備える、請求項３４に記載の装置。
選択されていない１組のマルチメディア符号化モードにおいて前記ブロックのモードに関連したモーションサーチを回避する手段をさらに備える、請求項６７に記載の装置。
前記マルチメディアフレームはマルチメディアフレームのシーケンスの一部であり、各マルチメディアフレームは複数のブロックを具備し、前記装置は、前記選択する前に、前記マルチメディアフレームのシーケンスを処理し、前記マルチメディアフレームのシーケンス内の各ブロックに関する詳細なメトリックを決定する手段をさらに具備する、請求項３４に記載の装置。
前記１以上の確率方程式は、隣接するブロックに関連した詳細なメトリックとモード情報とを変数として備えている、請求項３４に記載の装置。
コンピュータに請求項１から１２のうちの1つに従って前記方法を実行させるプログラム。