JP5318561B2 - マルチメディア処理のためのコンテンツ分類 - Google Patents

Description

米国特許法１１９条の下における優先権の主張

本特許出願は、米国特許法１１９条（ｅ）項の下で、２００５年３月１０日に出願し、本発明の譲受人に譲渡され、参照により本明細書に明示的に組み込まれている仮出願第６０／６６０，６７７号の優先権を主張するものである。

本発明の分野は、マルチメディアデータのコンテンツに基づいてマルチメディアデータの分析、分類、定量化、および表現を行う圧縮アルゴリズムによるマルチメディアデータ処理に関する。

インターネットおよび無線通信の普及が、インターネットおよび／または移動／無線チャネルを介してメディアをストリーミングするマルチメディアサービスの需要を増大させている。ＩＰ（インターネットプロトコル）ネットワークでは、マルチメディアデータは、サーバによって提供されることが可能であり、１つまたは複数の有線クライアントまたは無線クライアントによってストリーミングされることが可能である。有線接続には、ダイヤルアッププロトコル、ＩＳＤＮ（デジタル総合サービス網）プロトコル、ケーブルプロトコル、デジタル加入者線プロトコル（まとめて、ｘＤＳＬと呼ばれる）、ファイバネットワーク、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、およびその他が含まれる。無線通信を利用する電子デバイスには、電話機（例えば、セル電話機）、ＰＤＡ（パーソナルデータアシスタント）、ハンドヘルドコンピュータおよびポータブルコンピュータ、ならびにその他が含まれる。これらのアプリケーションのすべてではないにしても、ほとんどにおいて、帯域幅要件および／または帯域幅制限により、マルチメディアデータ処理が、マルチメディアデータの分析、定量化、および表現を行うマルチメディア圧縮アルゴリズムを組み込んだ源符号器を利用して、「最小限の」数のビットを費やすことによって最大限の情報を伝送することが必要とされる。そのようなアルゴリズムの特性は、それぞれに大きく異なり、このことは、それらのアルゴリズムのパフォーマンス（圧縮効率やビットレートなどの）の広範囲に及ぶばらつきにつながる。圧縮アルゴリズムを使用するマルチメディア処理の特性は、コンテンツに基づき、多種多様であることが可能であり、このことは、それらの処理のパフォーマンス（圧縮効率やビットレートなどの）の広範囲に及ぶばらつきにつながる可能性がある
仮出願第６０／６６０，６７７号

一部のマルチメディアデータ処理スキームは、いくつかのタイプの情報を使用して、マルチメディアデータを分類する。通常、イメージ分類アルゴリズムは、何らかの形態のイメージセグメント化方法に基づく。イメージクラスタ化アルゴリズムが、ＭＰＥＧ−７（フォトクラスタ化）のためのＭＰＥＧにおいて提案されている。現在、提案され、文献で説明されているイメージ分類アルゴリズムは、マルチメディアデータの数学的態様および統計的態様に基づいている。マルチメディアデータを処理し、符号化するための改良された方法およびデバイスが、有線通信においても、無線通信においても幅広い応用先を有する可能性があり、当技術分野において、そのような処理の特性を利用し、かつ／または変更して、そのような処理の特徴が、既存の製品を改良する際、および、まだ開発されていない新たな製品を作成する際に活用されることが可能であるようにすることが、有益であろう。

本発明の装置および方法のそれぞれは、いくつかの態様を有し、それらの態様のいずれも単独で、本発明の望ましい属性をひとえに担うことはない。本発明の範囲を限定することなしに、本発明のより顕著な特徴を以下に簡単に説明する。この説明を考慮した後、特に、「発明を実施するための最良の形態」という題名のセクションを読んだ後、マルチメディアデータ処理装置およびマルチメディアデータ処理方法の改良の特徴が、理解されよう。

一態様では、マルチメディアデータを処理する方法が、マルチメディアデータの複雑度を判定すること、判定された複雑度に基づいてマルチメディアデータを分類すること、およびマルチメディアデータの分類に基づいてマルチメディアデータを符号化するためのビットレートを決定することを含む。また、方法は、マルチメディアデータの空間的複雑度および時間的複雑度を判定することも含み、マルチメディアデータを分類することは、空間的複雑度をテクスチャ値に関連付けること、時間的複雑度をモーション値に関連付けること、およびテクスチャ値およびモーション値に基づいてコンテンツ分類をマルチメディアデータに割り当てることを含むことが可能である。

別の態様では、マルチメディアデータを処理するための装置が、マルチメディアデータの複雑度を判定するための手段と、判定された複雑度に基づいてマルチメディアデータを分類するための手段と、マルチメディアデータの分類に基づいてマルチメディアデータを符号化するためのビットレートを決定するための手段とを含む。

別の態様では、マルチメディアデータを処理するように構成されたデバイスが、マルチメディアデータの複雑度を判定するように構成され、判定された複雑度に基づいてマルチメディアデータを分類するように構成され、マルチメディアデータの分類に基づいてマルチメディアデータを符号化するためのビットレートを決定するようにさらに構成されたプロセッサを含む。

別の態様では、マルチメディアデータを処理するための方法を実体化するためのコンピュータ可読媒体が、マルチメディアデータの複雑度を判定すること、判定された複雑度に基づいてマルチメディアデータを分類すること、およびマルチメディアデータの分類に基づいてマルチメディアデータを符号化するためのビットレートを決定することを含む。

別の態様では、マルチメディアデータを処理するための装置が、マルチメディアデータの複雑度を判定する第１のディターミナと、判定された複雑度に基づいてマルチメディアデータを分類するコンテンツクラシファイアと、マルチメディアデータの分類に基づいてマルチメディアデータを符号化するためのビットレートを決定する第２のディターミナとを含む。一部の態様では、複雑度には、マルチメディアデータの空間的複雑度、および／またはマルチメディアデータの時間的複雑度が含まれ、マルチメディアデータの分類は、空間的複雑度および／または時間的複雑度に基づくことが可能である。

さらに他の態様では、マルチメディアデータを処理するための方法および装置が、マルチメディアデータの複雑度を判定するための方法または手段と、判定された複雑度に基づいてマルチメディアデータを分類するための方法または手段とを含む。マルチメディアデータを処理するための方法および装置が、マルチメディアデータの複雑度を判定するための方法または手段と、判定された複雑度に基づき、少なくとも１つのマルチメディアプロセスから選択を行うための方法または手段とを含むことが可能である。マルチメディアデータを処理するための方法および装置が、マルチメディアデータの複雑度を判定するための方法または手段と、マルチメディアデータの複雑度に基づいて符号化プロセスセットを選択するための方法または手段とを含むことが可能である。マルチメディアデータを処理するための方法および装置が、判定された複雑度に基づいてマルチメディアデータを分類するための方法または手段と、マルチメディアデータの分類に基づいてマルチメディアデータを符号化するためのビットレートを決定するための方法または手段とを含むことが可能である。マルチメディアデータを処理するための方法および装置が、マルチメディアデータの複雑度を判定するための方法または手段と、マルチメディアデータの複雑度に基づいて復号プロセスセットを選択するための方法または手段とを含むことが可能である。マルチメディアデータを処理するための方法および装置が、マルチメディアデータの複雑度を判定するための方法または手段と、判定された複雑度に基づいてマルチメディアデータを分類するための方法または手段と、マルチメディアデータの分類に基づいて復号プロセスセットを選択するための方法または手段とを含むことが可能である。方法および装置は、コンピュータ可読媒体および／またはプロセッサによって実施されることが可能であることに留意されたい。

以下の詳細な説明は、使用されることが可能な、いくつかの実施形態を対象とする。しかし、開示される諸実施形態は、多数の異なる仕方で実施されることが可能である。本明細書において「一実施形態」または「或る実施形態」について述べることは、その実施形態に関連して説明される特徴、構造、または特性が、少なくとも１つの実施形態に含まれることを意味する。本明細書の様々な箇所における「一実施形態では」、「一実施形態によれば」、または「一部の実施形態では」という句の出現は、必ずしもすべて、同一の実施形態について述べているわけではなく、別々の実施形態、または代替の実施形態が、他の実施形態と相互排他的であるわけでもない。さらに、一部の実施形態が示し、他の実施形態が示さないことが可能な、様々な特徴が、説明される。同様に、一部の実施形態に関して要件であるが、他の実施形態に関しては要件ではない可能性がある、様々な要件が、説明される。

以下の説明は、実施例の完全な理解をもたらす詳細を含む。しかし、実施例は、或る実施例または実施形態におけるプロセスまたはデバイスのすべての詳細が、本明細書で説明されない、または示されない場合でも、実施されることが可能であることが、当業者には理解されよう。例えば、不必要な詳細で実施例を不明瞭にしないように、電気コンポーネントが、そのコンポーネントのすべての電気接続、またはすべての電気要素は示さないブロック図で示されることが可能である。その他、そのようなコンポーネント、その他の構造および技術が、実施例をさらに説明するように、詳細に示される可能性がある。

マルチメディアデータのコンテンツ（例えば、１つまたは複数のコンテンツ分類）に基づいてマルチメディアデータをカテゴリに分類することを利用する、マルチメディアデータを符号化するための装置および方法の実施例が、本明細書で説明される。説明される方法および装置は、マルチメディアデータの空間的特性および時間的特性を判定すること、およびマルチメディアデータの複雑度の特性の１つまたは複数に基づいてマルチメディアデータを分類することに基づき、マルチメディアデータを符号化するための技術を提供する。それらの方法および装置は、マルチメディアデータ処理アルゴリズムおよび圧縮アルゴリズムが、マルチメディアデータのコンテンツカテゴリに基づいて「調整」されることを可能にして、コンテンツ情報を使用してマルチメディアデータを符号化するのに使用される方法および装置を最適化し、人間の目、または品質レベルの別の測度（ｍｅａｓｕｒｅ）によって認識されるマルチメディアデータの所望される品質レベルを効率的に提供する。

本明細書で使用される「マルチメディアデータ」は、ビデオデータ（オーディオデータを含むことが可能な）、オーディオデータ、またはビデオデータとオーディオデータの両方を含む広い用語である。テキストまたはイメージ情報および／またはオーディオデータを含むイメージシーケンスを指す、本明細書で広い用語として使用される「ビデオデータ」または「ビデオ」は、特に明記しない限り、マルチメディアデータを指すように使用されることが可能である（例えば、これらの用語は、区別なく使用されることが可能である）。

マルチメディアコーデックシステムは、一般に、異なるコンテンツタイプを考慮に入れない。代わりに、符号化は、すべてのコンテンツタイプに関して同様の仕方で行われる。
通常、マルチメディアデータは、一定の品質、または一定のビットレートで符号化される。一定のビットレートで符号化することは、低い活動のセクションと高い活動のセクションに関して符号化されたビデオの品質の相違につながる。例えば、スポーツクリップを含む新たなシーケンスが、各セクションに割り当てられた同一の数のビットで符号化される可能性がある。観られる際、スポーツクリップセクションは、語り手の顔（ｔａｌｋｉｎｇ ｈｅａｄ）のセクションより低い品質であると知覚され、全体的な結果が、許容できない可能性がある。一定の品質で符号化することは、ビットレートの非効率な使用につながる。低い活動のビデオを高い品質で符号化することは、不必要に高いビットレートを使用して、帯域幅の浪費がもたらされる。シーケンスにおける一般的なコンテンツタイプだけに基づいてではなく、ビデオシーケンスにおけるテクスチャおよび動きに基づいてマルチメディアデータを分類することにより、ビットレートが、その特定のデータに関する実際のテクスチャを有する動き（ｔｅｘｔｕｒｅｄ ｍｏｔｉｏｎ）に基づき、そのシーケンスにわたって調整されることが可能である。より良好なビット管理、および利用可能なビット予算の、よりインテリジェントな使用をもたらすことが可能なコンテンツ分類が、様々なアプリケーションにおいて使用されることが可能である。例えば、一部の実施形態では、１つのコンテンツ分類が、ビデオデータシーン変化検出に関して使用されることが可能である。

（マルチメディアデータの通信）
クライアントデバイスに通信されるマルチメディアデータは、通常、圧縮される。ＭＰＥＧ−ｘおよびＨ．２６ｘとして知られるビデオ符号化標準のペアが、固定長または可変長の源符号化技術を使用するビデオ、オーディオ、およびその他の情報の圧縮および伝送によく適した、データ処理技術およびデータ操作技術（本明細書で、混成符号化と呼ぶ）を説明する。特に、前述した標準、およびその他の混成符号化の標準および技術は、例として、フレーム内符号化技術（例えば、ランレングス符号化、ハフマン符号化などの）、およびフレーム間符号化技術（例えば、前方予測符号化および後方予測符号化、動き補償などの）を使用して、マルチメディア情報を圧縮する。具体的には、マルチメディア処理システムのケースでは、混成マルチメディア符号化システムが、フレーム内動き補償符号化および／またはフレーム間動き補償符号化を使用するマルチメディアフレームの予測ベースの圧縮符号化を特徴とする。少なくともある程度、コンテンツ分類に基づく符号化が、そのような圧縮アルゴリズムに組み込まれて、マルチメディア処理をさらに最適化することが可能である。本明細書で説明される実施例は、ビデオ符号化標準、ＭＰＥＧおよびＨ．２６ｘに向けて書かれるが、他のビデオ符号化標準の同様の使用も、適用可能である。

フレーム間符号化とは、他のいずれのピクチャ（フィールドまたはフレーム）も基準とすることなしに、ピクチャを符号化することを指すが、イントラ符号化された（ｉｎｔｒａ−ｃｏｄｅｄ）ピクチャは、他のピクチャのための基準として使用されることが可能である。フレーム内、イントラ符号化されたフレーム、およびＩフレームという用語はすべて、本願明細書全体で使用されるイントラ符号化を使用して形成されたビデオオブジェクトの例である。

インタ符号化または予測符号化とは、別のピクチャを基準としてピクチャ（フィールドまたはフレーム）を符号化することを指す。イントラ符号化されたピクチャと比べて、インタ符号化されたピクチャ、つまり、予測ピクチャは、より高い効率で符号化されることが可能である。本明細書全体で使用されるインタ符号化されたピクチャの例が、（Ｐフレームとも呼ばれる、前方予測または後方予測された）予測フレーム、および（Ｂフレームとも呼ばれる）双方向予測フレームである。インタ符号化を表す他の用語には、ハイパス符号化（ｈｉｇｈ−ｐａｓｓ ｃｏｄｉｎｇ）、残差符号、動き補償補間、および当業者には周知のその他の用語が含まれる。

スケーラブル符号化として知られている技術は、イントラ符号化されたピクチャ、および異なるインタ符号化されたピクチャ（ＰフレームまたはＢフレームなどの）を、例えば、基本階層（ｂａｓｅ ｌａｙｅｒ）および拡張階層（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ）などの、ビットストリームにおける異なる階層に分割することができる。スケーラブル符号化は、スケーラブルなビットストリームが、ネットワーク帯域幅の変動に適合するように適応させられることが可能な動的チャネルにおいて有用である。誤りが生じがちなチャネルにおいて、スケーラブル符号化は、基本階層と拡張階層の同等でない誤り保護を介して、堅牢さを高めることができる。より重要な階層に、より良好な誤り保護が適用されることが可能である。

（マルチメディアデータを符号化すること）
図１は、マルチメディアデータのコンテンツを分類するため、そのようなデータを符号化するため、通信するため、および復号するための一般的な通信システムのブロック図である。システム１００は、符号化デバイス１０５と、復号デバイス１１０とを含む。符号化デバイス１０５は、イントラ符号化コンポーネント１１５と、予測符号化コンポーネント１２０とを含む符号化コンポーネント１８５を含む。符号化デバイス１０５は、メモリコンポーネント１３０と、通信コンポーネント１７５と、コンテンツ分類コンポーネント１９０とをさらに含む。符号化デバイス１０５は、通信コンポーネント１７５の中に含まれる通信ロジックを使用して、外部源１３５からデータを受信することができる。外部源１３５は、例えば、外部メモリ、インターネット、ライブのビデオおよび／またはオーディオフィード（ｆｅｅｄ）であることが可能であり、データを受信することは、有線通信および／または無線通信を含むことが可能である。外部源１３５の中に含まれるデータは、生の（符号化されていない）フォーマットであることも、符号化された状態であることも可能である。イントラ符号化コンポーネント１１５が、フレームのイントラ符号化される部分（スライス、マクロブロック、およびサブマクロブロック）を符号化するのに使用される。予測符号化コンポーネント１２０が、前方予測、後方予測、および双方向予測を含め、フレームの予測部分を符号化するのに使用される。符号化の後、符号化されたフレームは、メモリコンポーネント１３０または外部メモリの中に格納される。外部メモリは、外部源１３５内部に、または別個のメモリコンポーネント（図示せず）内部に含まれることが可能である。

符号化デバイス１０５は、メモリコンポーネント１３０、および符号化デバイス１０５内部のその他のコンポーネントの１つまたは複数と通信するプロセッサ１８７を含む。プロセッサ１８７は、符号器のその他のコンポーネントのいずれに関する処理も実行することができ、メイン符号化プロセスを含むことが可能である。一部の実施形態では、プロセッサ１８７は、別個のコンポーネント（図示するように）ではなく、代わりに、プロセッサ機能は、符号器１０５のその他のコンポーネントの１つまたは複数に組み込まれることが可能である。

通信コンポーネント１７５は、ネットワーク１４０と連携してデータ伝送（Ｔｘ）のために使用されるロジックを含む。ネットワーク１４０は、電話システム、ケーブルシステム、および光ファイバシステムなどの有線システム、または無線システムの一部であることが可能である。無線通信システムの場合、ネットワーク１４０は、例えば、符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システムの一部を含むことが可能であり、あるいは、代替として、システムは、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多重化（ＯＦＤＭ）システム、サービス業界に関するＧＳＭ／ＧＰＲＳ（汎用パケット無線サービス）／ＥＤＧＥ（拡張データＧＳＭ環境）またはＴＥＴＲＡ（地上基盤無線）移動電話技術などの時間分割多元接続（ＴＤＭＡ）システム、広帯域符号分割多元接続（ＷＣＤＭＡ）システム、高データ転送速度（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、または、一般に、技術の組合せを使用する任意の無線通信システムであることが可能である。符号化されたフレームは、ネットワーク１４０を介して伝送される（Ｔｘ）。符号化デバイス１０５によって実行される符号化プロセスについて、以下により完全に説明する。

コンテンツ分類コンポーネント１９０は、外部源１３５から受信されたマルチメディアデータのデータコンテンツの分類を判定するためのロジックを含む。マルチメディアデータを分類するのに、人間視覚モデルを使用して、イメージおよび／またはモーションイメージシーケンスにおける空間的コンテキストおよび／または時間的コンテキストに関して、視覚信号の輝度の摂動（ｐｅｒｔｕｒｂａｔｉｏｎ）に対する人間の目の感度が定量化される。また、目の空間的マスキング効果および時間的マスキング効果も、考慮に入れられる。一態様は、動き推定アルゴリズムまたはブロックマッチングアルゴリズムを使用して、ビデオの時間的態様を表現することを含む。マルチメディアデータと関係する情報、例えば、ビデオデータの空間的複雑度値および時間的複雑度値は、符号器１０５の１つまたは複数のコンポーネントによって算出され、ビデオにおける空間的効果および動き効果の知覚可能性（ｐｅｒｃｅｐｔｉｂｉｌｉｔｙ）と併せて使用されて、ビデオデータのコンテンツが、２つ以上のカテゴリに分類される。そのような分類は、前／後処理アルゴリズムおよび圧縮（例えば、シーン変化検出、レート制御、ＦＲＵＣ）アルゴリズムにおいて使用されることが可能である。コンテンツ分類は、来るべきビデオデータ（例えば、スーパフレーム）において、どのようなタイプのコンテンツを予期すべきかについての信頼できる推定を符号器１０５に提供することを、符号器１０５が、コンテンツ分類に基づいて、或る特定のレベルの視覚的に知覚される品質を実現する適切なビットレート割り当てを決定することができるように、さらに、他のフレームタイプの判定目的で、行う。スーパフレームは、コンテンツクラスを判定するため、伝送するための単位として、さらに他の任意の目的で使用される、通常は、１秒分のデータに相等する、所定の期間または時間枠にわたるメタデータセットである。コンテンツ分類は、人間の目によって知覚されるマルチメディアデータの特性、例えば、空間的複雑度および時間的複雑度に基づくことが可能である。マルチメディア処理アルゴリズムは、様々なコンテンツタイプのために最適化されることが可能であり、マルチメディアデータを符号化する際、および通信する際のパフォーマンスに関して安定および制御をもたらす。

符号化コンポーネント１８５は、コンテンツ分類コンポーネント１９０によって使用されるように、処理情報（例えば、マクロブロックの）を提供することができる。例えば、符号化コンポーネント１８５は、Ｄ_ｃｓａｔ値、コントラスト比の値、ＭＶ（動きベクトル）、およびＳＡＤ（絶対ピクセル差の合計）などの人間視覚感度メトリックを含む、マルチメディアデータからの情報を計算することができる。符号化コンポーネント１８５は、その情報をメモリコンポーネント１３０の中に格納して、その情報が、マルチメディアデータの空間的複雑度および時間的複雑度、データのテクスチャおよび動きを判定し、次に、結果のコンテンツ分類を判定するように、コンテンツ分類コンポーネント１９０によって取り出されるように利用可能であるようにすることができる。別の態様では、コンテンツ分類コンポーネント１９０、あるいはプロセッサ１８７のような別のコンポーネントが、マルチメディアデータから、その情報の少なくとも一部を計算する。

（復号プロセス）
復号デバイス１１０は、イントラ復号コンポーネント１４５、予測復号コンポーネント１５０、メモリコンポーネント１６０、プロセッサ１６７、および通信コンポーネント１８０を含め、符号化デバイス１０５内部のコンポーネントのいくつかと同様のコンポーネントを含む。復号デバイス１１０は、ネットワーク１４０を介して、または外部ストレージ１６５から伝送された、符号化されたデータを受信する。通信コンポーネント１８０は、ネットワーク１４０と連携して、符号化されたデータを受信するために（Ｒｘ）使用されるロジックとともに、外部ストレージ１６５から符号化されたデータを受信するためのロジックを含む。外部ストレージ１６５は、例えば、外部ＲＡＭまたは外部ＲＯＭ、あるいはリモートサーバであることも可能である。イントラ復号コンポーネント１４５は、イントラ符号化されたデータを復号するのに使用される。予測復号コンポーネント１５０は、インタ符号化されたデータを復号するのに使用される。プロセッサ１６７は、メモリコンポーネント１６０、および復号デバイス１１０内部のその他のコンポーネントの１つまたは複数と通信している。プロセッサ１６７は、復号器のその他のコンポーネントのいずれに関する処理も実行することができ、メイン復号プロセスを含むことが可能である。予測復号コンポーネント１５０は、（前方予測または後方予測された）ＰフレームとＢフレームをともに復号する。Ｐフレームを復号するために使用される同一のサブコンポーネントを直列に利用して、複数の基準を使用してＢフレームが復号されることが可能である。
Ｂフレームに関する複数の基準は、前方基準フレームと後方基準フレームの中にあること、ともに同一の基準フレームの中にあること、ともに別々の前方基準フレームの中にあること、またはともに後方基準フレームの中にあることが可能である。

復号の後、復号されたフレームは、ディスプレイコンポーネント１７０を使用して表示されること、あるいは内部メモリ１６０または外部ストレージ１６５の中に格納されることが可能である。ディスプレイコンポーネント１７０は、ディスプレイスクリーンを含め、ビデオディスプレイのハードウェアやロジックなどの部分を含む復号デバイスの不可分の部分であることが可能であり、あるいはコンポーネント１７０は、外部周辺デバイスであることが可能である。復号デバイス１１０によって実行される復号プロセスについて、以下により完全に説明する。

（例示的なＭＰＥＧを符号化すること）
通常のＭＰＥＧ復号器において、予測符号化されたピクセルブロック（例えば、１つまたは複数の動きベクトル、および残差誤り成分を含むブロック）は、基準フレームを基準として復号される（イントラフレーム、または別の予測されたフレームが、基準フレームの役割をすることができる場合）。図２は、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）に関するフレーム依存関係を表す、従来のＭＰＥＧ−４シンプルプロファイルデータストリームを示す図である。ＧＯＰ１０は、初期のＩフレーム１２と、その後に続く、いくつかの前方予測されたＰフレーム１４で構成される。先行するＩフレームまたはＰフレームに対するＰフレームの依存関係のため、それらのＰフレーム１４のいずれが失われることも、他のＰフレームを復号する際に極めて重要である可能性がある情報の損失をもたらす可能性がある。Ｐフレームの損失または削除は、例えば、ビデオジッタ、または復号器が、次のＧＯＰの先頭の印である次のＩフレーム１６まで、復号を続けることができないことをもたらす可能性がある。

Ｐフレーム（または任意のインタ符号化されたセクション）は、現在のピクチャの中の或る領域と、基準ピクチャの中の最もよく合致する予測領域との間の時間的冗長性を活用することができる。現在の領域と、最もよく合致する基準予測領域との間の差は、残差誤り（または予測誤り）として知られる。基準フレームの中の最もよく合致する予測領域の位置は、動きベクトルにおいて符号化されることが可能である。プロセッサ１６７は、復号器１１０のその他のコンポーネントのいずれに関する処理も実行することができ、メイン復号プロセスを含むことが可能である。一部の実施形態では、プロセッサ１６７は、別個のコンポーネントであることが不可能であるが、代わりに、プロセッサ機能は、復号器１１０のその他のコンポーネントの１つまたは複数に組み込まれることが可能である。

図３は、例えば、ＭＥＰＧ−４におけるＰフレーム構築プロセスの例の図である。プロセス３００は、５×５個のマクロブロックで構成される現在のピクチャ３０５を含み、この例におけるマクロブロックの数は、任意である。マクロブロックは、関連するピクセルのグループであり、この例では、１６×１６個までのピクセルで構成される。ピクセルは、８ビットの輝度値（Ｙ）と、２つの８ビットのクロミナンス値（ＣｒおよびＣｂ）とによって定義されることが可能である。ＭＰＥＧでは、Ｙ成分、Ｃｒ成分、およびＣｂ成分は、４：２：０フォーマットで格納されることが可能であり、ただし、Ｃｒ成分およびＣｂ成分は、Ｘ方向およびＹ方向で１／２にダウンサンプリングされる（ｄｏｗｎ−ｓａｍｐｌｅｄ ｂｙ ２）。したがって、各マクロブロックは、２５６のＹ成分、６４のＣｒ成分、および６４のＣｂ成分から成る。

現在のピクチャ３０５のマクロブロック３１５は、現在のピクチャ３０５とは異なる時点における基準ピクチャ３１０から予測される。符号化される現在のマクロブロック３１５にＹ値、Ｃｒ値、およびＣｂ値の点で最も近い、最もよく合致するマクロブロック３２０を探し出す探索が、基準ピクチャ３１０において行われる。当業者に知られている、最もよく合致するマクロブロック３２０を探索する方法には、ａ）現在のマクロブロック３１５と基準ピクチャ３１０マクロブロック３１５との間のＳＡＤ（絶対ピクセル差の合計）を最小にすること、ｂ）ＳＳＤ（２乗されたピクセル差の合計）を最小にすること、およびｃ）レート歪みの点で費用を最小にすること、その他が含まれる。基準ピクチャ３１０における最もよく合致するマクロブロック３２０の位置は、動きベクトル３２５において符号化される。基準ピクチャ３１０は、現在のピクチャ３０５の構築に先立って復号器が再構築したＩフレームまたはＰフレームであることが可能である。最もよく合致するマクロブロック３２０が、現在のマクロブロック３１５から引かれて（Ｙ成分、Ｃｒ成分、およびＣｂ成分のそれぞれに関する差が、計算されて）、残差誤り３３０がもたらされる。残差誤り３３０は、２Ｄ離散コサイン変換（ＤＣＴ）３３５を使用して符号化され、次に、量子化３４０される。

量子化３４０は、例えば、低い周波数の係数に、より多くのビットを割り当てながら、高い周波数の係数に、より少ないビットを割り当てることにより、空間的圧縮を提供するように実行されることが可能である。残差誤り３３０の量子化された係数、ならびに情報を同定する動きベクトル３２５および基準ピクチャ３１０が、現在のマクロブロック３１５を表す符号化された情報である。符号化された情報は、将来の使用のためにメモリの中に格納されること、または、例えば、誤り訂正またはイメージ向上の目的で操作されること、またはネットワーク３４５を介して伝送されることが可能である。

残差誤り３３０の符号化された、量子化された係数、ならびに符号化された動きベクトル３２５は、その後の動き推定および動き補償のための基準フレームの一部として使用されるように、符号器において現在のマクロブロック３１５を再構築するのに使用されることが可能である。符号器は、このＰフレーム再構築のために復号器の手続きをエミュレートすることができる。復号器のエミュレーションは、符号器と復号器がともに同一の基準ピクチャを扱うことをもたらす可能性がある。符号器において行われるか、さらなるインタ符号化のために行われるか、または復号器において行われるかにかかわらず、再構築プロセスを、以下に提示する。Ｐフレームの再構築は、基準フレーム（または基準とされるピクチャまたはフレームの一部分）が再構築された後、開始されることが可能である。符号化された、量子化された係数が、逆量子化３５０され、次に、２Ｄ逆ＤＣＴ、つまり、ＩＤＣＴ３５５が、実行されて、復号された、つまり、再構築された残差誤り３６０がもたらされる。符号化された動きベクトル３２５が、既に再構築済みの基準ピクチャ３１０において、既に再構築済みの、最もよく合致するマクロブロック３６５を探し出すのに使用される。再構築された残差誤り３６０が、次に、再構築された、最もよく合致するマクロブロック３６５に追加されて、再構築されたマクロブロック３７０を形成する。再構築されたマクロブロック３７０は、メモリの中に格納される、独立に、もしくは、他の再構築されたマクロブロックとともにピクチャにおいて表示される、またはイメージ向上のためにさらに処理されることが可能である。

（マルチメディアデータのコンテンツ分類）
図４は、図１に示されるコンテンツ分類コンポーネント１９０のブロック図である。コンテンツ分類コンポーネント１９０は、マルチメディアデータの空間的複雑度および時間的複雑度を判定するように構成され、さらに、テクスチャ値を空間的複雑度に関連付け、モーション値を時間的複雑度に関連付けるようにも構成された複雑度コンポーネント１９２を含む。符号化されるマルチメディアデータに関して、コンテンツ分類コンポーネント１９０は、データのコンテンツと関係する前処理された情報をメモリ１３０から取り出す。この情報には、例えば、１つまたは複数のＤ_ｃｓａｔ値、コントラスト比の値、ＭＶ（動きベクトル）、およびＳＡＤ（絶対ピクセル差の合計）が含まれることが可能である。
この情報が、プリプロセッサ（例えば、図１の符号化コンポーネント１８５またはプロセッサ１８７）によって算出されない諸態様では、分類コンポーネント１９０が、この情報を計算する機能を含むことが可能である。

一般に、マルチメディアデータは、１つまたは複数のイメージシーケンスまたはフレームシーケンスを含む。各フレームは、処理のためにピクセルのブロックに分割されることが可能である。空間的複雑度は、フレーム内の空間的詳細レベルの測度を一般的に表す広い用語である。主に単純な、または変化しない、またはあまり変化しない輝度およびクロミナンスの領域を有するシーンは、低い空間的複雑度を有する可能性がある。空間的複雑度は、ビデオデータのテクスチャに関連付けられる。空間的複雑度は、この態様では、局所的空間周波数および周囲照明（ａｍｂｉｅｎｔ ｌｉｇｈｔｉｎｇ）の関数として各ブロックに関して計算される、Ｄ_ｃｓａｔと呼ばれる人間視覚感度メトリックに基づく。当業者は、視覚的イメージの空間周波数パターン、ならびに照明特性およびコントラスト特性を使用して、人間視覚系を利用するための技術を認識している。人間視覚系の遠近感の限界を利用するための、いくつかの感度メトリックが、知られており、本明細書で説明される方法と一緒に使用されることが可能である。

時間的複雑度は、フレームシーケンスの中のフレーム間で基準とされるマルチメディアデータにおける動きのレベルの測度を一般的に表すのに使用される広い用語である。ほとんど、または全く動きを有さないシーン（例えば、ビデオデータのフレームシーケンス）は、低い時間的複雑度を有する。時間的複雑度は、各マクロブロックに関して計算されることが可能であり、１つのフレームと別のフレーム（例えば、基準フレーム）との間のＤ_ｃｓａｔ値、動きベクトル、および絶対ピクセル差の合計に基づくことが可能である。

（シーン変化検出）
シーン変化検出は、固定の間隔でＩフレームを挿入することにより、ビットを浪費することなしに、ビデオ符号化システムが、ビットをインテリジェントに節約する、いずれのビデオ符号化システムにも必要なステップである。以下の説明は、シーン変化がどのように検出されることが可能であるか、およびコンテンツ分類における、シーン変化の、その後の使用を示す。

ＧＯＰの長さは、大きいＩフレームからの効率的損失を小さくするのに十分なだけ長く、符号器と復号器の間の不適合、またはチャネル障害に対処するのに十分なだけ短いことが可能である。加えて、Ｐフレームの中のＭＢ（マクロブロック）が、同一の理由でイントラ符号化されることが可能である。

実際的なストリーミングビデオシステムにおいて、通信チャネルには、通常、ビット誤りまたはパケット損失によって障害が生じる。どこにＩフレームまたはＩ ＭＢを配置するかは、復号されたビデオ品質、および見る体験（ｖｉｅｗｉｎｇ ｅｘｐｅｒｉｅｎｃｅ）に大きな影響を与える可能性がある。経験則は、配列された先行するピクチャまたはピクチャ部分から大きく変化しているピクチャまたはピクチャ部分に関して、イントラ符号化を使用することである。それらの領域は、動き推定を使用して、効果的に、効率的に予測することはできない。したがって、それらの領域は、インタ符号化技術から除外される。チャネル障害の文脈において、それらの領域は、誤り伝播を被る可能性が高い。イントラ符号化を使用して、誤り伝播を減らすことができる。

イントラ更新される必要がある領域は、３つのカテゴリとして分類されることが可能である。

（１）急なシーン変化 このカテゴリには、通常、カメラ操作によって生じる、前のフレームとは大きく異なるフレームが含まれる。それらのフレームのコンテンツは、前のフレームのコンテンツとは異なるので、急なシーン変化のフレームは、Ｉフレームとして符号化されることが可能である。

（２）クロスフェージング、およびその他のゆっくりしたシーン変化 このカテゴリには、通常、カメラショットのコンピュータ処理によって生じる、シーンのゆっくりした切り替わりが含まれる。異なる２つのシーンが徐々に混ざり合うことは、人間の目に、より感じよく見える可能性があるが、ビデオ符号化に課題をもたらす。動き補償は、それらのフレームのビットレートを効果的に低減することができない。より多くのイントラＭＢが、それらのフレームのために更新される必要がある。

（３）カメラフラッシュライト カメラフラッシュライトは、ピクチャの輝度を突然に、迅速に変える。通常、カメラフラッシュライトの時間は、通常、４４ミリ秒であると定義されるＨＶＳ（人間視覚系）の時間的マスキング期間より短い。人間の目は、それらの短い明るさのバーストの品質に反応せず、したがって、それらのバーストは、粗く符号化されることが可能である。フラッシュライトフレームは、動き補償で有効に扱うことができず、将来のフレームに関する不良な予測候補であるため、それらのフレームを粗く符号化することによって、将来のフレームの符号化効率が低下することはない。

以上のフレームのいずれかが検出されると、ショットイベントが宣言される。ショット検出は、符号化品質を向上させるのに役立つだけでなく、ビデオコンテンツ検索／索引付けの助けにもなることが可能である。１つの検出アルゴリズムを以下に説明する。

シーケンスは、双方向動き補償器で前処理される。補償器は、図１１に示されるとおり、現在のフレームの８×８ブロックを、このフレームの最も近接した近傍フレームの、１つは過去の、１つは将来の２つのフレームのブロックと照合する。動き補償器は、すべてのブロックに関して動きベクトル、および差分メトリックを生成する。差分メトリックは、ＳＳＤ（２乗差分の合計）またはＳＡＤ（絶対差分の合計）であることが可能である。
一般性を逸することなく、ＳＡＤを本明細書における例として使用する。

すべてのフレームに関して、ＳＡＤ比が、以下のとおり計算される。すなわち、

ただし、ＳＡＤ_ＰおよびＳＡＤ_Ｎは、それぞれ、前方差分メトリックおよび後方差分メトリックのＳＡＤである。この分母は、「０による除算」の誤りを防止するように、小さい正の値εを含むことに留意されたい。また、分子（ｎｏｍｉｎａｔｏｒ）も、分母における結合の効果とバランスをとるようにεを含む。例えば、前のフレーム、現在のフレーム、および次のフレームが同一である場合、動き検出（ｍｏｔｉｏｎ ｓｅａｒｃｈ）は、ＳＡＤ_Ｐ＝ＳＡＤ_Ｎ＝０をもたらす。この場合、前述の計算ジェネレータγ＝０または無限大ではなく、１である。

また、すべてのフレームの輝度ヒストグラムも求める。通常、輝度深度（ｌｕｍｉｎａｎｃｅ ｄｅｐｔｈ）が８ビットであるイメージを扱う。この輝度深度に関して、ビンの数を１６に設定して、ヒストグラムを得ることができる。以下のメトリックは、ヒストグラム差分を評価する。

ただし、Ｎ_Ｐｉは、前のフレームに関する第ｉ番のビンにおけるブロックの数であり、Ｎ_Ｃｉは、現在のフレームに関する第ｉ番のビンにおけるブロックの数であり、Ｎは、フレーム内のブロックの総数である。明らかに、前のフレームのヒストグラムと現在のフレームのヒストグラムが、互いに素である場合、λ＝２である。

急なシーン変化のフレームは、数式３に示されるとおり、以下の基準が満たされた場合、宣言される。

ただし、Ａは、アプリケーションによって選択される定数であり、Ｔ_１は、しきい値である。シミュレーションは、Ａ＝１、かつＴ_１＝１が、良好な検出パフォーマンスを実現することを示す。現在のフレームが、急なシーン変化のフレームである場合、γ_Ｃは、大きいことが可能であり、γ_Ｐは、小さいことが可能である。Ｍをシーン変化強度メトリックと呼ぶ。γ_Ｃ単独ではなく、比

を使用して、メトリックが、コンテキストの活動レベルに対して正規化されるようにすることができる。

前述の基準は、輝度ヒストグラム差λを非線形の仕方で使用することに留意されたい。
図１２を参照すると、これは、凸関数であることを見て取ることができる。λが、小さい（０に近い）場合、それは、ほとんどプリエンファシスではない。λが大きくなるほど、より多くのエンファシスが、関数によって導かれる。このプリエンファシスの場合には、１．４より大きい任意のλに関して、しきい値Ｔ_１が、５に設定されている場合、急なシーン変化が検出される。

クロスフェージング、およびその他のゆっくりしたシーン変化は、或る数の連続するフレームに関して、Ｔ_２≦Ｍ≦Ｔ_１である場合に検出され、ただし、Ｔ_２は、しきい値である。

カメラフラッシュライトイベントを検出するのに、輝度ヒストグラム統計を使用することができる。例えば、フラッシュライトイベントは、通常、輝度ヒストグラムが、より明るい側に移ることを生じさせる。以下の基準が、カメラフラッシュライトイベントを検出するのに課せられることが可能である。

Ｔ_４＝３０が、良好な検出パフォーマンスを実現する。ＳＡＤ値を含める理由は、カメラフラッシュが、通常、１フレームを要し、輝度差に起因して、そのフレームを、前方方向と後方方向の両方からの動き補償を使用して、うまく予測することができないためである。

図１を再び参照すると、コンテンツ分類コンポーネント１９０は、動きベクトル、および絶対ピクセル差分の合計を計算する機能を含むことが可能であるものの、通常、その他の符号化コンポーネントが、その情報を計算することができ、そのデータをコンテンツ分類コンポーネント１９０に提供する。また、Ｄ_ｃｓａｔ値も、複雑度コンポーネント１９２、または符号器１０５の別のコンポーネント、あるいはプロセッサ１８７によって計算されることが可能である。

代替として、コントラスト比が、フレームの空間的複雑度を算出する際に使用されることが可能である。第１に、フレームの中の各マクロブロックに関するコントラスト比が、計算される。所与のマクロブロックに関するコントラスト比は、そのマクロブロックの近傍マクロブロックに関する平均輝度に基づいて計算される。図５は、各マクロブロックが、１６×１６個のピクセルである、ビデオフレーム内の９つのマクロブロックのグループを示す。μ_ｉは、所与のマクロブロック１〜９に関する平均値を表す。中央マクロブロックブロックであるマクロブロック５（ＣＲ_５）に関するコントラスト比計算は、以下の数式を使用して計算される。すなわち、

ただし、ＭＢＬＵＭＡ_５は、マクロブロック５に関する平均輝度コントラストを表す。マクロブロック１〜４およびマクロブロック６〜９に関するコントラスト比も、同様に計算される。フレームのコントラスト比は、フレーム内の９つのマクロブロックの各マクロブロックのコントラスト比値の平均をとることによって得られる。また、９つのマクロブロックのコントラスト比の標準偏差も計算され、各フレーム内のテクスチャの変動の量の指標をもたらす。

（コンテンツ分類メトリックを決定すること）
コンテンツ分類メトリックが、コントラスト比値、コントラスト比値の標準偏差、およびフレーム差分メトリックを使用して決定されることが可能である。

（フレーム差分メトリック）
コンテンツ分類モジュールのための他方の入力は、プリプロセッサにおいて計算されるフレーム差分メトリックである。フレーム差分メトリックは、予測（ｐｒｅｄｉｃｔｏｒ）マクロブロックと現在のマクロブロック（図３、成分３２５）の間のＳＡＤ（絶対差分の合計）として表現される残差エネルギーとともに、動きの量（例えば、動きベクトル、つまり、ＭＶ）を考慮に入れて、連続する２つのフレーム間の差分の測度を与える。また、フレーム差分は、双方向または単方向の予測効率の測度も与える。

動き補償された逆インタレースを場合により実行するプリプロセッサから受け取られた動き情報に基づくフレーム差分メトリックの一例は、以下のとおりである。ディインタレーサ（ｄｅｉｎｔｅｒｌａｃｅｒ）が、双方向動き推定を実行し、このため、双方向動きベクトルおよびＳＡＤ情報が、利用できる。

各マクロブロックに関するＳＡＤ＿ＭＶによって表されるフレーム差分は、以下のように導き出されることが可能である。すなわち、

ただし、ＭＶ＝Ｓｑｕａｒｅ＿ｒｏｏｔ（ＭＶ_ｘ ^２＋ＭＶ_ｙ ^２）、ＳＡＤ＝ｍｉｎ（ＳＡＤ_Ｎ，ＳＡＤ_Ｐ）、ただし、ＳＡＤ_Ｎは、後方基準フレームから計算されたＳＡＤであり、ＳＡＤ_Ｐは、前方基準フレームから計算されたＳＡＤである。

フレーム差分を推定するもう１つのアプローチは、以下のようにメトリック、ガンマを計算することによる。すなわち、

ただし、ＳＡＤ_ＰおよびＳＡＤ_Ｎは、それぞれ、前方差分メトリックおよび後方差分メトリックのＳＡＤである。この分母は、「０による除算」の誤りを防止するように、小さい正の値εを含むことに留意されたい。また、分子も、分母における結合の効果とバランスをとるようにεを含む。

また、すべてのフレームの輝度ヒストグラムも求める。通常、輝度深度（ｌｕｍｉｎａｎｃｅ ｄｅｐｔｈ）が８ビットであるイメージを扱う。この輝度深度に関して、ビンの数を１６に設定して、ヒストグラムを得ることができる。以下のメトリックは、ヒストグラム差分を評価する。

ただし、Ｎ_Ｐｉは、前のフレームに関する第ｉ番のビンにおけるブロックの数であり、Ｎ_Ｃｉは、現在のフレームに関する第ｉ番のビンにおけるブロックの数であり、Ｎは、フレーム内のブロックの総数である。明らかに、前のフレームのヒストグラムと現在のフレームのヒストグラムが、互いに素である場合、λ＝２である。

フレーム差分メトリックを、数式９に示されるとおり計算する。すなわち、

（分類手続き）
コントラスト比値およびフレーム差分値を以下のように利用して、所与のビデオシーケンスにおける特徴を確実に予測することが可能な、最終のビデオコンテンツ分類メトリックが得られる。提案されるアルゴリズムは、Ｒ−Ｄ曲線ベースの分析から得られる分類と同様に、コンテンツを８つの可能なクラスに分類できることが可能である。

アルゴリズムは、シーンの複雑度、およびそのスーパフレームにおけるシーン変化出現回数に応じて、各スーパフレームに関して、０から１までの範囲の値を出力する。

プリプロセッサ内部のコンテンツ分類モジュールが、各スーパフレームに関して以下のステップを実行して、フレームコントラスト値およびフレーム差分値からコンテンツ分類メトリックを得る。

（１）マクロブロックコントラスト値から平均フレームコントラストおよびフレームコントラスト偏差を計算する。

（２）フレームコントラスト値およびフレーム差分値が、それぞれ、４０および５である、シミュレーションから得られた値を使用して正規化される。

（３）コンテンツ分類メトリックの計算のために使用される一般化された数式は、以下のとおりである。すなわち、

ただし、ＣＣＷ１、ＣＣＷ２、ＣＣＷ３、およびＣＣＷ４は、重み係数である。これらの値は、ＣＣＷ１に関して０．２、ＣＣＷ２に関して０．９、ＣＣＷ３に関して０．１、およびＣＣＷ４に関して−０．００００９であるように選択される。

（４）スーパフレームにおけるシーン変化の回数を特定する。シーン変化の回数に応じて、以下のケースの１つが実行される。

（ａ）シーン変化なし スーパフレームにおいてシーン変化が全くない場合、メトリックは、以下の数式で示されるとおり、フレーム差分値に完全に依存する。

（ｂ）単一回のシーン変化 スーパフレームにおいて観察された単一回のシーン変化が存在する場合、以下のとおり、デフォルトの数式を使用して、メトリックが計算される。すなわち、

（ｃ）２つのシーン変化 所与のスーパフレームにおいてせいぜい２回のシーン変化が存在することが観察された場合、最初のスーパフレームは、いずれにしても、最後のスーパフレームによって迅速に更新されるので、以下の数式で示されるとおり、最後のスーパフレームには、最初のスーパフレームより、大きい重みが与えられる。すなわち、

（ｄ）３回以上のシーン変化 所与のスーパフレームが、３つを超える（例えば、Ｎ個の）Ｉフレームを有することが観察された場合、以下の数式で示されるとおり、最後のＩフレームには、より大きい重みが与えられ、他のすべてのＩフレームには、０．０５という重みが与えられる。

（５）フレーム差分平均が、０．０５未満である、少ない動きのシーンの場合におけるメトリックに関して、補正が要求される。（ＣＣＯＦＦＳＥＴ）０．３３のオフセットが、ＣＣＭｅｔｒｉｃに加算される。

複雑度コンポーネント１９２は、Ｄ_ｃｓａｔ値、動きベクトル、および絶対差分の合計を使用して、マクロブロック（または指定された量のビデオデータ）に関する空間的複雑度を示す値を算出する。時間的複雑度は、フレーム差分メトリックの測度によって判定される。フレーム差分メトリックは、動きの量（動きベクトルを伴う）、およびフレーム間の絶対差分の合計を考慮に入れて、連続する２つのフレーム間の差分を測定する。

（帯域幅マップ生成）
人間の視覚的品質Ｖは、符号化複雑度Ｃと、割り当てられたビット数Ｂ（帯域幅とも呼ばれる）の両方の関数であることが可能である。符号化複雑度メトリックＣは、人間視覚から見た空間周波数および時間周波数を考慮することに留意されたい。人間の目がより感じやすい歪みに関して、複雑度値は、それに相応して、より高い。通常、Ｖは、Ｃにおいて単調に減少し、Ｂにおいて単調に増加するものと想定することができる。

一定の視覚的品質を実現するのに、数式１５および数式１６で表現される基準を満たす帯域幅（Ｂ_ｉ）が、符号化されるべき第ｉ番のオブジェクト（フレームまたはＭＢ）に割り当てられる。

数式１５および／または数式１６において、Ｃ_ｉは、第ｉ番のオブジェクトの符号化複雑度であり、Ｂは、合計の利用可能な帯域幅であり、Ｖは、或るオブジェクトに関して達せられる視覚的品質である。人間の視覚的品質は、数式として定式化することが困難である。したがって、前述の数式セットは、正確に定義されていない。しかし、３Ｄモデルが、すべての変数において連続的であるものと想定される場合、帯域幅比

は、（Ｃ，Ｖ）ペアの近傍内で不変であるものとして扱われることが可能である。帯域幅比β_ｉは、数式１７において定義される。

すると、ビット割当て問題は、数式１８で表現されるとおり、定義されることが可能である。

前述の数式１８において、δは、「近傍」を示す。

符号化複雑度は、空間的な人間視覚感度と、時間的な人間視覚感度の両方によって影響される。ジロ（Ｇｉｒｏｄ）の人間視覚モデルは、空間的複雑度を定義するのに使用されることが可能なモデルの例である。このモデルは、局所的空間周波数、および周囲照明を考慮する。もたらされるメトリックは、Ｄ_ｃｓａｔと呼ばれる。プロセスにおける前処理の時点で、ピクチャが、イントラ符号化されるべきか、インタ符号化されるべきかは、未知であり、その両方に関する帯域幅比が、生成される。イントラ符号化されるピクチャの場合、帯域幅比は、数式１９で表現される。すなわち、

前述の数式において、Ｙは、ＭＢの平均輝度成分であり、α_{ＩＮＴＲＡ}は、輝度の２乗、およびその後に続くＤ_ｃｓａｔ項に関する重み係数であり、β_{０ＩＮＴＲＡ}は、

を補償する正規化係数である。例えば、α_{ＩＮＴＲＡ}＝４の値が、良好な視覚的品質を実現する。倍率β_{０ＩＮＴＲＡ}の値は、ビットが、異なるビデオオブジェクトのβ_{ＩＮＴＲＡ}間の比に応じて割り当てられる限り、重要ではない。

この関係を理解するのに、帯域幅は、符号化複雑度につれて対数的に割り当てられることに留意されたい。輝度２乗項は、大きさのより大きい係数が、符号化するのに、多くのビットを使用するという事実を反映する。対数が負の値になるのを防ぐように、１が、括弧内の項に加算される。他の底を有する対数も、使用されることが可能である。

時間的複雑度は、フレーム差分メトリックの測度によって判定される。フレーム差分メトリックは、ＳＡＤとともに動きの量（動きベクトルを伴う）も考慮に入れて、連続する２つのフレーム間の差分を測定する。

インタ符号化されるピクチャに関するビット割当ては、空間的複雑度とともに、時間的複雑度も考慮する必要がある。このことが、以下に、数式２０で表現される。すなわち、

数式２０において、ＭＶ_ＰおよびＭＶ_Ｎは、現在のＭＢに関する前方動きベクトルおよび後方動きベクトルである。イントラの数式（ＩＮＴＲＡ ｆｏｒｍｕｌａ）におけるＹ^２が、２乗された差分の合計を表すＳＳＤで置き換えられていることを認めることができる。

数式６における‖ＭＶ_Ｐ＋ＭＶ_Ｎ‖^２の役割を理解するのに、人間視覚系の以下の特性に留意されたい。すなわち、滑らかな、予測可能な動き（小さい‖ＭＶ_Ｐ＋ＭＶ_Ｎ‖^２）を受ける領域が、注意を引き、目によって追跡されることが可能であり、通常、静止した領域が許容する以上の歪みを許容することができない。しかし、速い、または予測できない動き（大きい‖ＭＶ_Ｐ＋ＭＶ_Ｎ‖^２）を受ける領域は、追跡されることが不可能であり、相当な量子化を許容することができる。実験は、α_{ＩＮＴＥＲ}＝１、γ＝０．００１が、良好な視覚的品質を実現することを示す。

（テクスチャ値およびモーション値を算出すること）
マルチメディアデータにおける各マクロブロックに関して、分類コンポーネント１９４は、テクスチャ値を空間的複雑度に関連付け、モーション値を時間的複雑度に関連付ける。テクスチャ値は、マルチメディアデータの輝度値と関係し、低いテクスチャ値は、データの近傍ピクセルの輝度値の小さい変化を示し、高いテクスチャ値は、データの近傍ピクセルの輝度値の大きい変化を示す。一態様によれば、テクスチャ値およびモーション値が計算されると、分類コンポーネント１９４は、動き情報とテクスチャ情報の両方を考慮することにより、コンテンツ分類メトリック（例えば、コンテンツ分類）を決定する。分類コンポーネント１９４は、分類されるビデオデータに関するテクスチャを、マクロブロックの輝度値の複雑度を一般的に示す相対的テクスチャ値、例えば、「低」テクスチャ、「中」テクスチャ、または「高」テクスチャに関連付ける。また、分類コンポーネント１９４は、分類されるビデオデータに関して計算されたモーション値を、マクロブロックの動きの量を一般的に示す相対的モーション値、例えば、「低」モーション、「中」モーション、または「高」モーションに関連付ける。代替の諸実施形態では、動きおよびテクスチャに関して、より少ない、またはより多いカテゴリが、使用されることが可能である。次に、コンテンツ分類メトリックが、関連するテクスチャ値およびモーション値を考慮することにより、決定される。

図６は、テクスチャ値およびモーション値が、コンテンツ分類にどのように関連付けられるかを例示する分類チャートの例を示す。当業者は、そのような分類チャートを実施する多くのやり方、例えば、ルックアップテーブルまたはデータベースで実施するやり方に精通している。分類チャートは、ビデオデータコンテンツの所定の評価に基づいて、生成される。ビデオデータ分類を判定するのに、「低」、「中」、または「高」のテクスチャ値（「ｘ軸」上の）が、「低」、「中」、または「高」のモーション値（「ｙ軸」上の）と相互参照される。交差ブロックの中で示されるコンテンツ分類が、ビデオデータに割り当てられる。例えば、「高」のテクスチャ値と「中」のモーション値は、７という分類をもたらす。図６は、この例では、異なる８つのコンテンツ分類に関連する相対的テクスチャ値とモーション値の様々な組合せを示す。他のいくつかの実施形態では、より多い、またはより少ない分類が、使用されることが可能である。

（ビットレート決定）
前述したとおり、もたらされるマルチメディアデータコンテンツ分類は、前／後処理アルゴリズムおよび圧縮アルゴリズムにおいて使用されて、ビデオの知覚的品質を一定に保ちながら、ビット管理を効果的に向上させることが可能である。例えば、分類メトリックは、シーン変化検出、符号化ビットレート割当て制御、およびＦＲＵＣ（フレームレートアップコンバージョン）のためのアルゴリズムにおいて使用されることが可能である。ＣＯＤＥＣ（圧縮器／伸張器）システムおよびデジタル信号処理アルゴリズムが、ビデオデータ通信において一般に使用され、帯域幅を節約するように構成されることが可能であるが、品質と帯域幅節約の間にトレードオフが、存在する。最良のＣＯＤＥＣは、最小のビデオ品質低下を生じさせながら、最も多くの帯域幅節約をもたらす。

一態様では、ビットレートコンポーネント１９６が、コンテンツ分類を使用して、ビットレート（例えば、マルチメディアデータを符号化するために割り当てられるビットの数）を決定し、そのビットレートを、他のプロセスおよびコンポーネント、例えば、図１の符号化コンポーネント１８５によって使用されるように、メモリの中に格納する。ビデオデータの分類から決定されたビットレートは、一定した品質レベルでマルチメディアデータを提供しながら、帯域幅を節約するのに役立つことが可能である。一態様では、異なるビットレートが、異なる８つのコンテンツ分類のそれぞれに関連付けられることが可能であり、次に、そのビットレートを使用して、マルチメディアデータが符号化される。もたらされる効果は、マルチメディアデータの異なるコンテンツ分類に、符号化するための異なる数のビットが割り当てられるものの、知覚される品質は、ディスプレイ上で見られる際、同様である、または一定していることである。

一般に、より高いコンテンツ分類を有するマルチメディアデータは、より高いレベルの動きおよび／またはテクスチャを示し、符号化される際、より多くのビットが割り当てられる。より低い分類（より少ないテクスチャおよび動きを示す）を有するマルチメディアデータには、より少ないビットが割り当てられる。特定のコンテンツ分類のマルチメディアデータに関して、ビットレートは、そのマルチメディアデータを見るための選択された目標知覚品質レベルに基づいて、決定されることが可能である。マルチメディアデータ品質を判定することは、人間が、マルチメディアデータを見て、格付けすることによって判定されることが可能である。一部の代替の実施形態では、マルチメディアデータ品質の推定は、例えば、信号対雑音比アルゴリズムを使用する自動試験システムによって行われることが可能である。一態様では、標準品質レベル（例えば、５）のセット、ならびに特定の各品質レベルを実現するのに必要とされる、対応するビットレートが、各コンテンツ分類のマルチメディアデータに関して前もって決定される。品質レベルのセットを判定するのに、或る特定のコンテンツ分類のマルチメディアデータが、或る特定のビットレートを使用して符号化された場合のマルチメディアデータの視覚的に知覚される品質の数値的指標を提供するＭＯＳ（平均オピニオンスコア）を生成することにより、評価されることが可能である。ＭＯＳは、１から５までの範囲内の単一の数値として表現されることが可能であり、１は、最低の知覚品質であり、５は、最高の知覚品質である。他の実施形態では、ＭＯＳは、５つより多い、または５より少ない品質レベルを有することが可能であり、各品質レベルの異なる記述が、使用されることが可能である。

マルチメディアデータ品質を判定することは、人間が、マルチメディアデータを見て、格付けすることによって判定されることが可能である。一部の代替の実施形態では、マルチメディアデータ品質の推定は、例えば、信号対雑音比アルゴリズムを使用する自動試験システムによって行われることが可能である。一態様では、標準品質レベル（例えば、５）のセット、ならびに特定の各品質レベルを実現するのに必要とされる、対応するビットレートが、各コンテンツ分類のマルチメディアデータに関して前もって決定される。

或るコンテンツ分類のマルチメディアデータに関する視覚的に知覚される品質レベルとビットレートの間の関係を知ることは、目標（例えば、所望される）品質レベルを選択することによって決定されることが可能である。ビットレートを決定するのに使用される目標品質レベルは、事前選択されること、ユーザによって選択されること、ユーザからの入力、または別のプロセスからの入力を要求する自動プロセスまたは半自動プロセスを介して選択されること、あるいは所定の基準に基づいて、符号化デバイスまたは符号化システムによって動的に選択されることが可能である。目標品質レベルは、例えば、符号化アプリケーションのタイプ、またはマルチメディアデータを受信するクライアントデバイスのタイプに基づいて、選択されることが可能である。

（コンテンツ分類の判定）
コンテンツ分類曲線、およびコンテンツ分類曲線が導き出されるレート歪み曲線が、ビデオデータを分類するのに先立って生成される。識別されたマルチメディアデータ分類に関して、許容できるビットレートは、ビデオデータの特定の分類に関して、目標品質レベルと特定のレート歪みとの交差ポイントを求めることによって決定される。ビットレートは、その交差ポイントに対応するポイントであり、ビットレートは、より低い目標品質レベルが選択されると、低下することが可能である。例えば、目標品質レベルが、「良好」ではなく、「許容可能」であるように選択された場合、例えば、クラス６として分類されたビデオデータを、レート５のビットレートで符号化することが、今度は、およそレート４のビットレートを要求することが可能である。

図６および図７で参照される８つのマルチメディアデータコンテンツ分類を判定するのに、様々なタイプのコンテンツを含むマルチメディアデータシーケンスが、平均ビットレートおよび平均輝度ピークＰＳＮＲ（信号対雑音比）を獲得するのに使用されることが可能である。シーケンスに関する平均ビットレートは、Ｒ−Ｄ（レート−歪み）曲線を形成する平均ＰＳＮＲに対してプロットされる。例えば、多数のマルチメディアデータシーケンスに関するＲ−Ｄ曲線が、ｘ軸が平均ビットレート（ｋｂｐｓ）であり、ｙ軸が、平均輝度ＰＳＮＲ（ｄｂ）であるグラフ形式で表されることが可能である。シーケンスに関するＲ−Ｄ曲線は、異なるいくつかのクラスタに入り、マルチメディアデータシーケンスが、次に、Ｒ−Ｄ曲線のそれらのクラスタに基づいて、異なるグループ（やはり、曲線）に分類される。一実施例では、５つのグループが、最初に形成され、各グループは、そのクラスタに入るすべてのシーケンスの平均をとることによって得られる。クラスタはそれぞれ、１つまたは複数のシーケンスを含むことが可能である。また、各グループに関する標準偏差も、グループを形成する特定のシーケンスから計算されることが可能である。他の実施例では、ビデオデータシーケンスは、使用されるシーケンスに応じて、５つ未満のグループを形成するようにクラスタ化されても、５つより多くのグループを形成するようにクラスタ化されてもよい。この実施例では、グループの数（５）は、ビデオデータのさらなる分析に基づいて、後に増加される。同様に、より多い、またはより少ないグループが、他の一部の態様において最初に形成される場合、そのような態様は、さらなるシーケンスを評価することに基づいて、グループの数をさらに増やすこと、または減らすことも含むことが可能である。この最初の５つのグループは、所与のスーパフレームにおける様々なレベルの動きおよびテクスチャを表す５つのクラスに対応する。例えば、クラス１は、低い動き、および低いテクスチャ（ＬＭ，ＬＴ）を有するスーパフレームを表し、クラス２は、中程度の動き、および低いテクスチャ（ＭＭ，ＬＴ）を有するスーパフレームを表し、クラス３は、中程度の動き、および中程度のテクスチャ（ＭＭ，ＬＴ）を有するスーパフレームを表し、クラス４は、高い動き、および中程度のテクスチャ（ＨＭ，ＭＴ）を有するスーパフレームを表し、クラス５は、高い動き、および高いテクスチャ（ＨＭ，ＨＴ）を有するスーパフレームを表す。

次に、利用可能なすべてのソースシーケンスからの各スーパフレームが、それぞれのクラスに各スーパフレームが入るかどうかを試験するように分類される。マルチメディアデータの様々なシーケンスを試験すること、および前に定義された５つのグループに当てはまらない他の様々なシーケンスに対処するように反復プロセスを使用することにより、初期分類が、精緻化され、新たなセットの変更されたＲ−Ｄ曲線が、獲得されることが可能である。この実施例では、クラスタの数は、５つから８つに増やされており、さらなるクラスが、形成されており、より大きいクラス番号は、マルチメディアデータにおけるより大きい動き、およびより高いレベルのテクスチャを表す。

この実施例では、それらのＲ−Ｄ曲線が、次に、マルチメディアデータを分類する際の、それらの曲線の使用を容易にするようにモデル化された。ビットレートと、信号の輝度ＰＳＮＲとの間の関係は、対数関数であるため、Ｒ−Ｄ曲線は、以下の形態の対数関数を使用してモデル化されることが可能である。すなわち、ｙｐｓｎｒ＝ａ^＊ｌｎ（レート）＋ｂ，ａ＞０である。この実施例において、パラメータａおよびｂの値は、以下のとおり再現される。すなわち、
クラス ａ ｂ
１ ５．０８７４ −１３．０３８
２ ５．１７６５ −２０．７９０
３ ５．９３６９ −３２．１４９
４ ５．２８８４ −２７．４９８
５ ５．３４３５ −３０．４２１
６ ５．１６４２ −２９．１７３
７ ５．０７７３ −３２．８９０
８ ５．０８１３ −３７．６３１
すべてのリアルタイムサービスが、ビットレート割り当てにかかわらず、同様の知覚される品質を有するように動作するように設計されたマルチメディア処理システムは、表示のために一定したマルチメディアデータを提供する。このため、リアルタイムサービスに関する品質メトリック（例えば、ＰＳＮＲ）は、割り当てられたビットレートとともに単調に増大するものと見込まれる。ＰＳＮＲの等しい品質により、マルチメディアデータの知覚される一定した品質は、必ずしも生じないため、既存のクラスは、ＰＳＮＲ以外の別の品質メトリックに基づいて、変更された。マルチメディアデータの同一の知覚される品質を実現するのに、すべてのクラスが、同様の品質メトリックを有するように、対応するオフセットを追加することにより、コンテンツ分類曲線が、変更された。オフセット修正された数式もやはり、ｙｐｓｎｒ＝ａ^＊ｌｎ（レート）＋ｂ＋オフセットという対数形式である。説明される実施例では、８つのコンテンツクラスのそれぞれに関するオフセット値は、９．８３３、−５．８３１、−４．３３５、−２．０６４、−０．１２７、０．３６１、４．４７６、および６．８４７である。

コンテンツ分類の１つの用途は、ビデオデータシーン変化検出のためである。フレーム差分メトリックまたはコントラスト比値またはコンテンツ分類メトリックが、フレームシーケンスにおける先行するフレームおよび将来のフレームに対して比較的高い場合、その特定のフレームは、シーン変化、または新たなショットであると判定する。

図８は、マルチメディアデータを分類することに基づいてビットレートを決定するためのプロセス２００の一実施例を示すフローチャートである。また、実施例は、フローチャート、流れ図、構造図、またはブロック図として表されることが可能なプロセスとして説明されてもよいことにも留意されたい。フローチャートは、動作を順次プロセスとして説明することが可能であるが、動作の多くは、並行に、または同時に実行されることが可能であり、プロセスは、繰り返されることが可能である。加えて、動作の順序は、並べ替えられることが可能であり、図示されていない動作が、実行されることが可能であり、あるいは図示されている動作が、プロセスの応用先の状況に応じて、省かれることが可能である。

本明細書で説明されるプロセスは、方法、ファンクション、手続き、ソフトウェアプログラム、またはソフトウェアプログラムの一部に相当することが可能である。プロセスが、ファンクションに相当する場合、プロセスの終了は、ファンクションが、呼び出しファンクションまたはメインファンクションに戻ることに相当する。ソフトウェアプログラム、モジュール、コンポーネント、サブルーチン、またはサブプログラムとしてのプロセスの説明は、広い説明であり、特に明記しない限り、すべての実施形態が同一の形で実施されることを要求することを意図するものではない。代わりに、そのような動作は、通常、ハードウェア、ソフトウェア、ミドルウェア、ファームウェア、またはマイクロコードで実施されることが可能であることが、当業者には認識されよう。単一のコンポーネント、プログラム、またはモジュールとして説明される動作の機能が、２つ以上のコンポーネント、モジュール、プログラム、例えば、サブモジュール、サブプログラム、またはサブルーチンで実施されてもよい。

プロセス２００は、例えば、図１に示される、符号化デバイス１０５、およびデバイス１０５のコンポーネントによって実行されることが可能である。符号化された、または符号化されていないビデオデータが、外部源１３５から符号化デバイス１０５によって受信される。プロセス２００において、ステップ２０５が、ビデオデータの複雑度を判定する。一部の実施形態では、符号化コンポーネント１８５が、ビデオデータの空間的複雑度および時間的複雑度を判定するのに使用される情報、例えば、動きベクトル、少なくとも１つのＤ_ｃｓａｔ値、マクロブロックの絶対差分の合計を計算する。一部の実施形態では、コンテンツ分類コンポーネント１９０が、マルチメディアデータの時間的複雑度および空間的複雑度を判定するのに必要とされる情報の少なくとも一部を計算する。コンテンツ分類コンポーネント１９０などの分類手段は、判定された複雑度に基づき、マルチメディアデータを分類することができる（ステップ２１０）。ステップ２１０の結果、マルチメディアデータは、いくつかのコンテンツ分類の１つ（例えば、８つのコンテンツ分類の１つ）に分類される。ステップ２１５で、プロセス２００が、複数のコンテンツ分類におけるマルチメディアデータを見るための品質値を決定し、これは、通常、プロセス２００の開始に先立って行われる。データ品質レベルを判定することは、人間が、マルチメディアデータを見て、格付けすることによって判定されることが可能であり、あるいは、一部の代替の実施形態では、マルチメディアデータ品質の推定は、例えば、信号対雑音比アルゴリズムを使用する自動データ評価システムによって行われることが可能である。品質レベルは、事前選択されること、ユーザによって選択されること、ユーザからの入力、または別のプロセスからの入力を要求する自動プロセスまたは半自動プロセスを介して選択されることが可能である。代替として、品質レベルは、例えば、マルチメディアデータを見るための所望される、または要求される品質レベルと関係する所定の基準に基づき、システムの動作中、符号化デバイスまたは符号化システムによって動的に選択されることが可能である。

プロセス２００は、ビデオデータの分類、および所望される目標品質レベルに基づき、ビデオデータを符号化するためのビットレートを決定した。ビデオデータを符号化するためのビットレートは、そのスーパフレームに属する個々のフレームサイズ推定を加算することによって決定されることが可能である。個々のフレームサイズ推定は、２つの形で計算されることが可能である。１つのアプローチでは、スーパフレームにおける各フレームのサイズの推定が、帯域幅比に基づいて計算され、次に、スーパフレームのサイズが、フレームサイズの一次結合として推定されることが可能である。

（フレームサイズに基づいてスーパフレームサイズを推定すること）
フレームサイズは、前に符号化されたフレーム、およびフレームの帯域幅比に応じて推定される。ＩＩＲ（無限インパルス応答）フィルタを使用して、フレームサイズを推定した場合、実際のサイズと、シミュレーションからの推定されたサイズとの間で、強い相関が観察される。ＢＷＲ（帯域幅比）が、ＭＰＥＧ−２復号器における動きベクトルおよびＳＡＤに基づき、プリプロセッサにおいて計算される。

以下のとおり、フレームサイズとＢＷＲの間の単純明快な直線関係を想定する。すなわち、

フレームサイズを推定するための手続きを以下に説明する。（１）ガンマと呼ばれる量が、符号化された各フレームに関して、フレームサイズとＢＷＲの比として計算される。

（２）符号化されるべき各フレームに関して、以下のＩＩＲフィルタを使用して、重みが計算される。

このため、フレームサイズは、以下のとおり推定される。すなわち、

この手続きは、ＰフレームとＢフレームの両方に関して使用されることが可能であり、連続するＰフレームは、先行する符号化されたＰフレームから推定され、Ｂフレームは、先行する符号化されたＢフレームから推定される。１つのアプローチでは、Ｔｅｍｐｏｒａｌ＿ＢＷＲが、フレーム内のすべてのマクロブロックに関するＢｅｔａ＿ｉｎｔｅｒ（前述した）の合計であることが可能である。Ｉフレームの場合、ＦＩＲフィルタが、ＩＩＲフィルタよりも正確な結果をもたらすことが観察される。このため、Ｉフレームに関して、推定は、以下のとおり獲得される。すなわち、

スーパフレームサイズは、そのスーパフレームにおけるすべてのフレーム推定の合計である。

（スーパフレームサイズ全体を推定すること）
別のアプローチでは、スーパフレームサイズが、全体的に推定されることが可能である。スーパフレームサイズは、前に符号化されたスーパフレーム、およびスーパフレーム全体の帯域幅比に応じて、推定されることが可能である。前述の第１のアプローチに関して説明されたＩＩＲ（無限インパルス応答）フィルタを使用して、スーパフレームサイズが推定されることが可能である。

この場合も、スーパフレーム全体に関して、スーパフレームサイズと、帯域幅比によって表されるスーパフレーム複雑度との間で、直線関係が想定されることが可能である。すなわち、

スーパフレームサイズを推定するための手続きは、以下のとおり説明されることが可能である。すなわち、
（１）シータと呼ばれる量が、以下の数式で示されるとおり、完全なスーパフレームに関して、スーパフレームサイズとＢＷＲの間の比として計算される。すなわち、

（２）符号化されるべき各スーパフレームに関して、以下のＩＩＲフィルタを使用して、重みが計算される。

スーパフレームサイズは、以下のとおり推定されることが可能である。すなわち、

所与のスーパフレームに関する帯域幅比は、そのスーパフレームにおける個々のフレームに関する帯域幅比の一次結合を使用して推定される。スーパフレームにおけるフレームタイプは、ＩＢＰまたはＩＢＢＰなどの、固定のＧＯＰ構造に基づくことが可能である。

スーパフレームにおけるフレームタイプは、前述したフレーム差分メトリックに基づいて、判定される。イントラしきい値およびインタしきい値が、その所与のスーパフレームにおけるコンテンツタイプの分類に基づいて、決定される。それらのしきい値に基づき、フレームは、フレームのフレーム差分が、ｉｎｔｒａ＿ｔｈｒｅｓｈｏｌｄを超える場合、Ｉフレームであると宣言され、フレームのフレーム差分が、イントラしきい値とインタしきい値の間にある場合、Ｐフレームであると宣言され、フレーム差分が、ｉｎｔｅｒ＿ｔｈｒｅｓｈｏｌｄを下回る場合、Ｂフレームであると宣言される。

前述したＤｓｃａｔおよびジロのモデルを使用して導き出されるＢｅｔａ＿Ｉｎｔｒａとして記述される空間的帯域幅比を使用して、イントラフレームのサイズが推定される。
別のアプローチは、空間的帯域幅比が、前述したコントラスト比、またはその量を表す他の任意のメトリックに基づく場合である。

Ｄｓｃａｔおよびジロのモデル、ならびに前述したＭＶおよびＳＡＤを使用して導き出されるＢｅｔａ＿Ｉｎｔｒａとして記述される時間的帯域幅比を使用して、インタのサイズが推定される。別のアプローチは、時間的帯域幅比が、前述したＳＡＤ＿ＭＶメトリック、あるいはフレームにおける動きの量またはレベルを表す他の任意のメトリックに基づく場合である。

図８を再び参照すると、ステップ２２１で、プロセス２００が、ステップ２１５で決定されたビットレートを、例えば、マルチメディアデータのさらなる処理のために使用して、無線ネットワーク上の通信のためにマルチメディアデータを符号化する。

図９は、図８に示されるポイント「Ａ」とポイント「Ｂ」の間でマルチメディアデータを処理するさらなる動作のためのプロセス２０１を示すフローチャートである。プロセス２０１が、ステップ２０６でマルチメディアデータの空間的複雑度を判定する。空間的複雑度を判定することは、プロセス２０１が、マルチメディアデータのブロックに関して、少なくともＤ_ｃｓａｔ値を計算することを要求し、この計算は、ステップ２０７で実行される。ステップ２０７は、図１にともに示される、符号化コンポーネント１８５またはコンテンツ分類コンポーネント１９０によって実行されることが可能である。Ｄ_ｃｓａｔ値を計算するプロセスについては、前述した。ステップ２４０に進むと、プロセス２０１は、その時点で、マルチメディアデータの時間的複雑度を判定する。ステップ２０９が、少なくとも１つのデータブロックに関する少なくとも１つの動きベクトルを算出し、これは、通常、符号化コンポーネント１８５によって行われる。ステップ２１１で、プロセス２０１は、マルチメディアデータの少なくとも１つのブロック、および基準ブロックに関連するＳＡＤ（絶対差分の合計）を算出する。ステップ２１１における計算もやはり、通常、符号化コンポーネント１８５によって行われる。ステップ２１０に進むと、プロセス２０１は、判定された複雑度に基づき、マルチメディアデータを分類する。マルチメディアデータを分類するのに、ステップ２５５で、空間的複雑度が、テクスチャ値に関連付けられる。また、ステップ２６０に示されるとおり、時間的複雑度が、モーション値に関連付けられる。最後に、ステップ２６５で、プロセス２０１は、ステップ２５５およびステップ２６０でそれぞれ決定されたテクスチャ値およびモーション値に基づき、マルチメディアデータにコンテンツ分類を割り当てる。プロセス２０１のステップは、図９のステップ２１５で示されるとおり、プロセス２００が、ビットレートを決定することに進む「Ｂ」で終了する。

所与の知覚品質のためにマルチメディアデータ複雑度、および対応する符号化レートまたは圧縮比を推定するコンテンツ分類およびプロセスは、可変レートストリームの統計的多重化における利得を向上させるように拡張されることが可能である。前述した方法および装置を活用する、そのようなマルチプレクサは、マルチメディアアプリケーションにおける動的に変化するコンテンツのために、一様な品質多重化が出力されることも可能にする。そのようなマルチプレクサを以下に説明する。

（マルチプレクサ）
一部の実施形態では、前述したビット管理のためにマルチプレクサが使用されることが可能である。例えば、マルチプレクサが、ビットレート割当て制御を提供するように実施されることが可能である。推定された複雑度が、マルチプレクサに供給されることが可能であり、すると、マルチプレクサは、多重化されるビデオチャネルの集合に、それらのビデオチャネルに関して予期される符号化複雑度に応じて、利用可能な帯域幅を割り当てることができ、これにより、多重化されたビデオストリームの集合に対する帯域幅が、比較的一定している場合でも、特定のチャネルの品質が、比較的一定のままであることが可能になる。

図１０は、複数のマルチメディアストリームまたはマルチメディアチャネル１００２の符号化を示すシステム図である。マルチメディアストリーム１００２は、それぞれの符号器１００４によって符号化され、符号器１００４は、ＭＵＸ（マルチプレクサ）１００６と通信しており、ＭＵＸ１００６は、伝送媒体１００８と通信している。例えば、マルチメディアストリーム１００２は、ニュースチャネル、スポーツチャネル、映画チャネルなどの、様々なコンテンツチャネルに対応することが可能である。符号器１００４は、マルチメディアストリーム１００２を、システムのために指定された符号化フォーマットに符号化する。ビデオストリームの符号化の文脈で説明されているが、開示される技術の原理および利点は、例えば、オーディオストリームを含むマルチメディアストリームに、一般に適用可能である。符号化されたマルチメディアストリームは、マルチプレクサ１００６に供給され、マルチプレクサ１００６は、様々な符号化されたマルチメディアストリームを組み合わせて、その複合ストリームを、伝送のために伝送媒体１００８に送る。

伝送媒体１００８は、ＤｉｒｅｃｔＴＶ（登録商標）などのデジタル衛星通信、デジタルケーブル、有線および無線のインターネット通信、光ネットワーク、セル電話網などの、ただし、以上には限定されない、様々な媒体に対応することが可能である。伝送媒体１００８は、例えば、ＲＦ（無線周波数）への変調を含むことが可能である。通常、スペクトル制約などのため、伝送媒体は、限られた帯域幅を有し、マルチプレクサ１００６から伝送媒体へのデータは、比較的一定のビットレート（ＣＢＲ）に保たれる。

従来のシステムでは、マルチプレクサ１００６の出力におけるＣＢＲ（固定ビットレート）の使用は、マルチプレクサ１００６に入力される、符号化されたマルチメディアストリームまたはビデオストリームもやはり、ＣＢＲであることを要求する。背景技術で説明されるとおり、ビデオコンテンツを符号化する際のＣＢＲの使用は、通常、望ましくない、可変の視覚的品質をもたらす可能性がある。

図示されるシステムでは、符号器１００４の２つ以上が、入力データの予期される符号化複雑度を通信する。符号器１００４の１つまたは複数が、マルチプレクサ１００６から、応答として、適合されたビットレート制御を受信することが可能である。これにより、比較的複雑なビデオを符号化することを見込む符号器１００４が、それらのビデオフレームのために、準可変ビットレートの形で、より高いビットレート、またはより高い帯域幅（フレーム当たり、より多くのビット）を受け取ることが可能になる。これにより、マルチメディアストリーム１００２が、より一定した視覚的品質で符号化されることが可能になる。比較的複雑なビデオを符号化する特定の符号器１００４によって使用される追加の帯域幅は、符号器が、固定ビットレートで動作するように実施されたとした場合に、他のビデオストリーム１００４を符号化するために、さもなければ使用されたであろうビットから来る。これにより、マルチプレクサ１００６の出力が、ＣＢＲ（固定ビットレート）に保たれる。

個別のマルチメディアストリーム１００２は、比較的「バースト性」である、つまり、使用される帯域幅が変化することが可能であるが、複数のビデオストリームの累積合計は、それほどバースト性ではない。それほど複雑でないビデオを符号化するチャネルからのビットレートは、例えば、マルチプレクサ１００６によって、比較的複雑なビデオを符号化するチャネルに再割当てされることが可能であり、これにより、組み合わされたビデオストリーム全体の視覚的品質が向上することが可能である。

符号器１００４は、一緒に符号化され、多重化されるべきビデオフレームセットの複雑度の指標をマルチプレクサ１００６に供給する。マルチプレクサ１００６の出力は、伝送媒体１００８のために指定されたビットレート以下である出力をもたらさなければならない。複雑度の指標は、選択されたレベルの品質を提供するように、前述したコンテンツ分類に基づくことが可能である。マルチプレクサ１００６は、複雑度の指標を分析し、様々な符号器１００４に、割り当てられた数のビットまたは帯域幅を提供し、符号器１００４は、その情報を使用して、セットの中のビデオフレームを符号化する。これにより、ビデオフレームセットが、個々に可変のビットレートであるが、それでも、グループとして固定ビットレートを実現することが可能になる。

また、コンテンツ分類は、任意の汎用の圧縮器に関して、マルチメディアの品質ベースの圧縮一般を可能にする際にも使用されることが可能である。

コンテンツ分類、および本明細書で説明される方法および装置は、任意のマルチメディアデータの品質ベース、かつ／またはコンテンツベースのマルチメディア処理において使用されることが可能である。一例は、任意の汎用の圧縮器に関するマルチメディアの圧縮一般における使用である。別の例は、補間動作、再サンプリング動作、拡張動作、復元動作、およびプレゼンテーション動作などの、任意の伸張器（ｄｅｃｏｍｐｒｅｓｓｏｒ）または復号器またはポストプロセッサにおける伸張または復号においてである。

様々な実施形態の諸態様は、示されるフレームが、動いているイメージ（例えば、動いている、または変化するイメージを表現する、関連するフレームのシーケンス）、または静止しているイメージ（例えば、変化しない、またはゆっくり変化するイメージ）を、テキストであれ、画像であれ、表示するマルチメディアデータを含め、後の表示のためにマルチメディアデータを符号化するように構成された任意のデバイスで実施されることが可能である。より詳細には、一部の実施形態は、移動電話機、無線デバイス、ＰＤＡ（パーソナルデジタルアシスタント）、ハンドヘルドコンピュータもしくはポータブルコンピュータ、および表示のためのマルチメディアデータを受信するように構成された他のそのような有線もしくは無線の通信デバイスなどの、ただし、以上には限定されない、通信のために使用されることが可能な、様々な電子デバイスで実施される、またはそのようなデバイスに関連付けられることが可能であることが、企図される。

マルチメディアデータを、無線電話機、ＰＤＡ、ラップトップコンピュータなどのクライアントデバイスに通信することには、大量のデータを伝送すること、および処理することがかかわる。ほとんどのマルチメディアアプリケーションは、符号器に供給されるマルチメディアフレームシーケンスが、内容に基づいて分類された場合、品質の利益を高めることが可能であったはずである。コンテンツ分類が、利用可能である場合、役立つことが可能な、マルチメディア通信システムにおける、いくつかのアプリケーションが、存在する。例えば、コンテンツ分類は、所定の見る品質を得るためにマルチメディアデータを符号化するのに必要とされるビットレートを決定する際に、役立つことが可能であり、所与のフレームに関する最良のフレームタイプを決定するのにも使用されることが可能である。

情報および信号は、様々な異なる技術および技法のいずれを使用して表現されてもよいことが、当業者には理解されよう。例えば、以上の説明全体にわたって言及されるデータ、命令、コマンド、情報、信号、ビット、記号、およびチップは、電圧、電流、電磁波、磁場もしくは磁気粒子、光場もしくは光粒子（ｏｐｔｉｃａｌ ｐａｒｔｉｃｌｅｓ）、または以上の任意の組合せによって表現されることが可能である。

本明細書で開示される実施例に関連して説明される、様々な例示的な論理ブロック、モジュール、およびアルゴリズムステップは、電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、または以上の組合せとして実施されることが可能であることが、当業者にはさらに理解されよう。ソフトウェアとハードウェアの、この互換性を明確に示すのに、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、それらの機能の点で、以上に一般的に説明されてきた。そのような機能が、ハードウェアとして実施されるか、またはソフトウェアとして実施されるかは、全体的なシステムに課せられた特定のアプリケーション制約および設計制約に依存する。当業者は、説明される機能を、特定の各アプリケーションのために様々な形で実施することができるが、そのような実施決定が、開示される方法の範囲からの逸脱を生じさせると解釈されてはならない。

本明細書で開示される実施例に関連して説明される、様々な例示的な論理ブロック、コンポーネント、モジュール、および回路は、汎用プロセッサ、ＤＳＰ（デジタルシグナルプロセッサ）、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）もしくは他のプログラマブル論理デバイス、ディスクリートのゲートもしくはトランジスタロジック、ディスクリートのハードウェアコンポーネント、または本明細書で説明される諸機能を実行するように設計された、以上の任意の組合せを使用して、実施される、または実行されることが可能である。汎用プロセッサは、マイクロプロセッサであることが可能であるが、代替では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態マシンであることが可能である。また、プロセッサは、コンピューティングデバイスの組合せとして、例えば、ＤＳＰとマイクロプロセッサの組合せとして、複数のマイクロプロセッサとして、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサとして、または他の任意のそのような構成として実施されてもよい。

本明細書で開示される実施例に関連して説明される方法またはアルゴリズムのステップは、ハードウェアで直接に実現されても、プロセッサによって実行されるソフトウェアモジュールで実現されても、その２つの組合せで実現されてもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている他の任意の形態の記憶媒体の中に存在することが可能である。例示的な記憶媒体は、プロセッサが、記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替では、記憶媒体は、プロセッサと一体になっていてもよい。プロセッサおよび記憶媒体は、ＡＳＩＣ（特定用途向け集積回路）の中に存在することが可能である。ＡＳＩＣは、無線モデムの中に存在することが可能である。代替では、プロセッサおよび記憶媒体は、無線モデム内部の別々のコンポーネントとして存在してもよい。

開示される実施例の以上の説明は、当業者が、開示される方法および装置を作成する、または使用することを可能にするように提供される。それらの実施例の様々な変形が、当業者には容易に明らかとなり、本明細書で定義される原理は、他の実施例に適用されることも可能であり、さらなる要素が、開示される方法および装置の趣旨または範囲を逸脱することなく、追加されることが可能である。

ストリーミングマルチメディアデータを符号化するため、および復号するための一般的な通信システムのブロック図である。 ＭＰＥＧ−４シンプルプロファイルデータストリームを示す図である。 ＭＰＥＧ−４におけるＰフレーム構築プロセスの例を示す図である。 コンテンツ分類コンポーネントを示すブロック図である。 各マクロブロックに関する平均値を示すビデオフレーム内のマクロブロックグループの概略図である。 テクスチャ値およびモーション値に基づくイメージ分類の例を示すチャートである。 コンテンツ分類曲線、および視覚的に知覚された品質値を使用してビットレートを決定する例を示すグラフである。 マルチメディアデータを分類するためのプロセスを示すフローチャートである。 マルチメディアデータのコンテンツ分類に基づいてマルチメディアデータを符号化するためのプロセスを示すフローチャートである。 複数のマルチメディアストリームまたはマルチメディアチャネルの符号化を示す系統図である。 動き補償を示す図である。 大きいラムダのプリエンファシスを示すグラフである。

Claims (55)

1. マルチメディアデータを処理する方法であって、
   マルチメディアデータの複雑度を判定することと、
   前記判定された複雑度に基づいて前記マルチメディアデータを分類することと、
   前記マルチメディアデータの分類に基づいて、前記マルチメディアデータに異なるレート歪み曲線を割り当てることと、
   前記マルチメディアデータの分類に基づいて割り当てられたレート歪み曲線および所望の目標品質レベルに基づいて、前記マルチメディアデータを符号化するためのビットレートを決定することとを含み、
   複雑度を判定することは、前記マルチメディアデータの空間的複雑度および時間的複雑度を判定することを含み、
   前記マルチメディアデータを分類することは、前記空間的複雑度をテクスチャ値に関連付けること、前記時間的複雑度をモーション値に関連付けること、および、前記テクスチャ値および前記モーション値に基づき、前記マルチメディアデータにコンテンツ分類を割り当てることを含み、
   前記テクスチャ値は、前記マルチメディアデータの輝度値と関係し、低いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の小さい変化を示し、高いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の大きい変化を示し、
   前記モーション値は、前記マルチメディアデータの少なくとも１つのブロックの動きの量と関係し、低いモーション値は、前記ブロックの動きが小さいことを示し、高いモーション値は、前記ブロックの動きが大きいことを示す方法。
2. 空間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのＤｃｓａｔ値に基づく請求項１に記載の方法。
3. 時間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのＭＶ（動きベクトル）に基づく請求項１に記載の方法。
4. 時間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロック、および基準ブロックに関連する絶対ピクセル差分の合計にさらに基づく請求項３に記載の方法。
5. 前記マルチメディアデータを分類することは、複数のコンテンツ分類の中から、前記マルチメディアデータに、コンテンツ分類を割り当てることを備える請求項１に記載の方法。
6. 前記複数のコンテンツ分類におけるマルチメディアデータを見るための視覚的品質値を決定することをさらに含む請求項５に記載の方法。
7. 前記マルチメディアデータを通信するためのビットレートを、該マルチメディアデータの分類に基づいて決定することをさらに含む請求項５に記載の方法。
8. ビットレートを決定することは、マルチメディアデータを見るための視覚的品質値に基づき、ビットレートをコンテンツ分類に関連付けることを含む請求項７に記載の方法。
9. ビットレートを決定することは、前記分類に基づいて前記マルチメディアデータの少なくとも１つのブロックを符号化するために割り当てられるべきビットの数を決定することを含む請求項１に記載の方法。
10. 空間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのＤｃｓａｔ値に基づく請求項１に記載の方法。
11. 空間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのコントラスト比値に基づく請求項１に記載の方法。
12. 時間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのＭＶ（動きベクトル）に基づく請求項１に記載の方法。
13. 時間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロック、および基準ブロックに関連する絶対ピクセル差分の合計にさらに基づく請求項１２に記載の方法。
14. 時間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのＳＡＤ＿ＭＶ値に基づく請求項１に記載の方法。
15. 時間的複雑度を判定することは、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのフレーム差分値に基づく請求項１に記載の方法。
16. 前記マルチメディアデータを分類することは、複数のコンテンツ分類の中から、前記マルチメディアデータに、コンテンツ分類を割り当てることを備える請求項１に記載の方法。
17. マルチメディアデータを処理するための装置であって、
    マルチメディアデータの複雑度を判定するための手段と、
    前記判定された複雑度に基づいて前記マルチメディアデータを分類するための手段と、
    前記マルチメディアデータの分類に基づいて、前記マルチメディアデータに異なるレート歪み曲線を割り当てるための手段と、
    前記マルチメディアデータの分類に基づいて割り当てられたレート歪み曲線および所望の目標品質レベルに基づいて、前記マルチメディアデータを符号化するためのビットレート決定するための手段とを含み、
    複雑度を判定することは、前記マルチメディアデータの空間的複雑度、および前記マルチメディアデータの時間的複雑度を判定することを含み、
    前記分類する手段は、前記空間的複雑度をテクスチャ値に関連付けるための手段と、前記時間的複雑度をモーション値に関連付けるための手段と、前記テクスチャ値および前記モーション値に基づき、前記マルチメディアデータにコンテンツ分類を割り当てるための手段とを含み、
    前記テクスチャ値は、前記マルチメディアデータの輝度値と関係し、低いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の小さい変化を示し、高いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の大きい変化を示し、
    前記モーション値は、前記マルチメディアデータの少なくとも１つのブロックの動きの量と関係し、低いモーション値は、前記ブロックの動きが小さいことを示し、高いモーション値は、前記ブロックの動きが大きいことを示す装置。
18. 前記空間的複雑度を判定するための前記手段は、前記マルチメディアデータの少なくとも１つのブロックに関する少なくとも１つのＤｃｓａｔ値を算出するための手段を含む請求項１７に記載の装置。
19. 前記ビットレート決定手段は、前記分類に基づいて前記マルチメディアデータの少なくとも１つのブロックを符号化するために割り当てられるべきビットの数を決定するための手段を含む請求項１７に記載の装置。
20. 前記時間的複雑度を判定するための前記手段は、前記マルチメディアデータの少なくとも１つのブロックに関する少なくとも１つのＭＶ（動きベクトル）を算出するための手段を含む請求項１７に記載の装置。
21. 前記時間的複雑度を判定するための前記手段は、前記マルチメディアデータの少なくとも１つのブロック、および基準ブロックに関連する絶対差分の合計を算出するための手段をさらに含む請求項１７に記載の装置。
22. 前記分類する手段は、複数のコンテンツ分類の中から、前記マルチメディアデータに、コンテンツ分類を割り当てることを備える請求項１７に記載の装置。
23. 前記マルチメディアデータを通信するためのビットレートを、該マルチメディアデータの分類に基づいて決定するための手段をさらに含む請求項１７に記載の装置。
24. ビットレートを決定することは、前記分類にビットレートを関連付けることを含み、前記ビットレートは、マルチメディアデータを見るための視覚的品質レベルに基づく請求項２３に記載の装置。
25. 前記分類における視覚的品質値を決定するための手段をさらに含む請求項２４に記載の装置。
26. 空間的複雑度を判定するための手段は、前記マルチメディアデータの少なくとも１つのブロックに関する少なくとも１つのＤｃｓａｔ値を算出するための手段に基づく請求項１７に記載の装置。
27. 空間的複雑度を判定するための手段は、前記マルチメディアデータの少なくとも１つのブロックに関する少なくとも１つのコントラスト比値を算出するための手段に基づく請求項１７に記載の装置。
28. 時間的複雑度を判定するための手段は、前記マルチメディアデータの少なくとも１つのブロックに関する少なくとも１つのＭＶ（動きベクトル）を算出するための手段に基づく請求項１７に記載の装置。
29. 時間的複雑度を判定するための手段は、前記マルチメディアデータの少なくとも１つのブロック、および基準ブロックに関連する絶対ピクセル差分の合計にさらに基づく請求項２８に記載の装置。
30. 時間的複雑度を判定するための手段は、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのＳＡＤ＿ＭＶ値を算出するための手段に基づく請求項１７に記載の装置。
31. 時間的複雑度を判定するための手段は、前記マルチメディアデータの少なくとも１つのブロックに関して算出される少なくとも１つのフレーム差分値を算出するための手段に基づく請求項１７に記載の装置。
32. 前記マルチメディアデータを分類するための手段は、コンテンツ分類の中から、前記マルチメディアデータに、コンテンツ分類を割り当てることを備える請求項１７に記載の装置。
33. マルチメディアデータの複雑度を判定し、前記判定された複雑度に基づいて前記マルチメディアデータを分類し、前記マルチメディアデータの分類に基づいて、前記マルチメディアデータに異なるレート歪み曲線を割り当て、前記マルチメディアデータの分類に基づいて割り当てられたレート歪み曲線および所望の目標品質レベルに基づいて、前記マルチメディアデータを符号化するためのビットレートを決定するように構成されたプロセッサを含み、
    前記プロセッサは、前記マルチメディアデータの前記空間的複雑度を判定し、前記マルチメディアデータの前記時間的複雑度を判定し、前記空間的複雑度をテクスチャ値に関連付けること、および前記時間的複雑度をモーション値に関連付けること、ならびに前記テクスチャ値および前記モーション値に基づいて前記マルチメディアデータにコンテンツ分類を割り当てることにより、前記マルチメディアデータを分類するようにさらに構成され、
    前記テクスチャ値は、前記マルチメディアデータの輝度値と関係し、低いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の小さい変化を示し、高いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の大きい変化を示し、
    前記モーション値は、前記マルチメディアデータの少なくとも１つのブロックの動きの量と関係し、低いモーション値は、前記ブロックの動きが小さいことを示し、高いモーション値は、前記ブロックの動きが大きいことを示すデバイス。
34. 前記空間的複雑度は、前記マルチメディアデータの少なくとも１つのブロックに関連するＤｓｃａｔ値に基づく請求項３３に記載のデバイス。
35. 前記時間的複雑度は、前記マルチメディアデータの少なくとも１つのブロックに関連する少なくとも１つのＭＶ（動きベクトル）に基づく請求項３３に記載のデバイス。
36. 前記時間的複雑度は、前記マルチメディアデータの少なくとも１つのブロック、および基準ブロックに関連する絶対差分の合計にさらに基づく請求項３５に記載のデバイス。
37. 前記マルチメディアデータは、複数のコンテンツ分類の中から、前記マルチメディアデータに、コンテンツ分類を割り当てることを備える請求項３３に記載のデバイス。
38. 前記プロセッサは、前記マルチメディアデータを通信するためのビットレートを、該マルチメディアデータのコンテンツ分類に基づいて決定するようにさらに構成される請求項３７に記載のデバイス。
39. 前記プロセッサは、複数の分類におけるマルチメディアデータを見るための視覚的品質値を決定するようにさらに構成される請求項３３に記載のデバイス。
40. 前記プロセッサは、コンテンツ分類にビットレートを関連付けることによってビットレートを決定するように構成され、前記関連付けは、マルチメディアデータを見るための視覚的品質値に基づく請求項３３に記載のデバイス。
41. ビットレートを決定するように構成されることは、前記マルチメディア分類に基づいて前記マルチメディアデータの少なくとも１つのブロックを符号化するために割り当てられるべきビットの数を決定するように構成されることを含む請求項３３に記載のデバイス。
42. マルチメディアデータの複雑度を判定することと、
    前記判定された複雑度に基づいてマルチメディアデータを分類することと、
    前記マルチメディアデータの分類に基づいて、前記マルチメディアデータに異なるレート歪み曲線を割り当てることと、
    前記マルチメディアデータの分類に基づいて割り当てられたレート歪み曲線および所望の目標品質レベルに基づいて、前記マルチメディアデータを符号化するためのビットレートを決定することと、
    を含むマルチメディアデータを処理するための方法を実体化するためのコンピュータ可読媒体であって、
    前記複雑度を判定する前記方法は、前記マルチメディアデータの前記空間的複雑度および前記時間的複雑度を判定することを含み、
    前記マルチメディアデータを分類することは、前記空間的複雑度をテクスチャ値に関連付けること、前記時間的複雑度をモーション値に関連付けること、および、前記テクスチャ値および前記モーション値に基づき、前記マルチメディアデータにコンテンツ分類を割り当てることを含み、
    前記テクスチャ値は、前記マルチメディアデータの輝度値と関係し、低いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の小さい変化を示し、高いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の大きい変化を示し、
    前記モーション値は、前記マルチメディアデータの少なくとも１つのブロックの動きの量と関係し、低いモーション値は、前記ブロックの動きが小さいことを示し、高いモーション値は、前記ブロックの動きが大きいことを示すコンピュータ可読媒体。
43. 前記マルチメディアデータを分類する前記方法は、複数のコンテンツの中から、前記マルチメディアデータに、コンテンツ分類を割り当てることを備える請求項４２に記載のコンピュータ可読媒体。
44. 前記方法は、前記マルチメディアデータ分類に基づいて前記マルチメディアデータを通信するためのビットレートを決定することをさらに含む請求項４２に記載のコンピュータ可読媒体。
45. ビットレートを決定する前記方法は、視覚的品質値に基づいてコンテンツ分類にビットレートを関連付けることを含み、前記視覚的品質値は、マルチメディアデータを見るための人間によって知覚される品質レベルを含む請求項４２に記載のコンピュータ可読媒体。
46. ビットレートを決定する前記方法は、前記分類に基づいて前記マルチメディアデータの少なくとも１つのブロックを符号化するために割り当てられるべきビットの数を決定することを含む請求項４２に記載のコンピュータ可読媒体。
47. マルチメディアデータを処理するための装置であって、
    マルチメディアデータの複雑度を判定する第１のディターミナ（ｄｅｔｅｒｍｉｎｅｒ）と、
    前記判定された複雑度に基づいて前記マルチメディアデータを分類するコンテンツクラシファイア（ｃｌａｓｓｉｆｉｅｒ）と、
    前記マルチメディアデータの分類に基づいて、前記マルチメディアデータに異なるレート歪み曲線を割り当てるアロケータと、
    前記マルチメディアデータの分類に基づいて割り当てられたレート歪み曲線および所望の目標品質レベルに基づいて、前記マルチメディアデータを符号化するためのビットレートを決定する第２のディターミナとを含み、
    前記第１のディターミナは、前記マルチメディアデータの空間的複雑度、および前記マルチメディアデータの時間的複雑度を判定し、
    前記クラシファイアは、前記空間的複雑度をテクスチャ値に関連付けること、前記時間的複雑度をモーション値に関連付けること、および、前記テクスチャ値および前記モーション値に基づき、前記マルチメディアデータにコンテンツ分類を割り当てることにより、前記マルチメディアデータを分類し、
    前記テクスチャ値は、前記マルチメディアデータの輝度値と関係し、低いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の小さい変化を示し、高いテクスチャ値は、前記マルチメディアデータの近傍ピクセルの輝度値の大きい変化を示し、
    前記モーション値は、前記マルチメディアデータの少なくとも１つのブロックの動きの量と関係し、低いモーション値は、前記ブロックの動きが小さいことを示し、高いモーション値は、前記ブロックの動きが大きいことを示す装置。
48. 前記空間的複雑度は、前記マルチメディアデータの少なくとも１つのブロックに関連する少なくとも１つのＤｃｓａｔ値に基づく請求項４７に記載の装置。
49. 前記時間的複雑度は、前記マルチメディアデータの少なくとも１つのブロックに関連する少なくとも１つのＭＶ（動きベクトル）に基づく請求項４７に記載の装置。
50. 前記時間的複雑度は、前記マルチメディアデータの少なくとも１つのブロック、および基準ブロックに関連する絶対ピクセル差分の合計にさらに基づく請求項４９に記載の装置。
51. 前記分類に基づいて前記マルチメディアデータを通信するためのビットレートを決定することをさらに含む請求項４７に記載の装置。
52. ビットレートを決定することは、マルチメディアデータを見るための視覚的品質値に基づき、前記マルチメディアデータ分類にビットレートを関連付けることを含む請求項４７に記載の装置。
53. 前記ビットレートを決定することは、前記分類に基づいて前記マルチメディアデータの少なくとも１つのブロックを符号化するために割り当てられるべきビットの数を決定することを含む請求項４７に記載の装置。
54. 複数のコンテンツ分類におけるマルチメディアデータを見るための視覚的品質値を決定するための第３のディターミナをさらに含む請求項４７に記載の装置。
55. 複数のコンテンツの中から、前記マルチメディアデータに、コンテンツ分類を割り当てることを備える請求項４７に記載の装置。

Images