JP4927875B2 - 無線映像通信における誤り耐性アルゴリズムの方法および装置 - Google Patents

Description

（関連出願の相互参照）
（合衆国法典第３５巻第１１９条による優先権の主張）
本特許出願は、本願の譲受人に譲渡されており、あらゆる目的で参照により本明細書に完全に組み込まれる、２００６年１月２０日に出願された、「無線映像通信のための予測階層に基づく適応イントラリフレッシュの方法および装置（Method and Apparatus for Adaptive Intra Refresh Based on Prediction Hierarchy for Wireless Video Communications）」という名称の仮出願第６０／７６０６７８号（整理番号０６０３７２Ｐ１）の優先権を主張するものである。

本特許出願は、本願の譲受人に譲渡されており、あらゆる目的で参照により本明細書に完全に組み込まれる、２００６年１月２０日に出願された、「無線映像通信の誤り耐性の方法（A Method of Error Resilience for Wireless Video Communication）」という名称の仮出願第６０／７６０７５５号（整理番号０６０３７２Ｐ２）の優先権を主張するものである。

本願は、マルチメディア信号処理を対象とし、特に、無線映像通信を対象とする。

映像符号器などのマルチメディア処理システムは、ＭＰＥＧ（Moving Picture Experts Group）−１、−２および−４規格、ＩＴＵ（International Telecommunication Union）−Ｔ Ｈ．２６３規格、ＩＴＵ−Ｔ Ｈ．２６４規格およびこれに対応する、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４第１０部、すなわち、高度映像符号化（ＡＶＣ）などといった国際規格に基づく符号化法を使ってマルチメディアデータを符号化し得る。かかる符号化法は、一般に、伝送および／または格納のためにマルチメディアデータを圧縮することを対象とする。圧縮とは、概して、データから冗長性を除去するプロセスである。

映像信号は、フレーム（画像全体）、またはフィールド（例えば、インタレース映像ストリームは、画像の交互の奇数ラインまたは偶数ラインのフィールドを備える）を含む画像のシーケンスとして記述され得る。本明細書で使用する際、「フレーム」という語は、画像、フレームまたはフィールドを指すものとする。映像符号化法は、無損失または有損失の圧縮アルゴリズムを使って各フレームを圧縮することによって映像信号を圧縮する。フレーム内符号化（本明細書ではイントラ符号化という）とは、フレームをこのフレームだけを使って符号化することをいう。フレーム間符号化（本明細書ではインター符号化という）とは、別の「参照」フレームに基づいてフレームを符号化することをいう。例えば、映像信号は、しばしば、フレームの時間的連続において相互に近いフレームが、少なくとも、相互にマッチし、または少なくとも一部がマッチする部分を有する、時間的冗長性を呈する。

映像符号器などのマルチメディアプロセッサは、フレームを、１６×１６画素などのブロックまたは「マクロブロック」に分割することによって符号化し得る。符号器は、さらに、各マクロブロックをサブブロックに分割してもよい。各サブブロックは、さらにまた、さらなるサブブロックを備えていてもよい。例えば、マクロブロックのサブブロックは、１６×８と８×１６のサブブロックを含んでいてもよい。８×１６サブブロックのサブブロックは、８×８サブブロックを含んでいてもよく、以下同様である。本明細書で使用する際、「ブロック」という語は、マクロブロックまたはサブブロックを指す。

符号器は、インター符号化動き補償に基づくアルゴリズムを使ってこの時間的冗長性を利用する。動き補償アルゴリズムは、少なくとも一部があるブロックにマッチする参照フレームの部分を識別する。ブロックは、フレーム内で、参照フレームのマッチング部分を基準としてシフトされ得る。このシフトは、動きベクトルによって特徴付けられる。ブロックと、参照フレームの一部がマッチする部分との違いは、残差の点から特徴付けられ得る。符号器は、フレームを、このフレームの特定の区画の動きベクトルおよび残差の１つ以上を含むデータとして符号化し得る。フレームを符号化するためのブロックの特定の区画は、例えば、符号化サイズと、符号化から生じる内容のひずみとを釣り合わせる費用関数（cost function）を近似的に最小化することによって選択されてもよい。

インター符号化はイントラ符号化よりも高い圧縮効率を可能にする。しかしながら、インター符号化は、参照データ（参照フレームや参照フィールドなど）が、通信路誤りなどにより失われたときに問題を生じ得る。このような場合、インター符号化データの復号が不可能になったり、不要な誤りまたは誤り伝搬を生じたりすることがある。復号器は、誤りデータを、近隣のブロックまたは別のフレーム内のデータから導出されたデータで隠蔽し、または見えなくしようと試みる隠蔽方式を用いることができる。隠蔽アルゴリズムの改善は、誤り映像データの隠蔽部分の品質をある程度改善し得る。しかしながら、隠蔽アルゴリズムは、時空間情報に大きく依存しているため、隠蔽画像の呈示する品質の高さには限界がある。隠蔽データが高品質のものではなく、目に見える画質が低下することもある。加えて、信号の復号が不可能になり、再同期が必要になることもある。映像をリフレッシュする符号化法によって、誤り伝搬を抑え、再同期（または初期獲得）を可能にすることもできる。リフレッシュ映像信号は、別のフレームへの参照または別のフレームの知識がなくても復号化することができる。

映像信号のリフレッシュを可能にする最も一般的なフレームの形が、独立に復号可能なイントラ符号化フレームである。ＭＰＥＧ−ｘおよびＨ．２６ｘ規格は、画像群（ＧＯＰ）と呼ばれるものを使用し、ＧＯＰは、イントラ符号化フレーム（Ｉフレームともいう）と、Ｉフレームおよび／またはＧＯＰ内の別のＰおよび／またはＢフレームを参照する、時間的予測Ｐフレームまたは双方向予測Ｂフレームを備える。圧縮を高めるにはより長いＧＯＰが望ましいが、ＧＯＰが短いほど、より高速な獲得および再同期が可能になる。Ｉフレームの数が増大すると、映像信号がより頻繁にリフレッシュされ、これによってさらに誤り伝搬が抑えられ、より高速な獲得および再同期が可能になるが、より低い圧縮率という犠牲を払うことになる。求められているのは、圧縮効率を維持しながら、復号器における映像ストリームの誤り伝搬を抑える映像データ符号化の方法である。

発明の概要

本願のシステム、方法、および装置は、それぞれ、いくつかの態様を有し、これらの態様のどの１つも、これの望ましい属性を単独で有するものではない。次に、添付の特許請求の範囲によって表明される本願の適用範囲を限定することなく、これのより顕著な特徴について簡単に論じる。この記述を考慮すれば、特に、「いくつかの実施形態の詳細な説明」の項を読めば、本願の特徴例が、どのようにして、中でも特に、改善された復号映像品質、改善された誤り回復、改善された誤り耐性および／または改善された無線通信効率などを含むいくつかの改善を提供することができるかが理解されるであろう。

複数の映像フレームを含むマルチメディアデータを処理する方法であって、現在のフレームの画素レベル参照カウンタを初期化することと、現在のフレームを参照して次のフレームの予測を実行することと、現在のフレームのマクロブロック帯域幅マップを再調整することとを含む方法。

複数の映像フレームを含むマルチメディアデータを処理するプロセッサであって、現在のフレームの画素レベル参照カウンタを初期化し、現在のフレームを参照して次のフレームの予測を行い、現在のフレームのマクロブロック帯域幅マップを再調整するように構成されているプロセッサが示される。

複数の映像フレームを含むマルチメディアデータを処理する装置であって、現在のフレームの画素レベル参照カウンタを初期化する初期化器と、現在のフレームを参照して次のフレームの予測を実行する実行器と、現在のフレームのマクロブロック帯域幅マップを再調整する再調整器とを含む装置が提示される。

複数の映像フレームを含むマルチメディアデータを処理する装置であって、現在のフレームの画素レベル参照カウンタを初期化する手段と、現在のフレームを参照して次のフレームの予測を実行する手段と、現在のフレームのマクロブロック帯域幅マップを再調整する手段とを含む装置が提示される。

複数の映像フレームを含むマルチメディアデータを処理するための機械可読媒体であって、実行されると、機械に、現在のフレームの画素レベル参照カウンタを初期化させ、現在のフレームを参照して次のフレームの予測を実行させ、現在のフレームのマクロブロック帯域幅マップを再調整させる命令を含む機械可読媒体が示される。

詳細な説明

以下の詳細な説明は、本願のある例示的実施形態を対象とするものである。しかしながら、本願は、特許請求の範囲によって定義され、対象として含まれる多数の異なる手法で実施することができる。この説明では、図面を参照し、図面全体を通して同様の部分は同様の番号で示される。

映像信号は、一連の画像、フレーム、フィールドまたはスライスとして特徴付けられ得る。本明細書で使用する際、「フレーム」という語は、ノンインタレース映像信号のフレーム、インタレース映像信号のフィールド、またはどちらかのスライスを包含し得る広義の用語である。

実施形態には、マルチメディア伝送システムの符号器における処理を改善するシステムおよび方法が含まれる。マルチメディアデータには、動画、音声、静止画像、または他の任意の適切な種類の音声映像データのうちの１つ以上が含まれ得る。実施形態には、データ（映像など）通信の装置および方法が含まれる。

図１は、一態様によるマルチメディア通信システム１００を示すブロック図である。システム１００は、ネットワーク１４０を介して復号装置１５０とやりとりする符号化装置１１０を含み、ネットワーク１４０は、例えば、無線ネットワークなどの誤りが発生しやすいネットワークとすることができる。一例では、符号化装置は、外部ソース１０２からマルチメディア信号を受け取り、この信号をネットワーク１４０上で送信するために符号化する。

この例では、符号化装置１１０は、メモリ１１４と送受信機１１６とに接続されたプロセッサ１１２を備える。プロセッサ１１２は、１つ以上の汎用プロセッサおよび／またはディジタル信号プロセッサを含んでいてもよい。メモリ１１４は、１つ以上のソリッドステートのおよび／またはディスクベースの記憶装置を含んでもよい。プロセッサ１１２は、マルチメディアデータソースからのデータを符号化し、これを、ネットワーク１４０を介した通信のために送受信機１１６に提供する。

この例では、復号装置１５０は、メモリ１５４と送受信機１５６とに結合されたプロセッサ１５２を備える。プロセッサ１５２は、１つ以上の汎用プロセッサおよび／またはディジタル信号プロセッサを含んでいてもよい。メモリ１５４は、１つ以上のソリッドステートのおよび／またはディスクベース記憶を含んでいてもよい。送受信機１５６は、ネットワーク１４０を介してマルチメディアデータを受け取り、これを復号のためにプロセッサ１５２に提供するように構成されている。一実施形態では、送受信機１５６は、無線送受信機を含む。ネットワーク１４０は、１つ以上の有線または無線の通信システムを備えていてもよく、これには、イーサネット（登録商標）、電話（ＰＯＴＳなど）、ケーブル、電力線、および光ファイバシステムのうちの１つ以上、ならびに／もしくは、符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システム、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元（ＯＦＤＭ）接続システム、ＧＳＭ／ＧＰＲＳ（General Packet Radio Service）／ＥＤＧＥ（enhanced data GSM environment）などの時分割多元接続（ＴＤＭＡ）システム、ＴＥＴＲＡ（Terrestrial Trunked Radio）移動電話システム、広帯域符号分割多元接続（ＷＣＤＭＡ）システム、高データレート（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、ＩＥＥＥ８０２．１１システム、ＭｅｄｉａＦＬＯシステム、ＤＭＢシステム、またはＤＶＢ−Ｈシステムのうちの１つ以上を備える無線システムが含まれる。

図２は、図１に示すシステム１００などにシステムにおいて使用され得る符号化装置１１０の一実施形態を示すブロック図である。この実施形態において、符号器１１０は、ひずみ値推定要素２０２と、符号化法決定器２０４と、マルチメディア符号化要素２０６とを備える。ひずみ値推定器２０２は、符号化されるマルチメディアデータの部分のひずみ値を推定する。ひずみ値は、一部は、現在の部分がそこから予測される映像の別の部分からの誤り伝搬と、別の部分が誤って受け取られる尤度とに基づくものである。また、ひずみ値は、映像の部分が誤って受け取られた場合にこの部分を隠蔽する間に復号器において導かれる誤りによるひずみ成分も含む。ひずみ値推定器は、複数の符号化法を考慮し、符号化法ごとのひずみ値を計算してもよい。

符号化法決定器２０４は、推定されたひずみ値に基づいて映像データの部分を符号化するのに使用される符号化法を決定する。符号化法決定器２０４とひずみ値推定器２０２は、協働して、複数の符号化法（複数のインター符号化法など）について複数のひずみ値を計算し、最小のひずみを生じる符号化法を選択し得る。符号化法決定器は、ひずみ値を閾値と比較し、この比較に基づいて、別の符号化法が必要であると決定してもよい。別の符号化法は、イントラ符号化など、映像ストリームのリフレッシュに関連する符号化法でもよい。また、別の符号化法は、ひずみ値推定器２０２によってより低いひずみ値が推定される別の形式のインター符号化とすることもできる。また、符号化法決定器は、ひずみ値と共に計算複雑度を考慮して、許容可能なひずみを提供し、ある計算複雑度レベルを超えない符号化法を決定してもよい。

マルチメディア符号器２０６は、ひずみ値に基づいて決定された符号化法を実行する。マルチメディア符号器２０６によって実行される符号化法には、映像の部分が、別の時間的フレームに位置する映像データの別の部分を参照して（例えば、動き補償予測などを使って）時間的に予測されるインター符号化が含まれる。別の符号化法には、映像の部分が、時間的に別に位置する映像データを参照せずに独立に復号され得るように符号化されるイントラ符号化が含まれる。実施形態によっては、イントラ符号化が、空間的予測を使って、同じ時間フレーム内に位置する別の映像データにおける冗長性を利用してもよい。

実施形態によっては、図２の符号器１１０の要素の１つ以上が再配置され、かつ／または結合されていてもよい。各要素は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらの任意の組み合わせによって実施され得る。符号器１１０の各要素によって実行される動作の詳細は、以下で、図４に示す方法を参照して論じる。

図３は、図１に示すシステム１００のようなシステムにおいて使用され得る復号装置１５０の実施形態を示すブロック図である。この実施形態において、復号装置１５０は、マルチメディア復号要素３０２と、誤り隠蔽要素３０４とを含む。マルチメディア復号器３０２は、図２の符号化装置１１０を使って符号化されたような符号化マルチメディアビットストリームを復号する。マルチメディア復号器は、データを符号化するのに使用された符号化操作に対応する逆の操作を実行する。符号化データは、インター符号化データ（時間的予測データなど）および／またはイントラ符号化データとすることができる。

誤り隠蔽要素３０４は、誤って受け取られ、または（同期損などにより）復号できない映像の部分を隠蔽し、または見えなくするのに使用される様々な形の誤り隠蔽を実行する。隠蔽法には、空間的誤り隠蔽、時間的誤り隠蔽などの方法が含まれ得る。使用される隠蔽法は、図２の符号化装置１１０のひずみ値推定器２０２においてひずみ値を推定するときにモデル化される誤り隠蔽法と同じまたは類似の方法とすることができる。本態様では、同じまたは類似の隠蔽法を必要としないが、符号化装置でモデル化されたのと同じまたは類似の隠蔽法を復号装置１５０で使用すれば、改善された復号映像品質がもたらされ得る。誤り隠蔽を実行することに加えて、誤り隠蔽要素３０４は、誤り回復機能も実行し得る。誤り回復は、使用可能な（例えば誤りのない）部分を構文解析しようとして誤りであると判定されたデータの部分に対して行われ得る。また、これらの構文解析された部分は、誤り隠蔽要素３０４による誤り隠蔽に際しても使用され得る。

実施形態によっては、図３の復号器１５０の要素の１つ以上が再配置され、かつ／または結合されていてもよい。各要素は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらの任意の組み合わせによって実施され得る。復号器１５０の各要素によって実行される動作の詳細は、本考察の範囲を超えるものである。

図４Ａは、図１に示すようなシステムにおける映像ストリームの一部分を符号化する方法の例を示す流れ図である。この例では、方法は、符号化される映像の部分のひずみ値を推定する。ひずみ値は、復号器において誤って受け取られる符号化部分と、誤り部分を隠蔽するのに使用される隠蔽法によって生じる誤りの確率に基づくものである。ひずみ値を復号器隠蔽法に基づかせることによって、符号化映像ビットストリームを、復号器における誤り伝搬の影響に対してよりロバストなものとすることができ、これにより、復号映像品質が改善され得る。また、この例の方法は、推定されたひずみ値に基づいて符号化法を決定することもできる。符号化法は、複数の符号化法の中でひずみ値を最小にするように決定されてもよい。符号化法は、復号器における映像の部分の回復性を改善することに基づいて決定されてもよい。符号化法は、映像部分をリフレッシュして復号器における誤り伝搬を制限するように決定されてもよい。

図４Ａを参照すると、方法４００は、ブロック４０２から開始し、そこで、符号化装置が、マルチメディアデータの一部分のひずみ値を推定する。このマルチメディアデータの一部分は、画素（例えば、輝度および彩度、または赤、緑および青など）、画素のブロック、もしくは１つ以上の画素の任意の形状およびサイズの領域とすることができる。ひずみ値は、少なくとも一部は、映像部分が誤って受け取られた場合にこの映像部分を隠蔽するのに使用され得る誤り隠蔽法に関連するひずみ成分に基づくものである。ひずみ値は、複数の隠蔽法からの成分を含むこともある。例えば、１成分は、符号化される部分が誤って受け取られた場合に限って使用される第１の隠蔽法によって導かれるひずみを表し得る。言い換えると、復号装置が隠蔽部分（予測データと呼ばれる）を予測するのに使用し得る他のすべての映像データは、誤りなしで受け取られるものと想定される。ひずみ値の別の成分には、１つ以上の予測部分が誤って受け取られた場合に復号器によって使用され得る、第２または第３の隠蔽法によって導かれるひずみが含まれ得る。隠蔽法には、空間的隠蔽、時間的隠蔽および他の形式の隠蔽が含まれ得る。時間的隠蔽を含むひずみ値を推定する方法の詳細については、以下で論じる。図２の符号化装置１１０のひずみ値推定器２０２は、ブロック４０２でこれらの動作を実行し得る。

いくつかの例では、ひずみ値が、ブロック４０２で、データフレーム内のブロックごとに計算される。各ブロックは、マクロブロック（１６×１６画素マクロブロックなど）、または任意のサイズのサブマクロブロックとすることができる。フレーム内のブロックごとのひずみ値は、ひずみマップに格納され得る。図５に、ブロック４０２で生成され得るひずみマップを図示する。ひずみマップ５００は、フレーム内のブロックごとに１つずつ、複数のひずみ値変数５０５（ｄｖ１〜ｄｖ１６で表す）を含む。新しいフレーム内のひずみ値を計算するに際には、前のフレームのひずみ値マップ５００が使用され得る。このようにして、累積ひずみが容易に計算され得る。任意のブロックが、イントラ符号化されるなど、リフレッシュされると決定された場合、このブロックのひずみ値はゼロに、もしくは量子化または他の何らかの要因によるひずみ値に設定され得る。

ブロック４０４で、符号化装置は、推定されたひずみ値に基づいて、このマルチメディアデータの部分に使用されるべき符号化法を決定する。いくつかの例では、ひずみ値が、ブロック４０２で、複数の方法のうちどの符号化法を使用すべきか選択するのに使用されるレートひずみ計算の一部として、複数の符号化法について計算される。例えば、このマルチメディアデータの部分を符号化するのに、最小のひずみ値をもたらす符号化法を使用するべきであると（ブロック４０４で）決定されてもよい。別の例では、ひずみ値が第１の符号化法（インター符号化またはイントラ符号化）に基づいて計算され、このひずみ値は、適応イントラリフレッシュ（ＡＩＲ）において行われるようにイントラ符号化されるべきブロックを決定するために用いられる。例えば、一部分に対応するひずみ値は、レートひずみに基づく決定により、最適な（１つ以上の）動きベクトルと、この部分を符号化するモードが見つかった後で計算されてもよい。このようにして得られたひずみ値が閾値より大きい場合、イントラ符号化モードの１つ、例えば、４×４画素イントラ符号化や１６×１６画素イントラ符号化などを使ってこの部分をイントラ符号化すると決定されてもよい。このようにして、このマルチメディアの部分がリフレッシュされる。イントラ符号化モード以外に、場合によっては、ひずみ値に基づいて、あるインター符号化モード（Ｐ８×８、Ｐ１６×１６、Ｐ１６×８、Ｐ８×１６など）も決定され得るが、これらはリフレッシュされた映像をもたらさないこともある。方法４００のブロックのいくつかは、結合され、省略され、再配置されてもよく、結合と省略と再配置が任意に組み合わされてもよいことに留意すべきである。ブロック４０４において符号化法を決定するいくつかの実施形態に詳細については、以下で図４Ｂを参照して論じる。

次に、ブロック４０２でひずみ値を推定する例示的アルゴリズムの詳細を論じる。この例のひずみ値は、２つの別のフレーム、例えば、前のフレームと後のフレームからの部分を使って、マルチメディアの誤り部分を隠蔽する時間的隠蔽法に関連するものである。しかしながら、類似の方法を使って別の隠蔽法が表されてもよい。

例示的アルゴリズムは、映像の（Ｐフレーム内などの）単方向予測部分の期待される（すなわち統計的期待）ひずみ値の再帰的ひずみ値を計算する。また、イントラ符号化部分や双方向予測部分といった別の部分も、類似のアルゴリズムによって表され得る。このアルゴリズムは、一部は、現在のＭＢが失われる想定確率（確率「Ｐ」として定義される）と、隠蔽法によって使用される予測変数が失われる確率（確率「Ｑ」として定義される）に基づくものである。想定される確率ＰとＱの少なくとも一方が増加するにつれて、このアルゴリズムは、圧縮効率と交換に、より良好な誤り耐性／隠蔽をもたらす傾向がある。確率ＰとＱの少なくとも一方が下がると、これの逆が生じる。

このアルゴリズムは、マルチメディアデータの一部分の期待されるひずみ値を計算する。このマルチメディアデータの一部分は、任意の画素数および任意の形状とすることができる。例は１６×１６画素マクロブロック（ＭＢ）である部分を参照して論じるが、別の部分で表されてもよいことに留意すべきである。一実施形態では、このアルゴリズムを使ってフレームのＭＢごとに期待されるひずみ値が推定され、図５を参照して前述したようなひずみマップが作成される。この例の期待されるひずみ値は、再帰的に、動きに適応して計算される。この期待されるひずみマップは、正確には、ＭＳＥまたはＬ_１ノルムのひずみ尺度ではないが、これらの尺度と十分合理的に相関することが期待される。

以下の表記を、ひずみ値アルゴリズムの考察に使用する。

Ｄ_ｔ ^ｉ，ｊ＝第「ｔ」フレーム内の第（ｉ，ｊ）マクロブロックの累積ひずみ値
Ｐ＝現在のＭＢが失われる確率
Ｑ＝関連する隠蔽法によって使用される予測変数が失われる確率
これらを仮定すれば、現在のＭＢは、（１−Ｐ）に等しい確率で誤りなしで受け取られる。単方向予測では、現在のＭＢが、別のフレーム、この例では前のフレームのＭＢサイズの部分を参照して符号化される。動きベクトルＭＶは、現在のＭＢとＭＢサイズの参照部分の相対的位置、あるいは場所を与える。参照部分は、一般に、ＭＢの境界と整合しておらず、最大４つのＭＢの４つの領域と重なり合うことになる。図６に、動き補償予測法を使って映像の一部分を推定するのに使用される予測領域を図示する。動きベクトル６０５は、ａ１、ａ２、ａ３およびａ４で表示される４つの領域部分からなるＭＢサイズの予測領域６１０を指し示している。４つのＭＢ６１５、６２０、６２５および６３０内には、それぞれ、領域部分ａ１〜ａ４がある。ＭＢ６１５〜６３０のひずみ値は、前のフレームのひずみマップの格納されたバージョンから獲得され得る。この例では、予測領域６１０内の４つの領域部分ａ１〜ａ４の累積ひずみ値を（例えば各領域部分内の画素数などに基づいて）加重平均して、現在のＭＢのひずみ値が計算される。よって、累積誤り伝搬による現在のマクロブロックの推定された期待ひずみ値は、次式で与えられる。

（式（１））
式中、ａ_１、ａ_２、ａ_３、ａ_４は、図６に示す４つの領域部分である。式（１）で与えられるひずみ値は、１６×１６画素領域の加重平均を２５６で割ることによって正規化されることに留意されたい。

前のフレームの予測領域からの累積ひずみに加えて、このアルゴリズムは、現在のＭＢが誤って受け取られた場合には、現在のＭＢの隠蔽によるひずみ値成分も推定する。前述のように、現在のＭＢは、Ｐの確率で誤って受け取られるものと仮定する。隠蔽法のために現在のマクロブロックによって被るひずみは、隠蔽誤り（隠蔽法によって導入される、Ｃｏｎｃｅａｌ＿Ｅｒｒｏｒという項で示す誤り）と、隠蔽法によって使用される予測領域からの誤り伝搬による影響の和として概算され得る。前述のように、（例えば、現在のフレームおよび／または過去のフレームからの）予測変数は、１−Ｑの確率で利用可能であると仮定する。この例では、（１つ以上の）隠蔽法が、現在のフレームと前のフレームのデータの利用可能度に依存するものと仮定する。予測領域は、累積ひずみ項Ｄ_ｔ−１ ^ｉ，ｊで示されるように、前のフレーム内にあるものと仮定する。しかしながら、これは一例にすぎず、予測領域は、現在のフレームまたは利用可能な別の任意のフレーム内にあってもよい。このように、隠蔽される部分がＰの確率で誤りであって、前のフレームからの予測領域を使用し、（両方とも１−Ｑの確率で利用可能である）現在のフレームと前のフレーム内の予測データの利用可能度に依存する時間的誤り隠蔽法により被るひずみは、以下のように計算され得る。

（式（２））
隠蔽誤り計算は、計算が複雑になりうる。しかしながら、いくつかの合理的な仮定の下で、これらの計算は、以下のＳＡＤ（画素値における累積差の和）値における差として近似され得る。

ＳＡＤ_ｏｐｔ：最適なＭＶと最適な符号化モードが使用されるときに、原画像と圧縮画像との間で得られるＳＡＤ
ＳＡＤ_ｅｓｔ：（時間的隠蔽アルゴリズムによって推定される）推定されたＭＶが使用されるときに、原画像と隠蔽画像との間で得られるＳＡＤ
この近似は、以下のように書かれてもよい。

（式（３））
式中、ａ_１’、ａ_２’、ａ_３’、ａ_４’は、隠蔽部分予測として使用され、累積ひずみを加重平均するのに使用される前のフレーム内の４つの領域部分（図６に示す）である。また、式（３）によって与えられるひずみ値も、１６×１６画素領域の加重平均を２５６で割ることによって正規化されることに留意されたい。

式（３）を使用するとき、（例えば、動き補償の誤りなどのために）場合によってはＳＡＤ_ｅｓｔがＳＡＤ_ｏｐｔより小さいこともあるが、この差は無視できるほど小さく、このような場合には、Ｃｏｎｃｅａｌ＿Ｅｒｒｏｒ成分をゼロとして近似してもよい。

式（３）は、（それぞれ、１−Ｑの確率で発生する）現在のフレームと前のフレームの両方が利用可能であるときに使用される隠蔽法に対応するひずみ値成分を表す。しかしながら、それぞれがＱの確率で発生する、現在のフレームおよび／または過去のフレームの一部または全部が誤って受け取られる場合には、異なる隠蔽誤りも存在し得る。４つの異なる隠蔽推定値に対応するひずみ値成分が考慮されてもよく、この場合、４つの隠蔽推定値は、次の４つのシナリオに対応する。１）現在のフレームも利用可能であり、前のフレームも利用可能である、２）現在のフレームは利用可能であるが、前のフレームは誤りである、３）現在のフレームは誤りであるが、前のフレームは利用可能である、および４）現在のフレームも前のフレームも誤りである。４つの隠蔽推定値の計算に関する詳細は、ひずみ値計算を理解するのにさほど重要でなく、本明細書では論じない。４つのひずみ値成分を含む累積ひずみは以下のように計算され得る。

（式（４））
式中、第１の隠蔽推定値は、ひずみ

を生じ、第２の隠蔽推定値は、ひずみ

を生じ、以下同様である。加えて、累積ひずみは、４つの隠蔽推定値のそれぞれで使用される予測領域の各領域（ａ’、ａ”、ａ”’およびａ””）に基づいて加重平均される。隠蔽推定値は、空間的隠蔽、双方向隠蔽など、異なる種類の隠蔽法に基づくものでもよい。例えば、隠蔽アルゴリズムは、確定的な／確率的な基準に応じて、その時々で、時間的に隠蔽したり、空間的に隠蔽したりしてもよい。ひずみ値計算を実行し、ひずみ値に基づいてどの符号化法を使用すべきか決定する符号化装置は、復号器が誤りデータを受け取るときの誤り回復および／または誤り隠蔽性能を改善するために、復号器で使用されるのと同じ、または類似の隠蔽法をモデル化してもよい。

別の予測領域が利用できない確率に基づき、式（４）において別の隠蔽推定値が考慮され、含まれていてもよいことに留意されたい。式（４）は、図５に示すひずみマップを作成するために、フレーム内のＭＢごとに使用され得る。よって、式（４）を使って計算されるひずみ値は、複数の隠蔽オプションを選択することによって被るひずみの加重和を備え、この場合重みは、選択される各隠蔽オプションの確率である。

図４Ｂは、図１に示すようなシステムにおいて映像ストリームの一部分を符号化する方法の例をより詳細に示す流れ図である。方法４２０は、図４Ａを参照して前述したようなブロック４０２とブロック４０４を含み、ブロック４０２でひずみ値を推定するときに考慮され得る様々な隠蔽法と、ブロック４０４で符号化法を決定する様々な方法を含む。

ブロック４０２で、式（４）を参照して前述したのと同様のアルゴリズムを使ってひずみ値が推定され得る。使用される正確なひずみ値の式は、表わされる隠蔽法の種類に依存する。表わされる隠蔽法には、同じフレーム内に位置する予測部分を使って誤って受け取られる部分が隠蔽される空間的隠蔽法が含まれ得る。フレーム内の空間的隠蔽の場合、前のフレームからのひずみ値の代わりに、現在のフレーム内のＭＢの累積ひずみ値が使用される。時間的隠蔽法には、前述の、式（４）で表される単方向予測が含まれてもよく、また、後続フレームの利用可能度も考慮され得る双方向予測も含まれてもよい。

時間的隠蔽法の一例が、動きベクトルスケーリングである。動きベクトルスケーリングは、別のフレームからの動きベクトルを補間および／または補外して、現在のフレーム内の誤ったマルチメディアデータの部分の動きベクトルを導出する方法である。時間的隠蔽法の別の例が、フレームレート変換である。フレームレート変換は、動きベクトルスケーリングに似ているが、通常は２つの周囲フレームに基づいて、フレーム全体の構築を伴う。時間的誤り隠蔽法の別の例は、オプティカルフロー法に基づくものとすることができる。ブロック４０２で推定されるひずみ値によって表され得る別の形の隠蔽には、空間および周波数領域補間、最平滑回復（maximally smooth recovery）、および凸集合への投影が含まれる。当分野の技術者は、方法４００のブロック４０２でひずみ値を推定するときに表され得る別の形の誤り隠蔽を理解するであろう。

前述のように、符号化装置は、ブロック４０４で、ブロック４０２で推定されたひずみ値に基づいて符号化法を決定する。実施形態によっては、推定されたひずみ値が閾値と比較され、この比較に基づいて符号化法が決定される。閾値は、マルチメディアデータのすべての部分に対して単一の値とすることもできる。しかしながら、閾値は、方法４２０のブロック４０４に列記するような方法に従って変化してもよい。これらの方法を、閾値を超えることに基づいて符号化法を決定することに関連して論じるが、ここで、閾値を超える場合に選択される符号化法は、一般に、この部分をリフレッシュする（または、少なくとも、この部分の推定されたひずみ値を低減する）のに使用される。しかしながら、符号化法は、閾値より小さいひずみ値に基づいて決定されてもよいことに留意すべきである。

いくつかの例では、閾値は、符号化されるマルチメディア部分が位置する領域のテクスチャの関数として変化する。広く変化するテクスチャ（例えば、画素から画素への大きな変化）を有する領域は、変化の少ないテクスチャを有する領域ほど多くの誤りを示さない可能性があり、したがってこの領域には、符号化法が（イントラ符号化などを使って）この部分をリフレッシュすると決定され得る、より高い閾値が設定されてもよい。しかしながら、平滑な、またはわずかに変動するテクスチャを有する領域は、より多くの誤りを示す可能性があり、したがってこれには、より低い閾値が割り当てられてもよい。

いくつかの例では、閾値は、フレーム内の符号化される部分の位置、または場所の関数として変化してもよい。例えば、端の部分には、中間部分よりも高い閾値が割り当てられ得る。このようにして、より頻繁に見られる領域（フレームの中心など）は、あまり頻繁に見られない可能性のある端の領域より頻繁にリフレッシュされ得る。

いくつかの例では、閾値は、ＧＯＰ（画像群）または複数のフレームのスーパーフレーム内での符号化される現在のフレームの位置の関数とすることができる。ＧＯＰは、一般に、イントラ符号化フレーム、または、（適応イントラリフレッシュまたはＡＩＲと呼ばれる）少なくとも１回はイントラ符号化されるフレーム内の実質的にすべてのＭＢを含む１組のフレームから開始し、ＧＯＰ（またはスーパーフレーム）内のこれ以外のフレームは、ＧＯＰ外のフレームを参照しない。これらのＭＢが、ＧＯＰの開始時にイントラ符号化される見込みがより高くなるように、ＧＯＰの先頭に近いフレームにおける閾値を、ＧＯＰの末尾に近いＭＢの閾値より低くしてもよい。

いくつかの例では、閾値は、フレーム内の、例えばひずみマップにおけるひずみ値の分布の関数とすることができる。例えば、閾値は、フレーム内のＭＢのパーセンテージが、ひずみ値の分布に基づいて確実にイントラ符号化されるように適応させて設定されてもよい。これを使ってイントラ符号化ＭＢの数を制限し、伝送に必要なデータ転送速度を制限してもよい。（ひずみ値の分布が高いために）いくつかのフレームで品質が劣化することがあっても、データ転送速度は所望のレベルに保たれ得る。

いくつかの例では、閾値は、符号化される部分を含むフレームの領域におけるモーションアクティビティ（motion activity）の関数とすることができる。より高いモーションアクティビティによって特徴付けられる映像の領域で発生する誤りは、少ない動きによって特徴付けられる領域で発生する誤りよりも知覚されにくい傾向がある。閾値は、モーションアクティビティがより高い領域においては、モーションアクティビティのより低い領域におけるよりも高い値に設定されてもよい。モーションアクティビティは、多くのやり方で測定され得る。例えば、動きベクトルの大きさがモーションアクティビティの指標として使用されてもよく、この場合、より大きい動きベクトルがより高いモーションアクティビティを示す。また、動きベクトルの方向の変化を、モーションアクティビティの指標として使用することもできる。ある領域内の動きベクトルの大部分が実質的に同じ方向を指し示している場合、これは、低いモーションアクティビティを指し示すものとすることができる。ある領域の近隣ブロック内の動きベクトルが異なる方向を指し示している場合、これは、高いモーションアクティビティを指し示すものとすることができる。同様のモーションアクティビティの尺度が、オプティカルフローなど別の動き補償法を使って得られてもよい。

いくつかの例では、閾値は、符号化される映像の部分の符号化モードの関数とすることができる。例えば、映像のいくつかの部分は、通常は、映像の別の予測部分の基準として使用されない。例えば、Ｂフレームなどは、多くのシステムにおいて参照フレームには使用されない。よって、この種のシステムにおけるＢフレームのひずみ値は、他のどの映像もこれを参照しないため、より高いものとすることができる。他のどの映像もＢフレームを参照しないため、誤りは、１フレームの期間のみ（毎秒３０フレームの映像シーケンスにおける１／３０秒間など）にわたって持続する。よって、閾値は、非参照映像部分では、別の予測部分によって参照され得る映像部分よりも高いものとすることができる。

ブロック４０４で、ブロック４０２で推定されたひずみ値に基づいて符号化法が決定された後で、プロセス４２０はブロック４０６に進み、そこで、符号化されるマルチメディアデータの部分が、決定された符号化法を用いて符号化される。ブロック４０６の符号化法には、近隣部分の空間的予測ありまたはなしのイントラ符号化が含まれ得る。近隣画素の空間的予測なしのイントラ符号化は、ブロック４０２で計算されたひずみ値を低減するために選択され得る。ブロック４０６の符号化法には、動き補償予測を使った単方向または双方向予測が含まれ得る。ブロック４０２で推定されたひずみ値を低減するために、異なる形の動き補償予測が選択されてもよい。動き補償予測には、前述のように、ブロックマッチング、オプティカルフロー、および動きベクトルを計算する他の方法が含まれ得る。方法４２０のブロックのいくつかは、結合され、省略され、再配置されてもよく、結合と省略と再配置が任意に組み合わされてもよいことに留意すべきである。

図７は、図１に示すようなシステムにおいて使用され得る符号化装置１１０の例を示す機能ブロック図である。この態様は、マルチメディアデータの第１の部分のひずみ値を、少なくとも一部は、第１の部分が誤って受け取られた場合に第１の部分を隠蔽することに関連する１つ以上の隠蔽法に基づいて推定する手段と、少なくとも一部は推定されるひずみ値に基づいて、第１の部分の符号化法を決定する手段とを含む。この態様のいくつかの例は、推定する手段がひずみ値推定器７０２を備え、決定する手段が符号化法決定器７０４を備えることを含むものである。

図８は、図１に示すようなシステムにおいて使用され得る符号化装置１１０の例を示す機能ブロック図である。この態様は、マルチメディアデータの第１の部分のひずみ値を、少なくとも一部は、第１の部分が誤って受け取られた場合に第１の部分を隠蔽することに関連する１つ以上の隠蔽法に基づいて推定する手段と、少なくとも一部は推定されるひずみ値に基づいて、第１の部分の符号化法を決定する手段とを含む。この態様のいくつかの例では、推定する手段がひずみ値を推定するモジュール８０２を備え、決定する手段が符号化法を決定するモジュール８０４を備える。

誤りが発生しやすい環境を介した映像伝送に適用される誤り耐性方法およびアルゴリズムについて論じる。これらの概念は、任意の個別の既存または将来のアプリケーション、トランスポートおよび物理層または他の技術、もしくはこれらの組み合わせに適用される。基本態様は、ＯＳＩ層の間の誤り感度特性と誤り保護機能の理解を、低遅延や高スループットといった通信システムの望ましい特性と共に統合することによる、有効な、誤りにロバストなアルゴリズムのものである。主要な利点の１つは、フェージングおよびマルチパス通信路誤りからの回復性である。映像通信システムの例を示しているが、前述の誤り耐性の諸態様は、誤りが発生しやすい環境におけるデータ通信に適用されてもよい。

図９に、ある実施形態による無線通信システム９００を示す。かかる例示的映像通信システムは、一般に、通信ネットワーク９３０によって接続された映像符号器９１０と映像復号器９２０からなる映像圧縮システム（図示せず）を含む。ネットワーク９３０は、さらに、ＲＦ変調器９４０と、ネットワーク通信路９５０と、ＲＦ復調器９６０とを含むことができる。無線ネットワークは、通信路が、一般的な伝搬損に加えて、モバイルシナリオにおける対数正規フェージングまたはシャドーイングおよびマルチパスフェージングを呈示し得る、誤りが発生しやすいネットワークの１クラスである。通信路誤りを抑制し、アプリケーション層データのための信頼性の高い通信を提供するために、ＲＦ変調器９４０は、順方向誤り訂正（Forward Error Correction［FEC］）を含むことができ、ＦＥＣは、インターリーブ、および、畳み込みやターボ符号化などの通信路符号化を含むことができる。

一般に、映像圧縮は、ソース映像における冗長性を低減させ、符号化映像データの各ビットで搬送される情報の量を増大させることができる。このため、符号化映像のわずかな部分が失われたときでさえも、品質上の影響が増大し得る。映像圧縮システムに固有の空間的、時間的予測が損失を悪化させ、また、誤りを伝搬させて、再構築映像に目に見えるアーチファクトが生じることにもなり得る。映像符号器における誤り耐性アルゴリズムと、映像復号器における誤り回復アルゴリズムは、映像圧縮システムの誤りに対するロバスト性を増大させることができる。

一般に、映像圧縮システムは、基礎をなすネットワークに依存しない。しかしながら、誤りが発生しやすいネットワークにおいて、アプリケーション層の誤り保護アルゴリズムを、リンク層／物理層のＦＥＣおよび通信路符号化と統合し、または整合させることは、非常に望ましく、システム全体の誤り性能を向上させる際の効率を促進し得る。ＭｅｄｉａＦＬＯ（登録商標）は、この種の統合または整合が可能な無線映像通信システムの一例である。

したがって、本開示のいくつかの実施形態は、例えば、あらゆる目的で参照により本明細書に完全に組み込まれる、２００６年８月、技術規格ＴＩＡ−１０９９として公開された、ＦＬＯ無線インターフェース規格「地上モバイルマルチメディアマルチキャストのための順方向リンクのみ（ＦＬＯ）の無線インターフェース規格（Forward Link Only [FLO] Air Interface Specification for Terrestrial Mobile Multimedia Multicast）」を使ったＴＭ３システムにおいてリアルタイム映像サービスを配信するためのＭｅｄｉａＦＬＯ（登録商標）映像符号化などを使って実施することができる。後述する態様、実施形態および／または例は、ＦＬＯネットワークにおいて高度な誤り性能を提供するアルゴリズムおよびこれらの間の相互動作に関連するものである。しかしながら、これらの態様、実施形態および／または例は、一般に、あらゆる誤りが発生しやすいネットワークに適用可能であることが意図されている。

スライスとは、ここで用いられるように、（エントロピー復号などを使って）独立に復号可能な符号化映像データのチャンクである。ＦＬＯ環境におけるスライスは、ＦＬＯフレーム境界に整合させることができる。アクセスユニット（ＡＵ）とは、ここで用いられるように、符号化映像ＦＬＯフレームである。ＦＬＯフレームは、比較的高い時間ダイバーシティを提供する（ＴＤＭカプセルなどと呼ばれる）物理層パケットの時分割多重（ＴＤＭ）ブロックである。ＦＬＯスーパーフレームは、１つの時間単位（１秒間など）に対応させることができ、よって、いくつかのＦＬＯフレームを含む（毎秒４ＦＬＯフレームのＦＬＯスーパーフレームなど）。これらの定義のそれぞれは、他の誤りが発生しやすいネットワークの種類毎に変化してもよく、変化する可能性が高く、また、将来のＦＬＯネットワーク構成内でさえも変化してもよく、変化する可能性が高い（例えば、ＦＬＯスーパーフレームが、時間にかかわらず、固定数のＦＬＯフレームを組み込み得るなど）。

現在のＦＬＯ環境内では、例えば、時間領域においてスライスとＡＵの境界をＦＬＯフレーム境界に整合させると、破損したデータが最も効率よく分離され、局在化される結果となり得る。例えば、深いフェージングの間、ＴＤＭカプセル内の近接するフェージングデータの大部分が、通常、誤りの影響を受ける。しかし、時間ダイバーシティのために、残りのＴＤＭカプセルは、損傷を受けない可能性が高い。したがって、破損していないデータを利用して、影響を受けたＴＤＭカプセルからの損失データが回復され、隠蔽されてもよい。

同様の論理は、周波数ダイバーシティが、データシンボルが変調する周波数サブスクライブキャリアの分離によって達成される周波数領域多重化（ＦＤＭ）にも適用される。また、同様の論理は、（送信側および受信側アンテナにおける分離などによる）空間ダイバーシティ、ならびに、無線ネットワーク（および他の誤りが発生しやすいネットワーク）においてしばしば適用される別の形式のダイバーシティにも適用することもできる。

スライスおよびＡＵをＦＬＯフレームに整合させるには、外符号（ＦＥＣ）符号ブロック作成およびＭＡＣ層カプセル化もまた整合する必要がある。図１０に、スライスおよびＡＵ単位の符号化映像データまたは映像ビットストリームの編成を示す。符号化映像は、１つ以上のビットストリーム（例えば、基層ビットストリームおよび／またはエンハンスメント層ビットストリームなど）として構成されてもよく、本例では、階層映像符号化が適用される。図１１に、スライスおよびＡＵ単位の（１つ以上の）映像ビットストリームの編成、ならびにこれらのＦＬＯフレームへのマッピングを示し、（ａ）はスライス境界のＦＬＯフレームへの整合を示し、（ｂ）はＡＵ境界（Ｆ１、Ｆ２、・・・）のＦＬＯフレームとスライスへの整合（例えば、ＡＵを物理層パケットと整合させるなど）を示す。

ある実施形態によれば、映像ビットストリームはＡＵを含み、ＡＵはデータのスライスを含む。各スライスの開始は、開始符号によって識別され、ネットワーク適応に備える。一般に、Ｉフレームまたはイントラ符号化ＡＵは大きく、この後にＰフレーム、すなわち順方向予測フレームが続き、この後にＢフレーム、すなわち双方向予測フレームが続く。ＡＵを複数のスライスに符号化すると、符号化ビットレートの点から見てオーバヘッドコストを招くことになり得る。これは、スライスにまたがる空間的予測が、別のフレームの同様に位置するスライスだけに制限され、複数のスライスヘッダもまたオーバヘッドの原因になるからである。スライス境界は、通常、再同期点であるため、隣接する物理層パケット（ＰＬＰ）をスライスだけに制限すれば、誤りを制御するのに役立ち得る。これは、ＰＬＰが破損するとき、誤りがＰＬＰ内のこのスライスだけに限定され、他方、ＰＬＰが複数のスライス、または複数のスライスの部分を含んでいた場合、誤りは、ＰＬＰ内のすべてのスライスまたはスライスの部分に影響を及ぼすはずだからである。

Ｉフレームは、通常、ＰフレームまたはＢフレームより大きく、典型的には、数十キロビット程度であるため、複数のスライスによるオーバヘッドは、総Ｉフレームサイズまたは総ビットレートの大きな部分ではない。また、Ｉ−ＡＵにより多くのスライスが含まれていれば、より良好でより頻繁な再同期と、より効率のよい空間的誤り隠蔽も可能になる。また、ＰフレームおよびＢフレームは、最終的には、Ｉフレームから予測されることから、Ｉフレームは、通常、映像ビットストリームで最も重要な情報を搬送する。Ｉフレームは、さらに通信路獲得のためのランダムアクセスポイントとしても使用され得る。

したがって、いくつかの実施形態では、ＩフレームをＦＬＯフレーム境界に慎重に整合させ、スライスもＩ−ＡＵと共にＦＬＯフレーム境界に慎重に整合させれば、再同期と誤り隠蔽などによって、効率のよい誤り制御、誤り保護が可能になり（ＦＬＯフレーム１に属するあるスライスが失われた場合、ＦＬＯフレーム２に属するスライスは、ＦＬＯフレーム２がＦＬＯフレーム１から大きな時間的分離を有するので、損なわれない確率が高いため）、誤り回復が可能になる。

通常、数キロビット程度であるＰフレームの場合には、Ｐフレームスライスと整数個のＰフレームをＦＬＯフレーム境界に整合させることが、Ｉフレームについて前述したのと同様の理由で望ましい。この場合、通常は、時間的誤り隠蔽が用いられる。代替として、連続するＰフレームを、これらが異なるＦＬＯフレームにたどり着くように分散させることによって、Ｐフレーム間の時間ダイバーシティを提供することもできる。これは、時間的隠蔽が、動きベクトルと、前に再構築されたＩフレームおよび／またはＰフレームからのデータに基づくものだからである。

極小（数百ビットや数十ビットの場合さえもある）からやや大（数キロビット以上など）までとすることのできるＢフレームの場合には、整数個のＢフレームをＦＬＯフレーム境界に整合させることが、Ｐフレームについて前述したのと同様の理由で望ましい。

いくつかの実施形態では、符号化映像ビットストリームにおける誤り耐性が、予測階層および永続性を包含し得る。以下の予測ベースのハイブリッド圧縮システムを考察する。イントラフレームは、どんな時間的予測もなしで独立に符号化される。しかしながら、スライス内での空間的予測は可能である（すなわち、通常、スライス境界にまたがる空間的予測は制限される）。インターフレームは、過去と、時には（Ｂフレームの場合には）未来からの時間的予測である。

このシステムでは、最適な予測変数が、参照フレーム（または複数の参照フレーム）におけるサーチプロセスによって識別されてもよく、ＳＡＤ（すなわち、符号化されるべきブロックの画素と予測変数ブロックの画素の間の絶対差の和）などのひずみ尺度を使って、最適なマッチを識別することができる。当然ながら、別のひずみ尺度も使用することができ、これらは本願の適用範囲内に含まるものである。

現在のフレームの予測符号化領域は、様々なサイズと形状（１６×１６、３２×３２、８×４、２×２など）の画素のブロック、または、例えば、セグメント化などによってオブジェクトとして識別される画素群とすることができる。時間的予測は、典型的には、多くのフレーム（１０から１００フレームなど）におよび、フレームがＩフレームとして符号化されるときに打ち切られる。この例では、Ｉフレーム頻度が画像群（ＧＯＰ）を定義する。符号化効率を最大にするために、ＧＯＰを１シーンとする（すなわち、ＧＯＰ境界がシーン境界と整合しており、シーン変更フレームがＩフレームとして符号化される）。

背景が比較的静止しており、動きが前景オブジェクトだけに限られている低モーションシーケンス（例えば、大部分の目に見えるコンテンツの約３０％を超える部分がこのようなものであるニュース番組、天気予報など）では、予測フレームの予測領域（すなわちインター符号化）の大部分が、中間の予測フレーム（すなわち別のＰフレーム）を介してＩフレームに戻って参照する。この予測階層１２００を図１２に示す。

図１２に示すように、Ｉフレーム１２１０は、予測フレーム１２２０の複数のインター符号化ブロック１２２５が最終的に基づくことのできるイントラ符号化ブロック１２１５を含み得る。Ｉフレーム１２１０内のイントラ符号化ブロック１２１５は、予測符号化フレーム（またはＡＵ）Ｐ１〜Ｐｘ１２２０内のインター符号化ブロック１２２５の予測変数である。この例では、これらのブロックの領域は、背景の静止部分である。したがって、連続する時間的予測によって、イントラ符号化ブロック１２１５の誤りに対する感度が上がる。これは、イントラ符号化ブロック１２１５は、その「重要度」がより高いことも示唆する優れた予測変数だからである。加えて、イントラ符号化ブロック１２１５は、これの予測チェーンと呼ばれるこの時間的予測の連鎖によって、ディスプレイ内により長く（すなわち、おそらく、１シーン全体の期間にわたって）残り続ける。

ある実施形態では、予測階層は、親が上にあり（図１２のブロック１２１５など）、子が下にある、この永続性の「重要度」レベルまたは尺度に基づいて作成されるブロックのツリーとして定義される。フレームＰ１内のインター符号化ブロックは、階層の第２レベルにあり、以下同様であることに留意されたい。このツリーの葉は、予測チェーンを打ち切るブロック（図１２のフレームＰｘなど）である。

ある実施形態では、予測階層が、映像シーケンスのために、コンテンツの種類とは無関係に（例えば、ニュースだけでなく音楽やスポーツにも）作成されてもよく、予測ベースの映像（ならびに音声およびデータなどの）圧縮一般に適用することができる（すなわち、これは、本願で説明するすべての態様に適用することができる）。

予測階層が確立されると、例えば、適応イントラリフレッシュ（ＡＩＲ）などの誤り耐性アルゴリズムが、より効率よく適用され得る。

一態様によれば、アルゴリズムは、ブロックが予測変数として使用される回数に基づいて重要度の尺度を推定することができ、これを永続性メトリックと呼ぶことができる。また、この永続性メトリックは、予測誤り伝搬を阻止することによって符号化効率を向上させるのにも使用される。また、このメトリックは、重要度のより高いブロックのビット割り振りを増大させることもできる。

通常、映像コーデックの目標は、所与の帯域幅においてできる限り高い品質を達成することである。品質は、しばしば、ピーク信号対雑音比（ＰＳＮＲ）を用いて評価される。符号化モード（例えば、すべての可能なイントラ方式およびインター方式）、ならびに、あらゆるフレームのあらゆるマクロブロックの量子化パラメータ（ＱＰ）が、品質にも帯域幅にも影響を及ぼすため、グローバルな最適化方式は、これらすべてのマクロブロックのモードとＱＰの同時決定を伴う。しかしながら、現在の実際的な処理性能を想定すると、このグローバルな最適化を行うことは、数学的には至難である。これの代わりに、実際的な符号化方式では、再構築された前の符号化フレームに基づいて、現在のフレームのための良好なレートひずみ（Ｒ−Ｄ）決定を行おうと試みる。したがって、同時最適化問題は、いくつかの実施形態によれば、因果最適化問題に還元される。

参照フレームでは、一部のマクロブロックが、予測チェーンにおいて、他のマクロブロックよりも重要である。例えば、前景オブジェクトは、いくつかの将来のフレームにおいて（すなわち、依然として複数の参照フレームの範囲内で）これ自体を複製することもある。このオブジェクトが正確に表される場合、これのすべてのクローンは、単に、動きベクトルとして符号化されてもよく、よって、ビット数が節約される。これとは対照的に、消失するオブジェクトまたは見えなくなる背景は、将来のフレームによってこれ以上参照されず、よって、これの品質は将来のフレームに影響を及ぼさない。

本明細書では、ある実施形態におけて、予測チェーンを決定し、頻繁に参照されるマクロブロックにより大きな重要度を付与する２パスアルゴリズムについて説明する。ＭＢの帯域幅マップ値は、Ｒ−Ｄの点で最適な品質のためのレート制御の間に割り振るべきビット数またはビット割合を求めるのに使用されるマップの推定された複雑度として定義することができる。このプロセスは、以下のように説明することもできる（図１３参照）。

１．パス１。画素レベル参照カウンタをＲ（ｉ，ｊ）＝０に初期化する（１３１０）。０≦ｉ＜Ｗ、０≦ｊ＜Ｈ、Ｗをフレームの幅とし、Ｈをフレームの高さとする。

２．現在のフレームを参照して次のフレームの１６×１６動き推定を行う（１３２０）。現在のフレーム内の場所（ｉ，ｊ）のところの画素が参照されるたびに、Ｒ（ｉ，ｊ）が１増分される。

３．パス２。現在のフレームのマクロブロック帯域幅マップを再調整する（１３３０）。（ｘ，ｙ）に位置するマクロブロックについて、その帯域幅マップ値を、

だけ拡大する。式中、Ｃは実験によって求められるべき定数である。帯域幅マップ値を増分すると、優れた予測変数であるマクロブロックにより多くのビット数が割り当てられる（すなわち、これらのマクロブロックから、将来のフレーム内のずっと多くの将来のＭＢが、予測される）。

４．更新されたマクロブロック帯域幅マップを用いて現在のフレームを符号化する（１３４０）。

このアルゴリズムは、しばしば参照されるマクロブロックを強調することによって、ビットストリームを通信路誤りに対してよりロバストにすることに留意すべきである。ＰＳＮＲにおけるどんな利得も、予測チェーンの早い打ち切りが、（残差符号化による）予測誤りの伝搬を阻止することによるものである。さらに、良好な予測変数が誤りによる影響を受ける場合は、誤り伝搬を避ける後ではなく、その前にイントラ符号化によってリフレッシュされ、よって、優れた予測変数が誤りの影響を受けた場合の誤り伝搬が防止される。

いくつかの実施形態によれば、チャネル切換えフレーム（channel switch frame［CSF］）が、より高速な通信路獲得、したがって、ブロードキャスト多重におけるストリーム間の高速な通信路変更を円滑に行わせるために、ブロードキャストストリームの様々な（例えば適切な）場所に挿入されるランダムアクセスフレームとして定義される。１つのＣＳＦに関する例示的詳細を、共にあらゆる目的で参照により本明細書に完全に組み込まれる、同一出願人による、２００６年９月２５日出願の米国特許出願第１１／５２７３０６号明細書と、２００６年９月２６日出願の米国特許出願第１１／５２８３０３号明細書に見ることができる。Ｉフレーム、またはＨ．２６４におけるノンインタレース復号器リフレッシュフレームなどのノンインタレースＩフレームは、通常は、通信路切換えのためのランダムアクセスポイントとして使用される。しかしながら、Ｉフレームが頻繁に生じる（例えば、少なくともシーン期間より短い、短いＧＯＰなど）と、圧縮効率が大幅に低減し得る。

誤り耐性には、イントラ符号化ブロックが必要とされ得るため、ランダムアクセスと誤り耐性は、事実上、予測階層を介して組み合わされて、誤りに対するロバスト性を増大させながら、符号化効率を向上させる。この組み合わせは、少なくとも一部は、以下の知見に基づいて達成することができる。

Ａ．低モーションシーケンスでは、予測チェーンが長く、スーパーフレームまたはシーンを再構築するのに必要な情報の相当部分が、シーンの開始時に発生したＩフレームに含まれる。

Ｂ．通信路誤りは、バースト的になる傾向があり、フェージングが発生し、ＦＥＣおよび通信路符号化に失敗したときに、隠蔽できない大量の見逃し誤りが生じる。

Ｃ．符号化データの量が、映像ビットストリーム内で良好な時間ダイバーシティを提供するのに十分ではなく、しかもこれらが、あらゆるビットをなお一層再構築のために重要なものにする、高度に圧縮可能なシーケンスであることから、これは、低モーションの（したがって、低ビットレートの）シーケンスでは特に厳しい。

Ｄ．高モーションシーケンスは、内容の性質のために、誤りに対してよりロバストである。すなわち、あらゆるフレーム内により多くの新情報があるため、独立に復号可能であり、本質的に誤りに対してより回復力のある符号化イントラブロックの数が増大する。

Ｅ．予測階層に基づく適応イントラリフレッシュ（ＡＩＲ）は、高モーションシーケンスで高い性能を達成し、低モーションシーケンスでは、性能改善はさほど大きくない。

Ｆ．したがって、Ｉフレームの大部分を含むチャネル切換えフレームは、低モーションシーケンスでのダイバーシティの良好なソースである。スーパーフレームに誤りが生じると、連続するフレームにおける復号が、予測による損失情報を回復するＣＳＦから開始する。よって、誤り耐性が達成される。

Ｇ．高モーションシーケンスの場合、ＣＳＦは、スーパーフレームに残存し続けるブロック、すなわち、良好な予測変数であるブロックからなる。ＣＳＦの他のあらゆる領域は符号化される必要がない。これは、これらが、短い予測チェーンを有するブロックであり、イントラブロックで打ち切られることを示唆するものだからである。したがって、ＣＳＦは、依然として、誤りが生じたときの予測による損失情報から回復するのに使用される。

Ｈ．上記（ｆ）と（ｇ）に基づけば、
Ｈ．１．低モーションシーケンスでのＣＳＦは、Ｉフレームのサイズと同程度であり、これらは、より強度の量子化によってより低いビットレートで符号化されてもよく、
Ｈ．２．高モーションシーケンスでのＣＳＦは、対応するＩフレームよりずっと小さい。

Ｉ．物理層技術における階層変調をサポートするための拡張性は、特定の帯域幅比率を用いた映像ビットストリームのデータ分割を必要とする。これらは、必ずしも、最適な拡張性のための理想的な比率とは限らない（最小のオーバヘッド）。

Ｊ．ＦＬＯは、一例にすぎないが、１：１の帯域幅比率を用いた２層拡張性を必要とする。したがって、映像ビットストリームを同サイズの２層に分割することは、低モーション（ビットレート）シーケンスでは効率的ではない。すべてのヘッダとメタデータ情報を含む基層は、エンハンスメント層より大きい。しかしながら、低モーションシーケンスでのＣＳＦはより大きいため、これらは、エンハンスメント層における残りの帯域幅にうまく適合する。したがって、予測階層に基づく誤り耐性が拡張性と共にうまく働き、高度に効率的な階層的符号化が達成される
Ｋ．高モーションシーケンスでは、最小のオーバヘッドで１：１へのデータ分割が達成され得るのに十分な残差情報がある。しかも、かかるシーケンスでのＣＳＦは、ずっと小さいものとすることができる。よって、この場合にも、予測階層に基づく誤り耐性が、拡張性と共にうまく機能し得る。

Ｌ．（ａ）から（ｋ）で論じている概念を、これらのアルゴリズムの記述に基づいて、手頃なモーションクリップに拡張して適用することが可能であり、これにより、提案の概念が映像符号化一般に適用されることが容易に分かる。

上記システムは、単に、システムへの入力が連続的な（不連続なタイムイベントであるが、際限なく続く）データストリームであり、システムへの出力が連続的なデータストリームであるマルチメディアストリーミングシステムの一例を示すものにすぎない。

当分野の技術者は、情報および信号が、様々な異なる技術および技法のいずれを使って表されてもよいことを理解するはずである。例えば、以上の説明全体を通じて参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光電場および光学的粒子、もしくはこれらの任意の組み合わせによって表されてもよい。

当分野の技術者は、さらに、本明細書で開示する例と関連して説明されている様々な例示的な論理ブロック、モジュール、およびアルゴリズムステップが、電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、またはこれらの組み合わせとして実施され得ることも理解するはずである。このハードウェアとソフトウェアの互換性を明確に示すために、以上では、様々な例示的構成要素、ブロック、モジュール、回路、およびステップを、一般に、これらの機能の点から説明している。かかる機能がハードウェアとして実施されるか、それともソフトウェアとして実施されるかは、個々の用途およびシステム全体に課される設計制約条件に依存する。当分野の技術者は、前述の機能を、個別用途ごとに様々なやり方で実施してもよいが、かかる実施上の決定は、開示の方法の適用範囲からの逸脱を生じるものと解釈すべきではない。

本明細書で開示する例と関連して説明されている様々な例示的な論理ブロック、構成要素、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理回路、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェア部品、もしくは本明細書で述べる機能を実行するように設計されたこれらの任意の組み合わせを用いて実施され、または実行され得る。汎用プロセッサは、マイクロプロセッサとすることもできるが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることもできる。また、プロセッサは、演算デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアまたはＡＳＩＣコアと連動する１つ以上のマイクロプロセッサ、もしくは任意の別のかかる構成の組み合わせなどとして実施されてもよい。

本明細書で開示する例と関連して説明されている方法またはアルゴリズムのステップは、直接ハードウェアとして実施されてもよく、プロセッサによって実行されるソフトウェアモジュールとして実施されてもよく、これら２つの組み合わせとして実施されてもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、着脱可能ディスク、ＣＤ−ＲＯＭ、光記憶媒体、または当分野で知られている任意の別の形の記憶媒体に置くこともできる。記憶媒体の一例は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合されている。代替として、記憶媒体は、プロセッサと一体化されていてもよい。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）に置くこともできる。ＡＳＩＣは、無線モデムに置くこともできる。代替として、プロセッサおよび記憶媒体は、無線モデム内に個別の部品として置かれていてもよい。

以上の開示例の説明は、当分野の技術者が開示の方法および装置を作成し、または使用することを可能にするために提示するものである。当分野の技術者には、これらの例への様々な改変が容易に明らかになるはずであり、本明細書で定義する原理が別の例に適用されてもよく、別の要素が加えられてもよい。

以上、効率のよい復号品質と誤り隠蔽を実現する高度に効率的なマルチメディアデータの符号化を実行する方法および装置の説明とする。

一態様によるマルチメディア通信システムを示すブロック図である。 図１に示すようなシステムにおいて使用され得る符号化装置の一実施形態を示すブロック図である。 図１に示すようにシステムにおいて使用され得る復号装置の一実施形態を示すブロック図である。 図１に示すようなシステムにおいて映像ストリームの一部分を符号化する方法の例を示す流れ図である。 図１に示すようなシステムにおいて映像ストリームの一部分を符号化する方法の例をより詳細に示す流れ図である。 図４Ａおよび図４Ｂの方法によって生成され得るひずみマップを示す図である。 動き補償予測法において使用されるような映像の一部分を推定するのに使用される予測領域を示す図である。 図１に示すようなシステムにおいて使用され得る符号化装置の一実施形態を示す機能ブロック図である。 図１に示すようなシステムにおいて使用され得る符号化装置の一実施形態を示す機能ブロック図である。 ある実施形態による無線通信システム９００を示す図である。 符号化された映像データまたは映像ビットストリームの編成をスライスおよびＡＵ単位で示す図である。 スライスおよびＡＵ単位の映像ビットストリームの編成、ならびにこれらのＦＬＯフレームへのマッピングを示す図である。 いくつかの実施形態による予測フレーム符号化の予測階層を示す図である。 いくつかの実施形態による、予測チェーンを決定し、頻繁に参照されるマクロブロックにより大きな有意性を付与する２パスアルゴリズムを示す図である。

Claims (30)

1. 複数の映像フレームを含むマルチメディアデータを符号化する方法であって、
   現在のフレームの画素レベル参照カウンタを初期化することと、
   前記現在のフレームを参照して次のフレームの予測を実行することと、
   前記次のフレームの前記予測の間に参照される前記現在フレームの各画素についての前記画素レベル参照カウンタを増分することと、
   前記増分された画素レベル参照カウンタの少なくとも一部に基づいて、前記現在のフレームのマクロブロック帯域幅マップを再調整することと、
   前記現在フレームの前記再調整されたマクロブロック帯域幅マップの少なくとも一部に基づいて前記現在フレームを符号化することと
   を備える方法。
2. 前記画素レベル参照カウンタは、前記現在のフレームの幅と高さとで指標付けられる請求項１に記載の方法。
3. 前記画素レベル参照カウンタは、０≦ｉ＜Ｗ、０≦ｊ＜Ｈ、Ｗを前記現在のフレームの前記幅とし、Ｈを前記現在のフレームの前記高さとする第1の式Ｒ（ｉ，ｊ）＝０によって提供される請求項２に記載の方法。
4. 前記次のフレームの前記予測は、前記次のフレームの各ブロックの動き推定を実行することを含む請求項３に記載の方法。
5. １６×１６マクロブロック（ｘ，ｙ）について、前記現在のフレームの前記マクロブロック帯域幅マップを再調整することは、第２の式
   

   

   に従って前記マクロブロック帯域幅マップの帯域幅マップ値をスケーリングすることを含み、式中、Ｃは実験によって求められる定数であり、Ｒ（ｉ，ｊ）は、前記１６×１６マクロブロック（ｘ，ｙ）の前記画素レベル参照カウンタである請求項１に記載の方法。
6. 前記現在のフレームを参照して、複数の次のフレーム内の各次のフレームごとに、初期化することと、実行することと、再調整することとの各ステップを反復することをさらに含む請求項１に記載の方法。
7. 複数の映像フレームを含むマルチメディアデータを符号化するプロセッサであって、
   現在のフレームの画素レベル参照カウンタを初期化する処理と、
   前記次のフレームの前記予測の間に参照される前記現在フレームの各画素についての前記画素レベル参照カウンタを増分する処理と、
   前記増分された画素レベル参照カウンタの少なくとも一部に基づいて、前記現在のフレームを参照して次のフレームの予測を実行する処理と、
   前記現在のフレームのマクロブロック帯域幅マップを再調整する処理と、
   前記現在フレームの前記再調整されたマクロブロック帯域幅マップの少なくとも一部に基づいて前記現在フレームを符号化する処理と
   を実行するように構成されているプロセッサ。
8. 前記画素レベル参照カウンタは、前記現在のフレームの幅と高さとで指標付けられる請求項７に記載のプロセッサ。
9. 前記画素レベル参照カウンタは、０≦ｉ＜Ｗ、０≦ｊ＜Ｈ、Ｗを前記現在のフレームの前記幅とし、Ｈを前記現在のフレームの前記高さとする第1の式Ｒ（ｉ，ｊ）＝０によって提供される請求項８に記載のプロセッサ。
10. 前記次のフレームの予測を実行する処理は、前記次のフレームの各ブロックの動き推定予測を含む請求項９に記載のプロセッサ。
11. １６×１６マクロブロック（ｘ，ｙ）について、第２の式
    

    

    に従って前記マクロブロック帯域幅マップの帯域幅マップ値をスケーリングするようにさらに構成されており、式中、Ｃは実験によって求められる定数であり、Ｒ（ｉ，ｊ）は、前記１６×１６マクロブロック（ｘ，ｙ）の前記画素レベル参照カウンタである請求項７記載のプロセッサ。
12. 前記現在のフレームを参照して、複数の次のフレーム内の各次のフレームごとに、初期化し、実行し、再調整する各処理を反復するようにさらに構成されている請求項７に記載のプロセッサ。
    。
13. 複数の映像フレームを含むマルチメディアデータを符号化する装置であって、
    現在のフレームの画素レベル参照カウンタを初期化する初期化器と、
    前記現在のフレームを参照して次のフレームの予測を実行する実行器と、
    前記次のフレームの前記予測の間に参照される前記現在フレームの各画素についての前記画素レベル参照カウンタを増分する画素レベル参照カウンタと、
    前記増分された画素レベル参照カウンタの少なくとも一部に基づいて、前記現在のフレームのマクロブロック帯域幅マップを再調整する再調整器と、
    前記現在フレームの前記再調整されたマクロブロック帯域幅マップの少なくとも一部に基づいて前記現在フレームを符号化する符号化器と
    を備える装置。
14. 前記画素レベル参照カウンタは、前記現在のフレームの幅と高さとで指標付けられる請求項１３に記載の装置。
15. 前記画素レベル参照カウンタは、０≦ｉ＜Ｗ、０≦ｊ＜Ｈ、Ｗを前記現在のフレームの前記幅とし、Ｈを前記現在のフレームの前記高さとする第1の式Ｒ（ｉ，ｊ）＝０によって提供される請求項１４に記載の装置。
16. 前記次のフレームの前記実行器予測は、前記次のフレームの各ブロックの動き推定予測を含む請求項１５に記載の装置。
17. １６×１６マクロブロック（ｘ，ｙ）について、第２の式
    

    

    に従って前記マクロブロック帯域幅マップの帯域幅マップ値をスケーリングするスケーラをさらに含み、式中、Ｃは実験によって求められる定数であり、Ｒ（ｉ，ｊ）は、前記１６×１６マクロブロック（ｘ，ｙ）の前記画素レベル参照カウンタである請求項１３に記載の装置。
18. 前記現在のフレームを参照して、複数の次のフレーム内の各次のフレームごとに、初期化器と、実行器と、再調整器との各機能の反復を調整する反復装置をさらに含む請求項１３に記載の装置。
19. 複数の映像フレームを含むマルチメディアデータを符号化する装置であって、
    現在のフレームの画素レベル参照カウンタを初期化する手段と、
    前記現在のフレームを参照して次のフレームの予測を実行する手段と、
    前記次のフレームの前記予測の間に参照される前記現在フレームの各画素についての前記画素レベル参照カウンタを増分することと、
    前記増分された画素レベル参照カウンタの少なくとも一部に基づいて、前記現在のフレームのマクロブロック帯域幅マップを再調整する手段と、
    前記現在フレームの前記再調整されたマクロブロック帯域幅マップの少なくとも一部に基づいて前記現在フレームを符号化する手段と
    を備える装置。
20. 前記画素レベル参照カウンタは、前記現在のフレームの幅と高さとで指標付けられる請求項１９に記載の装置。
21. 前記画素レベル参照カウンタは、０≦ｉ＜Ｗ、０≦ｊ＜Ｈ、Ｗを前記現在のフレームの前記幅とし、Ｈを前記現在のフレームの前記高さとする第1の式Ｒ（ｉ，ｊ）＝０によって提供される請求項２０に記載の装置。
22. 前記次のフレームの前記予測の手段は、前記次のフレームの各ブロックの動き推定を実行する手段を含む請求項２１に記載の装置。
23. １６×１６マクロブロック（ｘ，ｙ）について、前記現在のフレームの前記マクロブロック帯域幅マップを再調整する前記手段は、第２の式
    

    

    に従って前記マクロブロック帯域幅マップの帯域幅マップ値をスケーリングする手段を含み、式中、Ｃは実験によって求められる定数であり、Ｒ（ｉ，ｊ）は、前記１６×１６マクロブロック（ｘ，ｙ）の前記画素レベル参照カウンタである請求項１９に記載の装置。
24. 前記現在のフレームを参照して、複数の次のフレーム内の各次のフレームごとに、初期化する手段と、実行する手段と、再調整器する手段とを反復する手段をさらに含む請求項１９に記載の装置。
25. 複数の映像フレームを含むマルチメディアデータを符号化するための機械可読記録媒体であって、実行されると、機械に、
    現在のフレームの画素レベル参照カウンタを初期化させ、
    前記現在のフレームを参照して次のフレームの予測を実行させ、
    前記次のフレームの前記予測の間に参照される前記現在フレームの各画素についての前記画素レベル参照カウンタを増分させ、
    前記増分された画素レベル参照カウンタの少なくとも一部に基づいて、前記現在のフレームのマクロブロック帯域幅マップを再調整させ、
    前記現在フレームの前記再調整されたマクロブロック帯域幅マップの少なくとも一部に基づいて前記現在フレームを符号化させる
    命令を備える機械可読記録媒体。
26. 前記画素レベル参照カウンタは、前記現在のフレームの幅と高さとで指標付けられる請求項２５に記載の機械可読記録媒体。
27. 前記画素レベル参照カウンタは、０≦ｉ＜Ｗ、０≦ｊ＜Ｈ、Ｗを前記現在のフレームの前記幅とし、Ｈを前記現在のフレームの前記高さとする第1の式Ｒ（ｉ，ｊ）＝０によって提供される請求項２６に記載の機械可読記録媒体。
28. 実行されると、前記機械に、前記次のフレームの各ブロックの動き推定予測を実行させる命令をさらに備える請求項２７に記載の機械可読記録媒体。
29. １６×１６マクロブロック（ｘ，ｙ）について、第２の式
    

    

    に従って前記マクロブロック帯域幅マップの帯域幅マップ値をスケーリングするようにさらに構成されており、式中、Ｃは実験によって求められる定数であり、Ｒ（ｉ，ｊ）は、前記１６×１６マクロブロック（ｘ，ｙ）の前記画素レベル参照カウンタである請求項２５に記載の機械可読記録媒体。
30. 実行されると、前記機械に、前記現在のフレームを参照して、複数の次のフレーム内の各次のフレームごとに、初期化し、実行し、再調整器する各機能を反復させる命令をさらに備える請求項２５に記載の機械可読記録媒体。

Images