JP4908522B2

JP4908522B2 - 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置

Info

Publication number: JP4908522B2
Application number: JP2008551554A
Authority: JP
Inventors: サブラマニア、シタラマン・ガナパシー; ウォーカー、ゴードン・ケント; ラビーンドラン、ビジャヤラクシュミ・アール．
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2006-01-20
Filing date: 2007-01-19
Publication date: 2012-04-04
Anticipated expiration: 2027-01-19
Also published as: CN101375602A; CN101375602B; EP1980115B1; WO2007084994A3; DE602007003441D1; KR20080098042A; EP1980115A2; JP2009524364A; ES2336039T3; AR059105A1; US20070177678A1; ATE450118T1; US8325822B2; TW200737995A; WO2007084994A2

Description

本願は、マルチメディア信号処理に関し、更に詳しくは、ビデオ・エンコードに関する。

例えば、ビデオ・エンコーダのようなマルチメディア処理システムは、例えば、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、およびＭＰＥＧ−４規格、ＩＴＵ−ＴＨ．２６３規格およびＩＴＵ−ＴＨ．２６４規格、およびその類似規格であるＩＳＯ／ＩＥＣＭＰＥＧ−４パート１０、すなわちアドバンスト・ビデオ・コーディング（ＡＶＣ）のような国際規格に基づくエンコード方法を用いてマルチメディア・データをエンコードする。そのようなエンコード方法は、一般に、送信および／または記憶のために、マルチメディア・データを圧縮することに導かれる。圧縮は、広く言えば、データから冗長を取り除く処理である。

ビデオ信号は、フレーム（ピクチャ全体）またはフィールドを含むピクチャ・シーケンスの観点から記述されることができる（例えば、インタレースされたビデオ・ストリームは、ピクチャの奇数ラインまたは偶数ラインを交互するフィールドを備える）。本明細書で使用されるように、用語「フレーム」は、ピクチャあるいはフィールドを指す。ビデオ・エンコード方法は、各フレームを圧縮するために、損失がないアルゴリズムあるいは損失のあるアルゴリズムを使用することにより、ビデオ信号を圧縮する。（本明細書でイントラ・コーディングと称される）イントラ・フレーム・コーディングは、そのフレームだけを使用して、フレームをエンコードすることを指す。（本明細書でインター・コーディングと称される）インター・フレーム・コーディングは、その他の「基準」フレームに基づいてフレームをエンコードすることを指す。例えば、ビデオ信号はしばしば、フレームの時間シーケンス内で互いに近接しているフレームが、互いに一致するか、あるいは少なくとも部分的にしか一致しない部分を少なくとも有する時間的冗長を示す。

ビデオ・エンコーダのようなマルチメディア・プロセッサは、例えば１６ｘ１６ピクセルのブロックまたは「マクロブロック」へフレームを区分することにより、フレームをエンコードすることができる。エンコーダは、更に、各マクロブロックをサブブロックへ区分することができる。各サブブロックは更に、追加のサブブロックを含みうる。例えば、マクロブロックのサブブロックは、１６ｘ８のサブブロック、および８ｘ１６のサブブロックを含みうる。８ｘ１６サブブロックのサブブロックは、８ｘ８サブブロック等を含みうる。本明細書で使用されるように、用語「ブロック」は、マクロブロックかサブブロックかの何れかを指す。

エンコーダは、インター・コーディング動作補償ベースのアルゴリズムを使用して、この時間的冗長を利用する。動作補償アルゴリズムは、ブロックに少なくとも部分的に一致する基準フレームの部分を識別する。ブロックは、基準フレームの一致部分に対して、フレーム内でシフトされうる。このシフトは、動作ベクトルによって特徴付けられる。基準フレームの部分一致する部分と、ブロックとの間の差分は、残差の点から特徴付けられうる。エンコーダは、フレームを、フレームの特定の区分のための残差と動作ベクトルとのうちの１または複数を備えたデータとしてエンコードすることができる。フレームをエンコードするためのブロックの具体的な区分は、例えば、エンコードに起因するコンテンツの歪みとエンコード・サイズとを比較検討する費用関数をほぼ最小化することにより選択されうる。

インター・コーディングは、イントラ・コーディングよりもより高い圧縮効率を可能にする。しかしながら、基準データ（例えば、基準フレームまたは基準フィールド）が、チャネル誤り等により失われる場合、インター・コーディングは問題を引き起こす場合がある。これらの場合、インター・コードされたデータのデコードは可能ではないかもしれないし、あるいは、望まれない誤りおよび望まれない誤り伝播となるかもしれない。デコーダは、近隣ブロックから、または、他のフレーム内のデータから導かれたデータを用いて、誤りのあるデータの隠蔽またはカバーアップを試みる隠蔽スキームを利用することができる。隠蔽アルゴリズムの改善によって、誤りのあるビデオ・データの隠蔽部分の品質が改善される。しかしながら、空間−時間情報に対する隠蔽アルゴリズムの高い依存度によって、隠蔽された画像が示す品質がどれだけ高いかには限界がある。隠蔽されたデータは、高品質ではないかもしれないし、視覚内容が低下するかもしれない。更に、信号のデコードが不可能になり、再同期が必要になるかもしれない。誤り伝播は制限することができる。また、再同期（あるいは初期獲得）は、ビデオをリフレッシュするエンコード方法によって可能になりうる。リフレッシュされたビデオ信号は、他のフレームを参照しなくても、または、他のフレームを知らなくてもデコードされる。

独立してデコードすることが可能なイントラ・コード化フレームは、ビデオ信号のリフレッシュを可能にする最も一般的な形式のフレームである。ＭＰＥＧ−ｘ規格およびＨ．２６ｘ規格は、（Ｉフレームとも呼ばれる）イントラ・コード化フレーム、時間的に予測されるＰフレーム、またはニ方向的に予測されるＢフレームを備え、グループ・オブ・ピクチャ（ＧＯＰ）として知られているものを用い、ＧＯＰ内のＩフレームおよび／またはその他のＰフレームおよび／またはＢフレームを参照する。より長いＧＯＰは、増加された圧縮に望ましく、より短いＧＯＰは、より迅速な獲得および再同期を可能にする。Ｉフレームの数を増加させることは、ビデオ信号をより頻繁にリフレッシュすることになり、もって、誤り伝播を更に制限し、より迅速な獲得および再同期を提供するが、代わりに圧縮率が低くなる。必要なものは、圧縮効率を維持しながら、デコーダにおけるビデオ・ストリームの誤り伝播を制限するビデオ・データ・エンコード方法である。

（３５Ｕ．Ｓ．Ｃ．§１１９の下の優先権主張）
本特許出願は、本願の譲受人に譲渡され、全ての目的のために参照によって本願に完全に組み込まれている２００６年１月２０日出願の"Method and Apparatus for Adaptive Intra Refresh Based on Prediction Hierarchy for Wireless Video Communications"と題された米国仮出願６０／７６０，６７８号の優先権を主張する。

発明の概要

本願のシステム、方法、およびデバイスはそれぞれ、幾つかの局面を持っており、何れも単一のみでは、望ましい特性は得られない。特許請求の範囲によって表現されるような本願のスコープを限定することなく、より顕著な特徴が手短に説明されよう。この説明を考慮した後、特に、「詳細な説明」と題されたセクションを読んだ後、本願の例となる機能が、例えば、改善されたデコード・ビデオ品質、改善された誤り復元、および／または改善された効率を含む幾つかの改善点をどのようにして提供するかが理解されるだろう。

マルチメディア・データをエンコードする方法が提供される。この方法は、マルチメディア・データの１または複数の部分が誤って受け取られたのであれば、１または複数の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて１または複数の部分の１または複数の歪み値を推定することと、推定された１または複数の歪み値に少なくとも部分的に基づいて第１の部分のための少なくとも１つのエンコード方法を決定することとを含む。

マルチメディア・データ・プロセッサが提供される。このプロセッサは、マルチメディア・データの１または複数の部分が誤って受け取られたのであれば、１または複数の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて１または複数の部分の１または複数の歪み値を推定し、推定された１または複数の歪み値に少なくとも部分的に基づいて１または複数の部分のための少なくとも１つのエンコード方法を決定するように構成される。

マルチメディア・データをエンコードする装置が提供される。この装置は、マルチメディア・データの１または複数の部分が誤って受け取られたのであれば、１または複数の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて１または複数の部分の１または複数の歪み値を推定する推定器と、推定された歪み値に少なくとも部分的に基づいて１または複数の部分のための少なくとも１つのエンコード方法を決定する決定部とを含む。

実行されると、機械に対して、マルチメディア・データをエンコードさせる命令を備える機械読取可能媒体が提供される。これら命令は、機械に対して、マルチメディア・データの１または複数の部分が誤って受け取られたのであれば、１または複数の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて１または複数の部分の１または複数の歪み値を推定させ、推定された歪み値に少なくとも部分的に基づいて第１の部分のための少なくとも１つのエンコード方法を決定させる。

詳細な説明

以下の詳細説明は、本願のある例となる実施形態に関する。しかしながら、本願は、特許請求の範囲で定義されカバーされるような多くの異なる方法で具体化することができる。本記載では、全体を通じて同一部分が同一符号を用いて明示される図面が参照される。

ビデオ信号は、一連のピクチャ、フレーム、フィールド、あるいはスライスの点から特徴付けられうる。本明細書で使用されるように、用語「フレーム」は、プログレッシブ・ビデオ信号のフレーム、インタレースされたビデオ信号のフィールド、あるいはこれらのうち何れか一方のスライスを含む広義な用語である。

実施形態は、マルチメディア送信システムにおけるエンコーダにおける処理を改善するシステムおよび方法を含む。マルチメディア・データは、動作ビデオ、オーディオ、静止画像、あるいはその他任意のタイプの適切なオーディオ−ビジュアル・データのうちの１または複数を含むことができる。実施形態は、ビデオ・データをエンコードする装置および方法を含む。例えば、１つの局面は、誤り伝播の影響を制限し、デコード中の誤り隠蔽の性能を改善するビデオ・データ・エンコード方法を含む。特に、マルチメディア・データの部分が誤って受け取られたのであれば、その部分を隠蔽するために使用される１または複数の隠蔽方法に少なくとも部分的に基づいてその部分の歪み値を推定し、推定された歪み値に基づいてその部分のためのエンコード方法を決定することによって、デコードされたビデオ品質、誤り復元能力、および／またはデコード効率が改善されることが明らかになった。

図１は、１つの局面に従ったマルチメディア通信システム１００を例示するブロック図である。システム１００は、ネットワーク１４０を経由してデコーダ・デバイス１５０と通信するエンコーダ・デバイス１１０を含んでいる。一例において、エンコーダ・デバイスは、外部ソース１０２からマルチメディア信号を受け取り、その信号を、ネットワーク１４０上で送信するためにエンコードする。

この例において、エンコーダ・デバイス１１０は、メモリ１１４およびトランシーバ１１６に接続されたプロセッサ１１２を含む。プロセッサ１１２は、汎用プロセッサおよび／またはデジタル信号プロセッサのうちの１または複数を含みうる。メモリ１１４は、ソリッド・ステートおよび／またはディスク・ベースの記憶装置のうちの１または複数を含みうる。プロセッサ１１２は、マルチメディア・データソースからのデータをエンコードし、ネットワーク１４０を介した通信のために、それをトランシーバ１１６へ供給する。

この例において、デコーダ・デバイス１５０は、メモリ１５４およびトランシーバ１５６に接続されたプロセッサ１５２を含む。プロセッサ１５２は、汎用プロセッサおよび／またはデジタル信号プロセッサのうちの１または複数を含みうる。メモリ１５４は、ソリッド・ステートおよび／またはディスク・ベースの記憶装置のうちの１または複数を含みうる。トランシーバ１５６は、ネットワーク１４０を介してマルチメディア・データを受信し、それを、デコードのためにプロセッサ１５２へ供給するように構成される。一例において、トランシーバ１５６は、無線トランシーバを含んでいる。ネットワーク１４０は、イーサネット（登録商標）、電話（例えばＰＯＴＳ）、ケーブル、送電線、および光ファイバ・システムのうちの１または複数、および／または、符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システム、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元（ＯＦＤＭ）接続システム、例えばＧＳＭ／ＧＰＲＳ（汎用パケット無線システム）／ＥＤＧＥ（エンハンスト・データＧＳＭ環境）のような時分割多元接続（ＴＤＭＡ）システム、ＴＥＴＲＡ（Terrestrial Trunked Radio）モバイル電話システム、広帯域符号分割多元接続（ＷＣＤＭＡ）システム、高データ・レート（１ｘＥＶ−ＤＯあるいは１ｘＥＶ−ＤＯゴールド・マルチキャスト）システム、ＩＥＥＥ８０２．１１システム、ＭｅｄｉａＦＬＯシステム、ＤＭＢシステム、あるいはＤＶＢ−Ｈシステムのうちの１または複数を備える無線システムを含む有線通信システムまたは無線通信システムのうちの１または複数を備えうる。

図２は、例えば図１に例示するシステム１００のようなシステムにおいて使用されうるエンコーダ・デバイス１１０の実施形態を例示するブロック図である。この実施形態では、エンコーダ１１０は、歪み値推定器２０２、エンコード方法決定部２０４、およびマルチメディア・エンコーダ２０６を含む。歪み値推定器２０２は、エンコードされているマルチメディア・データの部分に対する歪み値を推定する。この歪み値は、現在の部分が予測されるビデオの他の部分からの誤り伝播と、他の部分が誤って受け取られる可能性とに部分的に基づく。この歪み値はまた、もしもビデオ・データの一部が誤って受け取られたのであれば、その部分を隠蔽しながら、デコーダにおいて導かれた誤りによる歪み成分をも含む。歪み値推定器は、多くのエンコード方法を考慮し、これらエンコード方法の各々についての歪み値を計算することができる。

エンコード方法決定部２０４は、推定された歪み値に基づいて、ビデオ・データの一部をエンコードするために使用されるエンコード方法を決定する。エンコード方法決定部２０４および歪み値推定部２０２は、多くのエンコード方法（例えば、多くのインター・コーディング方法）のための多くの歪み値を計算して、最小歪みとなるエンコード方法を採用するために、ともに動作することができる。エンコード方法決定部は、歪み値をしきい値と比較し、この比較に基づいて、他のエンコード方法が必要とされていることを判定する。他のエンコード方法は、ビデオ・ストリームをリフレッシュすることに関連する、例えばイントラ・コーディングのようなエンコード方法でありうる。他のエンコード方法はまた、歪み値推定器２０２によって推定されるように、低い歪み値となる別の形式のインター・コーディングでありうる。エンコード方法決定部はまた、許容できる歪みを与え、計算上の複雑さレベルを超えないエンコード方法を決定する際に、歪み値とともに計算上の複雑さをも考慮する。

マルチメディア・エンコーダ２０６は、歪み値に基づいて決定されたエンコード方法を実行する。マルチメディア・エンコーダ２０６によって実行されるエンコード方法は、インター・コーディングを含んでいる。ここでは、ビデオの一部が、他の時間フレームに位置するビデオ・データの他の部分を参照して、（例えば、動作補償予測を用いて）時間的に予測される。他のエンコード方法は、イントラ・コーディングを含む。ここでは、ビデオの一部が、他の時間的に位置するビデオ・データを参照することなく、独立してデコードされるようにデコードされる。幾つかの実施形態では、同じ時間フレーム内に位置する他のビデオ・データにおける冗長性を利用するために、イントラ・コーディングは、空間的な予測を用いることができる。

幾つかの実施形態では、図２のエンコーダ１１０の要素のうちの１または複数は、配置され直したり、組み合わせることができる。これら要素は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、あるいはこれらの任意の組み合わせによって実現されうる。エンコーダ１１０の要素によって実行される動作の詳細は、後述する図４で例示される方法と関連付けられて説明される。

図３は、例えば図１に例示されたシステム１００のようなシステムで使用されるデコーダ・デバイス１５０の実施形態を例示するブロック図である。この実施形態では、デコーダ・デバイス１５０が、マルチメディア・デコーダ要素３０２および誤り隠蔽要素３０４を含んでいる。マルチメディア・デコーダ３０２は、例えば、図２のエンコーダ・デバイス１１０を用いてエンコードされたようなマルチメディア・ビットストリームをデコードする。マルチメディア・デコーダは、データをエンコードするために使用されるエンコード操作に対応する逆の操作を行なう。エンコードされたデータは、インター・コードされたデータ（例えば、時間的に予測されたデータ）および／またはイントラ・コードされたデータでありうる。

誤り隠蔽要素３０４は、誤って受け取られたビデオの部分を隠蔽またはカバーアップするために使用されるか、そうでなければ、（例えば、同期性損失により）デコードすることができない様々な形式の誤り隠蔽を実行する。この隠蔽方法は、空間的な誤り隠蔽、時間的な誤り隠蔽、およびその他の方法を含みうる。使用されるこの隠蔽方法は、図２のエンコーダ・デバイス１１０の歪み値推定器２０２において歪み値を推定する際にモデル化された誤り隠蔽方法と同一または類似している。この局面は、同一または類似した隠蔽方法を必要としない一方、エンコーダ・デバイスにおいてモデル化されたようなデコーダ・デバイス１５０におけるものと同一または類似した隠蔽方法を用いることによって、デコードされたビデオ品質を改善することができる。誤り隠蔽を実行することに加えて、誤り隠蔽要素３０４は、誤り復元機能を実行することができる。誤り復元は、使用可能な（例えば、誤りの無い）部分の解析を試みた場合、誤っていると判定されたデータのセクションについて実行されうる。これら解析された部分もまた、誤り隠蔽要素３０４による誤り隠蔽に使用されうる。

幾つかの実施形態では、図３のデコーダ１５０の要素の１または複数は、配置され直したり、組み合わせることができる。これら要素は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、あるいはそれらの任意の組合せによって実現されうる。デコーダ１５０の要素によって実行される動作の詳細は、本説明のスコープ外である。

図４Ａは、例えば図１に例示するようなシステムにおいてビデオ・ストリームの一部をエンコードする方法の例を図示するフローチャートである。この例において、この方法は、エンコードされているビデオの一部に対する歪み値を推定する。歪み値は、エンコードされた部分の、デコーダにおいて誤って受け取られた確率と、誤った部分を隠蔽するために使用される隠蔽方法によって引き起こされる誤りとに基づく。歪み値を、デコーダ隠蔽方法に基づかせることによって、エンコードされたビデオ・ビットストリームは、デコーダにおける誤り伝搬の効果に対してよりロバストになる。これは、デコードされたビデオ品質を改善することができる。この例において、この方法は、推定された歪み値に基づいて、エンコード方法を決定することもできる。このエンコード方法は、複数のエンコード方法から、歪み値を最小化するように決定される。このエンコード方法は、デコーダにおいて、ビデオの部分の復元力を改善することに基づいて決定されうる。このエンコード方法は、デコーダにおける誤り伝播を制限するようにビデオ部分をリフレッシュするように決定される。

図４Ａに示すように、方法はブロック４０２で始まり、エンコード・デバイスが、マルチメディア・データの一部の歪み値を推定する。マルチメディア・データの一部は、ピクセル（例えば、明度および彩度、または赤、緑、および青等）、ピクセルのブロック、あるいは１または複数のピクセルの任意の形状およびサイズの領域でありうる。歪み値は、ビデオの一部が誤って受け取られた場合に、その部分を隠蔽するために使用されうる誤り隠蔽方法に関連する歪み成分に少なくとも部分的に基づきうる。歪み値は、多くの隠蔽方法からの成分を含みうる。例えば、１つの成分は、エンコードされた部分が誤って受け取られた場合にのみ使用される第１の隠蔽方法によって導かれた歪みを表わすことができる。言い換えれば、隠蔽された部分（予測データと称される）を予測するために、デコーダ・デバイスが使用することができるその他の全てのビデオ・データは、誤りなく受け取られると仮定される。歪み値の他の成分は、第２または第３の隠蔽方法によって導かれた歪みを含みうる。ここでは、１または複数の予測部分が誤って受け取られた場合、これら隠蔽方法がデコーダによって使用されうる。この隠蔽方法は、空間的隠蔽、時間的隠蔽、その他の形式の隠蔽を含みうる。時間的隠蔽を含む歪み値を推定する方法の詳細を、以下に説明する。図２のエンコーダ・デバイス１１０の歪み値推定器２０２は、ブロック４０２における動作を行うことができる。

幾つかの例において、歪み値は、データのフレーム内の各ブロックについて、ブロック４０２において計算される。ブロックは、マクロブロック（例えば、１６ｘ１６ピクセル・マクロブロック）、あるいは任意のサイズのサブマクロブロックでありうる。フレーム内の各ブロックに対する歪み値は、歪みマップ内に格納されることができる。図５は、ブロック４０２において生成されうる歪みマップをグラフ式に図示する。歪みマップ５００は、フレーム内の各ブロックについて１つある（ｄｖ１−ｄｖ１６とラベルされた）多くの歪み値変数５０５を含んでいる。前のフレームの歪みマップ５００は、新たなフレーム内の歪み値を計算するのに使用されうる。このようにして、累積歪みが、容易に計算されうる。何れかのブロックがリフレッシュされる、例えばイントラ・コード化されると決定された場合、そのブロックの歪み値がゼロに設定されるか、量子化またはその他幾つかの要因による歪み値に設定される。

ブロック４０４では、エンコーダ・デバイスが、推定された歪み値に基づいて、マルチメディア・データの一部のために使用されるエンコード方法を決定する。幾つかの例において、ブロック４０２において、多くのエンコード方法について、どのエンコード方法が使用されるべきかを選択するために使用されるレート歪み計算の一部として、歪み値が計算される。例えば、マルチメディア・データの一部のエンコードに使用されるために、最小の歪み値となるエンコード方法が決定される（ブロック４０４）。他の例において、歪み値は、第１のエンコード方法（インター・コード化またはイントラ・コード化の何れか）に基づいて計算され、歪み値は、例えばアダプティブ・イントラ・リフレッシュ（ＡＩＲ）においてなされたようにイントラ・コード化されるべきブロックを決定するために使用される。例えば、マルチメディア・データの一部をエンコードするために、レート歪みベースの決定が、最適な動作ベクトルおよびモードを発見した後に、その部分に対応する歪み値が計算される。このようにして得られた歪み値がしきい値よりも大きい場合、例えば、４ｘ４ピクセル・イントラ・コーディングまたは１６ｘ１６ピクセル・イントラ・コーディングのようなイントラ・コーディング・モードのうちの１つを用いて、その部分をイントラ・コード化するように決定されうる。このように、マルチメディアの一部がリフレッシュされる。イントラ・コーディング・モードとは別に、幾つかの場合、歪み値に基づいて、あるインター・コーディング・モード（Ｐ８ｘ８、Ｐ１６ｘ１６、Ｐ１６ｘ８、Ｐ８ｘ１６等）も決定される。しかしながら、これらは、リフレッシュされたビデオにはならないかもしれない。方法４００のブロックのうちの幾つかは、結合、省略、配列し直し、あるいはこれらの任意の組み合わせが可能であることが注目されるべきである。ブロック４０４においてエンコード方法を決定する幾つかの実施形態の詳細を、図４Ｂを参照して以下に示す。

ブロック４０２において、歪み値を推定するためのアルゴリズムの例の詳細について説明する。この例における歪み値は、例えば、前のフレームとそれに続くフレームのような２つの別のフレームからの部分を用いて、マルチメディアの誤りのある部分を隠蔽する時間的隠蔽方法に関連している。しかしながら、類似した方法を用いたその他の隠蔽方法も表される。

一例であるアルゴリズムは、ビデオの一方向に予測された（例えば、Ｐフレーム内の）部分の予測（すなわち、統計予測）歪み値の再帰的な歪み値を計算する。例えばイントラ・コードされた部分および二方向的に予測された部分のような他の部分もまた、類似のアルゴリズムによって表される。このアルゴリズムは、現在のＭＢが失われている推定確率（確率Ｐと定義される）と、隠蔽方法によって使用される予測変量が失われる確率（確率Ｑと定義される）とに部分的に基づく。仮定された確率ＰおよびＱのうちの少なくとも１つが増加すると、このアルゴリズムは、圧縮効率をトレード・オフしながら、良好な誤り回復力／隠蔽をよりもたらす傾向にある。確率ＰおよびＱのうちの少なくとも１つが減少すると、逆のことが起こる。

アルゴリズムは、マルチメディア・データの一部に対する予測された歪み値を計算する。このマルチメディア・データの一部は、任意の数のピクセルおよび任意の形状でありうる。その例は、１６ｘ１６ピクセル・マクロブロック（ＭＢ）である部分に関して議論されるだろう。しかし、他の部分も同様に表わされうることが注目されるべきである。１つの実施形態では、アルゴリズムは、図５に関して上述したような歪みマップを形成するフレームの各ＭＢに対して予測される歪み値を推定するために使用される。この例における予測される歪み値は、再帰的かつ動作適応性のある方式で計算される。この予測される歪みマップは、正確には、ＭＳＥ測定値でもＬ１ノルム歪み測定値でもないが、これら測定値と合理的に良く相関すると予測される。

次の表記が、歪み値アルゴリズムの議論に使用される。

＝「ｔ」番目のフレーム内の（ｉ、ｊ）番目のマクロブロックの累積歪み値。
Ｐ＝現在のＭＢが失われている確率。
Ｑ＝関連する隠蔽方法によって使用される予測変量が失われている確率。

これら仮定の下、現在のＭＢは、（１−Ｐ）に等しい確率で、何の誤りもなく受け取られる。一方向予測では、現在のＭＢは、この例では前のフレームである別のフレームのＭＢサイズ部分に関してエンコードされる。動作ベクトルＭＶは、現在のＭＢおよびＭＢサイズの基準部分の相対位置またはロケーションを与える。この基準部分は、一般に、ＭＢの境界と揃わないであろうが、４つのＭＢの４つの領域までオーバラップするだろう。図６は、動作補償予測方法を用いてビデオの一部を推定するために使用される予測領域をグラフィック的に例示している。動作ベクトル６０５は、ａ１、ａ２、ａ３、およびａ４とラベルされた４領域部分から構成されたＭＢサイズの予測領域６１０を指している。この領域部分ａ１−ａ４は、４つのＭＢ６１５、６２０、６２５、６３０それぞれの中にある。ＭＢ６１５−６３０の歪み値は、前のフレームの歪みマップの格納されたバージョンから得られうる。この例において、予測領域６１０内の４つの領域部分ａ１−ａ４の累積歪み値は、現在のＭＢの歪み値を計算するために（例えば、各領域部分におけるピクセル数に基づいて）重み平均される。したがって、累積的な誤り伝播による現在のマクロブロックの推定された予測歪み値は、

によって得られる。ここで、ａ１、ａ２、ａ３、ａ４は、図６に例示するような４つの領域部分である。式（１）によって与えられた歪み値は、１６ｘ１６ピクセル領域の重み平均を、２５６で除することによって規格化されることに着目されたい。

前のフレームの予測領域からの累積歪みに加えて、現在のＭＢが誤って受け取られれば、アルゴリズムは、現在のＭＢの隠蔽による歪み値成分を推定する。上述したように、現在のＭＢは、確率Ｐで、誤って受け取られると仮定されている。隠蔽方法により現在のマクロブロックによって導かれる歪みは、隠蔽誤り（この隠蔽方法によって導かれ、項Ｃｏｎｃｅａｌ＿Ｅｒｒｏｒによって示される誤り）と、この隠蔽方法によって使用される予測領域からの誤り伝播による効果との総和であると概算される。上述したように、（例えば、現在のフレームからの、および／または過去のフレームからの）予測変量は、確率１−Ｑで利用可能であると仮定されている。この例において、隠蔽方法は、現在のフレームおよび前のフレーム内のデータの利用可能度に依存すると仮定される。累積歪み項

によって示されるように、予測領域は前のフレームにあると仮定される。しかしながら、これは単なる例であって、予測領域は、現在のフレームであるか、あるいは、利用可能な他のフレーム内にありうる。従って、歪みは、前のフレームからの予測領域を用いた時間的な誤り隠蔽方法によってもたらされる。ここで、隠蔽されている部分は、確率Ｐで誤っており、歪みは、

のように計算される（ともに確率１−Ｑで利用可能な）現在のフレームと前のフレームとにおける予測データの利用可能度に依存する。

隠蔽誤り計算は、計算上複雑でありうる。しかしながら、幾つかの合理的な仮定の下では、以下のＳＡＤ（ピクセル値における累積差分の合計）値における差分として概算されうる。
ＳＡＤ_ｏｐｔ：最適のＭＶと最適のエンコード・モードが使用された時、オリジナル画像と圧縮画像とから得られたＳＡＤ。
ＳＡＤ_ｅｓｔ：推定されたＭＶが使用された（時間的な隠蔽アルゴリズムによって推定された）時、オリジナル画像と隠蔽画像とから得られたＳＡＤ。

この概算は、以下のように書かれうる。

ここでａ１’、ａ２’、ａ３’、ａ４’は、隠蔽部分予測として使用され、累積歪みを重み平均するために使用される（図６に図示するような）前のフレームにおける４つの領域部分である。式（３）によって与えられた歪み値も、１６ｘ１６ピクセル領域の重み平均を２５６によって除することによって規格化されることに注目されたい。

式（３）を使用する場合、ＳＡＤ_ｅｓｔは、幾つかの場合（例えば、動作補償不正確によって）ＳＡＤ_ｏｐｔ未満であることが判明しうるが、この差は無視できるほど小さく、この場合、Ｃｏｎｃｅａｌ＿Ｅｒｒｏｒ成分はゼロであると近似されうることに注目されたい。

式（３）は、現在のフレームと前のフレームとの両方とも利用可能である場合（それぞれが、確率１−Ｑで生じる場合）に使用される隠蔽方法に相当する歪み値成分を表わす。しかしながら、現在のフレームおよび／または過去のフレームのうちの幾つかまたは全てが誤って受け取られた場合、異なる隠蔽誤りが存在するかもしれない。ここでは、それぞれが確率Ｑで生じる。４つの異なる隠蔽推定に対応する歪み値成分が考慮されうる。ここでは、４つの隠蔽推定は、１）現在のフレームが利用可能であり、前のフレームが利用可能である場合、２）現在のフレームが利用可能であるが、前のフレームが誤っている場合、３）現在のフレームが誤っているが、前のフレームが利用可能である場合、および４）現在のフレームと前のフレームともに誤っている場合の４つのシナリオに相当する。４つの隠蔽推定値の計算に関する詳細は、歪み値計算についての理解には重要ではないので、本明細書では説明しない。４つの歪み値成分を含む累積歪みは、次のように計算されうる。

ここで、第１の隠蔽推定値は、

からなる歪みとなり、第２の隠蔽推定値は、

からなる歪みとなり、それ以降も同様である。更に、累積歪みは、４つの隠蔽推定のおのおので用いられる予測領域の領域（ａ'、ａ''、ａ'''、ａ''''）に基づいて重み平均される。隠蔽推定は、例えば空間的な隠蔽、ニ方向隠蔽等のような異なるタイプの隠蔽方法に基づきうる。例えば、隠蔽アルゴリズムは、決定論的／確率論的基準に依存して、ある時は時間的に、またある時には空間的に隠蔽することができる。歪み値計算を行ない、この歪み値に基づいて、どのエンコード方法を使用するかを決定するエンコーダ・デバイスは、デコーダが誤ったデータを受け取った場合に、誤り復元および／または誤り隠蔽性能を改善するために、デコーダ内で使用されるものと同じであるか類似した方法をモデル化することができる。

他の予測領域が利用可能ではない確率に基づいて、他の隠蔽推定も考慮され、式（４）に含まれうることに注目されたい。式（４）は、図５に例示されるような歪みマップを形成するために、フレーム内の各ＭＢについて使用されうる。従って、式（４）を用いて計算された歪み値は、隠蔽の多くのオプションを選択することによって導かれた歪みの重み付けされた総和となる。ここで、重みは、各隠蔽オプションが選択される確率である。

図４Ｂは、例えば図１に例示するようなシステムにおけるビデオ・ストリームの一部をエンコードする方法の例を詳細に例示するフローチャートである。方法４２０は、図４Ａに関して上述したようなブロック４０２および４０４を含んでおり、ブロック４０２において歪み値を推定する場合に考慮される様々な隠蔽方法と、ブロック４０４においてエンコード方法を決定する様々な方法とを含んでいる。

ブロック４０２において、歪み値は、式（４）に関して上述されたものに類似したアルゴリズムを用いて推定されうる。使用される正確な歪み値式は、表わされる隠蔽方法のタイプに依存する。表わされる隠蔽方法は、空間的な隠蔽方法を含みうる。ここでは、同じフレームに位置する予測部分が、誤って受け取られた部分を隠蔽するために使用される。フレーム内の空間的な隠蔽の場合、現在のフレーム内のＭＢの累積歪み値が、前のフレームからの歪み値の代わりに使用される。時間的な隠蔽方法は、上述しかつ式（４）によって表されるような一方向予測を含み、次に続くフレームの利用可能度も考慮されるニ方向予測をも含む。

時間的な隠蔽方法の１つの例は、動作ベクトル・スケーリングである。動作ベクトル・スケーリングは、現在のフレームにおける誤ったマルチメディア・データの一部のための動作ベクトルを導出するために、他のフレームから動作ベクトルを内挿および／または外挿する方法である。時間的な隠蔽方法の他の例は、フレーム・レート変換である。フレーム・レート変換は、動作ベクトル・スケーリングと類似しているが、一般には２つの周囲のフレームに基づくフレーム全体の構成を含んでいる。時間的な誤り隠蔽方法の他の例は、光学フロー方法に基づきうる。ブロック４０２において推定される歪み値によって表わされうる他の形式の隠蔽は、空間および周波数領域内挿、最大平滑復元、および凸集合への突起（projection into convex sets）を含む。熟練技術者であれば、方法４００のブロック４０２において歪み値を推定する場合に表されうる他の形式の誤り隠蔽を認識するだろう。

上述したように、エンコーダ・デバイスは、ブロック４０４において、ブロック４０２において推定された歪み値に基づいてエンコード方法を決定する。幾つかの実施形態では、推定された歪み値がしきい値と比較され、この比較に基づいてエンコード方法が決定される。しきい値は、マルチメディア・データの全ての部分に対して単一の値でありうる。しかしながら、しきい値はまた、例えば、方法４２０のブロック４０４内にリストされたような方法によって変わりうる。これらの方法は、しきい値を越えることに基づいてエンコード方法を決定することに関して説明される。ここでは、しきい値を越えた場合に選択されるエンコード方法は、一般に、その部分をリフレッシュする（または、その部分の推定された歪み値を少なくとも低減する）役割を負う。しかしながら、このエンコード方法はまた、しきい値未満である歪み値に基づいても決定されうることが注目されるべきである。

幾つかの例において、しきい値は、エンコードされているマルチメディア部分が位置する領域のテクスチャの関数として変えられる。テクスチャが大幅に変化する領域（例えば、ピクセルからピクセルへの大幅な変化）は、テクスチャがあまり変化しない領域ほど誤りを示さない。従って、（例えば、イントラ・コーディングを用いて）その部分をリフレッシュするために決定されたエンコード方法によって、より高いしきい値が与えられうる。しかしながら、スムーズに、あるいはわずかしかテクスチャが変化しない領域は、より多くの誤りを示し、もって、より低いしきい値が割り当てられうる。

幾つかの例では、しきい値は、フレーム内でエンコードされている部分の位置あるいは場所の関数として変わりうる。例えば、エッジ上の部分は、中心部分よりも高いしきい値が割り当てられうる。このようにして、視聴者がより頻繁に見る領域（例えば、フレームの中心）は、視聴者がさほど見ないエッジ上の領域よりもより頻繁にリフレッシュされる。

幾つかの例では、しきい値は、ＧＯＰ（グループ・オブ・ピクチャ）内でエンコードされている現在のフレームの位置、または、多くのフレームからなるスーパフレームの位置の関数でありうる。ＧＯＰは、一般に、少なくとも一度イントラ・コード化された（アダプティブ・イントラ・リフレッシュすなわちＡＩＲとしても知られる）フレーム内のＭＢの実質的に全てを含むフレームのセット、または、イントラ・コード化されたフレームで始まる。ここでは、ＧＯＰ内の他のフレーム（またはスーパフレーム）は、ＧＯＰ外部のフレームを参照しない。ＭＢが、ＧＯＰの始まりにおいてより高いチャンスでイントラ・コード化されることを保証するために、ＧＯＰの始まり近傍のフレームにおけるしきい値は、ＧＯＰの終わり近傍のＭＢよりも低いしきい値を持つ。

幾つかの例では、しきい値は、フレーム内の、例えば歪みマップにおける歪み値の分布の関数でありうる。例えば、しきい値は、フレーム内のＭＢの部分が、歪み値の分布に基づいてイントラ・コード化されることを保証するように適応して設定されうる。これは、イントラ・コード化されるＭＢの数を制限し、送信に必要なデータ・レートを制限するために用いられる。たとえ品質が、幾つかフレームに対して（高い歪み値の分布によって）低下しても、データ・レートは、所望のレベルに維持されうる。

幾つかの例では、しきい値は、エンコードされている部分を含むフレームの領域における動作アクティビティの関数でありうる。より高い動作アクティビティによって特徴付けられるビデオの領域で生じる誤りは、小さな動作によって特徴付けられる領域で生じる誤りよりも知覚できない傾向にある。しきい値は、より低い動作アクティビティを経験する領域よりも、より高い動作アクティビティを経験する領域において、より高い値に設定されうる。動作アクティビティは、多くの方法で測定されうる。例えば、動作ベクトル振幅が、動作アクティビティ・インジケータとして使用されうる。ここでは、より高い振幅動作ベクトルが、より高い動作アクティビティを示す。動作ベクトル方向の変化も、動作アクティビティ・インジケータとして使用することができる。領域において、ほとんどの動作ベクトルが、実質的に同じ方向を指しているのであれば、これは低い動作アクティビティを示しうる。領域の近隣ブロックの動作ベクトルが、異なる方向を指しているのであれば、これは高い動作アクティビティを示しうる。類似した動作アクティビティ尺度が、例えば光学フローのようなその他の動作補償技術を用いて得られる。

幾つかの例では、しきい値は、エンコードされているビデオの部分のエンコード・モードの関数でありうる。例えば、ビデオの幾つかの部分は、一般に、ビデオの予測された他の部分のための基準としては使用されない。例えば、Ｂフレームは、多くのシステムにおいて、基準フレームに使用されない。したがって、このタイプのシステムにおけるＢフレームの歪み値は、他のどのビデオも参照しないだろうから、より高くすることが可能である。他のどのビデオもＢフレームを参照しないので、誤りは、１フレーム期間（例えば、毎秒３０フレームのビデオ・シーケンスにおける１／３０秒）のみ続くだろう。したがって、しきい値は、予測された他の部分によって参照されるビデオの部分に対してよりも、参照されていないビデオの部分に対しての方が高いであろう。

ブロック４０２において推定された歪み値に基づいて、ブロック４０４においてエンコード方法が決定された後、処理４２０はブロック４０６に進み、エンコードされているマルチメディア・データの部分が、決定されたエンコード方法でエンコードされる。ブロック４０６におけるエンコード方法は、近隣の空間的な予測を持つ、あるいは持たないイントラ・コーディングを含みうる。ブロック４０２において計算された歪み値を低減するために、近隣のピクセルの空間的な予測を持たないイントラ・コーディングが選択される。ブロック４０６におけるエンコード方法は、動作補償予測を用いて、一方向予測または二方向予測を含むことができる。ブロック４０２において推定された歪み値を低減するために、異なる形式の動作補償予測も選択されうる。動作補償予測は、ブロック・マッチング、光学フロー、および、上述したようにして動作ベクトルを計算するその他の方法を含みうる。方法４２０のブロックのうちの幾つかは、結合、省略、配列し直し、あるいはこれらの任意の組み合わせが可能であることが注目されるべきである。

図７は、例えば図１に例示するようなシステムで使用されるエンコーダ・デバイス１１０の例を図示する機能ブロック図である。この局面は、マルチメディア・データの第１の部分が誤って受け取られたのであれば、この第１の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいてこの第１の部分の歪み値を推定する手段と、推定された歪み値に少なくとも部分的に基づいて第１の部分のためのエンコード方法を決定する手段とを含む。この局面の幾つかの例は、推定する手段は、歪み値推定器７０２を備え、決定する手段は、エンコード方法決定部７０４を備える。

図８は、例えば図１に例示するようなシステムで使用されるエンコーダ・デバイス１１０の例を示す機能ブロック図である。この局面は、マルチメディア・データの第１の部分が誤って受け取られたのであれば、この第１の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいてこの第１の部分の歪み値を推定する手段と、推定された歪み値に少なくとも部分的に基づいて第１の部分のためのエンコード方法を決定する手段とを含むこの局面の幾つかの例では、推定する手段は、歪み値を推定するモジュール８０２を備え、決定する手段は、エンコード方法を決定するモジュール８０４を備える。

当業者であれば、これら情報および信号が、種々異なった技術や技法を用いて表されることを理解するであろう。例えば、上述した記載の全体で引用されているデータ、命令群、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光学場または光学微粒子、あるいはこれら何れかの組み合わせによって表現されうる。

当業者であれば、更に、本明細書で開示された実施形態に関連して記載された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズム・ステップが、電子工学ハードウェア、コンピュータ・ソフトウェア、あるいはこれらの組み合わせとして実現されることを理解するであろう。ハードウェアとソフトウェアとの相互置換性を明確に説明するために、様々な例示的な部品、ブロック、モジュール、回路、およびステップが、それらの機能に関して一般的に記述された。それら機能がハードウェアとして又はソフトウェアとして実現されるかは、特定のアプリケーション及びシステム全体に課せられている設計制約に依存する。当業者であれば、各特定のアプリケーションに応じて変化する方法で上述した機能を実現することができる。しかしながら、この適用判断は、本発明の範囲からの逸脱をもたらすものと解釈されるべきではない。

本明細書で開示された実施形態に関連して記述された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリート・ゲートあるいはトランジスタ・ロジック、ディスクリート・ハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実施されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１または複数のマイクロプロセッサ、またはその他任意のこのような構成である計算デバイスの組み合わせとして実現することも可能である。

本明細書で開示された実施形態に関連して記述された方法やアルゴリズムのステップは、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェア・モジュールによって、または、これらの組み合わせによって具体化される。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。典型的な記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されることができる。このプロセッサと記憶媒体とは、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体とは、ユーザ端末内のディスクリート部品として存在することができる。

開示された実施形態における上述の記載は、当業者をして、本発明の製造または利用を可能とするように提供される。これらの実施形態への様々な変形例もまた、当業者には明らかであって、本明細書で定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく他の実施形態にも適用されうる。

このように、本発明は、本明細書で示された実施形態に限定されるものではなく、本明細書に記載された原理および新規な特徴に一致した最も広い範囲に相当することが意図されている。

図１は、１つの局面に従ったマルチメディア通信システムを例示するブロック図である。図２は、例えば図１に例示するようなシステムにおいて使用されうるエンコーダ・デバイスの実施形態を例示するブロック図である。図３は、例えば図１に例示するようなシステムにおいて使用されうるデコーダ・デバイスの実施形態を例示するブロック図である。図４Ａは、例えば図１に例示するようなシステムにおいてビデオ・ストリームの一部をエンコードする方法の例を図示するフローチャートである。図４Ｂは、例えば図１に例示するようなシステムにおいてビデオ・ストリームの一部をエンコードする方法の例をより詳細に図示するフローチャートである。図５は、図４Ａおよび図４Ｂの方法によって生成されうる歪みマップをグラフィック的に図示する。図６は、例えば動作補償予測方法において使用されるように、ビデオの部分を推定するために使用される予測領域をグラフィック的に図示する。図７は、例えば図１に例示するようなシステムで使用されうるエンコーダ・デバイスの実施形態を例示する機能ブロック図である。図８は、例えば図１に例示するようなシステムで使用されうるエンコーダ・デバイスの実施形態を例示する機能ブロック図である。

Claims

マルチメディア・データをエンコードする方法であって、
マルチメディア・データの第１の部分が誤って受け取られたのであれば、前記第１の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて前記第１の部分の歪み値を推定することと、ここにおいて、前記１または複数の隠蔽方法は、ビデオの一部が誤って受け取られていることに応じて、ビデオ・デコーダにおいて使用される；
前記推定された歪み値としきい値とに少なくとも部分的に基づいて、前記第１の部分のためのエンコード方法を決定することと、ここにおいて、前記しきい値は、マルチメディア・データの前記第１の部分の特性に基づいて、変化する；
を備える方法。
前記決定したエンコード方法を用いて、前記第１の部分をエンコードすることを更に備える請求項１に記載の方法。
前記エンコード方法を決定することは更に、前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記エンコード方法を決定することを備える請求項１に記載の方法。
前記しきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記第１の部分を含むフレーム内の前記第１の部分の位置と、
前記第１の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１の部分を含むフレームの位置と、前記第１の部分を含むフレーム内の歪み値の分布と、
前記第１の部分を含むフレームの領域の動作アクティビティと、
前記第１の部分を含むフレームのエンコード・モードと
を含む請求項３に記載の方法。
前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記第１の部分をイントラ・コードすることを更に備える請求項１に記載の方法。
前記１または複数の隠蔽方法によって使用される予測データの誤りの確率に少なくとも部分的に基づいて前記第１の部分に対する歪み値を推定することを更に備える請求項１に記載の方法。
前記１または複数の隠蔽方法によって構築された前記第１の部分のバージョンと、前記第１の部分のうちの誤りのないバージョンとの間のピクセル値における差分に少なくとも部分的に基づいて、前記第１の部分の歪み値を推定することを更に備える請求項１に記載の方法。
前記第１の部分の歪み値の推定することは更に、前記１または複数の隠蔽方法の各々に対する歪み値の歪み成分を推定することを備える請求項１に記載の方法。
前記歪み値を推定することは更に、前記第１の部分が誤って受け取られたのであれば、前記第１の部分を隠蔽することに関連する前記１または複数の隠蔽方法によって使用される多くの予測領域からの累積歪み値を重み平均することを備え、
前記重み平均することは、前記予測領域のサイズに少なくとも部分的に基づく請求項１に記載の方法。
前記第１の部分はフレームに含まれ、
前記方法は、
前記フレームに含まれるマルチメディア・データの１または複数の第２の部分に対する１または複数の第２の歪み値を推定することと、
前記フレームに含まれるマルチメディア・データの前記第１および第２の部分に対する推定された歪み値を含む歪みマップを形成することと
を更に備える請求項１に記載の方法。
前記エンコード方法を決定することは更に、前記歪みマップに少なくとも部分的に基づいて前記第１および第２の部分に対する１または複数のエンコード方法を決定することを備える請求項１０に記載の方法。
前記１または複数のエンコード方法を決定することは更に、前記歪みマップにおける前記歪み値と、１または複数のしきい値との比較に基づいて、前記第１および第２の部分をリフレッシュするように、前記１または複数のエンコード方法を決定することを備える請求項１１に記載の方法。
前記１または複数のしきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記フレーム内の前記第１および第２の部分の位置と、
前記第１および第２の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１および第２の部分を含むフレームの位置と、
前記第１および第２の部分を含むフレームに対する歪みマップにおける歪み値の分布と、
前記第１および第２の部分を含むフレームの領域の動作アクティビティと、
前記第１および第２の部分を含むフレームのエンコード・モードと
を含む請求項１２に記載の方法。
マルチメディア・デバイスであって、
メモリと；
マルチメディア・データの第１の部分が誤って受け取られたのであれば、前記第１の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて前記第１の部分の歪み値を推定するように、ここにおいて、前記１または複数の隠蔽方法は、ビデオ・デコーダにおいて使用される、
前記推定された歪み値としきい値とに少なくとも部分的に基づいて、前記第１の部分のためのエンコード方法を決定するように、ここにおいて、前記しきい値は、マルチメディア・データの前記第１の部分の特性に基づいて、変化する、
ように構成されたプロセッサと；
を備えるマルチメディア・デバイス。
前記プロセッサは、前記決定したエンコード方法を用いて、前記第１の部分をエンコードするように更に構成される、請求項１４に記載のマルチメディア・デバイス。
前記プロセッサは、前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記エンコード方法を決定するように更に構成された請求項１４に記載のマルチメディア・デバイス。
前記しきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記第１の部分を含むフレーム内の前記第１の部分の位置と、
前記第１の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１の部分を含むフレームの位置と、
前記第１の部分を含むフレーム内の歪み値の分布と、
前記第１の部分を含むフレームの領域の動作アクティビティと、
前記第１の部分を含むフレームのエンコード・モードと
を含む請求項１６に記載のマルチメディア・デバイス。
前記プロセッサは、前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記第１の部分をイントラ・コードするように更に構成される、請求項１４に記載のマルチメディア・デバイス。
前記プロセッサは、前記１または複数の隠蔽方法によって使用される予測データの誤りの確率に少なくとも部分的に基づいて前記第１の部分に対する歪み値を推定するように更に構成される、請求項１４に記載のマルチメディア・デバイス。
前記プロセッサは、前記１または複数の隠蔽方法によって構築された前記第１の部分のバージョンと、前記第１の部分のうちの誤りのないバージョンとの間のピクセル値における差分に少なくとも部分的に基づいて、前記第１の部分の歪み値を推定するように更に構成される、請求項１４に記載のマルチメディア・デバイス。
前記プロセッサは、前記１または複数の隠蔽方法の各々に対する歪み値の歪み成分を推定するように更に構成される、請求項１４に記載のマルチメディア・デバイス。
前記プロセッサは、前記第１の部分が誤って受け取られたのであれば、前記第１の部分を隠蔽することに関連する前記１または複数の隠蔽方法によって使用される多くの予測領域からの累積歪み値を重み平均するように更に構成され、
前記重み平均することは、前記予測領域のサイズに少なくとも部分的に基づく請求項１４に記載のマルチメディア・デバイス。
前記第１の部分はフレームに含まれ、
前記プロセッサは更に、
前記フレームに含まれるマルチメディア・データの１または複数の第２の部分に対する１または複数の第２の歪み値を推定し、
前記フレームに含まれるマルチメディア・データの前記第１および第２の部分に対する推定された歪み値を含む歪みマップを形成する
ように構成された請求項１４に記載のマルチメディア・デバイス。
前記マルチメディア・デバイスは、前記歪みマップに少なくとも部分的に基づいて前記第１および第２の部分に対する１または複数のエンコード方法を決定するように更に構成される、請求項２３に記載のマルチメディア・デバイス。
前記マルチメディア・デバイスは、前記歪みマップにおける前記歪み値と、１または複数のしきい値との比較に基づいて、前記第１および第２の部分をリフレッシュするように、前記１または複数のエンコード方法を決定するように更に構成された請求項２４に記載のマルチメディア・デバイス。
前記１または複数のしきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記フレーム内の前記第１および第２の部分の位置と、
前記第１および第２の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１および第２の部分を含むフレームの位置と、
前記第１および第２の部分を含むフレームに対する歪みマップにおける歪み値の分布と、
前記第１および第２の部分を含むフレームの領域の動作アクティビティと、
前記第１および第２の部分を含むフレームのエンコード・モードと
を含む請求項２５に記載のマルチメディア・デバイス。
マルチメディア・データをエンコードする装置であって、
マルチメディア・データの第１の部分が誤って受け取られたのであれば、前記第１の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて前記第１の部分の歪み値を推定する推定器と、ここにおいて、前記１または複数の隠蔽方法は、ビデオ・デコーダにおいて使用される；
前記推定された歪み値としきい値とに少なくとも部分的に基づいて、前記第１の部分のためのエンコード方法を決定する決定部と、ここにおいて、前記しきい値は、マルチメディア・データの前記第１の部分の特性に基づいて、変化する；
を備える装置。
前記決定したエンコード方法を用いて、前記第１の部分をエンコードするエンコーダを更に備える請求項２７に記載の装置。
前記決定部は、前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記エンコード方法を決定する請求項２７に記載の装置。
前記しきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記第１の部分を含むフレーム内の前記第１の部分の位置と、
前記第１の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１の部分を含むフレームの位置と、前記第１の部分を含むフレーム内の歪み値の分布と、
前記第１の部分を含むフレームの領域の動作アクティビティと、
前記第１の部分を含むフレームのエンコード・モードと
を含む請求項２９に記載の装置。
前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記第１の部分をイントラ・コードするエンコーダを更に備える請求項２７に記載の装置。
前記推定器は、前記１または複数の隠蔽方法によって使用される予測データの誤りの確率に少なくとも部分的に基づいて前記第１の部分に対する歪み値を推定する請求項２７に記載の装置。
前記推定器は、前記１または複数の隠蔽方法によって構築された前記第１の部分のバージョンと、前記第１の部分のうちの誤りのないバージョンとの間のピクセル値における差分に少なくとも部分的に基づいて、前記第１の部分の歪み値を推定する請求項２７に記載の装置。
前記推定器は、前記１または複数の隠蔽方法の各々に対する歪み値の歪み成分を推定する請求項２７に記載の装置。
前記第１の部分が誤って受け取られたのであれば、前記推定器は、前記第１の部分を隠蔽することに関連する前記１または複数の隠蔽方法によって使用される多くの予測領域からの累積歪み値を重み平均することによって前記歪み値を推定し、
前記重み平均することは、前記予測領域のサイズに少なくとも部分的に基づく請求項２７に記載の装置。
前記第１の部分はフレームに含まれ、
前記推定器は、
前記フレームに含まれるマルチメディア・データの１または複数の第２の部分に対する１または複数の第２の歪み値を推定し、
前記フレームに含まれるマルチメディア・データの前記第１および第２の部分に対する前記推定された歪み値を含む歪みマップを形成する
請求項２７に記載の装置。
前記決定部は、前記歪みマップに少なくとも部分的に基づいて前記第１および第２の部分に対する１または複数のエンコード方法を決定する請求項３６に記載の装置。
前記決定部は、前記歪みマップにおける前記歪み値と、１または複数のしきい値との比較に基づいて、前記第１および第２の部分をリフレッシュするように、前記１または複数のエンコード方法を決定する請求項３７に記載の装置。
前記１または複数のしきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記フレーム内の前記第１および第２の部分の位置と、
前記第１および第２の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１および第２の部分を含むフレームの位置と、
前記第１および第２の部分を含むフレームに対する歪みマップにおける歪み値の分布と、
前記第１および第２の部分を含むフレームの領域の動作アクティビティと、
前記第１および第２の部分を含むフレームのエンコード・モードと
を含む請求項３８に記載の装置。
マルチメディア・データをエンコードする装置であって、
マルチメディア・データの第１の部分が誤って受け取られたのであれば、前記第１の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて前記第１の部分の歪み値を推定する手段と、ここにおいて、前記１または複数の隠蔽方法は、ビデオ・デコーダにおいて使用される；
前記推定された歪み値としきい値とに少なくとも部分的に基づいて、前記第１の部分のためのエンコード方法を決定する手段と、ここにおいて、前記しきい値は、マルチメディア・データの前記第１の部分の特性に基づいて、変化する；
を備える装置。
前記決定したエンコード方法を用いて、前記第１の部分をエンコードする手段を更に備える請求項４０に記載の装置。
前記決定する手段は、前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記エンコード方法を決定する請求項４０に記載の装置。
前記しきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記第１の部分を含むフレーム内の前記第１の部分の位置と、
前記第１の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１の部分を含むフレームの位置と、前記第１の部分を含むフレーム内の歪み値の分布と、
前記第１の部分を含むフレームの領域の動作アクティビティと、
前記第１の部分を含むフレームのエンコード・モードと
を含む請求項４２に記載の装置。
前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記第１の部分をイントラ・コードする手段を更に備える請求項４０に記載の装置。
前記推定する手段は、前記１または複数の隠蔽方法によって使用される予測データの誤りの確率に少なくとも部分的に基づいて前記第１の部分に対する歪み値を推定する請求項４０に記載の装置。
前記推定する手段は、前記１または複数の隠蔽方法によって構築された前記第１の部分のバージョンと、前記第１の部分のうちの誤りのないバージョンとの間のピクセル値における差分に少なくとも部分的に基づいて、前記第１の部分の歪み値を推定する請求項４０に記載の装置。
前記推定する手段は、前記１または複数の隠蔽方法の各々に対する歪み値の歪み成分を推定することによって、前記第１の部分の歪み値を推定する請求項４０に記載の装置。
前記第１の部分が誤って受け取られたのであれば、前記推定する手段は、前記第１の部分を隠蔽することに関連する前記１または複数の隠蔽方法によって使用される多くの予測領域からの累積歪み値を重み平均することによって前記歪み値を推定し、
前記重み平均することは、前記予測領域のサイズに少なくとも部分的に基づく請求項４０に記載の装置。
前記第１の部分はフレームに含まれ、
前記推定する手段は、
前記フレームに含まれるマルチメディア・データの１または複数の第２の部分に対する１または複数の第２の歪み値を推定し、
前記フレームに含まれるマルチメディア・データの前記第１および第２の部分に対する前記推定された歪み値を含む歪みマップを形成する
請求項４０に記載の装置。
前記決定する手段は、前記歪みマップに少なくとも部分的に基づいて前記第１および第２の部分に対する１または複数のエンコード方法を決定する請求項４９に記載の装置。
前記決定する手段は、前記歪みマップにおける前記歪み値と、１または複数のしきい値との比較に基づいて、前記第１および第２の部分をリフレッシュするように、前記１または複数のエンコード方法を決定する請求項５０に記載の装置。
前記１または複数のしきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記フレーム内の前記第１および第２の部分の位置と、
前記第１および第２の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１および第２の部分を含むフレームの位置と、
前記第１および第２の部分を含むフレームに対する歪みマップにおける歪み値の分布と、
前記第１および第２の部分を含むフレームの領域の動作アクティビティと、
前記第１および第２の部分を含むフレームのエンコード・モードと
を含む請求項５１に記載の装置。
実行されると、機械に対して、
マルチメディア・データの第１の部分が誤って受け取られたのであれば、前記第１の部分を隠蔽することに関連する１または複数の隠蔽方法に少なくとも部分的に基づいて前記第１の部分の歪み値を推定させ、ここにおいて、前記１または複数の隠蔽方法は、ビデオ・デコーダにおいて使用される；
前記推定された歪み値としきい値とに少なくとも部分的に基づいて、前記第１の部分のためのエンコード方法を決定させる、ここにおいて、前記しきい値は、マルチメディア・データの前記第１の部分の特性に基づいて、変化する；
命令群を備える機械読取可能記録媒体。
実行されると、前記機械に対して、前記決定したエンコード方法を用いて、前記第１の部分をエンコードさせる命令を更に備える請求項５３に記載の機械読取可能記録媒体。
実行されると、前記機械に対して、前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記エンコード方法を決定させる命令を更に備える請求項５３に記載の機械読取可能記録媒体。
前記しきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記第１の部分を含むフレーム内の前記第１の部分の位置と、
前記第１の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１の部分を含むフレームの位置と、
前記第１の部分を含むフレーム内の歪み値の分布と、
前記第１の部分を含むフレームの領域の動作アクティビティと、
前記第１の部分を含むフレームのエンコード・モードと
を含む請求項５５に記載の機械読取可能記録媒体。
実行されると、前記機械に対して、前記推定された歪み値と前記しきい値との比較に基づいて前記第１の部分をリフレッシュするように、前記第１の部分をイントラ・コードさせる命令を更に備える請求項５３に記載の機械読取可能記録媒体。
実行されると、前記機械に対して、前記１または複数の隠蔽方法によって使用される予測データの誤りの確率に少なくとも部分的に基づいて前記第１の部分に対する歪み値を推定させる命令を更に備える請求項５３に記載の機械読取可能記録媒体。
実行されると、前記機械に対して、前記１または複数の隠蔽方法によって構築された前記第１の部分のバージョンと、前記第１の部分のうちの誤りのないバージョンとの間のピクセル値における差分に少なくとも部分的に基づいて、前記第１の部分の歪み値を推定させる命令を更に備える請求項５３に記載の機械読取可能記録媒体。
実行されると、前記機械に対して、前記１または複数の隠蔽方法の各々に対する歪み値の歪み成分を推定させる命令を更に備える請求項５３に記載の機械読取可能記録媒体。
実行されると、前記機械に対して、前記第１の部分が誤って受け取られたのであれば、前記第１の部分を隠蔽することに関連する前記１または複数の隠蔽方法によって使用される多くの予測領域からの累積歪み値を重み平均させる命令を更に備え、
前記重み平均することは、前記予測領域のサイズに少なくとも部分的に基づく請求項５３に記載の機械読取可能記録媒体。
前記第１の部分はフレームに含まれ、
前記機械読取可能媒体は更に、実行されると、前記機械に対して、
前記フレームに含まれるマルチメディア・データの１または複数の第２の部分に対する１または複数の第２の歪み値を推定させ、
前記フレームに含まれるマルチメディア・データの前記第１および第２の部分に対する前記推定された歪み値を含む歪みマップを形成させる
命令を更に備える請求項５３に記載の機械読取可能記録媒体。
実行されると、前記機械に対して、前記歪みマップに少なくとも部分的に基づいて前記第１および第２の部分に対する１または複数のエンコード方法を決定させる命令を更に備える請求項６２に記載の機械読取可能記録媒体。
実行されると、前記機械に対して、前記歪みマップにおける前記歪み値と、１または複数のしきい値との比較に基づいて、前記第１および第２の部分をリフレッシュするように、前記１または複数のエンコード方法を決定させる命令を更に備える請求項６３に記載の機械読取可能記録媒体。
前記１または複数のしきい値は、要因のリストから選択される１または複数の要因の関数として変化し、前記要因のリストは、
前記フレーム内の前記第１および第２の部分の位置と、
前記第１および第２の部分を含むフレームの領域のテクスチャと、
前記フレームを含むピクチャのグループ内の前記第１および第２の部分を含むフレームの位置と、
前記第１および第２の部分を含むフレームに対する歪みマップにおける歪み値の分布と、
前記第１および第２の部分を含むフレームの領域の動作アクティビティと、
前記第１および第２の部分を含むフレームのエンコード・モードと
を含む請求項６４に記載の機械読取可能記録媒体。