JP4728339B2 - デジタルビデオ符号化のための適応性イントラリフレッシュ - Google Patents

Description

本開示は、デジタルビデオ符号化に関し、特に、デジタルビデオフレームを圧縮する場合における適応性イントラリフレッシュのための技術に関する。

デジタルビデオシーケンスの符号化のために、多くの異なるビデオ符号化規格が確立されている。例えばＭＰＥＧ（Moving Picture Experts Group）は、ＭＰＥＧ−１、ＭＰＥＧ−２、及びＭＰＥＧ−４を含む多くの規格を開発している。他の例は、国際電気通信連合（ＩＴＵ）Ｈ．２６３規格、及び新興のＩＴＵ Ｈ．２６４規格を含む。これらのビデオ符号化規格は、一般に、データを圧縮方式で符号化することにより、改善されたビデオシーケンスの送信効率をサポートする。圧縮は、ビデオフレームの効率的な送信のために送信される必要のある全体データ量を低減する。

例えば、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、及びＩＴＵ Ｈ．２６４規格は、時間的な相関又はフレーム間相関とも称されており、フレーム間圧縮を提供するために、連続したビデオフレーム間の類似性を利用するビデオ符号化技術をサポートする。フレーム間圧縮技術は、ビデオフレームのピクセルベースの表示を、動作表示に変換することによって、フレームにわたるデータ冗長性を利用する。フレーム間技術を使用して符号化されるフレームは、Ｐ（「予測的」（predictive））フレーム、又はＢ（「双方向」（bi-directional））フレームと呼ばれる。幾つかのフレーム、あるいはフレーム内のマクロブロック（ＭＢ）は、非予測的である空間的なイントラフレーム圧縮を用いて符号化される。イントラコードフレームは、一般に、Ｉ（「イントラ」）フレームと称される。

無線ネットワークによるビデオデータの送信は、チャネル損失によって信頼性が低くなりえる。チャネル損失に起因する誤りは、ユーザに示されるビデオの品質に悪い影響を与えうる。特に、チャネル誤りは、現在のフレームの品質のみならず、動作推定及び圧縮技術を用いて現在のフレームから生成される後のインターコードフレームの品質をも下げる。１つのフレームから別のフレームへのチャネル誘導誤りの伝搬を制限するために、ビデオエンコーダは一般に、イントラリフレッシュ（ＩＲ）技術を適用する。ＩＲ技術によれば、Ｐフレーム内のＭＢは、インターコード化されるのではなく、選択的にイントラコード化される。イントラコード化されたＭＢは、誤り回復力を改善することができるが、送信されねばならないビット数の増加を必要とする。従って、ＩＲレートは、誤り回復力と帯域幅効率との両方の観点から符号化性能にインパクトを与える。
Z. He, J. Cai, and CW. Chen, "Joint source channel rate- distortion analysis for adaptive mode selection and rate control in wireless video coding," IEEE Transactions on Circuits and Systems for Video Technology, Volume: 12 , Issue: 6 , June 2002, pages: 511 - 523.

本出願は、本明細書に参照によってその全体が組み込まれ、２００４年１０月１２日に出願された米国仮出願６０／６１８，３８３号の利益を要求する。

本開示は、例えばＭＢのように、デジタルビデオフレーム内のビデオブロックの適応性ＩＲのための技術に向けられる。本技術は、ビデオコンテンツ、又はビデオコンテンツとチャネル条件との組み合わせに基づいてＩＲレートを調節する。ＩＲレートは、フレームレベルあるいはＭＢレベルで適用されうる。フレームレベルでは、ＩＲレートは、フレーム内でイントラコード化されるＭＢの割合を指定する。ＭＢレベルでは、ＩＲレートは、特定のＭＢがイントラコード化される統計的確率を定義する。

ビデオコンテンツは、フレーム対フレーム変化、及びフレーム内テクスチャ情報の両方に基づいて評価されうる。フレーム対フレーム変化は、例えば、フレームからフレームへの差分平方和（ＳＳＤ）によって判断されうる。フレームテクスチャ情報は、一般にテクスチャ複雑さを示すフレーム分散の観点から特徴付けることができる。チャネル条件は、推定チャネル損失確率から決定されるかもしれない。

ＩＲレートは、推定されたフレーム対フレームＳＳＤ、テクスチャ情報、及びチャネル損失確率を重み付ける結合数的指標に比例して調節される。結合数的指標は、推定チャネル損失確率及びＳＳＤに比例するが、フレーム分散に逆比例する。結合数的指標が変化すると、ＩＲレートが変化し、誤り回復力、帯域幅効率、及び実装複雑さのバランスを保つ適応性ＩＲスキームを提供する。

特に、ＩＲレートは、比較的低い実装複雑さしか要求しないクローズフォームソリューション（close-form solution）を用いて決定することができる。例えば、そのようなクローズフォームは一般に、反復又は徹底的な探索を必要としない。更に、ＩＲレートは、特定のフレーム又はＭＢについて動作推定及び動作補償が実行される前に利用可能なパラメータから決定することができる。

１つの実施形態では、本開示は、現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値を取得することと、現在のフレームのためのテクスチャ情報を取得することと、フレーム対フレーム変化とテクスチャ情報とに基づいて、現在のフレームのためのイントラリフレッシュ（ＩＲ）レートを生成することとを含むビデオ符号化方法を提供する。

別の実施形態では、本開示は、現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値と、現在のフレームのテクスチャ情報とに基づいて、現在のフレームのイントラリフレッシュ（ＩＲ）レートを生成するＩＲ制御ユニットと、前記ＩＲレートに基づいて、現在のフレーム内のマクロブロック（ＭＢ）のためのインターコード又はイントラコードを選択するモード選択ユニットとを備えるビデオエンコーダを提供する。

追加の実施形態では、本開示は、現在のビデオフレームのビデオコンテンツに基づいて、現在のビデオフレームのためのイントラリフレッシュ（ＩＲ）レートを生成することと、前記ＩＲレートに基づいて、現在のフレーム内のマクロブロック（ＭＢ）のためのインターコード化又はイントラコード化を選択することとを含むビデオ符号化方法を提供する。

別の実施形態では、本開示は、現在のビデオフレームのビデオコンテンツに基づいて、現在のビデオフレームのためのイントラリフレッシュ（ＩＲ）レートを生成するＩＲレート制御ユニットと、前記ＩＲレートに基づいて、現在のフレーム内のマクロブロック（ＭＢ）のためのインターコード化又はイントラコード化を選択するモード選択ユニットとを備えるビデオエンコーダを備える。

本開示は更に、ビデオエンコーダを形成する１又は複数のプロセッサに対して、本明細書で開示された技術のうちの１つを実行させる命令を含むコンピュータ読取可能媒体を考慮する。

１又は複数の実施形態の詳細は、添付図面と以下の説明において述べられる。他の特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明白になる。

図１は、ビデオ符号化および復号システム１０を例示するブロック図である。図１に示すように、システム１０は、送信チャネル１６によって接続されたエンコーダシステム１２及びデコーダシステム１４を含んでいる。エンコーダシステム１２は、マルチプレクサ（ＭＵＸ）１８、ビデオエンコーダ２０、及びオーディオエンコーダ２２を含んでいる。デコーダシステム１４は、デマルチプレクサ（ＤＥＭＵＸ）２６、ビデオデコーダ２８、及びオーディオデコーダ３０を含んでいる。記載されるように、ビデオエンコーダ２０は、適応性ＩＲ技術を適用するように構成されうる。適応性ＩＲ技術によれば、ビデオエンコーダ２０は、特定のＰフレーム内の、例えばＭＢのようなビデオブロックがイントラリフレッシュされるＩＲレートを決定する。ＩＲレートは、一般に、イントラリフレッシュされるＭＢの数を決定し、フレームレベル又はＭＢレベルにおいて適用される。

ＩＲレートは、ビデオコンテンツ、あるいはビデオコンテンツとチャネル条件との組み合わせに基づいて決定されうる。例えば、ＩＲレートは、推定チャネル損失確率、現在のフレームと他のフレームとの間のフレーム対フレーム変化、及び現在のフレームのテクスチャ情報を測定する結合数的指標に基づいて決定されうる。従って、適応性ＩＲ技術は、ビデオコンテンツとチャネル条件との両方を考慮しうる。ＩＲレートが与えられると、ビデオエンコーダ２０は、更に、フレーム内でイントラリフレッシュされるべきである特定のＭＢを識別するために、適応性探索技術を用いるかもしれない。この適応性探索技術は、テクスチャ情報に依存しうる。そして、動作推定前に実行することができる。

システム１０は、例えばビデオ電話通信のために、双方向ビデオ送信を提供するかもしれない。従って、相補的な（reciprocal）符号化、復号、ＭＵＸ及びＤＥＭＵＸの要素が、チャネル１６の反対側に提供されうる。幾つかの実施形態では、エンコーダシステム１２及びデコーダシステム１４は、ビデオストリーミング、ビデオ電話通信、あるいはその両方のために備えられた無線モバイル端末のようなビデオ通信デバイス内に組み込まれうる。モバイル端末は、セッション開始プロトコル（ＳＩＰ：Session Initiated Protocol）、ＩＴＵ Ｈ．３２３規格、ＩＴＵ Ｈ．３２４Ｍ規格、又はその他の規格に従ってビデオ電話通信をサポートすることができる。

ビデオエンコーダ２０は、例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、又はＩＴＵ Ｈ．２６４のようなビデオ圧縮規格に従って符号化されるビデオデータを生成する。オーディオエンコーダ２２は、ビデオデータを伴うオーディオデータを符号化する。ＭＵＸ１８は、ビデオエンコーダ２０及びオーディオエンコーダ２２から、適応レイヤビデオデータユニット及びオーディオデータユニットを取得する。ＭＵＸ１８は、このビデオデータ及びオーディオデータを多重化して、チャネル１６を経由して送信するために一連の多重化データユニットを生成する。一例として、ＭＵＸ１８及びＤＥＭＵＸ２６は、ＩＴＵによって公開されているＨ．２２３多重化プロトコルに従って動作しうる。しかしながら、例えばユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルも使用されうる。

チャネル１６は、この多重化された情報を、論理送信ユニット（ＬＴＵ）と称されうる物理レイヤデータユニットとしてデコーダシステム１４へ運ぶ。チャネル１６は、エンコーダシステム１２とデコーダシステム１４との間の任意の物理的な接続でありうる。例えば、チャネル１６は、ローカルあるいはワイドエリアネットワークのような有線接続でありうる。あるいは、本明細書に記載するように、チャネル１６は、セルラ、衛星、又は光接続のような無線接続かもしれない。これは、送信パケットの損失による重大な誤りの傾向がありうる。チャネル１６は、例えばＷ−ＣＤＭＡ、ＣＤＭＡ２０００ １ｘ、ＣＤＭＡ２０００ １ｘ ＥＶ−ＤＯ、あるいはＣＤＭＡ２０００ ＥＶ−ＤＶのような様々なラジオ周波数（ＲＦ）プロトコルのうちの何れかに従った無線パケットの送信をサポートしうる。

ＤＥＭＵＸ２６は、ＬＴＵから多重化データユニットを識別し、多重化レイヤデータユニットのコンテンツを逆多重化して、ビデオ及びオーディオの適応レイヤデータユニットを生成する。これら適応レイヤデータユニットは、適応レイヤ内で処理され、ビデオデータフレームを生成する。ビデオデコーダ２８は、アプリケーションレイヤにおいてビデオデータフレームを復号し、ディスプレイデバイスの駆動に使用されるビデオデータのストリームを生成する。特に、ビデオデコーダ２８は、ビデオデータフレーム内の個々のビデオスライスを復号する。オーディオデコーダ３０は、オーディオデータを復号し、オーディオを生成する。

ビデオエンコーダ２０によって適用される適応性ＩＲ技術は、比較的低い複雑さで適用されうる。この技術に従って、ビデオエンコーダ２０は、調節されたＩＲレートで、Ｐフレーム内のＭＢをイントラリフレッシュする。フレーム対フレーム変化、テクスチャ情報、及び推定チャネル損失確率を用いて、ビデオエンコーダ２０は、到来するビデオフレームに対するＩＲレートを動的に調節する。このＩＲレートは、各フレームのために調節されるか、あるいは与えられたフレーム内のＭＢのために調節されうる。

チャネル、変化、及びテクスチャのパラメータが重み付けられ、ＩＲレートの調節のための基本として役立つ結合数的指標が生成される。このように、ビデオエンコーダ２０は、チャネル及びコンテンツの両方に適応するＩＲ技術を用いるように構成することができる。特に、チャネル条件は、推定チャネル損失確率によって表される。一方、ビデオコンテンツは、現在のフレームと他のフレームとの間のフレーム対フレーム変化と、現在のフレームのテクスチャ情報との両方によって表される。

フレーム対フレーム変化は、現在のフレームと前のフレームとの間の差分平方和（ＳＳＤ）数的指標によって決定することができる。テクスチャ情報は、現在のフレーム又はＭＢ内の分散によって決定されうる。分散は、フレーム又はＭＢ内のビデオコンテンツのピクセル変化を表わす。高い分散は、一般に、与えられたフレーム又はＭＢ内のより複雑なビデオコンテンツを示し、より高いイントラコード化費用と関連する傾向にある。しかしながら、より高いチャネル損失、及びフレーム対フレーム変化は、誤り伝播によるより高い誤り率又は品質低下と関連し、かつ誤り回復のためにイントラコード化をサポートする傾向にある。

チャネル及びビデオコンテンツパラメータを考慮することによって、誤り回復力と符号化効率とのバランスを保つ適応性アプローチが可能となる。更に、以下に説明するように、動作推定に先立って利用可能なパラメータを考慮することによって、この適応性ＩＲ技術は、低い実装複雑さを可能とする。特に、ＩＲ技術は、符号化プロセス全体を完了させる必要のないクローズフォームソリューションを利用する。

本明細書に記載のＩＲ技術は、汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）、又はその他の等価な論理デバイス内に実装される。例えば、ビデオエンコーダシステム１２、及びそのコンポーネントは、デジタル信号プロセッサ（ＤＳＰ）又はその他の制御デバイス上で動作する符号化プロセス、又は符号化／復号（ＣＯＤＥＣ）プロセスの一部として実施されうる。従って、モジュールとして記載されるコンポーネントは、そのようなプロセスのうちのプログラム可能な機能を形成するかもしれず、また、共通のプロセッサ又は個別のプロセッサ上でともに実現されうる。

ビデオエンコーダシステム１２は、専用のハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせに加えて、命令及びデータを格納するための専用メモリを備えうる。もしソフトウェアで実現されれば、この技術は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電子的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気媒体、光媒体等のようなコンピュータ読取可能媒体上の命令として具体化されうる。それら命令は、１又は複数のプロセッサに対して、本開示で記載された機能のある局面を実行させる。

図２は、本開示に従った適応性ＩＲ技術を使用するビデオエンコーダ２０を例示するブロック図である。図２に示すように、ビデオエンコーダ２０は、インターコーダ３２、イントラコーダ３４、差分ユニット３６、変換（Ｔ）ユニット３８、及び量子化（Ｑ）ユニット４０を含む。差分ユニット３６は、到来するデジタルビデオフレームＦｎからインター又はイントラ予測Ｐを引き、差分Ｄｎを生成する。インター又はイントラ予測Ｐは、インターコーダ３２又はイントラコーダ３４のうちの何れか一方から得られる。変換ユニット３８は、離散コサイン変換（ＤＣＴ）のような標準的な圧縮変換を使用して、差分ユニット３６の出力を、周波数成分に変換する。量子化ユニット４０は、変換された出力を量子化して、量子化変換係数のセットＸを生成する。

インターコーダ３２は、例えばＭＰＥＧ−４又はＨ．２６４圧縮方法に従って、フレームＦｎのインターコード化を実行する。図２に示すように、インターコーダ３２は、動作推定（ＭＥ）ユニット４２と、動作補償（ＭＣ）ユニット４４とを含み、１又は複数の前に符号化されたフレーム

に対する、到来フレームＦｎの標準的なインターコード化をサポートする。特に、インター予測Ｐは、１又は複数の前のフレーム

からの動作補償予測によって生成される。前のフレームは、以前に符号化され、

を生成するために再構築される。

イントラコーダ３４は、到来するビデオフレームＦｎのイントラコード化を実行し、イントラ予測Ｐを生成する。イントラ予測は、以前に符号化され、復号され、更に再構築されて、再構築フレーム

を生成する現在のフレームＦｎ内のサンプルから生成される。結果として得られるイントラ予測Ｐは、差分Ｄｎを生成するために、ビデオエンコーダ２０がイントラモードで動作しているときに差分ユニット３６に加えられる。イントラコーダ３４は、イントラコード化を実行してＩフレームを生成するか、又はＰフレーム内でイントラコード選択されたＭＢを生成し、イントラリフレッシュをサポートする。

モード選択ユニット４６は、例えばフレーム毎、あるいはＭＢ毎ベースで、インターコード化とイントラコード化との間を選択的に切リ換える。特に、モード選択ユニット４６は、フレームレベル又はＭＢレベルの何れか一方で、インターコーダ３２又はイントラコーダ３４の何れか一方の出力を選択する。このように、モード選択ユニット４６は、差分ユニット３６に加えられる予測Ｐが、インターコード化又はイントラコード化されるかを決定する。モード選択ユニット４６は、ＩＲレート制御ユニット４８に応答する。ＩＲレート制御ユニット４８は、ビデオエンコーダ２０内のＩＲレートを動的に調節し、モード選択ユニット４６を制御する。

ＩＲレート制御ユニット４８は、フレーム毎ベース、又はＭＢ毎ベースで、ＩＲレートを更新する。ＩＲレートがフレーム全体に対して決定される場合、そのＩＲレートは、フレーム中の全てのＭＢに当てはまる。しかしながら、ＩＲレートが、個々のＭＢのために決定される場合、ＩＲレートは、ＭＢ毎に変わりうる。この場合、ＩＲレートは、確率として個々のＭＢに対して加えられ、イントラコード化が適用されるべきかが決定される。

上述したように、ＩＲレート制御ユニット４８は、チャネル入力及びコンテンツ入力の組み合わせに基づいて、順応的にＩＲレートを調節する。特に、図２に示すように、ＩＲレート制御ユニット４８は、推定チャネル損失確率(CHANNEL LOSS)、差分平方和（ＳＳＤ）値でありうるフレーム対フレーム又はＭＢ対ＭＢ変化値、及びピクセルレベル分散(VARIANCE)に関して表されうるテクスチャ値を受け取って処理する。

推定チャネル損失確率は、チャネル１６を介して送信される場合、現在のフレームが失われる確率を定量化し、もって、チャネルを特徴付ける。ＳＳＤ及び分散は、符号化されるフレーム又はＭＢの実際のコンテンツを特徴付ける。また、ＩＲレート制御ユニットは、チャネル損失及びビデオコンテンツの両方における変化に対して順応性がある。

CHANNEL LOSS、SSD、及び分散は、個々に重み付けられ、合計され、ＩＲレート調節のための結合数的指標が形成される。ＩＲレート制御ユニット４８は、ＩＲレートを調節することによって、結合数的指標における変化に応答する。ＩＲレートはその後、フレームレベルベース又はＭＢレベルベースでインターコード化又はイントラコード化のうちの何れか一方を選択するために、制御モード選択ユニット４６に加えられる。

特に、ＩＲレート制御ユニット４８は、事前モードで、すなわちフレーム又はＭＢが動作推定及び動作補償を用いてインターコード化される前に取得されうる容易に利用可能なパラメータに依存する。このように、ＩＲレートは、反復的又は徹底的な探索ではなく、クローズフォームソリューションを用いて決定することができる。これは、比較的低い実装複雑さを提供する。

ＩＲレート制御ユニット４８は、Ｐフレーム内のＭＢがイントラコード化されるべきかを判定する際に、チャネル条件及びビデオコンテンツにおける変化に適応する。一般に、ＩＲレートは、ＳＳＤ及び分散が一定であり、推定チャネル損失確率が増加する場合に増加し、推定チャネル損失確率が一定であり、ＳＳＤが増加する場合に増加する。しかしながら、ＩＲレートは、現在のフレーム内のビデオコンテンツの分散が増加すると減少する。これら入力量が変わるとＩＲレートは変化する。これは、本技術の適応性のある性質を反映している。

ＩＲレート制御ユニット４８によって生成されたＩＲレートは、ＩＲ決定を与えるために、モード選択ユニット４６によって使用される。ＩＲ決定は、予測Ｐのために、インターコーダ３２又はイントラコーダ３４かのうちの何れか一方の出力を選択する。このモード選択は、フレームレベルにおいて適用することができ、これによって、ＩＲレートが、フレーム全体のために固定されるようになる。この場合、モード選択ユニット４６は、フレーム全体のためにＩＲレートを適用するが、ＩＲレートを満足するために十分な数にイントラリフレッシュされる特定のＭＢを選択する必要がある。しかしながら、ＩＲレートがＭＢレベルに決定されるのであれば、モード選択ユニット４６は、フレーム内のＭＢをスキャンすると、ＩＲレートにおける変化に反応する。

フレームレベル実装では、ＩＲレート制御ユニット４８によって生成されるＩＲレートは、イントラコード化されるに違いない現在のフレーム内のＭＢの固定された割合として表現されうる。ＭＢレベル実装では、ＩＲレートは、特定のＭＢがイントラコード化される統計的確率として表現されうる。ＳＳＤ及び分散は、フレームレベル実装に対してフレームレベルで、及びＭＢレベル実装に対してＭＢレベルで測定される。チャネル条件測定値は、定期的に得られ、フレームレベルあるいはＭＢレベルのＩＲレート調節の何れかのために使用されうる。

フレームのテクスチャ情報は、分散の観点から表すことができる。一般に、現在のフレーム又はＭＢ内のビデオコンテンツの分散は、現在のコンテンツをイントラコード化するコストを表す。フレーム内の隣接ＭＢ間に著しい変化がある場合、イントラコード化は、インターコード化よりも著しく多くのビットを必要とするだろう。フレームからフレームへのＳＳＤは、フレームからフレームへの動作量を表わす。そして、パケット損失が送信チャネルにおいて起こる事象における潜在的なデコーダ歪みに直接マップする。従って、より高いＳＳＤは、誤り回復の目的のために、イントラコード化を好む。本開示に記載された適応性ＩＲレート技術は、特定のデータレートが与えられた歪み全体を低減しながら、圧縮効率と誤りロバスト性との間のバランスを保つことができる。

ＳＳＤは、フレームレベル実装ではフレーム全体で、ＭＢレベル実装では同一場所に配置されたＭＢで測定することができる。ＳＳＤは、何れの動作推定及び補償が実行される前に、前のフレームＦ_ｎ−１の再構築されたあるいはオリジナルのバージョンと、現在のフレームＦ_ｎのオリジナルバージョンとの間で測定することができる。このように、初期の「事前モード」決定は、ＩＲレートに関連して行うことができる。あるいは、幾つかの実施形態では、ＳＳＤ、あるいは絶対差の合計（ＳＡＤ）数的指標が、動作補償が実行された後にフレーム間で測定される。

推定チャネル損失確率は、様々な異なる方法で得ることができる。一例として、推定チャネル損失確率は、例えば、Ｈ．３ｘｘベースのビデオ電話通信規格のＨ．２４５シグナリング、又は品質サービス（ＱｏＳ）フィードバックの形態によるリアルタイム伝送制御プロトコル（ＲＴＣＰ）による遠隔端末からの受信機フィードバックに基づいて決定されうる。単純な代替例として、推定チャネル損失確率は、チャネル１６の送受信方向におけるチャネル歪みの対称性を仮定して、遠隔端末から受信したビットストリームからの損失統計量を用いて、エンコーダ側で推定することができる。何れの場合も、ＳＳＤ及び分散と異なり、チャネル損失確率は、検討中のフレーム又はＭＢとの正確な時間的相関を与えないかもしれないが、比較的頻繁に得ることができる。

フレームレベル実装では、イントラコード化されるＭＢの割合が、与えられたＰフレームのために決定された後、イントラコード化される実際のＭＢは、異なる方法で決定することができる。モード選択ユニット４６は、ＩＲレート制御ユニット４８によって規定されたＩＲレートを満足するために、ＭＢの領域、又は個々のＭＢを選択するように構成されうる。例えば、ＭＢは、ＭＢが、フレームからフレームへと、連続的に、かつ、周期的に、固定され予め定められたパターンでイントラリフレッシュされる周期的アプローチに従って選択することができる。

あるいは、モード選択ユニット４６は、予め定めたルールに従ってＭＢを区別しうる。例えば、特定のしきい値未満の低分散を有するＭＢは、高分散（及び高いコード化費用）を有するＭＢと比較して、イントラリフレッシュのために、モード選択ユニット４６によって優先的に選択することができる。この場合、イントラリフレッシュされるＭＢの探索が、ビデオコンテンツ、更に詳しくは、ＭＢによって表されるアンダーレイビデオのテクスチャに従って実行される。

更に他の代替例として、様々なランダムアプローチが、ＭＢを識別するためにＩＲのために使用されうる。例えば、幾つかのランダムなアプローチは、ＭＢのランダム選択、又はランダムベースでのフレーム内のＭＢの異なる領域の選択を含みうる。更に別のアプローチは、周期的、適応性、及びランダム局面を結合し、ハイブリッドなＩＲ技術を提供しうる。

上述した各ＭＢ選択技術に従って、フレームレベル実装については、与えられたＰフレーム内でイントラリフレッシュされたＭＢの数は、ＩＲレート制御ユニット４８によって指定されたＩＲレートに相当する。しかしながら、ＭＢレベル実装については、検討中のＭＢは、ＩＲレート制御ユニット４８によってそれぞれのＭＢのために計算されたＩＲレートに従って、イントラリフレッシュのために選択される。ＩＲレートが決定され、与えられたＰフレームの全体にわたってＭＢ毎ベースで適用される。この場合、ＩＲレートは、確率として適用され、モード選択結果は、「確率によりバイアスされたコインをフリップする（flipping a probability-biased coin）」効果を持つ。言い換えると、検討中のＭＢが、ＩＲレート制御ユニット４８によって割り当てられた高ＩＲレートを持つのであれば、モード選択ユニット４６によって、イントラリフレッシュのために選択される確率が高くなるであろう。

本明細書に記載の適応性ＩＲレート技術は、現在のフレーム又はＭＢに対して、例えばＳＳＤ及び分散のようなビデオコンテンツにおける変化に対して応答するという意味で、自己コンテンツ適応性があると考えることができる。更に、有利なことに、そのような変化は、フレーム又はＭＢについて如何なる推定及び補償が行われる前に検出することができる。ある場合には、そのような技術は、単一のサンプルシーケンスを使用して調整され、いかなるパラメータ又はしきい値を調整又は設定することなく、ビデオシーケンスに適用される。この適応性ＩＲレート技術はまた、イントラコード化されたフレームの周期及び推定チャネル損失確率に従ってＩＲレートを調節することによって、イントラコード化されたフレームが使用される場合にも良好に動作する。

幾つかの実施形態では、フレームレベル又はＭＢレベルの何れかにおいて、ＩＲレートは、ビデオコンテンツ及びチャネル条件と共に、例えばイントラフレーム周期、フレームレート、データレート、フレームサイズ等のようなシステム設定に従って予め決定することができる。従って、この適応性ＩＲレート制御技術は、推定チャネル損失確率、ＳＳＤ、及び分散に対して応答するのみならず、ビデオエンコーダ２０のために確立された１又は複数のシステム設定パラメータに対しても応答しうる。

幾つかの実施形態では、複雑さを低減するために、ＩＲレート制御技術は、上述した入力のサブセットを考慮するように単純化される。例えば、推定チャネル損失確率、ＳＳＤ、及び分散を考慮する代わりに、本技術は、推定チャネル損失確率のみを考慮するように構成されうる。このように、ＩＲレート制御は、ＩＲレートを決定するために、ビデオコンテンツにアクセスする必要さえもなくなる。代わりに、ＩＲレートは、推定チャネル損失確率のみによって決定され、ほとんどのビデオシーケンスのために動作するように調整することができる。この限定された技術は、それほど効果的ではないかもしれないが、複雑さを低減するために望ましいかもしれない追加オプションを提供する。

図３は、典型的な適応性ＩＲ技術の動作を例示するフローチャートである。図３の例では、ＩＲレート制御ユニット４８は、ビデオエンコーダ２０のため１又は複数の選択されたシステム設定パラメータを決定する（５０）。上述したように、例えば、ＩＲレート制御ユニット４８は、ビデオエンコーダ２０のために選択されたイントラフレーム周期、フレームレート、データレート、及びフレームサイズを決定する。その後、ＩＲレート制御ユニット４８は、推定チャネル損失確率（５２）と、ＳＳＤ値によって表されるフレーム変化（５４）と、ピクセル変化によって表されるテクスチャ（５６）とを受け取る。上述したように、推定チャネル損失確率は、様々な方法で決定されうる。

推定チャネル損失確率、フレーム変化とテクスチャ、及びオプションとしての１又は複数のシステム設定パラメータに基づいて、ＩＲレート制御ユニット４８は、新たなＩＲレートを計算し（５８）、現在のフレーム又はＭＢに関する事前モードＩＲ決定の生成（６０）のためにそのＩＲレートをモード選択ユニット４６に渡す。説明するように、フレームレベル実装では、ＩＲ決定は、周期的ＩＲ（ＣＩＲ）、適応性ＩＲ（ＡＩＲ）、又はランダムＩＲ（ＲＩＲ）スキームによって実行されうる（６０）。ＣＩＲスキームによれば、ＭＢは、周期的なパターンでリフレッシュされる。ＡＩＲスキームは、イントラリフレッシュするＭＢを選択するために、例えば分散のようなテクスチャ情報に基づいて個々のＭＢを評価しうる。ＲＩＲは、イントラリフレッシュする個々のＭＢ、又はＭＢのグループをランダムに選択することを含む。

各々の場合において、イントラリフレッシュされるＭＢの数は、ＩＲレート制御ユニット４８によって計算される（５８）ＩＲレートに対応する。ＡＩＲ、ＲＩＡ、又はＣＩＲとＡＩＲとＲＩＲとの局面を結合するハイブリッドＩＲは、イントラリフレッシュの局在化を阻止することができる。ハイブリッドＩＲスキームは、チャネル歪みを低減するために、近隣ＭＢ及びフレームにおけるイントラコード化されたＭＢと、インターコード化されたＭＢとの間の品質差を最小にしながら、周期的及び適応性リフレッシュストラテジの利益を組み合わせる。

特定のフレームのためのモード決定が、イントラコード化という結果になるのであれば（６２）、ビデオエンコーダ２０は、例えばＨ．２６４のような空間推定を実行する（６４）。モード決定が、インターコード化の結果になるのであれば（６２）、ビデオエンコーダ２０は、動作推定及び空間推定を実行し（６６）、例えば、図２のインターコーダ３２を用いて、事後モード決定を生成する（６８）。その後、この処理は、推定チャネル損失確率、ＳＳＤ、及び分散におけるあらゆる変化に基づいて、ＩＲレートの調節のために、次のフレーム又はＭＢに進む。特に、図３に示すように、イントラコード化決定は、何れの動作推定もが実行される前になされる。

ＩＲレートを決定するために、本明細書に記載したような入力が与えられると、ＩＲレート制御ユニット４８は、例えば、Z. He、 J. Cai、及びCW. Chenによる"Joint source channel rate- distortion analysis for adaptive mode selection and rate control in wireless video coding"、 IEEE Transactions on Circuits and Systems for Video Technology, Volume: 12 , Issue: 6 , June 2002, pages: 511 - 523（非特許文献１）に記載されたような、与えられた目標コード化ビットレートＲ_ｓのためにレート歪みモデルを適用するように構成されうる。レート歪みモデルの適用は、以下のように表現されうる。

合計歪みＤ_{ｔｏｔａｌ}を最小化するために、以下の方程式を満たさなければならない。

ＩＲレートβを決定するために、以下の方程式が使用される。

βを［０，３０％］にとどめる。ここで、
−Ｄ（Ｄ_Ｓ＝ソース歪み、Ｄ_Ｃ＝チャネル歪み）は、隣接フレーム間のＳＳＤによって表され、潜在的な誤り伝搬を定量化する。
−Ｖ_ａｒは分散であり、現在のフレームの複雑さと、イントラコード化の費用とを定量化する。
−ｐは推定チャネル損失確率である。
−ａ，ｂ，ｃ，及びｄは定数である。
−

は、再構築された前のフレームである。
−Ｆ（ｎ）は、現在のフレームである。
ＩＲレート制御ユニット４８は、インター／イントラコード化を決定するために、結果として得られたＩＲレートβを、モード選択ユニット４６に適用する。これは、フレームレベル又はＭＢレベルにおいてなされる。上述したように、βは、反復又は徹底的な探索ではなく、クローズフォームソリューションを用いて得られる。この相対的な単純性は、ＩＲレート制御ユニット４８の実装における複雑さを著しく低減する。

上記のアプローチによって複雑さが比較的低減されるが、複雑さの更なる低減は、代替実装によって達成されうる。一例として、ＩＲレート制御モジュール４８は、チャネル適応スキームのみを適用するように構成されうる。ここでは、ＩＲレートβが、

のように、推定チャネル損失確率にのみ基づいて決定される。ここで、Ｃ_１は定数である。更なる代替例として、ＩＲレート制御ユニット４８は、

のように、ＩＲレートβを決定するために、動作補償の実行後、絶対差合計（ＳＡＤ）数的指標を適用するように構成されうる。ここで、ＳＡＤは、ＳＳＤの代わりに使用され、歪みＤを表す。Ｃ_２は、他の定数である。

従来システムでは、イントラ／インターモードの決定は、最小の絶対差合計（ＳＡＤ）という点において、与えられたＭＢに対する最良の動作ベクトルを見つけるために、動作推定探索が実行された後になされる。この従来のアプローチは、動作ベースのイントラ／インターモード決定とも称される。しかしながら、本開示に従って、適応性ＭＢイントラリフレッシュ（ＡＩＲ：adaptive MB Intra-refreshing）スキームは、動作探索エンジンで実行される集約的計算をする必要なく、イントラ／インターモード決定を可能にする。

また、動作ベースのイントラ／インターモード決定の代わりに、モード選択ユニット４６は、分散に依存するテクスチャベースのイントラ／インターモード決定アルゴリズムを適用するように構成されうる。Ｐフレーム用のＭ個のＭＢのための望ましいリフレッシュレートβが与えられると、モード選択ユニット４６は、イントラコード化されるＭＢとなる、最も少ないテクスチャ情報、すなわち、最も少ないコード化ビット要求を持つＭＢを選択する。テクスチャベースのイントラ／インターモード決定のステップは、各ＭＢについて、以下のように表される。
１．ＭＢ分散を計算する。例えば、テクスチャの推定を与える。
２．計算された分散を、前のフレームから推定された平均分散、例えば、前のフレームからの平均テクスチャビットと比較する。
３．前のフレームのスケールされた平均分散よりも分散が小さい場合にはＭＢをイントラコードし、そうでない場合には、ＭＢをインターコード化する。
４．イントラコード化されたＭＢの数が、フレームのイントラリフレッシュレートβを満足するのであれば、テクスチャベースのイントラ−インターモード決定プロセスを停止する。
５．フレーム内の残りのＭＢに対して、動作ベースのモード決定プロセスを適用する。その結果、更にＭＢがイントラコード化される。

テクスチャベースのモード決定プロセスはまた、以下の擬似コードによっても表される。

ここで、Ａは、現在のＭＢの分散、Ｂは、前のフレームの平均分散、αは、経験的なしきい値、ｍｏｄｅ＿Ｉｎｔｒａは、テクスチャベースのモード決定を用いてイントラコード化されたＭＢのカウンタ、Ｍは、例えばＩＲレート制御ユニット４８によって決定されるような、Ｐフレーム内のイントラコード化されたＭＢの望ましい数である。動作推定プロセスは、標準的な動作推定と、動作ベースのイントラ／インター決定とを表す。ＤＣＴ量子化は、例えば図２の変換ユニット３８及び量子化ユニット４０による標準的なＤＣＴ変換及び量子化の適用を表す。

図４は、テクスチャベースのイントラ／インターコード化決定プロセスを例示するフロー図である。図４に示すように、ＩＲレート制御ユニット４８は、例えば上述したように、推定チャネル損失確率、ＳＳＤ、及び分散を用いて、テクスチャベースのＩＲレートを生成する（７０）。その後、モード選択ユニット４６は、テクスチャベースのイントラ／インターモード決定を行うために、ＩＲレートを適用する（７１）。テクスチャベースのイントラ／インターモード決定（７１）が、イントラコード化を求める場合、イントラコーダ３４が選択され、イントラコード化されたＭＢが差分ユニット３６、及び変換ユニット３８によるＤＣＴ符号化に適用される（７４）。

モード選択ユニット４６によるテクスチャベースの決定が、イントラコード化を示さないのであれば、ビデオエンコーダ２０は次に、例えば図２のインターコーダ３２内で、整数−ピクセル動作推定探索をＭＢに提供し（７６）、標準的な動作ベースのイントラ／インターモード決定を適用する（７８）。イントラコード化が示される場合（８０）、イントラコード化されたＭＢが、ＤＣＴ符号化（７４）のために提供される。イントラコード化が、動作ベースのイントラ／インターモード決定によって示されない場合（８０）、このＭＢは、標準的な動作補償に提供される。特に、ビデオエンコーダ２０は、動作補償（８４）が後に続く半ピクセル動作推定探索（８２）を適用する。その後、結果として得られるインターコード化された予測が、差分ユニット３６に適用される。その後、ＤＣＴ符号化（７４）が続く。

本明細書で記載したように、ＭＢがインターコード化されるか、又はイントラコード化されるかを決定するためにテクスチャベースのアルゴリズムを用いることは、連続フレーム内でイントラコード化されたＭＢの繰り返しパターン、すなわち、フレーム内の同じ場所においてイントラコード化されたＭＢという結果になる。近隣のフレーム間の一般に高い時間的相関によって反復が生じる。一般に、反復は、誤り伝播を阻止するための望ましい機能ではない。特に、誤りは、一般に本質的にランダムであり、フレーム内の異なる領域（ＭＢ）に生じる。

繰り返しパターンを阻止するために、モード選択ユニット４６は更に、ランダムアルゴリズムを適用するように構成されうる。この場合、モード選択ユニット４６は、連続したフレームにおいて、異なる領域、すなわち「グリッド」を探索することによって、イントラコード化されたＭＢの選択をランダム化する。この技術は、グリッドベースの適応性ＩＲ（ＡＩＲ）と称されうる。このグリッドベースのＡＩＲ技術によれば、Ｐフレームは、複数の等しい領域へ分解される。連続したフレームでは、テクスチャベースのイントラ−インター決定における考慮のために先ず、異なる領域が選択される。

図５は、テクスチャベースのイントラ／インターコード化決定プロセスをサポートするために、３つの異なる探索グリッドＡ，Ｂ，Ｃに分割されたビデオフレームＦを例示する図である。フレームＦは、例示目的のために３つのグリッドＡ，Ｂ，Ｃを含んでいる。従って、異なるグリッドサイズに加えて、より多く又はより少ない数のグリッドが、異なる実装において利用されうる。グリッドベースのＡＩＲ処理は、上述したように、テクスチャベースのイントラ／インター決定プロセスに用いるために、グリッドＡ，Ｂ，Ｃのうちの１つを選択するために適用される。

特定のグリッドＡ，Ｂ，Ｃを選択すると、テクスチャベースのイントラ／インター決定プロセスは、選択されたグリッドに限定されるか、又は他のグリッドの考慮前のグリッド内で少なくとも開始する。選択されたグリッドが、フレームのために適用可能なＩＲレートを満足するのに十分なイントラコード化ＭＢを生むのであれば、テクスチャベースのイントラ／インターコード化決定のために他のグリッドを探索する必要はない。しかしながら、選択されたグリッド及びその他のグリッド内のＭＢは、動作ベースのイントラ／インターコード化決定のプロセスのために再検討されうる。

何れの場合でも、連続フレーム内のテクスチャベースのイントラ／インターコード化決定の開始のため、異なるグリッドＡ，Ｂ，Ｃを選択することによって、連続フレームにおいて局在化された領域内でイントラコード化されたＭＢの反復及び集中を阻止することができる。言い換えると、フレーム毎に探索グリッドをローテーションさせることによって、フレームからフレームへのイントラコード化ＭＢの持続的な局在化を阻止することができる。また、ＭＢの異なるグリッドＡ，Ｂ，Ｃの選択及びローテーションは、実装の複雑さが比較的低いことを示す。

一例として、各フレーム中に９９のＭＢを備えた１／４共通中間フォーマット（ＱＣＩＦ）フレームの場合、このフレームは、以下に示すように、３つの等しいＭＢのグリッドＡ，Ｂ，Ｃに分割されうる。
Ａ［０−３２］，
Ｂ［３３−６５］，及び
Ｃ［６６−９８］。
ここで［ｉ_１，ｉ_２］は、グリッド境界を示し、ｉ_１は、開始ＭＢのインデクス、ｉ_２は、終了ＭＢのインデクスである。また、与えられたフレーム内の３つのグリッドの指定は、例示の目的のためであり、限定して考慮されるべきではない。また、グリッドは、異なるパターンでローテーションされうる。例えば、１つのフレームにおいてグリッドＡを選択することは、ＡからＢ，Ｃへの連続したローテーションではなく、次のフレームにおいてグリッドＣを選択することが続く。

図６は、異なる一様な適応性ＩＲ探索グリッドによる９つのＰフレームＦ１〜Ｆ９のシーケンスを例示する図である。図６は、フレームからフレームへの探索グリッドのローテーションを例示する。これによって、連続フレームにおけるテクスチャベースのイントラ／インターコード化決定プロセスのための開始点として同一の探索グリッドが使用されなくなる。例えばフレームＦ１では、テクスチャベースのイントラ／インターコード化決定プロセスは、選択されたグリッドＡにおいて始まる。次のフレームＦ２では、この決定プロセスは、異なるグリッドＢにおいて始まる。同様に、次のフレームＦ３では、異なるグリッドＣが選択される。このように、選択されたグリッドは、初めの３つのフレームＦ１，Ｆ２，Ｆ３にわたってフレーム毎にローテーションする。その後、このプロセスは、各フレームＦ４，Ｆ５，Ｆ６においてそれぞれ選択されたグリッドＡ，Ｂ，Ｃによって示されるように、次の３つのフレームについて繰り返す。また、各フレームＦ７，Ｆ８，Ｆ９においてそれぞれ選択されたグリッドＡ，Ｂ，Ｃによって示されるように、次の３つのフレームについて繰り返す。

例えばＦ１からＦ３のように、３つの連続したＰフレームのサイクルにおいて、このプロセスは、テクスチャベースの動作決定を用いて、フレームＦ１内でイントラコード化されるグリッドＡ内のＭ個（Ｍ＜３３）のＭＢを選択することによって始まる。その後、次のＰフレームＦ２について、グリッドＢにおけるＭ個のＭＢが、イントラコード化されるとして選択され、第３のフレームＦ３については、グリッドＣにおけるＭ個のＭＢが選択される。この処理は、グリッドＡ，Ｂ，Ｃ，Ａ，Ｂ，Ｃ，Ａ，Ｂ，Ｃといったパターンを用いて、次の３つのＰフレームであるＦ４〜Ｆ６について繰り返され、更に、次の３つのフレームＦ７〜Ｆ９について繰り返される。３つの連続したＰフレームからなるサイクルはそれぞれ、図６においてＸ、Ｙ、Ｚで示されている。

また、このプロセスは、３つの連続したＰフレームにおける同じ場所におけるＭＢのイントラリフレッシュを阻止する。しかしながら、３つのＰフレームＦ１〜Ｆ３の最初のサイクルＸの後、イントラリフレッシュされたＭＢは、再び、最初のサイクルにおける同じ場所において生じうる。特に、Ｐフレームにおける次の２つのサイクルＹ，ＺであるＦ４〜Ｆ６、及びＦ７〜Ｆ９においてそれぞれ同じグリッドが選択される。Ｐフレームにおける全てのＭＢをリフレッシュする確率を高めるために、各ＭＢのためのイントラ／インターモード決定が、ＩＲが実行されるグリッド内にのみ格納される。このように、ＭＢのためのイントラリフレッシュの反復があまりに早くなることが回避される。

図５及び図６の例では、グリッドベースのＡＩＲ技術は、各フレームを３つの一様サイズのグリッドに分割する。図７は、異なる、非一様な適応性ＩＲ探索グリッドを持つ９つのＰフレームのシーケンスを例示する図である。３つのフレームＦ１，Ｆ２，Ｆ３からなる第１のシリーズＸでは、それぞれ等しいサイズのグリッドＡ，Ｂ，Ｃが、ＩＲ決定プロセスのために選択される。フレームＦ４，Ｆ５，Ｆ６からなる第２のシリーズＹでは、個々のグリッドＡ，Ｂ，Ｃのサイズが異なっている。具体的には、図７の例では、フレームＦ４のグリッドＡは、フレームＦ１のグリッドＡよりも実質的に小さく、フレームＦ５のグリッドＢは、フレームＦ２のグリッドＢよりも実質的に大きい。さらに、フレームＦ６のグリッドＣは、フレームＦ３のグリッドＣよりも実質的に小さい。３つのフレームＦ７，Ｆ８，Ｆ９からなる次のシリーズＺでは、グリッドＢが最も小さいグリッドであり、小さい順に従って、次にグリッドＣ及びグリッドＡが続く。

図７に示すように、連続したフレームシリーズ間の非均一なグリッドサイズに基づくアプローチは、フレーム毎の同じ場所においてイントラコード化されたＭＢの反復に対する追加測定を提供する。ある場合には、開始グリッドのサイズは、十分に小さく、テクスチャベースのイントラ／インター決定プロセスが、別のグリッドに拡張されることが保証される。フレームＦ６では、例えば、開始グリッドＣが非常に小さいので、ＩＲレートは、そのグリッド内のＭＢの数を超えるだろう。この場合、テクスチャベースのイントラ／インター決定プロセスは、指定された次のグリッドへ達する。これは、実装に依存して、フレームＦ６におけるＡグリッド又はＢグリッドのうちの何れかになりうる。

別のオプションとして、ハイブリッドＩＲ（ＨＩＲ）スキームが、例えばＣＩＲ，ＡＩＲ，ＲＩＲのような単一のＩＲタイプの代わりに使用されうる。一例として、ハイブリッドＩＲスキームは、ＣＩＲとＡＩＲとの両方の局面を組み合わせうる。その結果、改善された誤り回復性能、及び良好な視覚品質となる。例えば、高ＩＲレートを伴う周期的ＩＲのみを用いることによって、連続したフレームにおいて、気に障る、波のような視覚アーチファクト（artifact）が生じる。一方、ＡｌＲにのみ依存することは、可能なＩＲのためフレーム中のすべてのＭＢの検討を可能にしないかもしれない。周期的リフレッシュパターン及び適応性リフレッシュパターンの利点を組み合わせるハイブリッドＩＲスキームは、ＣＩＲ又はＡＩＲのみの場合に対して改良された性能を提供することができる。

このハイブリッドＩＲスキームによれば、ＩＲレートの割合は、ＣＩＲとＡＩＲとの間に分布する。ＣＩＲに約束されたＩＲレートの割合は、標準的なＣＩＲスキームによって実現される。ここでは、ＭＢは、予め定めたパターンへ連続的及び周期的にイントラリフレッシュされる。本明細書で記載しているように、ＡＩＲに約束されたＩＲレートの割合は、適応性ＩＲスキームによって実現される。ここでは、テクスチャベースのイントラ／インター決定プロセスが、フレーム内の個々のＭＢに適用される。ＡＩＲについては、より低い分散を有するＭＢが、イントラリフレッシュのために好適に選択される。対照的に、テクスチャ情報は、一般に、ＣＩＲには重要ではない。ハイブリッドＩＲスキームでは、ＣＩＲ及びＡＩＲが組み合わされ、高い性能を提供する。

図８は、ＣＩＲスキーム及びハイブリッドＩＲスキームの比較実験結果を例示するグラフである。図８のグラフは、５つの異なるＩＲスキームの、ブロック誤り率（ＢＬＥＲ）と、ピーク信号対雑音比（ＰＳＮＲ）とをプロットしている。１０％ＩＲレートにおける限定的なＣＩＲである第１のスキームの性能は、曲線９６で表される。曲線９８は、合計５％のＩＲレートに対して２％ＣＩＲと３％ＡＩＲとを組み合わせたハイブリッドスキームの性能を示す。曲線１００，１０２，１０４はそれぞれ、ＣＩＲ／ＡＩＲが７／３，３／７，５／５の割合であるハイブリッドスキームの性能結果を示す。図８のグラフは、１５ｆｐｓ及び４８ｋｂｐｓで符号化されたＱＣＩＦフレームシーケンス（母−娘）の結果を示す。

図９乃至図１２は、様々なＩＲ技術に対する比較実験結果を例示する追加グラフである。図９乃至図１２のグラフの条件は以下の通りである。符号化レート＝４８Ｋｂｐｓ、イントラフレーム周期４００、フレーム長さ１５０、ＰＳＮＲはｄＢで測定。各場合では、複数のビデオシーケンスが使用される。

図９では、曲線１０６，１０８，１１０，１１２，１１４はそれぞれ、Ｆｏｒｅｍａｎシーケンスに対する４００からなるイントラフレーム周期での（１）０パーセントＩＲ、（２）５パーセント標準ＲＩＲ、（３）１０パーセント標準ＲＩＲ、（４）本明細書に記載の推定チャネル損失確率、ＳＳＤ、及び分散を用いた適応性ＲＩＲ、（５）推定チャネル損失確率のみを用いた適応性ＲＩＲの結果を示す。図１０は、図９と同じ実験を示すが、母−娘シーケンスの結果を示す。

図１１及び図１２では、曲線１１６，１１８，１２０，１２２，１２４はそれぞれ、（１）０パーセントＩＲ、（２）５パーセント標準ＲＩＲ、（３）１０パーセント標準ＲＩＲ、（４）最適適応性ＲＩＲ、（５）動作補償後にＳＡＤ数的指標を用いた適応性ＲＩＲの結果を示す。最適適応性ＲＩＲスキームは、近似や置き換えのない正確な測定を用いる。図１１及び図１２は共に、Ｆｏｒｅｍａｎシーケンス及び母−娘シーケンスのための４００からなるイントラフレーム周期に関する。

図１３は、別の実施形態に従ったイントラフレーム周期に従ってＩＲ調節を例示する図である。一般に、本出願は、イントラフレーム周期が比較的長い場合について、チャネル適応性アプローチ又はビデオコンテンツ、及びチャネル適応性アプローチを用いたＩＲレートの調節を記載した。より短い周期でイントラフレームがより頻繁に使用される場合、ＭＢ ＩＲレートを低減することができる。従って、本開示は更に、ビデオコンテンツ及びチャネル条件のみならず、イントラフレーム周期に基づいてＩＲレートの調節を検討する。この場合、推定チャネル損失確率、フレーム対フレーム変化、及びイントラフレームテクスチャを用いて生成されたＩＲレートは更に、一般的なイントラフレーム周期に従って調節される。

長いイントラ周期の場合、ＩＲレートは一般にβ_Ｉと表され、推定チャネル損失確率はｐと表され、イントラフレーム周期はＩと表され、調節されたＩＲレートはβと表される。イントラフレーム周期による調節は、イントラフレーム周期Ｉの３つの異なる領域１３０，１３２，１３４に関して説明される。領域１３０，１３２，１３４では、イントラフレーム周期はそれぞれ、１／（２ｐ）未満、１／（２ｐ）と２／ｐとの間、２／ｐ超である。これらの領域では、推定チャネル損失確率、フレーム対フレーム変化、及びイントラフレームテクスチャに基づき決定されたＩＲレートβは、更に、以下に示すようなイントラフレーム周期Ｉの関数として調節される。

ここで、ｆは、現在のフレームと、最直近のイントラフレームとの間の距離であり、１≦ｆ≦Ｉ−１である。

イントラフレーム周期Ｉが十分大きい場合、ＩＲレートβは、調節される必要はない。Ｉが十分小さい場合、ＭＢ ＩＲは、必要ではない。その他の場合では、ＩＲレートは、最直近のイントラフレームに対する現在のフレームの距離に従って、直線的に減衰する。このアプローチは、現在のフレームが更に、次のイントラフレームリフレッシュから遠ざかるときを認識する。このフレームは、潜在的な誤り伝播に起因する性能劣化を低減するために、イントラＭＢを用いてより確実に保護されるべきである。

図１４及び図１５は、図１３において例示するような技術を用いた様々なＩＲ技術に対する実験結果を例示するグラフである。図１４及び図１５において、曲線１３６，１３８，１４０，１４２，１４４はそれぞれ、（１）０パーセントＩＲ、（２）５パーセント標準ＲＩＲ、（３）１０パーセント標準ＲＩＲ、（４）本明細書で説明した推定チャネル損失確率、ＳＳＤ、及び分散を用いた適応性ＲＩＲ、（５）推定チャネル損失確率のみを用いた適応性ＲＩＲに対する結果を表す。

図１４及び図１５では、比較的短いイントラフレーム周期が適用される。しかしながら、図１４は、Ｆｏｒｅｍａｎシーケンスを表す一方、図１５は、母−娘シーケンスを表す。図１４及び図１５は、イントラフレーム周期が小さい（１５フレーム）場合におけるＩＲ性能を例示する。２％の損失レートでは、ＭＢ ＩＲは使用されない。４％および６％の損失レートでは、図１３に関して上述したように、βに対するイントラリフレッシュ周期調節式に従って決定される。図１４及び図１５における結果は、短いイントラフレーム周期でかつ低損失レートの場合において、ＭＢレベルＩＲがどのようにして体裁良くバックオフできるかを実証する。

様々な実施形態が記載された。これら及び他の実施形態は、特許請求の範囲のスコープ内である。

図１は、ビデオ符号化及び復号システムを例示するブロック図である。 図２は、本開示に従った適応性ＩＲ技術を使用するビデオエンコーダシステムを例示するブロック図である。 図３は、典型的な適応性ＩＲ技術の動作を例示するフロー図である。 図４は、テクスチャベースのイントラ／インターコード化決定プロセスを例示するフロー図である。 図５は、テクスチャベースのイントラ−インターコード化決定プロセスをサポートするために３つの異なる探索領域に分割されたビデオフレームを例示する図である。 図６は、異なる一様な適応性ＩＲ探索領域を持つ９つのＰフレームのシーケンスを例示する図である。 図７は、異なる非一様な適応性ＩＲ探索領域を持つ９つのＰフレームのシーケンスを例示する図である。 図８は、周期的ＩＲ（ＣＩＲ）及びハイブリッドＩＲ制御技術のための相対的実験結果を例示するグラフである。 図９は、様々なＩＲ制御技術の相対的実験結果を例示する追加のグラフである。 図１０は、様々なＩＲ制御技術の相対的実験結果を例示する追加のグラフである。 図１１は、様々なＩＲ制御技術の相対的実験結果を例示する追加のグラフである。 図１２は、様々なＩＲ制御技術の相対的実験結果を例示する追加のグラフである。 図１３は、イントラフレーム周期に従ったＩＲ制御を例示する図である。 図１４は、図１３に例示したような技術を使用した様々なＩＲ技術に対する実験結果を例示するグラフである。 図１５は、図１３に例示したような技術を使用した様々なＩＲ技術に対する実験結果を例示するグラフである。

Claims (34)

1. ビデオ符号化方法であって、
   現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値を得ることと、
   前記現在のフレームのテクスチャ値を得ることと、
   前記フレーム対フレーム変化及び前記テクスチャ値に基づいて、前記現在のフレームのイントラリフレッシュ（ＩＲ）レートを生成することとを含み、
   前記フレーム対フレーム変化が大きいほど、前記現在のフレームのＩＲレートを大きくし、前記テクスチャ値が、前記現在のフレーム内のピクセルレベル分散によって決定され、前記分散が大きいほど、前記現在のフレームのＩＲレートを小さくする方法。
2. 前記フレーム対フレーム変化の測定値を得ることは、前記現在のフレームと前記別のフレームとの差分平方和（ＳＳＤ）を得ることを含み、前記テクスチャ値は、前記現在のフレーム内のテクスチャ複雑さを特徴付ける請求項１の方法。
3. 前記ピクセルレベル分散値は、前記現在のフレーム内のピクセル変化に基づく請求項１の方法。
4. チャネル損失確率の推定値を得ることを更に含み、
   前記ＩＲレートを生成することは、前記チャネル損失確率の推定値、前記フレーム対フレーム変化の測定値、及びテクスチャ複雑さに基づいて前記現在のフレームのＩＲレートを生成することを含む請求項１の方法。
5. 前記チャネル損失確率の推定値を得ることは、遠隔端末から受信した制御メッセージを用いて、又は、遠隔端末によって送信された情報の損失に基づいて前記推定値を得ることを含む請求項４の方法。
6. 前記ＩＲレートに基づいて、前記現在のフレーム内の全てのマクロブロック（ＭＢ）についてインターコード化又はイントラコード化を選択することを更に含む請求項１の方法。
7. 前記ＩＲレートに基づいて、前記現在のフレーム内の個々のマクロブロック（ＭＢ）についてインターコード化又はイントラコード化を選択することを更に含む請求項１の方法。
8. フレーム毎ベースで前記ＩＲレートを更新することを更に含む請求項１の方法。
9. 前記現在のフレーム内のマクロブロック毎ベースで前記ＩＲレートを更新することを更に含む請求項１の方法。
10. 前記現在のフレーム内の複数のグリッドであって、
    各々が、前記現在のフレーム内のマクロブロック（ＭＢ）のサブセットを含む複数のグリッドのうちの１つを選択することと、
    前記ＩＲレートを適用し、前記選択されたグリッド内のマクロブロック（ＭＢ）のためにイントラコード化を選択することと
    を更に含む請求項１の方法。
11. 連続する複数のフレームのうちの各々における異なるグリッドを選択することを更に含み、
    前記グリッドの各々は、実質的に等しい数のＭＢを含む請求項１０の方法。
12. 連続する複数のフレームのうちの各々における異なるグリッドを選択することを更に含み、
    前記グリッドは、異なる数のＭＢを含む請求項１０の方法。
13. マクロブロック（ＭＢ）に関連したテクスチャ値及び前記ＩＲレートに基づいて、前記現在のフレーム内の前記ＭＢのためにインターコード化又はイントラコード化を選択することを更に含む請求項１の方法。
14. 前記ＭＢに関連したテクスチャ値に基づく前記ＭＢの選択と、前記ＭＢの周期的パターンの選択との組み合わせに基づいて、前記現在のフレーム内の前記ＭＢのためにインターコード化又はイントラコード化を選択することを更に含む請求項１３の方法。
15. イントラフレーム周期に基づいて前記ＩＲレートを調節することを更に含む請求項１の方法。
16. 現在のフレームのテクスチャ値と、前記現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値とに基づいて、前記現在のフレームのイントラリフレッシュ（ＩＲ）レートを生成するＩＲレート制御ユニットと、
    前記ＩＲレートに基づいて、前記現在のフレーム内のマクロブロック（ＭＢ）のためにインターコード化又はイントラコード化を選択するモード選択ユニットとを備え、
    前記ＩＲレート制御ユニットは、前記フレーム対フレーム変化が大きいほど、前記現在のフレームのＩＲレートを大きくし、前記テクスチャ値が、前記現在のフレーム内のピクセルレベル分散によって決定され、前記分散が大きいほど、前記現在のフレームのＩＲレートを小さくするビデオエンコーダ。
17. 前記フレーム対フレーム変化は、前記現在のフレームと前記別のフレームとの差分平方和（ＳＳＤ）であり、前記テクスチャ値は、前記現在のフレーム内のテクスチャ複雑さを特徴付ける請求項１６のビデオエンコーダ。
18. 前記ピクセルレベル分散値は、前記現在のフレーム内のピクセル変化に基づく請求項１６のビデオエンコーダ。
19. 前記ＩＲレート制御ユニットは、前記現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値、前記現在のフレームのテクスチャ値、及び推定されたチャネル損失確率に基づいて前記ＩＲレートを生成する請求項１６のビデオエンコーダ。
20. 前記チャネル損失確率の推定値は、遠隔端末から受信した制御メッセージ、又は、遠隔端末によって送信された情報の損失に基づく請求項１９のビデオエンコーダ。
21. 前記モード選択ユニットは、前記ＩＲレートに基づいて、前記現在のフレーム内の全てのマクロブロック（ＭＢ）についてインターコード化又はイントラコード化を選択する請求項１６のビデオエンコーダ。
22. 前記モード選択ユニットは、前記ＩＲレートに基づいて、前記現在のフレーム内の個々のマクロブロック（ＭＢ）についてインターコード化又はイントラコード化を選択する請求項１６のビデオエンコーダ。
23. 前記ＩＲレート制御ユニットは、フレーム毎ベースで前記ＩＲレートを更新する請求項１６のビデオエンコーダ。
24. 前記ＩＲレート制御ユニットは、前記現在のフレーム内のマクロブロック毎ベースで前記ＩＲレートを更新する請求項１６のビデオエンコーダ。
25. 前記モード選択ユニットが、前記現在のフレーム内の複数のグリッドであって、各々が、前記現在のフレーム内のマクロブロック（ＭＢ）のサブセットを含む複数のグリッドのうちの１つを選択し、前記ＩＲレートを適用し、前記選択されたグリッド内のマクロブロック（ＭＢ）のためにイントラコード化を選択する請求項１６のビデオエンコーダ。
26. 前記モード選択ユニットは、連続する複数のフレームのうちの各々において異なるグリッドを選択し、前記グリッドの各々は、実質的に等しい数のＭＢを含む請求項２５のビデオエンコーダ。
27. 前記モード選択ユニットは、連続する複数のフレームのうちの各々における異なるグリッドを選択し、前記グリッドは、異なる数のＭＢを含む請求項２５のビデオエンコーダ。
28. 前記モード選択ユニットは、ＭＢに関連したテクスチャ値及び前記ＩＲレートに基づいて、前記現在のフレーム内の前記ＭＢのためにインターコード化又はイントラコード化を選択する請求項１６のビデオエンコーダ。
29. 前記モード選択ユニットは、前記ＭＢに関連したテクスチャ値に基づく前記ＭＢの選択と、前記ＭＢの周期的パターンの選択との組み合わせに基づいて、前記現在のフレーム内の前記ＭＢのためにインターコード化又はイントラコード化を選択する請求項１６のビデオエンコーダ。
30. 前記ＩＲレート制御ユニットは、イントラフレーム周期に基づいて前記ＩＲレートを調節する請求項１６のビデオエンコーダ。
31. ビデオエンコーダ内のプロセッサに対して、
    現在のフレームと別のフレームとの間のフレーム対フレーム変化の測定値を得ることと、
    前記現在のフレームのテクスチャ値を得ることと、
    前記フレーム対フレーム変化及び前記テクスチャ値に基づいて、前記現在のフレームのイントラリフレッシュ（ＩＲ）レートを生成することと
    をさせる命令を備え、
    前記命令は、前記フレーム対フレーム変化が大きいほど、前記現在のフレームのＩＲレートを大きくさせ、前記テクスチャ値が、前記現在のフレーム内のピクセルレベル分散によって決定され、前記分散が大きいほど、前記現在のフレームのＩＲレートを小さくさせるコンピュータ読取可能媒体。
32. 前記プロセッサに対して、前記フレーム対フレーム変化を、前記現在のフレームと前記別のフレームとの差分平方和（ＳＳＤ）として得ることをさせる命令を更に備え、
    前記テクスチャ値は、前記現在のフレーム内のテクスチャ複雑さを特徴付ける請求項３１のコンピュータ読取可能媒体。
33. 前記ピクセルレベル分散値は、前記現在のフレーム内のピクセル変化に基づく請求項３１のコンピュータ読取可能媒体。
34. 前記プロセッサに対して、
    チャネル損失確率の推定値を得ることと、
    前記チャネル損失確率の推定値、前記フレーム対フレーム変化、及び前記テクスチャ値に基づいて前記ＩＲレートを生成することと
    をさせる命令を更に備える請求項３１のコンピュータ読取可能媒体。

Images