JP5710022B2 - ビデオデコーダにおける参照画像の圧縮方法及び伸長方法 - Google Patents

Description

本発明は、再構成された画像を提供するための方法及び装置に関する。

近年、コーディングすべき画像フォーマットは、例えば新たな形式の記録システムが導入されることによって、ますます大きくなっている。つまり、特に目下のところ、ここ５０年来欧州において使用されている、６２５×５７６画素のフル画像サイズを用いるテレビ伝送システムＰＡＬ（Phase Alternation Line法）から、１９２０×１０８０画素又は１２８０×７２０画素を用いるＨＤＴＶ（High Definition Television）への切換が行われている。将来的には、更により大きい画像フォーマットが新たな形式のテレビシステムに導入されることも見込まれる。

ＨＤＴＶ及び将来のシステムは、一連のビデオ画像を例えばインターネット又はモバイル無線チャネルを介して伝送できるようにそれらの一連のビデオ画像を圧縮するためにディジタル圧縮方法を使用する。しかしながら、画像フォーマットが増大することによって、一連のビデオデータの圧縮に必要とされる計算能力及びその際の所要メモリが著しく増加する。その結果、圧縮方法を実現する計算ユニットとメモリとの間でのデータ伝送量も著しく増加する。

従って、例えばJoint Colloborative Team on Video Coding (JCT-VC)のようなワーキンググループ、ITU及びISO/IEC（ITU - International Telecommunication Union, ISO - International Standardization Organisation, IEC - International Electrotechnical Commission）の共同のワーキンググループは、圧縮率の改善に取り組むだけでなく、ビデオ画像をそれぞれのコーデックの参照画像メモリに効率的に格納し、またリソースを節約したやり方でアクセスできるようにするための標準化された方式にも取り組んでいる。

図１には、参照画像メモリＳＲＢを備えている、画像シーケンスを圧縮するための公知の装置が示されている。この装置においては、例えばＩＮＴＥＲコーディングモードとしても公知である予測コーディングを用いて、複数の画像がコーディングされる。それらの画像の内の一つは、例えば１６×１６の画素を有している複数の画像ブロックＢＢに分解され、続いてブロック毎にコーディングされる。更には、それらの画像ブロックの内の一つに関して、画像ブロックの画像内容の評価の適切な基礎を保証する一つの参照画像ＲＥＦにおける参照画像ブロックＲＢＢがサーチされる。このために画像ブロックが動き評価ユニットＭＥに伝送され、この動き評価ユニットＭＥは、画像伸長ユニットＰＣによる画像伸長後の参照画像ＲＥＦの一部を含んでいる参照部分画像ＲＥＦＴに基づき参照画像ブロックを参照部分画像から選択し、選択された参照画像ブロックを動きベクトルＭＶを用いて動き補償ユニットＭＣにシグナリングする。動き補償ユニットは、参照画像及び動きベクトルに基づき参照画像ブロックを提供する。

次のステップにおいては、画像ブロックＢＢから参照画像ブロックＲＢＢが減算されることによって、差分画像ブロックＢＤが形成される。差分画像ブロックに対しては続いて、例えば離散コサイン変換法に従い、変換ユニットＴにおいて変換が行われる。変換ユニットの出力端においては変換係数ＴＫが出力され、この変換係数ＴＫは続いて量子化のために量子化ユニットＱに供給される。量子化ユニットの出力端においては、量子化された変換係数ＴＱが出力され、この量子化された変換係数ＴＱは、エントロピコーディングユニットＥＣによって実施されるエントロピコーディングによって出力信号ＡＳに変換される。

フィードバックループにおいては、量子化された変換係数ＴＱが、量子化ユニットＩＱによる逆量子化によって、再構成された変換係数ＴＫＲに変換される。この再構成された変換係数ＴＫＲは、逆変換ユニットＩＴの逆変換によって、再構成された差分画像ブロックＢＤＲに変換される。後続のステップにおいては、再構成された差分画像ブロックＢＤＲに参照画像ブロックＲＢＢが加算されることによって、再構成された画像ブロックＲＢＭが生成される。

従来のコーディング方法においては、再構成された画像ブロックが直接的に参照画像メモリに書き込まれる。現在のところ標準化において行われている方法では、データ量を低減するために、先ず、再構成された画像ブロックのデータ量を著しく低減する画像圧縮ユニットＰＣによって、再構成された画像ブロックに対して画像圧縮が行われる。画像圧縮ユニットＰＣによって生じる、再構成され圧縮された画像ブロックＲＢＣが、続いて参照画像メモリに格納される。動き評価ユニット及び動き補償ユニットが必要な画像データにアクセスできるようにするために、参照画像ＲＥＦ又は参照画像の特別な画像部分が要求されると、先ず、再構成され圧縮された各画像ブロックが参照画像メモリＳＲＢから読み出され、画像伸長ユニットＰＤによる画像伸長圧縮でもって参照部分画像ＲＥＦＴに変換される。

図２には、図１に示したエンコーダに対応するデコーダが示されている。このデコーダでは、出力信号ＡＳがエントロピデコーディングユニットＥＤを用いて、量子化された変換係数ＴＱにデコーディングされる。更には、量子化された変換係数が逆変換ユニットＩＱを用いて、再構成された変換係数ＴＫＲに逆量子化される。これに続いて、再構成された変換係数ＴＫＲが逆情報ユニットＩＴによって、再構成された差分画像ブロックＢＤＲに逆変換される。

出力信号の他に、デコーダには特に各動きベクトルＭＶも伝送される。そこからデコーダは参照部分画像ＲＥＦＴを使用して、動き補償ユニットＭＣによって参照画像ブロックＲＢＢを求めることができ、この参照画像ブロックＲＢＢは再構成された差分画像ブロックと加算されることによって再構成された画像ブロックＲＢＭに変換される。

再構成された画像ブロックＲＢＭを例えばディスプレイに再生することができる。再構成された画像ブロックＲＢＭは続いて、画像圧縮ユニットＰＣによる圧縮でもって、再構成されて圧縮された画像ブロックＲＢＣに変換され、この再構成されて圧縮された画像ブロックＲＢＣは続けて参照画像メモリＳＲＢに格納される。この参照画像メモリに格納された、再構成されて圧縮された画像ブロックを、画像伸長ユニットＰＤによって参照部分画像に伸長することができる。

刊行物[１]には、浮動小数点ＤＣＴ（DCT ; Discrete Cosinus Transformation）変換と、変換後に二次元に配置された係数のスキャニングとに応じて、一次元表現においてビット平面コーディングが実施される、損失の無い画像圧縮方法／画像伸長方法が記載されている。

刊行物[２]に記載されている方法においては、メモリアクセス帯域幅低減技術が提案されている。そこでは、変換及び量子化の他に、画像圧縮ユニットＰＣのための、ＤＣ予測及びエントロピコーディングも、画像伸長ユニットＰＤのための、それとは逆のステップも提案されている。

別の刊行物[３]には、非ブロック化画像メモリの前後における画像データの圧縮乃至伸長の際のテスト結果が紹介されている。

最後に、刊行物[４]においては、一次元のＤＰＣＭ（DPCM ; Differential Pulscode Modulation）を基礎とする画像メモリ圧縮方式が紹介されている。

少なくとも、刊行物[１]及び[４]において提案されている圧縮方式は損失が無い。

本発明の課題は、画像コーディング装置及び／又は画像デコーディング装置のための再構成された画像ブロックの圧縮／伸長をリソース効率良く実施することができる方法及び装置を提供することである。

この課題は独立請求項に記載されている構成によって解決される。本発明の発展形態は従属請求項に記載されている。

本発明は、画像コーディング装置又は画像デコーディング装置によって生成される、再構成された画像の少なくとも一つの画像領域を記憶し、画像コーディング装置又は画像デコーディング装置のために参照画像としての少なくとも一つの画像領域を提供する方法に関し、この方法は以下のステップを備えている：
ａ）少なくとも一つの画像領域を第１の規則に基づき圧縮されたデータに圧縮するステップ；
ｂ）圧縮されたデータを記憶するステップ；
ｃ）圧縮されたデータ（ＫＤＡＴ）を第２の規則（Ｖ２）に基づき少なくとも一つの画像領域（ＢＲ）に伸長するステップ；
を備えている方法において、
ｄ）第１の規則（Ｖ１）は、画像コーディング装置（ＥＮＣ）のコーディングモード（Ｍ１）を規定する第３の規則（Ｖ３）に基づき形成されており；
ｅ）第２の規則（Ｖ２）を第３の規則（Ｖ３）とは逆の第３の規則（Ｖ３Ｉ）として選択することによって、第２の規則（Ｖ２）は形成されている、
ことを特徴とする。

本発明は、画像コーディング装置によるコーディングの範囲乃至画像デコーディング装置によるデコーディングの範囲において必要とされる参照画像のメモリ効率の良い格納を実現する。再構成された画像、即ち参照画像の圧縮を、画像コーディング装置の複数のコーディングモードの内の一つに基づき行うという利点が得られる。これによって、特に、圧縮又は伸長のための第１の規則又は第２の規則を作成するための暗示的な規則を達成することができる。更には、画像ブロックのコーディングのための画像コーディング装置のコーディング判定は、最小の所要メモリにおいて画像品質を最適化するレート歪み最適化に繋がることが多い。この最適なコーディングモードは、続いて、再構成された画像の画像領域を圧縮するための基礎を形成し、これによって高い圧縮率も達成することができる。更には市販の機器の多くは、少なくとも、画像コーディング装置又は画像デコーディング装置において実施される部分ステップを処理するためのハードウェアをサポートしている。従って、参照画像の圧縮又は伸長もこのハードウェアによるサポートを使用することができる。

今日標準化されている画像コーディング装置及び画像デコーディング装置においては、再構成された画像を記憶する前に、この再構成された画像にデブロッキングフィルタ及び／又は別のフィルタ演算、例えばウィーナーフィルタが適用されることが多い。本発明の一つの発展形態においては、本発明の使用時に、それらのステップが伸長後に初めて実施される。これによって、再構成された画像のそれぞれの画像領域に提供されるコーディングモード、変形又は量子化された係数の使用が、改善された圧縮率の達成のために圧縮によって実現される。

有利には、圧縮されたデータがインデクスと共に参照画像メモリに格納される。インデクスは第１の規則又は第２の規則を一義的に識別するための識別子を含んでいる。これによって、暗示的には検出できず、また、暗示的に検出できるモードに比べて改善された圧縮率を達成するモードも圧縮又は伸長のために使用することができる。

本発明の一つの発展形態においては、コーディングされたデータが、（ｉ）画像コーディング装置によって形成される、及び／又は、（ｉｉ）画像デコーディング装置によって受信される、出力データストリームを形成するためのシンタクスに従い記憶される。これによって、画像デコーディング装置は、どのようなやり方で画像コーディング装置が、再構成された画像の個々の画像領域を可能な限り損失無く圧縮及び伸長したかの情報を得る。これと共に、画像コーディング装置と画像デコーディング装置との間のドリフトを回避することができる。

一つの有利な発展形態においては、再構成された画像の複数の画像領域が一つの画像リージョンに統合され、前述のものと同じ再構成された画像の別の画像リージョンに依存せずに伸長できるものとして記憶される。これによって、再構成された画像の画像リージョンに、同一の再構成された画像の別の画像リージョンに依存せずにアクセスできることが達成される。これによって、伸長のための計算の煩雑さ、画像リージョンへの画像内容へのアクセス時間が短縮される。何故ならば、問い合わされた画像リージョン外では別の画像リージョンの画像内容を伸長する必要はないからである。

有利には、画像リージョンの各画像領域が、単一の第１の規則に従い圧縮されるか、又は、一連の各第１の規則に従い圧縮される。これによって、シグナリングの煩雑さ、従って記憶の煩雑差が低減される。何故ならば、各画像領域に関して個々の第１の規則若しくは第２の規則を参照画像メモリに格納する必要がないからである。

有利には、画像リージョンの画像領域の内の少なくとも幾つかの画像領域はＩＮＴＲＡ予測モードによって圧縮され、画像リージョンの少なくとも一つの画素を再構成するために必要であり、且つ、その画像リージョンとは異なる画像リージョンによってのみ求めることができる第１の画素が、その画像リージョンの圧縮されたデータに追加して記憶される。簡単なやり方で、ＩＮＴＲＡ予測モードを使用することができる。

第１の画素が所定の規則に従い、特に、デルタコーディングに従い圧縮され、記憶されると、ＩＮＴＲＡ予測モードを用いて圧縮された画像領域を記憶するための記憶スペースが更に低減される。

本発明の一つの有利な発展形態においては、画像リージョンの画像領域の内の少なくとも一つが、ＩＮＴＲＡ予測モードによって圧縮される代わりに、ＩＮＴＲＡコーディングモードによって圧縮される。ここで、例えば画像ノイズ又はより大きい動きに基づき予測することが困難である画像領域も効果的に圧縮することができる。

有利には、（ｉ）少なくとも二つの異なるＩＮＴＲＡ予測モードによって、又は、（ｉｉ）少なくとも一つのＩＮＴＲＡ予測モード及びＩＮＴＲＡコーディングモードによって形成された複数のモードから、圧縮すべき画像領域に関して所要記憶スペースが最小となるモードが選択される。この最適化によって、再構成された画像を良好な品質で伸長でき、それと同時に高い圧縮率でもって圧縮できることが達成される。

有利には、ＩＮＴＲＡ予測の際に、ＩＮＴＲＡ予測に使用される量子化パラメータが記憶される場合には、高品質の伸長を保証することができる。

本発明の一つの発展形態においては、少なくとも二つの再構成された画像が記憶され、その際に、少なくとも二つの再構成された画像の内の第１の画像はＩＮＴＲＡ予測モード及び／又はＩＮＴＲＡコーディングモードによって圧縮され、少なくとも二つの再構成された画像の内の、第１の再構成された画像に時間的に続く第２の画像がＩＮＴＥＲコーディングモードによって圧縮される。第２の画像の動きベクトルは第１の再構成された画像を示唆する。これによって、純粋なＩＮＴＲＡ予測に比べて、圧縮率の上昇を達成することができる。

有利には、第１の規則が第３の規則に基づき、以下の複数のステップの内の一つによって形成される：
・第３の規則がＩＮＴＲＡコーディングモードを表す場合には、第１の規則が同じＩＮＴＲＡコーディングモードによって形成される；
・第３の規則が、（ｉ）コーディングすべきマクロブロック／画像ブロックが「スキップ」信号によって、即ち、動きベクトル無しでコーディングされており、且つ、（ｉｉ）コーディングすべきマクロブロック／画像ブロックの参照画像がＩＮＴＲＡコーディングモードによってコーディングされているコーディングモードを表す場合、第１の規則に対して、参照画像のコーディングに使用されるＩＮＴＲＡコーディングモードが選択される；
・第３の規則が画像ブロック／マクロブロックに関して、所属の動きベクトルを有するＩＮＴＥＲコーディングモードを使用する場合には、第３の規則と同じ第１の規則が選択され、第３の規則のＩＮＴＥＲコーディングモードに対しても第１の規則のＩＮＴＥＲコーディングモードに対しても同じ動きベクトルが選択される。

それらの規則の内の一つを使用することによって、圧縮又は伸長に使用される第１の規則又は第２の規則の暗示的なシグナリングを達成することができる。更には、既に最適化されたコーディングモードを圧縮のために再び使用することができ、これによって、最適な第１の規則を求めるための計算の手間を回避することができる。

本発明による方法の一つの有利な実施の形態においては、前述の実施の形態の内の一つに従い、画像コーディング装置における方法と画像デコーディング装置における方法とを同期させるために、以下のパラメータの内の少なくとも一つのシグナリングが画像コーディング装置と画像デコーディング装置との間で実施される：
・再構成された画像の画像領域に関する、又は再構成された画像の画像リージョンに関する、第１の規則又は第２の規則を一義的に識別するための識別子を含んでいるインデクス；
・ＩＮＴＲＡ予測モード又はＩＮＴＲＡコーディングモードにおいて画像領域の内の少なくとも一つを圧縮するために使用される量子化係数。

これによって、圧縮は暗示的にシグナリングできる第１の規則のみに基づいて実施する必要がないので、圧縮率を高めることができる。従って、第１の規則によって考慮することができる、より多くの数の第３の規則が選択に提供される。

前述の規則の他に、第１の規則及び第２の規則を以下の構成の内の少なくとも一つに従い決定することができる。
ａ）画像圧縮ユニット乃至画像伸長ユニットによって実施される種々の圧縮方法の使用：
・出力信号において使用される圧縮方法の明示的なシグナリング；
・画像ブロックのコーディングのために画像コーディング装置乃至画像デコーディング装置によって使用される、プロフィール及びプロフィール／レベルそれぞれへの圧縮方法の対応付け；
ｂ）圧縮方法を表すパラメータ：
・パラメータのプロフィール／レベル組み合わせへの対応付け
・パラメータのインバンドでの、又は別個のパラメータセットとしてのシグナリング／伝送
・目下使用されている量子化パラメータの使用可能なデータ、例えば先行の画像に基づいたパラメータ低減；
ｃ）使用可能なデータに基づいたパラメータを低減する可能性：
・一緒に伝送される統計
・ＩＮＴＲＡコーディングされている画像部分に関して：
○目下のコーディングモードの引継ぎ、又は、
○それぞれのＩＮＴＲＡ圧縮モード又は非常に類似するＩＮＴＲＡ圧縮モードへのモードの変更；
○（圧縮の別のモードにより使用するための）予測方向の導出
・別のコーディングステップによるパラメータ、特に量子化パラメータ（量子化ステップ幅又は量子化パラメータ）、変換演算及びフィルタ演算の導出。

この導出は、数値空間の変換、算出された値の特殊丸めを含むが、パラメータを直接的に算出するための式も含むことができる。

パラメータ導出が既にデコーディング側において使用できるデータを基礎としない場合には、以下のことが可能である：
・圧縮すべき画像の統計の算出
・他の副次的な情報、例えばセンサ情報の使用
・マルチパスエンコーディング
・複数の画像又は完全なシーケンスを考慮することによるパラメータの最適化（圧縮方式の選択のために権限も与えられる）
・シーンの一部の識別。例えば一つの画像を圧縮する必要はない。何故ならば、その画像は参照画像として使用されないからである；
・長時間参照画像に対して特別に提供されるパラメータの使用、例えば非常に高い品質が損失無く存在しうる。

条件：
・伝送チャネルのデータレート制限はより大まかなパラメータの使用を可能にする；
・画像平面における品質限界は統計を基礎とするアプローチを必要とする。何故ならば、処理はブロック毎に実施されるからである；
・画像平面における品質限界を、圧縮すべきブロックの品質に直接的に関係付けることができる；
・達成すべき最低品質、生成されたデータの最大量、パラメータ導出及びプロセス選択のための潜在的な限界としての内部データスループット。

各参照画像について種々のメモリフットプリント（＝メモリパターン又はメモリ要求）において生じた参照情報に関する圧縮の使用。このことは、特に、種々の圧縮プロセスの使用によって、及び、動的なやり方での圧縮プロセスに関するパラメータの導出によって得られる。
−メモリ編成（例えば、画像データの部分領域への分割＝所定の大きさの分割）はメモリ利用率を求め、それによって参照画像の数を求める；
−パラメータに関するメモリ管理のプロフィール／レベル組み合わせ、例えば部分領域の大きさへの対応付け。

この構成の利点は以下の通りである：パラメータのシグナリング及び／又は導出が、エンコーダにおける参照情報の圧縮プロセス及びデコーダにおける参照情報の圧縮プロセスの同一の特性を制御するために、後続のプロセスステップ、メモリの大きさ及び内部データバススループットに関して最適化され、また画像品質要求に必要とされる。

本発明は、画像コーディング装置又は画像デコーディングによって生成される、再構成された画像の少なくとも一つの画像領域を記憶し、画像コーディング装置又は画像デコーディング装置のための参照画像としての少なくとも一つの画像領域を提供する装置に関し、この装置は以下のユニットを備えている：
ａ）少なくとも一つの画像領域を第１の規則に基づき、圧縮されたデータに圧縮する画像圧縮ユニット；
ｂ）圧縮されたデータを一緒に格納するメモリユニット；
ｃ）圧縮されたデータを第２の規則に基づき少なくとも一つの画像領域に伸長する画像伸長ユニット；
を備えている装置において、
ｄ）第１の規則（Ｖ１）は、画像コーディング装置のコーディングモードを規定する第３の規則（Ｖ３）に基づき形成されており、
ｅ）第２の規則は第３の規則とは逆の第３の規則であることによって、第２の規則は形成されている、
ことを特徴とする。

装置は更に処理ユニットを有しており、この処理ユニットは、上述の方法の複数のステップの内の少なくとも一つを実現及び実施できるように構成されている。

装置の利点は方法の利点と同様である。

最後に、画像コーディング装置（ＥＮＣ）及び／又は画像デコーディング装置における、上記において説明したステップの内の一つによる方法の使用又は上述の実施の形態の内の一つによる装置の使用は本発明の一部である。これによって、本発明及びその発展形態を有利に実現及び実施することができる。

本発明及びその発展形態を図面に基づき詳細に説明する。

画像データを圧縮するための、従来技術から公知のエンコーダを示す。 圧縮された画像データを伸長するための、従来技術から公知のデコーダを示す。 画像コーディング装置に関する第１の実施例を示す。 画像デコーディング装置に関する第１の実施例を示す。 標準Ｈ．２６４／ＡＶＣによるＩＮＴＲＡ予測モードを示す。 標準Ｈ．２６４／ＡＶＣによるＩＮＴＲＡ予測モードを示す。 参照画像メモリに格納するための圧縮された画素及び圧縮されていない画素を示す。 二つの参照画像を用いる別の実施例を示す。

図面において、同一の機能及び作用を有している要素には同一の参照符号を付している。

図１及び図２には、従来技術による、画像をコーディングするためのエンコーダ及び画像をデコーディングするためのデコーダが示されている。図１及び図２に関しては冒頭で詳細に説明したので、ここでは冒頭の説明を参照されたい。

下記において、再構成された画像ＲＢＤの少なくとも一つの画像領域ＢＲとは、例えば再構成された画像ブロックＲＢＣと解される。更に、参照画像の少なくとも一つの画像領域とは、例えば参照画像ブロックと解される。また、参照画像メモリはメモリユニットＳＲＢとも称する。

一般的に、エンコーダ及びデコーダは、種々の予測コーディングモードを実現するために参照画像メモリを使用する。図１及び図２において紹介したコーディングモードはＩＮＴＥＲコーディングモードである。このＩＮＴＥＲコーディングモードでは、時間的に以前にコーディングされ、またデコーディング若しくは再構成された画像の再構成された画像内容が、目下コーディングすべき、若しくはデコーディングすべき画像の予測に使用される。従来技術においては、多数の予測コーディングモード若しくは対応するデコーディングモードが開示されているので、ここでは詳細には検討しない。

図３には、画像コーディング装置ＥＮＣが概略的に示されている。この画像コーディング装置ＥＮＣを以下ではエンコーダと称する。エンコーダＥＮＣは複数の画像ブロックＢＢを有する画像から出力信号ＡＳを形成する。その機能は図１に示した装置の機能に類似する。ここでは、再構成された画像ブロックＲＢＭの同義語として、再構成された画像ＲＢＤの画像領域が使用され、また、再構成されて圧縮された画像ブロックＲＢＣの同義語として、圧縮されたデータＫＤＡＴが使用される。再構成された画像は、その画像に属する再構成された全ての画像ブロックを含んでいる。

選択ユニットＡＳＥは複数のコーディングモードＭ１，Ｍ２から、所定の画像品質において出力信号を記憶するための所要メモリスペースを最小にする、若しくは、コーディング後に各画像ブロックを記憶するための所定の所要メモリスペースにおいて、画像ブロックに対応する再構成された画像ブロックの画像品質を最高にするコーディングモードを選択する。各コーディングモードＭ１，Ｍ２は、画像ブロックのコーディングを説明する、考えられる複数の第３の規則Ｖ３の内の一つをそれぞれ表している。これと同様に、各コーディングモードＭ１，Ｍ２に関して、第３の規則の逆の第３の規則Ｖ３Ｉがそれぞれ一つずつ存在しており、この逆の第３の規則Ｖ３Ｉはコーディングされた画像ブロックのデコーディングを規定する。

図１による第３の規則Ｖ３の例：
−参照画像ブロックＲＢＢを参照部分画像ＲＥＦＴから選択する；
−画像の画像ブロックＢＢから参照画像ブロックを減算することによって差分画像ブロックＢＤを形成する；
−コサイン変換によって差分画像ブロックＢＤから変換係数ＴＫを生成する；
−量子化によって変換係数ＴＨから量子化された変換係数ＴＱを生成する。

図１又は図２による第３の規則の逆の第３の規則Ｖ３Ｉの例：
−量子化された変換係数ＴＱから逆量子化によって再構成された変換係数ＴＫＲを生成する；
−再構成された変換係数ＴＫＲから逆変換によって再構成された差分画像ブロックＢＤＲを生成する；
−参照画像ブロックＲＢＢと再構成された差分画像ブロックＢＤＲとを加算することによって再構成された画像ブロックＲＢＭを生成する。

図３に示されているように、選択されたコーディングモードと結合された第３の規則Ｖ３が第１の規則として画像圧縮ユニットＰＣに伝送される。画像圧縮ユニットは再構成された画像ブロックＲＢＭをこの第１の規則に従い圧縮する。第１の規則は第３の規則と同一のものであるか、又は第３の規則に由来するものである。これに関する例：
−第３の規則がＩＮＴＲＡコーディングモードを表す場合には、同一のＩＮＴＲＡコーディングモードが第１の規則に使用される。
−第３の規則が、（ｉ）コーディングすべきマクロブロック／画像ブロックは「スキップ」信号によって動きベクトル無しでコーディングされ、且つ、（ｉｉ）参照画像はＩＮＴＲＡコーディングモードによってコーディングされるコーディングモードを表す場合、第１の規則として、参照画像のコーディングに使用されたＩＮＴＲＡコーディングモードによって、コーディングすべきマクロブロック／画像ブロックが使用されるコーディングモードが提供される；
−第３の規則が画像ブロック／マクロブロックに関して、所属の動きベクトルを用いるＩＮＴＥＲコーディングモードを使用する場合には、再構成された画像ブロック／マクロブロックの圧縮のために、第１の規則として第３の規則が代用される。即ち、画像圧縮ユニットは再構成された画像ブロックを圧縮するために、第３の規則及び同一の動きベクトルによるＩＮＴＥＲコーディングモードも使用する。

再構成された画像ブロックＲＢＭを圧縮することによって、圧縮されたデータＫＤＡＴが生成される。圧縮されたデータは、再構成された画像ブロックの参照画像内の位置、若しくは再構成された複数の画像ブロックを表す再構成された画像ＲＢＤ内の位置を表す位置情報ＡＰＯＳと共に格納される。これによって、再構成された画像ブロックのような、コーディングされた単位を発見することができる。参照画像内の特定の画像領域へのアクセスを実現するために、参照画像メモリにはテーブルＴＡＢが設けられており、このテーブルＴＡＢは、再構成すべき画像ブロックに属する、若しくは、再構成された画像における画像領域に属する圧縮されたデータがメモリのどの位置において発見できるかを示す。圧縮されたデータが伸長ユニットによる一義的な伸長を実現できない場合、圧縮されたデータにインデクスＩＮＸを添付し、参照画像メモリに格納することができる。インデクスＩＮＸは第１の規則及び／又は第２の規則を一義的に識別するための識別子を含んでいる。従って、伸長ユニットはインデクスＩＮＸに基づき第２の規則Ｖ２を求め、圧縮されたデータＫＤＡＴから参照部分画像ＲＥＦＴを求めることができる。択一的に、インデクスをテーブルＴＡＢに格納することができる。

画像圧縮ユニットＰＣ、画像伸長ユニットＰＤ及び参照画像メモリＳＲＢは、装置ＳＶとも称される圧縮モジュールＸＣに統合されている。

上記の例においては、第１の規則を第３の規則から直接的に得ることができた。第１の規則の第３の規則への対応付けが一義的でない場合には、出力信号にインデクスＩＮＸを有する情報フィールドを付加的に挿入することができる。このインデクスＩＮＸは第１の規則を明示的にシグナリングすることができる。

図４には、下記においてはデコーダと称する、画像伸長ユニットＤＥＣにおいて本発明を使用するための構成が示されている。出力信号が図２と同様に受信されて、処理される。この概念は図３と同様に使用される。複数のユニット、即ち、画像圧縮ユニットＰＣ、画像伸長ユニットＰＤ及び参照画像メモリＳＲＢを備えている圧縮モジュールは図３に関して説明したものと同様に動作する。図３によるエンコーダとは異なり、デコーダにおいてはコーディングモードの選択は独立して行われない。むしろ、出力信号における情報フィールドを用いて、例えばインデクスＩＮＸを用いて第３の規則が明示的にデコーダに通知されるか、又は、第３の規則の特別な構成がエンコーダ又はデコーダにおいて明示的に設定されるか、又は、デコーダは第３の規則を出力信号から、例えば画像ブロックのコーディングに使用されるコーディングモード又は画像内容に基づき問題なく導出することができる。第３の規則から逆の第３の規則を一義的に導出することができる。エンコーダ及びデコーダが同一の画像ブロックの圧縮及び伸長のために、同一の第３の規則若しくは逆の第３の規則を使用する場合には非常に有用である。そうでない場合にはコーディング方式係数も考えられる。

一つの別の実施例においては、ＩＮＴＲＡ予測が画像圧縮ユニット若しくは画像伸長ユニットによって使用される。ＩＮＴＲＡ予測は、圧縮すべき画像ブロックが、この圧縮すべき画像ブロックと同一の画像において再構成された画像の一部によって予測され、それにより生じたエラー信号が予測に関する情報、例えば予測モード又は動きベクトルと共にコーディングされることを特徴とする。標準Ｈ．２６４／ＡＶＣは、以下のような９個の異なるＩＮＴＲＡ予測モードを規定している：
ＩＮＴＲＡ予測のモード 名称（カッコ内は英語標記）
モード０ 垂直（Vertical）
モード１ 水平（Horizontal）
モード２ 直流成分モード（DC-Modus）
モード３ 斜め下方左（Diagonal-Down-Left）
モード４ 斜め下方右（Diagonal-Down-Right）
モード５ 垂直右（Vertocal-Right）
モード６ 水平下方（Horizontal-Down）
モード７ 垂直左（Vertical-Left）
モード８ 水平上方（Horizontal-Up）

一例として図５ａにはモード０が示されており、図５ｂにはモード１が示されている。それらの図において、太線で縁取られている４×４の画像ブロック内には、４×４の画素を有している再構成された画像ブロックが見て取れる。モード０を適用するために、目下再構成される画像ブロックの上にある、再構成された画像ブロックの四つの画素（参照符号Ｘを参照されたい）が必要とされる。これと同様に、モード１においては、目下再構成される画像ブロックの左にある、再構成された画像ブロックの四つの画素が圧縮／伸長に必要とされる。

再構成された画像を圧縮するために、この再構成された画像が複数の画像リージョンに分割される。それらの画像リージョンは相互に独立して圧縮される。これによって、それらの画像リージョンの内の一つの画像内容を処理するだけで良いように、参照画像の画像内容にアクセスすることができる。圧縮のためのこの構成においては、複数のヴァリエーションが存在する。

ヴァリエーション１：
第１のヴァリエーションにおいては、それぞれの画像リージョン内で再構成できなかった画素は圧縮されずに参照画像メモリに格納される。つまり、例えば、専らモード０が使用される場合には、圧縮すべき再構成された画像ブロックの直ぐ上にある、１行全ての画素が圧縮されずに参照画像メモリに格納される。図６には、３×５の再構成された画像ブロックを有する画像リージョンが示されている。ここでは、画像リージョンの上において横方向に延びる行が圧縮されていない画素を表す。

一般的に、ヴァリエーション１においては、再構成された画像の別のリージョンによって生成することができる画素が圧縮されずに参照画像メモリに格納される。これによって、圧縮されて参照画像メモリにある画像リージョン内の特定の画像領域にアクセスすることができる。

ヴァリエーション２：
ヴァリエーション１のヴァリエーションにおいては、圧縮されていない画素が少なくとも部分的に圧縮されて格納される。このために、全ての画素を所定の規則に従い一列に配列することができ、またデルタコーディング又は別の差分コーディングによって圧縮することができる。

例：
画素値：１００，８０，１１５
差分コーディング後の値：１００，−２０，１５
ここでは第１の画素値はコーディングされず、後続の画素値は差分が伝送される。

ヴァリエーション３：
例えばＨ．２６４／ＡＶＣのように複数のＩＮＴＲＡ予測モードが存在する。画像リージョン毎に、その画像リージョンの再構成された全ての画像ブロックに適用される、一つの特定のモードを選択することができる。択一的に、一連の再構成された画像ブロックを圧縮するためにＩＮＴＲＡ予測モードの所定の順序も決定することができる。例えば、
モード１→モード０→モード１→モード０→・・・

この場合、第１の再構成された画像ブロックがモード１によって圧縮され、第２の再構成された画像ブロックがモード０によって圧縮され、第３の再構成された画像ブロックがモード１によって圧縮され、以下同様に行われる。モードの順序を参照画像メモリに格納することができ、これによって圧縮の個別化が達成される。

ヴァリエーション４：
ＩＮＴＲＡ予測モードの他に、参照情報無しに一つの画像ブロックをコーディングするＩＮＴＲＡコーディングモードも存在する。従って、このヴァリエーションにおいては、ＩＮＴＲＡ予測モード０−８以外のＩＮＴＲＡコーディングモードがモード９と称される。

第１のステップにおいては、モード０から９の内のどのモードが、所要メモリを考慮して、コーディングモードをシグナリングするために、また、それぞれのモードに必要とされる、画像リージョンによって求めることができない画素を記憶するために、最小所要メモリスペースを有しているかが決定される。

第２のステップにおいては、所要メモリスペースが最小であるモードに基づいて、再構成された各画像ブロックの圧縮によって圧縮されるデータが、伸長に必要とされる情報と共に参照画像メモリに格納される。この情報には、画像リージョンによって再構成することができない画素及びモードに関する記述が属する。

このヴァリエーションにおいては、ＩＮＴＲＡコーディングモードも考慮されるので、圧縮されたデータを記憶するための所要メモリスペースが最小にされる。

ヴァリエーション５：
一つの別のヴァリエーションにおいては、画像圧縮ユニットが、ＩＮＴＲＡ予測及び／又はＩＮＴＲＡコーディングモードによって生成されるデータの量子化も実施することができる。量子化係数を暗示的に決定できない場合には、その量子化係数が参照画像メモリに格納される。

ヴァリエーション６：
一つの別のヴァリエーションでは、画像圧縮ユニットが、例えばスライスの形態である、画像リージョンに関する標準互換データストリームを生成し、その標準互換データストリームを参照画像メモリに格納することができる。

上述のヴァリエーションを少なくとも部分的に組み合わせることができる。エンコーダとデコーダとの間のドリフトを回避するため又は最小にするために、それぞれのヴァリエーションにおいて、圧縮されたデータに追加して参照画像メモリに格納される情報を出力信号に挿入し、エンコーダからデコーダに伝送することができる。

一つの別の実施例においては、その都度二つの参照画像が参照画像メモリに格納される。第１の参照画像はＩＮＴＲＡ予測を用いて圧縮されて参照画像メモリに格納される。第２の参照画像はＩＮＴＥＲコーディングモードを用いて圧縮されて参照画像メモリに格納される。再構成された各画像ブロックに関して、参照画像メモリに格納された第１の参照画像において参照画像ブロックがサーチされる。有利には、この参照画像ブロックサーチにおける動きベクトルは０に選択され、それにより、圧縮されたデータの他に、少数の情報だけが参照画像メモリに格納されることになる。ここでもまた、エンコーダ及びデコーダにおける画像圧縮ユニット乃至画像伸長ユニットがそれぞれの参照画像を同じやり方で圧縮乃至伸長しなければならない。このヴァリエーションの一つの構成においては、偶数個の再構成された画像がＩＮＴＲＡ予測を用いて圧縮されて参照画像メモリに格納され、また奇数個の再構成された画像がＩＮＴＥＲコーディングモードを用いて圧縮されて参照画像メモリに格納される。

一つの別の実施例においては（図７を参照されたい）、いずれもＩＮＴＲＡ予測として参照画像メモリに格納されている二つの参照画像からそれぞれ一つの参照部分画像ＲＥＦＴ１，ＲＥＦＴ２を選択することができる。この図においては、破線で示された領域Ｃがメモリ内の圧縮されていない再構成された画像データを表している。つまり、再構成された画像ブロックの画素Ｘの内の少なくとも幾つかの画素は、後に処理すべき再構成された画像ブロックの圧縮のために、メモリに中間記憶される。例えば動き評価ユニットＭＥ又は動き補償ユニットＭＣに関して、参照部分画像の部分領域への単純なアクセスを実現するために、複数の参照画像の各々に関して少なくとも一部が参照部分画像ＲＥＦＴ１，ＲＥＦＴ２として、それぞれの画像伸長ユニットＰＤ１，ＰＤ２によってメモリに供給される。図７には、参照部分画像毎に、マクロブロック行ＭＬ０，ＭＢ１及びＭＢ２がメモリに格納される。単一のインスタンスを画像伸長ユニットに提供できる以外に、例えばＰＤ１，ＰＤ２のような複数のインスタンスも提供することは有利であると考えられる。このことは、各参照部分画像を並行して伸長できるという利点を有している。検出された画像データがそれぞれの画像伸長ユニット乃至画像圧縮ユニットによってもはや必要とされない場合、それらの画像データをメモリから消去することができる。この消去を一つの構成においては、スライド窓（Sliding Window）のようにして行うことができる。

参照画像メモリに格納されるべき参照画像の数をエンコーダとデコーダとの間でシグナリングすることができる。

文献リスト
[1] JCTVC-B103: "Reference frame compression using image coder", ISO/IEC Document: JCTVC-B103, 2nd Meeting: Geneva CH, 21-27 July, 2010, Chong Soon Lim著
[2] JCTVC-B089: "Compressed Reference Frame Buffers (CRFB)" ISO/IEC Document: JCTVC-B089, 2nd Meeting: Geneva, CH, 21-28 July, 2010, Mehmet Umut Demircin等著
[3] JCTVC-B090: "ALF memory compression and IBDI /ALF coding efficiency test results in TMuC-0.1", JSO/IEC, Document JCTVC-B090, Madhukar Budagavi著
[4] JCTVC-B057: "DPCM-based memory compression", ISO/IEC Do cument JCTVC-B057, 2nd Meeting: Geneva, CH, 21-28 July, 2010, Hirofumi Aoki著

Claims (15)

1. 画像コーディング装置（ＥＮＣ）又は画像デコーディング装置（ＤＥＣ）によって生成される、再構成された画像（ＲＢＤ）の少なくとも一つの画像領域（ＢＲ）を記憶し、前記画像コーディング装置（ＥＮＣ）又は前記画像デコーディング装置（ＤＥＣ）のために参照画像（ＲＥＦ）として前記少なくとも一つの画像領域（ＢＲ）を提供する方法であって、
   ａ）前記少なくとも一つの画像領域（ＢＲ）を第１の規則（Ｖ１）に基づき、圧縮されたデータ（ＫＤＡＴ）に圧縮するステップと、
   ｂ）前記圧縮されたデータ（ＫＤＡＴ）を記憶するステップと、
   ｃ）前記圧縮されたデータ（ＫＤＡＴ）を第２の規則（Ｖ２）に基づき前記少なくとも一つの画像領域（ＢＲ）に伸長するステップと、
   を備えている方法において、
   ｄ）前記第１の規則（Ｖ１）は、前記画像コーディング装置（ＥＮＣ）のコーディングモード（Ｍ１）を規定する第３の規則（Ｖ３）に基づき形成されており、
   ｅ）前記第２の規則（Ｖ２）を前記第３の規則（Ｖ３）とは逆の第３の規則（Ｖ３Ｉ）として選択することによって、前記第２の規則（Ｖ２）は形成されている、
   ことを特徴とする、方法。
2. 前記圧縮されたデータ（ＫＤＡＴ）を、前記第１の規則（Ｖ１）又は前記第２の規則（Ｖ２）を一義的に識別するための識別子を含んでいるインデクス（ＩＮＸ）と共に、参照画像メモリに記憶する、
   請求項１に記載の方法。
3. 前記圧縮されたデータ（ＫＤＡＴ）を、（ｉ）前記画像コーディング装置（ＥＮＣ）によって形成される、及び／又は、（ｉｉ）前記画像デコーディング装置（ＤＥＣ）によって受信される、出力データストリームを形成するためのシンタクスに従い記憶する、
   請求項１に記載の方法。
4. 前記再構成された画像（ＲＢＤ）の複数の画像領域（ＢＲ）を一つの画像リージョンに統合し、同じ前記再構成された画像（ＲＢＤ）の別の画像リージョンに依存せずに伸長できるものとして記憶する、
   請求項１乃至３のいずれか一項に記載の方法。
5. 前記画像リージョンのそれぞれの画像領域（ＢＲ）を、単一の第１の規則（Ｖ１）に従い圧縮するか、又は、一連のそれぞれの第１の規則（Ｖ１）に従い圧縮する、
   請求項４に記載の方法。
6. 前記画像リージョンの画像領域（ＢＲ）の内の少なくとも幾つかの画像領域をＩＮＴＲＡ予測モードによって圧縮し、
   （ｉ）前記画像リージョンの少なくとも一つの画素を再構成するために必要であり、且つ、（ｉｉ）前記画像リージョンとは異なる画像リージョンによってのみ求めることができる第１の画素を、前記画像リージョンの前記圧縮されたデータ（ＫＤＡＴ）に追加して記憶する、
   請求項４又は５に記載の方法。
7. 前記第１の画素を一つの規則に従い、特にデルタコーディングに従い圧縮して記憶する、
   請求項６に記載の方法。
8. 前記画像リージョンの画像領域（ＢＲ）の内の少なくとも一つの画像領域（ＢＲ）を、前記ＩＮＴＲＡ予測モードによって圧縮する代わりに、ＩＮＴＲＡコーディングモードによって圧縮する、
   請求項６又は７に記載の方法。
9. （ｉ）少なくとも二つの異なるＩＮＴＲＡ予測モードによって、又は、（ｉｉ）少なくとも一つのＩＮＴＲＡ予測モード及びＩＮＴＲＡコーディングモードによって形成された複数のモードから、前記圧縮すべき画像領域（ＢＲ）に関して所要記憶スペースが最小となるモードを選択する、
   請求項６又は７に記載の方法。
10. 前記ＩＮＴＲＡ予測モードに使用される量子化パラメータを記憶する、
    請求項６乃至９のいずれか一項に記載の方法。
11. 少なくとも二つの再構成された画像（ＲＢＤ）を記憶し、但し、該少なくとも二つの再構成された画像の内の第１の画像はＩＮＴＲＡ予測モード及び／又はＩＮＴＲＡコーディングモードによって圧縮され、
    前記少なくとも二つの再構成された画像の内の、前記第１の再構成された画像に時間的に続き、且つ、前記第１の再構成された画像を参照する動きベクトルを有している第２の再構成された画像はＩＮＴＥＲコーディングモードによって圧縮される、
    請求項１乃至３のいずれか一項に記載の方法。
12. 前記第１の規則（Ｖ１）を前記第３の規則（Ｖ３）に基づき、以下のステップの内の一つによって形成する：
    ・前記第３の規則がＩＮＴＲＡコーディングモードを表す場合には、前記第１の規則を同じＩＮＴＲＡコーディングモードによって形成するステップ、又は、
    ・前記第３の規則が、（ｉ）コーディングすべきマクロブロック／画像ブロックが「スキップ」信号によって、即ち、動きベクトル無しでコーディングされており、且つ、（ｉｉ）前記コーディングすべきマクロブロック／画像ブロックの参照画像がＩＮＴＲＡコーディングモードによってコーディングされているコーディングモードを表す場合、前記第１の規則に対して、前記参照画像のコーディングに使用されるＩＮＴＲＡコーディングモードを選択するステップ、又は、
    ・前記第３の規則が前記マクロブロック／画像ブロックに関して、所属の動きベクトルを有するＩＮＴＥＲコーディングモードを使用する場合、前記第３の規則と同じ第１の規則を選択し、前記第３の規則のＩＮＴＥＲコーディングモードに対しても前記第１の規則のＩＮＴＥＲコーディングモードに対しても同じ動きベクトルを選択するステップ、
    請求項１乃至３のいずれか一項に記載の方法。
13. 前記画像コーディング装置（ＥＮＣ）における方法と前記画像デコーディング装置（ＤＥＣ）における方法とを同期させるために、
    ・前記再構成された画像（ＲＢＤ）の前記画像領域（ＢＲ）に関する、又は前記再構成された画像（ＲＢＤ）の画像リージョンに関する、前記第１の規則（Ｖ１）又は前記第２の規則（Ｖ２）を一義的に識別するための識別子を含んでいるインデクス（ＩＮＸ）、乃至は、
    ・ＩＮＴＲＡ予測モード又はＩＮＴＲＡコーディングモードにおいて前記画像領域の内の少なくとも一つを圧縮するために使用される量子化係数、
    の内の少なくとも一つを前記画像コーディング装置（ＥＮＣ）と前記画像デコーディング装置（ＤＥＣ）との間でシグナリングする、
    請求項１乃至１２のいずれか一項に記載の方法。
14. 画像コーディング装置（ＥＮＣ）又は画像デコーディング装置（ＤＥＣ）によって生成されている、再構成された画像（ＲＢＤ）の少なくとも一つの画像領域（ＢＲ）を記憶し、前記画像コーディング装置（ＥＮＣ）又は前記画像デコーディング装置（ＤＥＣ）のための参照画像（ＲＥＦ）としての少なくとも一つの画像領域（ＢＲ）を提供する装置（ＳＶ）であって、
    ａ）前記少なくとも一つの画像領域（ＢＲ）を第１の規則（Ｖ１）に基づき、圧縮されたデータ（ＫＤＡＴ）に圧縮する画像圧縮ユニット（ＰＣ）と、
    ｂ）前記圧縮されたデータ（ＫＤＡＴ）を格納するメモリユニット（ＳＲＢ）と、
    ｃ）前記圧縮されたデータ（ＫＤＡＴ）を第２の規則（Ｖ２）に基づき前記少なくとも一つの画像領域（ＢＲ）に伸長する画像伸長ユニット（ＰＤ）と、
    を備えている装置において、
    ｄ）前記第１の規則（Ｖ１）は、前記画像コーディング装置（ＥＮＣ）のコーディングモード（Ｍ１）を規定する第３の規則（Ｖ３）に基づき形成されており、
    ｅ）前記第２の規則（Ｖ２）は前記第３の規則（Ｖ３）とは逆の第３の規則（Ｖ３Ｉ）であることによって、前記第２の規則（Ｖ２）は形成されている、
    ことを特徴とする、装置（ＳＶ）。
15. 更に処理ユニット（ＶＭＩＴ）を有しており、該処理ユニットは、請求項２乃至１３のいずれか一項に記載の方法を実施する、
    請求項１４に記載の装置（ＳＶ）。

Images