JP5698382B2 - ビデオコーダにおける参照イメージの圧縮及び伸長方法 - Google Patents

Description

本発明は、第１のフレームデータを変換するための方法及び装置に関する。

符号化すべきフレームフォーマットはこの数年間で、例えば新たな形式の記録システムの導入などにより、絶えず大きくなってきた。殊に目下のところ、過去５０年にわたりヨーロッパで用いられてきたフレームサイズ６２５ｘ５７６画素のテレビジョン伝送システムＰＡＬ（Phase Alternation Line方式）から、１９２０ｘ１０８０画素もしくは１２８０ｘ７２０画素のＨＤＴＶ（High Definition Television 高品位テレビジョン）への置き換えが行われている。将来、新規のテレビジョンシステムにおいてさらに大きいフレームフォーマットの導入が予期される。

高品位テレビジョンならびに将来のシステムは、例えばインターネットまたは移動無線チャネルなどを介してできるようフレームシーケンスを圧縮するために、ディジタル圧縮方式を用いる。ただしフレームフォーマットサイズの拡大によって、ビデオデータシーケンスの圧縮に必要とされる計算パワーならびにその際に必要とされる所要メモリが著しく増大する。その結果として、メモリと圧縮方式を実行する計算ユニットとの間のデータ伝送も著しく増えることになる。

そこで、ワーキングループ例えばJoint Collaborative Team on Video Coding (JCT-VC)、ITUとISO/IEC (ITU - International Telecommunication Union, ISO - International Standardization Organisation, IEC - International Electrotechnical Commission) の共同によるワーキンググループなどが、圧縮率の改善についてだけでなく、個々のコーデックの参照フレームバッファにビデオフレームを効率的に格納し、リソースを節約するかたちでアクセスできるようにするための標準化方式についても取り組んでいる。

図１には、参照フレームバッファＳＲＢを備えた公知のフレームシーケンス圧縮装置が示されている。この場合、例えばインターフレームコーディングとしても知られている予測符号化によって、フレームが符号化される。複数のフレームのうちの１つが例えば１６ｘ１６画素のフレームブロックＢＢに分解され、ついでそれらがブロックごとに符号化される。ついでフレームブロックのうちの１つについて、フレームブロックのフレーム内容推定の良好な基礎を成す参照フレームブロックＲＢＢが、参照フレームＲＥＦ内でサーチされる。この目的で、フレームブロックが動き推定ユニットＭＥに供給され、このユニットは、フレーム伸長ユニットＰＤによるフレーム伸長後に参照フレームＲＥＦの一部分を含む参照サブフレームＲＥＦＴに基づき、参照フレームブロックを参照サブフレームから選択し、選択された参照フレームブロックが動きベクトルＭＶによって動き補償ユニットＭＣへ通知される。動き補償ユニットは、参照フレームと動きベクトルとに基づき、参照フレームブロックを供給する。

次のステップにおいて、フレームブロックＢＢから参照フレームブロックＲＢＢを減算することにより、差分フレームブロックＢＤが生成される。次にこの差分フレームブロックに対し変換ユニットＴにおいて、例えば離散コサイン変換などによって変換が行われる。 変換ユニットＴの出力側には変換係数ＴＫが発生し、ついでこの変換係数ＴＫは量子化のため量子化ユニットＱへ供給される。量子化ユニットＱの出力側には量子化された変換係数ＴＱが発生し、この変換係数ＴＱは、エントロピー符号化ユニットＥＣによりエントロピー符号化され、出力信号に変換される。

フィードバックループにおいて、量子化された変換係数ＴＱは逆量子化ユニットＩＱによる逆量子化によって、復元された変換係数ＴＫＲに変換される。復元されたこれらの変換係数ＴＫＲは、逆変換ユニットＩＴによる逆変換によって、復元された差分フレームブロックＢＤＲに変換される。次のステップにおいて、復元された差分フレームＢＤＲと参照フレームブロックＲＢＢの加算により、復元されたフレームブロックＲＢＭが生成される。

比較的以前の符号化方式の場合、復元されたフレームブロックが参照フレームバッファにダイレクトに書き込まれる。目下標準化作業が行われている方式によれば、復元されたフレームブロックのデータ容量を低減するため、フレーム圧縮ユニットＰＣにより最初にフレーム圧縮が行われ、これによって復元されたフレームブロックのデータ容量が著しく低減される。次に、フレーム圧縮ユニットＰＣにより発生した圧縮され復元されたフレームブロックＲＢＭが参照フレームバッファに格納される。動き推定ユニット及び動き補償ユニットが必要とするフレームデータへアクセスできるようにする目的で、参照フレームＲＥＦもしくは参照フレームの特定のフレーム部分が要求されると、まずは圧縮された個々の復元フレームブロックが参照フレームバッファＳＲＢから読み出され、フレーム伸長ユニットＰＤによるフレーム伸長によって、参照サブフレームＲＥＦＴに変換される。

図２には、図１に示したエンコーダに対応するデコーダが示されている。この場合、出力信号ＡＳはエントロピー復号ユニットＥＤによって、量子化された変換係数ＴＱに復号される。さらに量子化された変換係数は逆変換ユニットＩＱにより、復元された変換係数ＴＫＲに逆量子化される。ついで復元された変換係数ＴＫＲが逆情報ユニットＩＴによって、復元された差分フレームブロックＢＤＲに逆変換される。

出力信号のほか、とりわけ個々の動きベクトルＭＶもデコーダへ伝達される。デコーダは、動きベクトルＭＶから参照サブフレームＲＥＦＴを用いて、動き補償ユニットＭＣにより参照フレームブロックＲＢＢを求め、これが復元された差分フレームブロックと加算されて、復元されたフレームブロックＲＢＭに変換される。

復元されたフレームブロックＲＢＭは、例えばディスプレイで再生可能である。次に、復元されたフレームブロックＲＢＭはフレーム圧縮ユニットＰＣによる圧縮によって、圧縮された復元フレームブロックＲＢＣに変換され、ついでこれは参照フレームバッファＳＲＢに格納される。参照フレームバッファに格納された圧縮された復元フレームブロックは、フレーム伸長ユニットＰＤにより伸長されて参照サブフレームが形成される。

文献［１］には、損失のないフレーム圧縮方式／フレーム伸長方式について記述されている。これによれば浮動小数点ＤＣＴ変換（DCT - Discrete Cosiunus Transformation）し、変換後に２次元で配置される係数を１次元表現でスキャンした後、ビットプレーン符号化が実行される。

文献［２］による方式では、メモリアクセス帯域幅低減技術が提案されている。この文献によれば、変換と量子化のほか、フレーム圧縮ユニットＰＣのためのＤＣ予測とエントロピー符号化もしくはフレーム伸長ユニットＰＤのためのこれとは逆のステップが提案されている。

さらに文献［３］には、デブロッキングフレームメモリ（deblocking frame memory）の前後におけるフレームデータの圧縮もしくは伸長におけるテスト結果が呈示されている。

さらに文献［４］には、１次元のＤＰＣＭベースのフレームメモリ圧縮方式（DPCM - discrete pulse code modulation）について述べられている。

少なくとも文献［１］と［４］において提案されている圧縮方式は、損失がない。

本発明の課題は、フレーム圧縮ユニットによる圧縮もしくはフレーム伸長ユニットによる伸長を、従来技術よりも向上させることのできる方法及び装置を提供することにある。

この課題は独立請求項に記載された発明により解決される。本発明の発展形態は従属請求項に記載されている。

本発明は、第１のフレームデータを変換するための方法に関する。この場合、第１のフレームデータは、フレーム圧縮ユニットにより圧縮されて参照フレームバッファに格納され、参照フレームバッファから呼び出されると、フレーム伸長ユニットにより伸長されて第２のフレームデータが生成される。この場合、フレームデータは、フレーム圧縮ユニットの圧縮率の上昇が生じるよう、圧縮前に圧縮フィルタを使って変換される。

既存の符号化方法の場合、フレーム圧縮ユニットは損失なく動作することが多い。圧縮フィルタの適用により、イメージディテールの損失を圧縮フィルタのフィルタパラメータによって、フレーム圧縮ユニットを介在させることなく制御することができる。その際にやはり有利であるのは、圧縮フィルタの構成をフレーム圧縮ユニットの特性に合わせて個別に整合可能なことである。

圧縮フィルタは、少なくとも以下のパラメータのうち１つのパラメータに依存して形成されると有利である。
−第１のフレームデータの符号化に用いられた符号化モード
−第１のフレームデータの符号化に用いられた量子化パラメータ
−第１のフレームデータの予測符号化に用いられた動きベクトル
これらのパラメータのうち少なくとも１つのパラメータに依存して圧縮フィルタを制御することによって、圧縮の向上を実現することができる。なぜならば、固有の符号化モード、適用された量子化パラメータ、使用された動きベクトルなど、第１のフレームデータ固有の特性によって圧縮フィルタを制御できるからである。

本発明の１つの有利な実施形態によれば圧縮フィルタは、例えば量子化に起因して第１のフレームに含まれる量子化ノイズの抑圧を伴うサブバンドフィルタとして形成される。このようにしてフレーム圧縮ユニットにおける圧縮を改善することができ、これによれば著しく煩雑なやり方でしか符号化できないイメージ内容例えばシャープなエッジのライン、量子化ノイズのような「無駄な」イメージ内容がフィルタリングされ、これによりそのようなイメージ内容をいっそう効率的に圧縮することができる。

有利には、圧縮フィルタは一連の複数のオプションの中から決定される。すなわち、まえもって定められた第１のフレームデータのデータレートにおいて誤差関数を最適化するフィルタが選択され、つまり決められたデータレートにおいて圧縮フィルタを用いた圧縮により誤差が最小化されるように選択される。したがって、所定のデータレートにおいて著しく良好なイメージ品質を実現する圧縮フィルタだけが採用される。これと同様に、品質を維持したまま最も低いデータレートを生じさせるフィルタが選択されるように、この実施形態を実現することもできる。

有利には、第２のフレームデータは、伸長ユニットによる伸長実行後、復号されたフレームデータに対し伸長フィルタ処理を行うことによって生成される。この場合、伸長フィルタによって圧縮フィルタとは逆のステップが実行される。

本発明によるこの実施形態によって、第１のフレームデータの鮮明度だけを低減する圧縮フィルタを用いることもできる。この目的で、フレーム伸長ユニットによる伸長実行後、復号されたフレームに対し伸長フィルタ処理を行うようにして、第２のフレームデータを生成することができ、その際に圧縮フィルタと伸長フィルタは以下のオペレーションのうち少なくとも１つのオペレーションを実行する。すなわち、
−圧縮フィルタにより、第１のフレームデータの第１の画素数を低減し、伸長フィルタにより、第１の画素数と、第２のフレームデータの第２の画素数が同じ値をとるよう、第２の画素数を増加するオペレーション。
−圧縮フィルタにより、第１のフレームデータの画素の第３のビットプレーン数を低減し、伸長フィルタにより、第１の画素数と第２の画素数とが同じ値をとるよう、第２のフレームデータの画素の第４のビットプレーン数を増加するオペレーション。

この拡張によって、第１のフレームデータを殊に効率的に変換することができ、その結果、フレーム圧縮ユニットによる圧縮を著しく効率的に実行することができる。

本発明は、第１のフレームデータを変換する装置にも関する。この場合、第１のフレームデータは、フレーム圧縮ユニットにより圧縮されて参照フレームバッファに格納され、このバッファから呼び出されると、フレーム伸長ユニットにより伸長されて第２のフレームデータが生成される。この装置はフレームデータを変換するための圧縮フィルタを有しており、このフィルタは、フレーム圧縮ユニットにおいて圧縮率が高められるよう、第１のフレームデータを圧縮前に変換する。この装置の利点は、対応する方法の請求項から読み取ることができる。

有利であるのはこの装置に、第２のフレームデータを生成するための伸長フィルタを加えることである。これによればフレーム伸長ユニットによる伸長実行後、復号されたフレームデータに対し伸長フィルタによる処理が行われ、その際、この伸長フィルタは圧縮フィルタとは逆に動作する。この拡張の利点は、対応する方法の請求項から読み取ることができる。

次に、図面を参照しながら本発明及び本発明の有利な実施形態について詳しく説明する。

フレームデータを圧縮するための従来技術から公知のエンコーダを示す図 圧縮されたフレームデータを伸長するための従来技術から公知のデコーダを示す図 本発明の第１の実施形態を成す変形された第１のエンコーダを示す図 本発明の第１の実施形態を成す変形された第１のデコーダを示す図 本発明の第２の実施形態を成す変形された第２のエンコーダを示す図 本発明の第２の実施形態を成す変形された第２のデコーダを示す図

図中、同じ機能と働きを有する素子には同じ参照符号が付されている。

図１及び図２には、従来技術によるフレーム圧縮ユニットＰＣとフレーム伸長ユニットＰＤを利用したやり方が示されている。図１及び図２については冒頭で詳しく説明したので、冒頭の説明を参照されたい。

図３には変換方法に関する第１の実施例が示されており、図３にはこの方法を実施するための装置ＤＥＶも示されている。図３が図１と異なる点は、フレーム圧縮ユニットＰＣの直前に圧縮フィルタＣＦが信号処理ラインに組み込まれていることである。第１のフレームデータとも称する復元されたフレームブロックＲＢＭは、変換ないしはフィルタリングのために圧縮フィルタＣＦへ供給される。変換実施後、圧縮フィルタＣＦの出力側には、第１のフレームデータＲＢＭが変更された第１のフレームデータＲＢＭＸとして送出される。次に、変更された第１のフレームデータはフレーム圧縮ユニットＰＣへ供給され、変更された第１のフレームデータが圧縮されて、圧縮された復元フレームブロックＲＢＣが形成される。その後、圧縮された復元フレームブロックＲＢＣは、参照フレームバッファＳＲＢに格納される。参照フレームバッファのデータを読み出して処理するために、圧縮された個々の復元フレームブロックＲＢＣがフレーム伸長ユニットＰＤへ供給され、フレーム伸長ユニットＰＤはそれらのブロックから、参照サブフレームＲＥＦＴの伸長により参照サブフレームＲＥＦＴ（以下では第２のフレームデータとも称する）を生成する。図３のその他のステップは、図１のステップと同様であるので、それらのステップについてはここではこれ以上言及しない。

図４には、例えばデコーダもしくはデコーディング方法に本発明を適用した実施例が示されている。この場合、図４による構造は、１つの変更点を除き図２による構造と同じである。図２とは異なり図４の場合、フィードバックループにおいてフレーム圧縮ユニットＰＣの直前に圧縮フィルタＣＦが接続されて信号処理に加えられている。第１のフレームデータＲＢＭから、変更された第１のフレームデータＲＢＭＸが圧縮フィルタＣＦを使用することで生成される。その他のステップは図２及び図３と同様である。

図３のエンコーダ及び図４のデコーダがドリフトなく動作するよう、それぞれ図示された圧縮フィルタＣＦは双方の実施例において同じである。

圧縮フィルタＣＦは以下のように構成されている。すなわち圧縮フィルタＣＦは、フレーム圧縮ユニットの後続のステップで圧縮率の増大が得られるように、第１のフレームデータを圧縮前にフレーム圧縮ユニットにより変換する。圧縮フィルタＣＦの１つの実施例によれば圧縮フィルタＣＦは、イメージディテールを圧縮フィルタのフィルタパラメータにより制御して低減できるように構成されている。この場合、圧縮フィルタをローパスフィルタとして構成することができ、その際、限界周波数をフィルタパラメータによって設定可能であり、フィルタ特性により第１のフレームデータ中の高周波成分をフィルタリングして取り除く。高周波フレーム成分をフィルタリングによって除去することによりフレーム圧縮ユニットは、変更された第１のフレームデータを従来技術よりも高い圧縮率で圧縮することができる。１つの択一的な実施形態によれば、圧縮フィルタＣＦはサブバンドフィルタとして設計されており、このフィルタは、殊に量子化に起因して第１のフレームデータ中に含まれている量子化ノイズを抑圧しながら、第１のフレームデータの変換を実行する。

第１のフレームデータの画素数と変更された第１のフレームデータの画素数とが同一である場合、第１のフレームデータにおけるイメージ鮮明度もしくはイメージディテールの変更のほか、図５及び図６に示されているように、フォーマット低減すなわち画素数の低減も、圧縮フィルタによって実行させることができる。

この目的で図５のフィードバックループ中には、図３ですでに詳しく説明したように、圧縮フィルタＣＦ、フレーム圧縮ユニットＰＣを用いた第１のフレームデータＲＢＭの信号処理、ならびに参照フレームバッファＳＲＢにおける記憶について示されている。ここでは図３とは異なり第２のフレームデータの問い合わせ時にまずはじめに、圧縮され復元された個々のフレームブロックＲＢＣが参照フレームバッファから読み出され、修正された第２のフレームデータＲＢＣＹがフレーム伸長ユニットＰＤにより形成され、この修正された第２のフレームデータが伸長フィルタＤＦにより逆変換されて参照サブフレームＲＥＦＴが形成される。例えば圧縮フィルタＣＦは、１００ｘ１００画素である第１のフレームデータの画素サイズを、５０ｘ５０画素である修正された第１のフレームデータの画素サイズに低減する。このような画素低減は例えば２ｘ２フィルタによって実行され、このフィルタは、考察対象とする４つの画素各々の振幅値を０．２５の重み付けで乗算し、その結果として得られた重み付けられた振幅値を加算する。これにより２ｘ２の画素から、修正された第１のフレームデータの新たな画素が生成される。伸長フィルタは５０ｘ５０の画素から１００ｘ１００の画素を生成し、例えばこれは復元された画素の２ｘ２の画素の各々のポジションに１つの画素をコピーすることによって行われる。フォーマット縮小及びフォーマット拡大のためのその他の方法は、画像処理分野の当業者に知られており、ここではそれらについてはこれ以上言及しない。

図６には、図５に示した本発明によるデコーダの変形実施形態が示されている。この変形実施形態の機能は、図５による実施形態と同様である。

圧縮フィルタ及び伸長フィルタの別の実施形態において、例えば量子化により画素の振幅値が低減され、もしくは例えば逆量子化により画素の振幅値が増大される。

１つの特別な実施形態によれば、圧縮フィルタと伸長フィルタのペアは損失なく動作し、すなわち

であり、ないしはこの結合によって単位行列が生成され、ここでシンボル

は畳み込みまたは積に相応する。

これまでに挙げた実施例に加え、圧縮フィルタ及び場合によっては伸長フィルタについて、多数の実施形態が考えられる。例えば、限界周波数がそれぞれ異なる５つのローパスフィルタを選択のために設けることができる。圧縮フィルタの実施形態のうちの１つを適用する前に、個々の圧縮フィルタとフレーム圧縮ユニットにより、画像品質損失に対する圧縮率がどの程度生じるのかが、最初に求められる。この目的で、バリエーションごとにそれらに属するコスト値がコスト関数によって求められる。圧縮フィルタのすべての実施形態についてコスト値が得られた後、最も低いコスト値を達成するバリエーションが選択される。

図１〜図６に示されておりそれぞれブロックで表現されているステップもしくは手段あるいはユニットを、ソフトウェアまたはハードウェアあるいはそれらの組み合わせによって実現することができる。したがってそれらを、プログラムコードとしてプログラムメモリに格納しておくことができ、プログラムメモリと、フレームブロックまたは出力信号のようなデータの送受信のためのインタフェースとに接続されたプロセッサにより、格納されたプログラムコードを読み出して処理させることができる。

参考文献一覧
[1] JCTVC-B103: "Reference frame compression using image coder", ISO/IEC Document: JCTVC-Bl 03 , 2nd Meeting: Geneva, CH, 21-27 July, 2010 Chong Soon Lim著
[2] JCTVC-B089: "Compressed Reference Frame Buffers (CRFB) ", ISO/IEC Document: JCTVC-B089 , 2nd Meeting: Geneva, CH, 21-28 July, 2010 Mehmet Umut Demircin 等著
[3] JCTVC-B090: "ALF memory compression and IBDI/ALF coding efficiency test results in TMuC-0.1", JSO/IEC, Document: JCTVC-B090 Madhukar Budagavi著
[4] JCTVC-B057: "DPCM-based memory compression", ISO/IEC Document JCTVC-B057, 2nd Meeting: Geneva, CH, 21-28 July 2010 Hirofumi Aoki著

Claims (5)

1. 第１のフレームデータ（ＲＢＭ）がフレーム圧縮ユニット（ＰＣ）により圧縮されて参照フレームバッファ（ＳＲＢ）に格納され、該第１のフレームデータ（ＲＢＭ）が前記参照フレームバッファ（ＳＲＢ）から呼び出されると、フレーム伸長ユニット（ＰＤ）により伸長されて第２のフレームデータ（ＲＥＦＴ）が生成される、
   第１のフレームデータ（ＲＢＭ）の変換方法において、
   前記第１のフレームデータ（ＲＢＭ）を、前記フレーム圧縮ユニット（ＰＣ）の圧縮率を上昇させるように、圧縮前に圧縮フィルタ（ＣＦ）を使って変換する、
   ただし、前記圧縮フィルタ（ＣＦ）を第１のフレームデータ（ＲＢＭ）の符号化に用いられた符号化モード（Ｐ，Ｉ，Ｂ）に依存して形成する、
   ことを特徴とする、第１のフレームデータ（ＲＢＭ）の変換方法。
2. 前記フレーム伸長ユニット（ＰＤ）による伸長実行後、復号されたフレームデータに対し伸長フィルタ（ＤＦ）による処理を行うことで、前記第２のフレームデータ（ＲＥＦＴ）を生成し、ここで該伸長フィルタ（ＤＦ）により前記圧縮フィルタ（ＣＦ）とは逆のステップが実行される、請求項１記載の方法。
3. 前記フレーム伸長ユニット（ＰＤ）による伸長実行後、復号されたフレームデータに対し伸長フィルタ（ＤＦ）により処理を行うことで、前記第２のフレームデータ（ＲＥＦＴ）を生成し、ここで前記圧縮フィルタ（ＣＦ）と前記伸長フィルタ（ＤＦ）は少なくとも以下のオペレーションのうち少なくとも１つのオペレーションを実行し、すなわち、
   前記圧縮フィルタ（ＣＦ）により、第１のフレームデータ（ＲＢＭ）の第１の画素数を低減し、前記伸長フィルタ（ＤＦ）により、該第１の画素数と、前記第２のフレームデータ（ＲＥＦＴ）の第２の画素数とが同じ値をとるよう、該第２の画素数を増加するオペレーション、
   前記圧縮フィルタ（ＣＦ）により、第１のフレームデータ（ＲＢＭ）の画素の第３のビットプレーン数を低減し、前記伸長フィルタ（ＤＦ）により、前記第１の画素数と前記第２の画素数とが同じ値をとるよう、第２のフレームデータ（ＲＥＦＴ）の画素の第４のビットプレーン数を増加するオペレーション
   のうち少なくとも１つのオペレーションを実行する、
   請求項１又は２記載の方法。
4. 第１のフレームデータ（ＲＢＭ）は、フレーム圧縮ユニット（ＰＣ）によって圧縮されて参照フレームバッファ（ＳＲＢ）に格納されており、前記第１のフレームデータ（ＲＢＭ）が該参照フレームバッファ（ＳＲＢ）から呼び出されると、フレーム伸長ユニット（ＰＤ）により伸長されて第２のフレームデータ（ＲＥＦＴ）が形成される、
   第１のフレームデータ（ＲＢＭ）を変換するための装置（ＤＥＶ）において、
   前記フレーム圧縮ユニット（ＰＣ）の圧縮率が高められるように、圧縮前に前記第１のフレームデータ（ＲＢＭ）を変換する圧縮フィルタ（ＣＦ）を有している、
   ただし、前記圧縮フィルタ（ＣＦ）は、第１のフレームデータ（ＲＢＭ）の符号化に用いられた符号化モード（Ｐ，Ｉ，Ｂ）に依存して形成される、
   ことを特徴とする、第１のフレームデータ（ＲＢＭ）を変換するための装置。
5. 前記第２のフレームデータ（ＲＥＦＴ）を生成するための伸長フィルタ（ＤＦ）が設けられており、前記フレーム伸長ユニット（ＰＤ）による伸長実行後、復号されたフレームデータに対し該伸長フィルタ（ＤＦ）による処理が行われる、ただしこの処理の際に該伸長フィルタ（ＤＦ）は前記圧縮フィルタ（ＣＦ）とは逆に動作する、請求項４記載の装置。

Images