JP4553837B2

JP4553837B2 - 復号装置

Info

Publication number: JP4553837B2
Application number: JP2005373209A
Authority: JP
Inventors: 哲夫小菅
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2005-12-26
Filing date: 2005-12-26
Publication date: 2010-09-29
Anticipated expiration: 2025-12-26
Also published as: KR100795287B1; CN1992902A; JP2007174602A; TWI327440B; US20070147516A1; KR20070068274A; CN1992902B; TW200726259A

Description

本発明は、入力されてくる符号化データについて復号処理を行うとともに、複数フレームデータを利用したインター予測およびフレーム内データによるイントラ予測を行って復号画像データを得、得られた復号画像データについてフィルタによりフィルタ処理を行って画像データを復元する復号装置に関する。

従来より、動画の符号・復号方式の１つとしてＨ．２６４が知られている。このＨ．２６４は、ＭＰＥＧ２，ＭＰＥＧ４などと同様に、動き補償や逆変換か空間領域←→周波数領域への変換／量子化処理をベースとする符号化を利用する方式である。そして、この方式では、復号処理はブロックごとに行うため、復号データについてブロック歪みを減少させるデブロッキングフィルタを有している。

そして、このＨ．２６４の復号装置では、フレーム内のデータによる予測（イントラ予測）にはフィルタ前のデータを使用し、フレーム間予測（インター予測）にはフィルタ後のデータを使用する。

そこで、フレームメモリをイントラ予測用のテンポラリとして使用すると、イントラ予測が終了するまでフィルタの処理が行えないことになりフィルタ処理が待たされてしまう。そこで、復号器にフレームメモリとは別の復号画像メモリを搭載することで、イントラ予測データを保持しておき、フィルタ処理も平行して進めるようにしている。

図６は、従来の復号装置の構成を示しており、符号化データのビットストリームは、エントロピー復号部１０によりエントロピー復号され、その後逆量子化・逆変換部１２において逆量子化および逆変換を受け、加算器１４に供給される。この加算器１４には、インター予測データまたはイントラ予測データが供給され、これによってインター予測およびイントラ予測を加味したデータ復号がなされる。

得られた復号画像データは、復号画像メモリ格納装置１６により復号画像メモリ１８に記憶される。この復号画像メモリ１８からの復号画像データは、フィルタ２０によってフィルタ処理され、フレームメモリ格納装置２２によってフィルタ後データがフレームメモリ２４に記憶される。

また、復号画像メモリ１８のフィルタ前データは復号画像メモリ読み出し装置２６によって読み出されてイントラ予測部２８に供給され、ここでイントラ予測信号が生成される。一方、フレームメモリ２４の複数フレームのフィルタ後データは、フレームメモリ読み出し装置３０によって読み出されてインター予測部３２に供給され、ここでインター予測信号が生成される。

イントラ予測部２８およびインター予測部３２からのイントラ予測信号およびインター予測信号は切換スイッチ３４に供給され、この切換スイッチ３４がイントラ予測信号またはインター予測信号を適宜選択して加算器１４に供給することで、イントラ予測またはインター予測を加味した復号化が行える。

なお、以上の復号化処理は、基本的に適当数（例えば４×４）の画素からなるブロック単位で行われる。また、フィルタ後の画像データは、フィルタ２０またはフレームメモリ２４から適宜出力される。

なお、このようなＨ．２６４の復号化装置については、非特許文献１などに記載されている。

小野定康他著「ユビキタス技術動画像の高能率符号化−ＭＰＥＧ−４とＨ．２６４」 Design Wave Magazine 2004 August P.105-111

上記従来技術によって、フィルタ処理とイントラ予測とを平行して進めることができ、円滑な処理を行うことができる。しかし、この復号装置では、復号画像メモリは最大で１フレーム分必要であり、大きな容量のメモリが必要になり回路規模が大きくなるという問題がある。また、復号画像メモリを読み出す回路、格納する回路も回路規模増大の一因となっている。

本発明は、入力されてくる符号化データについて復号処理を行うとともに、複数フレームデータを利用したインター予測およびフレーム内データによるイントラ予測を行って復号画像データを得、得られた復号画像データについてフィルタによりフィルタ処理を行って画像データを復元する復号装置において、前記フィルタ処理を行ったフィルタ後データを複数フレーム分を記憶するフレームメモリと、フレームメモリに対し、前記インター予測用のフィルタ後データに加え、前記イントラ予測に利用されるフィルタ前データをブロックごとに順次書き込むとともに、不要となるイントラ予測用のフィルタ前データに対し、フィルタ後データをブロックごとに順次上書きするフレームメモリ格納装置と、を有し、前記フレームメモリにフィルタ後データおよびフィルタ前データに基づいて前記インター予測およびイントラ予測を行うことを特徴とする。

また、前記フィルタ前データは、ブロックの周辺の１行１列のデータであり、前記１列のデータは行方向の隣接ブロックのフィルタ後データによって上書きされ、前記１行のデータは列方向の隣接ブロックのフィルタ後データによって上書きされることが好適である。

また、前記フレームメモリ格納装置は、前記フィルタ処理の対象となるブロックのフィルタ前データについて、本来書き込む位置からオフセットして書き込み、書き込んだフィルタ前データを読み出してこれをフィルタ処理して、本来書き込むべき位置にフィルタ後データを書き込むことで、イントラ予測用のフィルタ前データを前記フレームメモリに残すことが好適である。

また、前記フィルタは、供給されるフィルタ処理の対象となるブロックのフィルタ前データについて、一時的に記憶してフィルタ処理を行うとともに、イントラ予測用のデータについてはフィルタ前データを保持しておき、前フレームメモリ格納装置は、フィルタ後データとイントラ予測用のフィルタ前データを前記フレームメモリに書き込むことが好適である。

以上説明したように、本発明によれば、フレームメモリにイントラ予測において必要なフィルタ前データを常時残すことができる。そこで、イントラ予測に用いるためフィルタ前データ用のフレームメモリを必要とすることなく、効果的なデータ記憶を行うことができる。

以下、本発明の実施形態について、図面に基づいて説明する。

図１は、実施形態に係る復号装置の構成を示しており、符号化データのビットストリームは、エントロピー復号部１０によりエントロピー復号され、その後逆量子化・逆変換部１２において逆量子化および逆変換を受け、加算器１４に供給される。この加算器１４には、インター予測データまたはイントラ予測データが供給され、これによってインター予測およびイントラ予測を加味したデータ復号がなされる。これについては、図６の従来例と同様である。

得られた復号画像データ（フィルタ前データ）は、フレームメモリ格納装置２２に供給され、フレームメモリ格納装置２２はフィルタ前データをフレームメモリ２４に書き込む。一方、フレームメモリ２４に書き込まれたフィルタ前データは、フレームメモリ読み出し装置３０により読み出され、フィルタ２０に供給される。そして、フィルタ後のデータはフレームメモリ格納装置２２によりフレームメモリ２４に書き込まれる。

また、フレームメモリ読み出し装置３０は、複数フレームについての所定のフィルタ後データをインター予測部３２に供給し、インター予測部３２は、供給されるデータに基づいてインター予測を行う。さらに、フレームメモリ読み出し装置３０は、フレームメモリ２４に記憶されている所定のフィルタ前データを読み出し、イントラ予測部２８に供給し、イントラ予測部２８は、供給されるデータに基づいてイントラ予測を行う。

そして、イントラ予測部２８およびインター予測部３２からのイントラ予測信号およびインター予測信号は切換スイッチ３４に供給され、この切換スイッチ３４がイントラ予測信号またはインター予測信号を適宜選択して加算器１４に供給することで、イントラ予測またはインター予測を加味した復号化が行われる。なお、フレーメモリ格納装置２２，フレームメモリ読み出し装置３０および切換スイッチ３４の動作は制御回路３６によって制御される。

ここで、上述したフレームメモリ読み出し装置３０によるフレームメモリ２４に対するデータの書き込みについて、図２および図３に基づいて説明する。

まず、加算器１４から供給されるフィルタ前データは、図２の左側に示すように、本来の格納位置から右横および右下方向にオフセットした位置にフィルタ前データが書き込まれる。そして、この書き込まれたフィルタ前データがフレームメモリ読み出し装置３０によりフィルタ２０に供給され、ここでフィルタ処理が行われる。そして、フィルタ２０におけるフィルタ処理によって得られたフィルタ後データは、フレームメモリ格納装置２２によりフレームメモリ２４に書き込まれるが、このフィルタ後データは、図２の右側に示すように、本来の格納位置に書き込まれる。

すなわち、フィルタ前データがオフセットして書き込まれているため、フィルタ後データを本来の格納位置に書き込むことで、１ブロックのフィルタ前データにおける右横および下の少なくとも１列１行（図２では２列２行）が上書きされずに残る。このような処理を繰り返すことで、図３に示すように各ブロックの下端の１行および直近の処理対象となっているブロックの右側１列分のフィルタ前データがフレームメモリ２４に常に保持されている。

一方、イントラ予測部２８における予測は、図４に示すように左側および上側の１列１行のフィルタ前データから行われる。図においては、予測に用いるデータを斜線で示し、予測されるデータを白抜きで示してある。また、予測には、複数のモードがあるが、基本的に前の行ブロックの最も下の１行と、隣接ブロックの右側の一列を利用する。

フレームメモリ２４には図３に示すように処理対象となっているブロックの左側および上側に当たる隣接ブロックの１列と上行の下１行のフィルタ前データが保持されているため、フレームメモリ２４のフィルタ前のデータをフレームメモリ読み出し装置３０が読み出し、イントラ予測部２８に供給することで、対応するイントラ予測を行って、予測データを加算器１４に供給することができる。また、フィルタ後データは処理済みのものについては全てのブロックについてフレームメモリ２４に記憶される。このため、必要なデータをフレームメモリ読み出し装置３０が読み出してインター予測部３２に供給することができる。

このように、本実施形態によれば、フレームメモリ２４にフィルタ前データを本来の格納位置からオフセットさせて記憶し、フィルタ後データを本来の格納位置に上書きする。従って、フレームメモリ２４にインター予測に必要なフィルタ後データだけでなく、イントラ予測に必要なフィルタ前データも保持される。特に、フィルタ前データデータについては必要なデータを特定して保持することができる。従って、フィルタ前データについて多くのデータを持っておく必要がなく、資源の有効利用を図ることができる。また、そのための処理も書き込み位置の変更だけでよく、比較的簡単な処理でよい。

図５には、他の実施形態の構成が示されている。この構成では、フィルタ２０にデータ一時保持回路４０が接続されており、加算器１４からの復号データはフィルタ２０に供給される。フィルタ２０は、供給されるフィルタ前データについてフィルタ処理を施すとともに、フィルタ前データの中のイントラ予測に利用される１列１行のフィルタ前データをデータ一時保持回路４０に記憶する。そして、フィルタ２０においてフィルタ処理が終了し、１ブロック分のフィルタ後データが得られた場合には、このフィルタ後データにデータ一時保持回路４０に保持してあるフィルタ前データを合わせて、フレームメモリ格納装置２２によってフレームメモリ２４に書き込まれる。このときのデータの書き込みは、上述した図３のフィルタ後データ上書き後と同じであり、従ってフレームメモリ２４には図３に示したデータが同様に記憶される。このため、イントラ予測、インター予測については上述の場合と全く同じように処理が行われる。

なお、データ一時保持回路４０において、上述の図２に記載されるように、処理対象となるブロックのフィルタ前データをオフセットして記憶しておき、このフィルタ前データを利用してフィルタ処理を行いフィルタ後データを本来の格納位置に記憶し、得られた１ブロックのフィルタ後データと、１列１行のフィルタ前データとをフレームメモリ格納装置２２によってフレームメモリ２４に書き込んでもよい。

さらに、フィルタ２０とは別にイントラ予測に必要なフィルタ前データを抽出する装置を設け、抽出されたフィルタ前データを予めフレームメモリ２４の該当箇所に書き込んでおき、フィルタ後データが得られた時に、フィルタ後データをフレームメモリ２４に書き込んで、上述の場合と同様の図３に示すデータをフレームメモリ２４に書き込んでもよい。

なお、イントラ予測には複数の手法があり、利用するフィルタ前データについては必ずしも上述した１列１行のデータとは限らない。そこで、利用するデータが異なる場合には、そのデータがフレームメモリ２４に残るように、フィルタ前データの残し方を工夫すればよい。

実施形態の構成を示すブロック図である。データの記憶方式を説明する図である。フレームメモリに記憶されているデータを説明する図である。イントラ予測を説明する図である。他の実施形態の構成を示すブロック図である。従来例の構成を示すブロック図である。

符号の説明

１０エントロピー復号部、１２逆量子化・逆変換部、１４加算器、１６復号画像メモリ格納装置、１８復号画像メモリ、２０フィルタ、２２フレームメモリ格納装置、２４フレームメモリ、２６復号画像メモリ読み出し装置、２８イントラ予測部、３０フレームメモリ読み出し装置、３２インター予測部、３４切換スイッチ、３６制御回路、４０データ一時保持回路。

Claims

入力されてくる符号化データについて復号処理を行うとともに、複数フレームデータを利用したインター予測およびフレーム内データによるイントラ予測を行って復号画像データを得、得られた復号画像データについてフィルタによりフィルタ処理を行って画像データを復元する復号装置において、
前記フィルタ処理を行ったフィルタ後データを複数フレーム分を記憶するフレームメモリと、
フレームメモリに対し、前記インター予測用のフィルタ後データに加え、前記イントラ予測に利用されるフィルタ前データをブロックごとに順次書き込むとともに、不要となるイントラ予測用のフィルタ前データに対し、フィルタ後データをブロックごとに順次上書きするフレームメモリ格納装置と、
を有し、
前記フレームメモリにフィルタ後データおよびフィルタ前データに基づいて前記インター予測およびイントラ予測を行うことを特徴とする復号装置。
請求項１に記載の復号装置において、
前記フィルタ前データは、ブロックの周辺の１行１列のデータであり、前記１列のデータは行方向の隣接ブロックのフィルタ後データによって上書きされ、前記１行のデータは列方向の隣接ブロックのフィルタ後データによって上書きされることを特徴とする復号装置。
請求項１または２に記載の復号装置において、
前記フレームメモリ格納装置は、
前記フィルタ処理の対象となるブロックのフィルタ前データについて、本来書き込む位置からオフセットして書き込み、書き込んだフィルタ前データを読み出してこれをフィルタ処理して、本来書き込むべき位置にフィルタ後データを書き込むことで、イントラ予測用のフィルタ前データを前記フレームメモリに残すことを特徴とする復号装置。
請求項１または２に記載の復号装置において、
前記フィルタは、
供給されるフィルタ処理の対象となるブロックのフィルタ前データについて、一時的に記憶してフィルタ処理を行うとともに、イントラ予測用のデータについてはフィルタ前データを保持しておき、
前フレームメモリ格納装置は、フィルタ後データとイントラ予測用のフィルタ前データを前記フレームメモリに書き込むことを特徴とする復号装置。