JP3896814B2 - 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム - Google Patents
動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム Download PDFInfo
- Publication number
- JP3896814B2 JP3896814B2 JP2001310442A JP2001310442A JP3896814B2 JP 3896814 B2 JP3896814 B2 JP 3896814B2 JP 2001310442 A JP2001310442 A JP 2001310442A JP 2001310442 A JP2001310442 A JP 2001310442A JP 3896814 B2 JP3896814 B2 JP 3896814B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- processing
- zero
- dct coefficient
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の復号処理を行うための動画像復号化方法、動画像復号化装置および動画像復号化処理プログラムに関する。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを通じて動画像の送受信が行われるようになっている。ネットワークを通じて動画像の送受信を行う場合、送信側において動画像を符号化した後に圧縮し、受信側では、受信した圧縮後の動画像を復号化し、歪みを除去するためのフィルタリング処理を施して動画像を復元する。
【０００３】
図７は、従来の動画像復号化装置１００を示すブロック図である。動画像復号化装置１００は、ＭＰＥＧ（Moving Picture Experts Group）−４等に基づく動画像を復号処理する装置である。図７において、動画像復号化装置１００は、可変長復号部１０１、逆スキャン部１０２、逆ＡＣ／ＤＣプレディクト部１０３、逆量子化部１０４、逆ＤＣＴ部１０５、フレームメモリ１０６，１０８、動き補償部１０７を備えるデコーダ部を有している。さらに、デコーダ部の処理結果は、ポストフィルタ部１０９に入力され、ポストフィルタ部１０９の処理結果はフレームメモリ１１０に記憶される。
【０００４】
図７において、復号化装置に入力された動画像データは、可変長復号部１０１、逆スキャン部１０２、逆ＡＣ／ＤＣプレディクト部１０３、逆量子化部１０４、逆ＤＣＴ部１０５によって順次処理される。また、動き補償部１０７は、可変長復号部１０１から入力される動きベクトルおよび動き補償処理が施された動画像の直前フレーム（フレームメモリ１０６に記憶されたフレームデータ）を参照して、現フレームの動き補償データを算出し、逆ＤＣＴ部１０５の処理結果に加算する。
【０００５】
なお、上述の各処理は、動画像の各フレームにおけるマクロブロック単位に行われ、動き補償データが加算されたマクロブロックは、順次、現フレームデータを記憶するためのフレームメモリ１０８に記憶される。そして、現フレームデータのマクロブロックが全て算出されると、フレームメモリ１０８のデータは、直前フレームのデータとしてフレームメモリ１０６にコピーされる。
【０００６】
また、動き補償処理が施された現フレームデータ（フレームメモリ１０８に記憶されたフレームデータ）は、送信側においてデータが圧縮されたことに起因する歪み（ブロックノイズおよびモスキートノイズ）を含んでいる。したがって、動き補償処理が施された現フレームデータには、これらの歪みを除去するために、さらに、ポストフィルタ部１０９においてポストフィルタリング処理が施される。
【０００７】
ここで、ポストフィルタリング処理は、一般に、負荷の大きい処理を行うため、動画像の復号処理に占めるポストフィルタリング処理の比重は高いものである。
したがって、従来、ポストフィルタリング処理を効率的に行う種々の方法が提案されている。
【０００８】
例えば、特開平１１−９８５０５号公報には、ブロック間の境界周辺の周波数特性に基づいて、フィルタリング処理方法を選択的に切り換える方法が開示されている。この方法によれば、高い画質改善効果を得ることができる。
また、特開平５−３０８６２３号公報および特開平６−３１１４９９号公報には、復号処理において得られる情報を参照して、各ブロック毎にブロックノイズを除去するためのフィルタリング特性を変化させる技術が開示されている。この方法によれば、ブロック毎により適切なフィルタリングを行うため、処理負荷の低減を図ることができる。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来のポストフィルタリング処理において、処理負荷と画質改善効果との関係はトレードオフの関係（双方の好適化が両立しない関係）にあった。
即ち、特開平１１−９８５０５号公報に記載された方法では、復号処理が終了したフレームを単位として、フレーム中に含まれる全画素を逐一検査してフィルタリング処理を施すため、各画素をメモリにリード／ライトする回数が多くなり、処理負荷が増大する。
【００１０】
また、特開平５−３０８６２３号公報および特開平６−３１１４９９号公報に記載された方法では、可変長復号処理において取得された情報を利用して、各ブロックにフィルタリング処理を施すため、フィルタリング処理の負荷を低減できるものの、フィルタリング処理を最適に行うことができない。即ち、一般に、ブロックノイズは、各ブロック間の画像の特性の差異に関連して発生するものであるため、各ブロックに対象を限ってフィルタリング処理を施す場合、各ブロックの境界に発生するブロックノイズを適切に除去できない場合があり、画質改善効果が低下する。
【００１１】
本発明の課題は、動画像の復号処理において、動画像に含まれる歪みを軽減するためのフィルタリング処理を効率的に行うことである。
【００１２】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理（例えば、図１の可変長復号部１１、逆スキャン部１２、逆ＡＣ／ＤＣプレディクト部１３、逆量子化部１４、逆ＤＣＴ部１５および動き補償部１７が行う処理）と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化装置であって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定部（例えば、図１のポストフィルタ部１９）と、前記判定部によって、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ部（例えば、図１のポストフィルタ部１９）とを備えることを特徴としている。
【００１３】
また、本発明は、
可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化方法であって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定し、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うことを特徴としている。
【００１４】
また、本発明は、
可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行うための動画像復号化処理プログラムであって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定機能と、前記判定機能によって、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ機能とをコンピュータに実現させることを特徴としている。
【００１５】
また、前記判定部は、前記処理対象ブロックの動きベクトルおよび該隣接するブロックの動きベクトルの縦方向および横方向の成分それぞれの差が、半画素精度における±１画素の範囲内にある場合に、前記動きベクトルが同一であると判定することを特徴としている。
ここで、半画素精度とは、フレーム内において、実際に存在する画素に加え、それらの中間の位置に仮想的な画素を設け、この画素のデータとして、両隣の画素（実在する画素）の平均値を用いる場合に、実在する画素および仮想的な画素を１画素とカウントする画素の算定方法である。
したがって、半画素精度における±１画素の範囲とは、仮想的な画素を考慮した場合に、両隣に位置する画素までの範囲である。
【００１６】
また、前記判定部は、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、前記処理対象ブロックの動きベクトルと、該隣接するブロックの動きベクトルとが同一であると判定した場合において、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分（例えば、境界である辺をブロックの左の辺とした場合の横方向成分）が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさ（例えば、境界である辺をブロックの左の辺とした場合の横方向の大きさ）の倍数であるか否かをさらに判定し、前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数であると判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行い、前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数でないと判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行わないことを特徴としている。
【００１７】
また、前記フィルタリング処理前のデータを記憶する第１のメモリと、前記フィルタリング処理後のデータを記憶する第２のメモリとを備え、連続する各フレームについて前記フィルタリング処理後のデータを前記第２のメモリに上書きする際、前記判定部は、フィルタリング処理が行われないブロックについて、動きベクトルが零であるか否かをさらに判定し、前記判定部が、動きベクトルが零であると判定した場合には、当該ブロックについて、前記第２のメモリにデータを上書きせずに、残されている前フレームの対応するデータを使用することを特徴としている。
【００４０】
本発明によれば、動画像の各ブロックについて所定条件を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのフィルタリング処理を行わない。ここで、所定条件は、フィルタリング処理を施す効果が低いブロックを判定するための条件である。
したがって、動画像の復号化処理においてフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
【００４１】
また、フィルタリング処理を行わないブロックにおいて、動きベクトルが零であるブロックについては、第２のメモリに記憶されたデータに変更がないことから、第１のメモリから第２のメモリにデータを上書きしない。
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
【００４２】
【発明の実施の形態】
以下、図を参照して本発明に係る動画像復号化装置の実施の形態を詳細に説明する。
まず、構成を説明する。
図１は、本発明を適用した動画像復号化装置１の機能構成を示すブロック図である。動画像復号化装置１は、ＭＰＥＧ−４（Moving Picture Experts Group）に基づく動画像を復号処理する装置である。
【００４３】
図１において、動画像復号化装置１は、可変長復号部１１、逆スキャン部１２、逆ＡＣ／ＤＣプレディクト部１３、逆量子化部１４、逆ＤＣＴ部１５、フレームメモリ１６ａ，１６ｂ，１６ｃ、動き補償部１７、加算器１８、ポストフィルタ部１９とを含んで構成される。
可変長復号部１１は、符号化された動画像データが入力され、その動画像データを可変長復号し、復号化したデータ（以下、「可変長復号データ」と言う。）を逆スキャン部１２に出力する。
【００４４】
また、可変長復号部１１は、可変長復号データから動きベクトルやＤＣＴ係数といった種々の情報を取得し、動きベクトルを動き補償部１７に、動きベクトルやＤＣＴ係数といった各種情報をポストフィルタ部１９に出力する。
逆スキャン部１２は、可変長復号部１１から入力される可変長復号データに含まれる情報に基づいて、復号化するマクロブロックのフレーム内における６４個のＤＣＴ係数の位置を所定の順序に並べ替える。
【００４５】
逆ＤＣ／ＡＣプレディクト部１３は、逆スキャン部１２から入力されたマクロブロックのうち、フレーム内符号化されたマクロブロックのＡＣ成分およびＤＣ成分のデータについて、予測符号化されたＤＣ成分および一部のＡＣ成分を予測符号化前の真の値に戻し、そのデータ（以下、「予測前データ」と言う。）を逆量子化部１４に出力する。
【００４６】
逆量子化部１４は、ＡＣ／ＤＣプレディクト部１３から入力された予測前データを逆量子化し、逆量子化したデータ（以下、「逆量子化データ」と言う。）を逆ＤＣＴ部１５に出力する。
逆ＤＣＴ部１５は、逆量子化部１４から入力された逆量子化データを逆離散コサイン変換し、変換後のデータ（以下、「逆ＤＣＴデータ」と言う。）を加算器１８に出力する。
【００４７】
フレームメモリ１６ａは、逆ＤＣＴ部１５によって出力される逆ＤＣＴデータと、動き補償部１７によって出力される動き補償データ（後述）とが加算された各マクロブロックを算出された順に記憶し、１フレームのマクロブロックが全て記憶されることにより、ポストフィルタリング処理前の現フレームデータを記憶する。そして、現フレームのマクロブロックが全て算出されると、フレームメモリ１６ａに記憶されたデータは、前フレームデータとしてフレームメモリにコピーされる。
【００４８】
また、フレームメモリ１６ａに記憶された各マクロブロックは、ポストフィルタ部１９によって参照され、ポストフィルタリング処理に利用される。
このとき、後述する条件を満たすと判定されたブロックについては、フレームメモリ１６ａに記憶される内容と、フレームメモリ１６ｂに記憶される内容とが同一であるためコピーされない。これによって、動画像の復号処理における処理負荷が軽減され、復号処理の高速化を図ることができる。
【００４９】
フレームメモリ１６ｂは、フレームメモリ１６ａからコピーされたフレームデータ（前フレームデータ）を記憶し、動き補償部１７によってその記憶内容が参照される。
動き補償部１７は、フレームメモリ１６ｂに記憶されている前フレームデータおよび可変長復号部１１から入力された動きベクトルに基づいて、マクロブロック単位あるいはブロック単位で動き補償処理を行い、処理結果（以下、「動き補償データ」と言う。）を加算器１８に出力する。
【００５０】
加算器１８は、逆ＤＣＴ部１５から入力された逆ＤＣＴデータと、動き補償部１７から入力された動き補償データとを加算し、加算結果であるマクロブロックをフレームメモリ１６ａに記憶する。
ポストフィルタ部１９は、可変長復号部１１から入力される各ブロック（マクロブロックを構成する８×８のブロック）の各種情報（動きベクトルあるいはＤＣＴ係数等のデータ）と、フレームメモリ１６ａに記憶されたブロックとに基づく所定の条件判定の結果、ポストフィルタリング処理を行うと判定されたブロックについてポストフィルタリング処理を行う。そして、ポストフィルタリング処理を行ったブロックおよび所定の条件を満たさずポストフィルタリング処理が行われなかったブロックをフレームメモリ１６ｃに出力する。
【００５１】
ここで、ポストフィルタリング処理を行うか否かの判定条件は、そのブロックのＤＣＴ係数が“０”であること（第１の条件）、そのブロックの動きベクトルが左（もしくは上）に隣接するブロックの動きベクトルと同一であること（第２の条件）、そのブロックの動きベクトルの横方向成分が半画素精度で１６の倍数（全画素精度で８の倍数）でないこと（第３の条件）を基本とし、これらの条件すべてを満たすブロックについては、ポストフィルタリング処理を行わないものとする。なお、これらの条件については、後に詳述する。
【００５２】
また、判定対象となるブロックに対し、左および上に位置するブロックとの関係を順次判定することとする。したがって、上述の判定条件を各ブロックの左の辺および上の辺に隣接するブロックについてそれぞれ判定し、ポストフィルタリング処理を行う場合には、これらのブロックとの境界となる各辺についてフィルタリング処理が施される。
【００５３】
フレームメモリ１６ｃは、ポストフィルタ部１９から入力されるブロックを順次記憶し、１フレームのデータ全てが記憶されると、そのフレームデータを復号化された動画像の１フレーム（動画像復号化装置１の出力）として出力する。
次に、動画像復号化装置１において、各ブロックのポストフィルタリング処理を行うか否かを判定する際の判定条件について説明する。
【００５４】
一般に、ポストフィルタは、多くの画素の参照、条件判定あるいは代入といった処理を伴うため、上述の通り、処理負荷が大きいものである。
図２は、ＭＰＥＧ−４に基づく動画像の復号処理およびポストフィルタリング処理における処理負荷の例を示す図である。図２によれば、ポストフィルタリング処理は、復号処理に比べて処理負荷が高く、動画像一般に同様の結果が得られる。したがって、本発明においては、復号されるフレーム内の各ブロックについて、ポストフィルタリング処理を行うか否かの条件判定を行い、条件に適合するもののみをポストフィルタリング処理することによってポストフィルタリング処理に要する処理負荷を軽減することとする。
【００５５】
まず、第１の条件を設ける理由について説明する。
符号化された動画像の伝送において、各ブロックのＤＣＴ係数はブロック間差分データが伝送される。ここで、８×８のブロックにおける６４個のＤＣＴ係数が全て“０”であるブロック（以下、「零ＤＣＴブロック」と言う。）は、参照フレームにおける参照位置のブロックと類似するブロックであり、動画像の場合、このような関係にあるブロックが高い割合を占める。そして、零ＤＣＴブロックには、一般的にブロックノイズがない場合が多いと考えられる。
【００５６】
図３は、ＱＣＩＦ（Quarter Common Intermediate Format）サイズのサンプルフレームを１５ｆｐｓ（frame per second）で符号化した場合において、零ＤＣＴブロックとなる割合の例を示す図である。図３によれば、全ブロックのうち、約７０〜８０％が零ＤＣＴブロックとなっている。
したがって、これら零ＤＣＴブロックについてはポストフィルタリング処理を行うことによる画質改善効果が低いものと考えられることから、第１の条件を設けることとする。
【００５７】
次に、第２の条件を設ける理由について説明する。
第１の条件において、零ＤＣＴブロックについてはポストフィルタリング処理を行わないものとしたが、この判定条件のみに従う場合、即ち、零ＤＣＴブロック以外のブロックについてのみフィルタリング処理を行った場合、画質改善効果が十分には得られない場合が生じ得る。
【００５８】
その主な原因は、動き補償処理において、異なる動きベクトルに基づいて前フレームデータが参照されたことによる。
図４は、条件の判定対象となるブロックが、左に隣接するブロックと異なる動きベクトルに基づいて動き補償処理が行われた状態を示す図である。図４において、条件の判定対象であるブロック（以下、「現ブロック」と言う。）の左隣に位置するブロック（以下、「左ブロック」と言う。）は、参照フレームのブロックｂ１を参照している。一方、現ブロックは、参照フレームのブロックｂ２を参照している。そして、ブロックｂ１およびブロックｂ２は、参照フレームにおいて、それぞれ隣接するブロックではないことから、これらは厳密に連続するブロックではない。
【００５９】
即ち、現ブロックと左ブロックが零ＤＣＴブロック（それぞれのＤＣＴ係数が全て“０”）であっても、これは量子化によって多くの情報量が削減された結果零ＤＣＴブロックとなったものであることから、参照フレームにおいて実際に隣接するブロックでない場合には、ブロックノイズを発生させる原因となる。
そこで、第１の条件に加え、左（もしくは上）に隣接するブロックの動きベクトルと、判定対象となるブロックの動きベクトルとが同一の場合にのみ、ポストフィルタリング処理を行わないものとするため、第２の条件を設けることとする。
【００６０】
ただし、第２の条件において、動きベクトルの同一性の条件を緩和するため、動きベクトルの縦方向および横方向の成分それぞれを比較する場合に、半画素精度で±１の範囲にある場合には、その成分は一致するとの条件を付加することとする。
これは次のような理由による。
【００６１】
動きベクトルの参照先は、参照フレームの画素間（即ち、半画素精度の奇数行あるいは奇数列に位置する画素）となる場合がある。この場合、参照される画素として、両隣の画素の平均値が用いられる。したがって、縦方向あるいは横方向に半画素精度で±１の範囲にある画素は互いに関連性があることから、動きベクトルの各成分が半画素精度で±１の範囲である場合には、動きベクトルが同一であると判定するものとする。
【００６２】
次に、第３の条件を設ける理由について説明する。
第１の条件によって、判定対象であるブロックと、隣接するブロックとが零ＤＣＴブロックであると判定され、さらに、第２の条件によって、判定対象であるブロックの動きベクトルと、隣接するブロックの動きベクトルとが同一であると判定された場合であっても、動きベクトルの横方向あるいは縦方向の成分が半画素精度で１６の倍数である場合には、参照先のブロックは、参照フレームにおけるブロックの境界であるため、ブロックノイズの原因となり得る。なお、判定対象となるブロックに対し、左に隣接するブロックとの関係については動きベクトルの横方向成分が問題となり、上に隣接するブロックとの関係については動きベクトルの縦方向成分が問題となる。
【００６３】
即ち、動画像の復号化処理において、現フレームの復号における参照フレームは、ポストフィルタリング処理が施されていない状態の前フレームである。したがって、参照フレームにはブロックノイズ等の歪みが軽減されることなく含まれており、この参照フレームにおけるブロック境界と現フレームにおけるブロック境界が一致することとなる場合には、その境界（辺）にはポストフィルタリング処理を施す必要がある。そこで、第３の条件を設けることとする。
【００６４】
さらに、動画像復号化処理における処理負荷の軽減を図るため、上述の第１から第３の条件の他、フレームメモリ１６ａからフレームメモリ１６ｃにブロックをコピーする条件として、以下の条件を付加することとする。
動画像復号化処理において、フレームメモリ１６ａにはポストフィルタリング処理前のフレームデータが記憶され、これらのうち、ポストフィルタリング処理を行うと判定されたブロックのみがフィルタリング処理される。ここで、フレームメモリ１６ｃには、前フレームのデータに現フレームのデータが順次上書きされる。一方、ポストフィルタリング処理が施されないブロックのうち、現ブロックの動きベクトルが“０”であるブロックは、フレームメモリ１６ａの対応する位置のブロックと同一のデータとなる。
【００６５】
したがって、フレームメモリ１６ａに記憶されたブロックのうち、第１から第３の条件を満たす上、さらに、現ブロックの動きベクトルが“０”であるブロックについては、フレームメモリ１６ｃに残されている前フレームのデータを用いることとし、ブロックのコピーに要する処理負荷を軽減することとする。
以上に述べた条件を整理すると、▲１▼零ＤＣＴブロック以外のブロックにはポストフィルタリング処理を行う。▲２▼現ブロックおよび左に隣接するブロック（上に隣接するブロック）が共に零ＤＣＴブロックであり、動きベクトルが同一であれば、そのブロックとの境界である辺にはポストフィルタリング処理を行わない。ただし、動きベクトルの同一とは、縦方向および横方向の成分について、半画素精度で±１の範囲を含む。▲３▼左に隣接するブロックとの間で条件▲１▼，▲２▼を満たす場合でも、動きベクトルの横方向成分が半画素精度で１６の倍数であればポストフィルタリング処理を行う。同様に、上に隣接するブロックとの間で条件▲１▼，▲２▼を満たす場合でも、動きベクトルの縦方向成分が半画素精度で１６の倍数であればポストフィルタリング処理を行う。▲４▼条件▲１▼〜▲３▼によってポストフィルタリング処理を行わないと判定されたブロックについて、さらに動きベクトルが“０”であるブロックについては、ポストフィルタリング処理前のブロックが記憶されるフレームメモリ１６ａからポストフィルタリング処理後のブロックが記憶されるフレームメモリ１６ｃにそのブロックのデータをコピーしない。
【００６６】
以上のように、本発明を適用した動画像復号化装置１は、動画像の各ブロックについて所定条件（条件▲１▼〜▲３▼）を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのポストフィルタリング処理を行わない。ここで、所定条件は、ポストフィルタリング処理を施す効果が低いブロックを判定するための条件である。
【００６７】
したがって、動画像の復号化処理においてポストフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
図５は、ポストフィルタリング処理における処理負荷と画質改善効果との関係を示す図である。図５において、点線で示す特性は、従来の方法によって処理負荷を軽減した場合を示し、実線で示す特性は、本発明を用いて処理負荷を軽減した場合を示している。
【００６８】
図５によれば、ポストフィルタリング処理において、処理負荷と画質改善効果との関係はトレードオフの関係にあるものの、本発明を適用した場合、処理負荷の軽減に対する画質改善効果の低下の割合を縮小させることができる。
また、図６は、動画像の復号処理、従来のポストフィルタリング処理および本発明を適用したポストフィルタリング処理の負荷の例を示す図である。
【００６９】
図６によれば、種々のサンプルデータにおいて、本発明を適用したポストフィルタリング処理は、従来のポストフィルタリング処理に比べ、処理負荷の軽減を実現している。
また、本発明を適用した動画像復号化装置１は、ポストフィルタリング処理を行わないブロックにおいて、動きベクトルが“０”であるブロックについては、フレームメモリ１６ｃに記憶されたデータに変更がないことから、フレームメモリ１６ａからフレームメモリ１６ｃにデータをコピーしない。
【００７０】
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
また、本発明を適用した動画像復号化装置１は、ポストフィルタリング処理の種類に依存することなく、種々のポストフィルタに対して適用が可能である。
なお、本実施の形態においては、条件▲１▼〜▲３▼の全てについて条件判定を行うこととして説明したが、条件▲１▼〜▲３▼のいずれか単独で判定し、ポストフィルタリング処理を行うか否かを決定した場合にも、一定の効果を得ることができるものである。
【００７１】
【発明の効果】
本発明によれば、動画像の各ブロックについて所定条件を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのフィルタリング処理を行わない。ここで、所定条件は、フィルタリング処理を施す効果が低いブロックを判定するための条件である。
【００７２】
したがって、動画像の復号化処理においてフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
また、フィルタリング処理を行わないブロックにおいて、動きベクトルが零であるブロックについては、第２のメモリに記憶されたデータに変更がないことから、第１のメモリから第２のメモリにデータを上書きしない。
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した動画像復号化装置１の機能構成を示すブロック図である。
【図２】ＭＰＥＧ−４に基づく動画像の復号処理およびポストフィルタリング処理における処理負荷の例を示す図である。
【図３】ＱＣＩＦ（Quarter Common Intermediate Format）サイズのサンプルフレームを１５ｆｐｓ（frame per second）で符号化した場合において、零ＤＣＴブロックとなる割合の例を示す図である。
【図４】条件の判定対象となるブロックが、左に隣接するブロックと異なる動きベクトルに基づいて動き補償処理が行われた状態を示す図である。
【図５】ポストフィルタリング処理における処理負荷と画質改善効果との関係を示す図である。
【図６】動画像の復号処理、従来のポストフィルタリング処理および本発明を適用したポストフィルタリング処理の負荷の例を示す図である。
【図７】従来の動画像復号化装置１００を示すブロック図である。
【符号の説明】
１，１００ 動画像復号化装置
１１，１０１ 可変長復号部
１２，１０２ 逆スキャン部
１３，１０３ 逆ＡＣ／ＤＣプレディクト部
１４，１０４ 逆量子化部
１５，１０５ 逆ＤＣＴ部
１６ａ，１６ｂ，１６ｃ フレームメモリ
１０６，１０８，１１０ フレームメモリ
１７，１０７ 動き補償部
１８ 加算器
１９，１０９ ポストフィルタ部
【発明の属する技術分野】
本発明は、動画像の復号処理を行うための動画像復号化方法、動画像復号化装置および動画像復号化処理プログラムに関する。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを通じて動画像の送受信が行われるようになっている。ネットワークを通じて動画像の送受信を行う場合、送信側において動画像を符号化した後に圧縮し、受信側では、受信した圧縮後の動画像を復号化し、歪みを除去するためのフィルタリング処理を施して動画像を復元する。
【０００３】
図７は、従来の動画像復号化装置１００を示すブロック図である。動画像復号化装置１００は、ＭＰＥＧ（Moving Picture Experts Group）−４等に基づく動画像を復号処理する装置である。図７において、動画像復号化装置１００は、可変長復号部１０１、逆スキャン部１０２、逆ＡＣ／ＤＣプレディクト部１０３、逆量子化部１０４、逆ＤＣＴ部１０５、フレームメモリ１０６，１０８、動き補償部１０７を備えるデコーダ部を有している。さらに、デコーダ部の処理結果は、ポストフィルタ部１０９に入力され、ポストフィルタ部１０９の処理結果はフレームメモリ１１０に記憶される。
【０００４】
図７において、復号化装置に入力された動画像データは、可変長復号部１０１、逆スキャン部１０２、逆ＡＣ／ＤＣプレディクト部１０３、逆量子化部１０４、逆ＤＣＴ部１０５によって順次処理される。また、動き補償部１０７は、可変長復号部１０１から入力される動きベクトルおよび動き補償処理が施された動画像の直前フレーム（フレームメモリ１０６に記憶されたフレームデータ）を参照して、現フレームの動き補償データを算出し、逆ＤＣＴ部１０５の処理結果に加算する。
【０００５】
なお、上述の各処理は、動画像の各フレームにおけるマクロブロック単位に行われ、動き補償データが加算されたマクロブロックは、順次、現フレームデータを記憶するためのフレームメモリ１０８に記憶される。そして、現フレームデータのマクロブロックが全て算出されると、フレームメモリ１０８のデータは、直前フレームのデータとしてフレームメモリ１０６にコピーされる。
【０００６】
また、動き補償処理が施された現フレームデータ（フレームメモリ１０８に記憶されたフレームデータ）は、送信側においてデータが圧縮されたことに起因する歪み（ブロックノイズおよびモスキートノイズ）を含んでいる。したがって、動き補償処理が施された現フレームデータには、これらの歪みを除去するために、さらに、ポストフィルタ部１０９においてポストフィルタリング処理が施される。
【０００７】
ここで、ポストフィルタリング処理は、一般に、負荷の大きい処理を行うため、動画像の復号処理に占めるポストフィルタリング処理の比重は高いものである。
したがって、従来、ポストフィルタリング処理を効率的に行う種々の方法が提案されている。
【０００８】
例えば、特開平１１−９８５０５号公報には、ブロック間の境界周辺の周波数特性に基づいて、フィルタリング処理方法を選択的に切り換える方法が開示されている。この方法によれば、高い画質改善効果を得ることができる。
また、特開平５−３０８６２３号公報および特開平６−３１１４９９号公報には、復号処理において得られる情報を参照して、各ブロック毎にブロックノイズを除去するためのフィルタリング特性を変化させる技術が開示されている。この方法によれば、ブロック毎により適切なフィルタリングを行うため、処理負荷の低減を図ることができる。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来のポストフィルタリング処理において、処理負荷と画質改善効果との関係はトレードオフの関係（双方の好適化が両立しない関係）にあった。
即ち、特開平１１−９８５０５号公報に記載された方法では、復号処理が終了したフレームを単位として、フレーム中に含まれる全画素を逐一検査してフィルタリング処理を施すため、各画素をメモリにリード／ライトする回数が多くなり、処理負荷が増大する。
【００１０】
また、特開平５−３０８６２３号公報および特開平６−３１１４９９号公報に記載された方法では、可変長復号処理において取得された情報を利用して、各ブロックにフィルタリング処理を施すため、フィルタリング処理の負荷を低減できるものの、フィルタリング処理を最適に行うことができない。即ち、一般に、ブロックノイズは、各ブロック間の画像の特性の差異に関連して発生するものであるため、各ブロックに対象を限ってフィルタリング処理を施す場合、各ブロックの境界に発生するブロックノイズを適切に除去できない場合があり、画質改善効果が低下する。
【００１１】
本発明の課題は、動画像の復号処理において、動画像に含まれる歪みを軽減するためのフィルタリング処理を効率的に行うことである。
【００１２】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理（例えば、図１の可変長復号部１１、逆スキャン部１２、逆ＡＣ／ＤＣプレディクト部１３、逆量子化部１４、逆ＤＣＴ部１５および動き補償部１７が行う処理）と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化装置であって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定部（例えば、図１のポストフィルタ部１９）と、前記判定部によって、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ部（例えば、図１のポストフィルタ部１９）とを備えることを特徴としている。
【００１３】
また、本発明は、
可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化方法であって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定し、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うことを特徴としている。
【００１４】
また、本発明は、
可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行うための動画像復号化処理プログラムであって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定機能と、前記判定機能によって、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ機能とをコンピュータに実現させることを特徴としている。
【００１５】
また、前記判定部は、前記処理対象ブロックの動きベクトルおよび該隣接するブロックの動きベクトルの縦方向および横方向の成分それぞれの差が、半画素精度における±１画素の範囲内にある場合に、前記動きベクトルが同一であると判定することを特徴としている。
ここで、半画素精度とは、フレーム内において、実際に存在する画素に加え、それらの中間の位置に仮想的な画素を設け、この画素のデータとして、両隣の画素（実在する画素）の平均値を用いる場合に、実在する画素および仮想的な画素を１画素とカウントする画素の算定方法である。
したがって、半画素精度における±１画素の範囲とは、仮想的な画素を考慮した場合に、両隣に位置する画素までの範囲である。
【００１６】
また、前記判定部は、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、前記処理対象ブロックの動きベクトルと、該隣接するブロックの動きベクトルとが同一であると判定した場合において、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分（例えば、境界である辺をブロックの左の辺とした場合の横方向成分）が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさ（例えば、境界である辺をブロックの左の辺とした場合の横方向の大きさ）の倍数であるか否かをさらに判定し、前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数であると判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行い、前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数でないと判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行わないことを特徴としている。
【００１７】
また、前記フィルタリング処理前のデータを記憶する第１のメモリと、前記フィルタリング処理後のデータを記憶する第２のメモリとを備え、連続する各フレームについて前記フィルタリング処理後のデータを前記第２のメモリに上書きする際、前記判定部は、フィルタリング処理が行われないブロックについて、動きベクトルが零であるか否かをさらに判定し、前記判定部が、動きベクトルが零であると判定した場合には、当該ブロックについて、前記第２のメモリにデータを上書きせずに、残されている前フレームの対応するデータを使用することを特徴としている。
【００４０】
本発明によれば、動画像の各ブロックについて所定条件を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのフィルタリング処理を行わない。ここで、所定条件は、フィルタリング処理を施す効果が低いブロックを判定するための条件である。
したがって、動画像の復号化処理においてフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
【００４１】
また、フィルタリング処理を行わないブロックにおいて、動きベクトルが零であるブロックについては、第２のメモリに記憶されたデータに変更がないことから、第１のメモリから第２のメモリにデータを上書きしない。
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
【００４２】
【発明の実施の形態】
以下、図を参照して本発明に係る動画像復号化装置の実施の形態を詳細に説明する。
まず、構成を説明する。
図１は、本発明を適用した動画像復号化装置１の機能構成を示すブロック図である。動画像復号化装置１は、ＭＰＥＧ−４（Moving Picture Experts Group）に基づく動画像を復号処理する装置である。
【００４３】
図１において、動画像復号化装置１は、可変長復号部１１、逆スキャン部１２、逆ＡＣ／ＤＣプレディクト部１３、逆量子化部１４、逆ＤＣＴ部１５、フレームメモリ１６ａ，１６ｂ，１６ｃ、動き補償部１７、加算器１８、ポストフィルタ部１９とを含んで構成される。
可変長復号部１１は、符号化された動画像データが入力され、その動画像データを可変長復号し、復号化したデータ（以下、「可変長復号データ」と言う。）を逆スキャン部１２に出力する。
【００４４】
また、可変長復号部１１は、可変長復号データから動きベクトルやＤＣＴ係数といった種々の情報を取得し、動きベクトルを動き補償部１７に、動きベクトルやＤＣＴ係数といった各種情報をポストフィルタ部１９に出力する。
逆スキャン部１２は、可変長復号部１１から入力される可変長復号データに含まれる情報に基づいて、復号化するマクロブロックのフレーム内における６４個のＤＣＴ係数の位置を所定の順序に並べ替える。
【００４５】
逆ＤＣ／ＡＣプレディクト部１３は、逆スキャン部１２から入力されたマクロブロックのうち、フレーム内符号化されたマクロブロックのＡＣ成分およびＤＣ成分のデータについて、予測符号化されたＤＣ成分および一部のＡＣ成分を予測符号化前の真の値に戻し、そのデータ（以下、「予測前データ」と言う。）を逆量子化部１４に出力する。
【００４６】
逆量子化部１４は、ＡＣ／ＤＣプレディクト部１３から入力された予測前データを逆量子化し、逆量子化したデータ（以下、「逆量子化データ」と言う。）を逆ＤＣＴ部１５に出力する。
逆ＤＣＴ部１５は、逆量子化部１４から入力された逆量子化データを逆離散コサイン変換し、変換後のデータ（以下、「逆ＤＣＴデータ」と言う。）を加算器１８に出力する。
【００４７】
フレームメモリ１６ａは、逆ＤＣＴ部１５によって出力される逆ＤＣＴデータと、動き補償部１７によって出力される動き補償データ（後述）とが加算された各マクロブロックを算出された順に記憶し、１フレームのマクロブロックが全て記憶されることにより、ポストフィルタリング処理前の現フレームデータを記憶する。そして、現フレームのマクロブロックが全て算出されると、フレームメモリ１６ａに記憶されたデータは、前フレームデータとしてフレームメモリにコピーされる。
【００４８】
また、フレームメモリ１６ａに記憶された各マクロブロックは、ポストフィルタ部１９によって参照され、ポストフィルタリング処理に利用される。
このとき、後述する条件を満たすと判定されたブロックについては、フレームメモリ１６ａに記憶される内容と、フレームメモリ１６ｂに記憶される内容とが同一であるためコピーされない。これによって、動画像の復号処理における処理負荷が軽減され、復号処理の高速化を図ることができる。
【００４９】
フレームメモリ１６ｂは、フレームメモリ１６ａからコピーされたフレームデータ（前フレームデータ）を記憶し、動き補償部１７によってその記憶内容が参照される。
動き補償部１７は、フレームメモリ１６ｂに記憶されている前フレームデータおよび可変長復号部１１から入力された動きベクトルに基づいて、マクロブロック単位あるいはブロック単位で動き補償処理を行い、処理結果（以下、「動き補償データ」と言う。）を加算器１８に出力する。
【００５０】
加算器１８は、逆ＤＣＴ部１５から入力された逆ＤＣＴデータと、動き補償部１７から入力された動き補償データとを加算し、加算結果であるマクロブロックをフレームメモリ１６ａに記憶する。
ポストフィルタ部１９は、可変長復号部１１から入力される各ブロック（マクロブロックを構成する８×８のブロック）の各種情報（動きベクトルあるいはＤＣＴ係数等のデータ）と、フレームメモリ１６ａに記憶されたブロックとに基づく所定の条件判定の結果、ポストフィルタリング処理を行うと判定されたブロックについてポストフィルタリング処理を行う。そして、ポストフィルタリング処理を行ったブロックおよび所定の条件を満たさずポストフィルタリング処理が行われなかったブロックをフレームメモリ１６ｃに出力する。
【００５１】
ここで、ポストフィルタリング処理を行うか否かの判定条件は、そのブロックのＤＣＴ係数が“０”であること（第１の条件）、そのブロックの動きベクトルが左（もしくは上）に隣接するブロックの動きベクトルと同一であること（第２の条件）、そのブロックの動きベクトルの横方向成分が半画素精度で１６の倍数（全画素精度で８の倍数）でないこと（第３の条件）を基本とし、これらの条件すべてを満たすブロックについては、ポストフィルタリング処理を行わないものとする。なお、これらの条件については、後に詳述する。
【００５２】
また、判定対象となるブロックに対し、左および上に位置するブロックとの関係を順次判定することとする。したがって、上述の判定条件を各ブロックの左の辺および上の辺に隣接するブロックについてそれぞれ判定し、ポストフィルタリング処理を行う場合には、これらのブロックとの境界となる各辺についてフィルタリング処理が施される。
【００５３】
フレームメモリ１６ｃは、ポストフィルタ部１９から入力されるブロックを順次記憶し、１フレームのデータ全てが記憶されると、そのフレームデータを復号化された動画像の１フレーム（動画像復号化装置１の出力）として出力する。
次に、動画像復号化装置１において、各ブロックのポストフィルタリング処理を行うか否かを判定する際の判定条件について説明する。
【００５４】
一般に、ポストフィルタは、多くの画素の参照、条件判定あるいは代入といった処理を伴うため、上述の通り、処理負荷が大きいものである。
図２は、ＭＰＥＧ−４に基づく動画像の復号処理およびポストフィルタリング処理における処理負荷の例を示す図である。図２によれば、ポストフィルタリング処理は、復号処理に比べて処理負荷が高く、動画像一般に同様の結果が得られる。したがって、本発明においては、復号されるフレーム内の各ブロックについて、ポストフィルタリング処理を行うか否かの条件判定を行い、条件に適合するもののみをポストフィルタリング処理することによってポストフィルタリング処理に要する処理負荷を軽減することとする。
【００５５】
まず、第１の条件を設ける理由について説明する。
符号化された動画像の伝送において、各ブロックのＤＣＴ係数はブロック間差分データが伝送される。ここで、８×８のブロックにおける６４個のＤＣＴ係数が全て“０”であるブロック（以下、「零ＤＣＴブロック」と言う。）は、参照フレームにおける参照位置のブロックと類似するブロックであり、動画像の場合、このような関係にあるブロックが高い割合を占める。そして、零ＤＣＴブロックには、一般的にブロックノイズがない場合が多いと考えられる。
【００５６】
図３は、ＱＣＩＦ（Quarter Common Intermediate Format）サイズのサンプルフレームを１５ｆｐｓ（frame per second）で符号化した場合において、零ＤＣＴブロックとなる割合の例を示す図である。図３によれば、全ブロックのうち、約７０〜８０％が零ＤＣＴブロックとなっている。
したがって、これら零ＤＣＴブロックについてはポストフィルタリング処理を行うことによる画質改善効果が低いものと考えられることから、第１の条件を設けることとする。
【００５７】
次に、第２の条件を設ける理由について説明する。
第１の条件において、零ＤＣＴブロックについてはポストフィルタリング処理を行わないものとしたが、この判定条件のみに従う場合、即ち、零ＤＣＴブロック以外のブロックについてのみフィルタリング処理を行った場合、画質改善効果が十分には得られない場合が生じ得る。
【００５８】
その主な原因は、動き補償処理において、異なる動きベクトルに基づいて前フレームデータが参照されたことによる。
図４は、条件の判定対象となるブロックが、左に隣接するブロックと異なる動きベクトルに基づいて動き補償処理が行われた状態を示す図である。図４において、条件の判定対象であるブロック（以下、「現ブロック」と言う。）の左隣に位置するブロック（以下、「左ブロック」と言う。）は、参照フレームのブロックｂ１を参照している。一方、現ブロックは、参照フレームのブロックｂ２を参照している。そして、ブロックｂ１およびブロックｂ２は、参照フレームにおいて、それぞれ隣接するブロックではないことから、これらは厳密に連続するブロックではない。
【００５９】
即ち、現ブロックと左ブロックが零ＤＣＴブロック（それぞれのＤＣＴ係数が全て“０”）であっても、これは量子化によって多くの情報量が削減された結果零ＤＣＴブロックとなったものであることから、参照フレームにおいて実際に隣接するブロックでない場合には、ブロックノイズを発生させる原因となる。
そこで、第１の条件に加え、左（もしくは上）に隣接するブロックの動きベクトルと、判定対象となるブロックの動きベクトルとが同一の場合にのみ、ポストフィルタリング処理を行わないものとするため、第２の条件を設けることとする。
【００６０】
ただし、第２の条件において、動きベクトルの同一性の条件を緩和するため、動きベクトルの縦方向および横方向の成分それぞれを比較する場合に、半画素精度で±１の範囲にある場合には、その成分は一致するとの条件を付加することとする。
これは次のような理由による。
【００６１】
動きベクトルの参照先は、参照フレームの画素間（即ち、半画素精度の奇数行あるいは奇数列に位置する画素）となる場合がある。この場合、参照される画素として、両隣の画素の平均値が用いられる。したがって、縦方向あるいは横方向に半画素精度で±１の範囲にある画素は互いに関連性があることから、動きベクトルの各成分が半画素精度で±１の範囲である場合には、動きベクトルが同一であると判定するものとする。
【００６２】
次に、第３の条件を設ける理由について説明する。
第１の条件によって、判定対象であるブロックと、隣接するブロックとが零ＤＣＴブロックであると判定され、さらに、第２の条件によって、判定対象であるブロックの動きベクトルと、隣接するブロックの動きベクトルとが同一であると判定された場合であっても、動きベクトルの横方向あるいは縦方向の成分が半画素精度で１６の倍数である場合には、参照先のブロックは、参照フレームにおけるブロックの境界であるため、ブロックノイズの原因となり得る。なお、判定対象となるブロックに対し、左に隣接するブロックとの関係については動きベクトルの横方向成分が問題となり、上に隣接するブロックとの関係については動きベクトルの縦方向成分が問題となる。
【００６３】
即ち、動画像の復号化処理において、現フレームの復号における参照フレームは、ポストフィルタリング処理が施されていない状態の前フレームである。したがって、参照フレームにはブロックノイズ等の歪みが軽減されることなく含まれており、この参照フレームにおけるブロック境界と現フレームにおけるブロック境界が一致することとなる場合には、その境界（辺）にはポストフィルタリング処理を施す必要がある。そこで、第３の条件を設けることとする。
【００６４】
さらに、動画像復号化処理における処理負荷の軽減を図るため、上述の第１から第３の条件の他、フレームメモリ１６ａからフレームメモリ１６ｃにブロックをコピーする条件として、以下の条件を付加することとする。
動画像復号化処理において、フレームメモリ１６ａにはポストフィルタリング処理前のフレームデータが記憶され、これらのうち、ポストフィルタリング処理を行うと判定されたブロックのみがフィルタリング処理される。ここで、フレームメモリ１６ｃには、前フレームのデータに現フレームのデータが順次上書きされる。一方、ポストフィルタリング処理が施されないブロックのうち、現ブロックの動きベクトルが“０”であるブロックは、フレームメモリ１６ａの対応する位置のブロックと同一のデータとなる。
【００６５】
したがって、フレームメモリ１６ａに記憶されたブロックのうち、第１から第３の条件を満たす上、さらに、現ブロックの動きベクトルが“０”であるブロックについては、フレームメモリ１６ｃに残されている前フレームのデータを用いることとし、ブロックのコピーに要する処理負荷を軽減することとする。
以上に述べた条件を整理すると、▲１▼零ＤＣＴブロック以外のブロックにはポストフィルタリング処理を行う。▲２▼現ブロックおよび左に隣接するブロック（上に隣接するブロック）が共に零ＤＣＴブロックであり、動きベクトルが同一であれば、そのブロックとの境界である辺にはポストフィルタリング処理を行わない。ただし、動きベクトルの同一とは、縦方向および横方向の成分について、半画素精度で±１の範囲を含む。▲３▼左に隣接するブロックとの間で条件▲１▼，▲２▼を満たす場合でも、動きベクトルの横方向成分が半画素精度で１６の倍数であればポストフィルタリング処理を行う。同様に、上に隣接するブロックとの間で条件▲１▼，▲２▼を満たす場合でも、動きベクトルの縦方向成分が半画素精度で１６の倍数であればポストフィルタリング処理を行う。▲４▼条件▲１▼〜▲３▼によってポストフィルタリング処理を行わないと判定されたブロックについて、さらに動きベクトルが“０”であるブロックについては、ポストフィルタリング処理前のブロックが記憶されるフレームメモリ１６ａからポストフィルタリング処理後のブロックが記憶されるフレームメモリ１６ｃにそのブロックのデータをコピーしない。
【００６６】
以上のように、本発明を適用した動画像復号化装置１は、動画像の各ブロックについて所定条件（条件▲１▼〜▲３▼）を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのポストフィルタリング処理を行わない。ここで、所定条件は、ポストフィルタリング処理を施す効果が低いブロックを判定するための条件である。
【００６７】
したがって、動画像の復号化処理においてポストフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
図５は、ポストフィルタリング処理における処理負荷と画質改善効果との関係を示す図である。図５において、点線で示す特性は、従来の方法によって処理負荷を軽減した場合を示し、実線で示す特性は、本発明を用いて処理負荷を軽減した場合を示している。
【００６８】
図５によれば、ポストフィルタリング処理において、処理負荷と画質改善効果との関係はトレードオフの関係にあるものの、本発明を適用した場合、処理負荷の軽減に対する画質改善効果の低下の割合を縮小させることができる。
また、図６は、動画像の復号処理、従来のポストフィルタリング処理および本発明を適用したポストフィルタリング処理の負荷の例を示す図である。
【００６９】
図６によれば、種々のサンプルデータにおいて、本発明を適用したポストフィルタリング処理は、従来のポストフィルタリング処理に比べ、処理負荷の軽減を実現している。
また、本発明を適用した動画像復号化装置１は、ポストフィルタリング処理を行わないブロックにおいて、動きベクトルが“０”であるブロックについては、フレームメモリ１６ｃに記憶されたデータに変更がないことから、フレームメモリ１６ａからフレームメモリ１６ｃにデータをコピーしない。
【００７０】
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
また、本発明を適用した動画像復号化装置１は、ポストフィルタリング処理の種類に依存することなく、種々のポストフィルタに対して適用が可能である。
なお、本実施の形態においては、条件▲１▼〜▲３▼の全てについて条件判定を行うこととして説明したが、条件▲１▼〜▲３▼のいずれか単独で判定し、ポストフィルタリング処理を行うか否かを決定した場合にも、一定の効果を得ることができるものである。
【００７１】
【発明の効果】
本発明によれば、動画像の各ブロックについて所定条件を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのフィルタリング処理を行わない。ここで、所定条件は、フィルタリング処理を施す効果が低いブロックを判定するための条件である。
【００７２】
したがって、動画像の復号化処理においてフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
また、フィルタリング処理を行わないブロックにおいて、動きベクトルが零であるブロックについては、第２のメモリに記憶されたデータに変更がないことから、第１のメモリから第２のメモリにデータを上書きしない。
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した動画像復号化装置１の機能構成を示すブロック図である。
【図２】ＭＰＥＧ−４に基づく動画像の復号処理およびポストフィルタリング処理における処理負荷の例を示す図である。
【図３】ＱＣＩＦ（Quarter Common Intermediate Format）サイズのサンプルフレームを１５ｆｐｓ（frame per second）で符号化した場合において、零ＤＣＴブロックとなる割合の例を示す図である。
【図４】条件の判定対象となるブロックが、左に隣接するブロックと異なる動きベクトルに基づいて動き補償処理が行われた状態を示す図である。
【図５】ポストフィルタリング処理における処理負荷と画質改善効果との関係を示す図である。
【図６】動画像の復号処理、従来のポストフィルタリング処理および本発明を適用したポストフィルタリング処理の負荷の例を示す図である。
【図７】従来の動画像復号化装置１００を示すブロック図である。
【符号の説明】
１，１００ 動画像復号化装置
１１，１０１ 可変長復号部
１２，１０２ 逆スキャン部
１３，１０３ 逆ＡＣ／ＤＣプレディクト部
１４，１０４ 逆量子化部
１５，１０５ 逆ＤＣＴ部
１６ａ，１６ｂ，１６ｃ フレームメモリ
１０６，１０８，１１０ フレームメモリ
１７，１０７ 動き補償部
１８ 加算器
１９，１０９ ポストフィルタ部
Claims (6)
- 可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化装置であって、
前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定部と、
前記判定部によって、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ部と、
を備えることを特徴とする動画像復号化装置。 - 前記判定部は、前記処理対象ブロックの動きベクトルおよび該隣接するブロックの動きベクトルの縦方向および横方向の成分それぞれの差が、半画素精度における±１画素の範囲内にある場合に、前記動きベクトルが同一であると判定することを特徴とする請求項１記載の動画像復号化装置。
- 前記判定部は、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、前記処理対象ブロックの動きベクトルと、該隣接するブロックの動きベクトルとが同一であると判定した場合において、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数であるか否かをさらに判定し、
前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数であると判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行い、
前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数でないと判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行わないことを特徴とする請求項１または２記載の動画像復号化装置。 - 前記フィルタリング処理前のデータを記憶する第１のメモリと、前記フィルタリング処理後のデータを記憶する第２のメモリとを備え、連続する各フレームについて前記フィルタリング処理後のデータを前記第２のメモリに上書きする際、前記判定部は、フィルタリング処理が行われないブロックについて、動きベクトルが零であるか否かをさらに判定し、前記判定部が、動きベクトルが零であると判定した場合には、当該ブロックについて、前記第２のメモリにデータを上書きせずに、残されている前フレームの対応するデータを使用することを特徴とする請求項１〜３のいずれかに記載の動画像復号化装置。
- 可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化方法であって、
前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定し、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うことを特徴とする動画像復号化方法。 - 可変長復号処理および逆ＤＣＴ処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行うための動画像復号化処理プログラムであって、
前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのＤＣＴ係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのＤＣＴ係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定機能と、
前記判定機能によって、処理対象ブロックのＤＣＴ係数が零であり、かつ、前記隣接するブロックのＤＣＴ係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのＤＣＴ係数が零でない、あるいは、該隣接するブロックのＤＣＴ係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ機能と、
をコンピュータに実現させることを特徴とする動画像復号化処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001310442A JP3896814B2 (ja) | 2001-10-05 | 2001-10-05 | 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001310442A JP3896814B2 (ja) | 2001-10-05 | 2001-10-05 | 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003116132A JP2003116132A (ja) | 2003-04-18 |
| JP2003116132A5 JP2003116132A5 (ja) | 2005-06-23 |
| JP3896814B2 true JP3896814B2 (ja) | 2007-03-22 |
Family
ID=19129414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001310442A Expired - Lifetime JP3896814B2 (ja) | 2001-10-05 | 2001-10-05 | 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3896814B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100358366C (zh) | 2002-07-11 | 2007-12-26 | 松下电器产业株式会社 | 滤波强度的决定方法、动态图像编码方法及解码方法 |
| DE602005015067D1 (de) | 2004-09-30 | 2009-08-06 | Toshiba Kk | Informationsbearbeitungsgerät und Programm |
| US8619880B2 (en) | 2007-10-10 | 2013-12-31 | Qualcomm Incorporated | Universal blockiness correction |
-
2001
- 2001-10-05 JP JP2001310442A patent/JP3896814B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003116132A (ja) | 2003-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1246131B1 (en) | Method and apparatus for the reduction of artifact in decompressed images using post-filtering | |
| KR101227667B1 (ko) | 오버랩 평활화 및 인-루프 디블록킹의 구분적 프로세싱 | |
| KR101238974B1 (ko) | 비디오 코더 및 디코더 공동 최적화를 위한 방법 및 시스템 | |
| US7738564B2 (en) | Filter for eliminating discontinuity of block-based encoded image, and method thereof | |
| JP2002531971A (ja) | 画像の境界にまたがる画素値間の相違を減少させるための画像処理回路及び方法 | |
| JP3896814B2 (ja) | 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム | |
| JPH07336684A (ja) | 画像信号復号化装置 | |
| JPH09149417A (ja) | 動画像信号復号化装置 | |
| JP3637259B2 (ja) | 動画像解析処理方法及び装置 | |
| JP2000156864A (ja) | 動画像復号処理装置 | |
| JP5298487B2 (ja) | 画像符号化装置、画像復号化装置、および画像符号化方法 | |
| EP0998811A2 (en) | Encoding an information stream organized as a sequence of pictures | |
| JPH0898178A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041005 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041005 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041005 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20041005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3896814 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100105 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |