JP4875007B2 - 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 - Google Patents

Description

本発明はあらゆるマルチメディアデータの符号化の際、特に、画面内ピクチャ符号化を用いる動画像の符号化の際に生じるパルシング歪みを削減するための動画像符号化装置、動画像符号化方法、及び、動画像復号化装置に関する。

一般に、ＩＳＯ／ＩＥＣ１４４９６‐２パート１０国際標準規格のような動画像符号化アルゴリズムの多くは、連続した画面間予測ピクチャからなるグループの始点で、キーピクチャとしても知られる画面内ピクチャを符号化するものである。画面内符号化ピクチャは、隣接するピクチャに依存して復号化されるのではない自己完結型のピクチャである。これは、動画像デコーダが、圧縮動画像ストリームにおけるある画面内符号化ピクチャに先行するピクチャを復号化することなく、当該画面内ピクチャを含む特定のピクチャグループ（ＧＯＰ）および当該画面内ピクチャに続く画面間予測ピクチャを独立的に復号化するためのアクセスポイントとして時折用いられる。符号化動画像シーケンスは、ランダムアクセスや符号化動画像シーケンスの一部の復号化を容易にする数個のピクチャグループからなることがある。

「パルシング」の影響とは、ある画面内ピクチャの符号化画質が当該画面内ピクチャ以前の画面間ピクチャの画質とは異なる場合に発生する歪みである。言い換えると、パルシング歪みは、あるピクチャグループから別のピクチャグループへの移行部分に発生する。複数のピクチャグループからなる符号化動画像シーケンスにおいて、パルシング歪みは、画面内ピクチャの画質が異なることによりピクチャグループの周期ごとに発生する「パルス」状に見えるものである。パルシングの影響は、特に動画像シーケンスが非常に高い圧縮率で符号化された場合に、ピクチャ内の動きが小さい領域でより目立つ。図１は、動画像シーケンスにおいて、パルシング歪みが発生するであろう場所の例を示す。同図に示されるように、パルシング歪みは、ふたつの異なるＧＯＰ間のＧＯＰ境界に発生する。

パルシングの影響を軽減するために、ある従来技術においては、画面内ピクチャの画質を制御するためのレート制御アルゴリズムが用いられている。通常、パルシングの影響は、画面内ピクチャが過度に圧縮された場合に生じる。そのため、パルシングの影響を軽減する方法のひとつとして、画面間ピクチャの圧縮率を上げつつ、画面内ピクチャの圧縮率を下げる方法がある。

また、特許文献１には、符号化処理によりパルシングなどの符号化歪みを含んだ画像を復号化した後に、時間方向のフィルタ処理を実行することで、歪みを削減させる技術が示されている。
特開平９−１３０６４８号公報

しかしながら、上記従来技術において、圧縮率を上げて画面間ピクチャの画質を低下させると、ブロッキングやリンギングなどの別の歪みが増加する結果になる。すなわち、上記従来技術では、パルシング歪みを削減したとしても、他の歪みが増加してしまい、結果として、視覚的な画質を向上させることはできないという課題がある。

パルシングの影響は、特にＩＳＯ／ＩＥＣ１４４９６‐２パート１０国際標準規格のような動画像符号化アルゴリズムを用いて高い圧縮率で圧縮された動画像において目立つ歪みである。当該圧縮動画像の画質を改善するためには、当該動画像を符号化する前か復号化した後に、歪みを削減する必要がある。パルシングの影響を軽減するために画面内ピクチャの圧縮率を下げる当該従来技術においては、ピクチャグループとしてある圧縮率を維持するために、高い圧縮率を用いた画面間ピクチャの画質を低下させることになるという問題がある。それゆえ、当該従来技術は、ピクチャグループ間の境界におけるパルシングの影響を軽減するものの、ピクチャグループ内の画面間ピクチャにより多くの歪みを発生させている。

また、特許文献１に記載の技術では、復号化処理を行わないとパルシング歪みを削減することができない。符号化された画像データはパルシング歪みを含んだままであるため、特許文献１に記載された技術の搭載されていない他の復号化装置などで該画像データを復号化する場合、歪みを削減することができないという課題がある。

そこで、本発明は、他の歪みを増加させることなく、ピクチャグループ間の、特に移行部分で発生するパルシング歪みを削減し、視覚的な画質を向上させる動画像符号化装置及び方法を提供することを目的とする。さらに、符号化処理においてパルシング歪みを削減することのできる動画像符号化装置及び方法を提供することを目的とする。

上記課題を解決するため、本発明は、パルシング歪みを削減するための動画像符号化装置であって、複数の原画像からなる原画像シーケンス内の第１原画像に含まれる１画素以上の画素からなる第１ブロックと、前記第１原画像に先行する第２原画像に含まれる１画素以上の画素からなる第２ブロック又は前記第２ブロックを符号化及び再構成することで得られる第３ブロックとの相関を算出する相関算出手段と、前記相関が予め定められた第１閾値を超えるか否かを判定し、前記第１閾値を超えた場合に前記相関が高いと判定する相関判定手段と、前記相関判定手段において前記相関が高いと判定された場合に、前記第１ブロックと前記第３ブロックとを合成することで、前記パルシング歪みを削減する合成手段とを備える。

これにより、他の歪みを増加させることなく、２つのピクチャグループ間の、特に移行部分で発生するパルシング歪みを削減することができる。また、符号化及び復号化のいずれの処理においてもパルシング歪みを削減することができる。よって、視覚的な画質を向上させることができる。

また、本発明は、動画像符号化装置として実現できるだけでなく、動画像復号化装置としても実現できる。本発明の動画像復号化装置は、パルシング歪みを削減するための動画像復号化装置であって、符号化された複数のピクチャを復号化することで得られる複数の復号化ピクチャからなる復号化動画像シーケンスを出力する復号化手段と、前記復号化動画像シーケンス内の第１復号化ピクチャに含まれる１画素以上の画素からなる第１ブロックと、前記第１復号化ピクチャに先行する第２復号化ピクチャに含まれる１画素以上の画素からなる第２ブロックとの相関を算出する相関算出手段と、前記相関が予め定められた第１閾値を超えるか否かを判定し、前記第１閾値を超えた場合に前記相関が高いと判定する相関判定手段と、前記相関判定手段において前記相関が高いと判定された場合に、前記第１ブロックと前記第２ブロックとを合成することで、前記パルシング歪みを削減する合成手段とを備える。

なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法としても実現できる。また、各処理ステップをコンピュータに実行させるプログラムとして実現することができる。

本発明の効果は、ふたつの独立したピクチャグループ間の、特に移行部分で、圧縮動画像シーケンスのパルシング歪みを削減することである。当該効果は、視覚的な画質の向上という形で現れる。

（第１の実施の形態）
本発明の第１の実施の形態は、動画像シーケンスを符号化する前の前処理モジュールとして用いることができる。パルシング歪み削減処理には３つのステップがある。第１のステップでは、符号化対象原画像と、該符号化対象原画像に時間的に先行する先行原画像との相関を算出する。第２のステップでは、第１のステップで算出された相関が高いか否かを判定する。第３のステップでは、第２のステップで相関が高いと判定された場合に、先行原画像を符号化し再構成することで得られる先行再構成ピクチャと対象原画像とを合成する。以上の３つのステップは、全て１画素以上の画素の集まりであるブロック単位で実行される。なお、以上の処理は、１画素単位で処理を実行してもよく、１枚のピクチャ単位、スライス単位、マクロブロック単位などで実行してもよい。

図２は、本発明の第１の実施の形態におけるパルシング歪み削減処理を説明するための図である。

本実施の形態では、画面内予測符号化の対象となる対象原画像に時間的に先行する先行原画像を参照ピクチャとして選択し、対象原画像と先行原画像との相関を算出する。そして、対象原画像と先行原画像との相関が高いと判定された場合に、対象原画像と先行再構成ピクチャとを合成する。そして、合成されたピクチャを画面内予測符号化し、対象ＧＯＰの先頭ピクチャとする。つまり、図２に示すように、相関算出処理は、原画像を対象にして実行される。合成処理は、原画像と再構成ピクチャとを対象にして実行される。

図３は、本発明の第１の実施の形態における動画像符号化処理のフローチャートである。同図に示されるように、Ｎ×Ｍの非圧縮原画サンプルブロックは、モジュール２００において符号化対象の非圧縮原画ピクチャから得られる。この原画サンプルブロックが、上述の符号化対象原画像のサンプルブロックである。ここで、Ｎは幅におけるピクセル数を表し、Ｍは高さにおけるピクセル数を表す。ＮおよびＭの値の例は、それぞれ１６である。

モジュール２００で得られるＮ×Ｍの非圧縮原画サンプルブロックは、画面内予測符号化の対象となる原画像である（原画像を画面内予測符号化することで得られるピクチャをＩピクチャと称する）。本実施の形態では、Ｉピクチャは、１５枚に１枚の割合で形成される。すなわち、ＧＯＰは、Ｉピクチャを先頭ピクチャとする１５枚のピクチャから構成される。したがって、本実施の形態では、１５枚に１枚の割合で原画像を選択することで、パルシング歪みが生じやすい画面内予測符号化されるピクチャに対して、相関算出及びピクチャ合成処理を実行することができる。

なお、Ｉピクチャの出現する割合などは、応用例（テレビ放送、ＤＶＤレコーダ、携帯電話向けコンテンツ）などによって柔軟に変更される。そのため、本実施の形態の相関算出及びピクチャ合成処理を行う対象となる原画像の選択方法も、Ｉピクチャの出現する割合に応じて柔軟に変更してよい。以下、異なる実施の形態においても同様である。

次に、モジュール２０２において、参照ピクチャは、モジュール２０４に示されるようにピクチャメモリに格納された原画のピクチャグループから選択される。この参照ピクチャが、上述の先行原画像である。この場合のピクチャは、フレームピクチャまたはフィールドピクチャとすることができる。本実施の形態の一例として、符号化対象ピクチャがフレームピクチャである場合、参照フレームは、当該符号化対象ピクチャに対し時間的に直近の参照フレームピクチャであるという基準に基づいて選択される。符号化対象ピクチャがフィールドピクチャである場合、当該符号化対象フィールドピクチャと同じフィールドパリティを有する直近の参照フィールドピクチャが選択される。

モジュール２０６において、Ｎ×Ｍの非圧縮原画サンプルブロックの動きベクトルセットを導き出すために、選択された参照ピクチャに対し動き検出ステップがおこなわれる。モジュール２０８において、Ｎ×Ｍの予測サンプルブロックを導き出すために、導き出された動きベクトルに基づいて動き補償ステップがおこなわれる。

モジュール２１０において、導き出されたＮ×Ｍの予測サンプルブロックのサンプル値とＮ×Ｍの原画サンプルブロックのサンプル値との差分絶対値和によって変化する式に基づいて、コスト値が求められる。コスト値は、対象原画像と先行原画像との相関の程度を示す値の一例である。コスト値を求める式の一例は、

ここで、ＳＡＤとは予測サンプルと原画サンプルとの差分絶対値和であり、Ｌａｍｂｄａは固定値であり、ＭＶＣｏｓｔは、導き出された動きベクトルに左右される要素Ｃｏｓｔを表す。Ｌａｍｂｄａの値は０になることがあり、その場合、要素ＭＶＣｏｓｔは、無視してもよい。

以上のモジュール２００〜２１０に示す処理が実行されることで、対象原画像と先行原画像との相関が算出される。数１に示すように、コスト値が小さいほど、相関が高いことを示す。

モジュール２１２において、モジュール２０６から導き出された動きベクトルの絶対値は、予め定められた第１閾値と比較される。例えば、所定の第１閾値はある整数である。次に、モジュール２１４において、モジュール２１０から求められたコストは、予め定められた第２閾値と比較される。例えば、所定の第２閾値はある整数である。

モジュール２１６に示されるように、動きベクトルの全要素の絶対値が所定の第１閾値より小さく、かつ、求められたコストが所定の第２閾値より小さい場合、モジュール２１８に示されるように、Ｎ×Ｍの原画サンプルブロックに対し、ピクチャ合成処理がおこなわれる。

動きベクトルのいずれかの要素の絶対値が所定の第１閾値より大きい、若しくは求められたコストが所定の第２閾値より大きい場合、モジュール２２２に示されるように、求められたコストは予め定められた第３閾値と比較される。例えば、所定の第３閾値はある整数である。

ここで、モジュール２１２、２１４及び２１６における処理は、動きベクトルの絶対値に応じて、コストの閾値を変更するための処理である。すなわち、本発明の第１の実施の形態では、先行原画像と対象原画像との間の動きの大小に応じて、相関が高いと判定するための閾値を変更する。

動きが大きい箇所については、ピクチャを合成することで画像ぼけなどが生じ、かえって画質を劣化させてしまう恐れがある。したがって、動きが大きい箇所では、相関が高いと判断するための閾値を大きく設定する（コストの閾値を小さく設定する）ことで、ピクチャの合成処理を行うための相関の判断基準を厳格にすることができる。

これに対して、動きが小さい箇所については、ピクチャを合成することによる画像ぼけの発生は少ない。したがって、動きが小さい箇所では、相関が高いと判断するための閾値を小さく（コストの閾値を大きく設定する）することで、ピクチャの合成処理を行うための相関の判断基準を和らげることができる。

以上のことから、対象原画像のサンプルブロックの動きが大きい場合、すなわち、動きベクトルの絶対値が第１閾値より大きい場合、コストの閾値を第２閾値に設定する。これに対して、対象原画像のサンプルブロックの動きが小さい場合、すなわち、動きベクトルの絶対値が第１閾値より小さい場合、コストの閾値を第２閾値より大きい第３閾値に設定する。

これにより、動きが小さい箇所で合成処理が行われるように相関を算出することができる。

以上のモジュール２１２〜２１６及び２２２が示す処理が実行されることで、対象原画像と先行原画像との相関が高いか否かが判定される。すなわち、本実施の形態では、数１で示されるコスト値が閾値より小さいか否かが判定される。

求められたコストがモジュール２２４における所定の第３閾値より小さい場合、モジュール２１８においてＮ×Ｍの符号化対象ブロックに対しピクチャ合成処理がおこなわれる。さもなくば、Ｎ×Ｍの原画サンプルブロックに対し当該ピクチャ合成処理はおこなわれず、当該Ｎ×Ｍの原画サンプルブロックは、モジュール２２０において、画像符号化ツールを用いて符号化される。そのようなツールの例としては、空間予測ツール、直交変換ツール、量子化ツールおよびエントロピー符号化ツールなどがある。

当該ピクチャ合成処理は、下記の式に基づき、Ｎ×Ｍの予測サンプルブロックとＮ×Ｍの原画サンプルブロックとを合体させるステップに関する。

ここで、Ｏ［Ｎ，Ｍ］はＮ×Ｍの原画サンプルブロックを表し、Ｐ［Ｎ，Ｍ］はＮ×Ｍの予測サンプルブロックを表し、Ｍｏｄ［Ｎ，Ｍ］はＮ×Ｍの修正サンプルブロックを表す。Ｗ１およびＷ２は、原画サンプルブロックおよび予測サンプルブロックをどの程度の割合で加算するかを決定する重み係数である。Ｋは、オフセット値であり、Ｓは、２進数表現で表されるＭｏｄ［Ｎ，Ｍ］を右へシフトさせる数を示す。Ｗ１、Ｗ２、ＫおよびＳの値は、全て整数である。Ｗ１、Ｗ２、ＫおよびＳの値の例は、それぞれ１である。

当該ピクチャ合成処理において用いられるＮ×Ｍの予測サンプルブロックは、モジュール２０８の出力であってもよいし、モジュール２０８とは異なる動きベクトルセットと参照ピクチャとを用いた、別の動き補償ステップの結果であってもよい。

当該ピクチャ合成処理からのＮ×Ｍの修正サンプルブロックは、その後、モジュール２２０において、画像符号化ツールを用いて符号化される。そのようなツールの例としては、空間予測ツール、直交変換ツール、量子化ツールおよびエントロピー符号化ツールなどがある。

図４は、本発明の第１の実施の形態における装置を示す。当該装置は、ピクチャメモリ３００、参照ピクチャ選択部３０２、動き検出部３０４、動き補償部３０６、動きベクトル比較部３０８、コスト演算部３１０、ふたつのコスト比較部３１２および３１４、ふたつのスイッチ部３１６および３１８、ピクチャ合成部３２０、画像符号化部３２２およびエントロピー符号化部３２４を備える。

参照ピクチャ選択部３０２は、符号化対象ピクチャ情報Ｄ２および参照ピクチャ情報Ｄ４を受信し、直近の時間距離に基づいて適切な参照ピクチャを選択し、参照インデックスＤ５を動き検出部３０４に出力する。Ｎ×Ｍの原画サンプルブロックＤ１は、入力Ｖｉｎとして受信される。動き検出部３０４は、Ｎ×Ｍの原画サンプルブロックＤ１、参照インデックスＤ５および参照ピクチャＤ３を受信する。これは、動きベクトルセットＤ６を出力する。ＮおよびＭの値の例は、それぞれ１６である。

動きベクトル比較部３０８は、動きベクトルセットＤ６を取り、これを予め定められた第１閾値と比較し、信号Ｄ９を出力する。動きベクトルの全要素の絶対値が当該所定の第１閾値より全て小さい場合、信号Ｄ９は１に設定される。さもなければ、信号Ｄ９は０に設定される。

動き補償部３０６は、その後、参照インデックスＤ５、動きベクトルセットＤ６および参照ピクチャＤ３を取る。これは、Ｎ×Ｍの予測サンプルブロックＤ７を出力する。コスト演算部３１０は、Ｎ×Ｍの予測サンプルブロックＤ７、Ｎ×Ｍの原画サンプルブロックＤ１および動きベクトルセットＤ６を取る。これは、コスト値Ｄ８をコスト比較部３１２に出力する。コスト比較部３１２は、コスト値Ｄ８を取り、これを所定の第２閾値と比較し、信号Ｄ１０をスイッチ部３１６に出力する。求められたコストが当該所定の第２閾値より全て小さい場合、信号Ｄ１０は１に設定される。さもなければ、信号Ｄ１０は０に設定される。

スイッチ部３１６は、信号Ｄ１０およびＤ９次第で、入力Ｄ１へ出力Ｄ１２か出力Ｄ１３を接続する。信号Ｄ１０およびＤ９の両方が１であれば、Ｄ１２がＤ１に接続され、１でなければ、Ｄ１３がＤ１に接続される。

コスト比較部３１４は、コスト値Ｄ８を取り、これを所定の第３閾値と比較し、信号Ｄ１１を第２スイッチ部３１８に出力する。求められたコストが当該所定の第３閾値より小さい場合、信号Ｄ１１は１に設定される。小さくなければ、信号Ｄ１１は０に設定される。

スイッチ部３１８は、信号Ｄ１１次第で、入力Ｄ１３へ出力Ｄ１４か出力Ｄ１５を接続する。信号Ｄ１１が１であれば、Ｄ１４がＤ１３に接続され、１でなければ、Ｄ１５がＤ１３に接続される。

ピクチャ合成部３２０は、次の入力のうちいずれかを取る。すなわち、それはＮ×Ｍの予測サンプルブロックＤ７および信号Ｄ１４またはＤ１２として示されたＮ×Ｍの原画サンプルブロックである。ピクチャ合成部３２０は、ピクチャ合成処理をおこなう。ピクチャ合成部は、その後、Ｎ×Ｍの修正サンプルブロックＤ１６を画像符号化部３２２に出力する。画像符号化部は、信号Ｄ１６またはＤ１５として示されたＮ×Ｍのサンプルブロックを取り、Ｎ×Ｍの量子化残差ブロックＤ１７をエントロピー符号化部３２４に出力する。最後に、エントロピー符号化部３２４は、Ｎ×Ｍの量子化残差ブロックを符号化し、圧縮ビットストリームＶｏｕｔを出力する。

以上のように、本発明の第１の実施の形態によれば、画面内予測符号化の対象となる対象原画像と先行原画像との相関が高いと判定された場合に、対象原画像と先行再構成ピクチャとの合成処理を実行する。これにより、先行するＧＯＰの符号化の特徴を対象ＧＯＰに引き継ぐことが可能となり、２つのＧＯＰ間で生じるパルシング歪みを削減することができる。よって、視覚的な画質を向上させることができる。

（第２の実施の形態）
本発明の第２の実施の形態は、動画像シーケンスを符号化する前の前処理モジュールとして用いることができる。パルシング歪み削減処理には３つのステップがある。第１のステップでは、符号化対象原画像と、該符号化対象原画像に時間的に先行する先行原画像を符号化し再構成することで得られる先行再構成ピクチャとの相関を算出する。第２のステップでは、第１のステップで算出された相関が高いか否かを判定する。第３のステップでは、第２のステップで相関が高いと判定された場合に、対象原画像と先行再構成ピクチャとを合成する。以上の３つのステップは、第１の実施の形態と同様、全て１画素以上の画素の集まりであるブロック単位で実行される。

図５は、本発明の第２の実施の形態におけるパルシング歪み削減処理を説明するための図である。

本実施の形態では、画面内予測符号化の対象となる対象原画像に時間的に先行する先行原画像を符号化し再構成することで得られる先行再構成ピクチャを、参照ピクチャとして選択し、対象原画像と先行再構成ピクチャとの相関を算出する。そして、対象原画像と先行再構成ピクチャとの相関が高いと判定された場合に、対象原画像と先行再構成ピクチャとを合成する。そして、合成されたピクチャを画面内予測符号化し、対象ＧＯＰの先頭ピクチャとする。つまり、図５に示すように、相関算出処理及び合成処理は、原画像と再構成ピクチャとを対象にして実行される。

図６は、本発明の第２の実施の形態における動画像符号化処理のフローチャートである。同図に示されるように、Ｎ×Ｍの非圧縮原画サンプルブロックは、モジュール４００において符号化対象の非圧縮原画ピクチャから得られる。この原画サンプルブロックが、上述の符号化対象原画像のサンプルブロックである。ここで、Ｎは幅におけるピクセル数を表し、Ｍは高さにおけるピクセル数を表す。ＮおよびＭの値の例は、それぞれ１６である。

本発明の第２の実施の形態は、モジュール４０２において、原画のピクチャグループから参照ピクチャを選択する代わりに再構成ピクチャグループから参照ピクチャを選択するという点を除いて、第１の実施の形態と同様である。すなわち、第１の実施の形態では、原画像同士の相関を算出したのに対して、第２の実施の形態では、原画像と再構成ピクチャとの相関を算出する点が異なる。

モジュール４０２において、参照ピクチャは、モジュール４０４に示されるようにピクチャメモリに格納された再構成ピクチャグループから選択される。この参照ピクチャが、上述の先行再構成ピクチャである。この場合のピクチャは、フレームピクチャまたはフィールドピクチャとすることができる。本実施の形態の一例として、符号化対象ピクチャがフレームピクチャである場合、参照フレームは、当該符号化対象ピクチャに対し時間的に直近の参照フレームピクチャであるという基準に基づいて選択される。符号化対象ピクチャがフィールドピクチャである場合、当該符号化対象フィールドピクチャと同じフィールドパリティを有する直近の参照フィールドピクチャが選択される。

モジュール４０６において、Ｎ×Ｍの非圧縮原画サンプルブロックの動きベクトルセットを導き出すために、選択された参照ピクチャに対し動き検出ステップがおこなわれる。モジュール４０８において、Ｎ×Ｍの予測サンプルブロックを導き出すために、導き出された動きベクトルに基づいて動き補償ステップがおこなわれる。

モジュール４１０において、導き出されたＮ×Ｍの予測サンプルブロックのサンプル値とＮ×Ｍの原画サンプルブロックのサンプル値との差分絶対値和によって変化する式に基づいて、コスト値が求められる。コスト値は、対象原画像と先行再構成ピクチャとの相関の程度を示す値の一例である。コスト値を求める式の一例は、

ここで、ＳＡＤとは予測サンプルと原画サンプルとの差分絶対値和であり、Ｌａｍｂｄａは固定値であり、ＭＶＣｏｓｔは、導き出された動きベクトルに左右される要素Ｃｏｓｔを表す。Ｌａｍｂｄａの値は０になることがあり、その場合、要素ＭＶＣｏｓｔは、無視してもよい。

以上のモジュール４００〜４１０に示す処理が実行されることで、対象原画像と先行再構成ピクチャとの相関が算出される。数３に示すように、コスト値が小さいほど、相関が高いことを示す。

モジュール４１２において、モジュール４０６から導き出された動きベクトルの絶対値は、予め定められた第１閾値と比較される。例えば、所定の第１閾値はある整数である。次に、モジュール４１４において、モジュール４１０から求められたコストは、予め定められた第２閾値と比較される。例えば、所定の第２閾値はある整数である。

モジュール４１６に示されるように、動きベクトルの全要素の絶対値が所定の第１閾値より小さく、かつ、求められたコストが所定の第２閾値より小さい場合、モジュール４１８に示されるように、Ｎ×Ｍの原画サンプルブロックに対し、ピクチャ合成処理がおこなわれる。

動きベクトルのいずれかの要素の絶対値が所定の第１閾値より大きい、若しくは求められたコストが所定の第２閾値より大きい場合、モジュール４２２に示されるように、求められたコストは予め定められた第３閾値と比較される。例えば、所定の第３閾値はある整数である。

ここで、モジュール４１２、４１４及び４１６における処理は、動きベクトルの絶対値に応じて、コストの閾値を変更するための処理である。すなわち、本発明の第２の実施の形態では、先行再構成ピクチャと対象原画像との間の動きの大小に応じて、相関が高いと判定するための閾値を変更する。

第１の実施の形態と同様に、対象原画像のサンプルブロックの動きが大きい場合、すなわち、動きベクトルの絶対値が第１閾値より大きい場合、コストの閾値を第２閾値に設定する。これに対して、対象原画像のサンプルブロックの動きが小さい場合、すなわち、動きベクトルの絶対値が第１閾値より小さい場合、コストの閾値を第２閾値より大きい第３閾値に設定する。これにより、動きが小さい箇所で合成処理が行われるように相関を算出することができる。

以上のモジュール４１２〜４１６及び４２２が示す処理が実行されることで、対象原画像と先行再構成ピクチャとの相関が高いか否かが判定される。すなわち、本実施の形態では、数３で示されるコスト値が閾値より小さいか否かが判定される。

求められたコストがモジュール４２４における所定の第３閾値よりも小さい場合、モジュール４１８においてＮ×Ｍの原画サンプルブロックに対しピクチャ合成処理がおこなわれる。さもなくば、Ｎ×Ｍの原画サンプルブロックに対し当該ピクチャ合成処理はおこなわれず、当該Ｎ×Ｍの原画サンプルブロックは、モジュール４２０において、画像符号化ツールを用いて符号化される。そのようなツールの例としては、空間予測ツール、時間予測ツール、直交変換ツール、量子化ツールおよびエントロピー符号化ツールなどがある。

当該ピクチャ合成処理は、下記の式に基づき、Ｎ×Ｍの予測サンプルブロックとＮ×Ｍの原画サンプルブロックとを合体させるステップに関する。

ここで、Ｏ［Ｎ，Ｍ］はＮ×Ｍの原画サンプルブロックを表し、Ｐ［Ｎ，Ｍ］はＮ×Ｍの予測サンプルブロックを表し、Ｍｏｄ［Ｎ，Ｍ］はＮ×Ｍの修正サンプルブロックを表す。Ｗ１およびＷ２は、原画サンプルブロックおよび予測サンプルブロックをどの程度の割合で加算するかを決定する重み係数である。Ｋは、オフセット値であり、Ｓは、２進数表現で表されるＭｏｄ［Ｎ，Ｍ］を右へシフトさせる数を示す。Ｗ１、Ｗ２、ＫおよびＳの値は、全て整数である。Ｗ１、Ｗ２、ＫおよびＳの値の例は、それぞれ１である。

当該ピクチャ合成処理において用いられるＮ×Ｍの予測サンプルブロックは、モジュール４０８の出力であってもよいし、モジュール２０８とは異なる動きベクトルセットと参照ピクチャとを用いた、別の動き補償ステップの結果であってもよい。

当該ピクチャ合成処理からのＮ×Ｍの修正サンプルブロックは、その後、モジュール４２０において、画像符号化ツールを用いて符号化される。そのようなツールの例としては、空間予測ツール、時間予測ツール、直交変換ツール、量子化ツールおよびエントロピー符号化ツールなどがある。

モジュール４２６において、Ｎ×Ｍの符号化サンプルブロックは、画像復号化ツールを用いて再構成され、モジュール４２８において再構成ピクチャメモリに格納される。そのような画像復号化ツールの例としては、空間予測ツール、時間予測ツール、逆直交変換ツール、逆量子化ツールおよびエントロピー復号化ツールなどがある。

図７は、本発明の第２の実施の形態における装置を示す。当該装置は、ピクチャメモリ５００、参照ピクチャ選択部５０２、動き検出部５０４、動き補償部５０６、動きベクトル比較部５０８、コスト演算部５１０、ふたつのコスト比較部５１２および５１４、ふたつのスイッチ部５１６および５１８、ピクチャ合成部５２０、画像符号化部５２２およびエントロピー符号化部５２４、および画像復号化部５２６を備える。

参照ピクチャ選択部５０２は、符号化対象ピクチャ情報Ｄ２および参照ピクチャ情報Ｄ４を受信し、直近の時間距離に基づいて適切な参照ピクチャを選択し、参照インデックスＤ５を動き検出部５０４に出力する。ピクチャメモリ５００は、１つ以上の再構成ピクチャを含む。

Ｎ×Ｍの原画サンプルブロックＤ１は、入力Ｖｉｎとして受信される。動き検出部５０４は、Ｎ×Ｍの原画サンプルブロックＤ１、参照インデックスＤ５および参照ピクチャＤ３を受信する。これは、動きベクトルセットＤ６を出力する。ＮおよびＭの値の例は、それぞれ１６である。

動きベクトル比較部５０８は、動きベクトルセットＤ６を取り、これを予め定められた第１閾値と比較し、信号Ｄ９を出力する。動きベクトルの全要素の絶対値が当該所定の第１閾値より全て小さい場合、信号Ｄ９は１に設定される。さもなければ、信号Ｄ９は０に設定される。

動き補償部５０６は、その後、参照インデックスＤ５、動きベクトルセットＤ６および参照ピクチャＤ３を取る。これは、Ｎ×Ｍの予測サンプルブロックＤ７を出力する。コスト演算部５１０は、Ｎ×Ｍの予測サンプルブロックＤ７、Ｎ×Ｍの原画サンプルブロックＤ１および動きベクトルセットＤ６を取る。これは、コスト値Ｄ８をコスト比較部５１２に出力する。コスト比較部５１２は、コスト値Ｄ８を取り、これを所定の第２閾値と比較し、信号Ｄ１０をスイッチ部５１６に出力する。求められたコストが当該所定の第２閾値より小さい場合、信号Ｄ１０は１に設定される。小さくなければ、信号Ｄ１０は０に設定される。

スイッチ部５１６は、信号Ｄ１０およびＤ９次第で、入力Ｄ１へ出力Ｄ１２か出力Ｄ１３を接続する。信号Ｄ１０およびＤ９の両方が１であれば、Ｄ１２がＤ１に接続され、１でなければ、Ｄ１３がＤ１に接続される。

コスト比較部５１４は、コスト値Ｄ８を取り、これを所定の第３閾値と比較し、信号Ｄ１１を第２スイッチ部５１８に出力する。求められたコストが当該所定の第３閾値より小さい場合、信号Ｄ１１は１に設定される。小さくなければ、信号Ｄ１１は０に設定される。

スイッチ部５１８は、信号Ｄ１１次第で、入力Ｄ１３へ出力Ｄ１４か出力Ｄ１５を接続する。信号Ｄ１１が１であれば、Ｄ１４がＤ１３に接続され、１でなければ、Ｄ１５がＤ１３に接続される。

ピクチャ合成部５２０は、次の入力のうちいずれかを取る。すなわち、それはＮ×Ｍの予測サンプルブロックＤ７および信号Ｄ１４またはＤ１２として示されたＮ×Ｍの原画サンプルブロックである。これは、ピクチャ合成処理をおこなう。ピクチャ合成部は、その後、Ｎ×Ｍの修正サンプルブロックＤ１６を画像符号化部５２２に出力する。

画像符号化部５２２は、信号Ｄ１６またはＤ１５として示されたＮ×Ｍのサンプルブロックを取る。本発明のいくつかの実施態様において、画像符号化部５２２は、Ｎ×Ｍのサンプルブロックを符号化するために用いられる追加入力として、動き補償部５０６からＮ×Ｍの予測サンプルブロックＤ７を受け取ることになる。画像符号化部５２２は、その後、Ｎ×Ｍの量子化残差ブロックＤ１７をエントロピー符号化部５２４および画像復号化部５２６に出力する。

エントロピー符号化部５２４は、Ｎ×Ｍの量子化残差ブロックを符号化し、圧縮ビットストリームＶｏｕｔを出力する。画像復号化部５２６は、Ｎ×Ｍの量子化残差ブロックを復号化して再構成する。本実施の形態のいくつかの実施態様においては、画像復号化部５２６は、Ｎ×Ｍのサンプルブロックを再構成するために、動き補償部５０６からＮ×Ｍの予測サンプルブロックＤ７を取ることになる。画像復号化部５２６は、最終的に、Ｎ×Ｍの再構成サンプルブロックＤ１８を出力し、再構成サンプルをピクチャメモリ５００に格納する。

以上のように、本発明の第２の実施の形態によれば、画面内予測符号化の対象となる対象原画像と先行再構成ピクチャとの相関が高いと判定された場合に、対象原画像と先行再構成ピクチャとの合成処理を実行する。これにより、先行するＧＯＰの符号化の特徴を対象ＧＯＰに引き継ぐことが可能となり、２つのＧＯＰ間で生じるパルシング歪みを削減することができる。よって、視覚的な画質を向上させることができる。

（第３の実施の形態）
本発明の第３の実施の形態は、動画像シーケンスを復号化した後の後処理モジュールとして用いることができる。パルシング歪み削減処理には３つのステップがある。第１のステップでは、対象復号化ピクチャと、該対象復号化ピクチャに時間的に先行する先行復号化ピクチャとの相関を算出する。第２のステップでは、第１のステップで算出された相関が高いか否かを判定する。第３のステップでは、第２のステップで相関が高いと判定された場合に、対象復号化ピクチャと先行復号化ピクチャとを合成する。以上の３つのステップは、第１及び第２の実施の形態と同様、全て１画素以上の画素の集まりであるブロック単位で実行される。

図８は、本発明の第３の実施の形態におけるパルシング歪み削減処理を説明するための図である。

本実施の形態では、画面内予測符号化された符号化ピクチャを復号化した対象復号化ピクチャに時間的に先行する先行復号化ピクチャを、参照ピクチャとして選択し、対象復号化ピクチャと先行復号化ピクチャとの相関を算出する。そして、対象復号化ピクチャと先行復号化ピクチャとの相関が高いと判定された場合に、対象復号化ピクチャと先行復号化ピクチャとを合成する。そして、合成されたピクチャを出力ストリームに含まれるピクチャとして出力する。つまり、図８に示すように、相関算出処理及び合成処理は、復号化ピクチャを対象にして実行される。

図９は、本発明の第３の実施の形態における動画像復号化処理のフローチャートである。同図に示されるように、Ｎ×Ｍの復号化サンプルブロックは、モジュール６００における復号化対象ピクチャから得られる。該復号化サンプルブロックが、上述の対象復号化ピクチャのサンプルブロックである。ここで、Ｎは幅におけるピクセル数を表し、Ｍは高さにおけるピクセル数を表す。ＮおよびＭの値の例は、それぞれ１６である。

モジュール６０２において、参照ピクチャは、モジュール６０４に示されるようにピクチャメモリに格納された復号化ピクチャグループから選択される。該参照ピクチャが、上述の先行復号化ピクチャである。この場合のピクチャは、フレームピクチャまたはフィールドピクチャとすることができる。本実施の形態の一例として、復号化対象ピクチャがフレームピクチャである場合、参照フレームは、当該復号化対象ピクチャに対し時間的に直近の参照フレームピクチャであるという基準に基づいて選択される。復号化対象ピクチャがフィールドピクチャである場合、当該復号化対象フィールドピクチャと同じフィールドパリティを有する直近の参照フィールドピクチャが選択される。

モジュール６０６において、Ｎ×Ｍの非圧縮原画サンプルブロックの動きベクトルセットを導き出すために、選択された参照ピクチャに対し動き検出ステップがおこなわれる。モジュール６０８において、Ｎ×Ｍの予測サンプルブロックを導き出すために、導き出された動きベクトルに基づいて動き補償ステップがおこなわれる。

モジュール６１０において、導き出されたＮ×Ｍの予測サンプルブロックのサンプル値とＮ×Ｍの復号化サンプルブロックのサンプル値との差分絶対値和によって変化する式に基づいて、コスト値が求められる。コスト値は、対象復号化ピクチャと先行復号化ピクチャとの相関の程度を示す値の一例である。コスト値を求める式の一例は、

ここで、ＳＡＤとは予測サンプルと原画サンプルとの差分絶対値和であり、Ｌａｍｂｄａは固定値であり、ＭＶＣｏｓｔは、導き出された動きベクトルに左右される要素Ｃｏｓｔを表す。Ｌａｍｂｄａの値は０になることがあり、その場合、要素ＭＶＣｏｓｔは、無視してもよい。

以上のモジュール６００〜６１０に示す処理が実行されることで、対象復号化ピクチャと先行復号化ピクチャとの相関が算出される。数５に示すように、コスト値が小さいほど、相関が高いことを示す。

モジュール６１２において、モジュール６０６から導き出された動きベクトルの絶対値は、予め定められた第１閾値と比較される。例えば、所定の第１閾値はある整数である。次に、モジュール６１４において、モジュール６１０から求められたコストは、予め定められた第２閾値と比較される。例えば、所定の第２閾値はある整数である。

モジュール６１６に示されるように、動きベクトルの全要素の絶対値が所定の第１閾値より小さく、かつ、求められたコストが所定の第２閾値より小さい場合、モジュール６１８に示されるように、Ｎ×Ｍの原画サンプルブロックに対し、ピクチャ合成処理がおこなわれる。

動きベクトルのいずれかの要素の絶対値が所定の第１閾値より大きい、若しくは求められたコストが所定の第２閾値より大きい場合、モジュール６２２に示すように、求められたコストは予め定められた第３閾値と比較される。例えば、所定の第３閾値はある整数である。

ここで、モジュール６１２、６１４及び６１６における処理は、動きベクトルの絶対値に応じて、コストの閾値を変更するための処理である。すなわち、本発明の第３の実施の形態では、先行復号化ピクチャと対象復号化ピクチャとの間の動きの大小に応じて、相関が高いと判定するための閾値を変更する。

第１及び第２の実施の形態と同様に、対象復号化ピクチャのサンプルブロックの動きが大きい場合、すなわち、動きベクトルの絶対値が第１閾値より大きい場合、コストの閾値を第２閾値に設定する。これに対して、対象復号化ピクチャのサンプルブロックの動きが小さい場合、すなわち、動きベクトルの絶対値が第１閾値より小さい場合、コストの閾値を第２閾値より大きい第３閾値に設定する。これにより、動きが小さい箇所で合成処理が行われるように相関を算出することができる。

以上のモジュール６１２〜６１６及び６２２が示す処理が実行されることで、対象復号化ピクチャと先行復号化ピクチャとの相関が高いか否かが判定される。すなわち、本実施の形態では、数５で示されるコスト値が閾値より小さいか否かが判定される。

求められたコストがモジュール６２４における所定の第３閾値よりも小さい場合、モジュール６１８においてＮ×Ｍの原画サンプルブロックに対しピクチャ合成処理がおこなわれる。さもなくば、Ｎ×Ｍの復号化サンプルブロックに対し当該ピクチャ合成処理はおこなわれず、当該Ｎ×Ｍの復号化サンプルブロックは表示される。

当該ピクチャ合成処理は、下記の式に基づき、Ｎ×Ｍの予測サンプルブロックとＮ×Ｍの復号化サンプルブロックとを合体させるステップに関する。

ここで、Ｏ［Ｎ，Ｍ］はＮ×Ｍの復号化サンプルブロックを表し、Ｐ［Ｎ，Ｍ］はＮ×Ｍの予測サンプルブロックを表し、Ｍｏｄ［Ｎ，Ｍ］はＮ×Ｍの修正サンプルブロックを表す。Ｗ１およびＷ２は、原画サンプルブロックおよび予測サンプルブロックをどの程度の割合で加算するかを決定する重み係数である。Ｋは、オフセット値であり、Ｓは、２進数表現で表されるＭｏｄ［Ｎ，Ｍ］を右へシフトさせる数を示す。Ｗ１、Ｗ２、ＫおよびＳの値は、全て整数である。Ｗ１、Ｗ２、ＫおよびＳの値の例は、それぞれ１である。当該ピクチャ合成処理後のＮ×Ｍの修正サンプルブロックは表示される。

当該ピクチャ合成処理において用いられるＮ×Ｍの予測サンプルブロックは、モジュール４０８の出力であってもよいし、モジュール４０８とは異なる動きベクトルセットと参照ピクチャとを用いた、別の動き補償ステップの結果であってもよい。

図１０は、本発明の第３の実施の形態における装置を示す。当該装置は、ピクチャメモリ７００、参照ピクチャ選択部７０２、動き検出部７０４、動き補償部７０６、動きベクトル比較部７０８、コスト演算部７１０、ふたつのコスト比較部７１２および７１４、ふたつのスイッチ部７１６および７１８、ピクチャ合成部７２０、およびＯＲゲート部７２２を備える。

参照ピクチャ選択部７０２は、復号化対象ピクチャ情報Ｄ２および参照ピクチャ情報Ｄ４を受信し、直近の時間距離に基づいて適切な参照ピクチャを選択し、参照インデックスＤ５を動き検出部７０４に出力する。ピクチャメモリ７００は、１つ以上の復号化ピクチャを含む。

Ｎ×Ｍの復号化原画サンプルブロックＤ１は、入力Ｖｉｎとして受信される。動き検出部７０４は、Ｎ×Ｍの復号化サンプルブロックＤ１、参照インデックスＤ５および参照ピクチャＤ３を受信する。これは、動きベクトルセットＤ６を出力する。ＮおよびＭの値の例は、それぞれ１６である。

動きベクトル比較部７０８は、動きベクトルセットＤ６を取り、これを予め定められた第１閾値と比較し、信号Ｄ９を出力する。動きベクトルの全要素の絶対値が当該所定の第１閾値より全て小さい場合、信号Ｄ９は１に設定される。さもなければ、信号Ｄ９は０に設定される。

動き補償部７０６は、その後、参照インデックスＤ５、動きベクトルセットＤ６および参照ピクチャＤ３を取る。これは、Ｎ×Ｍの予測サンプルブロックＤ７を出力する。コスト演算部７１０は、Ｎ×Ｍの予測サンプルブロックＤ７、Ｎ×Ｍの復号化サンプルブロックＤ１および動きベクトルセットＤ６を取る。これは、コスト値Ｄ８をコスト比較部５１２に出力する。コスト比較部７１２は、コスト値Ｄ８を取り、これを所定の第２閾値と比較し、信号Ｄ１０をスイッチ部７１６に出力する。求められたコストが当該所定の第２閾値より小さい場合、信号Ｄ１０は１に設定される。小さくなければ、信号Ｄ１０は０に設定される。

スイッチ部７１６は、信号Ｄ１０およびＤ９次第で、入力Ｄ１へ出力Ｄ１２か出力Ｄ１３を接続する。信号Ｄ１０およびＤ９の両方が１であれば、Ｄ１２がＤ１に接続され、１でなければ、Ｄ１３がＤ１に接続される。

コスト比較部７１４は、コスト値Ｄ８を取り、これを所定の第３閾値と比較し、信号Ｄ１１を第２スイッチ部７１８に出力する。求められたコストが当該所定の第３閾値より小さい場合、信号Ｄ１１は１に設定される。小さくなければ、信号Ｄ１１は０に設定される。

スイッチ部７１８は、信号Ｄ１１次第で、入力Ｄ１３へ出力Ｄ１４か出力Ｄ１５を接続する。信号Ｄ１１が１であれば、Ｄ１４がＤ１３に接続され、１でなければ、Ｄ１５がＤ１３に接続される。

ピクチャ合成部７２０は、次の入力のうちいずれかを取る。すなわち、それはＮ×Ｍの予測サンプルブロックＤ７および信号Ｄ１４またはＤ１２として示されたＮ×Ｍの復号化サンプルブロックである。これは、ピクチャ合成処理をおこなう。ピクチャ合成部は、その後、Ｎ×Ｍの修正サンプルブロックＤ１６をＯＲゲート部に出力する。ＯＲゲート部７２２は、どちらの信号が利用可能であるかによって、Ｎ×Ｍの修正サンプルブロックＤ１６とＮ×Ｍの復号化サンプルブロックＤ１５のいずれかを選択し、選択したＮ×Ｍのサンプルブロックを表示Ｖｏｕｔに出力する。

以上のように、本発明の第３の実施の形態によれば、画面内予測符号化された符号化ピクチャを復号化した対象復号化ピクチャと先行復号化ピクチャとの相関が高いと判定された場合に、対象復号化ピクチャと先行復号化ピクチャとの合成処理を実行する。これにより、先行するＧＯＰの符号化の特徴を対象ＧＯＰに引き継ぐことが可能となり、２つのＧＯＰ間で生じるパルシング歪みを削減することができる。よって、視覚的な画質を向上させることができる。

以上、本発明の動画像符号化装置、動画像符号化方法及び動画像復号化装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

また、本発明では、画面内予測符号化の対象となる対象ピクチャとその直前の１枚の先行ピクチャとの間で、相関の判定処理及び合成処理を行う構成とした。これに対して、先行ピクチャは、２枚以上であってもよい。この場合、相関の判定処理及び合成処理において、重み付け加算する際に、２枚の重み係数を設定すればよい。例えば、ピクチャ合成は、以下の数７に基づいて実行される。

Ｏ［Ｎ，Ｍ］はＮ×Ｍの原画サンプルブロックを表し、Ｐ１［Ｎ，Ｍ］およびＰ２［Ｎ，Ｍ］はＮ×Ｍの予測サンプルブロックを表し、Ｍｏｄ［Ｎ，Ｍ］はＮ×Ｍの修正サンプルブロックを表す。Ｐ１［Ｎ，Ｍ］がＯ［Ｎ，Ｍ］の直前のサンプルブロックであり、Ｐ２がＰ１［Ｎ，Ｍ］の直前のサンプルブロックであるとする。ここで、例えば、重み係数Ｗ２とＷ３とを、Ｗ２の方が大きい値となるように設定することで、原画サンプルブロックに時間的により近い予測サンプルブロックを重視し、かつ、それ以前の予測サンプルブロックの傾向も取り入れた合成処理を実行することができる。これにより、より視覚的に画質を向上させることができる。

また、ピクチャの合成に用いられる重み係数を、相関算出処理で得られるコスト値に応じて変更してもよい。例えば、数２において、コスト値が小さいほど、原画サンプルブロックに乗ぜられる重み係数Ｗ１を大きく、又は、小さく設定してもよい。

また、本発明では、相関の判定処理及び合成処理を１６×１６のブロック単位で行うとしたが、これに限らず、８×８又は４×４のブロック単位でもよい。さらには、１画素単位で相関の判定処理及び合成処理を行ってもよい。これにより、高い精度で各処理を実行することができ、より視覚的に画質を向上させることができる。

また、符号化などの処理は、ブロック単位やピクチャ単位に限られず、様々な単位で処理が実行される。例えば、図１１に示すようなスライス単位で画面内予測符号化が実行される場合もある。図１１は、画面内予測符号化されるスライスを時間的にずらしながら符号化する例を示す図である。同図に示すようなスライス単位でも、本発明の動画像符号化方法を適用することができる。

なお、本発明は、各実施の形態で示した装置を構成する処理手段をステップとする方法をコンピュータに実行させるプログラムとしてもよい。また、該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として、及び、そのプログラムを示す情報、データ又は信号として実現することもできる。さらに、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明は、パルシング歪みを削減し、視覚的な画質を向上させる装置に適用でき、例えば、デジタルテレビなどに適用できる。

図１は、符号化動画像シーケンスにおけるパルシング歪みの例を説明する図である。 図２は、本発明の第１の実施の形態におけるパルシング歪み削減処理を説明するための図である。 図３は、本発明の第１の実施の形態における動画像符号化処理を示すフローチャートである。 図４は、本発明の第１の実施の形態における動画像符号化装置の例を示すブロック図である。 図５は、本発明の第２の実施の形態におけるパルシング歪み削減処理を説明するための図である。 図６は、本発明の第２の実施の形態における動画像符号化処理を示すフローチャートである。 図７は、本発明の第２の実施の形態における動画像符号化装置の例を示すブロック図である。 図８は、本発明の第３の実施の形態におけるパルシング歪み削減処理を説明するための図である。 図９は、本発明の第３の実施の形態における動画像復号化処理を示すフローチャートである。 図１０は、本発明の第３の実施の形態における動画像復号化装置の例を示すブロック図である。 図１１は、動画像シーケンスがスライス単位で符号化される場合の例を示す図である。

符号の説明

３００、５００、７００ ピクチャメモリ
３０２、５０２、７０２ 参照ピクチャ選択部
３０４、５０４、７０４ 動き検出部
３０６、５０６、７０６ 動き補償部
３０８、５０８、７０８ 動きベクトル比較部
３１０、５１０、７１０ コスト演算部
３１２、３１４、５１２、５１４、７１２、７１４ コスト比較部
３１６、３１８、５１６、５１８、７１６、７１８ スイッチ部
３２０、５２０、７２０ ピクチャ合成部
３２２、５２２ 画像符号化部
３２４、５２４ エントロピー符号化部
５２６ 画像復号化部
７２２ ＯＲゲート部

Claims (14)

1. パルシング歪みを削減するための動画像符号化装置であって、
   複数の原画像からなる原画像シーケンス内の第１原画像に含まれる１画素以上の画素からなる第１ブロックと、前記第１原画像に先行する第２原画像に含まれる１画素以上の画素からなる第２ブロック又は前記第２ブロックを符号化及び再構成することで得られる第３ブロックとの相関を算出する相関算出手段と、
   前記相関が予め定められた第１閾値を超えるか否かを判定し、前記第１閾値を超えた場合に前記相関が高いと判定する相関判定手段と、
   前記相関判定手段において前記相関が高いと判定された場合に、前記第１ブロックと前記第３ブロックとを合成する合成手段とを備える
   ことを特徴とする動画像符号化装置。
2. 前記動画像符号化装置は、さらに、
   前記合成手段において合成されたブロックを画面内予測符号化する符号化手段を備える
   ことを特徴とする請求項１記載の動画像符号化装置。
3. 前記相関算出手段は、
   前記第１ブロックと前記第２ブロック又は前記第３ブロックとの画素値の差分を算出することで前記相関を算出し、
   前記相関判定手段は、
   前記差分が、予め定められた第２閾値より小さい場合に、前記相関が高いと判定する
   ことを特徴とする請求項１記載の動画像符号化装置。
4. 前記動画像符号化装置は、さらに、
   前記第２ブロック又は前記第３ブロックの動きベクトルを検出する動き検出手段と、
   前記動きベクトルの絶対値が予め定められた第３閾値以上である場合に、前記第２閾値を第１の値に設定し、前記絶対値が前記第３閾値より小さい場合に、前記第２閾値を前記第１の値より大きい第２の値に設定する閾値設定手段とを備え、
   前記相関判定手段は、
   前記差分が、前記閾値設定手段で設定された第２閾値より小さい場合に、前記相関が高いと判定する
   ことを特徴とする請求項３記載の動画像符号化装置。
5. 前記相関算出手段は、
   前記第１ブロックと、前記第２ブロック又は前記第３ブロックとの差分絶対値和を求める差分算出部と、
   前記第２ブロック又は前記第３ブロックの動きベクトルに依存する第３の値を算出する動き算出部と、
   前記差分絶対値和と前記第３の値とを重み付け加算することで、前記相関の程度を示す相関値を算出する重み加算部とを備え、
   前記相関判定手段は、
   前記重み加算部において算出された前記相関値が、予め定められた第４閾値より小さい場合に、前記相関が高いと判定する
   ことを特徴とする請求項１記載の動画像符号化装置。
6. 前記合成手段は、
   前記第１ブロックの各画素値と前記第３ブロックの各画素値とを重み付け加算する
   ことを特徴とする請求項１記載の動画像符号化装置。
7. パルシング歪みを削減するための動画像符号化方法であって、
   複数の原画像からなる原画像シーケンス内の第１原画像に含まれる１画素以上の画素からなる第１ブロックと、前記第１原画像に先行する第２原画像に含まれる１画素以上の画素からなる第２ブロック又は前記第２ブロックを符号化及び再構成することで得られる第３ブロックとの相関を算出する相関算出ステップと、
   前記相関が予め定められた第１閾値を超えるか否かを判定し、前記第１閾値を超えた場合に前記相関が高いと判定する相関判定ステップと、
   前記相関判定ステップにおいて前記相関が高いと判定された場合に、前記第１ブロックと前記第３ブロックとを合成する合成ステップとを含む
   ことを特徴とする動画像符号化方法。
8. 前記動画像符号化方法は、さらに、
   前記合成ステップにおいて合成されたブロックを画面内予測符号化する符号化ステップを含む
   ことを特徴とする請求項７記載の動画像符号化方法。
9. 前記相関算出ステップでは、
   前記第１ブロックと前記第２ブロック又は前記第３ブロックとの画素値の差分を算出することで前記相関を算出し、
   前記相関判定ステップでは、
   前記差分が、予め定められた第２閾値より小さい場合に、前記相関が高いと判定する
   ことを特徴とする請求項７記載の動画像符号化方法。
10. 前記動画像符号化方法は、さらに、
    前記第２ブロック又は前記第３ブロックの動きベクトルを検出する動き検出ステップと、
    前記動きベクトルの絶対値が予め定められた第３閾値以上である場合に、前記第２閾値を第１の値に設定し、前記絶対値が前記第３閾値より小さい場合に、前記第２閾値を前記第１の値より大きい第２の値に設定する閾値設定ステップとを含み、
    前記相関判定ステップでは、
    前記差分が、前記閾値設定ステップで設定された第２閾値より小さい場合に、前記相関が高いと判定する
    ことを特徴とする請求項９記載の動画像符号化方法。
11. 前記相関算出ステップは、
    前記第１ブロックと、前記第２ブロック又は前記第３ブロックとの差分絶対値和を求める差分算出ステップと、
    前記第２ブロック又は前記第３ブロックの動きベクトルに依存する第３の値を算出する動き算出ステップと、
    前記差分絶対値和と前記第３の値とを重み付け加算することで、前記相関の程度を示す相関値を算出する重み加算ステップとを含み、
    前記相関判定ステップでは、
    前記重み加算ステップにおいて算出された前記相関値が、予め定められた第４閾値より小さい場合に、前記相関が高いと判定する
    ことを特徴とする請求項７記載の動画像符号化方法。
12. 前記合成ステップは、
    前記第１ブロックの各画素値と前記第３ブロックの各画素値とを重み付け加算する
    ことを特徴とする請求項７記載の動画像符号化方法。
13. パルシング歪みを削減するための動画像符号化プログラムであって、
    複数の原画像からなる原画像シーケンス内の第１原画像に含まれる１画素以上の画素からなる第１ブロックと、前記第１原画像に先行する第２原画像に含まれる１画素以上の画素からなる第２ブロック又は前記第２ブロックを符号化及び再構成することで得られる第３ブロックとの相関を算出する相関算出ステップと、
    前記相関が予め定められた閾値を超えるか否かを判定し、前記閾値を超えた場合に前記相関が高いと判定する相関判定ステップと、
    前記相関判定ステップにおいて前記相関が高いと判定された場合に、前記第１ブロックと前記第３ブロックとを合成する合成ステップとを
    コンピュータに実行させるプログラム。
14. パルシング歪みを削減するための動画像復号化装置であって、
    符号化された複数のピクチャを復号化することで得られる複数の復号化ピクチャからなる復号化動画像シーケンスを出力する復号化手段と、
    前記復号化動画像シーケンス内の第１復号化ピクチャに含まれる１画素以上の画素からなる第１ブロックと、前記第１復号化ピクチャに先行する第２復号化ピクチャに含まれる１画素以上の画素からなる第２ブロックとの相関を算出する相関算出手段と、
    前記相関が予め定められた第１閾値を超えるか否かを判定し、前記第１閾値を超えた場合に前記相関が高いと判定する相関判定手段と、
    前記相関判定手段において前記相関が高いと判定された場合に、前記第１ブロックと前記第２ブロックとを合成する合成手段とを備え、
    前記相関算出手段は、
    前記第１ブロックと前記第２ブロックとの画素値の差分を算出することで前記相関を算出し、
    前記相関判定手段は、
    前記差分が、予め定められた第２閾値より小さい場合に、前記相関が高いと判定し、
    前記動画像復号化装置は、さらに、
    前記第２ブロックの動きベクトルを検出する動き検出手段と、
    前記動きベクトルの絶対値が予め定められた第３閾値以上である場合に、前記第２閾値を第１の値に設定し、前記絶対値が前記第３閾値より小さい場合に、前記第２閾値を前記第１の値より大きい第２の値に設定する閾値設定手段とを備え、
    前記相関判定手段は、
    前記差分が、前記閾値設定手段で設定された第２閾値より小さい場合に、前記相関が高いと判定する
    ことを特徴とする動画像復号化装置。

Images