JP4495653B2

JP4495653B2 - 符号化歪み低減装置および符号化歪み低減プログラム

Info

Publication number: JP4495653B2
Application number: JP2005253876A
Authority: JP
Inventors: 直弘原; 和久井口; 慎一境田; 清一合志
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2005-09-01
Filing date: 2005-09-01
Publication date: 2010-07-07
Anticipated expiration: 2025-09-01
Also published as: JP2007068036A

Description

本発明は、符号化歪み低減装置および符号化歪み低減プログラムに係り、特に復号動画像信号から符号化歪みを低減する符号化歪み低減装置および符号化歪み低減プログラムに関する。

例えば動画像の非可逆符号化に伴い発生する符号化歪みの代表的なものとしてはブロック歪みとモスキートノイズとがある。ブロック歪みは画像を小ブロックに分割して各々独立に量子化処理を行うことにより、復号後の隣接ブロック間で信号の不連続が生じ、ブロック状のパターンが出現する歪みである。

モスキートノイズは画像高周波成分を重点的に削減する符号化処理により、復号画像において高周波成分が不足し、画像エッジ部などに蚊が飛んでいるかのようなリンギングパターンが出現する歪みである。

従来、これらの符号化歪みを改善する手法としては、符号化前の動画像信号に対してフィルタ処理を行う前置フィルタ処理と、復号後の動画像信号に対してフィルタ処理を行う後置フィルタ処理とがある。

前置フィルタ処理は、符号化前の動画像に対して低域通過フィルタ処理を施すことにより、符号化歪み発生の原因となる画像高周波成分を予め取り除くものである（例えば非特許文献１参照）。

後置フィルタ処理は、符号化歪みが発生した復号動画像信号に対して低域通過フィルタ処理を施すことにより符号化歪みを平滑化し、視覚的に目立たなくするものである（例えば非特許文献２参照）。

後置フィルタ処理は、ＡＶＣ／Ｈ．２６４符号化方式においてもデブロッキングフィルタとして用いられている。このデブロッキングフィルタは、復号動画像のブロック境界において低域通過フィルタ処理を行うことによりブロック歪みを平滑化し、視覚的に目立たなくしている。
宮本剛，都竹愛一郎著、「動画像符号化の画質改善用プリフィルタに関する一検討」、１９９７年電子情報通信学会総合大会、Ｄ−１１−１茂木健著、「適応的平滑化によるＤＣＴ符号化歪みの低減」、２０００年電子情報通信学会総合大会、Ｄ−１１−２８

上記した従来手法のうち、前置フィルタ処理による符号化歪み低減手法では入力画像の画像エッジ成分等に対しても一律に平滑化処理を施すために、復号後の符号化歪みが減る一方で、画像の高精細感も失われる結果となり、画質を落としてしまっていた。入力画像の静動判定や画面内の局所的性質に基づいてフィルタ係数を変えるといった適応処理も試みられているが、すべての画像に対して一律に効果が得られるような決定的な手法は無い。

また、従来の後置フィルタ処理による符号化歪み低減手法では、ブロック歪みなどの符号化歪みによるエッジ成分のみならず、画像本来のエッジ成分も平滑化処理の対象としていたため、画像本来の輪郭までもぼやけさせてしまい、画質を落としてしまっていた。

一方で、画像本来のエッジ成分を保持したまま、符号化歪みによるエッジ成分のみを平滑化しようとする試みも行われているが、一般に画像本来のエッジ成分と符号化歪みによるエッジ成分とを区別するための閾値設定は困難である。

後置フィルタ処理に関しては、ＡＶＣ／Ｈ．２６４符号化方式のようにデブロッキングフィルタが用いられる符号化方式もあるが、一方でＭＰＥＧ−２符号化方式のようにデブロッキングフィルタが用いられない符号化方式もある。多数の動画像符号化方式が存在する中、符号化方式に依存しない画質改善手法の要望は高かった。

本発明は、上記の点に鑑みなされたもので、高精細度を保ったまま復号動画像信号から符号化歪みを低減できる符号化歪み低減装置および符号化歪み低減プログラムを提供することを目的とする。

上記課題を解決するため、本発明は、復号動画像信号から符号化歪みを低減する符号化歪み低減装置であって、入力された復号動画像信号から符号化時の直交変換の単位である画素ブロックのサイズ及び動き補償に用いられる画素ブロックのサイズと異なるサイズの第１の画素ブロックに分割された処理対象画面を出力するブロック分割部と、入力された復号動画像信号から前記処理対象画面と時間的に隣接する１つ以上の参照画面を出力する遅延部と、前記第１の画素ブロック毎に、１つ以上の前記参照画面から切り出した１つ以上の第２の画素ブロックとの間で類似度を求め、前記参照画面毎に最も類似度の高い第２の画素ブロックを探索するブロック探索部と、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックと前記第１の画素ブロックとを用いた時間平均化処理を行って前記第１の画素ブロック毎に平均化画素ブロックを作成する平均部と、前記第１の画素ブロック毎に作成した平均化画素ブロックを、前記処理対象画面を構成する第１の画素ブロックと置き換えるブロック置換部と、前記第１の画素ブロックと前記第２の画素ブロックとの類似度に基づき、前記類似度が大きいほど前記第１の画素ブロックの重み付けを小さくすると共に、前記第２の画素ブロックの重み付けを大きくし、前記類似度が小さいほど前記第１の画素ブロックの重み付けを大きくすると共に、前記第２の画素ブロックの重み付けを小さく決定する重み付け制御部とを有し、前記平均部は、前記重み付け制御部が決定した重み付けに基づき、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックと前記第１の画素ブロックとを重み付けして平均化処理を行って前記第１の画素ブロック毎に平均化画素ブロックを作成し、前記重み付け制御部は、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致せず、且つ前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致しないときに、前記平均部で平均化処理を行うように前記重み付けを決定し、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致し、又は前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致するときに、前記平均部で平均化処理を行わないように前記重み付けを決定することを特徴とする。

また、本発明は、復号動画像信号から符号化歪みを低減する符号化歪み低減装置として機能するコンピュータに、入力された復号動画像信号から符号化時の直交変換の単位である画素ブロックのサイズ及び動き補償に用いられる画素ブロックのサイズと異なるサイズの第１の画素ブロックに分割された処理対象画面および前記処理対象画面と時間的に隣接する１つ以上の参照画面を出力する出力ステップと、前記第１の画素ブロック毎に、１つ以上の前記参照画面から切り出した１つ以上の第２の画素ブロックとの間で類似度を求め、前記参照画面毎に最も類似度の高い第２の画素ブロックを探索する探索ステップと、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックと前記第１の画素ブロックとを用いた時間平均化処理を行って前記第１の画素ブロック毎に平均化画素ブロックを作成する作成ステップと、前記第１の画素ブロック毎に作成した平均化画素ブロックを、前記処理対象画面を構成する第１の画素ブロックと置き換える置換ステップと、前記第１の画素ブロックと前記第２の画素ブロックとの類似度に基づき、前記類似度が大きいほど前記第１の画素ブロックの重み付けを小さくすると共に、前記第２の画素ブロックの重み付けを大きくし、前記類似度が小さいほど前記第１の画素ブロックの重み付けを大きくすると共に、前記第２の画素ブロックの重み付けを小さく決定する重み付け制御ステップとを実行させ、前記作成ステップは、前記重み付け制御ステップで決定した重み付けに基づき、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックと前記第１の画素ブロックとを重み付けして平均化処理を行って前記第１の画素ブロック毎に平均化画素ブロックを作成し、前記重み付け制御ステップは、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致せず、且つ前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致しないときに、前記作成ステップで平均化処理を行うように前記重み付けを決定し、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致し、又は前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致するときに、前記作成ステップで平均化処理を行わないように前記重み付けを決定するように実行させる為の符号化歪み低減プログラムであることを特徴とする。

本発明は符号化歪みの発生した復号動画像信号に適用され、処理対象画面を含む同一時間軸上の複数の参照画面を用いてブロック探索処理（動き補償処理）を行い、類似度が高い複数の画素ブロックを平均化して、処理対象画面の画素ブロックと置き換えることにより、符号化歪みを低減している。

上記の如く、本発明によれば、高精細度を保ったまま復号動画像信号から符号化歪みを低減できる符号化歪み低減装置および符号化歪み低減プログラムを提供可能である。

次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。本発明は、符号化された動画像の画質改善に係り、画面間の類似関係を使って復号動画像信号から符号化歪みを低減する画像処理に関するものである。

本発明は、動画像の時間的な連続性もしくは類似性を利用し、復号動画像に対する時間方向の平滑化処理により、符号化歪みを低減する。本発明は被写体の空間位置や時間的類似性の度合いに応じて適応的に重み付けを行なうことで、画像の高精細度を保ったまま、符号化歪みを低減することができる。

図１は、本発明の概要を示す一例のイメージ図である。図１のイメージ図は参照画面が２つの例を表している。図１の上段は、入力された復号動画像信号を表している。図１の復号動画像信号は、画面１００，１０１，１０２及び１０３の順番で入力されている。画面１０２は、処理対象画面を表している。画面１００及び１０１は、参照画面を表している。

参照画面である画面１００及び１０１は、処理対象画面である画面１０２の画素ブロックＡを用いて、その画素ブロックＡと最も類似度の高い画素ブロックＢ及びＣを各々において得ている。

図１の下段は、符号化歪みを低減して画質が改善された改善動画像信号を表している。図１の改善動画像信号は、画面１１０，１１１，１１２及び１１３の順番で出力されている。画面１１３は、画素ブロックＡ，Ｂ及びＣを用いて重み付け平均化処理を行うことで作成された画素ブロックＡ′を、画素ブロックＡと置き換える。この処理を処理対象画面の全画素ブロックについて行なうことで、本発明では画質が改善された改善動画像信号を得ることができる。

図２は、本発明による符号化歪み低減装置の第１実施例の構成図である。図２の符号化歪み低減装置は、１フレーム遅延部１，ブロック分割部２，ブロック探索部３，重み付け制御部４，加重平均部５及びブロック置換部６を含むように構成されている。

本発明による符号化歪み低減装置に入力される復号動画像信号は非可逆圧縮符号化された動画像信号とする。復号動画像信号は、１フレーム遅延部１，ブロック分割部２，ブロック置換部６に入力される。

１フレーム遅延部１は入力された復号動画像信号を１フレーム分遅延させ、参照画面としてブロック探索部３に出力する。ブロック分割部２は入力された復号動画像信号の画面を所定サイズの画素ブロックに分割し、処理対象画面としてブロック探索部３に出力する。

このとき、画面の分割に用いる画素ブロックのサイズは、符号化時に直交変換の単位となる画素ブロックのサイズや、動き補償に用いられる画素ブロックのサイズと異なるものにすることが理想である。なぜなら、ブロック歪みは直交変換に用いられる画素ブロックもしくは動き補償に用いられる画素ブロックが復号後に可視化されてしまう歪みだからである。例えば文献としては、「A survey of hybrid MC/DPCM/DCT video coding distortions」、Michael.Yuen，H.R.Wu、Signal Processing,vol.70,No.3,1998年がある。

ブロック歪みによるブロック境界とブロック分割部２により分割される画素ブロックのブロック境界とをずらすことで、本発明による符号化歪み低減装置は後段の加重平均部５における符号化歪み除去が有効に行える。

一例としてＭＰＥＧ−２では、動き補償に１６×１６サイズの画素ブロックを用いると共に、直交変換に８×８サイズの画素ブロックを用いている。本発明による符号化歪み低減装置では、例えばＭＰＥＧ−２で符号化された復号動画像信号に対し、ブロック分割部２で分割する画素ブロックのサイズとして１７×１７サイズを用いることができる。

ブロック探索部３は、１フレーム遅延部１から入力された参照画面とブロック分割部２から入力された処理対象画面との間で最も類似度の高い画素ブロックの組み合わせを求める処理を行なう。即ち、ブロック探索部３は既に分割されている処理対象画面の画素ブロックと参照画面から同じサイズで順次切り出した画素ブロックとの間で類似度を求め、処理対象画面の画素ブロックと最も類似度が高い参照画面の画素ブロックを探索する。

ブロック探索部３は処理対象画面の画素ブロックの画像データと、その処理対象画面の画素ブロックと最も類似度が高い参照画面の画素ブロックの画像データとを適合ブロック画像情報として加重平均部５に出力する。また、ブロック探索部３は処理対象画面の画素ブロックと最も類似度が高い参照画面の画素ブロックのブロック位置と、その類似度の値とを検出信号として重み付け制御部４に出力する。

ここで、参照画面からの画素ブロックの切り出しは、ブロック分割部２で行なうように画面を所定サイズの画素ブロックに分割するのではなく、切り出される各画素ブロックを参照画面内で例えば１画素単位でずらしていく。結果として参照画面からの画素ブロックの切り出しは、切り出される画素ブロック同士が参照画面内でオーバーラップしている。

例えば画素ブロック間の類似度ＳＭＬは以下の式（１），（２）を用いて算出される。ｃｒｔi,jは処理対象画面の画素ブロックの画素値を表す。ｒｅｆi,jは参照画面の画素ブロックの画素値を表す。ＴＤは、処理対象画面と参照画面との時間的な距離を表す。

式（２）は、処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算し、処理対象画面と参照画面との時間的な距離に応じて補正してＳＡＤを算出している。

ＳＡＤは、処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算した値が小さいほど、処理対象画面と参照画面との時間的な距離が近いほど小さな値となる。また、ＳＡＤは、処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算した値が大きいほど、処理対象画面と参照画面との時間的な距離が遠いほど大きな値となる。

式（１）は、ＳＡＤの逆数である類似度ＳＭＬを算出している。類似度ＳＭＬは処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算した値が小さいほど、処理対象画面と参照画面との時間的な距離が近いほど大きな値となる。また、類似度ＳＭＬは、処理対象画面の画素ブロックの画素値と参照画面の画素ブロックの画素値との差分を画素ブロック単位で加算した値が大きいほど、処理対象画面と参照画面との時間的な距離が遠いほど小さな値となる。

重み付け制御部４はブロック探索部３から入力される検出情報に基づき、加重平均部５で行なう平均化処理の重み付けを決定する。なお、検出情報には処理対象画面の画素ブロックと最も類似度が高い参照画面の画素ブロックのブロック位置と、その類似度の値とが含まれる。

重み付け制御部４では、類似度が高い場合に加重平均の重み付けを処理対象画面と参照画面とで均等化し、類似度が低い場合に処理対象画面に対する重み付けを増やす処理を行う。

ただし、重み付け制御部４は参照画面の画素ブロックの空間位置が、処理対象画面の画素ブロックの空間位置と同一である場合に、処理対象画面の画素ブロックに対する重み付けを１００％（ｗcrt＝１）として平均化処理を行わないようにする。

また、重み付け制御部４は参照画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係が、処理対象画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係と同一である場合に、処理対象画面の画素ブロックに対する重み付けを１００％（ｗcrt＝１）として平均化処理を行わないようにする。

図３は重み付け制御部４の処理を表したイメージ図である。ブロック歪みの出現位置は、符号化器の制御により一定に決まる。例えばＭＰＥＧ−２では８×８サイズの画素ブロックのブロック境界がブロック歪みの出現位置に当たる。図３ではブロック歪みの境界を格子模様で示している。また、図３では右側に処理対象画面、左側に参照画面を示している。ここでは、処理対象画面の画素ブロックと最も類似度が高い参照画面の画素ブロックを適合ブロックと呼ぶ。

例えば処理対象画面の画素ブロックＡと最も類似度の高い参照画面の画素ブロック（適合ブロック）が画素ブロックＢ１であったとすると、処理対象画面の画素ブロックＡ及び参照画面の画素ブロックＢ１の空間位置は同一であり、ブロック歪みの境界との空間位置関係も同一である。この場合、重み付け制御部４は処理対象画面の画素ブロックに対する重み付けを１００％とすることにより、結果として平均化処理を行わないようにする。

同様に、適合ブロックが画素ブロックＢ２であったとすると、処理対象画面の画素ブロックＡ及び参照画面の画素ブロックＢ２の空間位置は異なるものの、ブロック歪みの境界との空間位置関係が同一である。この場合、重み付け制御部４は処理対象画面の画素ブロックに対する重み付けを１００％とすることにより、結果として平均化処理を行わないようにする。

しかし、適合ブロックが画素ブロックＢ３であったとすると、処理対象画面の画素ブロックＡ及び参照画面の画素ブロックＢ３はブロック歪みの境界との空間位置関係が異なる。この場合、重み付け制御部４は処理対象画面の画素ブロックＡ及び参照画面の画素ブロックＢ３の類似度の値に基づいた重み付け（例えば処理対象画面の画素ブロックに対する重み付けを５０％、参照画面の画素ブロックに対する重み付けを５０％）を決定することにより、平均化処理を行なうようにする。

例えば類似度の値に基づいた重み付けの決定は、以下の式（３），（４）を用いて行われる。ｗcrtは処理対象画面の重み付け係数を表す。ｗrefは参照画面の重み付け係数を表す。Ａ，Ｂは、定数を表す。Ｎrefは参照画面における適合ブロックの数である。本実施例では、Ｎref＝１である。

式（４）は、類似度ＳＭＬに基づき、参照画面の重み付け係数ｗrefを算出している。参照画面の重み付け係数ｗrefは、類似度ＳＭＬが大きいほど、大きな値となる。式（３）は、参照画面の重み付け係数ｗrefに基づき、処理対象画面の重み付け係数ｗcrtを算出している。処理対象画面の重み付け係数ｗcrtは、類似度ＳＭＬが小さいほど、大きな値となる。

図４は重み付け制御部４の処理を表した一例のフローチャートである。ブロック探索部３から適合ブロックのブロック位置と、その類似度の値とが含まれる検出情報が入力されると、重み付け制御部４はステップＳ１に進み、検出情報から適合ブロックのブロック位置を取得する。

ステップＳ２に進み、重み付け制御部４は適合ブロックの空間位置が処理対象画面の画素ブロックの空間位置と同一であるか否かを判定する。即ち、重み付け制御部４は図３における参照画面の画素ブロックＢ１と処理対象画面の画素ブロックＡとのように空間位置が同一であるか否かを判定する。

適合ブロックの空間位置が処理対象画面の画素ブロックの空間位置と同一であれば（Ｓ２においてＹＥＳ）、重み付け制御部４はステップＳ５に進み、処理対象画面の画素ブロックに対する重み付けを１００％とするように重み付け係数を決定する。

適合ブロックの空間位置が処理対象画面の画素ブロックの空間位置と同一でなければ（Ｓ２においてＮＯ）、重み付け制御部４はステップＳ３に進み、適合ブロックのブロック位置におけるブロック歪みの境界との空間位置関係が、処理対象画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係と同一であるか否かを判定する。

即ち、重み付け制御部４は図３における参照画面の画素ブロックＢ２と処理対象画面の画素ブロックＡとのようにブロック歪みの境界との空間位置関係が同一であるか否かを判定する。

ブロック歪みの境界との空間位置関係が同一であると判定すれば（Ｓ３においてＹＥＳ）、重み付け制御部４はステップＳ５に進み、処理対象画面の画素ブロックに対する重み付けを１００％とするように重み付け係数を決定する。

ブロック歪みの境界との空間位置関係が同一でないと判定すれば（Ｓ３においてＮＯ）、重み付け制御部４はステップＳ４に進み、類似度の値に基づいた重み付け係数を決定する。図４に表した処理により、重み付け制御部４は重み付け係数を決定し、重み付け情報として加重平均部５へ出力する。

加重平均部５は、重み付け制御部４から重み付け情報が入力される。加重平均部５は重み付け情報から重み付け係数を取得する。加重平均部５は取得した重み付け係数を用いて、ブロック探索部３から入力された適合ブロック画像情報に含まれる処理対象画面の画素ブロックの画像データと、その処理対象画面の画素ブロックと最も類似度が高い参照画面の画素ブロックの画像データとを重み付け平均化する。例えば重み付け平均化は以下の式（５）を用いて行われる。

ここで、ａｖｅi,jは平均化された画素ブロックの画素値を表す。加重平均部５は平均化された画素ブロックの画素値を平均化ブロック画像情報としてブロック置換部６に出力する。

ブロック置換部６は加重平均部５から平均化ブロック画像情報を入力され、平均化ブロック画像情報から平均化された画素ブロックの画素値を取得する。ブロック置換部６は、取得した平均化された画素ブロックの画素値を、復号動画像信号の処理対象画面を構成する対象の画素ブロックと置き換える処理を行う。これにより、ブロック置換部６は画質が改善された改善動画像信号を出力できる。

図５は、本発明による符号化歪み低減装置の第２実施例の構成図である。図５の符号化歪み低減装置は、１フレーム遅延部１，ブロック分割部２，ブロック探索部３，重み付け制御部４，加重平均部５，ブロック置換部６及び平均輝度計算部７を含むように構成されている。

図５の符号化歪み低減装置は、平均輝度計算部７が加わっている点と、重み付け制御部４の処理とが、図２の符号化歪み低減装置と異なっている。平均輝度計算部７は、ブロック分割部２から入力される処理対象画面の画素ブロック毎に平均輝度を計算し、画素ブロック毎に計算した平均輝度を輝度情報として重み付け制御部４に出力する。

図２の符号化歪み低減装置では、重み付け制御部４において画素ブロックの類似度に基づき重み付け係数を決定している。図５の符号化歪み低減装置では、画素ブロックの類似度の他に、処理対象画面の画素ブロック近傍の平均輝度も考慮することで、人間の視覚特性に応じた効果的な符号化歪み除去を行なうことができる。

人間の輝度の弁別閾に関する特性としてウェーバーの法則がある。これは、ある輝度Ｙに対する識別可能な最小輝度差をΔＹとすると、その比ΔＹ／Ｙが広範囲にわたって一定になるというものである。例えば文献としては、「２映像メディア機器の規格と課題２−１放送規格と感覚２−１−１放送規格と視覚」、金澤勝，大塚吉道著、映像情報メディア学会誌，Ｖｏｌ．５７，Ｎｏ．１１，２００３年がある。

すなわち、例えば電気信号的に同じレベル差のブロック歪みの境界は、輝度の高い画像に出るブロック歪みよりも、輝度の低い画像に出るブロック歪みの方が視覚的に目立ちやすい。

そこで、処理対象画面の画素ブロック近傍の平均輝度を求め、その平均輝度が高い場合は符号化歪みが発生していたとしても視覚的に目立たないため、参照画面の画素ブロックに対する重み付けを減らす処理を行う。このように処理を行うことで、図５の符号化歪み低減装置では、処理後の画像の不要なぼけを低減することができ、且つ人間の視覚特性上、符号化歪みが目立つ場合にのみ、符号化歪みの低減を行なうことができる。

なお、平均輝度を求める画素ブロック近傍の範囲は、例えば処理対象画面の画素ブロックと同じ範囲である。そのときの参照画面の重み付け係数ｗref′は、以下に示す式（６），（７）を用いて算出する。Ｃは、定数である。

式（７）は、処理対象画面の画素ブロックの画素値の平均輝度ＡＶＥを算出している。式（６）は平均輝度ＡＶＥに基づき、参照画面の重み付け係数ｗref′を算出している。参照画面の重み付け係数ｗref′は、処理対象画面の画素ブロックの画素値の平均輝度ＡＶＥが大きいほど、小さな値となる。

即ち、処理対象画面の画素ブロックの画素値の平均輝度ＡＶＥが大きい場合は符号化歪みが発生していたとしても視覚的に目立たないため、参照画面の重み付け係数ｗref′を小さくして、参照画面の画素ブロックに対する重み付けを減らしている。

図６は重み付け制御部４の処理を表した他の例のフローチャートである。図６のステップＳ１１〜Ｓ１３，Ｓ１７の処理は、図４のステップＳ１〜Ｓ３，Ｓ５の処理と同様であるため、説明を省略する。

ステップＳ１４に進み、重み付け制御部４は例えば式（４）を利用し、類似度の値に基づいて参照画面の重み付け係数ｗrefを算出する。次に、ステップＳ１５に進み、重み付け制御部４は式（７）を利用し、処理対象画面の画素ブロックの画素値の平均輝度ＡＶＥを算出する。

ステップＳ１６に進み、重み付け制御部４は式（６）を利用し、平均輝度ＡＶＥに基づき、参照画面の重み付け係数ｗrefを係数ｗref′に修正している。重み付け制御部４は、例えば式（３）を利用し、参照画面の重み付け係数ｗref′に基づいて処理対象画面の重み付け係数ｗcrtを算出する。

なお、実施例２では図２の符号化歪み低減装置と同様な箇所についての説明を省略した。

図７は、本発明による符号化歪み低減装置の第３実施例の構成図である。図７の符号化歪み低減装置は、１フレーム遅延部１，ブロック分割部２，ブロック探索部３，重み付け制御部４，加重平均部５，ブロック置換部６を含むように構成されている。

図７の符号化歪み低減装置は、ブロック探索部３および重み付け制御部４の処理が、図２の符号化歪み低減装置と異なっている。図７の重み付け制御部４は参照画面の画素ブロックの空間位置が、処理対象画面の画素ブロックの空間位置と同一である場合に、同じ処理対象画面の画素ブロックを用いた再探索を要求する探索制御信号をブロック探索部３へ出力する。

同様に、重み付け制御部４は参照画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係が、処理対象画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係と同一である場合に、同じ処理対象画面の画素ブロックを用いた再探索を要求する探索制御信号をブロック探索部３へ出力する。

それ以外の場合、重み付け制御部４は処理対象画面の画素ブロック及び参照画面の画素ブロックの類似度の値に基づいた重み付け係数を前述したように決定すると共に、処理対象画面の次の画素ブロックを用いての次探索を要求する探索制御信号をブロック探索部３へ出力する。

ブロック探索部３は、再探索を要求する探索制御信号を入力された場合、直前と同じ処理対象画面の画素ブロックを用いて参照画面の画素ブロックを再度探索する。ブロック探索部３は、直前に選択した適合ブロックの次に類似度の高い画素ブロックを選択し、その画素ブロックのブロック位置と、その類似度の値とを検出信号として重み付け制御部４に出力する。

また、ブロック探索部３は処理対象画面の画素ブロックの画像データと、直前に選択した適合ブロックの次に類似度の高い画素ブロックの画像データとを適合ブロック画像情報として加重平均部５に出力する。再探索は、重み付け制御部４から入力される探索制御信号が、次探索を要求する探索制御信号に変わるまで続けられる。なお、加重平均部５は重み付け制御部４から重み付け情報が入力されるまで動作しない。

図８は重み付け制御部４の処理を表した他の例のフローチャートである。図８のステップＳ２１〜Ｓ２３の処理は、図４のステップＳ１〜Ｓ３の処理と同様であるため、説明を省略する。

重み付け制御部４は、参照画面の画素ブロックの空間位置が、処理対象画面の画素ブロックの空間位置と同一である場合、又は参照画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係が、処理対象画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係と同一である場合にステップＳ２６に進み、同じ処理対象画面の画素ブロックを用いた再探索を要求する探索制御信号をブロック探索部３へ出力する。

したがって、重み付け制御部４は前回の適合ブロックの次に類似度の高い画素ブロックのブロック位置と、その類似度の値とを検出信号としてブロック探索部３から入力される。ステップＳ２１に戻り、重み付け制御部４は新たに入力された検出信号を用いて、重み付け係数を決定する為の処理を開始する。

重み付け制御部４は、参照画面の画素ブロックの空間位置が、処理対象画面の画素ブロックの空間位置と同一でなく、且つ参照画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係が、処理対象画面の画素ブロックのブロック位置におけるブロック歪みの境界との空間位置関係と同一でない場合にステップＳ２４に進み、類似度の値に基づいた重み付け係数を決定する。

ステップＳ２５に進み、重み付け制御部４は処理対象画面の次の画素ブロックを用いての次探索を要求する探索制御信号をブロック探索部３へ出力する。したがって、重み付け制御部４は処理対象画面の次の画素ブロックと最も類似度の高い参照画面の画素ブロックのブロック位置と、その類似度の値とを検出信号としてブロック探索部３から入力される。

なお、実施例３では図２の符号化歪み低減装置と同様な箇所についての説明を省略した。

図９は、本発明による符号化歪み低減装置の第４実施例の構成図である。符号化歪み低減装置は、それぞれバスＢで相互に接続されている入力装置１１，出力装置１２，ドライブ装置１３，補助記憶装置１４，メモリ装置１５，演算処理装置１６およびインターフェース装置１７で構成される。

入力装置１１はキーボードやマウスなどで構成され、各種信号を入力するために用いられる。出力装置１２はディスプレイ装置などで構成され、各種ウインドウやデータ等を表示するために用いられる。インターフェース装置１７は、モデム，ＬＡＮカードなどで構成されており、所定のネットワークへ接続する為に用いられる。

本発明の符号化歪み低減プログラムは、記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。符号化歪み低減プログラムを記録した記録媒体１８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、符号化歪み低減プログラムを記録した記録媒体１８がドライブ装置１３にセットされると、符号化歪み低減プログラムは記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。ネットワークからダウンロードされた符号化歪み低減プログラムは、インターフェース装置１７を介して補助記憶装置１４にインストールされる。

符号化歪み低減装置は、インストールされた符号化歪み低減プログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置１５は、コンピュータの起動時に補助記憶装置１４から符号化歪み低減プログラムを読み出して格納する。そして、演算処理装置１６はメモリ装置１５に格納された符号化歪み低減プログラムに従って、前述した実施例１〜実施例３の各種処理を実現することができる。
（まとめ）
なお、本発明による符号化歪み低減装置は、実施例２及び３を組み合わせた構成も当然可能である。また、本発明による符号化歪み低減装置はテレビジョン受像機に内蔵してもよいし、チューナやセットトップボックス（ＳＴＢ）等に内蔵してもよいし、符号化歪み低減機能を有するジグとしてもよいし、符号化歪み低減機能を有するチップとしてもよい。

以上、本発明による符号化歪み低減装置は、ブロック探索処理により被写体の動きを補償した上で適合ブロックの平均化を行うことにより、ブロック歪みやモスキートノイズ等の符号化歪みを低減できる。即ちブロック歪みに関しては、画面上の固定位置に発生するブロック歪みのパターンを、被写体の動きを追随することで時間的に拡散した上で時間平均を取る為に、歪みのパターンを低減することができる。また、モスキートノイズは被写体の固定位置において時間的にランダムな歪みパターンが発生するノイズなので、被写体の動きを追随して時間平均を取ることで低減できる。

さらに、本発明による符号化歪み低減装置では、画素ブロック同士の類似度に応じて重み付けして平均を取っているため、被写体の空間位相差が大きいことによる時間平均後の画像のぼけを防止できる。

加えて本発明による符号化歪み低減装置では、被写体が動いていない部分や動き補償後もブロック歪みの境界と空間位相が合ってしまう部分について平均化処理を行っていない。これにより、本発明による符号化歪み低減装置では符号化歪み低減の効果のある部分にのみ適応的に歪み低減処理を行うため、不要な画像のぼけを防ぐことができる。

一般に、動画像符号化では被写体に動きがあり、過去の画面と差分が発生した画像部分のみ情報を送り、過去の画面と同じ部分について同じ画像を繰り返し使うことで情報量を削減している。従って、動きがある画像は情報量を多く要するため、伝送もしくは蓄積できる情報量に限りがある場合に、情報量制限により劣化が発生しやすい。

本発明による符号化歪み低減装置では、被写体の動きを利用して符号化歪みの低減を行っているため、動画像符号化において符号化歪みが発生しやすい場合に重点的に処理を行っているといえ、理想的な処理である。

前述した実施例では参照画像が１枚の場合について説明したが、参照画面が２枚以上の複数であっても同様に処理が可能である。また、前述した実施例では処理対象画面に対して時間的に過去に当たる画面を参照画面として用いたが、時間的に未来に当たる画面を参照画面として用いることも当然可能である。

さらに、前述した実施例では順次走査画像と飛び越し走査画像との区別を特に行っていないが、フレーム画像から画素ブロックを得るか、もしくはフィールド画像から画素ブロックを得るかの違いのみで、当然どちらの走査方式にも対応が可能である。

本発明によれば、ブロック歪みなどの符号化歪みを、ブロック探索を伴う画像の時間平均化処理により低減できる。さらに、本発明によれば、画素ブロックの類似度や適合ブロックの位置情報に基づき適応的な重み付け処理を行うことにより、画像の不要なぼけを防ぎ、符号化歪みを効果的に低減できる。

本発明の概要を示す一例のイメージ図である。本発明による符号化歪み低減装置の第１実施例の構成図である。重み付け制御部の処理を表したイメージ図である。重み付け制御部の処理を表した一例のフローチャートである。本発明による符号化歪み低減装置の第２実施例の構成図である。重み付け制御部の処理を表した他の例のフローチャートである。本発明による符号化歪み低減装置の第３実施例の構成図である。重み付け制御部の処理を表した他の例のフローチャートである。本発明による符号化歪み低減装置の第４実施例の構成図である。

符号の説明

１１フレーム遅延部
２ブロック分割部
３ブロック探索部
４重み付け制御部
５加重平均部
６ブロック置換部
７平均輝度計算部
１１入力装置
１２出力装置
１３ドライブ装置
１４補助記憶装置
１５メモリ装置
１６演算処理装置
１７インターフェース装置
１８記憶媒体

Claims

復号動画像信号から符号化歪みを低減する符号化歪み低減装置であって、
入力された復号動画像信号から符号化時の直交変換の単位である画素ブロックのサイズ及び動き補償に用いられる画素ブロックのサイズと異なるサイズの第１の画素ブロックに分割された処理対象画面を出力するブロック分割部と、
入力された復号動画像信号から前記処理対象画面と時間的に隣接する１つ以上の参照画面を出力する遅延部と、
前記第１の画素ブロック毎に、１つ以上の前記参照画面から切り出した１つ以上の第２の画素ブロックとの間で類似度を求め、前記参照画面毎に最も類似度の高い第２の画素ブロックを探索するブロック探索部と、
前記参照画面毎に探索した最も類似度の高い第２の画素ブロックと前記第１の画素ブロックとを用いた時間平均化処理を行って前記第１の画素ブロック毎に平均化画素ブロックを作成する平均部と、
前記第１の画素ブロック毎に作成した平均化画素ブロックを、前記処理対象画面を構成する第１の画素ブロックと置き換えるブロック置換部と、
前記第１の画素ブロックと前記第２の画素ブロックとの類似度に基づき、前記類似度が大きいほど前記第１の画素ブロックの重み付けを小さくすると共に、前記第２の画素ブロックの重み付けを大きくし、前記類似度が小さいほど前記第１の画素ブロックの重み付けを大きくすると共に、前記第２の画素ブロックの重み付けを小さく決定する重み付け制御部とを有し、
前記平均部は、前記重み付け制御部が決定した重み付けに基づき、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックと前記第１の画素ブロックとを重み付けして平均化処理を行って前記第１の画素ブロック毎に平均化画素ブロックを作成し、
前記重み付け制御部は、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致せず、且つ前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致しないときに、前記平均部で平均化処理を行うように前記重み付けを決定し、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致し、又は前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致するときに、前記平均部で平均化処理を行わないように前記重み付けを決定することを特徴とする符号化歪み低減装置。
前記第１の画素ブロック毎に平均輝度を計算する平均輝度計算部を更に有し、
前記重み付け制御部は、前記第１の画素ブロック近傍の平均輝度が大きいほど、前記第１の画素ブロックと前記第２の画素ブロックとの類似度に基づいて決定した前記第２の画素ブロックの重み付けを小さく修正することを特徴とする請求項１記載の符号化歪み低減装置。
前記重み付け制御部は、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致せず、且つ前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致しない前記第２の画素ブロックから、前記参照画面毎に最も類似度の高い第２の画素ブロックを探索するように前記ブロック探索部を制御することを特徴とする請求項１記載の符号化歪み低減装置。
復号動画像信号から符号化歪みを低減する符号化歪み低減装置として機能するコンピュータに、
入力された復号動画像信号から符号化時の直交変換の単位である画素ブロックのサイズ及び動き補償に用いられる画素ブロックのサイズと異なるサイズの第１の画素ブロックに分割された処理対象画面および前記処理対象画面と時間的に隣接する１つ以上の参照画面を出力する出力ステップと、
前記第１の画素ブロック毎に、１つ以上の前記参照画面から切り出した１つ以上の第２の画素ブロックとの間で類似度を求め、前記参照画面毎に最も類似度の高い第２の画素ブロックを探索する探索ステップと、
前記参照画面毎に探索した最も類似度の高い第２の画素ブロックと前記第１の画素ブロックとを用いた時間平均化処理を行って前記第１の画素ブロック毎に平均化画素ブロックを作成する作成ステップと、
前記第１の画素ブロック毎に作成した平均化画素ブロックを、前記処理対象画面を構成する第１の画素ブロックと置き換える置換ステップと、
前記第１の画素ブロックと前記第２の画素ブロックとの類似度に基づき、前記類似度が大きいほど前記第１の画素ブロックの重み付けを小さくすると共に、前記第２の画素ブロックの重み付けを大きくし、前記類似度が小さいほど前記第１の画素ブロックの重み付けを大きくすると共に、前記第２の画素ブロックの重み付けを小さく決定する重み付け制御ステップとを実行させ、
前記作成ステップは、前記重み付け制御ステップで決定した重み付けに基づき、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックと前記第１の画素ブロックとを重み付けして平均化処理を行って前記第１の画素ブロック毎に平均化画素ブロックを作成し、
前記重み付け制御ステップは、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致せず、且つ前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致しないときに、前記作成ステップで平均化処理を行うように前記重み付けを決定し、前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置が、前記第１の画素ブロックの空間位置と一致し、又は前記参照画面毎に探索した最も類似度の高い第２の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係が、前記第１の画素ブロックの空間位置と符号化歪みのブロックパターンの空間位置との位置関係と一致するときに、前記作成ステップで平均化処理を行わないように前記重み付けを決定する
ように実行させる為の符号化歪み低減プログラム。