JP4133788B2

JP4133788B2 - 符号化誤差推定方法および符号化誤差推定装置

Info

Publication number: JP4133788B2
Application number: JP2003419987A
Authority: JP
Inventors: 敦郎市ヶ谷; 直弘原; 正顕黒住; 幸博西田; 吉道大塚
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-12-17
Filing date: 2003-12-17
Publication date: 2008-08-13
Anticipated expiration: 2023-12-17
Also published as: JP2005184260A

Description

本発明は、符号化誤差推定方法および符号化誤差推定装置に係り、特に映像信号を圧縮符号化した圧縮符号化信号の符号化誤差を推定する符号化誤差推定方法および符号化誤差推定装置に関する。

例えば伝送画像は、圧縮符号化により画像品質が劣化する。そこで、放送局や回線事業者などの監視設備では、圧縮符号化により伝送画像の画像品質がどの程度劣化したのかを自動監視技術を用いて自動監視している。自動監視技術には、圧縮符号化前の原画（素材画像）と圧縮符号化後の受信画像（復号画像）との比較に基づくもの、圧縮符号化後の受信画像のみに基づくものがある。

圧縮符号化前の原画と圧縮符号化後の受信画像との比較に基づく自動監視技術では、原画および受信画像の位相を合わせ、両者の差分量を画素単位で計測するＰＳＮＲ（Peak Signal-to-Noise Ratio）と呼ばれる値が用いられてきた。

また、圧縮符号化後の受信画像のみに基づく自動監視技術では、圧縮符号化前の原画を必要とせず、伸張復号化後の受信画像に含まれる符号化特有の劣化を画像解析によって評価する手法が用いられてきた。

特許文献１，２には、圧縮符号化後の受信画像のみに基づく自動監視技術の一例が記載されている。ＪＰＥＧやＭＰＥＧのような一般的に利用される圧縮符号化では、小ブロックごとに直交変換を行い、この小ブロックを元に情報量を削減する。このような圧縮符号化では、受信画像に明暗（濃淡）のムラを生じるため、小ブロックの境界に生じる境界線を強調し、検出することによって受信画像の品質を測定している。
特開２０００−１０２０４１号公報特表２００３−５０１８５０号公報

しかしながら、圧縮符号化前の原画と圧縮符号化後の受信画像との比較に基づく自動監視技術では、圧縮符号化前の原画を必要とするため、受信画像の画像品質がどの程度劣化したのかを原画を持たない映像配信先で監視することができないという問題があった。

また、圧縮符号化器の圧縮・伸張処理によって原画が入力されてから受信画像が復号化されるまでに時間的な遅延を発生するため、原画と受信画像とのフレーム同期を合わせることが容易でないという問題があった。

また、圧縮符号化後の受信画像のみに基づく自動監視技術では、受信画像で画像解析を行うため、原画そのものに劣化のようなパターンを含むシーンや部分を劣化として検知してしまうという問題があった。このため、原画を持たない映像の受信端において、原画のパターンに関わらずに圧縮符号化による画像品質の劣化を定量化する技術が必要とされている。

本発明は、上記の点に鑑みなされたもので、圧縮符号化による画像品質の劣化を原画を用いることなく容易且つ正確に推定することが可能な符号化誤差推定方法および符号化誤差推定装置を提供することを目的とする。

そこで、上記課題を解決するため、本発明は、映像信号を圧縮符号化した圧縮符号化信号の符号化誤差を推定する符号化誤差推定装置の符号化誤差推定方法であって、前記圧縮符号化信号より量子化値および直交変換係数を抽出する段階と、抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の頻度分布を作成する段階と、作成した直交変換係数の頻度分布から、圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定する段階と、作成した直交変換係数の頻度分布と推定した直交変換係数の頻度分布とを用いて前記圧縮符号化信号の符号化誤差を推定する段階とを有し、抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の頻度分布を作成する段階は、抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の値の発生頻度を計数し、作成された頻度分布の二次および四次の積率を算出することを特徴とする。

また、本発明は、作成した直交変換係数の頻度分布から、圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定する段階は、頻度分布の二次および四次の少なくとも一方の積率を用いて圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することを特徴とする。

また、本発明は、作成した直交変換係数の頻度分布から、圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定する段階は、値が０である直交変換係数の発生頻度を含まない頻度分布および値が０である直交変換係数の発生頻度を含む頻度分布を用いて、圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することを特徴とする。

また、本発明は、映像信号を圧縮符号化した圧縮符号化信号の符号化誤差を推定する符号化誤差推定装置であって、前記圧縮符号化信号より量子化値および直交変換係数を抽出する直交変換係数抽出手段と、抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の頻度分布を作成するモーメント演算手段と、作成した直交変換係数の頻度分布から、圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定するパラメータ演算手段と、作成した直交変換係数の頻度分布と推定した直交変換係数の頻度分布とを用いて前記圧縮符号化信号の符号化誤差を推定する符号化誤差演算手段とを有し、抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の頻度分布を作成するモーメント演算手段は、抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の値の発生頻度を計数し、作成された頻度分布の二次および四次の積率を算出することを特徴とする。

本発明では、映像信号を圧縮符号化した圧縮符号化信号の直交変換係数の頻度分布から圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定し、圧縮符号化信号の直交変換係数の頻度分布と、推定された圧縮符号化前の映像信号の直交変換係数の頻度分布とを用いることで、映像信号を圧縮符号化した圧縮符号化信号の符号化誤差を推定することができる。

また、本発明では一般画像における直交変換係数の頻度分布が、一般化誤差分布に近似することを利用し、圧縮符号化後の映像信号の直交変換係数の頻度分布から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することができる。

したがって、原画を保有しない環境であっても、映像信号を圧縮符号化した圧縮符号化信号から符号化誤差を推定し、映像品質を容易に監視できる。本発明は、放送や通信など圧縮符号化技術を用いた映像配信における品質管理に大きな効果を発揮できる。

上述の如く、本発明によれば、圧縮符号化による画像品質の劣化を原画を用いることなく容易且つ正確に推定することが可能である。

まず、本発明の理解を容易とする為に、本発明の原理について説明する。本発明は、圧縮符号化技術で映像信号を圧縮符号化した圧縮符号化信号（以下、ビットストリームという）の符号化誤差を推定する符号化誤差推定方法および符号化誤差推定装置である。本発明では、直交変換と量子化とを用いた圧縮符号化アルゴリズムが利用される。

本発明では、圧縮符号化したビットストリームから得られる直交変換係数値の頻度分布を計測し、圧縮符号化前の直交変換係数値の頻度分布を推定することにより、圧縮符号化したビットストリームの符号化誤差を推定する。なお、映像の直交変換係数の頻度分布が一般誤差分布によく似た分布を示すことは広く知られている。

本出願人は、映像の受信端において受信画像の直交変換係数値の頻度分布を計測し、その頻度分布の二次の積率（分散）を用いて、原画の直交変換係数の頻度分布を一般誤差分布の一つであるラプラス分布として推定する技術内容を出願（特願２００３−１５８４２９）済みである。原画の直交変換係数の頻度分布をラプラス分布として推定する場合、一部の原画（例えば空間的及び時間的な変化が極めて少ない原画など）では誤差が大きくなることもある。

そこで、本発明では、映像の受信端において受信画像の直交変換係数値の頻度分布を計測し、その頻度分布の二次及び四次の積率（モーメント）を用いて、原画の直交変換係数の頻度分布をラプラス分布を含む一般誤差分布として推定する。

画像を符号化する符号化技術では、画像を小さなブロック単位に区切って画素ごとの明るさを表す画素値を直交変換し、その直交変換係数を量子化することにより情報量の削減を行っている。

一般的に、符号化技術では画像を複数画素で構成されるブロックに分割し、直交変換を用いて画像を空間周波数に変換する。直交変換により抽出された直交変換係数を量子化値Ｑで除算することにより、その商である量子化インデックスが算出される。そして、算出した量子化インデックスと量子化値Ｑとを伝送することにより、情報量の削減を行っている。一方、復号化技術では伝送された量子化インデックスと量子化値Ｑとの積を用いて逆量子化を行い、直交変換係数を逆直交変換することにより画像を再現する。

連続値である直交変換係数は、量子化値Ｑによる除算又は積算を行うことによって量子化値Ｑに応じた間隔の離散値となる。符号化における画質劣化は量子化による直交変換係数の値の丸めに起因するため、直交変換係数の値を量子化値Ｑの値によって分類し、その値の頻度分布を評価することで画質劣化の程度を推定できる。

一般画像における直交変換係数の頻度分布は、一般化ガウス分布と呼ばれる確率分布で比較的良く近似できることが知られている。一般化ガウス分布ｆc,n(x)は、例えば以下の式（１），（２）によって表される確率密度である。

式（２）におけるσは二次の積率（分散）であり、計測した直交変換係数値の頻度分布の積率を用いる。しかし、式（２）におけるｃは未知数である。そこで、式（２）におけるｃを求めるために、四次の積率と尖度γとの関係を用いる。一般誤差分布の尖度γ，四次の積率σ₄，二次の積率σ，変数ｃの関係は、式（３）によって表される。

なお、式（３）におけるμは頻度分布の平均である。式（３）から一般的にｃを解くことは困難である。そこで、本発明では、表１のようにｃの値とγの値とが対応付けられたテーブルを用意し、線形補完などによって補完し、γからｃを計算する。表１のテーブルでは、０．１刻みでｃ＝０．１〜４．０におけるγの値が対応付けられており、γからｃを計算できる。ただし、ｃの範囲および刻み幅はシステムに要求される精度によって決定する。

また、式（２）におけるｃを求めるために、式（４）で表される近似式を用いて求めてもよい。なお、式（４）におけるα，β，γはシステムに要求される精度によって決まる値である。

本発明では、式（２）における一般誤差分布の各種パラメータを演算し、原画の直交変換係数の頻度分布を一般誤差分布として推定して、符号化誤差を推定する。例えば原画の直交変換係数の頻度分布をラプラス分布として推定する場合、式（２）におけるｃは１となる。原画の直交変換係数の頻度分布を一般誤差分布として推定する場合、式（２）におけるｃは変数となるが、絵柄に適応した符号化誤差を求めることができる。

また、精度改善方法について説明する。二次、四次の積率は平均値周りの分布形状を特徴的に表現する。一般的に、映像信号の直交変換係数は係数値０の発生頻度が極めて高くなる。量子化値Ｑに比べ、原画の直交変換係数の頻度分布の標準偏差が小さい場合、量子化後の直交変換係数は係数値０の発生頻度が極端に増加し、ストリームより抽出されたＤＣＴ係数値による頻度分布の二次および四次の積率は小さく測定される。

このような傾向は、イントラマクロブロックの高域成分や、量子化処理におけるデッドゾーンの存在によりノンイントラマクロブロックで顕著に現れる。このように、積率が量子化前後で異なる場合、一般誤差分布は指数関数であるため、係数値０近傍における分布推定は精度良く推定されるが、分布の裾野部分における分布形状が適切に推定されない。これにより、ＰＳＮＲが実測値に比較して高く測定される。即ち、符号化誤差を少なく推定する。

そこで、直交変換係数の頻度分布の形状を補償するために、係数値０以外の直交変換係数の頻度分布のみを用いた頻度分布推定により、分布の補償を行う。図１は量子化値Ｑによって分類された（ｕ，ｖ）成分の直交変換係数の頻度分布を表した一例の図であって、係数値０の頻度を含む直交変換係数の頻度分布である。また、図２は量子化値Ｑによって分類された（ｕ，ｖ）成分の直交変換係数の頻度分布を表した一例の図であって、係数値０の頻度を含まない直交変換係数の係数値ｘの頻度分布をｑ／２係数値０方向にシフトしたものである。

係数値０の頻度を含む頻度分布の二次及び四次の積率と係数値０の頻度を含まない頻度分布の二次及び四次の積率とを利用する場合、図３に表した直交変換係数の頻度分布のように、係数値ｘが−ｑ／２＜ｘ＜ｑ／２の範囲で図１の頻度分布を利用し、それ以外の範囲で図２の頻度分布を利用する。図３は、係数値０の頻度を含む頻度分布と係数値０の頻度を含まない頻度分布とを利用する直交変換係数の頻度分布を表した一例の図である。

図２にあらわされる係数値０を除いた係数値の頻度分布によって構成された頻度分布もまた、一般誤差分布に近似されていると考えることができ、同様に二次および四次の積率σ′，σ′_４を測定する。分布の平均値を０と近似した場合のσ′，σ′_４を下式（５），（６）に示す。

このようにして求められた二次および四次の積率を用いて係数値０以外の分布によって式（７）を用いてｐ（ｘ）と同様に分布ｐ′（ｘ）を推定する。求められたｐ（ｘ）およびｐ′（ｘ）をα：βの割合で合成する。一例としてα＝０．５、β＝０．５とする。より処理を簡単にするためにｐ（ｘ）およびｐ′（ｘ）は一般誤差分布の変数ｃ＝１としてラプラス分布としてもよい。また、ｐ（ｘ）およびｐ′（ｘ）の合成部を省略するために、係数値ｘが−ｐ／２＜ｘ＜ｐ／２の範囲でｐ（ｘ）を、それ以外の部分でｐ′（ｘ）を用いて分布を推定してもよい。

次に、本発明を実施するための最良の形態を、以下の実施例に基づき説明していく。本実施例では、直交変換の一例としてのＤＣＴ（Discrete Cosine Transform ）を用いる圧縮符号化方式のＭＰＥＧ２を例に、本発明の符号化誤差推定方法および符号化誤差推定装置について説明する。

図４は、本発明の符号化誤差推定装置を含む画像伝送システム１の一実施例の構成図である。図４の画像伝送システム１では、送信側の符号化部１０が、伝送画像を圧縮符号化した圧縮符号化信号（以下、ビットストリームという）を伝送ネットワーク５０を介して受信側に伝送する。

受信側の復号化部２０および符号化誤差推定装置４０は、伝送ネットワーク５０からビットストリームを受信する。復号化部２０は、ビットストリームを復号化した受信画像をモニタ３０に供給する。そして、モニタ３０は復号化部２０で復号化された受信画像を表示する。

また、符号化誤差推定装置４０は、伝送画像の画像品質が符号化によりどの程度劣化したのかをビットストリームを用いて定量化する。符号化誤差推定装置４０の詳細について図５を参照しつつ説明する。

図５は、符号化誤差推定装置の一実施例の構成図を示す。図５の符号化誤差推定装置４０は、可変長符号復号部４１，逆量子化部４２，モーメント演算部４３，パラメータ演算部４４，符号化誤差演算部４５を含む。なお、可変長符号復号部４１および逆量子化部４２はＤＣＴ係数抽出部を構成する。

可変長符号復号部４１は、受信したビットストリームの可変長符号を固定長符号に復号化して逆量子化部４２に供給する。逆量子化部４２は、可変長符号復号部４１から供給された固定長符号をＤＣＴ係数値に逆量子化してモーメント演算部４３に供給する。

モーメント演算部４３は、逆量子化部４２から供給されたＤＣＴ係数値を１ピクチャ分メモリし、ＤＣＴ係数値の発生頻度を周波数成分および量子化値ごとに計数し、ＤＣＴ係数値の頻度分布（以下、符号化後ＤＣＴ係数頻度分布という）をパラメータ演算部４４に供給する。また、モーメント演算部４３はＤＣＴ係数値０の発生頻度を含む二次（σ）および四次（σ₄）の積率と、ＤＣＴ係数値０の発生頻度を含まない二次（σ′）および四次（σ′₄）の積率とを演算する。モーメント演算部４３は演算したＤＣＴ係数値０の発生頻度を含む二次（σ）および四次（σ₄）の積率と、ＤＣＴ係数値０の発生頻度を含まない二次（σ′）および四次（σ′₄）の積率とをパラメータ演算部４４に供給する。

パラメータ演算部４４は式（３）を用いて、上記の二次及び四次の積率（σ，σ′，σ₄，σ′₄）から一般誤差分布のパラメータｃ及びｃ′を演算する。パラメータ演算部４４は、二次（σ）及び四次（σ₄）の積率と、算出したｃ及びｃ′とを用いて、式（２）により原画のＤＣＴ係数値の頻度分布（以下、符号化前ＤＣＴ係数頻度分布という）を推定する。

なお、システムの求める精度に応じて一般誤差分布の変数ｃを１に固定すれば、一般誤差分布のパラメータｃを求めるための演算を省略できる。また、式（３）における平均μは一般的な映像信号の場合に０として演算量を減らすこともできる。パラメータ演算部４４は、符号化後ＤＣＴ係数頻度分布と符号化前ＤＣＴ係数頻度分布とを符号化誤差演算部４５に供給する。

符号化誤差演算部４５は、パラメータ演算部４４から供給された符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布を式（８）を用いて比較計算することで、符号化された伝送画像の符号化誤差ＭＳＥnを演算する。

ただし、ｘ′_kはｋ番目の量子化区間α_k〜β_kにおけるＤＣＴ係数ｘの量子化インデックスである。α_k，β_kは量子化値Ｑに相当する差を持つ。通常、α_k＝ｘ′_k-ｑ/2，β_k＝ｘ′_k+ｑ/2とする。ｆc,n(x)は、ＤＣＴ係数値の発生頻度である。なお、エンコーダにおける量子化処理の量子化区間の設定を知ることができる場合、適した区間に設定した方がよい。

符号化誤差演算部４５は、算出した符号化誤差ＭＳＥnを式（９）により符号化誤差量の尺度として広く用いられているＰＳＮＲ（Peak Signal to Noise Ratio）に変換することができる。

量子化値Ｑによって分類された（ｕ，ｖ）成分の直交変換係数の頻度分布を表した一例の図であって、係数値０の頻度を含む直交変換係数の頻度分布である。量子化値Ｑによって分類された（ｕ，ｖ）成分の直交変換係数の頻度分布を表した一例の図であって、係数値０の頻度を含まない直交変換係数の頻度分布である。係数値０の頻度を含む頻度分布と係数値０の頻度を含まない頻度分布とを利用する直交変換係数の頻度分布を表した一例の図である。本発明の符号化誤差推定装置を含む画像伝送システム１の一実施例の構成図である。符号化誤差推定装置の一実施例の構成図である。

符号の説明

１画像伝送システム
１０符号化部
２０復号化部
３０モニタ
４０符号化誤差推定装置
４１可変長符号復号部
４２逆量子化部
４３モーメント演算部
４４パラメータ演算部
４５符号化誤差演算部
５０伝送ネットワーク

Claims

映像信号を圧縮符号化した圧縮符号化信号の符号化誤差を推定する符号化誤差推定装置の符号化誤差推定方法であって、
前記圧縮符号化信号より量子化値および直交変換係数を抽出する段階と、
抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の頻度分布を作成する段階と、
作成した直交変換係数の頻度分布から、圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定する段階と、
作成した直交変換係数の頻度分布と推定した直交変換係数の頻度分布とを用いて前記圧縮符号化信号の符号化誤差を推定する段階と
を有し、
抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の頻度分布を作成する段階は、抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の値の発生頻度を計数し、作成された頻度分布の二次および四次の積率を算出することを特徴とする符号化誤差推定方法。
作成した直交変換係数の頻度分布から、圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定する段階は、頻度分布の二次および四次の少なくとも一方の積率を用いて圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することを特徴とする請求項１記載の符号化誤差推定方法。
作成した直交変換係数の頻度分布から、圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定する段階は、値が０である直交変換係数の発生頻度を含まない頻度分布および値が０である直交変換係数の発生頻度を含む頻度分布を用いて、圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することを特徴とする請求項１又は２記載の符号化誤差推定方法。
映像信号を圧縮符号化した圧縮符号化信号の符号化誤差を推定する符号化誤差推定装置であって、
前記圧縮符号化信号より量子化値および直交変換係数を抽出する直交変換係数抽出手段と、
抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の頻度分布を作成するモーメント演算手段と、
作成した直交変換係数の頻度分布から、圧縮符号化前の映像信号の直交変換係数の頻度分布を一般誤差分布を用いて推定するパラメータ演算手段と、
作成した直交変換係数の頻度分布と推定した直交変換係数の頻度分布とを用いて前記圧縮符号化信号の符号化誤差を推定する符号化誤差演算手段と
を有し、
抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の頻度分布を作成するモーメント演算手段は、抽出した直交変換係数の値を量子化値及び直交変換係数成分ごとに分類して直交変換係数の値の発生頻度を計数し、作成された頻度分布の二次および四次の積率を算出することを特徴とする符号化誤差推定装置。