JP4309703B2 - 符号化誤差推定装置 - Google Patents
符号化誤差推定装置 Download PDFInfo
- Publication number
- JP4309703B2 JP4309703B2 JP2003158429A JP2003158429A JP4309703B2 JP 4309703 B2 JP4309703 B2 JP 4309703B2 JP 2003158429 A JP2003158429 A JP 2003158429A JP 2003158429 A JP2003158429 A JP 2003158429A JP 4309703 B2 JP4309703 B2 JP 4309703B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency distribution
- orthogonal transform
- encoding
- coding
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化誤差推定装置に係り、特に圧縮符号化された映像信号の符号化誤差を推定する符号化誤差推定装置に関する。
【０００２】
【従来の技術】
例えば伝送画像は、圧縮符号化により画像品質が劣化する。そこで、放送局や回線事業者などの監視設備では、圧縮符号化により伝送画像の画像品質がどの程度劣化したのかを自動監視技術を用いて自動監視している。従来の自動監視技術は、圧縮符号化前の原画（素材画像）と圧縮符号化後の受信画像（復号画像）との比較に基づくもの、圧縮符号化後の受信画像のみに基づくものがある。
【０００３】
圧縮符号化前の原画と圧縮符号化後の受信画像との比較に基づく自動監視技術では、原画および受信画像の位相を合わせ、両者の差分量を画素単位で計測するＰＳＮＲ（Peak Signal-to-Noise Ratio）と呼ばれる値が用いられてきた。
【０００４】
また、圧縮符号化後の受信画像のみに基づく自動監視技術では、圧縮符号化前の原画を必要とせず、伸張復号化後の受信画像に含まれる符号化特有の劣化を画像解析によって評価する手法が用いられてきた。
【０００５】
引用文献１には、圧縮符号化後の受信画像のみに基づく自動監視技術の一例が記載されている。
【０００６】
【特許文献１】
特表２００３−５０１８５０
【０００７】
【発明が解決しようとする課題】
しかしながら、圧縮符号化前の原画と圧縮符号化後の受信画像との比較に基づく自動監視技術では、圧縮符号化前の原画を必要とするため、受信画像の画像品質がどの程度劣化したのかを原画を持たない映像配信先で監視することができないという問題があった。
【０００８】
また、圧縮符号化器の圧縮・伸張処理によって原画が入力されてから受信画像が復号化されるまでに時間的な遅延を発生するため、原画と受信画像とのフレーム同期を合わせることが容易でないという問題があった。
【０００９】
また、圧縮符号化後の受信画像のみに基づく自動監視技術では、受信画像で画像解析を行うため、原画そのものに劣化のようなパターンを含むシーンや部分を劣化として検知してしまうという問題があった。
【００１０】
そこで、原画を持たない映像の受信端において、原画のパターンに関わらずに圧縮符号化による画像品質の劣化を定量化する技術が必要とされている。
【００１１】
また、圧縮符号化後の受信画像のみに基づく自動監視技術では復号された受信画像で画像解析を行うため、測定装置の他に復号器を必ず必要とする。また、使用する復号器による後処理の差による測定精度の変動が発生するため、事前に既知のテスト画像による測定値のキャリブレーションを必要とすることがある。
【００１２】
本発明は、上記の点に鑑みなされたもので、圧縮符号化による画像品質の劣化を、原画を用いることなく容易且つ正確に推定することが可能な符号化誤差推定装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、圧縮符号化された映像信号の符号化誤差をピクチャ単位に推定する符号化誤差推定装置であって、圧縮符号化された映像信号を逆量子化し、フレームごとに取得した直交変換係数を周波数成分，量子化値，フレーム内符号化および動き補償予測符号化の有無のうちの少なくとも１つ以上ごとに集計して前記直交変換係数の頻度分布を解析する頻度分布解析手段と、解析した前記直交変換係数の頻度分布に基づき、圧縮符号化前の映像信号の直交変換係数の頻度分布を推定する頻度分布推定手段と、前記頻度分布解析手段が解析した前記直交変換係数の頻度分布と前記頻度分布推定手段が推定した直交変換係数の頻度分布との比較結果に応じて、圧縮符号化された映像信号の符号化誤差をピクチャ単位に推定し、推定された符号化誤差を人間の視覚特性に応じて周波数成分毎に重み付けする符号化誤差推定手段と、前記直交変換係数を量子化値で除算した商である量子化インデックスと前記量子化値との積を用いた逆直交変換により得た直交変換値および前記直交変換値を復号するための符号化情報を保存する保存手段とを有し、前記保存手段は、前記符号化情報がないとき、逆量子化により得た直交変換値を既に保存している符号化情報と共に保存し、前記頻度分布推定手段は、前記頻度分布解析段階で解析した前記直交変換係数の前記頻度分布から偏差を求め、当該偏差からラプラス分布により圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することを特徴とする。
【００１５】
本発明によれば、圧縮符号化された映像信号の直交変換係数の頻度分布から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定し、圧縮符号化された映像信号の直交変換係数の頻度分布と、推定された圧縮符号化前の映像信号の直交変換係数の頻度分布との比較結果に応じて、圧縮符号化された映像信号の符号化誤差を推定することができる。
【００１６】
また、本発明によれば、圧縮符号化前の映像信号の直交変換係数の頻度分布の偏差と圧縮符号化後の映像信号の直交変換係数の頻度分布の偏差とが近似することを利用し、圧縮符号化後の映像信号の直交変換係数の頻度分布の偏差から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することができる。
【００１７】
したがって、圧縮符号化による画像品質の劣化を原画を用いることなく容易且つ正確に推定することが可能である。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。本発明は、下記の実施例に限定されるものではなく、本発明の範囲内で種々の変形及び変更が可能である。
【００１９】
（第１実施例）
まず、本発明の理解を容易とするために、本発明の原理について説明する。画像を符号化する符号化技術では、画像を小さなブロック単位に区切って画素ごとの明るさを表す画素値を直交変換し、その直交変換係数を量子化することにより情報量の削減を行っている。
【００２０】
一般的に、符号化技術では画像を複数画素で構成されるブロックに分割し、直交変換を用いて画像を空間周波数に変換する。直交変換により抽出された直交変換係数を量子化値Ｑで除算することにより、その商である量子化インデックスが算出される。そして、算出した量子化インデックスと量子化値Ｑとを伝送することにより、情報量の削減を行っている。一方、復号化技術では伝送された量子化インデックスと量子化値Ｑとの積を用いて逆量子化を行い、直交変換係数を逆直交変換することにより画像を再現する。
【００２１】
連続値である直交変換係数は、量子化値Ｑによる除算又は積算を行うことによって量子化値Ｑに応じた間隔の離散値となる。符号化における画質劣化は量子化による直交変換係数の値の丸めに起因するため、量子化値Ｑと直交変換係数の分布とを評価することで画質劣化の程度を推定できる。
【００２２】
また、直交変換係数は量子化または逆量子化の過程によって直交変換係数の値が完全に元の値に一致することはないが、量子化前および量子化後の直交変換係数の分布を比較すると、量子化前および量子化後の直交変換係数の分布の標準偏差が極めて近い値を示す。そこで、受信画像から得られた直交変換係数の分布の標準偏差を求めることで、原画の直交変換係数の分布ｆ（ｘ）を推定できる。
【００２３】
また、直交変換係数成分（ｕ，ｖ）の値を量子化値Ｑの値によって分類し、その値の発生頻度を集計することで直交変換係数の分布を解析する。そして、解析した直交変換係数の分布から原画の直交変換係数の分布ｆｑ[v][u]（ｘ）を推定し、以下の式（１），（２）から符号化誤差量Ｓｑ[v][u]を推定できる。
【００２４】
図１は、量子化値Ｑによって分類された直交変換係数成分（ｕ，ｖ）の値の発生頻度を表した一例の図を示す。
【００２５】
【数１】
以下、直交変換の一例としてのＤＣＴ（Discrete Cosine Transform ）を用いる圧縮符号化方式のＭＰＥＧ２を例に、本発明の第１実施例に係る符号化誤差推定方法および符号化誤差推定装置について説明する。
【００２６】
図２は、本発明の符号化誤差推定装置を含む画像伝送システムの一例の構成図を示す。図２の画像伝送システム１では、送信側の符号化部１０が、伝送画像を符号化した符号化データ（ビットストリーム）を伝送ネットワーク５０を介して受信側に伝送する。
【００２７】
受信側の復号化部２０および符号化誤差推定装置４０は、伝送ネットワーク５０から符号化データを受信する。復号化部２０は、符号化データを復号化した受信画像をモニタ３０に供給する。モニタ３０は、復号化部２０で復号化された受信画像を表示する。
【００２８】
また、符号化誤差推定装置４０は、伝送画像の画像品質が符号化によりどの程度劣化したのかを符号化データを用いて定量化する。符号化誤差推定装置４０の詳細について図３を参照しつつ説明する。
【００２９】
図３は、符号化誤差推定装置の第１実施例の構成図を示す。図３の符号化誤差推定装置４０は、可変長符号復号部４１，逆量子化部４２，直交変換係数値計数部４３，量子化前分布推定部４４，符号化誤差演算部４５を含む。
【００３０】
可変長符号復号部４１は、受信した符号化データの可変長符号を固定長符号に復号化して逆量子化部４２に供給する。逆量子化部４２は、可変長符号復号部４１から供給された固定長符号をＤＣＴ係数値に逆量子化して直交変換係数値計数部４３に供給する。
【００３１】
直交変換係数値計数部４３は、逆量子化部４２から供給されたＤＣＴ係数値の発生頻度を周波数成分ごとに計数し、ＤＣＴ係数値の頻度分布を量子化前分布推定部４４に供給する。量子化前分布推定部４４は、直交変換係数値計数部４３から供給されたＤＣＴ係数値の頻度分布を用いて量子化前のＤＣＴ係数値の頻度分布を推定する。
【００３２】
量子化前分布推定部４４は、供給されたＤＣＴ係数値の頻度分布（以下、符号化後ＤＣＴ係数頻度分布という）および推定した量子化前のＤＣＴ係数値の頻度分布（以下、符号化前ＤＣＴ係数頻度分布という）を符号化誤差演算部４５に供給する。
【００３３】
符号化誤差演算部４５は、量子化前分布推定部４４から供給された符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布を比較計算することで、符号化された伝送画像の符号化誤差を演算する。
【００３４】
例えばＭＰＥＧ２を利用する場合、ＤＣＴはブロックと呼ばれる８×８画素の部分に対して行われる。一般的な自然画像では、１フレーム内の全ＤＣＴ係数の（ｕ，ｖ）成分ごとに、そのＤＣＴ係数値の発生頻度を計数すると図４のような符号化前ＤＣＴ係数頻度分布となる。図４は、符号化前ＤＣＴ係数頻度分布の一例のグラフを示す。なお、図４のグラフは、ＤＣＴ係数の（２，０）成分の例を表している。
【００３５】
図４に対応する画像をＭＰＥＧ２で符号化し、復号化した後の画像では、１フレーム内の全ＤＣＴ係数の（ｕ，ｖ）成分ごとに、そのＤＣＴ係数値の発生頻度を計数すると図５のような符号化後ＤＣＴ係数頻度分布となる。図５は、符号化後ＤＣＴ係数頻度分布の一例のグラフを示す。なお、図５のグラフは、ＤＣＴ係数の（２，０）成分の例を表している。
【００３６】
図５の符号化後ＤＣＴ係数頻度分布は、符号化における量子化および逆量子化の過程において、ＤＣＴ係数値が量子化値Ｑによって丸められたことを表している。図５は、量子化値Ｑ＝５を用いた場合の符号化後ＤＣＴ係数頻度分布であって、９．５刻みの整数においてＤＣＴ係数値が発生している。
【００３７】
図４及び図５に示されるように、符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布は異なっている。しかし、符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布の標準偏差は、ほぼ等しくなる。例えば図４の符号化前ＤＣＴ係数頻度分布の標準偏差は３１．９１である。また、図５の符号化後ＤＣＴ係数頻度分布の標準偏差は３１．３１である。
【００３８】
したがって、符号化誤差推定装置４０は非可逆な画像圧縮技術を用いて符号化された画像であっても、符号化後ＤＣＴ係数頻度分布の標準偏差を求めることにより、符号化前ＤＣＴ係数頻度分布の標準偏差を推定することができ、推定した符号化前ＤＣＴ係数頻度分布の標準偏差から以下のように符号化前ＤＣＴ係数頻度分布を推定できる。
【００３９】
例えば一般的な自然画像はラプラス分布に従うことを考慮し、符号化誤差推定装置４０は、式（３）〜式（６）を用いることにより逆量子化されたＤＣＴ係数の（ｕ，ｖ）成分ｘ[v][u]の発生頻度Ｐ(v,u)(x[v][u])から符号化前ＤＣＴ係数頻度分布ｆ(v,u)（x[v][u]）を推定できる。
【００４０】
【数２】
なお、式（３）〜式（６）に含まれるｎは、標本総数を表す。例えば伝送画像の符号化前ＤＣＴ係数頻度分布と、式（３）〜式（６）を用いて推定した伝送画像（原画）の符号化前ＤＣＴ係数頻度分布とは、図６のように表される。
【００４１】
図６は、伝送画像の符号化前ＤＣＴ係数頻度分布および推定した符号化前ＤＣＴ係数頻度分布の一例のグラフを示す。式（３）〜式（６）を用いて推定した符号化前ＤＣＴ係数頻度分布は、図６のグラフのように、伝送画像の符号化前ＤＣＴ係数頻度分布と近似する。
【００４２】
次に、推定した符号化前ＤＣＴ係数頻度分布を用いて、復号画像のＤＣＴドメインにおける符号化誤差を計算する方法について説明する。例えばＭＰＥＧ２を利用する場合、ＤＣＴを施すブロックは８×８画素である。また、ＤＣＴ係数の（ｕ，ｖ）成分の量子化値がイントラピクチャ（Ｉピクチャ）の場合、以下の式（７）のように表され、ｑｓｃａｌｅは３２通りの値をとる。
【００４３】
Ｑ[v][u][l]＝ｑｓｃａｌｅ[l]×Ｑｍａｔｒｉｘ[v][u]／１６・・・・・（７）
Ｑｍａｔｒｉｘ[v][u]がフレーム内で一意であるため、Ｑ[v][u][l]はフレーム内で３２通りの値を取り得る。このように、符号化データよりそれぞれの値を得ることができるため、（ｕ，ｖ）成分のＤＣＴ係数をＱ[v][u][l]により分類して原画の符号化前ＤＣＴ係数頻度分布を推定できる。
【００４４】
例えばＩピクチャー、（ｕ，ｖ）＝（２，０）、ｑｓｃａｌｅ[3]＝８、Ｑｍａｔｒｉｘ[0][2]＝１９の符号化前ＤＣＴ係数頻度分布を推定する場合について説明する。これらの値を式（７）に代入すると、Ｑ[v][u][l]は以下の式（８）のようになる。
【００４５】
Ｑ[0][2][3]＝８×１９／１６＝９．５・・・・・（８）
したがって、式（７）を用いて図１のようなＤＣＴ係数値の頻度分布を得ることができるので、図４のようなＤＣＴ係数値の頻度分布を推定することが可能となる。図１のＤＣＴ係数値の頻度分布は、推定されたＤＣＴ係数値の頻度分布ｆ（ｘ）がＱ[v][u][l]間隔で離散化されたものであるので、その符号化誤差量Ｓは以下の式（９）で表すことができる。
【００４６】
【数３】
なお、式（９）は集計範囲を−６σ〜＋６σとした場合である。σは、ｑｓｃａｌｅ[l]の（ｕ，ｖ）成分のＤＣＴ係数頻度分布の標準偏差である。ｋは、整数である。
【００４７】
算出された符号化誤差量Ｓは一般的に用いられている誤差量を表す指標，平均二乗誤差（ＭＳＥ）と比例関係にある。したがって、ＭＳＥ＝αＳとすることにより、受信画像の画像品質がどの程度劣化したのかを評価できる。
【００４８】
（第２実施例）
上記の第１実施例では、動き補償予測符号化を用いた符号化データにおいて非符号化ブロックが発生した場合、非符号化ブロックを符号化誤差のないブロックとして符号化誤差を推定するため、符号化誤差の推定精度が劣化する場合があった。
【００４９】
そこで、第２実施例では、動き補償予測符号化を用いた伝送画像に非符号化ブロックが発生しても、安定した推定精度を保つことができる符号化誤差推定方法および符号化誤差推定装置について説明する。なお、以下の説明では第１実施例で説明した内容を適宜省略する。
【００５０】
まず、本発明の理解を容易とするために、本発明の原理について説明する。動き補償予測符号化を用いた符号化方式の場合、符号化データから得られる直交変換係数は、ブロックが動き補償予測を用いた符号化ブロックか否かによって、それぞれの直交変換係数の分布が集計される。
【００５１】
また、直交変換係数成分（ｕ，ｖ）の値を量子化値Ｑの値によって分類し、その値の発生頻度を集計することで直交変換係数の分布を解析する。そして、解析した直交変換係数の分布から原画の直交変換係数の分布ｆｑ[v][u]（ｘ）を推定し、上記の式（１），（２）から符号化誤差量Ｓｑ[v][u]を推定できる。なお、量子化値Ｑによって分類された直交変換係数成分（ｕ，ｖ）の値の発生頻度は、上述した図１のように表される。
【００５２】
ところで、動き補償予測符号化を用いた直交変換符号化方式では、符号化の対象となるフレームに対し、時間的に前方または後方に位置するフレームを用いて予測符号化を行う。このような動き補償予測符号化を用いた直交変換符号化方式では、パニングのように物体が画面内で動いているような画像において高い符号化効率を実現できる。
【００５３】
特に映像の一部分の符号化効率を上げるために、参照画面の情報をそのまま利用し、直交変換符号化処理を行わない非符号化処理を行う場合がある。この場合は非符号化処理された部分に関する直交変換係数が伝送されず、符号化データから非符号化処理された部分に関する符号化情報を抽出することができない。
【００５４】
そこで、非符号化処理を伴う場合、非符号化処理された非符号化ブロックの直交変換係数の替わりに、同一位置において符号化処理された符号化ブロックの直交変換係数を用いて符号化誤差を推定する。なお、非符号化処理された非符号化ブロックを用いずに符号化誤差を推定するようにしてもよい。
【００５５】
以下、直交変換の一例としてのＤＣＴを用いる圧縮符号化方式のＭＰＥＧ２を例に、本発明の第２実施例に係る符号化誤差推定方法および符号化誤差推定装置について説明する。なお、本発明の符号化誤差推定装置を含む画像伝送システム１は符号化誤差推定装置４０の構成を除いて第１実施例と同様であるため、符号化誤差推定装置４０以外の説明を省略する。
【００５６】
図７は、符号化誤差推定装置の第２実施例の構成図を示す。図７の符号化誤差推定装置４０は、逆量子化部４２と直交変換係数値計数部４３との間にメモリ４６を含む構成であることが図３の符号化誤差推定装置４０と異なっている。
【００５７】
可変長符号復号部４１は、受信した符号化データの可変長符号を固定長符号に復号化して逆量子化部４２に供給する。逆量子化部４２は、可変長符号復号部４１から供給された固定長符号をＤＣＴ係数値に逆量子化し、ＤＣＴ係数値および符号化情報（例えば符号化ブロックのフレーム内位置情報，モード情報など）をメモリ４６に供給する。メモリ４６は、逆量子化部４２から供給されたＤＣＴ係数値および符号化情報を保存する。
【００５８】
直交変換係数値計数部４３は、メモリ４６からＤＣＴ係数値を読み出し、ＤＣＴ係数値の発生頻度を周波数成分ごとに計数する。そして、直交変換係数値計数部４３はＤＣＴ係数値の発生頻度を量子化前分布推定部４４に供給する。量子化前分布推定部４４は、直交変換係数値計数部４３から供給されたＤＣＴ係数値の頻度分布を用いて量子化前のＤＣＴ係数値の頻度分布を推定する。
【００５９】
量子化前分布推定部４４は、供給されたＤＣＴ係数値の頻度分布（符号化後ＤＣＴ係数頻度分布）および推定した量子化前のＤＣＴ係数値の頻度分布（符号化前ＤＣＴ係数頻度分布）を符号化誤差演算部４５に供給する。
【００６０】
符号化誤差演算部４５は、量子化前分布推定部４４から供給された符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布を比較計算することで、符号化された伝送画像の符号化誤差を演算する。なお、図７の符号化誤差推定装置４０を構成する各処理部の処理の詳細は後述する。
【００６１】
符号化誤差推定装置４０は、前述したように、非可逆な画像圧縮技術を用いて符号化された画像であっても、符号化後ＤＣＴ係数頻度分布の標準偏差を求めることにより、符号化前ＤＣＴ係数頻度分布の標準偏差を推定することができ、推定した符号化前ＤＣＴ係数頻度分布の標準偏差から以下のように符号化前ＤＣＴ係数頻度分布を推定できる。
【００６２】
例えば一般的な自然画像はラプラス分布に従うことを考慮し、符号化誤差推定装置４０は、式（１０）〜式（１３）を用いることにより、逆量子化されたＤＣＴ係数の（ｕ，ｖ）成分ｘ（v,u）の発生頻度Ｐ(v,u)(x(v,u))から符号化前ＤＣＴ係数頻度分布ｆ(v,u)（x(v, u)）を推定できる。
【００６３】
【数４】
ただし、イントラマクロブロックにおけるＤＣＴ係数の（０，０）成分は、ＭＰＥＧ２で規定されている隣接ブロックとの差分を用いてＤＣＴ係数の頻度分布を推定する。なお、式（１０）〜式（１３）に含まれるｎは、標本総数を表している。
【００６４】
例えば伝送画像の符号化前ＤＣＴ係数頻度分布と、式（１０）〜式（１３）を用いて推定した符号化前ＤＣＴ係数頻度分布とは、前述した図６のように表される。図６のグラフのように、式（１０）〜式（１３）を用いて推定した符号化前ＤＣＴ係数頻度分布は、伝送画像の符号化前ＤＣＴ係数頻度分布と近似する。なお、式（１０）〜（１３）では、演算量を削減するためにμ（u，v）を０としてもよい。
【００６５】
次に、推定した符号化前ＤＣＴ係数頻度分布を用いて、復号画像のＤＣＴドメインにおける符号化誤差を計算する方法について説明する。例えばＭＰＥＧ２を利用する場合、ＤＣＴ係数の（ｕ，ｖ）成分の量子化値は、ｑｓｃａｌｅとＱｍａｔｒｉｘとの関数である。
【００６６】
ｑｓｃａｌｅは、３２通りの値を取り得る。また、Ｑｍａｔｒｉｘ[v][u]はフレーム内で一意である。したがって、量子化値Ｑはフレーム内で３２通りの値を取り得る。このように、符号化データよりそれぞれの値を得ることができるため、（ｕ，ｖ）成分のＤＣＴ係数を量子化値Ｑの値により分類して原画の符号化前ＤＣＴ係数頻度分布を推定できる。
【００６７】
例えばＭＰＥＧ２の場合、ＤＣＴ係数の（ｕ，ｖ）成分ｘ（v,u）の復号処理は以下の式（１４）によって行われる。
【００６８】
【数５】
復号されたＤＣＴ係数は符号化情報（例えば符号化ブロックのフレーム内位置情報およびモード情報など）と共にメモリ４６に保存される。なお、モード情報は符号化ブロックがイントラマクロブロックであるか否かを含むものである。非符号化処理により該当する非符号化ブロックの符号化情報が伝送されなかった場合、以前の符号化ブロックの符号化情報がそのままメモリ４６に保持される。
【００６９】
直交変換係数値計数部４３は、メモリ４６からＤＣＴ係数値を読み出し、ＤＣＴ係数値の発生頻度を周波数成分および量子化値Ｑ毎に計数する。そして、直交変換係数値計数部４３はＤＣＴ係数値の発生頻度を量子化前分布推定部４４に供給する。量子化前分布推定部４４は、直交変換係数値計数部４３から供給されたＤＣＴ係数値の頻度分布を用いて符号化前ＤＣＴ係数頻度分布を推定する。
【００７０】
量子化前分布推定部４４は、供給された符号化後ＤＣＴ係数頻度分布および推定した符号化前ＤＣＴ係数頻度分布を符号化誤差演算部４５に供給する。
【００７１】
符号化誤差演算部４５は、量子化前分布推定部４４から供給された符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布を比較計算することで、符号化された伝送画像の符号化誤差を演算する。
【００７２】
このようなＤＣＴ係数値を保存するメモリ４６を符号化誤差推定装置４０に搭載する場合、高速なメモリの容量を相当量必要とする。このような高速なメモリは高価であり、ハードウェア規模も大きく複雑となる。
【００７３】
そこで、より簡単に処理を行う場合に、以下のような処理を行うようにしてもよい。動き補償予測符号化を用いた符号化方式において非符号化処理を行う場合は、最後に復号化したブロックの符号化情報をメモリ４６に保存し、その符号化情報を次のブロックを復号するために利用する。
【００７４】
図８は、非符号化ブロックに対する処理について説明するための図である。例えば図８に表したように非符号化ブロック前後の符号化ブロックのｑｓｃａｌｅが等しい場合、ｉ番目のブロックの符号化情報を復号化してｑｓｃａｌｅ＝８をメモリ４６に保存する。
【００７５】
なお、メモリ４６は非符号化ブロックが存在してもそのｑｓｃａｌｅ＝８を保持し続ける。ｉ＋１番目，ｉ＋２番目のブロックはｑｓｃａｌｅ＝１６，２４で符号化された結果、ＤＣＴ係数値が全て０になったため、非符号化処理が行なわれている。つまり、ｉ＋１番目，ｉ＋２番目のブロックは非符号化ブロックであり、符号化情報を伝送されない為、符号化順で前に復号されたＤＣＴ係数がメモリ４６に保持される。
【００７６】
次に、符号化ブロックであるｉ＋３番目のブロックの符号化情報を復号化するが、ｉ＋３番目のブロックのｑｓｃａｌｅはｉ番目のブロックのｑｓｃａｌｅと等しいため、ｉ＋３番目のブロックの符号化情報にｑｓｃａｌｅが存在せず、メモリ４６に保持されたｑｓｃａｌｅが再利用される。
【００７７】
以上のように、非符号化処理された非符号化ブロックのＤＣＴ係数は０であるが確実である。ここで、ＤＣＴ係数値の発生頻度を計数する直交変換係数値計数部４３では、ブロックのＤＣＴ係数値の０を計測することが可能であるが、ｑｓｃａｌｅが如何なる値であるか計測することができない。
【００７８】
そこで、メモリ４６に保存しているｑｓｃａｌｅを近似値として利用することが考えられるが、誤差を多く発生する場合も考えられる。そこで、非符号化ブロックは使用せず、符号化ブロックのみを用いることにより、誤差を減少させることもできる。
【００７９】
また、ＤＣＴ係数の周波数成分に応じた人間の視覚特性を考慮し、各周波数成分で計算される誤差量Ｓｑ[v][u]と、重み付け計数ｗ[v][u]（０〜１．０）の積に応じて誤差量を調整し、主観的な画像品質を提示することもできる。
【００８０】
【発明の効果】
上述の如く、本発明によれば、圧縮符号化された映像信号の直交変換係数の頻度分布から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定し、圧縮符号化された映像信号の直交変換係数の頻度分布と、推定された圧縮符号化前の映像信号の直交変換係数の頻度分布との比較結果に応じて、圧縮符号化された映像信号の符号化誤差を推定することができる。
【００８１】
また、本発明によれば、圧縮符号化前の映像信号の直交変換係数の頻度分布の偏差と圧縮符号化後の映像信号の直交変換係数の頻度分布の偏差とが近似することを利用し、圧縮符号化後の映像信号の直交変換係数の頻度分布の偏差から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することができる。
【００８２】
したがって、圧縮符号化による画像品質の劣化を原画を用いることなく容易且つ正確に推定することが可能である。
【００８３】
【図面の簡単な説明】
【図１】量子化値Ｑによって分類された直交変換係数成分（ｕ，ｖ）の値の発生頻度を表した一例の図である。
【図２】本発明の符号化誤差推定装置を含む画像伝送システムの一例の構成図である。
【図３】符号化誤差推定装置の第１実施例の構成図である。
【図４】符号化前ＤＣＴ係数頻度分布の一例のグラフである。
【図５】符号化後ＤＣＴ係数頻度分布の一例のグラフである。
【図６】伝送画像の符号化前ＤＣＴ係数頻度分布および推定した符号化前ＤＣＴ係数頻度分布の一例のグラフである。
【図７】符号化誤差推定装置の第２実施例の構成図である。
【図８】非符号化ブロックに対する処理について説明するための図である。
【符号の説明】
１ 画像伝送システム
１０ 符号化部
２０ 復号化部
３０ モニタ
４０ 符号化誤差推定装置
４１ 可変長符号復号部
４２ 逆量子化部
４３ 直交変換係数値計数部
４４ 量子化前分布推定部
４５ 符号化誤差演算部
４６ メモリ
５０ 伝送ネットワーク
【発明の属する技術分野】
本発明は、符号化誤差推定装置に係り、特に圧縮符号化された映像信号の符号化誤差を推定する符号化誤差推定装置に関する。
【０００２】
【従来の技術】
例えば伝送画像は、圧縮符号化により画像品質が劣化する。そこで、放送局や回線事業者などの監視設備では、圧縮符号化により伝送画像の画像品質がどの程度劣化したのかを自動監視技術を用いて自動監視している。従来の自動監視技術は、圧縮符号化前の原画（素材画像）と圧縮符号化後の受信画像（復号画像）との比較に基づくもの、圧縮符号化後の受信画像のみに基づくものがある。
【０００３】
圧縮符号化前の原画と圧縮符号化後の受信画像との比較に基づく自動監視技術では、原画および受信画像の位相を合わせ、両者の差分量を画素単位で計測するＰＳＮＲ（Peak Signal-to-Noise Ratio）と呼ばれる値が用いられてきた。
【０００４】
また、圧縮符号化後の受信画像のみに基づく自動監視技術では、圧縮符号化前の原画を必要とせず、伸張復号化後の受信画像に含まれる符号化特有の劣化を画像解析によって評価する手法が用いられてきた。
【０００５】
引用文献１には、圧縮符号化後の受信画像のみに基づく自動監視技術の一例が記載されている。
【０００６】
【特許文献１】
特表２００３−５０１８５０
【０００７】
【発明が解決しようとする課題】
しかしながら、圧縮符号化前の原画と圧縮符号化後の受信画像との比較に基づく自動監視技術では、圧縮符号化前の原画を必要とするため、受信画像の画像品質がどの程度劣化したのかを原画を持たない映像配信先で監視することができないという問題があった。
【０００８】
また、圧縮符号化器の圧縮・伸張処理によって原画が入力されてから受信画像が復号化されるまでに時間的な遅延を発生するため、原画と受信画像とのフレーム同期を合わせることが容易でないという問題があった。
【０００９】
また、圧縮符号化後の受信画像のみに基づく自動監視技術では、受信画像で画像解析を行うため、原画そのものに劣化のようなパターンを含むシーンや部分を劣化として検知してしまうという問題があった。
【００１０】
そこで、原画を持たない映像の受信端において、原画のパターンに関わらずに圧縮符号化による画像品質の劣化を定量化する技術が必要とされている。
【００１１】
また、圧縮符号化後の受信画像のみに基づく自動監視技術では復号された受信画像で画像解析を行うため、測定装置の他に復号器を必ず必要とする。また、使用する復号器による後処理の差による測定精度の変動が発生するため、事前に既知のテスト画像による測定値のキャリブレーションを必要とすることがある。
【００１２】
本発明は、上記の点に鑑みなされたもので、圧縮符号化による画像品質の劣化を、原画を用いることなく容易且つ正確に推定することが可能な符号化誤差推定装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、圧縮符号化された映像信号の符号化誤差をピクチャ単位に推定する符号化誤差推定装置であって、圧縮符号化された映像信号を逆量子化し、フレームごとに取得した直交変換係数を周波数成分，量子化値，フレーム内符号化および動き補償予測符号化の有無のうちの少なくとも１つ以上ごとに集計して前記直交変換係数の頻度分布を解析する頻度分布解析手段と、解析した前記直交変換係数の頻度分布に基づき、圧縮符号化前の映像信号の直交変換係数の頻度分布を推定する頻度分布推定手段と、前記頻度分布解析手段が解析した前記直交変換係数の頻度分布と前記頻度分布推定手段が推定した直交変換係数の頻度分布との比較結果に応じて、圧縮符号化された映像信号の符号化誤差をピクチャ単位に推定し、推定された符号化誤差を人間の視覚特性に応じて周波数成分毎に重み付けする符号化誤差推定手段と、前記直交変換係数を量子化値で除算した商である量子化インデックスと前記量子化値との積を用いた逆直交変換により得た直交変換値および前記直交変換値を復号するための符号化情報を保存する保存手段とを有し、前記保存手段は、前記符号化情報がないとき、逆量子化により得た直交変換値を既に保存している符号化情報と共に保存し、前記頻度分布推定手段は、前記頻度分布解析段階で解析した前記直交変換係数の前記頻度分布から偏差を求め、当該偏差からラプラス分布により圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することを特徴とする。
【００１５】
本発明によれば、圧縮符号化された映像信号の直交変換係数の頻度分布から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定し、圧縮符号化された映像信号の直交変換係数の頻度分布と、推定された圧縮符号化前の映像信号の直交変換係数の頻度分布との比較結果に応じて、圧縮符号化された映像信号の符号化誤差を推定することができる。
【００１６】
また、本発明によれば、圧縮符号化前の映像信号の直交変換係数の頻度分布の偏差と圧縮符号化後の映像信号の直交変換係数の頻度分布の偏差とが近似することを利用し、圧縮符号化後の映像信号の直交変換係数の頻度分布の偏差から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することができる。
【００１７】
したがって、圧縮符号化による画像品質の劣化を原画を用いることなく容易且つ正確に推定することが可能である。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。本発明は、下記の実施例に限定されるものではなく、本発明の範囲内で種々の変形及び変更が可能である。
【００１９】
（第１実施例）
まず、本発明の理解を容易とするために、本発明の原理について説明する。画像を符号化する符号化技術では、画像を小さなブロック単位に区切って画素ごとの明るさを表す画素値を直交変換し、その直交変換係数を量子化することにより情報量の削減を行っている。
【００２０】
一般的に、符号化技術では画像を複数画素で構成されるブロックに分割し、直交変換を用いて画像を空間周波数に変換する。直交変換により抽出された直交変換係数を量子化値Ｑで除算することにより、その商である量子化インデックスが算出される。そして、算出した量子化インデックスと量子化値Ｑとを伝送することにより、情報量の削減を行っている。一方、復号化技術では伝送された量子化インデックスと量子化値Ｑとの積を用いて逆量子化を行い、直交変換係数を逆直交変換することにより画像を再現する。
【００２１】
連続値である直交変換係数は、量子化値Ｑによる除算又は積算を行うことによって量子化値Ｑに応じた間隔の離散値となる。符号化における画質劣化は量子化による直交変換係数の値の丸めに起因するため、量子化値Ｑと直交変換係数の分布とを評価することで画質劣化の程度を推定できる。
【００２２】
また、直交変換係数は量子化または逆量子化の過程によって直交変換係数の値が完全に元の値に一致することはないが、量子化前および量子化後の直交変換係数の分布を比較すると、量子化前および量子化後の直交変換係数の分布の標準偏差が極めて近い値を示す。そこで、受信画像から得られた直交変換係数の分布の標準偏差を求めることで、原画の直交変換係数の分布ｆ（ｘ）を推定できる。
【００２３】
また、直交変換係数成分（ｕ，ｖ）の値を量子化値Ｑの値によって分類し、その値の発生頻度を集計することで直交変換係数の分布を解析する。そして、解析した直交変換係数の分布から原画の直交変換係数の分布ｆｑ[v][u]（ｘ）を推定し、以下の式（１），（２）から符号化誤差量Ｓｑ[v][u]を推定できる。
【００２４】
図１は、量子化値Ｑによって分類された直交変換係数成分（ｕ，ｖ）の値の発生頻度を表した一例の図を示す。
【００２５】
【数１】
【００２６】
図２は、本発明の符号化誤差推定装置を含む画像伝送システムの一例の構成図を示す。図２の画像伝送システム１では、送信側の符号化部１０が、伝送画像を符号化した符号化データ（ビットストリーム）を伝送ネットワーク５０を介して受信側に伝送する。
【００２７】
受信側の復号化部２０および符号化誤差推定装置４０は、伝送ネットワーク５０から符号化データを受信する。復号化部２０は、符号化データを復号化した受信画像をモニタ３０に供給する。モニタ３０は、復号化部２０で復号化された受信画像を表示する。
【００２８】
また、符号化誤差推定装置４０は、伝送画像の画像品質が符号化によりどの程度劣化したのかを符号化データを用いて定量化する。符号化誤差推定装置４０の詳細について図３を参照しつつ説明する。
【００２９】
図３は、符号化誤差推定装置の第１実施例の構成図を示す。図３の符号化誤差推定装置４０は、可変長符号復号部４１，逆量子化部４２，直交変換係数値計数部４３，量子化前分布推定部４４，符号化誤差演算部４５を含む。
【００３０】
可変長符号復号部４１は、受信した符号化データの可変長符号を固定長符号に復号化して逆量子化部４２に供給する。逆量子化部４２は、可変長符号復号部４１から供給された固定長符号をＤＣＴ係数値に逆量子化して直交変換係数値計数部４３に供給する。
【００３１】
直交変換係数値計数部４３は、逆量子化部４２から供給されたＤＣＴ係数値の発生頻度を周波数成分ごとに計数し、ＤＣＴ係数値の頻度分布を量子化前分布推定部４４に供給する。量子化前分布推定部４４は、直交変換係数値計数部４３から供給されたＤＣＴ係数値の頻度分布を用いて量子化前のＤＣＴ係数値の頻度分布を推定する。
【００３２】
量子化前分布推定部４４は、供給されたＤＣＴ係数値の頻度分布（以下、符号化後ＤＣＴ係数頻度分布という）および推定した量子化前のＤＣＴ係数値の頻度分布（以下、符号化前ＤＣＴ係数頻度分布という）を符号化誤差演算部４５に供給する。
【００３３】
符号化誤差演算部４５は、量子化前分布推定部４４から供給された符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布を比較計算することで、符号化された伝送画像の符号化誤差を演算する。
【００３４】
例えばＭＰＥＧ２を利用する場合、ＤＣＴはブロックと呼ばれる８×８画素の部分に対して行われる。一般的な自然画像では、１フレーム内の全ＤＣＴ係数の（ｕ，ｖ）成分ごとに、そのＤＣＴ係数値の発生頻度を計数すると図４のような符号化前ＤＣＴ係数頻度分布となる。図４は、符号化前ＤＣＴ係数頻度分布の一例のグラフを示す。なお、図４のグラフは、ＤＣＴ係数の（２，０）成分の例を表している。
【００３５】
図４に対応する画像をＭＰＥＧ２で符号化し、復号化した後の画像では、１フレーム内の全ＤＣＴ係数の（ｕ，ｖ）成分ごとに、そのＤＣＴ係数値の発生頻度を計数すると図５のような符号化後ＤＣＴ係数頻度分布となる。図５は、符号化後ＤＣＴ係数頻度分布の一例のグラフを示す。なお、図５のグラフは、ＤＣＴ係数の（２，０）成分の例を表している。
【００３６】
図５の符号化後ＤＣＴ係数頻度分布は、符号化における量子化および逆量子化の過程において、ＤＣＴ係数値が量子化値Ｑによって丸められたことを表している。図５は、量子化値Ｑ＝５を用いた場合の符号化後ＤＣＴ係数頻度分布であって、９．５刻みの整数においてＤＣＴ係数値が発生している。
【００３７】
図４及び図５に示されるように、符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布は異なっている。しかし、符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布の標準偏差は、ほぼ等しくなる。例えば図４の符号化前ＤＣＴ係数頻度分布の標準偏差は３１．９１である。また、図５の符号化後ＤＣＴ係数頻度分布の標準偏差は３１．３１である。
【００３８】
したがって、符号化誤差推定装置４０は非可逆な画像圧縮技術を用いて符号化された画像であっても、符号化後ＤＣＴ係数頻度分布の標準偏差を求めることにより、符号化前ＤＣＴ係数頻度分布の標準偏差を推定することができ、推定した符号化前ＤＣＴ係数頻度分布の標準偏差から以下のように符号化前ＤＣＴ係数頻度分布を推定できる。
【００３９】
例えば一般的な自然画像はラプラス分布に従うことを考慮し、符号化誤差推定装置４０は、式（３）〜式（６）を用いることにより逆量子化されたＤＣＴ係数の（ｕ，ｖ）成分ｘ[v][u]の発生頻度Ｐ(v,u)(x[v][u])から符号化前ＤＣＴ係数頻度分布ｆ(v,u)（x[v][u]）を推定できる。
【００４０】
【数２】
【００４１】
図６は、伝送画像の符号化前ＤＣＴ係数頻度分布および推定した符号化前ＤＣＴ係数頻度分布の一例のグラフを示す。式（３）〜式（６）を用いて推定した符号化前ＤＣＴ係数頻度分布は、図６のグラフのように、伝送画像の符号化前ＤＣＴ係数頻度分布と近似する。
【００４２】
次に、推定した符号化前ＤＣＴ係数頻度分布を用いて、復号画像のＤＣＴドメインにおける符号化誤差を計算する方法について説明する。例えばＭＰＥＧ２を利用する場合、ＤＣＴを施すブロックは８×８画素である。また、ＤＣＴ係数の（ｕ，ｖ）成分の量子化値がイントラピクチャ（Ｉピクチャ）の場合、以下の式（７）のように表され、ｑｓｃａｌｅは３２通りの値をとる。
【００４３】
Ｑ[v][u][l]＝ｑｓｃａｌｅ[l]×Ｑｍａｔｒｉｘ[v][u]／１６・・・・・（７）
Ｑｍａｔｒｉｘ[v][u]がフレーム内で一意であるため、Ｑ[v][u][l]はフレーム内で３２通りの値を取り得る。このように、符号化データよりそれぞれの値を得ることができるため、（ｕ，ｖ）成分のＤＣＴ係数をＱ[v][u][l]により分類して原画の符号化前ＤＣＴ係数頻度分布を推定できる。
【００４４】
例えばＩピクチャー、（ｕ，ｖ）＝（２，０）、ｑｓｃａｌｅ[3]＝８、Ｑｍａｔｒｉｘ[0][2]＝１９の符号化前ＤＣＴ係数頻度分布を推定する場合について説明する。これらの値を式（７）に代入すると、Ｑ[v][u][l]は以下の式（８）のようになる。
【００４５】
Ｑ[0][2][3]＝８×１９／１６＝９．５・・・・・（８）
したがって、式（７）を用いて図１のようなＤＣＴ係数値の頻度分布を得ることができるので、図４のようなＤＣＴ係数値の頻度分布を推定することが可能となる。図１のＤＣＴ係数値の頻度分布は、推定されたＤＣＴ係数値の頻度分布ｆ（ｘ）がＱ[v][u][l]間隔で離散化されたものであるので、その符号化誤差量Ｓは以下の式（９）で表すことができる。
【００４６】
【数３】
【００４７】
算出された符号化誤差量Ｓは一般的に用いられている誤差量を表す指標，平均二乗誤差（ＭＳＥ）と比例関係にある。したがって、ＭＳＥ＝αＳとすることにより、受信画像の画像品質がどの程度劣化したのかを評価できる。
【００４８】
（第２実施例）
上記の第１実施例では、動き補償予測符号化を用いた符号化データにおいて非符号化ブロックが発生した場合、非符号化ブロックを符号化誤差のないブロックとして符号化誤差を推定するため、符号化誤差の推定精度が劣化する場合があった。
【００４９】
そこで、第２実施例では、動き補償予測符号化を用いた伝送画像に非符号化ブロックが発生しても、安定した推定精度を保つことができる符号化誤差推定方法および符号化誤差推定装置について説明する。なお、以下の説明では第１実施例で説明した内容を適宜省略する。
【００５０】
まず、本発明の理解を容易とするために、本発明の原理について説明する。動き補償予測符号化を用いた符号化方式の場合、符号化データから得られる直交変換係数は、ブロックが動き補償予測を用いた符号化ブロックか否かによって、それぞれの直交変換係数の分布が集計される。
【００５１】
また、直交変換係数成分（ｕ，ｖ）の値を量子化値Ｑの値によって分類し、その値の発生頻度を集計することで直交変換係数の分布を解析する。そして、解析した直交変換係数の分布から原画の直交変換係数の分布ｆｑ[v][u]（ｘ）を推定し、上記の式（１），（２）から符号化誤差量Ｓｑ[v][u]を推定できる。なお、量子化値Ｑによって分類された直交変換係数成分（ｕ，ｖ）の値の発生頻度は、上述した図１のように表される。
【００５２】
ところで、動き補償予測符号化を用いた直交変換符号化方式では、符号化の対象となるフレームに対し、時間的に前方または後方に位置するフレームを用いて予測符号化を行う。このような動き補償予測符号化を用いた直交変換符号化方式では、パニングのように物体が画面内で動いているような画像において高い符号化効率を実現できる。
【００５３】
特に映像の一部分の符号化効率を上げるために、参照画面の情報をそのまま利用し、直交変換符号化処理を行わない非符号化処理を行う場合がある。この場合は非符号化処理された部分に関する直交変換係数が伝送されず、符号化データから非符号化処理された部分に関する符号化情報を抽出することができない。
【００５４】
そこで、非符号化処理を伴う場合、非符号化処理された非符号化ブロックの直交変換係数の替わりに、同一位置において符号化処理された符号化ブロックの直交変換係数を用いて符号化誤差を推定する。なお、非符号化処理された非符号化ブロックを用いずに符号化誤差を推定するようにしてもよい。
【００５５】
以下、直交変換の一例としてのＤＣＴを用いる圧縮符号化方式のＭＰＥＧ２を例に、本発明の第２実施例に係る符号化誤差推定方法および符号化誤差推定装置について説明する。なお、本発明の符号化誤差推定装置を含む画像伝送システム１は符号化誤差推定装置４０の構成を除いて第１実施例と同様であるため、符号化誤差推定装置４０以外の説明を省略する。
【００５６】
図７は、符号化誤差推定装置の第２実施例の構成図を示す。図７の符号化誤差推定装置４０は、逆量子化部４２と直交変換係数値計数部４３との間にメモリ４６を含む構成であることが図３の符号化誤差推定装置４０と異なっている。
【００５７】
可変長符号復号部４１は、受信した符号化データの可変長符号を固定長符号に復号化して逆量子化部４２に供給する。逆量子化部４２は、可変長符号復号部４１から供給された固定長符号をＤＣＴ係数値に逆量子化し、ＤＣＴ係数値および符号化情報（例えば符号化ブロックのフレーム内位置情報，モード情報など）をメモリ４６に供給する。メモリ４６は、逆量子化部４２から供給されたＤＣＴ係数値および符号化情報を保存する。
【００５８】
直交変換係数値計数部４３は、メモリ４６からＤＣＴ係数値を読み出し、ＤＣＴ係数値の発生頻度を周波数成分ごとに計数する。そして、直交変換係数値計数部４３はＤＣＴ係数値の発生頻度を量子化前分布推定部４４に供給する。量子化前分布推定部４４は、直交変換係数値計数部４３から供給されたＤＣＴ係数値の頻度分布を用いて量子化前のＤＣＴ係数値の頻度分布を推定する。
【００５９】
量子化前分布推定部４４は、供給されたＤＣＴ係数値の頻度分布（符号化後ＤＣＴ係数頻度分布）および推定した量子化前のＤＣＴ係数値の頻度分布（符号化前ＤＣＴ係数頻度分布）を符号化誤差演算部４５に供給する。
【００６０】
符号化誤差演算部４５は、量子化前分布推定部４４から供給された符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布を比較計算することで、符号化された伝送画像の符号化誤差を演算する。なお、図７の符号化誤差推定装置４０を構成する各処理部の処理の詳細は後述する。
【００６１】
符号化誤差推定装置４０は、前述したように、非可逆な画像圧縮技術を用いて符号化された画像であっても、符号化後ＤＣＴ係数頻度分布の標準偏差を求めることにより、符号化前ＤＣＴ係数頻度分布の標準偏差を推定することができ、推定した符号化前ＤＣＴ係数頻度分布の標準偏差から以下のように符号化前ＤＣＴ係数頻度分布を推定できる。
【００６２】
例えば一般的な自然画像はラプラス分布に従うことを考慮し、符号化誤差推定装置４０は、式（１０）〜式（１３）を用いることにより、逆量子化されたＤＣＴ係数の（ｕ，ｖ）成分ｘ（v,u）の発生頻度Ｐ(v,u)(x(v,u))から符号化前ＤＣＴ係数頻度分布ｆ(v,u)（x(v, u)）を推定できる。
【００６３】
【数４】
【００６４】
例えば伝送画像の符号化前ＤＣＴ係数頻度分布と、式（１０）〜式（１３）を用いて推定した符号化前ＤＣＴ係数頻度分布とは、前述した図６のように表される。図６のグラフのように、式（１０）〜式（１３）を用いて推定した符号化前ＤＣＴ係数頻度分布は、伝送画像の符号化前ＤＣＴ係数頻度分布と近似する。なお、式（１０）〜（１３）では、演算量を削減するためにμ（u，v）を０としてもよい。
【００６５】
次に、推定した符号化前ＤＣＴ係数頻度分布を用いて、復号画像のＤＣＴドメインにおける符号化誤差を計算する方法について説明する。例えばＭＰＥＧ２を利用する場合、ＤＣＴ係数の（ｕ，ｖ）成分の量子化値は、ｑｓｃａｌｅとＱｍａｔｒｉｘとの関数である。
【００６６】
ｑｓｃａｌｅは、３２通りの値を取り得る。また、Ｑｍａｔｒｉｘ[v][u]はフレーム内で一意である。したがって、量子化値Ｑはフレーム内で３２通りの値を取り得る。このように、符号化データよりそれぞれの値を得ることができるため、（ｕ，ｖ）成分のＤＣＴ係数を量子化値Ｑの値により分類して原画の符号化前ＤＣＴ係数頻度分布を推定できる。
【００６７】
例えばＭＰＥＧ２の場合、ＤＣＴ係数の（ｕ，ｖ）成分ｘ（v,u）の復号処理は以下の式（１４）によって行われる。
【００６８】
【数５】
【００６９】
直交変換係数値計数部４３は、メモリ４６からＤＣＴ係数値を読み出し、ＤＣＴ係数値の発生頻度を周波数成分および量子化値Ｑ毎に計数する。そして、直交変換係数値計数部４３はＤＣＴ係数値の発生頻度を量子化前分布推定部４４に供給する。量子化前分布推定部４４は、直交変換係数値計数部４３から供給されたＤＣＴ係数値の頻度分布を用いて符号化前ＤＣＴ係数頻度分布を推定する。
【００７０】
量子化前分布推定部４４は、供給された符号化後ＤＣＴ係数頻度分布および推定した符号化前ＤＣＴ係数頻度分布を符号化誤差演算部４５に供給する。
【００７１】
符号化誤差演算部４５は、量子化前分布推定部４４から供給された符号化前ＤＣＴ係数頻度分布および符号化後ＤＣＴ係数頻度分布を比較計算することで、符号化された伝送画像の符号化誤差を演算する。
【００７２】
このようなＤＣＴ係数値を保存するメモリ４６を符号化誤差推定装置４０に搭載する場合、高速なメモリの容量を相当量必要とする。このような高速なメモリは高価であり、ハードウェア規模も大きく複雑となる。
【００７３】
そこで、より簡単に処理を行う場合に、以下のような処理を行うようにしてもよい。動き補償予測符号化を用いた符号化方式において非符号化処理を行う場合は、最後に復号化したブロックの符号化情報をメモリ４６に保存し、その符号化情報を次のブロックを復号するために利用する。
【００７４】
図８は、非符号化ブロックに対する処理について説明するための図である。例えば図８に表したように非符号化ブロック前後の符号化ブロックのｑｓｃａｌｅが等しい場合、ｉ番目のブロックの符号化情報を復号化してｑｓｃａｌｅ＝８をメモリ４６に保存する。
【００７５】
なお、メモリ４６は非符号化ブロックが存在してもそのｑｓｃａｌｅ＝８を保持し続ける。ｉ＋１番目，ｉ＋２番目のブロックはｑｓｃａｌｅ＝１６，２４で符号化された結果、ＤＣＴ係数値が全て０になったため、非符号化処理が行なわれている。つまり、ｉ＋１番目，ｉ＋２番目のブロックは非符号化ブロックであり、符号化情報を伝送されない為、符号化順で前に復号されたＤＣＴ係数がメモリ４６に保持される。
【００７６】
次に、符号化ブロックであるｉ＋３番目のブロックの符号化情報を復号化するが、ｉ＋３番目のブロックのｑｓｃａｌｅはｉ番目のブロックのｑｓｃａｌｅと等しいため、ｉ＋３番目のブロックの符号化情報にｑｓｃａｌｅが存在せず、メモリ４６に保持されたｑｓｃａｌｅが再利用される。
【００７７】
以上のように、非符号化処理された非符号化ブロックのＤＣＴ係数は０であるが確実である。ここで、ＤＣＴ係数値の発生頻度を計数する直交変換係数値計数部４３では、ブロックのＤＣＴ係数値の０を計測することが可能であるが、ｑｓｃａｌｅが如何なる値であるか計測することができない。
【００７８】
そこで、メモリ４６に保存しているｑｓｃａｌｅを近似値として利用することが考えられるが、誤差を多く発生する場合も考えられる。そこで、非符号化ブロックは使用せず、符号化ブロックのみを用いることにより、誤差を減少させることもできる。
【００７９】
また、ＤＣＴ係数の周波数成分に応じた人間の視覚特性を考慮し、各周波数成分で計算される誤差量Ｓｑ[v][u]と、重み付け計数ｗ[v][u]（０〜１．０）の積に応じて誤差量を調整し、主観的な画像品質を提示することもできる。
【００８０】
【発明の効果】
上述の如く、本発明によれば、圧縮符号化された映像信号の直交変換係数の頻度分布から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定し、圧縮符号化された映像信号の直交変換係数の頻度分布と、推定された圧縮符号化前の映像信号の直交変換係数の頻度分布との比較結果に応じて、圧縮符号化された映像信号の符号化誤差を推定することができる。
【００８１】
また、本発明によれば、圧縮符号化前の映像信号の直交変換係数の頻度分布の偏差と圧縮符号化後の映像信号の直交変換係数の頻度分布の偏差とが近似することを利用し、圧縮符号化後の映像信号の直交変換係数の頻度分布の偏差から圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することができる。
【００８２】
したがって、圧縮符号化による画像品質の劣化を原画を用いることなく容易且つ正確に推定することが可能である。
【００８３】
【図面の簡単な説明】
【図１】量子化値Ｑによって分類された直交変換係数成分（ｕ，ｖ）の値の発生頻度を表した一例の図である。
【図２】本発明の符号化誤差推定装置を含む画像伝送システムの一例の構成図である。
【図３】符号化誤差推定装置の第１実施例の構成図である。
【図４】符号化前ＤＣＴ係数頻度分布の一例のグラフである。
【図５】符号化後ＤＣＴ係数頻度分布の一例のグラフである。
【図６】伝送画像の符号化前ＤＣＴ係数頻度分布および推定した符号化前ＤＣＴ係数頻度分布の一例のグラフである。
【図７】符号化誤差推定装置の第２実施例の構成図である。
【図８】非符号化ブロックに対する処理について説明するための図である。
【符号の説明】
１ 画像伝送システム
１０ 符号化部
２０ 復号化部
３０ モニタ
４０ 符号化誤差推定装置
４１ 可変長符号復号部
４２ 逆量子化部
４３ 直交変換係数値計数部
４４ 量子化前分布推定部
４５ 符号化誤差演算部
４６ メモリ
５０ 伝送ネットワーク
Claims (2)
- 圧縮符号化された映像信号の符号化誤差をピクチャ単位に推定する符号化誤差推定装置であって、
圧縮符号化された映像信号を逆量子化し、フレームごとに取得した直交変換係数を周波数成分，量子化値，フレーム内符号化および動き補償予測符号化の有無のうちの少なくとも１つ以上ごとに集計して前記直交変換係数の頻度分布を解析する頻度分布解析手段と、
解析した前記直交変換係数の頻度分布に基づき、圧縮符号化前の映像信号の直交変換係数の頻度分布を推定する頻度分布推定手段と、
前記頻度分布解析手段が解析した前記直交変換係数の頻度分布と前記頻度分布推定手段が推定した直交変換係数の頻度分布との比較結果に応じて、圧縮符号化された映像信号の符号化誤差をピクチャ単位に推定し、推定された符号化誤差を人間の視覚特性に応じて周波数成分毎に重み付けする符号化誤差推定手段と、
前記直交変換係数を量子化値で除算した商である量子化インデックスと前記量子化値との積を用いた逆直交変換により得た直交変換値および前記直交変換値を復号するための符号化情報を保存する保存手段と
を有し、
前記保存手段は、前記符号化情報がないとき、逆量子化により得た直交変換値を既に保存している符号化情報と共に保存し、
前記頻度分布推定手段は、前記頻度分布解析段階で解析した前記直交変換係数の前記頻度分布から偏差を求め、当該偏差からラプラス分布により圧縮符号化前の映像信号の直交変換係数の頻度分布を推定することを特徴とする符号化誤差推定装置。 - 前記頻度分布解析手段は、動き補償予測符号化によって発生する非符号化ブロックを含む圧縮符号化された映像信号に対し、非符号化ブロック以外の符号化ブロックを用いて前記直交変換係数の頻度分布を解析することを特徴とする請求項１記載の符号化誤差推定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003158429A JP4309703B2 (ja) | 2002-06-21 | 2003-06-03 | 符号化誤差推定装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002182043 | 2002-06-21 | ||
| JP2003158429A JP4309703B2 (ja) | 2002-06-21 | 2003-06-03 | 符号化誤差推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004080741A JP2004080741A (ja) | 2004-03-11 |
| JP4309703B2 true JP4309703B2 (ja) | 2009-08-05 |
Family
ID=32032632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003158429A Expired - Fee Related JP4309703B2 (ja) | 2002-06-21 | 2003-06-03 | 符号化誤差推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4309703B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4775756B2 (ja) | 2005-03-18 | 2011-09-21 | 富士ゼロックス株式会社 | 復号化装置及びそのプログラム |
| JP4645948B2 (ja) | 2005-03-18 | 2011-03-09 | 富士ゼロックス株式会社 | 復号化装置及びプログラム |
| US7778468B2 (en) | 2005-03-23 | 2010-08-17 | Fuji Xerox Co., Ltd. | Decoding apparatus, dequantizing method, and program thereof |
| JP4737711B2 (ja) | 2005-03-23 | 2011-08-03 | 富士ゼロックス株式会社 | 復号化装置、逆量子化方法、分布決定方法及びこのプログラム |
| JP4730144B2 (ja) * | 2005-03-23 | 2011-07-20 | 富士ゼロックス株式会社 | 復号化装置、逆量子化方法及びこれらのプログラム |
| JP2006270737A (ja) * | 2005-03-25 | 2006-10-05 | Fuji Xerox Co Ltd | 復号化装置、分布推定方法、復号化方法及びこれらのプログラム |
| JP6338408B2 (ja) * | 2014-03-14 | 2018-06-06 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
-
2003
- 2003-06-03 JP JP2003158429A patent/JP4309703B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004080741A (ja) | 2004-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101188833B1 (ko) | 비디오 품질을 객관적으로 평가하기 위한 방법, 장치, 및 프로그램 | |
| KR100604702B1 (ko) | 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법 | |
| US6810083B2 (en) | Method and system for estimating objective quality of compressed video data | |
| US10009611B2 (en) | Visual quality measure for real-time video processing | |
| US20100061446A1 (en) | Video signal encoding | |
| US20200275104A1 (en) | System and method for controlling video coding at frame level | |
| KR20050004862A (ko) | 압축된 비디오 데이터의 객관적인 품질을 추정하기 위한방법 및 시스템 | |
| US11134250B2 (en) | System and method for controlling video coding within image frame | |
| WO2010004238A1 (en) | Video quality measurement | |
| US9077972B2 (en) | Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal | |
| US6990146B2 (en) | Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video | |
| EP1516493B1 (en) | A method and system for optimizing image sharpness during coding | |
| KR102424258B1 (ko) | 비디오를 인코딩하기 위한 방법 및 인코더 시스템 | |
| JP4309703B2 (ja) | 符号化誤差推定装置 | |
| RU2595917C2 (ru) | Способ и устройство для измерения качества видео | |
| US20030161398A1 (en) | Improving static picture quality in compressed video | |
| JP2015530807A (ja) | ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置 | |
| JP4217011B2 (ja) | ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 | |
| JP3858520B2 (ja) | 動画像符号化装置及びその方法 | |
| JP4133788B2 (ja) | 符号化誤差推定方法および符号化誤差推定装置 | |
| JP4384629B2 (ja) | 符号化誤差測定装置および符号化誤差測定プログラム | |
| KR100918560B1 (ko) | 실시간 ｈ.263 영상 부호율 제어를 위한 비트량 예측 장치및 그 방법 | |
| Lim et al. | Rate control based on linear regression for H. 264/MPEG-4 AVC | |
| JP4031231B2 (ja) | 符号化パラメータの解析装置 | |
| KR20040067239A (ko) | 양자화 수행시에 사용되는 비트의 할당방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090304 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090508 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4309703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |