JP4031231B2 - 符号化パラメータの解析装置 - Google Patents
符号化パラメータの解析装置 Download PDFInfo
- Publication number
- JP4031231B2 JP4031231B2 JP2001343482A JP2001343482A JP4031231B2 JP 4031231 B2 JP4031231 B2 JP 4031231B2 JP 2001343482 A JP2001343482 A JP 2001343482A JP 2001343482 A JP2001343482 A JP 2001343482A JP 4031231 B2 JP4031231 B2 JP 4031231B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- unit
- frame
- orthogonal transform
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化パラメータ解析装置に係り、特に、ベースバンド映像信号から映像の符号化時に使用された符号化パラメータを解析する符号化パラメータ解析装置に関する。
【０００２】
【従来の技術】
近年、デジタル符号化技術の普及に伴い、映像信号の伝送を行う場合においては、ベースバンド信号からＭＰＥＧ２に代表されるような高能率圧縮符号化方式による圧縮信号（以下、ビットストリームという）を生成し、そのビットストリームを伝送する方法が用いられている。
【０００３】
前記ビットストリームを放送局で受信する場合等においては、放送局側は受信した映像信号を復号化器によりベースバンド映像信号に復元するため、受信した映像信号が符号化された信号であったのか、復号化された信号であったのかを判断することができない場合がある。また、符号化された信号である場合にどのような符号化パラメータで符号化された映像信号なのかを判断できない場合もある。
【０００４】
複雑な経路により伝送された場合は、複数の符号化器・復号化器を経由して伝送されることがある。そのため、前段の符号化器で用いられた符号化パラメータと異なるパラメータを用いて符号化を行うと画質劣化が生じる。
【０００５】
このような場合、前段と同じ符号化パラメータを用いることが画質劣化を抑制するのに有効であることが知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら、ベースバンド信号のみから符号化パラメータを抽出する装置は、まだ実用化されておらず、ビットストリームを用いて符号化パラメータを抽出する抽出装置や、符号化前信号（原信号）と復号信号を用いて画質に関係する物理量を測定することにより画像の属性を推定する推定装置が知られている。例えば、松下インターテクノ（株）製のストリーム解析装置「ＡＤ９５３―ＩＩ」やソニーテクトロニクス（株）製の画質評価装置「ＰＱＡ２００」等である。
【０００７】
上述の装置構成を図を用いて説明する。
【０００８】
図１は、従来の符号化パラメータ抽出装置の一構成例の図である。
【０００９】
図１（ａ）の符号化パラメータ抽出装置は、符号化器１０と、復号化器１１と、符号化パラメータ抽出部１２とを備えるように構成されている。
【００１０】
また、図１（ｂ）の符号化パラメータ抽出装置は、符号化器１０と、復号化器１１と、比較・演算部１３とを備えるように構成されている。
【００１１】
図１（ａ）、（ｂ）に示したように、従来は符号化パラメータを抽出するためには、ビットストリーム、又は、符号化器１０に入力する前の画像信号及び復号化器１１により復号された復号画像が必要となる。また、上述の信号を符号化パラメータ抽出部１２、又は、比較・演算部１３に伝送するための回線が別途必要とする等、設備面でも問題があった。
【００１２】
そこで、上述の問題点を改善した測定方法として、本出願人から特願２０００−１７０２３８号、及び特願２００１−３０３０６２号が出願されている。
【００１３】
特願２０００−１７０２３８号は、復号化された信号をＭＰＥＧ２映像符号化に基づいて、固定量子化符号化器により再符号化を行い、その符号化時の発生情報量を測定して１画素あたりの情報量を換算する。換算により求められた発生情報量と、復号化前のビットストリームの情報から検出したピクチャタイプとの関係を、多数のサンプル画像に対してトレーニング法により求めておき、上記の関係から算出した関係式に基づいて、入力された画像のピクチャタイプを推定する。
【００１４】
しかしながら、ピクチャタイプを推定するためには、受信信号をＭＰＥＧ２の映像符号化手順により再符号化しなければならず、測定装置としては処理が比較的煩雑になり易く、また、トレーニング法を用いるため、別途データベースが必要となる。
【００１５】
また、特願２００１−３０３０６２号によるピクチャタイプ推定方法は、ＭＰＥＧ２における前方向予測符号化方式の特徴を利用し、Ｐピクチャの推定を先に行い、その結果に基づいてＩピクチャ、Ｂピクチャを間接的に推定する方法である。なお、上述した方法は符号化パラメータとして、ピクチャタイプのみの推定を行うものである。
【００１６】
上述した２つの測定方法は復号信号から符号化パラメータ、又はピクチャタイプを推定することができるが、受信した映像信号が伝送の過程において、圧縮して伝送されてきたのか、又は非圧縮で伝送されてきたのかを判断することができない。
【００１７】
本発明は、上述の点に鑑みなされたものであり、復号信号から符号化パラメータを解析することができ、且つ、受信した映像信号がビットストリーム（圧縮信号）であるか否かを判断することができる解析装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１９】
請求項１に記載された発明は、直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、復号した映像信号に対して、直交変換符号化をフィールド内符号化モードで符号化するフィールド符号化部と、前記映像信号に対して、直交変換符号化をフレーム内符号化モードで符号化するフレーム符号化部と、前記フィールド符号化部及び前記フレーム符号化部により得られる符号化された映像信号のフレームに対して垂直方向の隣接画素間の相関を計算し、計算した相関値を比較する相関値比較部と、前記相関値比較部により比較した結果に基づいて、前記フィールド符号化部又は前記フレーム符号化部で符号化された映像信号を切り替えて出力する切替部と、前記切替部から得られる符号化された映像信号の直交変換係数値の発生頻度を係数する発生頻度計数部と、前記フィールド符号化部及び前記フレーム符号化部により得られる符号化された映像信号のフレームを夫々１フレーム遅延させるフレーム遅延部と、前記フレーム遅延部により遅延させた前記フィールド符号化部及び前記フレーム符号化部で符号化された夫々のフレームの各マクロブロックに対して、前記発生頻度計数部から得られる発生頻度を用いて、前記各マクロブロックにおける前記直交変換係数値の組み合わせが生じる確率を評価値として演算する評価値演算部と、前記評価値演算部により得られる２つの評価値の大きさを比較して、符号化時の符号化モードがフィールド内符号化モードであるか、又はフレーム内符号化モードであるかを判断して出力する評価値比較部とを有することを特徴とする。
【００２０】
請求項１記載の発明によれば、復号信号のみから符号化パラメータである符号化モードを推定することができる。また、直交変換符号化による係数値から符号化パラメータを容易に推定することができる。また、再符号化時には、取得した符号化パラメータを用いることにより、符号化時の画質の劣化を防ぐことができる。
【００２１】
請求項２に記載された発明は、直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、復号した映像信号を、直交変換を用いて直交変換符号化する符号化部と、前記符号化部により得られる映像信号の直交変換係数値の発生頻度を計数する発生頻度計数部と、前記発生頻度計数部により取得された１フレーム毎の直交変換係数値の発生頻度に対して強調処理を行い、強調処理された発生頻度の総和を評価値として演算する評価値演算部と、前記強調処理される前の発生頻度に基づいて設定された閾値を演算する閾値演算部と、前記評価値演算部により得られる発生頻度の総和と前記閾値演算部により得られる閾値とを比較し、前記発生頻度の総和が前記閾値を超えたフレームをイントラ符号化されたフレームと判定し、その結果を出力するための比較部とを有することを特徴とする。
【００２２】
請求項２記載の発明によれば、入力映像信号の符号化時の符号化パラメータであるピクチャタイプを把握することができる。また、入力される映像信号が圧縮された信号であるか、非圧縮の信号であるかを判別することができる。また、再符号化時には、取得した符号化パラメータを用いることにより、符号化時の画質の劣化を防ぐことができる。
【００２３】
請求項３に記載された発明は、直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、復号した映像信号を、直交変換を用いて直交変換符号化する符号化部と、前記符号化部により得られる映像信号の直交変換係数値の発生頻度を計数する発生頻度計数部と、前記発生頻度計数部により取得された１フレーム毎の直交変換係数値の発生頻度に対して強調処理を行い、強調処理された発生頻度の総和を評価値として演算する評価値演算部と、前記強調処理される前の発生頻度に基づいて設定された閾値を演算する閾値演算部と、前記評価値演算部により得られる発生頻度の総和と前記閾値演算部により得られる閾値とを比較し、全フレームについて前記強調処理された発生頻度の総和が前記閾値を超えなかった場合は、前記映像信号は直交変換符号化処理が行われていないと判定し、その結果を出力するための比較部とを有することを特徴とする。
【００２４】
請求項３記載の発明によれば、イントラ符号化されたフレームが入力映像信号に存在するか否かを判断することにより、映像信号の直交変換符号化処理の有無を容易に判定することができる。これにより、入力される映像信号が圧縮された信号であるか、非圧縮の信号であるかを判別することができる。
【００３５】
【発明の実施の形態】
本発明は、入力映像信号の離散コサイン変換（以下、ＤＣＴという）等の直交変換を用いた符号化アルゴリズムを想定し、１フレーム毎に直交変換符号化を行い、その直交変換時のマクロブロック毎の係数値の頻度値（頻度分布）から符号化パラメータを解析する。また、直交変換符号化時の処理モードであるフレーム内符号化モード及びフィールド内符号化モードのうち、どの符号化モードを使用した符号化であるのかを解析し、また、画像のピクチャタイプを推定することができる符号化パラメータ解析装置を提供することを主眼とする。
【００３６】
ここで、デジタル符号化技術における画像の特徴を示すピクチャタイプとは、イントラ符号化画像であるＩピクチャ（Intra−coded Picture）、前方向予測符号化画像であるＰピクチャ（Predictive−coded Picture）、両方向予測符号化画像であるＢピクチャ（Bidirectionally−Predictive−coded Picture）に区別される。
【００３７】
Ｉピクチャは、画面の全ての画素が直交変換等で符号化され、画面内で符号化が完結するため、シーンの切り替わり点や予測効率が悪い画像については符号化効率がよい。また、Ｉピクチャは直交変換により符号化された後、量子化処理を行うことにより高い圧縮率と劣化の少ない画像を実現することができる。また、Ｉピクチャは、Ｐピクチャ又はＢピクチャの参照画面として用いられている。
【００３８】
Ｐピクチャは、連続する入力映像信号内の時間的に過去に位置するＩピクチャ、又はＰピクチャから予測符号化を行う。動画像においては一般にＩピクチャと比べて高い符号化効率を得ることができる。
【００３９】
Ｂピクチャは、時間的に前後に位置するＩピクチャ又はＰピクチャを用いて前方向、後方向又は両方向から動き補償予測を行い符号化される。
【００４０】
つまり、ＩピクチャはＰピクチャ、Ｂピクチャと異なりフレーム内で符号化が完結し、動き補償予測を行わないため、参照する画面を必要としないという特徴を持っている。
【００４１】
また、直交変換を用いたＩピクチャは、ＭＰＥＧ１，２，４、ＪＰＥＧ、ＩＴＵ−Ｔ Ｒｅｃ.Ｈ２６１、ＨＤ−Ｄ５ＶＴＲ、ＤＶＣＡＭ等の多くの映像フォーマットで用いられている。
【００４２】
上述した直交変換符号化は、入力信号をｍ×ｎ画素（ｍ、ｎ：自然数）のブロックに分割し、そのブロック毎に直交変換を施し、量子化を行う符号化である。また、デジタル符号化処理された映像を再符号化する際には、符号化時のピクチャタイプ及び直交変換係数値を知ることが重要であり、それにより画質の劣化の少ない高精度な再符号化が可能となる。
【００４３】
なお、直交変換符号化では、フィールド内符号化モード、フレーム内符号化モードという２つの直交変換符号化モードを持つ。
【００４４】
図２に、従来の直交変換符号化の一例の図を示す。ＭＰＥＧ２等ではインターレース信号を効率よく符号化するために入力信号に応じて、上述の２つの符号化モードを適応的に切り替えている。
【００４５】
例えば、ＭＰＥＧ２では、図２に示すように１６×１６の画素ブロックを８×８の４個のブロックに分けてＤＣＴを行う。図２（ａ）に示すフレーム内符号化モードは、隣接するラインから構成されたブロックに対して符号化処理を行うモードであり、図２（ｂ）に示すフィールド内符号化モードは、奇数行のライン、もしくは偶数行のラインを纏めることにより構成されたブロックを処理する符号化モードである。
【００４６】
上述した２つの符号化モードは、適応的に切り替えることができるため、前段での符号化時にどちらの符号化モードを使用したものかを把握することはできない。したがって、再符号化を行う際には画質が低下してしまう。
【００４７】
更に、直交変換符号化は直交変換による各係数値に対し、量子化値Ｑによる除算を施すことによって情報量の削減を行うことができる。そのため、符号化による圧縮後の係数値はＱ間隔の離散的な値となる。
【００４８】
ＭＰＥＧ２を例にあげると、上述した２つの符号化モードのうち、どちらを選択するかの判定方法は標準化の範囲外であり、符号化器の製作者によって異なる符号化モードの与え方が許されている。したがって、受信側で受信される信号からは、その方法を知ることができない。
【００４９】
また、判定方法が分かったとしても、例えば、低ビットレートにおける高圧縮処理が行われた場合、復号画が原画の性質を著しく損なっている場合が多いため、符号化時と同じ判定方法を用いても判定結果が異なることがある。
【００５０】
そこで、符号化モードを適当（例えば、フィールド内符号化モード、フレーム内符号化モードを等分の割合）に与え、フレーム内の全直交変換係数値の発生頻度を求める。
【００５１】
符号化モードが一致した場合、量子化によって係数値は離散値となり、高い発生頻度を示す。即ち、符号化モードを判定する対象となる画素ブロックをフィールド内符号化モード、フレーム内符号化モードで夫々直交変換を行い、各係数値のフレーム内での発生頻度の分布を比較する。比較した結果、発生頻度が大きい符号化モードを、その画像を構成する符号化モードとする。
【００５２】
ここで、上述の内容をフローチャートを用いて説明する。
【００５３】
図３は、符号化モードを判定するための処理の流れを示す一例のフローチャートである。
【００５４】
図３において、まず、符号化モード（フレーム内符号化モード又はフィールド内符号化モード）を初期値として（Ｓ１）、１フレームに対して直交変換を行い、全体における各周波数の係数値の発生確率を求める（Ｓ２）。次に、１フレームのマクロブロック毎に両方の符号化モードで直交変換を行い、各係数の発生確率によりマクロブロックの発生確率を計算（Ｓ３）する。
【００５５】
Ｓ３において、フレーム内符号化モードにより符号化を行った方が、フィールド内符号化モードで符号化を行ったよりも発生確率が高い場合（Ｓ４）は、そのフレームがフレーム内符号化モードで符号化されていたものであると判断し、各係数値の発生確率の再計算を行う（Ｓ５）。また、Ｓ４においてフィールド内符号化モードの方が発生確率が高い場合は、フィールド内符号化モードで符号化されたものであると判断し、各係数値の発生確率の再計算を行う（Ｓ６）。
【００５６】
次に、Ｓ３からＳ６までの処理を１フレーム内の全てのマクロブロックについて行い（Ｓ７）、全てのマクロブロックで発生確率の比較を行った後、発生確率が所定の値に収束したかを判断（Ｓ８）する。その結果、収束しなかった場合は、前記推定した結果を用いて、次の符号化モードの初期値として符号化モードの値を変えてＳ２からＳ７までを行う。また、Ｓ８にて発生確率が収束した場合は、処理を終了する。
【００５７】
また、入力信号を直交変換することにより得られた係数値の頻度分布を用いると、Ｉピクチャを検出することができる。Ｐピクチャ及びＢピクチャで符号化されたフレームの復号信号に再符号化を行った場合、その直交変換係数の頻度分布は、比較的なだらかな分布となり、Ｉピクチャで符号化されたフレームの復号信号のように特定の係数値で発生頻度が高くなるようなことはない。そこで、前記頻度分布に対して強調処理を行い、頻度の総和を閾値を用いることによりＩピクチャと、Ｐピクチャ及びＢピクチャとを区別することができる。
【００５８】
また、映像信号が直交変換符号化によって符号化された映像信号である場合、映像信号内にＩピクチャを１枚は持つことから、Ｉピクチャの検出が行えたかどうかで入力された映像信号が、圧縮処理が行われていたものが復号化された信号であることを推定することができる。
【００５９】
次に、本発明の実施例を図を用いて説明する。なお、ここでは、ＭＰＥＧ２の符号化パラメータの解析方法について説明を行うが、対象となる映像の圧縮形式は、発明の範囲においてこの限りではない。
【００６０】
図４は、本発明における符号化パラメータ解析装置の一実施例を示す図である。
【００６１】
図４の符号化パラメータ解析装置は、フレーム蓄積部４１と、ＤＣＴ符号化部４２と、ＤＣＴ係数頻度係数部４３と、Ｉピクチャ検出部４４と、ＤＣＴ符号化モード解析部４５とを備えるように構成されている。
【００６２】
符号化パラメータ解析装置への入力である画像信号は、ＭＰＥＧ２の場合、ＤＣＴ符号化と量子化を用いた画像圧縮処理を行い処理された符号化信号を、更に復号した復号画像信号とする。
【００６３】
図４において、フレーム蓄積部４１は、入力した画像信号を１フレーム分蓄積する。蓄積された１フレームは、ＤＣＴ符号化部４２でＤＣＴを行い、ＤＣＴ係数頻度係数部４３でＤＣＴ係数値の発生頻度を計数して頻度分布（頻度値）を作成し、ＤＣＴ符号化モード解析部４５で前記頻度分布によりＤＣＴ符号化モードを解析して出力する。また、ＤＣＴ係数頻度係数部４３から入力されたフレームの信号がＩピクチャで符号化されたフレームか否かを判定し、その結果を出力する。
【００６４】
ＤＣＴの符号化モードには、フレーム内ＤＣＴ符号化モードとフィールド内ＤＣＴ符号化モードがある。符号化を行う場合は、夫々が図２のように各ブロックに分解され、分解された各ブロックに対してＤＣＴを行い、その後、量子化を行う。
【００６５】
ここで、入力信号に対して、一般的に広く知られた符号化モード判定方法について説明する。
【００６６】
その方法は、ＤＣＴ係数の垂直方向高域成分と相関の高い垂直方向隣接画素間差分値のブロック内二乗和を基にＤＣＴ符号化モードを決定する方法である。その関係式を数式１に示す。
【００６７】
【数１】
Ｘ[ｖ][ｕ]：マクロブロック輝度信号の第（ｕ,ｖ）要素
即ち各マクロブロックについて、（２）式に示したフレーム内で垂直方向に隣接した画素間差分値の二乗和Ｖａｒ１と、（３）式に示すフィールド内で垂直方向に隣接した画素間差分値の二乗和Ｖａｒ２を求める。次に、Ｖａｒ１とＶａｒ２を比較して、（１）式を満たしていればフィールドＤＣＴモードと判定する。
【００６８】
ＩＴＥの標準動画像で「シャチのジャンプ」をＩピクチャで符号化した画像を復号した復号画像信号に対して、上述の方法を適用し、ＤＣＴ符号化モードを再判定すると正しい判定結果になったのは６１．１％であった。
【００６９】
ここで、図５に、直交変換符号の係数分布の一例の図を示す。
【００７０】
図５は、１フレーム分の各ブロックにおけるＤＣＴ係数の頻度分布を作成したものである。また、図５の例では、ＤＣＴ係数の０，１成分のグラフであり、横軸がＤＣＴ係数値（Ｘ［ｖ］［ｕ］，ｖ＝１，ｕ＝０）、縦軸（Ｐ［ｖ］［ｕ］，ｖ＝１，ｕ＝０）が発生頻度である。
【００７１】
入力信号がＩピクチャで符号化され復号された信号であれば、ＤＣＴ符号を量子化する過程においてＤＣＴ係数値は離散的な値をとるはずであるが、符号化時と異なる符号化モードが選択されたマクロブロックの係数は、本来とるべき離散値と異なる係数値となるため、頻度分布は櫛状の形状とならない。
【００７２】
また、この頻度分布はＤＣＴ係数の成分毎に異なる分布を持つが、頻度の総数Ｎが同じであるため、ＤＣＴ係数（ｕ，ｖ）成分の係数値ｘの頻度Ｐ［ｖ］［ｕ］（ｘ）をＮで除算すると、フレーム内における（ｕ，ｖ）成分の係数値ｘの発生確率Ｐ［ｖ］［ｕ］（ｘ）／Ｎと表すことができる。
【００７３】
次に、同じフレームの信号をマクロブロック毎にフィールド内符号化モード、フレーム内符号化モードの夫々の場合において、４つのブロックに分割し、ＤＣＴ符号化を行う。
【００７４】
図２における各符号化モードで分割された４つのブロックの記述方法の一例を図６に示す。
【００７５】
ここで、ｎ番目のマクロブロックをフィールド内符号化モードでＤＣＴを行った場合のＤＣＴ係数値をｘｆｉ［ｎ］［ｋ］［ｖ］［ｕ］（ｎ＝０，１，２，…、ｋ＝０，１，２，３、ｖ＝０，…、７、ｕ＝０，・・・，７）、とし、フレーム内符号化モードでＤＣＴを行った場合のＤＣＴ係数値をｘｆｒ［ｎ］［ｋ］［ｖ］［ｕ］（ｎ＝０，１，２，…、ｋ＝０，１，２，３、ｖ＝０，…，７、ｕ＝０，…，７）と表し、夫々について頻度分布より得られる係数値の発生確率Ｐ［ｖ］［ｕ］（ｘ）／Ｎの値を用いて、４ブロック内のマクロブロックにおけるＤＣＴ係数の係数値の発生確率Ｓｆｉ［ｎ］を、数式２を用いて求める。
【００７６】
【数２】
ｘｆｉ［ｎ］［ｋ］［ｖ］［ｕ］：ｎ番目のマクロブロックをフィールド内ＤＣＴ符号化モードモードで分割し、ＤＣＴを行った場合のｋ番目のブロックの第（ｖ，ｕ）要素のＤＣＴ係数値。
【００７７】
ｘｆｒ［ｎ］［ｋ］［ｖ］［ｕ］：ｎ番目マクロブロックをフレーム内ＤＣＴ符号化モードモードで分割し、ＤＣＴを行った場合のｋ番目のブロックの第（ｖ，ｕ）要素のＤＣＴ係数値。
【００７８】
Ｐ［ｖ］［ｕ］（ｘ）：任意の方法で得られたＤＣＴ係数（ｖ，ｕ）成分の係数値ｘのフレーム内の発生頻度の初期値。
【００７９】
（４）式、（５）式を用いて計算した結果が、（６）式を満たす場合、ｎ番目のマクロブロックの符号化モードはフィールド内符号化モードであったと判定する。また、この判定を行った結果を用いて頻度分布を計算し同様の計算を繰り返すことで判定結果の精度を上げることが可能である。
【００８０】
図７に、上述した判定方式を１回用いて頻度分布を再度作成した結果を示す。
【００８１】
図５と比較すると図７の係数頻度分布は櫛状の分布になっていることが明確にわかる。検証した結果９９．４％のマクロブロックで符号化モードが符号化時と一致した。
【００８２】
ここで、上述の内容による実施例を図を用いて説明する。
【００８３】
図８は、符号化パラメータ解析装置の第２の実施例の図である。
【００８４】
図８の符号化パラメータ解析装置は、フレーム蓄積部４１と、フィールドＤＣＴ部８１と、フレームＤＣＴ部８２と、相関計算部８３と、ＤＣＴ符号化モード解析部８４と、比較部８５と、ＤＣＴ係数値発生頻度計数部８６とを備えるように構成されている。
【００８５】
また、ＤＣＴ符号化モード解析部８４は、評価値演算部８７と、フレーム遅延部８８とを備えるように構成されている。
【００８６】
図８の符号化パラメータ解析装置において、まず、テレビジョンのベースバンド信号等の画像信号をフレーム蓄積部４１に入力し、１フレーム分を蓄積する。蓄積されたフレームは、フィールドＤＣＴ部８１でフィールドＤＣＴを、また、フレームＤＣＴ部８２でフレームＤＣＴを行う。また、同時に相関計算部８３にて、上述の数式１で示したように垂直方向の隣接画素間の相関を計算する。
【００８７】
相関計算部８３にて計算された値により、ＳＷ１でスイッチングを行いフィールドＤＣＴ部８１もしくはフレームＤＣＴ部８２のＤＣＴされたフレームをＤＣＴ係数値発生頻度計数部８６に入力する。
【００８８】
ＤＣＴ係数値発生頻度計数部８６は、ＤＣＴ係数値の発生頻度を計数し、その結果を評価値演算部８７へ入力する。評価値演算部８７は、フレーム遅延部より１フレーム遅延された画像とフレーム内の発生頻度を用いて、上述した評価値Ｓｆｉ及びＳｆｒを算出する。算出された結果を比較部８５で比較し、ＤＣＴ符号化モードを推定すると共に、該当するＤＣＴを行ったＤＣＴ符号化信号をＳＷ２によりスイッチングを行って出力する。
【００８９】
上述の実施例を用いることにより、入力の画像信号に対して、ＤＣＴ符号化モードを解析すると共に、ＤＣＴを行った信号を出力することができる。
【００９０】
また、再ＤＣＴにより得られたＤＣＴ係数の頻度分布は、イントラ符号化であるＩピクチャとして符号化されたフレームと、Ｐピクチャ及びＢピクチャとして符号化されたフレームの信号では明確に異なる頻度分布となる。
【００９１】
図９に、再ＤＣＴして得られたＰピクチャの頻度分布の一例の図を示す。図９は、Ｐピクチャで符号化され、復号された入力信号に、ＤＣＴによる再符号化を施した場合のＤＣＴ係数（０，１）成分のＤＣＴ係数値の頻度分布であり、横軸は係数値であり縦軸は頻度である。
【００９２】
また、図１０に、再ＤＣＴして得られたＢピクチャの頻度分布の一例の図を示す。 図１０は、Ｂピクチャで符号化され、復号された入力信号に、ＤＣＴによる再符号化を施した場合のＤＣＴ係数（０，１）成分のＤＣＴ係数値の頻度分布であり、横軸は係数値であり縦軸は頻度である。
【００９３】
Ｐピクチャ及びＢピクチャでは、動き補償予測が行われているためＤＣＴ係数値が離散的な値を持つことはほとんどない。そのため、図９、図１０に示したように、Ｉピクチャの頻度分布と比べて櫛状の分布とはなっていない。そこで、１フレームの入力信号に対して再ＤＣＴを行い、各係数の計数値の頻度分布を測定し、得られた頻度分布Ｐ［ｖ］［ｕ］（ｘ）に対して、数式３に示すような処理を行う。
【００９４】
【数３】
まず、ＤＣＴ係数の（ｖ，ｕ）成分の頻度の総和の０．５倍のＳを閥値の一例とし、（８）式、（９）式によってＰ［ｖ］［ｕ］（ｘ）を処理し、Ｐ［ｖ］［ｕ］（ｘ）の総和をＳ’とする（（１０）式）。（１１）式のように、Ｓ’が閾値Ｓを超える場合は、そのフレームがＩピクチャで符号化されたフレームであると判定する。
【００９５】
上述の内容による実施例を図を用いて説明する。
【００９６】
図１１は、符号化パラメータ解析装置の第３の実施例の図である。
【００９７】
図１１の符号化パラメータ解析装置は、ＤＣＴ符号化部４２と、ＤＣＴ係数値発生頻度計数部９１と、評価値演算部９２と、閾値演算部９３と、比較部９４とを備えるように構成されている。
【００９８】
ＤＣＴ符号化部４２は、入力信号を１画像毎にＤＣＴ変換を行い、ＤＣＴ係数値発生頻度計数部９１で発生頻度の係数（頻度分布）を算出する。評価値演算部９２は上述したＳ’を算出し、閾値演算部９３は上述のＳを算出する。比較部９４でＳとＳ’の比較を行うことにより、そのフレームがＩピクチャであるか否かを判断することができる。
【００９９】
なお、ＤＣＴ符号化技術を用いた圧縮を行った映像の場合は、少なくとも１枚のＩピクチャが存在するため、上述した方法を用いて映像信号にＩピクチャが存在するか否かを判断することで、映像信号が圧縮された信号であるか、非圧縮の信号であるかを判断することができる。つまり、Ｉピクチャの条件を満たすフレームが存在しなかった場合に非圧縮の信号であると判断することができる。
【０１００】
【発明の効果】
本発明では、従来手法と比べて簡便な装置構成で符号化パラメータの解析が実現できる。また、復号された圧縮画像がＶＴＲ等の記録媒体及び／又は記録装置に記録されている場合において、従来手法では符号化時のパラメータを類推することができなかったが、本発明を用いることにより符号化パラメータの解析が可能となる。
【０１０１】
本発明は、放送局等における映像素材の再利用を行う際に、画像品質を維持するために特に有効な技術である。
【図面の簡単な説明】
【図１】従来の符号化パラメータ抽出装置の一構成例の図である。
【図２】従来の直交変換符号化の一例の図である。
【図３】符号化モードを判定するための処理の流れを示す一例のフローチャートである。
【図４】本発明における符号化パラメータ解析装置の一実施例を示す図である。
【図５】直交変換符号の係数分布の一例の図である。
【図６】図２における各符号化モードで分割された４つのブロックの記述方法の一例の図である。
【図７】本実施例におけるＤＣＴ符号の係数分布の一例の図である。
【図８】符号化パラメータ解析装置の第２の実施例の図である。
【図９】再ＤＣＴして得られたＰピクチャの頻度分布の一例の図である。
【図１０】再ＤＣＴして得られたＢピクチャの頻度分布の一例の図である。
【図１１】符号化パラメータ解析装置の第３の実施例の図である。
【符号の説明】
１０ 符号化器
１１ 復号化器
１２ 符号化パラメータ抽出部
１３ 比較・演算部
４１ フレーム蓄積部
４２ ＤＣＴ符号化部
４３ ＤＣＴ係数頻度計数部
４４ Ｉピクチャ検出部
４５ ＤＣＴ符号化モード解析部
８５、９４ 比較部
８７，９２ 評価値演算部
９３ 閾値演算部
【発明の属する技術分野】
本発明は、符号化パラメータ解析装置に係り、特に、ベースバンド映像信号から映像の符号化時に使用された符号化パラメータを解析する符号化パラメータ解析装置に関する。
【０００２】
【従来の技術】
近年、デジタル符号化技術の普及に伴い、映像信号の伝送を行う場合においては、ベースバンド信号からＭＰＥＧ２に代表されるような高能率圧縮符号化方式による圧縮信号（以下、ビットストリームという）を生成し、そのビットストリームを伝送する方法が用いられている。
【０００３】
前記ビットストリームを放送局で受信する場合等においては、放送局側は受信した映像信号を復号化器によりベースバンド映像信号に復元するため、受信した映像信号が符号化された信号であったのか、復号化された信号であったのかを判断することができない場合がある。また、符号化された信号である場合にどのような符号化パラメータで符号化された映像信号なのかを判断できない場合もある。
【０００４】
複雑な経路により伝送された場合は、複数の符号化器・復号化器を経由して伝送されることがある。そのため、前段の符号化器で用いられた符号化パラメータと異なるパラメータを用いて符号化を行うと画質劣化が生じる。
【０００５】
このような場合、前段と同じ符号化パラメータを用いることが画質劣化を抑制するのに有効であることが知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら、ベースバンド信号のみから符号化パラメータを抽出する装置は、まだ実用化されておらず、ビットストリームを用いて符号化パラメータを抽出する抽出装置や、符号化前信号（原信号）と復号信号を用いて画質に関係する物理量を測定することにより画像の属性を推定する推定装置が知られている。例えば、松下インターテクノ（株）製のストリーム解析装置「ＡＤ９５３―ＩＩ」やソニーテクトロニクス（株）製の画質評価装置「ＰＱＡ２００」等である。
【０００７】
上述の装置構成を図を用いて説明する。
【０００８】
図１は、従来の符号化パラメータ抽出装置の一構成例の図である。
【０００９】
図１（ａ）の符号化パラメータ抽出装置は、符号化器１０と、復号化器１１と、符号化パラメータ抽出部１２とを備えるように構成されている。
【００１０】
また、図１（ｂ）の符号化パラメータ抽出装置は、符号化器１０と、復号化器１１と、比較・演算部１３とを備えるように構成されている。
【００１１】
図１（ａ）、（ｂ）に示したように、従来は符号化パラメータを抽出するためには、ビットストリーム、又は、符号化器１０に入力する前の画像信号及び復号化器１１により復号された復号画像が必要となる。また、上述の信号を符号化パラメータ抽出部１２、又は、比較・演算部１３に伝送するための回線が別途必要とする等、設備面でも問題があった。
【００１２】
そこで、上述の問題点を改善した測定方法として、本出願人から特願２０００−１７０２３８号、及び特願２００１−３０３０６２号が出願されている。
【００１３】
特願２０００−１７０２３８号は、復号化された信号をＭＰＥＧ２映像符号化に基づいて、固定量子化符号化器により再符号化を行い、その符号化時の発生情報量を測定して１画素あたりの情報量を換算する。換算により求められた発生情報量と、復号化前のビットストリームの情報から検出したピクチャタイプとの関係を、多数のサンプル画像に対してトレーニング法により求めておき、上記の関係から算出した関係式に基づいて、入力された画像のピクチャタイプを推定する。
【００１４】
しかしながら、ピクチャタイプを推定するためには、受信信号をＭＰＥＧ２の映像符号化手順により再符号化しなければならず、測定装置としては処理が比較的煩雑になり易く、また、トレーニング法を用いるため、別途データベースが必要となる。
【００１５】
また、特願２００１−３０３０６２号によるピクチャタイプ推定方法は、ＭＰＥＧ２における前方向予測符号化方式の特徴を利用し、Ｐピクチャの推定を先に行い、その結果に基づいてＩピクチャ、Ｂピクチャを間接的に推定する方法である。なお、上述した方法は符号化パラメータとして、ピクチャタイプのみの推定を行うものである。
【００１６】
上述した２つの測定方法は復号信号から符号化パラメータ、又はピクチャタイプを推定することができるが、受信した映像信号が伝送の過程において、圧縮して伝送されてきたのか、又は非圧縮で伝送されてきたのかを判断することができない。
【００１７】
本発明は、上述の点に鑑みなされたものであり、復号信号から符号化パラメータを解析することができ、且つ、受信した映像信号がビットストリーム（圧縮信号）であるか否かを判断することができる解析装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１９】
請求項１に記載された発明は、直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、復号した映像信号に対して、直交変換符号化をフィールド内符号化モードで符号化するフィールド符号化部と、前記映像信号に対して、直交変換符号化をフレーム内符号化モードで符号化するフレーム符号化部と、前記フィールド符号化部及び前記フレーム符号化部により得られる符号化された映像信号のフレームに対して垂直方向の隣接画素間の相関を計算し、計算した相関値を比較する相関値比較部と、前記相関値比較部により比較した結果に基づいて、前記フィールド符号化部又は前記フレーム符号化部で符号化された映像信号を切り替えて出力する切替部と、前記切替部から得られる符号化された映像信号の直交変換係数値の発生頻度を係数する発生頻度計数部と、前記フィールド符号化部及び前記フレーム符号化部により得られる符号化された映像信号のフレームを夫々１フレーム遅延させるフレーム遅延部と、前記フレーム遅延部により遅延させた前記フィールド符号化部及び前記フレーム符号化部で符号化された夫々のフレームの各マクロブロックに対して、前記発生頻度計数部から得られる発生頻度を用いて、前記各マクロブロックにおける前記直交変換係数値の組み合わせが生じる確率を評価値として演算する評価値演算部と、前記評価値演算部により得られる２つの評価値の大きさを比較して、符号化時の符号化モードがフィールド内符号化モードであるか、又はフレーム内符号化モードであるかを判断して出力する評価値比較部とを有することを特徴とする。
【００２０】
請求項１記載の発明によれば、復号信号のみから符号化パラメータである符号化モードを推定することができる。また、直交変換符号化による係数値から符号化パラメータを容易に推定することができる。また、再符号化時には、取得した符号化パラメータを用いることにより、符号化時の画質の劣化を防ぐことができる。
【００２１】
請求項２に記載された発明は、直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、復号した映像信号を、直交変換を用いて直交変換符号化する符号化部と、前記符号化部により得られる映像信号の直交変換係数値の発生頻度を計数する発生頻度計数部と、前記発生頻度計数部により取得された１フレーム毎の直交変換係数値の発生頻度に対して強調処理を行い、強調処理された発生頻度の総和を評価値として演算する評価値演算部と、前記強調処理される前の発生頻度に基づいて設定された閾値を演算する閾値演算部と、前記評価値演算部により得られる発生頻度の総和と前記閾値演算部により得られる閾値とを比較し、前記発生頻度の総和が前記閾値を超えたフレームをイントラ符号化されたフレームと判定し、その結果を出力するための比較部とを有することを特徴とする。
【００２２】
請求項２記載の発明によれば、入力映像信号の符号化時の符号化パラメータであるピクチャタイプを把握することができる。また、入力される映像信号が圧縮された信号であるか、非圧縮の信号であるかを判別することができる。また、再符号化時には、取得した符号化パラメータを用いることにより、符号化時の画質の劣化を防ぐことができる。
【００２３】
請求項３に記載された発明は、直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、復号した映像信号を、直交変換を用いて直交変換符号化する符号化部と、前記符号化部により得られる映像信号の直交変換係数値の発生頻度を計数する発生頻度計数部と、前記発生頻度計数部により取得された１フレーム毎の直交変換係数値の発生頻度に対して強調処理を行い、強調処理された発生頻度の総和を評価値として演算する評価値演算部と、前記強調処理される前の発生頻度に基づいて設定された閾値を演算する閾値演算部と、前記評価値演算部により得られる発生頻度の総和と前記閾値演算部により得られる閾値とを比較し、全フレームについて前記強調処理された発生頻度の総和が前記閾値を超えなかった場合は、前記映像信号は直交変換符号化処理が行われていないと判定し、その結果を出力するための比較部とを有することを特徴とする。
【００２４】
請求項３記載の発明によれば、イントラ符号化されたフレームが入力映像信号に存在するか否かを判断することにより、映像信号の直交変換符号化処理の有無を容易に判定することができる。これにより、入力される映像信号が圧縮された信号であるか、非圧縮の信号であるかを判別することができる。
【００３５】
【発明の実施の形態】
本発明は、入力映像信号の離散コサイン変換（以下、ＤＣＴという）等の直交変換を用いた符号化アルゴリズムを想定し、１フレーム毎に直交変換符号化を行い、その直交変換時のマクロブロック毎の係数値の頻度値（頻度分布）から符号化パラメータを解析する。また、直交変換符号化時の処理モードであるフレーム内符号化モード及びフィールド内符号化モードのうち、どの符号化モードを使用した符号化であるのかを解析し、また、画像のピクチャタイプを推定することができる符号化パラメータ解析装置を提供することを主眼とする。
【００３６】
ここで、デジタル符号化技術における画像の特徴を示すピクチャタイプとは、イントラ符号化画像であるＩピクチャ（Intra−coded Picture）、前方向予測符号化画像であるＰピクチャ（Predictive−coded Picture）、両方向予測符号化画像であるＢピクチャ（Bidirectionally−Predictive−coded Picture）に区別される。
【００３７】
Ｉピクチャは、画面の全ての画素が直交変換等で符号化され、画面内で符号化が完結するため、シーンの切り替わり点や予測効率が悪い画像については符号化効率がよい。また、Ｉピクチャは直交変換により符号化された後、量子化処理を行うことにより高い圧縮率と劣化の少ない画像を実現することができる。また、Ｉピクチャは、Ｐピクチャ又はＢピクチャの参照画面として用いられている。
【００３８】
Ｐピクチャは、連続する入力映像信号内の時間的に過去に位置するＩピクチャ、又はＰピクチャから予測符号化を行う。動画像においては一般にＩピクチャと比べて高い符号化効率を得ることができる。
【００３９】
Ｂピクチャは、時間的に前後に位置するＩピクチャ又はＰピクチャを用いて前方向、後方向又は両方向から動き補償予測を行い符号化される。
【００４０】
つまり、ＩピクチャはＰピクチャ、Ｂピクチャと異なりフレーム内で符号化が完結し、動き補償予測を行わないため、参照する画面を必要としないという特徴を持っている。
【００４１】
また、直交変換を用いたＩピクチャは、ＭＰＥＧ１，２，４、ＪＰＥＧ、ＩＴＵ−Ｔ Ｒｅｃ.Ｈ２６１、ＨＤ−Ｄ５ＶＴＲ、ＤＶＣＡＭ等の多くの映像フォーマットで用いられている。
【００４２】
上述した直交変換符号化は、入力信号をｍ×ｎ画素（ｍ、ｎ：自然数）のブロックに分割し、そのブロック毎に直交変換を施し、量子化を行う符号化である。また、デジタル符号化処理された映像を再符号化する際には、符号化時のピクチャタイプ及び直交変換係数値を知ることが重要であり、それにより画質の劣化の少ない高精度な再符号化が可能となる。
【００４３】
なお、直交変換符号化では、フィールド内符号化モード、フレーム内符号化モードという２つの直交変換符号化モードを持つ。
【００４４】
図２に、従来の直交変換符号化の一例の図を示す。ＭＰＥＧ２等ではインターレース信号を効率よく符号化するために入力信号に応じて、上述の２つの符号化モードを適応的に切り替えている。
【００４５】
例えば、ＭＰＥＧ２では、図２に示すように１６×１６の画素ブロックを８×８の４個のブロックに分けてＤＣＴを行う。図２（ａ）に示すフレーム内符号化モードは、隣接するラインから構成されたブロックに対して符号化処理を行うモードであり、図２（ｂ）に示すフィールド内符号化モードは、奇数行のライン、もしくは偶数行のラインを纏めることにより構成されたブロックを処理する符号化モードである。
【００４６】
上述した２つの符号化モードは、適応的に切り替えることができるため、前段での符号化時にどちらの符号化モードを使用したものかを把握することはできない。したがって、再符号化を行う際には画質が低下してしまう。
【００４７】
更に、直交変換符号化は直交変換による各係数値に対し、量子化値Ｑによる除算を施すことによって情報量の削減を行うことができる。そのため、符号化による圧縮後の係数値はＱ間隔の離散的な値となる。
【００４８】
ＭＰＥＧ２を例にあげると、上述した２つの符号化モードのうち、どちらを選択するかの判定方法は標準化の範囲外であり、符号化器の製作者によって異なる符号化モードの与え方が許されている。したがって、受信側で受信される信号からは、その方法を知ることができない。
【００４９】
また、判定方法が分かったとしても、例えば、低ビットレートにおける高圧縮処理が行われた場合、復号画が原画の性質を著しく損なっている場合が多いため、符号化時と同じ判定方法を用いても判定結果が異なることがある。
【００５０】
そこで、符号化モードを適当（例えば、フィールド内符号化モード、フレーム内符号化モードを等分の割合）に与え、フレーム内の全直交変換係数値の発生頻度を求める。
【００５１】
符号化モードが一致した場合、量子化によって係数値は離散値となり、高い発生頻度を示す。即ち、符号化モードを判定する対象となる画素ブロックをフィールド内符号化モード、フレーム内符号化モードで夫々直交変換を行い、各係数値のフレーム内での発生頻度の分布を比較する。比較した結果、発生頻度が大きい符号化モードを、その画像を構成する符号化モードとする。
【００５２】
ここで、上述の内容をフローチャートを用いて説明する。
【００５３】
図３は、符号化モードを判定するための処理の流れを示す一例のフローチャートである。
【００５４】
図３において、まず、符号化モード（フレーム内符号化モード又はフィールド内符号化モード）を初期値として（Ｓ１）、１フレームに対して直交変換を行い、全体における各周波数の係数値の発生確率を求める（Ｓ２）。次に、１フレームのマクロブロック毎に両方の符号化モードで直交変換を行い、各係数の発生確率によりマクロブロックの発生確率を計算（Ｓ３）する。
【００５５】
Ｓ３において、フレーム内符号化モードにより符号化を行った方が、フィールド内符号化モードで符号化を行ったよりも発生確率が高い場合（Ｓ４）は、そのフレームがフレーム内符号化モードで符号化されていたものであると判断し、各係数値の発生確率の再計算を行う（Ｓ５）。また、Ｓ４においてフィールド内符号化モードの方が発生確率が高い場合は、フィールド内符号化モードで符号化されたものであると判断し、各係数値の発生確率の再計算を行う（Ｓ６）。
【００５６】
次に、Ｓ３からＳ６までの処理を１フレーム内の全てのマクロブロックについて行い（Ｓ７）、全てのマクロブロックで発生確率の比較を行った後、発生確率が所定の値に収束したかを判断（Ｓ８）する。その結果、収束しなかった場合は、前記推定した結果を用いて、次の符号化モードの初期値として符号化モードの値を変えてＳ２からＳ７までを行う。また、Ｓ８にて発生確率が収束した場合は、処理を終了する。
【００５７】
また、入力信号を直交変換することにより得られた係数値の頻度分布を用いると、Ｉピクチャを検出することができる。Ｐピクチャ及びＢピクチャで符号化されたフレームの復号信号に再符号化を行った場合、その直交変換係数の頻度分布は、比較的なだらかな分布となり、Ｉピクチャで符号化されたフレームの復号信号のように特定の係数値で発生頻度が高くなるようなことはない。そこで、前記頻度分布に対して強調処理を行い、頻度の総和を閾値を用いることによりＩピクチャと、Ｐピクチャ及びＢピクチャとを区別することができる。
【００５８】
また、映像信号が直交変換符号化によって符号化された映像信号である場合、映像信号内にＩピクチャを１枚は持つことから、Ｉピクチャの検出が行えたかどうかで入力された映像信号が、圧縮処理が行われていたものが復号化された信号であることを推定することができる。
【００５９】
次に、本発明の実施例を図を用いて説明する。なお、ここでは、ＭＰＥＧ２の符号化パラメータの解析方法について説明を行うが、対象となる映像の圧縮形式は、発明の範囲においてこの限りではない。
【００６０】
図４は、本発明における符号化パラメータ解析装置の一実施例を示す図である。
【００６１】
図４の符号化パラメータ解析装置は、フレーム蓄積部４１と、ＤＣＴ符号化部４２と、ＤＣＴ係数頻度係数部４３と、Ｉピクチャ検出部４４と、ＤＣＴ符号化モード解析部４５とを備えるように構成されている。
【００６２】
符号化パラメータ解析装置への入力である画像信号は、ＭＰＥＧ２の場合、ＤＣＴ符号化と量子化を用いた画像圧縮処理を行い処理された符号化信号を、更に復号した復号画像信号とする。
【００６３】
図４において、フレーム蓄積部４１は、入力した画像信号を１フレーム分蓄積する。蓄積された１フレームは、ＤＣＴ符号化部４２でＤＣＴを行い、ＤＣＴ係数頻度係数部４３でＤＣＴ係数値の発生頻度を計数して頻度分布（頻度値）を作成し、ＤＣＴ符号化モード解析部４５で前記頻度分布によりＤＣＴ符号化モードを解析して出力する。また、ＤＣＴ係数頻度係数部４３から入力されたフレームの信号がＩピクチャで符号化されたフレームか否かを判定し、その結果を出力する。
【００６４】
ＤＣＴの符号化モードには、フレーム内ＤＣＴ符号化モードとフィールド内ＤＣＴ符号化モードがある。符号化を行う場合は、夫々が図２のように各ブロックに分解され、分解された各ブロックに対してＤＣＴを行い、その後、量子化を行う。
【００６５】
ここで、入力信号に対して、一般的に広く知られた符号化モード判定方法について説明する。
【００６６】
その方法は、ＤＣＴ係数の垂直方向高域成分と相関の高い垂直方向隣接画素間差分値のブロック内二乗和を基にＤＣＴ符号化モードを決定する方法である。その関係式を数式１に示す。
【００６７】
【数１】
即ち各マクロブロックについて、（２）式に示したフレーム内で垂直方向に隣接した画素間差分値の二乗和Ｖａｒ１と、（３）式に示すフィールド内で垂直方向に隣接した画素間差分値の二乗和Ｖａｒ２を求める。次に、Ｖａｒ１とＶａｒ２を比較して、（１）式を満たしていればフィールドＤＣＴモードと判定する。
【００６８】
ＩＴＥの標準動画像で「シャチのジャンプ」をＩピクチャで符号化した画像を復号した復号画像信号に対して、上述の方法を適用し、ＤＣＴ符号化モードを再判定すると正しい判定結果になったのは６１．１％であった。
【００６９】
ここで、図５に、直交変換符号の係数分布の一例の図を示す。
【００７０】
図５は、１フレーム分の各ブロックにおけるＤＣＴ係数の頻度分布を作成したものである。また、図５の例では、ＤＣＴ係数の０，１成分のグラフであり、横軸がＤＣＴ係数値（Ｘ［ｖ］［ｕ］，ｖ＝１，ｕ＝０）、縦軸（Ｐ［ｖ］［ｕ］，ｖ＝１，ｕ＝０）が発生頻度である。
【００７１】
入力信号がＩピクチャで符号化され復号された信号であれば、ＤＣＴ符号を量子化する過程においてＤＣＴ係数値は離散的な値をとるはずであるが、符号化時と異なる符号化モードが選択されたマクロブロックの係数は、本来とるべき離散値と異なる係数値となるため、頻度分布は櫛状の形状とならない。
【００７２】
また、この頻度分布はＤＣＴ係数の成分毎に異なる分布を持つが、頻度の総数Ｎが同じであるため、ＤＣＴ係数（ｕ，ｖ）成分の係数値ｘの頻度Ｐ［ｖ］［ｕ］（ｘ）をＮで除算すると、フレーム内における（ｕ，ｖ）成分の係数値ｘの発生確率Ｐ［ｖ］［ｕ］（ｘ）／Ｎと表すことができる。
【００７３】
次に、同じフレームの信号をマクロブロック毎にフィールド内符号化モード、フレーム内符号化モードの夫々の場合において、４つのブロックに分割し、ＤＣＴ符号化を行う。
【００７４】
図２における各符号化モードで分割された４つのブロックの記述方法の一例を図６に示す。
【００７５】
ここで、ｎ番目のマクロブロックをフィールド内符号化モードでＤＣＴを行った場合のＤＣＴ係数値をｘｆｉ［ｎ］［ｋ］［ｖ］［ｕ］（ｎ＝０，１，２，…、ｋ＝０，１，２，３、ｖ＝０，…、７、ｕ＝０，・・・，７）、とし、フレーム内符号化モードでＤＣＴを行った場合のＤＣＴ係数値をｘｆｒ［ｎ］［ｋ］［ｖ］［ｕ］（ｎ＝０，１，２，…、ｋ＝０，１，２，３、ｖ＝０，…，７、ｕ＝０，…，７）と表し、夫々について頻度分布より得られる係数値の発生確率Ｐ［ｖ］［ｕ］（ｘ）／Ｎの値を用いて、４ブロック内のマクロブロックにおけるＤＣＴ係数の係数値の発生確率Ｓｆｉ［ｎ］を、数式２を用いて求める。
【００７６】
【数２】
【００７７】
ｘｆｒ［ｎ］［ｋ］［ｖ］［ｕ］：ｎ番目マクロブロックをフレーム内ＤＣＴ符号化モードモードで分割し、ＤＣＴを行った場合のｋ番目のブロックの第（ｖ，ｕ）要素のＤＣＴ係数値。
【００７８】
Ｐ［ｖ］［ｕ］（ｘ）：任意の方法で得られたＤＣＴ係数（ｖ，ｕ）成分の係数値ｘのフレーム内の発生頻度の初期値。
【００７９】
（４）式、（５）式を用いて計算した結果が、（６）式を満たす場合、ｎ番目のマクロブロックの符号化モードはフィールド内符号化モードであったと判定する。また、この判定を行った結果を用いて頻度分布を計算し同様の計算を繰り返すことで判定結果の精度を上げることが可能である。
【００８０】
図７に、上述した判定方式を１回用いて頻度分布を再度作成した結果を示す。
【００８１】
図５と比較すると図７の係数頻度分布は櫛状の分布になっていることが明確にわかる。検証した結果９９．４％のマクロブロックで符号化モードが符号化時と一致した。
【００８２】
ここで、上述の内容による実施例を図を用いて説明する。
【００８３】
図８は、符号化パラメータ解析装置の第２の実施例の図である。
【００８４】
図８の符号化パラメータ解析装置は、フレーム蓄積部４１と、フィールドＤＣＴ部８１と、フレームＤＣＴ部８２と、相関計算部８３と、ＤＣＴ符号化モード解析部８４と、比較部８５と、ＤＣＴ係数値発生頻度計数部８６とを備えるように構成されている。
【００８５】
また、ＤＣＴ符号化モード解析部８４は、評価値演算部８７と、フレーム遅延部８８とを備えるように構成されている。
【００８６】
図８の符号化パラメータ解析装置において、まず、テレビジョンのベースバンド信号等の画像信号をフレーム蓄積部４１に入力し、１フレーム分を蓄積する。蓄積されたフレームは、フィールドＤＣＴ部８１でフィールドＤＣＴを、また、フレームＤＣＴ部８２でフレームＤＣＴを行う。また、同時に相関計算部８３にて、上述の数式１で示したように垂直方向の隣接画素間の相関を計算する。
【００８７】
相関計算部８３にて計算された値により、ＳＷ１でスイッチングを行いフィールドＤＣＴ部８１もしくはフレームＤＣＴ部８２のＤＣＴされたフレームをＤＣＴ係数値発生頻度計数部８６に入力する。
【００８８】
ＤＣＴ係数値発生頻度計数部８６は、ＤＣＴ係数値の発生頻度を計数し、その結果を評価値演算部８７へ入力する。評価値演算部８７は、フレーム遅延部より１フレーム遅延された画像とフレーム内の発生頻度を用いて、上述した評価値Ｓｆｉ及びＳｆｒを算出する。算出された結果を比較部８５で比較し、ＤＣＴ符号化モードを推定すると共に、該当するＤＣＴを行ったＤＣＴ符号化信号をＳＷ２によりスイッチングを行って出力する。
【００８９】
上述の実施例を用いることにより、入力の画像信号に対して、ＤＣＴ符号化モードを解析すると共に、ＤＣＴを行った信号を出力することができる。
【００９０】
また、再ＤＣＴにより得られたＤＣＴ係数の頻度分布は、イントラ符号化であるＩピクチャとして符号化されたフレームと、Ｐピクチャ及びＢピクチャとして符号化されたフレームの信号では明確に異なる頻度分布となる。
【００９１】
図９に、再ＤＣＴして得られたＰピクチャの頻度分布の一例の図を示す。図９は、Ｐピクチャで符号化され、復号された入力信号に、ＤＣＴによる再符号化を施した場合のＤＣＴ係数（０，１）成分のＤＣＴ係数値の頻度分布であり、横軸は係数値であり縦軸は頻度である。
【００９２】
また、図１０に、再ＤＣＴして得られたＢピクチャの頻度分布の一例の図を示す。 図１０は、Ｂピクチャで符号化され、復号された入力信号に、ＤＣＴによる再符号化を施した場合のＤＣＴ係数（０，１）成分のＤＣＴ係数値の頻度分布であり、横軸は係数値であり縦軸は頻度である。
【００９３】
Ｐピクチャ及びＢピクチャでは、動き補償予測が行われているためＤＣＴ係数値が離散的な値を持つことはほとんどない。そのため、図９、図１０に示したように、Ｉピクチャの頻度分布と比べて櫛状の分布とはなっていない。そこで、１フレームの入力信号に対して再ＤＣＴを行い、各係数の計数値の頻度分布を測定し、得られた頻度分布Ｐ［ｖ］［ｕ］（ｘ）に対して、数式３に示すような処理を行う。
【００９４】
【数３】
【００９５】
上述の内容による実施例を図を用いて説明する。
【００９６】
図１１は、符号化パラメータ解析装置の第３の実施例の図である。
【００９７】
図１１の符号化パラメータ解析装置は、ＤＣＴ符号化部４２と、ＤＣＴ係数値発生頻度計数部９１と、評価値演算部９２と、閾値演算部９３と、比較部９４とを備えるように構成されている。
【００９８】
ＤＣＴ符号化部４２は、入力信号を１画像毎にＤＣＴ変換を行い、ＤＣＴ係数値発生頻度計数部９１で発生頻度の係数（頻度分布）を算出する。評価値演算部９２は上述したＳ’を算出し、閾値演算部９３は上述のＳを算出する。比較部９４でＳとＳ’の比較を行うことにより、そのフレームがＩピクチャであるか否かを判断することができる。
【００９９】
なお、ＤＣＴ符号化技術を用いた圧縮を行った映像の場合は、少なくとも１枚のＩピクチャが存在するため、上述した方法を用いて映像信号にＩピクチャが存在するか否かを判断することで、映像信号が圧縮された信号であるか、非圧縮の信号であるかを判断することができる。つまり、Ｉピクチャの条件を満たすフレームが存在しなかった場合に非圧縮の信号であると判断することができる。
【０１００】
【発明の効果】
本発明では、従来手法と比べて簡便な装置構成で符号化パラメータの解析が実現できる。また、復号された圧縮画像がＶＴＲ等の記録媒体及び／又は記録装置に記録されている場合において、従来手法では符号化時のパラメータを類推することができなかったが、本発明を用いることにより符号化パラメータの解析が可能となる。
【０１０１】
本発明は、放送局等における映像素材の再利用を行う際に、画像品質を維持するために特に有効な技術である。
【図面の簡単な説明】
【図１】従来の符号化パラメータ抽出装置の一構成例の図である。
【図２】従来の直交変換符号化の一例の図である。
【図３】符号化モードを判定するための処理の流れを示す一例のフローチャートである。
【図４】本発明における符号化パラメータ解析装置の一実施例を示す図である。
【図５】直交変換符号の係数分布の一例の図である。
【図６】図２における各符号化モードで分割された４つのブロックの記述方法の一例の図である。
【図７】本実施例におけるＤＣＴ符号の係数分布の一例の図である。
【図８】符号化パラメータ解析装置の第２の実施例の図である。
【図９】再ＤＣＴして得られたＰピクチャの頻度分布の一例の図である。
【図１０】再ＤＣＴして得られたＢピクチャの頻度分布の一例の図である。
【図１１】符号化パラメータ解析装置の第３の実施例の図である。
【符号の説明】
１０ 符号化器
１１ 復号化器
１２ 符号化パラメータ抽出部
１３ 比較・演算部
４１ フレーム蓄積部
４２ ＤＣＴ符号化部
４３ ＤＣＴ係数頻度計数部
４４ Ｉピクチャ検出部
４５ ＤＣＴ符号化モード解析部
８５、９４ 比較部
８７，９２ 評価値演算部
９３ 閾値演算部
Claims (3)
- 直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、
復号した映像信号に対して、直交変換符号化をフィールド内符号化モードで符号化するフィールド符号化部と、
前記映像信号に対して、直交変換符号化をフレーム内符号化モードで符号化するフレーム符号化部と、
前記フィールド符号化部及び前記フレーム符号化部により得られる符号化された映像信号のフレームに対して垂直方向の隣接画素間の相関を計算し、計算した相関値を比較する相関値比較部と、
前記相関値比較部により比較した結果に基づいて、前記フィールド符号化部又は前記フレーム符号化部で符号化された映像信号を切り替えて出力する切替部と、
前記切替部から得られる符号化された映像信号の直交変換係数値の発生頻度を係数する発生頻度計数部と、
前記フィールド符号化部及び前記フレーム符号化部により得られる符号化された映像信号のフレームを夫々１フレーム遅延させるフレーム遅延部と、
前記フレーム遅延部により遅延させた前記フィールド符号化部及び前記フレーム符号化部で符号化された夫々のフレームの各マクロブロックに対して、前記発生頻度計数部から得られる発生頻度を用いて、前記各マクロブロックにおける前記直交変換係数値の組み合わせが生じる確率を評価値として演算する評価値演算部と、
前記評価値演算部により得られる２つの評価値の大きさを比較して、符号化時の符号化モードがフィールド内符号化モードであるか、又はフレーム内符号化モードであるかを判断して出力する評価値比較部とを有することを特徴とする符号化パラメータ解析装置。 - 直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、
復号した映像信号を、直交変換を用いて直交変換符号化する符号化部と、
前記符号化部により得られる映像信号の直交変換係数値の発生頻度を計数する発生頻度計数部と、
前記発生頻度計数部により取得された１フレーム毎の直交変換係数値の発生頻度に対して強調処理を行い、強調処理された発生頻度の総和を評価値として演算する評価値演算部と、
前記強調処理される前の発生頻度に基づいて設定された閾値を演算する閾値演算部と、
前記評価値演算部により得られる発生頻度の総和と前記閾値演算部により得られる閾値とを比較し、前記発生頻度の総和が前記閾値を超えたフレームをイントラ符号化されたフレームと判定し、その結果を出力するための比較部とを有することを特徴とする符号化パラメータ解析装置。 - 直交変換符号化処理がなされた映像信号の復号信号から符号化時の符号化パラメータを解析する符号化パラメータ解析装置であって、
復号した映像信号を、直交変換を用いて直交変換符号化する符号化部と、
前記符号化部により得られる映像信号の直交変換係数値の発生頻度を計数する発生頻度計数部と、
前記発生頻度計数部により取得された１フレーム毎の直交変換係数値の発生頻度に対して強調処理を行い、強調処理された発生頻度の総和を評価値として演算する評価値演算部と、
前記強調処理される前の発生頻度に基づいて設定された閾値を演算する閾値演算部と、
前記評価値演算部により得られる発生頻度の総和と前記閾値演算部により得られる閾値とを比較し、全フレームについて前記強調処理された発生頻度の総和が前記閾値を超えなかった場合は、前記映像信号は直交変換符号化処理が行われていないと判定し、その結果を出力するための比較部とを有することを特徴とする符号化パラメータ解析装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001343482A JP4031231B2 (ja) | 2001-11-08 | 2001-11-08 | 符号化パラメータの解析装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001343482A JP4031231B2 (ja) | 2001-11-08 | 2001-11-08 | 符号化パラメータの解析装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003153266A JP2003153266A (ja) | 2003-05-23 |
| JP4031231B2 true JP4031231B2 (ja) | 2008-01-09 |
Family
ID=19157162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001343482A Expired - Fee Related JP4031231B2 (ja) | 2001-11-08 | 2001-11-08 | 符号化パラメータの解析装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4031231B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7880787B2 (en) | 2005-09-14 | 2011-02-01 | Fujifilm Corporation | MOS image sensor |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010087129A1 (ja) * | 2009-02-02 | 2010-08-05 | 日本電気株式会社 | ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体 |
-
2001
- 2001-11-08 JP JP2001343482A patent/JP4031231B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7880787B2 (en) | 2005-09-14 | 2011-02-01 | Fujifilm Corporation | MOS image sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003153266A (ja) | 2003-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6449392B1 (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
| KR100987765B1 (ko) | 동영상 부호화기에서의 예측 수행 방법 및 장치 | |
| US7079694B2 (en) | Image predictive coding method | |
| US6810083B2 (en) | Method and system for estimating objective quality of compressed video data | |
| US6625214B1 (en) | Apparatus and method for fade detecting and information encoding | |
| EP1359770B1 (en) | Signaling for fading compensation in video encoding | |
| US20090279604A1 (en) | Image encoding method, device using the same, and computer program | |
| US20100111180A1 (en) | Scene change detection | |
| US6990146B2 (en) | Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video | |
| JPH0998427A (ja) | 動画像符号化装置 | |
| JP4031231B2 (ja) | 符号化パラメータの解析装置 | |
| JP4217011B2 (ja) | ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 | |
| JP2004080741A (ja) | 符号化誤差推定方法および符号化誤差推定装置 | |
| JPH10108197A (ja) | 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体 | |
| JP4384629B2 (ja) | 符号化誤差測定装置および符号化誤差測定プログラム | |
| JP3343554B1 (ja) | 画像予測復号化方法及び画像予測符号化装置 | |
| JP3343553B1 (ja) | 画像予測符号化装置及び方法 | |
| JP2004215296A (ja) | 画像予測符号化方法及び装置 | |
| JPH0730895A (ja) | 画像処理装置及びその処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071018 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141026 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |