JP4603019B2 - 画像符号化装置 - Google Patents

Description

本発明は、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform ）を用いた汎用符号化方式による画像符号化装置に係り、特に、インターレースシーケンスを符号化する場合の画質改善に関するものである。

動画像符号化の国際標準方式である ISO/IEC13818-2 （MPEG-2ビデオ）では、インターレースシーケンスに対応するため、フレーム処理またはフィールド処理を適応的に選択することができる。
ここで、インターレースシーケンスの各フレームは、１フィールド周期によって分離された２つのフィールドで構成されている。

また、MPEG-2ビデオでは、１つのフレームを１つの画像として符号化するか、または、２つのフィールドを２つの画像として符号化するかのいずれも可能となっている。これを画像構造と言い、フレーム画像またはフィールド画像をフレーム単位で適応的に選択することができる。さらに、フレーム画像においてはフレームＤＣＴとフィールドＤＣＴの各ＤＣＴタイプの使用が可能である。

また、画像はマクロブロック（輝度成分１６画素×１６ライン、およびそれに空間的に対応する色差成分）に分割され、さらに、マクロブロックは各ＤＣＴタイプによってブロック（輝度成分および色差成分とも８画索×８ライン）に分割され、ＤＣＴ符号化される。

ブロックは、フレームＤＣＴでは２つのフィールドから交互に来るラインで構成され、また、フィールドＤＣＴでは２つのフィールドの一方からのラインで構成される。ただし、フレーム画像ではフレームＤＣＴのみを使用するフレームＤＣＴ固定モードもあり、このモードでは、マクロブロックごとにＤＣＴタイプを決めるフラグを伝送する必要がなく、伝送量を減らすことができる。また、フィールド画像ではフィールドＤＣＴしか使用しないので、これも同じくマクロブロックごとにＤＣＴタイプを決めるフラグを伝送する必要がない。

従来のMPEG-2ビデオ方式に準拠した動画像符号化装置は、 ISO/IEC13818-5 （MPEG-2ソフトウェアシミュレーション）の符号化手順に基づいている。
しかし、この MPEG-2 ソフトウェアシミュレーションでは、画像構造およびフレーム画像でのＤＣＴタイプ選択または固定モードは、符号化前にあらかじめ設定するようになっており、各画像の特徴により適応的に選択することはできない。

また、上記ソフトウェアシミュレーションでは、フレーム画像におけるフレームＤＣＴおよびフィールドＤＣＴの適応的な選択は採用されているが、これは、マクロブロック内の２フィールドの相関値を求め、相関値が０．５より大きいときフレームＤＣＴ、相関値が０．５以下のときフィールドＤＣＴを選択するようになっており、フレーム画像がもつ自己相関とインターレースによる相互相関の切り分けができず、結果として、符号化効率を悪くしている場合がある。

これらのことは、MPEG-2ソフトウェアシミュレーションの符号化手順に基づいている他の動画像符号化装置にも言える。そのために、インターレースシーケンスを符号化する場合には、画像構造をフレーム画像とし、フレームＤＣＴおよびフィールドＤＣＴの各ＤＣＴタイプの適応選択が一般的とされてきた。
しかし、伝送ビットレートを下げて符号化していくと、マクロブロックごとに伝送する必要のあるフラグの伝送量の影響も無視できなくなる。

本発明の目的は、ＤＣＴを用いた汎用符号化方式による画像符号化装置において、動画像符号化の符号化効率が悪くなるといった問題を生ずることなく、特に、低ビットレート動画像符号化の画質改善に大きく寄与する画像符号化装置を提供することにある。

上記目的を達成するために、本発明画像符号化装置は、ＤＣＴタイプとしてマクロブロック単位にフレームＤＣＴおよびフィールドＤＣＴが使用可能な汎用符号化方式を用いた画像符号化装置において、それぞれのＤＣＴタイプのマクロブロック構造から分割されたＤＣＴを行うＭ画素×Ｎラインのブロックについて、ブロック内の空間座標（ｘ，ｙ）の画素値をｆ（ｘ，ｙ）としたとき、

を前記ブロックの垂直方向最高周波数のエネルギーとし、該ブロックの垂直方向最高周波数のエネルギーを前記フレームＤＣＴおよびフィールドＤＣＴのマクロブロック内で合計し、該合計したエネルギーを前記それぞれのＤＣＴタイプのマクロブロックの垂直方向最高周波数のエネルギーとし、該それぞれのＤＣＴタイプのマクロブロックの垂直方向最高周波数のエネルギーからそれぞれのＤＣＴタイプの符号化効率評価値を求め、該求めた評価値の中から最も小さい評価値に対応するＤＣＴタイプを用いて画像を符号化するように構成したことを特徴とするものである。

また、本発明画像符号化装置は、前記評価値が、ＭＶＰをマクロブロックの垂直方向最高周波数のエネルギー、Ｃ_n （ｎは任意の整数）を定数としたとき、

の式により求められることを特徴とするものである。

本発明によれば、従来の画像符号化装置では実現されなかった画像構造および各ＤＣＴタイプの適応選択を導入したことにより、より符号化効率の良い符号化モードを選択でき、特に、低ビットレートの動画像符号化の画質改善に大きく貢献することができる。

以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明画像符号化装置における画像構造適応選択の流れを示している。なお、図中、式の番号が記載されているブロックにおいては、後述の該当する式により垂直エネルギーや評価値が求められることを示している。
図１において、これから符号化しようとする画像を ISO/IEC13818-2 （MPEG-2ビデオ）に従って、フレーム画像、フィールド画像の各画像構造で符号化する場合について、画像をマクロブロックに分割する。そして、１つのマクロブロックについて、含まれる各ブロックの垂直方向最高周波数のエネルギー（以下、垂直エネルギーと呼ぶ）を計算（図１中、式（１）で示される）し、これを各ブロックについて合計した値をマクロブロックの垂直エネルギー（図１中、式（２）で示される）とする。

図２は、本発明画像符号化装置におけるＤＣＴタイプの適応選択の流れを示している。なお、図中、式の番号が記載されているブロックにおいては、後述の該当する式により垂直エネルギーや評価値が求められることを示している。
図２において、フレーム画像におけるＤＣＴタイプの適応選択モードは、各マクロブロックごとにフレームＤＣＴおよびフィールドＤＣＴのブロック分割に従ってマクロブロック垂直エネルギーを計算（図２中、式（２）で示される）する。ＤＣＴタイプのうちエネルギーの小さい方を、そのマクロブロックの垂直エネルギーとする。

上記において、フレーム画像のフレームＤＣＴ固定モードとフィールド画像による符号化の場合は、それぞれフレームＤＣＴとフィールドＤＣＴとですべてのマクロブロックを符号化するので、各ＤＣＴタイプのブロックごとに垂直エネルギーを計算し、合計した値をマクロブロックの垂直エネルギーとする。

また、図１に示すように、フレーム画像ＤＣＴタイプ選択モード、フレーム画像フレームＤＣＴ固定モードおよびフィールド画像による符号化の場合は、これら３種類の画像符号化モードのそれぞれについて、画面内のマクロブロックの垂直エネルギーを合計し、各画像符号化モードの垂直エネルギーとする。

３種類の画像符号化モードの垂直エネルギーは、各画像符号化モードの動きベクトル情報量や符号化モード識別のフラグの有無などを考慮し、符号化効率を表す評価値に変換する。３種類の画像符号化モードの垂直エネルギーの評価値の中から最も小さい評価値に対応する画像符号化モードで画像を符号化する。

以下では、本発明画像符号化装置を、ＨＤＴＶ（１９２０画素×１０８０ライン／６０ｉ）信号を符号化ビットレート１８Ｍｂｐｓで符号化するように構成した場合の一実施形態について説明する。
本発明画像符号化装置により画像符号化を行うには、上述したように、符号化するシーケンスについて１フレームごとに３種類の画像符号化モード（フレーム画像ＤＣＴタイプ選択モード、フレーム画像フレームＤＣＴ固定モードおよびフィールド画像の各モード）の垂直エネルギーを計算し、その計算した値から符号化効率評価値を算出し、得られた評価値の中から最も小さい評価値に対応する画像符号化モードを決定し、その符号化モードにより符号化を行う。

まず、画像構造の適応選択について説明する。
符号化される画像は ISO/IEC13818-2 （MPEG-2ビデオ）に従って、まず、フレーム画像、フィールド画像の各画像構造を構成するマクロブロックに分割する。次に、各画像構造に従ってマクロブロックを構成するブロックに分割する。ただし、フレーム画像では、ブロックの分割方法は各ＤＣＴタイプによりフレームＤＣＴとフィールドＤＣＴの２種類がある。

次に、ブロックの垂直エネルギーＢＶＰを式（１）により求める（図１参照）
。なお、ブロックの大きさを、ここでは、８画素×８ラインとする。

ここで、ｆ（ｘ，ｙ）はブロック内の空間座標（ｘ，ｙ）の画素値である。
また、ブロックの大きさは、これをＭ画素×Ｎラインに一般化してよいこと勿論である。

次に、マクロブロックの垂直エネルギーＭＶＰを式（２）により求める（図１参照）。

ここで、block count はマクロブロックを構成する輝度成分と色差成分を合わせたブロックの個数である。

次に、画像構造の垂直エネルギーＰＶＰを式（３）により求める（図１参照）。

ここで、MB count は画像を構成するマクロブロックの個数である。

次に、各画像構造の垂直エネルギーＰＶＰからフレーム画像ＤＣＴタイプ適応選択、フレーム画像フレームＤＣＴ固定およびフィールド画像の各画像構造の符号化効率評価値である、ＰＶＥ_adapt ，ＰＶＥ_frame およびＰＶＥ_field を式（４），（５），（６）よりそれぞれ求める（図１参照）。

ここで、ｎ＝１，Ｃ_{adapt 1} ＝８，Ｃ_{frame 1} ＝１，Ｃ_{field 1} ＝４である。

本発明画像符号化装置では、以上のようにして求めた各画像構造の符号化効率評価値のうち最も小さい値をもつ画像符号化モードをその画像の画像符号化モードとし、符号化を行う。

次に、ＤＣＴタイプの適応選択について説明する。
フレームＤＣＴおよびフィールドＤＣＴの各ＤＣＴタイプについて、ブロックの垂直エネルギーＢＶＰおよびマクロブロックの垂直エネルギーＭＶＰを、上述した画像構造の適応選択の場合と同様、式（１）および式（２）よりそれぞれ求める（図２参照）。

次に、フレームＤＣＴのマクロブロック符号化効率評価値ＭＶＥ_frame およびフィールドＤＣＴのマクロブロック符号化効率評価値ＭＶＥ_field を式（７），（８）よりそれぞれ求める（図２参照）。

ここで、ｎ＝１，Ｃ_frame ＤＣＴ１＝Ｃ_field ＤＣＴ１＝１である。

求めた符号化効率評価値のうち小さい値のＤＣＴタイプをそのマクロブロックにおけるＤＣＴタイプとして選択する。
選択したＤＣＴタイプにおけるマクロブロックの垂直エネルギーＭＶＰ_adaptを式（９）により求める。

さらに、このようにして求めたマクロブロックで構成される画像の垂直エネルギーＰＶＰ_adapt を式（１０）により求める。

ここで、MB countは画像を構成するマクロブロックの個数である。

本発明による効果を確認するために、ＩＴＥ監修ハイビジョン・システム評価用標準動画像（平成５年１０月テレビジョン学会より刊行）の「No.16 シャチのジャンプ」に対して本発明による符号化を試みた。符号化は、 ISO/IEC13818-5（MPEG-2ソフトウェアシミュレーション）を用い、本発明を組み込んだ場合と画像構造はフレーム画像、ＤＣＴタイプは適応選択（従来手法として一般的な符号化装置で設定されている） とした場合とを比較した。

比較の結果、ビットレート１８Ｍｂｐｓの画像の符号化では、従来手法では苦手であった画面全体が動く画像で約１．５ｄＢ、画面が動かない空間解像度の高い画像でも約１，５ｄＢだけＰＳＮＲ（Peak Signal -to-Noise Ratio ）が改善されることが判明した。

本発明画像符号化装置における画像構造適応選択の流れを示す図である。 本発明画像符号化装置におけるＤＣＴタイプ適応選択の流れを示す図である。

Claims (2)

1. ＤＣＴタイプとしてマクロブロック単位にフレームＤＣＴおよびフィールドＤＣＴが使用可能な汎用符号化方式を用いた画像符号化装置において、それぞれのＤＣＴタイプのマクロブロック構造から分割されたＤＣＴを行うＭ画素×Ｎラインのブロックについて、ブロック内の空間座標（ｘ，ｙ）の画素値をｆ（ｘ，ｙ）としたとき、
   

   

   を前記ブロックの垂直方向最高周波数のエネルギーとし、該ブロックの垂直方向最高周波数のエネルギーを前記フレームＤＣＴおよびフィールドＤＣＴのマクロブロック内で合計し、該合計したエネルギーを前記それぞれのＤＣＴタイプのマクロブロックの垂直方向最高周波数のエネルギーとし、該それぞれのＤＣＴタイプのマクロブロックの垂直方向最高周波数のエネルギーからそれぞれのＤＣＴタイプの符号化効率評価値を求め、該求めた評価値の中から最も小さい評価値に対応するＤＣＴタイプを用いて画像を符号化するように構成したことを特徴とする画像符号化装置。
2. 請求項１記載の画像符号化装置において、前記評価値は、ＭＶＰをマクロブロックの垂直方向最高周波数のエネルギー、Ｃ_n （ｎは任意の整数）を定数としたとき、
   

   

   の式により求めることを特徴とする画像符号化装置。

Images