JP5871602B2

JP5871602B2 - 符号化装置

Info

Publication number: JP5871602B2
Application number: JP2011276618A
Authority: JP
Inventors: 公男塩澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-12-19
Filing date: 2011-12-19
Publication date: 2016-03-01
Anticipated expiration: 2031-12-19
Also published as: JP2013128189A

Description

本発明は、符号化装置に関する。

近年、動画像データの圧縮符号化方式として、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）及びＨ．２６４／ＡＶＣ（Advanced Video Coding）が知られている。１フレーム（または１フィールド）をマクロブロックと呼ばれる所定画素数の領域に分割し、このマクロブロックを単位に、動き補償予測、ＤＣＴ変換処理、量子化及びエントロピー符号化を適用する。これらの圧縮符号化方式では、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３つのピクチャタイプを規定している。Ｉピクチャは、ピクチャ内符号化画像（イントラ符号化画像）であり、Ｐピクチャは、ピクチャ間順方向予測符号化画像（インター符号化画像）、Ｂピクチャは、ピクチャ間双予測符号化画像（インター符号化画像）である。

これらの圧縮符号化方式で用いられる符号量制御として、ＭＰＥＧ−２ＴｅｓｔＭｏｄｅｌ５方式（以下、ＴＭ５という。）が一般的に知られている。ＴＭ５では、符号化終了後に、Ｉ、Ｐ及びＢのピクチャタイプ毎に画像の複雑さ指標を発生符号量と平均量子化スケールから求め、次に符号化を行うピクチャの発生符号量を予測し、符号量を制御する。画像の内容が大きく変化（シーンチェンジ）するシーンや、フェードイン及びフェードアウトのようなシーンでは、符号化終了後のピクチャと符号化対象のピクチャとで相関が少ない。ＴＭ５では、このようなシーンに対して、複雑さ指標の誤差が大きくなり、画質が劣化するといった問題があった。

ＴＭ５のこのような問題を回避するためにプリ画像処理部を設け、ピクチャの残差情報と分散値から発生符号量と量子化スケールを予測決定して、符号量を制御することが提案されている（特許文献１）。また、画像特定検出器を設けてピクチャの分散値を算出し、この分散値の変化量からシーンチェンジを判定し、シーンチェンジ後の目標符号量と量子化スケールを予測決定して符号量を制御する技術も知られている（特許文献２）。

特開２０００−１３８９３６号公報特開２００１−２３８２１５号公報

特許文献１に記載の技術では、動き探索を実際の探索範囲で行うわけではなく、あくまで予測画像と同じ位置のマクロブロックを用いて残差情報を求めるので、実際の残差情報と乖離する問題があった。また、参照ピクチャとの時間的距離によっては、ピクチャをバッファリングしておくフレームメモリが大きくなってしまい、現実的ではなかった。また、画像メモリからプリ画像処理部の処理のために画像を読み込む必要があるので、画像メモリの帯域が圧迫されてしまうという問題がある。

特許文献２に記載の技術ではピクチャの分散値を用いるが、これが必ずしも符号化難易度とは一致せず、誤差が発生してしまう。画像特性として画素間差分値を用いると説明されているが、その具体的な構成は不明であり、実現性に乏しい。

そこで、本発明は、シーンの変化が生じた際に、適切な符号化難易度を生成できるようにすることを目的とする。

本発明に係る符号化装置は、符号化対象画像と予測画像との差分を用いて前記符号化対象画像を符号化する符号化手段と、前記符号化対象画像と前記符号化対象画像の前に符号化される第１の画像との間にシーンチェンジがあり、前記符号化対象画像と前記符号化対象画像の次に符号化される第２の画像との間にシーンチェンジがあり、前記第１の画像と前記第２の画像との間にシーンチェンジがない場合に、前記符号化対象画像の予測誤差値を用いて前記符号化対象画像の符号化難易度を生成する符号化難易度生成手段と、前記符号化対象画像と前記第１の画像との間にシーンチェンジがあり、前記符号化対象画像と前記第２の画像との間にシーンチェンジがあり、前記第１の画像と前記第２の画像との間にシーンチェンジがない場合に、前記符号化対象画像の符号化難易度を用いて前記符号化対象画像の目標符号量を制御する符号量制御手段とを有することを特徴とする。

本発明によれば、シーンに変化が生じた際に、適切な符号化難易度を生成することができる。

本発明の一実施例の概略構成ブロック図である。本実施例の複雑度を決定する動作フローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例である画像符号化装置の概略構成ブロック図を示す。以下の説明では、Ｉピクチャはピクチャ内符号化ピクチャであり、Ｐピクチャはピクチャ間順方向予測符号化ピクチャであり、Ｂピクチャはピクチャ間双予測符号化ピクチャである。

画像符号化装置１００において、フレーム並び替え部１０１は、画像符号化装置１００に入力される入力画像を符号化順序に応じて並び替える。ブロック化部１０２は、所定数の画素から構成されるマクロブロックと呼ばれるブロック単位に画面内を行列状に分割する。

減算器１０３は、ブロック化部１０２から入力される画像データから予測画像データを減算し、画像残差データとして直交変換部１０４に出力する。直交変換部１０４は、減算器１０３から出力された画像残差データに直交変換処理を行い、得られるＤＣＴ係数を量子化部１０５に出力する。量子化部１０５は、符号量制御部１１６から出力される量子化パラメータを用いてＤＣＴ係数を量子化し、エントロピー符号化部１１４に出力する。量子化部１０５で量子化されたＤＣＴ係数は、予測画像データの生成用に、逆量子化部１０６にも供給される。

逆量子化部１０６は、量子化部１０５で量子化されたＤＣＴ係数を逆量子化する。逆直交変換部１０７は、逆量子化部１０６で逆量子化されたＤＣＴ係数を逆直交変換し、ローカルデコード画像データを生成し、出力する。加算器１０８は、ローカルデコード画像データに後述する予測画像データを加算して、フレームメモリ１０９に出力する。

縮小画像生成部１１１は、フレーム並び替え部１０１によって並べ替えられた画像データから所定の画素を間引く方法か、複数の画素の平均で１画素を代表するようにする方法で縮小画像データを生成する。ブロック化部１１２は、縮小画像生成部１１１で生成された縮小画像データの、ブロック化部１０２に対応する部分の画素をマクロブロックとして画面内を行列状に分割する。動き検出部１１３は、縮小画像データからマクロブロック毎の動きベクトルを検出して動き検出補償部１１０に供給し、予測誤差値を符号量制御部１１６に供給する。

動き検出補償部１１０は、フレームメモリ１０９に保存された画像データを用いて、符号化対象のピクチャタイプに応じて、フレーム内予測処理又はフレーム間予測処理を行い、予測画像データを生成する。フレーム間予測処理では、動き検出補償部１１０は、マクロブロック毎に動きベクトルを検出し、検出した動きベクトル情報に基づいて予測画像データを生成する。動き検出補償部１１０は、動き検出部１１３からの縮小画像による動きベクトル情報により、本来のサイズの画像データに対する動きベクトルの検出範囲を制限できる。これにより、少ない演算量で効率的に動きベクトルの検出が可能となる。

エントロピー符号化部１１４は、量子化部１０５により量子化されたＤＣＴ係数データをエントロピー符号化して、得られた符号化データ又は符号化画像データをストリームバッファ１１５に出力する。また、エントロピー符号化部１１４は、マクロブロック単位での発生符号量を符号量制御部１１６に出力する。

ストリームバッファ１１５は、エントロピー符号化部１１４からの符号化データを一時記憶し、目標ビットレートに従ったビットレートで後段に出力する。また、ストリームバッファ１１５は、入力された符号化データの符号量をカウントして発生符号量を計算し、バッファ位置情報とともに符号量制御部１１６に供給する。

符号量制御部１１６は、エントロピー符号化部１１４から出力されるストリームのビットレートとストリームバッファ１１５のバッファ容量とから、ピクチャの目標符号量Ｔｉ，Ｔｐ，Ｔｂを決定する。これらの目標符号量Ｔｉ，Ｔｐ，Ｔｂは、ストリームバッファ１１５がオーバーフロー又はアンダーフローしないように、下記式に従って、決定される。すなわち、

Ｋｐ，Ｋｂは量子化マトリクスに依存する定数であり、通常、Ｋｐ＝１．０、Ｋｂ＝１．４である。Ｒは、ＧＯＰ内で割り当てることができる残りビット数である。Ｎｐ，ＮｂはＧＯＰ中の残り（未符号化）のＰ，Ｂピクチャ数である。Ｓｉ，Ｓｐ，Ｓｂは、直前のピクチャタイプ毎の発生符号量である。Ｑｉ，Ｑｐ，Ｑｂは、直前の同ピクチャタイプの量子化パラメータ平均値である。Ｘｉ，Ｘｐ，Ｘｂは、ピクチャの符号化難易度（Ｃｏｍｐｌｅｘｉｔｙ）である。Ｘｉ＿ｉｎｉｔ，Ｘｐ＿ｉｎｉｔ，Ｘｂ＿ｉｎｉｔは、Ｘｉ，Ｘｐ，Ｘｂの初期値を示す。

符号量制御部１１６は、符号化難易度フィードバック手段１１６ａ、符号化難易度選択手段１１６ｂ及び符号化難易度更新手段１１６ｃを有し、動き検出部１１３は、プレ符号化難易度算出手段１１３ａを有する。符号化難易度選択手段１１６ｂは、動き検出部１１３が出力する予測誤差値と符号化難易度との対応を示す符号化難易度テーブルを有する。符号量制御部１１６は、プレ符号化難易度算出手段１１３ａから出力される予測誤差値を用いて符号化難易度を更新し、量子化パラメータを更新する。この動作は、後述する。

図２は、本実施例の動作フローチャートを示す。ステップＳ２００で、符号量制御部１１６は、動き検出部１１３から出力された予測誤差値の、符号化対象ピクチャとその直前の符号化済みのピクチャでの差分が所定値以上かどうかを判別する。これにより、シーンチェンジがあったかどうかを判断できる。所定値以上の場合、ステップＳ２０１に進み、そうでなければ、ステップＳ２０６に進む。

ステップＳ２０１で、符号量制御部１１６は、動き検出部１１３から出力された予測誤差値の、符号化対象ピクチャとその直後に符号化するピクチャでの差分が所定値以上かどうかを判別する。これにより、シーンチェンジが連続しているか否かを判断できる。所定値以上の場合、ステップＳ２０２に進み、そうでなければ、ステップＳ２０５に進む。

ステップＳ２０２で、符号量制御部１１６は、動き検出部１１３から出力された予測誤差値の、符号化対象ピクチャのその直前と直後のピクチャでの差分が所定値以下かどうかを判別する。これにより、ステップＳ２００で判断した符号化対象ピクチャのシーンチェンジがストロボのような瞬間的に輝度差分が大きくなるようなものによるか否かを判断できる。所定値以下の場合、ステップＳ２０３に進み、そうでなければ、ステップＳ２０４に進む。

ステップＳ２０３で、符号化難易度選択手段１１６ｂは、符号化対象ピクチャに対し、動き検出部１１３が出力する予測誤差値で符号化難易度テーブルを参照して符号化難易度を算出する。符号量制御部１１６は、算出された符号化難易度から、上式で求めた目標符号量に最適な量子化ステップを生成し、量子化部１０５にセットする。符号化対象ピクチャ後のピクチャに関しては、符号化難易度フィードバック手段１１６ａが符号化済みのピクチャから符号化難易度を算出する。符号量制御部１１６は、符号化難易度フィードバック手段１１６ａにより算出された符号化難易度から目標符号量に最適な量子化ステップを生成し、量子化部１０５にセットする。符号化難易度の状況によっては、すなわち、極端に易しいとか、難しい等の状況では、目標符号量を適宜、変更して、量子化ステップを生成してもよい。

ステップＳ２０４で、符号化難易度選択手段１１６ｂは、ステップＳ２０３と同じ方法で、符号化対象ピクチャとその次に符号化するピクチャに対して符号化難易度を生成する。符号量制御部１１６は、生成された符号化難易度を用いて量子化ステップを決定する。これら以降のピクチャに関しては、符号化難易度フィードバック手段１１６ａが算出する符号化難易度を用いて量子化ステップを決定する。

ステップＳ２０５で、符号化難易度選択手段１１６ｂは、ステップＳ２０３と同じ方法で、符号化対象ピクチャの符号化難易度を生成し、符号量制御部１１６は、生成された符号化難易度を用いて量子化ステップを決定する。これ以降のピクチャに関しては、符号化難易度更新手段１１６ｃは、次のように、符号化難易度を決定し更新する。すなわち、符号化難易度選択手段１１６ｂは先ず、動き検出部１１３が出力する予測誤差値に従い符号化難易度テーブルから決定した符号化難易度か、符号化対象ピクチャの符号化結果から符号化難易度フィードバック手段が算出した符号化難易度を選択する。そして、符号化難易度選択手段１１６ｂは、選択した符号化難易度にピクチャタイプに応じた係数を掛けた値で、この後の符号化に用いる符号化難易度を更新する。

ステップＳ２０６で、符号量制御部１１６は、動き検出部１１３から出力された予測誤差値の、符号化対象ピクチャと、符号化対象ピクチャと同タイプの表示順序で一番近いピクチャとの差分値が所定値以上かどうかを判別する。所定値以上の場合、シーンチェンジがあったと判断し、ステップＳ２０７に進み、そうでなければ終了する。

ステップＳ２０７で、符号化難易度選択手段１１６ｂは、ステップＳ２０３と同じ方法で、符号化対象ピクチャの符号化難易度を生成し、符号量制御部１１６は、生成された符号化難易度を用いて量子化ステップを決定する。これ以降のピクチャに関しては、符号量制御部１１６は、符号化難易度フィードバック手段１１６ａが算出する符号化難易度を用いて量子化ステップを決定する。

以上、説明したように、本実施例によれば、シーンに変化のある画像でも符号化難易度を適切に生成、更新することので、良好な画質が得られる。

Claims

符号化対象画像と予測画像との差分を用いて前記符号化対象画像を符号化する符号化手段と、
前記符号化対象画像と前記符号化対象画像の前に符号化される第１の画像との間にシーンチェンジがあり、前記符号化対象画像と前記符号化対象画像の次に符号化される第２の画像との間にシーンチェンジがあり、前記第１の画像と前記第２の画像との間にシーンチェンジがない場合に、前記符号化対象画像の予測誤差値を用いて前記符号化対象画像の符号化難易度を生成する符号化難易度生成手段と、
前記符号化対象画像と前記第１の画像との間にシーンチェンジがあり、前記符号化対象画像と前記第２の画像との間にシーンチェンジがあり、前記第１の画像と前記第２の画像との間にシーンチェンジがない場合に、前記符号化対象画像の符号化難易度を用いて前記符号化対象画像の目標符号量を制御する符号量制御手段と
を有することを特徴とする符号化装置。
前記符号化対象画像と前記第１の画像との間にシーンチェンジがあり、前記符号化対象画像と前記第２の画像との間にシーンチェンジがあり、前記第１の画像と前記第２の画像との間にもシーンチェンジがある場合、前記符号化難易度生成手段は、前記符号化対象画像の符号化難易度を生成すると共に、前記第２の画像の符号化難易度を生成し、
前記符号化対象画像と前記第１の画像との間にシーンチェンジがあり、前記符号化対象画像と前記第２の画像との間にシーンチェンジがあり、前記第１の画像と前記第２の画像との間にもシーンチェンジがある場合、前記符号量制御手段は、前記符号化対象画像の符号化難易度を用いて前記符号化対象画像の目標符号量を制御すると共に、前記第２の画像の符号化難易度を用いて前記第２の画像の目標符号量を制御する
ことを特徴とする請求項１に記載の符号化装置。
前記符号化対象画像の縮小画像を用いてブロックごとの動きベクトルを生成すると共に、前記符号化対象画像の予測誤差値を生成する動き検出手段をさらに有することを特徴とする請求項１または２に記載の符号化装置。