JP4277530B2 - 画像処理装置および符号化装置とそれらの方法 - Google Patents
画像処理装置および符号化装置とそれらの方法 Download PDFInfo
- Publication number
- JP4277530B2 JP4277530B2 JP2003018251A JP2003018251A JP4277530B2 JP 4277530 B2 JP4277530 B2 JP 4277530B2 JP 2003018251 A JP2003018251 A JP 2003018251A JP 2003018251 A JP2003018251 A JP 2003018251A JP 4277530 B2 JP4277530 B2 JP 4277530B2
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- macroblock
- image data
- circuit
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データの量子化制御に特徴を有する画像処理装置および符号化装置と、それらの方法に関する。
【０００２】
【従来の技術】
近年、画像データとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＥＰＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。
ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。
【０００５】
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ. ２６Ｌ（ＩＴＵ−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌ規格ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ Ｍｏｄｅｌ ｏｆ Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇとして行われている。
【０００６】
このようなＭＰＥＧおよびＨ．２６Ｌ規格の符号化装置では、画像の局所的な情報を利用することにより、効率の良い符号化を実現している。
画像には、画像中で複雑な部分は、他の部分よりも量子化を粗くして符号化しても、肉眼では画質劣化が認識され難いという性質がある。
従って、上記符号化装置では、画像を複数の部分に分け、各部分について、画像の複雑度を検出し、その検出結果を基に、複雑な画像の部分は粗く量子化し、そうでない部分は細かく量子化して、画質劣化の影響を抑えながら、データ量を削減している。
このような画像の複雑度の情報は、アクティビティ(activity)と呼ばれている。
上記符号化装置では、量子化対象の画像データのアクティビティを算出し、当該アクティビティに基づいて、量子化スケールを規定する量子化パラメータを生成している。
【０００７】
ところで、上述したＭＰＥＧ方式やＨ．２６Ｌ規格を発展させたものとしてＪＶＴ(Joint Video Team)符号化方式が提案されている。
ＪＶＴ方式においては、１枚のフレームを、複数のスライス（モジュール）に
分割し、符号化並びに復号化処理を行うことが可能である。
この場合に、１枚のフレームを１スライスとして処理することも可能であるが、７２０×４８０や、１９２０×１０８８といった、大きな画枠サイズの画像をリアルタイム処理するためには、１枚のフレームを複数スライスに分割し、並列処理する必要が生じる。
【０００８】
上述したＪＶＴ符号化方式が採用する、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｌｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）と呼ばれるエントロピー符号化方式、動きベクトル符号化、及びイントラ予測においては、複数の画素データから構成されるマクロブロック（単位画像データ）の処理を行う場合に、例えば、当該処理対象のマクロブロックの近傍の所定のマクロブロックの情報を用いて処理を行う。但し、この場合に、処理対象のマクロブロックの上記近傍の所定のマクロブロックが、当該処理対象のマクロブロックと異なるスライスに属する場合には、当該近傍の所定のマクロブロックの情報は用いずに、代替値を用いて処理を行う。このような代替値を用いた処理は、スライス境界に位置するマクロブロックについて生じる。
【０００９】
【発明が解決しようとする課題】
しかしながら、このように代替値を用いて処理を行うと、代替値を用いたことによる処理精度の劣化を、直交変換によって防ぐことができず、スライス境界付近で顕著な画質劣化を生じてしまうという問題がある。
特に量子化パラメータＱＰの値が小さい場合に、この影響が大きくなる。
【００１０】
本発明はかかる事情に鑑みてなされたものであり、画質の顕著な劣化を抑制できる画像処理装置、符号化装置およびそれらの方法を提供することを目的とする。
【００１１】
上記の目的を達成するため、第１の発明の画像処理装置は、１画像データを各々複数のマクロブロックを有する複数のスライスに分割された前記各々のスライスを予測符号化方式を用いて符号化処理するため、各々のスライス内の複数のマクロブロックの画像データと予測符号化した画像データとの差を直交変換し、当該直交変換した結果を量子化する、直交変換・量子化部と、前記直交変換・量子化部の処理結果を逆量子化し、当該逆量子化して復元した画像データについて動き予測補償処理を行い、前記直交変換・量子化部への差分信号として出力する動き予測補償部と、前記直交変換され量子化された結果を可逆符号化するとき、前記マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属する場合、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行い、前記直交変換・量子化部の処理結果を可逆符号化する可逆符号化部と、前記可逆符号化部で符号化された画像データを記憶するバッファと、符号化対象のマクロブロックがスライスの境界に位置するか否かを検出するスライス境界検出部と、前記各々のスライス内の複数のマクロブロックの画像データの量子化量を算出し、前記バッファのレート制御を行う量子化制御部と、を有し、前記量子化制御部は、前記スライス境界検出部が前記符号化対象のマクロブロックが前記スライスの境界に位置すると検出したとき、当該マクロブロックにおける画像の複雑度を示すアクティビティと当該マクロブロックにおける参照量子化スケールコードとを乗算して第１の量子化パラメータを算出し、当該第１の量子化パラメータを関数として、０から１の範囲の値をとる重み付け係数を算出し、当該算出した重み付け係数を前記第１の量子化パラメータに乗じて第２の量子化パラメータを求め、当該求めた第２の量子化パラメータを用いて前記直交変換・量子化部における量子化を制御して、前記バッファのレートを制御する。
【００１２】
可逆符号化部は、直交変換され、量子化された結果を可逆符号化するとき、マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属する場合、マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行い、直交変換された処理結果を可逆符号化する。
スライス境界検出部は、符号化対象のマクロブロックがスライスの境界に位置するか否かを検出する。
量子化制御部は、スライス境界検出部が符号化対象のマクロブロックがスライスの境界に位置すると検出したとき、マクロブロックにおける画像の複雑度を示すアクティビティと、マクロブロックにおける参照量子化スケールコードとを乗算して第１の量子化パラメータを算出し、第１の量子化パラメータを関数として、０から１の範囲の値をとる重み付け係数を算出し、算出した係数を第１の量子化パラメータに乗じて第２の量子化パラメータを求め、求めた第２の量子化パラメータを用いて直交変換・量子化部における量子化を制御して、バッファのレートを制御する。
【００１３】
第２の発明の画像処理方法は、１画像データを各々複数のマクロブロックを有する複数のスライスに分割された前記各々のスライスを予測符号化方式を用いて符号化処理するため、前記各々のスライス内の複数のマクロブロックの画像データの量子化量を算出し、符号化データを記憶するバッファのレート制御を行う量子化制御ステップと、前記各々のスライス内の複数のマクロブロックの画像データと予測符号化した画像データとの差を直交変換し、当該直交変換した結果を量子化する、直交変換・量子化ステップと、前記直交変換・量子化ステップでの処理結果を逆量子化し、当該逆量子化して復元した画像データについて動き予測補償処理を行い、前記直交変換・量子化部への差分信号として出力する動き予測補償ステップと、前記直交変換され量子化された結果を可逆符号化するとき、前記マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属する場合、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行い、前記直交変換・量子化部の処理結果を可逆符号化する可逆符号化ステップと、符号化対象のマクロブロックがスライスの境界に位置するか否かを検出するスライス境界検出ステップとを有し、前記量子化制御ステップにおいて、前記スライス境界検出ステップにより前記符号化対象のマクロブロックが前記スライスの境界に位置すると検出されたとき、当該マクロブロックにおける画像の複雑度を示すアクティビティと当該マクロブロックにおける参照量子化スケールコードとを乗算して第１の量子化パラメータを算出し、当該第１の量子化パラメータを関数とし、０から１の範囲の値をとる重み付け係数を算出し、当該算出した重み付け係数を前記第１の量子化パラメータに乗じて第２の量子化パラメータを求め、当該求めた第２の量子化パラメータによって前記直交変換・量子化ステップにおける量子化を制御して、前記バッファのレートを制御する。
【００１７】
【発明の実施の形態】
〔本発明の関連技術〕
図１は、本発明の関連技術に係わる符号化装置５００の機能ブロック図である。
図１に示す符号化装置５００において、入力となる画像信号は、まず、Ａ／Ｄ変換回路５０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替え回路５０２においてフレーム画像データの並べ替えが行われる。
そして、イントラ符号化が行われる画像に関しては、フレーム画像データの全体が直交変換回路５０４に入力され、直交変換回路５０４において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路５０４の出力となる変換係数は、量子化回路５０５において量子化処理される。
量子化回路５０５の出力となる、量子化された変換係数は、可逆符号化回路５０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ５０７に蓄積され、圧縮された画像データとして出力される。
【００１８】
量子化回路５０５における量子化レートは、レート制御回路５１２によって制御される。同時に、量子化回路５０５の出力となる、量子化された変換係数は、逆量子化回路５０８において逆量子化され、続いて逆直交変換回路５０９において逆直交変換処理が施され、この過程でデブロックフィルタ５１３においてブロック歪みが除去されて復号された参照フレーム画像データが得られる。当該参照フレーム画像データは、フレームメモリ５１０に蓄積される。
ここで、レート制御回路５１２は、後述するようにＱＰ算出回路５４１で生成された量子化パラメータＱＰを基に、量子化レートを制御する。
ＱＰ算出回路５４１は、例えば、ＭＰＥＧ２のＴｅｓｔＭｏｄｅｌ５（以下、ＴＭ５とも記す）に従って、後述するように、量子化スケールコードｍｑｕａｎｔｊを生成し、これを量子化パラメータＱＰとしてレート制御回路５１２に出力する。
【００１９】
一方、インター符号化が行われる画像に関しては、画面並べ替え回路５０２から出力されたフレーム画像データが、動き予測・補償回路５１１に入力される。同時に参照フレーム画像データがフレームメモリ５１０より読み出され、動き予測・補償回路５１１によって動きベクトルが生成され、当該動きベクトルおよび参照フレーム画像データを用いて予測フレーム画像データが生成される。予測フレーム画像データが演算回路５０３に出力され、演算回路５０３において、画面並べ替え回路５０２からのフレーム画像データと、動き予測・補償回路５１１からの予測フレーム画像データとの差分を示す画像データが生成され、当該画像データが直交変換回路５０４に出力される。
また、動き補償・予測回路５１１は、動きベクトルを可逆符号化回路５０６に出力し、可逆符号化回路５０６において、動きベクトルが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像信号のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像信号と同様である。
【００２０】
図２は、図１に示す符号化装置５００に対応する復号回路４９９の機能ブロック図である。
図２に示す復号回路４９９では、入力となる画像データがバッファ６１３に格納された後、可逆復号回路６１４に出力される。そして、可逆復号回路６１４において、フレーム画像データのフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレーム画像データがインター符号化されたものである場合には、可逆復号回路６１４において、フレーム画像データのヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償回路６２０に出力される。
【００２１】
可逆復号回路６１４の出力となる、量子化された変換係数は、逆量子化回路６１５に入力され、ここで逆量子化される。当該逆量子化された変換係数には、逆直交変換回路６１６において、定められたフレーム画像データのフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレーム画像データがイントラ符号化されたものである場合には、逆直交変換処理が施されたフレーム画像データは、デブロックフィルタ６２１でブロック歪みが除去された後に画面並べ替えバッファ６１８に格納され、Ｄ／Ａ変換回路６１９によるＤ／Ａ変換処理を経て出力される。
【００２２】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路６２０において、動きベクトルＭＶ及びフレームメモリ６２１に格納された参照フレーム画像データを基に予測フレーム画像データが生成され、この予測フレーム画像データと、逆直交変換回路６１６から出力されたフレーム画像データとが加算器６１７において加算される。その他の処理はイントラ符号化されたフレーム画像データと同様である。
【００２３】
ところで、ＭＰＥＧ２のＴＭ５で定められている符号量制御方式のステップ３においては、マクロブロック毎の適応量子化を行う方法が定められている。すなわち、以下に定める方法により、参照量子化スケールコードを、視覚的に劣化の目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクティビティを変化させている。
【００２４】
以下では、ＭＰＥＧ２のＴＭ５において定められているレート制御方式の、ステップ１〜ステップ３について述べる。
当該ステップ１〜ステップ３の処理は、例えば、図１に示すＱＰ算出回路５４１で行われる。
ステップ１では、ＧＯＰ(Group Of Pictures) 内の各ピクチャに対する割当ビット量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割当られるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下の２つの仮定を用いて、各ピクチャへの符号量割当を行っているのが特徴である。
第１の仮定は、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。
そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを表す媒介変数ＸＩ，ＸＰ，ＸＢ（Ｇｌｏｂａｌ Ｃｏｍｐｌｅｘｉｔｙ Ｍｅａｓｕｒｅ）を下記（１−１）により更新する。
この媒介変数により、次のピクチャを符号化する際の量子化スケールコードと発生符号量の関係を推定できる。
【００２５】
【数１】
【００２６】
ここで、ＳＩ，ＳＰ，ＳＢは、ピクチャ符号化時の発生符号化ビット、ＱＩ，ＱＰ，ＱＢは、ピクチャ符号化時の平均量子化スケールコードである。
また、初期値は、目標符号量であるｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、下記（１−２），（１−３），（１−４）で示される値とする。
【００２７】
【数２】
【００２８】
【数３】
【００２９】
【数４】
【００３０】
第２の仮定は、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率ＫP ，ＫB が、下記（１−５）に定める値になる時、常に全体の画質が最適化されると仮定する。
【００３１】
【数５】
【００３２】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに量子化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善されるとともに、これを参照するＢピクチャの画質をも向上させることを想定している。
【００３３】
上記２つの仮定より、ＧＯＰ中の各ピクチャに対する割当符号量（ＴI ，ＴP，ＴB ）は、下記（１−６），（１−７），（１−８）で示される値となる。
下記（１−６）において、ｐｉｃｔｕｒｅ＿ｒａｔｅは、（当該シーケンスにおける、１秒あたり表示されるピクチャの数）を示している。
【００３４】
【数６】
【００３５】
【数７】
【００３６】
【数８】
【００３７】
ここで、ＮP ，ＮB は、ＧＯＰ内でまだ符号化されていない、Ｐ，Ｂピクチャの枚数である。
【００３８】
すなわち、まず、ＧＯＰ内の未符号化ピクチャのうち、割当対象となるピクチャと、異なるピクチャタイプのものに関しては、上述の画質最適化条件の元、そのピクチャの発生する符合量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。
次に、未符号化ピクチャ全体の発生する推定発生符号量が、割当対象ピクチャの何枚分の符号量に相当するかを求める。
例えば、上記（１−６）の、第１引数の分母第２項、Ｎp Ｘp ／ＸI ＫP は、ＧＯＰ内の、ＮP 枚の未符号化ピクチャが、Ｉピクチャに換算すると何枚分に換算するかを表すものであり、ＮP に、Ｐピクチャに対する発生符号量の、Ｉピクチャの発生符号量に対する割合ＳP ／ＳI を乗じ、上記（１−１）、上記（１−５）を用いて、ＸI ，ＸP ，ＫB で表すことにより得られる。
【００３９】
割当対象ピクチャに対するビット量は、未符号化ピクチャに対する割当ビット量Ｒを、この枚数で割ることによって得られる。但し、ヘッダなどに、固定的に必要となる符号量を考慮して、その値に下限を設定している。
このようにして求めた割当符号量を基にして、各ピクチャをステップ１，２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割当られる符号量Ｒを、下記（１−９）により更新する。
【００４０】
【数９】
【００４１】
また、ＧＯＰの最初のピクチャを符号化する際には、以下の（１−１０）により、Ｒを更新する。
【００４２】
【数１０】
【００４３】
ここで、Ｎは、ＧＯＰ内のピクチャ数である。また、シーケンス最初でのＲの初期値は０とする。
次に、ステップ２について述べる。
ステップ２では、ステップ１で求めた、各ピクチャに対する割当ビット量（ＴI，ＴP ，ＴB ）を、実際の符号量に一致させるため、各ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御により求める。
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を下記（１−１１），（１−１２），（１−１３）により求める。
【００４４】
【数１１】
【００４５】
【数１２】
【００４６】
【数１３】
【００４７】
ｄ0I ,ｄ0P ,ｄ0Bは、各仮想バッファの初期占有量、Ｂj は、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢｃｎｔは、１ピクチャ内のマクロブロック数である。
【００４８】
各ピクチャ符号化終了時の仮想バッファ占有量（ｄMBcntx I ，ｄMBcntx p ，ｄMBcntx B ）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 I ，ｄ0 P ，ｄ0 B ）として用いられる。
次に、ｊ番目のマクロブロックに対する量子化スケールコードＱj を下記（１−１４）により算出する。
ここで、ｄj は、ｄj I ，ｄj P ，ｄj B を用いて下記式１−１１〜式１−１３のように定義される。
【００４９】
【数１４】
【００５０】
ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御する媒介変数で、下記（１−１５）により与えられる。
【００５１】
【数１５】
【００５２】
なお、シーケンスの最初における仮想バッファ初期値は下記（１−１６）により与えられる。
【００５３】
【数１６】
【００５４】
次に、ステップ３について述べる。
アクティビティは、予測誤差でなく、原画の輝度信号画素値を用い、フレームＤＣＴモードにおける４個の８×８ブロックと、フィールドＤＣＴ符号化モードにおける４個の８×８ブロックとの合計８個のブロックの画素値を用いて、下記（１−１７），（１−１８），（１−１９）により与えられる。
下記（１−１８）に示すｖａｒ＿ｓｂｌｋは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるに従って値が大きくなる。
【００５５】
【数１７】
【００５６】
【数１８】
【００５７】
【数１９】
【００５８】
ここでＰk は原画の輝度信号ブロック内画素値である。上記（１−１７）において最小値（ｍｉｎ）を採るのは、１６×１６のマクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
さらに、以下の（１−２０）により、その値が０．５〜２の範囲をとる正規化アクティビティＮａｃｔj を求める。
【００５９】
【数２０】
【００６０】
ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔj の平均値である。
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔj は、参照量子化スケールコードＱj を基に下記（１−２１）により与えられる。
【００６１】
【数２１】
【００６２】
そして、前述したように、ＱＰ算出回路５４１が、量子化スケールコードｍｑｕａｎｔｊを量子化パラメータＱＰとしてレート制御回路５１２に出力する。
ここで、上述したＱＰ算出回路５４１では、例えば、図３に示すように、スライス境界に位置するマクロブロックについても、上述した手法で、スライス境界以外に位置するマクロブロックと同様に、量子化パラメータＱＰを生成している。
【００６３】
ところで、図１に示す可逆符号化回路５０６では、上述したＪＶＴ符号化方式が採用する、ＣＡＢＡＣが規定するエントロピー符号化方式、動きベクトル符号化、及びイントラ予測においては、複数の画素データから構成されるブロックデータの処理を行う場合に、例えば、当該処理対象のブロックの近傍の所定のブロックの情報を用いて処理を行う。
但し、この場合に、処理対象のブロックの上記近傍の所定のブロックが、当該処理対象のブロックと異なるスライスに属する場合には、当該近傍の所定のブロックの情報は用いずに、代替値を用いて処理を行う。このような代替値を用いた処理は、スライス境界に位置するブロックについて生じる。
しかしながら、このように代替値を用いて処理を行うと、代替値を用いたことによる処理精度の劣化を、直交変換によって防ぐことができず、スライス境界付近で顕著な画質劣化を生じてしまうという問題がある。
特に量子化パラメータＱＰの値が小さい場合に、この影響が大きくなる。
【００６４】
例えば、可逆符号化回路５０６においてＣＡＢＡＣが規定するエントロピー符号化が行われるが、当該エントロピー符号化において、画像圧縮情報における任意のシンボル要素について、過去の履歴に応じて、当該シンボルに対する適切なモデルが選択される。この場合に、隣接するシンボルの状態に応じたモデル選択を行うコンテクストモデル化が採用されている。
このコンテクストモデル化では、例えば、図４に示すマクロブロックＣについてのコンテキストを、マクロブロックＣに隣接するマクロブロックＡ，Ｂのシンボルを用いて決定する。
従って、例えば、マクロブロックＣがスライス境界に位置し、マクロブロックＡ，Ｂの少なくとも一方がブロックＣが属するスライスとは異なるスライスに属する場合に、そのマクロブロックＡ，Ｂのシンボルを使用できず、マクロブロックＣのコンテクスト決定に精度が劣化するという問題がある。
【００６５】
また、可逆符号化回路５０６において、動きベクトルの符号化が行われる。
この場合に、可逆符号化回路５０６は、例えば、図５に示すように、動き補償ブロックＥの予測動きベクトルを生成する場合に、動き補償ブロックＡ，Ｂ，Ｃ，Ｄを用いるが、これらのうち動き補償ブロックＣが、動き補償ブロックＥと異なるスライスに属する場合に、動き補償ブロックＣの代替値として動き補償ブロックＤを用いる。
そのため、動き補償ブロックＥの予測動きベクトルの生成精度が劣化するという問題がある。
【００６６】
また、可逆符号化回路５０６において、イントラ予測符号化が行われる。
可逆符号化回路５０６は、例えば、図６において、マクロブロックＢ１内の画素データａ〜ｐの予測値Ｐを生成する場合に、画素データＡ〜Ｌを用いる。
この場合に、例えば、画素データＥ〜Ｈが、マクロブロックＢ１が属するスライスとは異なるスライスに属する場合に、画素データＥ〜Ｈの代替値として画素データＤが用いられる。
そのため、予測値Ｐの生成精度が劣化するという問題がある。
【００６７】
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方法と符号化装置について説明する。
第１実施形態
図７は、本実施形態の通信システム１の概念図である。
図７に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置４９９とを有する。
符号化装置２が発明の符号化装置に対応している。
符号化装置２および復号装置４９９は、上述したＪＶＴ符号化方式に基づいて符号化および復号を行なう。
復号回路４９９は、図２を用いて前述したものと同じである。
【００６８】
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
なお、本実施形態では、符号化装置２におけるレート制御回路３２の量子化制御に特徴を有している。
【００６９】
〔符号化装置２〕
図８は、図７に示す符号化装置２の全体構成図である。
図８に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、動き予測・補償回路３６、デブロックフィルタ３７、スライス境界検出回路４０およびＱＰ算出回路４１を有する。
【００７０】
スライス境界検出回路４０が本発明の検出手段に対応し、ＱＰ算出回路４１が本発明のパラメータ生成手段に対応し、レート制御回路３２が本発明の量子化制御手段に対応し、レート制御回路３２および量子化回路２６が本発明の量子化手段に対応し、可逆符号化回路２７が本発明の符号化手段に対応している。
【００７１】
符号化装置２は、上述したように、例えば、可逆符号化回路２７において、ＣＡＢＡＣで規定されたエントロピー符号化方式、動きベクトル符号化、及びイントラ予測を行う。
本実施形態では、レート制御回路３２が、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて補正して、量子化をより細かく行うように新たな量子化パラメータＱＰ１を生成することを特徴としている。
【００７２】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えたフレーム画像データＳ２３を演算回路２４、動き予測・補償回路３６、スライス境界検出回路４０およびＱＰ算出回路４１に出力する。
【００７３】
演算回路２４は、フレーム画像データＳ２３がインター(Inter) 符号化される場合には、フレーム画像データＳ２３と、動き予測・補償回路３６から入力した予測フレーム画像データＳ３６ａとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
また、演算回路２４は、フレーム画像データＳ２３がイントラ(Intra) 符号化される場合には、フレーム画像データＳ２３を画像データＳ２４として直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
直交変換回路２５は、例えば、４×４のブロックを単位として直交変換を行う。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００７４】
可逆符号化回路２７は、画像データＳ２６をＣＡＢＡＣで規定されたエントロピー符号化および、イントラ予測符号化して可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
また、可逆符号化回路２７は、動き予測・補償回路３６から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
可逆符号化回路２７は、複数のマクロブロック（本発明の単位画像データ）から構成されるピクチャが、図３に示すように複数のスライス（本発明のモジュール）に分割され、当該複数のスライスの符号化処理を独立して並列に行う。これにより、画像圧縮処理を実時間に行うことを可能とする。
【００７５】
バッファ２８に格納された画像データは、変調等された後に送信される。
可逆符号化回路２７における上記エントロピー符号化では、画像データＳ２６内の任意のシンボル要素について、過去の履歴に応じて、当該シンボルに対する適切なモデルが選択される。この場合に、隣接するシンボルの状態に応じたモデル選択を行うコンテクストモデル化が採用されている。
可逆符号化回路２７は、例えば、前述した図４に示すマクロブロックＣのコンテキストを、マクロブロックＣに隣接するマクロブロックＡ，ＢがマクロブロックＣと同じスライスに属している場合に、マクロブロックＡ，Ｂのシンボルを用いて用いて生成する。
また、可逆符号化回路２７は、マクロブロックＡ，ＢがマクロブロックＣと異なるスライスに属している場合には、マクロブロックＡ，Ｂのシンボルの代わりに所定の代替データを用いて、マクロブロックＣのコンテキストを生成する。
【００７６】
また、可逆符号化回路２７は、例えば、図５に示すように、動き補償ブロックＡ，Ｂ，Ｃ，Ｄが動き補償ブロックＥと同じスライスに属する場合に、動き補償ブロックＡ，Ｂ，Ｃ，Ｄを用いて補償ブロックＥの予測動きベクトルを生成する。
一方、可逆符号化回路２７は、例えば、動き補償ブロックＣが動き補償ブロックＥと異なるスライスに属する場合に、動き補償ブロックＣの代替値データとして動き補償ブロックＤを用いて、補償ブロックＥの予測動きベクトルを生成する。
【００７７】
また、可逆符号化回路２７、例えば、図６に示すように、マクロブロックＢ１内の画素データａ〜ｐの予測値Ｐを、イントラ予測符号化により、画素データＡ〜ＬがマクロブロックＢ１と同じスライスに属する場合に、これらを用いて生成する。
一方、可逆符号化回路２７は、画素データＥ〜Ｈが、マクロブロックＢ１が属するスライスとは異なるスライスに属する場合に、画素データＥ〜Ｈの代替データとして画素データＤを用いて、予測値Ｐを生成する。
【００７８】
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これをデブロックフィルタ３７に出力する。
逆直交変換回路３０は、量子化され、デブロックフィルタ３７でブロック歪みが除去された画像データに上記直交変換の逆変換を施して生成したフレーム画像データをフレームメモリ３１に格納する。
【００７９】
レート制御回路３２は、バッファ２８から読み出した画像データ、ＱＰ算出回路４１から入力した量子化パラメータＱＰ、並びにスライス境界検出回路４０から入力したスライス境界検出信号Ｓ４０を基に、量子化回路２６における量子化の量子化スケールＳ３２を生成し、これを量子化回路２６に出力する。
レート制御回路３２は、スライス境界検出信号Ｓ４０が、処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて、下記式（２−１）の演算を行って新たな量子化パラメータＱＰ１を生成する。
そして、レート制御回路３２は、量子化パラメータＱＰ１を基に量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
なお、下記式（２−１）において、ｗは下記式（２−２）で示される。
また、下記式（２−１）は、ｗに量子化パラメータＱＰを乗じた値に対して、丸めによる整数化処理を行うことを示している。
【００８０】
【数２２】
【００８１】
【数２３】
【００８２】
すなわち、レート制御回路３２は、上記式（２−１）に示すように、スライス境界に位置するマクロブロックに対応する量子化パラメータＱＰに、上記式（２−２）で定義された重み係数ｗを乗じることで、他のマクロブロックに比してより低い量子化パラメータを割当て、これにより、より多くの符号量を割り当てる。これにより、スライス境界に位置するマクロブロックが、前述したように可逆符号化回路２７において隣接するマクロブロックの情報を用いないで符号化処理されることによる画質劣化を最小限に抑えながら、スライス毎の符号化処理を可能とする。
一方、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰをそのまま用いて量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
ここで、量子化パラメータが大きくなるに従って量子化スケールも大きくなり、量子化回路２６による量子化も粗くなる。
【００８３】
スライス境界検出回路４０は、符号化対象のマクロブロックと、当該マクロブロックの符号化処理に用いられる他のマクロブロックとが同じスライスに属するか否かを判断し、同じスライスに属すると判断した場合には、スライス境界に位置することを示すスライス境界検出信号Ｓ４０を生成し、異なるスライスに属すると判断した場合には、スライス境界に位置しないことを示すスライス境界検出信号Ｓ４０を生成する。
例えば、本実施形態では、符号化対象のマクロブロックの符号化処理に用いられる他のマクロブロックのピクチャ上での位置が、当該符号化対象のマクロブロックの位置に対応して所定の位置関係がある。なお、マクロブロックの位置は、そのアドレスを基に規定される。
そのため、スライス境界検出回路４０は、符号化対象のマクロブロックの位置が、当該マクロブロックに対応する上記他のマクロブロックの位置が、スライス境界を越えて位置するものであるか否かを基に、上記判断を行う。
一例として、スライス境界検出回路４０は、図３において、マクロブロックが、ピクチャ上でスライス境界の一方の側（図３では下側）に隣接している場合に、スライス境界に位置すると判断し、そうでない場合に、スライス境界に位置しないと判断する。
【００８４】
ＱＰ算出回路４１は、本発明の関連技術において前述したように、ＭＰＥＧ２のＴＭ５のステップ１〜ステップ３に従って、マクロブロック毎に量子化パラメータＱＰを生成し、これをレート制御回路３２に出力する。
【００８５】
動き予測・補償回路３６は、フレームメモリ３１からの画像データＳ３１と、画面並べ替え回路２３からの画像データとを基に動き予測・補償処理を行って、動きベクトルＭＶおよび参照画像データＳ３６ａを生成する。
動き予測・補償回路３６は、動きベクトルＭＶを可逆符号化回路２７に出力し、参照画像データＳ３６ａを演算回路２４に出力する。
【００８６】
次に、図８に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われる。
そして、スライス境界検出回路４０は、前述したように、図３において、符号化対象のマクロブロックが、ピクチャ上でスライス境界の一方の側（図３では下側）に隣接している場合に、スライス境界に位置すると判断し、そうでない場合に、スライス境界に位置しないと判断し、その結果を示すスライス境界検出信号Ｓ４０をレート制御回路３２に出力する。
また、ＱＰ算出回路４１が、前述したように、ＭＰＥＧ２のＴＭ５のステップ１〜ステップ３に従って、マクロブロック毎に量子化パラメータＱＰを生成し、これをレート制御回路３２に出力する。
【００８７】
イントラ符号化が行われるフレーム画像データに関しては、フレーム画像データ全体の画像情報が直交変換回路２５に入力され、直交変換回路２５において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路２５の出力となる変換係数は、量子化回路２６において量子化処理される。
量子化回路２６は、レート制御回路３２からの制御に基づいて、量子化パラメータＱＰを基に規定された量子化スケールで量子化を行う。
このとき、レート制御回路３２は、スライス境界検出信号Ｓ４０が、処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて、上記式（２−１）の演算を行って新たな量子化パラメータＱＰ１を生成する。
そして、レート制御回路３２は、量子化パラメータＱＰ１を基に量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
【００８８】
量子化回路２６の出力となる、量子化された変換係数は、可逆符号化回路２７に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ２８に蓄積され、圧縮された画像データとして出力される。
同時に、量子化回路２６の出力となる、量子化された変換係数は、逆量子化回路２９に入力され、さらに逆直交変換回路３０において逆直交変換処理が施されて、復号されたフレーム画像データとなり、そのフレーム画像データがフレームメモリ３１に蓄積される。
【００８９】
一方、インター符号化が行われる画像に関しては、先ず、そのフレーム画像データＳ２３が動き予測・補償回路３６に入力される。また、参照画像のフレーム画像データＳ３１がフレームメモリ３１より読み出され、動き予測・補償回路３６に出力される。
そして、動き予測・補償回路３６において、参照画像のフレーム画像データＳ３１を用いて、動きベクトルＭＶおよび予測フレーム画像データＳ３６ａが生成される。
【００９０】
そして、演算回路２４において、画面並べ替え回路２３からのフレーム画像データと、動き予測・補償回路３６からの予測フレーム画像データＳ３６ａとの差分信号である画像データＳ２４が生成され、当該画像データＳ２４が直交変換回路２５に出力される。
そして、可逆符号化回路２７において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像データと同様である。
【００９１】
以上説明したように、符号化装置２によれば、レート制御回路３２において、スライス境界に位置するマクロブロックについては、量子化パラメータＱＰに重み付け係数Ｑを乗じることで、より小さい量子化パラメータＱＰ１を割り当て、これにより、当該マクロブロックにより多くの符号量を割り当て、細かく量子化を行う。
そのため、本発明の関連技術で説明したように、可逆符号化回路２７において、当該マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属し、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行っても、当該マクロブロックの符号化による画質劣化を抑制できる。すなわち、スライス境界での顕著な画質劣化を抑制でき、画像全体に渡って高品質な画像を提供できる。
【００９２】
第２実施形態
ところで、スライス境界における画質劣化は、量子化パラメータＱＰが大きい時に生じ、逆に、量子化パラメータＱＰが小さい時には、前述した式（２−１）に示す処理を行うことで、逆に、後続のマクロブロックに割り当てる符号量を余計に使ってしまうことになり、画質劣化に繋がる場合がある。
そのため、本実施形態では、図９に示すように、上記式（２−１），（２−２）に示す重み付け係数ｗを、下記式（２−３）に示すように、量子化パラメータＱＰの関数として定義する。
レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置することを示す場合に、上記式（２−１），（２−２），（２−３）を基に、新たな量子化パラメータＱＰ１を生成する。
【００９３】
【数２４】
【００９４】
すなわち、レート制御回路３２は、量子化パラメータＱＰが所定の閾値ＱＰthreshold 以下である場合には、重み付け係数ｗを「１．０」とし、量子化パラメータＱＰが閾値ＱＰthreshold を超えた場合には、その大きさに応じて重み付け係数ｗを単調減少させる。
【００９５】
これにより、画質劣化に影響を及ぼす場合にのみ、スライス境界のマクロブロックに多くの符号量を割り当てられることができ、限りある符号量を有効に使用できる。
【００９６】
第３実施形態
前述した第１実施形態では、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰそのまま用いて量子化スケールを決定する場合を例示した。
本実施形態では、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、下記式（２−４），（２−５）に示すように、ＱＰ算出回路４１から入力した量子化パラメータＱＰに重み付け係数ｗ’を乗じた値に対して丸めによる整数化処理を行って新たな量子化パラメータＱＰ２を生成する。
【００９７】
【数２５】
【００９８】
【数２６】
【００９９】
そして、レート制御回路３２は、スライス境界に位置しないマクロブロックについて、量子化パラメータＱＰ２を用いて量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
このように、スライス境界に位置しないマクロブロックについて、式（２−４）を基に生成された量子化パラメータＱＰ２を用いて量子化を制御することで、画面（ピクチャ）全体に渡る発生符号量を増加させることなく、スライス境界における画質劣化を低減することが可能である。
ここで、式（２−４），（２−５）に示す重み付け係数ｗ’も、式（２−１）に示す重み付け係数ｗと同様、量子化パラメータＱＰの関数として与えられる。ｗ及びｗ’の、スライス全体に渡る平均値は１である。
【０１００】
第４実施形態
本実施形態では、レート制御回路３２が、上記式（２−１），（２−２）に代えて、下記式（２−６），（２−７）に従って、量子化パラメータＱＰ３を生成する。
【０１０１】
【数２７】
【０１０２】
【数２８】
【０１０３】
図１０は、本実施形態の量子化パラメータＱＰ３の生成における重み付け係数ｋの規定方法を説明するための図であり、複数のスライスに分割されたピクチャを示している。
例えば、量子化パラメータＱＰが一定であるとすると、図１０において、符号化対象のマクロブロックの位置のスライス境界からの距離（垂直方向距離）に応じて、近い順に、レベル０、レベル１、レベル２…とする。
レベルｘのマクロブロックに対する重み係数ｋは、上記式（２−７）に示すように、ｌを引数とする関数Ｆとして与えられる。
ここで、ｘは、マクロブロックとスライス境界との距離に対応している。
【０１０４】
当該関数Ｆは、例えば、図１１（Ａ）に示すように、ｘに応じてｋを単調増
加させるものでもよいし、図１１（Ｂ）に示すように、ｘがある閾値ｘthreshold 以下の時には単調増加で、閾値ｘthreshold を越えた場合には、一定値を取るものでもよい。
いずれの場合も、スライス全体に渡るｋ（ｘ）の平均値を１とすることで、画面全体に渡る符号量を増加させることなく、スライス境界における画質劣化を低減することが可能である。
【０１０５】
また、関数ｆは、量子化パラメータＱＰの関数でもあり、ＱＰの値がある閾値を下回った場合には、その値ｋを１．０とする。
以上述べてきた方法を用いることにより、スライス境界における画質劣化を低減しながら、一画面を複数のスライスに分割し、並列処理を行うことで、実時間で動作することができる。
【０１０６】
【発明の効果】
本発明によれば、画質の顕著な劣化を抑制できる画像処理装置、符号化装置およびそれらの方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の関連技術に係わる符号化装置の機能ブロック図である。
【図２】図２は、本発明の関連技術に係わる復号装置の機能ブロック図である。
【図３】図３は、ＪＶＴ符号化方式におけるスライスおよびマクロブロックの概念を説明するための図である。
【図４】図４は、ＪＶＴ画像圧縮情報におけるエントロピー符号化を説明するための図である。
【図５】図５は、ＪＶＴ符号化方式における動きベクトル符号化を説明するための図である。
【図６】図６は、ＪＶＴ符号化方式におけるイントラ予測符号化を説明するための図である。
【図７】図７は、本発明の第１実施形態に係わる符号化装置を説明するための図である。
【図８】図８は、図７に示す符号化装置の構成図である。
【図９】図９は、本発明の第２実施形態における量子化パラメータの決定方法を説明するための図である。
【図１０】図１０は、本発明の第４実施形態の量子化パラメータの生成方法を説明するための図である。
【図１１】図１１は、本発明の第４実施形態の量子化パラメータの生成方法を説明するための図である。
【符号の説明】
１…通信システム、２…符号化装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、３６…動き予測・補償回路、４０…スライス境界検出回路、４１…ＱＰ算出回路
【発明の属する技術分野】
本発明は、画像データの量子化制御に特徴を有する画像処理装置および符号化装置と、それらの方法に関する。
【０００２】
【従来の技術】
近年、画像データとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＥＰＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。
ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。
【０００５】
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ. ２６Ｌ（ＩＴＵ−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌ規格ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ Ｍｏｄｅｌ ｏｆ Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇとして行われている。
【０００６】
このようなＭＰＥＧおよびＨ．２６Ｌ規格の符号化装置では、画像の局所的な情報を利用することにより、効率の良い符号化を実現している。
画像には、画像中で複雑な部分は、他の部分よりも量子化を粗くして符号化しても、肉眼では画質劣化が認識され難いという性質がある。
従って、上記符号化装置では、画像を複数の部分に分け、各部分について、画像の複雑度を検出し、その検出結果を基に、複雑な画像の部分は粗く量子化し、そうでない部分は細かく量子化して、画質劣化の影響を抑えながら、データ量を削減している。
このような画像の複雑度の情報は、アクティビティ(activity)と呼ばれている。
上記符号化装置では、量子化対象の画像データのアクティビティを算出し、当該アクティビティに基づいて、量子化スケールを規定する量子化パラメータを生成している。
【０００７】
ところで、上述したＭＰＥＧ方式やＨ．２６Ｌ規格を発展させたものとしてＪＶＴ(Joint Video Team)符号化方式が提案されている。
ＪＶＴ方式においては、１枚のフレームを、複数のスライス（モジュール）に
分割し、符号化並びに復号化処理を行うことが可能である。
この場合に、１枚のフレームを１スライスとして処理することも可能であるが、７２０×４８０や、１９２０×１０８８といった、大きな画枠サイズの画像をリアルタイム処理するためには、１枚のフレームを複数スライスに分割し、並列処理する必要が生じる。
【０００８】
上述したＪＶＴ符号化方式が採用する、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｌｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）と呼ばれるエントロピー符号化方式、動きベクトル符号化、及びイントラ予測においては、複数の画素データから構成されるマクロブロック（単位画像データ）の処理を行う場合に、例えば、当該処理対象のマクロブロックの近傍の所定のマクロブロックの情報を用いて処理を行う。但し、この場合に、処理対象のマクロブロックの上記近傍の所定のマクロブロックが、当該処理対象のマクロブロックと異なるスライスに属する場合には、当該近傍の所定のマクロブロックの情報は用いずに、代替値を用いて処理を行う。このような代替値を用いた処理は、スライス境界に位置するマクロブロックについて生じる。
【０００９】
【発明が解決しようとする課題】
しかしながら、このように代替値を用いて処理を行うと、代替値を用いたことによる処理精度の劣化を、直交変換によって防ぐことができず、スライス境界付近で顕著な画質劣化を生じてしまうという問題がある。
特に量子化パラメータＱＰの値が小さい場合に、この影響が大きくなる。
【００１０】
本発明はかかる事情に鑑みてなされたものであり、画質の顕著な劣化を抑制できる画像処理装置、符号化装置およびそれらの方法を提供することを目的とする。
【００１１】
上記の目的を達成するため、第１の発明の画像処理装置は、１画像データを各々複数のマクロブロックを有する複数のスライスに分割された前記各々のスライスを予測符号化方式を用いて符号化処理するため、各々のスライス内の複数のマクロブロックの画像データと予測符号化した画像データとの差を直交変換し、当該直交変換した結果を量子化する、直交変換・量子化部と、前記直交変換・量子化部の処理結果を逆量子化し、当該逆量子化して復元した画像データについて動き予測補償処理を行い、前記直交変換・量子化部への差分信号として出力する動き予測補償部と、前記直交変換され量子化された結果を可逆符号化するとき、前記マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属する場合、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行い、前記直交変換・量子化部の処理結果を可逆符号化する可逆符号化部と、前記可逆符号化部で符号化された画像データを記憶するバッファと、符号化対象のマクロブロックがスライスの境界に位置するか否かを検出するスライス境界検出部と、前記各々のスライス内の複数のマクロブロックの画像データの量子化量を算出し、前記バッファのレート制御を行う量子化制御部と、を有し、前記量子化制御部は、前記スライス境界検出部が前記符号化対象のマクロブロックが前記スライスの境界に位置すると検出したとき、当該マクロブロックにおける画像の複雑度を示すアクティビティと当該マクロブロックにおける参照量子化スケールコードとを乗算して第１の量子化パラメータを算出し、当該第１の量子化パラメータを関数として、０から１の範囲の値をとる重み付け係数を算出し、当該算出した重み付け係数を前記第１の量子化パラメータに乗じて第２の量子化パラメータを求め、当該求めた第２の量子化パラメータを用いて前記直交変換・量子化部における量子化を制御して、前記バッファのレートを制御する。
【００１２】
可逆符号化部は、直交変換され、量子化された結果を可逆符号化するとき、マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属する場合、マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行い、直交変換された処理結果を可逆符号化する。
スライス境界検出部は、符号化対象のマクロブロックがスライスの境界に位置するか否かを検出する。
量子化制御部は、スライス境界検出部が符号化対象のマクロブロックがスライスの境界に位置すると検出したとき、マクロブロックにおける画像の複雑度を示すアクティビティと、マクロブロックにおける参照量子化スケールコードとを乗算して第１の量子化パラメータを算出し、第１の量子化パラメータを関数として、０から１の範囲の値をとる重み付け係数を算出し、算出した係数を第１の量子化パラメータに乗じて第２の量子化パラメータを求め、求めた第２の量子化パラメータを用いて直交変換・量子化部における量子化を制御して、バッファのレートを制御する。
【００１３】
第２の発明の画像処理方法は、１画像データを各々複数のマクロブロックを有する複数のスライスに分割された前記各々のスライスを予測符号化方式を用いて符号化処理するため、前記各々のスライス内の複数のマクロブロックの画像データの量子化量を算出し、符号化データを記憶するバッファのレート制御を行う量子化制御ステップと、前記各々のスライス内の複数のマクロブロックの画像データと予測符号化した画像データとの差を直交変換し、当該直交変換した結果を量子化する、直交変換・量子化ステップと、前記直交変換・量子化ステップでの処理結果を逆量子化し、当該逆量子化して復元した画像データについて動き予測補償処理を行い、前記直交変換・量子化部への差分信号として出力する動き予測補償ステップと、前記直交変換され量子化された結果を可逆符号化するとき、前記マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属する場合、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行い、前記直交変換・量子化部の処理結果を可逆符号化する可逆符号化ステップと、符号化対象のマクロブロックがスライスの境界に位置するか否かを検出するスライス境界検出ステップとを有し、前記量子化制御ステップにおいて、前記スライス境界検出ステップにより前記符号化対象のマクロブロックが前記スライスの境界に位置すると検出されたとき、当該マクロブロックにおける画像の複雑度を示すアクティビティと当該マクロブロックにおける参照量子化スケールコードとを乗算して第１の量子化パラメータを算出し、当該第１の量子化パラメータを関数とし、０から１の範囲の値をとる重み付け係数を算出し、当該算出した重み付け係数を前記第１の量子化パラメータに乗じて第２の量子化パラメータを求め、当該求めた第２の量子化パラメータによって前記直交変換・量子化ステップにおける量子化を制御して、前記バッファのレートを制御する。
【００１７】
【発明の実施の形態】
〔本発明の関連技術〕
図１は、本発明の関連技術に係わる符号化装置５００の機能ブロック図である。
図１に示す符号化装置５００において、入力となる画像信号は、まず、Ａ／Ｄ変換回路５０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替え回路５０２においてフレーム画像データの並べ替えが行われる。
そして、イントラ符号化が行われる画像に関しては、フレーム画像データの全体が直交変換回路５０４に入力され、直交変換回路５０４において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路５０４の出力となる変換係数は、量子化回路５０５において量子化処理される。
量子化回路５０５の出力となる、量子化された変換係数は、可逆符号化回路５０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ５０７に蓄積され、圧縮された画像データとして出力される。
【００１８】
量子化回路５０５における量子化レートは、レート制御回路５１２によって制御される。同時に、量子化回路５０５の出力となる、量子化された変換係数は、逆量子化回路５０８において逆量子化され、続いて逆直交変換回路５０９において逆直交変換処理が施され、この過程でデブロックフィルタ５１３においてブロック歪みが除去されて復号された参照フレーム画像データが得られる。当該参照フレーム画像データは、フレームメモリ５１０に蓄積される。
ここで、レート制御回路５１２は、後述するようにＱＰ算出回路５４１で生成された量子化パラメータＱＰを基に、量子化レートを制御する。
ＱＰ算出回路５４１は、例えば、ＭＰＥＧ２のＴｅｓｔＭｏｄｅｌ５（以下、ＴＭ５とも記す）に従って、後述するように、量子化スケールコードｍｑｕａｎｔｊを生成し、これを量子化パラメータＱＰとしてレート制御回路５１２に出力する。
【００１９】
一方、インター符号化が行われる画像に関しては、画面並べ替え回路５０２から出力されたフレーム画像データが、動き予測・補償回路５１１に入力される。同時に参照フレーム画像データがフレームメモリ５１０より読み出され、動き予測・補償回路５１１によって動きベクトルが生成され、当該動きベクトルおよび参照フレーム画像データを用いて予測フレーム画像データが生成される。予測フレーム画像データが演算回路５０３に出力され、演算回路５０３において、画面並べ替え回路５０２からのフレーム画像データと、動き予測・補償回路５１１からの予測フレーム画像データとの差分を示す画像データが生成され、当該画像データが直交変換回路５０４に出力される。
また、動き補償・予測回路５１１は、動きベクトルを可逆符号化回路５０６に出力し、可逆符号化回路５０６において、動きベクトルが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像信号のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像信号と同様である。
【００２０】
図２は、図１に示す符号化装置５００に対応する復号回路４９９の機能ブロック図である。
図２に示す復号回路４９９では、入力となる画像データがバッファ６１３に格納された後、可逆復号回路６１４に出力される。そして、可逆復号回路６１４において、フレーム画像データのフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレーム画像データがインター符号化されたものである場合には、可逆復号回路６１４において、フレーム画像データのヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償回路６２０に出力される。
【００２１】
可逆復号回路６１４の出力となる、量子化された変換係数は、逆量子化回路６１５に入力され、ここで逆量子化される。当該逆量子化された変換係数には、逆直交変換回路６１６において、定められたフレーム画像データのフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレーム画像データがイントラ符号化されたものである場合には、逆直交変換処理が施されたフレーム画像データは、デブロックフィルタ６２１でブロック歪みが除去された後に画面並べ替えバッファ６１８に格納され、Ｄ／Ａ変換回路６１９によるＤ／Ａ変換処理を経て出力される。
【００２２】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路６２０において、動きベクトルＭＶ及びフレームメモリ６２１に格納された参照フレーム画像データを基に予測フレーム画像データが生成され、この予測フレーム画像データと、逆直交変換回路６１６から出力されたフレーム画像データとが加算器６１７において加算される。その他の処理はイントラ符号化されたフレーム画像データと同様である。
【００２３】
ところで、ＭＰＥＧ２のＴＭ５で定められている符号量制御方式のステップ３においては、マクロブロック毎の適応量子化を行う方法が定められている。すなわち、以下に定める方法により、参照量子化スケールコードを、視覚的に劣化の目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクティビティを変化させている。
【００２４】
以下では、ＭＰＥＧ２のＴＭ５において定められているレート制御方式の、ステップ１〜ステップ３について述べる。
当該ステップ１〜ステップ３の処理は、例えば、図１に示すＱＰ算出回路５４１で行われる。
ステップ１では、ＧＯＰ(Group Of Pictures) 内の各ピクチャに対する割当ビット量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割当られるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下の２つの仮定を用いて、各ピクチャへの符号量割当を行っているのが特徴である。
第１の仮定は、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。
そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを表す媒介変数ＸＩ，ＸＰ，ＸＢ（Ｇｌｏｂａｌ Ｃｏｍｐｌｅｘｉｔｙ Ｍｅａｓｕｒｅ）を下記（１−１）により更新する。
この媒介変数により、次のピクチャを符号化する際の量子化スケールコードと発生符号量の関係を推定できる。
【００２５】
【数１】
ここで、ＳＩ，ＳＰ，ＳＢは、ピクチャ符号化時の発生符号化ビット、ＱＩ，ＱＰ，ＱＢは、ピクチャ符号化時の平均量子化スケールコードである。
また、初期値は、目標符号量であるｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、下記（１−２），（１−３），（１−４）で示される値とする。
【００２７】
【数２】
【数３】
【数４】
第２の仮定は、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率ＫP ，ＫB が、下記（１−５）に定める値になる時、常に全体の画質が最適化されると仮定する。
【００３１】
【数５】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに量子化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善されるとともに、これを参照するＢピクチャの画質をも向上させることを想定している。
【００３３】
上記２つの仮定より、ＧＯＰ中の各ピクチャに対する割当符号量（ＴI ，ＴP，ＴB ）は、下記（１−６），（１−７），（１−８）で示される値となる。
下記（１−６）において、ｐｉｃｔｕｒｅ＿ｒａｔｅは、（当該シーケンスにおける、１秒あたり表示されるピクチャの数）を示している。
【００３４】
【数６】
【数７】
【数８】
ここで、ＮP ，ＮB は、ＧＯＰ内でまだ符号化されていない、Ｐ，Ｂピクチャの枚数である。
【００３８】
すなわち、まず、ＧＯＰ内の未符号化ピクチャのうち、割当対象となるピクチャと、異なるピクチャタイプのものに関しては、上述の画質最適化条件の元、そのピクチャの発生する符合量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。
次に、未符号化ピクチャ全体の発生する推定発生符号量が、割当対象ピクチャの何枚分の符号量に相当するかを求める。
例えば、上記（１−６）の、第１引数の分母第２項、Ｎp Ｘp ／ＸI ＫP は、ＧＯＰ内の、ＮP 枚の未符号化ピクチャが、Ｉピクチャに換算すると何枚分に換算するかを表すものであり、ＮP に、Ｐピクチャに対する発生符号量の、Ｉピクチャの発生符号量に対する割合ＳP ／ＳI を乗じ、上記（１−１）、上記（１−５）を用いて、ＸI ，ＸP ，ＫB で表すことにより得られる。
【００３９】
割当対象ピクチャに対するビット量は、未符号化ピクチャに対する割当ビット量Ｒを、この枚数で割ることによって得られる。但し、ヘッダなどに、固定的に必要となる符号量を考慮して、その値に下限を設定している。
このようにして求めた割当符号量を基にして、各ピクチャをステップ１，２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割当られる符号量Ｒを、下記（１−９）により更新する。
【００４０】
【数９】
また、ＧＯＰの最初のピクチャを符号化する際には、以下の（１−１０）により、Ｒを更新する。
【００４２】
【数１０】
ここで、Ｎは、ＧＯＰ内のピクチャ数である。また、シーケンス最初でのＲの初期値は０とする。
次に、ステップ２について述べる。
ステップ２では、ステップ１で求めた、各ピクチャに対する割当ビット量（ＴI，ＴP ，ＴB ）を、実際の符号量に一致させるため、各ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御により求める。
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を下記（１−１１），（１−１２），（１−１３）により求める。
【００４４】
【数１１】
【数１２】
【数１３】
ｄ0I ,ｄ0P ,ｄ0Bは、各仮想バッファの初期占有量、Ｂj は、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢｃｎｔは、１ピクチャ内のマクロブロック数である。
【００４８】
各ピクチャ符号化終了時の仮想バッファ占有量（ｄMBcntx I ，ｄMBcntx p ，ｄMBcntx B ）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 I ，ｄ0 P ，ｄ0 B ）として用いられる。
次に、ｊ番目のマクロブロックに対する量子化スケールコードＱj を下記（１−１４）により算出する。
ここで、ｄj は、ｄj I ，ｄj P ，ｄj B を用いて下記式１−１１〜式１−１３のように定義される。
【００４９】
【数１４】
ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御する媒介変数で、下記（１−１５）により与えられる。
【００５１】
【数１５】
なお、シーケンスの最初における仮想バッファ初期値は下記（１−１６）により与えられる。
【００５３】
【数１６】
次に、ステップ３について述べる。
アクティビティは、予測誤差でなく、原画の輝度信号画素値を用い、フレームＤＣＴモードにおける４個の８×８ブロックと、フィールドＤＣＴ符号化モードにおける４個の８×８ブロックとの合計８個のブロックの画素値を用いて、下記（１−１７），（１−１８），（１−１９）により与えられる。
下記（１−１８）に示すｖａｒ＿ｓｂｌｋは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるに従って値が大きくなる。
【００５５】
【数１７】
【数１８】
【数１９】
ここでＰk は原画の輝度信号ブロック内画素値である。上記（１−１７）において最小値（ｍｉｎ）を採るのは、１６×１６のマクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
さらに、以下の（１−２０）により、その値が０．５〜２の範囲をとる正規化アクティビティＮａｃｔj を求める。
【００５９】
【数２０】
ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔj の平均値である。
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔj は、参照量子化スケールコードＱj を基に下記（１−２１）により与えられる。
【００６１】
【数２１】
そして、前述したように、ＱＰ算出回路５４１が、量子化スケールコードｍｑｕａｎｔｊを量子化パラメータＱＰとしてレート制御回路５１２に出力する。
ここで、上述したＱＰ算出回路５４１では、例えば、図３に示すように、スライス境界に位置するマクロブロックについても、上述した手法で、スライス境界以外に位置するマクロブロックと同様に、量子化パラメータＱＰを生成している。
【００６３】
ところで、図１に示す可逆符号化回路５０６では、上述したＪＶＴ符号化方式が採用する、ＣＡＢＡＣが規定するエントロピー符号化方式、動きベクトル符号化、及びイントラ予測においては、複数の画素データから構成されるブロックデータの処理を行う場合に、例えば、当該処理対象のブロックの近傍の所定のブロックの情報を用いて処理を行う。
但し、この場合に、処理対象のブロックの上記近傍の所定のブロックが、当該処理対象のブロックと異なるスライスに属する場合には、当該近傍の所定のブロックの情報は用いずに、代替値を用いて処理を行う。このような代替値を用いた処理は、スライス境界に位置するブロックについて生じる。
しかしながら、このように代替値を用いて処理を行うと、代替値を用いたことによる処理精度の劣化を、直交変換によって防ぐことができず、スライス境界付近で顕著な画質劣化を生じてしまうという問題がある。
特に量子化パラメータＱＰの値が小さい場合に、この影響が大きくなる。
【００６４】
例えば、可逆符号化回路５０６においてＣＡＢＡＣが規定するエントロピー符号化が行われるが、当該エントロピー符号化において、画像圧縮情報における任意のシンボル要素について、過去の履歴に応じて、当該シンボルに対する適切なモデルが選択される。この場合に、隣接するシンボルの状態に応じたモデル選択を行うコンテクストモデル化が採用されている。
このコンテクストモデル化では、例えば、図４に示すマクロブロックＣについてのコンテキストを、マクロブロックＣに隣接するマクロブロックＡ，Ｂのシンボルを用いて決定する。
従って、例えば、マクロブロックＣがスライス境界に位置し、マクロブロックＡ，Ｂの少なくとも一方がブロックＣが属するスライスとは異なるスライスに属する場合に、そのマクロブロックＡ，Ｂのシンボルを使用できず、マクロブロックＣのコンテクスト決定に精度が劣化するという問題がある。
【００６５】
また、可逆符号化回路５０６において、動きベクトルの符号化が行われる。
この場合に、可逆符号化回路５０６は、例えば、図５に示すように、動き補償ブロックＥの予測動きベクトルを生成する場合に、動き補償ブロックＡ，Ｂ，Ｃ，Ｄを用いるが、これらのうち動き補償ブロックＣが、動き補償ブロックＥと異なるスライスに属する場合に、動き補償ブロックＣの代替値として動き補償ブロックＤを用いる。
そのため、動き補償ブロックＥの予測動きベクトルの生成精度が劣化するという問題がある。
【００６６】
また、可逆符号化回路５０６において、イントラ予測符号化が行われる。
可逆符号化回路５０６は、例えば、図６において、マクロブロックＢ１内の画素データａ〜ｐの予測値Ｐを生成する場合に、画素データＡ〜Ｌを用いる。
この場合に、例えば、画素データＥ〜Ｈが、マクロブロックＢ１が属するスライスとは異なるスライスに属する場合に、画素データＥ〜Ｈの代替値として画素データＤが用いられる。
そのため、予測値Ｐの生成精度が劣化するという問題がある。
【００６７】
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方法と符号化装置について説明する。
第１実施形態
図７は、本実施形態の通信システム１の概念図である。
図７に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置４９９とを有する。
符号化装置２が発明の符号化装置に対応している。
符号化装置２および復号装置４９９は、上述したＪＶＴ符号化方式に基づいて符号化および復号を行なう。
復号回路４９９は、図２を用いて前述したものと同じである。
【００６８】
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
なお、本実施形態では、符号化装置２におけるレート制御回路３２の量子化制御に特徴を有している。
【００６９】
〔符号化装置２〕
図８は、図７に示す符号化装置２の全体構成図である。
図８に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、動き予測・補償回路３６、デブロックフィルタ３７、スライス境界検出回路４０およびＱＰ算出回路４１を有する。
【００７０】
スライス境界検出回路４０が本発明の検出手段に対応し、ＱＰ算出回路４１が本発明のパラメータ生成手段に対応し、レート制御回路３２が本発明の量子化制御手段に対応し、レート制御回路３２および量子化回路２６が本発明の量子化手段に対応し、可逆符号化回路２７が本発明の符号化手段に対応している。
【００７１】
符号化装置２は、上述したように、例えば、可逆符号化回路２７において、ＣＡＢＡＣで規定されたエントロピー符号化方式、動きベクトル符号化、及びイントラ予測を行う。
本実施形態では、レート制御回路３２が、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて補正して、量子化をより細かく行うように新たな量子化パラメータＱＰ１を生成することを特徴としている。
【００７２】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えたフレーム画像データＳ２３を演算回路２４、動き予測・補償回路３６、スライス境界検出回路４０およびＱＰ算出回路４１に出力する。
【００７３】
演算回路２４は、フレーム画像データＳ２３がインター(Inter) 符号化される場合には、フレーム画像データＳ２３と、動き予測・補償回路３６から入力した予測フレーム画像データＳ３６ａとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
また、演算回路２４は、フレーム画像データＳ２３がイントラ(Intra) 符号化される場合には、フレーム画像データＳ２３を画像データＳ２４として直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
直交変換回路２５は、例えば、４×４のブロックを単位として直交変換を行う。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００７４】
可逆符号化回路２７は、画像データＳ２６をＣＡＢＡＣで規定されたエントロピー符号化および、イントラ予測符号化して可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
また、可逆符号化回路２７は、動き予測・補償回路３６から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
可逆符号化回路２７は、複数のマクロブロック（本発明の単位画像データ）から構成されるピクチャが、図３に示すように複数のスライス（本発明のモジュール）に分割され、当該複数のスライスの符号化処理を独立して並列に行う。これにより、画像圧縮処理を実時間に行うことを可能とする。
【００７５】
バッファ２８に格納された画像データは、変調等された後に送信される。
可逆符号化回路２７における上記エントロピー符号化では、画像データＳ２６内の任意のシンボル要素について、過去の履歴に応じて、当該シンボルに対する適切なモデルが選択される。この場合に、隣接するシンボルの状態に応じたモデル選択を行うコンテクストモデル化が採用されている。
可逆符号化回路２７は、例えば、前述した図４に示すマクロブロックＣのコンテキストを、マクロブロックＣに隣接するマクロブロックＡ，ＢがマクロブロックＣと同じスライスに属している場合に、マクロブロックＡ，Ｂのシンボルを用いて用いて生成する。
また、可逆符号化回路２７は、マクロブロックＡ，ＢがマクロブロックＣと異なるスライスに属している場合には、マクロブロックＡ，Ｂのシンボルの代わりに所定の代替データを用いて、マクロブロックＣのコンテキストを生成する。
【００７６】
また、可逆符号化回路２７は、例えば、図５に示すように、動き補償ブロックＡ，Ｂ，Ｃ，Ｄが動き補償ブロックＥと同じスライスに属する場合に、動き補償ブロックＡ，Ｂ，Ｃ，Ｄを用いて補償ブロックＥの予測動きベクトルを生成する。
一方、可逆符号化回路２７は、例えば、動き補償ブロックＣが動き補償ブロックＥと異なるスライスに属する場合に、動き補償ブロックＣの代替値データとして動き補償ブロックＤを用いて、補償ブロックＥの予測動きベクトルを生成する。
【００７７】
また、可逆符号化回路２７、例えば、図６に示すように、マクロブロックＢ１内の画素データａ〜ｐの予測値Ｐを、イントラ予測符号化により、画素データＡ〜ＬがマクロブロックＢ１と同じスライスに属する場合に、これらを用いて生成する。
一方、可逆符号化回路２７は、画素データＥ〜Ｈが、マクロブロックＢ１が属するスライスとは異なるスライスに属する場合に、画素データＥ〜Ｈの代替データとして画素データＤを用いて、予測値Ｐを生成する。
【００７８】
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これをデブロックフィルタ３７に出力する。
逆直交変換回路３０は、量子化され、デブロックフィルタ３７でブロック歪みが除去された画像データに上記直交変換の逆変換を施して生成したフレーム画像データをフレームメモリ３１に格納する。
【００７９】
レート制御回路３２は、バッファ２８から読み出した画像データ、ＱＰ算出回路４１から入力した量子化パラメータＱＰ、並びにスライス境界検出回路４０から入力したスライス境界検出信号Ｓ４０を基に、量子化回路２６における量子化の量子化スケールＳ３２を生成し、これを量子化回路２６に出力する。
レート制御回路３２は、スライス境界検出信号Ｓ４０が、処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて、下記式（２−１）の演算を行って新たな量子化パラメータＱＰ１を生成する。
そして、レート制御回路３２は、量子化パラメータＱＰ１を基に量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
なお、下記式（２−１）において、ｗは下記式（２−２）で示される。
また、下記式（２−１）は、ｗに量子化パラメータＱＰを乗じた値に対して、丸めによる整数化処理を行うことを示している。
【００８０】
【数２２】
【数２３】
すなわち、レート制御回路３２は、上記式（２−１）に示すように、スライス境界に位置するマクロブロックに対応する量子化パラメータＱＰに、上記式（２−２）で定義された重み係数ｗを乗じることで、他のマクロブロックに比してより低い量子化パラメータを割当て、これにより、より多くの符号量を割り当てる。これにより、スライス境界に位置するマクロブロックが、前述したように可逆符号化回路２７において隣接するマクロブロックの情報を用いないで符号化処理されることによる画質劣化を最小限に抑えながら、スライス毎の符号化処理を可能とする。
一方、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰをそのまま用いて量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
ここで、量子化パラメータが大きくなるに従って量子化スケールも大きくなり、量子化回路２６による量子化も粗くなる。
【００８３】
スライス境界検出回路４０は、符号化対象のマクロブロックと、当該マクロブロックの符号化処理に用いられる他のマクロブロックとが同じスライスに属するか否かを判断し、同じスライスに属すると判断した場合には、スライス境界に位置することを示すスライス境界検出信号Ｓ４０を生成し、異なるスライスに属すると判断した場合には、スライス境界に位置しないことを示すスライス境界検出信号Ｓ４０を生成する。
例えば、本実施形態では、符号化対象のマクロブロックの符号化処理に用いられる他のマクロブロックのピクチャ上での位置が、当該符号化対象のマクロブロックの位置に対応して所定の位置関係がある。なお、マクロブロックの位置は、そのアドレスを基に規定される。
そのため、スライス境界検出回路４０は、符号化対象のマクロブロックの位置が、当該マクロブロックに対応する上記他のマクロブロックの位置が、スライス境界を越えて位置するものであるか否かを基に、上記判断を行う。
一例として、スライス境界検出回路４０は、図３において、マクロブロックが、ピクチャ上でスライス境界の一方の側（図３では下側）に隣接している場合に、スライス境界に位置すると判断し、そうでない場合に、スライス境界に位置しないと判断する。
【００８４】
ＱＰ算出回路４１は、本発明の関連技術において前述したように、ＭＰＥＧ２のＴＭ５のステップ１〜ステップ３に従って、マクロブロック毎に量子化パラメータＱＰを生成し、これをレート制御回路３２に出力する。
【００８５】
動き予測・補償回路３６は、フレームメモリ３１からの画像データＳ３１と、画面並べ替え回路２３からの画像データとを基に動き予測・補償処理を行って、動きベクトルＭＶおよび参照画像データＳ３６ａを生成する。
動き予測・補償回路３６は、動きベクトルＭＶを可逆符号化回路２７に出力し、参照画像データＳ３６ａを演算回路２４に出力する。
【００８６】
次に、図８に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われる。
そして、スライス境界検出回路４０は、前述したように、図３において、符号化対象のマクロブロックが、ピクチャ上でスライス境界の一方の側（図３では下側）に隣接している場合に、スライス境界に位置すると判断し、そうでない場合に、スライス境界に位置しないと判断し、その結果を示すスライス境界検出信号Ｓ４０をレート制御回路３２に出力する。
また、ＱＰ算出回路４１が、前述したように、ＭＰＥＧ２のＴＭ５のステップ１〜ステップ３に従って、マクロブロック毎に量子化パラメータＱＰを生成し、これをレート制御回路３２に出力する。
【００８７】
イントラ符号化が行われるフレーム画像データに関しては、フレーム画像データ全体の画像情報が直交変換回路２５に入力され、直交変換回路２５において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路２５の出力となる変換係数は、量子化回路２６において量子化処理される。
量子化回路２６は、レート制御回路３２からの制御に基づいて、量子化パラメータＱＰを基に規定された量子化スケールで量子化を行う。
このとき、レート制御回路３２は、スライス境界検出信号Ｓ４０が、処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて、上記式（２−１）の演算を行って新たな量子化パラメータＱＰ１を生成する。
そして、レート制御回路３２は、量子化パラメータＱＰ１を基に量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
【００８８】
量子化回路２６の出力となる、量子化された変換係数は、可逆符号化回路２７に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ２８に蓄積され、圧縮された画像データとして出力される。
同時に、量子化回路２６の出力となる、量子化された変換係数は、逆量子化回路２９に入力され、さらに逆直交変換回路３０において逆直交変換処理が施されて、復号されたフレーム画像データとなり、そのフレーム画像データがフレームメモリ３１に蓄積される。
【００８９】
一方、インター符号化が行われる画像に関しては、先ず、そのフレーム画像データＳ２３が動き予測・補償回路３６に入力される。また、参照画像のフレーム画像データＳ３１がフレームメモリ３１より読み出され、動き予測・補償回路３６に出力される。
そして、動き予測・補償回路３６において、参照画像のフレーム画像データＳ３１を用いて、動きベクトルＭＶおよび予測フレーム画像データＳ３６ａが生成される。
【００９０】
そして、演算回路２４において、画面並べ替え回路２３からのフレーム画像データと、動き予測・補償回路３６からの予測フレーム画像データＳ３６ａとの差分信号である画像データＳ２４が生成され、当該画像データＳ２４が直交変換回路２５に出力される。
そして、可逆符号化回路２７において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像データと同様である。
【００９１】
以上説明したように、符号化装置２によれば、レート制御回路３２において、スライス境界に位置するマクロブロックについては、量子化パラメータＱＰに重み付け係数Ｑを乗じることで、より小さい量子化パラメータＱＰ１を割り当て、これにより、当該マクロブロックにより多くの符号量を割り当て、細かく量子化を行う。
そのため、本発明の関連技術で説明したように、可逆符号化回路２７において、当該マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属し、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行っても、当該マクロブロックの符号化による画質劣化を抑制できる。すなわち、スライス境界での顕著な画質劣化を抑制でき、画像全体に渡って高品質な画像を提供できる。
【００９２】
第２実施形態
ところで、スライス境界における画質劣化は、量子化パラメータＱＰが大きい時に生じ、逆に、量子化パラメータＱＰが小さい時には、前述した式（２−１）に示す処理を行うことで、逆に、後続のマクロブロックに割り当てる符号量を余計に使ってしまうことになり、画質劣化に繋がる場合がある。
そのため、本実施形態では、図９に示すように、上記式（２−１），（２−２）に示す重み付け係数ｗを、下記式（２−３）に示すように、量子化パラメータＱＰの関数として定義する。
レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置することを示す場合に、上記式（２−１），（２−２），（２−３）を基に、新たな量子化パラメータＱＰ１を生成する。
【００９３】
【数２４】
すなわち、レート制御回路３２は、量子化パラメータＱＰが所定の閾値ＱＰthreshold 以下である場合には、重み付け係数ｗを「１．０」とし、量子化パラメータＱＰが閾値ＱＰthreshold を超えた場合には、その大きさに応じて重み付け係数ｗを単調減少させる。
【００９５】
これにより、画質劣化に影響を及ぼす場合にのみ、スライス境界のマクロブロックに多くの符号量を割り当てられることができ、限りある符号量を有効に使用できる。
【００９６】
第３実施形態
前述した第１実施形態では、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰそのまま用いて量子化スケールを決定する場合を例示した。
本実施形態では、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、下記式（２−４），（２−５）に示すように、ＱＰ算出回路４１から入力した量子化パラメータＱＰに重み付け係数ｗ’を乗じた値に対して丸めによる整数化処理を行って新たな量子化パラメータＱＰ２を生成する。
【００９７】
【数２５】
【数２６】
そして、レート制御回路３２は、スライス境界に位置しないマクロブロックについて、量子化パラメータＱＰ２を用いて量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
このように、スライス境界に位置しないマクロブロックについて、式（２−４）を基に生成された量子化パラメータＱＰ２を用いて量子化を制御することで、画面（ピクチャ）全体に渡る発生符号量を増加させることなく、スライス境界における画質劣化を低減することが可能である。
ここで、式（２−４），（２−５）に示す重み付け係数ｗ’も、式（２−１）に示す重み付け係数ｗと同様、量子化パラメータＱＰの関数として与えられる。ｗ及びｗ’の、スライス全体に渡る平均値は１である。
【０１００】
第４実施形態
本実施形態では、レート制御回路３２が、上記式（２−１），（２−２）に代えて、下記式（２−６），（２−７）に従って、量子化パラメータＱＰ３を生成する。
【０１０１】
【数２７】
【数２８】
図１０は、本実施形態の量子化パラメータＱＰ３の生成における重み付け係数ｋの規定方法を説明するための図であり、複数のスライスに分割されたピクチャを示している。
例えば、量子化パラメータＱＰが一定であるとすると、図１０において、符号化対象のマクロブロックの位置のスライス境界からの距離（垂直方向距離）に応じて、近い順に、レベル０、レベル１、レベル２…とする。
レベルｘのマクロブロックに対する重み係数ｋは、上記式（２−７）に示すように、ｌを引数とする関数Ｆとして与えられる。
ここで、ｘは、マクロブロックとスライス境界との距離に対応している。
【０１０４】
当該関数Ｆは、例えば、図１１（Ａ）に示すように、ｘに応じてｋを単調増
加させるものでもよいし、図１１（Ｂ）に示すように、ｘがある閾値ｘthreshold 以下の時には単調増加で、閾値ｘthreshold を越えた場合には、一定値を取るものでもよい。
いずれの場合も、スライス全体に渡るｋ（ｘ）の平均値を１とすることで、画面全体に渡る符号量を増加させることなく、スライス境界における画質劣化を低減することが可能である。
【０１０５】
また、関数ｆは、量子化パラメータＱＰの関数でもあり、ＱＰの値がある閾値を下回った場合には、その値ｋを１．０とする。
以上述べてきた方法を用いることにより、スライス境界における画質劣化を低減しながら、一画面を複数のスライスに分割し、並列処理を行うことで、実時間で動作することができる。
【０１０６】
【発明の効果】
本発明によれば、画質の顕著な劣化を抑制できる画像処理装置、符号化装置およびそれらの方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の関連技術に係わる符号化装置の機能ブロック図である。
【図２】図２は、本発明の関連技術に係わる復号装置の機能ブロック図である。
【図３】図３は、ＪＶＴ符号化方式におけるスライスおよびマクロブロックの概念を説明するための図である。
【図４】図４は、ＪＶＴ画像圧縮情報におけるエントロピー符号化を説明するための図である。
【図５】図５は、ＪＶＴ符号化方式における動きベクトル符号化を説明するための図である。
【図６】図６は、ＪＶＴ符号化方式におけるイントラ予測符号化を説明するための図である。
【図７】図７は、本発明の第１実施形態に係わる符号化装置を説明するための図である。
【図８】図８は、図７に示す符号化装置の構成図である。
【図９】図９は、本発明の第２実施形態における量子化パラメータの決定方法を説明するための図である。
【図１０】図１０は、本発明の第４実施形態の量子化パラメータの生成方法を説明するための図である。
【図１１】図１１は、本発明の第４実施形態の量子化パラメータの生成方法を説明するための図である。
【符号の説明】
１…通信システム、２…符号化装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、３６…動き予測・補償回路、４０…スライス境界検出回路、４１…ＱＰ算出回路
Claims (2)
- １画像データを各々複数のマクロブロックを有する複数のスライスに分割された前記各々のスライスを予測符号化方式を用いて符号化処理するため、
各々のスライス内の複数のマクロブロックの画像データと予測符号化した画像データとの差を直交変換し、当該直交変換した結果を量子化する、直交変換・量子化部と、
前記直交変換・量子化部の処理結果を逆量子化し、当該逆量子化して復元した画像データについて動き予測補償処理を行い、前記直交変換・量子化部への差分信号として出力する動き予測補償部と、
前記直交変換され量子化された結果を可逆符号化するとき、前記マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属する場合、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行い、前記直交変換・量子化部の処理結果を可逆符号化する可逆符号化部と、
前記可逆符号化部で符号化された画像データを記憶するバッファと、
符号化対象のマクロブロックがスライスの境界に位置するか否かを検出するスライス境界検出部と、
前記各々のスライス内の複数のマクロブロックの画像データの量子化量を算出し、前記バッファのレート制御を行う量子化制御部と、
を有し、
前記量子化制御部は、前記スライス境界検出部が前記符号化対象のマクロブロックが前記スライスの境界に位置すると検出したとき、当該マクロブロックにおける画像の複雑度を示すアクティビティと当該マクロブロックにおける参照量子化スケールコードとを乗算して第１の量子化パラメータを算出し、当該第１の量子化パラメータを関数として、０から１の範囲の値をとる重み付け係数を算出し、当該算出した重み付け係数を前記第１の量子化パラメータに乗じて第２の量子化パラメータを求め、当該求めた第２の量子化パラメータを用いて前記直交変換・量子化部における量子化を制御して、前記バッファのレートを制御する
画像処理装置。 - １画像データを各々複数のマクロブロックを有する複数のスライスに分割された前記各々のスライスを予測符号化方式を用いて符号化処理するため、
前記各々のスライス内の複数のマクロブロックの画像データの量子化量を算出し、符号化データを記憶するバッファのレート制御を行う量子化制御ステップと、
前記各々のスライス内の複数のマクロブロックの画像データと予測符号化した画像データとの差を直交変換し、当該直交変換した結果を量子化する、直交変換・量子化ステップと、
前記直交変換・量子化ステップでの処理結果を逆量子化し、当該逆量子化して復元した画像データについて動き予測補償処理を行い、前記直交変換・量子化部への差分信号として出力する動き予測補償ステップと、
前記直交変換され量子化された結果を可逆符号化するとき、前記マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属する場合、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行い、前記直交変換・量子化部の処理結果を可逆符号化する可逆符号化ステップと、
符号化対象のマクロブロックがスライスの境界に位置するか否かを検出するスライス境界検出ステップと
を有し、
前記量子化制御ステップにおいて、前記スライス境界検出ステップにより前記符号化対象のマクロブロックが前記スライスの境界に位置すると検出されたとき、
当該マクロブロックにおける画像の複雑度を示すアクティビティと当該マクロブロックにおける参照量子化スケールコードとを乗算して第１の量子化パラメータを算出し、
当該第１の量子化パラメータを関数とし、０から１の範囲の値をとる重み付け係数を算出し、当該算出した重み付け係数を前記第１の量子化パラメータに乗じて第２の量子化パラメータを求め、
当該求めた第２の量子化パラメータによって前記直交変換・量子化ステップにおける量子化を制御して、前記バッファのレートを制御する
画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003018251A JP4277530B2 (ja) | 2003-01-28 | 2003-01-28 | 画像処理装置および符号化装置とそれらの方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003018251A JP4277530B2 (ja) | 2003-01-28 | 2003-01-28 | 画像処理装置および符号化装置とそれらの方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004235683A JP2004235683A (ja) | 2004-08-19 |
| JP4277530B2 true JP4277530B2 (ja) | 2009-06-10 |
Family
ID=32948434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003018251A Expired - Fee Related JP4277530B2 (ja) | 2003-01-28 | 2003-01-28 | 画像処理装置および符号化装置とそれらの方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4277530B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4517963B2 (ja) * | 2005-07-15 | 2010-08-04 | ソニー株式会社 | 符号化装置、符号化方法、プログラムおよび記録媒体 |
| JP5389205B2 (ja) * | 2006-04-27 | 2014-01-15 | キヤノン株式会社 | 画像符号化装置、画像符号化方法、プログラム及び記憶媒体 |
| JP5002286B2 (ja) * | 2006-04-27 | 2012-08-15 | キヤノン株式会社 | 画像符号化装置、画像符号化方法、プログラム及び記憶媒体 |
| WO2010029850A1 (ja) * | 2008-09-09 | 2010-03-18 | 日本電気株式会社 | 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、及びそのプログラム |
| JP5481251B2 (ja) * | 2010-03-31 | 2014-04-23 | 日立コンシューマエレクトロニクス株式会社 | 画像符号化装置 |
| JP5979405B2 (ja) * | 2011-03-11 | 2016-08-24 | ソニー株式会社 | 画像処理装置および方法 |
| JP5982734B2 (ja) * | 2011-03-11 | 2016-08-31 | ソニー株式会社 | 画像処理装置および方法 |
| JP6217997B2 (ja) * | 2016-07-25 | 2017-10-25 | ソニー株式会社 | 画像処理装置および方法 |
-
2003
- 2003-01-28 JP JP2003018251A patent/JP4277530B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004235683A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10148966B2 (en) | Video encoding method and apparatus, and video decoding apparatus | |
| RU2694012C1 (ru) | Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений | |
| KR101984764B1 (ko) | 영상 부호화/복호화 장치 및 방법 | |
| KR101538704B1 (ko) | 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치 | |
| US7792193B2 (en) | Image encoding/decoding method and apparatus therefor | |
| US8396311B2 (en) | Image encoding apparatus, image encoding method, and image encoding program | |
| CN1949877B (zh) | 自适应量化控制器及其方法 | |
| JP4247680B2 (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 | |
| KR101960470B1 (ko) | 오프라인 cabac을 지원하는 비디오 코딩 프로세스의 비트 예측 기반 비트 레이트 컨트롤 방법 및 그 장치 | |
| JP2001145113A (ja) | 画像情報変換装置及び方法 | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP4254147B2 (ja) | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 | |
| JP4214771B2 (ja) | 画像処理装置およびその方法と符号化装置 | |
| JP4277530B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| KR101630871B1 (ko) | 인트라 예측 모드 결정 방법 및 장치 | |
| JP5800077B2 (ja) | 動画像復号方法 | |
| CA2895855C (en) | Video encoding and decoding apparatus and method using quantization in sub-blocks | |
| KR101893946B1 (ko) | 트랜스코딩 방법 및 장치 | |
| JP2004165894A (ja) | 符号化器のビットレート制御方法 | |
| JP4983908B2 (ja) | 復号装置及び方法 | |
| JP4926912B2 (ja) | 映像符号化装置及び方法 | |
| JP5790722B2 (ja) | 動画像符号化方法 | |
| JP2011066592A (ja) | 符号化モード選択方法，符号化モード選択装置および符号化モード選択プログラム | |
| JP4292658B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| KR20150139354A (ko) | 비디오 부호화/복호화를 위한 인터 예측 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090302 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |