JP4214771B2 - 画像処理装置およびその方法と符号化装置 - Google Patents
画像処理装置およびその方法と符号化装置 Download PDFInfo
- Publication number
- JP4214771B2 JP4214771B2 JP2002360885A JP2002360885A JP4214771B2 JP 4214771 B2 JP4214771 B2 JP 4214771B2 JP 2002360885 A JP2002360885 A JP 2002360885A JP 2002360885 A JP2002360885 A JP 2002360885A JP 4214771 B2 JP4214771 B2 JP 4214771B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- circuit
- image data
- image
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
【０００１】
【発明の属する技術分野】
本発明は、量子化パラメータを適切に規定できる画像処理装置およびその方法と符号化装置に関する。
【０００２】
【従来の技術】
近年、画像データとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＥＰＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。
ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。
【０００５】
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ. ２６Ｌ（ＩＴＵ−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌ規格ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ Ｍｏｄｅｌ ｏｆ Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇとして行われている。
【０００６】
このようなＭＰＥＧおよびＨ．２６Ｌ規格の符号化装置では、画像の局所的な情報を利用することにより、効率の良い符号化を実現している。
画像には、画像中で複雑な部分は、他の部分よりも量子化を粗くして符号化しても、肉眼では画質劣化が認識され難いという性質がある。
従って、上記符号化装置では、画像を複数の部分に分け、各部分について、画像の複雑度を検出し、その検出結果を基に、複雑な画像の部分は粗く量子化し、そうでない部分は細かく量子化して、画質劣化の影響を抑えながら、データ量を削減している。
このような画像の複雑度の情報は、アクティビティ(activity)と呼ばれている。
上記符号化装置では、量子化対象の画像データのアクティビティを算出し、当該アクティビティに基づいて、量子化スケールを規定する量子化パラメータを生成している。
【０００７】
【発明が解決しようとする課題】
ところで、上述したＨ. ２６Ｌ規格では、量子化パラメータが１増加するに従って粗さを１．１２倍（１２％増）にして動画像の画像データを量子化すること（Ｐｅｒｉｏｄｉｃ Ｑｕａｎｔｉｚａｔｉｏｎ）が規定されている。
従って、このことを考慮して、上記アクティビティを基に上記量子化パラメータを生成する必要がある。
【０００８】
本発明はかかる事情に鑑みてなされたものであり、量子化パラメータが所定の単位量だけ増加すると動画像の画像データが量子化される粗さがｒ倍になる場合に、画像データの複雑度を適切に反映させて量子化パラメータの変化量を規定できる画像処理装置およびその方法と符号化装置とを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像処理装置は、画像データの複雑度の指標となる指標データに基づいて生成される、量子化スケールを規定する量子化パラメータが所定の単位量だけ変化すると動画像の画像データが量子化される粗さが所定の割合だけ変化する場合に、前記量子化パラメータが変化した量を示す変化量データを生成する画像処理装置であって、前記画像データの第１のブロック内に規定された複数の第２のブロックを単位として当該第２のブロック内の画素データの分散を示す分散データを算出し、複数の前記第２のブロックについて算出した前記分散データのうち最小の前記分散データを所定の範囲内に収まるように正規化した指標データを生成する指標データ生成手段と、前記指標データが前記所定の割合だけ変化すると前記変化量データが前記所定の単位量だけ変化するように前記指標データと前記変化量データとの対応関係を規定し、当該規定に基づいて、前記指標データ生成手段が生成した前記指標データに対応する前記変化量データを取得する変化量データ取得手段と符号化対象の前記画像データに割り当てられた符号量を基に、ＭＰＥＧ２ ＴｅｓｔＭｏｄｅｌで定められている符号量制御方式によって前記第１のブロック単位で求められた量子化スケールコードである参照データと、前記変化量データ取得手段が取得した前記変化量データとを加算して前記量子化パラメータを生成する量子化パラメータ生成手段と、を有する。
【００１４】
【発明の実施の形態】
〔本発明の関連技術〕
図１は、本発明の関連技術に係わる符号化装置５００の機能ブロック図である。
図１に示す符号化装置５００において、入力となる画像信号は、まず、Ａ／Ｄ変換回路５０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替え回路５０２においてフレーム画像データの並べ替えが行われる。
そして、イントラ符号化が行われる画像に関しては、フレーム画像データの全体が直交変換回路５０４に入力され、直交変換回路５０４において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路５０４の出力となる変換係数は、量子化回路５０５において量子化処理される。
量子化回路５０５の出力となる、量子化された変換係数は、可逆符号化回路５０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ５０７に蓄積され、圧縮された画像データとして出力される。
量子化回路５０５における量子化レートは、レート制御回路５１２によって制御される。同時に、量子化回路５０５の出力となる、量子化された変換係数は、逆量子化回路５０８において逆量子化され、続いて逆直交変換回路５０９において逆直交変換処理が施され、デブロックフィルタ５１３においてブロック歪みが除去されて復号された参照フレーム画像データが得られる。当該参照フレーム画像データは、フレームメモリ５１０に蓄積される。
【００１５】
一方、インター符号化が行われる画像に関しては、画面並べ替え回路５０２から出力されたフレーム画像データが、動き予測・補償回路５１１に入力される。同時に参照フレーム画像データがフレームメモリ５１０より読み出され、動き予測・補償回路５１１によって動きベクトルが生成され、当該動きベクトルおよび参照フレーム画像データを用いて予測フレーム画像データが生成される。予測フレーム画像データが演算回路５０３に出力され、演算回路５０３において、画面並べ替え回路５０２からのフレーム画像データと、動き予測・補償回路５１１からの予測フレーム画像データとの差分を示す画像データが生成され、当該画像データが直交変換回路５０４に出力される。
また、動き補償・予測回路５１１は、動きベクトルを可逆符号化回路５０６に出力し、可逆符号化回路５０６において、動きベクトルが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像信号のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像信号と同様である。
【００１６】
図２は、図１に示す符号化装置５００に対応する復号回路４９９の機能ブロック図である。
図２に示す復号回路４９９では、入力となる画像データがバッファ６１３に格納された後、可逆復号回路６１４に出力される。そして、可逆復号回路６１４において、フレーム画像データのフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレーム画像データがインター符号化されたものである場合には、可逆復号回路６１４において、フレーム画像データのヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償装置６２０に出力される。
【００１７】
可逆復号回路６１４の出力となる、量子化された変換係数は、逆量子化回路６１５に入力され、ここで逆量子化される。当該逆量子化された変換係数には、逆直交変換回路６１６において、定められたフレーム画像データのフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレーム画像データがイントラ符号化されたものである場合には、逆直交変換処理が施されたフレーム画像データは、デブロックフィルタ６２１でブロック歪みが除去された後に画面並べ替えバッファ６１８に格納され、Ｄ／Ａ変換回路６１９によるＤ／Ａ変換処理を経て出力される。
【００１８】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路６２０において、動きベクトルＭＶ及びフレームメモリ６２１に格納された参照フレーム画像データを基に予測フレーム画像データが生成され、この予測フレーム画像データと、逆直交変換回路６１６から出力されたフレーム画像データとが加算器６１７において加算される。その他の処理はイントラ符号化されたフレーム画像データと同様である。
【００１９】
以下、Ｈ．２６Ｌ規格が規定する逆直交変換処理、及び逆量子化処理について述べる。
Ｈ．２６Ｌ規格では、逆量子化処理を行なう場合に、４×４直交変換係数を、図３に示す順番で逆スキャンする。図３において、「０」〜「１５」は、４×４のマトリクス状に位置する合計１６個の画素位置に対応した直交変換係数を示している。
【００２０】
図４に示すように、１６×１６イントラマクロブロック２００においては、当該マクロブロック２００に含まれる１６個の４×４直交変換ブロック２０１のそれぞれにおいて直交変換を施した後、その輝度の位置「０」に対応するＤＣ成分である輝度ＤＣ係数のみを集めて再び４×４ブロック２０２を生成し、これに対して直交変換が施される。
そして、４×４ブロック２０２は、図３で説明した順番でスキャンされる。
また、４×４直交変換ブロック２０１内の残された輝度の「１」〜「１５」で示されるＡＣ成分である輝度ＡＣ係数は、２番目の位置（「１」の位置）から順に、図３に示された方法により、ジグザグスキャンされる。
【００２１】
また、１６×１６イントラマクロブロックにおける色差信号成分の符号化方式における逆量子化処理では、図５に示すように、まず、２×２ブロック２１０内の色差ＤＣ係数がラスターの順でスキャンされる。次に４×４色差ブロック２１１内の残された「１」〜「１５」の色差ＡＣ係数は、図３に示す２番目の位置（「１」の位置）から順にジグザグスキャンを行う。
【００２２】
量子化のパラメータであるＱＰ値としては、０〜５１の５２の異なる値が設定される。
色差に使われるＱＰｃ値は輝度のＱＰｙ値と対応づけて、図６に示すように定義されている。
ＱＰ値は６増加する毎に量子化スケールが２倍になるよう設定されている（Ｐｅｒｉｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎ）。すなわち、ＱＰ値が１大きくなる毎に量子化スケールが約１２％増加する（１．１２倍になる）。
【００２３】
後述の計算式に用いられる係数Ｒ（ｍ，ｉ，ｊ）は下記（１−１）に示す擬似コードを用いて算出される。
【００２４】
【数１】
【００２５】
上記（１−１）内のＶの第１、第２サブスクリプトはそれぞれ下記（１−２）で示されるマトリックスの行と列番号を示す。
【００２６】
【数２】
【００２７】
１６×１６イントラモードで符号化された４×４ブロックの輝度成分の量子化されたＤＣ係数を復号処理した後、直交変換処理は以下の説明する方式と数学的に同等な手順で行う。逆量子化処理は直交変換処理の後に行われる。
１６×１６イントラモードで符号化された４×４ブロックの輝度成分の、ＤＣ係数の直交変換処理は下記（１−３）のように定義される。
下記（１−３）において、ＸQDは、直交変換後の輝度のＤＣ係数の行列を示し
、右辺の中央の行列は直交変換前の輝度のＤＣ係数の行列を示している。
【００２８】
【数３】
【００２９】
この仕様に準拠する画像圧縮情報は、−２15〜２15−１の範囲の整数値を超えるＸQD（ｉ，ｊ）値を持ってはならない。
【００３０】
直交変換処理の後に逆量子化は以下の手順で行われる。
ＱＰが１２若しくはそれ以上の値の場合、逆量子化は下記（１−４）を基に処理を行う。
ここで、ＤＣijが逆量子化されたＤＣ係数を示し、Ｆijが逆量子化前のＤＣ係数を示している。
【００３１】
【数４】
【００３２】
また、ＱＰが１２以下の場合、逆量子化は下記（１−５）を基に処理を行なう。
【００３３】
【数５】
【００３４】
この仕様に準拠するビットストリームは、−２15〜２15−１の範囲の整数値を超えるＤＣij値を持ってはならない。
【００３５】
色差成分の２×２ブロックの量子化されたＤＣ係数を復号処理した後、直交変換処理は下記（１−６）と数学的に同等な手順で行う。
【００３６】
【数６】
【００３７】
この仕様に準拠する画像圧縮情報は、−２15〜２15−１の範囲の整数値を超えるＸQD（ｉ，ｊ）値を持ってはならない。
【００３８】
色差成分についての直交変換処理後の逆量子化は以下の手順で行われる。
ＱＰが６若しくはそれ以上の値の場合、逆量子化は下記（１−７）を基に処理を行う。
【００３９】
【数７】
【００４０】
ＱＰが６より少ない値の場合、逆量子化は下記（１−８）を基に処理を行う。
【００４１】
【数８】
【００４２】
この仕様に準拠するビットストリームは、−２15〜２15−１の範囲の整数値を超えるＤＣij値を持ってはならない。
【００４３】
上述した以外の４×４係数の逆量子化処理は下記（１−９）を基に行なわれる。
【００４４】
【数９】
【００４５】
ここでＲ（ｍ，ｉ，ｊ）は、上記（１−１）で定義された係数である。
この仕様に準拠する画像圧縮情報は、「−２15〜２15−１」の範囲の整数値を超えるｗij値を持ってはならない。
【００４６】
下記（１−１０）に示される４×４ブロックの直交変換係数マトリックスを復号化した後、直交変換処理は復号化された直交変換係数のブロックを以下に示す数学的に同等な手順で出力画素値のブロックに変換する。
【００４７】
【数１０】
【００４８】
すなわち、まず、復号化された直交変換係数の行それぞれに対して、一次元直交変換処理を行う。
次に、求められた行列の列に対して、同様な一次元直交変換処理を行う。
ここで、入力となる直交変換係数を、ｗ0，ｗ1，ｗ2，ｗ3とすれば、まず、下記（１−１１）により中間値ｚ0，ｚ1，ｚ2，ｚ3が求められ、さらに、下記（１−１２）により復号画像における画素値若しくはその差分値であるｘ0，ｘ1，ｘ2，ｘ3が求められる。
【００４９】
【数１１】
【００５０】
【数１２】
【００５１】
この仕様に準拠する画像圧縮情報は、第１（水平）及び第２（垂直）直交変換処理それぞれにおいて、「−２15〜２15−１」の範囲の整数値を超えるｚ0 ，ｚ1 ，ｚ2 ，ｚ3 ，ｘ0 ，ｘ1 ，ｘ2 ，ｘ3 値を持ってはならない。また、この仕様に準拠するビットストリームは、第２（垂直）直交変換処理において、「−２15〜２15−１」の範囲の整数値を超えるｘ0 ，ｘ1 ，ｘ2 ，ｘ3 値をもってはならない。
水平、垂直方向両方において、直交変換処理を施すことにより得られる下記（１−１３）のブロックを用いて、下記（１−１４）により復号画像の画素値若しくはその差分値を算出する。
【００５２】
【数１３】
【００５３】
【数１４】
【００５４】
最終的な画素値は、最後に、下記（１−１５）に示すように、復号化された予測残差値Ｘ’’（ｉ，ｊ）は動き補償予測値または空間予測値Ｐ（ｉ，ｊ）と足し合わせ、０〜２５５の範囲に収まるようクリッピングを行なって算出される。
【００５５】
【数１５】
【００５６】
ところで、ＭＰＥＧ２のＴｅｓｔＭｏｄｅｌ（“ＴｅｓｔＭｏｄｅｌ５”，ＩＳＯ／ＩＥＣ，ＪＴＣ／ＳＣ２９／ＷＧ１１／Ｎ０４００，１９９３）で定められている符号量制御方式のステップ３においては、マクロブロック毎の適応量子化を行う方法が定められている。すなわち、以下に定める方法により、参照量子化スケールコードを、視覚的に劣化の目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクティビティを変化させている。
【００５７】
以下では、ＭＰＥＧ２のＴｅｓｔＭｏｄｅｌにおいて定められているレート制御方式の、ステップ１〜ステップ３について述べる。
ステップ１では、ＧＯＰ(Group Of Pictures) 内の各ピクチャに対する割当ビット量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割当られるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下の２つの仮定を用いて、各ピクチャへの符号量割当を行っているのが特徴である。
第１の仮定は、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。
そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを表す媒介変数ＸI，ＸP，ＸB（Ｇｌｏｂａｌ Ｃｏｍｐｌｅｘｉｔｙ Ｍｅａｓｕｒｅ）を下記（２−１）により更新する。
この媒介変数により、次のピクチャを符号化する際の量子化スケールコードと発生符号量の関係を推定できる。
【００５８】
【数１６】
ここで、ＳI，ＳP，ＳBは、ピクチャ符号化時の発生符号化ビット、ＱI，ＱP，ＱBは、ピクチャ符号化時の平均量子化スケールコードである。
また、初期値は、目標符号量であるｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、下記（２−２），（２−３），（２−４）で示される値とする。
【００５９】
【数１７】
【００６０】
【数１８】
【００６１】
【数１９】
【００６２】
第２の仮定は、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率Ｋp，Ｋbが、下記（２−５）に定める値になる時、常に全体の画質が最適化されると仮定する。
【００６３】
【数２０】
【００６４】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ,Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに量子化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善されるとともに、これを参照するＢピクチャの画質をも向上させることを想定している。
【００６５】
上記２つの仮定より、ＧＯＰ中の各ピクチャに対する割当符号量（ＴI，ＴP，ＴB）は、下記（２−６），（２−７），（２−８）で示される値となる。
下記（２−６）において、ｐｉｃｔｕｒｅ＿ｒａｔｅは、（当該シーケンスにおける、１秒あたり表示されるピクチャの数）を示している。
【００６６】
【数２１】
【００６７】
【数２２】
【００６８】
【数２３】
【００６９】
ここで、ＮP，ＮBは、ＧＯＰ内でまだ符号化されていない、Ｐ，Ｂピクチャの枚数である。
【００７０】
すなわち、まず、ＧＯＰ内の未符号化ピクチャのうち、割当対象となるピクチャと、異なるピクチャタイプのものに関しては、上述の画質最適化条件の元、そのピクチャの発生する符合量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。
次に、未符号化ピクチャ全体の発生する推定発生符号量が、割当対象ピクチャの何枚分の符号量に相当するかを求める。
例えば、上記（２−６）の、第１引数の分母第２項、ＮPＸP／ＸIＫPは、ＧＯＰ内の、ＮP枚の未符号化ピクチャが、Ｉピクチャに換算すると何枚分に換算するかを表すものであり、ＮPに、Ｐピクチャに対する発生符号量の、Ｉピクチャの発生符号量に対する割合ＳP／ＳIを乗じ、上記（２−１）、上記（２−５）を用いて、ＸI，ＸP，ＫBで表すことにより得られる。
【００７１】
割当対象ピクチャに対するビット量は、未符号化ピクチャに対する割当ビット量Ｒを、この枚数で割ることによって得られる。但し、ヘッダなどに、固定的に必要となる符号量を考慮して、その値に下限を設定している。
このようにして求めた割当符号量を基にして、各ピクチャをステップ１，２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割当られる符号量Ｒを、下記（２−９）により更新する。
【００７２】
【数２４】
【００７３】
また、ＧＯＰの最初のピクチャを符号化する際には、以下の（２−１０）により、Ｒを更新する。
【００７４】
【数２５】
【００７５】
ここで、Ｎは、ＧＯＰ内のピクチャ数である。また、シーケンス最初でのＲの初期値は０とする。
次に、ステップ２について述べる。
ステップ２では、ステップ１で求めた、各ピクチャに対する割当ビット量（ＴI．ＴP，ＴB）を、実際の符号量に一致させるため、各ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御により求める。
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を下記（２−１１），（２−１２），（２−１３）により求める。
【００７６】
【数２６】
【００７７】
【数２７】
【００７８】
【数２８】
【００７９】
ｄ0 I,ｄ0 P,ｄ0 Bは、各仮想バッファの初期占有量、Ｂjは、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢｃｎｔは、１ピクチャ内のマクロブロック数である。
【００８０】
各ピクチャ符号化終了時の仮想バッファ占有量（ｄMBcnt I,ｄMBcnt P,ｄMBcnt B）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 I,ｄ0 P,ｄ0 B）として用いられる。
次に、ｊ番目のマクロブロックに対する量子化スケールコードＱj を下記（２−１４）により算出する。
ここで、ｄj は、ｄj I ，ｄj P ，ｄj B を用いて（式２−１１〜式２−１３）のように定義される。
【００８１】
【数２９】
【００８２】
ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御する媒介変数で、下記（２−１５）により与えられる。
【００８３】
【数３０】
【００８４】
なお、シーケンスの最初における仮想バッファ初期値は下記（２−１６）により与えられる。
【００８５】
【数３１】
【００８６】
次に、ステップ３について述べる。
アクティビティは、予測誤差でなく、原画の輝度信号画素値を用い、フレームＤＣＴモードにおける４個の８×８ブロックと、フィールドＤＣＴ符号化モードにおける４個の８×８ブロックとの合計８個のブロックの画素値を用いて、下記（２−１７），（２−１８），（２−１９）により与えられる。
下記（２−１８）に示すｖａｒ＿ｓｂｌｋは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるに従って値が大きくなる。
【００８７】
【数３２】
【００８８】
【数３３】
【００８９】
【数３４】
【００９０】
ここでＰkは原画の輝度信号ブロック内画素値である。上記（２−１７）において最小値（ｍｉｎ）を採るのは、１６×１６のマクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
さらに、以下の（２−２０）により、その値が０．５〜２の範囲をとる正規化アクティビティＮａｃｔjを求める。
【００９１】
【数３５】
【００９２】
ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔjの平均値である。視覚特性を考慮した量子化スケールコードｍｑｕａｎｔjは、参照量子化スケールコードＱjを基に下記（２−２１）により与えられる。
【００９３】
【数３６】
【００９４】
ところで、ＭＰＥＧ２画像情報符号化装置と同様、ＪＶＴ(Joint Video Team)画像情報符号化装置においても、入力となる画像情報が飛び越し走査フォーマットであっても良い。ＪＶＴ画像符号化方式においては、以下に述べる通り、ピクチャレベルのフィールド／フレーム適応型符号化方式、及び、マクロブロックレベルのフィールド／フレーム適応型符号化方式が規定されている。
【００９５】
図７を用いて、ＪＶＴ符号化方式において定められている、ピクチャレベルのフィールド／フレーム符号化方式を説明する。
すなわち、各ピクチャにおいて、フレーム符号化と、フィールド符号化のうち、より符号化効率の高い方を選択して符号化することが可能である。
【００９６】
図８を用いて、ＪＶＴ符号化方式において定められている、マクロブロックレベルのフィールド／フレーム符号化方式を説明する。
すなわち、ＪＶＴ符号化方式において、マクロブロックレベルのフィールド／フレーム符号化を行う場合、図８（Ａ）に示すように、２つのマクロブロックをペアとしてスキャンを行う。
それぞれのマクロブロックペアに対して、図８（Ｂ）に示すように、フィールド符号化を行うか、フレーム符号化を行うかを選択することが可能である。
【００９７】
ところで、上述したＴｅｓｔＭｏｄｅｌ５によって定められている適応量子化を、Ｈ．２６Ｌ規格の符号化方式にそのまま適応することは、以下の２つの理由により不可能である。
第１の理由は、Ｈ．２６Ｌ規格では、上述のような、量子化パラメータＱＰが６増加する毎に２倍の粗さで量子化を行う、すなわちＱＰが１大きくなる毎に量子化スケールが約１２％増加する（１．１２倍になる）という、Ｐｅｒｉｏｄ
ｉｃ Ｑｕａｎｔｉｚａｔｉｏｎが導入されているということである。
また、第２の理由は、ＭＰＥＧ２符号化方式においては８×８ブロックが直交変換の単位であるのに対し、ＪＶＴ符号化方式においては、４×４ブロックが直交変換の単位であるということである。
【００９８】
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方法と符号化装置について説明する。
第１実施形態
図９は、本実施形態の通信システム１の概念図である。
図９に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置４９９とを有する。
符号化装置２が発明の符号化装置に対応している。
符号化装置２および復号装置４９９は、上述したＨ．２６Ｌに基づいて符号化および復号を行なう。
復号回路４９９は、図２を用いて前述したものと同じである。
【００９９】
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
なお、本実施形態では、符号化装置２における量子化パラメータの変化量データΔＱの算出方法に特徴を有している。
【０１００】
〔符号化装置２〕
図１０は、図９に示す符号化装置２の全体構成図である。
図１０に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、動き予測・補償回路３６、デブロックフィルタ３７、アクティビティ算出回路４０およびΔＱ算出回路４１を有する。
【０１０１】
直交変換回路２５が本発明の直交変換回路に対応し、量子化回路２６が本実施形態の量子化回路に対応し、可逆符号化回路２７が本発明の符号化回路に対応し、動き予測・補償回路３６が本発明の動き予測・補償回路に対応し、アクティビティ算出回路４０が本発明の指標データ生成手段に対応し、ΔＱ算出回路４１が本発明の変化量データ取得手段に対応し、レート制御回路３２が本発明の量子化パラメータ生成手段に対応している。
【０１０２】
符号化装置２は、Ｈ．２６Ｌ規格に基づいて、４×４のブロックを単位として直行変換を行なうと共に、上述したＰｅｒｉｏｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎを基に量子化を行なう。
【０１０３】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えたフレーム画像データＳ２３を演算回路２４、動き予測・補償回路３６およびアクティビティ算出回路４０に出力する。
【０１０４】
演算回路２４は、フレーム画像データＳ２３がインター(Inter) 符号化される場合には、フレーム画像データＳ２３と、動き予測・補償回路３６から入力した予測フレーム画像データＳ３６ａとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
また、演算回路２４は、フレーム画像データＳ２３がイントラ(Intra) 符号化される場合には、フレーム画像データＳ２３を画像データＳ２４として直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
直交変換回路２５は、上述したＨ．２６Ｌ規格に基づいて、４×４のブロックを単位として直交変換を行う。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【０１０５】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、動き予測・補償回路３６から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
バッファ２８に格納された画像データは、変調等された後に送信される。
【０１０６】
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これをデブロックフィルタ３７に出力する。
逆量子化回路２９は、Ｈ．２６Ｌ規格に基づいて、上記式（１−４），（１−５），（１−７），（１−８），（１−９）に基づいて量子化処理を行う。
逆直交変換回路３０は、量子化され、デブロックフィルタ３７でブロック歪みが除去された画像データに上記直交変換の逆変換を施して生成したフレーム画像データをフレームメモリ３１に格納する。
逆直交変換回路３０は、Ｈ．２６Ｌ規格に基づいて、上述したように４×４のブロックを単位として逆直交変換を行う。
【０１０７】
レート制御回路３２は、バッファ２８から読み出した画像データ、並びにΔＱ算出回路４１から入力した量子化パラメータＱＰの変化量データΔＱＰとを基に量子化パラメータＱＰを生成し、当該量子化パラメータに応じた量子化スケールを基に量子化回路２６の量子化を制御する。
レート制御回路３２は、量子化パラメータＱＰとして０〜５１の５２の異なる値を用いる。
色差に使われるＱＰｃ値は輝度のＱＰｙ値と対応づけて、図６に示すように定義されている。
また、レート制御回路３２は、量子化パラメータＱＰが６増加する毎に量子化スケールが２倍になるように量子化スケールを決定する（Ｐｅｒｉｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎ）。すなわち、量子化パラメータＱＰが１大きくなる毎に量子化スケールを約１２％増加させる（１．１２倍にする）。
レート制御回路３２は、例えば、上記（２−１）〜（２−１４）を基に説明したようにＭＰＥＧ２のＴｅｓｔＭｏｄｅｌと同様に、符号化対象の画像データ（ピクチャ）に割り当てられた符号量（上記（２−１１），（２−１２），（２−１３）のＴI ，ＴP ，ＴB ）などを用いて、上記（２−１４）を基に量子化スケールコードＱj を生成し、これを参照データＱＰref （本発明の参照データ）とする。
この場合に、レート制御回路３２は、バッファ２８からの画像データを基に上記（２−１１），（２−１２），（２−１３）のＢj-1 を取得する。
そして、レート制御回路３２は、下記（３−１）を基に、参照データＱＰrefと変化量データΔＱＰとを加算して量子化パラメータＱＰを生成する。
【０１０８】
【数３７】
【０１０９】
動き予測・補償回路３６は、フレームメモリ３１からの画像データＳ３１と、画面並べ替え回路２３からの画像データとを基に動き予測・補償処理を行って、動きベクトルＭＶおよび参照画像データＳ３６ａを生成する。
動き予測・補償回路３６は、動きベクトルＭＶを可逆符号化回路２７に出力し、参照画像データＳ３６ａを演算回路２４に出力する。
【０１１０】
アクティビティ算出回路４０は、画像データＳ２３（原画のピクチャ）が順次走査画像である場合に、その輝度信号画素値を用い、１６×１６のマクロブロック（本発明の第１のブロック）内の４つの８×８ブロック（本発明の第２のブロック）のそれぞれについて、下記（３−２），（３−３）を基にｖａｒ＿ｓｂｌｋ（本発明の分散データ）を算出する。
ここで、ｖａｒ＿ｓｂｌｋは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるに従って値が大きくなる。
【０１１１】
【数３８】
【０１１２】
【数３９】
【０１１３】
そして、アクティビティ算出回路４０は、下記（３−４）を基に、上記４つの８×８ブロックについて算出したｖａｒ＿ｓｂｌｋの最小値を（ｍｉｎ（ｖａｒ＿ｓｂｌｋ）用いてａｃｔj を得る。
【０１１４】
【数４０】
【０１１５】
そして、アクティビティ算出回路４０は、下記（３−５）を基にアクティビティＮａｃｔj （本発明の指標データ）を算出する。
下記（３−４）におけるａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔj の平均値である。
ここで、アクティビティＮａｃｔj は、０．５〜２の範囲の値となるように正規化される。
【０１１６】
【数４１】
【０１１７】
なお、Ｈ．２６Ｌにおいても、ＭＰＥＧ２で行われているのと同様な、マクロブロック単位でのフィールド／フレーム適応符号化処理を行うことが、文献” MB adaptive field/frame coding for interlace sequences” (Wang et al, JVT-D108, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG,ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, Klagenfurt, Austria,July, 2002) で提案されているが、この方式に基づいた符号化処理を行う場合には、８×８ブロックを、アクティビティを算出する単位として処理を行う。
【０１１８】
ΔＱ算出回路４１は、アクティビティ算出回路４０から入力したアクティビティＮａｃｔj を用いて、例えば、下記（３−６）に示す演算を行って量子化パレータＱＰの変化量データΔＱＰを生成する。
【０１１９】
【数４２】
【０１２０】
すなわち、ΔＱ算出回路４１は、アクティビティＮａｃｔj が１．１２倍（本発明のｒ倍）になると変化量データΔＱＰが１（本発明の所定の単位量）だけ増加するように、アクティビティＮａｃｔj と変化量データΔＱＰとの関係を規定する。
これにより、量子化対象の画像の複雑度を示すアクティビティＮａｃｔj が２倍になると、それに応じて量子化パラメータＱＰが６増加し、量子化スケールが２倍になるように規定できる。
すなわち、量子化パラメータＱＰが１大きくなる毎に量子化スケールを約１２％増加させる（１．１２倍にする）というＨ．２６Ｌで規定されたＰｅｒｉｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎを実現できる。
なお、ΔＱ算出回路４１は、例えば、図１１に示す表データ８０を基に、アクティビティＮａｃｔj が図１１に示す最小値と最大値との間にある場合に、それに対応する値の変化量データΔＱＰを出力するようにしてもよい。
【０１２１】
次に、図１０に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われる。
そして、アクティビティ算出回路４０において、アクティビティＮａｃｔj が生成され、これがΔＱ算出回路４１に出力される。
そして、ΔＱ算出回路４１において、アクティビティＮａｃｔj が１．１２倍になると変化量データΔＱＰが１だけ増加するように、アクティビティＮａｃｔj を基に変化量データΔＱＰを生成し、これをレート制御回路３２に出力する。そして、レート制御回路３２が、参照データＱＰref と変化量データΔＱＰとを加算して量子化パラメータＱＰを生成する。
【０１２２】
また、イントラ符号化が行われるフレーム画像データに関しては、フレーム画像データ全体の画像情報が直交変換回路２５に入力され、直交変換回路２５において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路２５の出力となる変換係数は、量子化回路２６において量子化処理される。
量子化回路２６は、レート制御回路３２からの制御に基づいて、量子化パラメータＱＰを基に規定された量子化スケールで量子化を行う。
量子化回路２６の出力となる、量子化された変換係数は、可逆変換回路２７に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ２８に蓄積され、圧縮された画像データとして出力される。
同時に、量子化回路２６の出力となる、量子化された変換係数は、逆量子化回路２９に入力され、さらに逆直交変換回路３０において逆直交変換処理が施されて、復号されたフレーム画像データとなり、そのフレーム画像データがフレームメモリ３１に蓄積される。
【０１２３】
一方、インター符号化が行われる画像に関しては、先ず、そのフレーム画像データＳ２３が動き予測・補償回路３６に入力される。また、参照画像のフレーム画像データＳ３１がフレームメモリ３１より読み出され、動き予測・補償回路３６に出力される。
そして、動き予測・補償回路３６において、参照画像のフレーム画像データＳ３１を用いて、動きベクトルＭＶおよび予測フレーム画像データＳ３６ａが生成される。
【０１２４】
そして、演算回路２４において、画面並べ替え回路２３からのフレーム画像データと、動き予測・補償回路３６からの予測フレーム画像データＳ３６ａとの差分信号である画像データＳ２４が生成され、当該画像データＳ２４が直交変換回路２５に出力される。
そして、可逆符号化回路２７において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像データと同様である。
【０１２５】
以上説明したように、符号化装置２によれば、ΔＱ算出回路４１において、上記（３−６）あるいは図１１に示す表データを基に、アクティビティＮａｃｔjが１．１２倍（本発明のｒ倍）になると変化量データΔＱＰが１（本発明の所定の単位量）だけ増加するように、アクティビティＮａｃｔj と変化量データΔＱＰとの関係を規定することで、アクティビティＮａｃｔj の値を適切に反映させてＨ．２６Ｌで規定されたＰｅｒｉｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎを実現できる。
【０１２６】
また、符号化装置２によれば、直交変換の単位は４×４のブロックがであるが、アクティビティ算出回路４０がマクロブロック内の４つの８×８ブロックについて算出したｖａｒ＿ｓｂｌｋの最小値を基にアクティビティＮａｃｔj を算出する。そのため、画面全体の複雑度の分散を適切に示したアクティビティＮａｃｔj を基に適応量子化の効果を高めることができる。
【０１２７】
第２実施形態
本実施形態では、アクティビティ算出回路４０が、１６×１６ブロックをａｃｔj の算出単位とする点を除いて、第１実施形態と同様である。
本実施形態では、アクティビティ算出回路４０が、下記（３−７），（３−８），（３−９）を基に、ａｃｔj を算出する。
【０１２８】
【数４３】
【０１２９】
【数４４】
【０１３０】
【数４５】
【０１３１】
ＨＤＴＶ(Hight Definition TeleVision) のように、画枠に比して一つのマクロブロックの大きさが相対的に小さい場合、このような適応量子化を行うことで視覚特性に基づいた良好な画質を得ることが可能である。
なお、１６×８ブロックあるいは８×１６ブロックをａｃｔj の算出の単位としても良い。これらを、画像の局所的性質に応じて適応的に切り替えても良い。
【０１３２】
ところで、Ｈ．２６Ｌ規格においては、図１２に示すように、可変サイズの動き予測・補償ブロックを用いることが可能である。
インターマクロブロックにおいては、当該マクロブロックにおける動き予測・補償ブロックを、アクティビティを算出する単位として用いることも考えられる。
当該動き予測・補償ブロックがサブパーティションモード、すなわち８×８以下である場合には、上述の通り、画面全体に渡るアクティビティの分散を十分に得ることが不可能となる可能性があるため、８×８ブロックをアクティビティ算出の単位としても良い。
【０１３３】
第３実施形態
上述した第１実施形態では、入力となる画像データが順次走査画像データである場合を例示したが、本実施形態では、入力となる画像データ飛び越し走査画像（インタレース画像）であり、図７および図８を用いて前述したように、ピクチャレベルあるいはマクロブロックレベルのフィールド／フレーム適応型符号化を行う場合を説明する。
【０１３４】
例えば、図７に示したような、ピクチャレベルのフィールド／フレーム適応型符号化を行う場合、当該フレームをフィールド符号化する際、第１フィールドおよび第２フィールドのそれぞれをフレームと見なし、入力となる画像データが順次走査である場合（第１実施形態の場合）と同様に適応量子化処理、すなわち第１実施形態で説明したアクティビティ算出回路４０、ΔＱ算出回路４１、レート制御回路３２および量子化回路２６の処理を行う。
【０１３５】
また、図８に示したような、マクロブロックレベルのフィールドフレーム適応符号化を行う場合には、図８（Ａ）で説明したように、アクティビティ算出回路４０が、１つのマクロブロックペアに対してａｃｔj を算出する。
すなわち、当該マクロブロックペアを、フィールド符号化した場合と、フレーム符号化した場合を考慮すれば、８×８ブロックを、ｓｌｂｋを算出する単位とすれば、フレーム符号化による合計８つのブロック、フィールド符号化される８つのブロックの、合計１６のブロックに対して、下記（３−１０）を基に当該マクロブロックペアについてのａｃｔj を算出する。
【０１３６】
【数４６】
【０１３７】
また、１６×１６ブロックを、ａｃｔj の算出単位とするなら、下記（３−１１）を基に、フレーム符号化による合計２つのブロック、フィールド符号化される２つのブロックの、合計４のブロックに対して、当該マクロブロックペアについてのａｃｔj を算出する。
【０１３８】
【数４７】
【０１３９】
以上、Ｈ．２６Ｌへの適用を例にして、本発明の概要を述べてきたが、本発明の適用範囲はこれに限らず、Ｐｅｒｉｏｄｉｃ Ｑｕａｎｔｉｚａｔｉｏｎ、４×４ＤＣＴを用いた任意の画像符号化方式に適用可能である。
また、上述した実施形態では、本発明の単位量が１、ｒが１．１２の場合を例示したが、単位量およびｒはその他の値でもよい。
【０１４０】
【発明の効果】
本発明によれば、量子化パラメータが所定の単位量だけ増加すると動画像の画像データが量子化される粗さがｒ倍になる場合に、画像データの複雑度を適切に反映させて量子化パラメータの変化量を規定できる画像処理装置およびその方法と符号化装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の関連技術に係わる符号化装置の機能ブロック図である。
【図２】図２は、本発明の関連技術に係わる復号装置の機能ブロック図である。
【図３】図３は、ＪＶＴ画像圧縮情報における、４×４ジグザグスキャン方式を示した図である。
【図４】図４は、ＪＶＴ符号化方式におけるイントラ１６×１６マクロブロックの輝度信号成分の符号化方式を示した図である。
【図５】図５は、ＪＶＴ符号化方式におけるイントラ１６×１６マクロブロックの色差信号成分の符号化方式を示した図である。
【図６】図６は、ＪＶＴ符号化方式において定められている、輝度信号に対する量子化パラメータＱＰYと、色差信号に対する量子化パラメータＱＰCの対応関係を示した図である。
【図７】図７は、ＪＶＴ符号化方式において定められている、ピクチャレベルのフィールド／フレーム適応型符号化方式を説明するための図である。
【図８】図８は、ＪＶＴ符号化方式において定められている、マクロブロックレベルのフィールド／フレーム適応型符号化方式を説明するための図である。
【図９】図９は、本発明の第１実施形態の通信システムの概念図である。
【図１０】図１０は、本発明の第１実施形態に係わる符号化装置の機能ブロック図である。
【図１１】図１１は、ΔＱ算出回路における、入力値Ｎａｃｔjと、出力値ΔＱＰとの対応関係を示した図である。
【図１２】図１２は、ＪＶＴ符号化方式において定められている、可変サイズの動き予測補償ブロックを示した図である。
【符号の説明】
１…通信システム、２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、３６…動き予測・補償回路、４０…アクティビティ算出回路、４１…ΔＱ算出回路
【発明の属する技術分野】
本発明は、量子化パラメータを適切に規定できる画像処理装置およびその方法と符号化装置に関する。
【０００２】
【従来の技術】
近年、画像データとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＥＰＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。
ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。
【０００５】
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ. ２６Ｌ（ＩＴＵ−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌ規格ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ Ｍｏｄｅｌ ｏｆ Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇとして行われている。
【０００６】
このようなＭＰＥＧおよびＨ．２６Ｌ規格の符号化装置では、画像の局所的な情報を利用することにより、効率の良い符号化を実現している。
画像には、画像中で複雑な部分は、他の部分よりも量子化を粗くして符号化しても、肉眼では画質劣化が認識され難いという性質がある。
従って、上記符号化装置では、画像を複数の部分に分け、各部分について、画像の複雑度を検出し、その検出結果を基に、複雑な画像の部分は粗く量子化し、そうでない部分は細かく量子化して、画質劣化の影響を抑えながら、データ量を削減している。
このような画像の複雑度の情報は、アクティビティ(activity)と呼ばれている。
上記符号化装置では、量子化対象の画像データのアクティビティを算出し、当該アクティビティに基づいて、量子化スケールを規定する量子化パラメータを生成している。
【０００７】
【発明が解決しようとする課題】
ところで、上述したＨ. ２６Ｌ規格では、量子化パラメータが１増加するに従って粗さを１．１２倍（１２％増）にして動画像の画像データを量子化すること（Ｐｅｒｉｏｄｉｃ Ｑｕａｎｔｉｚａｔｉｏｎ）が規定されている。
従って、このことを考慮して、上記アクティビティを基に上記量子化パラメータを生成する必要がある。
【０００８】
本発明はかかる事情に鑑みてなされたものであり、量子化パラメータが所定の単位量だけ増加すると動画像の画像データが量子化される粗さがｒ倍になる場合に、画像データの複雑度を適切に反映させて量子化パラメータの変化量を規定できる画像処理装置およびその方法と符号化装置とを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像処理装置は、画像データの複雑度の指標となる指標データに基づいて生成される、量子化スケールを規定する量子化パラメータが所定の単位量だけ変化すると動画像の画像データが量子化される粗さが所定の割合だけ変化する場合に、前記量子化パラメータが変化した量を示す変化量データを生成する画像処理装置であって、前記画像データの第１のブロック内に規定された複数の第２のブロックを単位として当該第２のブロック内の画素データの分散を示す分散データを算出し、複数の前記第２のブロックについて算出した前記分散データのうち最小の前記分散データを所定の範囲内に収まるように正規化した指標データを生成する指標データ生成手段と、前記指標データが前記所定の割合だけ変化すると前記変化量データが前記所定の単位量だけ変化するように前記指標データと前記変化量データとの対応関係を規定し、当該規定に基づいて、前記指標データ生成手段が生成した前記指標データに対応する前記変化量データを取得する変化量データ取得手段と符号化対象の前記画像データに割り当てられた符号量を基に、ＭＰＥＧ２ ＴｅｓｔＭｏｄｅｌで定められている符号量制御方式によって前記第１のブロック単位で求められた量子化スケールコードである参照データと、前記変化量データ取得手段が取得した前記変化量データとを加算して前記量子化パラメータを生成する量子化パラメータ生成手段と、を有する。
【００１４】
【発明の実施の形態】
〔本発明の関連技術〕
図１は、本発明の関連技術に係わる符号化装置５００の機能ブロック図である。
図１に示す符号化装置５００において、入力となる画像信号は、まず、Ａ／Ｄ変換回路５０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替え回路５０２においてフレーム画像データの並べ替えが行われる。
そして、イントラ符号化が行われる画像に関しては、フレーム画像データの全体が直交変換回路５０４に入力され、直交変換回路５０４において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路５０４の出力となる変換係数は、量子化回路５０５において量子化処理される。
量子化回路５０５の出力となる、量子化された変換係数は、可逆符号化回路５０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ５０７に蓄積され、圧縮された画像データとして出力される。
量子化回路５０５における量子化レートは、レート制御回路５１２によって制御される。同時に、量子化回路５０５の出力となる、量子化された変換係数は、逆量子化回路５０８において逆量子化され、続いて逆直交変換回路５０９において逆直交変換処理が施され、デブロックフィルタ５１３においてブロック歪みが除去されて復号された参照フレーム画像データが得られる。当該参照フレーム画像データは、フレームメモリ５１０に蓄積される。
【００１５】
一方、インター符号化が行われる画像に関しては、画面並べ替え回路５０２から出力されたフレーム画像データが、動き予測・補償回路５１１に入力される。同時に参照フレーム画像データがフレームメモリ５１０より読み出され、動き予測・補償回路５１１によって動きベクトルが生成され、当該動きベクトルおよび参照フレーム画像データを用いて予測フレーム画像データが生成される。予測フレーム画像データが演算回路５０３に出力され、演算回路５０３において、画面並べ替え回路５０２からのフレーム画像データと、動き予測・補償回路５１１からの予測フレーム画像データとの差分を示す画像データが生成され、当該画像データが直交変換回路５０４に出力される。
また、動き補償・予測回路５１１は、動きベクトルを可逆符号化回路５０６に出力し、可逆符号化回路５０６において、動きベクトルが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像信号のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像信号と同様である。
【００１６】
図２は、図１に示す符号化装置５００に対応する復号回路４９９の機能ブロック図である。
図２に示す復号回路４９９では、入力となる画像データがバッファ６１３に格納された後、可逆復号回路６１４に出力される。そして、可逆復号回路６１４において、フレーム画像データのフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレーム画像データがインター符号化されたものである場合には、可逆復号回路６１４において、フレーム画像データのヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償装置６２０に出力される。
【００１７】
可逆復号回路６１４の出力となる、量子化された変換係数は、逆量子化回路６１５に入力され、ここで逆量子化される。当該逆量子化された変換係数には、逆直交変換回路６１６において、定められたフレーム画像データのフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレーム画像データがイントラ符号化されたものである場合には、逆直交変換処理が施されたフレーム画像データは、デブロックフィルタ６２１でブロック歪みが除去された後に画面並べ替えバッファ６１８に格納され、Ｄ／Ａ変換回路６１９によるＤ／Ａ変換処理を経て出力される。
【００１８】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路６２０において、動きベクトルＭＶ及びフレームメモリ６２１に格納された参照フレーム画像データを基に予測フレーム画像データが生成され、この予測フレーム画像データと、逆直交変換回路６１６から出力されたフレーム画像データとが加算器６１７において加算される。その他の処理はイントラ符号化されたフレーム画像データと同様である。
【００１９】
以下、Ｈ．２６Ｌ規格が規定する逆直交変換処理、及び逆量子化処理について述べる。
Ｈ．２６Ｌ規格では、逆量子化処理を行なう場合に、４×４直交変換係数を、図３に示す順番で逆スキャンする。図３において、「０」〜「１５」は、４×４のマトリクス状に位置する合計１６個の画素位置に対応した直交変換係数を示している。
【００２０】
図４に示すように、１６×１６イントラマクロブロック２００においては、当該マクロブロック２００に含まれる１６個の４×４直交変換ブロック２０１のそれぞれにおいて直交変換を施した後、その輝度の位置「０」に対応するＤＣ成分である輝度ＤＣ係数のみを集めて再び４×４ブロック２０２を生成し、これに対して直交変換が施される。
そして、４×４ブロック２０２は、図３で説明した順番でスキャンされる。
また、４×４直交変換ブロック２０１内の残された輝度の「１」〜「１５」で示されるＡＣ成分である輝度ＡＣ係数は、２番目の位置（「１」の位置）から順に、図３に示された方法により、ジグザグスキャンされる。
【００２１】
また、１６×１６イントラマクロブロックにおける色差信号成分の符号化方式における逆量子化処理では、図５に示すように、まず、２×２ブロック２１０内の色差ＤＣ係数がラスターの順でスキャンされる。次に４×４色差ブロック２１１内の残された「１」〜「１５」の色差ＡＣ係数は、図３に示す２番目の位置（「１」の位置）から順にジグザグスキャンを行う。
【００２２】
量子化のパラメータであるＱＰ値としては、０〜５１の５２の異なる値が設定される。
色差に使われるＱＰｃ値は輝度のＱＰｙ値と対応づけて、図６に示すように定義されている。
ＱＰ値は６増加する毎に量子化スケールが２倍になるよう設定されている（Ｐｅｒｉｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎ）。すなわち、ＱＰ値が１大きくなる毎に量子化スケールが約１２％増加する（１．１２倍になる）。
【００２３】
後述の計算式に用いられる係数Ｒ（ｍ，ｉ，ｊ）は下記（１−１）に示す擬似コードを用いて算出される。
【００２４】
【数１】
上記（１−１）内のＶの第１、第２サブスクリプトはそれぞれ下記（１−２）で示されるマトリックスの行と列番号を示す。
【００２６】
【数２】
１６×１６イントラモードで符号化された４×４ブロックの輝度成分の量子化されたＤＣ係数を復号処理した後、直交変換処理は以下の説明する方式と数学的に同等な手順で行う。逆量子化処理は直交変換処理の後に行われる。
１６×１６イントラモードで符号化された４×４ブロックの輝度成分の、ＤＣ係数の直交変換処理は下記（１−３）のように定義される。
下記（１−３）において、ＸQDは、直交変換後の輝度のＤＣ係数の行列を示し
、右辺の中央の行列は直交変換前の輝度のＤＣ係数の行列を示している。
【００２８】
【数３】
この仕様に準拠する画像圧縮情報は、−２15〜２15−１の範囲の整数値を超えるＸQD（ｉ，ｊ）値を持ってはならない。
【００３０】
直交変換処理の後に逆量子化は以下の手順で行われる。
ＱＰが１２若しくはそれ以上の値の場合、逆量子化は下記（１−４）を基に処理を行う。
ここで、ＤＣijが逆量子化されたＤＣ係数を示し、Ｆijが逆量子化前のＤＣ係数を示している。
【００３１】
【数４】
また、ＱＰが１２以下の場合、逆量子化は下記（１−５）を基に処理を行なう。
【００３３】
【数５】
この仕様に準拠するビットストリームは、−２15〜２15−１の範囲の整数値を超えるＤＣij値を持ってはならない。
【００３５】
色差成分の２×２ブロックの量子化されたＤＣ係数を復号処理した後、直交変換処理は下記（１−６）と数学的に同等な手順で行う。
【００３６】
【数６】
この仕様に準拠する画像圧縮情報は、−２15〜２15−１の範囲の整数値を超えるＸQD（ｉ，ｊ）値を持ってはならない。
【００３８】
色差成分についての直交変換処理後の逆量子化は以下の手順で行われる。
ＱＰが６若しくはそれ以上の値の場合、逆量子化は下記（１−７）を基に処理を行う。
【００３９】
【数７】
ＱＰが６より少ない値の場合、逆量子化は下記（１−８）を基に処理を行う。
【００４１】
【数８】
この仕様に準拠するビットストリームは、−２15〜２15−１の範囲の整数値を超えるＤＣij値を持ってはならない。
【００４３】
上述した以外の４×４係数の逆量子化処理は下記（１−９）を基に行なわれる。
【００４４】
【数９】
ここでＲ（ｍ，ｉ，ｊ）は、上記（１−１）で定義された係数である。
この仕様に準拠する画像圧縮情報は、「−２15〜２15−１」の範囲の整数値を超えるｗij値を持ってはならない。
【００４６】
下記（１−１０）に示される４×４ブロックの直交変換係数マトリックスを復号化した後、直交変換処理は復号化された直交変換係数のブロックを以下に示す数学的に同等な手順で出力画素値のブロックに変換する。
【００４７】
【数１０】
すなわち、まず、復号化された直交変換係数の行それぞれに対して、一次元直交変換処理を行う。
次に、求められた行列の列に対して、同様な一次元直交変換処理を行う。
ここで、入力となる直交変換係数を、ｗ0，ｗ1，ｗ2，ｗ3とすれば、まず、下記（１−１１）により中間値ｚ0，ｚ1，ｚ2，ｚ3が求められ、さらに、下記（１−１２）により復号画像における画素値若しくはその差分値であるｘ0，ｘ1，ｘ2，ｘ3が求められる。
【００４９】
【数１１】
【数１２】
この仕様に準拠する画像圧縮情報は、第１（水平）及び第２（垂直）直交変換処理それぞれにおいて、「−２15〜２15−１」の範囲の整数値を超えるｚ0 ，ｚ1 ，ｚ2 ，ｚ3 ，ｘ0 ，ｘ1 ，ｘ2 ，ｘ3 値を持ってはならない。また、この仕様に準拠するビットストリームは、第２（垂直）直交変換処理において、「−２15〜２15−１」の範囲の整数値を超えるｘ0 ，ｘ1 ，ｘ2 ，ｘ3 値をもってはならない。
水平、垂直方向両方において、直交変換処理を施すことにより得られる下記（１−１３）のブロックを用いて、下記（１−１４）により復号画像の画素値若しくはその差分値を算出する。
【００５２】
【数１３】
【数１４】
最終的な画素値は、最後に、下記（１−１５）に示すように、復号化された予測残差値Ｘ’’（ｉ，ｊ）は動き補償予測値または空間予測値Ｐ（ｉ，ｊ）と足し合わせ、０〜２５５の範囲に収まるようクリッピングを行なって算出される。
【００５５】
【数１５】
ところで、ＭＰＥＧ２のＴｅｓｔＭｏｄｅｌ（“ＴｅｓｔＭｏｄｅｌ５”，ＩＳＯ／ＩＥＣ，ＪＴＣ／ＳＣ２９／ＷＧ１１／Ｎ０４００，１９９３）で定められている符号量制御方式のステップ３においては、マクロブロック毎の適応量子化を行う方法が定められている。すなわち、以下に定める方法により、参照量子化スケールコードを、視覚的に劣化の目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクティビティを変化させている。
【００５７】
以下では、ＭＰＥＧ２のＴｅｓｔＭｏｄｅｌにおいて定められているレート制御方式の、ステップ１〜ステップ３について述べる。
ステップ１では、ＧＯＰ(Group Of Pictures) 内の各ピクチャに対する割当ビット量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割当られるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下の２つの仮定を用いて、各ピクチャへの符号量割当を行っているのが特徴である。
第１の仮定は、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。
そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを表す媒介変数ＸI，ＸP，ＸB（Ｇｌｏｂａｌ Ｃｏｍｐｌｅｘｉｔｙ Ｍｅａｓｕｒｅ）を下記（２−１）により更新する。
この媒介変数により、次のピクチャを符号化する際の量子化スケールコードと発生符号量の関係を推定できる。
【００５８】
【数１６】
また、初期値は、目標符号量であるｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、下記（２−２），（２−３），（２−４）で示される値とする。
【００５９】
【数１７】
【数１８】
【数１９】
第２の仮定は、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率Ｋp，Ｋbが、下記（２−５）に定める値になる時、常に全体の画質が最適化されると仮定する。
【００６３】
【数２０】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ,Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに量子化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善されるとともに、これを参照するＢピクチャの画質をも向上させることを想定している。
【００６５】
上記２つの仮定より、ＧＯＰ中の各ピクチャに対する割当符号量（ＴI，ＴP，ＴB）は、下記（２−６），（２−７），（２−８）で示される値となる。
下記（２−６）において、ｐｉｃｔｕｒｅ＿ｒａｔｅは、（当該シーケンスにおける、１秒あたり表示されるピクチャの数）を示している。
【００６６】
【数２１】
【数２２】
【数２３】
ここで、ＮP，ＮBは、ＧＯＰ内でまだ符号化されていない、Ｐ，Ｂピクチャの枚数である。
【００７０】
すなわち、まず、ＧＯＰ内の未符号化ピクチャのうち、割当対象となるピクチャと、異なるピクチャタイプのものに関しては、上述の画質最適化条件の元、そのピクチャの発生する符合量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。
次に、未符号化ピクチャ全体の発生する推定発生符号量が、割当対象ピクチャの何枚分の符号量に相当するかを求める。
例えば、上記（２−６）の、第１引数の分母第２項、ＮPＸP／ＸIＫPは、ＧＯＰ内の、ＮP枚の未符号化ピクチャが、Ｉピクチャに換算すると何枚分に換算するかを表すものであり、ＮPに、Ｐピクチャに対する発生符号量の、Ｉピクチャの発生符号量に対する割合ＳP／ＳIを乗じ、上記（２−１）、上記（２−５）を用いて、ＸI，ＸP，ＫBで表すことにより得られる。
【００７１】
割当対象ピクチャに対するビット量は、未符号化ピクチャに対する割当ビット量Ｒを、この枚数で割ることによって得られる。但し、ヘッダなどに、固定的に必要となる符号量を考慮して、その値に下限を設定している。
このようにして求めた割当符号量を基にして、各ピクチャをステップ１，２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割当られる符号量Ｒを、下記（２−９）により更新する。
【００７２】
【数２４】
また、ＧＯＰの最初のピクチャを符号化する際には、以下の（２−１０）により、Ｒを更新する。
【００７４】
【数２５】
ここで、Ｎは、ＧＯＰ内のピクチャ数である。また、シーケンス最初でのＲの初期値は０とする。
次に、ステップ２について述べる。
ステップ２では、ステップ１で求めた、各ピクチャに対する割当ビット量（ＴI．ＴP，ＴB）を、実際の符号量に一致させるため、各ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御により求める。
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を下記（２−１１），（２−１２），（２−１３）により求める。
【００７６】
【数２６】
【数２７】
【数２８】
ｄ0 I,ｄ0 P,ｄ0 Bは、各仮想バッファの初期占有量、Ｂjは、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢｃｎｔは、１ピクチャ内のマクロブロック数である。
【００８０】
各ピクチャ符号化終了時の仮想バッファ占有量（ｄMBcnt I,ｄMBcnt P,ｄMBcnt B）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 I,ｄ0 P,ｄ0 B）として用いられる。
次に、ｊ番目のマクロブロックに対する量子化スケールコードＱj を下記（２−１４）により算出する。
ここで、ｄj は、ｄj I ，ｄj P ，ｄj B を用いて（式２−１１〜式２−１３）のように定義される。
【００８１】
【数２９】
ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御する媒介変数で、下記（２−１５）により与えられる。
【００８３】
【数３０】
なお、シーケンスの最初における仮想バッファ初期値は下記（２−１６）により与えられる。
【００８５】
【数３１】
次に、ステップ３について述べる。
アクティビティは、予測誤差でなく、原画の輝度信号画素値を用い、フレームＤＣＴモードにおける４個の８×８ブロックと、フィールドＤＣＴ符号化モードにおける４個の８×８ブロックとの合計８個のブロックの画素値を用いて、下記（２−１７），（２−１８），（２−１９）により与えられる。
下記（２−１８）に示すｖａｒ＿ｓｂｌｋは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるに従って値が大きくなる。
【００８７】
【数３２】
【数３３】
【数３４】
ここでＰkは原画の輝度信号ブロック内画素値である。上記（２−１７）において最小値（ｍｉｎ）を採るのは、１６×１６のマクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
さらに、以下の（２−２０）により、その値が０．５〜２の範囲をとる正規化アクティビティＮａｃｔjを求める。
【００９１】
【数３５】
ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔjの平均値である。視覚特性を考慮した量子化スケールコードｍｑｕａｎｔjは、参照量子化スケールコードＱjを基に下記（２−２１）により与えられる。
【００９３】
【数３６】
ところで、ＭＰＥＧ２画像情報符号化装置と同様、ＪＶＴ(Joint Video Team)画像情報符号化装置においても、入力となる画像情報が飛び越し走査フォーマットであっても良い。ＪＶＴ画像符号化方式においては、以下に述べる通り、ピクチャレベルのフィールド／フレーム適応型符号化方式、及び、マクロブロックレベルのフィールド／フレーム適応型符号化方式が規定されている。
【００９５】
図７を用いて、ＪＶＴ符号化方式において定められている、ピクチャレベルのフィールド／フレーム符号化方式を説明する。
すなわち、各ピクチャにおいて、フレーム符号化と、フィールド符号化のうち、より符号化効率の高い方を選択して符号化することが可能である。
【００９６】
図８を用いて、ＪＶＴ符号化方式において定められている、マクロブロックレベルのフィールド／フレーム符号化方式を説明する。
すなわち、ＪＶＴ符号化方式において、マクロブロックレベルのフィールド／フレーム符号化を行う場合、図８（Ａ）に示すように、２つのマクロブロックをペアとしてスキャンを行う。
それぞれのマクロブロックペアに対して、図８（Ｂ）に示すように、フィールド符号化を行うか、フレーム符号化を行うかを選択することが可能である。
【００９７】
ところで、上述したＴｅｓｔＭｏｄｅｌ５によって定められている適応量子化を、Ｈ．２６Ｌ規格の符号化方式にそのまま適応することは、以下の２つの理由により不可能である。
第１の理由は、Ｈ．２６Ｌ規格では、上述のような、量子化パラメータＱＰが６増加する毎に２倍の粗さで量子化を行う、すなわちＱＰが１大きくなる毎に量子化スケールが約１２％増加する（１．１２倍になる）という、Ｐｅｒｉｏｄ
ｉｃ Ｑｕａｎｔｉｚａｔｉｏｎが導入されているということである。
また、第２の理由は、ＭＰＥＧ２符号化方式においては８×８ブロックが直交変換の単位であるのに対し、ＪＶＴ符号化方式においては、４×４ブロックが直交変換の単位であるということである。
【００９８】
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方法と符号化装置について説明する。
第１実施形態
図９は、本実施形態の通信システム１の概念図である。
図９に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置４９９とを有する。
符号化装置２が発明の符号化装置に対応している。
符号化装置２および復号装置４９９は、上述したＨ．２６Ｌに基づいて符号化および復号を行なう。
復号回路４９９は、図２を用いて前述したものと同じである。
【００９９】
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
なお、本実施形態では、符号化装置２における量子化パラメータの変化量データΔＱの算出方法に特徴を有している。
【０１００】
〔符号化装置２〕
図１０は、図９に示す符号化装置２の全体構成図である。
図１０に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、動き予測・補償回路３６、デブロックフィルタ３７、アクティビティ算出回路４０およびΔＱ算出回路４１を有する。
【０１０１】
直交変換回路２５が本発明の直交変換回路に対応し、量子化回路２６が本実施形態の量子化回路に対応し、可逆符号化回路２７が本発明の符号化回路に対応し、動き予測・補償回路３６が本発明の動き予測・補償回路に対応し、アクティビティ算出回路４０が本発明の指標データ生成手段に対応し、ΔＱ算出回路４１が本発明の変化量データ取得手段に対応し、レート制御回路３２が本発明の量子化パラメータ生成手段に対応している。
【０１０２】
符号化装置２は、Ｈ．２６Ｌ規格に基づいて、４×４のブロックを単位として直行変換を行なうと共に、上述したＰｅｒｉｏｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎを基に量子化を行なう。
【０１０３】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えたフレーム画像データＳ２３を演算回路２４、動き予測・補償回路３６およびアクティビティ算出回路４０に出力する。
【０１０４】
演算回路２４は、フレーム画像データＳ２３がインター(Inter) 符号化される場合には、フレーム画像データＳ２３と、動き予測・補償回路３６から入力した予測フレーム画像データＳ３６ａとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
また、演算回路２４は、フレーム画像データＳ２３がイントラ(Intra) 符号化される場合には、フレーム画像データＳ２３を画像データＳ２４として直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
直交変換回路２５は、上述したＨ．２６Ｌ規格に基づいて、４×４のブロックを単位として直交変換を行う。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【０１０５】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、動き予測・補償回路３６から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
バッファ２８に格納された画像データは、変調等された後に送信される。
【０１０６】
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これをデブロックフィルタ３７に出力する。
逆量子化回路２９は、Ｈ．２６Ｌ規格に基づいて、上記式（１−４），（１−５），（１−７），（１−８），（１−９）に基づいて量子化処理を行う。
逆直交変換回路３０は、量子化され、デブロックフィルタ３７でブロック歪みが除去された画像データに上記直交変換の逆変換を施して生成したフレーム画像データをフレームメモリ３１に格納する。
逆直交変換回路３０は、Ｈ．２６Ｌ規格に基づいて、上述したように４×４のブロックを単位として逆直交変換を行う。
【０１０７】
レート制御回路３２は、バッファ２８から読み出した画像データ、並びにΔＱ算出回路４１から入力した量子化パラメータＱＰの変化量データΔＱＰとを基に量子化パラメータＱＰを生成し、当該量子化パラメータに応じた量子化スケールを基に量子化回路２６の量子化を制御する。
レート制御回路３２は、量子化パラメータＱＰとして０〜５１の５２の異なる値を用いる。
色差に使われるＱＰｃ値は輝度のＱＰｙ値と対応づけて、図６に示すように定義されている。
また、レート制御回路３２は、量子化パラメータＱＰが６増加する毎に量子化スケールが２倍になるように量子化スケールを決定する（Ｐｅｒｉｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎ）。すなわち、量子化パラメータＱＰが１大きくなる毎に量子化スケールを約１２％増加させる（１．１２倍にする）。
レート制御回路３２は、例えば、上記（２−１）〜（２−１４）を基に説明したようにＭＰＥＧ２のＴｅｓｔＭｏｄｅｌと同様に、符号化対象の画像データ（ピクチャ）に割り当てられた符号量（上記（２−１１），（２−１２），（２−１３）のＴI ，ＴP ，ＴB ）などを用いて、上記（２−１４）を基に量子化スケールコードＱj を生成し、これを参照データＱＰref （本発明の参照データ）とする。
この場合に、レート制御回路３２は、バッファ２８からの画像データを基に上記（２−１１），（２−１２），（２−１３）のＢj-1 を取得する。
そして、レート制御回路３２は、下記（３−１）を基に、参照データＱＰrefと変化量データΔＱＰとを加算して量子化パラメータＱＰを生成する。
【０１０８】
【数３７】
動き予測・補償回路３６は、フレームメモリ３１からの画像データＳ３１と、画面並べ替え回路２３からの画像データとを基に動き予測・補償処理を行って、動きベクトルＭＶおよび参照画像データＳ３６ａを生成する。
動き予測・補償回路３６は、動きベクトルＭＶを可逆符号化回路２７に出力し、参照画像データＳ３６ａを演算回路２４に出力する。
【０１１０】
アクティビティ算出回路４０は、画像データＳ２３（原画のピクチャ）が順次走査画像である場合に、その輝度信号画素値を用い、１６×１６のマクロブロック（本発明の第１のブロック）内の４つの８×８ブロック（本発明の第２のブロック）のそれぞれについて、下記（３−２），（３−３）を基にｖａｒ＿ｓｂｌｋ（本発明の分散データ）を算出する。
ここで、ｖａｒ＿ｓｂｌｋは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるに従って値が大きくなる。
【０１１１】
【数３８】
【数３９】
そして、アクティビティ算出回路４０は、下記（３−４）を基に、上記４つの８×８ブロックについて算出したｖａｒ＿ｓｂｌｋの最小値を（ｍｉｎ（ｖａｒ＿ｓｂｌｋ）用いてａｃｔj を得る。
【０１１４】
【数４０】
そして、アクティビティ算出回路４０は、下記（３−５）を基にアクティビティＮａｃｔj （本発明の指標データ）を算出する。
下記（３−４）におけるａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔj の平均値である。
ここで、アクティビティＮａｃｔj は、０．５〜２の範囲の値となるように正規化される。
【０１１６】
【数４１】
なお、Ｈ．２６Ｌにおいても、ＭＰＥＧ２で行われているのと同様な、マクロブロック単位でのフィールド／フレーム適応符号化処理を行うことが、文献” MB adaptive field/frame coding for interlace sequences” (Wang et al, JVT-D108, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG,ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, Klagenfurt, Austria,July, 2002) で提案されているが、この方式に基づいた符号化処理を行う場合には、８×８ブロックを、アクティビティを算出する単位として処理を行う。
【０１１８】
ΔＱ算出回路４１は、アクティビティ算出回路４０から入力したアクティビティＮａｃｔj を用いて、例えば、下記（３−６）に示す演算を行って量子化パレータＱＰの変化量データΔＱＰを生成する。
【０１１９】
【数４２】
すなわち、ΔＱ算出回路４１は、アクティビティＮａｃｔj が１．１２倍（本発明のｒ倍）になると変化量データΔＱＰが１（本発明の所定の単位量）だけ増加するように、アクティビティＮａｃｔj と変化量データΔＱＰとの関係を規定する。
これにより、量子化対象の画像の複雑度を示すアクティビティＮａｃｔj が２倍になると、それに応じて量子化パラメータＱＰが６増加し、量子化スケールが２倍になるように規定できる。
すなわち、量子化パラメータＱＰが１大きくなる毎に量子化スケールを約１２％増加させる（１．１２倍にする）というＨ．２６Ｌで規定されたＰｅｒｉｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎを実現できる。
なお、ΔＱ算出回路４１は、例えば、図１１に示す表データ８０を基に、アクティビティＮａｃｔj が図１１に示す最小値と最大値との間にある場合に、それに対応する値の変化量データΔＱＰを出力するようにしてもよい。
【０１２１】
次に、図１０に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われる。
そして、アクティビティ算出回路４０において、アクティビティＮａｃｔj が生成され、これがΔＱ算出回路４１に出力される。
そして、ΔＱ算出回路４１において、アクティビティＮａｃｔj が１．１２倍になると変化量データΔＱＰが１だけ増加するように、アクティビティＮａｃｔj を基に変化量データΔＱＰを生成し、これをレート制御回路３２に出力する。そして、レート制御回路３２が、参照データＱＰref と変化量データΔＱＰとを加算して量子化パラメータＱＰを生成する。
【０１２２】
また、イントラ符号化が行われるフレーム画像データに関しては、フレーム画像データ全体の画像情報が直交変換回路２５に入力され、直交変換回路２５において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路２５の出力となる変換係数は、量子化回路２６において量子化処理される。
量子化回路２６は、レート制御回路３２からの制御に基づいて、量子化パラメータＱＰを基に規定された量子化スケールで量子化を行う。
量子化回路２６の出力となる、量子化された変換係数は、可逆変換回路２７に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ２８に蓄積され、圧縮された画像データとして出力される。
同時に、量子化回路２６の出力となる、量子化された変換係数は、逆量子化回路２９に入力され、さらに逆直交変換回路３０において逆直交変換処理が施されて、復号されたフレーム画像データとなり、そのフレーム画像データがフレームメモリ３１に蓄積される。
【０１２３】
一方、インター符号化が行われる画像に関しては、先ず、そのフレーム画像データＳ２３が動き予測・補償回路３６に入力される。また、参照画像のフレーム画像データＳ３１がフレームメモリ３１より読み出され、動き予測・補償回路３６に出力される。
そして、動き予測・補償回路３６において、参照画像のフレーム画像データＳ３１を用いて、動きベクトルＭＶおよび予測フレーム画像データＳ３６ａが生成される。
【０１２４】
そして、演算回路２４において、画面並べ替え回路２３からのフレーム画像データと、動き予測・補償回路３６からの予測フレーム画像データＳ３６ａとの差分信号である画像データＳ２４が生成され、当該画像データＳ２４が直交変換回路２５に出力される。
そして、可逆符号化回路２７において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像データと同様である。
【０１２５】
以上説明したように、符号化装置２によれば、ΔＱ算出回路４１において、上記（３−６）あるいは図１１に示す表データを基に、アクティビティＮａｃｔjが１．１２倍（本発明のｒ倍）になると変化量データΔＱＰが１（本発明の所定の単位量）だけ増加するように、アクティビティＮａｃｔj と変化量データΔＱＰとの関係を規定することで、アクティビティＮａｃｔj の値を適切に反映させてＨ．２６Ｌで規定されたＰｅｒｉｄｏｉｃ Ｑｕａｎｔｉｚａｔｉｏｎを実現できる。
【０１２６】
また、符号化装置２によれば、直交変換の単位は４×４のブロックがであるが、アクティビティ算出回路４０がマクロブロック内の４つの８×８ブロックについて算出したｖａｒ＿ｓｂｌｋの最小値を基にアクティビティＮａｃｔj を算出する。そのため、画面全体の複雑度の分散を適切に示したアクティビティＮａｃｔj を基に適応量子化の効果を高めることができる。
【０１２７】
第２実施形態
本実施形態では、アクティビティ算出回路４０が、１６×１６ブロックをａｃｔj の算出単位とする点を除いて、第１実施形態と同様である。
本実施形態では、アクティビティ算出回路４０が、下記（３−７），（３−８），（３−９）を基に、ａｃｔj を算出する。
【０１２８】
【数４３】
【数４４】
【数４５】
ＨＤＴＶ(Hight Definition TeleVision) のように、画枠に比して一つのマクロブロックの大きさが相対的に小さい場合、このような適応量子化を行うことで視覚特性に基づいた良好な画質を得ることが可能である。
なお、１６×８ブロックあるいは８×１６ブロックをａｃｔj の算出の単位としても良い。これらを、画像の局所的性質に応じて適応的に切り替えても良い。
【０１３２】
ところで、Ｈ．２６Ｌ規格においては、図１２に示すように、可変サイズの動き予測・補償ブロックを用いることが可能である。
インターマクロブロックにおいては、当該マクロブロックにおける動き予測・補償ブロックを、アクティビティを算出する単位として用いることも考えられる。
当該動き予測・補償ブロックがサブパーティションモード、すなわち８×８以下である場合には、上述の通り、画面全体に渡るアクティビティの分散を十分に得ることが不可能となる可能性があるため、８×８ブロックをアクティビティ算出の単位としても良い。
【０１３３】
第３実施形態
上述した第１実施形態では、入力となる画像データが順次走査画像データである場合を例示したが、本実施形態では、入力となる画像データ飛び越し走査画像（インタレース画像）であり、図７および図８を用いて前述したように、ピクチャレベルあるいはマクロブロックレベルのフィールド／フレーム適応型符号化を行う場合を説明する。
【０１３４】
例えば、図７に示したような、ピクチャレベルのフィールド／フレーム適応型符号化を行う場合、当該フレームをフィールド符号化する際、第１フィールドおよび第２フィールドのそれぞれをフレームと見なし、入力となる画像データが順次走査である場合（第１実施形態の場合）と同様に適応量子化処理、すなわち第１実施形態で説明したアクティビティ算出回路４０、ΔＱ算出回路４１、レート制御回路３２および量子化回路２６の処理を行う。
【０１３５】
また、図８に示したような、マクロブロックレベルのフィールドフレーム適応符号化を行う場合には、図８（Ａ）で説明したように、アクティビティ算出回路４０が、１つのマクロブロックペアに対してａｃｔj を算出する。
すなわち、当該マクロブロックペアを、フィールド符号化した場合と、フレーム符号化した場合を考慮すれば、８×８ブロックを、ｓｌｂｋを算出する単位とすれば、フレーム符号化による合計８つのブロック、フィールド符号化される８つのブロックの、合計１６のブロックに対して、下記（３−１０）を基に当該マクロブロックペアについてのａｃｔj を算出する。
【０１３６】
【数４６】
また、１６×１６ブロックを、ａｃｔj の算出単位とするなら、下記（３−１１）を基に、フレーム符号化による合計２つのブロック、フィールド符号化される２つのブロックの、合計４のブロックに対して、当該マクロブロックペアについてのａｃｔj を算出する。
【０１３８】
【数４７】
以上、Ｈ．２６Ｌへの適用を例にして、本発明の概要を述べてきたが、本発明の適用範囲はこれに限らず、Ｐｅｒｉｏｄｉｃ Ｑｕａｎｔｉｚａｔｉｏｎ、４×４ＤＣＴを用いた任意の画像符号化方式に適用可能である。
また、上述した実施形態では、本発明の単位量が１、ｒが１．１２の場合を例示したが、単位量およびｒはその他の値でもよい。
【０１４０】
【発明の効果】
本発明によれば、量子化パラメータが所定の単位量だけ増加すると動画像の画像データが量子化される粗さがｒ倍になる場合に、画像データの複雑度を適切に反映させて量子化パラメータの変化量を規定できる画像処理装置およびその方法と符号化装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の関連技術に係わる符号化装置の機能ブロック図である。
【図２】図２は、本発明の関連技術に係わる復号装置の機能ブロック図である。
【図３】図３は、ＪＶＴ画像圧縮情報における、４×４ジグザグスキャン方式を示した図である。
【図４】図４は、ＪＶＴ符号化方式におけるイントラ１６×１６マクロブロックの輝度信号成分の符号化方式を示した図である。
【図５】図５は、ＪＶＴ符号化方式におけるイントラ１６×１６マクロブロックの色差信号成分の符号化方式を示した図である。
【図６】図６は、ＪＶＴ符号化方式において定められている、輝度信号に対する量子化パラメータＱＰYと、色差信号に対する量子化パラメータＱＰCの対応関係を示した図である。
【図７】図７は、ＪＶＴ符号化方式において定められている、ピクチャレベルのフィールド／フレーム適応型符号化方式を説明するための図である。
【図８】図８は、ＪＶＴ符号化方式において定められている、マクロブロックレベルのフィールド／フレーム適応型符号化方式を説明するための図である。
【図９】図９は、本発明の第１実施形態の通信システムの概念図である。
【図１０】図１０は、本発明の第１実施形態に係わる符号化装置の機能ブロック図である。
【図１１】図１１は、ΔＱ算出回路における、入力値Ｎａｃｔjと、出力値ΔＱＰとの対応関係を示した図である。
【図１２】図１２は、ＪＶＴ符号化方式において定められている、可変サイズの動き予測補償ブロックを示した図である。
【符号の説明】
１…通信システム、２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、３６…動き予測・補償回路、４０…アクティビティ算出回路、４１…ΔＱ算出回路
Claims (6)
- 画像データの複雑度の指標となる指標データに基づいて生成される、量子化スケールを規定する量子化パラメータが所定の単位量だけ変化すると動画像の画像データが量子化される粗さが所定の割合だけ変化する場合に、前記量子化パラメータが変化した量を示す変化量データを生成する画像処理装置であって、
前記画像データの第１のブロック内に規定された複数の第２のブロックを単位として当該第２のブロック内の画素データの分散を示す分散データを算出し、複数の前記第２のブロックについて算出した前記分散データのうち最小の前記分散データを所定の範囲内に収まるように正規化した指標データを生成する指標データ生成手段と、
前記指標データが前記所定の割合だけ変化すると前記変化量データが前記所定の単位量だけ変化するように前記指標データと前記変化量データとの対応関係を規定し、当該規定に基づいて、前記指標データ生成手段が生成した前記指標データに対応する前記変化量データを取得する変化量データ取得手段と
符号化対象の前記画像データに割り当てられた符号量を基に、ＭＰＥＧ２ ＴｅｓｔＭｏｄｅｌで定められている符号量制御方式によって前記第１のブロック単位で求められた量子化スケールコードである参照データと、前記変化量データ取得手段が取得した前記変化量データとを加算して前記量子化パラメータを生成する量子化パラメータ生成手段と、
を有する画像処理装置。 - 前記指標データ生成手段は、前記第２のブロック内の画素データと前記第２のブロック内の全ての画素データの平均値との差分に応じた値を累積して前記分散データを算出する
請求項１に記載の画像処理装置。 - 前記画像データに直交変換を施す直交交換回路
を有し、
前記指標データ生成手段は、前記直交交換回路が前記画像データに直交変換を施す際の単位となるブロックより大きいサイズの前記第２のブロックを単位として前記分散データを算出する
請求項１に記載の画像処理装置。 - 前記画像データが第１のフィールドおよび第２のフィールドで構成される場合に、
前記指標データ生成手段は、前記第１のフィールドおよび前記第２のフィールドのそれぞれについて前記指標データを生成し、
前記変化量データ取得手段は、前記指標データ生成手段が生成した前記指標データを基に、前記前記第１のフィールドおよび前記第２のフィールドのそれぞれについての前記変化量データを取得する
請求項１に記載の画像処理装置。 - 前記指標データ生成手段は、前記画像データがインタレース走査画像データである場合に、複数の前記第１のブロック内に規定された複数の前記第２のブロックについて前記分散データを算出する
請求項１に記載の画像処理装置。 - 前記指標データ生成手段は、フィールド符号化に対応した前記第２のブロックと、フレーム符号化に対応した前記第２のブロックとを含む前記複数の第２のブロックについて前記分散データを算出する
請求項４に記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002360885A JP4214771B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置およびその方法と符号化装置 |
| US10/733,255 US7409098B2 (en) | 2002-12-12 | 2003-12-12 | Image processing apparatus and method for coding with complexity-based quantization |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002360885A JP4214771B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置およびその方法と符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004194076A JP2004194076A (ja) | 2004-07-08 |
| JP4214771B2 true JP4214771B2 (ja) | 2009-01-28 |
Family
ID=32759825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002360885A Expired - Fee Related JP4214771B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置およびその方法と符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7409098B2 (ja) |
| JP (1) | JP4214771B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006074347A (ja) * | 2004-09-01 | 2006-03-16 | Sony Corp | 画像処理装置および画像処理方法 |
| JP4804107B2 (ja) | 2004-12-14 | 2011-11-02 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びそのプログラム |
| US20090034623A1 (en) * | 2005-07-15 | 2009-02-05 | Matsushita Electric Industrial Co., Ltd. | Image encoding device and image encoding method |
| JP4593437B2 (ja) * | 2005-10-21 | 2010-12-08 | パナソニック株式会社 | 動画像符号化装置 |
| JP4622804B2 (ja) * | 2005-10-26 | 2011-02-02 | ソニー株式会社 | 符号化装置、符号化方法およびプログラム |
| JP4644097B2 (ja) * | 2005-10-31 | 2011-03-02 | 富士通セミコンダクター株式会社 | 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。 |
| US7995649B2 (en) | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
| US8711925B2 (en) | 2006-05-05 | 2014-04-29 | Microsoft Corporation | Flexible quantization |
| US8897359B2 (en) | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| US8279924B2 (en) * | 2008-10-03 | 2012-10-02 | Qualcomm Incorporated | Quantization parameter selections for encoding of chroma and luma video blocks |
| JP5165084B2 (ja) * | 2011-05-27 | 2013-03-21 | キヤノン株式会社 | 画像符号化装置 |
| US11310504B2 (en) * | 2020-07-30 | 2022-04-19 | Tencent America LLC | Complexity reduction for 32-p and 64-p LGT |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3245977B2 (ja) * | 1992-06-30 | 2002-01-15 | ソニー株式会社 | ディジタル画像信号の伝送装置 |
| US6078615A (en) * | 1993-03-31 | 2000-06-20 | Canon Kabushiki Kaisha | Encoding/decoding apparatus which performs an inverse orthogonal transformation on decoded data |
| KR0134343B1 (ko) * | 1993-04-13 | 1998-04-29 | 김광호 | 양자화레벨을 이용한 부호화방법 및 그 장치 |
| KR950010632A (ko) * | 1993-09-17 | 1995-04-28 | 배순훈 | 동영상부호화기 |
| US6137835A (en) * | 1993-11-16 | 2000-10-24 | Canon Kabushiki Kaisha | Picture coding apparatus using orthogonal transforms |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| KR100213015B1 (ko) * | 1994-03-31 | 1999-08-02 | 윤종용 | 양자화 방법 및 회로 |
| KR100297830B1 (ko) * | 1996-11-09 | 2001-08-07 | 윤종용 | 영상단위별 비트발생량 조절 장치 및 방법 |
| JPH10174103A (ja) * | 1996-12-13 | 1998-06-26 | Matsushita Electric Ind Co Ltd | 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法 |
| KR100243430B1 (ko) * | 1997-12-31 | 2000-02-01 | 구자홍 | 적응형 양자화 제어방법 |
| JP3508916B2 (ja) * | 1999-03-11 | 2004-03-22 | 日本電気株式会社 | 動画像可変ビットレート符号化方法および装置 |
| US6831947B2 (en) * | 2001-03-23 | 2004-12-14 | Sharp Laboratories Of America, Inc. | Adaptive quantization based on bit rate prediction and prediction error energy |
| JP4144357B2 (ja) * | 2001-03-28 | 2008-09-03 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| CN1206864C (zh) * | 2002-07-22 | 2005-06-15 | 中国科学院计算技术研究所 | 结合率失真优化的码率控制的方法及其装置 |
| US7016410B2 (en) * | 2002-08-23 | 2006-03-21 | Ess Technology, Inc. | Adaptive bit rate allocation |
| US7046729B2 (en) * | 2002-08-27 | 2006-05-16 | Ess Technology, Inc. | Bit rate control for motion compensated video compression system |
-
2002
- 2002-12-12 JP JP2002360885A patent/JP4214771B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-12 US US10/733,255 patent/US7409098B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7409098B2 (en) | 2008-08-05 |
| US20040228536A1 (en) | 2004-11-18 |
| JP2004194076A (ja) | 2004-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10602142B2 (en) | Adaptive filtering based upon boundary strength | |
| JP4617644B2 (ja) | 符号化装置及び方法 | |
| KR101538704B1 (ko) | 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치 | |
| US7957600B2 (en) | Methods and systems for rate-distortion optimized quantization of transform blocks in block transform video coding | |
| WO2011125729A1 (ja) | 画像処理装置と画像処理方法 | |
| EP3402200B1 (en) | Image decoding apparatus | |
| JP2004140473A (ja) | 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法 | |
| WO2005062622A1 (ja) | 画像復号装置及び画像復号方法並びに画像復号プログラム | |
| JP2003324731A (ja) | 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム | |
| JP4214771B2 (ja) | 画像処理装置およびその方法と符号化装置 | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP4254147B2 (ja) | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 | |
| US20150078439A1 (en) | Image processing system, image processing method and program | |
| JP5375938B2 (ja) | 復号装置及び方法 | |
| JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| JP4277530B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP4924708B2 (ja) | 復号装置及び方法 | |
| JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2008004983A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| JP2008109700A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
| JP4983908B2 (ja) | 復号装置及び方法 | |
| JP5375935B2 (ja) | 符号化装置及び方法 | |
| Agawane | Implementation and evaluation of residual color transform for 4: 4: 4 lossless RGB coding | |
| JP4983907B2 (ja) | 符号化装置及び方法 | |
| Sun et al. | Study of a lossless video coding algorithm based on H. 26L tools |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080715 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080916 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |