JP3948142B2 - 高能率符号化装置及び高能率復号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号の高能率符号化装置、復号装置に関するものである。そして、この発明は、記録媒体に符号化された信号を記録・再生するシステム、もしくは、伝送路を用いて符号化された信号を配信・受信するシステム等に用いられる高能率符号化装置、復号装置に関するものである。
【０００２】
【従来の技術】
近年、デジタル化された画像信号を高能率符号化により圧縮した情報信号を用いて、衛星波、地上波、電話回線などの伝送路により情報を配信するサービスや、光ディスクや磁気媒体等のメディアに記録・再生を行うシステムが開発・実用化されている。このようなシステムに用いられている動画像の高能率符号化方式として、国際規格であるMPEG2がある。
MPEG2は、画像信号の隣接画素間（空間方向）の相関および、フレームもしくはフィールド（時間方向）の相関を利用して、画像信号の情報量を圧縮する符号化方式である。
【０００３】
まず、時間的に連続する画像フレームを、基準フレームと予測フレームにふりわける。基準フレームは定期的に挿入され、空間方向の相関のみを用いることでそのフレームの符号化データのみで画像を復元することができる。予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関を共に用いることにより符号化するものであり、基準フレームよりも符号化効率を高めることができる。予測フレームは、復号された基準フレームと符号化データとにより復元される。
【０００４】
このような画像フレーム間の予測処理を用いた高能率符号化を実現するMPEG2規格の符号化装置として、図４に示すような構成の装置が知られている。
図４に示す装置において、入力されたデジタル画像信号はフレームメモリ（入力画像メモリ）に記録され、符号化シンタックスに従って符号化される順番に並べ替えられるために遅延される。MPEG２規格においては、画像信号の入出力フォーマットとしてCCIRのRecommendation601（Rec601）の８ビット精度信号が規定されているため、８ビットより高い精度を持った信号が入力される時には下位２ビットが丸められて、８ビット精度の画像信号として入力画像メモリに蓄えられる。
【０００５】
入力画像メモリから出力されたデジタル信号は、基準フレームにおいては2次元ブロック変換回路にて垂直方向Ｎ画素・水平方向Ｍ画素（通常Ｎ，Ｍは８）の２次元ブロックに変換される。変換されたデータは直交変換回路にてＤＣＴ変換が行われ、量子化回路に送られる。量子化回路において量子化されたＤＣＴ変換係数は、上記２次元ブロックを複数個集めた単位（マクロブロック）毎に、符号化回路において、符号化テーブルの係数に対応したアドレスを参照することにより可変長または固定長の符号化が行われる。符号化回路から出力された符号化データは、マルチプレクサにより画面内でのマクロブロックの場所等を示す付加情報が多重化され、ビットストリームとして出力される。
【０００６】
また、量子化回路において量子化されたＤＣＴ変換係数は、逆量子化回路、逆直交変換回路において逆量子化及び逆ＤＣＴ変換が行われ、符号化ビットストリームが復号された信号が８ビット精度に丸められて、予測参照画像（以下、参照画像と記す）として参照画像メモリに格納される。この処理は局部復号処理と呼ばれ、逆量子化回路、逆直交変換回路、デブロック回路、加算器、及び参照画像メモリが局部復号処理部を形成している。
【０００７】
続いて予測フレームにおいては、動きベクトル検出回路に、符号化するフレームの画像と参照画像となるフレームの元画像とがそれぞれ入力画像メモリより供給され、その両画像間での動きベクトルが求められる。動きベクトル検出回路は一般的にブロックマッチングにより動きベクトルを求めている。符号化する画像と参照画像となるフレームの元画像とをそれぞれ２次元ブロック化し、画素毎の差分絶対値総和（もしくは差分二乗総和）の最も小さいブロックに対する画面内の動き成分を動きベクトルとして出力する。動きベクトル検出回路は、どの予測モードにより符号化するのかを決定するを予測モード信号も出力する。
【０００８】
符号化する入力画像ブロックは、減算器により予測ブロック（参照画像ブロック）が減算される。減算動作は動きベクトル検出回路からの予測モード信号に応じて行われる。減算器に供給される予測ブロック（参照画像ブロック）は、参照画像メモリより切り出され、動き補償予測回路により動きベクトルに応じて動き補償が行われた信号である。
減算器の出力信号である差分信号は、入力画像及び参照画像が各々８ビット信号であるため、９ビット精度の信号となる。この差分信号は２次元ブロック変換回路を介して離散コサイン変換（DCT）を行う直交変換回路に入力される。そして、前記基準フレームの各ブロックと同様の処理が行われ、ＤＣＴ変換係数が量子化処理され動きベクトルや予測モードと共にビットストリームとして出力される。
【０００９】
符号量の制御に関しては、出力されたストリームの符号量がレートコントロール回路において目標とする符号量との比較がとられ、目標符号量に近づける為に量子化回路の量子化の細かさ（量子化スケール）を制御する。MPEG2の場合では基準フレーム（Ｉピクチャ）と２種類の予測フレーム（Ｐピクチャ：片方向予測、Ｂピクチャ：両方向予測）の3種類の情報量の異なるピクチャタイプが存在する為、あらかじめ設定された符号化レートに対して、３つのピクチャタイプの性質と出現頻度を用いて、各フレームに対する目標符号量を算出する。また目標符号量は、復号装置のストリームバッファを仮想的にシミュレートして、バッファのオーバーフロー・アンダーフローが起きないように制限される。量子化スケールは、スケールと出力符号量とが一般的にほぼ反比例の関係があることを利用して、各ピクチャタイプ毎に目標符号量に対する量子化スケール値を計算し、量子化処理を行なう。
【００１０】
ブロック毎に目標符号量に近づく方向に量子化スケールを変動させることによって、目標符号量内に符号化ビットストリームを抑える。固定転送レート符号化の場合に、細かい量子化スケールを用いても符号化ストリームの量が設定した符号化レートに満たない場合には、１つのピクチャの区切りを示すヘッダコードの前に足りない符号量分のスタッフィングビットを詰め込むことにより、設定した符号化レートに合わせている。
【００１１】
【発明が解決しようとする課題】
MPEG2の場合に入力信号が８ビット精度に制限されているため、上記した画像符号化装置や符号化データを復号する復号装置においては、動きベクトル検出回路や動き補償予測回路が８ビット精度の信号を前提として構成されている。しかしながら、デジタル信号処理性能の向上と共に、画像データが８ビット以上の精度を持つ場合が出てきている。例えば、映画フィルムをデジタルデータに変換する場合に１０ビット精度で変換することが行われたり、放送局等での映像素材の伝送に１０ビット精度の画像信号が用いられることがある。
しかしながら、MPEG２規格の制限により、８ビット以上の精度の信号成分は、符号化以前の処理で切り捨てられることになり、１０ビット精度の画像信号を精度を保った形で符号化することができなかった。
【００１２】
本発明は、MPEG規格互換の符号化ストリームを符号化・復号する、高能率符号化装置及び高能率復号装置において、MPEG規格以上の入力精度を持つ画像信号に対して、規格を準拠し、かつ高画質な符号化・復号が行える高能率符号化装置及び高能率復号装置を提供することを目的としている。
【００１３】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、
（１） 画像信号の入出力フォーマットとしてｎビット精度信号が規定されているMPEG規格に準拠した高能率符号化装置において、
ｎビット精度の予測参照画像を記憶する参照画像メモリと、
ｍビット精度の入力画像信号を記憶するｍビット精度（ｍ＝ｎ＋α：但しαは１以上の整数）の入力画像メモリと、
前記入力画像メモリのｍビットの出力信号をｍ．αビットのフォーマットの信号に変換する信号変換回路と、
前記入力画像メモリに記憶された符号化対象画像と、その符号化対象画像の予測参照画像となる画像に対応する前記入力画像メモリに記憶された画像との間で動きベクトルを算出する、もしくは、前記入力画像メモリに記憶された符号化対象画像と、前記参照画像メモリに記憶されたその予測参照画像との間で動きベクトルを算出する、ｍビット対ｍビットの動きベクトル検出回路と、
前記参照画像メモリから読み出されたｎビット精度の予測参照画像に対し、前記動きベクトルに応じて動き補償を行う動き補償予測回路と、
前記信号変換回路のｍ．αビットの出力信号から、前記動き補償予測回路により動き補償されたｎビット精度の予測参照画像を減算し（ｍ＋１）．αビットの差分信号を出力する減算器と、
前記減算器から出力された（ｍ＋１）．αビットの差分信号における上位ｎ＋１ビット信号を整数部、下位αビット信号を小数部として入力し直交変換を行う直交変換回路と、
前記直交変換回路から出力された直交変換係数信号を量子化し符号化を行う量子化・符号化回路とを備え、
前記ｍビット精度の入力画像信号を符号化する事を特徴とする高能率符号化装置。
を提供すると共に、
【００１４】
（２） 画像信号の入出力フォーマットとしてｎビット精度信号が規定されているMPEG規格に準拠した高能率復号化装置において、
ｎビット精度の参照画像メモリと、
ｍビット精度（ｍ＝ｎ＋α：但しαは１以上の整数）の出力画像メモリと、
入力符号化画像信号を復号して得た量子化直交変換係数信号を逆量子化することにより復元した直交変換係数信号に逆直交変換を行い、上位ｎ＋１ビット信号の整数部、下位αビット信号の小数部の（ｍ＋１）．αビット復号信号として出力する逆直交変換回路と、
前記逆直交変換回路から出力された（ｍ＋１）．αビット復号信号をｍ＋１ビットのフォーマットに変換してｍ＋１ビット復号信号として出力するとともに、当該（ｍ＋１）．αビット復号信号をｎ＋１ビットのフォーマットに変換してｎ＋１ビット復号信号として出力する信号変換回路と、
前記入力符号化画像信号から復号された動きベクトルに応じて、前記参照画像メモリから読み出されたｎビット精度の予測参照画像の動き補償を行う動き補償予測回路と、
前記動き補償予測回路により動き補償されたｎビット精度の予測参照画像と前記ｍ＋１ビット復号信号とを加算して得たｍビット復号画像信号を前記出力画像メモリに供給する第１の加算器と、
前記動き補償予測回路により動き補償されたｎビット精度の予測参照画像と前記ｎ＋１ビット復号信号とを加算して得たｎビット復号画像信号を前記参照画像メモリに供給する第２の加算器とを備え、
高能率符号化された入力符号化画像信号を復号することを特徴とする高能率復号化装置。
を提供するものである。
【００１５】
【発明の実施の形態】
本発明は、例えば１０ビット精度の画像信号の符号化処理、復号処理を、MPEG２の符号化方式と互換性を持たせながら、１０ビット精度の信号に対応させることにより、規格を準拠し、かつ高画質な符号化・復号が行える高能率符号化装置及び高能率復号装置である。
【００１６】
図１に、本発明の高能率符号化装置の第1実施例を示し、説明する。入力画像信号はMPEG規格の８ビット精度よりも高精度の画像信号（ここでは１０ビットとする）とする。
入力画像信号は、１０ビット精度の画像データを記録することのできる入力画像メモリに記憶される。１０ビット対１０ビットの動きベクトル検出回路は、入力画像メモリに蓄えられた１０ビット画像データを入力とするものであり、符号化するフレームの画像と参照画像（予測参照画像）となるフレームの元画像とをそれぞれ入力画像メモリより２次元ブロックで切り出し、両画像間でパターンマッチング処理を行なう。そして、動きベクトル検出回路は動きベクトルを検出する。
【００１７】
この動きベクトル検出回路は、参照画像として参照画像メモリ（８ビット精度）に蓄積されている局部復号画像を用いて検出処理で行なうことも可能であるが、その場合には、入力画像データが１０ビットであるのに対して、参照画像が８ビットとなるため、動きベクトル検出の画像精度は８ビット精度となる。（入力画像の下２ビットは、動きベクトル検出時には切り捨てられ無効となる。）
参照画像との間で動きベクトルを求められた入力画像信号は、信号変換回路で１０．２ビット（１０ビット精度中、小数点以下２ビット）に信号変換される。
実際には、１０ビット信号の上位８ビットを整数信号として用い、下位２ビットを小数点以下の信号として用いることになる。
【００１８】
信号変換回路から出力された１０．２ビットの入力信号は、減算器により８ビットの参照画像信号（８ビット予測信号）が減算される。減算動作は動きベクトル検出回路からの予測モード信号に応じて行われる。減算器に供給される８ビットの参照画像信号（８ビット予測信号）は、参照画像メモリより切り出され、動き補償予測回路により動きベクトルに応じて動き補償が行われた信号である。
減算器の出力信号は、２次元ブロック変換回路を介して離散コサイン変換（DCT）を行う直交変換回路に入力される。この時の画像の精度は１１．２ビット（１１ビット精度中、小数点以下２ビット）となる。
【００１９】
直交変換回路は、通常MPEG２規格準拠の符号化装置においては入力が９ビット精度で、内部でDCT演算での精度を保つために、１６ビット以上の精度に変換される。この場合、小数点以下の部分には、０が入力されDCT演算が行われる。本実施例においては、直交変換回路の入力を１１．２ビットで行うことにより、DCT入力の小数点以下の部分にも入力を与える。直交変換回路では、MPEG２規格と同様のDCT演算処理を行ない、結果のDCT係数を量子化回路に入力する。量子化回路で量子化された係数は、符号化回路、符号化テーブル、レートコントロール回路、及びマルチプレクサによりMPEG２規格と同様の方法にて、動きベクトルや予測モードと共にビットストリームとして出力される。
【００２０】
逆量子化回路、逆直交変換回路、デブロック回路、加算器、及び参照画像メモリにより形成される局部復号処理部においては、MPEG2規格と全く同じ処理を行うことにより、MPEG2規格準拠の復号装置との整合性をとる。よって、逆量子化及びIDCT（逆離散コサイン変換）処理が行われた復号差分画像は、９ビット精度に丸められ、上記動き補償回路から出力された予測画像と加算され、８ビット精度に丸められて、参照画像メモリに記録される。
符号化装置内で、符号化された画像信号の復号イメージを出力したい場合には、上記逆量子化及びIDCTが行われた復号画像信号を１１．２ビット精度で丸めたデータを保持し、予測画像と加算した結果を１０ビット精度に丸めて、出力画像メモリに逐次蓄え、出力することで可能となる。
【００２１】
次に、上記高能率符号化装置にて、符号化された１０ビット精度の画像信号を１０ビット精度で復号するための高能率復号装置の実施例を図２に示し、説明する。
復号装置では、入力されデマルチプレクサを介したビットストリームをストリーム復号回路にて、動きベクトルや予測モード、画像の位置を示す情報等と、量子化されたDCT係数信号とに分離し、それぞれの符号化された信号の復号処理を行う。復号された量子化DCT係数は逆量子化回路において、DCT係数に復元され、逆直交変換回路（IDCT処理を行う）においてDCT係数が画像信号（予測フレームの場合には差分画像信号）に復元される。
【００２２】
逆直交変換回路の出力においては、予測フレームの場合には１１．２ビット、基準フレームの場合には１０．２ビット精度で丸め処理が行われる。まず、逆直交変換回路の出力が予測フレームの場合には、信号変換回路により１１．２ビットから１１ビットに変換が行われる。１１ビットに変換された信号は、加算器により予測参照画像（８ビット精度）との加算が行われる。この予測参照画像は、８ビット精度の参照画像メモリから切り出され、動き補償予測回路によって動きベクトルに基づき動き補償されたものである。加算器から出力された加算結果（１０精度に丸められた信号）は、１０ビット精度の画像信号として、１０ビット精度の出力画像メモリに記録される。
【００２３】
一方、逆直交変換回路の出力が基準フレームの場合には、信号変換回路により１０．２ビットから１０ビットに変換が行われる。そして、信号変換回路により１０ビットに変換された信号が、加算器で加算処理が行われずそのまま１０ビット精度の画像信号として、１０ビット精度の出力画像メモリに記録される。出力画像メモリから信号を読み出すことにより、１０ビット精度の画像信号が復元できる。
【００２４】
また、信号変換回路からは上記信号とは別に、参照画像となりえるフレームの場合（Iフレーム、Pフレームの場合）には、MPEG2規格に適応したビット精度、即ち予測フレーム（Pフレーム）で９ビット精度、基準フレーム（Iフレーム）で８ビット精度に丸められた画像信号（予測フレームの場合は差分画像信号）が出力される。そして、予測フレームの場合には、参照画像メモリから切り出された８ビット精度の予測参照画像との加算が行われ、その加算結果（８ビット精度に丸められた信号）が、参照画像メモリに予測参照画像として記録される。基準フレームでは、信号変換回路から出力された８ビット精度に丸められた画像信号がそのまま参照画像メモリに記録される。記録された参照画像メモリの画像データは、以降の予測フレームの予測参照画像信号（予測信号）として使用される。
【００２５】
このように、図１に示す実施例の符号化装置及び図２に示す復号化装置は、参照画像のビット精度、及び動き予測処理を行う系の精度を、MPEG2規格に合わせて処理を行い、符号化装置の画像入力からDCT入力迄、及び復号化装置のIDCT出力から画像出力迄を１０ビット精度で処理するようにしている。よって、図１に示す実施例の符号化装置で符号化したビットストリームを、従来のMPEG2規格の復号化装置において、8ビット精度で復号することができ、互換性が保持される。なおかつ、本実施例の符号化装置で符号化したビットストリームを、図２に示す実施例の復号化装置を用いて復号すれば、１０ビット精度の高画質の画像信号を復元することができる。
【００２６】
また、従来のMPEG2規格の符号化装置にて符号化されたビットストリームを本実施例の復号化装置を用いて復号した場合には、互換性が保持されつつ、かつ、グラデーション部分等の微妙に信号が変化する部分において、擬似的に１０ビット精度を持つことで、不自然な信号の境目をフィルタリングすることができ、高画質な復号処理を可能とする。
【００２７】
次に、本発明の高能率符号化装置の第２実施例を図３に示し、説明する。この実施例においては、８ビット入力の画像信号に対して、フィルタリング回路により空間・及び時間方向にフィルタ処理を行う。フィルタリング回路の出力を１０ビットで出力し、以降の回路を第1の実施例と同様の構成にする。
【００２８】
入力画像信号をｎビット精度の入力信号とすれば、空間方向もしくは時間方向に複数の画素を入力とし、ｍビット精度（ｍ＝ｎ＋α 但しαは１以上の整数）の信号を出力するフィルタリング回路を設けるようにする。
このフィルタリング回路にて、ノイズ除去や符号化レートに合わせた解像度変換等を行うと共に、８ビット以上の精度で出力を記録することにより、従来の符号化装置よりも高精度の画像信号を符号化することができる。
【００２９】
【発明の効果】
以上の通り、本発明の高能率符号化装置及び高能率復号化装置は、高能率符号化装置の画像入力から直交変換入力迄（DCT入力迄）と、高能率復号化装置の逆直交変換出力（IDCT出力）から画像出力迄とを、それぞれMPEG規格以上の精度を持たせるようにしたので、MPEG規格以上の入力精度を持つ画像信号に対して、規格を準拠し、かつ高画質な符号化・復号が行える。
【００３０】
さらに、本発明の高能率符号化装置で符号化したビットストリームを、従来のMPEG規格の復号化装置において、従来と同等の精度で復号することができ、本発明の高能率符号化装置は従来の装置との互換性を保持できる。
また、従来のMPEG規格の符号化装置にて符号化されたビットストリームを、本発明の高能率復号化装置を用いて復号した場合には、本発明の高能率復号化装置は、従来のMPEG規格との互換性を保持して復号を行えると共に、グラデーション部分等の微妙に信号が変化する部分において、不自然な信号の境目をフィルタリングすることができ、より高画質な復号処理を可能とする。
【図面の簡単な説明】
【図１】本発明の高能率符号化装置の第１実施例を示す構成図である。
【図２】本発明の高能率復号化装置の一実施例を示す構成図である。
【図３】本発明の高能率符号化装置の第２実施例を示す構成図である。
【図４】従来の高能率符号化処理を示す構成図である。

Claims (2)

1. 画像信号の入出力フォーマットとしてｎビット精度信号が規定されているMPEG規格に準拠した高能率符号化装置において、
   ｎビット精度の予測参照画像を記憶する参照画像メモリと、
   ｍビット精度の入力画像信号を記憶するｍビット精度（ｍ＝ｎ＋α：但しαは１以上の整数）の入力画像メモリと、
   前記入力画像メモリのｍビットの出力信号をｍ．αビットのフォーマットの信号に変換する信号変換回路と、
   前記入力画像メモリに記憶された符号化対象画像と、その符号化対象画像の予測参照画像となる画像に対応する前記入力画像メモリに記憶された画像との間で動きベクトルを算出する、もしくは、前記入力画像メモリに記憶された符号化対象画像と、前記参照画像メモリに記憶されたその予測参照画像との間で動きベクトルを算出する、ｍビット対ｍビットの動きベクトル検出回路と、
   前記参照画像メモリから読み出されたｎビット精度の予測参照画像に対し、前記動きベクトルに応じて動き補償を行う動き補償予測回路と、
   前記信号変換回路のｍ．αビットの出力信号から、前記動き補償予測回路により動き補償されたｎビット精度の予測参照画像を減算し（ｍ＋１）．αビットの差分信号を出力する減算器と、
   前記減算器から出力された（ｍ＋１）．αビットの差分信号における上位ｎ＋１ビット信号を整数部、下位αビット信号を小数部として入力し直交変換を行う直交変換回路と、
   前記直交変換回路から出力された直交変換係数信号を量子化し符号化を行う量子化・符号化回路とを備え、
   前記ｍビット精度の入力画像信号を符号化する事を特徴とする高能率符号化装置。
2. 画像信号の入出力フォーマットとしてｎビット精度信号が規定されているMPEG規格に準拠した高能率復号化装置において、
   ｎビット精度の参照画像メモリと、
   ｍビット精度（ｍ＝ｎ＋α：但しαは１以上の整数）の出力画像メモリと、
   入力符号化画像信号を復号して得た量子化直交変換係数信号を逆量子化することにより復元した直交変換係数信号に逆直交変換を行い、上位ｎ＋１ビット信号の整数部、下位αビット信号の小数部の（ｍ＋１）．αビット復号信号として出力する逆直交変換回路と、
   前記逆直交変換回路から出力された（ｍ＋１）．αビット復号信号をｍ＋１ビットのフォーマットに変換してｍ＋１ビット復号信号として出力するとともに、当該（ｍ＋１）．αビット復号信号をｎ＋１ビットのフォーマットに変換してｎ＋１ビット復号信号として出力する信号変換回路と、
   前記入力符号化画像信号から復号された動きベクトルに応じて、前記参照画像メモリから読み出されたｎビット精度の予測参照画像の動き補償を行う動き補償予測回路と、
   前記動き補償予測回路により動き補償されたｎビット精度の予測参照画像と前記ｍ＋１ビット復号信号とを加算して得たｍビット復号画像信号を前記出力画像メモリに供給する第１の加算器と、
   前記動き補償予測回路により動き補償されたｎビット精度の予測参照画像と前記ｎ＋１ビット復号信号とを加算して得たｎビット復号画像信号を前記参照画像メモリに供給する第２の加算器とを備え、
   高能率符号化された入力符号化画像信号を復号することを特徴とする高能率復号化装置。

Images