JP5404857B2 - 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法 - Google Patents

Description

本発明は、画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法に関する。

非可逆圧縮方式の一例として、代表的な動画像符号化標準方式であるＨ．２６４が挙げられる。このＨ．２６４方式では、入力画像信号と、画面内予測や動き補償によって生成された予測画像信号との誤差信号である予測誤差信号に対して離散コサイン変換（ＤＣＴ）等の直交変換が行われ、変換係数に対して量子化及び符号化による圧縮処理が行われて符号化画像が生成される。

例えば特許文献１には、Ｎビット精度の入力画像を、Ｍビット大きな（Ｎ＋Ｍ）ビット精度の画像に変換し、変換後の画像を（Ｎ＋Ｍ−Ｌ）ビットに変換してフレームメモリに格納する手法が示されている。例えばＬ＝Ｍとすると、ビット精度をＭビット向上させても、フレームメモリにはＮビット精度の画像として格納されることになる。従って、フレームメモリの容量を抑えることができる。そして、画像信号をフレームメモリから読み出す際に、（Ｎ＋Ｍ−Ｌ）ビット精度の画像信号を（Ｎ＋Ｍ）ビット精度の画像信号に変換している。

国際公開第２００７／１１４３６８号パンフレット（第１９頁、図１１Ｂ）

上述の技術では、フレームメモリに格納する際にビットシフトによって（Ｎ＋Ｍ）ビット精度の画像を（Ｎ＋Ｍ−Ｌ）ビット精度の画像に変換している。このため、ダイナミックレンジの広い画像ではビットシフトによる誤差が生じ、符号化効率が低下しかねない。また、輝度信号と２つの色差信号に対して同じ変換方式が用いられているが、ビットを切捨てる際には、輝度と色差成分でそれぞれに適した処理を選択することが望ましい。

本発明は、前記のような問題に鑑みなされたもので、画素ビット精度を拡張した際に、フレームメモリに画像を適応的に圧縮して格納することで、符号化効率を落とさずにフレームメモリの容量を削減することが可能になる画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法を提供することを目的とする。

第１の態様は、Ｎビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度をＭビット大きな（Ｎ＋Ｍ）ビット精度に変換する画素ビット長拡張器と、（Ｎ＋Ｍ）ビット精度の前記入力画像に対する（Ｎ＋Ｍ）ビット精度の予測画像を、（Ｎ＋Ｍ）ビット精度の参照画像から生成する予測画像生成器と、（Ｎ＋Ｍ）ビット精度の前記入力画像と（Ｎ＋Ｍ）ビット精度の前記予測画像との差分信号を求める減算器と、前記差分信号を符号化して画像符号化情報を出力する符号化器と、前記画像符号化情報に基づいて復号差分画像を出力する復号化器と、（Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力する加算器と、（Ｎ＋Ｍ）ビット精度の前記復号画像の各画素のビット精度を互いに異なる複数の変換方式を選択的に用いてＮビット精度に変換する画素ビット長変換器と、Ｎビット精度に変換された前記復号画像を前記参照画像として保存する参照画像格納メモリと、前記参照画像格納メモリから読み出したＮビット精度の前記参照画像の各画素のビット精度を前記変換方式に応じてＭビット大きな（Ｎ＋Ｍ）ビット精度に変換する画素ビット長逆変換器とを具備する画像符号化装置を提供する。

第２の態様は、（Ｎ＋Ｍ）ビット精度の符号化画像情報を入力して復号差分画像を出力する復号化器と、前記符号化画像情報を用いて（Ｎ＋Ｍ）ビット精度の参照画像から（Ｎ＋Ｍ）ビット精度の予測画像を生成する予測画像生成器と、
（Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力する加算器と、（Ｎ＋Ｍ）ビット精度の前記復号画像の各画素のビット精度を互いに異なる複数の変換方式を選択的に用いてＮビット精度に変換する画素ビット長変換器と、Ｎビット精度に変換された前記復号画像を前記参照画像として保存する参照画像格納メモリと、前記参照画像格納メモリから読み出したＮビット精度の前記参照画像の各画素のビット精度を前記変換方式に応じてＭビット大きな（Ｎ＋Ｍ）ビット精度に変換する画素ビット長逆変換器とを具備する画像復号化装置を提供する。

第３の態様は、Ｎビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度をＭビット大きな（Ｎ＋Ｍ）ビット精度に変換するステップと、（Ｎ＋Ｍ）ビット精度の前記入力画像に対する（Ｎ＋Ｍ）ビット精度の予測画像を、（Ｎ＋Ｍ）ビット精度の参照画像から生成するステップと、（Ｎ＋Ｍ）ビット精度の前記入力画像と（Ｎ＋Ｍ）ビット精度の前記予測画像との差分信号を求めるステップと、前記差分信号を符号化して画像符号化情報を出力するステップと、前記画像符号化情報に基づいて復号差分画像を出力するステップと、（Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力するステップと、前記（Ｎ＋Ｍ）ビット精度の前記復号画像の各画素のビット精度を互いに異なる複数の変換方式を選択的に用いてＮビット精度に変換するステップと、Ｎビット精度に変換された前記復号画像を前記参照画像として前記参照画像格納メモリ保存するステップと、Ｎビット精度の前記参照画像の各画素のビット精度を前記変換方式に応じてＭビット大きな（Ｎ＋Ｍ）ビット精度に変換するステップとを有する画像符号化方法を提供する。

第４の態様は、（Ｎ＋Ｍ）ビット精度の符号化画像情報を入力して復号差分画像を出力するステップと、前記符号化画像情報を用いて（Ｎ＋Ｍ）ビット精度の参照画像から（Ｎ＋Ｍ）ビット精度の予測画像を生成するステップと、（Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力するステップと、（Ｎ＋Ｍ）ビット精度の前記復号画像の各画素のビット精度を互いに異なる複数の変換方式を選択的に用いてＮビット精度に変換するステップと、Ｎビット精度に変換された前記復号画像を前記参照画像として保存するステップと、Ｎビット精度の前記参照画像の各画素のビット精度を前記変換方式に応じてＭビット大きな（Ｎ＋Ｍ）ビット精度に変換するステップとを有する画像復号化方法を提供する。

本発明によれば、画素ビット精度を拡張した際に、フレームメモリに画像を適応的に圧縮して格納することで、符号化効率を落とさずにフレームメモリの容量を削減することが可能になる画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法を提供することができる。

本実施形態に係る画像符号化装置の構成例を示す図。 図１の画像符号化装置の動作を示すフローチャート。 適応的画素ビット長変換器の構成例を示す図。 適応的画素ビット長変換器による量子化処理を示す図。 適応的画素ビット長変換器によるビットシフト変換処理及び切り抜き処理を示す図。 画素ビット精度変換部の構成を示す図。 切捨てビット加算部による加算の様子を示す図。 適応的画素ビット長変換器から出力されるビット長変換信号の保持方法の一例を示す図。 適応的画素ビット長変換器から出力されるビット長変換信号の保持方法の他の例を示す図。 適応的画素ビット長変換器の変形例の構成を示す図。 画素ビット長逆変換器の構成例を示す図。 本実施形態に係る画像復号化装置の構成例を示す図。

以下、図面を参照して本発明の実施の形態について説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、詳しい説明は省略する。

［画像符号化装置］
図１は、本実施形態に係る画像符号化装置の構成例を示すブロック図である。

図１に示すように、画像符号化装置は、画素ビット長拡張器（画素ビット精度変換器）３００、減算器３０１、直交変換器３０２、量子化器３０３、逆量子化器３０４、逆直交変換器３０５、加算器３１５、ループフィルタ３０６、適応的画素ビット長変換器３１２、フレームメモリ３０８、画素ビット長逆変換器３１３、予測画像生成器３１０、ビット長変換制御器（ビット精度変換制御器）３１１、及びエントロピー符号化器３２０を備えている。

入力画像信号２００は、画素ビット長拡張器３００に受信され、減算器３０１に出力される。直交変換器３０２は、減算器３０１から出力される予測誤差信号２２０を直交変換し、直交変換係数情報２４０を出力する。量子化器３０３は、直交変換係数情報２４０を量子化して、量子化直交変換係数情報２５０を出力する。

量子化器３０３から出力される量子化直交変換係数情報２５０は、２系統に分配され、一方はエントロピー符号化器３２０に入力され、他方は逆量子化器３０４に送られる。逆量子化器３０４に送られた量子化直交変換係数情報２５０は、逆量子化器３０４及び逆直交変換器３０５によって局部復号され、加算器３１５に送られる。

加算器３１５から出力される局部復号画像信号２６５は、ループフィルタ３０６及び適応的画素ビット長変換器３１２を介してフレームメモリ３０８に送られる。フレームメモリ３０８の前段には適応的画素ビット長変換器３１２が、後段には画素ビット長逆変換器３１３が備えられている。

フレームメモリ３０８からの出力は、画素ビット長逆変換器３１３を介して予測画像生成器３１０に送られる。予測画像生成器３１０は予測画像信号２３０を出力し、当該予測画素信号２３０は減算器３０１及び加算器３１５に入力される。また、予測画像生成器３１０から出力される動きベクトルと予測モードの情報は、エントロピー符号化器３２０に入力される。

ビット長変換制御器３１１は、ビット変換情報２１０を画素ビット長拡張器３００に入力し、ビット拡張情報２８０をエントロピー符号化器３２０に入力する。また、ビット長変換制御器３１１は、ビット拡張情報２８０を適応的画素ビット長変換器３１２と画素ビット長逆変換器３１３とに入力する。

続いて、図２を参照して、以上のように構成された画像符号化装置の動作を説明する。図２は、画像符号化装置の動作の一例を表すフローチャートである。

画像符号化装置には、例えばフレーム単位でＮビット精度の動画像信号２００が入力される（ステップＳ５１）。画素ビット長拡張器３００は、入力された画像信号２００の各画素の値をＮビットよりＭビット大きな（Ｎ＋Ｍ）ビット精度に拡張する処理を行う（ステップＳ５２）。

画像信号２００のある画素の画素値Ｋに対して、Ｍビットの拡張処理を行って得られる画素値Ｋ´は、例えば以下の式（１）によって算出される。

また、例えば表示装置の特性に合わせて画素をガンマ変換してもよい。ガンマ値をγとすると、画素値Ｋに対してＭビットの拡張処理がなされた画素値Ｋ´は、式（２）によって算出される。

あるいは、画像信号２００の画素値の最小値Ｍｉｎと最大値Ｍａｘを求め、ダイナミックレンジを広げつつＭビット大きなビット精度に画素を拡張することも可能である。この場合、拡張処理がなされた画素値Ｋ´は、式（３）によって算出される。

式（２）及び（３）において演算子ｉｎｔ（ｘ）は、数ｘの値を整数に丸める演算を示す。またｏｆｆｓｅｔは、丸めのオフセットを示し、０〜１の任意の値をとる。

さらに、上述のように画素ビット精度を拡張した画像信号２００の系列に対し、ヒストグラム平滑化を行ったり、時空間にフィルタを施したりしてもよい。

画像信号２００が例えばＲＧＢ信号等、複数成分を含むカラー画像信号である場合、各成分について、各画素のビット長をＭビット大きなビット精度に拡張し、各成分を別の色空間の信号に変換してもよい。例えば、ＲＧＢ系からＹＣｏＣｇ系に変換する場合には、以下の式（４）によって変換が行なわれる。

式（４）では、Ｎビット精度の画像信号２００の各成分の画素値Ｒ、Ｇ、ＢがＭビット大きなビット精度に拡張された、更にＹ、Ｃｏ、Ｃｇ信号に変換される。演算子ｒｏｕｎｄ（Ａ）は、数Ａの値を四捨五入によって整数に丸める演算を示す。式（４）による変換では、拡張ビット数Ｍを２以上とすれば、丸め処理において丸め誤差が発生することなく色変換することが可能である。なお、式（４）による色変換は一例として示されたものであり、その他の色変換が行われてもよい。

以上は、画素ビット長拡張器３００が行う変換（ステップＳ５２）の一例であるが、各画素の値をＭビット大きなビット精度に拡張する処理は、上記の例に限定されない。拡張されるビット数Ｍ等の変換情報は、ビット拡張情報２８０としてビット長変換制御器３１１からエントロピー符号化器３２０に送られる。ただし、画素ビット長拡張器３００が各画素のビット長を拡張するかどうかを、所定のフラグによって切り替えて決定してもよい。

減算器３０１は、画素ビット長拡張器３００によって（Ｎ＋Ｍ）ビット精度にビット長が拡張された入力画像信号２００から、予測画像生成器３１０から出力される（Ｎ＋Ｍ）ビット精度の予測画像信号２３０を減算し、（Ｎ＋Ｍ）ビット精度の予測誤差信号２２０を生成して出力する（ステップＳ５３）。

予測誤差信号２２０は、直交変換器３０２により直交変換され、量子化器３０３によって量子化される（ステップＳ５４）。直交変換器３０２は、例えば、離散コサイン変換（ＤＣＴ）等の直交変換を行い、ＤＣＴ係数等の直交変換係数情報２４０を生成する。量子化器３０３は、この直交変換係数情報２４０に対して量子化処理を行い、量子化直交変換係数情報２５０を出力する。

量子化直交変換係数情報２５０は、エントロピー符号化器３２０および逆量子化器３０４に入力される。逆量子化器３０４、逆直交変換器３０５、及び加算器３１５は、量子化直交変換係数情報２５０の局部復号を行なう（ステップＳ５５）。逆量子化器３０４及び逆直交変換器３０５は、局部復号処理、即ち量子化器３０３及び直交変換器３０２と逆の処理を順次実行する処理によって、予測誤差信号２２０と同様の局部復号誤差信号２６０を生成する。この局部復号誤差信号２６０には、加算器３１５によって（Ｎ＋Ｍ）ビット精度の予測画像信号２３０が加算され、（Ｎ＋Ｍ）ビット精度の局部復号画像信号２６５が生成される。

（Ｎ＋Ｍ）ビット精度の局部復号画像信号２６５は、必要に応じてループフィルタ３０６によりフィルタ処理され、適応的画素ビット長変換器３１２に入力される。適応的画素ビット長変換器３１２は、各画素の値をＬビット小さな値に縮小変換し、参照画像であるビット長変換信号２０７を生成する（ステップＳ５６）。ここで、ビット長変換信号２０７には、Ｎビット精度の画像信号とシフト量、代表値、及び変換方式の情報が含まれる。

適応的画素ビット長変換器３１２によって生成されたビット長変換信号２０７は、フレームメモリ３０８に格納される（ステップＳ５７）。

フレームメモリ３０８に格納されていたＮビット精度のビット長変換信号２０８は、必要に応じて画素ビット長逆変換器３１３に送信される。

画素ビット長逆変換器３１３は、Ｎビット精度のビット長変換信号２０８に含まれる画像信号、シフト量、代表値及び変換方式の情報に基づいて、当該ビット長変換信号２０８のビット長を拡張して、（Ｎ＋Ｍ）ビット精度の局所復号画像信号２０９を生成する（ステップＳ５８）。

フレームメモリ３０８に格納する際あるいはフレームメモリ３０８から出力する際のビット拡張／ビット縮小は行われない。適応的画素ビット長変換器３１２および画素ビット長逆変換器３１３で行われる変換は、拡張ビット数であるＭビット長だけ拡大／縮小が行われる変換であれば、どのような変換を行ってもよい。

予測画像生成器３１０は、フレーム内のブロック毎に、（Ｎ＋Ｍ）ビット精度にビット長が拡張された入力画像信号２００と（Ｎ＋Ｍ）ビット精度の局部復号画像信号２０９との間のマッチング（例えば、ブロックマッチング）をとり、動きベクトルを検出する（ステップＳ５９）。そして予測画像生成器３１０は、動きベクトルで補償された（Ｎ＋Ｍ）ビット精度の局部画像信号２０９を用いて（Ｎ＋Ｍ）ビット精度の予測画像信号２３０を生成する（ステップＳ６０）。生成された（Ｎ＋Ｍ）ビット精度の予測画像信号２３０は、選択された予測画像信号２３０の動きベクトル情報／予測モード情報２７０とともに予測画像生成器３１０より出力される。

エントロピー符号化器３２０は、量子化直交変換係数情報２５０、動きベクトル情報／予測モード情報２７０およびビット拡張情報２８０をエントロピー符号化し（ステップＳ６１）、これによって生成された符号化データ２０１は、図示しない伝送系または蓄積系へ送信される。

本実施形態に係る画像符号化装置では、任意の符号化単位でビット拡張を行うか否かを切り替えたり、拡張するビット数を切り替えたりすることも可能である。

［適応的画素ビット長変換器］
次に、適応的画素ビット長変換器３１２の構成及び動作について説明する。ここでは、フレームメモリ３１３に画像を格納する際に、画像をいくつかの方法で圧縮・展開し、元の画像との差が最も小さくなる圧縮方法を選択する手法を提案する。

図３は、適応的画素ビット長変換器３１２の詳細構成の一例を示すブロック図である。図３に示すように、適応的画素ビット長変換器３１２は、ダイナミックレンジ算出部１０１、シフト量／代表値算出部１０２ａ〜１０２ｄ、画素ビット精度変換部１０３ａ〜１０３ｄ、画素ビット精度逆変換部１０４ａ〜１０４ｄ、減算器１０５ａ〜１０５ｄ、及び最小値選択部１０６を備える。

上述の通り、適応的画素ビット長変換器３１２には、（Ｎ＋Ｍ）ビット精度の局所復号画像信号２０６がループフィルタ３０８からブロック単位で入力する。

ダイナミックレンジ算出部３０１は、局所復号画像信号２０６の画素値の最大値ｍａｘと最小値ｍｉｎを求め、両者の差分であるダイナミックレンジｄ＝ｍａｘ−ｍｉｎを算出する。ダイナミックレンジ算出部３１は、例えば１６×１６画素からなる１ブロック中の最大値ｍａｘと最小値ｍｉｎを求め、ダイナミックレンジｄ＝ｍａｘ−ｍｉｎを算出する。

次にシフト量／代表値算出部１０２ａ〜１０２ｄのそれぞれによって、出力信号がＮビットになるようなシフト量と代表値が求められる。

例えばシフト量／代表値算出部１０２ａは、局所復号画像信号２０６とそのダイナミックレンジに基づいて、以下の式（５）よりシフト量と四捨五入のためのオフセット値を算出する。また、代表値としては、ブロック中の最小画素値が用いられる。

画素ビット精度変換部１０３ａは、画素ビット精度の変換を行う。例えば画素ビット精度変換部１０３ａに入力する（Ｎ＋Ｍ）ビット精度の画像信号をＩとすると、画素ビット精度変換部１０３ａから出力されるＮビット精度の画像信号２０５ａは、以下の式（６）によって表される。

画素ビット精度逆変換部１０４ａは、画素ビット精度変換部１０３ａと逆の画素ビット精度変換を行い、Ｎビット精度の画像信号２０５ａを（Ｎ＋Ｍ）ビット精度の画像信号２０６ａに変換する。例えば、画素ビット精度逆変換部１０４ａの出力である（Ｎ＋Ｍ）ビット局所符号画像信号２０６ａは、式（７）によって表される。

減算器１０５ａは、変換前の局所復号画像信号２０６と、（Ｎ＋Ｍ）ビット局所符号画像信号２０６ａとの差分を算出する。

シフト量／代表値算出部１０２ｂ、画素ビット精度変換部１０３ｂ、画素ビット精度逆変換部１０４ｂ及び減算器１０５ｂの組合せは、上述のシフト量／代表値算出部１０２ａ、画素ビット精度変換部１０３ａ、画素ビット精度逆変換部１０４ａ及び減算器１０５ａの組合せとは異なる変換方式で画素ビット長を変換する。

同様に、シフト量／代表値算出部１０２ｃ、画素ビット精度変換部１０３ｃ、画素ビット精度逆変換部１０４ｃ及び減算器１０５ｃの組合せと、シフト量／代表値算出部１０２ｄ、画素ビット精度変換部１０３ｄ、画素ビット精度逆変換部１０４ｄ及び減算器１０５ｄの組合せも、それぞれ異なる変換方式で画素ビット長を変換する。

最小値選択部１０６は、減算器１０５ａ〜１０５ｄから出力のうち最小値を検出する。そして最小値選択部１０６は、当該最小値に対応する変換方式の情報と当該変換方式によって変換されたＮビット精度の局所画像信号２０５を局所復号画像信号２０７としてフレームメモリ３０８へ出力する。また、局所復号画像信号２０７には、画像信号のブロックとシフト量、代表値及び変換方式の情報が含まれる。これにより、変換による画質の低下を最小限に抑えてフレームメモリに格納することができる。

図４は、適応的画素ビット長変換器３１２の入力である画像信号のヒストグラム及び、量子化の際の四捨五入の方法による変換の違いを示した図である。図４のヒストグラムにおいて、横軸は画像信号の値、縦軸はその画像信号を持つ画素の数を表す。

図４（Ａ）に示される画素値が０〜４０９５の１２ビット精度の値をとる画像信号Ｉを、８ビット精度への変換を行う場合の一例が図４（Ｂ）に示される。この場合、０を基準に画像信号Ｉが四捨五入される。即ち、画像信号Ｉに８を足してから４ビット分右シフトする。

しかしながら、画像信号Ｉは中央の２０４８を中心に分布している。そのため、２０４８より小さな値に対しては、理論的に異なる四捨五入の方法をしていることになる。

これに対して、画像信号Ｉが色差の場合、ビット精度の中央の値を基準にして四捨五入を行う場合の一例が図４（Ｃ）に表される。この場合、ビット精度が２Ｎであるとすると、２（Ｎ−１）を基準とした四捨五入が行なわれ、変換がなされる。変換後の画素値は、式（８）のように表される。

式（８）において演算子ｓｉｇｎ（ｘ）は、ｘの符号を返すための関数である。このような変換によって、画素値の分布に従った変換を行うことができ、変換による画質の低下が抑えられる。このような変換方式は、色差信号の変換に効果的である。

図５は、適応的画素ビット長変換器３１２に入力する画像信号Ｉのヒストグラムと、ビットシフトによる変換及び切り抜きによる変換の違いを示した図である。切り抜き処理とは、画像信号の代表値を基準とした所定範囲の画素のみを出力する処理である。

図５のヒストグラムにおいて、横軸は画像信号の値、縦軸はその画像信号を持つ画素の数を表す。

ヒストグラムの最小値ｍｉｎと最大値ｍａｘからダイナミックレンジｄを求め、ビットシフトを行なう場合の一例が図５（Ｂ）に示される。ダイナミックレンジｄが求められると、ビットシフトの値が決定できる。例えば変換後の画像のビット精度Ｎが８ビットであるとすると、ｄが２５６よりわずかでも大きな値であれば、１ビット以上右シフトしてしまう。そのため、右シフトにより桁落ちしてしまい、変換誤差が大きくなる。

これに対して、ビットシフトではなく切り抜き処理を行って変換誤差を小さく抑える場合の一例が図５（Ｃ）に示される。例えば代表値にヒストグラムの最小値ｍｉｎを用いて切り抜き処理をした値Ｉ´は、式（９）のように表される。

従って、画像信号のダイナミックレンジを２のＮ乗とすることができ、Ｎビット精度が確保される。なお、代表値にはヒストグラムの最小値以外に、最大値や中央値を用いてもよい。代表値として最大値ｍａｘを用いる場合、式（１０）に基づく変換が行なわれる。

また代表値として中央値ｍｉｄｄｌｅを用いる場合、式（１１）に基づく変換が行なわれる。

図６は、ビットシフト計算部１０７と切捨てビット加算部１０８と除算部１０９とを含む画素ビット精度変換部１０３の構成を示すブロック図である。画素ビット精度変換部１０３は、上述の画素ビット精度変換部１０３ａ〜１０３ｄを代表して図示されている。

ビット精度変換部１０３に入力する画素信号２０６をｘで表すと、ビットシフト計算部１０７は、式（１２）で表されるような変換式によって画素信号を変換する。

切捨てビット加算部１０８は、式（１３）で表され、ビットシフトによって切捨てられる値を算出し、ビット精度変換部１０３に入力する全てのブロックに対して切捨てビットを加えていく。

図７は、切捨てビット加算部１０８による加算の様子を示す図である。図７のグラフにおいて、横軸はブロック内の画素の番号を示し、縦軸は切捨てビットの総和（図６における信号２１１）を示している。

除算部１０９は、切捨てビットの総和２１１をブロック数で割り、その値を切捨てビット２１２として出力する。切捨てビットをｃｕｔｏｆｆで、ブロックの画素数をｎで表すと、その関係は、式（１４）で表される。

例えば１６×１６画素のブロックであれば、ｎ＝２５６となる。後段の画素ビット精度逆変換部１０４ではこの逆変換を行なうため、左シフトの変換を行なってから切捨てビットを加える。逆変換後の値をｘ’’と、シフト量をｓｈｉｆｔとすると、逆変換の式は式（１５）で表される。

このようにすることで、切捨てられたビットをある程度復元することができ、画素ビット精度を変換した際の画質の劣化が抑えられる。

図８及び図９は、適応的画素ビット長変換器３１２から出力されるビット長変換信号２０７の保持方法の例を示した図である。

以下では、ビット長変換信号２０７に含まれるシフト量、代表値、及び変換方式等をまとめて付加情報と称する。図示のように、付加情報は変換方式６０１、シフト量６０２、切捨てビット情報６０３、代表値６０４及び６０５を含む。

本実施形態では、変換方式によって、図８に示す形式で付加情報を保持するか、図９に示す方式で保持するかを選択することができるようにする。

例えば変換方式６０１が「００」以外の場合は図８に示す形式で、変換方式６０１が「００」で表される場合は図９に示す形式で付加情報が保持される。付加情報の割り当て方は任意に設定できる。例えば図示のように、付加情報に２バイトのメモリを使用する場合は、付加情報の１バイト目７０１には、下位ビットから順に変換方式６０１を２ビット、シフト量６０２を３ビット、切捨てビット情報６０３を３ビット割り当てる。

例えば画素ビット精度を拡張するためのＭの値が０≦Ｍ≦６である場合、ブロックのダイナミックレンジが最も大きいときでも、シフト量６０２は３ビットあれば充分表現できる。また、ダイナミックレンジが２のＮ乗以下である場合や切り抜き処理を行う場合は、ビットシフト処理が必要ないので、図９のように付加情報を保持する。即ち、切捨てビット情報を保持する必要がなく、１バイト目の上位６ビットと２バイト目の８ビットの合計１４ビットを代表値に割り当てることができる。

このように付加情報を変換方式によって可変にすることにより、より精度の高い変換情報を保持しておくことができ、変換による画質の劣化が少なくなる。

［適応的画素ビット長変換器の変形例］
図１０は、適応的画素ビット長変換器３１２の変形例の全体構成を示したブロック図である。適応的画素ビット長変換器３１２はダイナミックレンジ算出部１０１、変換方式算出部４０４、変換方式選択部４０１、シフト量／代表値算出部１０２ａ〜１０２ｄ、画素ビット精度変換部１０３ａ〜１０３ｄ、及び出力選択部４０３を備える。

適応的画素ビット長変換器３１２は、上記図１におけるループフィルタ３０６とフレームメモリ３０８の間に接続される。適応的画素ビット長変換器３１２は、（Ｎ＋Ｍ）ビット局所復号画像信号２０６を入力とし、Ｎビット局所復号画像信号２０７を出力する。Ｎビット局所復号画像信号２０７には、Ｎビット精度の画像信号とシフト量、代表値、及び変換方式の情報が含まれる。

ダイナミックレンジ算出部１０１は、入力画像信号の最大値と最小値を求めその差を変換方式算出部４０４に出力する。次に、変換方式算出部４０４は、ダイナミックレンジや画像信号の情報によって変換方式を決定する。例えば、ダイナミックレンジがＮビット以下であれば、シフト量が０になることが分かるので、画像の領域を（Ｎ＋Ｍ）ビットからＮビットに切り抜く処理を行う変換処理を変換方式選択部４０１で選択する。または、画像の色成分を読み取り、輝度と色差とで異なる変換方式を行うなどの選択を可能にする。シフト量／代表値算出部１０２ａ〜１０２ｄ及び画素ビット精度変換部１０３ａ〜１０３ｄは、上記実施形態と同様の作用をする。出力選択部４０３は、変換方式算出部４０４で算出した変換方式によって、どの変換方式で変換された画像信号を出力するかを選択する。ビット精度を変換する前に変換方式を決定し、選択的にビット精度の変換を行うことで、上記実施形態よりも少ない演算量で、従来よりも画質の低下を抑えてフレームメモリに格納することができる。

［画素ビット長逆変換器］
図１１は、画素ビット長逆変換器３１３の全体構成を示したブロック図である。画素ビット長変換器３１３は、シフト量／代表値／変換方式読み出し部４００、変換方式選択部４０１、画素ビット精度逆変換部４０２ａ〜４０２ｄ、及び出力選択部４０３を備える。

画素ビット長逆変換器３１３は、上記図１におけるフレームメモリ３０８と予測画像生成器３１０の間に接続される。画素ビット長逆変換器３１３は、Ｎビット精度の画像信号と、シフト量、代表値及び変換方式を含むＮビット局所復号画像信号２０８とを入力とし、（Ｎ＋Ｍ）ビット精度の局所復号画像信号２０９を出力する。

シフト量／代表値／変換方式読み出し部４００は、Ｎビット局所復号画像信号２０８から変換方式を読み出し、変換方式選択部４０１で変換方式によってどの画素ビット精度逆変換部４０２を使うかを選択する。画素ビット精度逆変換部４０２ａ〜４０２ｄのそれぞれは、上記図３の適応的画素ビット長変換器３１２が備える画素ビット精度逆変換部１０４ａ〜１０４ｄのそれぞれと同じ処理を行う。出力選択部４０３は変換方式によってどの変換方式で変換された画像信号を出力するかを選択する。

［画像復号化装置］
次に、図１２を参照して本実施形態に係る画像復号化装置について説明する。図１２において、画像復号化装置は、エントロピー復号器３１４、逆量子化器３０４、逆直交変換器３０５、加算器３１５、ループフィルタ３０６、適応的画素ビット長変換器３１２、フレームメモリ３０８、画素ビット長逆変換器３１３、予測画像生成器３１０、及びビット長変換制御器３１１を備える。

画像復号化装置は、符号化された（Ｎ＋Ｍ）ビット精度の画像信号２０１を入力とし、Ｎビット精度の画像信号２０２を出力する。エントロピー復号器３１４、逆量子化器３０４、逆直交変換器３０５、加算器３１５、ループフィルタ３０６、フレームメモリ３０８、予測画像生成器３１０、及びビット長変換制御器３１１は一般的な構成と同じ作用をする。

適応的画素ビット長変換器３１２及び画素ビット長逆変換器３１３は、それぞれ上記画像符号化装置と同じ作用をすることにより、復号化装置内部の演算では、（Ｎ＋Ｍ）ビット精度の画像を用いることができるとともに、フレームメモリ３０８はＮビット精度の画像を保持するメモリ量に抑えることができる。

すなわち、上記実施形態によれば、画素ビット精度を拡張した際に、フレームメモリに画像を適応的に圧縮して格納することで、量子化誤差を低減して符号化効率を落とさずにフレームメモリの容量を削減することが可能となる。

本発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、１つの実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの実施形態に示される構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

３００…画素ビット長拡張器（画素ビット精度変換器）、３０１…減算器、３０２…直交変換器、３０３…量子化器、３０４…逆量子化器、３０５…逆直交変換器、３１５…加算器、３０６…ループフィルタ、３１２…適応的画素ビット長変換器、３０８…フレームメモリ、３１３…画素ビット長逆変換器、３１０…予測画像生成器、３１１…ビット長変換制御器（ビット精度変換制御器）、３２０…エントロピー符号化器、１０１…ダイナミックレンジ算出部、１０２ａ〜１０２ｄ…シフト量／代表値算出部、１０３ａ〜１０３ｄ…画素ビット精度変換部、１０４ａ〜１０４ｄ…画素ビット精度逆変換部、１０５ａ〜１０５ｄ…減算器、１０６…最小値選択部、１０７…ビットシフト計算部、１０８…切捨てビット加算部、１０９…除算部、４０４…変換方式算出部、４０１…変換方式選択部、４０３…出力選択部、４００…シフト量／代表値／変換方式読み出し部、４０２ａ〜４０２ｄ…画素ビット精度逆変換部、３１４…エントロピー復号器。

Claims (10)

1. Ｎビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度をＭビット大きな（Ｎ＋Ｍ）ビット精度に変換する画素ビット長拡張器と、
   （Ｎ＋Ｍ）ビット精度の前記入力画像に対する（Ｎ＋Ｍ）ビット精度の予測画像を、（Ｎ＋Ｍ）ビット精度の参照画像から生成する予測画像生成器と、
   （Ｎ＋Ｍ）ビット精度の前記入力画像と（Ｎ＋Ｍ）ビット精度の前記予測画像との差分信号を求める減算器と、
   前記差分信号を符号化して画像符号化情報を出力する符号化器と、
   前記画像符号化情報に基づいて復号差分画像を出力する復号化器と、
   （Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力する加算器と、
   （Ｎ＋Ｍ）ビット精度の前記復号画像の各画素のビット精度を互いに異なる複数の変換方式を選択的に用いてＮビット精度に変換する画素ビット長変換器と、
   Ｎビット精度に変換された前記復号画像を前記参照画像として保存する参照画像格納メモリと、
   前記参照画像格納メモリから読み出したＮビット精度の前記参照画像の各画素のビット精度を前記変換方式に応じてＭビット大きな（Ｎ＋Ｍ）ビット精度に変換する画素ビット長逆変換器と
   を具備し、
   前記画素ビット長変換器は、
   （Ｎ＋Ｍ）ビット精度の前記復号画像をブロック単位とした第１局所信号を互いに異なる複数の変換方式によりＮビット精度の複数の第２局所信号に変換する複数の画素ビット精度変換部と、
   前記第１局所信号の色成分に基づいて輝度と色差とで異なる変換方式を算出する算出部と、
   前記算出された変換方式をもとに選択した前記第２局所信号と当該信号の変換方式を含む付加情報とをＮビット精度の前記復号画像として出力する選択部と
   を備えること特徴とする画像符号化装置。
2. 前記画素ビット長拡張器は、Ｎビット精度の前記入力画像の各画素の値をＭビット大きな（Ｎ＋Ｍ）ビット精度に変換した後に、該画像の各コンポーネントを異なる色空間に変換し、
   前記画素ビット精度変換部は、前記色空間の種類に応じて前記第１局所信号の画素値の分布の所定位置の値を基準にビット精度を変換することを特徴とする請求項１記載の画像符号化装置。
3. 前記画素ビット精度変換部は、前記変換方式の１つとして、前記第１局所信号の画素値の分布から決められるシフト量によるビットシフト変換を行い、
   前記付加情報は前記シフト量を表す情報をさらに含むことを特徴とする請求項１記載の画像符号化装置。
4. 前記画素ビット精度変換部は、前記変換方式の１つとして、前記第１局所信号の画素値の分布の代表値から所定範囲の画素を出力する切り抜き処理による第２変換処理を行い、
   前記付加情報は前記代表値を表す情報をさらに含むことを特徴とする請求項１記載の画像符号化装置。
5. 前記画素ビット精度変換部は、
   前記第１局所信号を前記シフト量に基づいてビットシフトにより前記第２局所信号を変換するビットシフト計算部と、
   前記ビットシフトにより切り捨てられた値を加算する切捨てビット加算部と、
   前記切捨てビット加算部から出力される総和を前記ブロックの数で除算した切捨てビットを出力する除算部とを備え、
   前記付加情報は前記切捨てビットを表す情報をさらに含むことを特徴とする請求項３記載の画像符号化装置。
6. 前記画素ビット長変換器は、前記変換方式に応じて異なる形式の付加情報を出力することを特徴とする請求項１乃至５のいずれか記載の画像符号化装置。
7. 前記画素ビット長逆変換器は、
   Ｎビット精度の前記参照画像をブロック単位とした局所信号を、互いに異なる複数の変換方式により（Ｎ＋Ｍ）ビット精度に変換する複数のビット精度変換部と、
   前記局所信号に含まれる付加情報をもとに前記複数の複数のビット精度変換部の出力のいずれかを選択し（Ｎ＋Ｍ）ビット精度の前記参照画像として出力する選択部と
   を備えることを特徴とする請求項１乃至６のいずれか記載の画像符号化装置。
8. （Ｎ＋Ｍ）ビット精度の符号化画像情報を入力して復号差分画像を出力する復号化器と、
   前記符号化画像情報を用いて（Ｎ＋Ｍ）ビット精度の参照画像から（Ｎ＋Ｍ）ビット精度の予測画像を生成する予測画像生成器と、
   （Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力する加算器と、
   （Ｎ＋Ｍ）ビット精度の前記復号画像の各画素のビット精度を互いに異なる複数の変換方式を選択的に用いてＮビット精度に変換する画素ビット長変換器と、
   Ｎビット精度に変換された前記復号画像を前記参照画像として保存する参照画像格納メモリと、
   前記参照画像格納メモリから読み出したＮビット精度の前記参照画像の各画素のビット精度を前記変換方式に応じてＭビット大きな（Ｎ＋Ｍ）ビット精度に変換する画素ビット長逆変換器と
   を具備し、
   前記画素ビット長変換器は、
   （Ｎ＋Ｍ）ビット精度の前記復号画像をブロック単位とした第１局所信号を互いに異なる複数の変換方式によりＮビット精度の複数の第２局所信号に変換する複数の画素ビット精度変換部と、
   前記第１局所信号の色成分に基づいて輝度と色差とで異なる変換方式を算出する算出部と、
   前記算出された変換方式をもとに選択した前記第２局所信号と当該信号の変換方式を含む付加情報とをＮビット精度の前記復号画像として出力する選択部と
   を備えること特徴とする画像復号化装置。
9. Ｎビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度をＭビット大きな（Ｎ＋Ｍ）ビット精度に変換するステップと、
   （Ｎ＋Ｍ）ビット精度の前記入力画像に対する（Ｎ＋Ｍ）ビット精度の予測画像を、（Ｎ＋Ｍ）ビット精度の参照画像から生成するステップと、
   （Ｎ＋Ｍ）ビット精度の前記入力画像と（Ｎ＋Ｍ）ビット精度の前記予測画像との差分信号を求めるステップと、
   前記差分信号を符号化して画像符号化情報を出力するステップと、
   前記画像符号化情報に基づいて復号差分画像を出力するステップと、
   （Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力するステップと、
   前記（Ｎ＋Ｍ）ビット精度の前記復号画像の各画素のビット精度を互いに異なる複数の変換方式を選択的に用いてＮビット精度に変換するステップと、
   Ｎビット精度に変換された前記復号画像を前記参照画像として前記参照画像格納メモリ保存するステップと、
   Ｎビット精度の前記参照画像の各画素のビット精度を前記変換方式に応じてＭビット大きな（Ｎ＋Ｍ）ビット精度に変換するステップと
   を有し、
   前記Ｎビット精度に変換するステップは、
   （Ｎ＋Ｍ）ビット精度の前記復号画像をブロック単位とした第１局所信号を互いに異なる複数の変換方式によりＮビット精度の複数の第２局所信号に変換するステップと、
   前記第１局所信号の色成分に基づいて輝度と色差とで異なる変換方式を算出するステップと、
   前記算出された変換方式をもとに選択した前記第２局所信号と当該信号の変換方式を含む付加情報とをＮビット精度の前記復号画像として出力するステップと
   を含む画像符号化方法。
10. （Ｎ＋Ｍ）ビット精度の符号化画像情報を入力して復号差分画像を出力するステップと、
    前記符号化画像情報を用いて（Ｎ＋Ｍ）ビット精度の参照画像から（Ｎ＋Ｍ）ビット精度の予測画像を生成するステップと、
    （Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力するステップと、
    （Ｎ＋Ｍ）ビット精度の前記復号画像の各画素のビット精度を互いに異なる複数の変換方式を選択的に用いてＮビット精度に変換するステップと、
    Ｎビット精度に変換された前記復号画像を前記参照画像として保存するステップと、
    Ｎビット精度の前記参照画像の各画素のビット精度を前記変換方式に応じてＭビット大きな（Ｎ＋Ｍ）ビット精度に変換するステップと
    を有し、
    前記Ｎビット精度に変換するステップは、
    （Ｎ＋Ｍ）ビット精度の前記復号画像をブロック単位とした第１局所信号を互いに異なる複数の変換方式によりＮビット精度の複数の第２局所信号に変換するステップと、
    前記第１局所信号の色成分に基づいて輝度と色差とで異なる変換方式を算出するステップと、
    前記算出された変換方式をもとに選択した前記第２局所信号と当該信号の変換方式を含む付加情報とをＮビット精度の前記復号画像として出力するステップと
    を含む画像復号化方法。

Images