以下、本発明を実施するための最良の形態を図面に基いて説明する。
(実施の形態1)
図1は本発明の実施の形態1における画像符号化装置の基本的な要部構成を例示するブロック図である。
図1において、101は入力映像信号Xiと遅延回路110との差分を演算して後段に出力する差分手段としての減算器、102は減算器101から出力される複数画素分の差分信号値を記憶するバッファ、103はバッファ102に記憶された複数画素分の差分信号値に必要な符号量を見積もる符号量見積手段、104は符号量見積手段103が見積もった複数画素分の差分信号値の符号量が所定のパターンに適合するかどうかを判定し、その結果を符号操作手段105やセレクタ107、109に出力するとともに、符号化装置のパターン判定結果信号Foとしても出力する判定手段としてのパターン判定手段、105はパターン判定手段104が判定した結果に基き、バッファ102に記憶された複数画素分の差分信号値の符号を操作する第1の符号操作手段としての符号操作手段、106は減算器101の出力に対し非線形の量子化特性により量子化を行い、その量子化値を出力する非線形量子化手段、107はパターン判定手段104からの出力に応じて符号操作手段105の出力か非線形量子化手段106の出力のいずれか一方を符号化装置の符号化出力信号Qoとして出力する第1の選択手段としてのセレクタ、108は非線形量子化手段106の出力及び遅延回路110の出力とから予測値を生成する予測値生成手段、109は符号量パターン判定手段104からの出力に応じて入力映像信号Xiか予測値生成手段108の出力のいずれか一方を出力する第2の選択手段としてのセレクタ、110はセレクタ109からの出力に対し入力映像信号1画素分だけ遅延させて減算器101に出力する遅延回路である。
また、図2は本発明の実施の形態1における画像復号化装置の基本的な要部構成を例示するブロック図である。図2において、201は複数画素分の符号化信号入力Qiを記憶するバッファ、202はバッファに記憶された符号化信号入力Qiから特定のパターンを検出するパターン検出手段、203はパターン検出手段201の検出結果に基きバッファ202に記憶された複数画素分の符号化信号入力の符号を操作する第2の符号操作手段としての符号操作手段、204は符号化信号入力Qiに対し、非線形量子化手段106と逆の特性により復号化を行う非線形逆量子化手段、205はパターン判定結果入力Fiに応じて符号化操作手段203の出力か非線形逆量子化手段204の出力のいずれか一方を出力する第3の選択手段としてのセレクタ、206はセレクタ205の出力と遅延回路207の出力とを加算し、復号化装置の復号化映像信号出力Zoとして出力する加算器、207は加算器206の出力に対し、復号化映像信号1画素分だけ遅延させて出力する遅延回路である。
まず図1の符号化装置の動作について図面を用いて説明する。
入力映像信号Xiは時系列で入力されるデジタルデータであり、その符号量は8ビット、すなわち0〜28−1の最大256レベルを持つとする。減算器101は入力映像信号Xiと遅延回路110の出力との差分を演算してその結果を出力する。減算器101の出力差分信号は−28+1〜28−1の最大511レベルを持つため、その符号量は9ビットとなる。
非線形量子化手段106は減算器101から出力される差分信号に対して従来のDPCM方式符号化装置と同様の非線形の量子化を行う。図3は非線形量子化手段106における非線形量子化の概念を表す模式図である。非線形量子化手段106では差分値が−2〜2の範囲であれば、差分値1つ1つに対応した量子化代表値に差分値を変換し、さらにそれに応じた量子化値を出力する。また、差分値が−3〜−6、3〜6の範囲内であれば、差分値を差分値に対して1つおきに設定した量子化代表値に変換し、そしてそれに応じた量子化値を出力する。例えば差分値3、4はともに量子化代表値4に変換され、それに対応した量子化値3が出力される。また、差分値が−7〜−22、あるいは7〜22の範囲であれば、差分値を差分値に対して4つおきに設定した量子化代表値に変換し、そしてそれに応じた量子化値を出力する。例えば、差分値7,8,9,10は量子化代表値8に変換され、それに対応した量子化値5が出力される。また、差分値が−23以下、あるいは23以上の範囲であれば、差分値を差分値に対して8つおきに設定した量子化代表値に変換し、そしてそれに応じた量子化値を出力する。例えば、差分値23〜30は量子化代表値28に変換され、それに対応した量子化値9が出力される。
図3のような非線形量子化を行うと、量子化代表値は差分値の絶対値が22以下の範囲内に17個設定、それ以外の範囲では差分値8つに対して1個の割合で設定するため((29−23×2)/8個、すなわち58個設定となるので、合計は75個設定することになる。75>26であるため量子化値の符号量はそのままでは7ビットとなるが、非線形量子化手段106では量子化処理の前に差分値を±207の範囲で制限することで、量子化代表値の設定個数を11個削減し、合計64=26個となるようにして量子化を行っている。従って量子化値、すなわち非線形量子化手段106の出力信号は6ビット符号信号として出力され、入力信号Xiの8ビットよりも2ビット削減されることになる。
また、予測値生成手段108は非線形量子化手段106からの量子化出力と遅延回路110の出力とから入力信号Xiを復号する。図4は予測値生成手段108の構成の一例を示すブロック図である。図4において301は非線形量子化手段106からの量子化出力に対して逆量子化を行う非線形逆量子化手段、302は逆量子化回路301の出力と遅延回路110からの出力とを加算する加算器である。非線形逆量子化手段301は非線形量子化手段106の特性と逆の特性をもって、入力された量子化値と対応した量子化代表値を出力することで、まず差分値信号を復号する。例えば、量子化出力が5であれば、非線形逆量子化手段301は量子化代表値8を差分値の復号値として出力する。加算器302は遅延回路110の出力と非線形逆量子化手段301の出力、すなわち復号化された差分値を加算して出力する。セレクタ109が予測値生成手段108の結果を選択していたとすると、従来のDPCM方式符号化装置と同様な動作となるので、その場合、予測値生成手段108の出力結果は入力信号Xiが非線形量子化によって符号化され、さらに逆非線形量子化によって復号化された結果となる。
一方、バッファ102では減算器101から出力された9ビットの差分信号を4画素に1回、連続4画素分記憶する。そして符号量見積手段103はバッファ102に記憶された4画素分の差分信号値に対して、2の補数表現で最低何ビット必要であるかという符号量の見積もりを行う。すなわち、バッファ102に記憶された差分信号値をDiとするとその値が−2(n-1)+1≦Di≦−2(n-2)、または2(n-2)≦Di≦2(n-1)−1となるようなnを求める。そのような範囲の値であれば2の補数表現ではnビット必要となるため、このnを必要符号量として出力する。例えばDi=7であれば必要符号量n=4を出力する。
パターン判定手段104では符号量見積手段103が見積もった連続4画素分の差分信号値に対する必要符号量が、所定の符号量条件パターン4種のいずれかと適合するかどうかを判定し、その結果に応じて符号操作手段105に対してはどのパターンに適合したかを表す信号Pnを出力する。また、いずれかのパターンに適合したか否か、その判定結果を表す信号Foを画像符号化装置出力として出力するとともに、同一信号をセレクタ107及び109に出力する。この信号Foは符号操作手段105において連続4画素分の差分信号に対する符号操作処理が行われる間、同一値となるように保持される。
(表1)は連続4画素分の差分信号値に対する必要符号量をそれぞれni、n(i+1)、n(i+2)、n(i+3)としたときに、それと比較する符号量条件パターン1〜4の4種と、それに適合した場合、または適合しなかった場合のパターン判定手段104の出力信号Pn及びFoの値を示す。ただしここで、必要符号量がパターンに適合するというのは、ni、n(i+1)、n(i+2)、n(i+3)の値が、パターン番号の右に記載している値と同一値もしくはそれ以下の値であった場合を意味するものとする。例えばni=5、n(i+1)=5、n(i+2)=5、n(i+3)=4であったとすると、(表1)におけるパターン番号2に適合していると判定し、ni=4、n(i+1)=5、n(i+2)=7、n(i+3)=3であれば(表1)におけるパターン番号3の条件に適合すると判定する。一方、ni=5、n(i+1)=5、n(i+2)=5、n(i+3)=5であれば、(表1)のパターン番号1〜4のいずれの条件にも適合しないと判定する。
(表1)を見るとわかるように、もしも4種のパターンのいずれかと適合する場合は、判定結果出力Foとして1を出力するとともに、出力信号Pnとして適合したパターンに割り当てられた値を出力する。しかし4種のパターンのいずれにも適合しない場合は、判定結果出力Foとして0を出力するとともに、出力信号Pnとしては0〜3のいずれかの値、例えば0を出力する。また、4種のパターンの複数パターンに適合する場合は、判定結果出力Foとして1を出力するとともに、出力信号Pnとしては適合したパターンに割り当てられた値のいずれかのうち例えば最小のものを出力させる。
例えばni=5、n(i+1)=5、n(i+2)=5、n(i+3)=4であれば(表1)におけるパターン番号2に適合し、Pn=1及びFo=1を出力する。また、ni=4、n(i+1)=5、n(i+2)=6、n(i+3)=4であれば、(表1)におけるパターン番号2または3に適合するので、Pn=1及びFo=1を出力する。しかしながら、ni=5、n(i+1)=5、n(i+2)=5、n(i+3)=5であれば、(表1)のパターン番号1〜4のいずれの条件にも適合しないため、Pn=0及びFo=0を出力することになる。
次に符号操作手段105はバッファ102に記憶された連続4画素分の差分信号値の各9ビット符号に対して、まず入力されるパターン判定手段104の出力Pnの値に対応した必要符号量のビット数になるようにそれぞれの符号を削除する。そして削除処理後の符号4つを1つの22ビット符号として結合、さらに信号Pnを2ビットの符号としてその符号の上位に加え合計24ビット符号とする。そしてその24ビット符号を連続した4画素分の6ビット符号信号に分割し、順次セレクタ107へ出力する。図5は例として連続4画素分の差分信号値がそれぞれ15、−14、10、−5であった場合の符号操作手段105の動作の概念を表す模式図である。この場合符号量見積手段103で見積もられる差分信号値の必要符号量はそれぞれ5ビット、5ビット、5ビット、4ビットであり、そこでパターン判定手段104ではパターン番号2に適合していると判定され、Pn=1及びFo=1を出力する。符号操作手段105ではそれを受けて、9ビットの差分信号値をそれぞれ5ビット、7ビット、6ビット、4ビットとなるように符号削除を行い、その結果、それぞれの符号は01111、1110010、001010、1011となる。次にそれらを22ビットの符号として結合し、さらにPn=1であるため2ビット符号01を上位に加え24ビットの符号010111111100100010101011とする。次にその符号を6ビット信号4つ、すなわち、010111、111100、100010、101011のように分割し、1つずつ順次出力する。
セレクタ107ではパターン判定手段104からの出力Foが1であれば符号操作手段105からの6ビットの符号信号出力を、そしてFoが0であれば非線形量子化手段106からの6ビットの符号信号出力を選択し、画像符号化装置の符号化信号Qoとして出力する。また、セレクタ109ではパターン判定手段104からの出力Foが1であれば入力信号Xiを、そしてFoが0であれば予測値生成手段108の出力を選択し、遅延回路110に出力する。遅延回路110ではセレクタ109の出力信号に対し入力信号Xiの1画素分の遅延を与えて、それを入力信号Xiの予測値として減算器101へ出力する。
以上のように、本実施の形態1における画像符号化装置の動作は、パターン判定手段104の出力Foが1か0か、すなわちバッファ102に記憶された連続4画素分の差分信号値の符号量見積もり結果が(表1)の条件パターンに適合するかどうかで大きく2通りに分かれる。パターン判定手段104の出力Foが1であれば、出力Qoは減算器101出力である差分信号値そのものを6ビット符号に変換したものとなり、また遅延回路110は1画素前の入力信号Xiそのものを入力信号Xiの予測値として減算器101に出力する。一方、パターン判定手段104の出力Foが0であれば、出力Qoは従来のDPCM方式符号化装置と同様の量子化出力となる。また遅延回路110は1画素前の入力信号Xiを非線形量子化及び逆非線形量子化したものを予測値として減算器101へ出力することになる。
次に図2の復号化装置の動作について図面を用いて説明する。
符号化入力信号Qiは前記符号化装置の出力Qoであり、6ビットデータである。また入力信号Fiは前記符号化装置の出力Foである。まずバッファ201は連続4つの符号化信号Qiを記憶する。そしてパターン検出手段202は、それら4つの符号化信号の先頭の信号の最上位の符号2ビットを前記符号化装置におけるパターン判定手段104が出力した信号Pnであるとして検出し、符号操作手段203に出力する。次に符号操作手段203はバッファ201が記憶した連続4つの符号化信号の符号をまとめ24ビットとしたのち、最上位の符号2ビットを削除する。そして残りの22ビット符号をパターン検出手段202からの出力Pnに基き、(表1)における信号Pnに対応した必要符号量ni、n(i+1)、n(i+2)、n(i+3)となるように4つに分割される。分割ののち2の補数形式で符号拡張が行われ、符号量が前記符号化装置における減算器101の出力9ビットにそろえられて、1つずつ順次セレクタ205へ出力される。
図6は例として、符号化信号Qiが時系列として010111、111100、100010、101011と入力された場合のパターン検出手段202及び、符号操作手段203の動作概念を示したものである。パターン検出手段202はバッファ201に記憶された連続4つの符号化信号Qiのうち先頭の信号010111から最上位の符号2ビット01を検出し、Pn=1であるとして符号化操作手段203に出力する。符号化操作手段203はバッファ201が記憶した4つの符号をまとめて24ビットとしたのち最上位の2ビット符号01を削除し、22ビットの符号0111111100100010101011とする。そして、パターン検出手段202の出力Pnが1であることから、(表1)におけるPn=1に対応した必要符号量ni=5、n(i+1)=7、n(i+2)=6、n(i+3)=4に合わせて、22ビットの符号を5ビット符号01111、7ビット符号1110010、6ビット符号001010、4ビット符号1011の計4つの符号に分割する。分割ののち2の補数形式での符号拡張、すなわち、符号の最上位ビットが1であれば1で、最上位ビットが0であれば0で符号拡張を行い、それら全ての符号を9ビット符号化する。このようにして符号操作手段203はQiが前記符号化装置における符号操作手段105の出力であれば、減算器101の差分信号値を量子化誤差なしに完全に復号できる。
一方、非線形逆量子化手段204は前記非線形逆量子化手段301と同様な動作を行う。すなわち、符号化入力Qiを非線形量子化値とみなし、前記符号化装置における非線形量子化手段106の特性と逆の特性をもって、その量子化値と対応した量子化代表値を出力する。
このようにして、非線形逆量子化手段204は符号化入力Qiが前記符号化装置における線形量子化手段106の出力信号であれば、減算器101の差分信号値を従来のDPCM方式符号化、復号化装置と同様の量子化誤差をもって復号する。
セレクタ205は信号Fiの値が1であれば符号操作手段203の出力を、0であれば非線形量子化手段204の出力を選択するので、セレクタ205から出力される信号は、前記符号化装置で符号化された減算器101の差分信号値出力を、符号化した特性とは逆の特性で正しく復号化された信号が出力されることになる。
加算器206はセレクタ205の出力信号、すなわち正しく復号化された差分信号値と遅延回路207の出力信号とを加算する。遅延回路207は入力された信号に対して1画素分の遅延を与えて加算器206に出力するので、加算器206の出力信号は結局、符号化装置における入力信号Xiを符号化及び復号化した結果となり、それを復号化装置出力Zoとして出力する。
以上のような画像符号化、復号化動作によって、符号化装置における減算器101の差分信号値出力の必要符号量が(表1)のような符号量条件パターンに適合する場合は、量子化誤差なしに符号化及び復号化することができ、適合しない場合であっても従来のDPCM方式符号化、復号化装置と同程度の量子化誤差で符号化、復号化することができることから、従来方式の符号化、復号化装置よりも符号量は削減しつつ量子化誤差を抑えることができる。従って、実施の形態1における画像符号化、復号化装置と3次元NR回路と組み合わせた場合でも、従来のDPCM方式符号化、復号化装置と同じくメモリ容量を削減しながらも、残留ノイズを抑えることができる。次にこのことについて説明する。
図7は実施の形態1における画像符号化、復号化装置と3次元NR回路とを組み合わせたNR装置の構成を例示するブロック図である。図7において、2021は図24に示した3次元NR回路2021と同じものであり、入力映像信号Siと1フレーム遅れの映像信号Zoとからフレーム巡回型のNR処理を行って、その結果をNR装置の出力Soとして出力する3次元NR処理回路、401は実施の形態1における符号化装置そのものであり、図1の構成と同一である。402は1フレーム分の映像信号に対する符号化装置401からの符号化出力信号Qoとパターン判定結果信号Foとを記憶し、1フレーム遅れでそれらをQi及びFiとして出力するフレームメモリ、403は実施の形態1における復号化装置そのものであり、図2の構成と同一である。
入力信号Siは図13におけるSiと同様、例えば1フレームが水平720画素、垂直480本のラインから構成されるデジタル映像信号であり、その符号量は8ビットであるとする。符号化装置401は3次元NR処理回路2021の出力Soに対して前述のような符号化処理を行い、符号量が6ビットに削減された符号化出力信号Qoとパターン判定結果出力Foをフレームメモリ402に出力する。フレームメモリ402には1フレーム分の信号Qoと信号Foが格納され、1フレーム遅れで復号化装置403に出力される。復号化装置403ではフレームメモリ402からの出力信号Qi及びFiを用いて前述のような復号化処理を行い、その出力信号Zoを3次元NR回路2021に出力する。3次元NR処理回路2021は図24に示されたような構成であり、入力画像信号Siに対して、復号化装置403からの復号化出力信号Zoを用いてフレーム巡回型のNR処理を行い、出力信号Soとして出力する。
図8は3次元NR処理回路2021で行う処理の概念を表したものである。ある水平位置での入力信号Siが図8(a)の実線のようにレベルaの映像信号にレベル−bのノイズが重畳されているものとする。復号化出力信号Zoは同じレベルaの映像信号にレベルcの量子化誤差が加わったものとなるが、従来の符号化、復号化装置を用いた場合と異なり、実施の形態1の符号化装置における減算器101の差分信号値出力の必要符号量が(表1)の符号量条件パターンに適合する場合は、図8(b)の実線のように量子化誤差cが0となる。その場合、3次元NR処理回路2021で行われるフレーム差分信号の信号レベルはbとなり、フレーム差分信号にはノイズ成分のみ含まれることとなる。従って、3次元NR処理回路2021の出力信号Soは図8(c)の実線のようにノイズのみ低減された信号となり、量子化誤差がノイズの代わりに残留することもない。また、量子化誤差によって図14における非線形処理回路1032をノイズが通過できなくなるということもなくなるため、さらにノイズ残留が抑えられる。また、符号化、復号化装置を用いないNR装置と比べて、フレームメモリに入力される信号の符号量が削減されているため、メモリの容量を削減できる。
なお、実施の形態1において、パターン判定手段104で比較される符号量条件パターンとして(表1)のパターンを使用しているが、これに限るものではなく、例えば符号化装置の符号化出力の符号量をmビットとすると、必要符号量ni、n(i+1)、n(i+2)、n(i+3)の合計とパターン判定手段502の出力Pnの符号量の合計が4mビットとなるようなパターンであればよい。
なお、実施の形態1において、3次元NR回路とを組み合わせた場合の符号化出力を記憶するメモリとしてフレームメモリを用いているがこれに限るものではなく、例えばフィールドメモリを用いてもよい。
(実施の形態2)
図9は本発明の実施の形態2における画像符号化装置の基本的な要部構成を例示するブロック図である。また、図10は実施の形態2における画像復号化装置の基本的な要部構成を例示するブロック図である。図9、10において実施の形態1の図1,2と同じ機能ブロックについては同じ符号を記載しており、その説明は省略する。それ以外の図9における501はバッファ102に記憶された複数画素分の差分信号値の信号レベルを判定し、その結果をパターン判定手段502に出力する信号レベル判定手段、502は符号量見積手段103が見積もった複数画素分の差分信号値の符号量と信号レベル判定手段501の判定結果が所定のパターンに適合するかどうかを判定し、その結果を除算処理手段503、符号操作手段504、予測値生成手段505、セレクタ107、109に出力するとともに、符号化装置のパターン判定結果信号Foとしても出力する判定手段としてのパターン判定手段、503はパターン判定手段502が判定した結果に基き、バッファ102に記憶された複数画素分の差分信号値に対して除算処理を行う除算処理手段、504は除算処理手段503からの差分信号値出力の符号を操作する第1の符号操作手段としての符号操作手段、505は除算処理手段503の出力と遅延回路110の出力から予測値を生成する第2の予測値生成手段である。また、図10における601はパターン検出手段202の検出結果に基き、符号操作手段203からの出力信号の信号レベルを判定する信号レベル判定手段、602は信号レベル判定手段601の判定結果に基き、符号操作手段203の出力信号に対し乗算処理を行う乗算処理手段である。
まず図9の符号化装置の動作について説明する。
入力映像信号Xiは実施の形態1と同じく8ビットのデジタル映像信号であるとする。また、減算器101、非線形量子化手段106、予測値生成手段108、遅延回路110の動作は実施の形態1と全く同じである。従って、セレクタ109が予測値生成手段108の出力を選択した場合の動作は、実施の形態1と全く同一となる。
一方、バッファ102、符号量見積手段103も実施の形態1と全く同じ動作を行い、符号量見積手段103からはバッファ102が記憶した連続4画素分の差分信号値の必要符号量が出力される。信号レベル判定手段501はバッファ102に記憶された4画素分の差分信号値の絶対値と一定値hとの大小を比較し、それらの比較結果をパターン判定手段502に出力する。
パターン判定手段502は符号量見積手段103が見積もった連続4画素分の差分信号値に対する必要符号量と信号レベル判定手段501が出力した差分信号値のレベル判定結果とが、所定の符号量条件パターン8種のいずれかと適合するかどうかを判定する。そして判定した結果としてどのパターンに適合したかを表す信号Pnと、いずれかのパターンに適合したか否か、その判定結果を表す信号Foを出力する。この信号Foは符号操作手段105において連続4画素分の差分信号に対する符号操作処理が行われる間、同一値となるように保持される。
(表2)はパターン判定手段502が用いる符号量条件パターンを示す。ここでDi、D(i+1)、D(i+2)、D(i+3)はバッファ102が記憶した連続4画素分の差分信号値、ni、n(i+1)、n(i+2)、n(i+3)はDi、D(i+1)、D(i+2)、D(i+3)に対して符号見積もり手段103が見積もった必要符号量である。
(表1)と同様にもしも(表2)の8種のパターンのいずれかと適合する場合は、判定結果出力Foとして1を出力するとともに、出力信号Pnとしては適合したパターンに割り当てられた値を出力する。しかし8種のパターンのいずれにも適合しない場合は、判定結果出力Foとして0を出力するとともに、出力信号Pnとしては0〜7のいずれかの値、例えば0を出力する。また、8種のパターンの複数パターンに適合する場合は、判定結果出力Foとして1を出力するとともに、出力信号Pnとしては適合したパターンに割り当てられた値のいずれかのうち最小のものを出力させる。
(表2)が実施の形態1の(表1)と異なる点はパターンが8種に増えている点と、所定パターンと比較する対象として差分信号値の必要符号量見積もり結果に加えて、差分信号値のレベル判定結果も使用する点である。例えばni=5、n(i+1)=5、n(i+2)=5、n(i+3)=4であった場合、もし差分信号値レベルが|D(i+1)|≦hであれば(表2)におけるパターン番号2に適合しPn=1及びFo=1を出力する。同じ符号量見積もり結果であったとしても、差分信号値レベルが|D(i+1)|>hであれば少なくとも(表2)におけるパターン番号6に適合するため、Pn=5及びFo=1を出力する。さらに同じ符号量見積もり結果であったとしても、|D(i+1)|>hでかつ|Di|>hであればパターン番号5または6に適合するので、Pn=4及びFo=1を出力する。
このようにパターン判定手段502において比較する符号量パターン条件の種類が(表1)よりも増えているため、符号量見積手段103が見積もった差分信号値に対する符号量がパターン判定手段502において所定パターンと適合する確率は、(表1)のパターンを用いた時よりも上がることになる。
次に除算処理手段503はパターン判定手段502の出力Pnの値を用いて、バッファ102に記憶された連続4画素分の差分信号値のうち信号レベル判定手段501でレベル比較される差分信号値以外の差分信号値に対して除算処理を行う。図11は除算処理手段503の一例を示すブロック図である。ここで701はパターン判定手段502の出力Pnに応じてビットシフト回路702のビットシフト量を変化させるビットシフト量制御回路、702はバッファ102からの差分信号値に対しビットシフト量制御回路701が指定したシフト量で2の補数形式の右ビットシフト、すなわちビットシフト後の最上位にビットシフト前の最上位の値と同じ値を補う右ビットシフトを行うことで除算処理を行うビットシフト回路である。(表3)はこのビットシフト量制御回路701の行う制御動作を表したものである。
ビットシフト量制御回路701は出力信号Pnの値がPn≦3であればビットシフト量を0とする。この場合、ビットシフト回路702はバッファ102に記憶された連続4画素分の差分信号値に対して1で除算、すなわち除算処理なしで出力する。もしもPn≧4であればビットシフト回路702ではPnの値に応じて(表3)の除算処理対象差分値に記載された差分信号値Di〜D(i+3)に対して(表3)に記載されたビットシフト量で右ビットシフトが行われることになる。例えばPn=4であれば、差分信号値D(i+1)、D(i+2)、D(i+3)に対してそれぞれ2の補数形式の右1ビットシフトが行われ、それらの値は除算処理前と比較し1/2の値となり、必要符号量も1ビット減ることになる。従って差分信号値Di、D(i+1)、D(i+2)、D(i+3)は(表2)の符号量パターン条件に適合した場合、例えPnの値がが4〜7であったとしてもその必要符号量の合計は22ビットとなり、Pnの値が0〜3の場合と同じ符号量で済むことになる。
次に符号操作手段504はまずパターン判定手段104の出力Pnの値を3ビットの符号とした上で最上位のビットを削除して2ビット符号信号Pn’とする。そして除算処理手段503で除算処理された差分信号値の各9ビット符号に対して、Pn=Pn’とし、そのPnに対応した(表2)の必要符号量のビット数になるようにそれぞれの符号を削除する。そして削除処理後の符号4つを1つの22ビット符号として結合、さらに2ビット化した出力Pn’をその符号の上位に加え合計24ビット符号とする。そしてその24ビット符号を連続した4画素分の6ビット符号信号に分割し、順次セレクタ107へ出力する。
図12は例として連続4画素分の差分信号値Di〜D(i+3)がそれぞれDi=63、D(i+1)=−45、D(i+2)=10、D(i+3)=−23、そして信号レベル判定手段における定数h=20であった場合の除算処理手段503と符号操作手段504の動作の概念を表す模式図である。この場合符号量見積手段103で見積もられる差分信号値の必要符号量はそれぞれ7ビット、7ビット、5ビット、6ビットであり、さらに|Di|>hであるため、パターン判定手段502ではパターン番号5に適合していると判定され、Pn=4及びFo=1を出力する。除算処理手段503ではビットシフト量制御回路701とビットシフト回路702が(表3)に基いて動作を行い、Di以外の差分信号値に対し右1ビットシフトする。従って除算処理後のDi〜D(i+3)の符号はそれぞれ、Di=000111111、D(i+1)=111101001、D(i+2)=00000101、D(i+3)=111110100となる。そして符号操作手段504では、まずPn=4を3ビット符号100とした上で、最上位のビット1を削除した00を2ビット符号Pn’とする。さらに除算処理手段503の出力である9ビットの差分信号値を(表2)のPn=Pn’=0に対応した7ビット、6ビット、4ビット、5ビットとなるようにそれぞれ符号削除を行い、その結果、それぞれの符号は0111111、101001、0101、10100となる。次にそれらを22ビットの符号として結合し、さらにPn’=0であるため2ビット符号00を上位に加え24ビットの符号000111111101001010110100とする。次にその符号を6ビット信号4つ、すなわち、000111、111101、001010、110100のように分割し、1つずつ順次出力する。
一方、予測値生成手段505は除算処理手段503からの出力信号と、パターン判定手段501からの出力Pnをもとに差分信号値を復号し、復号された差分信号値と遅延回路110の出力信号を加算することにより予測値を生成する。図13は予測値生成手段505の一例を示すブロック図である。図13において801はパターン判定手段502の出力Pnに応じてビットシフト回路802のビットシフト量を変化させるビットシフト量制御回路、802は除算処理手段503からの除算処理後の差分信号値に対してビットシフト量制御回路801が指定したシフト量で左ビットシフトを行い、その結果を順次出力するビットシフト回路、803はビットシフト回路802の出力信号と遅延回路110の出力信号を加算する加算器である。そして(表4)はビットシフト量制御回路801の行う制御動作を表したものである。
ビットシフト量制御回路801は出力信号Pnの値がPn≦3であればビットシフト量を0とする。この場合、ビットシフト回路802は除算処理後の4つの差分信号値に対して特に処理を行わず、順次それらの値を加算器803へ出力する。ただし、Pn≦3の場合、除算処理手段503も除算処理なしに差分信号値を出力するため、この場合、ビットシフト回路802の出力はバッファ102に記憶された連続4画素分の差分信号値をそのまま順次出力することになる。もしもPn≧4であればビットシフト回路802ではPnの値に応じて(表4)の乗算処理対象差分値に記載された差分信号値Di〜D(i+3)に対して(表4)に記載されたビットシフト量で左ビットシフトを行う。例えばPn=4であれば、差分信号値D(i+1)、D(i+2)、D(i+3)に対してそれぞれ左1ビットシフトが行われ、それらの値は除算処理手段503の出力と比較し2倍の値となる。これらの動作により除算処理前の差分信号値が誤差1以下の精度で復号され、その結果が順次加算器803へ出力する。加算器803ではビットシフト回路802の出力、すなわち誤差1以下の精度で復号された差分信号値と遅延回路110とを加算する。従って加算器803の出力は入力信号値Xiと1以下の差となる。
セレクタ107はパターン判定手段502からの出力Foが1であれば符号操作手段504からの6ビットの符号信号出力を、そしてFoが0であれば非線形量子化手段106からの6ビットの符号信号出力を選択し、画像符号化装置の符号化信号Qoとして出力する。また、セレクタ109ではパターン判定手段502からの出力Foが1であれば予測値生成手段505の出力を、そしてFoが0であれば予測値生成手段108の出力を選択し、遅延回路110に出力する。遅延回路110ではセレクタ109の出力信号に対し入力信号Xiの1画素分の遅延を与えて、それを入力信号Xiの予測値として減算器101へ出力する。
以上のように、本実施の形態2における画像符号化装置の動作も実施の形態1と同様に、パターン判定手段502の出力Foが1か0か、すなわちバッファ102に記憶された連続4画素分の差分信号値の符号量見積もり結果と信号レベル判定手段501の判定結果が(表2)の条件パターンに適合するかどうかで大きく2通りに分かれる。パターン判定手段502の出力Foが1であれば、出力Qoは減算器101出力である差分信号値と1以下の誤差となる信号を6ビット符号に変換したものとなり、また遅延回路110は1画素前の入力信号Xiの値と1以下の誤差の信号を入力信号Xiの予測値として減算器101に出力する。一方、パターン判定手段502の出力Foが0であれば、出力Qoは従来のDPCM方式符号化装置と同様の量子化出力となる。また遅延回路110は1画素前の入力信号Xiを非線形量子化及び逆非線形量子化したものを予測値として減算器101へ出力することになる。
次に図10の復号化装置の動作について図面を用いて説明する。
符号化入力信号Qiは前記符号化装置の出力Qoであり6ビットデータ、また入力信号Fiは前記符号化装置の出力Foである。バッファ201、パターン検出手段202、符号操作手段203の動作は実施の形態1と全く同じである。従って、パターン検出手段202はバッファ201に記憶された連続4つの符号化信号の先頭の信号の最上位の符号を信号Pnとして出力し、符号操作手段203はバッファ201が記憶した連続4つの符号化信号の符号をまとめた上で最上位の符号2ビットを削除し、残りの22ビット符号をパターン検出手段202からの出力Pnに基いて(表1)における信号Pnに対応した必要符号量ni、n(i+1)、n(i+2)、n(i+3)となるように4つに分割、最後に2の補数形式で9ビットとなるように符号拡張が行われる。符号操作手段203の出力をRi、R(i+1)、R(i+2)、R(i+3)とすると、これらバッファ201、パターン検出手段202、符号操作手段203の動作によって、入力信号Fiが1、すなわち前記符号化装置におけるセレクタ107が符号操作手段504を選択していた場合、これらは前記符号化装置における除算処理手段503の出力そのものとなる。
次に信号レベル判定手段601は4つに分割された符号操作手段203の出力のうち、パターン検出手段202の出力Pnの値に応じた1つの出力信号のレベルの絶対値を一定値hと比較し、その結果出力信号cとしてh以上であれば1を、h未満であれば0を出力する。ここでこの一定値hは前記符号化装置における信号レベル判定手段501で使用する一定値hと同一である。そして(表5)はパターン検出手段202の出力Pnの値と、それに対応して一定値hと比較を行う符号操作手段203の出力Ri、R(i+1)、R(i+2)、R(i+3)の関係を表したものである。
例えばPn=0であれば符号操作手段203の出力Riの絶対値と一定値hとを比較し、その結果|Ri|>hであればc=1を、|Ri|≦hであればc=0を出力する。
次に乗算処理手段602はパターン検出手段202の出力Pnと信号レベル判定手段601からの出力cをもとに、符号操作手段203からの出力信号に対して乗算処理を行うことで差分信号値を復号する。図14は乗算処理手段602の一例を示すブロック図である。図14において901はパターン検出手段202の出力Pnと信号レベル判定手段601からの出力cからビットシフト回路902のビットシフト量を制御するビットシフト量制御回路、902はビットシフト量制御回路901が指示するビットシフト量で符号操作手段203からの出力信号に対して左ビットシフトを行うことにより乗算処理を行うビットシフト回路である。(表6)はビットシフト量制御回路901の行う制御動作を表したものである。
ビットシフト量制御回路901は信号レベル判定手段601の出力cの値がc=0であればビットシフト量を0とする。この場合、ビットシフト回路902は符号操作手段203の出力信号Ri、R(i+1)、R(i+2)、R(i+3)に対して特に処理を行わず、それらの値を加算器803へ出力する。
仮に前記符号化装置においてセレクタ107が符号操作手段504の出力を選択していたとすると、信号レベル判定手段601の出力c=0であれば、前記符号化装置のパターン判定手段502において(表2)の符号量パターン条件1〜4のいずれかに該当していたことになる。従って除算処理手段503では除算処理なしに差分信号値を出力されているため、結果としてビットシフト回路902の出力は、前記符号化装置のバッファ102に記憶された連続4画素分の差分信号値をそのまま順次出力することになる。一方c=1であればビットシフト回路902ではパターン検出手段202の出力Pnの値に応じて(表6)の乗算処理対象信号に記載された符号操作手段203の出力信号Ri〜R(i+3)に対して(表6)に記載されたビットシフト量で左ビットシフトを行う。例えばPn=0であれば、R(i+1)、R(i+2)、R(i+3)に対してそれぞれ左1ビットシフトが行われ、それらの値は符号操作手段203の出力と比較し2倍の値となる。図15は例として、符号化信号Qiが時系列として000111、111101、001010、110100と入力された場合のパターン検出手段202及び、符号操作手段203、信号レベル判定手段601及び乗算処理手段602の動作概念を示したものである。パターン検出手段202と符号化操作手段203は実施の形態1と同様の動作を行い、9ビット符号Ri=000111111、R(i+1)=111101001、R(i+2)=000000101、R(i+3)=111110100を出力する。パターン検出手段202はPn=0を出力するため、信号レベル判定手段601は(表5)の通り、Riとhを比較する。Riの値は63であり、そしてhの値が前述の例と同じ20であったとすると、|Ri|>hであるのでc=1となる。従ってビットシフト量制御回路901とビットシフト回路は(表6)に基づき動作し、Ri以外、すなわちR(i+1)〜R(i+3)が左1ビットシフトされて出力される。
前述のように符号操作手段203の出力は前記符号化装置におけるセレクタ107が符号操作手段504を選択していた場合、除算処理手段503の出力そのものとなるため、以上の動作により乗算処理手段602の出力は、前記符号化装置の減算器101の差分信号値と誤差1以下の精度で復号されたものとなり、その結果がセレクタ205へ出力される。
一方、非線形逆量子化手段204は実施の形態1と全く同じ動作であり、符号化入力Qiが前記符号化装置における線形量子化手段106の出力信号であれば、減算器101の差分信号値を従来のDPCM方式符号化、復号化装置と同様の量子化誤差をもって復号する。セレクタ205、加算器206及び遅延回路207は実施の形態1と全く同様の動作を行う。すなわちセレクタ205は信号Fiの値が1であれば乗算処理手段602の出力を、0であれば非線形量子化手段204の出力を選択するので、セレクタ205から出力される信号は、前記符号化装置で符号化された減算器101の差分信号値出力を、符号化した特性とは逆の特性で正しく復号化された信号が出力されることになる。また、加算器206はセレクタ205の出力信号、すなわち正しく復号化された差分信号値と遅延回路207の出力信号とを加算する。遅延回路207は入力された信号に対して1画素分の遅延を与えて加算器206に出力するので、加算器206の出力信号は結局、符号化装置における入力信号Xiを符号化及び復号化した結果となり、それを復号化装置出力Zoとして出力される。
以上のような画像符号化、復号化動作によって、符号化装置における減算器101の差分信号値出力の必要符号量と信号レベル判定手段501の判定結果が(表2)のような符号量条件パターンに適合する場合は、誤差1以下の精度で符号化及び復号化することができ、適合しない場合であっても従来のDPCM方式符号化、復号化装置と同程度の量子化誤差で符号化、復号化することができる。(表2)の符号量条件パターンの数は実施の形態1における(表1)の符号量条件パターンの2倍であることから、符号量は実施の形態1と同じでありながら、DPCM方式より少ない誤差で符号化、復号化できる確率は実施の形態1に比べて大幅にアップする。
従って、実施の形態2における画像符号化、復号化装置と3次元NR回路と組み合わせた場合、実施の形態1と同じメモリ容量でも実施の形態1よりも残留ノイズを抑えることができることになる。
なお、実施の形態1及び2において、非線形量子化手段106の特性は図3に限るものではなく、量子化代表値が不等間隔で設定されるものであればよい。
なお、実施の形態2において、パターン判定手段502で比較される符号量条件パターンとして(表2)のパターンを使用しているが、これに限るものではなく、符号化装置の符号化出力の符号量をmビットとすると、必要符号量ni、n(i+1)、n(i+2)、n(i+3)の合計とパターン判定手段502の出力Pnの符号量の合計が、例えば(表2)のパターン番号1〜4に相当するパターンでは4mビット、それ以外では(4m+3)ビットとなるようなパターンであればよい。
(実施の形態3)
図16は本発明の実施の形態3における画像符号化装置の基本的な要部構成を例示するブロック図である。また、図17の実施の形態3における画像復号化装置の基本的な要部構成を例示するブロック図である。図16、17において実施の形態2の図9,10と同じ機能ブロックについては同じ符号を記載しており、その説明は省略する。それ以外の図16における1001は減算器101の出力に対し、遅延回路110の出力信号に依存した非線形の量子化特性により量子化を行い、その量子化値を出力する非線形量子化手段、また、1002は非線形量子化手段1001の出力及び遅延回路110の出力とから予測値を生成する予測値生成手段である。また、図17において1101は非線形量子化手段1001と逆の特性により復号化を行う非線形逆量子化手段である。
実施の形態3における画像符号化装置が実施の形態2と異なる点は、非線形量子化手段1001と予測値生成手段1002の動作だけであるため、以下はそれらの動作について説明する。
入力映像信号Xiを0〜255の値をとる8ビットデータとすると、減算器101の出力差分信号はその符号量は9ビットとなる。非線形量子化手段1001ではまず実施の形態1,2の非線量子化手段106と同様に差分値が−2〜2の範囲であれば差分値1つ1つに対応した量子化代表値に差分値を変換、差分値が−3〜−6、3〜6の範囲内であれば差分値を差分値に対して1つおきに設定した量子化代表値に変換、そして、それ以外の範囲であれば、差分値を差分値に対して4つおきに設定した量子化代表値に変換する。そして次に量子化代表値に対応した量子化値を出力するが、非線形量子化手段1001が実施の形態2の非線形量子化手段106とは異なる点は、量子化代表値に対する量子化値を非線形量子化手段1001に入力される遅延回路110の出力信号の値に応じて変化させる、すなわち、量子化代表値の取り得る最も小さな値に対して、符号化出力信号の符号量である6ビットで最も小さい値、すなわち−32を量子化値として割り当て、それより大きい量子化代表値については−31,−30、…、31といったように量子化値を割り当て、そしてセレクタ107に出力する点である。図18は遅延回路110の出力信号値が2であった時の非線形量子化手段1001における非線形量子化の概念を表す模式図である。入力映像信号Xiが0〜255の値をもつ8ビットデータであるため、遅延回路110の出力信号値が2であれば差分値の最小値は−2、最大値は253となる。従って図18のような非線形量子化を行えば、量子化代表値の個数は差分値−2〜6までの個数7に差分値7〜253までの個数を加えた((253−6)/4+7)個、つまり68.75個ですむ。68.75>26であるため量子化値の符号量はそのままでは7ビット必要であるが、非線形量子化手段106と同様に非線形量子化手段1001でも量子化処理の前に差分値を一定の範囲に制限することで、量子化代表値の設定個数を削減し、合計64=26個となるようにして上記量子化を行う。この制限は遅延回路110の出力信号の値に応じて変化させる。例えば図18のように遅延回路110の出力信号値が2の場合は差分値を−2〜228の範囲に制限し、量子化代表値の個数を64とする。これら64個設定された量子化代表値の取り得る最も小さな値−2に対して量子化値−32を割り当て、それ以上の量子化代表値には−31、−30、…、31といったように量子化値を割り当て、すべての量子化代表値を量子化値に変換する。
また、予測値生成手段1002は非線形量子化手段1001からの量子化出力と遅延回路110の出力とから入力信号Xiを復号する。図19は予測値生成手段1002の構成の一例を示すブロック図である。図19において1201は非線形量子化手段1001からの量子化出力に対して、遅延回路110の出力信号値を用いて逆量子化を行う非線形逆量子化手段、302は図4における加算器302と全く同じものである。非線形逆量子化手段1201は非線形量子化手段1001の特性と逆の特性をもち、遅延回路110の出力信号値と入力された量子化値に対応した量子化代表値を出力することで、差分値信号を復号する。例えば遅延回路110の出力信号値が2であり、非線形量子化手段1001の出力信号値が−28であったとする。その場合、図18の逆の特性により量子化代表値2が復号された差分信号として加算器302に出力される。加算器302では遅延回路110の出力と加算され、その結果は予測値としてセレクタ109に出力される。
以上のように、本実施の形態3における画像符号化装置の動作はパターン判定手段502の出力Foが1であれば実施の形態2と全く同じ動作を行う。また、Foが0であれば非線形量子化手段1001と予測値生成手段1002による符号化動作が行われるが、実施の形態2における非線形量子化手段106が量子化代表値の設定間隔が最大差分値8つ分なのに対し、非線形量子化手段1001では量子化代表値の設定間隔が最大でも差分値4つ分となるため、復号した際の量子化誤差が実施の形態2よりも小さくなる。しかも入力信号Xiの符号量8ビットに対し、符号化出力Qoは実施の形態2と同じ符号量6ビットであり、実施の形態2と同じ符号量削減効果がある。
一方、実施の形態3における画像復号化装置の動作が実施の形態2と異なる点は、非線形逆量子化手段1101のみであるため、その動作について説明する。
非線形逆量子化手段1101は符号化入力Qiを非線形量子化値とみなし、前記符号化装置における非線形量子化手段1001の特性と逆の特性をもって、遅延回路207の出力信号値と入力された符号化入力Qiに対応した量子化代表値を出力することで、差分値信号を復号する。例えば遅延回路207の出力信号値が2であり、非線形量子化手段1001の出力信号値が−25であったとする。その場合、図18の逆の特性により量子化代表値8が復号された差分信号としてセレクタ205に出力される。セレクタ205で非線形逆量子化手段1101の出力が選択された場合、非線形逆量子化手段1101の出力、すなわち復号された差分信号が加算器206に出力され、遅延回路207の出力と加算されることで復号化装置出力Zoとして出力される。
以上のような画像符号化、復号化動作によって、符号化装置における減算器101の差分信号値出力の必要符号量と信号レベル判定手段501の判定結果が(表2)のような符号量条件パターンに適合する場合は、実施の形態2と同じく誤差1以下の精度で符号化及び復号化することができ、適合しない場合であっても、実施の形態2よりも少ない量子化誤差で符号化、復号化することができる。また、入力信号Xiの符号量8ビットに対し、符号化出力の符号量は6ビットと実施の形態2と同じ符号量削減効果がある。
従って、実施の形態3における画像符号化、復号化装置と3次元NR回路と組み合わせた場合、実施の形態2と同じメモリ容量でありながらも、さらに(表2)のような符号量条件パターンに適合しない場合は、実施の形態2よりも残留ノイズを抑えることができることになる。
なお、実施の形態2及び3において、除算処理手段503の除算処理としてビットシフト回路を使用しているが、それに限るものではなく、除算器を用いる構成としてもよい。
なお、実施の形態2及び3において、乗算処理手段602の乗算処理としてビットシフト回路を使用しているが、それに限るものではなく、乗算器を用いる構成としてもよい。
なお、実施の形態1における非線形量子化手段106と予測値生成手段108、そして非線形逆量子化手段204は、それぞれ実施の形態3における非線形量子化手段1001、予測値生成手段1002、非線形逆量子化手段1101に置き換える構成としてもよい。その場合、符号化装置における減算器101の差分信号値出力の必要符号量が(表1)のような符号量条件パターンに適合しない場合であっても、実施の形態1よりも少ない量子化誤差で符号化,復号化することが出来るという効果が得られる。
なお、実施の形態1、2、及び3において、入力映像信号の符号量は8ビット、符号化出力の符号量は6ビットとしているが、それに限るものではなく、例えば入力映像信号10ビット、符号化出力の符号量は8ビットの場合でも同様に適用できる。