JP3694999B2

JP3694999B2 - 画像符号化装置および画像復号装置ならびにそれらの方法

Info

Publication number: JP3694999B2
Application number: JP20812496A
Authority: JP
Inventors: 賢一河内; 太郎横瀬; 俊一木村
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-08-07
Filing date: 1996-08-07
Publication date: 2005-09-14
Anticipated expiration: 2016-08-07
Also published as: US5923783A; JPH1051791A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化復号装置に関するものであり、特に多値の入力画像情報に対する可逆の予測符号化に関するものである。
【０００２】
【従来の技術】
画像は一般に非常に大量のデータとなるので、蓄積や伝送の際には符号化によって圧縮するのが一般的である。画像データの符号化手法は、可逆符号化方式と非可逆符号化方式の２種類に大別される。
【０００３】
前者の場合、画像と符号が１対１に対応する。このため復号時の画質に劣化が生じないが、符号量の制御が難しい。例えばシャノンの情報源符号化定理に従えば、平均符号長はエントロピーより小さくすることができない（例えば『文書データ圧縮アルゴリズム入門』（植松知彦，ＣＱ出版社，ｐ．３２〜３３））。従って何らかの制約によって符号量が制限される場合には、画像を歪めることで画像の情報量自体を削減することが必要になる。これが非可逆符号化である。
【０００４】
ここでエントロピーについて説明する。エントロピーとは、ある事象が他の事象と独立に生起する無記憶情報源においてその情報源から出力される１記号あたりの情報量の期待値の総和であり次式で定義される。
【０００５】
Ｈ＝−ΣＰ（ａｉ）ｌｏｇ₂Ｐ（ａｉ） … （１）
ここでＰ（ａｉ）はｉ番目の記号ａｉの生起確率を表す。−は全ての記号の総和を表す。次に図７に示した具体的な例を用いてエントロピーを計算する。図７において、記号はａ１〜ａ６の６個でその出現回数の総和は２４とする。（１）式を用いてエントロピーを計算すると、Ｈ＝２．４１８（ビット）となる。シャノンの情報源符号化定理によると、平均符号長を２．４１８ビット以下にすることが不可能であることになる。言いかえると、今記号の出現回数の総和は２４なので、図７に示す記号列を表すのに少なくとも２．４１８ｘ２４＝５８．０３ビット以上が必要になる。図７において、実際に割当てられた符号語を用いて平均符号長を計算すると２．５ビットとなっており、この記号列を表すのに２．５ｘ２４＝６０ビットが必要となる。
【０００６】
次に可逆符号化の中から予測符号化について説明する。予測符号化というのは処理済の周辺画素の状況から注目画素を予測し、予測がはずれる場合には予測誤差を符号とする技術である。予測誤差とは、注目画素と周辺画素との差分で次式で定義される。
【０００７】
ｄ＝Ｘ−Ａ … （２）
ここで、ｄは予測誤差、Ｘは注目画素、Ａは周辺画素を表す。
【０００８】
予測符号化においては予測誤差の大きさおよび分布が符号量を左右する。従って例えばＰＤＬ（ＰａｇｅＤｅｓｃｒｉｐｔｉｏｎＬａｎｇｕａｇｅ）で描画されたノイズのない画像では符号量が小さく、逆にスキャンイン画像のようにノイズが乗った画像では符号量が大きくなりやすい。
【０００９】
以下、本出願人が提案した予測符号化手法を一例として説明する（特願平８−３１０７４号）。
【００１０】
図８は特願平８−３１０７４号の構成を示すブロック図である。図中、１０は画像入力部、２０は第１予測部、２１は第２予測部、３０は予測誤差算出部、３１は予測誤差加算部、４０、４１は選択部、５０は符号化部、５１は復号部、６０は符号出力部、７０は符号入力部、８０は画像出力部、１００は画像データ、１１０は予測値データ、１１１は制御データ、１２０は予測誤差データ、１３０は予測状況データ、１４０は符号データである。
【００１１】
図８の各部について説明する。図８（ａ）の符号化装置は以下の構成よりなる。画像入力部１０は外部から入力画像情報を受けとり、画像データ１００として第１予測部２０、第２予測部２１および予測誤差算出部３０へ送出する。第１予測部２０、第２予測部２１はそれぞれ所定の手法で画像データ１００に基づいて注目画素の画素値を予測し、予測値データ１１０として選択部４０へ送出する。予測誤差算出部３０は所定の手法で画像データ１００に基づいて注目画素の画素値を予測し、その予測値と注目画素の実際の画素値の差分を計算し、予測誤差データ１２０として選択部４０へ送出する。選択部４０は画像データ１００と予測値データ１１０から注目画素における予測の一致／不一致を検出する。その結果、予測が的中した予測部があればその識別番号を、いずれも的中しなかった場合は予測誤差データ１２０を、予測状況データ１３０に変換して符号化部５０へ送出する。符号化部５０は所定の符号化手法を用いて予測状況データ１３０を符号化し、符号データ１４０として符号出力部６０へ送出する。符号出力部６０は符号データ１４０を出力符号として外部へ出力する。
【００１２】
次に図８（ｂ）の復号装置の各部について説明する。以下、符号化装置と同様の各部に対しては、同じ符号を付与して説明を省略する。符号入力部７０は外部から入力符号を受け取り、符号データ１４０として復号部５１へ送出する。復号部５１は符号化部５０で用いた符号化手法に対応する復号手法で符号データ１４０を復号し、予測状況データ１３０として選択部４１へ送出する。選択部４１は、予測状況データ１３０が予測部の識別番号を示すものであれば該当する予測部へ制御データ１１１を送出し、予測部から画像データ１００を出力させる。予測状況データ１３０の内容が予測誤差であれば、予測誤差データ１２０として予測誤差加算部３１へ送出する。予測誤差加算部３１は予測誤差算出部３０と同一の手法で注目画素の画素値を予測し、その予測値と予測誤差データ１２０から画素値を復元して画像データ１００として画像出力部８０へ送出する。画像出力部８０は画像データ１００を復号画像として外部へ出力する。
【００１３】
以上の構成に基づく符号化手法の動作について説明する。図９はこの動作を示すフローチャートである。
【００１４】
まず図９（ａ）を用いて符号化処理について説明する。Ｓ１０では画像入力部１０において画像の入力を行い、画像データ１００を得る。Ｓ２０では第１予測部２０、第２予測部２１において画像データ１００に基づいて注目画素の画素値予測を行い、同時に予測誤差算出部３０において所定の手法による予測値の予測誤差を算出する。
【００１５】
Ｓ３０では選択部４０において第１予測部の予測値と注目画素の画素値が一致するか否かを判定し、一致した場合は予測が的中した予測部の識別番号を予測状況データ１３０に変換して符号化部５０へ送出する。一致しない場合は第２予測部の予測値と注目画素値が一致するか否かを判定し、一致した場合は予測が的中した予測部の識別番号を予測状況データ１３０に変換して符号化部５０へ送出する。一致しない場合は予測誤差データ１２０を予測状況データ１３０に変換して符号化部５０へ送出する。
【００１６】
Ｓ４０では符号化部５０において予測状況データ１３０を所定の符号化手法で符号化し、符号データ１４０を得る。Ｓ５０では符号出力部６０において符号データ１４０を外部へ出力する。Ｓ６０では入力された画像データを全て処理したか否かを判定し、全て処理していれば符号化処理を終了する。また未処理データが残っている場合は、Ｓ１０へ戻る。
【００１７】
次に図９（ｂ）を用いて復号処理について説明する。Ｓ１１０では符号入力部７０において符号の入力を行い、符号データ１４０を得る。Ｓ１２０では復号部５１において、符号化部５０で用いた符号化手法に対応する復号手法により、符号データ１４０から予測状況データ１３０を得る。
【００１８】
Ｓ１３０では選択部４１において予測状況データ１３０が第１予測部の識別番号と一致するかどうか判定し、一致する場合は第１予測部２０に制御データ１１１を送出する。一致しない場合は予測状況データ１３０が第２予測部の識別番号と一致するかどうか判定し、一致する場合は第２予測部２１に制御データ１１１を送出する。一致しない場合は選択部４１において、予測状況データ１３０を予測誤差データ１２０に変換して予測誤差加算部３１へ送出する。
【００１９】
Ｓ２１では制御データ１１１を受け取った予測手段が存在する場合、該当する予測手段が予測した注目画素の予測値を画像データ１００として出力する。そうでない場合、予測誤差加算部３１において予測誤差算出部３０と同一の手法による予測値と予測誤差データ１２０から画素値を復元し、画像データ１００として出力する。Ｓ１４０では画像出力部８０において画像データ１００を外部に出力する。Ｓ１５０では入力された符号データを全て処理したか否かを判定し、全て処理していれば復号処理を終了する。また未処理データが残っている場合は、Ｓ１１０へ戻る。
【００２０】
以上の構成による符号化復号装置は、既述したように予測誤差の大きさ及びその分布が符号量を左右する。図１０にＰＤＬの１つであるＰｏｓｔＳｃｒｉｐｔ（米国アドビシステムズ社の商標）で描画された画像とスキャンイン画像のそれぞれの予測誤差の分布例を示す。ＰｏｓｔＳｃｒｉｐｔで描画された画像はノイズのない画像であるので周辺画素と注目画素との相関が高くなり、図１０に示すように予測誤差の分布が０の周辺に偏る。（２）式で表される予測誤差を用いて（１）式でエントロピーを計算するとその値が小さくなり、その結果符号量を小さくすることができる。これに対しスキャンイン画像はノイズが乗っているので周辺画素と注目画素との相関が低くなり、図１０に示すように予測誤差の分布の０の周辺への偏りが小さくなる。（２）式で表される予測誤差を用いてエントロピーを計算するとその値が大きくなり、その結果符号量が大きくなる。特願平８−３１０７４号の例では周辺画素と注目画素との相関が高い例えばＰＤＬで描画された画像に対して、符号量を小さくすることができ効果を上げている。
【００２１】
しかし入力画像情報としてはＰＤＬで描画された画像やスキャンイン画像の様な画素値だけでなく、画素値以外のもの例えばタグがある。タグとは出力画像の画像情報として付加されるものであり、例えばＰＤＬで描画された画像とスキャンイン画像との切換え、符号化手法の切換え、解像度の切換えなどがある。画素値のビット数が例えば８ビットであるのに対し、タグは１ビットないしは数ビットで画素値のビット数よりも少ない場合が多い。例えばＰＤＬで描画された画像とスキャンイン画像との切換えでは１ビット、符号化手法の切換えまたは解像度の切換えでは１〜３ビット程度のタグとなる。
【００２２】
このように画素値よりもビット数の少ないタグを特願平８−３１０７４号の例を用いて符号化した場合、画素値の場合よりも圧縮効率は低い。例えば画素値を８ビット、タグを１ビットとし、図８の予測値データ１１０を２ビットとする。予測が当たった場合を考えると、画素値の場合８ビットが２ビットになりデータ量は１／４になる。これに対しタグの場合１ビットが２ビットになりデータ量は逆に増えてしまう。
【００２３】
このためタグのビット数が画素値のビット数よりも少ない場合は、例えばタグを画素値のビット数と同じになるようにパッキングして符号化する方法が考えられる。こうすることにより予測が当たった場合のデータ量は画素値の場合とタグの場合とで同じにすることができる。
【００２４】
次に予測が外れた場合を考える。特願平８−３１０７４号の例では予測が外れた時、前述したように予測値と注目画素との差分をとり予測誤差データ１２０を生成した。このように差分を取るのは、画素値がそれを構成する個々の１ビットにそれぞれ意味が有るのではなく８ビット全体の値として意味が有り、さらに画素同士で相関があることに起因している。それに対し８ビットにパッキングされたタグ（以下これをタグと呼ぶ）は、今の例ではそれを構成する個々の１ビットにそれぞれ意味が有り、８ビット全体の値としてさほど意味がない。またタグ同士の相関よりも、タグを構成する個々の１ビット同士の方が相関が大きい。そのため予測が外れた場合に２つのタグの差分をとって得られる情報よりも、２つのタグで異なるビットがどのくらいあるのかという情報のほうが意味がある。
【００２５】
このような状況を満足する演算として例えば排他的論理和がある。排他的論理和は一方が他方と同じ値の時０で、一方が他方と異なる値の時１を生成するビット演算である。このためタグによっては、差分よりも排他的論理和を用いて予測誤差データ１２０を生成したほうがタグ同士の相関が大きくなり符号量が小さくできる場合がある。
【００２６】
このように入力画像情報が画素値以外のもの例えばタグのように画素値よりもビット数が少ないものでかつ予測が外れた場合に、特願平８−３１０７４号の例のように差分をとり予測誤差データを生成するのでは入力画像情報同士の相関が小さくなり符号量を小さくできないという問題点があった。
【００２７】
【発明が解決しようとする課題】
本発明は上述した事情に鑑みてなされたもので、入力画像情報がタグのように画素値よりもビット数が少ないものである場合にも効率よく圧縮を行える可逆符号化装置および復号装置を提供することを目的とするものである。
【００２８】
【課題を解決するための手段】
本発明では、上記課題を解決するために、画像情報に対し可逆符号化を行う画像符号化装置に、画像情報を入力する画像入力手段と、前記画像入力手段から入力した画像情報を所定の固定長の単位データにパッキングするパッキング処理手段と、前記パッキング処理手段から入力した単位データの値を所定の手法により予測する複数の画素値予測手段と、前記パッキング処理手段から入力した単位データの値と所定の予測手法により予測された予測値との間の予測誤差を算出する複数の予測誤差算出手段と、前記複数の予測誤差算出手段の予測誤差の中から最適な予測誤差を選択する予測誤差選択手段と、前記画素値予測手段のいずれかが的中したと判断された場合にはその予測部の識別情報を、そうでない場合は前記予測誤差選択手段で選択された予測誤差を選択する選択手段と、前記選択手段で選択された情報を所定の手法で符号化する符号化手段と、前記符号化手段で作成した符号を出力する符号出力手段とを設けるようにしている。
【００２９】
この構成では、画像情報が画素値情報でなくタグ等のよりビット数の少ない情報の場合でもパッキングすることによりデータを圧縮することができ、また予測誤差算出手段を複数設け、画像情報の性質に適合した予測誤差を採用することができ、圧縮率を向上させることができる。
【００３０】
また、この構成において、前記予測誤差選択手段は、前記パッキング処理手段からの単位データそのものの方が前記予測誤差算出手段から出力される予測誤差よりも適している場合に、前記単位データを予測誤差として選択して出力するようにしてもよい。このようにして、単位データ自体の方が予測誤差より圧縮率が高い場合には単位データ自体を送るようにできる。
【００３１】
また、前記予測誤差算出手段において、予測誤差算出のための演算が差分または排他的論理和とすることができる。
【００３２】
また、画像符号化装置本体の外部から前記予測誤差選択手段に選択信号を入力することができるようにし、前記選択信号により、前記パッキング処理手段から入力した単位データを予測誤差として前記予測誤差選択手段から出力されるようにすることができる。
【００３３】
さらに、前記予測誤差選択手段は、前記パッキング処理手段から入力した単位データおよび前記複数の予測誤差算出手段の予測誤差のそれぞれに対し所定の手続きでエントロピーを計算するエントロピー計算手段と、前記エントロピー計算手段で計算されたエントロピーの中で最小のものを選択しそれに該当する選択信号を生成する選択信号生成手段と、前記選択信号により前記パッキング処理手段から入力した単位データと前記複数の予測誤差算出手段の予測誤差の中から所望のものを選択する手段とを有するようにできる。
【００３４】
また、本発明によれば、上記課題を解決するために、上記画像符号化装置で符号化された符号を画像情報に復号する画像復号装置に、符号を入力する符号入力手段と、前記符号入力手段から入力した符号を所定の手法で復号する復号手段と、前記復号手段で得られた情報をもとに予測手段のいずれかへの指示、もしくは予測誤差を選択的に出力する選択手段と、前記選択手段からの指示で単位データの値の予測を行う複数の予測手段と、前記選択手段から送られる予測誤差と所定の予測手法によって得た予測値とから単位データの値を算出する複数の予測誤差加算手段と、前記複数の予測誤差加算手段で算出される予測値の中から最適なものを選択する予測値選択手段と、前記予測手段あるいは予測値選択手段から出力されたデータを所定の方法でデパッキングして画像情報に復元するデパッキング処理手段と、前記デパッキング処理手段から送られる画像情報を出力する画像出力手段とを設けるようにしている。
【００３５】
この構成においては、上記画像符号化装置により効率よく圧縮された画像情報を復号することができる。
【００３６】
また、この構成において、前記予測値選択手段は、前記選択手段から送られる予測誤差が前記予測誤差算出手段から出力される予測値よりも適している場合に、前記予測誤差を選択して予測値として出力するようにしてもよい。
【００３７】
また、前記予測誤差加算手段において、前記注目画素値を算出するための演算が加算または排他的論理和であるようにしてもよい。
【００３８】
また、画像情報復号装置本体の外部から前記予測値選択手段に選択信号を入力することができるようにし、前記選択信号により前記選択手段から送られる予測誤差と前記複数の予測誤差加算手段で算出される注目画素値との中から所望のものを選択するようにしてもよい。
【００３９】
さらに、前記予測値選択手段は、前記予測手段あるいは予測値選択手段から出力されたデータと所定の予測手法で予測された予測値との誤差を算出する複数の予測誤差算出手段と、前記予測手段あるいは予測値選択手段から出力されたデータと前記複数の予測誤差算出手段の予測誤差のそれぞれに対し所定の手続きでエントロピーを計算するエントロピー計算手段と、前記エントロピー計算手段で計算されたエントロピーの中で最小のものを選択しそれに該当する選択信号を生成する選択信号生成手段と、前記選択信号により前記選択手段から送られる予測誤差と前記複数の予測誤差加算手段で算出される予測値の中から所望のものを選択する手段とを有するようにしてもよい。
【００４０】
【発明の実施の態様】
以下、本発明の実施例について説明する。図１はこの実施例を示すブロック図である。図中図８と同様の部分には同一の符号を付して説明を省略する。
【００４１】
まず本実施例の符号化装置について説明する。図１（ａ）の符号化装置において３０は第１予測誤差算出部、３２は第２予測誤差算出部、３４は予測誤差選択部、９０はパッキング処理部、１０１はある固定長にパッキングされた画像データ（以下パッキング画像データと呼ぶ）、１５０は外部選択信号、１６０は第１予測誤差算出部からの予測誤差データ、１７０は第２予測誤差算出部からの予測誤差データである。ここで第１予測誤差算出部は図８の予測誤差算出部と実質的に同じなので同じ符号を付し説明を省略する。
【００４２】
パッキング処理部９０は画像データ１００を所定の手法である固定長にパッキングしパッキング画像データ１０１として送出する。第２予測誤差算出部３２はパッキング画像データ１０１に基づいて注目画素の画素値を予測し、その予測値と注目画素の実際の画素値とで差分以外の演算（例えば排他的論理和の計算）をし、予測誤差データ１７０として予測誤差選択部３４へ送出する。予測誤差選択部３４は第１予測誤差算出部からの予測誤差データ１６０、第２予測誤差算出部からの予測誤差データ１７０、パッキング画像データ１０１のうちから１つを外部選択信号１５０により選択し予測誤差データ１２０として出力するか、または第１予測誤差算出部からの予測誤差データ１６０、第２予測誤差算出部からの予測誤差データ１７０、パッキング画像データ１０１それぞれについて例えばエントロピーを計算しエントロピーが最小のものを選択し予測誤差データ１２０として出力する。
【００４３】
以下、本実施例の符号化装置の動作について説明する。図２（ａ）はこの符号化装置の動作を表すフローチャートである。本実施例の符号化装置の基本的な動作は、図９のフローチャートを用いて説明した特願平８−３１０７４号の例と同じなので、特願平８−３１０７４号の例と異なる部分についてのみ述べる。
【００４４】
Ｓ１５では画像データ１００を所定の手法で、ある固定長にパッキングしパッキング画素鵜データ１０１を得る。例えばパッキングする固定長を画素値のビット数にすると、画像データ１００が画素値であるならば画像データ１００がそのままパッキング画像データ１０１となる。また、画像データ１００が画素値のビット数よりも少ない例えばタグの場合は、図５に示すようなビット長の単位で取りだして画像データ１００をパッキングしてパッキング画像データ１０１を生成する。
【００４５】
特願平８−３１０７４号の例では図９のＳ２０で第１予測部２０、第２予測部２１において画像データ１００に基づいて注目画素の画素値予測を行い、同時に予測誤差算出部３０において所定の手法による予測値の予測誤差を算出した。本実施例では画像データ１００の代わりにパッキング画像データ１０１を用い、特願平８−３１０７４号の例に加え第２予測誤差算出部３２において所定の手法による予測値の予測誤差を算出する。さらに第１予測誤差算出部３０の予測誤差、第２予測誤差算出部３２の予測誤差、パッキング画像データ１０１の中から所望のデータを選択し予測誤差データ１２０として選択部４０に送出する。
【００４６】
次に予測誤差選択部３４について詳しく説明する。図３（ａ）は本発明の画像符号化復号装置の予測誤差選択部の構成を表すブロック図である。図３（ａ）において、エントロピー計算部３６は第１予測誤差算出部３０からの予測誤差データ１６０、第２予測誤差算出部３２からの予測誤差データ１７０、パッキング画像データ１０１それぞれについてある決められた個数（例えばＮ個）のサンプルについて生起確率を計算しそれからエントロピーを計算し選択信号生成部３７に出力する。選択信号生成部３７は外部選択信号１５０がアクティブの場合、外部選択信号１５０を選択信号２００として選択器３８に送出する。他方外部選択信号１５０がアクティブでない場合、第１予測誤差算出部３０からの予測誤差データ１６０、第２予測誤差算出部３２からの予測誤差データ１７０、パッキング画像データ１０１それぞれのエントロピーのなかで最小のものを選びまたそれに対応した選択信号２００を選択器３８に送出する。選択器３８は第１予測誤差算出部３０からの予測誤差データ１６０、第２予測誤差算出部３２からの予測誤差データ１７０、パッキング画像データ１０１の中から選択信号２００を用いて所望のデータを選択する。
【００４７】
次に上記予測誤差選択部３４の動作について説明する。図４（ａ）は予測誤差選択部３４の動作を示すフローチャートである。図４（ａ）において、動作の開始に当たりまずエントロピーを計算するためのサンプル数の最大値を設定する。この数は選択信号の切換えの間隔を規定するものであり、また符号化装置と復号装置の動作で矛盾が生じないようにするためのものである。今この数をＮと仮定する。またサンプル数をカウントするカウンタ（今サンプルカウンタと呼ぶことにする）を０にリセットする。予測誤差データが入力されて動作が開始される。Ｓ３５では外部選択信号１５０がアクティブかどうか判定し、アクティブの場合はＳ４０へ、アクティブでない場合はＳ３６へ進む。Ｓ３６では第１予測誤差算出部３０からの予測誤差データ１６０、第２予測誤差算出部３２からの予測誤差データ１７０、パッキング画像データ１０１それぞれの値に対し生起確率を計算し、それと同時にサンプルカウンタの値をインクリメントする。Ｓ３７ではサンプルカウンタの値がＮに達したかどうか判定し、Ｎに達した場合はＳ３８へ、Ｎに達しない場合はＳ４０へ進む。Ｓ３８では第１予測誤差算出部３０からの予測誤差データ１６０、第２予測誤差算出部３２からの予測誤差データ１７０、パッキング画像データ１０１それぞれに対しエントロピーを計算する。Ｓ３９では第１予測誤差算出部３０からの予測誤差データ１６０、第２予測誤差算出部３２からの予測誤差データ１７０、パッキング画像データ１０１それぞれのエントロピーのなかで最小のものを選び、またそれに対応した選択信号２００を生成し選択器３８に送出する。さらにサンプルカウンタを０にリセットする。Ｓ４０では第１予測誤差算出部３０からの予測誤差データ１６０、第２予測誤差算出部３２からの予測誤差データ１７０、パッキング画像データ１０１の中から所望のデータを選択信号２００を用いて選択し予測誤差データ１２０として選択部４０に送出する。
【００４８】
次に本発明の復号装置について説明する。図１（ｂ）の復号装置において、３１は第１予測誤差加算部、３３は第２予測誤差加算部、３５は予測値選択部、９１はデパッキング処理部、１６１は第１予測誤差加算部３１からの復号画像データ、１７１は第２予測誤差加算部３３からの復号画像データである。ここで第１予測誤差加算部３１は図８の予測誤差加算部３０と実質的に同じなので説明を省略する。
【００４９】
第２予測誤差加算部３３は第２予測誤差算出部３２と同一の手法で注目画素の画素値を予測し、その予測値と予測誤差データ１２０から画素値を復元して画像データ１７１として予測値選択部３５へ送出する。予測値選択部３５は第１予測誤差加算部３１からの復号画像データ１６１、第２予測誤差加算部３３からの復号画像データ１７１、予測誤差データ１２０のうちから１つを外部選択信号１５０により選択しパッキング画像データ１０１として出力するか、または符号化装置同様の手法でパッキング画像データ１０１を用いて例えばエントロピーを計算し第１予測誤差加算部３１からの復号画像データ１６１、第２予測誤差加算部３３からの復号画像データ１７１、予測誤差データ１２０のうちエントロピーが最小ものを選択しパッキング画像データ１０１として出力する。デパッキング処理部９１はパッキング処理部９０に対応した所定の手法でパッキング画像データ１０１をデパッキングし画像データ１００として送出する。
【００５０】
以下、本実施例の復号装置の動作について説明する。図２（ｂ）は本実施例の復号装置の動作を表すフローチャートである。本実施例の復号装置の基本的な動作は、図９を参照して説明した特願平８−３１０７４号で提案したものとほぼ同じなので、異なる部分についてのみ述べる。
【００５１】
特願平８−３１０７４号の符号化では、図９のＳ２１で制御データ１１１を受け取った予測手段が存在する場合、該当する予測手段が予測した注目画素の予測値を画像データ１００として出力した。そうでない場合、予測誤差加算部３１において予測誤差算出部３０と同一の手法による予測値と予測誤差データ１２０から画素値を復元し、画像データ１００として出力した。
【００５２】
これに対し、本実施例ではＳ２１で制御データ１１１を受け取った予測手段が存在する場合は先の提案と同じであるが、その予測手段が存在しない場合は以下のようになる。第１予測誤差加算部３１において第１予測誤差算出部３０と同一の手法で注目画素の画素値を予測しその予測値と予測誤差データ１２０から画素値を復元する。第２予測誤差加算部３３において第２予測誤差算出部３２と同一の手法で注目画素の画素値を予測しその予測値と予測誤差データ１２０から画素値を復元する。これら２つの復元された画像データに予測誤差データ１２０を加えた３つのデータの中から所望のデータを選択しパッキング画像データ１０１として出力する。
【００５３】
Ｓ１３５ではパッキング画像データ１０１をＳ１５に対応した所定の手法でデパッキングし画像データ１００を得る。
【００５４】
次に予測値選択部３５について説明する。図３（ｂ）は本発明の画像符号化復号装置の予測値選択部の構成を表すブロック図である。図３（ｂ）において構成要素は全て既述のものであるので説明は省略する。
【００５５】
上記予測値選択部３５の動作について説明する。図４（ｂ）は予測誤値選択部３５の動作を示すフローチャートである。図４（ｂ）において図４（ａ）と同じ部分には同じ符号が付けられているので説明は省略する。Ｓ４１では所定の手法でパッキング画像データ１０１に基づいて注目画素の画素値を予測し、その予測値と注目画素の実際の画素値の差分を計算し、予測誤差データ１６０としてエントロピー計算部３６へ、また所定の手法でパッキング画像データ１０１に基づいて注目画素の画素値を予測し、その予測値と注目画素の実際の画素値とで差分以外の演算（例えば排他的論理和の計算）をし、予測誤差データ１７０としてエントロピー計算部３６へそれぞれ送出する。Ｓ４２では第１予測誤差加算部からの画像データ１６１、第２予測誤差加算部からの画像データ１７１、予測誤差データ１２０の中から選択信号２００を用いて所望のデータを選択しパッキング画像データ１０１としてデパッキング処理部９１に送出する。
【００５６】
本実施例の効果について説明する。なお復号装置は符号化装置の逆動作なのでその効果は符号化装置のものと等しい。そのため説明は符号化装置のみとする。
【００５７】
本実施例では予測誤差を算出する部分を新たに２つ加え３つの中で最小のエントロピーのものを予測誤差として出力することで符号量を小さくするよう試みている。予測誤差を算出する部分は、１つが差分で、他の１つは差分以外の演算、例えば排他的論理和で、さらに他の１つが何も演算しない画像データそのものである。実質的には差分と排他的論理和による効果によるところが大きいので、差分と排他的論理和のそれぞれが有効な場合について説明する。
【００５８】
図５に解像度の違いを表すタグの例を示す。図５において、ａ，ｂ，ｃは直線の端点を表し、ｃ，ｄ，ｅは三角形の頂点を表す。そして直線ａｂ、直線ｂｃ及び三角形ｃｄｅの内部（辺上を含む）は例えば解像度４００ｄｏｔｓ／２５．４ｍｍで、それ以外は解像度２００ｄｏｔｓ／２５．４ｍｍでそれぞれ描画されるものとする。解像度の違いを表すタグは１ビットのタグとし、例えば解像度４００ｄｏｔｓ／２５．４ｍｍを値’１’で、解像度２００ｄｏｔｓ／２５．４ｍｍを値’０’で表すものとする。今端点ｂの周辺に注目しそれを拡大したものをＴ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５で表す。また同様に三角形の頂点ｃ，ｄに周辺に注目しそれを拡大したものをＴ６，Ｔ７，Ｔ８，Ｔ９，Ｔ１０で表す。
【００５９】
図５をもとにして図６に差分と排他的論理和が有効な例を示す。今演算は８ビットとし、差分は記号ｓｕｂで表し排他的論理和は記号ｘｏｒで表すことにする。
【００６０】
まず排他的論理和が有効な場合を説明する。排他的論理和は一方が他方と同じ値の時０で、一方が他方と異なる値の時１を生成するビット演算である。差分が非可換な演算であるのに対し、排他的論理和は可換な演算である。つまり、
ＡｘｏｒＢ＝ＢｘｏｒＡ … （３）
ただし「ｘｏｒ」は排他的論理和の演算子を示す。
である。この特性を表しているのが図６（ａ）である。図６（ａ）は排他的論理和が有効な例で、Ｔ３は値１６を持つ８ビットのレジスタ、Ｔ２，Ｔ４は値８を持つ８ビットのレジスタである。この時（３）式のため２つの演算（Ｔ２ｘｏｒＴ３とＴ３ｘｏｒＴ４）結果は同じ値をとる。このことはつまり演算結果の分布に偏りが生じることになり、これによりエントロピーが小さくなり符号量が小さくなる要因となる。それに対し差分は、Ｔ２ｓｕｂＴ３＝−８（正負の符号付演算の場合、正負の符号付きでない演算の場合はＴ２ｓｕｂＴ３＝２４８となる）、Ｔ３ｓｕｂＴ４＝８の２つの値をそれぞれとることになり、演算結果の分布に偏りが生じない。
【００６１】
もう一つ排他的論理和が有効な点を述べる。それは符号化装置の第２予測誤差算出部３２で排他的論理和を用いると、復号装置の第２予測誤差加算部３３は第２予測誤差算出部３２と同一のものになるので、両者を共通化することでハード量を削減することができることである。差分の場合、逆演算を記号ａｄｄで表すと、
（ＡｓｕｂＢ）ａｄｄＢ＝Ａ … （４）
となる。（４）式においてｓｕｂの部分が符号化装置の第１予測誤差算出部３０で実行される部分であり、ａｄｄの部分が復号装置の第１予測誤差加算部３１で実行される部分である。（４）式の様な演算を行うことで元の値Ａが復元される。ここで、ｓｕｂとａｄｄは異なる演算であるので、第１予測誤差算出部３０と第１予測誤差加算部３１は異なるものとなる。それに対し排他的論理和の場合、
（ＡｘｏｒＢ）ｘｏｒＢ＝Ａ … （５）
となる。つまり排他的論理和の逆演算は排他的論理和である。（５）式において最初のｘｏｒの部分が符号化装置の第２予測誤差算出部３２で実行される部分であり、２番目ｘｏｒの部分が復号装置の第２予測誤差加算部３３で実行される部分であり、両者は同一のものになる。このように排他的論理和の場合、復号装置の第２予測誤差加算部３３と第２予測誤差算出部３２を共通化することができハード量を削減することができる。
【００６２】
次に差分が有効な場合を説明する。図６（ｂ）は差分が有効な例で、Ｔ６は値３２を持つ８ビットのレジスタ、Ｔ７は値３１を持つ８ビットのレジスタ、Ｔ８は値３０を持つ８ビットのレジスタである。この例ではＴ６ｓｕｂＴ７、Ｔ７ｓｕｂＴ８の演算を行い同じ値１をとっている。これに対しＴ６ｘｏｒＴ７、Ｔ７ｘｏｒＴ８では異なる値となっている。これはＴ６とＴ７、Ｔ７とＴ８ではそれぞれ値１が立っているビット位置が異なるのに両者の値の差は１しかないからである。このように値１（あるいは値０）が立っているビット位置が異なる場合、排他的論理和の演算結果の分布に偏りが生じにくい。この場合は差分の方が演算結果の分布に偏りが生じ、これにエントロピーが小さくなり符号量が小さくなる。
【００６３】
このように予測誤差を算出する場合その値によって差分と排他的論理和それぞれに有効な場合が存在する。本実施例では、特願平８−３１０７４号の例の様に予測誤差を算出する手段として差分が有効な場合に加え、排他的論理和が有効な場合、あるいは画像データそのものが有効な場合にも対処でき、特願平８−３１０７４号の例よりも符号量を小さくすることができる。
【００６４】
また、この実施例においては、予めどのような予測誤差を用いたらよいのかがわかっている場合には、外部選択信号１５０をアクティブにしエントロピー等の算出を行わずに処理を行うことができ、計算量を削減することができる。
【００６５】
なお、本発明は上述実施例に限定されるものではなく種々変更することができる。たとえば、予測誤差選択部３４はパッキング画像データと、２つの予測誤差との中からエントロピーの小さいものを選択するようにしているが、予測誤差算出部の数は３つ以上でもよく、また予測誤差のみから選択するようにしてもよい。また選択基準としてエントロピー以外のものを用いてもよい。
【００６６】
【発明の効果】
以上の説明から明らかなように、本発明においては少ないビット数の画像情報をパッキングして圧縮して処理するようにし、さらに予測誤差算出手段を複数設け最も適切な予測誤差を用いることができるようにしている。したがって、入力画像情報が画素値以外のもの例えばタグのように画素値よりもビット数が少ないものでも、効率よく圧縮でき、さらに画像情報の性質に応じて最適な符号誤差を用いることができるので、符号量を少なくすることができる。
【図面の簡単な説明】
【図１】本発明の画像符号化復号装置の実施例を示すブロック図である。
【図２】本発明の画像符号化復号装置の実施例における符号化復号処理の動作の一例を示すフローチャートである。
【図３】本発明の画像符号化復号装置の実施例における予測誤差選択部及び予測値選択部の構成を示すブロック図である。
【図４】本発明の画像符号化復号装置の実施例における予測誤差選択部及び予測値選択部の動作の一例を示すフローチャートである。
【図５】解像度の違いを表すタグの例の説明図である。
【図６】排他的論理和及び差分が有効な例の説明図である。
【図７】エントロピーの説明図である。
【図８】特願平８−３１０７４号の画像符号化復号装置の構成を示すブロック図である。
【図９】特願平８−３１０７４号の画像符号化復号装置の動作を示すフローチャートである。
【図１０】予測誤差分布例の説明図である。
【符号の説明】
１０画像入力部
２０第１予測部
２１第２予測部
３０第１予測誤差算出部
３１第１予測誤差加算部
３２第２予測誤差算出部
３３第２予測誤差加算部
３４予測誤差選択部
３５予測値選択部
３６エントロピー計算部
３７選択信号生成部
３８選択器
４０、４１選択部
５０符号化部
５１復号部
６０符号出力部
７０符号入力部
８０画像出力部
９０パッキング処理部
９１デパッキング処理部
１００画像データ
１０１ある固定長にパッキングされた画像データ
１１０予測値データ
１１１制御データ
１２０予測誤差データ
１３０予測状況データ
１４０符号データ
１５０外部選択信号
１６０第１予測誤差算出部からの誤差データ
１６１第１予測誤差加算部からの復号画像データ
１７０第２予測誤差算出部からの誤差データ
１７１第２予測誤差加算部からの復号画像データ
２００選択信号である。

Claims

画素値情報および画素値情報の所定のビット長よりもビット長が小さいタグ情報を含む画像情報に対し可逆符号化を行う画像符号化装置において、
画像情報を入力する画像入力手段と、
前記画像入力手段から入力した画像情報のうち画素値情報は前記所定のビット長の単位データとし、前記画像情報のうちの前記タグ情報は前記所定のビット長の単位データにパッキングするパッキング処理手段と、
前記パッキング処理手段から入力した単位データの値を所定の画素値予測手段用の予測手法により予測する複数の画素値予測手段と、
前記パッキング処理手段から入力した単位データの値と所定の予測誤差算出手段用の予測手法により予測された予測値との間の予測誤差を算出する複数の予測誤差算出手段と、
前記複数の予測誤差算出手段の予測誤差の中から１つの予測誤差を選択する予測誤差選択手段と、
前記画素値予測手段のいずれかが的中したと判断された場合には的中した１つの予測部の識別情報を、そうでない場合は前記予測誤差選択手段で選択された予測誤差を選択する選択手段と、
前記選択手段で選択された情報を所定の符号化手法で符号化する符号化手段と、
前記符号化手段で作成した符号を出力する符号出力手段とを有することを特徴とする画像符号化装置。
前記予測誤差選択手段は、前記パッキング処理手段からの単位データそのものの方が前記予測誤差算出手段から出力される予測誤差よりもエントロピを基準にして適している場合に、前記単位データを予測誤差として選択して出力する請求項１記載の画像符号化装置。
前記予測誤差算出手段において、予測誤差算出のための演算が差分または排他的論理和である請求項２記載の画像符号化装置。
画像符号化装置本体の外部から前記予測誤差選択手段に選択信号を入力することができるようにし、前記選択信号により、前記パッキング処理手段から入力した単位データを予測誤差として前記予測誤差選択手段から出力されるようにする請求項２記載の画像符号化装置。
前記予測誤差選択手段は、
前記パッキング処理手段から入力した単位データおよび前記複数の予測誤差算出手段の予測誤差のそれぞれに対し所定の手続きでエントロピーを計算するエントロピー計算手段と、
前記エントロピー計算手段で計算されたエントロピーの中で最小のものを選択しそれに該当する選択信号を生成する選択信号生成手段と、
前記選択信号により前記パッキング処理手段から入力した単位データと前記複数の予測誤差算出手段の予測誤差の中から所望のものを選択する手段とを有する請求項２記載の画像符号化装置。
請求項１記載の画像符号化装置で符号化された符号を画像情報に復号する画像復号装置において、
符号を入力する符号入力手段と、
前記符号入力手段から入力した符号を所定の復号手法で復号する復号手段と、
前記復号手段で得られた情報をもとに予測手段のいずれかへの指示、もしくは予測誤差を選択的に出力する選択手段と、
前記選択手段からの指示で単位データの値の予測を行い単位データの予測値を生成する複数の予測手段と、
前記選択手段から送られる予測誤差と所定の予測誤差算出用の予測手法によって得た予測値とから単位データの予測値を算出する複数の予測誤差加算手段と、
前記複数の予測誤差加算手段で算出される単位データの予測値の中から１つの予測値を選択する予測値選択手段と、
前記予測手段あるいは予測値選択手段から出力された単位データの予測値のうち画素値情報に対応するものを画素値情報とし、前記単位データの予測値のうちタグ情報に対応するものをタグ情報にデパッキングして前記画素値情報および前記タグ情報を含む画像情報に復元するデパッキング処理手段と、
前記デパッキング処理手段から送られる画像情報を出力する画像出力手段とを有することを特徴とする画像復号装置。
前記予測値選択手段は、前記選択手段から送られる予測誤差が前記予測誤差算出手段から出力される予測値よりもエントロピを基準にして適している場合に、前記予測誤差を選択して予測値として出力する請求項６記載の画像復号装置。
前記予測誤差加算手段において、前記単位データを算出するための演算が加算または排他的論理和である請求項７記載の画像復号装置。
画像情報復号装置本体の外部から前記予測値選択手段に選択信号を入力することができるようにし、前記選択信号により前記選択手段から送られる予測誤差と前記複数の予測誤差加算手段で算出される単位データの予測値との中から所望のものを選択するようにした請求項７記載の画像復号装置。
前記予測値選択手段は、
前記予測手段あるいは予測値選択手段から出力されたデータと所定の予測手法で予測された予測値との誤差を算出する複数の予測誤差算出手段と、
前記予測手段あるいは予測値選択手段から出力されたデータと前記複数の予測誤差算出手段の予測誤差のそれぞれに対し所定の手続きでエントロピーを計算するエントロピー計算手段と、
前記エントロピー計算手段で計算されたエントロピーの中で最小のものを選択しそれに該当する選択信号を生成する選択信号生成手段と、
前記選択信号により前記選択手段から送られる予測誤差と前記複数の予測誤差加算手段で算出される予測値の中から所望のものを選択する手段とを有する請求項７記載の画像復号装置。
画素値情報および画素値情報の所定のビット長よりもビット長が小さいタグ情報を含む画像情報に対し可逆符号化を行う画像符号化方法において、
画像入力手段により、画像情報を入力する画像入力ステップと、
パッキング処理手段により、前記画像入力手段から入力した画像情報のうち画素値情報は前記所定のビット長の単位データとし、前記画像情報のうちの前記タグ情報は前記所定のビット長の単位データにパッキングするパッキング処理ステップと、
複数の画素値予測手段により、前記パッキング処理手段から入力した単位データの値を所定の画素値予測手段用の予測手法により予測する画素値予測ステップと、
複数の予測誤差算出手段により、前記パッキング処理手段から入力した単位データの値と所定の予測誤差算出手段用の予測手法により予測された予測値との間の予測誤差を算出する予測誤差算出ステップと、
予測誤差選択手段により、前記複数の予測誤差算出手段の予測誤差の中から１つの予測誤差を選択する予測誤差選択ステップと、
選択手段により、前記画素値予測手段のいずれかが的中したと判断された場合には的中した１つの予測部の識別情報を、そうでない場合は前記予測誤差選択手段で選択された予測誤差を選択する選択ステップと、
符号化手段により、前記選択手段で選択された情報を所定の符号化手法で符号化する符号化ステップと、
符号出力手段により、前記符号化手段で作成した符号を出力する符号出力ステップとを有することを特徴とする画像符号化方法。
請求項１記載の画像符号化装置で符号化された符号を画像情報に復号する画像復号方法において、
符号入力手段により、符号を入力する符号入力ステップと、
復号手段により、前記符号入力手段から入力した符号を所定の復号手法で復号する復号ステップと、
選択手段により、前記復号手段で得られた情報をもとに予測手段のいずれかへの指示、もしくは予測誤差を選択的に出力する選択ステップと、
複数の予測手段により、前記選択手段からの指示で単位データの値の予測を行い単位データの予測値を生成する予測ステップと、
複数の予測誤差加算手段により、前記選択手段から送られる予測誤差と所定の予測誤差算出用の予測手法によって得た予測値とから単位データの予測値を算出する予測誤差加算ステップと、
予測値選択手段により、前記複数の予測誤差加算手段で算出される単位データの予測値の中から１つの予測値を選択する予測値選択ステップと、
デパッキング処理手段により、前記予測手段あるいは予測値選択手段から出力された単位データの予測値のうち画素値情報に対応するものを画素値情報とし、前記単位データの予測値のうちタグ情報に対応するものをタグ情報にデパッキングして前記画素値情報および前記タグ情報を含む画像情報に復元するデパッキング処理ステップと、
画像出力手段により、前記デパッキング処理手段から送られる画像情報を出力する画像出力ステップとを有することを特徴とする画像復号方法。