JP3750367B2 - 画像符号化復号装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像データの圧縮技術に関するものであり、特に画素毎に付加情報を持つような画像の圧縮に関するものである。
【０００２】
【従来の技術】
画像データは一般にデータ量が膨大になるので、通信、蓄積などを行う際には圧縮してデータ量を削減することが多い。例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、例えばインターフェース１９９１年１２月号、ｐｐ．１６０−１８２）は多値画像の圧縮技術の国際標準として広く用いられている。
【０００３】
一方、技術の発展に従い、画像データは複雑化しつつある。具体的に言えば数十年前には１ビット（ｂｉｔ）で白黒を表す２値画像が多く用いられていたが、コンピュータや周辺機器の改良に伴い、近来では多値画像やカラー画像が主流となりつつある。
【０００４】
現在ではさらに複雑な画像が構成されている。その一つは例えばマルチプレーン画像と呼ばれるものである。これはひとことでいえば、１枚の画像に含まれる性質の異なる部分画像群を、それぞれの性質で分類して別々のデータとして扱う技術である。そのような例を図１３に示す。ＲＧＢ画像なども色別に３枚の画像をもつが、１画素を構成するのに全ての情報が必要な点において、ここでいうマルチプレーン画像とは異なる。例えば現在標準化が検討されているＭＲＣ（Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ）の例では、画像を前景（Ｆｏｒｅｇｒｏｕｎｄ）と背景（Ｂａｃｋｇｒｏｕｎｄ）とに分けマスク（Ｍａｓｋ）で切り換える（ＩＴＵ−Ｔ：”ＩＴＵ Ｄｒａｆｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｔ．４４，Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ（ＭＲＣ）．”）。
【０００５】
また複雑な画像形式のもう一つの例として、タグ付き画像などと呼ばれるものがある。通常プリンタなどの出力機器に対しては、出力したい画素値データだけを送る。しかし出力機器によっては同じ画素値でも、出力パラメータを調整して異なる印字を行なえるものが存在する。この出力パラメータをここでは仮にタグと呼ぶことにする。出力パラメータの調整が可能な出力機器に対しては、画素単位に最適なタグを設定してやることが望ましい。タグ付き画像の例を図１４に示す。例えば、タグを文字領域に配置することにより、文字部分の解像度をその他の部分に対して高いものとし、他方、文字部分の階調をその他の部分に対して低いものとすることができる（図ではそのように示されていないが、「実際の画像」はそのようになる）。
【０００６】
マルチプレーン画像とタグ付き画像とで共通するのは、画素値以外で画素単位の情報を含むという点である。前者ではＭａｓｋ情報がそうだし、後者ではタグ自身がこれにあたる。以下、簡単のため両者をまとめて付加情報と呼ぶ。また付加情報と画像情報とを組み合わせたものを拡張画像と呼ぶ。
【０００７】
この２つの画像は、出力形態を見ると異なるように思える。マルチプレーン画像は出力時には１枚の画像になるべきだが、タグ付き画像のタグは独立の情報としてプリンタなどの出力機器まで提供されなければならない。しかし後者の場合も印字される時点で１枚の画像に統合されることに変わりないので、ここでは同じように考えることにする。従って、ここでは、「拡張画像」は、画像が何枚で構成されているかにかかわらず、付加情報および画像情報で表現されたデータと定義する。
【０００８】
付加情報はデータ量としては画素情報より小さいことが多い。しかし前述したとおり画素値を圧縮するのが一般的であり、例えば１／１０くらいの符号に変換して、画素値の通信、蓄積を行う。この符号に付加情報を圧縮なしにつけると、たとえ付加情報のデータ量が画素値の１／１０だったとしても、画像情報の１／１０だった符号データが倍増することになり、好ましくない。しかし、付加情報を圧縮することができればばこの問題は解決できる。
【０００９】
以下、付加情報を圧縮する従来例について述べる。もっとも簡易的には拡張画像を分解し、画像情報および付加情報をそれぞれ別の情報として符号化することが考えられる。そのような従来例として前述のＭＲＣについて説明する。
【００１０】
前出の資料には構成図の記載がないので、該資料の主旨を反映するように構成図を作成した。図１５は従来例の画像符号化装置、復号装置の構成例である。図中、１０は拡張画像入力部、２０は拡張画像分解部、３０は符号化部、８１は付加情報符号化部、８２は第１画像符号化部、８３は第２画像符号化部、４０は符号出力部、５０は符号入力部、６０は復号部、８４は付加情報復号部、８５は第１画像復号部、８６は第２画像復号部、７０は拡張画像出力部、２１０は符号統合部、２２０は符号分解部、１１０は拡張画像データ、１２０は付加情報データ、１３８は第１画像データ、１３９は第２画像データ、１４０は符号データ、１４７は付加情報符号データ、１４８は第１画像符号データ、１４９は第２画像符号データである。
【００１１】
図１５（ａ）の符号化装置の各部について説明する。拡張画像入力部１０は外部から拡張画像データ１１０を入力する。拡張画像分解部２０は拡張画像データ１１０を内容に応じて付加情報データ１２０、第１画像データ１３８、第２画像データ１３９に分解し、それぞれ付加情報符号化部８１、第１画像符号化部８２、第２画像符号化部８３へ送出する。符号化部３０は以下に説明する付加情報符号化部８１、第１画像符号化部８２、第２画像符号化部８３からなる。付加情報符号化部８１は付加情報データ１２０を所定の手法で符号化し、符号統合部２１０へ送出する。第１画像符号化部８２は第１画像データ１３８を所定の手法で符号化し、符号統合部２１０へ送出する。第２画像符号化部８３は第２画像データ１３９を所定の手法で符号化し、符号統合部２１０へ送出する。符号統合部２１０は付加情報符号データ１４７、第１画像符号データ１４８、第２画像符号データ１４９を統合し、符号データ１４０として符号出力部４０へ送出する。符号出力部４０は符号データ１４０を外部へ送出する。
【００１２】
次に図１５（ａ）の復号装置の各部について説明する。符号入力部５０は外部から符号データ１４０を入力する。符号分解部２２０は符号データ１４０を内容に応じて付加情報符号データ１４７、第１画像符号データ１４８、第２画像符号データ１４９に分解し、それぞれ付加情報復号部８４、第１画像復号部８５、第２画像復号部８６へ送出する。復号部６０は以下に説明する付加情報復号部８４、第１画像復号部８５、第２画像復号部８６からなる。付加情報復号部８４は付加情報符号データ１４７を所定の手法で復号し、拡張画像出力部７０へ送出する。第１画像復号部８５は第１画像符号データ１４８を所定の手法で復号し、拡張画像出力部７０へ送出する。第２画像復号部８６は第２画像符号データ１４９を所定の手法で復号し、拡張画像出力部７０へ送出する。拡張画像出力部７０は付加情報データ１２０、第１画像データ１３８、第２画像データ１３９を必要に応じて統合しつつ、外部へ出力する。
【００１３】
ここで拡張画像出力部７０が第２画像データを統合するかどうかは、例えば、出力形態により決定される。例えばマルチプレーン画像をディスプレイに出力するような場合には、１枚の画像に統合する必要がある。逆にプリンタにタグを付けて出すような場合、画素値とタグという独立な２種類の情報を独立に出力することになる。
【００１４】
以上の構成に基づいて、従来例の動作について説明する。図１６（ａ）および（ｂ）は従来例の動作を示すフローチャートである。
【００１５】
まず図１６（ａ）を用いて従来例の符号化手順について説明する。Ｓ１０では拡張画像入力部１０において外部から拡張画像データ１１０を入力する。Ｓ２０では拡張画像分解部２０において拡張画像データ１１０を付加情報データ１２０、第１画像データ１３８、第２画像データ１３９に分解する。Ｓ３１では付加情報符号化部８１、第１画像符号化部８２、第２画像符号化部８３において、それぞれ付加情報データ１２０、第１画像データ１３８、第２画像データ１３９を所定の手法で符号化する。Ｓ８０では符号統合部２１０において付加情報符号データ１４７、第１画像符号データ１４８、第２画像符号データ１４９を統合する。Ｓ４０では符号出力部４０において符号データ１４０を外部へ送出する。
【００１６】
次に図１６（ｂ）を用いて従来例の復号手順について説明する。Ｓ５０では符号入力部５０において外部から符号データ１４０を入力する。Ｓ８１では符号分解部２２０において符号データ１４０を付加情報符号データ１４７、第１画像符号データ１４８、第２画像符号データ１４９に分解する。Ｓ６１では付加情報復号部８４、第１画像復号部８５、第２画像復号部８６において、それぞれ付加情報符号データ１４７、第１画像符号データ１４８、第２画像符号データ１４９を所定の手法で復号する。Ｓ７０では拡張画像出力部７０において付加情報データ１２０、第１画像データ１３８、第２画像データ１３９を必要に応じて統合しつつ、外部へ出力する。
【００１７】
以上の動作において、付加情報符号化部８１、第１画像符号化部８２、第２画像符号化部８３でそれぞれ用いられる符号化手法は、それぞれが扱うデータに適したものを選択する。例えば付加情報にはＭＭＲ（Ｍｏｄｉｆｉｅｄ Ｍｏｄｉｆｉｅｄ Ｒｅａｄ：２値画像圧縮の国際標準）、ラインアートにはＪＢＩＧ（Ｊｏｉｎｔ Ｂｉ−ｌｅｖｅｌ Ｉｍａｇｅ ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：２値画像圧縮の国際標準）、写真には前出のＪＰＥＧを使うことが考えられる。
【００１８】
従来例によれば、付加情報専用の符号化部を設けるので、付加情報を画像情報と同じように圧縮することができる。しかし次のような問題を生ずる。
【００１９】
▲１▼タグ付き画像のように付加情報と画像情報の間に相関関係がある場合、圧縮率が低下する。例えば文字のエッジでタグを切り換えることがある。このとき付加情報は文字のエッジの形に沿って値が変化する。このような例を図１７に示す。この付加情報は画像情報と相関が高いので、画像情報で条件づけすることによって付加情報の情報量を小さくすることが可能だが、従来例のように別系統で符号化するとそのような処理は理論的に不可能になる。
【００２０】
▲２▼マルチプレーン画像の場合、使われない情報を符号化するために圧縮率が低下する可能性がある。マルチプレーン画像では選択されないプレーンはどのような画素値を持っても構わない。例えばラインアートの上に写真の一部を張り付けるような場合、ラインアートの使われない部分には符号が少なくなるように適当な画素値を埋めるのが望ましい。このような例を図１８に示す。従来例で画像と付加情報を完全に別系統で符号化する場合、Ｍａｓｋ情報が画像符号化に反映できるとは限らない。
【００２１】
図１８の例について、さらに、説明を加える。いま図１８（ｃ）と同図（ｄ）を同図（ｂ）のマスク（Ｍａｓｋ）で切り換えるような拡張画像があったとする。この拡張画像を１枚にまとめた状態にすると同図（ａ）のようになる。さて同図（ａ）では同図（ｃ）は一部分しか使われておらず、使われない部分は圧縮率がよくなるように埋められるのが望ましい。具体的に例えばラインアートプレーンをランレングス圧縮するならば、同図（ｅ）に示したような画像だとランが長く続くので望ましい。しかしこの処理をするには、切り換えＭａｓｋとラインアートプレーンを同時に参照することが必要になる。従来例では各プレーンを独立に符号化するので、このような処理が行えず、圧縮率が悪化する。
【００２２】
▲３▼符号ストリームが多くなるので、符号化復号処理の制御が複雑になる。
▲４▼符号化装置、復号装置を複数備えるので、装置規模が大きくなる。
【００２３】
【発明が解決しようとする課題】
以上述べてきたように従来例によって付加情報の圧縮は可能であるが、以下のような問題を生じることが分かる。
▲１▼画像情報と付加情報を同時に参照することができないので、マルチプレーン画像、タグ付き画像ともに効率的に圧縮できないことがある。
▲２▼付加情報専用の処理装置を加えなければならないので、画像情報だけの場合に比べて処理時間が遅くなるか装置規模が大きくなる。
【００２４】
本発明は上述の事情に鑑みてなされたもので、拡張画像を効率的にかつ簡易に符号化する画像符号化装置および復号装置を提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明によれば、上述の目的を達成するために、画像符号化復号装置に、付加情報および画像情報からなる拡張画像を入力する拡張画像入力手段と、前記拡張画像を付加情報と画像情報に分解する拡張画像分解手段と、前記付加情報と画像情報を符号化する符号化手段と、前記符号化手段で生成される符号を出力する符号出力手段と、符号情報を入力する符号入力手段と、前記符号情報を復号する復号手段と、前記復号手段で復号される付加情報および画像情報を出力する拡張画像出力手段とを設け、前記符号化手段で行われる符号化処理および前記復号手段で行われる復号処理において、付加情報および画像情報をまとめて１つの情報として処理するようにしている。
【００２６】
この構成においては、画像情報と付加情報とを符号化時に同時に参照できるので効率よく符号化を行なうことができる。また、付加情報用に専用の符号化部を設ける必要がないので制御が簡素になり、実装も簡略化できる。
【００２７】
また、前記符号化手段および前記復号手段で行われる符号化処理および復号処理を、予測符号化とすることができる。
【００２８】
また、前記符号化手段および前記復号手段で行われる符号化処理および復号処理を、ランレングス符号化、多値算術符号化、ユニバーサル符号化など、多値の可逆符号化とすることができる。
【００２９】
また、前記予測符号化は、複数の予測手段を選択するものとすることができる。すなわち、前記符号化手段に、複数の符号化用予測手段と、前記符号化予測手段の１つを所定の手法で選択する符号化予測選択手段と、前記符号化予測選択手段の予測結果を情報源符号化する情報源符号化手段とを設ける。また、前記復号手段に、複数の復号用予測手段と、前記復号用予測手段の１つを所定の手法で選択する復号用予測選択手段と、前記復号用予測選択手段の予測結果を情報源復号する情報源復号手段とを設ける。そして、前記符号化手段で行われる符号化処理および前記復号手段で行われる復号処理が、前記複数の符号化用予測手段から最適な予測手段を選択する予測符号化に基づくようにすることができる。
【００３０】
この場合、前記符号化用予測手段選択手段は予測誤差の絶対値が最小となるものを選択し、最小値を持つ予測手段が複数ある場合には、符号量が最も小さくなるような予測手段を選択するようにしてもよい。
【００３１】
また、前記符号化手段に予測制御手段をさらに設け、処理しようとする画素が別のプレーンの画素、その他の情報に上書きされる場合には、前記符号用予測選択手段において予測の結果にかかわらず符号量が最も小さくなるような予測手段を選択するようにしてもよい。
【００３２】
また、前記符号化手段および前記復号手段に、予測順位決定手段を設けてもよい。そして、前記符号化手段および前記復号手段で行われる符号化処理および復号処理が、複数の予測手段から予測誤差が０となる予測手段を、前記予測順位決定手段で決定される予測順位を優先順位として１つ選択し、予測誤差が０となる予測手段がないときには所定の予測手段との予測誤差を符号化するという予測符号化に基づくようにしてもよい。この場合、前記予測選択手段から出力する予測結果は、前記予測順位で表現することができる。また、前記予測順位は、予測器の個数と同数もしくは少ない数から構成してもよい。
【００３３】
また、前記符号化手段にランレングス符号化手段を設け、前記復号手段はランレングス復号手段を備え、前記予測選択手段から出力する予測結果に対してランレングス符号化および復号処理を行うようにしてもよい。この場合、前記ランレングス符号化処理およびランレングス復号処理は、前記予測選択手段から出力する予測結果のうち、第１位の予測順位に対して処理を行なうようにできる。
【００３４】
また、前記符号化手段に予測制御手段を設け、処理しようとする画素が別のプレーンに上書きされる場合には、予測の結果にかかわらず前記予測選択手段で選択される予測順位を第１位とするようにしてもよい。
【００３５】
また、前記予測順位は、予測誤差が０になる確率、予測誤差の絶対値の総和、最後に予測誤差が０になってからの処理画素数などを基準に決定するようにすることができる。
【００３６】
また、前記符号化手段および前記復号手段で行われる符号化処理および復号処理は、画像情報にビット幅拡大処理を行い、付加情報をＭＳＢもしくはＬＳＢ側に付加することによってまとめて１つの情報として処理するようにしてもよい。
【００３７】
また、前記画像情報と前記付加情報を１つの情報として予測し、予測誤差を算出する際には両者を別々に算出するようにしてもよい。この場合、前記付加情報に対しては予測誤差ではなく正しい値を符号化対象としてもよい。
【００３８】
また、前記符号化手段で行われる符号化処理において、処理しようとする画素が別のプレーンの画素などに上書きされる場合には、前記符号化処理で符号量が小さくなるように画素値置換処理を行いつつ符号化してもよい。この場合、前記符号化手段で行われる符号化処理が予測符号化であるときには、前記画素値置換処理は予測誤差が０になるように画素値を置換することができる。また、前記符号化手段で行われる符号化処理がランレングス符号化、多値算術符号化、ユニバーサル符号化であるときには、前記画素値置換処理において、それぞれ直左画素の画素値、出現確率最大の画素値、最長パターンを構成するような画素値に画素値を置換してもよい。
【００３９】
なお、以上の説明においては、画像符号化復号化装置について説明したが、この発明においては、当然、画像符号化装置および画像復号装置を個別に構成することができる。
【００４０】
また、画像情報と付加情報とをどのように関係づけてもよい。例えば、上述のようにビット単位で両者を連結してもよいし、あるいは関連するプレーンとして別々に入力されてもよい。
【００４１】
【発明の実施の態様】
以下、本発明の実施例について述べる。
【００４２】
［第１の実施例］
本発明の第１の実施例を具体的に説明する前に、本発明の基本的な考え方について述べる。従来例で拡張画像が効率的に圧縮できない理由は、付加情報と画像情報を同時に扱えないことに原因がある。そこで、この２つを同時に１つの情報として扱うというのが、本発明の主旨である。２つの情報を同時に扱うことで、次の２つのメリットがある。
【００４３】
▲１▼付加情報に対しては、画像情報と相関がある場合はその相関性を利用することができるので、付加情報を加えたことによる符号の増加量を抑えられる。またエッジだけで変化するタグのように付加情報と画素情報の相関が局所的になくなるような場合にも、両方のデータを参照できるので対応できる。
▲２▼処理が１パスですみ、かつ装置を１種類で構成できるので高速かつ安価な装置を提供できる。
【００４４】
次に本発明の第１の実施例について具体的に説明する。図１（ａ）および（ｂ）は本発明の第１の実施例を示すブロック図である。図中、図１５と同様の部分には同一の符号を付して説明を省略する。なお、１３０は画像情報データである。
【００４５】
図１（ａ）の符号化装置の各部について説明する。符号化部３０は付加情報データ１２０と画像情報データ１３０を入力とし、この２つのデータを１つの情報として符号化し、符号データ１４０とそして符号出力部４０へ送出する。これ以外の各部については従来例と同様のため、ここでは説明を省略する。
【００４６】
次に図１（ｂ）の復号装置の各部について説明する。復号部６０は符号データ１４０を入力とし、復号した情報から付加情報データ１２０と画像情報データ１３０を生成して拡張画像出力部７０へ送出する。符号化装置同様、これ以外の各部については説明を省略する。
【００４７】
以上の構成に基づいて、第１の実施例の動作について説明する。図２（ａ）および（ｂ）は第１の実施例の動作を説明するフローチャートである。図中、図１６と同様の部分には同一の符号を付して説明を省略する。
【００４８】
まず図２（ａ）を用いて本実施例の符号化手順について説明する。Ｓ３０では符号化部３０において付加情報データ１２０と画像情報データ１３０を入力とし、この２つのデータを１つの情報として符号化する。
【００４９】
次に図２（ｂ）を用いて本実施例の復号手順について説明する。Ｓ３０では復号部６０において符号データ１４０を復号し、付加情報データ１２０と画像情報データ１３０を生成する。
【００５０】
以上の動作の中で付加情報と画像情報を１つの情報に統合する処理について説明する。この処理の様子を図３に示す。具体的には同図（ｂ）または同図（ｃ）に示したように、画像情報（同図（ａ））のビット幅を拡大し、付加情報をＭＳＢ側もしくはＬＳＢ側に付加する。もちろん、このとき付加情報を偏らせずに、画像情報中に適当に散らしても構わない。また実際にこの情報が符号化対象となるので、エントロピーを減らすように付加情報もしくは画像情報中のビットを並べ換えるような処理があってもよい。
【００５１】
また、符号化部３０、復号部６０における符号化復号処理は、入力情報のビット幅を拡張できる手法を適用する。例えば前出のＭＭＲやＪＢＩＧのように２値画像しか扱えないものは適さない。また付加情報の性格からいって、可逆圧縮であることが望ましい。例えば前出のＪＰＥＧだとビット幅を拡張することは可能だが、非可逆圧縮になるので付加情報が正確に再現できないことがある。目的によってはこのような使い方も可能だが、一般にはあまり好ましくない。
【００５２】
このような条件を満たす符号化としては、例えば予測符号化があげられる。例えば前出のＪＰＥＧでも予測符号化を可逆符号化としても規定しているが、これは本発明に適用可能である。他にも標準ではないが、ランレングス符号化、多値算術符号化、ユニバーサル符号化等が適用可能である。また、前出のＭＲＣのように非可逆圧縮を並列に用いるマルチプレーン画像を扱う場合には、本発明で付加情報と可逆部分の画像情報を符号化し、これとは独立に非可逆圧縮を並列に備えればよい。
【００５３】
次にマルチプレーン画像に対する圧縮率の向上について説明する。従来例の説明で図１８に示したようなケースでは、図１８（ｅ）のような画像に書き換えることで圧縮率を向上できることは既に説明した。本実施例によれば符号化部３０で付加情報データ１２０を知ることができるので、実際には使われない画素を適当な画素値で書き換えることが可能である。この具体例については、本発明の第３の実施例で改めて述べる。
【００５４】
以上のように本実施例によれば、付加情報と画像情報を１つの情報として同時に扱うことができるので、拡張画像に対して圧縮率が高く、高速で、規模が小さい符号化復号装置を提供することができる。
【００５５】
［第２の実施例］
本発明の第２の実施例として、複数の予測器を備えた予測符号化に本発明を適用した場合について述べる。この例では、複数の予測器から最適な予測器を選択して圧縮を行なう予測符号化を採用している。最適な予測器を選択する間隔は短い方が望ましく、例えば画素毎に切り換えるのが理想的である。しかし使用した予測器の情報を符号にオーバーヘッドとして加えなければならないので、切り換えが頻繁になるとオーバーヘッドが増加するという問題を生じる。
【００５６】
図４（ａ）および（ｂ）は第２の実施例の画像符号化装置および画像復号装置をそれぞれ示すブロック図である。図中、図１（ａ）および（ｂ）、図１５（ａ）および（ｂ）と同様の部分には同一の符号を付して詳細な説明を省略する。図４において、３１は第１予測部、３２は第２予測部、３３は予測選択部、３４は情報源符号化部、６４は情報源復号部、１２１、１２２はそれぞれ第１、第２画像情報予測データ、１３１、１３２はそれぞれ第１、第２付加情報予測データ、１２３は予測状況データである。
【００５７】
図４（ａ）の符号化装置の各部について説明する。第１予測部３１、第２予測部３２は、画像情報データ１３０、付加情報データ１２０に基づきそれぞれ所定の手法で予測を行い、その結果を第１画像情報予測データ１３１、第２画像情報予測データ１３２、第１付加情報予測データ１２１、第２付加情報予測データ１２２として予測選択部３３へ送出する。予測選択部３３は所定の手法で第１画像情報予測データ１３１、第２画像情報予測データ１３２、第１付加情報予測データ１２１、第２付加情報予測データ１２２に基づいて予測を選択し、予測状況データ１２３として情報源符号化部３４へ送出する。情報源符号化部３４は所定の手法で予測状況データ１２３に情報源符号化を行い、符号データ１４０として符号出力部４０へ送出する。
【００５８】
以上の構成において、第１予測部３１、第２予測部３２は周辺画素の画素値情報から注目画素の画素値を予測する。前出のＪＰＥＧの例では注目画素の左隣の画素値を予測値とする直左予測や、注目画素の上隣の画素値を予測値とする直上予測などがある。また複数の画素値から簡単な演算で予測値を求めてもよい。なお、説明の都合上予測部を２つとしたが、３つ以上のときも同様である。
【００５９】
また、予測選択部３３における予測器の選択は、予測誤差の絶対値を基準とすることができる。
【００６０】
また、情報源符号化部３４における情報源符号化には、ハフマン（Ｈｕｆｆｍａｎ）符号や算術符号化など、公知の手法を用いることができる。
【００６１】
次に図４（ｂ）の復号装置の各部について説明する。情報源復号部６４は符号データ１４０を、情報源符号化部３４における符号化手法の逆処理によって復号し、予測状況データ１２３として予測選択部３３へ送出する。
【００６２】
以上の構成に基づいて、第２の実施例の動作について説明する。ただし、第２の実施例の動作は、図２（ａ）および（ｂ）におけるＳ３０とＳ６０の部分だけが第１の実施例と異なるだけなので、この部分だけ説明して残りは省略する。
【００６３】
図５（ａ）および（ｂ）は第２の実施例の動作を説明するフローチャートである。図中、図２、図１６と同様の部分には同じ符号を付して説明を省略する。
【００６４】
まず図５（ａ）を用いて第２の実施例の符号化手順について説明する。Ｓ３０１では第１予測部３１、第２予測部３２において予測処理を行う。ただしこのとき予測処理は、例えば図３のような形式を用いて画像情報と付加情報の両者に対して行う。Ｓ３０２では予測選択部３３において所定の手法で予測器を比較し、最適と思われる予測器を選択する。Ｓ３０３では予測選択部３３においてＳ３０２で選択された予測器の予測値から補正値を算出する。Ｓ３０４では情報源符号化部３４において所定の手法で予測状況データ１２３に情報源符号化を行う。
【００６５】
次に図５（ｂ）を用いて第２の実施例の復号手順について説明する。Ｓ６０１では情報源復号部３４において符号データ１４０を、情報源符号化部３４における符号化手法の逆処理によって復号する。Ｓ３０１では符号化手順のＳ３０１と同様であるが、Ｓ６０１で復号した予測状況データ１２３に従って予測器を選択する。Ｓ６０２では予測選択部３３においてＳ３０１で算出した予測値に予測状況データ１２３から得られる補正値で補正を行って、注目画素値を得る。ただしこのとき補正処理は、例えば図３のような形式を用いて画像情報と付加情報の両者に対して行う。
【００６６】
ここで、以上の動作の中で用いる予測状況データ１２３について説明する。予測状況データ１２３は使用された予測器情報と、予測値と実際の画素値との誤差、すなわち予測誤差情報とからなる。この様子を図６（ａ）に示す。予測誤差Ｅは実際の画素値Ｘと予測値ｐ_Xから次の式で算出される。
【００６７】
【数１】
Ｅ＝Ｘ−Ｐ_X （１）
本実施例においては予測誤差についても画像情報と付加情報を同時に扱う。そこで例えば、（１）式を次のように拡張する。
【００６８】
【数２】
Ｅ＝（Ｘ＋Ｙ×２５６）−（Ｐ_X−Ｐ_Y×２５６） （２）
ただし画素値を８ｂｉｔと仮定し、付加情報をＹ、付加情報の予測値をＰ_Yで表した。（２）式は図３（ｂ）のデータ形式に対応する。
【００６９】
ところで（２）式は次のような問題を内包する。まず、付加情報が画像情報のような自己相関性を持たない場合がある。このような場合には、実際の正しい値よりも予測誤差の方がエントロピーを高くすることがありうる。また（１）式に比較して（２）式の予測誤差はＤレンジが非常に広くなる。後段の情報源符号化部３４および情報源復号部６４ではこのＤレンジの拡大に対応しなければならないので、符号表の拡大を生ずることになる。符号表の拡大は設計の困難化や装置規模の増大の原因となる。
【００７０】
そこで本実施例のバリエーションとして、誤差に関しては画像情報と付加情報を分離して扱うことを考える。両者を分離して別々に予測誤差を求めれば、情報源符号化部３４および情報源復号部６４の符号表を小さくすることができる。また自己相関性の高い画像情報は予測誤差を、自己相関性の低い付加情報は正しい値をそのまま符号化することで、圧縮率の向上を図ることができる。このようなデータ形式の例を図６（ｂ）に示す。なお、この場合でも予測処理は画像情報と付加情報の両者に対して行う。
【００７１】
なお、以上では簡単のため予測器２つの場合について説明したが、予測器が３つ以上のときでも同様に本発明の適用が可能である。これは後述する第３の実施例についても同様である。
【００７２】
本実施例の効果を確認するために、シミュレーションによる実験を行った。図７はこの実験結果である。符号化対象となる画像は１０２４×１０２４のタグ付き画像とし、また予測器は４個とした。実験結果は情報源符号化部３４に入力されるシンボルのエントロピーで符号量の代用とした。同図より本実施例の有効性は明らかである。
【００７３】
［第３の実施例］
本発明の第３の実施例として、第２の実施例の予測符号化に予測順位の概念を入れて圧縮率を向上し、さらにマルチプレーン画像に適用した場合について述べる。
【００７４】
本実施例の詳細な説明にはいる前に、予測順位の考え方について説明しておく。ここでいう予測順位とは、複数の予測器のどれを優先的に使うかという優先順位を指す。この優先順位に沿って予測器を選択する。予測器の選択は予測誤差が０か否か、という基準で行う。例えば第１位の予測器の予測誤差が０であれば第１位の予測器を使用するが、第１位の予測器の予測誤差が０でなく、かつ第２位の予測器の予測誤差が０であれば、第２位の予測器を使用する。
【００７５】
情報源符号化時には予測器のＩＤではなく、予測順位を被符号化シンボルとする。第１位の予測器は選択される可能性が高いので、第１位に関しては後段でランレングス符号化することにより、圧縮率を向上する。また全ての順位の予測誤差が０でない場合には、特定の予測値に対する補正値を符号化する。この場合、予測はずれであったことを表すシンボルのあとに、補正値を符号化する。従って、発生するシンボルとしては、▲１▼第１位＋ラン、▲２▼第２位以下の順位、▲３▼予測はずれ＋補正値と、大きく分けて３種類あることになる。このとき、予測器は何個あっても構わなく、順位は予測器の個数かもしくはそれより少ない数だけ用意しておく。予測順位が予測器の個数より少ない場合、たとえ予測器の中に予測誤差０のものがあったとしても、その予測器に予測順位が与えらていなければ予測はずれとして処理する。
【００７６】
予測順位は過去の予測誤差状況から決定する。例えば予測誤差が０になる確率が高いものを優先的に使用する。他にも、予測誤差の絶対値和が小さいものや最も最近予測誤差が０になったものなど、いくつかの基準が考えられる。
【００７７】
予測はずれの場合に補正の対象となる予測器はあらかじめ固定の予測器を決めておいてもよいし、例えば第１の予測器との予測誤差をとる、というふうにしておいてもよい。いずれにしても復号側で再現できることが必要条件である。
【００７８】
このような予測順位を導入することにより、比較的予測が容易な文字やグラフィクスといった画像に対して圧縮率を向上することができる。以上で説明した符号化手法に対して本発明を適用し、第３の実施例とする。
【００７９】
以下、第３の実施例の詳細について説明する。
【００８０】
図８（ａ）および（ｂ）は第３の実施例を示すブロック図である。ただし図１（ａ）および（ｂ）に示した第１の実施例における符号化部３０、復号部６０を詳細に書き直す形で示した。図中、図１、図４、図１６と同様の部分には同一の符号を付して説明を省略する。３５は予測順位決定部、３６はラン符号化部、３７はラン復号部、３８は予測制御部、１２４は予測状況ランデータ、１２５は予測順位データ、１２６は予測結果データ、１５０は予測制御データである。
【００８１】
まず図８（ａ）の符号化装置の各部について説明する。予測順位決定部３５は予測結果データ１２６に基づき予測部の優先順位を決定し、予測順位データ１２５として予測選択部３３へ送出する。ラン符号化部３６は予測状況データ１２３をランレングス符号化して予測状況ランデータ１２４として情報源符号化部３４へ送出する。予測制御部３８は付加情報データ１２０の内容に応じて予測選択部１５０における予測器選択処理を制御する。
【００８２】
次に図８（ｂ）の復号装置の各部について説明する。ラン復号部３７は予測状況ランデータ１２４をランレングス復号して予測状況データ１２３として予測選択部３３へ送出する。
【００８３】
以上の構成に基づいて、第３の実施例の動作について説明する。ただし図２（ａ）および（ｂ）におけるＳ３０とＳ６０の部分だけが第１の実施例と異なるので、この部分だけ説明して残りは省略する。図９および図１０は第３の実施例の動作を説明するフローチャートである。図中、図２、図５、図１６と同様の部分には同じ符号を付して説明を省略する。
【００８４】
図９に基づいて第３の実施例の符号化手順について説明する。Ｓ３０５では予測選択部３３において選択した予測器を予測順位に変換する。Ｓ３０６では予測制御部３８において付加情報データ１２０が処理対象の画素値を選択していればＳ３０７へ、そうでなければＳ３０８へ進む。Ｓ３０７ではＳ３０５で選択された予測順位が第１位ならＳ３０８へ、そうでなければＳ３０９へ進む。Ｓ３０８ではラン符号化部３６において第１位用のランのカウントに１を加える。Ｓ３０９ではラン符号化部３６における第１位用のランのカウントが０であればＳ３１１へ、そうでなければＳ３１０へ進む。Ｓ３１０では情報源符号化部３４において第１位を示すシンボルと現在のランを符号化し、さらにラン符号化部３６における第１位用のランのカウントを０にリセットする。Ｓ３１１ではＳ３０５で選択された予測順位が予測はずれであればＳ３０３へ、そうでなければＳ３０４へ進む。Ｓ３１２では予測順位決定部３５において所定の手法で予測順位を更新する。
【００８５】
以上の動作の中で、ランの最大値に制限が必要な場合は、Ｓ３０８の後で最大値との比較を行う。ランカウントが最大値に達しているときは、Ｓ３１０と同様の処理を行う。
【００８６】
予測制御部３８の動作について説明する。Ｓ３０６の動作説明の中で付加情報データ１２０が処理対象の画素値を選択しているという意味は、マルチプレーン画像で重ね合わせを行ったとき、他のプレーンに上書きされない部分であることを示す。この部分は画素値を保存しなければならないので、通常の符号化を行う。そうでない部分については、適当な画素値を埋めておけばよいので、第１位が予測誤差＝０となったものとして符号化すればよい。
【００８７】
次に図１０に基づいて第３の実施例の復号手順について説明する。Ｓ６０３ではラン復号部３７におけるランカウントが０であればＳ６０１へ、そうでなければＳ６０４へ進む。Ｓ６０４ではラン復号部３７においてランカウントから１を減じ、予測状況データ１２３を第１位にセットする。Ｓ６０５では復号された予測状況ランデータ１２４が第１位であればＳ６０６へ、そうでなければＳ６０７へ進む。Ｓ６０６では情報源復号部６４において符号データ１４０を情報源復号し、第１位のランデータを得る。さらにその値から１を減じてラン復号部３７におけるランカウンタにセットする。Ｓ６０７では予測選択部３３において復号された予測順位を予測器に変換する。Ｓ６０８ではＳ６０７で復号された予測順位が予測はずれであればＳ６０９へ、そうでなければＳ３１２へ進む。Ｓ６０９では情報源復号部６４において符号データ１４０を情報源復号し、補正値を得る。
【００８８】
以上の動作の中で、予測状況データ１２３および予測状況ランデータ１２４について説明する。本実施例のはじめの説明で述べたように、予測状況ランデータ１２４には大別して３種類のデータが存在する。すなわち第１位＋ラン、第２位以下の順位、予測はずれ＋補正値の３つである。図１１（ａ）、（ｂ）および（ｃ）はこれを例示したものである。なお図１１（ｃ）予測はずれ＋補正値の場合、第２の実施例で説明したのと同様、画像情報と付加情報をまとめて扱うか、予測誤差を用いるか、などの選択肢でバリエーションがあり得る。
【００８９】
予測状況データ１２３はランを復号した後のデータなので、図１１（ａ）に示した第１位＋ランの代わりに、図１１（ｂ）の形で第１位を示すデータの羅列によって構成される。第２位以下、および予測はずれについては予測状況ランデータ１２４と同様である。
【００９０】
本実施例の効果を確認するために、予測順位の考え方を取り入れた従来例と本実施例の比較実験を行った。その他の実験条件は第２の実施例と同様である。図１２はこの実験結果である。同図より本実施例の有効性は明らかである。
【００９１】
【発明の効果】
以上の説明から明らかなように、本発明によれば拡張画像に対して高効率な圧縮を、小規模な装置で、しかも付加情報なしの画像と同等の処理速度で実現することができる。
【図面の簡単な説明】
【図１】 本発明の符号化装置および復号装置の第１の実施例を示す構成図である。
【図２】 上述第１の実施例における符号化処理および復号処理の動作の一例を示すフローチャートである。
【図３】 上述第１の実施例における入力データを示す説明図である。
【図４】 本発明の符号化装置および復号装置の第２の実施例を示す構成図である。
【図５】 上述第２の実施例における符号化処理および復号処理の動作の一例を示すフローチャートである。
【図６】 上述第２の実施例における予測状況データ１２３の一例を示す説明図である。
【図７】 上述第２の実施例による実験例を示す説明図である。
【図８】 本発明の符号化装置および復号装置の第３の実施例を示す構成図である。
【図９】 上述第３の実施例における符号化処理の動作の一例を示すフローチャートである。
【図１０】 上述第３の実施例における復号処理の動作の一例を示すフローチャートである。
【図１１】 上述第３の実施例における予測状況ランデータ１２４の一例を示す説明図である。
【図１２】 上述第３の実施例による実験例を示す説明図である。
【図１３】 マルチプレーン画像を示す説明図である。
【図１４】 タグ付き画像を示す説明図である。
【図１５】 従来例の符号化装置および復号装置を示す構成図である。
【図１６】 従来例の符号化装置および復号装置における符号化処理および復号処理の動作の一例を示すフローチャートである。
【図１７】 タグ付き画像のタグの一例を示す説明図である。
【図１８】 マルチプレーン画像の一例を示す説明図である。
【符号の説明】
１０ 拡張画像入力部
２０ 拡張画像分解部
３０ 符号化部
３１ 第１予測部
３２ 第２予測部
３３ 予測選択部
３４ 情報源符号化部
３５ 予測順位決定部
３６ ラン符号化部
３７ ラン復号部
３８ 予測制御部
４０ 符号出力部
５０ 符号入力部
６０ 復号部
６４ 情報源復号部
７０ 拡張画像出力部
８１ 付加情報符号化部
８２ 第１画像符号化部
８３ 第２画像符号化部
８４ 付加情報復号部
８５ 第１画像復号部
８６ 第２画像復号部
１１０ 拡張画像データ
１２０ 付加情報データ
１２１ 第１付加情報予測データ
１２２ 第２付加情報予測データ
１２３ 予測状況データ
１２４ 予測状況ランデータ
１２５ 予測順位データ
１２６ 予測結果データ
１２７ 入力データ
１２８ 第１予測データ
１２９ 第２予測データ
１３０ 画像情報データ
１３１ 第１画像情報予測データ
１３２ 第２画像情報予測データ
１３８ 第１画像データ
１３９ 第２画像データ
１４０ 符号データ
１４７ 付加情報符号データ
１４８ 第１画像符号データ
１４９ 第２画像符号データ
１５０ 予測制御データ
２１０ 符号統合部
２２０ 符号分解部

Claims (28)

1. 付加情報および画像情報からなる拡張画像を入力する拡張画像入力手段と、
   前記拡張画像を、付加情報および画像情報に分解する拡張画像分解手段と、
   前記付加情報および前記画像情報を符号化する符号化手段と、
   前記符号化手段で生成される符号を出力する符号出力手段とを有し、
   前記符号化手段で行われる符号化処理は、前記付加情報および前記画像情報を画素毎に統合した１つのデータ単位として符号化することを特徴とする画像符号化装置。
2. 符号情報を入力する符号入力手段と、
   前記符号情報を復号する復号手段と、
   前記復号手段で復号される付加情報および画像情報を出力する拡張画像出力手段とを有し、
   前記復号手段で行われる復号処理は、前記付加情報および前記画像情報を画素毎に統合した１つのデータ単位として復号することを特徴とする画像復号装置。
3. 付加情報および画像情報からなる拡張画像を入力する拡張画像入力手段と、
   前記拡張画像を付加情報と画像情報に分解する拡張画像分解手段と、
   前記付加情報と画像情報を符号化する符号化手段と、
   前記符号化手段で生成される符号を出力する符号出力手段と、
   符号情報を入力する符号入力手段と、
   前記符号情報を復号する復号手段と、
   前記復号手段で復号される付加情報および画像情報を出力する拡張画像出力手段とを有し、
   前記符号化手段で行われる符号化処理および前記復号手段で行われる復号処理は、付加情報および画像情報を画素毎に統合した１つのデータ単位として処理することを特徴とする画像符号化復号装置。
4. 前記符号化手段および前記復号手段で行われる符号化処理および復号処理は、予測符号化である請求項３に記載の画像符号化復号装置。
5. 前記符号化手段および前記復号手段で行われる符号化処理および復号処理は、ランレングス符号化、多値算術符号化、ユニバーサル符号化など、多値の可逆符号化である請求項３に記載の画像符号化復号装置。
6. 前記符号化手段は、複数の符号化用予測手段と、
   前記符号化予測手段の１つを所定の手法で選択する符号化予測選択手段と、
   前記符号化予測選択手段の予測結果を情報源符号化する情報源符号化手段とを有し、
   前記復号手段は、複数の復号用予測手段と、
   前記復号用予測手段の１つを所定の手法で選択する復号用予測選択手段と、
   前記復号用予測選択手段の予測結果を情報源復号する情報源復号手段とを有し、
   前記符号化手段で行われる符号化処理および前記復号手段で行われる復号処理は、前記複数の符号化用予測手段から最適な予測手段を選択する予測符号化に基づく請求項４に記載の画像符号化復号装置。
7. 前記符号化用予測手段選択手段は予測誤差の絶対値が最小となるものを選択し、最小値を持つ予測手段が複数ある場合には、符号量が最も小さくなるような予測手段を選択する請求項６に記載の画像符号化復号装置。
8. 前記符号化手段は予測制御手段を備え、上記付加情報は複数のプレーンの画像情報のいずれが選択されるかを表示し、処理しようとする画素が選択されずに別のプレーンの画素に上書きされる場合には、前記符号用予測選択手段において予測の結果にかかわらず符号量が最も小さくなるような予測手段を選択する請求項６または７に記載の画像符号化復号装置。
9. 前記符号化手段および前記復号手段は、予測順位決定手段を備え、前記符号化手段および前記復号手段で行われる符号化処理および復号処理は、複数の予測手段から予測誤差が０となる予測手段を、前記予測順位決定手段で決定される予測順位を優先順位として１つ選択し、予測誤差が０となる予測手段がないときには所定の予測手段との予測誤差を符号化するという予測符号化に基づく請求項６に記載の画像符号化復号装置。
10. 前記予測選択手段から出力する予測結果は、前記予測順位で表現する請求項９に記載の画像符号化復号装置。
11. 前記予測順位は、予測器の個数と同数もしくは少ない数から構成する請求項９または１０に記載の画像符号化復号装置。
12. 前記符号化手段はランレングス符号化手段を備え、前記復号手段はランレングス復号手段を備え、前記予測選択手段から出力する予測結果に対してランレングス符号化および復号処理を行う請求項９、１０または１１に記載の画像符号化復号装置。
13. 前記ランレングス符号化処理およびランレングス復号処理は、前記予測選択手段から出力する予測結果のうち、第１位の予測順位に対して処理する請求項１２に記載の画像符号化復号装置。
14. 前記符号化手段は予測制御手段を備え、上記付加情報は複数のプレーンの画像情報のいずれが選択されるかを表示し、処理しようとする画素が選択されずに別のプレーンの画素に上書きされる場合には、予測の結果にかかわらず前記予測選択手段で選択される予測順位を第１位とする請求項９、１０、１１、１２または１３に記載の画像符号化復号装置。
15. 前記予測順位は、予測誤差が０になる確率、予測誤差の絶対値の総和、最後に予測誤差が０になってからの処理画素数のいずれかを基準に決定する請求項９、１０、１１、１２、１３または１４に記載の画像符号化復号装置。
16. 前記符号化手段および前記復号手段で行われる符号化処理および復号処理は、画像情報にビット幅拡大処理を行い、付加情報をＭＳＢもしくはＬＳＢ側に付加することによってまとめて１つの情報として処理する請求項３ないし１５のいずれかに記載の画像符号化復号装置。
17. 前記付加情報および前記画像情報を画素ごとに統合した１つのデータ単位として符号化する前記符号化手段は、前記付加情報と前記画像情報を画素毎に統合した１つのデータ単位として予測し、その予測結果から予測誤差を算出する際には付加情報の予測誤差および画像情報の予測誤差を別々に算出する請求項３ないし１６のいずれかに記載の画像符号化復号装置。
18. 前記付加情報および前記画像情報を画素ごとに統合した１つのデータ単位として符号化する前記符号化手段は、前記予測誤差を符号化するときには、前記付加情報に対しては予測誤差ではなく前記付加情報の値自体を符号化対象とする請求項１７に記載の画像符号化復号装置。
19. 前記符号化手段で行われる符号化処理は、上記付加情報は複数のプレーンの画像情報のいずれが選択されるかを表示し、処理しようとする画素が選択されずに別のプレーンの画素に上書きされる場合には、前記符号化処理で符号量が小さくなるように画素値置換処理を行いつつ符号化する請求項３に記載の画像符号化復号装置。
20. 前記符号化手段で行われる符号化処理が予測符号化であるときには、前記画素値置換処理は予測誤差が０になるように画素値を置換する請求項１９に記載の画像符号化復号装置。
21. 前記符号化手段で行われる符号化処理がランレングス符号化、多値算術符号化、ユニバーサル符号化であるときには、前記画素値置換処理はそれぞれ直左画素の画素値、出現確率最大の画素値、最長パターンを構成するような画素値に画素値を置換する請求項１９に記載の画像符号化復号装置。
22. 付加情報および画像情報を入力する入力手段と、
    前記付加情報および前記画像情報を符号化する符号化手段と、
    前記符号化手段で生成される符号を出力する符号出力手段とを有し、
    前記符号化手段で行われる符号化処理は、前記付加情報および前記画像情報を画素毎に統合した１つのデータ単位として符号化することを特徴とする画像符号化装置。
23. 付加情報および画像情報を入力する入力手段と、
    前記付加情報と画像情報を符号化する符号化手段と、
    前記符号化手段で生成される符号を出力する符号出力手段と、
    符号情報を入力する符号入力手段と、
    前記符号情報を復号する復号手段と、
    前記復号手段で復号される付加情報および画像情報を出力する拡張画像出力手段とを有し、
    前記符号化手段で行われる符号化処理および前記復号手段で行われる復号処理は、付加情報および画像情報を画素毎に統合した１つのデータ単位として処理することを特徴とする画像符号化復号装置。
24. 付加情報および画像情報からなる拡張画像を入力する拡張画像入力ステップと、
    前記拡張画像を、付加情報および画像情報に分解する拡張画像分解ステップと、
    前記付加情報および前記画像情報を符号化する符号化ステップと、
    前記符号化ステップで生成される符号を出力する符号出力ステップとを有し、
    前記符号化ステップにおいて、前記付加情報および前記画像情報を画素毎に統合した１つのデータ単位として符号化することを特徴とする画像符号化方法。
25. 符号情報を入力する符号入力ステップと、
    前記符号情報を復号する復号ステップと、
    前記復号ステップで復号される付加情報および画像情報を出力する拡張画像出力ステップとを有し、
    前記復号ステップにおいて、前記付加情報および前記画像情報を画素毎に統合した１つのデータ単位として復号することを特徴とする画像復号方法。
26. 付加情報および画像情報からなる拡張画像を入力する拡張画像入力ステップと、
    前記拡張画像を付加情報と画像情報に分解する拡張画像分解ステップと、
    前記付加情報と画像情報を符号化する符号化ステップと、
    前記符号化ステップで生成される符号を出力する符号出力ステップと、
    符号情報を入力する符号入力ステップと、
    前記符号情報を復号する復号ステップと、
    前記復号ステップで復号される付加情報および画像情報を出力する拡張画像出力ステップとを有し、
    前記符号化ステップおよび前記復号ステップにおいて、付加情報および画像情報を画素毎に統合した１つのデータ単位として処理することを特徴とする画像符号化復号方法。
27. 付加情報および画像情報を入力する入力ステップと、
    前記付加情報および前記画像情報を符号化する符号化ステップと、
    前記符号化ステップで生成される符号を出力する符号出力ステップとを有し、
    前記符号化ステップにおいて、前記付加情報および前記画像情報を画素毎に統合した１つのデータ単位として符号化することを特徴とする画像符号化方法。
28. 付加情報および画像情報を入力する入力ステップと、
    前記付加情報と画像情報を符号化する符号化ステップと、
    前記符号化ステップで生成される符号を出力する符号出力ステップと、
    符号情報を入力する符号入力ステップと、
    前記符号情報を復号する復号ステップと、
    前記復号ステップで復号される付加情報および画像情報を出力する拡張画像出力ステップとを有し、
    前記符号化ステップおよび前記復号ステップにおいて、付加情報および画像情報を画素毎に統合した１つのデータ単位として処理することを特徴とする画像符号化復号方法。

Images