WO1997044956A1

WO1997044956A1 - Picture encoder, picture decoder, picture encoding method, picture decoding method, picture encoding program recording medium, and picture decoding program recording medium

Info

Publication number: WO1997044956A1
Application number: PCT/JP1997/001634
Authority: WO
Inventors: Shinya Kadono
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 1996-05-17
Filing date: 1997-05-15
Publication date: 1997-11-27
Also published as: EP1120975A2; ID17349A; CN1217546C; DE69724673D1; ES2190995T3; EP0840510A4; EP1120969A3; ES2191177T3; US6560372B1; EP1120971A3; US6661928B2; CA2227062A1; ES2206359T3; DE69718749D1; MY123882A; CN1344114A; CN1344113A; DE69718749T2; EP1120971A2; EP1120972A2

Description

明細書画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、面像符号化プログラム記録媒体、および画像復号化プログラム記録媒体技術分野

本発明は、画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、画像符号化プログラム記録媒体、および画像復号化プログラム記録媒体に関する。従来の技術

画像符号化には長い歴史があり、 ITU-T H .261、 ITU-T H .263、 ISO MPEG l/2 等の優れた標準化案が確立されている。画像符号化方法を大別すると、直交変換を使用する符号化方法と、予測関数を使用して予測値との誤差を符号化する予測符号化方法とがある。

直交変換による符号化方法は計算が複雑であるが、少ないビット数の符号化信号を得る場合では予測符号化よりも画質が良い符号化を行うことが可能である。 JPEG、 MPEG 等の直交変換を用いる一般的符号化方式では DCT (離散コサイン変換）を使用している。 DCT を使用すると少ないビット数で符号化できることが知られているが、ビット精度の高い乗算が必要であり、計算が複雑となる点と、可逆な符号化が不可能な点とが問題となる。従つて、可逆性が要求される分野においては D CT 演算は使用できないこととなっている。

これに対して予測符号化は、計算が簡単であり、かつ、可逆な符号化も可能であるという特徴がある。可逆性を有する画像符号化方法としては、ファクシミリで使用されている MMR ( Modified Modified Read ) が有名である。これは、 CCITT Re T6 "Facsimihe Coding Schemes and Coding Control Functions for Group 4 Facsimile Apparatus"で使用 a れているものであって、符号化済みの直前の走査線の画素値の変化点と未符号化走査線の雨素値の変化点との水平方向の差分値を可変長符号化する手法である。また、この MMR を更に改良した MMMR ( Modified MMR ) は、 MPEG4 の評価モデルとして採用されている（ ISO/IEC JTC/S C29/WG 11 N 1277, July 1996 ) 。

一方、画像信号を各物体毎に分離し、分離した各物体の形状を任意形状として画像信号を扱えば、物体単位で画像を操作したり合成することができ、効率的な信号伝送につながることとなる。また、ビット数の制約を受ける用途には、かかる情報を用いることによって、重要な物体を選択的に優先して伝送 · 記録することも可能となる。しかし従来の技術においては、任意の形状を有する物体を符号化することは考慮されてはいなかった。そして、 ISO MPEG4 で任意の形状を有する画像信号の符号化の標準化が進みつつある。 MPEG4 では現在 VM3.0 ( I SO/IE C JTC 1/SC29/WG 1 1 N 1277に記載）と呼ばれる評価モデルが作成されており、これが任意形状を有する画像信号を符号化することができる、現状で知られる唯一の画像符号化手法となっている。

任意形状の画像信号は、一般に、物体の形状を示す形状情報と、物体内部の各画素値である画素値情報（カラー情報）とから構成される。そして、形状情報としては、各画素値が有意である（形状内部である）か有意でない（形状外部である）かを示す 2値形状情報や、他の画像と合成する際の各画素ごとの比率（物体が背景を隠蔽する比率）である透過度情報を用いることができる。また、透過度が 0%と 100%の 2通りしか存在しない場合は形状情報と透過度情報は一致するので、 2値形状情報と画素値情報の 2つで任意形状の画像信号を表現できる。第 5 3 図はこれらの情報を説明するための図である。第 5 3 (a) 図に示す魚の画像を他の画像と合成する際に、この画像の各画素をどのような比率として用いて合成するかを表すのが透過度情報である。第 5 3 (a) 図中に点線で示す水平走査線方向の透過度情報の値を第 5 3 (b) 図に示す。魚の外部は完全に透過である。ここでは、便宜的に透過度 0 を完全透過であると定義するので、魚の外部では透過度情報の値は 0 になり、これに対して魚の内部は非 0の値となる。

そこで、透過度 ^:が 0 と非 0の 2通りとして、透過度情報を 2値化したものが第 5 3 (c) 図である。第 5 3 (c) 図で非 0の透過度となる画素は画素値情報の符号化が必要であるが、透過度 0の画素は画素値情報が不要であるから、画素値情報符号化にとってこの 2値化された透過度情報は非常に重要である。一方、第 5 3 (d) 図に示すように 2値情報で表現できない透過度情報の成分はグレー · スケールと呼ばれる多値情報であり、このように多値情報として表現される形状情報は、画素値情報と同様の波形符号化が行える。

画像符号化に際しては、空間的相関性に基づく画面（フレーム）内符号化と、時間的相関性に基づく画面間（フレーム）符号化とを使い分けたり、併用したりすることが行われる。このうち画面間符号化を行う場合には、近接する画面における動きを検出し、その動きの分を動き補價することが行われる。動き補償には一般的に動きべクトルが用いられる。前述の VM3.0 では、画面内符号化と画面間符号化をブロック単位で適応的に切り替え、 MPEG 1 /2 と同様の動き補償を行って符号化効率を向上を図つている。

上記のように、形状情報と画素値情報とからなる画像を符号化する場合、面像の合成に使用される形状情報については、画素値情報の動きべクトルを使用して形状情報の動き補儐符号化を行うと、形状情報を直接符号化するよりも符号化効率が向上すること力、' 、 I SO/IE C JTC 1/S C29/WG 1 1 N 1260 March 1996で報告されている。

また、動き検出 · 動き補惯を行う際には、形状情報を 2値形状情報の成分と、多値情報成分とに分離し、多値情報成分は画素値情報とまとめて同じ波形符号化をすることが効率的であると考えられ、そのように扱われていた。

以上のような、従来の技術による画像符号化、及びそれにともなう画像復号化においては、次のような問題点が存在した。

上述のように、 MMR 符号化は可逆（ロスレス）符号化の代表的なものであるが、可逆的であるがゆえに、視覚的に重要でない画質劣化を許容することによって圧縮率を大幅に向上することが不可能である。

また、 MMR は画面内の符号化手法であり、画面間の相関を利用した圧縮率の向上は考慮されていない。そして、 MMR およびその改良方法である MMMR においては、現走査線の変化点と直前の走査線の変化点との差分しか利用しておらず、垂直方向の直線としてのつながり（相関）の冗長が十分除去されていない。従って、画素値の変化が走査線に沿つている場合は符号化効率がよいが走査線に沿っていない場合は符号化効率が悪くなる。また、 MMR や MMMR は直前の走査線の変化点の差分値としては符号化できない画素を符号化するために、垂直方向の相関を全く使用しない水平符号化モードを有している。この水平符号化モードも垂直方向の相関を利用することにより、更に効率向上の余地がある。さらに、従来の MMR や MMMRでは、一部のビットストリ一ムを復号化することによって階層的に画像を再生することができず、また階層的な画像再生が可能な他の手法では符号化効率が良くなく、符号化ビット数が増加する欠点があり、効果的な階層的画像再生を可能とする符号化方法は存在しなかった。また、形状情報と画像情報とからなる画像を動き補償により符号化する場合、従来は形状情報に対して、面像情報と同じ動きべクトルを用いて動き補償をしていたが、例えば球体が回転する場合に、形状は変化しないが球体に描かれた図形は移動するように、一般には画像情報の動きべクトルと形状情報の動きべクトルとは一致しない。従ってかかる場合に良好な符号化を行えないことが、従来の符号化方法の問題点であった。また、前述のように VM3.0 では、画面內符号化と画面間符号化をブロック単位で適応的に切り替えて符号化効率の向上を図るものであるが、画面内画面間符号化に対する判定は、 MPEG 1/2 における適応的切替の場合と同様に、画素値情報に基づいて決定しており、画素値情報と性質が大きく異なる形状情報を適切にかつ効率よく符号化することは困難であった。

本発明はかかる点に鑑みてなされたものであり、画像信号を効率よく符号化することが可能である画像符号化装置、画像符号化方法、及び画像符号化プログラム記録媒体を提供することを目的とする。また、上記効率的に符号化された符号化信号を適切に復号化することの可能な画像復号化装置、画像復号化方法、及び画像復号化プログラム記録媒体を提供することを目的とする。発明の開示

上記目的を達成するため、本発明の第 1 の画像符号化装置は、 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化装置であって、上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出手段と. 符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を予測画素として出力する予測手段と、上記検出変化画素と、上記予測変化画素とから、両者の差分を計算し、差分値 Dを出力する差分値計算手段と、予め設定された許容値と、上記差分値 Dとに基づいて定められる範囲内の値であつて、かつ、符号化した際の符号長が最小となる値である D ' を選択して、これを修正差分値として出力する丸め手段と、上記修正差分値 D ' と、上記予測した変化画素とから 2値画像信号を復号化する復号化手段と、上記修正差分値 D ' を符号化する符号化手段とを備えたことで、許容値以下の予測誤差において、該誤差（差分値）の符号長が最小となる修正差分値を選択し、これを出力するので、符号化に必要なビット数を削減することができる。

本発明の第 2の画像符号化装置は、 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化装置であつて、上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出手段と、当該フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測手段と、上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 Dとして出力する第 1 の差分値計算手段と、参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補償を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測手段と、上記検出変化画素と上記第 2の予測画素との差分を計算し、上記計算した差分を第 2の差分値 D " として出力する第 2の差分値計算手段と、上記第 1 の差分値 Dと第 2の上記差分値 D " とに対して、それぞれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1 」又は「第 2 」のいずれかを符号化モードとして出力するモード選択手段と、上記選択した第 1 の差分値 D、又は第 2の差分値 D " と、上記モード選択手段が出力する符号化モードとを符号化する符号化手段とを備えたことで、当該フレームに基づく予測と、動き補償した参照フレームに基づく予測とを比較して、符号長が最小となるものを選択して符号化信号を出力することができるので、フレーム間の画素相関を利用することによって、符号化に必要なビット数を削減することができる。

本発明の第 3の画像符号化装置は、 2次元 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化装置であって、上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出手段と、当該画像信号を水平方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測手段と、上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 Dとして出力する第 1 の差分値計算手段と、当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測手段と、上記検出変化画素と、上記第 2の予測画素の差分を計算し、上記計算した差分を第 2の差分値 D "として出力する第 2の差分値計算手段と、上記第 1 の差分値 Dと第 2の上記差分値 D " とに対して、それぞれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1 」又は「第 2 J のいずれかを符号化モードとして出力するモード選択手段と、上記選択した第〗の差分値 D、又は第 2の差分値 D " と、上記モード選択手段が出力する符号化モードとを符号化する符号化手段とを備えたことで、水平方向の走査による予測と、垂直方向の走査予測とを比較して、符号長が最小となるものを選択して符号化することができるので、画像の水平相関と垂直相関とについての局所的な変化を利用することによって、符号化に必要なビッ卜数を削減することができる。

本発明の第 4の画像符号化装置は、多値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化装置であつて、上記画素値が所定値以上に変化する画素を検出し、上記検出した画素を検出変化画素として出力する変化画素検出手段と、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を予測画素として出力する予測手段と、上記検出変化画素と上記予測画素との差分を計算し、上記計算した差分を差分値 Dとして出力する差分値計算手段と、上記差分値 D と、上記検出変化画素の画素値とを符号化する符号化手段と、上記差分値 D と上記変化画素の画素値とから、多値画像信号を復号化する復号化手段とを備えたことで、しきい値以上の画素値の変化する位置を変化位置と判断することにより、 2値画像のみでなく多値画像についても符号化を可能とすることができる。

本発明の第 5の画像符号化装置は、画像を合成する際の比率を示す透過度信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して前記入力信号を符号化する符号化装置であって、上記入力信号の画素値信号と、上記参照画像の画素値信号とを比較して、画素値信号の動きべクトルを検出する第 1 の動きべクトル検出手段と、上記参照画像の画素値信号を、上記画素値信号の動きべクトルを用いて動き補儻し、補憤画素値信号を出力する第 1 の動き補償手段と、上記入力信号の画素値信号と、上記補償画素値信号とから、両者の差分を計算し、第 1 の差分値を出力する第 1 の差分値計算手段と、上記第 1 の差分値を符号化する第 1 の符号化手段と、上記入力信号の透過度信号と、上記参照画像の透過度信号とを比較して、透過度信号の動きべクトルを検出する第

2の動きベクトル検出手段と、上記参照画像の透過度信号を、上記透過度信号の動きべクトルを用いて動き補償し、補償透過度信号を出力する第 2の動き補償手段と、上記入力信号の透過度信号と、上記補償透過度信号とから、両者の差分値を計算し、第 2の差分値を出力する第 2の差分値計算手段と、上記第 2の差分値を符号化する第 2の符号化手段と、上記画素値信号の動きべクトルと、上記透過度信号の動きべクトルとを符号化する第 3の符号化手段を備えたことで、透過度信号に対しては、画素値信号の動きべクトルとは別に検出した動きべクトルを用いて動き補償することにより、入力透過度信号に対して動き補償信号により精度良く近似することができ、動き補儻誤差が小さくなることから、符号化効率が向上する。

本発明の第 6の画像符号化装置は、請求項 5 に記載の画像符号化装置において、上記第 2の動きベクトル検出手段は、上記第 1 の動きべクトル検出手段で検出した動きべクトルの近傍において、上記入力信号の透過度信号と上記参照画像の透過度信号とを比較して、透過度信号の動きべクトルを検出するものとしたことで、画素値信号の動きべクトル近傍でのみ透過度信号の動きベクトルを検出するので、画素値信号と全く独立に行う場合に比べて動き検出に必要な計算回数を削減することができる。

本発明の第 7の画像符号化装置は、請求項 5 に記載の画像符号化装置において、上記第 1 の動きベクトル検出手段は、上記第 2の動きべクトル検出手段で検出した動きぺクトルの近傍において、上記入力信号の画素値信号と上記参照画像の画素値信号とを比較して、画素値信号の動きべクトルを検出するものとしたことで、透過度信号の動きべクトル近傍でのみ画素値信号の動きべクトルを検出するので、透過度信号と全く独立に行う場合に比べて動き検出に必要な計算回数を削減することができる。

本発明の第 8の画像符号化装置は、請求項 5 に記載の画像符号化装置において、上記第 3 の符号化手段は、上記画素値信号の動きべクトルと、上記透過度信号の動きべクトルと上記画素値信号の動きべクトルとの差分値とを符号化するものとしたことで、相関性がある信号の動きべク卜ルの差分ベクトルを符号化するので、差分べクトルの生起頻度が 0べクトル近傍に集中することとなり、可変長符号化を行うことにより、符号化効率が向上し、より少ないビット数で符号化することが可能になる。本発明の第 9の画像符号化装置は、請求項 5 に記載の画像符号化装置において、上記第 3の符号化手段は、上記透過度信号の動きべクトルと、上記透過度信号の動きべクトルと上記画素値信号の動きべクトルとの差分値とを符号化するものとしたことで、相関性がある信号の動きべクトルの差分べクトルを符号化するので、差分べクトルの生起頻度が 0べクトル近傍に集中することとなり、可変長符号化を行うことにより、符号化効率が向上し、より少ないビット数で符号化することが可能になる。本発明の第 1 0の画像符号化装 sは、物体の形状および各画素の画素値が有意であるかどうかをを示す形状信号と、画素値信号とからなる、プロック化された形状つき画像信号を入力信号とし、参照画像を参照して上記入力信号を符号化する符号化装置であって、上記入力信号の画素値信号と、上記参照画像の画素値信号とを比較して、画素値信号の動きべクトルを検出する第 1 の動きべクトル検出手段と、上記参照画像の画素値信号を、上記画素値信号の動きベクトルを用いて動き補償し、補償画素値信号を出力する第 1 の動き補儻手段と、上記入力信号の画素値信号と、上記補償画素値信号とから、両者の差分を計算し、第 1 の差分値を出力する第 1 の差分値計算手段と、上記第 1 の差分値を符号化する第 1 の符号化手段と、上記入力信号の形状信号と、上記参照画像の形状信号とを比較して、形状信号の動きべクトルを検出する第 2の動きべク卜ル検出手段と、上記参照画像の形状信号を、上記形状信号の動きべクトルを用いて動き補償し、補償形状信号を出力する第 2の動き補償手段と、上記入力信号の形状信号と、上記補償形状信号とから、両者の差分値を計算し、第 2の差分値を出力する第 2の差分値計算手段と、上記第 2の差分値を符号化する第 2の符号化手段と、上記画素値信号の動きべクトルと、上記形状信号の動きベクトルとを符号化する第 3の符号化手段を備えたことで、符号化効率の向上が図れることに加えて、参照画像として符号化及び復号化され、動き補償値を加算されたより適切な信号を用いることにより、一層の動き補償誤差の減少を図ることが可能となる。本発明の第 1 1 の画像符号化装置は、請求項 1 0に記載の画像符号化装置において、上記第 2の動きベクトル検出手段は、上記第 1 の動きべクトル検出手段で検出した動きべクトルの近傍において、上記入力信号の形状信号と上記参照画像の形状信号とを比較して、形状信号の動きべクトルを検出するものとしたことで、透過度信号の動き検出にあたり、画素値信号における動き検出の結果を用いるので、動き検出の計算回数を削減できる。

本発明の第 1 2の画像符号化装置は、請求項 1 0 に記載の画像符号化装置において、上記第 1 の動きベクトル検出手段は、上記第 2の動きべクトル検出手段で検出した動きべクトルの近傍において、上記入力信号の画素値信号と上記参照画像の画素値信号とを比較して、画素値信号の動きベクトルを検出するものとしたことで、画素値信号の動き検出にあたり、透過度信号における動き検出の結果を用いるので、動き検出の計算回数を削減できる。

本発明の第 1 3の画像符号化装匿は、請求項 1 0 に記載の画像符号化装置において、上記第 3の符号化手段は、上記画素値信号の動きべクトルと、上記形状信号の動きべクトルと上記画素値信号の動きべクトルとの差分値とを符号化するものとしたことで、形状信号の動きベクトルを符号化する代わりに、画素値信号の動きべクトルと形状信号の動きべクトルとの差分べクトルを符号化するので、可変長符号化を行うことにより、一層の符号化効率の向上が可能となる。

本発明の第 1 4の画像符号化装置は、請求項 1 0 に記載の画像符号化装置において、上記第 3の符号化手段は、上記形状信号の動きベクトルと、上記形状信号の動きべクトルと上記画素値信号の動きべクトルとの差分値とを符号化するものとしたことで、画素値信号の動きべクトルを符号化する代わりに、形状信号の動きべクトルと形状信号の動きべクトルとの差分べクトルを符号化するので、可変長符号化を行うことにより、 —層の符号化効率の向上が可能となる。

本発明の第 1 5の画像符号化装置は、請求項 1 0 に記載の画像符号化装蹶において、上記入力信号の形状信号が画素値が全て有意であることを示すものであり、かつ、上記第 1 の動きベクトル検出手段で検出した画素値信号の動きべクトルを用いて、参照画像の形状信号を動き補償した補憤形状信号が、画素値が全て有意であることを示すものである場合、又は上記入力信号の形状信号が画素値が全て有意でないことを示すものであり、かつ、上記第 1 の動きベクトル検出手段で検出した画素値信号の動きべクトルを用いて、参照画像の形状信号を動き補償した補償形状信号が、画素値が全て有意でないことを示すものである場合、上記第 2 のベクトル検出手段は形状信号の動きベクトルの検出を行わず、上記第 1 のべクトル検出手段において検出した画素値信号の動きべクトルをもつて、上記形状信号の動きベクトルとするものとしたことで、必要性が低い場合には、形状信号の動き検出を行わないので、処理負担を軽減することができる。

本発明の第 1 6の画像符号化装置は、請求項 1 0に記載の画像符号化装置において、上記第 1 の動きベクトル検出手段で検出した画素値信号の動きべクトルを用いて、参照画像の形状信号を動き補償した補償形状信号を、上記入力信号の形状信号と比較し、比較結果の差が予め設定された許容値を下回る場合に、上記第 1のべクトル検出手段は画素値信号の動きべクトルの検出を行わず、上記第 2のべクトル検出手段において検出した形状信号の動きベクトルをもって、上記画素値信号の動きべクトルとするものとしたことで、必要性が低い場合には、形状信号の動き検出を行わないので、処理負担を軽減することができる。

本発明の第 1 7の画像符号化装置は、請求項 1 0に記載の画像符号化装置において、上記第 3の符号化手段は、直前に符号化した入力信号において、該入力信号の形状信号の動きべクトルが符号化されていた場合、当該直前に符号化した形状信号の動きべクトルと、入力信号より検出した形状信号の動きベクトルとの差分値を符号化するものとしたことで、直前に形状信号の動きべクトルが符号化されている場合には、その動きべクトルと検出した動きべクトルとの差分べクトルを取得して符号化するので、相関性の高い形状信号同士の動きべクトルの差分を用いることで符号化効率を向上することが可能となる。

本発明の第 1 8の画像符号化装置は、請求項 1 0に記載の画像符号化装置において、上記第 3の符号化手段は、直前に符号化した入力信号において、該入力信号の画素値信号の動きべクトルが符号化されていた場合、当該直前に符号化した画素値信号の動きベクトルと、入力信号より検出した画素値信号の動きべクトルとの差分値を符号化するものとしたことで、直前に画素値信号の動きべクトルが符号化されている場合には、その動きべクトルと検出した動きべクトルとの差分べクトルを取得して符号化するので、相関性の高い画素値信号同士の動きべクトルの差分を用いることで符号化効率を向上することが可能となる。

本発明の第 1 9の画像符号化装置は、請求項 1 0ないし 1 8のいずれかに記載の画像符号化装置において、上記入力信号が、複数の画像を合成するための合成の比率を示す情報を含む透過度情報と、画像情報とから構成されるものである場合に、上記透過度情報を上記形状信号とし、上記画像情報を上記画素値信号とするものとしたことで、透過度情報を含む画像信号に対して、符号化効率の向上を図ることが可能となる。本発明の第 2 0の画像符号化装置は、請求項 1 0ないし 1 8のいずれかに記載の画像符号化装置において、上記入力信号が、複数の画像を合成するための合成の比率を示す情報を含む透過度情報と、画像情報とから構成されるものである場合に、上記透過度情報を、形状のみを表わす 2値信号と、その他の信号である残余形状信号とに分離し、上記分離した 2値信号を上記形状信号とし、上記分離した残余形状信号と、上記画像情報とを上記画素値信号とするものとしたことで、透過度情報を含む画像信号に対して、符号化効率の向上を図ることが可能となる。

本発明の第 2 1 の画像符号化装置は、物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化装置であって、上記入力画像信号に対して、空間および時間的に一致する画素を 1つのグループとして統合し、プロック化された情報として出力するブロック化手段と、上記プロック化手段によりブロック化された上記形状情報、上記透過度情報、および上記画素値情報のそれそれに対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化手段と、上記形状情報、上記透過度情報、および上記画素値情報のそれそれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 2の符号化手段とを備え、上記第 1 の符号化手段出力と、上記第 2の符号化手段出力とを符号化出力とすることで、相関性の高い形状情報、透過度情報、及び画素値情報について、まとめて符号化を行うので、同じモードとなる符号が短い符号長となる可変長符号化を行うことにより、モード符号化信号のビッ卜数を削減することが可能となる。

本発明の第 2 2の画像符号化装置は、物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化装置であって、上記入力画像信号に対して、空間および時間的に一致する画素を 1つのグループとして統合し、プロック化された情報として出力するブロック化手段と、上記ブロック化手段によりブロック化された上記形状情報、および上記透過度情報のそれそれに対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化手段と、上記第 1の符号化手段において選択された符号化モードのうちいずれかの符号化モードにおいて、上記ブロック化手段によりブロック化された上記画素値情報を符号化する第 2の符号化手段と、上記形状情報、上記透過度情報、および上記画素値情報のそれぞれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化手段とを備え、上記第 1 の符号化手段出力、上記第 2の符号化手段出力、及び上記第 3の符号化手段出力を符号化出力とすることで、選択されるモードが同じものとなりやすくするので、可変長符号化を行うことにより、モード符号化信号のビッ卜数を一層削減することが可能となる。本発明の第 2 3の画像符号化装置は、物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化装置であって、上記入力画像信号に対して、空間および時間的に一致する画素を 1 つのグループとして統合し、プロック化された情報として出力するブロック化手段と、上記ブロック化手段によりブロック化された上記画素値情報に対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいて符号化する第 1の符号化手段と、上記第 1 の符号化手段において選択された符号化モードにおいて、上記ブロック化手段によりブロック化された上記形状情報情報、および上記透過度情報を符号化する第 2の符号化手段と、上記形状情報、上記透過度情報、および上記画素値情報のそれそれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化手段とを備え、上記第 1 の符号化手段出力、上記第 2の符号化手段出力、及び上記第 3の符号化手段出力を符号化出力とすることで、選択されるモードが同じものとなりやすくするので、可変長符号化を行うことにより、モード符号化信号のビット数を一層削減することが可能となる。

本発明の第 2 4の画像符号化装置は、請求項 2 1 ないし 2 3のいずれかに記載の画像符号化装置において、上記所定の符号化モードは、画面内符号化、および画面間符号化であるものとしたことで、画像信号の相関関係に基づいた符号化を行い、かつモード符号化信号のビット数削減を図り得る。

本発明の第 2 5の画像符号化装置は、請求項 2 2 または 2 3 に記載の画像符号化装置において、上記第 2の符号化手段は、上記第 1 の符号化手段において、上記選択した符号化モードが画面内符号化であった場合に、画面内符号化を選択するものとしたことで、画像信号の相関関係に基づいた符号化を行い、かつ、モードを同じとすることで、モード符号化信号の一層のビット数削減を図り得る。

本発明の第 2 6の画像符号化装置は、請求項 2 1 ないし 2 3のいずれかに記載の画像符号化装置において、上記所定の符号化モードは、上記ブロックごとの動きべクトルの個数であるものとしたことで、画像信号の性質に対応した符号化を行い、かつモード符号化信号のビット数削減を図り得る。

本発明の第 2 7の画像符号化装置は、請求項 2 2 または 2 3 に記載の画像符号化装置において、上記第 2の符号化手段は、上記第 1 の符号化手段において、上記選択した符号化モードである動きべクトルの個数を、上記符号化モードとして選択するものとしたことで、画像信号の性質に対応した符号化を行い、かつ、モードを同じとすることで、モード符号化信号の一層のビット数削減を図り得る。

本発明の第 2 8の画像符号化装置は、請求項 2 1 ないし 2 3のいずれかに記載の画像符号化装置において、上記所定の符号化モードは、量子化ステップ変更有、および量子化ステップ変更無であるものとしたことで、画像信号の性質に対応した符号化を行い、かつモード符号化信号のビット数削減を図り得る。

本発明の第 2 9の画像符号化装は、請求項 2 2 または 2 3に記載の画像符号化装置において、上記第 2の符号化手段は、上記第 1 の符号化手段において、上記選択した符号化モードが量子化ステップ変更無であつた場合に、量子化ステップ変更無を選択するものとしたことで、画像信号の性質に対応した符号化を行い、かつ、モードを同じとすることで、モード符号化信号の一層のビット数削減を図り得る。本発明の第 3 0の画像符号化装置は、複数の画素からなる 2次元画像信号を入力して符号化する画像符号化装置であって、上記 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 1 の変化画素を出力する第 1 の変化画素検出手段と、符号化復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第 2の変化画素検出手段と、符号化および復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3の変化画素検出手段と、上記第 2の変化画素と上記第 3の変化画素とに基づいて上記第 1 の変化画素を予測して、上記予測した予測変化画素を出力する変化画素予測手段と、上記第 1 の変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算手段と、上記変化画素差分値を符号化して符号化信号とする予測誤差符号化手段とを備えたものとしたことで、予測についての誤差を符号化するもので、符号化効率の向上を図ることが可能となる。 "

本発明の第 3 1 の画像符号化装置は、請求項 3 0に記載の画像符号化装置において、上記第 2の変化画素検出手段、および上記第 3の変化画素検出手段は、上記第 2の変化画素、および上記第 3の変化画素の画素値を、上記第 1 の変化画素の画素値と同じものとするもので、上記の符号化を行い、上記の効果が得られる。

本発明の第 3 2の画像符号化装は、請求項 3 0に記載の画像符号化装置において、上記第 2の変化画素検出手段、および上記第 3の変化画素検出手段は、上記走査する所定の方向を、上記第 1 の変化画素検出手段が上記走査する所定の方向と同じ方向とするものとしたことで、上記の符号化を行い、上記の効果が得られる。本発明の第 3 3の画像符号化装置は、請求項 3 0に記載の画像符号化装置において、上記第 2の変化画素を用いて予測した変化画素との差によって、上記第 3の変化画素が符号化されているものとしたことで、上記の符号化を行い、上記の効果が得られる。

本発明の第 3 4の画像符号化装置は、請求項 3 0に記載の画像符号化装置において、第 2の変化画素、第 3の変化画素、および第 1 の変化画素が異なる走査線にあるものとしたことで、上記の符号化を行い、上記の効果が得られる。

本発明の第 3 5 の画像符号化装置は、請求項 3 0に記載の画像符号化装置において、上記変化画素予測手段は、上記第 2の変化画素が第 m走査線の X画素目にあり、上記第 3の変化画素が第 n走査線の y画素目にあるとき、上記第 1 の変化画素について、第 k 走査線の y- (x-y)* (n - k)/(m- n)画素目であると予測するものとしたことで、上記の符号化を行い、上記の効果が得られる。

本発明の第 3 6の画像符号化装置は、複数の画素からなる 2次元画像信号を入力して符号化する画像符号化装置であって、上記 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した検出変化画素を出力する変化画素検出手段と、符号化および復号化済の画素から変化画素を予測し、上記予測した予測変化画素を出力する変化画素予測手段と、上記検出変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算手段と、上記変化画素差分値の値が所定値未満である場合に、上記変化画素差分値を符号化し、差分値符号化信号を出力する予測誤差符号化手段と、上記変化画素差分値の値が所定値以上である場合に、直前に符号化した変化画素から、上記検出変化画素までに位置する画素であって、上記予測誤差符号化手段が符号化し得る画素位置に位置しない画素の数を算出し、上記算出した画素数を符号化して、画素数符号化信号を出力する画素数符号化手段とを備え、上記予測誤差符号化手段と、上記画素数符号化手段とは、上記差分値符号化信号と、上記画素数符号化信号とがー意に識別可能な符号化を行うことで、予測誤差が定められた範囲内にあるときは、予測誤差の符号化信号を、範囲外にあるときは、画素数の符号化信号を、出力する符号化信号とするので、予測誤差が大きな場合は、変化画素の個数の変動により、変化画素の予測ができない場合にも、符号化効率が低下することを防止して、適切な符号化を実行することが可能となる。

本発明の第 3 7の画像符号化装置は、請求項 3 6に記載の画像符号化装置において、上記予測誤差符号化手段、および上記画素数符号化手段は、上記変化画素差分値と比較する上記所定値を、当該走査線の画素数を用いて設定するものとしたことで、上記の符号化を行い、上記の効果が得られる。

本発明の第 3 8の画像符号化装置は、物体を表す画素が存在する領域を表す 2次元の形状信号を入力として、上記形状信号を符号化する画像符号化装 Sであって、上記入力した形状信号から、上記物体を表す画素を包含する矩形領域である有意領域を抽出し、上記抽出した有意領域の範囲である有意領域範囲を出力する有意領域抽出手段と、上記形状信号を複数の画素からなるブロックに分割するブロック化手段と、上記プロック化手段が出力する各ブロックごとに、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定した場合は、少なくとも当該ブロックの上記有意領域を符号化し、形状符号化信号を出力する形状符号化手段とを備え、上記有意領域範囲と、上記形状符号化信号とを符号化信号とすることで、有意領域の範囲を検出し、有意領域の範囲の内部のみ形状信号を符号化するように形状信号のブロックサイズを変更するので、有意領域の範囲外を符号化することがなくなり形状信号の符号化効率が向上する。

本発明の第 3 9の画像符号化装置は、請求項 3 8 に記載の画像符号化装置において、上記形状符号化手段は、上記ブロック化手段により構成された各ブロック中から、上記有意領域を含む最小の矩形領域を抽出し、上記抽出した矩形領域の内部のみを符号化するものとしたことで、上記の符号化を行い、符号化効率を向上する。

本発明の第 4 0の画像符号化装置は、複数の画素からなる 2次元画像信号を入力として上記 2次元画像信号を符号化する画像符号化装置であつて、上記画像信号を少なくとも 2つの画像信号に分離して、上記分離した画像信号を 2つ以上の部分画像信号として出力する画像信号分離手段と、上記部分画像信号のうち少なくとも 1 つを対象部分画像信号として選択し、上記選択した対象部分画像信号を符号化して、第 1 の符号化信号を出力する第 1 の画像信号符号化手段と、上記第 1 の符号化信号を復号化した画像信号に基づいて、上記部分画像信号のうち上記対象部分画像信号を除いた対象外部分画像信号を予測し、上記予測が的中する確率を計算し、上記計算した予測確率を出力する予測確率計算手段と、上記予測確率計算手段で計算した予測確率に応じて、復号化の優先度を決定し、上記決定した優先道に応じた符号化方法を用いて、上記対象外部分画像信号をを符号化する第 2の画像信号符号化手段とを備えたことで, 予測確率の低い画素から優先的に符号化することにより、画質劣化の少ない階層的な符号化を付加情報なしで実現することが可能になる。

本発明の第 4 1 の画像符号化装 Sは、請求項 4 0に記載の画像符号化装置において、上記第 2の画像信号符号化手段は、上記予測確率が小さい画素が優先的に復号化されるよう、上記復号化の優先度を決定するものとしたことで、上記の符号化を行い、上記の効果が得られる。本発明の第 4 2の画像符号化装置は、請求項 4 0 に記載の画像符号化装置において、上記予測確率計算手段は、近傍の画素値が同じ値の場合に、上記的中する確率を大きく、近傍の画素値が異なる値の場合に、上記的中する確率を小さくするものとしたことで、上記の符号化を行い、上記の効果が得られる。

本発明の第 4 3の画像復号化装置は、符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモード信号として、上記取得した差分値を復号差分値として出力する復号化手段と、当該フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1の予測画素として出力する第 1 の予測手段と、参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補憤を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測手段と、上記モード信号が当該フレーム予測を示す場合は、上記第 1 の予測画素に上記復号差分値を加算し、上記モード信号が参照フレーム予測を示す場合は、上記第 2の予測画素に上記復号差分値を加算する加算手段とを備え、上記加算手段の出力を変化画素とすることで、請求項 2の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 4 4の画像復号化装置は、符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモード信号として、上記取得した差分値を復号差分値として出力する復号化手段と、当該画像信号を水平方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測手段と、当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測手段と、上記モード信号が水平方向走査の予測を示す場合は、上記第 1 の予測画素に上記復号差分値を加算し、上記モード信号が垂直方向走査の予測を示す場合は、上記第 2の予測画素に上記復号差分値を加算する加算手段とを備え、上記加算手段の出力を変化画素とすることで、請求項 3の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 4 5の画像復号化装置は、符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号を復号化して、差分値と、変化画素の画素値とを取得し、上記取得した差分値を復号差分値として、上記取得した変化画素の画素値を復号画素値として出力する復号化手段と、復号化済みの画素の画素値の変化する画素に基づいて、上記入力する符号化信号の変化画素を予測し、上記予測した画素を予測画素として出力する予測手段と、上記復号差分値と上記予測画素とを加算し、上記加算した結果を修正差分値として出力する加算手段と、上記修正差分値と、上記復号画素値とから、多値画像信号を復号化処理によって取得する画像復号化手段とを備えたものとしたことで、請求項 4の画像符号化装置において得られた符号化信号を適切に復号化することができる。本発明の第 4 6の画像復号化装置は、符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号から画素値信号の差分値を復号化し、復号画素値差分値として出力する第 1 の復号化手段と、上記符号化信号から透過度信号の差分値を復号化し、復号透過度差分値として出力する第 2の復号化手段と、上記符号化信号から画素値信号の動きべクトルと、透過度信号の動きべクトルとを復号化し、復号画素値動きべクトルと、復号透過度動きべクトルとを出力する第 3の復号化手段と、後述する参照画像の画素値信号を、上記復号画素値動きべクトルを用いて動き補償し、上記動き補償した結果を補償画素値信号として出力する第 1 の動き補償手段と、上記復号画素値差分値と補儐画素値信号とを加算し、上記加算した結果を復号化した画素値信号として出力するとともに、参照画像の画素値信号として出力する第 1 の加算手段と、後述する参照画像の透過度信号を、上記復号透過度動きべクトルを用いて動き補償し、上記動き補償した結果を補償透過度信号として出力する第 2 の動き補儻手段と、上記復号透過度差分値と補償透過度信号とを加算し、上記加算した結果を復号化した透過度信号として出力するとともに、参照画像の透過度信号として出力する第 2の加算手段とを備えたことで、請求項 5の画像符号化装 Sにおいて得られた符号化信号を適切に復号化することができる。

本発明の第 4 7の画像復号化装置は、請求項 4 6に記載の画像復号化装置において、上記第 3の復号化手段は、画素値信号の動きベクトルと、動きべクトルの差分値とを復号化して復号画素値動きべクトルと復号動きべクトル差分値とを取得し、上記復号画素値動きべクトルと復号動きべクトル差分値とを加算して、上記復号透過度動きべクトルとするものとしたことで、請求項 7の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 4 8の画像復号化装 aは、符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号から画素値信号の差分値を復号化し、復号画素値差分値として出力する第 1 の復号化手段と、上記符号化信号から形状信号の差分値を復号化し、復号形状差分値として出力する第 2の復号化手段と、上記符号化信号から画素値信号の動きべクトルと、形状信号の動きべクトルとを復号化し、復号画素値動きべクトルと、復号形状動きベクトルとを出力する第 3の復号化手段と、後述する参照画像の画素値信号を、上記復号画素値動きべクトルを用いて動き補償し、上記動き補償した結果を補償画素値信号として出力する第 1 の動き補償手段と、上記復号画素値差分値と補僂画素値信号とを加算し、上記加算した結果を復号化した画素値信号として出力するとともに、参照画像の画素値信号として出力する第 1 の加箅手段と、後述する参照画像の形状信号を、上記復号形状動きベクトルを用いて動き補償し、上記動き補償した結果を補償形状信号として出力する第 2の動き補償手段と , 上記復号形状差分値と補償形状信号とを加算し、上記加算した結果を復号化した形状信号として出力するとともに、参照画像の形状信号として出力する第 2の加算手段とを備えたことで、請求項 1 0の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 4 9の画像復号化装置は、請求項 4 8 に記載の画像復号化装置において、上記第 3の復号化手段は、画素値信号の動きべクトルと、動きべクトルの差分値とを復号化して復号画素値動きべクトルと復号動きべクトル差分値とを取得し、上記復号画素値動きべクトルと復号動きぺクトル差分値とを加算して、上記復号形状動きベクトルとするものとしたことで、請求項 1 3の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 5 0の画像復号化装置は、請求項 4 8に記載の画像復号化装置において、上記第 3の復号化手段は、形状信号の動きベクトルと、動きべクトルの差分値とを復号化して復号形状動きべクトルと復号動きぺクトル差分値とを取得し、上記復号形状動きべクトルと復号動きべクトル差分値とを加算して、上記復号画素値動きベクトルとするものとしたことで、請求項 1 4の画像符号化装 Sにおいて得られた符号化信号を適切に復号化することができる。

本発明の第 5 1 の画像復号化装置は、請求項 4 8 に記載の画像復号化装置において、上記第 3の復号化手段は、上記入力信号が、直前に符号化した形状信号の動きべクトルと、入力信号より検出した形状信号の動きベクトルとの差分値を符号化したものである場合、上記差分値を復号化し、上記復号化した差分値を直前に復号化した形状信号の動きべクトルと加算して、上記復号形状動きベクトルとするものとしたことで、請求項 1 7の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 5 2の画像復号化装置は、請求項 4 8 に記載の画像復号化装置において、上記入力信号が、直前に符号化した画素値信号の動きべクトルと、入力信号より検出した画素値信号の動きべクトルとの差分値を符号化したものである場合、上記差分値を復号化し、上記復号化した差分値を直前に復号化した画素値信号の動きべクトルと加算して、上記復号画素値動きべクトルとするものとしたことで、請求項 1 8の画像符号化装置において得られた符号化信号を適切に復号化することができる < 本発明の第 5 3の画像復号化装置は、請求項 4 8ないし 5 2のいずれかに記載の画像復号化装置において、上記入力信号が、複数の画像を合成するための合成の比率を示す情報を含む透過度情報と、画像情報とから構成される画像信号を符号化した符号化信号である場合に、上記復号化した形状信号を上記透過度情報とし、上記復号化した画素値信号を上記画像情報とするものとしたことで、請求項 1 9の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 5 4の画像復号化装置は、請求項 4 8ないし 5 2のいずれかに記載の画像復号化装置において、上記入力信号が、複数の画像を合成するための合成の比率を示す情報を含む透過度情報と、画像情報とから構成される画像信号を、上記透過度情報を、形状のみを表わす 2値信号と、その他の信号である残余形状信号とに分離し、上記分離した 2値信号を形状信号とし、上記分離した残余形状信号と、上記画像情報とを画素値信号として符号化した符号化信号である場合に、上記復号化した形状信号を上記透過度情報の 2値信号とし、上記復号化した画素値信号を上記画像情報、および上記透過度情報の残余形状信号とするものとしたことで、請求項 2 0の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 5 5の画像復号化装置は、符号化信号を入力して、復号化する画像復号化装置であって、上記入力した符号化信号を復号化して、形状情報、透過度倩報、および画素値情報のそれそれの符号化モードを示すモード識別情報を取得する第 1 の復号化手段と、上記取得したモード識別情報に対応して、ブロック化された形状情報、透過度情報、および画素値情報を復号化する第 2の復号化手段と、上記第 2の復号化手段が出力するブロック化された形状情報、透過度情報、および画素値情報を統合して復号画像信号とする逆ブロック化手段を備えだことで、請求項 2 1 の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 5 6の画像復号化装置は、請求項 5 5 に記載の画像復号化装置において、上記モード識別情報は、符号化モードとして、画面内符号化、および画面間符号化を示すものとしたことで、請求項 2 4の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 5 7の画像復号化装 Sは、請求項 5 5 に記載の画像復号化装置において、上記モード識別情報は、符号化モードとして、ブロックごとの動きべクトルの個数を示すものとしたことで、請求項 2 6の両像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 5 8の画像復号化装置は、上記モード識別情報は、符号化モードとして、量子化ステップ変更有、および量子化ステップ変更無を示すものとしたことで、請求項 2 8の画像符号化装 Sにおいて得られた符号化信号を適切に復号化することができる。

本発明の第 5 9の画像復号化装置は、符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化装置であつて、復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第 2の変化画素検出手段と、復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3の変化画素検出手段と、上記第 2の変化画素と上記第 3の変化画素とに基づいて、後述する第 1 の変化画素を予測して、上記予測した予測変化画素を出力する変化画素予測手段と、上記入力した符号化信号を復号化して、予測誤差を取得し、上記取得した予測誤差を出力する予測誤差復号化手段と、上記予測変化画素と、上記予測誤差とを加算して第 1 の変化画素として出力する第 1 の変化画素復号化手段と、直前に復号化した変化画素と、上記第 1 の変化画素との間の画素については、画素値の変化する画素がないものとして、当該画素値を復号化する画素値復号化手段とを備えたことで、請求項 3 0の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 6 0の画像復号化装置は、請求項 5 9 に記載の画像復号化装置において、上記第 2の変化画素検出手段、および上記第 3の変化画素検出手段は、上記第 2の変化画素、および上記第 3の変化画素の画素値を、上記第 1 の変化画素の画素値と同じものとするものとしたことで、請求項 3 1 の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 6 1 の画像復号化装置は、請求項 5 9 に記載の画像復号化装置において、上記第 2の変化画素検出手段、および上記第 3の変化画素検出手段は、上記走査する所定の方向を、上記第 1 の変化画素検出手段が上記走査する所定の方向と同じ方向とするものとしたことで、請求項 3 2の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 6 2の画像復号化装置は、請求項 5 9 に記載の画像復号化装 Sにおいて、上記第 2の変化画素を用いて予測した変化画素との差によって、上記第 3の変化画素を復号化するものとしたことで、請求項 3 3の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 6 3の画像復号化装置は、請求項 5 9 に記載の画像復号化装置において、第 2の変化画素、第 3の変化画素、および第 1 の変化画素が異なる走査線にあるものとしたことで、請求項 3 4の画像符号化装 Sにおいて得られた符号化信号を適切に復号化することができる。

本発明の第 6 4の画像復号化装置は、請求項 5 9 に記載の画像復号化装置において、上記変化画素予測手段は、上記第 2の変化画素が第 m走査線の X画素目にあり、上記第 3の変化画素が第 n走査線の y画素目にあるとき、上記第 1 の変化画素について、第 k 走査線の y-(x-y)*(n- k)/(m-n)画素目であると予測するものとしたことで、請求項 3 5 の画像符号化装置において得られた符号化信号を適切に復号化することができる。本発明の第 6 5の画像復号化装置は、符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化装置であつて、復号化済みの 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した検出変化画素を出力する変化画素検出手段と、上記検出変化画素に基づいて当該走査線の変化画素を予測し、上記予測した予測変化画素を出力する変化画素予測手段と、上記入力する符号化信号を復号化し、差分値符号化信号であるか、または画素数符号化信号であるかを判定し、識別信号を出力するモード復号化手段と、上記識別信号が差分値符号化信号を示す場合に、上記差分値符号化信号を復号化して復号予測誤差を出力する予測誤差復号化手段と、上記識別信号が差分値符号化信号を示す場合に、上記予測変化画素と上記復号予測誤差とを加算して、上記加算した結果を第 1 の復号変化画素として出力する第 1 の変化画素復号化手段と、上記識別信号が画素数符号化信号を示す場合に、直前に符号化した変化画素から、上記検出変化画素までに位置する画素であって、上記復号予測誤差の画素位置に位置しない画素の数を、上記画素数符号化信号'から復号化し、上記復号化した画素の数に基づいて変化画素の位置を取得し、上記取得した結果を第 2の復号変化画素として出力する第 2の変化画素復号化手段と、上記識別信号に対応して、上記第 1 の復号変化画素、又は上記第 2の復号変化画素を選択して出力する変化画素選択手段と、直前に復号化した変化画素と、上記第 1 の変化画素との間の画素については、画素値の変化する画素がないものとして、当該画素値を復号化する画素値復号化手段とを備えたことで、請求項 3 6の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 6 6の画像復号化装置は、上記変化画素選択手段は、当該走査線の画素数に応じて、上記選択を行うものとしたことで、請求項 3 7 の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 6 7の画像復号化装置は、符号化信号を入力し、復号化して、物体を表す画素が存在する領域を表す 2次元の形状信号を出力する画像復号化装置であって、上記符号化信号を復号化して、上記物体を表す画素が存在する領域を矩形領域として取得し、上記取得した領域を有意領域として出力する有意領域復号化手段と、複数の画素からなるプロックのそれそれについて、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定得する場合は、当該ブロックの少なくとも上記有意領域を復号化して、上記復号化した結果を復号ブロック形状信号として出力する形状復号化手段と、上記復号ブロック形状信号を統合して、 2 次元の形状信号を構成し、上記構成した 2次元の形状信号を復号化信号として出力する逆ブロック化手段とを備えたことで、請求項 3 8の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 6 8の画像復号化装置は、請求項 6 7 に記載の画像復号化装置において、上記形状復号化手段は、各ブロックごとに、ブロック中から、上記有意領域を含む最小の矩形領域を抽出し、上記抽出した矩形領域の内部のみを復号化するものとしたことで、請求項 3 9の画像符号化装置において得られた符号化信号を適切に復号化することができる。本発明の第 6 9の画像復号化装置は、符号化信号を入力して、複数の画素からなる 2次元画像信号を復号化して出力する画像復号化装置であつて、上記符号化信号を復号化して第 1 の復号化信号を出力する第 1 の画像信号復号化手段と、上記第 1 の画像信号復号化手段で復号化した画像信号に基づいて、上記第 1 の画像信号復号化手段で復号化されない画像信号を予測して出力する画像予測手段と、上記予測した画像信号の予測が的中する確率を計算して出力する予測確率計算手段と、上記予測確率計算手段で計算した予測確率に応じた優先度で上記入力された符号化信号を復号化する第 2の画像信号復号化手段と、上記上記第 1 の画像信号復号化手段出力と上記第 2の画像信号符号化手段出力を統合し、かつ、上記第 1 の復号化手段および上記第 2の復号化手段のいずれによっても復号化されない画像信号を、上記画像予測手段の予測した画像信号をもつて置換して、復号画像信号として出力する復号信号統合手段を備えたことで、請求項 4 0の画像符号化装 gにおいて得られた符号化信号を適切に復号化することができる。

本発明の第 7 0の画像復号化装置は、請求項 6 9 に記載の画像復号化装置において、上記第 2の画像信号復号化手段は、、予測が的中する確率が小さい画素について、優先的に復号化するものとしたことで、請求項 4 1 の画像符号化装置において得られた符号化信号を適切に復号化することができる。

本発明の第 7 1 の画像復号化装置は、請求項 6 9 に記載の画像復号化装置において、上記予測確率計算手段は、近傍の画素値が同じ値の場合に、上記的中する確率を大きく、近傍の画素値が異なる値の場合に、上記的中する確率を小さくするものとしたことで、請求項 4 2の画像符号化装置において得られた符号化信号を適切に復号化することができる。本発明の第 7 2の画像符号化方法は、 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化方法であつて、上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出ステップと、当該フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測ステップと、上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 D として出力する第 1 の差分値計算ステップと、参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補償を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測ステップと、上記検出変化画素と上記第 2の予測画素との差分を計算し、上記計算した差分を第 2の差分値 D " として出力する第 2の差分値計算ステップと、上記第 1 の差分値 D と第 2の上記差分値 D " とに対して、それぞれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1」又は「第 2」のいずれかを符号化モードとして出力するモード選択ステップと、上記選択した第 1の差分値 D、又は第 2の差分値 D " と、上記モード選択ステップが出力する符号化モードとを符号化する符号化ステップとを備えたことで、当該フレームに基づく予測と、動き補償した参照フレームに基づく予測とを比較して、符号長が最小となるものを選択して符号化信号を出力することができるので、フレーム間の画素相関を利用することによって、符号化に必要なビット数を削減することができる。

本発明の第 7 3の画像符号化方法は、 2次元 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化方法であって、上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出ステップと、当該画像信号を水平方向に走査することによって、符号化および復号化済みの画素の画素値の変化画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測ステップと，上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 Dとして出力する第 1 の差分値計算ステップと、当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2 の予測ステップと、上記検出変化画素と、上記第 2の予測画素の差分を計算し、上記計算した差分を第 2の差分値 D ' 'として出力する第 2 の差分値計算ステップと、上記第 1 の差分値 D と第 2の上記差分値 D " とに対して、それそれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1 j 又は「第 2 j のいずれかを符号化モードとして出力するモード選択ステップと、上記選択した第 1 の差分値 D、又は第 2の差分値 D " と、上記モード選択ステツブが出力する符号化モードとを符号化する符号化ステップとを備えたことで、水平方向の走査による予測と、垂直方向の走査予測とを比較して、符号長が最小となるものを選択して符号化することができるので、画像の水平相関と垂直相関とについての局所的な変化を利用することによって、符号化に必要なビット数を削減することができる。

本発明の第 7 4の画像符号化方法は、物体の形状および各画素の画素値が有意であるかどうかをを示す形状信号と、画素値信号とからなる、ブロック化された形状つき画像信号を入力信号とし、参照画像を参照して上記入力信号を符号化する符号化方法であって、上記入力信号の画素値信号と、上記参照画像の画素値信号とを比較して、画素値信号の動きぺクトルを検出する第 1 の動きべクトル検出ステップと、上記参照画像の画素値信号を、上記画素値信号の動きべクトルを用いて動き補償し、補償画素値信号を出力する第 1 の動き補儐ステップと、上記入力信号の画素値信号と、上記補償画素値信号とから、両者の差分を計算し、第 1 の差分値を出力する第 1 の差分値計算ステップと、上記第 1 の差分値を符号化する第 1 の符号化ステップと、上記入力信号の形状信号と、上記参照画像の形状信号とを比較して、形状信号の動きべクトルを検出する第 2の動きベクトル検出ステップと、上記参照画像の形状信号を、上記形状信号の動きべクトルを用いて動き補償し、補償形状信号を出力する第 2の動き補償ステップと、上記入力信号の形状信号と、上記補儐形状信号とから、両者の差分値を計算し、第 2の差分値を出力する第 2の差分値計算ステップと、上記第 2の差分値を符号化する第 2の符号化ステッブと、上記画素値信号の動きベクトルと、上記形状信号の動きべクトルとを符号化する第 3の符号化ステップを備えたことで、符号化効率の向上が図れることに加えて、参照画像として符号化及び復号化され、動き補償値を加算されたより適切な信号を用いることにより、一層の動き補償誤差の減少を図ることが可能となる。

本発明の第 7 5の画像符号化方法は、物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化方法であって、上記入力画像信号に対して、空間および時間的に一致する画素を 1つのグループとして統合し、プロック化された情報として出力するブロック化ステップと、上記ブロック化ステップによりブロック化された上記形状情報、上記透過度情報、および上記画素値情報のそれそれに対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化ステップと、上記形状情報、上記透過度情報、および上記画素値情報のそれそれについての、上記選択したモードを示すモ一ド識別情報を、まとめて符号化する第 2の符号化ステップとを備え、上記第 1 の符号化ステップ出力と、上記第 2の符号化ステップ出力とを符号化出力とすることで、相関性の高い形状情報、透過度情報、及び画素値情報について、まとめて符号化を行うので、同じモードとなる符号が短い符号長となる可変長符号化を行うことにより、モード符号化信号のビット数を削減することが可能となる。

本発明の第 7 6の画像符号化方法は、物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化方法であって、上記入力画像信号に対して、空間および時間的に一致する画素を 1つのグループとして統合し、プロヅク化された情報として出力するブロック化ステップと、上記ブロック化ステップによりブロック化された上記形状情報、および上記透過度情報のそれそれに対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化ステップと、上記第 1 の符号化ステップにおいて選択された符号化モードのうちいずれかの符号化モードにおいて、上記プロック化ステップによりブロック化された上記画素値情報を符号化する第 2の符号化ステップと、上記形状情報、上記透過度情報、および上記画素値情報のそれぞれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化ステップとを備え、上記第 1 の符号化ステツプ出力、上記第 2の符号化ステップ出力、及び上記第 3の符号化ステツプ出力を符号化出力とするもので、選択されるモードが同じものとなりやすくするので、可変長符号化を行うことにより、モード符号化信号のビット数を一層削減することが可能となる。

本発明の第 7 7の画像符号化方法は、物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化方法であって、上記入力画像信号に対して、空間および時間的に一致する圃素を 1つのグループとして統合し、プロック化された情報として出力するブロック化ステップと、上記ブロック化ステップによりブロック化された上記画素値情報に対して、所定の符号化モ一ドの中から符号化モ一ドを選択し、上記選択した符号化モ一ドにおいて符号化する第 1 の符号化ステップと、上記第 1 の符号化ステツブにおいて選択された符号化モードにおいて、上記ブロック化ステップによりブロック化された上記形状情報情報、および上記透過度情報を符号化する第 2の符号化ステップと、上記形状情報、上記透過度情報、および上記画素値情報のそれそれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化ステップとを備え、上記第 1 の符号化ステップ出力、上記第 2の符号化ステップ出力、及び上記第 3の符号化ステップ出力を符号化出力とすることで、選択されるモードが同じものとなりやすくするので、可変長符号化を行うことにより、モード符号化信号のビット数を一層削減することが可能となる。本発明の第 7 8の画像符号化方法は、複数の画素からなる 2次元画像信号を入力して符号化する画像符号化方法であって、上記 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 1 の変化画素を出力する第 1 の変化画素検出ステップと、符号化復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第 2の変化画素検出ステップと、符号化および復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3の変化画素検出ステップと、上記第 2の変化画素と上記第 3の変化画素とに基づいて上記第 1 の変化画素を予測して、上記予測した予測変化画素を出力する変化画素予測ステップと、上記第 1 の変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算ステップと、上記変化画素差分値を符号化して符号化信号とする予測誤差符号化ステップとを備えたことで、予測についての誤差を符号化するもので、符号化効率の向上を図ることが可能となる。

本発明の第 7 9の画像符号化方法は、複数の画素からなる 2次元画像信号を入力して符号化する画像符号化方法であって、上記 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した検出変化画素を出力する変化画素検出ステップと、符号化および復号化済の画素から変化画素を予測し、上記予測した予測変化画素を出力する変化画素予測ステップと、上記検出変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算ステップと、上記変化画素差分値の値が所定値未満である場合に、上記変化画素差分値を符号化し、差分値符号化信号を出力する予測誤差符号化ステップと、上記変化画素差分値の値が所定値以上である場合に、直前に符号化した変化画素から、上記検出変化画素までに位置する画素であって、上記予測誤差符号化ステップが符号化し得る画素位置に位置しない画素の数を算出し、上記算出した画素数を符号化して、画素数符号化信号を出力する画素数符号化ステップとを備え、上記予測誤差符号化ステップと、上記画素数符号化ステップとは、上記差分値符号化信号と、上記画素数符号化信号とがー意に識別可能な符号化を行うことで、予測誤差が定められた範囲内にあるときは、予測誤差の符号化信号を、範囲外にあるときは、画素数の符号化信号を、出力する符号化信号とするので、予測誤差が大きな場合は、変化画素の個数の変動により、変化画素の予測ができない場合にも、符号化効率が低下することを防止して、適切な符号化を実行することが可能となる。

本発明の第 8 0の画像符号化方法は、物体を表す画素が存在する領域を表す 2次元の形状信号を入力として、上記形状信号を符号化する画像符号化方法であって、上記入力した形状信号から、上記物体を表す画素を包含する矩形領域である有意領域を抽出し、上記抽出した有意領域の範囲である有意領域範囲を出力する有意領域抽出ステップと、上記形状信号を複数の画素からなるブロックに分割するブロック化ステップと、上記ブロック化ステップが出力する各ブロックごとに、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定した場合は、少なくとも当該ブロックの上記有意領域を符号化し、形状符号化信号を出力する形状符号化ステップとを備え、上記有意領域範囲と、上記形状符号化信号とを符号化信号とすることで、有意領域の範囲を検出し、有意領域の範囲の内部のみ形状信号を符号化するように形状信号のブロックサイズを変更するので、有意領域の範囲外を符号化することがなくなり形状信号の符号化効率が向上する。

本発明の第 8 1 の画像符号化方法は、複数の画素からなる 2次元画像信号を入力として上記 2次元画像信号を符号化する画像符号化方法であつて、上記画像信号を少なくとも 2つの画像信号に分離して、上記分離した画像信号を 2つ以上の部分画像信号として出力する画像信号分離ステツブと、上記部分画像信号のうち少なくとも 1 つを対象部分画像信号として選択し、上記選択した対象部分画像信号を符号化して、第 1 の符号化信号を出力する第 1 の画像信号符号化ステップと、上記第 1 の符号化信号を復号化した画像信号に基づいて、上記部分画像信号のうち上記対象部分画像信号を除いた対象外部分画像信号を予測し、上記予測が的中する確率を計算し、上記計算した予測確率を出力する予測確率計算ステツブと、上記予測確率計算ステップで計算した予測確率に応じて、復号化の優先度を決定し、上記決定した優先道に応じた符号化方法を用いて、上記対象外部分画像信号をを符号化する第 2の画像信号符号化ステップとを備えたことで、予測確率の低い画素から優先的に符号化することにより、画質劣化の少ない階層的な符号化を付加情報なしで実現することが可能になる。

本発明の第 8 2の画像復号化方法は、符号化信号を入力して、復号化する画像復号化方法であって、上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモード信号として、上記取得した差分値を復号差分値として出力する復号化ステップと、当該フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測ステップと、参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補償を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測ステップと、上記モード信号が当該フレーム予測を示す場合は、上記第 1 の予測画素に上記復号差分値を加算し、記モード信号が参照フレーム予測を示す場合は、上記第 2の予測画素に上記復号差分値を加算する加箅ステツブとを備え、上記加算ステップの出力を変化画素とすることで、請求項 7 2の符号化方法で得られた符号化信号を適切に復号化することができる。

本発明の第 8 3の画像復号化方法は、符号化信号を入力して、復号化する画像復号化方法であって、上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモード信号として、上記取得した差分値を復号差分値として出力する復号化ステップと、当該画像信号を水平方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測ステップと、当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測ステップと、上記モード信号が水平方向走査の予測を示す場合は、上記第 1 の予測画素に上記復号差分値を加算し、上記モード信号が垂直方向走査の予測を示す場合は、上記第 2の予測画素に上記復号差分値を加算する加算ステップとを備え、上記加算ステップの出力を変化画素とすることで、請求項 7 3の符号化方法で得られた符号化信号を適切に復号化することができる。

本発明の第 8 4の画像復号化方法は、符号化信号を入力して、復号化する画像復号化方法であって、上記符号化信号から画素値信号の差分値を復号化し、復号画素値差分値として出力する第 1 の復号化ステップと、上記符号化信号から形状信号の差分値を復号化し、復号形状差分値として出力する第 2の復号化ステップと、上記符号化信号から画素値信号の動きべクトルと、形状信号の動きべクトルとを復号化し、復号画素値動きベクトルと、復号形状動きベクトルとを出力する第 3の復号化ステツプと、後述する参照画像の画素値信号を、上記復号画素値動きベクトルを用いて動き補償し、上記動き補償した結果を補償画素値信号として出力する第 1 の動き補儻ステップと、上記復号画素値差分値と補償画素値信号とを加算し、上記加算した結果を復号化した画素値信号として出力するとともに、参照画像の画素値信号として出力する第 1 の加算ステツブと、後述する参照画像の形状信号を、上記復号形状動きベクトルを用いて動き補償し、上記動き補償した結果を補償形状信号として出力する第 2の動き補償ステップと、上記復号形状差分値と補償形状信号とを加算し、上記加算した結果を復号化した形状信号として出力するとともに、参照画像の形状信号として出力する第 2の加算ステップとを備えたことで、請求項 7 4の符号化方法で得られた符号化信号を適切に復号化することができる。

本発明の第 8 5の画像復号化方法は、符号化信号を入力して、復号化する画像復号化方法であって、上記入力した符号化信号を復号化して、形状情報、透過度情報、および画素値情報のそれぞれの符号化モードを示すモード識別情報を取得する第 1 の復号化ステップと、上記取得したモード識別情報に対応して、ブロック化された形状情報、透過度情報、および画素値情報を復号化する第 2の復号化ステップと、上記第 2の復号化ステップが出力するブロック化された形状情報、透過度情報、および画素値情報を統合して復号画像信号とする逆ブロック化ステップを備えたことで、請求項 7 6の符号化方法で得られた符号化信号を適切に復号化することができる。

本発明の第 8 6の画像復号化方法は、符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化方法であつて、復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第 2の変化画素検出ステップと、復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3の変化画素検出ステップと、上記第 2の変化画素と上記第 3の変化画素とに基づいて、後述する第 1 の変化画素を予測して、上記予測した予測変化画素を出力する変化画素予測ステツブと、上記入力した符号化信号を復号化して、予測誤差を取得し、上記取得した予測誤差を出力する予測誤差復号化ステッブと、上記予測変化画素と、上記予測誤差とを加算して第 1 の変化画素として出力する第 1 の変化画素復号化ステップと、直前に復号化した変化画素と、上記第 1 の変化画素との間の画素については、画素値の変化画素がないものとして、当該画素値を復号化する画素値復号化ステップとを備えたことで、請求項 7 9の符号化方法で得られた符号化信号を適切に復号化することができる。

本発明の第 8 7の画像復号化方法は、符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化方法であつて、復号化済みの 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した検出変化画素を出力する変化画素検出ステップと、上記検出変化画素に基づいて当該走査線の変化画素を予測し、上記予測した予測変化画素を出力する変化画素予測ステップと、上記入力する符号化信号を復号化し、差分値符号化信号であるか、または画素数符号化信号であるかを判定し、識別信号を出力するモード復号化ステップと、上記識別信号が差分値符号化信号を示す場合に、上記差分値符号化信号を復号化して復号予測誤差を出力する予測誤差復号化ステップと、上記識別信号が差分値符号化信号を示す場合に、上記予測変化画素と上記復号予測誤差とを加算して、上記加算した結果を第 1 の復号変化画素として出力する第 1 の変化画素復号化ステップと、上記識別信号が画素数符号化信号を示す場合に、直前に符号化した変化画素から、上記検出変化画素までに位置する画素であって、上記復号予測誤差の画素位置に位 Sしない画素の数を、上記画素数符号化信号から復号化し、上記復号化した画素の数に基づいて変化画素の位置を取得し、上記取得した結果を第 2の復号変化画素として出力する第 2の変化画素復号化ステップと、上記識別信号に対応して、上記第 1 の復号変化画素、又は上記第 2の復号変化画素を選択して出力する変化画素選択ステップと、直前に復号化した変化画素と、上記第 1 の変化画素との間の画素については、画素値の変化画素がないものとして、当該画素値を復号化する画素値復号化ステップとを備えたことで、請求項 8 0 の符号化方法で得られた符号化信号を適切に復号化することができる。本発明の第 8 8の画像復号化方法は、符号化信号を入力し、復号化して、物体を表す画素が存在する領域を表す 2次元の形状信号を出力する画像復号化方法であって、上記符号化信号を復号化して、上記物体を表す画素が存在する領域を矩形領域として取得し、上記取得した領域を有意領域として出力する有意領域復号化ステップと、複数の画素からなるブロックのそれぞれについて、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定得する場合は、当該ブロックの少なくとも上記有意領域を復号化して、上記復号化した結果を復号ブ口、ソク形状信号として出力する形状復号化ステップと、上記復号ブロック形状信号を統合して、 2次元の形状信号を構成し、上記構成した 2次元の形状信号を復号化信号として出力する逆ブロック化ステップとを備えたことで、請求項 8 1 の符号化方法で得られた符号化信号を適切に復号化することができる。

本発明の第 8 9の画像復号化方法は、符号化信号を入力して、複数の画素からなる 2次元画像信号を復号化して出力する画像復号化方法であつて、上記符号化信号を復号化して第 1 の復号化信号を出力する第 1 の画像信号復号化ステップと、上記第 1 の画像信号復号化ステップで復号化した画像信号に基づいて、上記第 1 の画像信号復号化ステップで復号化されない画像信号を予測して出力する画像予測ステップと、上記予測した画像信号の予測が的中する確率を計算して出力する予測確率計算ステツブと、上記予測確率計算ステップで計算した予測確率に応じた優先度で上記入力された符号化信号を復号化する第 2の画像信号復号化ステッブと、上記上記第 1 の画像信号復号化ステップ出力と上記第 2 の画像信号符号化ステップ出力を統合し、かつ、上記第 1 の復号化ステップおよび上記第 2の復号化ステップのいずれによっても復号化されない画像信号を、上記画像予測ステップの予測した画像信号をもって置換して、復号画像信号として出力する復号信号統合ステップを備えたことで、請求項 8 2 の符号化方法で得られた符号化信号を適切に復号化することができる。

本発明の第 9 0から第 9 9の画像符号化プログラム記録媒体は、第 7 2から第 8 1 の画像符号化方法を実行するプログラムを記録したことで. コンビユー夕において実行させることで、符号化効率の良い画像符号化を行う。

本発明の第 1 0 0から第 1 0 7の画像復号化プログラム記録媒体は、第 8 2から第 1 8 9の画像復号化方法を実行するプログラムを記録したことで、コンビユー夕において実行させることで、第 7 2から第 8 1 の画像符号化方法により得られた符号化信号を適切に復号化する。図面の簡単な説明

第 1 図は本発明の実施の形態 1 による画像符号化装置の構成を示すブロック図である。

第 2図は本発明の実施の形態 1 による画像符号化装置の動作原理を説明するための図である。

第 3図は本発明の実施の形態 2 による画像符号化装 gの構成を示すブ口ック図である。

第 4図は本発明の実施の形態 2 による画像符号化装置の動作原理を説明するための図である。

第 5 図は本発明の実施の形態 3 による画像復号化装置の構成を示すブ口ヅク図である。

第 6図は本発明の実施の形態 3 による画像復号化装置の他の例の構成を示すブロック図である。

第 7図は本発明の実施の形態 4 による画像符号化装置の構成を示すブロック図である。

第 8図は本発明の実施の形態 4 による画像符号化装置の動作原理を説明するための図である。

第 9図は本発明の実施の形態 5 による画像復号化装置の構成を示すブロック図である。

第 1 0図は本発明の実施の形態 6 による画像符号化装置の構成を示すブロック図である。

第 1 1 図は本発明の実施の形態 7 による画像復号化装置の構成を示すプロヅク図である。

第 1 2図は本発明の実施の形態 8 による画像符号化装置の構成を示すブロック図である。

第 1 3図は本発明の実施の形態 9 による画像符号化装置の構成を示すブロック図である。

第 1 4図は本発明の実施の形態 1 0 による画像符号化装置の構成を示すブロック図である。

第 1 5図は本発明の実施の形態 1 1 による画像復号化装 Sの構成を示すブロック図である。

第 1 6図は本発明の実施の形態 1 2 による画像復号化装 Sの構成を示すブロック図である。

第 1 7 図は本発明の実施の形態 1 3 による画像符号化装置の構成を示すブロック図である。

第 1 8図は本発明の実施の形態 1 4 による画像符号化装置の構成を示すプロック図である。

第 1 9図は本発明の実施の形態 1 5 による画像符号化装置の構成を示すブロック図である。

第 2 0図は本発明の実施の形態 1 6 による画像符号化装置の構成を示すブロック図である。

第 2 1 図は本発明の実施の形態 1 7 による画像符号化装置の構成を示すブロック図である。

第 2 2 図は本発明の実施の形態 1 8 による画像符号化装置の構成を示すブロック図である。

第 2 3図は本発明の実施の形態 1 9 による画像符号化装置の構成を杀すブロック図である。

第 2 4図は本発明の実施の形態 2 0 による画像符号化装置の構成を示すブロック図である。

第 2 5図は本発明の実施の形態 2 1 による画像復号化装置の構成を示すブロック図である。

第 2 6図は本発明の実施の形態 2 2 による画像符号化装置の構成を示すブロック図である。

第 2 7図は本発明の実施の形態 2 3 による画像符号化装置の構成を示すブロック図である。

第 2 8図は本発明の実施の形態 2 3 による画像符号化装置における動きべクトルの数の選択を説明するための図である。

第 2 9図は本発明の実施の形態 2 4 による画像符号化装 Sの構成を示すブロック図である。

第 3 0図は本発明の実施の形態 2 5 による画像符号化装置の構成を示すブロック図である。

第 3 1 図は本発明の実施の形態 2 5 による画像符号化装置の動作原理を説明するための図である。

第 3 2図は本発明の実施の形態 2 6 による画像符号化装置の構成を示すブロック図である。

第 3 3図は本発明の実施の形態 2 7 による画像符号化装置の動作原理を説明するための図である。

第 3 4図は本発明の実施の形態 2 8 による画像符号化装置の動作原理を説明するための図である。

第 3 5図は本発明の実施の形態 2 9 による画像符号化装置の構成を示すブロック図である。

第 3 6図は本発明の実施の形態 2 9 による画像符号化装置の動作原理を説明するための図である。

第 3 7図は本発明の実施の形態 3 0 による画像復号化装置の構成を示すブロック図である。

第 3 8図は本発明の実施の形態 3 1 による画像復号化装置の構成を示すブロック図である。

第 3 9図は本発明の実施の形態 3 2 による画像復号化装の構成を示すプロック図である。

第 4 0図は本発明の実施の形態 3 3 による画像符号化装置の構成を示すブロック図である。

第 4 1 図は本発明の実施の形態 3 3 による画像符号化装置の動作原理を説明するための図である。

第 4 2図は本発明の実施の形態 3 4 による画像復号化装の構成を示すブロック図である。

第 4 3図は、本発明の実施の形態 3 5 による画像符号化装置、及び画像復号化装置における予測範囲の設定を説明するための図である。第 4 4図は本発明の実施の形態 3 6による画像符号化装置の構成を示すブロック図である。

第 4 5図は本発明の実施の形態 3 6 による画像符号化装置の動作原理を説明するための図である。

第 4 6図は本発明の実施の形態 3 7 による画像復号化装置の構成を示すブロック図である。

第 4 7図は本発明の実施の形態 3 8による画像符号化装置の構成を示すブロック図である。

第 4 8図は本発明の実施の形態 3 8による画像符号化装置の動作原理を説明するための図である。

第 4 9図は本発明の実施の形態 3 9 による画像復号化装置の構成を示すブロック図である。

第 5 0図は本発明の実施の形態 4 0 による画像符号化プログラム、及び画像復号化プログラムの記録媒体の一例である、フロッピーディスクを示す図である。

第 5 1 図は本発明の実施の形態 4 0による画像符号化プログラムの処理手順を示すフローチャート図である。

第 5 2図は本発明の実施の形態 4 0による画像復号化プログラムの処理手順を示すフローチヤ一ト図である。

第 5 3 図は、画像符号化における画像の形状情報を説明するための図である。

発明を実施するための最良の形態

実施の形態 1 .

本発明の実施の形態 1 による画像符号化装置は、予測符号化の実行にあたり、予め定められた範囲内で符号化長の短い差分値を選定することにより、効率的な符号化を行うものである。

第 1 図は本発明の実施の形態 1 による画像符号化装置の構成を示すブロック図である。同図において、 1 は入力信号であり、 2値の画像信号として画像符号化装 Sに入力される。 2は変化画素検出器であり、入力信号 1 に対して、その画素値が変化する画素を検出し、検出変化画素として出力する。 3はメモリであり、参照画像として用いる符号化及び復号化済みの画像信号を一時的に記憶する。 4は変化画素予測器であり、参照画像の画素値が変化する画素に基づいて、変化画素検出器 2の出力する変化画素を予測し、予測変化画素を出力する。変化画素予測器 4が用い得る予測方法としては、例えば、 2次元画像信号の垂直方向の強い相関に基づいて、上位置の走査線の変化画素と同じ水平位置に変化画素があると予測する代表的な予測方法等を用いることができる。 5は差分値計算器であり、変化画素検出器 2の検出する変化画素と予測器 4の差分値 D を計算する。 6は丸め誤差の許容値として予め設定されて差分値丸め器に与えられる値 e である。 7は差分値丸め器であり、許容値 e によって定められる範囲内において上記差分値 D を修正し、修正差分値 D ' を出力する。 8は符号化器であり、差分値を符号化する。 9は符号化器 8から出力される符号化信号である。 1 1は差分値加算器であり、差分丸め器 7が出力する修正差分値 D'と、変化画素予測器 4が出力する予測変化画素とを加算する。 1 0は変化画素復号化器であり、差分値加算器 1 1 の出力する加箅結果を用いて 2値の画素値を復号化する。

以上の様に構成された、実施の形態 1 による画像符号化装置についてその動作を説明する。 2値の画像信号である入力信号 1 が装置に入力されると、変化画素検出器 2は入力信号 1 を入力として、 2値の画素値が変化する画素を検出する。一方、変化画素予測器 4はメモリ 3 に蓄積された参照画像を銃みだし、当該入力信号における変化画素を予測する。変化画素検出器 2は検出した結果を検出変化画素として差分値計算器 5 に出力し、変化画素予測器 4は予測した結果を予測変化画素として差分値計算器 5に出力する。そして、差分値計算器 5は、検出変化画素から予測変化画素を減算し、変化画素の予測誤差に相当する差分値 D を取得する。差分値計算器 5は、差分値 D を差分値丸め器 7 に出力する。差分値丸め器 7は、予め設定されて与えられた許容値 e と、差分値計算機 5 より出力された予測誤差に相当する差分値 D とを比較し、差分値 D が許容値 e を超えない場合には、 D-_e ^ x≤D + _e を満足する値 X であつて、その値 X を符号化した場合のビット数が最小の値となる値 X を求め、これを修正差分値 D'として出力する。これに対して、予測誤差に相当する差分値 D が許容値 e を超える場合には、許容値 e に基づいて修正差分値 D'を求め、これを符号化器 8 に出力する。そして、修正差分値 D'は、符号化器 8で符号化されて符号化信号 9 となる。

また、差分値丸め器 7の出力する修正差分値 D'は、差分値加算器 1 1 にも出力される。差分値加算器 1 1 においては、修正差分値 D'が変化画素予測器 4の出力する予測変化画素と加算されることによって、画素値の変化画素が計算され、この結果は変化画素復号器 1 0に出力される。変化画素復号化器 1 0は、変化画素予測器 4の出力が示す復号化済の画素から、差分値加算器 1 1 から入力された変化画素の画素までの各画素について、その画素値を復号化してメモリ 3 に記憶させる。これによりメモリ 3の記憶内容は参照画像として用いられる。

以上の勳作を、第 2図を用いて具体的に説明する。第 2図は 2値画像信号のモデルとして、各画素値を白と黒（細かい斜線）の矩型として表したものであり、ここでは説明の簡略化のために、 1画素ずつを順次処理するものとして処理手順を説明する。

第 2 (a) 図は入力信号であり、左上から右方向へ走査を行い、右下に向けて処理が進められることとする。 1 ライン（走査線）上で、画素値が変化する（白黒、または黒→白）画素が変化画素である。第 2 (b) 図の Pcは符号化済の最終画素、 Puは上位置の走査線における変化画素であるとし、粗い斜線の部分ははまだ符号化されていない画素を表すものとする。変化画素検出器 2は、第 2 (a) 図に示す入力信号の、第 2 (b) 図に示すまだ符号化されていない部分に対して、画素値が変化する変化画素を調べ、変化画素として P I を検出し、これを検出変化画素として差分値計算器 5 に出力する。

—方、変化画素予測器 4は、前述の方法によって変化画素を予測し、上位置の走査線の変化画素 Pu と同じ水平位置であろものとして、画素 P0を予測し、これを予測変化画素として差分値計算器 5 に出力する。差分値計算器 5は、検出変化画素 P 1 と予測変化画素 P0ととの差分値として、 D= l を差分丸め器 7 に出力する。

ここで、本実施の形態 1 の画像符号化装置の設定としては、 P0との差分値が小さいほど短い符号長の符号を割り当てる符号化を行うものとする。そして丸め誤差の許容値 e として 1 が与えられていたものとする。差分値計算器によって求められる P 1と P0の差は e 以下であるから、上述の条件を満たす数値として、差分値丸め器 7は出力は D"=0 を出力する。その結果、変化画素が丸められて、復号処理を受けるので、符号化及び復号化された画素値は第 2 (c) 図のようになる。

これに対して、入力信号が第 2 (d) 図に示すものであった場合には、第 2 (e)図に示すように、予測変化画素 P0 と検出変化画素 P 1の差が示す差分値 D は 2 となるので、この場合差分値 D が許容値 e を超えることとなる。そこで、差分値丸め器 7は、予測誤差（差分値）が許容範囲を超えることとならないよう、許容値 e に基づいて修正を行い、変化画素 P2 に対応する差分値- 1 を出力する。この結果、符号化及び復号化された画素値は第 2 (f) 図のようになる。

このように、本実施の形態 1の画像符号化装 Sでは、差分値丸め器 7 を備え、検出された変化画素と予測された変化画素の差分値と、予め設定された許容値 6 とを用いて、許容値以下の予測誤差において、該誤差 (差分値）の符号長が最小となる修正差分値を選択し、これを出力するので、若千の画質劣化を伴うこととなるが符号化に必要なビット数を大幅に削減することができる。また、本実施の形態 1 の画像符号化装置において得られる符号化信号 9は、通常の画像復号化装置において復号処理が可能である。

実施の形態 2 .

本発明の実施の形態 2 による画像符号化装置は、当該フレームによる予測に基づく符号化と、参照フレームにより、動き補償を伴った予測に基づく符号化とを適応的に切り替えて処理を行うものである。

第 3図は本発明の実施の形態 2 による画像符号化装置の構成を示すブ口 'ソク図である。同図において、 2 0は動き補償器であり、符号化復号化済の参照フレームの画像信号に対して、動き補憤を行って参照画素値を生成する。 2 1はモード選択器であり、当該フレームの画像信号に基づく予測を行った場合の差分値と、参照フレームの画像信号に基づく予測を行った場合の差分値とについて比較を行い、符号化する際に必要なビット数が少ない方を符号化モードとして選択する。 2 2は切り替え器であり、モ一ド選択器 2 1 が選択した符号化モ一ドに対応する差分値を選択して出力する。符号 1 ~ 9 については、第 1 図と同様であり、説明は実施の形態 1 と同様であるので、ここでは省略する。

このように構成された本実施の形態 2の画像符号化装置についてその動作を説明する。 2値の画像信号である入力信号 1 が装置に入力されると、入力信号 1は変化画素検出器 2 に入力されるとともに、メモリ 3 にも入力され、メモリ 3 において蓄積されることにより、当該フレームにおける符号化及び復号化済みの参照画像として用いられる。変化画素検出器 2は入力信号 1 を入力として、 2値の画素値が変化する画素を検出する。変化画素検出器 2は検出した結果を検出変化画素として差分値計算器 5 a、及び 5 bに出力する。一方、変化画素予測器 4 aはメモリ 3 に蓄積された当該フレームの符号化及び復号化済みの参照画像を読みだし、当該入力信号に基づいて変化画素を予測し、その結果を予測変化画素として差分値計算器 5 aに出力する。そして、差分値計算器 5 aは、検出変化画素から予測変化画素を減算し、差分値 D を取得する。差分値計算器 5 aの出力 D は、当該フレームにおける符号化復号化済画素に基づいて予測した変化画素の予測誤差に相当するものであって、差分値計算器 5 aは、この差分値 D をモード選択器 2 1 と切り替え器 2 2 とに出力する。

動き補償器 2 0は、メモリ 3に蓄積された参照フレームの符号化及び復号化済画像に対して動き補償を行い、変化画素予測器 4 bはこの動き補償された画素に基づいて当該入力信号の変化画素を予測し、その結果を予測変化画素として差分値計算器 5 bに出力する。差分値計算器 5 b - は、検出変化画素から予測変化画素を減算し、差分値 D"を取得する。差分値計算器 5 bの出力 D"は、参照フレームにおける符号化復号化済画素に基づいて動き補憤を伴って予測した変化画素の予測誤差に相当するものであって、差分値計算器 5 bは、この差分値 D"をモード選択器 2 1 と切り替え器 2 2 とに出力する。 "

モード選択器 2 1 は差分値計算器 5 a、及び 5 bから入力された差分値 D と差分値 D"とについて、それそれを符号化した際の符号長（符号化に必要なビット数）を比較し、より少ないビヅト数で符号化できる予測手法を選択して、その識別信号を符号化モードとして出力する。モード選択器 2 1 は差分値 D を符号化した際の符号長が短いと判定した場合には符号化モード「当該フレーム」を、差分値 D"を符号化した際の符号長が短いと判定した場合には符号化モード「参照フレーム」を、切り替え器 2 2 と、符号化器 8 aとに出力する。

切り替え器 2 2はモード選択器 2 1 の出力に対応して、符号化モード「当該フレーム」であれば差分値計算器 5 aの出力する差分値 D を、符号化モード「参照フレーム」であれば差分値計算器 5 bの出力する差分値 D"を符号化器 8 bに出力する。符号化器 8 aは、モード選択器 2 1 の選択した符号化モードを符号化し、符号化器 8 bは出力された差分値を符号化して、それそれ符号化信号 9 a、及び 9 bとして出力する。

本実施の形態 2の画像符号化装置による符号化は、丸め誤差を伴わないロスレス符号化であって、前述のように入力画像信号 1 は変化画素までの符号化復号化された画素値として、メモリ 3 に記憶される。

以上の動作を、第 4図を用いて具体的に説明する。第 4図は実施の形態 1 において説明のために用いた第 2図と同様に 2値画像信号のモデルとして、各画素値を白と黒の矩型で表したものであり、ここでも実施の形態 1 と同様に、説明の簡略化のために、 1画素ずつを順次処理するものとして処理手順を説明する。

同図において、第 4 (a) 図は入力信号、第 4 (b) 図は参照フレームの画像信号である。第 4 (c) 図は当該フレームに基づく予測を説明するための図である。 P 1は実施の形態 1 と同様に、変化画素検出器 2で検出された検出変化画素である。 Pc は復号化済の最終画素位、 Pu は上位置の走査線の画素値の変化画素であるとし、粗い斜線の部分ははまだ符号化されていない画素を表すものとする。変化画素予測器 4 aは実施の形態 1 における変化画素の予測と同様の方法を用いて、上位置の走査線の変化画素 Puに基づいて、相関関係を利用した予測を行い、 Puと同じ水平位置にある P0を当該フレームに基づく予測変化画素とする。

第 4 (b) 図の参照フレームの画像信号は、動き補償器 2 0による動き補償を行った後のものであるとして、変化画素予測器 4 bは、予測変化画素 Pr を取得する。従って、差分値計算器 5 aによる差分値 D は P 1 と P0の差である 1 となり、差分値計算器 5 bによる差分値 D"は P 1 と Prの差である 0 となる。本実施の形態 2の画像符号化装置の設定についても実施の形態 1 と同様に、 POとの差分値が小さいほど短い符号長の符号を割り当てる符号化を行うものとすると、 P 1 と P0の差を符号化するよりも Prと P 1の差を符号化する方が符号長が短くなることとなる。従つて、モード選択器 2 1 の選択は、差分値 D"を出力する「参照フレーム」となり、符号化モード「参照フレーム」と、差分値 D"とが符号化されて、本実施の形態 2の画像符号化装置の出力する符号化信号となる。第 4 (e) 図は、この符号化信号を復号化して得られる復号化結果を示す。

このように、本実施の形態 2の画像符号化装置では、メモリ 3 と、変化画素予測器 4 a、及び 4 b と、差分値計算器 5 a及び 5 b と、動き補償器 2 0 とを備えたものとしたことで、当該フレームに基づく予測と、参照フレームに基づき動き補償を伴った予測とを行い、それそれの予測値と検出結果との差分値を取得し、モード選択器 2 1 と、切り替え器 2 2 と、符号化器 8 a、及び 8 b とを備えたものとしたことで、当該フレ —ムに基づく予測と、動き補償した参照フレームに基づく予測との差分値を比較して、符号長が最小となるものを選択して符号化することができるので、フレーム間の画素相関を利用することによって、符号化に必要なビット数を大幅に削減することができる。

なお、本実施の形態 2の画像符号化装 Sでは、入力信号 1 がブロック単位で入力されるものとし、ブロック単位で符号化モードを選択する設定とする、すなわちブロック単位で当該フレームによる予測に基づく符号化と、参照フレームにより、動き補償を伴った予測に基づく符号化とを適応的に切り替えるものとすることができ、上記の効果が得られる。また、本実施の形態 2の画像符号化装置では、変化画素検出器 2、変化画素予測器 4 a、及び 4 bでは変化画素までの距離（画素数）を出力するものとしたが、 Γ次の画素は変化画素である」、及び「次の画素は変化画素でない」の 2種の状態を示す 2値信号として例えば「 0」と「 1 」とを出力するものとし、差分値計算器 5 a、及び 5 bはかかる 2値信号の差分値を計算するものとすることもできる。ただしこの場合には、上記のように距離を符号化するのではなく、入力信号 1 の各画素に対して、差分値計算器 5 a、及び 5 bの出力を符号化することとなる。このような設定とすることにより、変化画素検出器 2、変化画素予測器 4 a、及び 4 bの出力は 2値となるため、符号化処理の簡便化が図り得るという効果が得られる。

実施の形態 3 .

本発明の実施の形態 3 による画像復号化装置は、実施の形態 2 による画像符号化装置によって効率よく符号化された符号化信号に対して、適切な復号化を行うものである。

第 5図は本発明の実施の形態 3 による画像復号化装置の構成を示すブロック図である。同図において、 3 0 a、及び 3 O bは、第 3図の符号化信号 9 a、及び 9 bに対応する符号化信号であり、それぞれ符号化モ — ドを符号化した信号と、差分値を符号化した信号である。 3 1 a、及び 3 l bは、それぞれ符号化モードを符号化した信号と、差分値を符号化した信号とを復号化して、予測モード信号と復号差分值とを取得する復号化器である。 3 2は、復号化器 3 1 aが取得した予測モード信号に対応して、変化画素の予測値を切り替える切り替え器である。 3 4は復号化された画像信号である。メモリ 3、変化画素復号化器 1 0、及び差分値加算器 1 1 については第 1 図と同様であり、動き補償器 2 0については第 3図と同様であって、説明はそれそれ実施の形態 1 、及び 2 と同様であるので、ここでは省略する。

以上の様に構成された、第 5図に示す本実施の形態 3 による画像復号化装置についてその動作を説明する。実施の形態 2 による画像符号化装置において、選択した符号化モードを符号化した信号 9 aは入力信号 3 0 a として本実施の形態 3の画像復号化装置に入力され、復号化器 3 1 aにおいて復号化されることによって、「当該フレーム」、又は「参照フレーム」を示す予測モード信号が取得される。復号化器 3 1 aは予測モード信号を切り替え器 3 2 に出力する。

また、実施の形態 2 による画像符号化装置において、選択した差分値を符号化した信号 9 bは入力信号 3 0 b として本実施の形態 3の画像復号化装置に入力され、復号化器 3 l bにおいて復号化されることによつて、復号差分値が取得される。復号化器 3 1 bは復号差分値を差分値加算手段 1 1 に出力する。

一方、変化画素予測器 4 aはメモリ 3に蓄積された当該フレームの復号化済みの参照画像を読みだし、該画像信号に基づいて変化画素を予測し、その結果を当該フレームに基づく予測変化画素として切り替え器 3 2 に出力する。

また、動き補憤器 2 0は、メモリ 3に蓄積された参照フレームの復号化済画像に対して動き補償を行い、変化画素予測器 4 bはこの動き補憤された画素に基づいて当該入力信号の変化画素を予測し、その結果を参照フレームに基づく予測変化画素として切り替え器 3 2に出力する。変化画素予測器 4 a、及び 4 bからそれぞれの予測変化画素を出力された切り替え器 2 2は、入力された予測モード信号に従って切り替えを行う。従って、切り替え器 2 2は、入力された予測モード信号が「当該フレーム」を示すものであれば変化画素予測器 4 aから出力された当該フレームに基づく予測変化画素を、入力された予測モード信号が「参照フレーム」を示すものであれば変化画素予測器 4 bから出力された参照フレームに基づく予測変化画素を選択して、差分値加算手段 1 1 に出力する。

差分値加算手段 1 1 は、切り替え器 2 2から取得した予測変化画素に対して、復号化器 3 l bから取得した復号差分値を加算することによつて、変化画素を計算し、その結果を変化画素復号化器 1 0 に出力する。変化画素復号化器 1 0は、変化画素予測手段 4 aの予測変化画素と、差分値加算手段 1 1 から得られた変化画素とに基づいて、その間の画素値を復号化する。この復号化の結果はメモリ 3 に入力されて記憶されるとともに、復号化された画像信号 3 4 として、本実施の形態 3の画像復号化装置から出力される。例えば、実施の形態 2 において第 4図を用いて説明したような符号化信号を入力信号とした場合には、第 4 (e) 図に示すような復号化結果が得られる。

第 6図は、本実施の形態 3の応用例による画像復号化装置の構成を示すブロック図である。第 5図に示した画像復号化装置との相違は、差分値加算手段として 1 l a、及び 1 l bの 2つを有し、切り替え器 3 3は、変化画素予測手段 4 a、及び 4 bの出力でなく、差分値加算手段 1 l a、及び 1 l bの出力を切り替える構成となっている点である。このような構成においても、実施の形態 2による画像符号化装置より出力される符号化信号を、その符号化の際の符号化モードに対応して、適切に復号化することが可能となる。さらに、変化画素復号化器 1 0 を複数備える構成とし、切り替え器の位 Sを該複数の変化画素復号器 1 0の出力を受ける位置としても、同様の効果が得られる。

このように、本実施の形態 3による画像復号化装置では、符号化モードの符号化信号を復号化する復号化器 3 l a と、差分値の符号化信号を復号化する復号化器 3 l b と、当該フレームに基づき変化画素を予測する変化画素予測手段 4 aと、参照フレームに基づき、動き補償を伴って変化画素を予測する変化画素予測手段 4 bと、予測変化画素に基づいて復号処理を行う差分値加算手段 1 1 、及び変化画素復号化器 1 0 とを備え、復号化器 3 1 aが取得する予測モードに応じて、切り替え器が切り替えを行うことにより、符号化の際の符号化モードに対応した予測モードにおいて、当該フレームに基づく予測値を用いる復号化と、参照フレームに基づく予測値を用いる復号化を適応的に切り替えて行い、実施の形態 2 において効率的に符号化された符号化信号を適切に復号化することが可能となる。

なお、実施の形態 2、及び 3 においては、参照フレームとして複数のフレームを準備し、 3通り以上の予測モードを用いることとすることもできる。

また、実施の形態 3 において、ブロック単位で符号化モードを選択して符号化された符号化信号を処理する場合にも、ブロック単位で信号を入力し、ブロックごとに、予測モードを取得して符号化モードに対応した処理を行うことにより、適切に復号化することが可能である。

実施の形態 4 .

本発明の実施の形態 4 による画像符号化装置は、水平走査による予測に基づく符号化と、垂直走査による予測に基づく符号化とを適応的に切り替えて処理を行うものである。

第 7図は本発明の実施の形態 4による画像符号化装 Sの構成を示すブロック図である。同図において、 4 0 a、及び 4 0 bは水平走査器であり、 4 l a、及び 4 l bは垂直走査器である。他の符号については、第 3図と同様であり、説明は実施の形態 2 と同様であるので、ここでは省略する。

このように構成された本実施の形態 4の画像符号化装置についてその動作を説明する。 2値の画像信号である入力信号 1 が装に入力されると、入力信号 1 は水平走査器 4 0 aによって水平方向に走査されて変化画素検出器 2 aに入力され、また、垂直走査器 4 l aによって垂直方向に走査されて変化画素検出器 2 bに入力される。さらに、入力信号 1 は、メモリ 3 にも入力され、メモリ 3 において蓄積されることにより、当該フレームにおける符号化及び復号化済みの参照画像として用いられる。変化画素検出器 2 aは水平方向に走査された入力信号 1 を入力として、 2値の画素値が変化する画素を検出する。変化画素検出器 2 bは垂直方向に走査された入力信号 1 を入力として、 2値の画素値が変化する画素を検出する。変化画素検出器 2 a、及び 2 bは検出した結果を検出変化画素として差分値計算器 5 a、及び 5 bにそれぞれ出力する。

一方、水平走査器 4 0 bは、メモリ 3 に蓄積された当該フレームの符号化及び復号化済みの参照画像を読みだし、水平方向に走査して変化画素予測器 4 aに入力する。変化画素予測器 4 aは変化画素を予測し、その結果を予測変化画素として差分値計算器 5 aに出力する。そして、差分値計算器 5 aは、検出変化画素から予測変化画素を減算し、水平方向走査による差分値 Dhを取得する。差分値計算器 5 aの出力 Dhは、水平方向走査により予測した変化画素の予測誤差に相当するものであって、差分値計算器 5 aは、この差分値 Dh をモード選択器 2 1 と切り替え器 2 2 とに出力する。

—方、垂直走査器 4 l bは、メモリ 3 に蓄稜された当該フレームの符号化及び復号化済みの参照画像を読みだし、垂直方向に走査して変化画素予測器 4 bに入力する。変化画素予測器 4 bは変化画素を予測し、その結果を予測変化画素として差分値計算器 5 bに出力する。そして、差分値計算器 5 bは、検出変化画素から予測変化画素を減算し、垂直方向走査による差分値 Dvを取得する。差分値計算器 5 bの出力 Dvは、垂直方向走査により予測した変化画素の予測誤差に相当するものであって、差分値計算器 5 bは、この差分値 Dv をモード選択器 2 1 と切り替え器 2 2 とに出力する。

モード選択器 2 1 は差分値計算器 5 a、及び 5 bから入力された差分値 Dh と差分値 Dvとについて、それぞれを符号化した際の符号長（符号化に必要なビット数）を比較し、より少ないビット数で符号化できる予測手法を選択して、その識別信号を符号化モードとして出力する。モード選択器 2 1 は差分値 Dh を符号化した際の符号長が短いと判定した場合には符号化モ一ド「水平方向」を、差分値 Dv を符号化した際の符号長が短いと判定した場合には符号化モード「垂直方向 j を、切り替え器 2 2 と、符号化器 8 aとに出力する。

切り替え器 2 2はモード選択器 2 1 の出力に対応して、符号化モード「水平方向」であれば差分値計算器 5 aの出力する差分値 Dh を、符号化モード「垂直方向」であれば差分値計算器 5 bの出力する差分値 Dv を符号化器 8 bに出力する。符号化器 8 aは、モード選択器 2 1 の選択した符号化モードを符号化し、符号化器 8 bは出力された差分値を符号化して、それぞれ符号化信号 9 a、及び 9 b として出力する。

本実施の形態 4の画像符号化装置による符号化は、丸め誤差を伴わないロスレス符号化であって、前述のように入力画像信号 1 は変化画素の画素までの符号化復号化された画素値として、メモリ 3 に記憶される。第 8図は、本実施の形態 4の画像符号化装 Sによる、走査方向切り替えを説明するための図である。画像信号は水平および垂直方向に相関があり、従来の技術による画像符号化方法においてもかかる相関関係を利用して圧縮化を図ることはなされていた。そして、従来の技術による相関関係の利用については、例えば MMR の場合にみられるように、水平方向、又は垂直方向のいずれかの方向における相関関係にのみ基づいて、符号化を行うものであった。しかし、画像を部分的に見れば水平もしくは垂直の一方の相関が他方よりも強いことがある。例えば図 8の様に水平方向の相関が垂直方向の相関よりも強い場合は、垂直方向の予測に基づくよりも水平方向の予測のに基づく方が、画素位置の変化画素の予測誤差が小さくなり、より符号化の効率を向上することが可能となる。従つて、画像の性質に応じて走査の方向を変え、垂直方向の予測と水平方向の予測を切り替えることによって符号化効率を大きく向上することができる。

このように、本実施の形態 4の画像符号化装置では、水平走査器 4 0 a、及び 4 O b と、垂直走査器 4 1 a、及び 4 l bと、変化画素検出器 2 a、及び 2 b と、メモリ 3 と、変化画素予測器 4 a、及び 4 b と、差分値計算器 5 a及び 5 b とを備えたものとしたことで、水平方向の走査による予測と、垂直方向の走査予測とを行い、それぞれの予測値と検出結果との差分値を取得し、モード選択器 2 1 と、切り替え器 2 2 と、符号化器 8 a、及び 8 b とを備えたものとしたことで、水平方向の走査による予測と、垂直方向の走査予測との差分値を比較して、符号長が最小となるものを選択して符号化することができるので、画像の水平相関と垂直相関とについての局所的な変化を利用することによって、符号化に必要なビット数を大幅に削減することができる。

なお、本実施の形態 4の画像符号化装置についても、入力信号 1 がブロック単位で入力されるものとし、ブロック単位で符号化モードを選択する設定とする、すなわち、ブロックごとに水平走査による予測に基づく符号化と、垂直走査による予測に基づく符号化とを適応的に切り替えるものとすることができ、上記の効果が得られる。

また、本実施の形態 4の画像符号化装置についても、実施の形態 2 と同様に、変化画素検出器 2、変化画素予測器 4 a、及び 4 bが変化画素までの距離（画素数）を出力するのでなく、画素の変化状態を示す 2値信号を出力する設定とすることも可能であり、同様に処理負担を軽減することを可能とする。

実施の形態 5 . 本発明の実施の形態 5 による画像復号化装置は、実施の形態 4 による画像符号化装置によって効率よく符号化された符号化信号に対して、適切な復号化を行うものである。

第 9図は本発明の実施の形態 5 による画像復号化装置の構成を示すブロック図である。同図において、 4 0 b、及び 4 l bは図 7 と同様であり、他の符号は図 5 と同様であって、説明はそれぞれ実施の形態 4及び実施の形態 3 と同様であるので、ここでは省略する。

以上の様に構成された、本実施の形態 5 による画像復号化装置についてその動作を説明する。実施の形態 4 による画像符号化装置において、選択した符号化モードを符号化した信号 9 aは入力信号 3 0 a として本実施の形態 5の画像復号化装置に入力され、復号化器 3 1 aにおいて復号化されることによって、「水平方向」、又は「垂直」を示す予測モード信号が取得される。復号化器 3 1 aは予測モード信号を切り替え器 3 2 に出力する。

また、実施の形態 4 による画像符号化装置において、選択した差分値を符号化した信号 9 bは入力信号 3 0 b として本実施の形態 5の画像復号化装置に入力され、復号化器 3 l bにおいて復号化されることによつて、復号差分値が取得される。復号化器 3 1 bは復号差分値を差分値加箅手段 1 1 に出力する。

一方、水平走査器 4 0 bは、メモリ 3 に蓄積された当該フレームの符号化及び復号化済みの参照画像を読みだし、水平方向に走査して変化画素予測器 4 aに入力する。変化画素予測器 4 aは変化画素を予測し、その結果を予測変化画素として切り替え器 2 2 とに出力する。

—方、垂直走査器 4 l bは、メモリ 3 に蓄積された当該フレームの符号化及び復号化済みの参照画像を読みだし、垂直方向に走査して変化画素予測器 4 bに入力する。変化画素予測器 4 bは変化画素を予測し、その結果を予測変化画素として切り替え器 2 2 とに出力する。

変化画素予測器 4 a、及び 4 bからそれそれの予測変化画素を出力された切り替え器 2 2は、入力された予測モード信号に従って切り替えを行う。従って、切り替え器 2 2は、入力された予測モード信号が「水平方向」を示すものであれば変化画素予測器 4 aから出力された水平方向走査に基づく予測変化画素を、入力された予測モード信号が「垂直方向」を示すものであれば変化画素予測器 4 bから出力された垂直方向走査に基づく予測変化画素を選択して、差分値加算手段 1 1 に出力する。

差分値加算手段 1 1 は、切り替え器 2 2から取得した予測変化画素に対して、復号化器 3 1 bから取得した復号差分値を加算することによつて、変化画素を計算し、その結果を変化画素復号化器 1 0に出力する。変化画素復号化器 1 0は、変化画素予測手段 4 aの予測変化画素と、差分値加箅手段 1 1 から得られた変化画素とに基づいて、その間の画素値を復号化する。この復号化の結果はメモリ 3 に入力されて記憶されるとともに、復号化された画像信号 3 4 として、本実施の形態 5の画像復号化装置から出力される。 "

このように、本実施の形態 5による画像復号化装置では、符号化モ一ドの符号化信号を復号化する復号化器 3 l aと、差分値の符号化信号を復号化する復号化器 3 l bと、水平方向走査に基づき変化画素を予測する変化画素予測手段 4 aと、垂直方向走査に基づき変化画素を予測する変化画素予測手段 4 b と、予測変化画素に基づいて復号処理を行う差分値加算手段 1 1、及び変化画素復号化器 1 0 とを備え、復号化器 3 1 a が取得する予測モードに応じて、切り替え器が切り替えを行うことにより、符号化の際の符号化モードに対応した予測モードにおいて、水平方向走査に基づく予測値を用いる復号化と、垂直方向走査に基づく予測値を用いる復号化を適応的に切り替えて行い、実施の形態 4 において効率的に符号化された符号化信号を適切に復号化することが可能となる。なお、本実施の形態 5 においては、実施の形態 3 において、図 5 に示した構成に準じた構成を有する画像復号化装置として説明したが、実施の形態 3 において図 6 に示した構成に準じたものとすることも、また、同実施の形態において説明したように、切り替え器が変化画素復号化器の出力を受けるものとする構成とすることも可能であり、同様に適切な復号化を行うことができる。

また、実施の形態 5 において、ブロック単位で符号化モードを選択して符号化された符号化信号を処理する場合にも、ブロック単位で信号を入力し、ブロックごとに、予測モードを取得して符号化モードに対応した処理を行うことにより、適切に復号化することが可能である。

実施の形態 6 .

本発明の実施の形態 6 による画像符号化装置は、多値画像信号を効率良く符号化するものである。

第 1 0図は本発明の実施の形態 6 による画像符号化装置の構成を示すブロック図である。同図において、入力信号 l aは多値画像信号として本実施の形態 6の画像符号化装置に入力される。 8 a、及び 8 bは符号化器である。このように、多値信号が入力され、処理される点と、符号化器を 2 つ備える構成である点とが実施の形態 1 と異なり、他は図 1 と同様であって、説明は実施の形態 1 と同様であるので、ここでは省略する。

以上の様に構成された、本実施の形態 6 による画像符号化装置についてその動作を説明する。入力信号 l aが入力されると、変化画素検出器 2はこの多値入力信号に対して、最終符号化復号化位置の画素値と、当該位置に後続する位置の画素値とを比較し、各画素ごとに「変化あり」又は「変化なし」の判定をする。そして「変化あり」と判定される画素の数である変化画素数を計算して、変化画素数を所定の値と比較する。ここでは所定値が 6 0であるものとする。「変化あり」と判定され、変化画素数が 6 0以上となった画素を変化画素と判断し、その変化画素の画素値と位置とを検出変化画素として差分値計算器 5、変化画素復号器 1 0、及び符号化器 8 aに出力する。

また変化画素予測器 4は、メモリ 3 に蓄積された当該フレームの符号化復号化済の参照画像を読みだし、これに基づいて、変化画素を予測し、この予測を予測変化画素として差分値計算器 5、差分値加算器 1 1 、及び変化画素復号化手段に出力する。差分値計算器 5は検出変化画素から予測変化画素を減算して得られた差分値を符号化器 8 b と、差分値加算器 1 1 とに出力する。差分値加算器 1 1 は、入力された予測変化画素と差分値を加算して、変化画素復号器 1 0に出力し、変化画素復号化器 1 0は、入力に基づいて変化画素までの画素値および変化画素の画素値を復号化してメモリ 3 に記憶する。

符号化器 8 aと 8 bとは、それそれ入力された変化画素の画素値と、差分値とを符号化し、符号化信号 9 a、及び 9 bを出力する。

このように、本実施の形態 6 による画像符号化装置では、実施の形態 1 と同様の構成において、画素ごとに変化の有無を調べて「変化あり」と判定される画素の数を計算し、しきい値以上の個数の画素が「変化あり」と判定されることとなった画素を変化画素と判断することにより、 2値画像のみでなく多値画像についても同様の符号化を可能とすることができる。

実施の形態 7 .

本発明の実施の形態 7 による画像復号化装置は、実施の形態 6 による画像符号化装置によって符号化された符号化信号に対して、復号化を行つて多値の画像信号を得るものである。第 1 1 図は本発明の実施の形態 7 による画像復号化装置の構成を示すブロック図である。同図において、復号化器 3 l aは、変化画素の画素値を符号化した符号化信号に対して復号化を行い、復号化器 3 1 bは、予測差分値を符号化した符号化信号を復号化する。他は第 5 図と同様であって、説明は実施の形態 3 と同様であるので、ここでは省略する。以上の様に構成された、本実施の形態 7による画像復号化装置についてその動作を説明する。実施の形態 6 による画像符号化装置において、変化画素の画素値を符号化した信号 9 aは入力信号 3 0 a として本実施の形態 7 の画像復号化装置に入力され、復号化器 3 l aにおいて復号化されることによって、復号画素値が得られ、この復号画素値は変化画素復号化器 1 0に入力される。

また、実施の形態 6による画像符号化装置において、予測差分値を符号化した信号 9 bは入力信号 3 O b として本実施の形態 7の画像復号化装置に入力され、復号化器 3 l bにおいて復号化されることによって、復号差分値が得られ、この復号差分値は差分値加算器 1 1 に入力される。一方、変化画素予測器 4はメモリ 3 に蓄積された復号化済みの参照画像を読みだし、該画像信号に基づいて変化画素を予測し、その結果を予測変化画素として変化画素復号化器 1 0 と、差分値加算器 1 1 とに出力する。差分値加算器 1 1 は、入力された予測変化画素と差分値とを加箅して、変化画素復号器 1 0 に出力し、変化画素復号化器 1 0は、入力に基づいて変化画素までの画素値および変化画素の画素値を復号化して多値画像信号 3 4 として出力するとともに、メモリ 3 に記憶する。

このように、本実施の形態 7 による画像復号化装置では、変化画素の画素値を符号化した符号化信号に対して復号化を行う復号化器 3 1 a と. 予測差分値を符号化した符号化信号に対して復号化を行う復号化器 3 1 b とを備えたことで、実施の形態 6 による画像符号化装置において符号化された符号化信号を適切に復号化して多値の画像信号を得ることが可能となる。

実施の形態 8 .

本発明の実施の形態 8 による画像符号化装置は、画像を合成する際の比率を示す透過度信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して、この入力信号を符号化するものである。第 1 2図は、本発明の実施の形態 8 による画像符号化装置の構成を示すブロック図である。同図において、 6 0 aは画素値信号、 6 O bは透過度信号であり、画像信号を構成するものであって、それそれ本実施の形態 8の画像符号化装置に入力信号として入力される。 6 1 はメモリであり、参照画像として用いる符号化及び復号化済みの画像信号等のデ一夕を一時的に記憶する。 6 2 a、及び 6 2 bは、動き検出器であり、参照画像に対して動き検出を行い、動きベクトルを出力する。 6 3 a、及び 6 3 bは動き補償器であり、符号化復号化済の参照フレームの画像信号に対して、動き補償を行って参照画素値を生成する。 6 4 a、及び 6 4 bは、差分値計算器であり、入力信号と、動き補償を伴った信号との差分を計算して差分値を出力する。 6 5 aと 6 7 bは符号化器であり、動きべクトルの符号化を行う。 6 7 aと 6 5 bは符号化器であり、差分値の符号化を行う。 6 6 aと 6 8 bは符号化信号であり、動きベクトルを符号化したものである。 6 7 aと 6 5 bは符号化化信号であり、差分値を符号化したものである。

以上の様に構成された、本実施の形態 8 による画像符号化装置についてその動作を説明する。画像信号は、画素値信号 6 0 aと透過度信号 6 O b として、本実施の形態 8の画像符号化装置に入力される。ここで、透過度信号とは、従来技術の説明において用いた第 5 3 (b) 図に示すものであって、他の画像と合成する際に、各画素をどのような比率で合成するかを表すものである。画素値信号 6 0 aは、メモリ 6 1、動き検出器 6 2 a、及び差分値計算手段 6 4 aに入力され、透過度信号 6 0 bは、メモリ 6 1、動き検出器 6 2 b、及び差分値計算手段 6 4 bに入力される。

動き検出器 6 2 a、及び 6 2 bは、それぞれ入力された信号と、メモリ 6 1から読み出した参照画像の有する符号化済みの画素値とについて比較をすることで動き検出を行い、計算によりそれぞれの信号の動きべクトルを取得する。

動き検出器 6 2 aで取得された画素値信号の動きべクトルは、符号化器 6 5 a、動き補儐器 6 3 a、及びメモリ 6 1 に出力される。動き補償器 6 3 aは、画素値信号の動きべクトルで示される画素値をメモリ 6 1 から読み出して画素値信号の動き補償値を差分値計算器 6 4 aに出力する。

差分値計算器 6 4 aは入力画素値信号と、動き補儐値の差分値を計算によって取得し、これを符号化器 6 7 aに出力する。画素値信号の動きべクトルは符号化器 6 5 aで符号化されて符号化信号 6 6 aになり、差分値は符号化器 6 7 aで符号化されて符号化信号 6 8 aになる。

同様に、動き検出器 6 2 bで取得された透過度信号の動きべクトルは、符号化器 6 7 b、動き補償器 6 3 b、及びメモリ 6 1に出力される。動き補儻器 6 3 bは、透過度信号の動き補償を行い、取得した動き補僂値を差分値計算器 6 4 aに出力する。そして、差分値計算器 6 4 bは 6 4 aと同様に取得した差分値を符号化器 6 7 aに出力する。画素値信号と同様に、透過度信号の動きべクトルは符号化器 6 7 bで符号化されて符号化信号 6 8 bになり、差分値は符号化器 6 5 bで符号化されて符号化信号 6 6 bになる。本実施の形態 8は可逆符号化の例であり、符号化した入力信号はメモリ 6 1に記憶されて、後続の画像信号に対しての符号化に使用される（図示せず）。

このように、本実施の形態 8による画像符号化装置では、画素値信号 6 0 aの処理を行う動き検出器 6 2 a、動き補償器 6 3 a、差分値計算器 6 4 a、符号化器 6 5 a、及び符号化器 6 7 aと、透過度信号 6 0 b の処理を行う動き検出器 6 2 b、動き補償器 6 3 b、差分値計算器 6 4 b、符号化器 6 5 b、及び符号化器 6 7 b とを備えたことで、画素値信号 6 0 a と透過度信号 6 0 b とのそれそれに対して、別個に動き検出を行って動きべクトルを取得し、動き補償を行うことが可能となる。

従来技術の説明において述べたように、従来の技術による画像符号化では、形状情報と画素値情報とからなる画像を符号化する場合、画像の合成に使用される形状情報については、符号化効率の向上のため、画素値情報の動きベクトルを使用して形状情報の動き補儻符号化を行うものであった。従って、本実施の形態 8の入力画像信号のような信号を符号化する場合、画素値信号の動きベクトルを用いて、透過度信号の動き補儐符号化を行うこととなる。しかし、透過度信号は物体の形状を表す信号であるが、その動きべクトルは必ずしも画素値信号の動きべクトルと —致するものではない。回転する円盤の形状は不変であるが、円盤に描かれた絵柄は移動する場合がその例である。従って、かかる場合には画素値信号の動きべクトルと、透過度信号の動きべクトルとの差が大きいことから、画素値信号の動きベクトルを用いて透過度信号の動き補佾を行った場合の動き誤差が大きくなり、差分値の符号化長が長くなつて符号化効率が低下することとなる。

これに対して、本実施の形態 8の画像符号化装置は、透過度信号に対しては、画素値信号の動きべクトルとは別に検出した動きべクトルを用いて動き補僂することにより、入力透過度信号に対して動き補慣信号により精度良く近似することができ、動き補償誤差が小さくなることから、符号化効率が向上する。

なお、本実施の形態 8の画像符号化装置についても、入力信号がプロック単位で入力されるものとし、プロック単位で動き補憤と符号化を行う設定とすることができ、上記の効果が得られる。

実施の形態 9 .

本発明の実施の形態 9 による画像符号化装置は、実施の形態 8 と同様に、透過度信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して、この入力信号を符号化するものである。

第 1 3図は、本発明の実施の形態 8による画像符号化装置の構成を示すブロック図である。同図において、符号は第 1 2図と同じものであり、説明は実施の形態 8 と同様である。本実施の形態 9 による画像符号化装 ffiでは、画素値信号 6 0 aに対する動き検出器 6 2 aが、取得した画素値信号の動きべクトルを透過度信号 6 0 bに対する動き検出器 6 2 に出力し、動き検出器 6 2 bは、入力された画素値信号の動きベクトルの近傍において、透過度信号の動き検出を行う点が実施の形態 8 による画像符号化装置との構成の相違である。

また、本実施の形態 9 よる画像符号化装置の動作についても、動き検出器 6 2 aが上述の出力を行い、動き検出器 6 2 bが上述の検出をする点以外は、実施の形態 8のものと同様の動作となる。

このように、本実施の形態 9による画像符号化装置では、実施の形態 8の構成に基づき、画素値信号 6 0 aに対する動き検出器 6 2 aが、取得した画素値信号の動きべクトルを透過度信号 6 O bに対する動き検出器 6 2 bに出力し、動き検出器 6 2 bは、入力された画素値信号の動きべクトルの近傍において、透過度信号の動き検出を行うものとしたことで、透過度信号の動き検出にあたり、画素値信号における動き検出の結果を用いるものである。画素値信号と透過度信号との動きべクトルは、実施の形態 8に示した例のように大きく異なるものであることもあるが、多くの画像ではほぼ —致する。そこで、透過度信号の動きベクトルを検出する際に、画素値信号の動きべクトル近傍でのみ透過度信号の動きべクトルを検出すれば- 画素値信号と全く独立に行う場合に比べて動き検出に必要な計算回数を削減することができる。なお、画素値信号と独立に動き検出する場合と比較すると、選択可能な動きべクトル数が制限されているので透過度信号の動き補償誤差については多少増加することとなるが、その割合はわずかである。従って、本実施の形態 9の画像符号化装置では、実施の形態 8 と同様に、各信号に対して適切な動き補儻を行うことにより、符号化効率の向上を図るとともに、動き検出の計算回数を削減することがでぎる o

なお、本実施の形態 9の画像符号化装置では、透過度信号の動き検出にあたり、画素値信号の動きベクトルを用いるものとした力⁵、図 1 2 に示した実施の形態 8 による画像符号化装置の構成に基づき、透過度信号 6 O bに対する動き検出器 6 2 bが、取得した透過度信号の動きべク卜ルを画素値信号 6 0 aに対する動き検出器 6 2 aに出力し、動き検出器 6 2 aは、入力された透過度信号の動きベクトルの近傍において、画素値信号の動き検出を行うものとして、画素値信号の動き検出にあたり、透過度信号における動き検出の結果を用いるものとした構成とすることも可能であり、やはり動き検出の計算回数の削減を図ることができる。また、設定によりブロック単位での符号化が可能である点は、実施の形態 8 と同様である。

実施の形態 1 0 .

本発明の実施の形態 1 0による画像符号化装置は、実施の形態 8、及び 9 と同様に、透過度信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して、この入力信号を符号化するものである。第 1 3図は、本発明の実施の形態 1 0 による画像符号化装置の構成を示すブロック図である。同図において、 7 0は動きベクトルの差分計算器であり、動き検出器 6 2 aから取得する画素値信号の動きべクトルと、動き検出器 6 2 bから取得する透過度信号の動きべクトルとの差分べクトルを取得する。符号化器 6 7 bは実施の形態 8では透過度信号の動きべクトルを符号化したが、本実施の形態 1 0では、差分値計算器 7 0が取得する動きべクトルの差分べクトルを符号化する。他の符号は第 1 2 図と同じものであり、説明は実施の形態 8 と同様である。

本実施の形態 1 0 による画像符号化装置の動作については、動き検出器 6 2 a、及び 6 2 bが動きべクトルを差分値計算器 7 0 に出力し、差分値計算器 7 0が上述の差分べクトルを取得して符号化器 6 7 bに出力し、符号化器 6 7 bが動きべクトルの差分べクトルを符号化する点以外は、実施の形態 8のものと同様の動作となる。

このように、本実施の形態 1 0の画像符号化装置では、実施の形態 8 の画像符号化装置の構成に基づき、動きべクトルの差分値計算器 7 0 を追加した構成とすることで、透過度信号の動きべクトルを符号化する代わりに、画素値信号の動きべクトルと透過度信号の動きべクトルとの差分べクトルを符号化する。実施の形態 9 において説明したように両信号の動きぺクトルは相関がある場合が多いので、両信号の動きべクトルの差分べクトルを符号化すれば、差分べクトルの生起頻度が 0べクトル近傍に集中する。その結果、 0ベクトル近傍の差分ベクトルに短い符号長の符号を割り当てる可変長符号化を行うことにより、符号化効率が向上し、より少ないビット数で符号化することが可能になる。

なお、本実施の形態 1 0の画像符号化装置では、透過度信号の動きべクトルを符号化する代わりに、両信号の動きべクトルの差分べクトルを符号化するものとしたが、差分値計算器 7 0が取得した差分べクトルを符号化器 6 7 bでなく 6 5 aに出力する構成も可能であり、画素値信号の動きべクトルを符号化する代わりに、両信号の動きべクトルの差分べクトルを符号化することで、同様の効果を得ることが可能となる。

また、設定によりブロック単位での符号化が可能である点は、実施の形態 8 と同様である。

実施の形態 1 1 .

本発明の実施の形態 1 1 による画像復号化装置は、実施の形態 8による画像符号化装置によって効率よく符号化された符号化信号に対して、適切な復号化を行うものである。

第 1 5図は本発明の実施の形態 1 1 による画像復号化装置の構成を示すブロック図である。同図において、 8 2 a、及び 8 2 bは、第 1 2図の符号化信号 6 8 a、及び 6 6 bに対応する符号化信号であり、画素値信号、及び透過度信号それぞれの差分値を符号化した信号である。 8 0 a、及び 8 0 bは、第 1 2図の符号化信号 6 6 a、及び 6 8 bに対応する符号化信号であり、画素値信号、及び透過度信号それぞれの動きべクトルを符号化した信号である。 8 3 a、及び 8 3 bは復号化器であって、画素値信号、及び透過度信号それぞれの差分値の符号化信号を復号化して、画素値信号、及び透過度信号の復号差分値を出力する。 8 1 a、及び 8 l bは復号化器であって、画素値信号、及び透過度信号それぞれの動きベクトルの符号化信号を復号化して、画素値信号、及び透過度信号の復号動きベクトルを出力する。 6 1はメモリであり、参照画像として用いる符号化及び復号化済みの画像信号等のデータを一時的に記憶する , 6 3 a、及び 6 3 bは動き補儻器であり、復号動きベクトルを用いて動き補償を行う。 8 4 a、及び 8 4 bは差分値加算器であり、復号差分値を用いて加算処理を行う。 8 5 a、及び 8 5 bはは復号化された画像信号である。

以上の様に構成された、本実施の形態 1 1による画像復号化装置についてその動作を説明する。実施の形態 8による画像符号化装置において、画素値信号、及び透過度信号それぞれの差分値を符号化した信号 6 8 a、及び 6 6 bは、入力信号 8 2 a、及び 8 2 bとして本実施の形態 1 1 による画像復号化装置に入力され、復号化器 8 3 a、及び 8 3 bによって復号化され、画素値信号、及び透過度信号の復号差分値として、差分値加算器 8 4 a、及び 8 4 bに出力される。また、実施の形態 8による画像符号化装置において、画素値信号、及び透過度信号それぞれの動きべクトルを符号化した信号 6 6 a、及び 6 8 bは、入力信号 8 0 a、及び 8 O bとして本実施の形態 1 1による画像復号化装置に入力され、復号化器 8 l a、及び 8 l bによって復号化され、画素値信号、及び透過度信号の復号動きベクトルして、動き補憤器 6 3 a、及び 6 3 bに出力される。

動き補償器 6 3 a、及び 6 3 bは、それそれ入力された動きベクトルで示される画素値をメモリ 6 1から読み出して、動き補償を行い、動き補償値を差分値加算器 8 4 a、及び 8 4 bに出力する。差分値加算器 8 4 a、及び 8 4 bは、それそれ入力された復号差分値と動き補償値とを加算処理し、復号化された画像信号 8 5 a、及び 8 5 bとして出力するとともに、メモリ 6 1 において記憶されることとなる。

このように、本実施の形態 1 1 による画像復号化装置では、画素値信号の符号化信号の処理を行う復号化器 8 1 a、及び復号化器 8 3 a、動き補憤器 6 3 a、差分値計算器 8 4 aと、透過度信号の符号化信号の処理を行う復号化器 8 1 b、及び復号化器 8 3 b、動き補償器 6 3 b、差分値計算器 8 4 bを備えたことで、画素値信号の符号化信号 8 0 a、及び 8 2 aと、透過度信号の符号化信号 8 0 b、及び 8 2 bとのそれぞれに対して、別個に復号化処理を行うことが可能となり、適切に復号化して画像信号を得ることが可能となる。

なお、本実施の形態 1 1 による画像復号化装置では、実施の形態 8 による画像符号化装置において得られる符号化信号を復号化するものとしたが、実施の形態 9 による画像符号化装置において得られる符号化信号についても、同様に適切に復号化を行うことが可能である。

また、実施の形態 8、又は 9 において、ブロック単位で入力され、符号化された符号化信号に対しては、ブロック単位で入力し、復号化する設定とすることにより適切に復号化を行えるものである。

実施の形態 1 2 .

本発明の実施の形態 1 2 による画像復号化装置は、実施の形態 1 0 による画像符号化装置によって効率よく符号化された符号化信号に対して. 適切な復号化を行うものである。

第 1 6図は、本発明の実施の形態 1 2 による画像復号化装置の構成を示すブロック図である。同図において、 8 6は動きベクトルの差分値加算器であり、復号動きベクトルと、復号差分動きベクトル、の加算処理を行う。他の符号は第 1 5図と同様であり、説明は実施の形態 1 1 と同様であるので、ここでは省略する。

以上の様に構成された、本実施の形態 1 2 による画像復号化装置についてその動作を説明する。復号化器 8 1 aは入力信号 8 0 aの復号化によって取得した画素値信号の復号動きべクトルを、動き補償器 6 3 aに出力するとともに、動きベクトルの差分値加算器 8 6 にも出力する。復号化器 8 O bには、実施の形態 1 1 の場合のように、透過度信号の動きぺクトルの符号化信号が入力されるのではなく、実施の形態 1 0の差分動きべクトルの符号化信号 6 8 b (第 1 4図）が入力され、復号化器 8 0 bは実施の形態 1 1 の場合のように復号化により透過度信号の動きべクトルを取得するのではなく、差分ベクトルを取得し、この復号差分動きべクトルを動きべクトルの差分値加算器 8 6 に出力する。出力される復号差分動きべクトルは、画素値信号の動きべクトルと透過度信号の動きべクトルとの差分べクトルであるので、この差分べクトルが差分値加算器 8 6 において、画素値信号の復号動きベクトルと加算されることにより、透過度信号の動きベクトルが取得されることとなる。復号化された透過度信号の動きべクトルは、動き補償器 6 3 bに出力される。

他の動作については、実施の形態 1 1 の画像復号化装置における処理と同等となり、画素値信号の復号信号 8 5 aと、透過度信号の復号信号 8 5 bが装置からの出力となる。

このように、本実施の形態 1 2の画像復号化装置では、実施の形態 1 1 の画像復号化装置の構成に基づき、動きべクトルの差分値加算器 8 6 を追加する構成としたことで、復号動きべクトルと復号差分べクトルとの加算を行うことができ、符号化信号として差分べクトルの符号化信号を出力する実施の形態 1 0の出力符号化信号を適切に復号化することが可能である。

なお、実施の形態 1 0においてブロック単位での符号化が行われていた場合にも設定により対応が可能であることは、実施の形態 1 1 と同様である。

実施の形態 1 3 .

本発明の実施の形態 1 3 による画像符号化装置は、物体の形状および各画素の画素値が有意であるかどうかをを示す形状信号と、画素値信号とからなる、ブロック化された形状つき画像信号を入力信号とし、参照画像を参照してこの入力信号を符号化するものである。

第 1 7図は、本発明の実施の形態 1 3 による画像符号化装置の構成を示すブロック図である。同図において、 6 0 aは画素値信号、 6 O bは形状信号であり、画像信号を構成するものであって、それそれ本実施の形態 8の画像符号化装置に入力信号として入力される。 6 9 a、及び 6 9 bは復号化器であり、符号化器 6 7 a、及び 6 5 bから出力される差分値の符号化信号を復号化する。 7 5 a、及び 7 5 bは差分値加算器であり、復号化された差分値と動き補償値とを加算処理して、メモリ 6 1 に記憶させる。他の符号については、図 1 2 と同様であり、説明は実施の形態 8 と同様であるので、ここでは省略する。

以上の様に構成された、本実施の形態 1 3 による画像符号化装置についてその動作を説明する。入力信号であるプロック化された形状つき画像信号は、画素値信号 6 0 aと形状信号 6 O b として、本実施の形態 1 3の画像符号化装置に入力される。ここで、形状信号とは、従来技術の説明において用いた第 5 3 図に示すものであって、第 5 3 (c) 図に示す 2値情報、又は第 5 3 (d ) 図に示す多値情報となる。多値情報である場合は、実施の形態 8 における透過度信号と同様のものとなる。

本実施の形態 1 3の画像符号化装置においては、実施の形態 8 と同様の処理により、画素値信号と形状信号とがそれそれ符号化されて、画素値信号の動きべクトルの符号化信号 6 6 a、画素値信号の差分値の符号化信号 6 8 a、形状信号の動きベクトルの符号化信号 6 6 b、及び形状信号の差分値の符号化信号 6 8 bが得られる。

実施の形態 8による装置では、符号化された信号がメモり 6 1 に入力されていたが、本実施の形態 1 3では、符号化された差分値がそれぞれ復号化器 6 9 a、及び 6 9 bで復号化されて、差分値加算器 7 5 a、及び 7 5 bに出力され、差分値加算器 7 5 a、及び 7 5 bにおいて、動き補償器 6 3 a、及び 6 3 bから出力された動き補償値を加算された上でメモリ 6 1 に入力される。従って、符号化に用いられる参照画像は、符号化及び復号化され、動き補償値を加算されたものとなる点が実施の形態 8 と異なる。

このように、本実施の形態 1 3 による画像符号化装置では、実施の形態 8 による画像符号化装置の構成に基づき、復号化器 6 9 a、及び 6 9 b と、差分値加算器 7 5 a、及び 7 5 b とを追加する構成としたことで、実施の形態 8 と同様に、動き補懍誤差を小さくすることによって、符号化効率の向上が図れることに加えて、若干の処理負担の増大を伴うこととはなるが、参照画像として符号化及び復号化され、動き補償値を加算されたより適切な信号を用いることにより、一層の動き補償誤差の減少を図ることが可能となる。

なお、本実施の形態 1 3 による画像符号化装置で出力される符号化信号は、実施の形態 8のものと同様に、実施の形態 1 1 による画像復号化装置において、適切に復号化することができる。

実施の形態 1 4 .

本発明の実施の形態 1 4 による画像符号化装置は、実施の形態 1 3 と同様に、形状信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して、この入力信号を符号化するものである。

第 1 8図は、本発明の実施の形態 1 4 による画像符号化装置の構成を示すブロック図である。同図において、符号は第 1 7図と同じものであり、説明は実施の形態 1 3 と同様である。本実施の形態 1 4 による画像符号化装置では、実施の形態 9 と同様に、画素値信号 6 0 aに対する動き検出器 6 2 aが、取得した画素値信号の動きべクトルを透過度信号 6 O bに対する動き検出器 6 2 bに出力し、動き検出器 6 2 bは、入力された画素値信号の動きべクトルの近傍において、透過度信号の動き検出を行う点が実施の形態 1 3 による画像符号化装置との構成の相違である , また、本実施の形態 1 4による画像符号化装置の動作についても、動き検出器 6 2 aが上述の出力を行い、動き検出器 6 2 bが上述の検出をする点以外は、実施の形態 1 3のものと同様の動作となる。

このように、本実施の形態 1 4 による画像符号化装置では、実施の形態 1 3の構成に基づき、画素値信号 6 O aに対する動き検出器 6 2 aが、取得した画素値信号の動きべクトルを形状信号 6 O bに対する動き検出器 6 2 bに出力し、動き検出器 6 2 bは、入力された画素値信号の動きべクトルの近傍において、形状信号の動き検出を行うものとしたことで、実施の形態 9 と同様に形状信号の動き検出にあたり、画素値信号における動き検出の結果を用いることとして、動き検出の計算回数を削減できるものである。

なお、形状信号の動きベクトルの近傍において、画素値信号の動きべクトルを検出するようにする構成とできる点は実施の形態 9 と同様であり、本実施の形態 1 4の画像符号化装置で得られる符号化信号が、実施の形態 1 1 による画像復号化装置で復号化できる点は実施の形態 1 3 と同様である。

実施の形態 1 5 .

本発明の実施の形態 1 5 による画像符号化装置は、実施の形態 1 3 、及び 1 4 と同様に、形状信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して、この入力信号を符号化するものである。第 1 9図は、本実施の形態 1 5 による画像符号化装置の構成を示すブロック図である。同図において、動きべクトルの差分計算器 7 0は第 1 3図に示す実施の形態 1 0 と同様である。又、符号化器 6 7 bも実施の形態 1 0 と同様に、差分値計算器 7 0が取得する動きべクトルの差分べクトルを符号化する。他の符号は第 1 7図と同じものであり、説明は実施の形態 1 3 と同様である。

本実施の形態 1 5 による画像符号化装置の動作については、動き検出器 6 2 a、及び 6 2 bが動きベクトルを差分値計算器 7 0 に出力し、差分値計算器 7 0が上述の差分べクトルを取得して符号化器 6 7 bに出力し、符号化器 6 7 bが動きべクトルの差分べクトルを符号化する点は実施の形態 1 0 と同様であり、他の動作は実施の形態 1 3のものと同様である。

このように、本実施の形態 1 5の画像符号化装置では、実施の形態 1 3の画像符号化装置の構成に基づき、動きべクトルの差分値計算器 7 0 を追加した構成とすることで、形状信号の動きべクトルを符号化する代わりに、画素値信号の動きべクトルと形状信号の動きべクトルとの差分ベクトルを符号化する。従って、実施の形態 1 0 と同様に、可変長符号化を行うことにより、一層の符号化効率の向上を図ることが可能となる。なお、画素値信号の動きベクトルを符号化する代わりに、差分べクトルを符号化する設定とすることも可能である点は、実施の形態 1 0 と同様である。

また、本実施の形態 1 5 による画像符号化装置で出力される符号化信号は、実施の形態 1 0のものと同様に、実施の形態 1 2 による画像復号化装において、適切に復号化することができる。

実施の形態 1 6 .

本発明の実施の形態 1 6 による画像符号化装 Bは、実施の形態 1 3 〜 1 5 と同様に、形状信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して、この入力信号を符号化するものである。第 2 0図は、本発明の実施の形態 1 6 による画像符号化装置の構成を示すブロック図である。同図において、 9 0は動き検出判定器であり、入力形状信号 6 0 b と動き検出器 6 2 aの出力する画素値信号の動きべクトルとを入力して、画素値信号の動きべクトルによる形状信号の動き補儻の可否を判定し、該判定に応じて形状信号の動き検出器 6 2 bに動き検出を行うか否かの指示を出力する。以上の様に構成された、本実施の形態 1 6 による画像符号化装置についてその動作を説明する。本実施の形態 1 6 による画像符号化装置に入力された画素値信号 6 0 aの処理については、動き検出器 6 2 aで取得された画素値信号の動きべクトルが動き検出判定器 9 0にも出力される点以外は、実施の形態 1 3 と同様に処理され、画素値信号の動きべクトルの符号化信号 6 6 aと、画素値信号の差分値の符号化信号 6 8 aとが得られる。

—方、入力形状信号 6 O bについては、まず動き検出判定器 9 0 に入力される。動き検出判定器 9 0は、入力された画素値信号の動きべクトルを用いて入力形状信号 6 0 bの動き補償を行い、動き補憒された形状信号と、入力された形状信号 6 O b とを比較して、一致しているかどうかを調べる。そして、一致していれば動き検出器 6 l bに対して、画素値信号の動きべクトルを出力し、動き検出器 6 1 bは形状信号に対する動き検出を実行せず、入力された画素値信号の動きべクトルをもって、形状信号の動きべクトルとする。逆に、動き検出判定器 9 0による比較の結果が一致しなければ、動き検出判定器 9 0は、動き検出器 6 l bに動き検出を行うように指示を出力し、動き検出器 6 l bによる動きべクトルの計算が行われる。形状信号についても、これ以降の処理は実施の形態 1 3 と同様となり、符号化信号 6 6 b、及び 6 8 bが得られる。このように、本実施の形態 1 6による画像符号化装置では、実施の形態 1 3 による画像符号化装置に、動き検出判定器 9 0 を追加する構成としたことで、入力画素値信号の動きべクトルを用いて入力形状信号の動き補償を行うことの可否を判定し、可能と判定する場合には、入力形状信号に対しての動き検出を行わないことにより、計算を省略することによって処理負担の低減を図ることができる。又、不可能と判定する場合には、実施の形態 1 3 と同様、形状信号に対しての動き検出を行うので、符号化効率や、符号化信号の画質に影響を与えない。

なお、本実施の形態 1 6では、動き補償された形状信号と、入力された形状信号とがー致している場合に形状信号に対する動き検出を行わないものとしたが、動き補償誤差の増加による若干の符号化効率の劣化が許容できるのであれば、判定において動き補償による誤差が所定値以下の場合にも動き検出を行わないものとする設定も可能であり、さらなる処理負担の低減を図ることが可能となる。

実施の形態 1 7 .

本発明の実施の形態 1 7 による画像符号化装置は、実施の形態 1 3 ~ 1 6 と同様に、形状信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して、この入力信号を符号化するものである。第 2 1 図は、本発明の実施の形態 1 7 による画像符号化装置の構成を示すブロック図である。同図において、 9 3は切り替え判定器であり、画素値信号、及び形状信号の動きベクトルを入力して、実施の形態 1 6 と同様に、画素値信号の動きベクトルを用いての形状信号の動き補償の可否の判定を行い、その判定に応じて、切り替え器 9 4に対する指示を行う。切り替え器 9 4は、切り替え判定器 9 3の指示に対応して、差分値計算器 7 0 に対する出力を、画素値信号の動きベクトルとするか、形状信号の動きべクトルとするかを切り替える。動きべクトル用メモリ 9 5は切り替え器 9 4から出力された動きべクトルを遅延させて差分検出器 7 0 に入力するために、一時記憶を行う。他の符号は、第 1 9図と同様であり、説明は実施の形態 1 5 と同様である。

本実施の形態 1 7 の装置の動作についても、切り替え判定器 9 3の判定により、差分値計算器 7 0 によって取得される差分動きべクトルが異なる点以外は実施の形態 1 5 と同様となるので、その点についてのみ動作の説明を行う。切り替え判定器 9 3は、直前に符号化した入力信号について、その画素値信号の動きべクトルの符号化信号と、形状信号の動きべクトルとを入力して比較することにより、直前に符号化した入力信号において、その形状信号の動きべクトルが符号化されていたかどうかを調べる。即ち、直前に符号化した信号を処理することにより、符号化器 6 7 bから得られた差分動きべクトルの符号化信号は、画素値信号の動きべクトルと形状信号の動きべクトルとの差分べクトルであつたか、形状信号の動きべクトル同士の差分べクトルであつたかを調べる。そして、形状信号の動きべクトル同士の差分べクトルが符号化されていた場合には、切り替え器 9 4に指示を送ることによって、遅延用メモリ 9 5 に形状信号から検出した動きベクトルを入力させる。従ってこの場合、差分値計算器 7 0 は遅延用メモリ 9 5から取得する当該直前に符号化した形状信号の動きべクトルと、入力形状信号から検出した動きべクトルとの差分べクトルを取得し、符号化器 6 7 bは、この差分ベクトルを符号化する。一方、直前の入力信号において、画素値信号の動きベクトルと形状信号の動きべクトルとの差分べクトルが符号化されていた場合は、切り替え器 9 4 に指示を送ることにより、実施の形態 1 5 と同様に、両信号の動きべクトルの差分べクトルが符号化されることとなる。

このように、本実施の形態 1 7の画像符号化装置では、実施の形態 1 5 による画像符号化装置の構成に基づいて、切り替え判定器 9 3 と、切り替え器 9 4 と、遅延用メモリ 9 5 とを追加する構成としたことにより、直前に形状信号の動きぺクトルが符号化されている場合には、その動きべクトルと検出した動きべクトルとの差分べクトルを取得して符号化するので、相関性の髙ぃ形状信号同士の動きべクトルの差分を用いることで符号化効率を向上することが可能となる。

なお、本実施の形態 1 7 については、形状信号の動きベクトルについてかかる判定と差分べクトルの符号化を行うものとしているが、画素値信号の動きべクトルについてかかる判定と差分べクトルの符号化を行うものとすることも可能であり、同様に符号化効率の向上を図ることができる。

実施の形態 1 8 .

本発明の実施の形態 1 8 による画像符号化装置は、形状情報と、透過度情報との少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号として、各信号に適したモードにおいて符号化するものである。

第 2 2図は、本発明の実施の形態 1 8 による画像符号化装 Bの構成を示すブロック図である。同図において、 1 0 1 は、入力される画像信号であり、形状情報と、透過度情報との少なくとも一方と、画素値情報とから構成される。 1 0 2はブロック化器であり、入力画像信号 1 0 1 をブロック化し、ブロック化された形状信号 1 0 3、ブロック化された透過度信号 1 0 5、及びブロック化された画素値信号 1 0 7 を出力する。 1 1 0は形状符号化モード判定器、 1 1 4は透過度符号化モード判定器、 1 1 6は画素値符号化モード判定器であり、それそれ、形状信号 1 0 3、透過度信号 1 0 5、及び画素値信号 1 0 7 に対して、適切な符号化モ一ドを判定して、形状符号化モード 1 1 1、透過度符号化モード 1 1 5、及び画素値符号化モード 1 1 9 を出力する。 1 1 2は形状符号化器、 1 1 6は透過度符号化器、 1 2 0は画素値符号化器であり、それぞれモ一ド判定器の判定に従って、それそれ信号を符号化し、形状符号化信号 1 1 3、透過度符号化信号 1 1 7、画素値符号化信号 1 2 1 を出力する。 1 2 2はモード符号化器であり、符号化モード 1 1 1、 1 1 5、及び 1 1 9 をまとめて符号化し、モード符号化信号 1 2 3 を出力する。

以上の様に構成された、本実施の形態 1 8 による画像符号化装置についてその動作を説明する。まず、形状情報、透過度情報、及び画素値情報から構成される入力画像信号 1 0 1 が、本実施の形態 1 8の画像符号化装置に入力される。ここで、透過度情報と形状情報とについて、従来技術の説明に用いた第 5 3図によって説明する。透過度情報とは、第 5 3 (a) 図に示す画像を他の画像と合成する際に、各画素をどのような比率で合成するかを表すものであって、基本的には第 5 3 (d) 図に示されるような多値情報である。形状情報は、第 5 3 (c) 図で示される 2値の情報であって、透過度情報を 0又は非 0 として 2値化したものであり、物体が「ある/ない」を示す情報となる。なお、透過度情報が完全透過と完全不透過の 2通りしか存在しない場合は、上述のことから形状情報のみで表現でき、透過度情報は不要である。従って、この場合には、形状情報と画素値情報のみを符号化または復号化すればよいこととなる。ブロック化器 1 0 2は、入力画像信号 1 0 1 に対して、形状情報 ' 透過度情報と画素値情報との画素値の対応関係に基づいて、複数の画素を統合してブロック化し、ブロック化された形状信号 1 0 3、ブロック化された透過度信号 1 0 5、及びブロック化された画素値信号 1 0 7 を出力する。形状信号 1 0 3は形状符号化モード判定器 1 1 0 と形状符号化器 1 1 2 とに、透過度信号 1 0 5は透過度符号化モード判定器 1 1 4 と透過度符号化器 1 1 6 とに、そして、画素値信号 1 0 7は、画素値符号化モード判定器 1 1 8 と画素値符号化器 1 2 0 とに出力される。

形状符号化モード判定器 1 1 0、透過度符号化モード判定器 1 1 4 、及び画素値符号化モード判定器 1 1 8は、それそれ入力された形状信号 1 0 3、透過度信号 1 0 5、及び画素値信号 1 0 7 に対して、適切な符号化モードを判定して、形状符号化モード 1 1 1 、透過度符号化モード 1 1 5、及び画素値符号化モード 1 1 9 を出力する。各符号化モードは、各符号化器に出力されるとともに、モード符号化器 1 2 2 にも出力される。

形状符号化器 1 1 2、透過度符号化器 1 1 6、及び画素値符号化器 1 2 0は、それそれ入力された符号化モードに対応して、それぞれ入力された信号を出力し、形状符号化信号 1 1 3、透過度符号化信号 1 1 7、及び画素値符号化信号 1 2 1 を出力する。一方、モード符号化器 1 2 2 は、入力された各符号化モードをまとめて符号化し、モード符号化信号 1 2 3 を出力する。形状符号化信号 1 1 3、透過度符号化信号 1 1 7、画素値符号化信号 1 2 1 、及びモード符号化信号 1 2 3が、本実施の形態 1 8 による画像符号化装置の符号化出力となる。

このように、本実施の形態 1 8による画像符号化装置では、入力画像信号をブロック化し、かつ形状信号、透過度信号、及び画素値信号に分離して出力するブロック化器 1 0 1 と、各信号に適した符号化モードを判定する符号化モード判定器 1 1 0、 1 1 4、及び 1 1 8 と、各信号を符号化モードに対応して符号化する符号化器 1 1 2、 1 1 6、及び 1 2 0 と、符号化モードをまとめて符号化するモード符号化器 1 2 2 とを備えたことで、分離した各信号に適したモードでの符号化を行い、その選択したモードに関する情報は、まとめて符号化することが可能となる。形状情報、透過度情報、及び画素値情報については、互いに相関があることが多く、従って同じ符号化モードが選択されやすくなる。そこで、同じモードとなる符号が短い符号長となる可変長符号化を行うことにより、モード符号化信号のビット数を削減することが可能となる効果が得られる。

実施の形態 1 9 .

本発明の実施の形態 1 9による画像符号化装置は、実施の形態 1 8 と同様に、形状情報と、透過度情報との少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号として、各信号に適したモードにおいて符号化するものである。

第 2 3 図は、本発明の実施の形態 1 9 による画像符号化装置の構成を示すブロック図である。同図において、形状符号化モード判定器 1 1 0 は、形状信号 1 0 3 に適応した符号化モ一ドを判定し、その判定結果を符号化モードとして形状符号化器 1 1 2、及びモード符号化器 1 2 2 に出力するとともに、透過度符号化モード判定器 1 3 0、及び画素値符号化モード判定器 1 3 2にも出力する。そして、透過度符号化モード判定器 1 3 0は、入力された形状符号化モード 1 1 1 を参照して判定を行い、その判定結果を符号化モードとして透過度符号化器 1 1 6、及びモード符号化器 1 2 2 に出力するとともに、画素値符号化モード判定器 1 3 2 にも出力する。画素値符号化モード判定器 1 3 2は、入力された形状符号化モード 1 1 1 、及び透過度符号化モード 1 1 5 を参照して判定を行 Ό o

本実施の形態 1 9の画像符号化装置の動作については、上記各モード判定器の判定を除いては実施の形態 1 8 と同様となり、同様に、形状符号化信号 1 1 3、透過度符号化信号 1 1 7、画素値符号化信号 1 2 1、及びモード符号化信号 1 2 3が出力される。

このように、本実施の形態 1 9による画像符号化装置では、形状符号化モードを参照して、透過度信号の符号化モードを判定する透過度符号化モード判定器 1 3 0 と、形状符号化モード、及び透過度符号化モードの双方を参照して画素値信号の符号化モードを判定する画素値符号化モード判定器 1 3 2 とを備えたことで、選択されるモードが同じものとなりやすくする。従って、モードが一致する場合に短い符号を割り当てるモード符号化器 1 2 2では、実施の形態 1 8 よりもさらに可変長符号化の効率が向上してモード符号化信号のビット数を削減することができるという効果が得られる。実施の形態 2 0 .

本発明の実施の形態 2 0 による画像符号化装置は、実施の形態 1 9 と同様に、モード符号化信号の符号化効率を向上するものである。

第 2 4図は、本発明の実施の形態 2 0 による画像符号化装置の構成を示すブロック図である。同図において、画素値符号化モード判定器 1 1 8は、画素値信号 1 0 7 に適応した符号化モードを判定し、その判定結果を符号化モードとして画素値符号化器 1 2 0、及びモード符号化器 1 2 2 に出力するとともに、透過度符号化モード判定器 1 3 6、及び形状符号化モード判定器 1 3 8 にも出力する。そして、透過度符号化モード判定器 1 3 6は、入力された画素値符号化モード 1 1 9 を参照して判定を行い、その判定結果を符号化モードとして透過度符号化器 1 1 6、及びモード符号化器 1 2 2 に出力するとともに、形状符号化モード判定器 1 3 8 にも出力する。形状符号化モード判定器 1 3 8は、入力された画素値符号化モード 1 1 9、及び透過度符号化モード 1 1 5 を参照して判定を行う。

本実施の形態 2 0の画像符号化装置の動作については、上記各モード判定器の判定を除いては実施の形態 1 8 と同様となり、同様に、形状符号化信号 1 1 3、透過度符号化信号 1 1 7、画素値符号化信号 1 2 1 、及びモード符号化信号 1 2 3が出力される。

このように、本実施の形態 2 0による画像符号化装置では、画素値符号化モードを参照して、透過度信号の符号化モードを判定する透過度符号化モード判定器 1 3 6 と、画素符号化モ一ド、及び透過度符号化モードの双方を参照して形状信号の符号化モードを判定する形状符号化モード判定器 1 3 8 とを備えたことで、選択されるモードが同じものとなりやすくする。従って、モードが一致する場合に短い符号を割り当てるモード符号化器 1 2 2では、実施の形態 1 8 よりもさらに可変長符号化の効率が向上してモード符号化信号のビット数を削減することができるという効果が得られる。

実施の形態 2 1 .

本発明の実施の形態 2 1 による画像復号化装置は、実施の形態 1 8 による画像符号化装置によって効率よく符号化された符号化信号に対して適切な復号化を行うものである。

第 2 5図は本発明の実施の形態 2 1 による画像復号化装置の構成を示すブロック図である。同図において、入力信号 1 1 3、 1 1 7、 1 1 9、及び 1 2 3は、実施の形態 1 8による画像符号化装置において出力される形状符号化信号 1 1 3、透過度符号化信号 1 1 7、画素値符号化信号 1 1 9、及びモード符号化信号 1 2 3である。 1 5 0はモード復号化器であり、モード符号化信号 1 2 3 を復号化して、形状符号化モード 1 5 1、透過度符号化モード 1 5 3、及び画素値符号化モード 1 5 5 を出力する。 1 5 6は形状復号化器、 1 5 8は透過度復号化器、 1 6 0は画素値復号化器であり、それそれ、モード復号化器 1 5 0から入力される符号化モードに応じて、形状符号化信号 1 1 3、透過度符号化信号 1 1 7、及び画素値符号化信号 1 1 9 を復号化し、形状復号化信号 1 5 7、透過度復号化信号 1 5 9、及び画素値復号化信号 1 6 1 を出力する。 1 6 2 は逆プロック化器であり、形状復号化信号 1 5 7、透過度復号化信号 1 5 9、及び画素値復号化信号 1 6 1 を入力してこれらを統合し、復号画像信号 1 6 3 を出力する。

以上の様に構成された、本実施の形態 2 1 による画像復号化装置についてその動作を説明する。本実施の形態 2 1 による画像復号化装置に、形状符号化信号 1 1 3、透過度符号化信号 1 1 7、画素値符号化信号 1 1 9、及びモード符号化信号 1 2 3が入力され、それぞれ、形状復号化器 1 5 6、透過度復号化器 1 5 8、画素値復号化器 1 6 0、及びモード復号化器 1 5 0 に入力される。

モード復号化器 1 5 0は、モード符号化信号 1 2 3 を復号化して、形状符号化モ一ド 1 5 1 、透過度符号化モード 1 5 3、及び画素値符号化モード 1 5 5 を、それそれ形状復号化器 1 5 6、透過度復号化器 1 5 8、及び画素値復号化器 1 6 0 に出力する。形状復号化器 1 5 6、透過度復号化器 1 5 8、及び画素値復号化器 1 6 0は、それそれ入力された符号化モードに対応して、入力された符号化信号を復号化し、形状復号化信号 1 5 7、透過度復号化信号 1 5 9、及び画素値復号化信号 1 6 1 を逆ブロック化器 1 6 2 に出力する。逆ブロック化器 1 6 2は入力された復号化信号を統合して、復号画像信号 1 6 3 を出力する。

このように、本実施の形態 2 1 による画像復号化装置では、モード復号化器 1 5 0 と、形状復号化器 1 5 6、透過度復号化器 1 5 8、画素値復号化器 1 6 0、及び逆ブロック化器 1 6 2 を備えたことで、実施の形態 1 8 による画像符号化装置で得られた符号化信号に対し、適切に復号化し、又統合処理して、復号画像信号 1 6 3 を得ることが可能となる。なお、本実施の形態 2 1 の画像復号化装置では、実施の形態 1 8 による画像符号化装置で得られた符号化信号を復号化するものとしたが、実施の形態 1 9、及び 2 0による画像符号化装重で得られた符号化信号についても、同様に適切な復号化を行うことが可能である。

実施の形態 2 2 .

本発明の実施の形態 2 2 による画像符号化装置は、画面内/画面間符号化を入力信号に適応して切り替えて符号化を行うものである。

第 2 6図は、本発明の実施の形態 2 2 による画像符号化装置の構成を示すブロック図である。同図において、 1 7 8は画素値符号化の画面内 /画面間符号化判定器であり、画素値信号の符号化のモードについて、画面内、又は画面間の判定を行い、画素値信号の符号化モード 1 1 9 を出力する。 1 3 8は形状符号化モード判定器であり、第 2 4図の 1 3 8 に示す実施の形態 2 0 における形状符号化モード判定器に相当する。 1 7 0、及び 1 7 6はスィツチであって、判定器 1 Ί 8の出力に応じて切り替えられ、形状信号の符号化モードを決定する。 1 7 2は形状符号化の画面内/画面間符号化判定器であり、形状信号の符号化のモードについて、画面内、又は画面間の判定を行い、判定の結果により形状信号の符号化モード 1 7 3 を出力する。他の符号については、第 2 2図と同様であり、説明は実施の形態 1 8 と同様である。

以上の様に構成された、本実施の形態 2 2 による画像符号化装置についてその動作を説明する。まず、入力画像信号 1 0 1 が、本実施の形態 2 2の画像符号化装置に入力されると、ブロック化器 1 0 2は実施の形態 1 8 と同様に、ブロック化と信号の分離とを行い、画素値信号と形状信号を出力する。

分離された画素値信号 1 0 7が画素値符号化の画面内ノ画面間符号化判定器 1 Ί 8 に入力されると、判定器 1 7 8は画素値信号 1 0 7 に対して、画面内符号化もしくは画面間符号化のいずれで符号化すぺきかを判定し、その判定の結果を、「画面内」、または「画面間」のいずれかを示す画素値符号化モード 1 1 9 として、画素値符号化器 1 2 0 と、モード符号化器 1 2 2、及び形状符号化モード判定器 1 3 8に出力する。形状符号化モード判定器 1 3 8では、スィッチ 1 7 0 と 1 7 6 とが、画素値符号化モード 1 1 9に応じて切り替えられる。画素値符号化モードが「画面内」を示す場合には判定器 1 Ί 8 に入力されないように、「画面間」を示す場合には判定器 1 Ί 8に入力されるように切り替えられる。従って、画素値符号化モード 1 1 9が画面内符号化を示す場合、判定器 1 3 8からは画面内符号化を示す形状判定モード 1 1 1 が出力されることとなる。 —方、画素値符号化モード 1 1 9 が画面間符号化を示す場合は、形状信号 1 0 5 に対応して、当該形状信号を画面内符号化もしくは画面間符号化のいずれで符号化すべきかを画面内/画面間符号化判定器 1 7 2が判定し、その判定結果が形状符号化モード 1 1 1 として出力される。いずれの場合にも、形状符号化モ一ド 1 1 1 は、形状符号化器 1 1 2 と、モード符号化器 1 2 2 とに出力される。そして、画素値符号化器 1 2 0、形状符号化器 1 1 2、及びモード符号化器 1 2 2の動作は実施の形態 1 8 と同様となり、各符号化信号が出力される。

以上の動作をすることから、本実施の形態 2 2 による画像符号化装置では、画素値信号が画面内符号化される場合には、形状信号は必ず画面内符号化されることとなる。一般に、画素値が一致しない場合には形状も一致しないので、画素値信号が画面内符号化されるべきもの、即ち時間的に相関が少ないものである場合には、本実施の形態 2 2の様に形状信号の符号化の符号化モード数を制限しても、形状信号の符号化の符号化効率は殆ど劣化しない。

また、はめ込み画像（合成画像）等の様に合成の際の形状信号が一定であっても合成される画素値が変化する場合があり、かかる場合等には画素値信号によって画面間符号化が選択されても、形状信号について画面間符号化が適切であるとは限らない。本実施の形態 2 2の装置では、画素値信号について画面間符号化が選択された場合には、形状信号については画面内/画面間のいずれとするかを判定することとなるので、形状信号の符号化は画面内符号化の符号化モードをも選択可能であり、形状信号の符号化において不適切な画面間符号化を行ってしまうことによりの符号化効率が大きく劣化することを防止できる。

また、形状信号もしくは画素値信号の少なくとも一方が画面間符号化されている場合には、画面間符号化において実行する動き補償等のために必要な多くの付加情報が必要となる。本実施の形態 2 2 による画像符号化装置では、形状信号のみが画面間符号化されることがないので、画素値信号について画面内符号化が選択された場合にはビット数が節約できることとなる。一般に、上記の付加情報については、画素値信号を画面内符号化した場合のビット数よりは少ないが、形状信号の画面内符号化に必要なビット数と比較すると無視できない程度のビット数であるので、その効果も大きい。

このように、本実施の形態 2 2の画像符号化装置によれば、画素値符号化の画面内/画面間符号化判定器 1 7 8 と、形状符号化の画面内/画面間符号化判定器 1 Ί 2 を内包する形状符号化モード判定器 1 3 8 とを備えたことで、画素値信号の符号化モードが画面内符号化の場合には形状信号の符号化モードを画面内符号化とし、画素値信号の符号化モードが画面間符号化の場合には、形状信号の符号化モードについての判定を行って選択するので、画素値信号の符号化モード 1 1 9 と形状信号の符号化モード 1 1 1 との相関を高めてモード符号化信号のビット数の削減を図り、かつ画面間符号化を行うという選択を抑制することにより、動き補償のための付加情報のビット数の抑制も可能となる。

実施の形態 2 3 .

本発明の実施の形態 2 3による画像符号化装置は、符号化における動きべクトルの数を入力信号に適応して切り替えて符号化を行うものである。

第 2 7図は、本発明の実施の形態 2 3 による画像符号化装置の構成を示すブロック図である。同図において、 1 8 8は画素値符号化の動きべクトル数判定器であり、画素値信号の符号化のモードにおいて、動きべクトルの数を幾つとするかの判定を行い、画素値信号の符号化モード 1 1 9を出力する。 1 3 8は形状符号化モード判定器であり、第 2 4図の 1 3 8 に示す実施の形態 2 0における形状符号化モード判定器に相当する。 1 8 0、及び 1 8 6はスィッチであって、判定器 1 8 8の出力に応じて切り替えられ、形状信号の符号化モードを決定する。 1 8 2は形状符号化の動きべクトル数判定器であり、形状信号の符号化のモードについて、動きベクトル数を幾つとするかの判定を行い、判定の結果により形状信号の符号化モード 1 8 3 を出力する。他の符号については、第 2 2図と同様であり、説明は実施の形態 1 8 と同様である。

以上の様に構成された、本実施の形態 2 3 による画像符号化装置についてその動作を説明する。まず、入力画像信号 1 0 1 が、本実施の形態 2 3の画像符号化装置に入力されると、ブロック化器 1 0 2は実施の形態 1 8 と同様に、ブロック化と信号の分離とを行い、画素値信号と形状信号を出力する。

分離された画素値信号 1 0 7が画素値符号化の動きぺクトル数判定器 1 8 8に入力されると、判定器 1 8 8は画素値信号 1 0 7 に対して、動きべクトル数を幾つとして符号化すべきかを判定し、その判定の結果を、画素値符号化モード 1 1 9 として、画素値符号化器 1 2 0 と、モード符号化器 1 2 2、及び形状符号化モード判定器 1 3 8に出力する。

第 2 8図は動きべクトルの数について説明するための図である。物体の輪郭近傍では動きが複雑であり、ブロック毎に 1 個の動きベクトル ( MV) を用いたのでは動き補償誤差を十分小さくすることが困難である。かかる場合にはブロックを分割して、各分割ブロックに対して動きべクトルを割り当てることが望ましく、このように画像の性質に応じて適応的に動きベクトルの数を変更することで符号化効率が向上することが知られている。従って、本実施の形態 2 3の画像符号化装置では、図示するようにブロック毎に 1 個の動きベクトル（MV 1 ) を用いて動き補償するか、当該ブロックを 4分割して各分割ブロックに 1個ずつ、合計 4個の動きべクトル（MV 1 , MV2， MV3, MV4 ) を用いて動き補償するかを、適応的に切り替えるものとする。よって、判定器 1 8 8では、動きべクトルの数を 1個とするか 4個とするかを判定し、画素値信号の符号化モードとして「 1 」又は「 4」を上記出力する。

形状符号化モード判定器 1 3 8では、スィヅチ 1 8 0 と 1 8 6 とが、画素値符号化モード 1 1 9 に応じて切り替えられる。画素値符号化モードが「 l j を示す場合には判定器 1 8 2 に入力されないように、「 4 」を示す場合には判定器 1 8 2 に入力されるように切り替えられる。従つて、画素値符号化モード 1 1 9が「 1 」の場合、判定器 1 3 8からは動きべクトルの数として最小の個数である「 1 」の形状判定モード 1 1 1 が出力されることとなる。

一方、画素値符号化モード 1 1 9が「 4」を示す場合は、形状信号 1 0 5 に対応して、動きべクトルの数を 1個とするか 4個とするかを動きべクトル数判定器 1 8 2が判定し、その判定結果が形状符号化モード 1 1 1 として出力される。

いずれの場合にも、形状符号化モード 1 1 1 は、形状符号化器 1 1 2 と、モード符号化器 1 2 2 とに出力される。そして、画素値符号化器 1 2 0、形状符号化器 1 1 2、及びモード符号化器 1 2 2の動作は実施の形態 1 8 と同様となり、各符号化信号が出力される。

以上の動作をすることから、本実施の形態 2 3 による画像符号化装置では、画素値信号が最小個数の動きべクトルを用いて符号化される場合には、形状信号は必ず最小個数の動きべクトルを用いて符号化されることとなる。動きベクトル数を多くすると、動きベクトルを符号化するために必要な付加情報が増大するので好ましくないこととなるので、かかる場合には形状信号符号化のための動きべクトル数を抑制することで負担の増大を防止するものである。このように、本実施の形態 2 3の画像符号化装置によれば、画素値符号化の動きべクトル数判定器 1 8 8 と、形状符号化の動きべクトル数判定器 1 8 2 を内包する形状符号化モード判定器 1 3 8 とを備えたことで、画素値信号の符号化モードが最小個数の動きベクトルを用いる場合には, 形状信号の符号化モードを最小個数とし、画素値信号の符号化モードが多数のべクトルを用いる場合には、形状信号の符号化モードについての判定を行って選択するので、画素値信号の符号化モード 1 1 9 と形状信号の符号化モード 1 1 1 との相関を高めてモード符号化信号のビット数の削減を図ることが可能となり、かつ、動きベクトルの数を多くする選択を抑制することによって、付加情報が増大するためのビット数増加も抑制することができる。

実施の形態 2 4 .

本発明の実施の形態 2 4による画像符号化装置は、量子化ステップの変更/非変更を入力信号に適応して切り替えて符号化を行うものである , 第 2 9図は、本発明の実施の形態 2 4 による画像符号化装置の構成を示すブロック図である。同図において、 1 9 8は画素値符号化の量子化ステップ変更/非変更判定器であり、画素値信号の符号化のモードについて、量子化ステップの変更を行うか、又は行わないかの判定を行い、画素値信号の符号化モード 1 1 9 を出力する。 1 3 8は形状符号化モード判定器であり、第 2 4図の 1 3 8 に示す実施の形態 2 0 における形状符号化モード判定器に相当する。 1 9 0、及び 1 9 6はスィッチであつて、判定器 1 9 8の出力に応じて切り替えられ、形状信号の符号化モードを決定する。 1 9 2は形状符号化の置子化ステップ変更/非変更判定器であり、形状信号の符号化のモードについて、量子化ステップの変更を行うか、又は行わないかの判定を行い、判定の結果により形状信号の符号化モード 1 9 3 を出力する。他の符号については、第 2 2図と同様であり、説明は実施の形態 1 8と同様である。

以上の様に構成された、本実施の形態 2 4による画像符号化装置についてその動作を説明する。まず、入力画像信号 1 0 1が、本実施の形態 2 4の画像符号化装置に入力されると、ブロック化器 1 0 2は実施の形態 1 8 と同様に、ブロック化と信号の分離とを行い、画素値信号と形状信号を出力する。

分離された画素値信号 1 0 7が画素値符号化の量子化ステップ変更/ 非変更判定器 1 9 8に入力されると、判定器 1 9 8は画素値信号 1 0 7 に対して、量子化ステップの変更を行うか、又は行わないかを判定し、その判定の結果を、「変更」、または「非変更」のいずれかを示す画素値符号化モード 1 1 9 として、画素値符号化器 1 2 0と、モード符号化器 1 2 2、及び形状符号化モード判定器 1 3 8に出力する。

形状符号化モード判定器 1 3 8では、スィッチ 1 9 0と 1 9 6とが、画素値符号化モード 1 1 9に応じて切り替えられる。画素値符号化モードが「非変更」を示す場合には判定器 1 9 2に入力されないように、「変更」を示す場合には判定器 1 9 2に入力されるように切り替えられる。従って、画素値符号化モード 1 1 9が量子化ステップを変更しないことを示す場合、判定器 1 3 8からは「非変更 j を示す形状判定モード 1 1 1が出力されることとなる。

一方、画素値符号化モード 1 1 9が量子化ステップを変更することを示す場合は、形状信号 1 0 5に対応して、量子化ステップの変更を行うか、又は行わないかを判定器 1 9 2が判定し、その判定結果が形状符号化モード 1 1 1 として出力される。

いずれの場合にも、形状符号化モード 1 1 1は、形状符号化器 1 1 2 と、モード符号化器 1 2 2 とに出力される。そして、画素値符号化器 1 2 0、形状符号化器 1 1 2、及びモード符号化器 1 2 2の動作は実施の形態 1 8 と同様となり、各符号化信号が出力される。

量子化ステップの値は圧縮の度合い、すなわち符号化信号の伝送レートに直結するものであるので、一般に画像を符号化した符号化信号の伝送レートもしくは記録レートがほぼ一定となるように、伝送レートが所定の値より大きければ量子化ステップを粗くし、逆に小さければ量子化ステップを密にする制御が行われる。また、量子化ステヅブの値は、符号化信号の画質にも直接影響するものなので、画素値が急峻に変化するような画像である場合には、視覚的に振幅方向の画質劣化は検知しにくいことから、量子化ステップを大きくして、圧縮率を高めることが可能となる。かかる画素値の変化に応じて量子化ステップを変更することも、一般に行われる。

このような量子化ステップを変更する制御を行う場合は、「置子化ステツプが変化した」ことを示す付加情報がブロック毎に加えられ、画像のデ一夕とともに符号化される。しかしながら、量子化ステップの変更については画素値信号と形状信号とについて同時に変化させるべきであることが多く、画素値信号の量子化ステップが変更されない場合には、形状信号の量子化ステップを変化させないように制限を加えても、かかる制限による画質劣化はわずかであり、一方、量子化ステップの変化を示す付加情報を大きく削減することができる。

このように、本実施の形態 2 4の画像符号化装置によれば、画素値符号化の量子化ステップ変更/非変更判定器 1 9 8 と、形状符号化の量子化ステッブ変更/非変更判定器 1 9 2 を内包する形状符号化モード判定器 1 3 8 とを備えたことで、画素値信号の符号化モードが「量子化ステッブ非変更」の場合には形状信号の符号化モードを「量子化ステップ非変更 j とし、画素値信号の符号化モードが「置子化ステップ変更」の場合には、形状信号の符号化モードについての判定を行って選択するので、画素値信号の符号化モード 1 1 9 と形状信号の符号化モード 1 1 1 との相関を高めてモード符号化信号のビット数の削減を図ることが可能となるとともに、量子化ステップが変更されるという選択を抑制することにより、量子化ステップ変更による付加情報増大を抑制し、ビット数の削減を図ることも可能となる。

なお、実施の形態 2 2 〜 2 4の画像符号化装置については、第 2 4図に示す実施の形態 2 0に準じた構成としたものであるが、第 2 3図に示す実施の形態 1 9に準じた構成とすることも可能であり、やはり、符号化モードの相関を高めることと、付加情報の増大を抑制することによるビット数削減を図ることができる。また、第 2 0図に示す実施の形態 1 8に準じた構成とすることも可能であり、各信号に適した符号化を実現しつつ、ビット数削減を図ることができる。

また、実施の形態 2 2 〜 2 4の画像符号化装置で得られた符号化信号は、実施の形態 2 1 による画像復号化装置において適切に復号化が可能である。

また、実施の形態 1 8 〜 2 1 では入力画像信号が、画素値情報の他に透過度情報と形状情報とから構成されるものとし、画素値信号、透過度信号、及び形状信号への分離を行うこととしているが、実施の形態 2 2 〜 2 4では入力画像信号を画素値信号と形状信号とに分離するものとしている。これについては、実施の形態 2 2 〜 2 4においても透過度情報と形状情報とがー致する場合には、形状情報のみを用いることが可能であり、一方、一致しない場合には、ブロック化器の設定により透過度情報を形状信号とすること、あるいは多値信号である透過度情報を画素値情報とともにあっかうこと、とすることで、形状信号と画素値信号とを得ることができる。

実施の形態 2 5 . 本発明の実施の形態 2 5 による画像符号化装置は、複数の画素からなる 2次元画像信号を入力し、変化画素の予測と検出を行うものである。第 3 0図は本発明の実施の形態 2 5 による画像符号化装置の構成を示すブロック図である。同図において、 2 0 1は入力信号であり、 2値の画像信号として画像符号化装置に入力される。 2 0 4 cは第 1 の変化画素検出器であり、入力信号 2 0 1 に対して、その画素値が変化する画素を検出し、第 1 の検出変化画素 2 0 5 c として出力する。 2 0 2 a、及び 2 0 2 bはメモリであり、入力信号を一時記憶することにより遅延して、参照信号 2 0 3 a、及び 2 0 3 b として出力する。 2 0 4 a、及び 2 0 4 bは変化画素検出器であり、参照信号 2 0 3 a、及び 2 0 3 bに対して、その画素値が変化する画素を検出し、第 2、及び第 3の検出変化画素 2 0 3 a、及び 2 0 3 bとして出力する。 2 0 6は変化画素予測器であり、検出変化画素 2 0 3 a、及び 2 0 3 bに基づいて、第 1 の変化画素検出器 2 0 4 cの出力する変化画素を予測し、予測変化画素 2 0 7 を出力する。 2 0 8は減箅器であり、第 1 の変化画素 2 0 5 c と予測変化画素 2 0 7 との差分を取得することにより、その差分を予測誤差 2 0 9 として出力する。 2 1 0は符号化器であり、予測誤差 2 0 9を符号化して、符号化信号 2 1 1 を出力する。

以上の様に構成された、実施の形態 2 5による画像符号化装置についてその動作を説明する。

第 3 1 図は本実施の形態 2 5の画像符号化装置による符号化の動作の原理を説明するため図である。ここでは説明の簡略化のために、 1 画素ずつを順次処理するものとして処理手順を説明する。第 3 1 図において、左上画素から右方向に走査が行われ、右下の方向に符号化がなされものとする。各画素の画素値は 2値の値を有し、斜線の有無で真偽の値（ 2 値）を表すものとする。また、ここでは、 1 ライン目と 2 ライン目では符号化が完了し、 3ライン目（第 1の変化画素が存在するライン）を符号化するものとする。

変化画素は上記のような走査において、画素値が変化する最初の画素を意味し、符号化済のライン（走査線）上の変化画素を第 2の変化画素、および第 3の変化画素とし、未符号化の走査線上の最初の変化画素を第 1の変化画素とする。従って、第 2の変化画素と第 3の変化画素とから、第 1の変化画素を予測し、該予測した第 1の変化画素と実際の第 1の変化画素との差分値（予測誤差）を計算すれば予測誤差は 0近傍に集中する分布となるので可変長符号化等を使用して少ないビット数で効率よく符号化することが可能になる。

第 3 0図において、まず、入力信号 2 0 1が装置に入力される。画像入力信号 2 0 1については通常のカラー信号（画素値信号）や物体の形状または物体の合成の比率を表す形状信号とすることができる。入力信号 2 0 1は、メモリ 2 0 2 a、及び 2 0 2 bに入力されて一時記憶される。一方入力信号 2 0 1は第 1の変化画素検出器 2 0 4 cにも入力され、変化画素検出器 2 0 4 cは、 2値の画素値が変化する画素を検出する。これが第 3 1図の第 1の変化画素である。第 3 0図において、第 1の変化画素 2 0 5 cは減算器 2 0 8に入力される。

—方メモリ 2 0 2 aは、一時記憶した入力信号 2 0 1を 2ライン分遅延させて参照信号 2 0 3 aとして変化画素検出器 2 0 4 aに出力し、変化画素検出器 2 0 4 aは、第 3 1図の第 2の変化画素 2 0 5 aを検出する。同様に、メモリ 2 0 2 bは、一時記憶した入力信号 2 0 1 を 1 ライン分遅延させて参照信号 2 0 3 bとして変化画素検出器 2 0 4 bに出力し、変化画素検出器 2 0 4 bは、第 3 1図の第 3の変化画素を検出する。第 3 0図において、変化画素 2 0 5 a、及び 2 0 5 bは変化画素予測器 2 0 7に入力される。画像は、一般に水平および垂直方向について相関を有しており、第 1 〜第 2の変化画素はほぼ直線上に並ぶことが多い。変化画素予測器 2 0 6は、このことに基づいて入力された変化画素から予測を行い、得られた予測変化画素 2 0 7 を減算器 2 0 8に出力する。減箅器 2 0 8は、入力された第 1 の変化画素 2 0 5 c と予測変化画素 2 0 7 との差分を取得することにより、その差分を予測誤差 2 0 9 として符号化器 2 1 0 に出力し、符号化器 2 1 0は予測誤差 2 0 9 を符号化して、符号化信号 2 1 1 を出力する。予測変化画素と、検出した第 1 の変化画素との差分値である予測誤差は 0近傍に集中する分布となるので、これを符号化すれば 0に近い値にビット数の少ない符号を割り当てる可変長符号化等を使用して、少ないビット数で効率よく符号化することが可能になる。

このように、本実施の形態 2 5の画像符号化装置では、メモリ 2 0 2 a ~ b と、変化画素検出器 2 0 4 a〜 c と、変化画素予測器 2 0 7 と、減算器 2 0 8 と、符号化器 2 1 0 とを備えたことで、入力信号を遅延させた参照信号より検出した変化画素に基づいて、当該入力信号の変化画素を予測し、この予測についての誤差を符号化するもの、としたことで、符号化効率の向上を図ることが可能となる。

実施の形態 2 6 .

本発明の実施の形態 2 6 による画像符号化装置は、複数の画素からなる 2次元画像信号を入力し、変化画素の予測と検出を行うものであり、実施の形態 2 5 とは予測に用いる変化画素の取得方法が異なるものである。

第 3 2図は本発明の実施の形態 2 6 による画像符号化装 Sの構成を示すブロック図である。同図において、 2 0 1 は入力信号であり、 2値の画像信号として画像符号化装置に入力される。 2 0 4は変化画素検出器であり、入力信号 2 0 1 に対して、その画素値が変化する画素を検出し、検出変化画素 2 0 5として出力する。 2 1 6 a、及び 2 1 6 bはメモリであり、入力された変化画素を一時記憶することにより遅延させる。メモリ 2 1 6 aは検出変化画素 2 0 5を遅延させて参照変化画素 2 1 7 a を、メモリ 2 1 6 bは参照信号 2 1 7 aを遅延させて参照変化画素 2 1 7 bを出力する。 2 0 6は変化画素予測器であり、参照変化画素 2 1 7 a、及び 2 1 7 bに基づいて変化画素を予測し、予測変化画素 2 0 7を出力する。減算器 2 0 8 と符号化器 2 1 0については実施の形態 2 5 と同じである。

以上の様に構成された、実施の形態 2 6による画像符号化装置についてその動作を説明する。実施の形態 2 5 と同様の入力信号 2 0 1が本実施の形態 2 6の画像符号化装置に入力され、変化画素検出器 2 0 4によつて、 2値の画素値が変化する画素が検出され、検出変化画素 2 0 5がメモリ 2 1 6 aと滅算器 2 0 8とに出力される。メモリ 2 1 6 aに入力された検出変化画素 2 0 5は、 1ライン分の遅延の後、参照変化画素 2 1 7 aとして変化画素予測器 2 0 6 と、メモリ 2 1 6 bとに出力される。メモリ 2 1 6 bに入力された参照変化画素 2 1 7 aはさらに 1ライン分の遅延の後、参照変化画素 2 1 7 bとして変化画素予測器 2 0 6に出力される。参照変化画素 2 1 7 aと 2 1 7 bとを実施の形態 2 5における第 2、及び第 3の変化睡素として扱うことにより、変化画素予測器 2 0 6は実施の形態 2 5と同様の予測を行うことが可能となり、予測変化画素 2 0 7が得られる。以降の処理は実施の形態 2 5と同様となる。

このように、本実施の形態 2 6の画像符号化装置では、メモリ 2 1 6 a~bと、変化画素検出器 2 0 4と、変化画素予測器 2 0 7 と、減算器 2 0 8 と、符号化器 2 1 0とを備えたことで、入力信号より検出した変化画素をメモリにおいて遅延させることで参照変化画素を取得し、この参照変化画素に基づいて、当該入力信号の変化画素を予測し、この予測についての誤差を符号化するものとしたことで、実施の形態 2 5 と同様に符号化効率の向上を図ることが可能となる。

実施の形態 2 7 .

本発明の実施の形態 2 7 による画像符号化装置は、複数の画素からなる 2次元画像信号を入力し、変化画素の予測と検出を行うものであり、実施の形態 2 5 とは予測に用いる変化画素の取得方法が異なるものである。

本実施の形態 2 7の画像符号化装置は、実施の形態 2 5 による装置と同様の構成であって、説明には第 3 0図を用いる。実施の形態 2 5による画像符号化装置では、第 3 1 図を用いて説明した通り、符号化する走査線に対して、直前 1 ライン、及び 2 ラインの走査線における変化画素を予測に用いたものであるが、本実施の形態 2 7の画像符号化装置では、数ライン前の走査線における変化画素に基づいて予測を行うものである ₍ 第 3 3図は本実施の形態 2 7の画像符号化装置による符号化の動作の原理を説明するため図である。符号化を行う最下部に位置する走査線に対して、 7 ライン、及び 4 ライン前の走査線において検出された第 2、及び第 3の変化画素に基づき、第 1 の変化画素が直線上に存在するものと予測すると、図示する予測変化画素が得られる。この予測変化画素と、入力信号から当該走査線において検出された第 1 の変化画素との予測誤差を用いて、「予測した変化画素の 1画素右」という情報を符号化することによって、実施の形態 2 5 と同様に符号化効率の向上が図れる。本実施の形態 2 7の画像符号化装置の動作については、メモリ 2 0 2 a、及び 2 0 2 bでの一時記億による遅延時間が異なる点以外は、実施の形態 2 5 と同様のものとなる。又、変化画素予測器 2 0 6の予測については次のように演箅により変化画素を予測できる。第 2の変化画素を第 m ラインの X 画素目、第 3 の変化画素を第 n ラインの y 画素目、第 1 の変化画素の予測点を第 k ラインの z 画素目とし、 3点が直線上に並ぶとするものとすると、x-y:z-y=m - n:k-nという関係が成立することから、 z-y=(x-y)*(k-n)/(m-n)となる。従って、 z=y-(x-y)*(n-k)/(m-n)となるので、第 1の変化画素は第 kラインの y-(x-y)*(n-k)/(m-n)画素目となる。

このように、本実施の形態 2 7 による画像符号化装置では、実施の形態 2 5 による画像符号化装置と同じ構成により、設定によってメモリ 2 0 2 a、及び 2 0 2 bを用いた遅延時間を変更して、同様の効果が得られる。

実施の形態 2 8 .

本発明の実施の形態 2 8 による画像符号化装置は、複数の画素からなる 2次元画像信号を入力し、変化画素の予測と検出を行うものであり、実施の形態 2 5 とは予測に用いる変化画素の取得方法が異なるものである。

本実施の形態 2 8の画像符号化装置は、第 3 0図に示す実施の形態 2 5 による装 Sと同様の構成であって、符号化信号 2 1 1 を復号化する復号化器を備え、この復号化器の出力する符号化及び復号化済みの信号をいずれかのメモリに出力するものである。実施の形態 2 5 による画像符号化装置では、第 3 1 図を用いて説明した通り、符号化する走査線に対して、 1 ライン、及び 2 ライン上に位置する走査線における変化画素を予測に用いたものであるが、本実施の形態 2 8の画像符号化装置では、符号化及び復号化済みの下位にある走査線における変化画素を予測に用いるものである。

第 3 4図は本実施の形態 2 8の画像符号化装置による符号化の動作の原理を説明するため図である。符号化を行う走査線（図において、第 1 の変化画素が存在するライン）に対して、 4 ライン上、及び 3 ライン下の走査線において検出された第 2、及び第 3の変化画素に基づき、第 1 の変化画素が直線上に存在するものと予測すると、図示する予測変化画素が得られる。この予測変化画素と、入力信号から当該走査線において検出された第 1 の変化画素との予測誤差を用いて、「予測した変化画素の 2画素右」という情報を符号化することによって、実施の形態 2 5 、及び 2 7 と同様に符号化効率の向上が図れる。

本実施の形態 2 8の画像符号化装置の動作については、メモリ 2 0 2 a、及び 2 0 2 bでの一時記憶による遅延時間が異なる点と、符号化器 2 1 0 が出力する符号化信号 2 1 1 が復号化されていずれかのメモリに入力され、相当する変化画素検出器は、この符号化及び復号化信号より変化画素を検出する点のみが、実施の形態 2 5 と異なる。

このように、本実施の形態 2 8 による画像符号化装置では、実施の形態 2 5 による画像符号化装置に符号化信号を復号化して参照画像とする経路を追加した構成により、同様の効果が得られる。

実施の形態 2 9 .

本発明の実施の形態 2 9 による画像符号化装置は、複数の画素からなる 2次元画像信号を入力し、変化画素の予測と検出を行うものであり、実施の形態 2 6 と同様に検出した変化画素を遅延させて予測に用いるものである。

第 3 5図は本発明の実施の形態 2 9 による画像符号化装置の構成を示すブロック図である。同図において、 2 1 6、及び 2 2 0はメモリであり、入力された変化画素を一時記憶することにより遅延させる。メモリ 2 1 6は検出変化画素 2 0 5 を遅延させて遅延変化画素 2 1 7 を、メモリ 2 2 0は予測誤差 2 0 9 を遅延させて遅延予測誤差 2 2 1 を出力する , 2 2 2、及び 2 2 4は加算器であり、加算器 2 2 2は、遅延変化画素 2 1 7 と遅延予測誤差 2 2 1 を、加算器 2 2 4は、予測誤差 2 0 9 と遅延予測誤差 2 2 1 を加算処理する。他の符号は第 3 2図と同じであり、説明は実施の形態 2 6 と同じである。

以上の様に構成された、実施の形態 2 9 による画像符号化装置について、その動作を説明する。第 3 6図は本実施の形態 2 9の画像符号化装置による符号化の動作の原理を説明するため図である。実施の形態 2 6 では、検出された第 1 の変化画素を遅延させて、第 2、及び第 3の変化画素を取得するものであった。これに対して本実施の形態 2 9 による画像符号化装置では、第 2の変化画素と第 3の変化画素との差を第 3の変化画素に加算して、第 1 の変化画素の予測値として使用するものである。図示するように、第 2の変化画素と第 3の変化画素との差は「左へ 2画素」であり、第 3の変化画素にこの「左へ 2画素」を加算することによつて、符号化を行う走査線（図において、第 1 の変化画素が存在するライン）上で、同図の予測した変化画素が得られる。一方当該符号化する走査線においては第 1 の変化画素が検出され、この検出された第 1 の変化画素と、上記予測する変化画素との差である「左へ 1画素」を符号化すれば、実施の形態 2 6 と同様の効果が実現できる。

第 3 5図において、入力信号 2 0 1 が本実施の形態 2 9の画像符号化装置に入力され、変化画素検出器 2 0 4によって、 2値の画素値が変化する位置が検出され、この第 1 の変化画素 2 0 5がメモリ 2 1 6 と減算器 2 0 8 とに出力される。メモリ 2 1 6 において、 1 ライン分遅延された遅延変化画素 2 1 7は第 3 6図における第 3の変化画素である。遅延変化画素 2 1 7は、加算器 2 2 2 に入力され、第 3 6図における、第 2、及び第 3の変化画素の差分に相当する、遅延予測誤差 2 2 1 と加算され、得られた予測変化画素 2 0 7が減算器 2 0 8に出力される。

減算器 2 0 8は、検出変化画素 2 0 4 と予測変化画素 2 0 7 との差分を予測誤差 2 0 9 として、出力し、この予測誤差 2 0 9が符号化器 2 1 0 において符号化され、符号化信号 2 1 1 が出力される。予測誤差 2 0 9はまた、加算器 2 2 4 において、遅延予測誤差 2 2 1 と加算される。この結果得られる遅延予測誤差 2 2 1 は前述のように第 2、及び第 3の変化画素の差分に相当するものであり、メモリ 2 2 0で一時記憶されることによって遅延されて、次回の符号化に用いられる。即ち、第 3 6図においては、次のライン（ 1 つ下のライン）においては、遅延誤差 2 2 1 にである上記「左へ 2画素」と、予測誤差 2 0 9である上記「左へ 1 画素」とが加算された「左へ 3画素」が予測値として用いられることとなる。

このように、本実施の形態 2 9の画像符号化装置では、メモリ 2 1 6 、及び 2 2 0 と、変化画素検出器 2 0 4 と、加算器 2 1 6、及び 2 2 0 と、减算器 2 0 8 と、符号化器 2 1 0 とを備えたことで、入力信号より検出した変化画素と、予測誤差とに対して、遅延処理と加算処理を実行することによって、実施の形態 2 6 と同様に符号化効率の向上を図ることが可能となる。

なお、実施の形態 2 5 〜 2 9の画像符号化装置においては、いずれも、入力をプロック単位で行い、プロヅク単位で処理することが可能である。実施の形態 3 0 .

本発明の実施の形態 3 0 による画像復号化装置は、実施の形態 2 5 による符号化装置の出力する符号化信号を復号化して、複数の画素からなる 2次元画像信号を得るものである。

第 3 7図は本発明の実施の形態 3 0 による画像符号化装置の構成を示すブロック図である。同図において、 2 1 1 は入力信号であり、実施の形態 2 5 による画像符号化装置より出力される予測誤差の符号化信号 (第 3 0図の 2 1 1 ) である。 2 3 0は復号化器であり、符号化信号 2 1 1 を復号化して、復号予測誤差 2 3 1 を出力する。 2 3 2は加算器であり、復号予測誤差 2 3 1 と予測変化画素 2 0 7 とを加算処理して、得られた復号変化画素 2 3 3 を出力する。 2 3 4は画素値生成器であり、復号変化画素 2 3 3 と直前に復号化した変化画素のと間に位置する画素を所定の画素値、すなわち変化画素とならない画素の画素値として、復号化した画像信号 2 3 5 を生成して出力する。他の符号は第 3 0図と同様であり、説明は実施の形態 2 5 と同様である。

以上の様に構成された、本実施の形態 3 0 による画像復号化装置について、その動作を説明する。符号化信号 2 1 1 が入力されると、予測誤差を符号化したこの入力信号 2 1 1 は復号化器 2 3 0で復号化されて、その結果得られる復号予測誤差 2 3 1 が加算器 2 3 2 に出力される。 —方、直前に復号化された画像信号 2 3 5はメモリ 2 0 2 a、及び 2 0 2 bに入力され、実施の形態 2 5 と同様に、変化画素の予測が行われて、変化画素予測器 2 0 6から加算器 2 3 2 に予測変化画素 2 0 7 が出力される。加算器 2 3 2は予測変化画素 2 0 7 に対して、入力された復号予測誤差 2 3 1 を加算することによって、復号変化画素 2 3 3 を取得し、これを画素値生成器 2 3 4 に出力する。画素値生成器 2 3 4は、復号変化画素 2 3 3 と直前に復号化した変化画素のと間に位置する画素を所定の画素値、すなわち変化画素とならない画素の画素値として、復号化した画像信号 2 3 5 を生成して出力する。

このように、本実施の形態 3 0 による画像復号化装置は、メモリ 2 0 2 a〜 b と、変化画素検出器 2 0 4 a〜 bと、変化画素予測器 2 0 7 と、復号化器 2 3 0 と、加算器 2 3 2 と、画素値生成器 2 3 4 とを備えたことで、予測変化画素と、復号予測誤差とを用いて、復号変化画素を得て、これに基づいて復号画像信号 2 3 5 を得るので、実施の形態 2 5 による符号化信号を適切に復号処理することができる。

なお、本実施の形態 3 0では、実施の形態 2 5の画像符号化装置による符号化信号を復号化するものとしたが、実施の形態 2 7、及び 2 8 による画像符号化装置によって得られた符号化信号をも同様に復号化することができる。

実施の形態 3 1 .

本発明の実施の形態 3 1 による画像復号化装置は、実施の形態 2 6 による符号化装置の出力する符号化信号を復号化して、複数の画素からなる 2次元画像信号を得るものである。

第 3 8図は本発明の実施の形態 3 1 による画像符号化装置の構成を示すブロック図である。同図において、復号化器 2 3 0、加算器 2 3 2 、及び画素値生成器 2 3 4 は第 3 7図と、他は第 3 2 図と同様であり、説明は実施の形態 3 0、及び 2 6 と同様である。

以上の様に構成された、本実施の形態 3 1 による画像復号化装置について、その動作を説明する。符号化信号 2 1 1 が入力されると、予測誤差を符号化したこの入力信号 2 1 1 は復号化器 2 3 0で復号化されて、その結果得られる復号予測誤差 2 3 1 が加算器 2 3 2 に出力される。一方、直前に復号化された復号変化画素 2 3 3はメモリ 2 1 6 aに入力され、実施の形態 2 6 と同様に、変化画素の予測が行われて、変化画素予測器 2 0 6から加算器 2 3 2 に予測変化画素 2 0 7 が出力される。以降の処理は、実施の形態 3 0の場合と同様である。

このように、本実施の形態 3 1 による画像復号化装置は、メモリ 2 1 6 a ~ b と、変化画素予測器 2 0 7 と、復号化器 2 3 0 と、加算器 2 3 2 と、画素値生成器 2 3 4 とを備えたことで、予測変化画素と、復号予測誤差とを用いて、復号変化画素を得て、これに基づいて復号画像信号 2 3 5 を得るので、実施の形態 2 6 による符号化信号を適切に復号処理することができる。

実施の形態 3 2 .

本発明の実施の形態 3 2 による画像復号化装置は、実施の形態 2 9 による符号化装置の出力する符号化信号を復号化して、複数の画素からなる 2次元画像信号を得るものである。

第 3 9図は本発明の実施の形態 3 2 による画像符号化装置の構成を示すブロック図である。同図において、復号化器 2 3 0、加算器 2 3 2、及び画素値生成器 2 3 4は第 3 7図と、他は第 3 5図と同様であり、説明は実施の形態 3 0、及び 2 9 と同様である。

以上の様に構成された、本実施の形態 3 2 による画像復号化装置について、その動作を説明する。符号化信号 2 1 1 が入力されると、予測誤差を符号化したこの入力信号 2 1 1 は復号化器 2 3 0で復号化されて、その結果得られる復号予測誤差 2 3 1 が加算器 2 3 2 に出力される。 ― 方、直前に復号化された復号変化画素 2 3 3はメモリ 2 1 6 に入力され、実施の形態 2 9 と同様に、変化画素の予測が行われて、加算器 2 2 2 から加算器 2 3 2 に予測変化画素 2 0 7が出力される。以降の処理は、実施の形態 3 0の場合と同様である。

このように、本実施の形態 3 1 による画像復号化装置は、メモリ 2 1 6、及び 2 2 0 と、加算器 2 2 4、 2 2 2、及び 2 3 2 と、復号化器 2 3 0 と、画素値生成器 2 3 4 とを備えたことで、予測変化画素と、復号予測誤差とを用いて、復号変化画素を得て、これに基づいて復号画像信号 2 3 5 を得るので、実施の形態 2 9 による符号化信号を適切に復号処理することができる。

なお、実施の形態 2 5〜 2 9のいずれかの画像符号化装置において、ブロック単位での符号化が行われていた場合、実施の形態 3 0〜 3 2 の画像復号化装置において、ブロック単位での符号化信号を入力とし、ブロック単位で処理を行うことにより、適切に処理を行うことができる。実施の形態 3 3 .

本発明の実施の形態 3 3 による画像符号化装置は、画像信号に対応して、予測誤差、又は画素数の符号化結果を切り替えて出力するものである。

第 4 0図は本発明の実施の形態 3 3 による画像符号化装置の構成を示すブロック図である。同図において、 2 4 0は減算器であり、検出された変化画素 2 0 5 b と 2 0 5 c との差分 2 4 1 を取得する。 2 4 2は符号化器であり、差分 4 1 を符号化して、符号化信号 2 4 3 を出力する。 2 4 4は比較器であり、予測誤差 2 0 9 と所定の値との比較を行い、その結果によりスィツチ 2 4 6 の切り替えを制御する。 2 4 6はスィツチであり、符号化信号 2 4 7 と 2 4 3 とのいずれを本実施の形態 3 3の画像符号化装置の出力符号化信号 2 1 1 とするかの切り替えを、比較器 2 4 4からの制御により行う。他の符号は第 3 0図と同じであり、説明は実施の形態 2 5 と同じである。実施の形態 2 5 による画像符号化装置は、予測誤差の符号化を行うものであつたが、予測誤差が小さいという前提で符号化を行うので、予測誤差が大きくなつた場合には符号化効率が低下する。かかる場合には、予測誤差を符号化するよりも、変化画素自体 (位置）を符号化する方が、効率が良いこととなる。従って、本実施の形態 3 3 による画像符号化装置では、予測誤差の符号化と、変化画素の位置を示す画素数の符号化とを行い得るものである。又、変化画素自体 (位置）の符号化を行うことにより、変化画素の個数が変化して、予測が困難又は不可能となって、予測誤差の符号化が困難又は不可能となる場合にも、符号化の実行が可能となるものである。

以上の様に構成された、実施の形態 3 3 による画像符号化装置についてその動作を説明する。

第 4 1 図は本実施の形態 3 3の画像符号化装置による符号化の動作の原理を説明するため図である。第 2、及び第 3の変化画素からの第 1 の変化画素の予測は、実施の形態 2 5 の場合と同様である。そして本実施の形態 3 3では、予測変化画素を中心として、あらかじめ定められた値に応じた予測範囲を設定する。そして、検出した第 1 の変化画素が、この予測範囲にあるか否かにより、符号化の切り替えを行うものであって、予測範囲にあれば予測誤差を、予測範囲になければ、第 1 の変化画素を符号化する。

また、本実施の形態 3 3 では、第 3の変化画素は符号化及び復号化済みのものであるので、第 1 の変化画素を符号化するためには、第 3の変化画素と、第 1 の変化画素との走査順番の差、すなわち、その間に存在する画素数を符号化すれば良いこととなる。そして、その間の画素のうち、上記の予測範囲に位置するものについては、予測誤差により符号化されるものであり、除去することが可能である。従って、第 1 の変化画素を符号化するには、上記変化画素の差より、予測範囲の画素を除いたものを符号化すれば良いこととなる。

例えば、同図における変化画素 A、及び変化画素 Bは、予測範囲の外にあるものであって、第 1 の変化画素としてこれらの点が検出された場合の取扱いを説明する。実施の形態 2 5の説明と同様に、走査方向は左上→右下として、第 1 の変化画素は、 3* 12+6=42 番目、変化画素 Aは 4* 12+ 1 =49番目、変化画素 Bは 4* 12+ 10 = 58番目になる。第 3の変化画素と変化画素 Aとの間に予測範囲がないので、この両者の間にある画素数 49-42 = 7 が変化画素 A、すなわち Aの位置を示す情報として符号化される。これに対して、変化画素 Bの場合には、第 3の変化画素と変化画素 B との間に予測範囲が含まれるので、この予測範囲に存在する 5画素を除外して、 58-42- 5 = 1 1が変化画素 B、すなわち Bの位置を示す情報として符号化されることとなる。

入力信号 2 0 1 が本実施の形態 3 3の画像符号化装置に入力された後, メモリ 2 0 2 a、及び 2 0 2 bによる遅延から、減算器 2 0 8 による予測誤差 2 0 9の取得までは、実施の形態 2 5 と同様に行われ、符号化器 2 1 0によって、予測誤差 2 0 9の符号化信号 2 4 7が得られる。実施の形態 2 5ではこの符号化信号が出力される符号化信号であつたが、本実施の形態 3 3では、符号化信号 2 4 7はスィツチ 2 4 6 に出力される。また、予測誤差 2 0 9は、符号化器 2 4 2 と、比較器 2 4 4 とにも出力される。

一方、変化画素検出器 2 0 4 bで検出された第 3の変化画素 2 0 5 b と、変化画素検出器 2 0 4 cで検出された第 1 の変化画素 1 0 5 c とは、減算器 2 4 0 に出力され、その差分として、両者の間に存在する画素数 2 4 1 が取得されて符号化器 2 4 2 に出力される。符号化器 2 4 2は、入力された差分 2 4 1 と予測誤差 2 0 9 とから、予測範囲に存在する画素を除外した画素数符号化信号 2 4 3 を得て、これをスィツチ 2 4 6 に出力する。

比較器 2 4 4は、入力された予測誤差について、予測範囲にあるか否かを判定し、予測範囲にある場合はスィッチ 2 4 6 において、予測誤差符号化信号 2 4 7 を出力 2 1 1 とするように、又、予測範囲にない場合にはスィヅチ 2 4 6 において、画素数符号化信号 2 4 3 を出力 2 1 1 とするように、信号 2 4 5 をによって制御を行う。

このように、本実施の形態 3 3 による画像符号化装置では、実施の形態 2 5 による画像符号化装置に基づいて、減算器 2 4 0 と、画素数の符号化器 2 4 2 と、比較器 2 4 4 と、スイッチ 2 4 6 とを備えた構成としたことで、予測誤差が定められた範囲内にあるときは、予測誤差の符号化信号を、範囲外にあるときは、画素数の符号化信号を、出力する符号化信号とするので、予測誤差が大きな場合は、変化画素の個数の変動により、変化画素の予測ができない場合にも、符号化効率が低下することを防止して、適切な符号化を実行することが可能となる。実施の形態 3 4 .

本発明の実施の形態 3 4 による画像復号化装置は、実施の形態 3 3 による符号化装置の出力する符号化信号を復号化して、複数の画素からなる 2次元画像信号を得るものである。

第 4 2図は本発明の実施の形態 3 4 による画像符号化装置の構成を示すブロック図である。同図において、 5 0はモード復号化器であり、入力信号について予測誤差が符号化された信号であるか、変化画素の位置 (画素数）が符号化された信号であるかを判定し、符号化モ一ド 2 5 1 を出力する。 2 5 6は画素数復号化器であり、入力信号 2 5 5 を復号化して復号化画素数 2 5 7 を出力する。 2 5 8は加算器であり、予測変化画素 2 0 5 b と復号画素数 2 5 7 とを加算処理して、復号変化画素 2 5 9 を出力する。 2 5 2 と 2 6 0 とはスィッチであり、モード復号化器 2 5 0の出力する符号化モードに対応して、入力信号と出力信号についての切り替えを行う。他の符号は第 3 0図と同様であり、説明は実施の形態 2 5 と同様である。

以上の様に構成された、本実施の形態 3 4 による画像復号化装置について、その動作を説明する。符号化信号 2 1 1 が入力されると、まずモ一ド復号化器 2 5 0 によって、予測誤差を符号化したものであるか、画素数を符号化したものであるかが判定され、その判定の結果により「予測誤差 j 、又は「画素数」の符号化モードが出力され、スィツチ 2 5 2 と 2 6 0 との切り替えを制御する。

予測誤差が符号化されていた場合の動作は、実施の形態 3 0 と同様となる。一方、画素数が符号化されていた場合、スィッチ 2 5 2 を切り替えることによって、入力信号 2 1 1 は、復号化器 2 5 6 によって復号化され、変化画素の差である画素数が復号化されて、この復号画素数 2 5 7が加算器 2 5 8に出力される。加算器 2 5 8 においては、復号画素数 2 5 7 が直前に復号化されて得られた復号画像信号 2 3 5 に基づいて予測された予測変化画素と加算され、復号変化画素 2 5 9が得られる。いずれにしても、復号変化画素 2 6 1 に基づいて、実施の形態 3 0 と同様に復号画像信号 2 3 5 が出力される。

このように、本実施の形態 3 4 による画像復号化装置では、実施の形態 3 0 による画像復号化装置に基づいて、モード復号化器 2 5 0 と、加算器 2 5 8 と、画素数の復号化器 2 5 6 と、スィッチ 2 5 2、及び 2 6 0 とを備えた構成としたことで、モード復号化器 2 5 0 が取得する符号化モードに対応して、スィッチ 2 5 2、及び 2 6 0が切り替えられ、適切な復号化が選択的に行われるので、実施の形態 3 3 において符号化された符号化信号を適切に復号化することができる。

実施の形態 3 5 .

本発明の実施の形態 3 5 による画像符号化装置、及び画像復号化装置は、予測範囲の設定を、画像信号に対応して変更し得るものである。本実施の形態 3 5 による画像符号化装置、及び画像復号化装置は、実施の形態 3 3、及び 3 4 と同じ構成のものである。

第 4 3図は本実施の形態 3 5による符号化、又は復号化の動作の原理を説明するため図である。同図の左には入力画像が 8 X 8画素で構成される場合を、また右には同例を 1 / 2 にサブサンブルして 4 4画素の構成としたものを示している。サブサンブルされたものの画素数は 1 / 2であり、一方画素間距離は 2倍となる。従って、サブサンプルされたものの場合は、その予測範囲を元のものの予測範囲の 1 / 2 に相当する範囲とすることにより、ほぼ同じ空間位置を検索することになる。例えば、右のサブサンブルされたものの予測範囲として、左の元のものと同じ ± 2画素という範囲を使用すると、 1 ラインの画素数を超えることとなってしまい、実施の形態 3 3、及び 3 4 において、モード切り替えが適切に行われない。これに対して、図示するように右のサブサンプルされたものの場合、予測範囲を 1 / 2 にすることとすれば、モード切り替えが適切に行えるので、同実施の形態による符号化効率の向上が実現できる。

このように、本実施の形態 3 5 による画像符号化装置、及び画像復号化装置では、実施の形態 3 3 による画像符号化装置、又は実施の形態 3 4 による画像復号化装置において、予測範囲の大きさを、画像信号の大きさに対応して変更できるものとしたことで、サブサンブルする場合にも、切り替えを適切に行って、符号化効率の向上を図ることが可能となる。

実施の形態 3 6 .

本発明の実施の形態 3 6 による画像符号化装置は、物体の形状をあらわす形状信号を符号化するものであって、画像信号より有意領域を抽出して、効率的な符号化を行うものである。

第 4 4 図は本発明の実施の形態 3 6 による画像符号化装置の構成を示すブロック図である。同図において、 4 0 1 は入力信号である 2次元の形状信号である。 4 0 2は有意領域抽出器であり、入力形状信号 4 0 1 から有意領域を抽出して、有意領域信号 4 0 3 を出力する。 4 0 4はブロック化器であり、入力形状信号 4 0 1 をブロック化して、ブロック化形状信号 4 0 5 を出力する。 4 0 8はスィッチであり、有意領域信号 4 0 3 に対応して切り替えを行う。 4 1 2はブロックサイズ変更器であり、有意領域信号 4 0 3 に対応して、ブロックの大きさを変更して、変更したブロック化形状信号 4 1 3 を出力する。 4 1 8、及び 4 1 4は符号化器であり、それぞれ有意領域信号 4 0 3 と、ブロック化形状信号 4 1 3 を符号化して符号化信号 4 1 9、及び 4 1 5 を出力する。

以上の様に構成された、本実施の形態 3 6 による画像符号化装置についてその動作を説明する。 2次元形状信号である入力信号 4 0 1 が、本実施の形態 3 6の画像符号化装置に入力され、有意領域抽出器 4 0 2 と、ブロック化器 4 0 4 とに入力される。有意領域抽出器 4 0 2は、有意領域の範囲を検出して、有意領域信号 4 0 3 をスィッチ 4 0 8、ブロックサイズ変更器 4 1 2、及び符号化器 4 1 8 に出力する。

第 4 5図は本実施の形態 3 6の画像符号化装置による符号化の動作の原理を説明するための図である。斜線で示す部分が物体の内部の画素、すなわち有意な画像信号が存在する画素であり、斜線部を包含する最小の矩形、すなわち同図の太線で示す矩形が有意領域の範囲に相当する。ブロック化器 4 0 5は入力された形状信号をブロック化して、ブロック化形状信号 4 0 5 をスィッチ 4 0 8 に出力する。ここで、スィッチ 4 0 8は、有意領域信号 4 0 3 が示す有意領域の範囲に、ブロック化形状信号 4 0 5が相当するときに 0 Nの状態となる。すなわち有意領域以外の場合には、プロック化形状信号は符号化処理をされない。

スィッチが 0 Nであるときは、ブロック化形状信号 4 0 5は、ブロックサイズ変更器 4 1 2 に入力され、ブロックサイズ変更器 4 1 2 に入力された有意領域信号 4 0 3 に対応して、有意領域を含む最小ブロックにサイズを変更され、該変更された形状信号 4 1 3が符号化器 4 1 4 に出力され、符号化されて形状信号の符号化信号 4 1 5 とされる。一方、有意領域の範囲を示す有意領域信号も符号器 4 1 8 において符号化され、符号化信号 4 1 9が出力される。

このように、本実施の形態 3 6 による画像符号化装置では、有意領域検出器 1 0 2 と、ブロックサイズ変更器 4 1 2 を備えたことで、有意領域の範囲を検出し、有意領域の範囲の内部のみ形状信号を符号化するように形状信号のブロックサイズを変更するので、有意領域の範囲外を符号化することがなくなり形状信号の符号化効率が向上する。実施の形態 3 7 .

本発明の実施の形態 3 7 による画像復号化装置は、実施の形態 3 6 による符号化装置の出力する符号化信号を復号化して、 2次元形状信号を得るものである。

第 4 6図は本発明の実施の形態 3 7 による画像復号化装置の構成を示すブロック図である。同図において、 4 1 9、及び 4 1 5は実施の形態 3 6の画像符号化装置より出力される符号化信号である。 4 2 0は有意領域信号の復号化器、 4 2 2は形状信号の復号化器であり、それぞれの入力信号を復号化して、復号有意領域信号 4 2 1 、最小ブロック化復号形状信号 4 2 3 を出力する。 4 3 0はブロックサイズ変更器であり、復号有意領域信号 4 2 1 に対応して、ブロックの大きさを変更して、変更した復号ブロック化形状信号 4 3 1 を出力する。 4 2 6はスィツチであり、有意領域信号 4 2 1 に対応して切り替えを行う。 4 3 2は逆ブロツク化器であり、ブロック化形状信号 4 2 7 を統合して、復号形状信号 4 3 3 を出力する。

以上の様に構成された、本実施の形態 3 7 による画像復号化装置についてその動作を説明する。符号化信号 4 1 9、及び 4 1 5 がそれそれ復号化器 4 2 0、及び 4 2 2 に入力され、復号化される。復号化器 4 1 9 は、復号有意領域信号 4 2 1 を、ブロックサイズ変更器 4 3 0 と、スィツチ 4 2 6 とに出力する。一方、復号化器 4 2 2は、有意領域の範囲を含む最小ブロックである最小ブロック化形状信号 4 2 3 をブロックサイズ変更器 4 3 0に出力する。ブロックサイズ変更器 4 3 0は、入力された復号有意領域信号に基づいて、ブロックサイズを所定の大きさに変更し、変更されたブロック化形状信号 4 3 1 として、スィヅチ 4 2 6 に出力する。スィッチ 4 2 6は有意領域信号 4 2 1 が示す有意領域の範囲を含む信号が入力された場合のみ〇 Nになり、それ以外は有意領域の範囲外であることを示す値を出力する。逆ブロック化器 4 3 2は入力されたブロック化形状信号と、有意領域の範囲外を示す信号とを統合して、 2 次元形状信号を復号化信号 4 3 3として出力する。

このように、本実施の形態 3 7による画像復号化装置では、復号化器 4 2 0、及び 4 2 2 と、プロヅクサイズ変更器 4 3 0と、スィッチ 4 2 6 と、逆プロック化器 4 3 2 を備えたことで、有意領域の範囲を復号化し、それを基にして形状信号を復号化することにより、実施の形態 3 6 で符号化した符号化信号を正しく復号化することができる。

実施の形態 3 8.

本発明の実施の形態 3 8による画像符号化装置は、予測確率に応じた符号化を行うことで、良好な階層的符号化を実現するものである。

第 4 7図は本発明の実施の形態 3 8による画像符号化装置の構成を示すブロック図である。同図において、 1は入力画像信号である。 3 0 0 は分離器であり、入力画像信号 1 を 2つの画像信号 3 0 1 a、及び 3 0 l bに分離して出力する。 3 0 2、 3 0 8 a、及び 3 0 8 bは符号化器であり、いずれも入力された信号を符号化して、符号化信号を出力する。 3 3 0は復号化器であり符号化信号 3 0 3 aを復号化して、復号化画像信号 3 3 1 を出力する。 3 0 4は予測確率計算器であり、入力された画像信号 3 3 1 に基づいて、画像信号 3 0 1 bの画素値を予測し、その予測についての予測確率を計算し、確率値 3 0 5を出力する。 3 0 6は第 2の分離器であり、入力された確率値 3 0 5に対応して、画像信号 3 0 1 bを画像信号 3 0 7 aと 3 0 7 bとに分離して出力する。

以上の様に構成された、本実施の形態 3 8による画像符号化装置についてその動作を説明する。入力信号 1力⁵、本実施の形態 3 8の画像符号化装置に入力され、まず分離器において、画像信号 3 0 1 a、及び 3 0 1 bに分離される。ここで、信号 3 0 1 aは優先的に選択された信号であって符号化器 3 0 2 に入力され、他方の信号 3 0 1 bは第 2の分離器 3 0 6 に出力される。第 4 8図は本実施の形態 3 8の画像符号化装置による符号化の動作の原理を説明するための図である。第 4 8 (a) 図において、実線の丸印の画素が画像信号 3 0 1 aに対応し、破線の丸印の画素が画像信号 3 0 1 bに対応する。また、第 4 8図は 2値画像信号のモデルであり、斜線は真値を示し、斜線がない丸印は偽値を表すものとする。符号化器 3 0 2は優先度の高い画像信号 3 0 1 aを符号化して、得られた符号化信号 3 0 3 aを符号化出力とするとともに、復号化器 3 3 0にも出力する。

復号化器 3 3 0が復号処理をした復号信号が予測確率計算器 3 0 4 に入力される。予測確率計算器 3 0 4は、復号化した優先度の高い画像信号に基づいて、優先度の低い画像信号の画素値を予測し、その予測確率を計算する。第 4 8 (a) 図において、 Aは隣接 4方向が偽値、 Bは隣接 4方向が真値であり、これに対して Cは隣接 2方向が真値で、隣接 2 方向が偽値である。その結果、 Aは偽値、 Bは真値であるという予測について確率が高いものとなるが、 Cについては真偽いずれであるかについても予測が的中する確率が低いこととなる。そこで、第 4 8 (a) 図に示す Aや Bよりも、 Cを優先的に符号化してやれば、第 4 8 (b) 図に示すように Cを復号化するとともに、 Aや Bを予測に基づいて再生した場合の画質劣化が少ないこととなり、望ましい階調符号化が行い得る。

従って、予測確率計算機 3 0 4が出力する確率値 3 0 5 に基づいて、第 2の分離器 3 0 6は、入力された画像信号 3 0 l bについて確率値 3 0 5が高いものを画像信号 3 0 7 a とし、それ以外を画像信号 3 0 7 b として分離し、それそれを符号化器 3 0 8 a、及び 3 0 8 bに出力する。各符号化器は、それぞれ入力された画像信号を符号化して符号化信号 3 0 3 b、及び 3 0 3 c を出力する。以上のようにして出力された符号化信号 3 0 3 a〜 cはこの順番に優先度が高いものとして伝送もしくは記録されれば、復号化に際して優先度が高い符号化信号から順番に復号化されることによって、復号化の過程で復号化処理が打ち切られた場合においても、画質劣化の少ない復号化画像を得ることができる。

このように、本実施の形態 3 8の画像符号化装置では、分離器 3 0 0、及び 3 0 6 と、符号化器 3 0 2、 3 0 8 a、及び 3 0 8 bと、復号化器 3 3 0と、予測確率計算器 3 0 4を備えたことで、予測確率の低い画素から優先的に符号化することにより、画質劣化の少ない階層的な符号化を付加情報なしで実現することが可能になる。

実施の形態 3 9.

本発明の実施の形態 3 9による画像復号化装置は、実施の形態 3 8による符号化装置の出力する符号化信号を復号化するものである。

第 4 9図は本発明の実施の形態 3 9による画像復号化装置の構成を示すブロック図である。同図において、 3 0 3 & ~ (：は実施の形態 3 8の画像符号化装置より出力される符号化信号であり、 3 1 0、 3 1 6 a, 及び 3 1 6 bの復号化器により、復号化され、復号信号 3 1 1、 3 1 7 a、及び 3 1 7 bとして出力される。 3 2 0は予測器であり、画像信号 3 1 1に基づいて画像信号を予測し、予測画像信号 3 2 1 を出力する。 3 1 2は予測確率計算器であり、入力された予測画像信号 3 3 1 についての予測確率を計算し、確率値 3 1 3を出力する。 3 2 2はスィツチであり、確率値 3 1 3に対応して切り替えを行う。

以上の様に構成された、本実施の形態 3 9による画像復号化装置についてその動作を説明する。符号化信号 3 0 3 a〜 cがそれそれ復号化器 3 1 0、 3 1 6 a、及び 3 1 6 bに入力され、復号化される。信号 3 0 3 aは復号化されて、復号化画像信号 3 1 1は出力復号化信号となるとともに、予測確率計算機 3 1 2、及び予測器 3 2 0にも入力される。予測器 3 2 0は復号化した画像信号 3 1 1 から優先度の低い画像信号 3 2 1 の画素値を予測する。予測確率計算器 3 1 2は、予測した画像信号 3 2 1 の予測確率を計算し、各画素が復号化器 3 1 6 aもしくは 3 1 6 bのいずれで復号化されるべきかを判断する。また、予測確率計算器 3 1 2は外部から入力された優先順位 3 0 9 を参照して、優先順位の低い符号化信号が伝送または記録されているかどうかを判定する。伝送又は記録されていないと判定すれば、符号化されていない画素の画素値は復号化信号 3 2 3 として予測した画像信号 3 2 1 を出力するようにスィツチ 3 2 2 を切り替えるよう制御する。また、復号化された画素については、スィッチ 3 2 2で画像信号 3 1 1 、 3 1 7 a、または 3 1 7 bのいずれか 1 つが選択されて、装置の出力する復号化信号 3 2 3 とされる。このように、本実施の形態 3 9 による画像復号化装置では、復号化器 3 1 0、 3 1 6 a、及び 3 1 6 b と、予測確率計算器 3 1 2 と、予測器 3 2 0 とを備えたことで、予測確率と優先順位に対応した復号化を行うので、実施の形態 3 8 による画像符号化装置で符号化された符号化信号を適切に復号化することができる。

実施の形態 4 0 .

本発明の実施の形態 4 0による画像符号化プログラム記録媒体、及び画像復号化プログラム記録媒体は、コンピュータ等において、実施の形態 1 〜 3 9の画像符号化装置、又は画像復号化装置を実現するものである。

第 5 0図はプログラムを記録する記録媒体の一例であるフロツビ一デイスクを示すものであり、第 5 1 図は記録された画像符号化プログラムの、第 5 2図は画像復号化プログラムの処理手順を示すフロ一チャート図である。

第 5 0図に示すフロッピーディスクに記録された、第 5 1 図に示す画像符号化プログラムは、パーソナルコンピュータやワークステ一ション等において実行させることにより、実施の形態 2 による画像符号化装置を実現する。

同様に、第 5 0図に示すフロッピ一ディスクに記録された、第 5 2 図に示す画像復号化プログラムは、パーソナルコンビユー夕やワークステーシヨン等において実行させることにより、実施の形態 3の画像復号化装置を実現する。この場合、同実施の形態において、第 6図を用いて説明した、変化画素復号化処理の後にスィツチによる選択を行うタイプのものとなる。

このように、本実施の形態 4 0 によるプログラム記録媒体は、画像符号化プログラム、又は画像復号化プログラムを記録したものとしたことで、一般的なパーソナルコンビュー夕等のコンビュー夕システムにおいて、本発明の画像符号化装置、又は画像復号化装置を実現することが可能となる。

なお、本実施の形態 4 0では、実施の形態 2の画像符号化装置と、実施の形態 3の画像復号化装置を実現するプログラムを記録したものとしたが、他の実施の形態による装置も同様に実現可能である。

また、本実施の形態 4 0では、記録媒体としてフロッビーデイスクを示したが、 I Cカード、 C D— R O M、光ディスク、カセットテープ等の、プログラムを記録できる媒体であれば、同様に実施することができる。

産業上の利用可能性

このように、本発明によれば従来の技術による MMR 符号化と異なり、ロスレスの可逆符号化においても、視覚的に重要でない画質劣化を許容することによって圧縮率を大幅に向上することが可能となる。

また、本発明によれば、従来の技術による MMR が画面内、及び水平方向の相関関係のみを利用した符号化であるのに比較して、画面間相関や垂直方向の相関をも用いて符号化を行い得るので、符号化効率の向上を図ることが可能となる。

また、本発明によれば、従来の技術による MMR や MMMRではなし得なかった、一部のビットストリームを復号化することによって階層的に画像を再生することができる符号化データを、符号化効率を低下させることなく実現でき、効果的な階層的画像再生を可能とする符号化方法を提供する。

また、本発明によれば、形状情報と画素値情報とからなる画像を動き補償により符号化する場合、それそれに対しての動きベクトルを用いるので、従来の枝術による符号化のように、同じ動きベクトルを用いて動き補償をすることにより、適切な符号化を行えなくなることを回避し得る。そしてさらに、これらの動きの相関関係を用いることにより、符号化効率の向上を図ることが可能となる。

また、本発明によれば、形状情報と画素値情報とからなる画像に対して、画面内符号化と画面間符号化を適応的に切り替えて符、号化する場合、それぞれの情報の性質に応じて、かかる切り替えを行うことが可能となり、適切かつ効率的な符号化が可能となる。同様に、それぞれの情報の性質に応じて、動きベクトルの数を適応的に変更し、あるいは、量子化ステップの変更の有無を適応的に切り替えることも可能となる。

以上のように本発明は、画像信号を効率よく符号化することが可能である画像符号化装置、画像符号化方法、及び画像符号化プログラム記録媒体を提供するものであり、また、上記効率的に符号化された符号化信号を適切に復号化することの可能な画像復号化装置、画像復号化方法、及び画像復号化プログラム記録媒体を提供する。

Claims

請求の範囲

1 . 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化装置であって、

上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出手段と、

符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を予測画素として出力する予測手段と、

上記検出変化画素と、上記予測変化画素とから、両者の差分を計算し、差分値 Dを出力する差分値計算手段と、

予め設定された許容値と、上記差分値 D とに基づいて定められる範囲内の値であって、かつ、符号化した際の符号長が最小となる値である D ' を選択して、これを修正差分値として出力する丸め手段と、

上記修正差分値 D ' と、上記予測した変化画素とから 2値画像信号を復号化する復号化手段と、

上記修正差分値 D ' を符号化する符号化手段とを備えたことを特徴とする画像符号化装置。

2 . 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化装置であって、

当該フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測手段と、

上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 D として出力する第 1 の差分値計算手段と、参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補償を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測手段と、

上記検出変化画素と上記第 2の予測画素との差分を計算し、上記計算した差分を第 2 の差分値 D " として出力する第 2の差分値計算手段と、上記第 1 の差分値 D と第 2の上記差分値 D " とに対して、それぞれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1 」又は「第 2」のいずれかを符号化モードとして出力するモード選択手段と、

上記選択した第 1 の差分値 D、又は第 2の差分値 D " と、上記モード選択手段が出力する符号化モードとを符号化する符号化手段とを備えたことを特徴とする画像符号化装置。

3 . 2次元 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化装置であって、

当該画像信号を水平方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測手段と、

上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 D として出力する第 1 の差分値計算手段と、当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2 の予測手段と、

上記検出変化画素と、上記第 2の予測画素の差分を計算し、上記計算した差分を第 2 の差分値 D "として出力する第 2 の差分値計算手段と、上記第 1 の差分値 D と第 2の上記差分値 D " とに対して、それそれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1 」又は「第 2 j のいずれかを符号化モードとして出力するモード選択手段と、

上記選択した第 1 の差分値 D、又は第 2 の差分値 D " と、上記モード選択手段が出力する符号化モードとを符号化する符号化手段とを備えたことを特徴とする画像符号化装置。

4 . 多値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化装置であって、

上記画素値が所定値以上に変化する画素を検出し、上記検出した画素を検出変化画素として出力する変化画素検出手段と、

上記検出変化画素と上記予測画素との差分を計算し、上記計算した差分を差分値 D として出力する差分値計算手段と、

上記差分値 D と、上記検出変化画素の画素値とを符号化する符号化手段と、

上記差分値 D と上記変化画素の画素値とから、多値画像信号を復号化する復号化手段とを備えたことを特徴とする画像符号化装置。

5 . 画像を合成する際の比率を示す透過度信号と、画素値信号とからなる画像信号を入力信号とし、参照画像を参照して前記入力信号を符号化する符号化装置であって、

上記入力信号の画素値信号と、上記参照画像の画素値信号とを比較して、画素値信号の動きべクトルを検出する第 1 の動きべクトル検出手段と、

上記参照画像の画素値信号を、上記画素値信号の動きべクトルを用いて動き補償し、補償画素値信号を出力する第 1 の動き補償手段と、上記入力信号の画素値信号と、上記補償画素値信号とから、両者の差分を計算し、第 1 の差分値を出力する第 1 の差分値計算手段と、上記第 1 の差分値を符号化する第 1 の符号化手段と、

上記入力信号の透過度信号と、上記参照画像の透過度信号とを比較して、透過度信号の動きべクトルを検出する第 2の動きべクトル検出手段と、

上記参照画像の透過度信号を、上記透過度信号の動きべクトルを用いて動き補償し、補憤透過度信号を出力する第 2の動き補慣手段と、上記入力信号の透過度信号と、上記補償透過度信号とから、両者の差分値を計算し、第 2の差分値を出力する第 2の差分値計算手段と、上記第 2の差分値を符号化する第 2の符号化手段と、

上記画素値信号の動きべクトルと、上記透過度信号の動きべクトルとを符号化する第 3の符号化手段を備えたことを特徴とする画像符号化装置。

6 . 請求項 5 に記載の画像符号化装置において、

上記第 2の動きべクトル検出手段は、

上記第 1 の動きべクトル検出手段で検出した動きぺクトルの近傍において、上記入力信号の透過度信号と上記参照画像の透過度信号とを比較して、透過度信号の動きベクトルを検出するものであることを特徴とする画像符号化装 S。

7 . 請求項 5 に記載の画像符号化装置において、

上記第 1 の動きべクトル検出手段は、

上記第 2の動きべクトル検出手段で検出した動きべクトルの近傍において、上記入力信号の画素値信号と上記参照画像の画素値信号とを比較して、画素値信号の動きベクトルを検出するものであることを特徴とする画像符号化装置。

8 . 請求項 5 に記載の画像符号化装置において、

上記第 3の符号化手段は、

上記画素値信号の動きべクトルと、上記透過度信号の動きべクトルと上記画素値信号の動きべクトルとの差分値とを符号化するものであることを特徴とする画像符号化装置。

9 . 請求項 5 に記載の画像符号化装置において、

上記第 3の符号化手段は、

上記透過度信号の動きべクトルと、上記透過度信号の動きべクトルと上記画素値信号の動きべクトルとの差分値とを符号化するものであることを特徴とする画像符号化装置。

1 0 . 物体の形状および各画素の画素値が有意であるかどうかをを示す形状信号と、画素値信号とからなる、ブロック化された形状つき画像信号を入力信号とし、参照画像を参照して上記入力信号を符号化する符号化装置であって、

上記入力信号の形状信号と、上記参照画像の形状信号とを比較して、形状信号の動きべクトルを検出する第 2の動きべクトル検出手段と、上記参照画像の形状信号を、上記形状信号の動きベクトルを用いて動き補償し、補償形状信号を出力する第 2の動き補償手段と、

上記入力信号の形状信号と、上記補償形状信号とから、両者の差分値を計算し、第 2の差分値を出力する第 2の差分値計算手段と、

上記第 2の差分値を符号化する第 2の符号化手段と、

上記画素値信号の動きベクトルと、上記形状信号の動きベクトルとを符号化する第 3の符号化手段を備えたことを特徴とする画像符号化装置,

1 1 . 請求項 1 0 に記載の画像符号化装置において、

上記第 2の動きべクトル検出手段は、

上記第 1 の動きべクトル検出手段で検出した動きべクトルの近傍において、上記入力信号の形状信号と上記参照画像の形状信号とを比較して、形状信号の動きベクトルを検出するものであることを特徴とする画像符号化装置。

1 2 . 請求項 1 0 に記載の画像符号化装置において、

上記第 1 の動きべクトル検出手段は、

上記第 2の動きべクトル検出手段で検出した動きべクトルの近傍において、上記入力信号の画素値信号と上記参照画像の画素値信号とを比較して、画素値信号の動きべクトルを検出するものであることを特徴とする画像符号化装置。

1 3 . 請求項 1 0に記載の画像符号化装置において、

上記第 3の符号化手段は、

上記画素値信号の動きべクトルと、上記形状信号の動きべクトルと上記画素値信号の動きベクトルとの差分値とを符号化するものであることを特徴とする画像符号化装置。

1 4 . 請求項 1 0 に記載の画像符号化装置において、

上記第 3の符号化手段は、

上記形状信号の動きべクトルと、上記形状信号の動きべクトルと上記画素値信号の動きベクトルとの差分値とを符号化するものであることを特徴とする画像符号化装置。

1 5 . 請求項 1 0 に記載の画像符号化装置において、

上記入力信号の形状信号が画素値が全て有意であることを示すものであり、かつ、上記第 1 の動きベクトル検出手段で検出した画素値信号の動きべクトルを用いて、参照画像の形状信号を動き補僂した補償形状信号が、画素値が全て有意であることを示すものである場合、

又は上記入力信号の形状信号が画素値が全て有意でないことを示すものであり、かつ、上記第 1 の動きベクトル検出手段で検出した画素値信号の動きベクトルを用いて、参照画像の形状信号を動き補償した補償形状信号が、画素値が全て有意でないことを示すものである場合、上記第 2のべクトル検出手段は形状信号の動きべクトルの検出を行わず、

上記第 1 のべクトル検出手段において検出した画素値信号の動きべクトルをもって、上記形状信号の動きベクトルとするものであることを特徴とする画像符号化装置。

1 6 . 請求項 1 0 に記載の画像符号化装置において、

上記第 1 の動きべクトル検出手段で検出した画素値信号の動きべクトルを用いて、参照画像の形状信号を動き補償した補償形状信号を、上記入力信号の形状信号と比較し、比較結果の差が予め設定された許容値を下回る場合に、上記第 1 のべクトル検出手段は画素値信号の動きぺクトルの検出を行わず、

上記第 2のべクトル検出手段において検出した形状信号の動きべク卜ルをもって、上記画素値信号の動きべクトルとするものであることを特徴とする画像符号化装置。

1 7 . 請求項 1 ◦ に記載の画像符号化装置において、

上記第 3の符号化手段は、

直前に符号化した入力信号において、該入力信号の形状信号の動きべクトルが符号化されていた場合、当該直前に符号化した形状信号の動きべクトルと、入力信号より検出した形状信号の動きべクトルとの差分値を符号化するものであることを特徴とする画像符号化装置。

1 8 . 請求項 1 0に記載の画像符号化装置において、

上記第 3の符号化手段は、

直前に符号化した入力信号において、該入力信号の画素値信号の動きベクトルが符号化されていた場合、当該直前に符号化した画素値信号の動きべクトルと、入力信号より検出した画素値信号の動きべクトルとの差分値を符号化するものであることを特徴とする画像符号化装置。

1 9 . 請求項 1 0ないし 1 8のいずれかに記載の画像符号化装置において、

上記入力信号が、複数の画像を合成するための合成の比率を示す情報を含む透過度情報と、画像情報とから構成されるものである場合に、上記透過度情報を上記形状信号とし、上記画像情報を上記画素値信号とするものであることを特徴とする画像符号化装置。

2 0 . 請求項 1 0ないし 1 8のいずれかに記載の画像符号化装置において、

上記入力信号が、複数の画像を合成するための合成の比率を示す情報を含む透過度情報と、画像情報とから構成されるものである場合に、上記透過度情報を、形状のみを表わす 2値信号と、その他の信号である残余形状信号とに分離し、

上記分離した 2値信号を上記形状信号とし、

上記分離した残余形状信号と、上記画像情報とを上記画素値信号とするものであることを特徴とする画像符号化装置。

2 1 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化装置であって、

上記入力画像信号に対して、空間および時間的に一致する画素を 1つのグループとして統合し、ブロック化された情報として出力するブロック化手段と、

上記ブロック化手段によりブロック化された上記形状情報、上記透過度情報、および上記画素値情報のそれそれに対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化手段と、

上記形状情報、上記透過度情報、および上記画素値情報のそれそれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 2の符号化手段とを備え、

上記第 1 の符号化手段出力と、上記第 2の符号化手段出力とを符号化出力とすることを特徴とする画像符号化装置。

2 2 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化装置であって、上記入力画像信号に対して、空間および時間的に一致する画素を 1 つのグループとして統合し、ブロック化された情報として出力するブロック化手段と、

上記ブロック化手段によりブロック化された上記形状情報、および上記透過度情報のそれそれに対して、所定の符号化モードの中から符号化モ一ドを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化手段と、

上記第 1 の符号化手段において選択された符号化モードのうちいずれかの符号化モ一ドにおいて、上記プロック化手段によりプロック化された上記画素値情報を符号化する第 2の符号化手段と、

上記形状情報、上記透過度情報、および上記画素値情報のそれぞれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化手段とを備え、

上記第 1 の符号化手段出力、上記第 2の符号化手段出力、及び上記第 3の符号化手段出力を符号化出力とすることを特徴とする画像符号化装置。

2 3 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化装置であって、

上記入力画像信号の各画素を、上記形状情報又は上記透過度情報と、上記画素値情報との対応関係に基づいて、対応する画素を 1 グループとしてブロック化し、ブロック化された情報として出力するブ□ ック化手段と、

上記ブロック化手段によりブロック化された上記画素値情報に対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいて符号化する第 1 の符号化手段と、

上記第 1 の符号化手段において選択された符号化モードにおいて、上記ブロック化手段によりブロック化された上記形状情報情報、および上記透過度情報を符号化する第 2の符号化手段と、

上記形状情報、上記透過度情報、および上記画素値情報のそれそれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化手段とを備え、

2 4 . 請求項 2 1 ないし 2 3のいずれかに記載の画像符号化装置において、

上記所定の符号化モードは、画面内符号化、および画面間符号化であることを特徴とする画像符号化装置。

2 5 . 請求項 2 2 または 2 3 に記載の画像符号化装置において、上記第 2の符号化手段は、

上記第 1 の符号化手段において、上記選択した符号化モードが画面内符号化であった場合に、画面内符号化を選択するものであることを特徴とする画像符号化装置。

2 6 . 請求項 2 1 ないし 2 3のいずれかに記載の画像符号化装置において、

上記所定の符号化モードは、上記ブロックごとの動きべクトルの個数であることを特徴とする画像符号化装置。

2 7 . 請求項 2 2 または 2 3 に記載の画像符号化装置において、上記第 2の符号化手段は、

上記第 1 の符号化手段において、上記選択した符号化モードである動きべクトルの個数を、上記符号化モードとして選択するものであることを特徴とする画像符号化装置。

2 8 . 請求項 2 1 ないし 2 3のいずれかに記載の画像符号化装置において、

上記所定の符号化モードは、量子化ステップ変更有、および量子化ステツブ変更無であることを特徴とする画像符号化装置。

2 9 . 請求項 2 2 または 2 3 に記載の画像符号化装置において、上記第 2の符号化手段は、

上記第 1 の符号化手段において、上記選択した符号化モードが量子化ステップ変更無であった場合に、量子化ステップ変更無を選択するものであることを特徴とする画像符号化装置。

3 0 . 複数の画素からなる 2次元画像信号を入力して符号化する画像符号化装置であって、

上記 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 1 の変化画素を出力する第 1 の変化画素検出手段と、

符号化復号化済みの画素に対して、所定の方向に走査することによつて画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第 2の変化画素検出手段と、

符号化および復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3の変化画素検出手段と、

上記第 2の変化画素と上記第 3の変化画素とに基づいて上記第 1 の変化画素を予測して、上記予測した予測変化画素を出力する変化画素予測手段と、

上記第 1 の変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算手段と、上記変化画素差分値を符号化して符号化信号とする予測誤差符号化手段とを備えたことを特徴とする画像符号化装置。

3 1 . 請求項 3 0 に記載の画像符号化装置において、

上記第 2の変化画素検出手段、および上記第 3 の変化画素検出手段は、上記第 2の変化画素、および上記第 3の変化画素の画素値を、上記第

1 の変化画素の画素値と同じものとするものであることを特徴とする画像符号化装置。

3 2 . 請求項 3 0 に記載の画像符号化装置において、

上記第 2の変化画素検出手段、および上記第 3の変化画素検出手段は、上記走査する所定の方向を、上記第 1 の変化画素検出手段が上記走査する所定の方向と同じ方向とするものであることを特徴とする画像符号化装置。

3 3 . 請求項 3 0 に記載の画像符号化装置において、

上記第 2の変化画素を用いて予測した変化画素との差によって、上記第 3の変化画素が符号化されているものであることを特徴とする画像符号化装置。

3 4 . 請求項 3 0に記載の画像符号化装置において、

第 2の変化画素、第 3の変化画素、および第 1 の変化画素が異なる走査線にあるものであることを特徴とする画像符号化装置。

3 5 . 請求項 3 0 に記載の画像符号化装置において、

上記変化画素予測手段は、

上記第 2の変化画素が第 m走査線の X画素目にあり、上記第 3の変化画素が第 n走査線の y画素目にあるとき、

上記第 1 の変化画素について、第 k走査線の y- (x -y) * (n - k)/(m - n)画素目であると予測するものであることを特徴とする画像符号化装置。

3 6 . 複数の画素からなる 2次元画像信号を入力して符号化する画像符号化装置であって、

上記 2 次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した検出変化画素を出力する変化画素検出手段と、

符号化および復号化済の画素から変化画素を予測し、上記予測した予測変化画素を出力する変化画素予測手段と、

上記検出変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算手段と、

上記変化画素差分値の値が所定値未満である場合に、上記変化画素差分値を符号化し、差分値符号化信号を出力する予測誤差符号化手段と、上記変化画素差分値の値が所定値以上である場合に、直前に符号化した変化画素から、上記検出変化画素までに位置する画素であって、上記予測誤差符号化手段が符号化し得る画素位置に位置しない画素の数を算出し、上記算出した画素数を符号化して、画素数符号化信号を出力する画素数符号化手段とを備え、

上記予測誤差符号化手段と、上記画素数符号化手段とは、上記差分値符号化信号と、上記画素数符号化信号とがー意に識別可能な符号化を行うことを特徴とする画像符号化装置。

3 7 . 請求項 3 6 に記載の画像符号化装置において、

上記予測誤差符号化手段、および上記画素数符号化手段は、上記変化画素差分値と比較する上記所定値を、当該走査線の画素数を用いて設定するものであることを特徴とする画像符号化装置。

3 8 . 物体を表す画素が存在する領域を表す 2次元の形状信号を入力として、上記形状信号を符号化する画像符号化装置であって、

上記入力した形状信号から、上記物体を表す画素を包含する矩形領域である有意領域を抽出し、上記抽出した有意領域の範囲である有意領域範囲を出力する有意領域抽出手段と、

上記形状信号を複数の画素からなるブロックに分割するブロック化手段と、

上記ブロック化手段が出力する各ブロックごとに、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定した場合は、少なくとも当該プロックの上記有意領域を符号化し、形状符号化信号を出力する形状符号化手段とを備え、

上記有意領域範囲と、上記形状符号化信号とを符号化信号とすることを特徴とする画像符号化装置。

3 9 . 請求項 3 8に記載の画像符号化装置において、

上記形状符号化手段は、

上記ブロック化手段により構成された各ブロック中から、上記有意領域を含む最小の矩形領域を抽出し、上記抽出した矩形領域の内部のみを符号化するものであることを特徴とする画像符号化装置。

4 0 . 複数の画素からなる 2次元画像信号を入力として上記 2次元画像信号を符号化する画像符号化装置であって、

上記画像信号を少なくとも 2つの画像信号に分離して、上記分離した画像信号を 2つ以上の部分画像信号として出力する画像信号分離手段と、上記部分画像信号のうち少なくとも 1 つを対象部分画像信号として選択し、上記選択した対象部分画像信号を符号化して、第 1 の符号化信号を出力する第 1 の画像信号符号化手段と、

上記第 1 の符号化信号を復号化した画像信号に基づいて、上記部分画像信号のうち上記対象部分画像信号を除いた対象外部分画像信号を予測し、上記予測が的中する確率を計算し、上記計算した予測確率を出力する予測確率計算手段と、上記予測確率計算手段で計算した予測確率に応じて、復号化の優先度を決定し、上記決定した優先道に応じた符号化方法を用いて、上記対象外部分画像信号をを符号化する第 2の画像信号符号化手段とを備えたことを特徴とする画像符号化装置。

4 1 . 請求項 4 0 に記載の画像符号化装置において、

上記第 2の画像信号符号化手段は、

上記予測確率が小さい画素が優先的に復号化されるよう、上記復号化の優先度を決定するものであることを特徴とする画像符号化装置。

4 2 . 請求項 4 0に記載の画像符号化装置において、

上記予測確率計算手段は、

近傍の画素値が同じ値の場合に、上記的中する確率を大きく、近傍の画素値が異なる値の場合に、上記的中する確率を小さくするものであることを特徴とする画像符号化装置。

4 3 . 符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモ一ド信号として、上記取得した差分値を復号差分値として出力する復号化手段と、

参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補償を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測手段と、

上記モード信号が当該フレーム予測を示す場合は、上記第 1 の予測画素に上記復号差分値を加算し、上記モ一ド信号が参照フレーム予測を示す場合は、上記第 2 の予測画素に上記復号差分値を加算する加算手段とを備え、

上記加算手段の出力を変化画素とすることを特徴とする画像復号化装置。

4 4 . 符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモード信号として、上記取得した差分値を復号差分値として出力する復号化手段と、

当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2 の予測画素として出力する第 2 の予測手段と、

上記モード信号が水平方向走査の予測を示す場合は、上記第 1 の予測画素に上記復号差分値を加算し、

上記モード信号が垂直方向走査の予測を示す場合は、上記第 2の予測画素に上記復号差分値を加算する加算手段とを備え、

4 5 . 符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号を復号化して、差分値と、変化画素の画素値とを取得し、上記取得した差分値を復号差分値として、上記取得した変化画素の画素値を復号画素値として出力する復号化手段と、復号化済みの画素の画素値の変化する画素に基づいて、上記入力する符号化信号の変化画素を予測し、上記予測した画素を予測画素として出力する予測手段と、

上記復号差分値と上記予測画素とを加算し、上記加算した結果を修正差分値として出力する加算手段と、

上記修正差分値と、上記復号画素値とから、多値画像信号を復号化処理によって取得する画像復号化手段とを備えたものであることを特徴とする画像復号化装置。

4 6 . 符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号から画素値信号の差分値を復号化し、復号画素値差分値として出力する第 1 の復号化手段と、

上記符号化信号から透過度信号の差分値を復号化し、復号透過度差分値として出力する第 2の復号化手段と、

上記符号化信号から画素値信号の動きべクトルと、透過度信号の動きべクトルとを復号化し、復号画素値動きべクトルと、復号透過度動きべクトルとを出力する第 3の復号化手段と、

後述する参照画像の画素値信号を、上記復号画素値動きべクトルを用いて動き補償し、上記動き補償した結果を補償画素値信号として出力する第 1 の動き補憤手段と、

上記復号画素値差分値と補償画素値信号とを加算し、上記加算した結果を復号化した画素値信号として出力するとともに、参照画像の画素値信号として出力する第 1 の加算手段と、

後述する参照画像の透過度信号を、上記復号透過度動きべクトルを用いて動き補儻し、上記動き補償した結果を補償透過度信号として出力する第 2の動き補慣手段と、

上記復号透過度差分値と補儻透過度信号とを加算し、上記加算した結果を復号化した透過度信号として出力するとともに、参照画像の透過度信号として出力する第 2の加算手段とを備えたことを特徴とする画像復号化装置。

4 7 . 請求項 4 6 に記載の画像復号化装置において、

上記第 3 の復号化手段は、画素値信号の動きベクトルと、動きべクトルの差分値とを復号化して復号画素値動きべクトルと復号動きべクトル差分値とを取得し、上記復号画素値動きべクトルと復号動きべクトル差分値とを加算して、上記復号透過度動きべクトルとするものであることを特徴とする画像復号化装置。

4 8 . 符号化信号を入力して、復号化する画像復号化装置であって、上記符号化信号から画素値信号の差分値を復号化し、復号画素値差分値として出力する第 1 の復号化手段と、

上記符号化信号から形状信号の差分値を復号化し、復号形状差分値として出力する第 2の復号化手段と、

上記符号化信号から画素値信号の動きベクトルと、形状信号の動きべクトルとを復号化し、復号画素値動きベクトルと、復号形状動きべクトルとを出力する第 3の復号化手段と、

後述する参照画像の画素値信号を、上記復号画素値動きべクトルを用いて動き補償し、上記動き補 «した結果を補償画素値信号として出力する第 1 の動き補償手段と、

後述する参照画像の形状信号を、上記復号形状動きべクトルを用いて動き補償し、上記動き補償した結果を補償形状信号として出力する第 2 の動き補償手段と、上記復号形状差分値と補償形状信号とを加算し、上記加算した結果を復号化した形状信号として出力するとともに、参照画像の形状信号として出力する第 2 の加算手段とを備えたことを特徴とする画像復号化装置

4 9 . 請求項 4 8 に記載の画像復号化装置において、

上記第 3 の復号化手段は、画素値信号の動きべクトルと、動きべクトルの差分値とを復号化して復号画素値動きべクトルと復号動きべクトル差分値とを取得し、上記復号画素値動きべクトルと復号動きべクトル差分値とを加算して、上記復号形状動きべクトルとするものであることを特徴とする画像復号化装置。

5 0 . 請求項 4 8 に記載の画像復号化装置において、

上記第 3の復号化手段は、形状信号の動きベクトルと、動きベクトルの差分値とを復号化して復号形状動きべクトルと復号動きべクトル差分値とを取得し、上記復号形状動きべクトルと復号動きべクトル差分値とを加算して、上記復号画素値動きべクトルとするものであることを特徴とする画像復号化装置。

5 1 . 請求項 4 8 に記載の画像復号化装置において、

上記第 3の復号化手段は、

上記入力信号が、直前に符号化した形状信号の動きベクトルと、入力信号より検出した形状信号の動きベクトルとの差分値を符号化したものである場合、

上記差分値を復号化し、上記復号化した差分値を直前に復号化した形状信号の動きべクトルと加算して、上記復号形状動きべクトルとするものであることを特徴とする画像符号化装置。

5 2 . 請求項 4 8 に記載の画像復号化装置において、

上記入力信号が、直前に符号化した画素値信号の動きベクトルと、入力信号より検出した画素値信号の動きベクトルとの差分値を符号化したものである場合、

上記差分値を復号化し、上記復号化した差分値を直前に復号化した画素値信号の動きべクトルと加算して、上記復号画素値動きべクトルとするものであることを特徴とする画像符号化装置。

5 3 . 請求項 4 8ないし 5 2のいずれかに記載の画像復号化装置において、

上記入力信号が、複数の画像を合成するための合成の比率を示す情報を含む透過度情報と、画像情報とから構成される画像信号を符号化した符号化信号である場合に、

上記復号化した形状信号を上記透過度情報とし、上記復号化した画素値信号を上記画像情報とするものであることを特徴とする画像復号化装置。

5 4 . 請求項 4 8 ないし 5 2のいずれかに記載の画像復号化装置において、

上記入力信号が、複数の画像を合成するための合成の比率を示す情報を含む透過度情報と、画像情報とから構成される画像信号を、上記透過度情報を、形状のみを表わす 2値信号と、その他の信号である残余形状信号とに分離し、上記分離した 2値信号を形状信号とし、上記分離した残余形状信号と、上記画像情報とを画素値信号として符号化した符号化信号である場合に、

上記復号化した形状信号を上記透過度情報の 2値信号とし、上記復号化した画素値信号を上記画像情報、および上記透過度情報の残余形状信号とするものであることを特徴とする画像復号化装置。

5 5 . 符号化信号を入力して、復号化する画像復号化装置であって、上記入力した符号化信号を復号化して、形状情報、透過度情報.、および画素値情報のそれぞれの符号化モードを示すモード識別情報を取得する第 1 の復号化手段と、

上記取得したモード識別情報に対応して、ブロック化された形状情報、透過度情報、および画素値情報を復号化する第 2の復号化手段と、上記第 2の復号化手段が出力するブロック化された形状情報、透過度情報、および画素値情報を統合して復号画像信号とする逆ブロック化手段を備えたことを特徴とする画像復号化装置。

5 6 , 請求項 5 5 に記載の画像復号化装置において、

上記モード識別情報は、符号化モードとして、画面内符号化、および画面間符号化を示すものであることを特徴とする画像符号化装置。

5 7 . 請求項 5 5 に記載の画像復号化装置において、

上記モード識別情報は、符号化モードとして、ブロックごとの動きべクトルの個数を示すものであることを特徴とする画像符号化装置。

5 8 . 請求項 5 5 に記載の画像復号化装置において、

上記モード識別情報は、符号化モードとして、量子化ステップ変更有、および置子化ステップ変更無を示すものであることを特徴とする画像符号化装置。

5 9 . 符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化装置であって、

復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第

2 の変化画素検出手段と、

復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第

3の変化画素検出手段と、

上記第 2の変化画素と上記第 3の変化画素とに基づいて、後述する第

1 の変化画素を予測して、上記予測した予測変化画素を出力する変化画素予測手段と、

上記入力した符号化信号を復号化して、予測誤差を取得し、上記取得した予測誤差を出力する予測誤差復号化手段と、

上記予測変化画素と、上記予測誤差とを加算して第 1 の変化画素として出力する第 1 の変化画素復号化手段と、

直前に復号化した変化画素と、上記第 1 の変化画素との間の画素については、画素値の変化する画素がないものとして、当該画素値を復号化する画素値復号化手段とを備えたことを特徴とする画像復号化装置。

6 0 . 請求項 5 9 に記載の画像復号化装置において、

上記第 2の変化画素検出手段、および上記第 3の変化画素検出手段は、上記第 2の変化画素、および上記第 3の変化画素の画素値を、上記第 1 の変化画素の画素値と同じものとするものであることを特徴とする画像復号化装置。

6 1 . 請求項 5 9 に記載の画像復号化装置において、

上記第 2の変化画素検出手段、および上記第 3の変化画素検出手段は、上記走査する所定の方向を、上記第 1 の変化画素検出手段が上記走査する所定の方向と同じ方向とするものであることを特徴とする画像復号化装置。

6 2 . 請求項 5 9 に記載の画像復号化装置において、

上記第 2の変化画素を用いて予測した変化画素との差によって、上記第 3の変化画素を復号化するものであることを特徴とする画像復号化装置。

6 3 . 請求項 5 9 に記載の画像復号化装置において、

第 2の変化画素、第 3の変化画素、および第 1 の変化画素が異なる走査線にあるものであることを特徴とする画像復号化装置。

6 4 . 請求項 5 9 に記載の画像復号化装置において、上記変化画素予測手段は、

上記第 1 の変化画素について、第 k走査線の y- (x-y) *(n- k)/(m - n)画素目であると予測するものであることを特徴とする画像復号化装置。

6 5 . 符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化装置であって、

復号化済みの 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した検出変化画素を出力する変化画素検出手段と、

上記検出変化画素に基づいて当該走査線の変化画素を予測し、上記予測した予測変化画素を出力する変化画素予測手段と、

上記入力する符号化信号を復号化し、差分値符号化信号であるか、または画素数符号化信号であるかを判定し、識別信号を出力するモード復号化手段と、

上記識別信号が差分値符号化信号を示す場合に、上記差 ^値符号化信号を復号化して復号予測誤差を出力する予測誤差復号化手段と、上記識別信号が差分値符号化信号を示す場合に、上記予測変化画素と上記復号予測誤差とを加算して、上記加算した結果を第 1 の復号変化画素として出力する第 1 の変化画素復号化手段と、

上記識別信号が画素数符号化信号を示す場合に、直前に符号化した変化画素から、上記検出変化画素までに位置する画素であって、上記復号予測誤差の画素位置に位置しない画素の数を、上記画素数符号化信号から復号化し、上記復号化した画素の数に基づいて変化画素の位置を取得し、上記取得した結果を第 2の復号変化画素として出力する第 2の変化画素復号化手段と、上記識別信号に対応して、上記第 1 の復号変化画素、又は上記第 2 の復号変化画素を選択して出力する変化画素選択手段と、

直前に復号化した変化画素と、上記第 1 の変化画素との間の画素については、画素値の変化する画素がないものとして、当該画素値を復号化する画素値復号化手段とを備えたことを特徴とする画像復号化装置。 6 6 . 請求項 6 5 に記載の画像復号化装置において、

上記変化画素選択手段は、当該走査線の画素数に応じて、上記選択を行うものであることを特徴とする画像復号化装置。

6 7 . 符号化信号を入力し、復号化して、物体を表す画素が存在する領域を表す 2次元の形状信号を出力する画像復号化装置であって、上記符号化信号を復号化して、上記物体を表す画素が存在する領域を矩形領域として取得し、上記取得した領域を有意領域として出力する有意領域復号化手段と、

複数の画素からなるブロックのそれぞれについて、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定得する場合は、当該プロックの少なくとも上記有意領域を復号化して、上記復号化した結果を復号プロック形状信号として出力する形状復号化手段と、

上記復号ブロック形状信号を統合して、 2次元の形状信号を構成し、上記構成した 2次元の形状信号を復号化信号として出力する逆ブロック化手段とを備えたことを特徴とする画像復号化装置。

6 8 . 請求項 6 7 に記載の画像復号化装置において、

上記形状復号化手段は、

各ブロックごとに、ブロック中から、上記有意領域を含む最小の矩形領域を抽出し、上記抽出した矩形領域の内部のみを復号化するものであることを特徴とする画像復号化装置。

6 9 . 符号化信号を入力して、複数の画素からなる 2次元画像信号を復号化して出力する画像復号化装置であって、

上記符号化信号を復号化して第 1 の復号化信号を出力する第 1 の画像信号復号化手段と、

上記第 1 の画像信号復号化手段で復号化した画像信号に基づいて、上記第 1 の画像信号復号化手段で復号化されない画像信号を予測して出力する画像予測手段と、

上記予測した画像信号の予測が的中する確率を計算して出力する予測確率計算手段と、

上記予測確率計算手段で計算した予測確率に応じた優先度で上記入力された符号化信号を復号化する第 2の画像信号復号化手段と、

上記上記第 1 の画像信号復号化手段出力と上記第 2の画像信号符号化手段出力を統合し、かつ、上記第 1 の復号化手段および上記第 2の復号化手段のいずれによっても復号化されない画像信号を、上記画像予測手段の予測した画像信号をもって置換して、復号画像信号として出力する復号信号統合手段を備えた画像復号化装置。

7 0 . 請求項 6 9 に記載の画像復号化装置において、

上記第 2の画像信号復号化手段は、、

予測が的中する確率が小さい画素について、優先的に復号化するものであることを特徴とする画像復号化装置。

7 1 . 請求項 6 9に記載の画像復号化装置において、

上記予測確率計算手段は、

近傍の画素値が同じ値の場合に、上記的中する確率を大きく、近傍の画素値が異なる値の場合に、上記的中する確率を小さくするものであることを特徴とする画像復号化装置。

7 2 . 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化方法であって、上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出ステップと、

当該フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測ステップと、

上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 Dとして出力する第 1 の差分値計算ステップと、参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補償を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測ステヅブと、

上記検出変化画素と上記第 2の予測画素との差分を計算し、上記計算した差分を第 2の差分値 D " として出力する第 2 の差分値計算ステップと、

上記第 1 の差分値 D と第 2の上記差分値 D " とに対して、それぞれを符号化した場合の符号長を計算し、その計算結果を比較'して符号長が短い方を選択し、上記選択に対応して「第 1」又は「第 2」のいずれかを符号化モードとして出力するモード選択ステップと、

上記選択した第 1 の差分値 D、又は第 2の差分値 D " と、上記モード選択ステップが出力する符号化モードとを符号化する符号化ステッブとを備えたことを特徴とする画像符号化方法。

7 3 . 2次元 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化方法であって、

上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出ステップと、

当該画像信号を水平方向に走査することによって、符号化および復号化済みの画素の画素値の変化画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測ステヅブと、

上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 D として出力する第 1 の差分値計算ステップと . 当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2 の予測画素として出力する第 2 の予測ステップと、

上記検出変化画素と、上記第 2の予測画素の差分を計算し、上記計算した差分を第 2の差分値 D "として出力する第 2の差分値計算ステップと、

上記第 1 の差分値 D と第 2の上記差分値 D " とに対して、それそれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1 」又は「第 2 j のいずれかを符号化モードとして出力するモード選択ステップと、

上記選択した第 1 の差分値 D、又は第 2の差分値 D " と、上記モード選択ステップが出力する符号化モードとを符号化する符号化ステップとを備えたことを特徴とする画像符号化方法。

7 4 . 物体の形状および各画素の画素値が有意であるかどうかをを示す形状信号と、画素値信号とからなる、ブロック化された形状つき画像信号を入力信号とし、参照画像を参照して上記入力信号を符号化する符号化方法であって、

上記入力信号の画素値信号と、上記参照画像の画素値信号とを比較して、画素値信号の動きべクトルを検出する第 1 の動きべクトル検出ステッブと、上記参照画像の画素値信号を、上記画素値信号の動きべクトルを用いて動き補憤し、補償画素値信号を出力する第 1 の動き補償ステップと、上記入力信号の画素値信号と、上記補償画素値信号とから、両者の差分を計算し、第 1 の差分値を出力する第 1 の差分値計算ステップと、上記第 1 の差分値を符号化する第 1 の符号化ステップと、

上記入力信号の形状信号と、上記参照画像の形状信号とを比較して、形状信号の動きべクトルを検出する第 2の動きべクトル検出ステップと、上記参照画像の形状信号を、上記形状信号の動きべクトルを用いて動き補償し、補償形状信号を出力する第 2 の動き補償ステップと、

上記入力信号の形状信号と、上記補憤形状信号とから、両者の差分値を計算し、第 2の差分値を出力する第 2の差分値計算ステップと、上記第 2の差分値を符号化する第 2 の符号化ステップと、

上記画素値信号の動きべクトルと、上記形状信号の動きべクトルとを符号化する第 3の符号化ステップを備えたことを特徴とする画像符号化方法。

7 5 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化方法であって、

上記入力画像信号に対して、空間および時間的に一致する画素を 1つのグループとして統合し、ブロック化された情報として出力するブロック化ステップと、

上記プロ、ソク化ステップによりブロック化された上記形状情報、上記透過度情報、および上記画素値情報のそれそれに対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化ステップと、上記形状情報、上記透過度情報、および上記画素値情報のそれぞれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 2の符号化ステップとを備え、

上記第 1 の符号化ステップ出力と、上記第 2 の符号化ステップ出力とを符号化出力とすることを特徴とする画像符号化方法。

7 6 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化方法であって、

上記プロック化ステップによりブロック化された上記形状情報、および上記透過度情報のそれぞれに対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化ステップと、

上記第 1 の符号化ステップにおいて選択された符号化モードのうちいずれかの符号化モードにおいて、上記プロック化ステップによりプロヅク化された上記画素値情報を符号化する第 2の符号化ステップと、上記形状情報、上記透過度情報、および上記画素値情報のそれそれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化ステップとを備え、

上記第 1 の符号化ステップ出力、上記第 2 の符号化ステップ出力、及び上記第 3の符号化ステップ出力を符号化出力とすることを特徴とする画像符号化方法。

7 7 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化方法であって、

上記プロック化ステップによりプロック化された上記画素値情報に対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいて符号化する第 1 の符号化ステップと、

上記第 1 の符号化ステップにおいて選択された符号化モードにおいて , 上記プロック化ステップによりブロック化された上記形状情報情報、および上記透過度情報を符号化する第 2の符号化ステップと、

上記形状情報、上記透過度情報、および上記画素値情報のそれぞれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化ステップとを備え、

上記第 1 の符号化ステップ出力、上記第 2の符号化ステップ出力、及び上記第 3の符号化ステップ出力を符号化出力とすることを特徴とする画像符号化方法。

7 8 . 複数の画素からなる 2次元画像信号を入力して符号化する画像符号化方法であって、

上記 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 1 の変化画素を出力する第 1 の変化画素検出ステップと、

符号化復号化済みの画素に対して、所定の方向に走査することによつて画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第 2の変化画素検出ステップと、符号化および復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3の変化画素検出ステップと、

上記第 2の変化画素と上記第 3の変化画素とに基づいて上記第 1 の変化画素を予測して、上記予測した予測変化画素を出力する変化画素予測ステップと、

上記第 1 の変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算ステップと、

上記変化画素差分値を符号化して符号化信号とする予測誤差符号化ステツプとを備えたことを特徴とする画像符号化方法。

7 9 . 複数の画素からなる 2次元画像信号を入力して符号化する画像符号化方法であって、

上記 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した検出変化画素を出力する変化画素検出ステップと、

符号化および復号化済の画素から変化画素を予測し、上記予測した予測変化画素を出力する変化画素予測ステップと、

上記検出変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算ステップと、

上記変化画素差分値の値が所定値未満である場合に、上記変化画素差分値を符号化し、差分値符号化信号を出力する予測誤差符号化ステップと、

上記変化画素差分値の値が所定値以上である場合に、直前に符号化した変化画素から、上記検出変化画素までに位 Sする画素であって、上記予測誤差符号化ステップが符号化し得る画素位置に位置しない画素の数を算出し、上記算出した画素数を符号化して、画素数符号化信号を出力する画素数符号化ステップとを備え、

上記予測誤差符号化ステップと、上記画素数符号化ステップとは、上記差分値符号化信号と、上記画素数符号化信号とがー意に識別可能な符号化を行うことを特徴とする画像符号化方法。

8 0 . 物体を表す画素が存在する領域を表す 2次元の形状信号を入力として、上記形状信号を符号化する画像符号化方法であって、

上記入力した形状信号から、上記物体を表す画素を包含する矩形領域である有意領域を抽出し、上記抽出した有意領域の範囲である有意領域範囲を出力する有意領域抽出ステップと、

上記形状信号を複数の画素からなるブロックに分割するブロック化ステツプと、

上記ブロック化ステップが出力する各ブロックごとに、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定した場合は、少なくとも当該ブロックの上記有意領域を符号化し、形状符号化信号を出力する形状符号化ステップとを備え、

上記有意領域範囲と、上記形状符号化信号とを符号化信号とすることを特徴とする画像符号化方法。

8 1 . 複数の画素からなる 2次元画像信号を入力として上記 2次元画像信号を符号化する画像符号化方法であって、

上記画像信号を少なくとも 2つの画像信号に分離して、上記分離した画像信号を 2つ以上の部分画像信号として出力する画像信号分離ステツブと、

上記部分画像信号のうち少なくとも 1 つを対象部分画像信号として選択し、上記選択した対象部分画像信号を符号化して、第 1 の符号化信号を出力する第 1 の画像信号符号化ステップと、

上記第 1 の符号化信号を復号化した画像信号に基づいて、上記部分画像信号のうち上記対象部分画像信号を除いた対象外部分画像信号を予測し、上記予測が的中する確率を計算し、上記計算した予測確率を出力する予測確率計算ステップと、

上記予測確率計算ステップで計算した予測確率に応じて、復号化の優先度を決定し、上記決定した優先道に応じた符号化方法を用いて、上記対象外部分画像信号をを符号化する第 2の画像信号符号化ステップとを備えたことを特徴とする画像符号化方法。

8 2 . 符号化信号を入力して、復号化する画像復号化方法であって、上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモード信号として、上記取得した差分値を復号差分値として出力する復号化ステップと、

当該フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1の予測画素として出力する第 1 の予測ステップと、参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補償を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測ステツブと、

上記モード信号が当該フレーム予測を示す場合は、上記第 1の予測画素に上記復号差分値を加算し、

上記モード信号が参照フレーム予測を示す場合は、上記第 2 の予測画素に上記復号差分値を加算する加算ステップとを備え、

上記加算ステップの出力を変化画素とすることを特徴とする画像復号化方法。

8 3 . 符号化信号を入力して、復号化する画像復号化方法であって、上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモード信号として、上記取得した差分値を復号差分値として出力する復号化ステップと、

当該画像信号を水平方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測ステップと、

当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2 の予測画素として出力する第 2 の予測ステップと、

上記モード信号が水平方向走査の予測を示す場合は、上記第 1 の予測画素に上記復号差分值を加算し、

上記モード信号が垂直方向走査の予測を示す場合は、上記第 2の予測画素に上記復号差分値を加算する加算ステップとを備え、

8 4 . 符号化信号を入力して、復号化する画像復号化方法であって、上記符号化信号から画素値信号の差分値を復号化し、復号画素値差分値として出力する第 1 の復号化ステッブと、

上記符号化信号から形状信号の差分値を復号化し、復号形状差分値として出力する第 2の復号化ステップと、

上記符号化信号から画素値信号の動きべクトルと、形状信号の動きべクトルとを復号化し、復号画素値動きベクトルと、復号形状動きべクトルとを出力する第 3の復号化ステップと、

後述する参照画像の画素値信号を、上記復号画素値動きベクトルを用いて動き補償し、上記動き補 «した結果を補償画素値信号として出力する第 1 の動き補償ステップと、

上記復号画素値差分値と補償画素値信号とを加算し、上記加算した結果を復号化した画素値信号として出力するとともに、参照画像の画素値信号として出力する第 1 の加算ステップと、

後述する参照画像の形状信号を、上記復号形状動きベクトルを用いて動き補償し、上記動き補償した結果を補償形状信号として出力する第 2 の動き補償ステップと、

上記復号形状差分値と補儐形状信号とを加算し、上記加算した結果を復号化した形状信号として出力するとともに、参照画像の形状信号として出力する第 2の加算ステップとを備えたことを特徴とする画像復号化方法。

8 5 . 符号化信号を入力して、復号化する画像復号化方法であって、上記入力した符号化信号を復号化して、形状情報、透過度情報、および画素値情報のそれそれの符号化モードを示すモード識別情報を取得する第 1 の復号化ステヅブと、

上記取得したモード識別情報に対応して、ブロック ftされた形状情報、透過度情報、および画素値情報を復号化する第 2の復号化ステップと、上記第 2の復号化ステップが出力するブロック化された形状情報、透過度情報、および画素値情報を統合して復号画像信号とする逆ブロック化ステップを備えたことを特徴とする画像復号化方法。

8 6 . 符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化方法であって、

復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 2 の変化画素を出力する第 2の変化画素検出ステップと、

復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3の変化画素検出ステップと、

上記第 2の変化画素と上記第 3の変化画素とに基づいて、後述する第 1 の変化画素を予測して、上記予測した予測変化画素を出力する変化画素予測ステップと、

上記入力した符号化信号を復号化して、予測誤差を取得し、上記取得した予測誤差を出力する予測誤差復号化ステップと、

上記予測変化画素と、上記予測誤差とを加算して第 1 の変化画素として出力する第 1 の変化画素復号化ステップと、

直前に復号化した変化画素と、上記第 1 の変化画素との間の画素については、画素値の変化画素がないものとして、当該画素値を復号化する画素値復号化ステップとを備えたことを特徴とする画像復号化方法。

8 7 . 符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化方法であって、

復号化済みの 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した検出変化画素を出力する変化画素検出ステップと、

上記検出変化画素に基づいて当該走査線の変化画素を予測し、上記予測した予測変化画素を出力する変化画素予測ステップと、

上記入力する符号化信号を復号化し、差分値符号化信号であるか、または画素数符号化信号であるかを判定し、識別信号を出力するモ一ド復号化ステップと、上記識別信号が差分値符号化信号を示す場合に、上記差分値符号化信号を復号化して復号予測誤差を出力する予測誤差復号化ステップと、

上記識別信号が差分値符号化信号を示す場合に、上記予測変化画素と上記復号予測誤差とを加算して、上記加算した結果を第 1 の復号変化画素として出力する第 1 の変化画素復号化ステップと、上記識別信号が画素数符号化信号を示す場合に、直前に符号化した変化画素から、上記検出変化画素までに位置する画素であって、上記復号予測誤差の画素位置に位置しない画素の数を、上記画素数符号化信号から復号化し、上記復号化した画素の数に基づいて変化画素の位置を取得し、上記取得した結果を第 2の復号変化画素として出力する第 2の変化画素復号化ステップと、

上記識別信号に対応して、上記第 1 の復号変化画素、又は上記第 2の復号変化画素を選択して出力する変化画素選択ステップと、

8 8 . 符号化信号を入力し、復号化して、物体を表す画素が存在する領域を表す 2次元の形状信号を出力する画像復号化方法であって、上記符号化信号を復号化して、上記物体を表す画素が存在する領域を矩形領域として取得し、上記取得した領域を有意領域として出力する有意領域復号化ステ 'ソプと、

複数の画素からなるブロックのそれぞれについて、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定得する場合は、当該プロックの少なくとも上記有意領域を復号化して、上記復号化した結果を復号ブロック形状信号として出力する形状復号化ステッブと、

上記復号ブロック形状信号を統合して、 2次元の形状信号を構成し、上記構成した 2次元の形状信号を復号化信号として出力する逆ブロック化ステップとを備えたことを特徴とする画像復号化方法。

8 9 . 符号化信号を入力して、複数の画素からなる 2次元画像信号を復号化して出力する画像復号化方法であって、上記符号化信号を復号化して第 1 の復号化信号を出力する第 1 の画像信号復号化ステップと、

上記第 1 の画像信号復号化ステップで復号化した画像信号に基づいて, 上記第 1 の画像信号復号化ステッブで復号化されない画像信号を予測して出力する画像予測ステップと、

上記予測した画像信号の予測が的中する確率を計算して出力する予測確率計算ステップと、

上記予測確率計算ステップで計算した予測確率に応じた優先度で上記入力された符号化信号を復号化する第 2の画像信号復号化ステップと、上記上記第 1 の画像信号復号化ステップ出力と上記第 2の画像信号符号化ステップ出力を統合し、かつ、上記第 1 の復号化ステップおよび上記第 2の復号化ステップのいずれによっても復号化されない画像信号を, 上記画像予測ステップの予測した画像信号をもって置換して、復号画像信号として出力する復号信号統合ステップを備えた画像復号化方法。

9 0 . 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化プログラムを記録した記録媒体であって, 上記画素値の変化する画素を検出し、上記検出した変化画素を検出変化画素として出力する変化画素検出ステップと、

上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値！として出力する第 1 の差分値計算ステップと. 参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補憤を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測ステツプと、

上記検出変化画素と上記第 2の予測画素との差分を計算し、上記計算した差分を第 2の差分値 D " として出力する第 2の差分値計算ステップと、

上記第 1 の差分値 D と第 2の上記差分値 D " とに対して、それそれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1」又は「第 2」のいずれかを符号化モードとして出力するモード選択ステップと、

上記選択した第 1 の差分値 D、又は第 2の差分値 D " と、上記モード選択ステップが出力する符号化モードとを符号化する符号化ステップとを備えた画像符号化プログラムを記録したことを特徴とする記録媒体。

9 1 . 2次元 2値画像信号を入力信号とし、上記入力信号の画素値が変化する画素を符号化する画像符号化プログラムを記録した記録媒体であって、

上記検出変化画素と上記第 1 の予測画素との差分を計算し、上記計算した差分を第 1 の差分値 Dとして出力する第 1 の差分値計算ステップと、当該画像信号を垂直方向に走査することによって、符号化および復号化済みの画素の画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2 の予測ステップと、上記検出変化画素と、上記第 2の予測画素の差分を計算し、上記計算した差分を第 2 の差分値 D "として出力する第 2 の差分値計算ステップと、

上記第 1 の差分値 D と第 2の上記差分値 D " とに対して、それそれを符号化した場合の符号長を計算し、その計算結果を比較して符号長が短い方を選択し、上記選択に対応して「第 1 」又は「第 2」のいずれかを符号化モードとして出力するモード選択ステップと、

上記選択した第 1 の差分値 D、又は第 2の差分値 D " と、上記モード選択ステップが出力する符号化モードとを符号化する符号化ステップとを備えた画像符号化プログラムを記録したことを特徴とする記録媒体。 9 2 . 物体の形状および各画素の画素値が有意であるかどうかをを示す形状信号と、画素値信号とからなる、ブロック化された形状つき画像信号を入力信号とし、参照画像を参照して上記入力信号を符号化する符号化方法であって、

上記入力信号の画素値信号と、上記参照画像の画素値信号とを比較して、画素値信号の動きべクトルを検出する第 1 の動きべクトル検出ステヅブと、

上記参照画像の画素値信号を、上記画素値信号の動きべクトルを用いて動き補惯し、補償画素値信号を出力する第 1 の動き補儻ステップと、上記入力信号の画素値信号と、上記補償画素値信号とから、両者の差分を計算し、第 1 の差分値を出力する第 1 の差分値計算ステップと、上記第 1 の差分値を符号化する第 1 の符号化ステップと、

上記入力信号の形状信号と、上記参照画像の形状信号とを比較して、形状信号の動きべクトルを検出する第 2の動きべクトル検出ステップと, 上記参照画像の形状信号を、上記形状信号の動きベクトルを用いて動き補償し、補償形状信号を出力する第 2の動き補償ステップと、上記入力信号の形状信号と、上記補償形状信号とから、両者の差分値を計算し、第 2の差分値を出力する第 2の差分値計算ステップと、上記第 2の差分値を符号化する第 2の符号化ステップと、

上記画素値信号の動きべクトルと、上記形状信号の動きべクトルとを符号化する第 3の符号化ステップを備えた画像符号化プログラムを記録したことを特徴とする記録媒体。

9 3 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化プログラムを記録した記録媒体であって、

上記入力画像信号に対して、空間および時間的に一致する画素を 1つのグループとして統合し、ブロック化された情報として出力するブロヅク化ステップと、

上記ブロック化ステップによりブロック化された上記形状情報、上記透過度情報、および上記画素値情報のそれそれに対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいてそれそれを符号化する第 1 の符号化ステップと、

上記形状情報、上記透過度情報、および上記画素値情報のそれぞれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 2の符号化ステップとを備え、

上記第 1 の符号化ステップ出力と、上記第 2 の符号化ステップ出力とを符号化出力とすることを特徴とする画像符号化プログラムを記録した記録媒体。

9 4 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化プ D グラムを記録した記録媒体であつて、

上記ブロック化ステップによりブロック化された上記形状情報、および上記透過度情報のそれぞれに対して、所定の符号化モードの中から符号化モ一ドを選択し、上記選択した符号化モードにおいてそれぞれを符号化する第 1 の符号化ステップと、

上記第 1 の符号化ステップにおいて選択された符号化モードのうちいずれかの符号化モードにおいて、上記ブロック化ステップによりブロヅク化された上記画素値情報を符号化する第 2の符号化ステップと、上記形状情報、上記透過度情報、および上記画素値情報のそれぞれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化ステップとを備え、

上記第 1 の符号化ステップ出力、上記第 2の符号化ステップ出力、及び上記第 3の符号化ステップ出力を符号化出力とする画像符号化ブログラムを記録したことを特徴とする記録媒体。

9 5 . 物体の各画素の画素値が有意であるかどうかを表す形状情報と、物体の画素毎の合成の比率を表す透過度情報の少なくとも一方と、画素値情報とから構成される画像信号を入力画像信号とする画像符号化プログラムを記録した記録媒体であって、

上記ブロック化ステップによりブロック化された上記画素値情報に対して、所定の符号化モードの中から符号化モードを選択し、上記選択した符号化モードにおいて符号化する第 1 の符号化ステップと、

上記第 1 の符号化ステップにおいて選択された符号化モードにおいて , 上記ブロック化ステップによりブロック化された上記形状情報情報、および上記透過度情報を符号化する第 2の符号化ステップと、

上記形状情報、上記透過度情報、および上記画素値情報のそれそれについての、上記選択したモードを示すモード識別情報を、まとめて符号化する第 3の符号化ステップとを備え、

上記第 1 の符号化ステップ出力、上記第 2 の符号化ステップ出力、及び上記第 3の符号化ステップ出力を符号化出力とすることを特徴とする画像符号化プログラムを記録した記録媒体。

9 6 . 複数の画素からなる 2次元画像信号を入力して符号化する画像符号化プログラムを記録した記録媒体であって、

上記 2次元画像信号に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 1の変化画素を出力する第 1 の変化画素検出ステップと、

符号化復号化済みの画素に対して、所定の方向に走査することによつて画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第 2の変化画素検出ステップと、

符号化および復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3の変化画素検出ステップと、

上記第 1 の変化画素と、上記予測変化画素との差を計算して、上記計算した変化画素差分値を出力する予測誤差計算ステップと、上記変化画素差分値を符号化して符号化信号とする予測誤差符号化ステッブとを備えた画像符号化プログラムを記録したことを特徴とする記録媒体。

9 7 . 複数の画素からなる 2次元画像信号を入力して符号化する画像符号化プログラムを記録した記録媒体であって、

上記変化画素差分値の値が所定値以上である場合に、直前に符号化した変化画素から、上記検出変化画素までに位 fiする画素であって、上記予測誤差符号化ステップが符号化し得る画素位に位置しない画素の数を算出し、上記算出した画素数を符号化して、画素数符号化信号を出力する画素数符号化ステップとを備え、

上記予測誤差符号化ステップと、上記画素数符号化ステップとは、上記差分値符号化信号と、上記画素数符号化信号とがー意に識別可能な符号化を行う画像符号化プログラムを記録したことを特徴とする記録媒体, 9 8 . 物体を表す画素が存在する領域を表す 2次元の形状信号を入力として、上記形状信号を符号化する画像符号化プログラムを記録した記録媒体であって、上記入力した形状信号から、上記物体を表す画素を包含する矩形領域である有意領域を抽出し、上記抽出した有意領域の範囲である有意領域範囲を出力する有意領域抽出ステップと、

上記形状信号を複数の画素からなるプロックに分割するプロック化ステツブと、

上記有意領域範囲と、上記形状符号化信号とを符号化信号とする画像符号化プログラムを記録したことを特徴とする記録媒体。

9 9 . 複数の画素からなる 2次元圃像信号を入力として上記 2次元画像信号を符号化する画像符号化プログラムを記録した記録媒体であって, 上記画像信号を少なくとも 2つの画像信号に分離して、上記分離した画像信号を 2つ以上の部分画像信号として出力する画像信号分離ステツブと、

上記部分画像信号のうち少なくとも 1 つを対象部分画像信号として選択し、上記選択した対象部分画像信号を符号化して、第 1 の符号化信号を出力する第 1の画像信号符号化ステップと、

上記第 1の符号化信号を復号化した画像信号に基づいて、上記部分画像信号のうち上記対象部分画像信号を除いた対象外部分画像信号を予測し、上記予測が的中する確率を計算し、上記計算した予測確率を出力する予測確率計算ステッブと、

上記予測確率計算ステップで計算した予測確率に応じて、復号化の優先度を決定し、上記決定した優先道に応じた符号化方法を用いて、上記対象外部分画像信号をを符号化する第 2の画像信号符号化ステップとを備えた画像符号化プログラムを記録したことを特徴とする記録媒体。

1 0 0 . 符号化信号を入力して、復号化する画像復号化プログラムを記録した記録媒体であって、

上記符号化信号を復号化して、符号化モードと、差分値とを取得し、上記取得した符号化モードをモード信号として、上記取得した差分値を復号差分値として出力する復号化ステップと、

当該フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づいて、上記入力信号の変化画素を予測し、上記予測した画素を第 1 の予測画素として出力する第 1 の予測ステップと、参照フレームにおける符号化および復号化済みの画素の、画素値の変化する画素に基づき、動き補償を伴って、上記入力信号の変化画素を予測し、上記予測した画素を第 2の予測画素として出力する第 2の予測ステヅプと、

上記モード信号が当該フレーム予測を示す場合は、上記第 1 の予測画素に上記復号差分値を加算し、

上記加算ステップの出力を変化画素とする画像復号化プログラムを記録したことを特徴とする記録媒体。

1 0 1 . 符号化信号を入力して、復号化する画像復号化プログラムを記録した記録媒体であって、

1 0 2 . 符号化信号を入力して、復号化する画像復号化プログラムを記録した記録媒体であって、

上記符号化信号から画素値信号の差分値を復号化し、復号画素値差分値として出力する第 1の復号化ステップと、

上記符号化信号から形状信号の差分値を復号化し、復号形状差分値として出力する第 2の復号化ステッブと、

上記符号化信号から画素値信号の動きべクトルと、形状信号の動きべクトルとを復号化し、復号画素値動きべクトルと、復号形状動きべク卜ルとを出力する第 3の復号化ステップと、

後述する参照画像の画素値信号を、上記復号画素値動きべクトルを用いて動き補償し、上記動き補償した結果を補償画素値信号として出力する第 1 の動き補憤ステップと、

後述する参照画像の形状信号を、上記復号形状動きべクトルを用いて動き補償し、上記動き補償した結果を補償形状信号として出力する第 2 の動き補償ステップと、

上記復号形状差分値と補憤形状信号とを加算し、上記加算した結果を復号化した形状信号として出力するとともに、参照画像の形状信号として出力する第 2の加算ステップとを備えた画像復号化プログラムを記録したことを特徴とする記録媒体。

1 0 3 . 符号化信号を入力して、復号化する画像復号化プログラムを記録した記録媒体であって、

上記入力した符号化信号を復号化して、形状情報、透過度情報、および画素値情報のそれぞれの符号化モードを示すモード識別情報を取得する第 1 の復号化ステッブと、

上記取得したモード識別情報に対応して、ブロック化された形状情報、透過度情報、および画素値情報を復号化する第 2の復号化ステップと、上記第 2の復号化ステッブが出力するブロック化された形状情報、透過度情報、および画素値情報を統合して復号画像信号とする逆ブロック化ステップを備えた画像復号化プログラムを記録したことを特徴とする記録媒体。

1 0 4 . 符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化プログラムを記録した記録媒体であつて、

復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 2の変化画素を出力する第 2の変化画素検出ステップと、

復号化済みの画素に対して、所定の方向に走査することによって画素値の変化する画素を検出し、上記検出した第 3の変化画素を出力する第 3 の変化画素検出ステップと、

直前に復号化した変化画素と、上記第 1 の変化画素との間の画素については、画素値の変化する画素がないものとして、当該画素値を復号化する画素値復号化ステップとを備えた画像復号化プログラムを記録したことを特徴とする記録媒体。

1 0 5 . 符号化信号を入力として複数の画素からなる 2次元画像信号を復号化して出力する画像復号化プログラムを記録した記録媒体であつて、 '、

上記入力する符号化信号を復号化し、差分値符号化信号であるか、または画素数符号化信号であるかを判定し、識別信号を出力するモード復号化ステップと、

上記識別信号が差分値符号化信号を示す場合に、上記差分値符号化信号を復号化して復号予測誤差を出力する予測誤差復号化ステップと、上記識別信号が差分値符号化信号を示す場合に、上記予測変化画素と上記復号予測誤差とを加算して、上記加算した結果を第 1 の復号変化画素として出力する第 1 の変化画素復号化ステップと、

上記識別信号が画素数符号化信号を示す場合に、直前に符号化した変化画素から、上記検出変化画素までに位置する画素であって、上記復号予測誤差の画素位置に位 Sしない画素の数を、上記画素数符号化信号から復号化し、上記復号化した画素の数に基づいて変化画素の位置を取得し、上記取得した結果を第 2の復号変化画素として出力する第 2の変化画素復号化ステップと、

上記識別信号に対応して、上記第 1 の復号変化画素、又は上記第 2の復号変化画素を選択して出力する変化画素選択ステッブと、

1 0 6 . 符号化信号を入力し、復号化して、物体を表す画素が存在する領域を表す 2次元の形状信号を出力する画像復号化プログラムを記録した記録媒体であって、

上記符号化信号を復号化して、上記物体を表す画素が存在する領域を矩形領域として取得し、上記取得した領域を有意領域として出力する有意領域復号化ステップと、

複数の画素からなるブロックのそれぞれについて、上記有意領域を含むか否かを判定し、上記有意領域を含むと判定得する場合は、当該プロックの少なくとも上記有意領域を復号化して、上記復号化した結果を復号ブロック形状信号として出力する形状復号化ステツプと、

上記復号ブロック形状信号を統合して、 2次元の形状信号を構成し、上記構成した 2次元の形状信号を復号化信号として出力する逆ブロック化ステップとを備えた画像復号化プログラムを記録したことを特徴とする記録媒体。

1 0 7 . 符号化信号を入力して、複数の画素からなる 2次元画像信号を復号化して出力する画像復号化プログラムを記録した記録媒体であつて、

上記符号化信号を復号化して第 1 の復号化信号を出力する第 1 の画像信号復号化ステップと、

上記第 1 の画像信号復号化ステップで復号化した画像信号に基づいて. 上記第 1 の画像信号復号化ステップで復号化されない画像信号を予測して出力する画像予測ステップと、

上記予測確率計算ステップで計算した予測確率に応じた優先度で上記入力された符号化信号を復号化する第 2 の画像信号復号化ステップと、上記上記第 1 の画像信号復号化ステップ出力と上記第 2 の画像信号符号化ステップ出力を統合し、かつ、上記第 1 の復号化ステップおよび上記第 2の復号化ステップのいずれによっても復号化されない画像信号を, 上記画像予測ステップの予測した画像信号をもって置換して、復号画像信号として出力する復号信号統合ステップを備えた画像復号化プログラムを記録したことを特徴とする記録媒体。