JPH11341496A - 画像処理方法，画像処理装置，及びデータ記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 符号化効率及び画質の劣化を招くことなく、
受信側での再生時の復号化処理における補填処理を大幅
に削減することがてきる画像符号化装置を得る。 【解決手段】 現処理フレームにおける対象ブロックの
データに対して、対応する予測ブロックを用いて予測符
号化処理を行う画像符号化装置において、次処理フレー
ムに対する予測データＰｇの生成のための参照画像デー
タＭｇを格納するフレームメモリ１１３と、再生ブロッ
クのうちの無効ブロックに対しては補填処理を施し、か
つ再生ブロックのうち有効ブロックに対しては補填処理
を行わずに、上記再生ブロックのデータＲｇを参照画像
データＭｇとして上記フレームメモリ１１３に格納する
再生補填器１１２とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法，画
像処理装置，及びデータ記憶媒体に関し、特に、任意形
状を有する物体に対応する画像信号に対する予測符号化
処理及び予測復号化処理を、物体を含む領域を分割する
ブロック毎に行う際に、予測画像データを生成するため
の再生画像データに対して行う補填処理に関するもので
ある。

【０００２】

【従来の技術】デジタル画像情報を効率よく蓄積もしく
は伝送するには、デジタル画像情報を圧縮符号化する必
要があり、現状では、デジタル画像情報を圧縮符号化す
るための方法として、ＪＰＥＧ(Joint Photographic Co
ding Experts Group）やＭＰＥＧ(Moving Picture Expe
rts Group)に代表される離散コサイン変換（ＤＣＴ：Di
screte Cosine Transform ）の他に、サブバンド、ウェ
ーブレット、フラクタル等の波形符号化方法がある。

【０００３】また、隣接するフレーム等の画面間におけ
る冗長な画像情報を取り除く方法としては、動き補償を
用いた画面間予測を行い、つまり現画面を構成する画素
の画素値を、これと前画面を構成する画素の画素値との
差分値を用いて表し、この差分値からなる差分画像信号
を波形符号化する方法がある。

【０００４】ところで、最近、画像信号の圧縮効率を向
上させると同時に、１画面（フレーム）の画像を構成す
る個々の物体を単位として画像信号の再生を行うことが
できるよう、該物体に対応する画像信号を物体毎に別々
に圧縮符号化して伝送する符号化方式が考えられてい
る。この符号化方式により符号化された画像符号化信号
に対しては、再生側にて上記符号化方式に対応した復号
化処理が施される。つまり、この復号化処理では、それ
ぞれの物体に対応する画像符号化信号が復号化され、該
復号化により得られた各物体に対応する画像再生信号が
合成されて、合成画像再生信号が生成される。そして、
この合成画像再生信号に基づいて、個々の物体からなる
１画面に対応する画像が表示される。

【０００５】上記のように物体単位で画像信号の符号化
を行う符号化方式を用いることにより、再生側では、個
々の物体を自由に組み合わせて合成画像を生成すること
が可能となり、これにより動画像を簡単に再編集でき
る。また、通信路の混み具合や再生装置の性能、あるい
は視聴者の好みによって、比較的重要でない物体を再生
せずに、重要度の高い物体のみからなる動画像を表示す
ることもできる。

【０００６】ここで、物体（つまり任意の形状をもつ画
像）に対応する画像信号を符号化するには、その物体の
形状に応じた信号処理を行う波形変換、たとえば形状適
応離散コサイン変換を用いるか、あるいは画像信号に対
する補填処理を行った後に波形変換を行う方法を用い
る。

【０００７】この補填処理を用いる符号化方法では、具
体的には、個々の物体に対応した画像空間（オブジェク
ト領域）を形成する画像信号に対して、その無効領域の
画素の画素値を、所定の方法により得られる補填値でも
って置き換える補填処理を施し、該補填処理を施した画
像信号に対して、従来の８×８コサイン変換処理を施
す。ここで、上記無効領域は、オブジェクト領域におけ
る物体外の領域であって、物体を表示するための画素値
を有しない画素からなる領域である。つまり無効領域に
対応する画像信号は、いわゆる有意でないサンプル値の
みからなる。また、上記８×８コサイン変換は、オブジ
ェクト領域に対応する画像信号を、８×８画素からなる
画像空間を単位としてコサイン変換する波形変換処理で
ある。

【０００８】また、隣接するフレーム等の画面における
冗長な信号を取り除く具体的な方法としては、１６×１
６画素からなる画像空間（ブロック）を単位領域とし
て、符号化処理の対象となる画像信号( 対象ブロックに
対応する画像データ）と、これに対応する予測信号（対
象ブロックに対応する予測ブロックの画像データ）との
差分データを予測誤差信号（差分ブロックの画像デー
タ）として求める方法がある。ここで、上記予測信号
は、動き補償により得られる予測領域（予測ブロック）
に対応する画像信号である。なお、動き補償は、既に符
号化処理あるいは復号化処理が施された画面内におけ
る、対象ブロックの画像データとの差分ができるだけ小
さくなるような画像データを与える１６×１６画素から
なる領域を、予測領域（予測ブロック）として検出する
処理である。

【０００９】ところが、この予測領域（予測ブロック）
にも有意でないサンプル値を有する画素（非有意画素）
が含まれる場合がある。この場合には、非有意画素を含
む予測ブロックの画像データと、符号化処理の対象とな
る対象ブロックの画像データとの差分をとると、非有意
画素のサンプル値が、該差分が小さくなるという意味で
最適な予測値であるとは限らないため、差分値が非常に
大きくなることがよく生じる。

【００１０】そこで、上記予測ブロックの画像データに
対して、その有意でないサンプル値を所定の補填値で置
換する補填処理を施した後、補填処理を施した予測ブロ
ックの画像データと対象ブロックの画像データとの差分
データを差分ブロックの画像データ（予測誤差信号）と
して求め、該差分ブロックの画像データに対する符号化
のための変換処理を施す方法が考えられている。このよ
うに予測ブロックの画像データに対して補填処理を施す
ことにより、差分ブロックの画像データを抑圧すること
ができる。

【００１１】また、その他の符号化，復号化方法とし
て、画像表示用データに対して、画像の解像度に応じて
複数の階層に分けて符号化処理及び復号化処理を施すス
ケーラビリティ処理という方法がある。

【００１２】このスケーラビリティ処理（階層符号化及
び階層復号化処理）を用いることにより、ビットストリ
ームとして伝送される画像符号化信号（符号化データ）
は、低解像度画像に対応する符号化データと高解像度画
像に対応する符号化データとを含むこととなる。このた
め、伝送される符号化データの一部を取り出して復号化
することにより、低解像度画像（物体）が再生でき、ま
た、伝送される符号化データのすべてを取り出して復号
化することにより、高解像度画像（物体）を再生するこ
とができる。

【００１３】このような階層符号化処理では、具体的に
は、低解像度画像のデータを用いて、高解像度画像のデ
ータ（対象ブロックのデータ）に対応する予測データ
（予測ブロックのデータ）を生成し、上記高解像度画像
のデータから低解像度画像のデータに基づく上記予測デ
ータを引き算して差分データ（差分ブロックのデータ）
を生成し、この差分データのみを符号化するという処理
を行っている。

【００１４】このような階層符号化処理を物体単位で行
う場合、つまり任意形状を有する画像（物体）に対応す
る画像データを、該物体の解像度に応じて複数の階層に
分けて符号化する場合は、物体の任意の形状を示す形状
情報を含む信号に対する階層符号化も、物体を階層カラ
ー表示するためのテキスチャー信号（輝度信号及び色差
信号）に対する階層符号化とともに行う必要がある。言
い換えると、物体単位のスケーラビリティ符号化を行う
際には、物体のテキスチャー信号に加えて、上記形状情
報を含む信号（形状信号あるいは透過度信号）も、高解
像度信号と低解像度信号に分けて符号化する必要があ
る。ここで、上記形状信号は、その値として、画素が物
体外に位置することを示す画像値「０」と、画素が物体
内に位置することを示す画像値「１」を持つ２値信号で
ある。また、上記透過度信号は、物体外の画素に対応す
る画像値として「０」、物体内の画素に対応する画像値
として「０」以外の値（非０値）を有する多値信号であ
り、物体内の画素については、０以外の画素値により、
該物体を構成する各画素の透明度を示すものである。

【００１５】また、上記のようなスケーラビリティ処理
における予測符号化処理においても、有意でないサンプ
ル値（非有意サンプル値）を含む予測ブロックに対し
て、差分値（差分データの値）が小さくなるような補填
値で非有意サンプル値を置き換える補填処理を一旦施し
てから、対象ブロックと予測ブロックとの間でサンプル
値の差分をとり、対象ブロックに対する予測誤差信号
（差分ブロックの画像データ）を生成し、この予測誤差
信号の符号化を行うといったことが行われているが、こ
のように予測ブロックに対する補填処理を行うことによ
り予測誤差信号を抑圧することができる。

【００１６】

【発明が解決しようとする課題】ところで、従来の予測
符号化処理では、予測ブロックに対する画像データを生
成するための、被処理画面（現処理フレーム）より以前
に処理された参照画面（参照フレーム）に対応する参照
画像データに対しても、補填処理を行っており、この補
填処理では、参照画面を構成するブロックのうちの、物
体の境界を含む境界ブロックに対しても補填処理が行わ
れている。このような境界ブロックには有意なサンプル
値を有する画素と有意でないサンプル値を有する画素と
が含まれるため、境界ブロックに対する補填処理では、
境界ブロックに非有意画素が含まれないように、物体の
境界にある有意なサンプル値を用いて、有意でないサン
プル値を置き換えている。

【００１７】なお、この補填処理では、あるサンプル点
（特定画素）に対して、該特定画素を含む水平方向の画
素列の画素の補填処理に繰り返し用いた補填値と、該特
定画素を含む垂直方向の画素列の画素の補填処理に繰り
返し用いた補填値とが存在する場合には、その両方の補
填値を平均化したものを、該特定画素に対する補填値と
している。上記のように参照画面における境界ブロック
を補填してから予測ブロックの画像データを生成するこ
とにより、境界部が多少ずれても予測誤差を小さく抑圧
することができる。

【００１８】このようなことから、同様に、物体単位の
スケーラビリティ符号化処理においても、低解像度画像
から効率よく高解像度画像を予測するためには、参照画
面となる低解像度画面における境界ブロックを補填しな
ければならない。簡単に説明すると、特に、スケーラビ
リティ符号化では、形状信号を複数の解像度階層に分け
るために、形状信号による低解像度画像と高解像度画像
とでは、物体の内部と外部の境界がずれてしまう。つま
り、高解像度画面では、符号化の対象となる対象ブロッ
クが物体の内部を含まれているにも拘わらず、対応する
低解像度画面では、対象ブロックが完全に物体の外部に
位置するといったことが生じる。このような境界のずれ
が生ずる原因としては、高解像度形状信号から低解像度
形状信号を生成する変換処理に形状の変形を招く信号の
変化を伴うこと、また形状信号の圧縮処理によっても物
体の形状を表す情報が変化することなどが挙げられる。
そこで、符号化側では、低解像度参照画面上の境界ブロ
ックによる予測の効率を高めるために、この境界ブロッ
クに対して補填処理を施すようにしている。

【００１９】しかしながら、上記のように符号化側で参
照画面を構成する境界ブロックに対する補填処理を行う
ようにすると、再生側においても参照画面を構成する境
界ブロックに対する補填処理を行う必要が生じ、この結
果、再生時の補填処理が増加する。とりわけ、任意形状
の境界を検索するための処理が多いという問題がある。
このような再生時の補填処理に要する時間は、境界ブロ
ックが多くなればなるほど、境界ブロック数に比例して
増加することとなる。また、上述した物体単位のスケー
ラビリティ符号化においても、このような再生側での低
解像度参照画面上の境界ブロックに対する補填処理によ
って復号化処理に要する時間が増大するといった問題が
ある。

【００２０】本発明は、上記のような問題点を解決する
ためになされたもので、符号化効率と再生画像の画質の
劣化を招くことなく、再生側で任意形状を有する参照画
像に対する補填処理を削減する、特に、境界ブロックが
多くなるときに処理量が比例して増えることを回避する
ことができる画像処理方法及び画像処理装置、並びに該
画像処理方法による画像処理をコンピュータに行わせる
ためのプログラムを格納したデータ記憶媒体を得ること
を目的とする。

【００２１】

【課題を解決するための手段】この発明（請求項１）に
係る画像処理方法は、任意形状を有する物体を含む画像
空間を形成する各フレームに対応する画像信号を、該画
像空間を分割するブロック毎に符号化する方法であっ
て、現処理フレームにおける符号化の対象となる対象ブ
ロックの画像データと、該対象ブロックに対応する予測
ブロックの画像データとの差分データを、差分ブロック
の画像データとして出力し、該差分ブロックの画像デー
タの情報圧縮による圧縮差分ブロックの画像データの生
成、及び該圧縮差分ブロックの画像データの符号化によ
る画像符号化信号の生成を行うとともに、該圧縮差分ブ
ロックの画像データの情報伸長により上記差分データを
伸長差分ブロックの画像データとして復元し、上記伸長
差分ブロックの画像データと上記予測ブロックの画像デ
ータとの加算により再生ブロックの画像データを生成
し、該再生ブロックが有意でない画素のみからなる無効
ブロックであるとき、該再生ブロックの画像データを、
これを構成する有意でない画素値を所定の補填値と置き
換えて出力し、一方、上記再生ブロックが少なくとも１
つ有意な画素を含む有効ブロックであるとき、該再生ブ
ロックの画像データをそのまま出力し、上記有効ブロッ
ク及び補填処理が施された無効ブロックの画像データに
基づいて、次処理フレームの対象ブロックに対応する予
測ブロックの画像データを生成するものである。

【００２２】この発明（請求項２）に係る画像処理方法
は、任意形状を有する物体を含む画像空間を形成する各
フレームに対応する画像信号を、該画像空間を分割する
ブロック毎に符号化して得られる画像符号化信号を、該
ブロック毎に復号化する方法であって、上記画像符号化
信号のデータ解析により、符号化の対象となる対象ブロ
ックの画像データと該対象ブロックに対応する予測ブロ
ックの画像データとの差分データの情報圧縮により得ら
れる圧縮データを、圧縮差分ブロックの画像データとし
て抽出し、上記圧縮差分ブロックの画像データの情報伸
長により、上記差分データを現処理フレームにおける伸
長差分ブロックの画像データとして復元し、上記伸長差
分ブロックの画像データと、該伸長差分ブロックに対応
する予測ブロックの画像データとの加算により、再生ブ
ロックの画像データを生成し、該再生ブロックが有意で
ない画素のみからなる無効ブロックであるとき、該再生
ブロックの画像データを、これを構成する有意でない画
素値を所定の補填値と置き換えて出力し、一方、上記再
生ブロックが少なくとも１つ有意な画素を含む有効ブロ
ックであるとき、該再生ブロックの画像データをそのま
ま出力し、上記有効ブロック及び補填処理が施された無
効ブロックの画像データに基づいて、次処理フレームの
伸長差分ブロックに対応する予測ブロックの画像データ
を生成するものである。

【００２３】この発明（請求項３）に係る画像処理方法
は、任意形状を有する物体を含む画像空間を形成する各
フレームに対応する画像信号を、該画像空間を分割する
ブロック毎に符号化する方法であって、現処理フレーム
における符号化の対象となる対象ブロックの画像データ
と、該対象ブロックに対応する予測ブロックの画像デー
タとの差分データを、差分ブロックの画像データとして
出力し、該差分ブロックの画像データの情報圧縮による
圧縮差分ブロックの画像データの生成、及び該圧縮差分
ブロックの画像データの符号化による画像符号化信号の
生成を行うとともに、該圧縮差分ブロックの画像データ
の情報伸長により上記差分データを伸長差分ブロックの
画像データとして復元し、上記伸長差分ブロックの画像
データと上記予測ブロックの画像データとの加算により
再生ブロックの画像データを生成し、上記再生ブロック
のうちの、少なくとも１つ有意な画素を含む有効ブロッ
クの画像データのみ、所定のタイミングで初期化される
フレームメモリに参照画像データとして上書きして格納
し、上記フレームメモリに格納された参照画像データに
基づいて、次処理フレームの対象ブロックに対応する予
測ブロックの画像データを生成するものである。

【００２４】この発明（請求項４）に係る画像処理方法
は、任意形状を有する物体を含む画像空間を形成する各
フレームに対応する画像信号を、該画像空間を分割する
ブロック毎に符号化して得られる画像符号化信号を、該
ブロック毎に復号化する方法であって、上記画像符号化
信号のデータ解析により、符号化の対象となる対象ブロ
ックの画像データと該対象ブロックに対応する予測ブロ
ックの画像データとの差分データである差分ブロックの
画像データの情報圧縮により得られる圧縮データを、圧
縮差分ブロックの画像データとして生成し、上記圧縮差
分ブロックの画像データの情報伸長により、上記差分デ
ータを現処理フレームにおける伸長差分ブロックの画像
データとして復元し、上記伸長差分ブロックの画像デー
タと該伸長差分ブロックに対応する予測ブロックの画像
データとの加算により、再生ブロックの画像データを生
成し、上記再生ブロックのうちの、少なくとも１つ有意
な画素を含む有効ブロックの画像データのみ、所定タイ
ミングで初期化されるフレームメモリに参照画像データ
として上書きして格納し、上記フレームメモリに格納さ
れた参照画像データから、次処理フレームの伸長差分ブ
ロックに対応する予測ブロックの画像データとして出力
するものである。

【００２５】この発明（請求項５）に係る画像処理方法
は、任意形状を有する物体を含む画像空間を形成する各
フレームに対応する画像信号に対して、該画像空間を分
割するブロック毎に階層符号化処理を施す方法であっ
て、符号化の対象となる対象ブロックの画像データとし
て、第１，第２の異なる解像度を有する第１，第２の対
象ブロックの画像データを生成する前処理、及び、該第
１，第２の各対象ブロックの画像データに対する第１，
第２の符号化処理を含み、上記第１の符号化処理では、
現処理フレームにおける第１の対象ブロックの画像デー
タと、該第１の対象ブロックに対応する第１の予測ブロ
ックの画像データとの第１の差分データを、第１の差分
ブロックの画像データとして出力し、該第１の差分ブロ
ックの画像データの情報圧縮による第１の圧縮差分ブロ
ックの画像データの生成、及び該第１の圧縮差分ブロッ
クの画像データの符号化による第１の画像符号化信号の
生成を行うとともに、該第１の圧縮差分ブロックの画像
データの情報伸長により上記第１の差分データを第１の
伸長差分ブロックの画像データとして復元し、上記第１
の伸長差分ブロックの画像データと上記第１の予測ブロ
ックの画像データとの加算により第１の再生ブロックの
画像データを生成し、該第１の再生ブロックが有意でな
い画素のみからなる無効ブロックであるとき、該第１の
再生ブロックの画像データを、これを構成する有意でな
い画素値を所定の補填値と置き換えて出力し、一方、上
記第１の再生ブロックが少なくとも１つ有意な画素を含
む有効ブロックであるとき、該第１の再生ブロックの画
像データをそのまま出力し、上記有効ブロック及び補填
処理が施された無効ブロックの画像データに基づいて、
次処理フレームの第１の対象ブロックに対応する第１の
予測ブロックの画像信号を生成するとともに、第１の解
像度を第２の解像度に変換する解像度変換処理により上
記第１の再生ブロックに対応する解像度変換データを生
成し、上記第２の符号化処理では、上記解像度変換デー
タと、上記現処理フレームにおける第２の対象ブロック
に対応する第２の予測ブロックの画像データとの重付き
平均化処理により重付き平均予測データを生成し、上記
第２の対象ブロックの画像データと該重付き平均予測デ
ータとの第２の差分データを、第２の差分ブロックの画
像データとして出力し、該第２の差分ブロックの画像デ
ータの情報圧縮による第２の圧縮差分ブロックの画像デ
ータの生成、及び該第２の圧縮差分ブロックの画像デー
タの符号化による第２の画像符号化信号の生成を行うと
ともに、該第２の圧縮差分ブロックの画像データの情報
伸長により上記第２の差分データを第２の伸長差分ブロ
ックの画像データとして復元し、上記第２の伸長差分ブ
ロックの画像データと上記第２の予測ブロックの画像デ
ータとの加算により第２の再生ブロックの画像データを
生成し、該第２の再生ブロックが有意でない画素のみか
らなる無効ブロックであるとき、該第２の再生ブロック
の画像データを、これを構成する有意でない画素値を所
定の補填値と置き換えて出力し、一方、上記第２の再生
ブロックが少なくとも１つ有意な画素を含む有効ブロッ
クであるとき、該第２の再生ブロックの画像データをそ
のまま出力し、これらの有効ブロック及び補填処理が施
された無効ブロックの画像データに基づいて、上記次処
理フレームの第２の対象ブロックに対応する第２の予測
ブロックの画像データを生成するものである。

【００２６】この発明（請求項６）に係る画像処理方法
は、任意形状を有する物体を含む画像空間を形成する各
フレームに対応する画像信号を、該画像空間を分割する
ブロック毎に階層符号化して得られる第１，第２の異な
る解像度を有する第１，第２の画像符号化信号に対し
て、該ブロック毎に階層復号化処理を施す方法であっ
て、上記第１，第２の画像符号化信号に対する第１，第
２の復号化処理を含み、上記第１の復号化処理では、上
記第１の画像符号化信号のデータ解析により、符号化の
対象となる第１の解像度を有する対象ブロックの画像デ
ータと、該対象ブロックに対応する予測ブロックの画像
データとの第１の差分データを情報圧縮して得られる圧
縮データを、第１の圧縮差分ブロックの画像データとし
て生成し、上記第１の圧縮差分ブロックの画像データの
情報伸長により、上記第１の差分データを、現処理フレ
ームにおける第１の伸長差分ブロックの画像データとし
て復元し、上記第１の伸長差分ブロックの画像データ
と、該第１の伸長差分ブロックに対応する予測ブロック
の画像データとの加算により、第１の再生ブロックの画
像データを生成し、該第１の再生ブロックが有意でない
画素のみからなる無効ブロックであるとき、該第１の再
生ブロックの画像データを、これを構成する有意でない
画素値を所定の補填値と置き換えて出力し、一方、上記
第１の再生ブロックが少なくとも１つ有意な画素を含む
有効ブロックであるとき、該第１の再生ブロックの画像
データをそのまま出力し、上記有効ブロック及び補填処
理が施された無効ブロックの画像データに基づいて、次
処理フレームの第１の伸長差分ブロックに対する予測ブ
ロックの画像データを生成するとともに、第１の解像度
を第２の解像度に変換する解像度変換処理により上記第
１の再生ブロックに対応する解像度変換データを生成
し、上記第２の復号化処理では、上記第２の画像符号化
信号のデータ解析により、符号化の対象となる第２の解
像度を有する対象ブロックの画像データと該対象ブロッ
クに対応する予測ブロックの画像データとの第２の差分
データを情報圧縮して得られる圧縮データを、第２の圧
縮差分ブロックの画像データとして生成し、上記第２の
圧縮差分ブロックの画像データの情報伸長により、上記
第２の差分データを、上記現処理フレームにおける第２
の伸長差分ブロックの画像データとして復元し、上記第
２の伸長差分ブロックに対応する予測ブロックの画像デ
ータと上記解像度変換データとの重付き平均化により重
付き平均予測データを生成し、上記第２の伸長差分ブロ
ックの画像データと上記重付き平均予測データとの加算
により第２の再生ブロックの画像データを生成し、上記
第２の再生ブロックが有意でない画素のみからなる無効
ブロックであるとき、該第２の再生ブロックの画像デー
タを、これを構成する有意でない画素値を所定の補填値
と置き換えて出力し、一方、上記第２の再生ブロックが
少なくとも１つ有意な画素を含む有効ブロックであると
き、第２の再生ブロックの画像データをそのまま出力
し、これらの有効ブロック及び補填処理が施された無効
ブロックの画像データに基づいて、上記次処理フレーム
の第２の伸長差分ブロックに対する予測ブロックの画像
データを生成するものである。

【００２７】この発明（請求項７）に係る画像処理装置
は、任意形状を有する物体を含む画像空間を形成する各
フレームに対応する画像信号を、該画像空間を分割する
ブロック毎に符号化する装置であって、現処理フレーム
における符号化処理の対象となる対象ブロックの画像デ
ータと、該対象ブロックに対応する予測ブロックの画像
データとの差分データを差分ブロックの画像データとし
て出力する減算手段と、上記差分ブロックの画像データ
に対して所定の情報圧縮処理を施して、圧縮差分ブロッ
クの画像データを出力する情報圧縮器と、該圧縮差分ブ
ロックの画像データに対して所定の情報伸長処理を施し
て、上記差分データを伸長差分ブロックの画像データと
して復元する情報伸長器と、上記伸長差分ブロックの画
像データと上記予測ブロックの画像データとを加算し
て、再生ブロックの画像データを生成する加算手段と、
該再生ブロックが有意でない画素のみからなる無効ブロ
ックであるとき、該再生ブロックの画像データを、これ
を構成する有意でない画素値を所定の補填値と置き換え
て出力し、上記再生ブロックが少なくとも１つ有意な画
素を含む有効ブロックであるとき、該再生ブロックの画
像データをそのまま出力する補填手段と、上記補填手段
から出力される、有効ブロック及び補填処理が施された
再生ブロックの画像データを参照画像データとして格納
するフレームメモリと、該フレームメモリに格納された
参照画像データから、次処理フレームの対象ブロックに
対応する予測ブロックの画像データを生成する予測デー
タ生成手段とを備えたものである。

【００２８】この発明（請求項８）は、請求項７記載の
画像処理装置において、上記画像信号を構成する、上記
画像空間における各画素が有意な画素であるか否かの情
報を含む有意信号に基づいて、上記差分ブロックの画像
データに対して、該ブロックに含まれる有意でない画素
に対応する画素値を所定の補填値と置き換える補填処理
を施し、該補填処理を施した差分ブロックの画像データ
を上記情報圧縮器に出力する差分ブロック補填手段を備
えたものである。

【００２９】この発明（請求項９）は、上記請求項７記
載の画像符号化装置において、上記画像信号を構成す
る、上記画像空間における各画素が有意な画素であるか
否かの情報を含む有意信号に基づいて、上記対象ブロッ
クの画像データに対して、該対象ブロックに含まれる有
意でない画素に対応する画素値を所定の補填値と置き換
える補填処理を施し、該補填処理を施した対象ブロック
の画像データを上記減算手段に出力する対象ブロック補
填手段を備えたものである。

【００３０】この発明（請求項１０）は、請求項８また
は９記載の画像処理装置において、上記有意信号を、上
記画像空間に含まれる物体を構成する各画素に対応す
る、該物体の画像の透明度を示す透過度信号としたもの
である。

【００３１】この発明（請求項１１）は、請求項７記載
の画像処理装置において、上記補填手段を、上記画像信
号に含まれる、上記再生ブロックを構成する画素が物体
内に位置する有意な画素であるか物体外に位置する有意
でない画素であるかを示す有意信号に基づいて、上記再
生ブロックの画像データを構成する画素値を上記所定の
補填値と置き換える補填処理を行うよう構成し、上記有
意信号を、上記画像空間に含まれる物体を構成する各画
素に対応する、該物体の画像の透明度を示す透過度信号
としたものである。

【００３２】この発明（請求項１２）に係る画像処理装
置は、任意形状を有する物体を含む画像空間を形成する
各フレームに対応する画像信号を、該画像空間を分割す
るブロック毎に符号化して得られる画像符号化信号を、
該ブロック毎に復号化する装置であって、上記画像符号
化信号のデータ解析により、符号化の対象となる対象ブ
ロックの画像データと該対象ブロックに対応する予測ブ
ロックの画像データとの差分データに情報圧縮処理を施
して得られる圧縮データを、圧縮差分ブロックの画像デ
ータとして生成するデータ解析器と、上記圧縮差分ブロ
ックの画像データに情報伸長処理を施して、上記差分デ
ータを、現処理フレームにおける伸長差分ブロックの画
像データとして復元する情報伸長器と、上記伸長差分ブ
ロックの画像データと、上記予測ブロックの画像データ
とを加算して、再生ブロックの画像データを生成する加
算手段と、上記再生ブロックが有意でない画素のみから
なる無効ブロックであるとき、該再生ブロックの画像デ
ータを、これを構成する有意でない画素値を所定の補填
値と置き換えて出力し、一方、上記再生ブロックが少な
くとも１つ有意な画素を含む有効ブロックであるとき、
該再生ブロックの画像データをそのまま出力する補填手
段と、該有効ブロック及び補填処理が施された再生ブロ
ックの画像データを参照画像データとして格納するフレ
ームメモリと、該フレームメモリに格納された参照画像
データから、次処理フレームの伸長差分ブロックに対応
する予測ブロックの画像データを生成する予測データ生
成手段とを備えたものである。

【００３３】この発明（請求項１３）は、請求項１２記
載の画像処理装置において、上記補填手段を、上記画像
符号化信号に含まれる、上記再生ブロックを構成する画
素が物体内に位置する有意な画素であるか物体外に位置
する有意でない画素であるかを示す有意画素情報に基づ
いて、上記再生ブロックの画像データを構成する画素値
を上記所定の補填値と置き換える補填処理を行うよう構
成し、上記有意画素情報を、上記画像空間に含まれる物
体を構成する各画素に対応する、該物体の画像の透明度
を示す透過度信号を符号化して得られる透過度符号化信
号に含まれるものとしたものである。

【００３４】この発明（請求項１４）に係る画像処理装
置は、任意形状を有する物体を含む画像空間を形成する
各フレームに対応する画像信号を、該画像空間を分割す
るブロック毎に符号化する装置であって、現処理フレー
ムにおける符号化処理の対象となる対象ブロックの画像
データと、該対象ブロックに対応する予測ブロックの画
像データとの差分データを差分ブロックの画像データと
して出力する減算手段と、上記差分ブロックの画像デー
タに対して情報圧縮処理を施して、圧縮差分ブロックの
画像データを出力する情報圧縮器と、該圧縮差分ブロッ
クの画像データに対して情報伸長処理を施して、上記差
分データを伸長差分ブロックの画像データとして復元す
る情報伸長器と、上記伸長差分ブロックの画像データと
上記予測ブロックの画像データとを加算して、再生ブロ
ックの画像データを生成する加算手段と、上記再生ブロ
ックの画像データを参照画像データとして格納するフレ
ームメモリと、上記フレームメモリを所定のタイミング
で初期化する初期化手段と、上記加算手段とフレームメ
モリの間に設けられ、該加算手段からフレームメモリへ
の再生ブロックの画像データの供給を制御するデータ供
給制御手段と、該フレームメモリに格納された参照画像
データから、次処理フレームの対象ブロックに対応する
予測ブロックの画像データを生成する予測データ生成手
段とを備え、上記データ供給制御手段を、再生ブロック
を構成する画素が物体内に位置する有意な画素であるか
物体外に位置する有意でない画素であるかを示す、上記
画像信号を構成する有意画素情報に基づいて、上記再生
ブロックが少なくとも１つ有意な画素を含む有効ブロッ
クであるときのみ、上記再生ブロックの画像データを、
上記初期化されたフレームメモリに上書きされるよう出
力する構成としたものである。

【００３５】この発明（請求項１５）に係る画像処理装
置は、任意形状を有する物体を含む画像空間を形成する
各フレームに対応する画像信号を、該画像空間を分割す
るブロック毎に符号化して得られる画像符号化信号を、
該ブロック毎に復号化する装置であって、上記画像符号
化信号のデータ解析により、符号化の対象となる対象ブ
ロックの画像データと該対象ブロックに対応する予測ブ
ロックの画像データとの差分データに情報圧縮処理を施
して得られる圧縮データを、圧縮差分ブロックの画像デ
ータとして生成するデータ解析器と、上記圧縮差分ブロ
ックの画像データに情報伸長処理を施して、上記差分デ
ータを、現処理フレームにおける伸長差分ブロックの画
像データとして復元する情報伸長器と、上記伸長差分ブ
ロックの画像データと、上記予測ブロックの画像データ
とを加算して、再生ブロックの画像データを生成する加
算手段と、上記再生ブロックの画像データを参照画像デ
ータとして格納するフレームメモリと、上記フレームメ
モリを所定のタイミングで初期化する初期化手段と、上
記加算手段とフレームメモリの間に設けられ、該加算手
段からフレームメモリへの再生ブロックの画像データの
供給を制御するデータ供給制御手段と、該フレームメモ
リに格納された参照画像データから、次処理フレームの
対象ブロックに対応する予測ブロックの画像データを生
成する予測データ生成手段とを備え、上記データ供給制
御手段を、再生ブロックを構成する画素が物体内に位置
する有意な画素であるか物体外に位置する有意でない画
素であるかを示す、上記画像符号化信号に含まれる有意
画素情報に基づいて、上記再生ブロックが少なくとも１
つ有意な画素を含む有効ブロックであるときのみ、上記
再生ブロックの画像データを、上記初期化されたフレー
ムメモリに上書きされるよう出力する構成としたもので
ある。

【００３６】この発明（請求項１６）に係る画像処理装
置は、任意形状を有する物体を含む画像空間を形成する
各フレームに対応する画像信号に対して、該画像空間を
分割するブロック毎に階層符号化処理を施す画像符号化
装置であって、符号化処理の対象となる対象ブロックの
画像データとして、第１，第２の異なる解像度を有する
第１，第２の対象ブロックの画像データを生成するデー
タ前処理器と、該第１，第２の対象ブロックの画像デー
タに情報圧縮処理及び符号化処理を施す第１，第２の符
号化部とを備え、上記第１の符号化部を、現処理フレー
ムにおける第１の対象ブロックの画像データと、該対象
ブロックに対応する第１の予測ブロックの画像データと
の第１の差分データを、第１の差分ブロックの画像デー
タとして出力する第１の減算手段と、上記第１の差分ブ
ロックの画像データに対して情報圧縮処理を施して、第
１の圧縮差分ブロックの画像データを出力する第１の情
報圧縮器と、該第１の圧縮差分ブロックの画像データに
対して情報伸長処理を施して、上記第１の差分データを
第１の伸長差分ブロックの画像データとして復元する第
１の情報伸長器と、上記第１の伸長差分ブロックの画像
データと上記第１の予測ブロックの画像データとを加算
して、第１の再生ブロックの画像データを生成する第１
の加算手段と、該第１の再生ブロックが有意でない画素
のみからなる無効ブロックであるとき、該第１の再生ブ
ロックの画像データを、これを構成する有意でない画素
値を所定の補填値と置き換えて出力し、一方、上記第１
の再生ブロックが少なくとも１つ有意な画素を含む有効
ブロックであるとき、該第１の再生ブロックの画像デー
タをそのまま出力する第１の補填手段と、上記第１の補
填手段から出力される、有効ブロック及び補填処理が施
された無効ブロックの画像データを参照画像データとし
て格納する第１のフレームメモリと、該第１のフレーム
メモリに格納された参照画像データから、次処理フレー
ムの第１の対象ブロックに対応する第１の予測ブロック
の画像データを生成する第１の予測データ生成手段と、
上記第１のフレームメモリの出力あるいは第１の補填手
段の出力である画像データに対して、その解像度が第２
の解像度と等しくなるよう解像度変換処理を施して、解
像度変換画像データを生成する解像度変換手段とを有す
る構成とし、上記第２の符号化部を、上記解像度変換画
像データと、上記現処理フレームにおける第２の対象ブ
ロックに対応する第２の予測ブロックの画像データとの
重付け平均化により重付け平均予測データを生成する重
付け平均化手段と、上記第２の対象ブロックの画像デー
タと上記重付け平均予測データとの第２の差分データを
第２の差分ブロックの画像データとして出力する第２の
減算手段と、上記第２の差分ブロックの画像データに対
して情報圧縮処理を施して、第２の圧縮差分ブロックの
画像データを出力する第２の情報圧縮器と、該第２の圧
縮差分ブロックの画像データに対して情報伸長処理を施
して、上記第２の差分データを第２の伸長差分ブロック
の画像データとして復元する第２の情報伸長器と、上記
第２の伸長差分ブロックの画像データと上記第２の予測
ブロックの画像データとを加算して、第２の再生ブロッ
クの画像データを生成する第２の加算手段と、該第２の
再生ブロックが有意でない画素のみからなる無効ブロッ
クであるとき、該第２の再生ブロックの画像データを、
これを構成する有意でない画素値を所定の補填値と置き
換えて出力し、一方、上記第２の再生ブロックが少なく
とも１つ有意な画素を含む有効ブロックであるとき、該
第２の再生ブロックの画像データをそのまま出力する第
２の補填手段と、上記第２の補填手段から出力される、
有効ブロック及び補填処理が施された無効ブロックの画
像データを参照画像データとして格納する第２のフレー
ムメモリと、該第２のフレームメモリに格納された参照
画像データから、上記次処理フレームの第２の対象ブロ
ックに対応する第２の予測ブロックの画像データを生成
する第２の予測データ生成手段とを有する構成としたも
のである。

【００３７】この発明（請求項１７）に係る画像処理装
置は、任意形状を有する物体を含む画像空間を形成する
各フレームに対応する画像信号を、該画像空間を分割す
るブロック毎に階層符号化処理を施して得られる、第
１，第２の異なる解像度を有する第１，第２の画像符号
化信号に対して、該ブロック毎に階層復号化処理を施す
装置であって、上記第１，第２の画像符号化信号に対す
る復号化処理を行う第１，第２の復号化部を備え、上記
第１の復号化部を、上記第１の画像符号化信号のデータ
解析により、符号化の対象となる第１の解像度を有する
対象ブロックの画像データと該対象ブロックに対応する
予測ブロックの画像データとの第１の差分データに情報
圧縮処理を施して得られる圧縮データを、第１の圧縮差
分ブロックの画像データとして生成する第１のデータ解
析器と、上記第１の圧縮差分ブロックの画像データに情
報伸長処理を施して、上記第１の差分データを、現処理
フレームにおける第１の伸長差分ブロックの画像データ
として復元する第１の情報伸長器と、上記第１の伸長差
分ブロックの画像データと、該第１の伸長差分ブロック
に対応する予測ブロックの画像データとを加算して、第
１の再生ブロックの画像データを生成する第１の加算手
段と、上記第１の再生ブロックが有意でない画素のみか
らなる無効ブロックであるとき、該第１の再生ブロック
の画像データを、これを構成する有意でない画素値を所
定の補填値と置き換えて出力し、一方、上記第１の再生
ブロックが少なくとも１つ有意な画素を含む有効ブロッ
クであるとき、該第１の再生ブロックの画像データをそ
のまま出力する第１の補填手段と、該有効ブロック及び
補填処理が施された無効ブロックの画像データを参照画
像データとして格納する第１のフレームメモリと、該第
１のフレームメモリに格納された参照画像データから、
次処理フレームの第１の伸長差分ブロックに対応する第
１の予測ブロックの画像データを生成する第１の予測デ
ータ生成手段と、上記第１のフレームメモリの出力ある
いは上記第１の補填手段の出力である画像データに対し
て、その解像度が第２の解像度と等しくなるよう解像度
変換処理を施して、解像度変換データを生成する解像度
変換手段とを有する構成とし、上記第２の復号化部を、
上記第２の画像符号化信号のデータ解析により、符号化
の対象となる第２の解像度を有する対象ブロックの画像
データと該対象ブロックに対応する予測ブロックの画像
データとの第２の差分データに情報圧縮処理を施して得
られる圧縮データを、第２の圧縮差分ブロックの画像デ
ータとして生成する第２のデータ解析器と、上記第２の
圧縮差分ブロックの画像データに情報伸長処理を施し
て、上記第２の差分データを、上記現処理フレームにお
ける第２の伸長差分ブロックの画像データとして復元す
る第２の情報伸長器と、上記第２の伸長差分ブロックに
対応する第２の予測ブロックの画像データと上記解像度
変換手段からの解像度変換データとの重付き平均化によ
り重付き平均予測データを生成する重付き平均化手段
と、上記第２の伸長差分ブロックの画像データと、上記
重付き平均予測データとを加算して、第２の再生ブロッ
クの画像データを生成する第２の加算手段と、上記第２
の再生ブロックが有意でない画素のみからなる無効ブロ
ックであるとき、該第２の再生ブロックの画像データ
を、これを構成する有意でない画素値を所定の補填値と
置き換えて出力し、一方、上記第２の再生ブロックが少
なくとも１つ有意な画素を含む有効ブロックであると
き、該第２の再生ブロックの画像データをそのまま出力
する第２の補填手段と、該有効ブロック及び補填処理が
施された無効ブロックの画像データを参照画像データと
して格納する第２のフレームメモリと、該第２のフレー
ムメモリに格納された参照画像データから、上記次処理
フレームにの第２の伸長差分ブロックに対応する予測ブ
ロックの画像データを生成する第２の予測データ生成手
段とを有する構成としたものである。

【００３８】この発明（請求項１８）に係るデータ記憶
媒体は、任意形状を有する物体に対応する画像信号の処
理を、コンピュータに行わせるためのプログラムを格納
したデータ記憶媒体であって、上記プログラムを、コン
ピュータに、請求項１ないし６のいずれかに記載の画像
処理方法による画像符号化処理あるいは画像復号化処理
を行わせるよう構成したものである。

【００３９】

【発明の実態の形態】以下、本発明の実施の形態につい
て説明する。 （実施の形態１）図１は本発明の実施の形態１による画
像処理装置として任意形状符号化装置を説明するための
ブロック図であり、図１(a) はその全体構成を示し、図
１(b) は該装置を構成するテキスチャー符号化部の構成
を示している。

【００４０】本実施の形態１の任意形状符号化装置（画
像符号化装置）１０００は、表示画面を構成する個々の
物体（任意形状の画像）に対応する各フレームのデジタ
ル画像信号（任意形状画像信号）を、該物体を含む領域
（オブジェクト領域）を分割するブロック毎に符号化す
る構成となっている。

【００４１】ここで上記任意形状画像信号は、任意形状
の画像（物体）を階調カラー表示するためのテキスチャ
ー信号Ｓｇと、任意形状の画像（物体）の形状を表す形
状信号（有意信号ともいう。）Ｓｋを含んでいる。ここ
でテキスチャー信号は、物体の絵柄を表すための輝度信
号及び色差信号からなる。また形状信号は、テキスチャ
ー信号により形成される画像空間における各サンプル
（画素）が物体内部に位置するか否かを示す信号であ
る。例えば、画像空間を構成する画素が物体内部に位置
する場合、この画素は有意な画素（有意画素）であり、
画像空間を構成する画素が物体外部に位置する場合は、
この画素は有意でない画素（非有意画素）である。

【００４２】本実施の形態１では、テキスチャー信号を
構成するサンプル値が有意画素に対応するものでない場
合、対応する形状信号のサンプル値は０値を有し、テキ
スチャー信号を構成するサンプル値が有意画素に対応す
る場合は、対応する形状信号のサンプル値はそれ以外の
値を有する。

【００４３】また、本実施の形態では、１つのオブジェ
クト領域の１フレームに対応する入力画像信号を、８×
８または１６×１６のサンプルからなる複数のブロック
に対応するよう分割するが、ブロックの形状及びサンプ
ル数はこれに限るものではない。さらに、有意でないサ
ンプルのみからなるブロックを無効ブロックまたは完全
透過なブロックといい、それ以外のブロックを有効ブロ
ックという。有効ブロックには、すべての画素が有意で
あるものと、一部の画素のみが有意であるものがある。
前者を非透過ブロック、後者を境界ブロックと呼ぶ。す
なわち非透過ブロックでは、オブジェクト領域における
物体のテキスチャー（絵柄）が前景として表示される。
また、境界ブロックでは、物体の境界がブロック内に表
れる。

【００４４】図２は、任意形状の画像（物体）に対応す
るオブジェクト領域を示す模式図であり、各枡目が、Ｍ
×Ｎ画素からなるブロックに対応している。図中、８０
１は任意形状の画像である楕円形状を有する画像（物
体）Ｏｂを含むオブジェクト領域であり、該オブジェク
ト領域８０１内の斜線で示す領域は、物体の内部領域で
あり、該オブジェクト領域８０１内の、斜線で示す領域
以外の領域は、物体の外部領域となる。また、上記オブ
ジェクト領域８０１に含まれるブロック８０３〜８１２
は境界ブロック、上記オブジェクト領域８０１における
ブロック８０２は非透過ブロックであり、上記オブジェ
クト領域８０１に含まれる該ブロック８０２〜８１２以
外のブロックは無効ブロックである。

【００４５】以下、上記任意形状符号化装置１０００に
ついて詳述する。上記任意形状符号化装置１０００は、
上記デジタル画像信号に含まれる、物体の形状を示す形
状信号Ｓｋを入力端子１１ａに受け、これに対して算術
符号化処理及び可変長符号化処理をフレーム毎に施して
形状符号化信号Ｅｋを出力端子１１ｂに出力する形状符
号化部１０と、上記デジタル画像信号に含まれる、該物
体を階調カラー表示するための、輝度信号及び色差信号
からなるテキスチャー信号Ｓｇを入力端子１０１ａに受
け、これに対して情報圧縮処理及び可変長符号化処理を
フレーム毎に施してテキスチャー符号化信号Ｅｇを出力
端子１０１ｂに出力するテキスチャー符号化部１００
と、各符号化部での符号化処理を制御する制御部１０ａ
とを有している。

【００４６】本実施の形態１の任意形状符号化装置１０
００を構成するテキスチャー符号化部１００は、入力端
子１０１ａに供給された各フレームに対応するテキスチ
ャー信号Ｓｇを、符号化処理の単位としての１６×１６
画素からなるブロック（画像空間）に対応するよう分割
して各ブロックに対応する画像データを出力するブロッ
ク化器１０１と、該ブロック化器１０１からの現処理フ
レームにおける対象ブロック（符号化の対象となるブロ
ック）のデータＢｇに対応する予測データ（予測ブロッ
クのデータ）Ｐｇを生成する予測データ生成部１００ｃ
とを有している。

【００４７】また、上記テキスチャー符号化部１００
は、上記対象ブロックのデータＢｇとその予測ブロック
のデータＰｇとの差分データを残差ブロックのデータ
（予測誤差信号）Ｄｇとして出力する第１の加算器１０
２と、該第１の加算器１０２の出力Ｄｇに情報圧縮処理
を施して圧縮残差ブロックのデータＱｇを出力する情報
圧縮器１００ａと、該情報圧縮器１００ａの出力Ｑｇに
対して可変長符号化処理を施してテキスチャー符号化信
号Ｅｇを出力端子１０１ｂに出力する可変長符号化器
（ＶＬＣ）１１１とを有している。

【００４８】ここで、上記情報圧縮器１００ａは、上記
残差ブロックのデータＤｇに対して、このデータＤｇに
より形成される画像空間を構成する画素のうち、有意で
ない画素（非有意画素）の画素値を、所定の補填値
「０」と置き換える補填処理を、上記対象ブロックに対
応する形状信号Ｓｋに基づいて行う残差補填器１０３
と、この補填器１０３の出力（補填残差ブロックのデー
タ）ＰＤｇに対して離散コサイン変換処理を施すＤＣＴ
器１０４と、該ＤＣＴ器１０４の出力Ｔｇを量子化して
量子化係数を上記圧縮差分ブロックのデータＱｇとして
出力する量子化器１０５とから構成されている。なお、
上記離散コサイン変換処理は、上記１６×１６画素から
なるブロックを４分割して得られる８×８画素からなる
小ブロックを単位として行われる。

【００４９】また、上記テキスチャー符号化部１００
は、上記情報圧縮器１００ａの出力Ｑｇに情報伸長処理
を施して伸長差分ブロックのデータＩＴｇを出力する情
報伸長器１００ｂと、該伸長差分ブロックのデータＩＴ
ｇを上記予測ブロックのデータＰｇと加算して再生ブロ
ックのデータＲｇを出力する第２の加算器１１０と、該
第２の加算器１１０の出力Ｒｇに対して補填処理を施す
再生補填器１１２とを有している。ここで、上記情報伸
長器１００ｂは、上記情報圧縮器１００ａの出力Ｑｇを
逆量子化する逆量子化器１０８と、該逆量子化器１０８
の出力ＩＱｇに対して、周波数領域のデータを空間領域
のデータに変換する逆ＤＣＴ処理を施して上記伸長差分
ブロックのデータＩＴｇを出力するＩＤＣＴ器１０９と
から構成されている。

【００５０】そして、上記再生補填器１１２は、上記再
生ブロックのうち、全ての画素が非有意画素である無効
ブロックについてのみ、非有意画素の画素値を補填値で
置き換える補填処理を行い、再生ブロックのうち、少な
くとも１つの画素が有意画素である有効ブロックに対し
ては、補填処理を行わず、補填処理を行うか否かの判定
は、上記形状符号化部１０にて生成された、再生ブロッ
クの形状データＲｋに基づいて行う構成となっている。
ここで、有効ブロックは、上述したように物体に境界を
含む境界ブロックと、全ての画素が物体内に位置する非
透過ブロックを含むものである。

【００５１】さらに、上記予測データ生成部１００ｃ
は、上記再生補填器１１２の出力（再生ブロックの補填
データ）ＰＲｇを、次処理フレームに対する参照画像デ
ータとして格納するフレームメモリ１１３と、上記フレ
ームメモリ１１３に格納されている現処理フレームに対
する参照画像データＭｇ及び対象ブロックのデータＢｇ
に基づいて、現処理フレームの対象ブロックに対応する
動きベクトルＭＶを求めて出力する動き検出器１１４
と、該動き検出器１１４からの動きベクトルＭＶに基づ
いて上記フレームメモリ１１３のアドレスを発生し、上
記現処理フレームに対する参照画像データＭｇから該ア
ドレスに対応するメモリ領域の画像データを上記予測ブ
ロックのデータＰｇとして出力する動き補償器１１５と
を有している。

【００５２】なお、ここでは、テキスチャー符号化部１
００の構成についてのみ詳しく説明しているが、本実施
の形態の任意形状符号化装置１０００における形状符号
化部１０も、上記テキスチャー符号化部１００とほぼ同
様な構成を有している。つまり、形状符号化部１０は、
上記テキスチャー符号化部１００における残差，再生補
填器を有しておらず、ＤＣＴ器１０４及び量子化器１０
５に代えて、各形状のブロック四分木の方法で形状信号
の圧縮符号化を行う算術符号化器を有し、逆量子化器１
０５及び逆ＤＣＴ器１０４からなる情報伸長器１００ｂ
に代えて、上記算術符号化器に対応する算術復号化器を
備えている。

【００５３】次に動作について説明する。任意形状画像
信号が本任意形状符号化装置に入力されると、該任意形
状画像信号を構成する形状信号Ｓｋは形状符号化部１０
にて算術符号化処理及び可変長符号化処理によりフレー
ム毎に順次符号化され、該任意形状画像信号を構成する
テキスチャー信号Ｓｇはテキスチャー符号化部１００に
て情報圧縮処理及び可変長符号化処理によりフレーム毎
に順次符号化される。

【００５４】以下、テキスチャー符号化部１００におけ
るテキスチャー信号の符号化処理について詳しく説明す
る。任意形状画像に対応するテキスチャー信号Ｓｇが入
力画像信号としてテキスチャー符号化部１００の入力端
子１０１ａに供給されると、テキスチャー信号Ｓｇはブ
ロック化器１０１にて、オブジェクト領域を分割する複
数のブロックの各々に対応するよう分割されて、各ブロ
ックに対応するデータＢｇとして出力される。

【００５５】そして符号化処理の対象となる対象ブロッ
クのデータＢｇは動き検出器１１４に入力される。この
ときフレームメモリ１１３に格納してある過去の再生画
像（参照画像）のデータＭｇも動き検出器１１４に入力
される。すると、動き検出器１１４では、ブロックマッ
チングなどの方法で、現処理フレームに対する参照画像
データＭｇに基づいて、対象ブロックの画像データＢｇ
に対し誤差の最も小さい画像データを有する予測ブロッ
クを与える動き変位情報が求められ、動きベクトルＭＶ
が出力される。

【００５６】この動きベクトルＭＶが動き補償器１１５
に供給されると、動き補償器１１５では、現処理フレー
ムに対応する参照画像データから、上記対象ブロックに
対する予測ブロックのデータＰｇが生成される。このと
き動きベクトルＭＶはまた可変長符号化器（ＶＬＣ）１
１１に送られ、可変長符号に変換されて出力端子１０１
ｂに出力される。

【００５７】上記対象ブロックのデータＢｇと予測ブロ
ックのデータＰｇは、第１の加算器１０２での演算処理
により、これらの画像データの差分データが残差ブロッ
クのデータＤｇとして求められ、この残差ブロックのデ
ータＤｇは残差補填器１０３にて所定の方法で補填処理
が施され、該残差補填器１０３からは補填残差ブロック
のデータＰＤｇが出力される。この残差補填器１０３に
よる補填処理では、残差ブロックに含まれる有意でない
画素（非有意画素）の画素値を所定の補填値「０」で置
換する。

【００５８】なお、上記加算器１０２の前段に、ブロッ
ク化器１０１の出力（対象ブロックのデータ）Ｂｇに対
する補填処理を形状信号Ｓｋに基づいて行う対象補填器
を設けてもよく、この場合は、この対象補填器では、対
象ブロックにおける境界部に位置する画素の画素値を平
滑化する。またこの対象補填器は、無効ブロックと境界
ブロックのうちの少なくとも境界ブロックに対する補填
処理を行う構成となっている。なお、この対象補填器で
の補填処理はこれに限るものではなく、物体の境界にあ
る有意なサンプル値を非有意画素の画素値と置き換える
処理を、物体外の非有意画素に対して繰り返し行っても
よい。

【００５９】次に、上記補填残差ブロックのデータＰＤ
ｇに対する情報圧縮処理が行われる。つまり、本実施の
形態では、上記データＰＤｇはＤＣＴ器１０４にて離散
コサイン変換処理により周波数成分Ｔｇに変換され、さ
らにこの周波数成分Ｔｇは、量子化器１０５にて量子化
によって量子化係数Ｑｇに変換され、圧縮ブロックのデ
ータとして出力される。この圧縮ブロックのデータＱｇ
は、可変長符号化器（ＶＬＣ）１１１にて可変長符号に
変換され、上記動きベクトルを含むその他のサイド情報
の符号化データと共に出力端子１０１ｂから、画像符号
化信号Ｅｇとして出力される。

【００６０】本実施の形態では、対象ブロックの中で、
有意でないサンプルのみを含む無効ブロックについて
は、輝度信号と色差信号からなるテキスチャー信号を一
切受信側に送らない。つまり、テキスチャー符号化部１
００は、テキスチャー信号のうちの、無効ブロックに対
応する画像符号化信号は受信側に送信しないよう構成さ
れている。これにより送信側から受信側に伝送される符
号量を大幅に削減できる。

【００６１】一方、上記圧縮ブロックのデータＱｇは、
情報伸長器１００ｂにて情報伸長処理が施される。本実
施の形態では上記圧縮ブロックのデータＱｇは逆量子化
器１０８により逆量子化により周波数成分ＩＱｇに変換
され、さらにこの周波数成分ＩＱｇは、ＩＤＣＴ器１０
９にて空間領域のデータＩＴｇに復元される。この空間
領域のデータＩＴｇが、上記補填残差ブロックのデータ
Ｄｇに対する復元信号（伸長ブロックのデータ）であ
る。この伸長ブロックのデータＩＴｇは、第２の加算器
１１０にて上記予測ブロックのデータＰｇと加算され
て、再生ブロックのデータＲｇとして再生補填器１１２
に供給される。

【００６２】この再生補填器１１２では、順次入力され
る再生ブロックのデータＲｇに対して、有意でないサン
プルのみからなる無効ブロックのデータに対して補填処
理を施して、該無効ブロックの各サンプルの値を定義す
る。一方、境界ブロックを含む有効な再生ブロックに対
しては補填処理を行わない。このとき再生補填器１１２
では、上記形状符号化部１０からの再生ブロックの形状
データＳｋ，つまり各再生ブロックのデータを構成する
サンプル値が有意か否かを示す情報に基づいて、各再生
ブロックに対する無効ブロックか否かの判定を行ってい
る。また本実施の形態では、無効ブロックを構成する各
画素の画素値，つまり輝度成分と色差成分の値を所定の
補填値「１２８」で置き換える。

【００６３】なお、置換に用いる補填値は、フレーム毎
に変更してもよい。この場合、各フレームの補填値（輝
度信号の値のみあるいは輝度信号と色差信号の両方の
値）を可変長符号化器１１１によって符号化し受信側に
送る必要がある。また、上記無効ブロックに対する補填
処理は、無効ブロックに隣接する有効ブロックにおける
有意なサンプルの値を、有意でないサンプルの値と置き
換える処理を繰り返し行うものでもよい。

【００６４】そして、再生補填器１１２からの出力（再
生ブロックの補填データ）ＰＲｇは、制御部１０ａから
のメモリ制御信号Ｃｍに基づいてフレームメモリ１１３
に次処理フレームに対する参照画像データとして格納さ
れる。

【００６５】このように本実施の形態１では、再生ブロ
ックの画像データＲｇに対する補填処理は、輝度と色差
信号に該当するデータをもたない無効ブロックについて
のみ行って、参照画像データとしてフレームメモリ１１
３に格納するようにしたので、受信側では、再生時の復
号化処理における補填処理を大幅に削減できる。特に補
填処理が境界部分の画素値を補填値として用いるもので
ある場合には、任意形状の境界部を検索する必要がなく
なる。

【００６６】なお、本実施の形態１では、情報圧縮処理
としては離散コサイン変換を用いるものを示したが、こ
れは、形状適応離散コサイン変換やサブバンドやウェー
ブレット等を用いるものでもよい。また、上記実施の形
態１では、上記残差補填器１０３は、補填処理の際に参
照する形状信号として、圧縮されていない形状信号Ｓｋ
を用いているが、これは形状符号化部１０にて、圧縮さ
れた形状信号の伸長処理により得られた伸長形状信号
（再生ブロックのデータ）Ｒｋを用いてもよい。

【００６７】また、上記実施の形態１では、上記第１補
填器１０３は、第１加算器１０２の出力側に配置されて
いるが、これは第１加算器１０２の前段に設けてもよ
く、この場合、残差ブロックのうちの境界ブロックの画
像信号については常に補填処理を施した後に、情報源圧
縮処理が施されることとなる。このため、復号化側で
は、境界ブロックのデータを構成するすべてのサンプル
値が定義されたものとなっており、境界ブロックに対す
る補填処理を行う必要がなくなる。また、この場合も、
補填処理の際に参照する形状信号としては、圧縮されて
いない形状信号を用いているが、これは形状符号化部に
て、圧縮された形状信号の伸長処理により得られた伸長
形状信号を用いてもよい。

【００６８】（実施の形態２）図３は本発明の実施の形
態２による画像処理装置として任意形状復号化装置を説
明するためのブロック図であり、図３(a) はその全体構
成を示し、図３(b) は該装置を構成するテキスチャー復
号化部の構成を示している。本実施の形態２の任意形状
復号化装置（画像復号化装置）２０００は、上記実施の
形態１の任意形状符号化装置１０００から出力される、
各フレームに対応する形状符号化信号Ｅｋ及びテキスチ
ャー符号化信号Ｅｇを、オブジェクト領域を分割する各
ブロック毎に復号化する構成となっている。

【００６９】この任意形状復号化装置２０００は、上記
任意形状符号化装置１０００からの形状符号化信号Ｅｋ
を入力端子２１ａに受け、これに対してデータ解析処理
及び算術復号化処理をフレーム毎に施して形状再生信号
Ｒｋを出力端子２１ｂに出力する形状復号化部２０と、
上記任意形状符号化装置１０００からのテキスチャー符
号化信号Ｅｇを入力端子２０１ａに受け、これに対し
て、データ解析処理及び情報伸長処理をフレーム毎に施
してテキスチャー再生信号を出力端子２０１ｂに出力す
るテキスチャー復号化部２００と、該各復号化部２０，
２００での復号化処理を制御する制御部２０ａとを有し
ている。

【００７０】このテキスチャー復号化部２００は、復号
化処理の対象となる対象領域（対象ブロック）に対応す
るテキスチャー符号化信号Ｅｇを受け、該テキスチャー
符号化信号Ｅｇを解析して可変長復号化するデータ解析
器２０２と、該データ解析器２０２の出力Ｑｇに対して
伸長処理を施して現処理フレームの伸長ブロックのデー
タＩＴｇを出力する情報伸長器２００ａと、該情報伸長
器２００ａからの伸長残差ブロックのデータＩＴｇと、
該伸長残差ブロックに対応する予測ブロックのデータＰ
ｇとを加算する加算器２０６とを有し、該加算器の出力
Ｒｇをテキスチャー再生信号として出力する構成となっ
ている。

【００７１】ここで、上記情報伸長器２００ａは、上記
データ解析器２０２の出力Ｑｇに逆量子化処理を施す逆
量子化器２０４と、該逆量子化器２０４の出力ＩＱｇに
対して逆周波数変換処理の一種であるＩＤＣＴ（逆離散
コサイン変換）処理を施して伸長ブロックのデータＩＴ
ｇを出力するＩＤＣＴ変換器２０５とから構成されてい
る。

【００７２】また、上記テキスチャー復号化部２００
は、上記加算器２０６から出力される再生ブロックのデ
ータＲｇに対して、形状符号化部２０からの形状再生信
号Ｒｋに基づいて補填処理を施して、補填再生ブロック
のデータＰＲｇを出力する補填器２０８と、該補填再生
ブロックのデータＰＲｇ及びデータ解析器２０２からの
動きベクトルＭＶに基づいて、上記予測ブロックのデー
タＰｇを生成する予測信号生成部２００ｂとを有してい
る。

【００７３】ここで、上記形状再生信号Ｒｋは、再生ブ
ロックを構成する画素が物体内に位置するか物体外に位
置するかを示す情報であり、上記補填器２０８は、この
形状再生信号Ｒｋを制御信号として受け、再生ブロック
のうち、全ての画素が非有意画素である無効ブロックに
ついては非有意画素の画素値を所定の補填値で置き換え
る補填処理を行い、再生ブロックのうち、少なくとも１
つの画素が有意画素である有効ブロックに対しては上記
補填処理を行わない構成となっている。なお、上記、有
効ブロックは、物体の境界を含む境界ブロックと、全て
の画素が物体内に位置する物体内ブロックを含むもので
ある。

【００７４】また、上記予測信号生成部２００ｂは、制
御部２０ａからのメモリ制御信号Ｃｍにより、上記補填
器２０８からの補填再生ブロックのデータＰＢｇを次処
理フレームの参照画面の画像データ（参照画像データ）
として各ブロックに対応する記憶領域に格納するフレー
ムメモリ２０９と、該フレームメモリ２０９に格納され
ている現処理フレームの参照画像データである格納デー
タＭｇと、上記データ解析器２０２にて復号化された対
象ブロックに対応する動きベクトルＭＶとに基づいて、
該フレームメモリ２０９のアドレスを発生し、このアド
レスにより、上記フレームメモリ２０９内の格納データ
Ｍｇから現処理フレームの伸長差分ブロックに対応する
予測ブロックのデータＰｇを生成する動き補償器２１０
とを有している。

【００７５】なお、ここでは、テキスチャー復号化部２
００の構成についてのみ詳しく説明しているが、本実施
の形態２の任意形状復号化装置２０００における形状復
号化部２０も、上記テキスチャー復号化部２００とほぼ
同様な構成を有している。つまり、形状復号化部２０
は、上記テキスチャー復号化部２００における補填器を
有しておらず、逆ＤＣＴ器２０５及び逆量子化器２０４
に代えて、各形状のブロック四分木の方法で形状符号化
信号の圧縮復号化を行う算術復号化器を有している点の
み異なる。

【００７６】次に動作について説明する。上記形状符号
化信号Ｅｋ及びテキスチャー符号化信号Ｅｇが本任意形
状復号化装置２０００に入力されると、該形状符号化信
号Ｅｋは形状復号化部２０にてデータ解析処理及び算術
符号化処理によりフレーム毎に順次復号化され、上記テ
キスチャー符号化信号Ｅｇはテキスチャー復号化部２０
０にてデータ解析処理及び情報伸長処理によりフレーム
毎に順次復号化される。

【００７７】以下、テキスチャー復号化部２００におけ
るテキスチャー符号化信号Ｅｇの復号化処理について詳
しく説明する。上記テキスチャー符号化信号Ｅｇが入力
端子２０１ａに入力されると、データ解析器２０２での
解析により、図１に示すテキスチャー符号化部１００に
おける圧縮残差ブロックのデータＱｇ及び動きベクトル
ＭＶ等が生成される。このデータ解析器２０２からの圧
縮残差ブロックのデータＱｇは、情報伸長器２００ａに
出力され、上記データ解析器２０２からの動きベクトル
ＭＶは動き補償器２１０に出力される。

【００７８】上記情報伸長器２００ａでは、圧縮残差ブ
ロックのデータＱｇに情報伸長処理を施して、上記テキ
スチャー符号化部１００における残差ブロックの補填デ
ータＰＤｇを伸長残差ブロックのデータＩＴｇとして復
元する。本実施の形態では、上記圧縮残差ブロックのデ
ータＱｇは、逆量子化器２０４にて逆量子化処理により
周波数領域のデータＩＱｇに変換され、このデータＩＱ
ｇが逆離散コサイン変換（ＩＤＣＴ）器２０５にて空間
領域のデータに変換されて、上記伸長残差ブロックのデ
ータＩＴｇとして出力される。

【００７９】また、動き補償器２１０では、上記データ
解析器２０２からの動きベクトルＭＶに基づいて、フレ
ームメモリ２０９をアクセスするためのアドレスが生成
され、このアドレスに基づいて、フレームメモリ２０９
における現処理フレームに対する参照画像データである
格納データＭｇから予測ブロックのデータＰｇが生成さ
れる。そして加算器２０６では、この予測ブロックのデ
ータＰｇと伸長残差ブロックのデータＩＴｇとの加算処
理が行われ、この加算処理により再生ブロックのデータ
Ｒｇがテキスチャー再生信号として出力端子２０１ｂに
出力される。

【００８０】またこのとき補填器２０８では、順次入力
される再生ブロックのデータのうちの、有意でないサン
プルのみからなる無効再生ブロックのデータについての
み補填処理が行われて、該無効再生ブロックの各サンプ
ルの値が定義される。一方、上記補填器２０８では、境
界ブロック及び物体内ブロックとしての有効な再生ブロ
ックに対しては上記補填処理は行われない。なお、この
とき上記補填器２０８では、各再生ブロックのサンプル
値が有意か否かを示す、形状復号化部２０からの再生形
状信号Ｒｋに基づいて、再生ブロックが無効ブロックで
あるか有効ブロックであるかの判定を行っている。また
本実施の形態では、無効ブロックを構成する各画素に対
応する補填値（つまり輝度成分と色差成分の補填値）
は、所定の補填値「１２８」としている。なお、上記補
填処理に用いる補填値は、フレーム毎に変更してもよ
い。この場合、各フレームの補填値（輝度信号の値のみ
あるいは輝度信号と色差信号の両方の値）は、上記テキ
スチャー符号化信号Ｅｇに含まれ、データ解析器２０２
によって該符号化信号Ｅｇから抽出されて補填器２０８
に送られることとなる。

【００８１】また、上記無効ブロックに対する補填処理
は、無効ブロックに隣接する有意ブロックにおける有意
なサンプルの値を、有意でないサンプルの値と置き換え
る処理を繰り返し行うものでもよい。そしてこのように
補填処理を施した再生ブロックのデータＰＲｇが次処理
フレームの参照画像データとしてフレームメモリ２０９
に格納される。

【００８２】このように本実施の形態２の画像復号化装
置では、再生ブロックのデータＲｇに対する補填処理
を、輝度信号と色差信号としてのデータをもたない無効
ブロックについて行い、少なくとも１つの有意画素を含
む有効ブロックについては行わないので、復号化処理に
おける補填処理を大幅に削減できる。

【００８３】（実施の形態３）図４は本発明の実施の形
態３による画像処理装置として任意形状符号化装置を説
明するための図であり、図４(a) はその全体構成を示
し、図４(b) は該装置を構成するテキスチャー符号化部
の構成を示している。この実施の形態３の任意形状符号
化装置（画像符号化装置）３０００は、上記実施の形態
１の任意形状符号化装置１０００と同様、上記デジタル
画像信号に含まれる、物体の形状を示す形状信号Ｓｋを
入力端子３１ａに受け、これに対して算術符号化処理及
び可変長符号化処理を各フレーム毎に順次施して形状符
号化信号Ｅｋを出力端子３１ｂに出力する形状符号化部
３０と、上記デジタル画像信号に含まれる、該物体を階
調カラー表示するための、輝度信号及び色差信号からな
るテキスチャー信号Ｓｇを入力端子３０１ａに受け、こ
れに対して情報圧縮処理及び可変長符号化処理を各フレ
ーム毎に順次施してテキスチャー符号化信号Ｅｇを出力
端子３０１ｂに出力するテキスチャー符号化部３００
と、上記各符号化部での符号化処理を制御する制御部３
０ａとを有している。

【００８４】ここで、上記形状符号化部３０及び制御部
３０ａは上記実施の形態１の形状符号化部１０及び制御
部１０ａと全く同一の構成となっている。また、上記テ
キスチャー符号化部３００は、上記実施の形態１の再生
補填器１１２に代えて、フレームメモリ３１３への再生
ブロックのデータＲｇの供給を、形状符号化部３０から
の形状再生信号Ｒｋに基づいて制御するスイッチ３３
１、及び制御部３０ａからの初期化制御信号Ｃｉに基づ
いて、フレームメモリ３１３に格納されている前処理フ
レームに対する参照画像データを初期化する初期化器３
３０を有している点のみ、上記実施の形態１のテキスチ
ャー符号化部１００と異なっている。

【００８５】つまり、この実施の形態３のテキスチャー
符号化部３００を構成するブロック化器３０１，情報圧
縮器３００ａ，情報伸長器３００ｂ，予測信号生成部３
００ｃ，第１，第２の加算器３０２，３１０，及び可変
長符号化器（ＶＬＣ）３１１は、上記実施の形態１の画
像符号化装置１００の対応する構成要素１０１，１００
ａ，１００ｂ，１００ｃ，１０２，１１０，及び１１１
と全く同一の構成となっている。ここで、上記情報圧縮
器３００ａを構成する補填器３０３，ＤＣＴ器３０４，
量子化器３０５も、実施の形態１の情報圧縮器１００ａ
を構成する残差補填器１０３，ＤＣＴ器１０４，量子化
器１０５と同一構成であり、上記情報伸長器３００ｂを
構成する逆量子化器３０８及びＩＤＣＴ器３０９も、上
記実施の形態１の情報伸長器１００ｂを構成する逆量子
化器１０８及びＩＤＣＴ器１０９と同一構成である。さ
らに、上記予測信号生成部３００ｃを構成する動き検出
器３１４，動き補償器３１５，フレームメモリ３１３
も、上記実施の形態１の予測信号生成部１００ｃを構成
する動き検出器１１４，動き補償器１１５，フレームメ
モリ１１３と同一構成となっている。

【００８６】次に動作について説明する。この実施の形
態３の任意形状符号化装置３０００の基本的動作は、上
記実施の形態１の任意形状符号化装置１０００と同一で
あるので、実施の形態１の装置とは異なる動作について
のみ説明する。

【００８７】本実施の形態３では、任意形状（物体）の
画像に対応する１フレーム分の画像信号Ｓｇを符号化す
る際に、まず、初期化器３３０により、制御部３０ａか
らの初期化制御信号Ｃｉに応じたタイミングでフレーム
メモリ３１３の初期化が行われる。例えば、フレームメ
モリの初期化は１フレームに対応するテキスチャー信号
Ｓｇの符号化処理が終了した時点で行う。また、初期化
によりフレームメモリに１画面の輝度信号及び色差信号
として書き込まれる画素値は、すべて所定値「１２８」
としている。

【００８８】次に、第２加算器３１０からの再生ブロッ
クのデータＲｇのうちで、少なくとも一つ有意なサンプ
ルを含む有効ブロックのデータのみが、初期化されたフ
レームメモリ３１３に上書きされる。つまり、フレーム
メモリ３１３に対する上書きの制御は、スイッチ制御信
号に基づいたスイッチ３１１の開閉により行われ、上書
きを行わないときは、上記スイッチ３３１が非導通状態
とされ、上書き行うときには、上記スイッチ３３１が導
通状態とされる。ここで、上記スイッチ制御信号は、上
記加算器３１０から出力される再生ブロックのデータが
有効ブロックのデータであるかどうかを示す、形状符号
化部３０からの再生形状信号Ｒｋである。

【００８９】このような構成の実施の形態３では、各フ
レームに対応する画像信号を符号化する際に、まずフレ
ームメモリ３１３に初期値を書き込み、その後、再生ブ
ロックのデータのうちの、少なくとも一つ有意なサンプ
ルを含める有効ブロックのデータのみを、初期化された
フレームメモリ３１３に上書きするようにしたので、境
界ブロックだけでなく無効ブロックに対しても補填処理
を行う必要がなくなり、再生時の復号化処理における補
填処理を省略できる。なお、上記実施の形態３では、上
記初期化によりフレームメモリ３１３に書き込まれる初
期値としては、固定値「１２８」を用いたが、固定値は
この値に限るものではない。

【００９０】また、テキスチャー符号化部３００は、初
期値として上記のような固定値を用いるものに限らず、
上記初期値として、過去に再生されたフレームにおける
有意なサンプル値の平均値を用いるものでもよい。さら
に、テキスチャー符号化部３００では、各フレーム毎に
初期値（輝度信号のみまはた輝度信号と色差信号の両
方）を所定の方法で決定し、各フレームに対応する初期
値を可変長符号化器３１１によって符号化して受信側に
送るようにしてもよい。

【００９１】（実施の形態４）図５は本発明の実施の形
態４による画像処理装置として任意形状復号化装置を説
明するための図である。図５(a) はその全体構成を示
し、図５(b) は該装置を構成するテキスチャー復号化部
の構成を示している。この実施の形態４の任意形状復号
化装置（画像復号化装置）４０００は、上記実施の形態
３の任意形状符号化装置３０００から出力される、各フ
レームに対応する形状符号化信号Ｓｋ及びテキスチャー
符号化信号Ｅｋを、オブジェクト領域を分割する各ブロ
ック毎に復号化する構成となっている。

【００９２】つまり、この実施の形態４の任意形状復号
化装置４０００は、上記実施の形態２と同様、上記形状
符号化信号Ｓｋを入力端子４１ａに受け、これに対して
データ解析処理及び算術復号化処理を各フレーム毎に施
して形状再生信号Ｒｋを出力端子４１ｂに出力する形状
復号化部３０と、上記テキスチャー符号化信号Ｅｋを入
力端子４０１ａに受け、これに対してデータ解析処理及
び情報伸長処理を各フレーム毎に施してテキスチャー再
生信号Ｒｇを出力端子４０１ｂに出力するテキスチャー
復号化部４００と、上記各復号化部での復号化処理を制
御する制御部４０ａとを有している。

【００９３】ここで、上記形状復号化部４０及び制御部
４０ａは、上記実施の形態２の形状復号化部２０及び制
御部２０ａと全く同一の構成となっており、また、上記
テキスチャー復号化部４００は、上記実施の形態２の補
填器２０８に代えて、再生ブロックのデータＲｇのフレ
ームメモリ４０９への供給を、形状符号化部４０からの
再生形状信号Ｒｋに基づいて制御するスイッチ４２２、
及び上記制御部４０ａからの初期化制御信号Ｃｉに基づ
いてフレームメモリ４０９に格納されている前処理フレ
ームに対する参照画像データを初期化する初期化器４２
０を有している点のみ、上記実施の形態２のテキスチャ
ー復号化部２００と異なっている。

【００９４】つまり、この実施の形態４のテキスチャー
復号化部４００を構成するデータ解析器４０２，情報伸
長器４００ａ，加算器４０６，予測信号生成部４００ｂ
は、上記実施の形態２のテキスチャー復号化部２１０に
おける対応する構成要素２０２，２００ａ，２０６，及
び２００ｂと全く同一の構成となっている。ここで、上
記情報伸長器４００ａを構成する逆量子化器４０４及び
逆ＤＣＴ器４０５は、実施の形態２の情報伸長器２００
ａを構成する逆量子化器２０４，逆ＤＣＴ器２０５と同
一構成であり、また上記予測信号生成部４００ｂを構成
する動き補償器４１０及びフレームメモリ４０９は、上
記実施の形態２の予測信号生成部２００ｂを構成する動
き補償器２１０及びフレームメモリ２０９と同一構成と
なっている。

【００９５】次に動作について説明する。この実施の形
態４の任意形状符号化装置４０００の基本的動作は、上
記実施の形態２の任意形状符号化装置２０００と同一で
あるので、実施の形態２の装置とは異なる動作について
のみ説明する。本実施の形態４では、任意形状（物体）
の画像に対応する１フレーム分の画像符号化信号Ｅｇを
復号化する際に、まず、初期化器４２０により、制御部
４０ａからの初期化制御信号Ｃｉに応じたタイミングで
フレームメモリ４０９の初期化が行われる。例えば、フ
レームメモリの初期化は１フレームに対応する画像符号
化信号の復号化処理が終了した時点で行う。また、初期
化によりフレームメモリに１画面の輝度信号及び色差信
号として書き込まれる画素値は、すべて所定値「１２
８」としている。

【００９６】次に、加算器４０６からの再生ブロックの
画像信号のデータＲｇのうちで、少なくとも一つ有意な
サンプルを含む有効ブロックのデータのみが、初期化さ
れたフレームメモリ４０９に上書きされる。つまり、フ
レームメモリ４０９に対する上書きの制御は、スイッチ
制御信号に基づいたスイッチ４２２の開閉により行わ
れ、上書きを行わないときには、上記スイッチ４２２が
非導通状態とされ、上書きを行うときには、上記スイッ
チ４２２が導通状態とされる。ここで、上記スイッチ制
御信号は、上記加算器４０６から出力される再生ブロッ
クのデータが有効ブロックのデータであるかどうかを示
す、形状復号化部４０からの再生形状信号Ｒｋである。

【００９７】このような構成の実施の形態４では、フレ
ームメモリ４０９をあらかじめ所定の値で初期化したの
ち、再生ブロックのうちの、少なくとも一つ有意なサン
プルを含める有効ブロックのデータのみを初期化された
フレームメモリ４０９に上書きして格納するので、境界
ブロックだけでなく無効ブロックに対しても補填処理を
施す必要がなくなり、再生ブロックのデータに対する補
填処理を省略できるという効果がある。

【００９８】なお、上記実施の形態４では、上記初期化
によりフレームメモリに書き込まれる初期値としては、
固定値「１２８」を用いたが、固定値はこの値に限るも
のではない。また、テキスチャー復号化部４００は、初
期値として上記のような固定値を用いるものに限らず、
上記初期値として、過去に再生されたフレームにおける
有意なサンプル値の平均値を用いるものでもよい。さら
に、テキスチャー復号化部４００では、画像符号化信号
に含まれる、各フレームに対応する初期値（輝度信号の
みまはた輝度信号と色差信号の両方）を抽出し、各フレ
ーム毎に初期値を切り換えるようにしてもよい。

【００９９】（実施の形態５）図６(a) 及び図７は、本
発明の実施の形態５による画像処理装置として任意形状
階層符号化装置を説明するためのブロック図であり、図
６(a) は、その全体構成を示し、図７は該装置を構成す
るテキスチャー階層符号化部の構成を示している。本実
施の形態５の画像符号化装置（任意形状階層符号化装
置）５０００は、表示画面を構成する個々の物体（任意
形状の画像）に対応する各フレームのデジタル画像信号
（任意形状画像信号）に対して、該物体を含む領域（オ
ブジェクト領域）を分割するブロック毎に階層符号化処
理を施す構成となっている。

【０１００】上記画像符号化装置５０００は、上記デジ
タル画像信号に含まれる、物体の形状を示す形状信号Ｓ
ｋを入力端子５１ａに受け、これに対して算術符号化処
理及び可変長符号化処理をフレーム毎に階層的に施して
高解像度形状符号化信号ＨＥｋ及び低解像度形状符号化
信号ＬＥｋを出力端子５５及び５３に出力する形状階層
符号化部５０と、上記デジタル画像信号に含まれる、該
物体を階調カラー表示するための、輝度信号及び色差信
号からなるテキスチャー信号Ｓｇを入力端子５０１ａに
受け、これに対して情報圧縮処理及び可変長符号化処理
をフレーム毎に階層的に施して高解像度テキスチャー符
号化信号ＨＥｇ及び低解像度テキスチャー符号化信号Ｌ
Ｅｇを出力端子５０５，５３５に出力するテキスチャー
階層符号化部５００と、上記各符号化部での階層符号化
処理を制御する制御部５０ａとを有している。

【０１０１】ここで、上記テキスチャー階層符号化部５
００は、上記テキスチャー信号Ｓｇである高解像度テキ
スチャー信号ＨＳｇに対して、情報圧縮処理及び可変長
符号化処理を施して、高解像度符号化信号ＨＥｇを生成
する高解像度符号化部５５０ａと、上記テキスチャー信
号Ｓｇをダウンサンプルして低解像度テキスチャー信号
ＬＳｇを生成する第１の解像度変換器５２０と、該低解
像度テキスチャー信号ＬＳｇに対して情報圧縮処理及び
可変長符号化処理を行って低解像度符号化信号ＬＥｇを
生成する低解像度符号化部５５０ｂとを有している。

【０１０２】この低解像度符号化部５５０ｂは、上記実
施の形態１のテキスチャー符号化部１００と同様、低解
像度テキスチャー信号ＬＳｇをブロック化するブロック
化器５３１，現処理フレームにおける対象ブロックに対
応する予測ブロックのデータＬＰｇを生成する予測信号
生成部５００ｆ，対象ブロックのデータＬＢｇと予測ブ
ロックのデータＬＰｇの差分データを残差ブロックのデ
ータＬＤｇとして求める第１の加算器５３２，該残差ブ
ロックのデータＬＤｇに情報圧縮処理を施して圧縮残差
ブロックのデータＬＱｇを出力する第１の情報圧縮器
（ＥＮＣ１）５００ｄ，及び該圧縮残差ブロックのデー
タＬＱｇを可変長符号化して低解像度符号化信号ＬＥｇ
を出力する第１の可変長符号化器（ＶＬＣ１）５３４を
有している。ここで、上記第１の情報圧縮器５００ｄ
は、実施の形態１の情報圧縮器１００ａと同様、残差補
填器，ＤＣＴ器，及び量子化器からなり、この残差補填
器は、形状階層符号化部５０からの低解像度形状信号Ｌ
Ｓｋに基づいて、残差ブロックに対する補填処理を行う
構成となっている。

【０１０３】また、上記低解像度符号化部５５０ｂは、
上記圧縮残差ブロックのデータＬＱｇを伸長して伸長残
差ブロックのデータＬＩＴｇを復元する第１の情報伸長
器（ＤＥＣ１）５００ｅ，伸長残差ブロックのデータＬ
ＩＴｇと予測ブロックのデータＬＰｇとの加算処理によ
り再生ブロックのデータＬＰＲｇを出力する第２の加算
器５３７，該再生ブロックのデータＬＰＲｇに、形状階
層符号化部５０からの低解像度再生形状信号ＬＲｋに基
づいて補填処理を施して、再生ブロックの補填データＬ
ＰＲｇを上記予測信号生成部５００ｆに出力する第１の
再生補填器（ＰＡＤ１）５３８とを有している。ここで
第１の情報伸長器５００ｅは実施の形態１のものと同一
構成となっている。

【０１０４】そしてさらに、上記低解像度符号化部５５
０ｂは、上記再生ブロックの補填データＬＰＲｇの解像
度をアップサンプル処理により変換して、その解像度が
高解像度テキスチャー信号ＨＳｇの解像度と等しい解像
度変換画像データＴＰＲｇを生成する第２の解像度変換
器５２５を有している。

【０１０５】なお、上記低解像度符号化部５５０ｂにお
ける上記予測信号生成部５００ｆは、上記実施の形態１
の予測信号生成部１００ｃを構成する動き検出器１１
４，動き補償器１１５，及びフレームメモリ１１３と同
一構成の、第１の動き検出器（ＭＥ１）５４１，第１の
動き補償器（ＭＣ１）５４０，及び第１のフレームメモ
リ（ＦＭ１）５３９を有している。

【０１０６】一方、上記高解像度符号化部５５０ａは、
上記実施の形態１のテキスチャー符号化部１００と同
様、高解像度テキスチャー信号ＨＳｇをブロック化する
第２のブロック化器５０１，現処理フレームにおける対
象ブロックに対応する予測ブロックのデータＡＰｇを生
成する予測信号生成部５００ｃ，対象ブロックのデータ
ＨＢｇと予測ブロックのデータＡＰｇの差分データを残
差ブロックのデータＨＤｇとして求める第３の加算器５
０２，該残差ブロックのデータＨＤｇに情報圧縮処理を
施して圧縮残差ブロックのデータＨＱｇを出力する第２
の情報圧縮器（ＥＮＣ２）５００ａ，及び圧縮残差ブロ
ックのデータＨＱｇを可変長符号化して高解像度符号化
信号ＨＥｇを出力する第２の可変長符号化器（ＶＬＣ
２）５０４を有している。ここで、上記第２の情報圧縮
器５００ａは、実施の形態１の情報圧縮器１００ａと同
様、残差補填器，ＤＣＴ器，及び量子化器からなり、こ
の残差補填器は、形状階層符号化部５０からの高解像度
形状信号ＨＳｋに基づいて、残差ブロックに対する補填
処理を行う構成となっている。

【０１０７】また、上記高解像度符号化部５５０ａは、
上記圧縮残差ブロックのデータＨＱｇを伸長して伸長残
差ブロックのデータＨＩＴｇを出力する第２の情報伸長
器（ＤＥＣ２）５００ｂ，伸長残差ブロックのデータＨ
ＩＴｇと上記予測ブロックのデータＡＰｇの加算により
再生ブロックのデータＨＲｇを出力する第４の加算器５
０７，該再生ブロックのデータＨＲｇに、上記形状階層
符号化部５０からの高解像度再生形状信号ＨＲｋに基づ
いて補填処理を施して、再生ブロックの補填データＨＰ
Ｒｇを上記予測信号生成部５００ｃに出力する第２の再
生補填器（ＰＡＤ２）５０８とを有している。ここで、
第２の情報伸長器は、上記実施の形態１のものと同一構
成となっている。

【０１０８】そして、この予測信号生成部５００ｃは、
上記実施の形態１の予測信号生成部１００ｃの動き検出
器１１４，動き補償器１１５，及びフレームメモリ１１
３と同一構成の、動き検出器５１１，動き補償器５１
０，及びフレームメモリ５０９を有するとともに、低解
像度符号化部５５０ｂにおける第２の解像度変換器５２
５からの解像度変換画像データＴＰＲｇと第２の動き補
償器５１０からの予測ブロックのデータＨＰｇとの重付
き平均化処理を行って、上記予測ブロックの重付き平均
化データＡＰｇを出力する重付き平均化器５２４を有し
ている。

【０１０９】なお、ここでは、テキスチャー階層符号化
部５００の構成についてのみ詳しく説明しているが、本
実施の形態の任意形状階層符号化装置５０００における
形状階層符号化部５０も、上記テキスチャー階層符号化
部５００とほぼ同様な構成を有している。つまり、上記
形状階層符号化部５０は、上記テキスチャー階層符号化
部５００における第１，第２の再生補填器を有しておら
ず、また該符号化部５００における高解像度及び低解像
度テキスチャー信号に対して、補填処理，ＤＣＴ処理及
び量子化処理を行う高解像度側及び低解像度側の情報圧
縮器５００ａ，５００ｂに代えて、高解像度及び低解像
度形状信号に対して、各形状のブロック四分木の方法
で、高解像度及び低解像度形状信号の圧縮符号化処理を
行う高解像度側及び低解像度側の算術符号化器を有し、
さらに上記符号化部５００における逆量子化処理及び逆
ＤＣＴ処理を行う高解像度及び低解像度側の情報伸長器
５００ｂ，５００ｅに代えて、上記各算術符号化器に対
応する高解像度及び低解像度側の算術復号化器を備えて
いる。

【０１１０】次に動作について説明する。表示画面を構
成する所定の物体を表示するためのデジタル画像信号が
任意形状階層符号化装置５０００に入力されると、該デ
ジタル画像信号に含まれる形状信号Ｓｋ及びテキスチャ
ー信号Ｓｇは、それぞれ形状階層符号化部５０及びテキ
スチャー階層符号化部５００にてフレーム毎に階層符号
化処理が施される。

【０１１１】すなわち、上記テキスチャー符号化部５０
０では、その入力端子５０１ａに上記テキスチャー信号
Ｓｇが入力されると、このテキスチャー信号Ｓｇは第１
の解像度変換器５２０にてダウンサンプル処理により低
解像度テキスチャー信号ＬＳｇに変換される。

【０１１２】一般に入力画像信号に対するダウンサンプ
ル処理は、入力画像信号に対応する、Ｋ×Ｌ個のサンプ
ル（画素）からなる画像空間（１フレーム）における所
定画素が間引かれて、Ｋ／２×Ｌ／２の画素からなる間
引き画像空間が生成されるよう行われる。本実施の形態
では、テキスチャー信号Ｓｇの高周波成分をローパスフ
ィルタにより除去した後、該テキスチャー信号Ｓｇを構
成するサンプル値を、１サンプルおきに間引く処理を行
って、間引き画像空間を形成する低解像度テキスチャー
信号ＬＳｇを生成するようにしている。また、このよう
なテキスチャー信号Ｓｇに対する間引き処理は、上記形
状信号Ｓｋに対しても上記形状階層符号化部５０にて同
様に行われる。なお、ここでは、ダウンサンプル処理を
１／２の比率で行う場合を示しているが、ダウンサンプ
ル処理は１／２以外の比率で行ってもよい。

【０１１３】次に、上記低解像度符号化部５５０ｂには
上記低解像度テキスチャー信号ＬＳｇが入力され、上記
高解像度符号化部５５０ａには、テキスチャー信号Ｓｇ
が間引き処理が施されずにそのまま高解像度テキスチャ
ー信号ＨＳｇとして入力される。

【０１１４】上記低解像度符号化部５５０ｂでは、低解
像度テキスチャー信号ＬＳｇは、第１のブロック化器５
３１にて、物体を含むオブジェクト領域を分割する複数
のブロックの各々に対応するよう分割されて、ブロック
化画像データＬＢｇとして出力される。ここでは、上記
ブロックは８×８画素からなる領域としている。

【０１１５】続いて、現処理フレームにおける符号化処
理の対象となる対象ブロックの画像データＬＢｇは、第
１の動き検出器（ＭＥ１）５４１に入力される。このと
き第１のフレームメモリ（ＦＭ１）５３９に参照画像デ
ータとして格納してある過去の再生画像（すでに符号化
処理が施された前処理フレームの画像）ＬＭｇも上記第
１の動き検出器５４１に入力される。すると、第１の動
き検出器（ＭＣ１）５４１では、ブロックマッチングな
どの方法で、上記参照画像データＬＭｇに基づいて、対
象ブロックのデータＬＢｇに対して誤差の最も小さい画
像データを有する予測ブロックを与える動き変位情報が
求められ、第１の動きベクトルＬＭＶとして出力され
る。

【０１１６】この第１の動きベクトルＬＭＶが第１の動
き補償器５４０に供給されると、動き補償器５４０で
は、参照画像データＬＭｇから、上記対象ブロックに対
する予測ブロックのデータＬＰｇが生成される。このと
き動きベクトルＬＭＶは第１の可変長符号化器（ＶＬＣ
１）５３４に送られ、可変長符号に変換されて出力され
る。

【０１１７】上記対象ブロックのデータＬＢｇと予測ブ
ロックのデータＬＰｇは、第１の加算器５３２での演算
処理により、これらの画像データの差分データが残差ブ
ロックのデータＬＤｇとして求められ、この残差ブロッ
クのデータＬＤｇは、第１の情報圧縮器５００ｄにて、
上記実施の形態１と同様に、低解像度形状符号化信号Ｌ
Ｓｋを用いた補填処理，ＤＣＴ処理，及び量子化処理が
施され、圧縮残差ブロックのデータＬＱｇが出力され
る。この圧縮残差ブロックのデータＬＱｇは、第１の可
変長符号化器（ＶＬＣ１）１１１にて可変長符号に変換
され、上記動きベクトルＬＭＶを含むその他のサイド情
報の符号化データと共に出力端子５３５から、低解像度
符号化信号ＬＥｇとして出力される。

【０１１８】このとき、上記圧縮残差ブロックのデータ
ＬＱｇは、情報伸長器５００ｅにて実施の形態１の情報
伸長器１００ｂと同様な情報伸長処理により伸長残差ブ
ロックのデータＬＩＴｇに復元される。さらに、この伸
長残差ブロックのデータＬＩＴｇは、第１の加算器５３
７にて上記予測ブロックのデータＬＰｇと加算されて、
再生ブロックのデータＬＲｇとして第１の再生補填器５
３８に供給される。

【０１１９】この第１の再生補填器５３８では、順次入
力される再生ブロックのデータのうちの、有意でないサ
ンプルのみからなる無効ブロックのデータに対して補填
処理を施して、該無効ブロックの各サンプルの値を定義
する。一方、上記再生ブロックのうちの、境界ブロック
を含む有効な再生ブロックのデータに対しては補填処理
を行わない。このとき上記第１の再生補填器５３８で
は、各再生ブロックが無効ブロックであるか有効ブロッ
クであるかの判定を、形状階層符号化部５０からの低解
像度再生形状信号ＬＲｋに基づいて行っている。また本
実施の形態５では、無効ブロックを構成する各画素に対
応する画素値，つまり輝度成分と色差成分の値を所定の
補填値「１２８」で置き換えるようにしている。

【０１２０】なお、置換に用いる補填値は、フレーム毎
に変更してもよい。この場合、各フレームに対応する補
填値（輝度信号の値のみあるいは輝度信号と色差信号の
両方の値）を第１の可変長符号化器５３５によって符号
化し受信側に送る必要がある。また、上記無効ブロック
に対する補填処理は、無効ブロックに隣接する有意ブロ
ックにおける有意なサンプルの値を、有意でないサンプ
ルの値と置き換える処理を繰り返し行うものでもよい。

【０１２１】そして、上記第１の再生補填器５３８から
の再生ブロックの補填データＬＰＲｇは第１のフレーム
メモリ５３９に、次処理フレームに対する参照画像デー
タとして格納されるとともに、上記第２の解像度変換器
５２５に供給される。この解像度変換器５２５では、上
記再生ブロックの補填データＬＰＲｇは、そのアップサ
ンプル処理によりその解像度が高解像度テキスチャー信
号ＨＳｇの解像度と等しくなるよう変換されて、解像度
変換データＴＰＲｇとして出力される。

【０１２２】一方、上記高解像度テキスチャー信号ＨＳ
ｇは上記高解像度符号化部５５０ａにて、上記低解像度
テキスチャー信号ＬＳｇと同様な階層符号化処理が施さ
れる。この高解像度テキスチャー信号ＨＳｇに対する符
号化処理は、現処理フレームにおける対象ブロックに対
応する予測ブロックのデータを生成する処理のみ異なっ
ている。

【０１２３】つまり、上記予測ブロックのデータの生成
処理は、第２の動き補償器５１０にて動き補償により得
られた時間予測信号（つまり高解像度符号化部５５０ａ
にて生成された予測ブロックのデータ）ＨＰｇに加え
て、低解像度符号化部５５０ｂにて生成された再生ブロ
ックの補填データＬＰＲｇを空間予測信号として用いて
行われる。

【０１２４】ここでは、上記空間予測信号ＬＰＲｇとし
ての再生ブロックの補填データは、テキスチャー信号Ｓ
ｇをダウンサンプルして得られる低解像度テキスチャー
信号ＬＳｇに基づいて生成したものであるため、時間予
測信号ＨＰｇとの間での演算処理を行うには、空間予測
信号を画素値の補間によりアップサンプリングする必要
がある。従って、図７に示す第２の解像度変換器５２５
では、第１の再生補填器５３８の出力である再生ブロッ
クの補填データ（空間予測信号）ＬＰＲｇに補間処理を
施している。この変換器５２５では、偶数タップのフィ
ルタを用いて補間値を生成し、空間予測信号を構成する
画素を補間している。

【０１２５】このように低解像度符号化部５５０ｂで生
成された再生ブロックの補填データ（空間予測信号）に
アップサンプリングを施して得られる解像度変換データ
ＴＰＲｇは、時間予測信号ＨＰｇとともに重付き平均化
器５２４に入力され、該重付き平均化器５２４では、時
間予測信号と解像度変換データＴＰＲｇとが重付き平均
化処理により、重付き平均予測データＡＰｇに変換され
て上記第３及び第４の加算器５０２及び５０７に出力さ
れる。

【０１２６】本実施の形態では、空間予測信号に対する
時間予測信号の重付け比率として１：０、０：１、１／
２：１／２のいずれかをフレーム毎に選択して用いてい
るが、これ以外の比率で重付け平均化処理を行ってもよ
い。なお、この実施の形態５では、高解像度符号化部５
５０ａにおける第３の加算器５０２には、対象ブロック
に対応する予測ブロックのデータＡＰｇとして、上記の
ように重付け平均化器５２４での時間予測信号と解像度
変換データとの重み付け平均により得られる重付け平均
予測データを供給しているが、上記重付け平化器５２４
の代わりに、時間予測信号と解像度変換データのいずれ
かを選択する選択スイッチを設け、上記第３の加算器に
は、この選択スイッチの出力を供給するようにしてもよ
い。

【０１２７】また、この実施の形態５では、空間予測信
号としては、第１の補填器５３８の出力ＬＰＲｇを用い
ているが、空間予測信号には、第１のフレームメモリ５
３９から第１の補償器５４０に出力される、該フレーム
メモリの格納データＬＭｇを用いてもよい。

【０１２８】図８は、低解像度符号化部５５０ｂにて生
成された再生ブロックの補填データＬＰＲｇから、高解
像度符号化部５５０ｂにて利用する解像度変換データＴ
ＰＲｇを生成する処理を模式的に示す図である。

【０１２９】図中、９０１は、高解像度対象ブロックの
データＨＢｇにより形成される画像空間（高解像度オブ
ジェクト領域）、９０２は低解像度再生ブロックの補填
データＬＰＲｇにより形成される画像空間（低解像度オ
ブジェクト領域）である。各画像空間９０１，９０２に
て、ドット表示により示した領域は物体の内部領域（物
体内領域）であり、この物体内領域は、有意な画素から
構成され、各画像空間９０１，９０２における物体内領
域（ドット表示領域）以外の領域は、物体の外部領域
（物体外領域）であり、有意でない画素から構成されて
いる。

【０１３０】そして、各画像空間９０１，９０２は、マ
トリクス状に配列された複数のブロック（ここでは、横
１２列，縦８列のブロック）から構成されている。上記
低解像度画像空間９０２を構成する各ブロックは、上記
高解像度画像空間９０１を構成する符号化処理が施され
る各被符号化ブロックに対応する空間予測ブロックとな
っており、上記各被符号化ブロックと、これに対応する
空間予測ブロックとは、それぞれの画像空間において同
じ位置にある。たとえば、被符号化ブロック９０４とこ
れに対応する空間予測ブロック９０９は、それぞれ画像
空間９０１と画像空間９０２において、左から６列目で
かつ上から４行目に位置している。

【０１３１】ところで、画像空間９０１における被符号
化ブロック９０５，９０６，９０７と、該各ブロックに
対応する空間予測ブロック９１０，９１１，９１２とを
比較すると、被符号化ブロック９０５，９０６，９０７
は物体の境界に位置しているのに対し、これらに対応す
る空間予測ブロック９１０，９１１，９１２は完全に物
体の外部に位置している。

【０１３２】これは、低解像度再生ブロックのデータ
が、入力画像信号である高解像度テキスチャー信号に対
するダウンサンプリングや圧縮符号化処理によって生成
されたものであるために、上記低解像度再生ブロックの
データにより形成される画像空間上での物体の形状が変
形してしまったからである。

【０１３３】この場合、たとえば被符号化ブロック９０
７に対応する空間予測ブロック９１２は、無定義な画素
からなる無効ブロックであり、この空間予測ブロック９
１２のデータをそのまま高解像度符号化部５５０ａにて
予測処理に用いると、対象ブロックのデータと予測ブロ
ックのデータとの差分値である残差ブロックのデータが
大きくなる。

【０１３４】本発明の実施の形態５では、このような無
定義な画素からなる空間予測ブロックに対してのみ、上
記第１の補填器５３８により補填処理を行うようにして
いる。具体的には、有意でない画素のみからなるブロッ
ク，つまり無効ブロックの画素を、所定の画素値を有す
る補填画素と置き換える。なお、この補填値としては、
所定の画素値を用いる場合に限らず、例えば、隣接する
ブロックの有意な画素のサンプル値を用いてもよい。

【０１３５】このように本実施の形態５では、低解像度
再生ブロックのうちの、有意でないサンプルのみからな
る無効ブロックに対してのみ補填処理を行うので、低解
像度画像空間における空間予測ブロックが完全に物体外
部に位置する場合でも、該空間予測ブロックの各サンプ
ル値が所定のサンプル値や物体内画素のサンプル値で置
き換えられることとなり、高解像度対象ブロックのデー
タと空間予測ブロックのデータを解像度変換して得られ
る低解像度との差分値である予測誤差信号を抑圧するこ
とができる。

【０１３６】なお、上記実施の形態５では、画像符号化
装置５００として、低解像度テキスチャー信号を、入力
されるテキスチャー信号（高解像度テキスチャー信号）
に対する空間的なダウンサンプリングにより生成するも
のを示したが、低解像度テキスチャー信号は、入力され
るテキスチャー信号の時間的なダウンサンプリングによ
り生成するようにしてもよい。

【０１３７】つまり、時刻ｔ，ｔ＋Ｎ，ｔ＋２Ｎ，…に
おけるフレームに対応するテキスチャー信号を、低解像
度テキスチャー信号として、図７に示すテキスチャー符
号化部５００の低解像度符号化部５５０ｂに入力し、す
べてのフレームに対応するテキスチャー信号を高解像度
テキスチャー信号として、テキスチャー符号化部５００
を構成する高解像度符号化部５５０ａに入力するように
してもよい。

【０１３８】ここでＮは任意の整数であるが、例えば、
実用的な値としては、Ｎ＝３である。この場合、上記テ
キスチャー符号化部５００における第２の解像度変換器
５２５では、アップサンプリングによる補間処理を行う
代わりに、動きベクトルＬＭＶを用いて、第１のフレー
ムメモリ５３９から、動き補償により特定される予測ブ
ロックのデータ、つまり時刻ｔ，ｔ＋Ｎ，ｔ＋２Ｎ，…
におけるフレームの間のフレームにおける予測ブロック
のデータを、解像度変換データとしてアクセスして出力
する動き補償処理を行う構成とする。この場合、動きベ
クトルＬＭＶを上記変換器５２５へ供給する必要があ
る。

【０１３９】また、上記実施の形態５の低解像度及び高
解像度符号化部５５０ｂ、５５０ａでは、低解像度及び
高解像度再生ブロックのデータの補填処理を、第１，第
２の再生補填器を用いて行っているが、各符号化部での
再生ブロックの補填処理は、上記実施の形態３と同様
に、フレームメモリを初期化する初期化器と、再生補填
器からフレームメモリへの再生ブロックのデータの供給
する制御するスイッチとを備え、各フレーム毎に、フレ
ームメモリを初期化したのちに、少なくとも一つ有意な
サンプルを含む有効な再生ブロックのデータのみを初期
化されたフレームメモリに上書きするようにしてもよ
い。

【０１４０】（実施の形態６）図６(b) 及び図９は、本
発明の実施の形態６による画像処理装置として任意形状
階層復号化装置を説明するためのブロック図であり、図
６(b) は、その全体構成を示し、図９は該装置を構成す
るテキスチャー階層符号化部の構成を示している。本実
施の形態６の任意形状階層符号化装置（画像復号化装
置）６０００は、上記任意形状階層符号化装置５０００
からの各フレームに対応する高解像度，低解像度テキス
チャー符号化信号ＨＥｇ，ＬＥｇ、及び高解像度，低解
像度形状符号化信号ＨＥｋ，ＬＥｋに対して、該物体を
含む領域（オブジェクト領域）を分割するブロック毎に
階層復号化処理を施す構成となっている。

【０１４１】上記任意形状階層復号化装置６０００は、
上記高解像度，低解像度形状符号化信号ＨＥｋ，ＬＥｋ
に対してデータ解析処理及び算術復号化処理を施して高
解像度，低解像度形状再生信号ＨＲｋ，ＬＲｋを出力す
る形状階層符号化部６０と、上記高解像度，低解像度テ
キスチャー符号化信号ＨＥｇ，ＬＥｇに対してデータ解
析処理及び情報伸長処理を施して高解像度，低解像度テ
キスチャー再生信号ＨＲｇ，ＬＲｇを出力するテキスチ
ャー階層符号化部６００と、上記各復号化部での処理を
制御する制御部６０ａとを有している。

【０１４２】ここで、上記テキスチャー復号化部６００
は、上記高解像度符号化信号ＨＥｇに復号化処理を施し
て高解像度再生信号ＨＥｇを生成する高解像度復号化部
６６０ａと、上記低解像度符号化信号ＬＥｇに対して復
号化処理を施して低解像度再生信号ＬＥｇを生成する低
解像度符号化部６６０ｂとを有している。

【０１４３】この低解像度復号化部６６０ａは、上記実
施の形態２の画像復号化装置２００と同様、低解像度符
号化信号ＬＥｇを解析して可変長復号化する第１のデー
タ解析器６２２，該データ解析器６２２の出力ＬＱＥｇ
に対して伸長処理を施して、現処理フレームにおける伸
長ブロックのデータＬＩＴｇを出力する第１の情報伸長
器（ＤＥＣ１）６００ｂ，該伸長ブロックのデータＬＩ
ＤＴｇと、これに対応する予測ブロックのデータＬＰｇ
とを加算して再生ブロックのデータＬＲｇを出力する第
１の加算器６２４を有している。また、上記低解像度復
号化部６６０ａは、該加算器の出力ＬＲｇに対する補填
処理を、上記形状階層復号化部６０からの低解像度形状
再生信号ＬＲｇに基づいて施す第１の補填器６２６，上
記予測ブロックのデーＬＰｇを生成する第１の予測信号
生成部６００ｄ，及び該第１の補填器６２６の出力ＬＰ
Ｒｇの解像度をアップサンプルにより変換して、高解像
度テキスチャー信号ＨＳｇの解像度と等しい解像度変換
データＴＰＲｇを生成する解像度変換器６３７とを有し
ている。

【０１４４】ここで、上記第１の予測信号生成部６００
ｄは、上記実施の形態２の予測信号生成部２００ｃの動
き補償器２１０，及びフレームメモリ２０９と同一構成
の、動き補償器６２８，及び第１のフレームメモリ６２
７を有している。

【０１４５】一方、上記高解像度復号化部６６０ａは、
上記実施の形態２の画像復号化装置１００と同様、高解
像度符号化信号ＨＥｇを解析して可変長復号化する第２
のデータ解析器６０２，該データ解析器６０２の出力Ｈ
Ｑｇに対して伸長処理を施して、現処理フレームにおけ
る伸長ブロックのデータＨＩＴｇを出力する第２の情報
伸長器（ＤＥＣ２）６００ａ，上記伸長ブロックのデー
タＨＩＴｇとこれに対応する予測ブロックの重付け平均
予測データＴＰＲｇとを加算して再生ブロックのデータ
ＨＲｇを出力する第２の加算器６０４を有している。ま
た、上記高解像度復号化部６６０ａは、該第２の加算器
６０４からのデータＨＲｇを、上記形状階層復号化部６
０からの高解像度形状再生信号ＨＲｋに基づいて補填し
て再生ブロックの補填データＨＰＲｇを出力する第２の
補填器６０６，現処理フレームの伸長ブロックに対応す
る予測ブロックのデータＬＰｇを生成する第２の予測信
号生成部６００ｃを有している。

【０１４６】そして、上記第２の予測信号生成部６００
ｃは、上記実施の形態２の予測信号生成部２００ｂの動
き補償器２１０，及びフレームメモリ２０９と同一構成
の、第２の動き補償器６０８，及び第２のフレームメモ
リ６０７を有するとともに、解像度変換器６３７からの
解像度変換データＴＰＲｇと、第２の動き補償器６０８
からの予測ブロックのデータとの重付け平均化により、
上記重付け平均予測データＡＰｇを上記第２の加算器６
０４に出力する重付け平均化器６１８とを有している。

【０１４７】なお、ここでは、テキスチャー階層復号化
部６００の構成についてのみ詳しく説明しているが、本
実施の形態６の任意形状復号化装置６０００における形
状階層復号化部６０も、上記テキスチャー階層復号化部
６００とほぼ同様な構成を有している。つまり、上記形
状階層復号化部６０は、上記テキスチャー階層復号化部
６００における第１，第２補填器６２６，６０６を有し
ていない点、上記テキスチャー階層復号化部６００にお
ける逆ＤＣＴ処理及び逆量子化処理を行う高解像度側及
び低解像度側の情報伸長器６００ｃ，６００ｄに代え
て、各形状のブロック四分木の方法で、高解像度，低解
像度形状符号化信号ＨＥｋ，ＬＥｋの圧縮復号化処理を
行う高解像度側及び低解像度側の算術復号化器を有して
いる点で、テキスチャー階層復号化部６００と異なる。

【０１４８】次に動作について説明する。上記任意形状
階層符号化装置５０００からの低解像度，高解像度形状
符号化信号ＬＥｋ，ＨＥｋが入力端子６２，６１に入力
されると、これらの符号化信号はそれぞれ、形状階層復
号化部６０にて階層復号化されて、低解像度，高解像度
形状再生信号ＬＲｋ，ＨＲｋが出力端子６５，６３に出
力される。

【０１４９】また、上記任意形状階層符号化装置５００
０からの低解像度符号化信号ＬＥｇが、低解像度復号化
部６６０ｂの入力端子６２１に入力されると、第１のデ
ータ解析器６２２にて低解像度テキスチャー符号化信号
ＬＥｇがその解析により可変長復号化される。このとき
データ解析器６２２の出力である圧縮残差ブロックのデ
ータＬＱｇは、第１の情報伸長器６００ｂに出力され、
上記データ解析器６２２にて抽出された動きベクトルＬ
ＭＶは第１の動き補償器６２８に出力される。

【０１５０】上記第１の情報伸長器６００ｂでは、圧縮
残差ブロックのデータＬＱｇに情報伸長処理が施され
て、上記符号化部５５０ｂにおける残差ブロックのデー
タが伸長残差ブロックのデータＬＩＴｇとして復元され
る。上記第１の情報伸長器６００ｂでは、実施の形態２
の画像復号化装置２００と同様、上記伸長残差ブロック
のデータＬＱｇに逆ＤＣＴ処理及び逆量子化処理が施さ
れる。

【０１５１】このとき第１の動き補償器６２８では、上
記第１のデータ解析器６２２からの動きベクトルＬＭＶ
に基づいて、第１のフレームメモリ６２７をアクセスす
るためのアドレスが生成され、第１のフレームメモリ６
２７に格納されている前処理フレームに対応する格納デ
ータＬＭｇから低解像度予測ブロックのデータＬＰｇが
生成される。この低解像度予測ブロックのデータＬＰｇ
と伸長残差ブロックのデータＬＩＴｇが第１の加算器６
２４にて加算され、低解像度再生ブロックのデータＬＲ
ｇが生成される。

【０１５２】この再生ブロックのデータＬＲｇは低解像
度テキスチャー再生信号として第１の出力端子６２５に
出力されると同時に、第１の補填器６２６に供給され
る。この補填器６２６では、再生ブロックの中で、有意
でないサンプルのみからなる無効再生ブロックに対して
のみ補填処理を行って、該無効再生ブロックを構成する
各画素の画素値を定義する。また、境界ブロックを含む
有効な再生ブロックに対しては補填処理は行わない。

【０１５３】このとき、上記第１の補填器６２６では、
各再生ブロックのサンプル値が有意か否かを示す、上記
形状階層復号化部６０からの低解像度再生形状信号ＬＲ
ｋに基づいて、再生ブロックが有効ブロックか無効ブロ
ックかの判定を行っている。

【０１５４】本実施の形態では、輝度成分と色差成分の
各サンプル値を所定の補填値「１２８」で置き換える。
なお、置換に用いる補填値は、フレーム毎に変更しても
よい。この場合、各フレームに対応する補填値（輝度信
号の値のみあるいは輝度信号と色差信号の両方の値）
は、上記低解像度符号化信号ＬＥｇに含まれ、上記第１
のデータ解析器６２２によって抽出されて第１の補填器
６２８に送られる。

【０１５５】また、上記無効ブロックに対する補填処理
は、無効ブロックに隣接する有意ブロックにおける有意
なサンプル値を、有意でないサンプル値と置き換える処
理を繰り返し行うものでもよい。

【０１５６】そしてこのように補填処理を施した低解像
度再生ブロックの補填データＬＰＲｇは、次処理フレー
ムに対応する参照画像データとして第１のフレームメモ
リ６２７に格納される。

【０１５７】一方、高解像度符号化信号ＨＥｇは上記高
解像度復号化部６６０ａにて、上記低解像度符号化信号
ＬＥｇと同様な復号化処理が施される。この高解像度符
号化信号ＨＥｇに対する復号化処理は、対象ブロックに
対応する予測ブロックのデータの生成処理のみ異なって
いる。

【０１５８】つまり、上記予測ブロックのデータの生成
処理は、第２の動き補償器６０８にて動き補償により得
られた時間予測信号（高解像度予測ブロックのデータ）
ＨＰｇに加えて、第１の補填器６２６からの低解像度再
生ブロックの補填データ（空間予測信号）ＬＰＲｇを用
いて行われる。この低解像度再生ブロックのデータＬＰ
Ｒｇは、変換器６３７にてアップサンプルにより補間さ
れて、解像度変換データＴＰＲｇとして出力される。

【０１５９】このように空間予測信号ＬＰＲｇにアップ
サンプリングを施して得られる解像度変換データＴＰＲ
ｇは、時間予測信号ＨＰｇとともに重付き平均化器６１
８に入力され、該重付き平均化器６１８では、時間予測
信号ＨＰｇと解像度変換データＴＰＲｇとが重付き平均
化処理により、重み付き平均予測データＡＰｇとして上
記高解像度復号化部６６０ｂにおける第１の加算器６０
４に出力される。

【０１６０】なお、上記重み付けの比率は送受信側であ
らかじめに決めてもよいが、重み付けの情報を高解像度
符号化信号ＨＥｇとともに受信側に伝送し、高解像度復
号化部６６０ａの第２のデータ解析器６０２にて重み付
け情報を抽出して重付け平均化器６１８に供給するよう
にしてもよい。

【０１６１】このように本実施の形態６では、低解像度
再生ブロックのうちの、有意でないサンプルのみからな
る無効ブロックに対してのみ補填処理を行うので、低解
像度画像空間における空間予測ブロックが完全に物体外
部に位置する場合でも、該空間予測ブロックの各サンプ
ル値が所定のサンプル値や物体内画素のサンプル値で置
き換えられることとなり、高解像度対象ブロックのデー
タと空間予測ブロックのデータを解像度変換して得られ
るデータとの差分値である予測誤差信号を抑圧すること
ができる。

【０１６２】なお、上記実施の形態６では、空間予測信
号としては、第１の補填器６２６の出力データを用いた
が、これは、第１のフレームメモリ９２７から第１の動
き補償器６２８へ読み出されるデータＬＭｇを用いても
よい。

【０１６３】また、低解像度符号化信号と高解像度符号
化信号とが、同一サイズの画像空間に対応し、かつ時間
的にずれている場合には、上記変換器６３７としては、
補間処理を行うものに代えて、動きベクトルＬＭＶに基
づいて、第１のフレームメモリ６２７から動き補償によ
り予測ブロックのデータを読み出す処理を行うものを用
いる。

【０１６４】また、上記実施の形態６の低解像度及び高
解像度復号化部６６０ｂ、６６０ａでは、低解像度及び
高解像度再生ブロックのデータの補填処理を、第１，第
２の補填器を用いて行っているが、各復号化部での再生
ブロックの補填処理は、上記実施の形態４と同様に、フ
レームメモリを初期化する初期化器と、補填器からフレ
ームメモリへの再生ブロックのデータの供給する制御す
るスイッチとを備え、各フレーム毎に、フレームメモリ
を初期化したのちに、少なくとも一つ有意なサンプルを
含む有効な再生ブロックのデータのみを初期化されたフ
レームメモリに上書きするようにしてもよい。

【０１６５】なお、上記実施の形態１，３，５では、任
意形状符号化装置として、任意形状画像（物体）に対応
する、形状信号とテキスチャー信号を含む画像信号を受
け、テキスチャー符号化部における対象，残差，再生補
填器では、形状符号化部からの形状信号あるいは再生形
状信号に基づいて、対象，残差，再生ブロックが有効ブ
ロックか無効ブロックかの判定を行うものを示したが、
任意形状符号化装置は、テキスチャー信号と透過度信号
を含む画像信号を入力信号として受けるものであっても
よい。

【０１６６】この場合、透過度信号の符号化処理は、透
過度信号に含まれる、各画素が物体内と物体外のいずれ
に位置するかを示す２値データからなる形状情報につい
ては、形状符号化部にて符号化処理が行われ、透過度信
号に含まれる、物体内の画素の透明度を示す多値データ
からなる透明度情報については、テキスチャー符号化部
にて、テキスチャー信号と同様な符号化処理が行われる
こととなる。

【０１６７】また、この場合、テキスチャー符号化部に
おける対象，残差，再生補填器では、対象，残差，再生
ブロックが有効ブロックか無効ブロックかの判定は、上
記透過度信号あるいは再生透過度信号に含まれる、画素
が物体外であることを示す値「０」と、画素が物体内に
位置することを示す「０」以下の値（非０値）に基づい
て行われることとなる。

【０１６８】また、上記実施の形態２，４，６では、任
意形状復号化装置として、任意形状画像（物体）に対応
する、形状符号化信号とテキスチャー符号化信号を含む
画像符号化信号を受け、テキスチャー復号化部における
再生補填器では、形状復号化部からの再生形状信号に基
づいて、再生ブロックが有効ブロックか無効ブロックか
の判定を行うものを示したが、任意形状復号化装置は、
テキスチャー符号化信号と透過度符号化信号を含む画像
符号化信号を入力信号として受けるものであってもよ
い。

【０１６９】この場合、透過度符号化信号の復号化処理
は、透過度符号化信号に含まれる、各画素が物体内と物
体外のいずれに位置するかを示す２値データに対する符
号化データについては、形状復号化部にて復号化処理が
行われ、透過度符号化信号に含まれる、物体内の画素の
透明度を示す多値データからなる透明度情報の符号化デ
ータについては、テキスチャー復号化部にて、テキスチ
ャー符号化信号と同様な復号化処理が行われることとな
る。

【０１７０】また、この場合、テキスチャー復号化部に
おける再生補填器では、再生ブロックが有効ブロックか
無効ブロックかの判定は、上記透過度符号化信号を復号
化して得られる再生透過度信号における、画素が物体外
であることを示す値「０」と画素が物体内に位置するこ
とを示す「０」以下の値（非０値）に基づいて行われる
こととなる。

【０１７１】さらに、上記各実施の形態で示した任意形
状符号化装置あるいは任意形状復号化装置の構成を実現
するための符号化あるいは復号化プログラムを、フロッ
ピーディスク等のデータ記憶媒体に記録するようにする
ことにより、上記各実施の形態で示した処理を、独立し
たコンピュータシステムにおいて簡単に実施することが
可能となる。

【０１７２】図１０は、上記実施の形態１ないし６の符
号化あるいは復号化処理を、上記符号化あるいは復号化
プログラムを格納したフロッピーディスクを用いて、コ
ンピュータシステムにより実施する場合を説明するため
の図である。図１０(a) は、フロッピーディスクの正面
からみた外観、断面構造、及びフロッピーディスク本体
を示し、図１０(b) は、該フロッピーディスク本体の物
理フォーマットの例を示している。

【０１７３】上記フロッピーディスクＦＤは、上記フロ
ッピーディスク本体ＤをフロッピーディスクケースＦＣ
内に収容した構造となっており、該フロッピーディスク
本体Ｄの表面には、同心円状に外周からは内周に向かっ
て複数のトラックＴｒが形成され、各トラックＴｒは角
度方向に１６のセクタＳｅに分割されている。従って、
上記プログラムを格納したフロッピーディスクＦＤで
は、上記フロッピーディスク本体Ｄは、その上に割り当
てられた領域（セクタ）Ｓｅに、上記プログラムとして
のデータが記録されたものとなっている。

【０１７４】また、図１０(c) は、フロッピーディスク
ＦＤに対する上記プログラムの記録、及びフロッピーデ
ィスクＦＤに格納したプログラムを用いた画像処理を行
うための構成を示している。

【０１７５】上記プログラムをフロッピーディスクＦＤ
に記録する場合は、コンピュータシステムＣｓから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブＦDDを介してフロッピーディスクＦＤに書き込む。
また、フロッピーディスクＦＤに記録されたプログラム
により、上記任意形状符号化装置あるいは任意形状復号
化装置をコンピュータシステムＣｓ中に構築する場合
は、フロッピーディスクドライブＦDDによりプログラム
をフロッピーディスクＦＤから読み出し、コンピュータ
システムＣｓにロードする。

【０１７６】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる符号化処理あるいは復号化処理を行
うことができる。また、記録媒体は上記光ディスクやフ
ロッピーディスクに限るものではなく、ＩＣカード、Ｒ
ＯＭカセット等、プログラムを記録できるものであれば
よく、これらの記録媒体を用いる場合でも、上記フロッ
ピーディスク等を用いる場合と同様にソフトウェアによ
る符号化処理あるいは復号化処理を実施することができ
る。

【０１７７】

【発明の効果】以上のようにこの発明（請求項１，７〜
１１，１８）によれば、現処理フレームにおける対象ブ
ロックのデータに対して、対応する予測ブロックを用い
て予測符号化処理を行う際、次処理フレームに対応する
予測データの生成のための再生ブロックの画像データに
対して、該再生ブロックが無効ブロックである場合のみ
補填処理を施すようにしたので、符号化効率及び画質の
劣化を招くことなく、受信側での再生時の復号化処理に
おける補填処理を大幅に削減できる。

【０１７８】この発明（請求項２，１２，１３，１８）
によれば、現処理フレームにおける対象ブロックのデー
タに対して、対応する予測ブロックを用いて予測復号化
処理を行う際、次処理フレームに対応する予測データの
生成のための再生ブロックの画像データに対して、該再
生ブロックが無効ブロックである場合のみ補填処理を施
すようにしたので、符号化効率及び画質の劣化を招くこ
となく、復号化処理における補填処理を大幅に削減でき
る。

【０１７９】この発明（請求項３，１４，１８）によれ
ば、現処理フレームにおける対象ブロックのデータに対
して、対応する予測ブロックのデータを用いた予測符号
化処理を行う際、次処理フレームに対応する予測ブロッ
クのデータの生成のための参照画像データを格納するフ
レームメモリを所定のタイミングで初期化し、初期化し
たフレームメモリに再生ブロックのうちの、少なくとも
１つの有効画素を含む有効ブロックのデータのみを上書
きして格納するようにしたので、受信側では、再生ブロ
ックのうちの境界ブロックだけでなく無効ブロックに対
しても補填処理を行う必要がなくなり、符号化効率及び
画質の劣化を招くことなく、再生時の復号化処理におけ
る補填処理を省略できる。

【０１８０】この発明（請求項４，１５，１８）によれ
ば、現処理フレームにおける対象ブロックのデータに対
して、対応する予測ブロックのデータを用いた予測復号
化処理を行う際、次処理フレームに対する予測ブロック
のデータの生成のための参照画像データを格納するフレ
ームメモリを所定のタイミングで初期化し、初期化した
フレームメモリに再生ブロックのうちの、少なくとも１
つの有効画素を含む有効ブロックのデータのみを上書き
して格納するようにしたので、再生ブロックのうちの境
界ブロックだけでなく無効ブロックに対しても補填処理
を行う必要がなくなり、符号化効率及び画質の劣化を招
くことなく、再生時の復号化処理における補填処理を省
略できる。

【０１８１】この発明（請求項５，１６，１８）によれ
ば、現処理フレームにおける高解像度対象ブロックのデ
ータに対して、対応する低解像度予測ブロックのデータ
を用いて予測符号化処理を行う際、次処理フレームに対
応する予測データの生成のための再生ブロックの画像デ
ータに対して、該再生ブロックが無効ブロックである場
合のみ補填処理を施すようにしたので、符号化効率及び
画質の劣化を招くことなく、受信側での階層符号化信号
に対する階層復号化処理における補填処理を大幅に削減
できる。

【０１８２】この発明（請求項６，１７，１８）によれ
ば、現処理フレームにおける高解像度対象ブロックのデ
ータに対して、対応する低解像度予測ブロックのデータ
を用いて予測復号化処理を行う際、次処理フレームに対
応する予測データの生成のための再生ブロックの画像デ
ータに対して、該再生ブロックが無効ブロックである場
合のみ補填処理を施すようにしたので、符号化効率及び
画質の劣化を招くことなく、階層符号化信号に対する階
層復号化処理における補填処理を大幅に削減できる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像符号化装置を
説明するための図であり、図(a) はその概略構成を示す
ブロック図、図(b) は該装置を構成するテキスチャー符
号化部の具体的な構成を示すブロック図である。

【図２】上記実施の形態１のテキスチャー符号化部の処
理を説明するための図であり、任意形状画像を含む、複
数のブロックに分割された画像空間を示している。

【図３】本発明の実施の形態２による画像復号化装置を
説明するための図であり、図(a) はその概略構成を示す
ブロック図、図(b) は該装置を構成するテキスチャー復
号化部の具体的な構成を示すブロック図である。

【図４】本発明の実施の形態３による画像符号化装置を
説明するための図であり、図(a) はその概略構成を示す
ブロック図、図(b) は該装置を構成するテキスチャー符
号化部の具体的な構成を示すブロック図である。

【図５】本発明の実施の形態４による画像復号化装置を
説明するための図であり、図(a) はその概略構成を示す
ブロック図、図(b) は該装置を構成するテキスチャー復
号化部の具体的な構成を示すブロック図である。

【図６】本発明の実施の形態５による画像符号化装置
（図(a) ）、及び実施の形態６の画像復号化装置（図
(b) ）の概略構成を示すブロック図である。

【図７】上記実施の形態５の画像符号化装置を構成する
テキスチャー符号化部の具体的な構成を示すブロックで
ある。

【図８】上記実施の形態５，６の装置における、対象ブ
ロックに対する予測ブロックのデータを生成する処理を
説明するための図である。

【図９】上記実施の形態６の画像復号化装置を構成する
テキスチャー復号化部の具体的な構成を示すブロック図
である。

【図１０】図１０(a) ，(b) は、上記各実施の形態の符
号化及び復号化処理をコンピュータシステムにより行う
ためのプログラムを格納したデータ記憶媒体を説明する
ための図、図１０(c) は、上記コンピュータシステムを
示す図である。

【符号の説明】

１０，３０，５０ 形状符号化部 １０ａ，２０ａ，３０ａ，４０ａ，５０ａ，６０ａ 制
御部 ２０，４０，６０ 形状復号化部 １００，３００，５００ テキスチャー符号化部 １００ａ，３００ａ，５００ａ，５００ｄ 情報圧縮器 １００ｂ，２００ａ，３００ｂ，４００ａ，５００ｂ，
５００ｅ，６００ａ，６００ｂ 情報伸長器 １００ｃ，２００ｂ，３００ｃ，４００ｂ，５００ｃ，
５００ｆ，６００ｃ，６００ｄ 予測信号生成部 １０１，３０１，５０１，５３１ ブロック化器 １０２，３０２，５３２ 第１の加算器 １０３，３０３ 残差補填器 １０４，３０４ 離散コサイン変換器 １０５，３０５ 量子化器 １０８，３０８ 逆量子化器 １０９，３０９ 逆離散コサイン変換器 １１０，３１０，５３７ 第２の加算器 １１１，３１１，５０４，５３４ 可変長符号化器 １１２，５０８，５３８ 再生補填器 １１３，２０９，３１３，４０９，５０９，５３９，６
０７，６２７ フレームメモリ １１４，３１４，５１０，５４０ 動き検出器 １１５，２１０，３１５，４１０，５０９，５３９，６
０８，６２８ 動き補償器 ２００，４００，６００ テキスチャー復号化部 ２０２，４０２，６０２，６２２ データ解析器 ２０４，４０４ 逆量子化器 ２０５，４０５ 逆離散コサイン変換器 ２０６，４０６，６０４，６２４ 加算器 ２０８，６０６，６２６ 補填器 ３３０，４２０ 初期化器 ３３１，４２２ スイッチ ５０２，５０７ 第３，第４の加算器 ５２０，５２５ 第１，第２の解像度変換器 ５２４，６１８ 平均化器 ６３７ 変換器 １０００，３０００，５０００ 画像符号化装置 ２０００，４０００，６０００ 画像復号化装置 Ｓｋ，ＨＳｋ，ＬＳｋ 形状信号 Ｓｇ，ＨＳｇ，ＬＳｇ テキスチャー信号 Ｂｇ，ＨＢｇ，ＬＢｇ 対象ブロックのデータ Ｅｋ，ＨＥｋ，ＬＥｋ 形状符号化信号 Ｅｇ，ＨＥｇ，ＬＥｇ テキスチャー符号化信号 Ｃｍ メモリ制御信号 Ｃｉ 初期化制御信号 Ｄｇ，ＨＤｇ，ＬＤｇ 残差データ（残差ブロックのデ
ータ） ＰＤｇ 補填残差データ（補填残差ブロックのデータ） Ｔｇ ＤＣＴ係数 Ｑｇ，ＨＱｇ，ＬＱｇ 圧縮データ（圧縮ブロックのデ
ータ） ＩＱｇ 復元ＤＣＴ係数 ＩＴｇ，ＨＩＴｇ，ＬＩＴｇ 伸長データ（伸長ブロッ
クのデータ） Ｒｋ，ＨＲｋ，ＬＲｋ 再生形状信号 Ｒｇ，ＨＲｇ，ＬＲｇ 再生テキスチャー信号（再生ブ
ロックのデータ） ＰＲｇ，ＨＰＲｇ，ＬＰＲｇ 補填テキスチャー信号
（補填再生ブロックのデータ） Ｍｇ，ＨＭｇ，ＬＭｇ 参照データ Ｐｇ，ＨＰｇ，ＬＰｇ 予測テキスチャー信号（予測ブ
ロックのデータ） ＡＰｇ 平均予測テキスチャー信号 ＴＰｇ 変換予測テキスチャー信号 ＭＶ，ＨＭＶ，ＬＭＶ 動きベクトル

Claims (18)

【特許請求の範囲】
1. 【請求項１】 任意形状を有する物体を含む画像空間を
   形成する各フレームに対応する画像信号を、該画像空間
   を分割するブロック毎に符号化する方法であって、 現処理フレームにおける符号化の対象となる対象ブロッ
   クの画像データと、該対象ブロックに対応する予測ブロ
   ックの画像データとの差分データを、差分ブロックの画
   像データとして出力し、 該差分ブロックの画像データの情報圧縮による圧縮差分
   ブロックの画像データの生成、及び該圧縮差分ブロック
   の画像データの符号化による画像符号化信号の生成を行
   うとともに、該圧縮差分ブロックの画像データの情報伸
   長により上記差分データを伸長差分ブロックの画像デー
   タとして復元し、 上記伸長差分ブロックの画像データと上記予測ブロック
   の画像データとの加算により再生ブロックの画像データ
   を生成し、 該再生ブロックが有意でない画素のみからなる無効ブロ
   ックであるとき、該再生ブロックの画像データを、これ
   を構成する有意でない画素値を所定の補填値と置き換え
   て出力し、一方、上記再生ブロックが少なくとも１つ有
   意な画素を含む有効ブロックであるとき、該再生ブロッ
   クの画像データをそのまま出力し、 上記有効ブロック及び補填処理が施された無効ブロック
   の画像データに基づいて、次処理フレームの対象ブロッ
   クに対応する予測ブロックの画像データを生成すること
   を特徴とする画像処理方法。
2. 【請求項２】 任意形状を有する物体を含む画像空間を
   形成する各フレームに対応する画像信号を、該画像空間
   を分割するブロック毎に符号化して得られる画像符号化
   信号を、該ブロック毎に復号化する方法であって、 上記画像符号化信号のデータ解析により、符号化の対象
   となる対象ブロックの画像データと該対象ブロックに対
   応する予測ブロックの画像データとの差分データの情報
   圧縮により得られる圧縮データを、圧縮差分ブロックの
   画像データとして抽出し、 上記圧縮差分ブロックの画像データの情報伸長により、
   上記差分データを現処理フレームにおける伸長差分ブロ
   ックの画像データとして復元し、 上記伸長差分ブロックの画像データと、該伸長差分ブロ
   ックに対応する予測ブロックの画像データとの加算によ
   り、再生ブロックの画像データを生成し、 該再生ブロックが有意でない画素のみからなる無効ブロ
   ックであるとき、該再生ブロックの画像データを、これ
   を構成する有意でない画素値を所定の補填値と置き換え
   て出力し、一方、上記再生ブロックが少なくとも１つ有
   意な画素を含む有効ブロックであるとき、該再生ブロッ
   クの画像データをそのまま出力し、 上記有効ブロック及び補填処理が施された無効ブロック
   の画像データに基づいて、次処理フレームの伸長差分ブ
   ロックに対応する予測ブロックの画像データを生成する
   ことを特徴とする画像処理方法。
3. 【請求項３】 任意形状を有する物体を含む画像空間を
   形成する各フレームに対応する画像信号を、該画像空間
   を分割するブロック毎に符号化する方法であって、 現処理フレームにおける符号化の対象となる対象ブロッ
   クの画像データと、該対象ブロックに対応する予測ブロ
   ックの画像データとの差分データを、差分ブロックの画
   像データとして出力し、 該差分ブロックの画像データの情報圧縮による圧縮差分
   ブロックの画像データの生成、及び該圧縮差分ブロック
   の画像データの符号化による画像符号化信号の生成を行
   うとともに、該圧縮差分ブロックの画像データの情報伸
   長により上記差分データを伸長差分ブロックの画像デー
   タとして復元し、 上記伸長差分ブロックの画像データと上記予測ブロック
   の画像データとの加算により再生ブロックの画像データ
   を生成し、 上記再生ブロックのうちの、少なくとも１つ有意な画素
   を含む有効ブロックの画像データのみ、所定のタイミン
   グで初期化されるフレームメモリに参照画像データとし
   て上書きして格納し、 上記フレームメモリに格納された参照画像データに基づ
   いて、次処理フレームの対象ブロックに対応する予測ブ
   ロックの画像データを生成することを特徴とする画像処
   理方法。
4. 【請求項４】 任意形状を有する物体を含む画像空間を
   形成する各フレームに対応する画像信号を、該画像空間
   を分割するブロック毎に符号化して得られる画像符号化
   信号を、該ブロック毎に復号化する方法であって、 上記画像符号化信号のデータ解析により、符号化の対象
   となる対象ブロックの画像データと該対象ブロックに対
   応する予測ブロックの画像データとの差分データである
   差分ブロックの画像データの情報圧縮により得られる圧
   縮データを、圧縮差分ブロックの画像データとして生成
   し、 上記圧縮差分ブロックの画像データの情報伸長により、
   上記差分データを現処理フレームにおける伸長差分ブロ
   ックの画像データとして復元し、 上記伸長差分ブロックの画像データと該伸長差分ブロッ
   クに対応する予測ブロックの画像データとの加算によ
   り、再生ブロックの画像データを生成し、 上記再生ブロックのうちの、少なくとも１つ有意な画素
   を含む有効ブロックの画像データのみ、所定タイミング
   で初期化されるフレームメモリに参照画像データとして
   上書きして格納し、 上記フレームメモリに格納された参照画像データから、
   次処理フレームの伸長差分ブロックに対応する予測ブロ
   ックの画像データとして出力することを特徴とする画像
   処理方法。
5. 【請求項５】 任意形状を有する物体を含む画像空間を
   形成する各フレームに対応する画像信号に対して、該画
   像空間を分割するブロック毎に階層符号化処理を施す方
   法であって、 符号化の対象となる対象ブロックの画像データとして、
   第１，第２の異なる解像度を有する第１，第２の対象ブ
   ロックの画像データを生成する前処理、 及び、該第１，第２の各対象ブロックの画像データに対
   する第１，第２の符号化処理を含み、 上記第１の符号化処理では、 現処理フレームにおける第１の対象ブロックの画像デー
   タと、該第１の対象ブロックに対応する第１の予測ブロ
   ックの画像データとの第１の差分データを、第１の差分
   ブロックの画像データとして出力し、 該第１の差分ブロックの画像データの情報圧縮による第
   １の圧縮差分ブロックの画像データの生成、及び該第１
   の圧縮差分ブロックの画像データの符号化による第１の
   画像符号化信号の生成を行うとともに、該第１の圧縮差
   分ブロックの画像データの情報伸長により上記第１の差
   分データを第１の伸長差分ブロックの画像データとして
   復元し、 上記第１の伸長差分ブロックの画像データと上記第１の
   予測ブロックの画像データとの加算により第１の再生ブ
   ロックの画像データを生成し、 該第１の再生ブロックが有意でない画素のみからなる無
   効ブロックであるとき、該第１の再生ブロックの画像デ
   ータを、これを構成する有意でない画素値を所定の補填
   値と置き換えて出力し、一方、上記第１の再生ブロック
   が少なくとも１つ有意な画素を含む有効ブロックである
   とき、該第１の再生ブロックの画像データをそのまま出
   力し、 上記有効ブロック及び補填処理が施された無効ブロック
   の画像データに基づいて、次処理フレームの第１の対象
   ブロックに対応する第１の予測ブロックの画像信号を生
   成するとともに、第１の解像度を第２の解像度に変換す
   る解像度変換処理により上記第１の再生ブロックに対応
   する解像度変換データを生成し、 上記第２の符号化処理では、 上記解像度変換データと、上記現処理フレームにおける
   第２の対象ブロックに対応する第２の予測ブロックの画
   像データとの重付き平均化処理により重付き平均予測デ
   ータを生成し、 上記第２の対象ブロックの画像データと該重付き平均予
   測データとの第２の差分データを、第２の差分ブロック
   の画像データとして出力し、 該第２の差分ブロックの画像データの情報圧縮による第
   ２の圧縮差分ブロックの画像データの生成、及び該第２
   の圧縮差分ブロックの画像データの符号化による第２の
   画像符号化信号の生成を行うとともに、該第２の圧縮差
   分ブロックの画像データの情報伸長により上記第２の差
   分データを第２の伸長差分ブロックの画像データとして
   復元し、 上記第２の伸長差分ブロックの画像データと上記第２の
   予測ブロックの画像データとの加算により第２の再生ブ
   ロックの画像データを生成し、 該第２の再生ブロックが有意でない画素のみからなる無
   効ブロックであるとき、該第２の再生ブロックの画像デ
   ータを、これを構成する有意でない画素値を所定の補填
   値と置き換えて出力し、一方、上記第２の再生ブロック
   が少なくとも１つ有意な画素を含む有効ブロックである
   とき、該第２の再生ブロックの画像データをそのまま出
   力し、 これらの有効ブロック及び補填処理が施された無効ブロ
   ックの画像データに基づいて、上記次処理フレームの第
   ２の対象ブロックに対応する第２の予測ブロックの画像
   データを生成することを特徴とする画像処理方法。
6. 【請求項６】 任意形状を有する物体を含む画像空間を
   形成する各フレームに対応する画像信号を、該画像空間
   を分割するブロック毎に階層符号化して得られる第１，
   第２の異なる解像度を有する第１，第２の画像符号化信
   号に対して、該ブロック毎に階層復号化処理を施す方法
   であって、 上記第１，第２の画像符号化信号に対する第１，第２の
   復号化処理を含み、 上記第１の復号化処理では、 上記第１の画像符号化信号のデータ解析により、符号化
   の対象となる第１の解像度を有する対象ブロックの画像
   データと、該対象ブロックに対応する予測ブロックの画
   像データとの第１の差分データを情報圧縮して得られる
   圧縮データを、第１の圧縮差分ブロックの画像データと
   して生成し、 上記第１の圧縮差分ブロックの画像データの情報伸長に
   より、上記第１の差分データを、現処理フレームにおけ
   る第１の伸長差分ブロックの画像データとして復元し、 上記第１の伸長差分ブロックの画像データと、該第１の
   伸長差分ブロックに対応する予測ブロックの画像データ
   との加算により、第１の再生ブロックの画像データを生
   成し、 該第１の再生ブロックが有意でない画素のみからなる無
   効ブロックであるとき、該第１の再生ブロックの画像デ
   ータを、これを構成する有意でない画素値を所定の補填
   値と置き換えて出力し、一方、上記第１の再生ブロック
   が少なくとも１つ有意な画素を含む有効ブロックである
   とき、該第１の再生ブロックの画像データをそのまま出
   力し、 上記有効ブロック及び補填処理が施された無効ブロック
   の画像データに基づいて、次処理フレームの第１の伸長
   差分ブロックに対する予測ブロックの画像データを生成
   するとともに、第１の解像度を第２の解像度に変換する
   解像度変換処理により上記第１の再生ブロックに対応す
   る解像度変換データを生成し、 上記第２の復号化処理では、 上記第２の画像符号化信号のデータ解析により、符号化
   の対象となる第２の解像度を有する対象ブロックの画像
   データと該対象ブロックに対応する予測ブロックの画像
   データとの第２の差分データを情報圧縮して得られる圧
   縮データを、第２の圧縮差分ブロックの画像データとし
   て生成し、 上記第２の圧縮差分ブロックの画像データの情報伸長に
   より、上記第２の差分データを、上記現処理フレームに
   おける第２の伸長差分ブロックの画像データとして復元
   し、 上記第２の伸長差分ブロックに対応する予測ブロックの
   画像データと上記解像度変換データとの重付き平均化に
   より重付き平均予測データを生成し、 上記第２の伸長差分ブロックの画像データと上記重付き
   平均予測データとの加算により第２の再生ブロックの画
   像データを生成し、 上記第２の再生ブロックが有意でない画素のみからなる
   無効ブロックであるとき、該第２の再生ブロックの画像
   データを、これを構成する有意でない画素値を所定の補
   填値と置き換えて出力し、一方、上記第２の再生ブロッ
   クが少なくとも１つ有意な画素を含む有効ブロックであ
   るとき、第２の再生ブロックの画像データをそのまま出
   力し、 これらの有効ブロック及び補填処理が施された無効ブロ
   ックの画像データに基づいて、上記次処理フレームの第
   ２の伸長差分ブロックに対する予測ブロックの画像デー
   タを生成することを特徴とする画像処理方法。
7. 【請求項７】 任意形状を有する物体を含む画像空間を
   形成する各フレームに対応する画像信号を、該画像空間
   を分割するブロック毎に符号化する装置であって、 現処理フレームにおける符号化処理の対象となる対象ブ
   ロックの画像データと、該対象ブロックに対応する予測
   ブロックの画像データとの差分データを差分ブロックの
   画像データとして出力する減算手段と、 上記差分ブロックの画像データに対して所定の情報圧縮
   処理を施して、圧縮差分ブロックの画像データを出力す
   る情報圧縮器と、 該圧縮差分ブロックの画像データに対して所定の情報伸
   長処理を施して、上記差分データを伸長差分ブロックの
   画像データとして復元する情報伸長器と、 上記伸長差分ブロックの画像データと上記予測ブロック
   の画像データとを加算して、再生ブロックの画像データ
   を生成する加算手段と、 該再生ブロックが有意でない画素のみからなる無効ブロ
   ックであるとき、該再生ブロックの画像データを、これ
   を構成する有意でない画素値を所定の補填値と置き換え
   て出力し、上記再生ブロックが少なくとも１つ有意な画
   素を含む有効ブロックであるとき、該再生ブロックの画
   像データをそのまま出力する補填手段と、 上記補填手段から出力される、有効ブロック及び補填処
   理が施された再生ブロックの画像データを参照画像デー
   タとして格納するフレームメモリと、 該フレームメモリに格納された参照画像データから、次
   処理フレームの対象ブロックに対応する予測ブロックの
   画像データを生成する予測データ生成手段とを備えたこ
   とを特徴とする画像処理装置。
8. 【請求項８】 請求項７記載の画像処理装置において、 上記画像信号を構成する、上記画像空間における各画素
   が有意な画素であるか否かの情報を含む有意信号に基づ
   いて、上記差分ブロックの画像データに対して、該ブロ
   ックに含まれる有意でない画素に対応する画素値を所定
   の補填値と置き換える補填処理を施し、該補填処理を施
   した差分ブロックの画像データを上記情報圧縮器に出力
   する差分ブロック補填手段を備えたことを特徴とする画
   像処理装置。
9. 【請求項９】 請求項７記載の画像処理装置において、 上記画像信号を構成する、上記画像空間における各画素
   が有意な画素であるか否かの情報を含む有意信号に基づ
   いて、上記対象ブロックの画像データに対して、該対象
   ブロックに含まれる有意でない画素に対応する画素値を
   所定の補填値と置き換える補填処理を施し、該補填処理
   を施した対象ブロックの画像データを上記減算手段に出
   力する対象ブロック補填手段を備えたことを特徴とする
   画像処理装置。
10. 【請求項１０】 請求項８または９記載の画像処理装置
    において、 上記有意信号は、上記画像空間に含まれる物体を構成す
    る各画素に対応する、該物体の画像の透明度を示す透過
    度信号であることを特徴とする画像処理装置。
11. 【請求項１１】 請求項７記載の画像処理装置におい
    て、 上記補填手段は、上記画像信号に含まれる、上記再生ブ
    ロックを構成する画素が物体内に位置する有意な画素で
    あるか物体外に位置する有意でない画素であるかを示す
    有意信号に基づいて、上記再生ブロックの画像データを
    構成する画素値を上記所定の補填値と置き換える補填処
    理を行うよう構成されており、 上記有意信号は、上記画像空間に含まれる物体を構成す
    る各画素に対応する、該物体の画像の透明度を示す透過
    度信号であることを特徴とする画像処理装置。
12. 【請求項１２】 任意形状を有する物体を含む画像空間
    を形成する各フレームに対応する画像信号を、該画像空
    間を分割するブロック毎に符号化して得られる画像符号
    化信号を、該ブロック毎に復号化する装置であって、 上記画像符号化信号のデータ解析により、符号化の対象
    となる対象ブロックの画像データと該対象ブロックに対
    応する予測ブロックの画像データとの差分データに情報
    圧縮処理を施して得られる圧縮データを、圧縮差分ブロ
    ックの画像データとして生成するデータ解析器と、 上記圧縮差分ブロックの画像データに情報伸長処理を施
    して、上記差分データを、現処理フレームにおける伸長
    差分ブロックの画像データとして復元する情報伸長器
    と、 上記伸長差分ブロックの画像データと、上記予測ブロッ
    クの画像データとを加算して、再生ブロックの画像デー
    タを生成する加算手段と、 上記再生ブロックが有意でない画素のみからなる無効ブ
    ロックであるとき、該再生ブロックの画像データを、こ
    れを構成する有意でない画素値を所定の補填値と置き換
    えて出力し、一方、上記再生ブロックが少なくとも１つ
    有意な画素を含む有効ブロックであるとき、該再生ブロ
    ックの画像データをそのまま出力する補填手段と、 該有効ブロック及び補填処理が施された再生ブロックの
    画像データを参照画像データとして格納するフレームメ
    モリと、 該フレームメモリに格納された参照画像データから、次
    処理フレームの伸長差分ブロックに対応する予測ブロッ
    クの画像データを生成する予測データ生成手段とを備え
    たことを特徴とする画像処理装置。
13. 【請求項１３】 請求項１２記載の画像処理装置におい
    て、 上記補填手段は、上記画像符号化信号に含まれる、上記
    再生ブロックを構成する画素が物体内に位置する有意な
    画素であるか物体外に位置する有意でない画素であるか
    を示す有意画素情報に基づいて、上記再生ブロックの画
    像データを構成する画素値を上記所定の補填値と置き換
    える補填処理を行うよう構成されており、 上記有意画素情報は、上記画像空間に含まれる物体を構
    成する各画素に対応する、該物体の画像の透明度を示す
    透過度信号を符号化して得られる透過度符号化信号に含
    まれるものであることを特徴とする画像処理装置。
14. 【請求項１４】 任意形状を有する物体を含む画像空間
    を形成する各フレームに対応する画像信号を、該画像空
    間を分割するブロック毎に符号化する装置であって、 現処理フレームにおける符号化処理の対象となる対象ブ
    ロックの画像データと、該対象ブロックに対応する予測
    ブロックの画像データとの差分データを差分ブロックの
    画像データとして出力する減算手段と、 上記差分ブロックの画像データに対して情報圧縮処理を
    施して、圧縮差分ブロックの画像データを出力する情報
    圧縮器と、 該圧縮差分ブロックの画像データに対して情報伸長処理
    を施して、上記差分データを伸長差分ブロックの画像デ
    ータとして復元する情報伸長器と、 上記伸長差分ブロックの画像データと上記予測ブロック
    の画像データとを加算して、再生ブロックの画像データ
    を生成する加算手段と、 上記再生ブロックの画像データを参照画像データとして
    格納するフレームメモリと、 上記フレームメモリを所定のタイミングで初期化する初
    期化手段と、 上記加算手段とフレームメモリの間に設けられ、該加算
    手段からフレームメモリへの再生ブロックの画像データ
    の供給を制御するデータ供給制御手段と、 該フレームメモリに格納された参照画像データから、次
    処理フレームの対象ブロックに対応する予測ブロックの
    画像データを生成する予測データ生成手段とを備え、 上記データ供給制御手段は、再生ブロックを構成する画
    素が物体内に位置する有意な画素であるか物体外に位置
    する有意でない画素であるかを示す、上記画像信号を構
    成する有意画素情報に基づいて、上記再生ブロックが少
    なくとも１つ有意な画素を含む有効ブロックであるとき
    のみ、上記再生ブロックの画像データを、上記初期化さ
    れたフレームメモリに上書きされるよう出力する構成と
    なっていることを特徴とする画像処理装置。
15. 【請求項１５】 任意形状を有する物体を含む画像空間
    を形成する各フレームに対応する画像信号を、該画像空
    間を分割するブロック毎に符号化して得られる画像符号
    化信号を、該ブロック毎に復号化する装置であって、 上記画像符号化信号のデータ解析により、符号化の対象
    となる対象ブロックの画像データと該対象ブロックに対
    応する予測ブロックの画像データとの差分データに情報
    圧縮処理を施して得られる圧縮データを、圧縮差分ブロ
    ックの画像データとして生成するデータ解析器と、 上記圧縮差分ブロックの画像データに情報伸長処理を施
    して、上記差分データを、現処理フレームにおける伸長
    差分ブロックの画像データとして復元する情報伸長器
    と、 上記伸長差分ブロックの画像データと、上記予測ブロッ
    クの画像データとを加算して、再生ブロックの画像デー
    タを生成する加算手段と、 上記再生ブロックの画像データを参照画像データとして
    格納するフレームメモリと、 上記フレームメモリを所定のタイミングで初期化する初
    期化手段と、 上記加算手段とフレームメモリの間に設けられ、該加算
    手段からフレームメモリへの再生ブロックの画像データ
    の供給を制御するデータ供給制御手段と、 該フレームメモリに格納された参照画像データから、次
    処理フレームの対象ブロックに対応する予測ブロックの
    画像データを生成する予測データ生成手段とを備え、 上記データ供給制御手段は、再生ブロックを構成する画
    素が物体内に位置する有意な画素であるか物体外に位置
    する有意でない画素であるかを示す、上記画像符号化信
    号に含まれる有意画素情報に基づいて、上記再生ブロッ
    クが少なくとも１つ有意な画素を含む有効ブロックであ
    るときのみ、上記再生ブロックの画像データを、上記初
    期化されたフレームメモリに上書きされるよう出力する
    構成となっていることを特徴とする画像処理装置。
16. 【請求項１６】 任意形状を有する物体を含む画像空間
    を形成する各フレームに対応する画像信号に対して、該
    画像空間を分割するブロック毎に階層符号化処理を施す
    画像符号化装置であって、 符号化処理の対象となる対象ブロックの画像データとし
    て、第１，第２の異なる解像度を有する第１，第２の対
    象ブロックの画像データを生成するデータ前処理器と、 該第１，第２の対象ブロックの画像データに情報圧縮処
    理及び符号化処理を施す第１，第２の符号化部とを備
    え、 上記第１の符号化部は、 現処理フレームにおける第１の対象ブロックの画像デー
    タと、該対象ブロックに対応する第１の予測ブロックの
    画像データとの第１の差分データを、第１の差分ブロッ
    クの画像データとして出力する第１の減算手段と、 上記第１の差分ブロックの画像データに対して情報圧縮
    処理を施して、第１の圧縮差分ブロックの画像データを
    出力する第１の情報圧縮器と、 該第１の圧縮差分ブロックの画像データに対して情報伸
    長処理を施して、上記第１の差分データを第１の伸長差
    分ブロックの画像データとして復元する第１の情報伸長
    器と、 上記第１の伸長差分ブロックの画像データと上記第１の
    予測ブロックの画像データとを加算して、第１の再生ブ
    ロックの画像データを生成する第１の加算手段と、 該第１の再生ブロックが有意でない画素のみからなる無
    効ブロックであるとき、該第１の再生ブロックの画像デ
    ータを、これを構成する有意でない画素値を所定の補填
    値と置き換えて出力し、一方、上記第１の再生ブロック
    が少なくとも１つ有意な画素を含む有効ブロックである
    とき、該第１の再生ブロックの画像データをそのまま出
    力する第１の補填手段と、 上記第１の補填手段から出力される、有効ブロック及び
    補填処理が施された無効ブロックの画像データを参照画
    像データとして格納する第１のフレームメモリと、 該第１のフレームメモリに格納された参照画像データか
    ら、次処理フレームの第１の対象ブロックに対応する第
    １の予測ブロックの画像データを生成する第１の予測デ
    ータ生成手段と、 上記第１のフレームメモリの出力あるいは第１の補填手
    段の出力である画像データに対して、その解像度が第２
    の解像度と等しくなるよう解像度変換処理を施して、解
    像度変換画像データを生成する解像度変換手段とを有
    し、 上記第２の符号化部は、 上記解像度変換画像データと、上記現処理フレームにお
    ける第２の対象ブロックに対応する第２の予測ブロック
    の画像データとの重付け平均化により重付け平均予測デ
    ータを生成する重付け平均化手段と、 上記第２の対象ブロックの画像データと上記重付け平均
    予測データとの第２の差分データを第２の差分ブロック
    の画像データとして出力する第２の減算手段と、 上記第２の差分ブロックの画像データに対して情報圧縮
    処理を施して、第２の圧縮差分ブロックの画像データを
    出力する第２の情報圧縮器と、 該第２の圧縮差分ブロックの画像データに対して情報伸
    長処理を施して、上記第２の差分データを第２の伸長差
    分ブロックの画像データとして復元する第２の情報伸長
    器と、 上記第２の伸長差分ブロックの画像データと上記第２の
    予測ブロックの画像データとを加算して、第２の再生ブ
    ロックの画像データを生成する第２の加算手段と、 該第２の再生ブロックが有意でない画素のみからなる無
    効ブロックであるとき、該第２の再生ブロックの画像デ
    ータを、これを構成する有意でない画素値を所定の補填
    値と置き換えて出力し、一方、上記第２の再生ブロック
    が少なくとも１つ有意な画素を含む有効ブロックである
    とき、該第２の再生ブロックの画像データをそのまま出
    力する第２の補填手段と、 上記第２の補填手段から出力される、有効ブロック及び
    補填処理が施された無効ブロックの画像データを参照画
    像データとして格納する第２のフレームメモリと、 該第２のフレームメモリに格納された参照画像データか
    ら、上記次処理フレームの第２の対象ブロックに対応す
    る第２の予測ブロックの画像データを生成する第２の予
    測データ生成手段とを有していることを特徴とする画像
    処理装置。
17. 【請求項１７】 任意形状を有する物体を含む画像空間
    を形成する各フレームに対応する画像信号を、該画像空
    間を分割するブロック毎に階層符号化処理を施して得ら
    れる、第１，第２の異なる解像度を有する第１，第２の
    画像符号化信号に対して、該ブロック毎に階層復号化処
    理を施す装置であって、 上記第１，第２の画像符号化信号に対する復号化処理を
    行う第１，第２の復号化部を備え、 上記第１の復号化部は、 上記第１の画像符号化信号のデータ解析により、符号化
    の対象となる第１の解像度を有する対象ブロックの画像
    データと該対象ブロックに対応する予測ブロックの画像
    データとの第１の差分データに情報圧縮処理を施して得
    られる圧縮データを、第１の圧縮差分ブロックの画像デ
    ータとして生成する第１のデータ解析器と、 上記第１の圧縮差分ブロックの画像データに情報伸長処
    理を施して、上記第１の差分データを、現処理フレーム
    における第１の伸長差分ブロックの画像データとして復
    元する第１の情報伸長器と、 上記第１の伸長差分ブロックの画像データと、該第１の
    伸長差分ブロックに対応する予測ブロックの画像データ
    とを加算して、第１の再生ブロックの画像データを生成
    する第１の加算手段と、 上記第１の再生ブロックが有意でない画素のみからなる
    無効ブロックであるとき、該第１の再生ブロックの画像
    データを、これを構成する有意でない画素値を所定の補
    填値と置き換えて出力し、一方、上記第１の再生ブロッ
    クが少なくとも１つ有意な画素を含む有効ブロックであ
    るとき、該第１の再生ブロックの画像データをそのまま
    出力する第１の補填手段と、 該有効ブロック及び補填処理が施された無効ブロックの
    画像データを参照画像データとして格納する第１のフレ
    ームメモリと、 該第１のフレームメモリに格納された参照画像データか
    ら、次処理フレームの第１の伸長差分ブロックに対応す
    る第１の予測ブロックの画像データを生成する第１の予
    測データ生成手段と、 上記第１のフレームメモリの出力あるいは上記第１の補
    填手段の出力である画像データに対して、その解像度が
    第２の解像度と等しくなるよう解像度変換処理を施し
    て、解像度変換データを生成する解像度変換手段とを有
    し、 上記第２の復号化部は、 上記第２の画像符号化信号のデータ解析により、符号化
    の対象となる第２の解像度を有する対象ブロックの画像
    データと該対象ブロックに対応する予測ブロックの画像
    データとの第２の差分データに情報圧縮処理を施して得
    られる圧縮データを、第２の圧縮差分ブロックの画像デ
    ータとして生成する第２のデータ解析器と、 上記第２の圧縮差分ブロックの画像データに情報伸長処
    理を施して、上記第２の差分データを、上記現処理フレ
    ームにおける第２の伸長差分ブロックの画像データとし
    て復元する第２の情報伸長器と、 上記第２の伸長差分ブロックに対応する第２の予測ブロ
    ックの画像データと上記解像度変換手段からの解像度変
    換データとの重付き平均化により重付き平均予測データ
    を生成する重付き平均化手段と、 上記第２の伸長差分ブロックの画像データと、上記重付
    き平均予測データとを加算して、第２の再生ブロックの
    画像データを生成する第２の加算手段と、 上記第２の再生ブロックが有意でない画素のみからなる
    無効ブロックであるとき、該第２の再生ブロックの画像
    データを、これを構成する有意でない画素値を所定の補
    填値と置き換えて出力し、一方、上記第２の再生ブロッ
    クが少なくとも１つ有意な画素を含む有効ブロックであ
    るとき、該第２の再生ブロックの画像データをそのまま
    出力する第２の補填手段と、 該有効ブロック及び補填処理が施された無効ブロックの
    画像データを参照画像データとして格納する第２のフレ
    ームメモリと、 該第２のフレームメモリに格納された参照画像データか
    ら、上記次処理フレームにの第２の伸長差分ブロックに
    対応する予測ブロックの画像データを生成する第２の予
    測データ生成手段とを有していることを特徴とする画像
    処理装置。
18. 【請求項１８】 任意形状を有する物体に対応する画像
    信号の処理を、コンピュータに行わせるためのプログラ
    ムを格納したデータ記憶媒体であって、 上記プログラムは、コンピュータに、請求項１ないし６
    のいずれかに記載の画像処理方法による画像符号化処理
    あるいは画像復号化処理を行わせるよう構成されている
    ことを特徴とするデータ記憶媒体。