JP3144806B2 - デジタル画像復号化装置 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は、デジタル画像復号化装置に関し、特に、任
意形状を有する物体の画像に対する時空間階層符号化処
理に対応する時空間階層復号化処理に関するものであ
る。

背景技術 デジタル画像情報を効率よく蓄積もしくは伝送するに
は、デジタル画像情報を圧縮符号化する必要があり、現
状では、デジタル画像情報を圧縮符号化するための方法
として、JPEG（Joint Photographic Coding Experts Gr
oup）やMPEG（Moving Picture Experts Group）に代表
される離散コサイン変換（DCT）の他に、サブバンド、
ウェアブレッド、フラクタル等の波形符号化方法があ
る。

また、隣接するフレーム等の画面の間における冗長な
画像情報を取り除く方法としては、動き補償を用いた画
面間予測を行い、つまり現画面の画素の画素値を、これ
と前画面の画素の画素値との差分を用いて表し、この差
分信号を波形符号化する方法がある。

最近では、圧縮効率を向上させると同時に、１画面を
構成する、個々の物体に対応した領域（以下、画像空間
という。）毎に画像信号を再生できるよう、画像信号を
物体毎に別々に圧縮符号化して伝送する方式が実用化さ
れている。この方式では、再生側で、それぞれの物体に
対応する、符号化された画像信号を復号化し、この復号
化により再生した個々の物体の画像を合成して、１画面
に相当する画像の表示を行っている。このように物体単
位で画像信号を符号化することにより、表示すべき物体
の画像を自由に組み合わせて合成することが可能とな
り、これにより動画像を簡単に再編集できるようにな
る。また、この方式では、通信路の混み具合や再生装置
の性能、さらに視聴者の好みに応じて、比較的に重要で
ない物体の画像については再生を行わずに、動画像の表
示を行うことができる。

具体的には、任意の形状を有する物体の画像（以下、
物体画像と略記する。）を含む画像空間を形成するため
の画像信号を符号化する方法としては、従来から、その
形状に適した変換方法（たとえば形状適応離散コサイン
変換）を用いる符号化方法や、画像空間の無効領域（つ
まり物体画像の外側領域）を構成する画素の画素値を所
定の方法により補填した後、該画像空間に対応する複数
の画素値からなる画像信号を、該画像空間を区分する単
位領域（８×８画素からなるブロック）毎にコサイン変
換するといった符号化方法がある。

また、フレーム等の画面の間での冗長な信号を取り除
く具体的な方法としては、16×16画素からなるマクロブ
ロックを単位領域として、符号化処理の対象となる対象
マクロブロックに対応する画像信号と、その予測信号と
の差分をとる方法がある。ここで、上記予測信号は、動
き補償により得られる予測領域に対応する画像信号であ
る。なお、動き補償は、既に符号化処理あるいは復号化
処理が施された画面内における、対象マクロブロックの
画像信号との差分が最も小さくなる画像信号を与える16
×16画素からなる領域を予測領域として検出する処理で
ある。

ところが、この予測領域も、これが画像空間における
物体画像の境界に位置するものである場合には、有意で
ない（定義されていない）サンプル値（画素値）を有す
る画素を含むこととなる。そこで、このような予測領域
については、これに対応する画像信号に対して、その有
意でないサンプル値を有意な擬似的なサンプル値で置換
する補填処理を施した後、補填処理を施した予測信号と
対象マクロブロックの画像信号との差分を予測誤差信号
（差分信号）として求め、該差分信号に対する符号化の
ための変換処理を施すようにしている。ここで、予測領
域に対する補填処理を行うのは、差分信号を抑圧するた
め、言い換えると、差分信号を符号化する際の符号量を
削減するためである。

また、各物体に対応する画像信号，つまり物体画像を
含む画像空間を形成するための画像信号として、解像度
が異なる複数の階層に対応した画像信号を用い、各階層
の画像信号を符号化し復号化する、スケーラビリティと
呼ばれる階層的な処理方法がある。

このような階層的な処理方法では、伝送されるデータ
（符号化ビットストリーム）から取り出した一部のビッ
ト列を復号化することにより、解像度の低い物体画像を
再生でき、また、すべてのデータを復号化することによ
り、解像度の高い物体画像を再生することができる。

ところで、上記階層的な符号化（スケーラビリティ符
号化）処理では、解像度の高い画像に対応する画像信号
（高解像度画像信号）を、解像度の低い画像に対応する
画像信号（低解像度画像信号）に基づいて符号化してい
る。つまり、符号化処理の対象となる対象ブロックに対
応する高解像度画像信号を、これに対応する低解像度画
像信号を用いて予測して予測画像信号を生成し、該対象
ブロックの高解像度画像信号から該予測画像信号を引き
算して得られる差分信号を符号化するようにしている。

また、画像信号を物体単位で符号化する場合、画像信
号として、物体の任意の形状を示す形状信号も、物体画
像を階調カラー表示するための、輝度信号及び色差信号
を含むテキスチャー信号とともに符号化するため、各物
体に対応する画像信号に対してスケーラビリティ符号化
を行う際には、上記テキスチャー信号だけでなく、上記
形状信号も、高解像度信号と低解像度信号とに分けて階
層的に符号化する必要がある。

このような物体単位のスケーラビリティ符号化におい
ては、低解像度テキスチャー信号から効率よく高解像度
テキスチャー信号を予測することが要求される。特に物
体の境界に位置するマクロブロックに対応する低解像度
テキスチャー信号には、有意でない（定義されていな
い）サンプル値（画素値）が含まれるため、この低解像
度テキスチャー信号をそのまま用いて予測信号を生成
し、該予測信号を、符号化処理の対象となる対象マクロ
ブロックを高解像度テキスチャー信号から引き算する
と、差分信号における、物体の境界部に位置する画素に
対応する差分画素値は大きな値となり、効率よく高解像
度テキスチャー信号を符号化することができない。

また、形状信号を、解像度が異なる複数の階層，具体
的には高解像度階層と低解像度階層に対応するよう分け
るため、低解像度形状信号から得られる物体形状と高解
像度形状信号から得られる物体形状との間で、物体の内
部か外部を示す境界（物体の輪郭）のずれが生じてしま
う。これは、高解像度形状信号から低解像度形状信号を
生成する時に、ダウンサンプル処理により低解像度形状
信号による物体画像の形状が、高解像度形状信号による
物体画像の形状に対して変形することとなり、また、高
解像度形状信号及び低解像度形状信号に対する圧縮処理
によっても、該両形状信号による物体形状が変形するか
らである。

この場合、高解像度テキスチャー信号により形成され
る画像空間における特定のマクロブロック領域が物体画
像の内部に含まれているにも拘わらず、低解像度テキス
チャー信号により形成される画像空間では、該特定のマ
クロブロック領域が完全に物体画像の外部に位置すると
いった状況が生じる。このような状況では、低解像度テ
キスチャー信号に基づく、高解像度テキスチャー信号の
予測信号を用いても、高解像度テキスチャー信号とその
予測信号との差分信号を効率よく抑圧することができな
い。

本発明は、上記のような問題点を解決するためになさ
れたもので、任意形状を有する物体画像を含む画像空間
を形成するための画像信号に基づいて、解像度の異なる
複数の階層に対応する画像信号を生成し、高解像度画像
信号を低解像度画像信号を用いて単位領域毎に差分符号
化する際、物体の境界部に位置する単位領域の画像信号
を符号化効率よく圧縮することができるデジタル画像符
号化処理に対応するデジタル画像復号化処理を実現する
ことができ、これにより、物体画像を含む画像空間を形
成するための画像信号を符号化効率よく圧縮可能な階層
符号化処理により得られた画像符号化信号を、対応する
階層復号化処理により正しく再生することができるデジ
タル画像復号化装置を得ることを目的とする。

発明の開示 この発明に係るデジタル画像復号化装置は、任意形状
を有する画像を含む複数の画素からなる第１の画像信号
に対して、符号化処理を施して得られる第１の符号化画
像信号を復号化して第１の再生画像信号を生成する第１
の複号化処理部と、上記任意形状を有する画像を含む複
数の画素からなる、時間解像度が上記第１の画像信号と
は異なる第２の画像信号に対して、符号化処理を施して
得られる第２の符号化画像信号を復号化して第２の再生
画像信号を生成する第２の復号化処理部とを備え、上記
第１の復号化処理部を、上記第１の符号化画像信号から
第１の再生画像信号を生成する復号化処理を、上記画像
を区分する単位領域毎に行う第１の復号化手段と、上記
各単位領域に対応する第１の再生画像信号に対して、そ
の有意でない画素値を所定の方法により得られた擬似画
素値と置き換える補填処理を施す補填手段とを有する構
成とし、上記第２の復号化処理部を、上記補填処理が施
された第１の再生画像信号から、上記各単位領域に対応
する第２の再生画像信号を予測して再生予測信号を生成
する予測信号生成手段と、上記各単位領域に対応する第
２の符号化画像信号を復号化して、上記第２の画像信号
とその予測信号との差分信号を再生し、該差分信号に上
記再生予測信号を加算して第２の再生画像信号を生成す
る差分復号化処理を、上記単位領域毎に行う第２の復号
化手段とを有する構成とし、上記予測信号生成手段を、
上記第２の再生画像信号に基づいて各単位領域に対応す
る第２の再生画像信号を予測して補助予測信号を生成す
る予測手段と、該補助予測信号と上記補填手段により補
填処理が施された第１の再生画像信号とを、上記第２の
符号化画像信号に含まれる制御情報に基づいて切り替え
て出力するスイッチ手段とを有し、該スイッチ手段の出
力を上記各単位領域に対応する第２の再生画像信号の予
測信号として出力する構成としたものである。

このような構成の画像復号化装置によれば、補填処理
が施された第１の再生画像信号に基づいて第２の再生画
像信号の再生予測信号が生成されることとなるので、第
１の画像信号に基づいて第２の画像信号を階層符号化し
て得られる第２の符号化画像信号を、第１の再生画像信
号を用いて正しく階層復号化することができる効果があ
る。

また、復号化処理の対象となる対象単位領域に対応す
る第２の符号化画像信号の復号化処理では、その予測信
号として、上記対象単位領域に対応する第１の再生画像
信号に基づいて生成される信号を用いるので、第２の符
号化画像信号の復号化処理は第１の符号化画像信号の復
号化処理と比べて、上記単位領域を処理するための時間
だけしか遅延しない。このため、画像信号の階層符号化
処理により得られる第1,第２の符号化画像信号に基づい
て、高解像度画像と低解像度画像とをほとんど時間のず
れなく再生することができる効果がある。

さらに、第２の再生画像信号から選られる補助予測信
号と、補填処理が施された第１の再生画像信号との一方
を、上記第２の符号化画像信号に含まれる制御情報に基
づいて選択し、該選択した信号を各単位領域に対応する
第２の再生画像信号の再生予測信号として出力するの
で、簡単な構成により再生予測信号を適応的に切り替え
ることができ、符号化効率をより高めた階層符号化処理
に対応する階層復号化処理を簡単に実現できる効果があ
る。

図面の簡単な説明 第１図は、本発明の実施の形態１によるデジタル画像
符号化装置の全体構成を説明するためのブロック図であ
る。

第２図は、上記実施の形態１のデジタル画像符号化装
置を構成するテキスチャー符号化部の詳細な構成を示す
ブロック図である。

第３図は、上記実施の形態１のデジタル画像符号化装
置を構成する前処理器の具体的な構成を示すブロック図
である。

第４（ａ）図は、上記実施の形態１のテキスチャー符
号化部における符号化器の具体的構成を、第４（ｂ）図
は該テキスチャー符号化部における局所復号化器の具体
的構成を示すブロック図である。

第５図は、上記実施の形態１のデジタル画像符号化装
置による、低解像度テキスチャー信号に基づいて高解像
度テキスチャー信号を予測する処理を説明するための模
式図であり、第５（ａ）図、第５（ｂ）図はそれぞれ高
解像度画像空間、低解像度画像空間を示している。

第６図は、上記実施の形態１のデジタル画像符号化装
置による画像補填処理を説明するための模式図である。

第７図は、上記実施の形態１のデジタル画像符号化装
置を構成するテキスチャー変換器の構成を示す図であ
る。

第８図は、上記実施の形態１のデジタル画像符号化装
置による補填処理及び補間処理をフローチャートにより
示す図である。

第９（ａ）図及び第９（ｂ）図は、上記実施の形態１
のデジタル画像符号化装置による画像補填処理を説明す
るための模式図である。

第10図は、本発明の実施の形態２によるデジタル画像
復号化装置の全体構成を示すブロック図である。

第11図は、上記実施の形態２のデジタル画像復号化装
置を構成するテキスチャー復号化部の詳細な構成を示す
ブロック図である。

第12（ａ）図，第12（ｂ）図，第12（ｃ）図は、上記
各実施の形態のデジタル画像符号化装置あるいはデジタ
ル画像復号化装置をコンピュータシステムにより実現す
るためのプログラムを格納したデータ記憶媒体を説明す
るための図である。

発明を実施するための最良の形態 以下、本発明の実施の形態について、第１図から第12
図を用いて説明する。

実施の形態1. 第１図は本発明の実施の形態１によるデジタル画像符
号化装置1000を説明するためのブロック図である。

このデジタル画像符号化装置1000は、画像信号のスケ
ーラビリティ符号化を物体単位で行うものであり、上記
画像信号を構成する、物体をカラー表示するためのテキ
スチャー信号に対するスケーラビリティ符号化処理を行
うテキスチャー符号化部1100と、上記画像信号を構成す
る、物体の形状を示す形状信号に対するスケーラビリテ
ィ符号化処理を行う形状符号化部1200とを有している。

上記テキスチャー符号化部1100は、テキスチャー信号
を受け、解像度が高い階層に対応するテキスチャー信号
（以下、高解像度テキスチャー信号という。）と、解像
度が低い階層に対応するテキスチャー信号（以下、低解
像度テキスチャー信号という。）とを生成するテキスチ
ャー前処理器1100cと、高解像度テキスチャー信号を、
符号化処理の単位となるブロックに対応するよう分割す
るブロック化器1120aと、低解像度テキスチャー信号
を、符号化処理の単位となるブロックに対応するよう分
割するブロック化器1120bとを有している。

上記前処理器1100cは、第３（ａ）図に示すように、
その入力端子203に受けた上記テキスチャー信号Stに対
するフィルタ処理を行うローパスフィルタ（LPF）201
と、該フィルタ201の出力をダウンサンプルにより間引
く間引き器202とを有し、上記テキスチャー信号Stをそ
のまま第１の出力端子216に高解像度テキスチャー信号S
thとして出力し、かつ上記間引き器202により間引かれ
たテキスチャー信号を低解像度テキスチャー信号Stdと
して第２の出力端子204に出力する構成となっている。

また、上記テキスチャー符号化部1100は、上記低解像
度テキスチャー信号に対して、所定の物体の表示領域
（つまり任意形状を有する物体の画像を含む画像空間）
を区分する単位処理領域（ブロック）毎に差分符号化処
理を施して低解像度テキスチャー差分符号化信号（以
下、LT差分符号化信号という。）Etdを出力する符号化
器1100bと、該低解像度テキスチャー信号Stdの差分符号
化処理に用いる再生信号を、高解像度テキスチャー信号
Sthの差分符号化処理に利用できるよう、その解像度の
変換を行うテキスチャー変換器1125と、該テキスチャー
変換器1125の出力に基づいて、上記高解像度テキスチャ
ー信号Sthに対して上記単位処理領域（ブロック）毎に
差分符号化処理を施して高解像度テキスチャー差分符号
化信号（以下、HT差分符号化信号という。）Ethを出力
する符号化器1100aとを有している。

上記形状符号化部1200は、上記形状信号Skを受け、解
像度が高い階層に対応する形状信号（以下、高解像度形
状信号という。）Skhと、解像度が低い階層に対応する
形状信号（以下、低解像度形状信号という。）Skdとを
生成する形状前処理器1200cを有している。この形状前
処理器1200cも上記テキスチャー前処理器1100cと全く同
様な構成となっている。また、上記形状符号化部1200
は、上記低解像度形状信号Skdに対して、所定の物体の
表示領域（任意形状を有する物体の画像を含む画像空
間）を区分する単位処理領域（ブロック）毎に差分符号
化処理を施して低解像度形状差分符号化信号（以下、LS
差分符号化信号という。）Ekdを出力する符号化器1200b
と、該低解像度形状信号Skdの差分符号化処理に用いる
再生信号を、高解像度形状信号Skhの差分符号化処理に
利用できるよう、その解像度の変換を行う形状変換器12
25と、該形状変換器1225の出力に基づいて、上記高解像
度形状信号Skhに対して上記単位処理領域（ブロック）
毎に差分符号化処理を施して高解像度形状差分符号化信
号（以下、HS差分符号化信号）Ekhを出力する符号化器1
200aとを有している。

なお、図示していないが、上記各符号化器はそれぞ
れ、入力されるテキスチャー信号あるいは形状信号に基
づいて各処理単位領域（ブロック）毎に行われる符号化
処理のモードを判定するモード判定器を有する構成とな
っている。

次に、第２図を用いて、上記テキスチャー符号化部11
00における各符号化器1100a及び1100bの詳細な構成につ
いて説明する。

上記低解像度テキスチャー符号化器1100bは、符号化
処理の対象となる対象ブロックの低解像度テキスチャー
信号と、その予測信号との差分信号を生成する第１の加
算器132と、該加算器132の出力である差分信号を圧縮す
る第１の情報圧縮器（ENC）133と、該情報圧縮器133の
出力を可変長符号化する第１の可変長符号化器（VLC）1
34と、上記予測信号を生成する予測信号生成部1110bと
から構成されている。

ここで、上記第１の情報圧縮器133は、第４（ａ）図
に示すように、対象ブロックの低解像度テキスチャー信
号とその予測信号との差分信号304に対して、周波数変
換処理の一種であるDCT（離散コサイン変換）処理を施
すDCT変換器302と、該周波数変換により得られる差分信
号の周波数成分305を量子化して量子化信号306を出力す
る量子化器303とから構成されている。

上記予測信号生成部1110bは、上記第１の情報圧縮器1
33の出力（差分圧縮信号）を伸長して上記差分信号を生
成する第１の情報伸長器（DEC）136と、上記予想信号と
該情報伸長器136からの再生差分信号とを加算して低解
像度テキスチャー信号を再生する第２の加算器137とを
有している。

ここで、上記第１の情報伸長器136は、第４（ｂ）図
に示すように、上記圧縮差分信号310を逆量子化する逆
量子化器308と、逆量子化された圧縮差分信号311に対
し、周波数領域のデータから空間領域のデータに変換す
るIDCT処理を施して伸長差分信号312を出力するIDCT器3
09とから構成されている。

また、上記予測信号生成部1110bは、該加算器137の出
力を受け、再生低解像度テキスチャー信号における有意
でないサンプル値（画素値）を、上記低解像度形状符号
化器1200bにて再生された低解像度形状信号に基づいて
補填する第１の補填器138と、該補填器138の出力であ
る、補填された再生低解像度テキスチャー信号を格納す
る第１のフレームメモリ139とを有しており、この補填
器138の出力は、上記テキスチャー変換器1125にも出力
されるようになっている。

さらに、上記予測信号生成部1110bは、該第１のフレ
ームメモリ139の出力と、入力される低解像度テキスチ
ャー信号Stdとに基づいて、対象ブロックの低解像度テ
キスチャー信号との誤差が最も小さい予測信号を与え
る、該対象ブロックと同一サイズの予測領域を示す動き
変位情報（動きベクトル）を求めて出力する第１の動き
検出器（ME）141と、該動き検出器141からの動きベクト
ルに基づいてフレームメモリ139のアドレスAdd1を発生
し、上記フレームメモリ139から予測領域に対応する再
生低解像度テキスチャー信号を予測信号として読み出
し、上記第1,第２の加算器132,137に出力する第１の動
き補償器（MC）140とを有している。

一方、上記高解像度テキスチャー符号化器1100aも上
記低解像度テキスチャー符号化器1100bとほぼ同様な構
成となっている。

すなわち、上記高解像度テキスチャー符号化器1100a
は、符号化処理の対象となる対象ブロックの高解像度テ
キスチャー信号と、その予測信号との差分信号を生成す
る第３の加算器102と、該加算器102の出力である差分信
号を圧縮する第２の情報圧縮器（ENC）103と、該情報圧
縮器103の出力を可変長符号化する第２の可変長符号化
器（VLC）104と、上記予測信号を生成する予測信号生成
部1110aとから構成されている。

ここで、上記第２の情報圧縮器103は、上記第１の情
報圧縮器133と同様、対象ブロックの高解像度テキスチ
ャー信号とのその予測信号との差分信号に対して、周波
数変換処理の一種であるDCT（離散コサイン変換）処理
を施すDCT変換器302と、該周波数変換により得られる差
分信号の周波数成分を量子化する量子化器303とから構
成されている（第４（ａ）図参照）。

上記予測信号生成部1110aは、上記第２の情報圧縮器1
03の出力（差分圧縮信号）を伸長して上記差分信号を再
生する第２の情報伸長器（DEC）106と、上記予測信号と
該情報伸長器106からの再生差分信号とを加算して高解
像度テキスチャー信号を再生する第４の加算器107とを
有している。

また、上記予測信号生成部1110aは、該加算器107の出
力を受け、再生高解像度テキスチャー信号における有意
でないサンプル値（画素値）を、上記高解像度形状符号
化器1200aにて再生された高解像度形状信号に基づいて
補填する第２の補填器108と、該補填器108の出力であ
る、補填された再生高解像度テキスチャー信号を格納す
る第２のフレームメモリ109とを有している。

さらに、上記予測信号生成部1110aは、該第２のフレ
ームメモリ109の出力と、入力される高解像度テキスチ
ャー信号とに基づいて、対象ブロックの高解像度テキス
チャー信号との誤差が最も小さい予測信号を与える、対
象ブロックと同一サイズの予測領域を示す動き変位情報
（動きベクトル）を求めて出力する第２の動き検出器
（ME）111と、該動き検出器111からの動きベクトルに基
づいて上記フレームメモリ109のアドレスAdd2を発生
し、上記フレームメモリ109から予測領域に対応する再
生高解像度テキスチャー信号を予測信号として読み出す
第２の動き補償器（MC）110と、該第２の動き補償器（M
C）110の出力と上記テキスチャー変換器1125の出力とを
平均化して上記第３の加算器102に出力する平均化器（A
VE）124とを有している。

ここでは、この平均化器124は、上記モード判定器
（図示せず）の出力に基づいて、該第２の動き補償器
（MC）110の出力と上記テキスチャー変換器1125の出力
とを一定比率の重み付けをして平均化する構成となって
いる。

なお、重み付け平均処理を行う平均化器124に代え
て、上記モード判定器の出力に基づいて第２の動き補償
器（MC）110の出力と上記テキスチャー変換器1125の出
力との一方を選択し、選択した出力を高解像度テキスチ
ャー信号の予測信号として上記第３の加算器102に出力
するようにしてもよい。

次に、上記低解像度形状符号化器1200b及び高解像度
形状符号化器1200aの具体的な構成について説明する。
ただしこれらの符号化器は、基本的に上記低解像度テキ
スチャー符号化器1100b及び高解像度テキスチャー符号
化器1100aの構成と同一であるので、図面を用いた詳細
な説明は省略し、各テキスチャー符号化器と各形状符号
化器の構成上の相違点のみを簡単に説明する。

つまり、上記低解像度形状符号化器1200bは、上記低
解像度テキスチャー符号化器1100bにおける補填器138を
有しておらず、その加算器137の出力を直接第１のフレ
ームメモリ139に入力する構成となっている点でのみ上
記低解像度テキスチャー符号化器1100bと異なってい
る。また、上記高解像度形状符号化器1200aは、上記高
解像度テキスチャー符号化器1100aにおける補填器108を
有しておらず、その加算器107の出力を直接第２のフレ
ームメモリ109に入力する構成となっている点でのみ上
記高解像度テキスチャー符号化器1100aと異なってい
る。

次に動作について説明する。

画像信号として、所定の物体に対応するテキスチャー
信号St及び形状信号Skがそれぞれテキスチャー入力端子
1111及び形状入力端子1211に入力されると、上記テキス
チャー符号化部1100ではテキスチャー信号Stに対するス
ケーラビリティ符号化処理が、上記形状符号化部1200で
は形状信号Skに対するスケーラビリティ符号化処理が行
われる。

すなわち、上記テキスチャー符号化部1100では、前処
理器1100cによりテキスチャー信号Stから高解像度テキ
スチャー信号Sthと低解像度テキスチャー信号Stdとが生
成される。具体的には、第３（ａ）図に示すように、上
記前処理器1100cでは、入力されたテキスチャー信号
（画像系列）Stはそのまま高解像度テキスチャー信号St
hとして第１の出力端子216に出力される一方で、該テキ
スチャー信号Stは、ローパスフィルタ201により高帯域
成分を除去され、さらに間引き器202によっでダウンサ
ンプルされて低解像度テキスチャー信号Stdとして第２
の出力端子204に出力される。

ここで、上記高解像度テキスチャー信号Sthからは、
（Ｋ×Ｌ）個のサンプル（画素）からなる、上記物体の
画像を含む画像空間（画像表示画面）205が得られるの
に対し、上記低解像度テキスチャー信号Stdからは、（K
/2×L/2）個のサンプル（画素）からなる、上記物体の
画像を含む画像空間（画像表示画面）206が得られる。
なおここでK,Lは整数である。つまり、上記間引き器202
では、ダウンサンプル処理として、フィルタ出力を１サ
ンプルおきに間引く処理が行われている。ただし、この
間引き器の構成は一例であり、上記テキスチャー信号St
には、1/2以外の比率でダウンサンプリング処理を施し
てもよい。

またこのとき、上記形状符号化部1200では、上記テキ
スチャー符号化部1100におけるテキスチャー信号の前処
理と同様に、前処理器1200cにより物体の形状信号の前
処理が行われている。

次に、上記高解像度テキスチャー信号Sth及び低解像
度テキスチャー信号Stdは、それぞれブロック化器1120
a,1120bにて、画像が表示される１画面（画像空間）を
区分する、所定サイズのブロック領域に対応するよう分
割され、高解像度テキスチャー符号化器1100a,低解像度
テキスチャー符号化器1100bに入力される。

ここでは、上記各テキスチャー信号Sth及びStdは、
（８×８）個または（16×16）個のサンプルからなる矩
形形状のブロック領域に対応するよう分割されるが、上
記各テキスチャー信号は、任意の形状のブロック領域に
対応するよう分割してもよい。

このとき、形状符号化部1200では、ブロック器1220a,
1220bにより、高解像度形状信号Skh及び低解像度形状信
号Skdに対して、上記各テキスチャー信号に対するブロ
ック化処理と同様なブロック処理が施されている。

そして、符号化処理の対象となるブロック（以下、対
象ブロックという。）に対応する低解像度及び高解像度
テキスチャー信号がそれぞれ、低解像度符号化器1100b
及び高解像度符号化器1100aに入力されると、各符号化
器では、これらの信号に対する差分符号化処理が行われ
る。

なお、低解像度及び高解像度形状信号についても、対
応する符号化器1200a,1200bにて各ブロック単位で符号
化処理が行われるが、形状信号についての符号化処理
は、テキスチャー信号の符号化処理における補填処理を
行わない点で異なるだけであるので、詳しい説明は、テ
キスチャー信号についてのみ行う。

以下、まず、低解像度符号化器1100bにおける低解像
度テキスチャー信号Stdに対する差分符号化処理につい
て説明する。

上記対象ブロックの低解像度テキスチャー信号Stdが
第１の動き検出器141に入力されると同時に、第１フレ
ームメモリ139から、圧縮処理済のテキスチャー信号を
伸長して得られる伸長テキスチャー信号が、参照画面の
テキスチャー信号として第１の動き検出器141に読み出
される。

この第１の動き検出器141では、ブロックマッチング
などの方法により、対象ブロックの低解像度テキスチャ
ー信号に対し誤差の最も小さい予測信号を与える、参照
画面における予測ブロックが検出され、対象ブロックを
基準とする該予測領域の位置を示す動き変位情報（以
下、動きベクトルという。）が出力される。

この動きベクトルは第１の動き補償器140に送られ、
そこで参照画面に対応する参照用低解像度テキスチャー
信号から予測ブロックに対応する低解像度テキスチャー
信号が予測信号として生成される。このとき上記対象ブ
ロックに対する動きベクトルは可変長符号化器134に供
給され、対応する可変長符号に変換される。

また、対象ブロックの低解像度テキスチャー信号と予
測ブロックの低解像度テキスチャー信号は上記第１の加
算器132に供給され、上記第１の加算器132では両者の差
分信号が生成され、この差分信号は、第１の情報圧縮器
133により圧縮される。

この第１の情報圧縮器133における差分信号の圧縮処
理は、第４（ａ）図に示すように、DCT器302での周波数
変換および量子化器303での量子化によって行われる
が、上記差分信号の圧縮処理には、サブバンド変換やベ
クトル量子化などの方法を用いてもよい。ここでは、量
子化された差分信号（圧縮差分信号）が可変長符号化器
134に供給されて可変長符号化される。

そして、可変長符号化された圧縮差分信号Etdは、可
変長符号化された動きベクトルを含むその他のサイド情
報と共に出力端子135に出力される。

このとき、低解像度予測信号生成部1110bでは、上記
情報圧縮器133の出力である圧縮差分信号に基づいて予
測信号が生成される。

すなわち、上記圧縮差分信号が予測信号生成部1110b
に入力されると、この圧縮差分信号は情報伸長器136に
て伸長処理が施され、伸長差分信号が出力される。本実
施の形態では第４（ｂ）図に示すように、上記圧縮差分
信号が逆量子化器308にて逆量子化され、逆量子化され
た圧縮差分信号がIDCT器309にて、周波数領域のデータ
から空間領域のデータに変換される。

上記情報伸長器136からの伸長差分信号は、第２の加
算器137にて対応する予測ブロックの低解像度テキスチ
ャー信号に加算され、該加算により得られる信号が、対
象ブロックに対応する再生低解像度テキスチャー信号と
して出力される。この再生低解像度テキスチャー信号は
第１の補填器（PAD）138に入力され、該補填器138に
て、該再生低解像度テキスチャー信号に対する補填処理
が施される。そして補填処理が施された再生低解像度テ
キスチャー信号が第１のフレームメモリ139に参照用低
解像度テキスチャー信号として格納される。ここで、上
記補填処理は、各ブロックに対応する再生低解像度テキ
スチャー信号を構成する複数のサンプル値（画素値）の
うちの有意でないサンプル値を、有意なサンプル値に置
き換える処理であり、サンプル値が有意であるか否かの
判定は、低解像度形状符号化器1200bにて、圧縮差分信
号に伸長処理等を施して得られる再生低解像度形状信号
を参照して行われる。

第６図は上記第１の補填器138による補填処理を説明
するための模式図である。なお、第６図では説明を簡略
化するために、再生低解像度テキスチャー信号により形
成される画像空間を区分する各ブロック501は、（４×
４）個のサンプルからなるものとし、該ブロック501に
おける各矩形領域は１つのサンプル（画素）を示してい
る。また、複数の矩形領域のうち、点々を付して示した
矩形領域は、物体内部に位置する有意なサンプルを示
し、それ以外の矩形領域（点々を付していない領域）
は、物体の外側に位置する有意でないサンプルを示して
いる。

有意でないサンプルのサンプル値に対する補填処理に
は、物体の境界（周縁）上に位置するサンプルのサンプ
ル値を用いる。第６図ではサンプル502,503,504,505が
境界上に位置するサンプルであり、これらの有意サンプ
ルのサンプル値を、有意でないサンプルのサンプル値と
置き換えることにより、物体の外側領域に位置するサン
プルのサンプル値を補填する。たとえば、サンプル506
のサンプル値をサンプル505のサンプル値で置換する。
またサンプル507のように、有意サンプル503と有意サン
プル504の両方に隣接する、物体外のサンプルについて
は、そのサンプル値を、両有意サンプルのサンプル値の
平均値と補填する。

なお、上記説明では、補填処理として、有意でないサ
ンプルのサンプル値を、有意でないサンプルと隣接する
有意なサンプルのサンプル値と置換する処理について示
したが、補填処理は、有意でないサンプルのサンプル値
を、物体の境界上にあるすべての有意なサンプルのサン
プル値の平均値と置換する処理でもよく、また、有意で
ないサンプルと隣接する有意なサンプルが複数ある場
合、有意でないサンプルのサンプルを、該複数の有意な
サンプルのサンプル値のうちで最大もしくは最小のサン
プル値と置換する処理でもよい。

また、このとき上記第１の動き検出器141では、上述
したようにブロックマッチングなどの方法により、入力
される低解像度テキスチャー信号とフレームメモリに格
納されている参照用の再生低解像度テキスチャー信号と
に基づいて、動きベクトルが生成されており、第１の動
き補償器140では、この動きベクトルに基づいて、予測
ブロックに対応する低解像度テキスチャー信号が生成さ
れて、これが予測信号として上記第１の加算器132に出
力される。

次に、高解像度符号化器1100aにおける高解像度テキ
スチャー信号Sthに対する差分符号化処理について説明
する。

この高解像度テキスチャー信号Sthに対する差分符号
化処理は、上記低解像度テキスチャー信号Stdに対する
差分符号化処理と基本的には同一であり、対象ブロック
に対応する予測信号を生成する処理が上記低解像度テキ
スチャー信号に対するものとは若干異なっている。

つまり、高解像度テキスチャー符号化器1100aの予測
信号生成部1110aでは、第２の動き補償器110にて動き補
償により得られる時間予測信号に加えて、低解像度テキ
スチャー符号化器1100bの第１の補填器138にて補填処理
を施した再生低解像度テキスチャー信号（空間予測信
号）が用いられる。

第３（ａ）図に示したように、低解像度画像空間206
を形成するための低解像度テキスチャー信号は、高解像
度画像空間205を形成するための高解像度テキスチャー
信号をダウンサンプリングして得られるものであるた
め、上記再生低解像度テキスチャー信号を高解像度テキ
スチャー符号化器1100aにて空間予測信号として利用す
るには、該再生低解像度テキスチャー信号をアップサン
プリング等により補間する必要がある。

このため、上記空間予測信号はテキスチャー変換器11
25にてアップサンプリングにより補間され、補間された
空間予測信号が上記高解像度テキスチャー符号化器1100
aの予測信号生成部1110aに供給される。

具体的には、第７図に示す上記テキスチャー変換器11
25を構成する補間器602では、偶数タップのフィルタを
用いて補間値が生成され、この補間値により上記空間予
測信号を構成するサンプル値が補間される。

このようなアップサンプリング処理が施された空間予
測信号は、上記時間予測信号とともに平均化器124に入
力される。この平均化器124では、上述したモード判定
器（図示せず）からのモード判定出力に基づいて、時間
予測信号と空間予測信号とを重み付き平均化して得られ
る、高解像度テキスチャー信号に対する予測信号が生成
され、この予測信号が第3,第４の加算器102,107に供給
される。

なお、本実施の形態では、上記平均化器124におけ
る、空間予測信号と時間予測信号の重み付けの比率とし
て、1:0、0:1、1/2:1/2の３つの比率を用いるようにし
ているが、これ以外の比率で重みつけしてもよい。ま
た、この重み付けの比率は、モード判定出力に基づいて
調整するのではなく、予め所定の比率を設定しておくよ
うにしてもよい。また、空間予測信号は第１の補填器13
8から出力するようにしているが、これは第１のフレー
ムメモリ139から出力するようにしてもよい。

第５図は、上記再生低解像度テキスチャー信号から高
解像度テキスチャー信号に対する予測信号を生成する処
理を説明するための模式図である。図中、401aは、高解
像度テキスチャー信号から得られる、任意形状の物体画
像を含む高解像度画像空間であり、401bは再生低解像度
テキスチャー信号から得られる、上記任意形状の物体画
像を含む再生低解像度画像空間である。各画像空間は複
数のブロック（単位処理領域）から構成されており、該
複数のブロックのうちの点々を付して表示したものは、
物体の内部に位置する有意なサンプルを含むものであ
る。

具体的には、画像空間401aを区分するブロックは、符
号化処理が行われる被処理ブロックを示し、画像空間40
1bを区分するブロックは、画像空間401aの各被処理ブロ
ックに対応する空間予測ブロックを示す。ここで各被処
理ブロックとこれに対応する各空間予測ブロックとは、
それぞれの画像空間における同一位置に位置している。

例えば、被処理ブロック404aと対応する空間予測ブロ
ック404bはそれぞれ画像空間401aと画像空間401bでは、
水平方向の配列において左端から６番目に位置し、かつ
垂直方向の配列において上端から４番目に位置するブロ
ックとなっている。また、画像空間401aにおける被処理
ブロック403aは物体の境界上に位置し、これに対応する
画像空間401bにおける空間予測ブロック403bも物体の境
界上に位置している。

また、物体の境界上にある空間予測ブロック403bに対
応する低解像度テキスチャー信号は、これを構成する有
意でないサンプル値を上述した方法で置換した後に、テ
キスチャー変換器1125でアップサンプリングされ、該ア
ップサンプルされた低解像度テキスチャー信号が、上記
空間予測ブロックに対応する被処理ブロック403aの高解
像度テキスチャー信号から引き算される。

一般には、空間予測ブロックに対応する低解像度テキ
スチャー信号をアップサンプリングしても、これによっ
て得られる空間予測ブロックにおける物体の境界と、対
応する被処理ブロックにおける物体の境界とが一致しな
い場合がほとんどである。このため、上記のように空間
予測ブロックに対応する低解像度テキスチャー信号を補
填した後アップサンプルすることにより、両ブロックの
境界の不一致による残差の増加を抑圧することができ
る。

また、第５図における被処理ブロック405a,406a,407a
と、これらに対応する空間予測ブロック405b,406b,407b
に見られるように、画像空間401aにおける被処理ブロッ
クが物体の境界上に位置しているのに対し、画像空間40
1bにおける空間予測ブロックが完全に物体外部に位置す
ることとなる場合がある。

これは、画像空間401bに対応する低解像度テキスチャ
ー信号を生成するためのダウンサンプリングや、低解像
度テキスチャー信号の圧縮符号化によって、低解像度テ
キスチャー信号の持つ物体形状情報が歪んでしまったか
らである。この場合、たとえば、被処理ブロック407aに
対応する空間予測ブロック407bを構成するサンプルのサ
ンプル値は定義されておらず、このため空間予測ブロッ
ク407bに対応する低解像度テキスチャー信号をそのまま
用いて、被処理ブロック407aに対応する高解像度テキス
チャー信号から引き算すると、両信号の残差が大きくな
る。

そこで、本発明の実施の形態１では、このような物体
外の空間予測ブロックについては、そのサンプル値を、
該物体外空間ブロックに隣接する物体内空間ブロックの
有意なサンプル値で補填するようにしている。

すなわち、空間予測ブロック407bついては、そのサン
プル値を、そのすぐ上にある空間予測ブロック402bの有
意なサンプル値と置換するようにしている。

この場合、空間予測ブロック402bのような物体の境界
上に位置するブロックについては、第６図に示す方法で
その有意でないサンプルのサンプル値が補填してあるの
で、上記物体外空間予測ブロック407bのサンプル値を、
空間予測ブロック402bの、境界上に位置するサンプルの
サンプル値で補填してもよい。

第９（ａ）図及び第９（ｂ）図は、このような補填処
理の例を示す。

ブロック801、802、803、804はそれぞれ４×４のサン
プルから構成される。ブロック801とブロック803が境界
ブロックであり、補填処理により、すべてのサンプル値
が有意な値となっている。そのため、サンプル805〜812
はすべて有意なサンプル値を有している。またブロック
802とブロック804は物体外ブロックである。

そこで、ブロック802に対する補填処理では、サンプ
ル805、806、807、808を水平に順次繰り返して当てはめ
て、これらのサンプルをブロック802のサンプルとして
補填し、また、ブロック804に対する補填処理では、サ
ンプル809、810、811、812を垂直に順次繰り返して当て
はめて、これらのサンプルをブロック804のサンプルと
して補填する。

なお、補填処理が施されるブロックに水平方向にも垂
直方向にも隣接した境界ブロックが存在する場合には、
これらの境界ブロックにおけるすべての候補サンプル値
の平均を、置換すべき擬似サンプル値として用いたり、
すべての候補サンプル値のうちの最大値を、置換すべき
擬似サンプル値として用いたりすることができる。

このように、物体外に位置する空間予測ブロックに対
して、これに隣接する境界ブロックのサンプル値を用い
て補填処理を施すことにより、空間予測ブロックが完全
に物体外部にあっても、その有意でないサンプル値は、
物体内部のサンプル値で置換されることとなるため、空
間予測ブロックに対応する低解像度テキスチャー信号を
アップサンプルした信号と、被処理ブロックに対応する
高解像度テキスチャー信号との残差信号を抑圧すること
ができる。

第８図は、上述した補填処理を考慮した、補填器及び
テキスチャー変換器による動作をフローチャートにより
説明するための図である。

まず、空間予測ブロックに対応する再生低解像度テキ
スチャー信号とその空間予測ブロックが物体の内部にあ
るかどうかを示す識別信号LDkdが補填器138に入力され
る（ステップS1）。上記空間予測ブロックが物体の内部
にあるかどうかを示す識別信号LDKdは、形状符号化部12
00の低解像度形状符号化器1200bにて生成された伸長形
状信号（物体の形状情報）である。

次に、その識別信号を用いて空間予測ブロックが物体
の内部にあるか否かが上記補填器138にて判別される
（ステップS2）。もし、該空間予測ブロックが物体の内
部にあれば、空間予測ブロックが補填処理が施されずに
そのまま出力されて、テキスチャー変換器1125にてアッ
プサンプリングされる（ステップS4）。一方、上記空間
予測ブロックが物体の内部にない場合、空間予測ブロッ
クに対して、隣接するブロックの有意なサンプルのサン
プル値を用いた補填処理が施され（ステップS3）、その
後、該空間予測ブロックに対応する低解像度テキスチャ
ー信号が、上記テキスチャー変換器1125にてアップサン
プリングされる（ステップS4）。なお、境界ブロックに
隣接する物体外部にあるブロックの補填は上述した補填
器で行ってもよい。

なお、上記実施の形態１では、テキスチャー信号を階
層化するのに第３（ａ）図に示す前処理器1100cを用い
たが、上記階層化処理には、この前処理器1100cの代わ
りに、第３（ｂ）図に示す前処理器207を用いてもよ
い。

この前処理器207は、入力端子208と、第1,第２の出力
端子209,210とを有し、入力端子208と第１の出力端子20
9との接続状態と、入力端子208と第２の出力端子210と
の接続状態とが一定の時間間隔でもって切り換わる構成
となっている。

例えば、テキスチャー信号が入力端子208に入力され
ると、入力端子208と第１の出力端子209との接続状態
と、入力端子208と第２の出力端子210との接続状態とが
スイッチ207aにより所定の時間間隔で切り換わることと
なる。

ここでは、時間ｔ（ｔは整数）、ｔ＋Ｎ、ｔ＋2Nの間
隔で、入力端子208と第２の出力端子210が接続状態とな
り、入力されたテキスチャー信号が第２の出力端子に出
力される。この第２の出力端子210から出力されるテキ
スチャー信号を低解像度テキスチャー信号として、第２
図の第１の入力端子131に供給する。

また、時間ｔとｔ＋Ｎとの間にあるテキスチャー信号
（画像データ）は、第１の出力端子209に出力され、該
第１の出力端子209から出力されるテキスチャー信号
を、高解像度テキスチャー信号として第２図の第２入力
端子101に供給する。ここで、Ｎは任意の整数である
が、本実施の形態ではＮ＝３としている。

この場合、第７図の変換器には、補間器の代わりに、
動き補償器を用い、第１のフレームメモリ139から動き
補償により得られた予測信号を読み出して、上記予測信
号（低解像度テキスチャー信号から得られた予測信号）
を、時間解像度が高解像度テキスチャー信号に合致する
よう処理する。この場合、図示していないが、そのため
の動きベクトルを上記動き補償器に伝送する必要があ
る。いずれにしても、階層符号化処理では、ある階層の
テキスチャー信号を、別の階層，つまり解像度の異なる
階層から得られる再生信号を用いて差分符号化する場合
には、該再生信号の補填処理を行わなければならない。

このように本実施の形態１では、第２図に示すよう
に、低解像度テキスチャー信号Stdを差分符号化する符
号化器1100bと、高解像度テキスチャー信号Sthを差分符
号化する符号化器1100aとを有し、高解像度テキスチャ
ー信号Sthをその予測信号を用いて差分符号化する際、
上記符号化器1100bにおける補填器138により、上記符号
化器1100bで再生した低解像度テキスチャー信号の有意
でないサンプル値を、その有意なサンプル値から得られ
た擬似サンプル値と置き換える補填処理を行い、上記該
補填処理を施した再生低解像度テキスチャー信号に基づ
いて上記高解像度テキスチャー信号Sthに対する予測信
号を生成するようにしたので、補填処理が施された再生
低解像度テキスチャー信号に基づいて高解像度テキスチ
ャー信号Sthの予測信号が生成されることとなる。この
ため、符号化処理の対象となるブロック（単位処理領
域）の高解像度テキスチャー信号とその予測信号との差
分である差分信号が抑圧されることとなり、物体の境界
部に位置するブロックに対応する高解像度テキスチャー
信号を、符号化効率の劣化を抑えつつ差分符号化するこ
とができる。

また、符号化処理の対象となる対象単位領域の高解像
度テキスチャー信号Sthの符号化処理では、その予測信
号として、上記対象単位領域の再生された低解像度テキ
スチャー信号に基づいて生成される信号を用いるので、
高解像度テキスチャー信号Sthの符号化処理は低解像度
テキスチャー信号Stdの符号化処理と比べて、上記単位
領域を処理するための時間だけしか遅延しない。このた
め、復号化側では、低解像度テキスチャー信号Std,高解
像度テキスチャー信号Sthの符号化により得られるLT差
分符号化信号Etd,HT差分符号化信号Ethに基づいて、高
解像度画像と低解像度画像とをほとんど時間のずれなく
再生することができる。

また、各単位領域に対応する再生低解像度テキスチャ
ー信号の補填処理を、該再生低解像度テキスチャー信号
における有意な画素値に基づいて行うので、低解像度テ
キスチャー信号から得られる高解像度テキスチャー信号
の予測信号と、高解像度テキスチャー信号との差分を効
果的に抑圧することができる。

また、補填処理を施した再生低解像度テキスチャー信
号をフレームメモリ139に、補填処理を施した再生高解
像度テキスチャー信号をフレームメモリ109に格納する
ようにしたので、動き検出や動き補償をより精度よく行
うことができる。

なお、上記実施の形態１では、形状符号化部1200を構
成する各符号化器1200a,1200bでは、低解像度再生形状
信号LDkd及び高解像度再生形状信号LDKhをそのまま予測
信号の生成に用いているが、低解像度再生形状信号LDKd
及び高解像度再生形状信号LDKhに補填処理を施したもの
を予測信号の生成に用いるようにしてもよい。

実施の形態2. 第10図は本発明の実施の形態２によるデジタル画像復
号化装置2000を説明するためのブロック図である。

このデジタル画像復号化装置2000は、実施の形態１の
デジタル画像符号化装置1000により画像信号にスケーラ
ビリティ符号化処理を施して得られる画像符号化信号を
物体単位で復号化可能に構成したものであり、上記画像
符号化信号を構成する符号化テキスチャー信号に対する
スケーラビリティ復号化処理を行うテキスチャー復号化
部2100と、上記画像符号化信号を構成する符号化形状信
号に対するスケーラビリティ復号化処理を行う形状復号
化部2200とを有している。

上記テキスチャー復号化部2100は、高解像度テキスチ
ャー差分符号化信号（HT差分符号化信号）Ethに対して
差分復号化処理を各ブロック毎に施して、高解像度テキ
スチャー復号化信号（以下、再生高解像度テキスチャー
信号ともいう。）Dthを出力する高解像度テキスチャー
復号化器2100aと、該各ブロックに対応する高解像度テ
キスチャー復号化信号Dthを統合して走査線構造の高解
像度テキスチャー再生信号Rthを出力する逆ブロック化
器2120aと、低解像度テキスチャー差分符号化信号（LT
差分符号化信号）Etdに対して差分復号化処理を各ブロ
ック毎に施して、低解像度テキスチャー復号化信号（以
下、再生低解像度テキスチャー信号ともいう。）Dtdを
出力する低解像度テキスチャー復号化器2100bと、該各
ブロックに対応する低解像度テキスチャー復号化信号Dt
dを統合して走査線構造の低解像度テキスチャー再生信
号Rtdを出力する逆ブロック化器2120bとを有している。

また、上記テキスチャー復号化部2100は、該LT差分符
号化信号と差分復号化処理に用いる再生信号を、HT差分
符号化信号の差分復号化処理に利用できるよう変換し
て、上記高解像度テキスチャー復号化器2100aに出力す
るテキスチャー変換器2125を有している。

また、上記形状復号化部2200は、高解像度形状差分符
号化信号（HS差分符号化信号）Ekhに対して差分復号化
処理を各ブロック毎に施して、高解像度形状復号化信号
Dkhを出力する高解像度形状復号化器2200aと、該各ブロ
ックに対応する高解像度形状復号化信号Dkhを統合して
走査線構造の高解像度形状再生信号Rkhを出力する逆ブ
ロック化器2220aと、低解像度形状差分符号化信号（LS
差分符号化信号）Ekdに対して差分復号化処理を各ブロ
ック毎に施して、低解像度形状復号化信号Dkdを出力す
る低解像度形状復号化器2200bと、該各ブロックに対応
する低解像度形状復号化信号Dkdを統合して走査線構造
の低解像度形状再生信号Rkdを出力する逆ブロック器222
0bとを有している。

また、上記形状復号化部2200は、該LS差分符号化信号
の差分復号化処理に用いる再生信号を、HS差分符号化信
号の差分復号化処理に利用できるよう変換して、上記高
解像度形状復号化器2200aに出力する形状変換器2225を
有している。

次に、第11図を用いて、上記テキスチャー復号化部21
00における各復号化器2100a及び2100bの詳細な構成につ
いて説明する。

上記低解像度テキスチャー復号化器2100bは、復号化
処理の対象となる対象領域（対象ブロック）のLT符号化
差分信号を解析して可変長復号化する第１のデータ解析
器922と、該データ解析器922の出力に対して伸長処理を
施して伸長差分信号を出力する第１の情報伸長器（DE
C）923と、該伸長差分信号と、対象ブロックに対応する
予測信号とを加算して低解像度テキスチャー復号化信号
を出力する第１の加算器924と、上記各ブロックに対応
する予測信号を生成する予測信号生成部2110bとから構
成されている。

ここで、上記第１の情報伸長器923は、第４（ｂ）図
に示すように、上記データ解析器922の出力に逆量子化
処理を施す逆量子化器308と、該逆量子化器308の出力に
対して逆周波数変換処理の一種であるIDCT（逆離散コサ
イン変換）処理を施すIDCT変換器309とから構成されて
いる。

上記予測信号生成部2110bは、上記加算器924の出力を
受け、再生された低解像度テキスチャー信号における有
意でないサンプル値（画素値）を、上記低解像度形状復
号化器2200bにて復号化された低解像度形状信号Dkdに基
づいて補填する第１の補填器926と、該補填器926の出力
である、補填された再生低解像度テキスチャー信号（低
解像度テキスチャー復号化信号）を格納する第１のフレ
ームメモリ927とを有しており、上記補填器926の出力
は、上記テキスチャー変換器2125にも出力されるように
なっている。

さらに、上記予測信号生成部2110bは、該第１のフレ
ームメモリ927の出力と、上記データ解析器922にて復号
化された対象ブロックに対応する動きベクトルとに基づ
いて、上記フレームメモリ927から、対象ブロックの再
生低解像度テキスチャー信号との誤差が最も小さい再生
低解像度テキスチャー信号を持つ予測領域を検出し、該
予測領域に対応する再生低解像度テキスチャー信号を予
測信号として読み出し、上記第１の加算器924に出力す
る第１の動き補償器928を有している。

一方、上記高解像度テキスチャー復号化器2100aも上
記低解像度テキスチャー復号化器2100bとほぼ同様な構
成となっている。

すなわち、上記高解像度テキスチャー復号化器2100a
は、復号化処理の対象となる対象領域（対象ブロック）
のHT符号化差分信号を解析して可変長復号化する第２の
データ解析器902と、該データ解析器902の出力に対して
伸長処理を施して伸長差分信号を出力する第２の情報伸
長器（DEC）903と、該伸長差分信号と、対象ブロックに
対応する予測信号とを加算して高解像度テキスチャー復
号化信号を出力する第２の加算器904と、上記各ブロッ
クに対応する予測信号を生成する予測信号生成部2110a
とから構成されている。

ここで、上記第２の情報伸長器903は、第４（ｂ）図
に示すように、上記データ解析器902の出力に逆量子化
処理を施す逆量子化器308と、該逆量子化器308の出力に
対して逆周波数変換処理の一種であるIDCT（逆離散コサ
イン変換）処理を施すIDCT変換器309とから構成されて
いる。

上記予測信号生成部2110aは、上記第２の加算器904の
出力を受け、再生された高解像度テキスチャー信号にお
ける有意でないサンプル値（画素値）を、上記高解像度
形状復号化器2200aにて復号化された高解像度形状信号D
khに基づいて補填する第２の補填器906と、該補填器906
の出力である、補填された再生高解像度テキスチャー信
号（高解像度テキスチャー復号化信号）を格納する第２
のフレームメモリ907とを有している。

さらに、上記予測信号生成部2110aは、該第２のフレ
ームメモリ907の出力と、上記データ解析器902にて復号
化された対象ブロックに対応する動きベクトルとに基づ
いて、上記フレームメモリ907から、対象ブロックの再
生高解像度テキスチャー信号との誤差が最も小さい再生
高解像度テキスチャー信号を与える予測領域を検出し、
該予測領域に対応する再生高解像度テキスチャー信号を
予測信号として読み出す第２の動き補償器908と、該第
２の動き補償器908の出力と上記テキスチャー変換器212
5の出力とを動きベクトルに基づいて平均化して、上記
第２の加算器904に出力する平均化器（AVE）918とを有
している。

次に、上記低解像度形状復号化器2200b及び高解像度
形状復号化器2200aの具体的な構成について説明する。
ただしこれらの復号化器は、基本的に上記低解像度テキ
スチャー復号化器2100b及び高解像度テキスチャー復号
化器2100aの構成と同一であるので、図面を用いた詳細
な説明は省略し、各テキスチャー復号化器と各形状復号
化器の構成上に相違点のみを簡単に説明する。

つまり、上記低解像度形状復号化器2200bは、上記低
解像度テキスチャー復号化器2100bにおける補填器926を
有しておらず、その加算器924の出力を直接第１のフレ
ームメモリ927に入力する構成となっている点でのみ、
上記低解像度テキスチャー復号化器2100bと異なってい
る。また上記高解像度形状復号化器2200aは、上記高解
像度テキスチャー復号化器2100aにおける補填器906を有
しておらず、その加算器904の出力を直接第２のフレー
ムメモリ907に入力する構成となっている点でのみ、上
記高解像度テキスチャー復号化器2100aと異なってい
る。

次に動作について説明する。

本画像復号化装置2000に入力される所定の物体に対応
する多重化された画像符号化信号は、本画像復号化装置
2000の前段にて、HT差分符号化信号Eth,Lt差分符号化信
号Etd,HS差分符号化信号Ekh,LS差分符号化信号Ekd,及び
その他の制御信号に分離され、上記HT及びLT差分符号化
信号がテキスチャー復号化部2100に、上記HS及びLS差分
符号化信号が形状復号化部2200に入力される。

すると、上記テキスチャー復号化部2100では、上記両
テキスチャー差分符号化信号に対するスケーラビリティ
復号化処理が、上記形状復号化部2200では上記両形状信
号に対するスケーラビリティ復号化処理が行われる。

すなわち、上記テキスチャー復号化部2100では、LT差
分符号化信号Etdが第１入力端子2131を介して第１のデ
ータ解析器922に入力され、該解析器922にてそのデータ
解析が行われ、可変長復号化されたLT符号化差分信号が
上記第１の情報伸長器923に出力される、またこのと
き、上記データ解析器922からは、復号化処理の対象と
なる対象ブロックの動きベクトルが予測信号生成部2110
bの第１の動き補償器928に出力される。

上記第１の情報伸長器923では、可変長復号化されたL
T符号化差分信号に対して伸長処理が施され、低解像度
テキスチャー差分信号が低解像度テキスチャー伸長差分
信号として復元される。

本実施の形態では、第４（ｂ）図に示されるように、
上記可変長復号化されたLT符号化差分信号は逆量子化器
308にて逆量子化処理が施され、さらに逆離散コサイン
変換309にて、周波数領域信号を空間領域信号に変換す
る逆周波数変換処理が施される。

このとき上記第１の動き補償器928では、動きベクト
ルに基づいて、第１のフレームメモリ927をアクセスす
るためのアドレスAdd1が生成され、第１のフレームメモ
リ927に参照用低解像度テキスチャー信号として格納さ
れている再生低解像度テキスチャー信号から、対象ブロ
ックに対する再生低解像度テキスチャー信号の予測信号
が読み出される。この読み出された予測信号と、上記情
報伸長器923の出力とが加算器924に入力され、該加算器
924からは、これらの信号の加算値として、低解像度テ
キスチャー復号化信号（再生低解像度テキスチャー信
号）Dtdが第１の出力端子925に出力される。

このとき上記再生低解像度テキスチャー信号Dtdは、
第１の補填器926にも入力され、この信号に対して、第
６図で説明したように物体の有意なサンプル値を用いて
物体の有意でないサンプル値を置換する補填処理が施さ
れる。このように補填した再生低解像度テキスチャー信
号Dtdが第１のフレームメモリ927に格納される。

一方、上記テキスチャー復号化部2100では、HT符号化
差分信号Ethが第２入力端子2101を介して第２のデータ
解析器902に入力され、該解析器902にてそのデータ解析
が行われ、可変長復号化されたHT符号化差分信号が上記
第２の情報伸長器903に出力される。またこのとき、上
記データ解析器902からは、復号化処理の対象となる対
象ブロックの動きベクトルが予測信号生成部2110aの第
２の動き補償器908に出力される。

上記第２の情報伸長器903では、可変長復号化されたH
T符号化差分信号に対して伸長処理が施され、高解像度
テキスチャー差分信号が高解像度テキスチャー伸長差分
信号として復元される。

本実施の形態では、第４（ｂ）図に示されるように、
上記可変長復号化されたHT符号化差分信号は逆量子化器
308にて逆量子化処理が施され、さらに逆離散コサイン
変換309にて、周波数領域信号を空間領域信号に変換す
る逆周波数変換処理が施される。

このとき上記第２の動き補償器908では、動きベクト
ルに基づいて、第２のフレームメモリ907をアクセスす
るためのアドレスAdd2が生成され、第２のフレームメモ
リ907に参照用高解像度テキスチャー信号として格納さ
れている再生高解像度テキスチャー信号から、対象ブロ
ックに対する予測信号が時間予測信号として読み出され
る。

また、上記テキスチャー変換器2125では、第７図及び
第８図で説明したものと同じアップサンプル処理が行わ
れ、このようにアップサンプリングした空間予測信号が
平均化器918に出力される。該平均化器918では、第２の
動き補償器908からの時間予測信号と該空間予測信号と
を、上記データ解析器からのモード信号に基づいて重み
付き平均化して再生高解像度テキスチャー信号の予測信
号が生成される。重み付けの比率は送受信側であらかじ
め決めてもよいが、本実施の形態では、重み付けの情報
が上記高解像度テキスチャー符号化信号とともに伝送さ
れ、第２のデータ解析器902から抽出されて平均化器918
に入力されるようになっている。

そして上記平均化器918と出力と、上記情報伸長器903
の出力である高解像度テキスチャー伸長差分信号とが加
算器904に入力される。すると、該加算器904からは、こ
れらの信号の加算値として、再生高解像度テキスチャー
信号Dthが第２の出力端子905に出力される。

このとき上記再生高解像度テキスチャー信号Dthは、
第２の補填器906にも入力され、第６図で説明したよう
に物体の有意なサンプル値を用いて物体の有意でないサ
ンプル値を置換する補填処理が施される。このように補
填した再生高解像度テキスチャー信号Dthが第２のフレ
ームメモリ907に格納される。

このように本実施の形態２では、第11図に示すよう
に、低解像度テキスチャー符号化差分信号Etdを差分復
号化する復号化器2100bと、高解像度テキスチャー符号
化差分信号Ethを差分復号化する復号化器2100aとを有
し、高解像度テキスチャー符号化差分信号Ethをその予
測信号を用いて差分復号化する際、上記復号化器2100b
における補填器926により、上記復号化器2100bで再生し
た低解像度テキスチャー信号の有意でないサンプル値
を、その有意なサンプル値から得られた擬似サンプル値
と置き換える補填処理を行い、上記該補填処理を施した
再生低解像度テキスチャー信号に基づいて上記予測信号
を生成するようにしたので、補填処理が施された再生低
解像度テキスチャー信号に基づいて再生高解像度テキス
チャー信号Dthの予測信号が生成されることとなる。こ
のため、符号化処理の対象となるブロック（単位処理領
域）の再生高解像度テキスチャー信号とその予測信号と
の差分である差分信号を抑圧した階層符号化処理に対応
した階層復号化処理を実現することができる。

また、復号化処理の対象となる対象単位領域に対応す
るHT符号化差分信号の復号化処理では、その予測信号と
して、上記対象単位領域に対応する再生低解像度テキス
チャー画像信号に基づいて生成される信号を用いるの
で、HT符号化差分信号Ethの復号化処理はLT符号化差分
信号Etdの復号化処理と比べて、上記単位領域を処理す
るための時間だけしか遅延しない。このため、画像信号
の階層符号化処理により得られるHT,LT符号化差分信号
に基づいて、高解像度画像と低解像度画像とをほとんど
時間のずれなく再生することができる。

また、各単位領域（ブロック）に対応する再生低解像
度テキスチャー信号の補填処理を、該再生低解像度テキ
スチャー信号における有意な画素値に基づいて行うの
で、低解像度テキスチャー信号から得られる高解像度テ
キスチャー信号の予測信号と、高解像度テキスチャー信
号との差分を効果的に抑圧しつつ符号化して得られる符
号化差分信号を正しく復号化することができる。

また、補填処理を施した再生低解像度テキスチャー信
号をフレームメモリ927に、補填処理を施した再生高解
像度テキスチャー信号をフレームメモリ907に格納する
ようにしたので、階層復号化処理における動き補償をよ
り精度よく行うことができる。

なお、上記実施の形態２では、空間予測信号は補填器
92bから伝送されるとして示したが、この空間予測信号
は、第１のフレームメモリ927から平均化器に供給する
ようにしてもよい。

また、低解像度テキスチャー符号化信号と高解像度テ
キスチャー符号化信号が同じサイズの画像空間に対応
し、しかも時間的にずれた画像情報を有している場合
（第３（ｂ）図）、変換器2125には、補間器の代わり
に、動き補償器を用い、第１のフレームメモリ927から
動き補償により得られた予測信号を読み出して、この予
測信号を時間解像度が高解像度テキスチャー信号と合致
するように処理する。この場合、図示していないが、そ
のため動きベクトルを上記動き補償器に伝送する必要が
ある。いずれにしても、階層復号化処理では、ある階層
のテキスチャー符号化差分信号を、別の階層，つまり解
像度の異なる階層から得られる再生信号を用いて差分復
号化する場合には、該再生信号の補填処理を行わなけれ
ばならない。

また、上記実施の形態２では、形状復号化部2200を構
成する各復号化器2200a,2200bでは、再生低解像度形状
信号Dkd及び再生高解像度形状信号Dkhをそのまま予測信
号の生成に用いているが、再生低解像度形状信号Dkd及
び再生高解像度形状信号Dkhに補填処理を施したものを
予測信号の生成に用いるようにしてもよい。

また、上記実施の形態２では、階層符号化処理及び階
層復号化処理として、階層が２つであるものについて説
明したが、階層が３つ以上である階層符号化，復号化処
理についても、下の階層（解像度の低い階層）の画像信
号から上の階層（解像度の高い階層）の画像信号を予測
する時には、同じように下の階層の画像信号を補填する
ようにすればよい。

さらに、上記各実施の形態で示した符号化処理あるい
は復号化処理の構成を実現するための符号化あるいは復
号化プログラムを、フロッピーディスク等のデータ記憶
媒体に記録するようにすることにより、上記各実施の形
態で示した処理を、独立したコンピュータシステムにお
いて簡単に実施することが可能となる。

第12図は、上記実施の形態の符号化あるいは復号化処
理を、上記符号化あるいは復号化プログラムを格納した
フロッピーディスクを用いて、コンピュータシステムに
より実施する場合を説明するための図である。

第12（ｂ）図は、フロッピーディスクの正面からみた
外観、断面構造、及びフロッピーディスクを示し、第12
（ａ）図は、記録媒体本体であるフロッピーディスクの
物理フォーマットの例を示している。フロッピーディス
クFDはケースＦ内に内蔵され、該ディスクの表面には、
同心円状に外周からは内周に向かって複数のトラックTr
が形成され、各トラックは角度方向に16のセクタSeに分
割されている。従って、上記プログラムを格納したフロ
ッピーディスクでは、上記フロッピーディスクFD上に割
り当てられた領域に、上記プログラムとしてのデータが
記録されている。

また、第12（ｃ）図は、フロッピーディスクFDに上記
プログラムの記録再生を行うための構成を示す。上記プ
ログラムをフロッピーディスクFDに記録する場合は、コ
ンピュータシステムCsから上記プログラムとしてのデー
タをフロッピーディスクドライブＦDDを介して書き込
む。また、フロッピーディスク内のプログラムにより上
記符号化あるいは復号化装置をコンピュータシステムCs
中に構築する場合は、フロッピーディスクドライブＦDD
によりプログラムをフロッピーディスクFDから読み出
し、コンピュータシステムCsに転送する。

なお、上記説明では、データ記録媒体としてフロッピ
ーディスクを用いて説明を行ったが、光ディスクを用い
ても同様に行うことができる。また、記録媒体はこれに
限らず、ICカード、ROMカセット等、プログラムを記録
できるものであれば同様に実施することができる。

産業上の利用可能性 以上のように本発明に係るデジタル画像復号化装置
は、画像信号の伝送や記憶を行うシステムにおける、符
号化効率の高い画像符号化処理に対応する画像復号化処
理を実現するものとして極めて有用であり、特に、MPEG
4等の規格に準拠した動画像の伸長処理に適している。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】任意形状を有する画像を含む複数の画素か
   らなる第１の画像信号に対して、符号化処理を施して得
   られる第１の符号化画像信号を復号化して第１の再生画
   像信号を生成する第１の復号化処理部と、 上記任意形状を有する画像を含む複数の画素からなる、
   時間解像度が上記第１の画像信号とは異なる第２の画像
   信号に対して、符号化処理を施して得られる第２の符号
   化画像信号を復号化して第２の再生画像信号を生成する
   第２の復号化処理部とを備え、 上記第１の復号化処理部は、 上記第１の符号化画像信号から第１の再生画像信号を生
   成する復号化処理を、上記画像を区分する単位領域毎に
   行う第１の復号化手段と、 上記各単位領域に対応する第１の再生画像信号に対し
   て、その有意でない画素値を所定の方法により得られた
   擬似画素値と置き換える補填処理を施す補填手段とを有
   し、 上記第２の復号化処理部は、 上記補填処理が施された第１の再生画像信号から、上記
   各単位領域に対応する第２の再生画像信号を予測して再
   生予測信号を生成する予測信号生成手段と、 上記各単位領域に対応する第２の符号化画像信号を復号
   化して、上記第２の画像信号とその予測信号との差分信
   号を再生し、該差分信号に上記再生予測信号を加算して
   第２の再生画像信号を生成する差分復号化処理を、上記
   単位領域毎に行う第２の復号化手段とを有し、 上記予測信号生成手段は、 上記第２の再生画像信号に基づいて各単位領域に対応す
   る第２の再生画像信号を予測して補助予測信号を生成す
   る予測手段と、 該補助予測信号と上記補填手段により補填処理が施され
   た第１の再生画像信号とを、上記第２の符号化画像信号
   に含まれる制御情報に基づいて切り替えて出力するスイ
   ッチ手段とを有し、 該スイッチ手段の出力を上記各単位領域に対応する第２
   の再生画像信号の予測信号として出力するものであるこ
   とを特徴とするデジタル画像復号化装置。