JP3502392B2 - デジタル画像画素補填方法、及びそれを用いたデジタル画像符号化装置、画像復号化装置 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は、任意形状をもつデジタル画像を補填する方
法およびその補填方法を用いたデジタル画像の符号化・
復号化装置に関するものである。

背景技術 デジタル画像を効率よく蓄積もしくは伝送するには、
圧縮符号化する必要がある。デジタル画像を圧縮符号化
するための方法として、JPEGやMPEGに代表される離散コ
サイン変換（DCT）のほかに、サブバンドやウェアブレ
ット、フラクタルなどの波形符号化方法がある。また、
画像間の冗長な信号を取り除くには動き補償を用いた画
像間予測を行い、差分信号を波形符号化する。

最近、圧縮効率を向上させると同時に画像を構成する
物体単位の再生ができるように、画像を構成する物体を
別々に圧縮符号化し伝送する。再生側では、それぞれの
物体を復号化し、再生した物体を合成し画像を表示す
る。これは物体単位に符号化することで、物体を自由に
組み合わせて合成することにより動画像を簡単に再編集
できる特徴がある。また、通信路の混み具合や再生装置
の性能、視聴者の好みによって、比較的に重要でない物
体を再生しなくても、動画像を見ることができる。

任意の形状をもつ画像（物体）を符号化するために、
その形状に適した変換方法、たとえば形状適応離散コサ
イン変換を用いるか、画像の無効領域（物体表示領域の
外の領域であり、物体を表示するための画素データを有
しない、いわゆる有意でないサンプル値のみから成る領
域を言う）を所定の方法で補填し、従来の8x8のコサイ
ン変換を施す方法がある。一方、画像間の冗長な信号を
取り除くために過去において再生された参照画像を動き
補償して得られた予測領域（たとえば16x16画素からな
るブロック）にも、物体の境界において有意でないサン
プル値が含まれる。このような予測領域を一旦補填して
から、対象領域と差分をとり、予測誤差信号を生成し、
変換符号化する。予測領域を補填するのは差分信号を抑
圧するためである。

このように、デジタル画像の符号化復号化処理効率の
点で、有意でない画素の補填処理は重要であると共に、
その補填の仕方により復号画質、伝送データ量などにも
影響を与える。

前述のような従来の技術では、画像全体を参照し補填
することにより、予測領域に有意でないサンプル値が含
まれないようにしてから、動き補償などの方法で予測領
域を取得する。また補填方法は、物体の境界にある有意
なサンプル値を繰り返し、有意でないサンプル値と置き
換える等の処理が行われる。また、あるサンプル点にお
いて、水平および垂直両方向からの繰り返した補填値が
ある場合は、その両方の補填値を平均する。この従来の
方法は画像全体を補填するために、特に動きの大きい画
像に対し誤差の少ない予測領域が得られる。

しかし、反面再生参照画像の全体を参照し補填するた
めには、参照画像全体が復号化されていなければ、補填
作業が開始できないという課題がある。また、繰り返し
補填する場合、画像のサイズに比例し演算量が増加する
問題がある。すなわち、このような補填を行うと、画像
を再生するのに処理量が大きく、長い遅延が発生した
り、場合によって演算量が非常に多いことになる。

そこで、画像サイズに比例しない演算を行うには、再
生した境界領域を領域単位で補填する方法がある。この
方法で遅延と演算量の問題が解決できる。しかし一方、
境界領域だけの補填となるために、有効領域は補填した
境界領域以内の領域に制限され補填の効果が少ない。そ
のために、動きの大きい動画に対して誤差の小さい予測
信号を生成することができない課題を残している。

一方、画像全体を補填する方法では単にデータ量が増
えるので、利点が少ないことになる。即ち有意でない画
素は符号化すべき画素値がなく、有意である画素と同時
にまとめて符号化すると、符号化効率が劣化する。たと
えば、有意画素がすべて黒の場合、有意でない画素が白
であれば符号化効率が劣化するが、有意でない画素が黒
であれば符号化効率は高くなる。このように、有意でな
い画素の値は再生画像の画質には影響を与えないが符号
化効率に影響するので、有意でない画素値について考慮
することが重要であるが、従来は全く検討されていない
という問題がある。

発明の開示 本発明の第一の目的は、遅延時間と演算量が少ない処
理で、動きの大きい画像に対し、誤差の小さい予測信号
を生成できる画像の補填方法を提供するものである。

上記目的を達成するために、本発明は物体を表す画像
情報を含むデジタル画像データにおいて、前記画像を互
いに隣接する複数の領域に分割し、前記物体形状の境界
を含む領域の有意でないサンプル値を、前記有意でない
画素値の近傍の有意である画素値を関数で変換して補填
する、デジタル画像補填方法を提供するものである。

又特に関数変換して補填する有意である画素値とし
て、関数として最も簡単な有意でない画素値に隣接する
有意である画素値をそのまま繰り返して置換する方法と
上記方法を組み合わせて処理することにより、より効果
的な補填をすることも可能である。

又更に、補填領域を適量拡大する方法として、物体形
状の境界を含む領域の近傍の領域であって、有意でない
サンプル値のみからなる無効領域まで拡大して補填する
とともに、前記物体形状の境界を含む領域の有意である
画素値を関数変換して補填する。これにより、更に大き
な動き補償などの処理が可能となるものである。

本発明の第二の目的は、上記デジタル画像補填方法を
デジタル画像符号化、復号化方法、及びその装置に導入
することにより、処理データ量が少なく画質が良好な圧
縮画像処理が可能となることである。

上記目的を達成するため 画素値を表す信号と画素毎
に画素値が有意であるかどうかを示す有意信号とから構
成される画像信号を入力信号とし、その入力信号の物体
を表す画像情報を含むデジタル画像データにおいて、既
に復号された画像信号から前記入力信号に対する予測画
像信号を生成する予測画像生成手段と、前記画像を互い
に隣接する複数の領域に分割し、前記物体形状の境界を
含む領域の有意でないサンプル値を、前記有意でない画
素値の近傍の有意である画素値を関数変換して補填して
出力する画素値生成手段と、前記画素値生成手段の出力
から前記予測画像生成手段の出力を減算する減算手段
と、前記減算手段の出力を符号化する符号化手段と、前
記符号化手段からの出力を復号化する復号化手段と、前
記復号化手段からの出力と前記予測画像生成手段からの
出力を加算する加算手段と、前記加算手段の出力を前記
予測画像生成手段で使用するために一時的に記憶する記
憶手段とを備え、前記符号化器出力を画像符号化装置の
出力とする画像符号化装置を構成するものである。

又、復号化装置として、入力信号を復号化する復号化
手段と、既に復号化された画像信号から前記入力信号に
対する予測画像信号を生成する予測画像生成手段と、こ
の予測画像信号で有意である画素値から所定の関数を用
いて画素値を生成し、前記予測画像信号の有意でない画
素の画素値を前記関数を用いて生成した画素値で置換し
て出力する画素値生成手段と、前記復号化手段からの出
力と前記画素値生成手段からの出力を加算する加算手段
と、この加算手段の出力を前記予測画像生成手段で使用
するために一時的に記憶する記憶手段を有し、前記加算
手段の出力を画像復号化出力とするデジタル画像復号化
装置を提供するものである。

また特に、物体形状の境界に隣接する有意でないサン
プル値のみからなる無効領域を補填することにより、処
理領域が適度に拡大され、大きくデータ量が増大するこ
となく有効に動き補償等の処理精度が向上する。

更に具体的な本発明のデジタル画像補填方法は、第一
補填処理と第二補填処理とを具備し、第一補填処理に
て、有意と有意でないサンプル値から構成する任意形状
の画像のサンプルを第一方向にしたがって走査し、第一
方向において、所定の方法で選択した有意なサンプル値
を有意でないサンプルの値とし第一補填画像を生成し、
第二補填処理にて、有意と有意でないサンプル値から構
成する第一補填画像の各サンプルを第二方向にしたがっ
て走査し、第二方向において、所定の方法で選択した有
意なサンプル値または第一補填処理で補填したサンプル
値を用いて、第一補填画像の有意でないサンプルの値と
する。

本発明の第二の更に具体的なデジタル画像補填方法
は、任意形状のデジタル画像を複数の領域に分割し所定
の順番で処理し、形状の境界に位置する境界領域に隣接
する有意でないサンプル値のみからなる無効領域を、所
定の方法で求められた補填値で補填する。

特に、対象領域が無効領域でない場合、所定の順番に
おいて対象領域に隣接する過去の領域が無効領域であれ
ば、過去の領域を所定の方法で求められた補填値で補填
し、対象領域が無効領域である場合、所定の順番におい
て対象領域に隣接する過去の領域が無効領域でなけれ
ば、対象領域を所定の方法で求められた補填値で補填す
る。

また、本発明のデジタル画像補填方法を用いた画像符
号化装置は、任意形状のデジタル画像データを入力する
入力手段と、このデジタル画像を互いに隣接する複数の
領域に分割し、所定の順番で処理する手段と、対象領域
データと、予測領域データを入力して差分領域データを
生成する第一加算器と、この差分領域データを入力し、
所定の方法で圧縮差分領域データに圧縮する符号化器
と、この圧縮差分領域データを入力し、所定の方法で伸
長差分領域データに復元する復号化器と、この伸長差分
領域データを入力し、予測領域を加算して再生領域デー
タを生成する第二加算器と、この再生領域データを入力
し、前述の補填方法で再生領域に含まれる有意でないサ
ンプル値を補填する第一補填器と、有意でないサンプル
値を補填した再生領域データを予測領域データとして記
憶するフレームメモリとを有する。

また、第一補填器の代わりに、または第一補填器に加
えて第二補填器を追加し、予測領域に含まれる有意でな
いサンプル値を補填する。

又、本発明のデジタル画像補填方法を用いた画像復号
化装置は、圧縮符号化データを入力する入力手段と、こ
の圧縮符号化データを分析し、圧縮差分信号を出力する
データ解析器と、この圧縮差分信号を伸長差分信号に復
元する復号化器と、伸長差分信号と予測信号とを加算し
て、再生信号を生成し出力する加算器と、前述した方法
で再生信号に含まれる有意でないサンプル値を補填する
第一補填器と、第一の補填器により補填された画像デー
タを予測信号として記憶するフレームメモリとを有す
る。

また、第一補填器の代わりに、または第一補填器に加
えて第二補填器を追加し、予測領域に含まれる有意でな
いサンプル値を補填する。

図面の簡単な説明 第１図は本発明の実施例１によるデジタル画像補填方
法を示す模式図である。

第２図は本発明の実施例１によるデジタル画像補填方
法の第一変形を示す模式図である。

第３図は本発明の実施例１によるデジタル画像補填方
法の第二変形を示す模式図である。

第４図は本発明の実施例１によるデジタル画像補填方
法の第三変形を示す模式図である。

第５図は本発明の実施例２によるデジタル画像補填方
法を示す模式図である。

第６図は本発明の実施例３によるデジタル画像補填方
法を示す模式図である。

第７図は本発明の実施例３によるデジタル画像補填方
法の一変形を示す模式図である。

第８図は本発明の実施例４によるデジタル画像補填方
法を示す模式図である。

第９図は本発明の実施例５によるデジタル画像符号化
装置を示すブロック図である。

第10図は本発明の実施例６によるデジタル画像符号化
装置を示すブロック図である。

第11図は本発明の実施例７によるデジタル画像復号化
装置を示すブロック図である。

第12図は本発明の実施例８によるデジタル画像符号化
装置を示すブロック図である。

第13図は本発明の実施例８によるデジタル画像符号化
装置の一変形を示すブロック図である。

第14図は本発明の実施例７によるデジタル画像復号化
装置の一変形を示すブロック図である。

第15図は本発明の実施例９によるデジタル画像復号化
装置を示すブロック図である。

第16図は本発明の実施例９によるデジタル画像復号化
装置の一変形を示すブロック図である。

第17図は本発明の実施例10によるデジタル画像符号化
装置に用いる補填方法を示す模式図である。

第18図は本発明の実施例10によるデジタル画像符号化
装置に用いる補填方法の一変形を示す模式図である。

第19図は本発明の実施例11によるデジタル画像の補填
方法を示す流れ図である。

第20図は本発明の実施例11によるデジタル画像の補填
方法で用いられる領域の補填方法の一実施例を示す模式
図であり、（Ａ）補填値が水平方向にある有意である画
素値の平均値である例、（Ｂ）補填値が水平方向にある
有意である画素値の繰り返し補填の一例、（Ｃ）補填値
が水平方向にある有意である画素値の繰り返し補填の他
の例である。

第21図は本発明の実施例12によるデジタル画像の補填
方法で用いられる領域の補填方法の別の実施例を示す模
式図であり、（Ａ）補填値が垂直方向にある有意である
画素値の平均値である例、（Ｂ）補填値が垂直方向にあ
る有意である画素値の繰り返し補填の一例、（Ｃ）補填
値が垂直方向にある有意である画素値の繰り返し補填の
他の例である。

第22図は本発明の実施例13によるデジタル画像の補填
方法の第一変形を示す流れ図である。

第23図は本発明の実施例14によるデジタル画像の補填
方法の第二変形を示す流れ図である。

第24図は本発明の実施例14によるデジタル画像の補填
方法で補填した画像の第一の例を示す模式図である。

第25図は本発明の実施例14によるデジタル画像の補填
方法で補填した画像の第二の例を示す模式図である。

第26図は本発明の実施例14によるデジタル画像の補填
方法で補填した画像の第三の例を示す模式図である。

第27図は本発明の実施例15によるデジタル画像符号化
装置を示すブロック図である。

第28図は本発明の実施例15によるデジタル画像符号化
装置の変形を示すブロック図である。

第29図は本発明の実施例16によるデジタル画像復号化
装置を示すブロック図である。

第30図は本発明の実施例17によるデジタル画像符号化
装置を示すブロック図である。

第31図は本発明の実施例17によるデジタル画像符号化
装置の変形を示すブロック図である。

第32図は本発明の実施例18によるデジタル画像復号化
装置を示すブロック図である。

発明を実施するための最良の形態 以下、本発明を具体的な実施例を用いて説明する。

（実施例１） 第１図は本発明の実施例１によるデジタル画像補填方
法の模式図を示す。画像501は補填する対象となる画像
である。画像501の各桝目は画素を示し、画像からのサ
ンプルを示す。画素502から507は有意なサンプルを示
し、その他のサンプルは有意でない状態を示している。

本実施例では、あるサンプル値が有意であるかどうか
について、画像の形状信号を参照する。形状信号が０な
ら有意でない、１なら有意である。

画像501から開始し、矢印で示した画像508を生成する
には以下のように各有意でないサンプルを補填する。ま
ず画像501の各行を走査する。この走査処理において、
有意なサンプルを検出すると、その値を有意でないサン
プルの値とする。たとえば、第一行を走査する時に、有
意なサンプルがないため、補填処理が行われれない。第
二行を走査するときに、サンプル509、510、511が有意
でないが、サンプル502が有意であるために、サンプル5
02の値ａを隣接する有意でないサンプル511の行のサン
プル509、510、511の値として補填する。すなわちサン
プル502の値を隣接する有意でないサンプル511からサン
プル510、509と順次水平方向に繰り返し補填する。同様
に、サンプル503の値ｂを繰り返し、サンプル512、51
3、514を補填する。

第三行も同じように補填し、第四行には有意であるサ
ンプルがないので何も補填を行わない。このように補填
した画像508において、第二と第三行目が有意な値をも
つことになる。

次に画像508をもとに、残りの有意でないサンプルを
補填する。次のステップを示す矢印方向の画像519に示
すように、今度は列方向にすなわち垂直方向に走査し、
有意でないサンプル520と528を、画素508のステップで
すでに補填されている夫々サンプル509と515で補填す
る。このようにしてサンプル521から527と、サンプル52
9から535についても同様な手法で垂直方向に補填する。

以上の様な手順で補填を行うことにより、連続性を保
ちつつ簡易な手法により有意でないサンプルを補填でき
るので、画質を保ちつつ画像データの圧縮処理などの演
算処理を効率的に行うことが出来る。

本実施例では、水平と垂直の互いに直交する二つの方
向を走査し補填を行ったが、斜めの方向に走査してもよ
い。なお、まず垂直方向を走査し補填してから次に水平
方向を走査し補填してもよい。また、走査方向において
有意でない値から最も近い有意なサンプルの値で補填し
たが、同様に連続性が保てるので有ればそれに限るもの
ではない。

第２図は本発明の実施例１によるデジタル画像補填方
法の第一変形の模式図を示す。画像508において、水平
方向に走査するときに有意でないサンプルと有意なサン
プルの境を中心にミラーリングを行ってもよい。たとえ
ば、サンプル511と502が鏡の境としサンプル502の値を
サンプル511の値とし、サンプル503の値をサンプル510
の値としてもよい。このようにして画像501を矢印のス
テップで、画像508、519の様に順次補填を行い、すべて
の有意でないサンプルを補填する。

第３図は本発明の実施例１によるデジタル画像補填方
法の第二変形の模式図を示す。これは有意でないサンプ
ルが有意なサンプルの間にある場合の補填方法である。
水平方向に走査する場合について説明するが、その他の
方法を走査する場合でも同じである。サンプル612と613
はサンプル602の値で補填する。別の方法としてサンプ
ル611と614のように、サンプル607の値で補填してもよ
い。最初の方法はサンプルを左から右に走査し有意なサ
ンプルをそのまま引き延ばし補填する。二番目の方法は
右から左に走査し有意なサンプルをそのまま引き延ばし
補填する場合である。三番目の方法として、走査方向に
おいて有意でないサンプルから最も近い有意なサンプル
で補填する。サンプル615と618はこのようにして補填し
たサンプルである。最後に、有意でないサンプルの両側
にある２つの有意なサンプルの平均で補填する。サンプ
ル616と617はこのように補填したものである。

第４図は本発明の実施例１によるデジタル画像補填方
法の第三変形の模式図を示す。画像が楕円形をした物体
を表示する、即ち楕円形に有意であるサンプルが集合し
ているものであり、この画像を基本的に第１図の方法を
用いて補填している。

画像701は有意なサンプルの集合702から構成される。
まず画像703のように水平方向に走査し補填する。次に
画像704のように垂直方向に走査し、有意なサンプルま
たは画像703で補填したサンプルを用いて有意でないサ
ンプルを補填する。一方、画像705のようにまず垂直を
走査し補填してから水平方向を走査し補填する。このよ
うにして得られた二つの補填画像704と706を平均化し画
像707を生成する。このような補填方法により、更に複
雑な物体表示画像についても有意であるサンプルと補填
されたサンプルとの連続性を保つことが出来るので、画
質を保ちつつ演算処理を効率的に行うことが出来るもの
である。

（実施例２） 第５図は本発明の実施例２によるデジタル画像補填方
法の模式図を示す。

画像801は有意なサンプルの集合802から構成される。
まず画像801を水平方向に走査し最も近い有意なサンプ
ル値を有意でないサンプルの値とし画像803を生成す
る。同時に、画像801を垂直方向に走査し最も近い有意
なサンプル値を有意でないサンプルの値とし画像804を
生成する。

画像803と画像804を平均化し画像806を生成する。有
意なサンプルの集合802を平均化しても同じ値になるた
め、平均化しなくてもよい。

画像803と画像804の両方の補填処理で重複して補填し
たサンプルについて両方の補填値を平均化する。片方に
しか補填値がない場合、それを画像806の補填値とす
る。画像803と画像804の両方の補填処理にも補填値のな
いサンプルは有意でないサンプルのままとなる。このよ
うな有意でないサンプルは、次にそのサンプルから最も
近い有意なサンプルまたは補填したサンプルの値で補填
する。補填値の候補が二つ以上ある場合、それらの平均
で補填する。またはそれらの中の一つを用いて補填して
もよい。最終的には画像811のようにすべてのサンプル
が補填することになる。

この実施例による補填方法も実施例１と同様に、複雑
な形状の有意であるサンプルの集合と補填される有意で
ないサンプルとの連続性を保つ他の発明の補填方法であ
る。

（実施例３） 第６図は本発明の実施例３によるデジタル画像補填方
法の模式図を示す。

画像901は有意なサンプルの集合902から構成される。
本実施例では、有意なサンプルの集合902を囲む領域904
を決定し、その領域904の中で、有意でない値を補填す
る。補填方法について上述したものを用いる。残りの領
域905は、補填した領域904を参照して単純な補填方法で
補填し、すべての有意でないサンプル値を補填する（画
像906）。

領域904は長方形であることが好ましいがそれ以外の
形状でもよい。領域904は有意なサンプルの集合902を含
む最も小さい長方形または、最小長方形からｋサンプル
拡大した長方形でもよい。ｋの値は長方形のサイズが所
定の条件を満たすように決定する。たとえば16の倍数に
なるようにｋの値を決定する。

第７図は本発明の実施例３によるデジタル画像補填方
法の一変形を示す模式図であり、画像910は複数の有意
なサンプルの集合911、912、913から構成される。これ
らの集合をそれぞれ包含する領域915、916、917に分割
してから、それぞれの領域の中で前述した方法で補填す
る。

本実施例による補填方法によれば、前もって処理範囲
を規定することにより、演算処理が効率的に行われるも
のである。

（実施例４） 第８図は本発明の実施例４によるデジタル画像補填方
法の模式図を示す。

画像920はMxNのサンプルからなる領域（ブロック）に
分割した後に補填を行う。好ましくはＭ＝Ｎ＝８または
16であるが、任意の値でもよい、三角などの形状に分割
してもよい。ブロック921から929は部分的に有意なサン
プルを含んでいる。それらの値を参照して、上述した方
法で有意でないサンプルを補填する。

有意なサンプルを含まないブロック930や931を補填す
るときに、所定の値で補填する（好ましくは128）か、
または最も近い有意なサンプル値を参照して補填する。
ブロック930を考える。ブロック930は有意なサンプルを
もつブロックの中でブロック929から最も近い。これは
ブロックの左上のサンプルの座標点間の距離を求めるこ
とによってわかる。ブロック929の有意なサンプル値の
平均値を求めて補填する。

またブロック931のように有意なサンプルをもつ最も
近いブロックはブロック922であり、その有意なサンプ
ル値の平均で補填してもよいが、境界にあるサンプル93
4、935、936、937をそのまま繰り返して補填してもよ
い。

このように、所定のブロック単位で補填を行うことに
より、より効率的に演算処理が可能となるものである。

本発明のデジタル画像補填方法を画像符号化・復号化
装置に適応した場合の実施例について以下に説明する。

（実施例５） 第９図は本発明の実施例５によるデジタル画像符号化
装置のブロック図を示す。

第９図において201は入力端子、202は第一加算器、203
は符号化器、204は離散コサイン変換器（DCT）、205は
量子化器、206は出力端子、207は復号化器、208は逆量
子化器、209は逆離散コサイン変換器（IDCT）、210は第
二加算器、211は可変長符号化器（VLC）、213はフレー
ムメモリ、214は動き検出器、215は動き補償器、240は
第一補填器、241は第二補填器である。

以上のように構成されたデジタル画像符号化装置につ
いて、以下、その動作を述べる。任意形状をもつ画像を
入力端子201に入力する。入力した画像を複数の隣接す
る領域に分割する。本実施例では、8x8または16x16のサ
ンプルからなるブロックに分割するが、任意の形状でも
よい。符号化の対象となるブロックをライン225を経由
し動き検出器214に入力する。同時にフレームメモリ213
に格納してある過去の再生画像（以下、参照画像と呼
ぶ）を動き検出器214に入力し、ブロックマッチングな
どの方法で対象ブロックに対し誤差の最も小さい予測信
号を与える動き変位情報（以下、動きベクトルと呼ぶ）
を求めて出力する。

この動きベクトルを動き補償器215に送り、そこで、
参照画像から予測ブロックを生成する。動きベクトルは
またライン228を経由しVLC（211）に送り可変長符号に
変換する。

対象ブロックは第一補填器240に送って前述実施例に
示した方法で補填し、補填対象ブロックを生成する。予
測ブロックは第二補填器241に送り前述した方法で補填
し、補填予測ブロックを生成する。

補填対象ブロックと補填予測ブロックとを第一加算器
202に送り差分をとり残差ブロックを生成する。残差ブ
ロックは、符号化器203にて圧縮される。本実施例で
は、DCT（204）および量子化器205によって圧縮され
る。量子化されたデータをVLC（211）に送り可変長符号
に変換し、動きベクトルを含むその他のサイド情報と共
に出力端子206に出力する。

一方、圧縮されたデータを復号化器207に送り、伸長
する。本実施例では逆量子化器208で逆量子化し、IDCT
（209）で空間領域のデータに伸長する。伸長した残差
ブロックデータに、ライン227を経由し送られる補填予
測ブロックデータを加算し、再生ブロックを生成する。
再生ブロックデータをフレームメモリ213に格納する。
なお、図示されていないがサンプル値が有意か否かを示
すには、形状信号をあらかじめ符号化・復号化したもの
を参照する。

このように、対象ブロックと予測ブロックを補填する
ことにより、動き補償によるエッジ部のずれのために生
じる大きな予測誤差を抑えることができる。

なお、図示していないが補填器246を動き補償器215の
前に配置しても良い。又本実施例では離散コサイン変換
を用いたが、形状適応離散コサイン変換やサブバンドや
ウェアブレットを用いた場合でも同じである。

（実施例６） 第10図は本発明の実施例６によるデジタル画像符号化
装置のブロック図を示す。基本的な動作は実施例５と同
じである。異なる点は第一補填器240において、対象ブ
ロックを補填するには、予測ブロックを補填するための
値を用いる。この値はライン243に経由して第二補填器2
41から第一補填器240に伝送される。このように補填値
を共有することによりほとんどの差分値がゼロになるた
めに予測誤差をさらに抑圧することができる。

（実施例７） 第11図は本発明の実施例７によるデジタル画像復号化
装置のブロック図を示す。第11図において301は入力端
子、302はデータ解析器、303は復号化器、304は逆量子
化器、305はIDCT、306は加算器、307は出力端子、309は
フレームメモリ、310は動き補償器、330は補填器であ
る。

以上のように構成されたデジタル画像復号化装置につ
いて、以下、その動作を述べる。圧縮符号化されたデー
タを入力端子301に入力し、データ解析器302にてデータ
を解析する。圧縮された残差ブロックのデータをライン
312を経由して復号化器303に出力し、動きベクトルをラ
イン318を経由し動き補償器310に出力する。復号化器30
3では、圧縮残差ブロックを伸長し、伸長残差ブロック
に復元する。本実施例では、逆量子化器304で逆量子化
し、逆離散コサイン変換IDCT（305）で周波数領域信号
を空間領域信号に変換する。動きベクトルをライン318
を経由し動き補償器310に入力する。動き補償器310で
は、動きベクトルをもとに、フレームメモリ309をアク
セスするためのアドレスを生成し、フレームメモリ309
に格納される画像から予測ブロックを生成する。生成さ
れた予測ブロックを補填器330に伝送し、そこで前述し
た方法で有意でないサンプルを補填し、補填予測ブロッ
クを生成する。補填予測ブロックと伸長した残差ブロッ
クを加算器306に入力し、加算することにより再生ブロ
ックを生成する。再生ブロックを出力端子307に出力す
ると同時にフレームメモリ309に格納する。

本実施例では、動き補償した予測ブロックを補填する
と説明したが、動き補償しながら補填を行ってもよい。
ここでいう動き補償はオーバラップ動き補償を含む。な
お、図示されていないがサンプル値が有意か否かを示す
には、形状信号をあらかじめ復号化したものを参照す
る。

第14図は本発明の実施例７によるデジタル画像復号化
装置の一変形のブロック図を示す。基本的な動作は第11
図と同じである。この場合補填器332は動き補償器310の
前に設置している。

（実施例８） 第12図は本発明の実施例８によるデジタル画像符号化
装置のブロック図を示す。基本的な動作は第９図と同じ
である。この場合補填器212はフレームメモリの前に設
置している。加算器210からの再生ブロックは、すぐに
補填できるメリットがある。また、DCT（204）の前に補
填器244が設置している。この補填器244によって、DCT
係数が小さくなるように補填を行う。とりわけ、差分ブ
ロックについて対象ブロックの有意でない領域をゼロで
補填する。

第13図は本発明の実施例８によるデジタル画像符号化
装置の一変形のブロック図を示す。第12図に加えて動き
補償器215の後に補填器246が設置されている。動き補償
してから予測信号をさらに補填し、予測誤差を抑圧する
効果がある。

なお、図示していないが補填器246を動き補償器215の
前に配置しても良い。

（実施例９） 第15図は本発明の実施例９によるデジタル画像復号化
装置のブロック図を示す。これは第12図の符号化装置に
対する復号化装置である。基本的な動作は、第14図と同
じである。この場合、フレームメモリ309の前に補填器3
08を設置している。再生したブロックを直ちに補填しフ
レームメモリに格納することができる。

第16図は本発明の実施例９によるデジタル画像復合化
装置の一変形を示すブロック図である。これは第13図の
符号化装置に対する復号化装置である。基本的には第15
図と同じである。異なるのは動き補償器310の後に補填
器330を設置し予測ブロックを補填する。

（実施例10） 第17図は本発明の実施例10によるデジタル画像符号化
装置・復号化装置に用いる補填方法の模式図を示す。こ
こでは第11図を例にして補填器330の動作を説明する。
第17図では対象画像（ブロック）940は有意なサンプル
の集合943と有意でないサンプルの集合944からなる。斜
線の部分は有意の領域である。予測画像941は動き補償
して得られた画像で、有意なサンプルの集合945と有意
でないサンプルの集合946からなる。

第11図の復号化装置において、予測画像941を補填し
てから加算器306に送る。補填器330では有意でない領域
946を全部補填してもよいが、対象画像の有意な領域だ
けを補填したほうが演算量が少ない。対象画像940の形
状を参照して、予測画像の有意でない領域かつ対象画像
の有意な領域を決定し（画像942の領域947）、その領域
だけを補填する。

第18図は本発明の実施例10によるデジタル画像符号化
装置・復号化装置に用いる補填方法の一変形を示す模式
図である。補填の対象となるブロックに有意なサンプル
が一つもない場合を考える。第15図の補填器308を例に
説明する。第18図のブロック962が補填の対象となるブ
ロックとする。このブロックには有意なサンプル値がな
いのでブロック内で補填できない。

そのため、隣接するブロックの中で少なくとも一つ有
意なサンプルからなるブロックを探し、それを参照して
補填する。しかし、第15図の補填器308では、ブロック9
62はブロック964より前に再生されるために、ブロック9
64を参照して補填することができない。そこで、すでに
再生されたブロック966、965、961,963の順に、有意な
サンプルを含めるブロックを探し出しそれを参照して補
填する。

なお、動き補償した予測ブロックに有意なサンプルが
含まれない場合も同じように、復号化の対象となるブロ
ックに隣接する再生ブロックの中から有意なサンプルを
含めるブロックを参照して補填する。補填値の計算方法
として平均値や繰り返し補填を使用してもよい。

以上の説明より明らかなように、本発明の画像符号化
装置および、画像復号化装置を用いることにより、再生
画像の画質には影響を与えない有意でない画素の画素値
を符号化効率が向上する値にして符号化できるので、符
号化効率を向上することができその実用的価値は高い。

（実施例11） 第19図は本発明の実施例11によるデジタル画像の補填
方法の流れ図を示す。任意の形状をもつ画像を入力し、
互いに隣接する複数の領域に分割して、各領域について
所定の順番で走査し、一つずつ第19図の流れ図の方法に
したがって処理する。本実施例では、画像の左上にある
領域からスタートし、ラスタ・スキャンと同じ順番で領
域を走査する。領域の形は三角形でもよいし、長方形や
正方形でのよい。本実施例ではNxN個のサンプルからな
る正方形に分割して処理する。Ｎは８または16である。
以下では、NxN個の正方形をブロックと呼ぶ。

まずステップ12では、現在処理の対象となるブロック
（現ブロック）が完全に任意形状の画像、すなわち物体
の外にあるかどうかを調べる。完全に物体の外にある場
合、該当するブロックのサンプル値はすべて有意でな
い。本実施例では、あるサンプル値が有意であるかどう
かについて、該当する画像の形状信号を参照する。形状
信号が０なら有意でない、１なら有意である。

現ブロックが完全に物体の外になければ、ステップ14
に進む。ここで、現ブロックに隣接する過去のブロック
は完全に物体の外にあるかどうかを調べる。ここに過去
のブロックとは、領域の走査の順番において、先に処理
されたブロックのことである。隣接する過去のブロック
が完全に物体の外にあれば、ステップ16において所定の
方法で補填値を計算し、ステップ18で隣接する過去のブ
ロックのサンプル値を置き換え、補填する。

ステップ12において、現ブロックが完全に物体の外に
あれば、ステップ20に進む。ここで、隣接する過去のブ
ロックが完全に物体の外にあるかどうかを調べる。そう
でなければ、ステップ22において所定の方法で補填値を
計算し、ステップ24で現ブロックのサンプル値を置き換
え、補填する。なお、隣接する過去のブロックがステッ
プ18で補填された場合、ステップ20において完全に物体
の外にないと判断してもよい。

この処理を最後のブロックまで繰り返す（ステップ2
6、28）。

（実施例12） 第20図と第21図は補填値の計算方法についての模式図
を示している。第20図は現ブロックと過去のブロックが
水平方向に隣接する場合である。第20（Ａ）図では、ブ
ロック132が現ブロックで、ブロック130が過去のブロッ
クである。各桝目は画像のサンプル（画素）を示す。ブ
ロック130が完全に物体の外にあるとし、現ブロック132
に含まれる有意なサンプル値134、136、138、140、14
2、144の平均値を求めて、過去のブロック130の各桝目
に代入することによって補填する。第20（Ｂ）図では、
現ブロック148の有意なサンプル値150、152、154、156
を繰り返すことによって過去のブロック146（完全に物
体の外にあるとし）の各桝目を補填する。すなわち過去
のブロック146の第１、２、３、４行の桝目をそれぞれ
サンプル値150、152、154、156で代入する。また第20
（Ｃ）図では現ブロック160が完全に物体の外にあり、
過去のブロック158は物体の外にない場合について、過
去のブロック158の有意なサンプル値162、164、166、16
8を繰り返し現ブロック160の各桝目を補填する。

第21図は現ブロックと過去のブロックが垂直方向に隣
接する場合を示す。第21（Ａ）図では、ブロック172が
現ブロックで、ブロック170が過去のブロックである。
各桝目は画像のサンプル（画素）を示す。過去のブロッ
ク170が完全に物体の外にあるとし、現ブロック172に含
まれる有意なサンプル値174、176、178、180、182、184
の平均値を求めて、過去のブロック170の各桝目に代入
することによって補填する。

第21（Ｂ）図では、現ブロック188の有意なサンプル
値190、192、194、196を繰り返すことによって過去のブ
ロック186（完全に物体の外にあるとし）の各桝目を補
填する。すなわち過去のブロック186の第１、２、３、
４列の桝目をそれぞれ有意なサンプル値196、194、19
2、190で代入する。

また第21（Ｃ）図では現ブロック198が完全に物体の
外にあり、過去のブロック199は物体の外にない場合に
ついて、過去のブロック199の有意なサンプル値1100、1
102、1104、1106を繰り返し現ブロック198の各桝目を補
填する。なお、簡単化するために4x4のブロックについ
て説明したが、NxN（Ｎ＝任意の整数）のブロックにつ
いても同様である。

（実施例13） 第22図は第19図の流れ図にステップ13を加えたもので
ある。すなわち、現ブロックが完全に物体の外にない場
合、現ブロックに含まれる物体外の領域を補填する。第
20（Ａ）図の現ブロック132には物体外の領域が含まれ
る例である。サンプル134、136、138、140、142、144は
物体内にある有意なサンプルで、それ以外のサンプル
（塗りつぶしのない桝目）は物体外にある有意でないサ
ンプルである。

これらの有意でないサンプルを補填するには、有意な
サンプルの平均値で代入する方法がある。本実施例では
境界にあるサンプル134、136、144を水平・垂直方向に
繰り返し補填する。補填値がふたつある場合、両補填値
を平均する。ステップ13における現ブロックの補填によ
り現ブロックのすべてのサンプルが一意の値が代入され
るため、ステップ18における過去のブロックの補填は、
第20（Ｂ）図もしくは第21（Ｂ）図に示すように現ブロ
ックと過去のブロックのブロック境界にある現ブロック
の有意なサンプル値を繰り返して補填することができ
る。なお、繰り返しの代わりに、平均値を求めて代入し
てもよい。

（実施例14） 第23図は第22図において、ステップ15、19、21に水平
方向に隣接する過去のブロックを用いた処理に限定した
場合の流れ図を示す。第23図の処理にしたがって補填し
た画像1108の例を第24図に示す。星の形状1110が有意な
物体で、それ以外の部分は有意でないサンプルで構成さ
れる。画像1108は7x7のブロックに分割されている。ブ
ロック1112と同じ模様で塗りつぶされたブロックは第23
図のステップ13によって補填されたものである。ブロッ
ク1114と同じ模様で塗りつぶされたブロックは第23図の
ステップ19もしくはステップ24によって補填されたもの
である。

第23図と第24図を用いてこの実施例の補填方法を説明
する。まずブロック1112について考える。ステップ12に
おいて現ブロック1112は完全に物体の外にないため、ス
テップ13で補填される。ステップ15において水平に隣接
する過去のブロックが完全に物体の外にないため、なに
もしない。

次にブロック1114について説明する。ステップ12にお
いて現ブロック1114は完全に物体の外にあるため、ステ
ップ21に進む。ここで水平に隣接する過去のブロックが
完全に物体の外にないので、それを参照してステップ24
において現ブロック1114を補填する。

最後にブロック1116について考える。ステップ12にお
いて現ブロック1116は完全に物体の外にあるため、ステ
ップ21に進む。ここで水平に隣接する過去のブロック11
15が完全に物体の外にないので、それを参照してステッ
プ24において現ブロック1116を補填する。

次にブロック1117になるとき、ステップ12において現
ブロック1117は完全に物体の外にないため、ステップ13
で補填され、ステップ15において水平に隣接する過去の
ブロック1116は完全に物体の外にあるためステップ19で
補填される。すなわち、ブロック1116は二回補填される
ことになる。複数の補填値がある場合、これらの補填値
を平均化する。なお、複数の補填値がある場合、その中
の一つを選んで補填することも可能である。このように
して、画像1108の物体を水平方向に拡張して補填するこ
とができる。

また、第23図のステップ15、19と21の処理を水平から
垂直に変更すると第25図に示される垂直方向に拡張補填
した画像が得られる。また、水平と垂直と組み合わせて
処理すれば、第26図のように水平・垂直方向に拡張補填
した画像が得られる。この場合二回以上補填される場
合、複数の補填値のすべてまたは一部を平均化する。な
お、複数の補填候補がある場合、処理の順番において最
近の候補で補填してもよい。

本発明のデジタル画像補填方法を画像符号化・復号化
装置に適応した場合の実施例について以下に説明する。

（実施例15） 第27図は本発明の実施例15によるデジタル画像符号化
装置を示し、第27図において201は入力端子、202は第一
加算器、203は符号化器、204は離散コサイン変換器（DC
T）、205は量子化器、206は出力端子、207は復号化器、
208は逆量子化器、209は逆離散コサイン変換器（IDC
T）、210は第二加算器、211は可変長符号化器（VLC）、
212は補填器、213はフレームメモリ、214は動き検出
器、215は動き補償器である。

以上のように構成されたデジタル画像符号化装置につ
いて、以下、その動作を述べる。任意形状をもつ画像を
入力端子201に入力する。入力した画像を複数の隣接す
る領域に分割する。本実施例では、8x8または16x16のサ
ンプルからなるブロックに分割するが、任意の形状でも
よい。

例として第24図を参照されたい。符号化の対象となる
ブロックをライン225を経由し動き検出器214に入力す
る。同時にフレームメモリ213に格納してある過去の再
生画像（以下、参照画像と呼ぶ）を動き検出器214に入
力し、ブロックマッチングなどの方法で対象ブロックに
対し誤差の最も小さい予測信号を与える動き変位情報
（以下、動きベクトルと呼ぶ）を求めて出力する。

この動きベクトルを動き補償器215に送り、そこで、
参照画像から予測ブロックを生成する。動きベクトルは
またライン228を経由しVLC（211）に送り可変長符号に
変換する。対象ブロックと予測ブロックとを第一加算器
202に送り差分をとり残差ブロックを生成する。残差ブ
ロックを符号化器203にて、圧縮される。本実施例で
は、DCT（204）および量子化器205によって圧縮され
る。

量子化されたデータをVLC（211）に送り可変長符号化
に変換し、動きベクトルを含むその他のサイド情報と共
に出力端子206に出力する。

一方、圧縮されたデータを復号化器207に送り、伸長
する。本実施例では逆量子化器208で逆量子化し、IDCT
（209）で空間領域のデータに伸長する。伸長した残差
ブロックに、ライン227を経由し送られる予測ブロック
を加算し、再生ブロックを生成する。この再生ブロック
を補填器212に入力し、実施例11で説明した補填方法
で、再生ブロックの有意でないサンプル値を置換し補填
する。補填した再生ブロックをフレームメモリ213に格
納する。なお、図示されていないがサンプル値が有意か
否かを示すには、形状信号をあらかじめ符号化・復号化
したものを参照する。

フレームメモリ213に格納される補填した画像はたと
えば第24図、第25図、第26図のようになる。補填した画
像をライン224を経由し動き検出器214と動き補償器215
に送る。本実施例では、動き検出と動き補償の範囲を補
填した領域内（第24図、第25図、第26図では塗りつぶし
領域）に制限する。すなわち補填した領域以外のサンプ
ルをアクセスしない。

第28図は第27図の画像符号化装置に記録器229を接続
した画像符号化装置である。VLC（211）によって可変長
符号化されたデータを記録器229を経由し磁気メディア
（テープやディスク）、光ディスクなどの記録媒体に記
録する。

このように、物体の境界領域に隣接する領域を補填す
ることにより、動き検出・動き補償の範囲が広くなり、
動き大きな画像に対しても残差の少ない予測ブロックが
得られる。また、本発明の補填方法は領域（ブロック）
ごとに行うので、遅延時間や演算量を抑えることができ
る。

なお、本実施例では離散コサイン変換を用いたが、形
状適応離散コサイン変換やサブバンドやウェアブレット
を用いた場合でも同じである。

（実施例16） 第29図は、本発明の実施例16によるデジタル画像復号
化装置を示し、第29図において301は入力端子、302はデ
ータ解析器、303は復号化器、304は逆量子化器、305はI
DCT、306は加算器、307は出力端子、308は補填器、309
はフレームメモリ、310は動き補償器である。

以上のように構成されたデジタル画像復号化装置につ
いて、以下、その動作を述べる。圧縮符号化されたデー
タを入力端子301に入力し、データ解析器302にてデータ
を解析する。圧縮された残差ブロックのデータをライン
312を経由して復号化器303に出力し、動きベクトルをラ
イン318を経由し動き補償器310に出力する。復号化器30
3では、圧縮残差ブロックを伸長し、伸長残差ブロック
に復元する。本実施例では、逆量子化器304で逆量子化
し、逆離散コサイン変換IDCT（305）で周波数領域信号
を空間領域信号に変換する。動きベクトルをライン318
を経由し動き補償器310に入力する。

動き補償器310では、動きベクトルをもとに、フレー
ムメモリ309をアクセスするためのアドレスを生成し、
フレームメモリ309に格納される画像から予測ブロック
を生成する。生成された予測ブロックと伸長した残差ブ
ロックを加算器306に入力し、加算することにより再生
ブロックを生成する。再生ブロックを出力端子307に出
力すると同時に補填器308に入力し、実施例11に説明し
た補填方法で再生された画像を補填し、フレームメモリ
309に格納する。

（実施例17） 第30図は本発明の実施例17によるデジタル画像符号化
装置を示す。基本構成は第27図と同じである。補填器21
2の代わりに初期化器230を用いる。画像をフレームメモ
リ213に書き込む前に、初期化器230によってフレームメ
モリ213に所定の初期化値で初期化する。初期化したフ
レームメモリ213に第二加算器210から出力された再生ブ
ロックを書き込む。初期化値として固定の値を用いても
よい。または、過去に再生された画像の有意なサンプル
値の平均値を用いてもよい。

第31図は第30図の画像符号化装置に記録器229を接続
したものである。VLC（211）によって可変長符号化され
たデータを記録器229を経由し磁気メディア（テープや
ディスク）、光ディスクなどの記録媒体に記録する。

（実施例18） 第32図は本発明の実施例18によるデジタル画像復号化
装置を示す。基本構成は第29図と同じである。補填器30
8の代わりに初期化器320を用いる。画像をフレームメモ
リ309に書き込む前に、初期化器320によってフレームメ
モリ309に所定の初期化値で初期化する。初期化したフ
レームメモリ309に加算器306から出力された再生ブロッ
クを書き込む。初期化値として固定の値を用いてもよ
い。または、過去に再生された画像の有意なサンプル値
の平均値を用いてもよい。

産業上の利用可能性 本発明は、簡単な補填方法で、動き補償した小領域ま
たは再生した小領域の単位で補填することにより、演算
量を大幅に削減できる。補填の範囲は小領域に閉じてい
るので、全画面を渡って補填するよりも遅延時間が短縮
できる。また、境界領域だけでなく、境界領域に隣接す
る有意でないサンプル値のみからなる領域を補填し、そ
れを用いて動き検出・動き補償するために、動きの大き
な画像に対して、差分の小さい予測信号が得られる。こ
れらの要因により、任意形状の画像の予測符号化・復号
化は効率よく行われる効果をもたらす。

フロントページの続き 早期審査対象出願

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】各画素が任意形状物体の内側にある有意な
   画素であるか、または上記任意形状物体の外側にある有
   意でない画素であるかを示す形状信号と、上記任意形状
   物体の画素値を示す画素値信号とを有する任意形状物体
   画像の画素値を、ブロック単位で補填する画素値補填方
   法であって、 上記任意形状物体の境界を含むブロックである境界ブロ
   ックにおいて、有意でない画素の画素値を、上記任意形
   状物体の境界にある有意な画素の画素値を用いて補填す
   る境界ブロック補填ステップと、 有意でない画素のみからなる無効ブロックのうち、上記
   境界ブロックと隣接するブロックである隣接無効ブロッ
   クにおいて、有意でない画素の画素値を、上記境界ブロ
   ック補填ステップで補填された上記境界ブロックのブロ
   ック境界にある画素の画素値を用いて補填する隣接無効
   ブロック補填ステップと、 からなる画素値補填方法。
2. 【請求項２】上記境界ブロック補填ステップは、 上記有意でない画素の画素値を、上記有意でない画素と
   同じ水平位置にあり、かつ、上記任意形状物体の境界に
   ある有意な画素の画素値を用いて水平方向に補填する水
   平繰返し補填ステップと、 上記水平繰返し補填ステップで補填されずに残っている
   有意でない画素の画素値を、上記任意形状物体の境界に
   ある有意な画素の画素値または上記水平繰返し補填ステ
   ップで補填された画素の補填値を用いて垂直方向に補填
   する垂直繰返し補填ステップと、 を含むことを特徴とする、請求の範囲第１項に記載の画
   素値補填方法。
3. 【請求項３】上記水平繰返し補填ステップは、水平方向
   において、上記任意形状物体の境界にある２つの有意な
   画素の間に有意でない画素がある場合には、上記２つの
   有意な画素の間にある有意でない画素の画素値を、上記
   ２つの有意な画素の画素値の平均値で補填することを特
   徴とする、請求の範囲第２項に記載の画素値補填方法。
4. 【請求項４】各画素が任意形状物体の内側にある有意な
   画素であるか、または上記任意形状物体の外側にある有
   意でない画素であるかを示す形状信号と、上記任意形状
   物体の画素値を示す画素値信号とを有する任意形状物体
   画像を符号化した圧縮符号化データをブロック単位で復
   号化する画像復号化装置であって、 上記圧縮符号化データを復号化して再生ブロックを生成
   する復号化手段と、 上記再生ブロックに含まれる有意でない画素の画素値を
   補填して、補填後の再生ブロックを記憶媒体に格納する
   補填手段とで構成され、 上記補填手段は、 上記再生ブロックが、上記任意形状物体の境界を含むブ
   ロックである境界ブロックである場合、上記再生ブロッ
   クに含まれる有意でない画素を、上記再生ブロックに含
   まれる上記任意形状物体の境界にある有意な画素の画素
   値を用いて補填する境界ブロック補填手段と、 上記再生ブロックが、有意でない画素のみからなる無効
   ブロックであって、上記境界ブロックと隣接する隣接無
   効ブロックである場合、上記隣接無効ブロックの画素の
   画素値を、上記境界ブロック補填手段で補填された上記
   境界ブロックのブロック境界にある画素の画素値を用い
   て補填する隣接無効ブロック補填手段と、を有すること
   を特徴とする画像復号化装置。
5. 【請求項５】各画素が任意形状物体の内側にある有意な
   画素であるか、または上記任意形状物体の外側にある有
   意でない画素であるか示す形状信号と、上記任意形状物
   体の画素値を示す画素値信号とを有する任意形状物体画
   像を、ブロック単位で圧縮符号化する画像符号化装置で
   あって、 上記任意形状物体画像を分割して複数のブロックを得る
   ブロック化手段と、 上記ブロックを符号化して圧縮符号化データを生成する
   符号化手段と、 上記圧縮符号化データを復号化して再生ブロックを生成
   する復号化手段と、 上記再生ブロックに含まれる有意でない画素の画素値を
   補填して、記憶媒体に格納する補填手段とで構成され、 上記補填手段は、 上記再生ブロックが上記任意形状物体の境界を含むブロ
   ックである境界ブロックである場合、上記再生ブロック
   に含まれる有意でない画素の画素値を、上記再生ブロッ
   クに含まれる上記任意形状物体の境界にある有意な画素
   の画素値を用いて補填する境界ブロック補填手段と、 上記再生ブロックが、有意でない画素のみからなる無効
   ブロックであって、上記境界ブロックと隣接する隣接無
   効ブロックである場合、上記隣接無効ブロックの画素の
   画素値を、上記境界ブロック補填手段で補填された上記
   境界ブロックのブロック境界にある画素の画素値を用い
   て補填する隣接無効ブロック補填手段と、 を有することを特徴とする画像符号化装置。