JPH10191361A - 画像信号の補填方法，画像信号符号化装置，及び画像信号復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 復号の際の遅延時間や演算量を大幅に削減す
る。 【解決手段】 任意形状を持つ物体の画像信号を複数の
領域に分割し、上記複数の領域を所定の順序で処理し、
形状の境界に位置する境界領域に隣接する有意でない画
素のみで構成される無効領域を、所定の方法で求められ
た補填値を用いて、補填し、画像信号を出力する, 画像
信号の補填方法であって、上記複数の領域内の画素の画
素値が有意であるか否かを示す有意信号を参照して、上
記複数の領域毎に、有意である画素が含まれるか否かを
示す付加情報を、所定の方法で生成し、上記付加情報を
参照して、上記複数の領域に対し、画素値の補填を行う
ようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、任意形状をもつ画
像信号を補填する画像信号の補填方法、及びその補填方
法を用いた画像信号の符号化装置、復号化装置, 及び動
き補償方法に関するものである。なお、画像信号とは、
画素値をあらわすカラー信号や、画素の透過度を示す透
過度信号を示すものとする。

【０００２】

【従来の技術】デジタル画像を効率よく蓄積、もしくは
伝送するためには、該画像信号を圧縮符号化する必要が
ある。このように、デジタル画像信号を効率よく圧縮符
号化するための方法としては、代表的な規格であるＪＰ
ＥＧ（Joint Photographic Experts Group )や、ＭＰＥ
Ｇ ( Moving Picture Experts Group)における中心的な
技術である, 離散コサイン変換（ＤＣＴ）のほかに、サ
ブバンド符号化、ウェーブレット符号化、フラクタル符
号化などの波形符号化方法がある。また、画像間の冗長
な信号を取り除くためには、動き補償を用いた画像間予
測を行い、画像間の差分、すなわち現画像と参照画像間
の差分をとり、この差分信号を、波形符号化するように
する。このようにすれば、高圧縮率の符号化データを得
ることができる。

【０００３】最近では、圧縮効率を向上させると同時
に、画像を構成する物体範囲の再生ができるように、画
像を構成する物体を別々に圧縮符号化し、伝送する方法
が提案されている。再生側では、それぞれの物体を復号
化し、再生した物体を合成し、画像を表示する。なお、
画像を合成する際には、重ねる画像によって背景が隠さ
れるか、または背景が隠されないかを、各画素ごとに示
す情報が必要である。合成に使用されるこの情報を、有
意信号と呼び、背景が隠されている画素を有意と呼ぶ。

【０００４】また、画像信号を物体単位にて符号化する
ことで、この符号化信号を用いて物体を自由に組み合わ
せて合成することにより、動画像を簡単に再編集するこ
とができる。また、通信路の混み具合や、再生装置の性
能、視聴者の好みなどによって、比較的重要でない物体
については、これを再生せずに、動画像を見るようにす
ることが出来る。

【０００５】さらに、任意の形状を持つ画像（物体）を
符号化するために、形状に適した符号化方法、たとえば
形状適応離散コサイン変換を用いるか、画像の無効領域
（物体の外、有意でない画素のみで構成される領域）を
所定の方法で補填し、従来の８×８のコサイン変換など
を用いて符号化を行うようにする。

【０００６】一方、画像間の冗長な信号を取り除くため
に、過去において再生された参照画像を、動き補償して
得られた予測領域（たとえば１６×１６画素から構成さ
れるブロック）においても、物体の境界において有意で
ない画素が含まれることがある。このような予測領域に
対しては、いったん補填をしてから、該予測領域と対象
領域との差分をとって、予測誤差信号を生成し、変換符
号化を行う。ここで、予測領域に関して差分を取るの
は、差分信号を抑圧するためである。

【０００７】

【発明が解決しようとする課題】従来の方法では、予測
領域に有意でない画素が含まれないように、画像の全体
を参照して補填をしてから、動き補償などの方法で、予
測領域を取得するようにしている。このような従来の方
法での補填方法では、物体の境界にある有意な画素の画
素値を繰り返し用いて、有意でない画素の画素値を、こ
の画素値で置き換える。ある画素において、水平方向,
及び垂直方向に繰り返し配置した補填値がある場合、そ
の両方を平均し、補填値として、有意でない画素の画素
値をこれで置き換える。このようにして、画像全体を補
填することにより、特に動きの大きい画像に対して、誤
差の少ない予測領域を得ることができる。

【０００８】しかし、再生参照画像の全体を参照して、
補填するためには、参照画像全体が復号化されていなけ
れば、補填作業を開始することができない。また、繰り
返し補填をする場合、画像の大きさに比例して、演算量
が増加する。すなわち、画像を再生するのに遅延が生
じ、場合によっては、演算量が非常に多くなってしま
う。

【０００９】一方、演算量が画像の大きさに比例しない
ような演算を行う方法としては、再生した境界領域を、
領域単位で補填する方法がある。この方法を用いること
で、遅延と演算量の問題を解決することができる。しか
るに、この方法では、境界領域だけを補填するために、
有効領域は補填した境界領域以内の領域に制限されるこ
ととなる。したがって、動きの大きい動画に対して、誤
差の小さい予測信号を生成することはできないこととな
る。

【００１０】本発明は、上記のような問題点に鑑みてな
されたもので、遅延時間と演算量が少なく、動きの大き
い画像に対し、誤差の小さい予測信号を生成することの
できる画像の補填方法を提供することを目的としてい
る。またこの発明は、上記画像信号の補填方法を用い
た、同様に、遅延時間と演算量が少なく、動きの大きい
画像に対し、誤差の小さい予測信号を生成することので
きる画像信号符号化装置、及び画像信号復号化装置を提
供することを目的としている。

【００１１】

【課題を解決するための手段】この課題を解決するため
に、請求項１にかかる発明の画像信号の補填方法は、任
意形状を持つ物体の画像信号を複数の領域に分割し、上
記複数の領域を所定の順序で処理し、形状の境界に位置
する境界領域に隣接する有意でない画素のみで構成され
る無効領域を、所定の方法で求められた補填値を用い
て、補填し、画像信号を出力する, 画像信号の補填方法
であって、上記複数の領域内の画素の画素値が有意であ
るか否かを示す有意信号を参照して、上記複数の領域毎
に、有意である画素が含まれるか否かを示す付加情報
を、所定の方法で生成し、上記付加情報を参照して、上
記複数の領域に対し、画素値の補填を行うようにしたも
のである。

【００１２】請求項２の発明は、請求項1 記載の画像信
号の補填方法において、上記所定の方法は、境界領域に
あるブロック内の物体の値を、物体外の無効領域まで引
き延ばす方法であるものとしたものである。

【００１３】請求項３の発明は、任意形状を持つ物体の
画像信号を複数の領域に分割し、上記複数の領域を所定
の順序で処理し、形状の境界に位置する境界領域に隣接
する有意でない画素のみで構成される無効領域を、上記
境界領域内の有意である画素の画素値と、所定の関数と
を用いて、求められた補填値を用いて補填し、画像信号
を出力する, 画像信号の補填方法であって、上記複数の
領域の画素の画素値が有意であるか否かを示す有意信号
を参照して、上記複数の領域毎に、有意である画素が含
まれるか否かを示す付加情報を、所定の方法で生成し、
上記付加情報を参照して、上記複数の領域に対し、画素
値の補填を行うものとしたものである。

【００１４】請求項４の発明は、請求項３記載の画像信
号の補填方法において、上記画素値の補填は、補填の対
象となる無効領域に含まれる画素の位置に対応する, 上
記境界領域内に含まれる画素の画素値を用いる, コピー
イング関数を用いて、行うものとしたものである。

【００１５】請求項５の発明は、請求項３記載の画像信
号の補填方法において、上記画素値の補填は、補填の対
象となる無効領域に含まれる画素の位置にて、境界領域
と上記無効領域が隣接する隣接境界線上で線対称に位置
する, 上記境界領域に含まれる画素の画素値を用いる,
ミラーリング関数を用いて、行うものとしたものであ
る。

【００１６】請求項６の発明は、任意形状を持つ物体の
画像信号を複数の領域に分割し、上記複数の領域を所定
の順序で処理し、形状の境界に位置する境界領域の有意
でない画素の画素値を, 所定の方法で求められた補填値
で補填し、上記境界領域に隣接する有意でない画素のみ
で構成される無効領域を、上記補填した境界領域の画素
の画素値と、第２の所定の関数とを用いて求められた補
填値で補填し、画素信号を出力する, 画像信号の補填方
法であって、上記複数の領域の画素の画素値が有意であ
るか否かを示す有意信号を参照して、上記複数の領域毎
に有意である画素が含まれるか否かを示す付加情報を、
所定の方法で生成し、上記付加情報を参照して、上記複
数の領域に画素値の補填を行うものとしたものである。

【００１７】請求項１１の発明は、任意形状を持つ物体
の画像信号を複数の領域に分割し、上記複数の領域を所
定の順序で処理し、形状の境界に位置する境界領域に隣
接する有意でない画素のみで構成される無効領域を、所
定の方法で求められた補填値で補填し、画像信号を出力
することを特徴とする画像信号の補填方法であって、上
記複数領域の画素の画素値が有意であるか否かを示す有
意信号を参照して、上記複数の領域毎に、有意である画
素が含まれるか否かを示す付加情報を、所定の方法で生
成し、対象領域が無効領域でない場合、上記付加情報を
参照することによって、上記所定の順序において上記対
象領域に隣接する過去の領域が無効領域であると判定さ
れれば、上記過去の領域を、所定の方法で求められた補
填値で、補填し、対象領域が無効領域である場合、上記
付加情報を参照することによって、上記所定の順序にお
いて上記対象領域に隣接する過去の領域が無効領域でな
いと判定されれば、上記対象領域を、所定の方法で求め
られた補填値で、補填するものとしたものである。

【００１８】請求項１２の発明は、請求項１１記載の画
像信号の補填方法において、上記対象領域が無効領域で
ない場合、付加情報を参照することによって、所定の順
序において上記対象領域に隣接する過去の領域が無効領
域であると判定されれば、上記過去の領域に含まれる画
素の位置に対応する, 上記対象領域内の画素の画素値を
用いる, コピーイング関数を用いて、上記過去の領域の
補填を行い、上記対象領域が無効領域である場合、上記
付加情報を参照することによって、所定の順序において
上記対象領域に隣接する上記過去の領域が無効領域でな
いと判定されれば、上記対象領域に含まれる画素の位置
に対応する，上記過去の領域内の画素の画素値を用い
る, コピーイング関数を用いて、上記対象領域の補填を
行うものとしたものである。

【００１９】請求項１３の発明は、請求項１１記載の画
像信号の補填方法において、上記対象領域が無効領域で
ない場合、付加情報を参照することによって、所定の順
序において上記対象領域に隣接する過去の領域が無効領
域であると判定されれば、上記過去の領域に含まれる画
素の位置に、上記過去の領域と上記対象領域が隣接する
隣接境界線上で線対称に位置する, 上記対象領域に含ま
れる画素の画素値を用いる, ミラーリング関数を用い
て、上記過去の領域の補填を行い、上記対象領域が無効
領域である場合、上記付加情報を参照することによっ
て、上記所定の順序において上記対象領域に隣接する上
記過去の領域が無効領域でないと判定されれば、上記対
象領域に含まれる画素の位置に、上記無効領域と上記過
去の領域が隣接する隣接境界線上で線対称に位置する,
上記過去の領域に含まれる画素の画素値を用いる, ミラ
ーリング関数を用いて、該対象領域の補填を行うものと
したものである。

【００２０】請求項１４の発明は、任意形状を持つ物体
の画像信号を複数の領域に分割し、上記複数の領域を所
定の順序で処理し、形状の境界に位置する境界領域に隣
接する有意でない画素のみで構成される無効領域を、所
定の方法で求められた補填値で補填し、画像信号を出力
する, 画像信号の補填方法であって、上記複数領域に含
まれる画素の画素値が有意であるかことを示す有意信号
を参照して、上記複数の領域毎に、有意である画素が含
まれるか否かを示す付加情報を、所定の方法で生成し、
対象領域が無効領域でない場合、上記付加情報を参照す
ることによって、上記所定の順序において上記対象領域
に隣接する過去の領域が無効領域であると判定されれ
ば、上記過去の領域を、上記対象領域に含まれる有意な
画素の画素値と、所定の関数とを用いて求められた補填
値を用いて、補填し、対象領域が無効領域である場合、
上記付加情報を参照することによって、上記所定の順序
において上記対象領域に隣接する過去の領域が無効領域
でないと判定されれば、上記対象領域を、上記過去の領
域に含まれる有意な画素の画素値と、所定の関数とを用
いて求められた補填値で、補填するものとしたものであ
る。

【００２１】請求項１５の発明は、任意形状を持つ物体
の画像信号を複数の領域に分割し、上記複数の領域を所
定の順序で処理し、形状の境界に位置する境界領域に隣
接する有意でない画素のみで構成される無効領域を、所
定の方法で求められた画素値を用いて、補填し、画像信
号を出力する, 画像信号の補填方法であって、上記複数
領域に含まれる画素の画素値が有意であるか否かを示す
有意信号を参照して、上記複数の領域毎に、有意である
画素が含まれるか否かを示す付加情報を、所定の方法で
生成し、対象領域が無効領域でない場合、上記対象領域
に含まれる有意でない画素の画素値を、所定の方法で求
められた画素値を用いて、補填し、付加情報を参照する
ことによって、上記所定の順序において上記対象領域に
隣接する過去の領域が無効領域であると判定されれば、
上記過去の領域を、上記補填した対象領域に含まれる画
素の画素値と、第２の所定の関数とを用いて求められた
画素値で、補填し、上記対象領域が無効領域である場
合、上記付加情報を参照することによって、上記所定の
順序において上記対象領域に隣接する過去の領域が無効
領域でないと判定されれば、上記対象領域を、上記過去
の領域に含まれる画素の画素値と、第２の所定の関数と
を用いて求められた補填値で、補填するものとしたもの
である。

【００２２】請求項１６の発明は、請求項１５記載の画
像信号の補填方法において、上記対象領域が無効領域で
ない場合は、上記対象領域に含まれる有意でない画素の
画素値を、所定の方法で求められた画素値で補填し、付
加情報を参照することによって、所定の順序において上
記補填された対象領域に隣接する過去の領域が無効領域
であると判定されれば、上記過去の領域に含まれる画素
の位置に対応する, 上記補填した対象領域の画素の画素
値を用いる, コピーイング関数を用いて、上記過去の領
域を補填し、上記対象領域が無効領域である場合は、上
記付加情報を参照することによって、上記所定の順序に
おいて上記対象領域に隣接する上記過去の領域が無効領
域でないと判定されれば、上記対象領域に含まれる画素
の位置に対応する, 上記過去の領域内の画素の画素値を
用いる, コピーイング関数を用いて、上記対象領域を補
填するものとしたものである。

【００２３】請求項１７の発明は、請求項１５記載の画
像信号の補填方法において、上記対象領域が無効領域で
ない場合は、上記対象領域に含まれる有意でない画素の
画素値を、所定の方法で求められた画素値で、補填し、
付加情報を参照することによって、所定の順序において
上記補填された対象領域に隣接する過去の領域が無効領
域であると判定されれば、上記過去の領域に含まれる画
素の位置に、上記過去の領域と上記補填された対象領域
が隣接する隣接境界線上で線対称に位置する,上記補填
された対象領域に含まれる画素の画素値を用いる, ミラ
ーリング関数を用いて、上記過去の領域を、補填し、上
記対象領域が無効領域である場合、上記付加情報を参照
することによって、上記所定の順序において上記対象領
域に隣接する上記過去の領域が無効領域でないと判定さ
れれば、上記対象領域に含まれる画素の位置に、上記過
去の領域と上記対象領域が隣接する隣接境界線上で線対
称に位置する, 上記過去の領域に含まれる画素の画素値
を用いる, ミラーリング関数を用いて、上記対象領域を
補填するものとしたものである。

【００２４】請求項１８の発明は、任意形状を持つ物体
の画像信号を複数の領域に分割し、上記複数の領域を所
定の順序で処理し、形状の境界に位置する境界領域に隣
接する有意でない画素のみで構成される無効領域を、上
記境界領域内の有意である画素の画素値と、所定の関数
とを用いて求められた補填値を用いて、補填して出力す
る, 画像信号の補填方法であって、上記補填値は、補填
の対象となる無効領域に含まれる画素の位置に対応す
る,上記境界領域内に含まれる画素の画素値を用いる,
コピーイング関数を用いて、補填を行うものとしたもの
である。

【００２５】請求項１９の発明は、任意形状を持つ物体
の画像信号を複数の領域に分割し、上記複数の領域を所
定の順序で処理し、形状の境界に位置する境界領域に隣
接する有意でない画素のみで構成される無効領域を、上
記境界領域内の有意である画素の画素値と、所定の関数
とを用いて求められた補填値を用いて、補填して出力す
る, 画像信号の補填方法であって、 上記補填値は、補
填の対象となる無効領域に含まれる画素の位置に、境界
領域と上記無効領域が隣接する隣接境界線上で線対称に
位置する, 上記境界領域に含まれる画素の画素値を用い
る, ミラーリング関数を用いて、補填を行うものとした
ものである。

【００２６】請求項２０の発明は、任意形状を持つ物体
の画像信号を複数の領域に分割し、上記複数の領域を所
定の順序で処理し、形状の境界に位置する境界領域の有
意でない画素の画素値を、所定の方法を用いて求められ
た補填値を用いて、補填し、上記境界領域に隣接する有
意でない画素のみで構成される無効領域を、上記補填し
た境界領域の画素の画素値と、第2 の関数とを用いて求
められた補填値を用いて補填して、画像信号を出力す
る, 画像信号の補填方法であって、上記補填値は、補填
の対象となる無効領域に含まれる各画素の位置に対応す
る, 上記補填した境界領域内に含まれる画素の画素値を
用いる, コピーイング関数を用いて、補填を行うものと
したものである。

【００２７】請求項２１の発明は、任意形状を持つ物体
の画像信号を複数の領域に分割し、上記複数の領域を所
定の順序で処理し、形状の境界に位置する境界領域の有
意でない画素の画素値を、所定の方法を用いて求められ
た補填値で補填し、上記境界領域に隣接する有意でない
画素のみで構成される無効領域を、上記補填した境界領
域の画素の画素値と、第2 の所定の関数とを用いて求め
られた補填値で補填して、画像信号を出力する, 画像信
号の補填方法であって、上記補填値は、補填の対象とな
る無効領域に含まれる各画素の位置に対し、すでに補填
された境界領域と上記無効領域が隣接する隣接境界線上
で線対称に位置する, 上記補填された境界領域に含まれ
る画素の画素値を用いる, ミラーリング関数を用いて、
上記無効領域に対し、補填を行うものとしたものであ
る。

【００２８】請求項２２の発明の画像信号符号化装置
は、入力手段と、第１加算手段と、符号化手段と、復号
化手段と、第２加算手段と、補填手段と、メモリと、予
測領域生成手段を具備し、上記入力手段に任意形状の画
像信号を入力し、上記画像信号を互いに隣接する複数の
領域に分割し、上記複数の領域を対象領域として所定の
順序で処理し、上記第１加算手段に上記対象領域と、上
記予測領域生成手段からの予測領域とを入力して差分領
域を生成し、 上記符号化手段に上記差分領域を入力し
て、該符号化手段により、所定の方法で上記差分領域を
圧縮差分領域に変換し、上記復号化手段に上記圧縮差分
領域を入力して、該復号化手段により、所定の方法で圧
縮差分領域を上記伸張差分領域に復元し、上記第２加算
手段に上記伸張差分領域を入力し、該伸張差分領域に上
記予測領域を加算して再生領域を生成し、上記補填手段
に上記再生領域を入力し、所定の方法で、上記再生領域
に含まれる有意でない画素の画素値を補填して、補填領
域として上記メモリに格納し、上記予測領域生成手段に
上記メモリに格納した上記補填領域を入力して、上記予
測領域を生成し、上記圧縮差分領域信号を画像信号符号
化装置の出力とする画像信号符号化装置であって、上記
補填手段は、請求項１，２，３，１１，１４，１８また
は１９に記載の画像信号の補填方法で画素値の補填を行
うものとしたものである。

【００２９】請求項２３の発明の画像信号符号化装置
は、入力手段と、第１加算手段と、符号化手段と、復号
化手段と、第２加算手段と、第１補填手段と、第２補填
手段と、第１メモリと、第２メモリと、予測領域生成手
段を具備し、上記入力手段に、任意形状の画像信号を入
力し、該画像信号を互いに隣接する複数の領域に分割
し、上記複数の領域を、対象領域として、所定の順序で
処理し、上記第１加算手段に、上記対象領域と、上記予
測領域生成手段からの予測領域とを入力して、差分領域
を生成し、上記符号化手段に、上記差分領域を入力し
て、該符号化手段により、所定の方法で、該差分領域
を、圧縮差分領域に変換し、上記復号化手段に、上記圧
縮差分領域を入力して、該復号化手段により、所定の方
法で、該圧縮差分領域を、伸張差分領域に復元し、上記
第２加算手段に、上記伸張差分領域を入力し、該伸長差
分領域に上記予測領域を加算して、再生領域を生成し、
上記第１補填手段に、上記再生領域を入力し、所定の方
法で、上記再生領域に含まれる形状の境界に位置する境
界領域の有意でない画素の画素値を補填して、上記第１
メモリに格納し、上記第２補填手段に、上記第１メモリ
内容を入力し、所定の方法で、上記第１メモリ内容に含
まれる上記境界領域に隣接する有意でない画素のみで構
成される無効領域を補填して、第２補填領域として、上
記第２メモリに格納し、上記予測領域生成手段に、上記
第２メモリに格納した上記第２補填領域を入力して、上
記予測領域を生成し、上記圧縮差分領域信号を、画像信
号符号化装置の出力とする画像信号符号化装置であっ
て、上記第１補填手段, 及び第２補填手段は、請求項
６，１５，２０または２１に記載の画像信号の補填方法
で画素値の補填を行うものとしたものである。

【００３０】請求項３２の発明の画像信号復号化装置
は、入力手段と、データ解析手段と、復号化手段と、加
算手段と、補填手段と、メモリと、予測信号生成手段と
を具備し、上記入力手段に、圧縮符号化された符号化信
号を入力し、上記データ解析手段で、上記符号化信号を
解析して、圧縮差分信号を出力し、上記復号化手段で、
上記圧縮差分信号を伸長差分信号に復号化し、上記予測
信号生成手段にて、上記メモリから取得した画像信号を
用いて、予測信号を生成し、上記加算手段にて、上記伸
長差分信号と、上記予測信号とを加算して、再生信号と
して出力すると同時に、上記補填手段にて、所定の方法
で、上記再生信号に含まれる有意でない画素の画素値を
補填して、上記メモリに格納する画像信号復号化装置で
あって、上記補填手段は、請求項１，２，３，１１，１
４，１８または１９に記載の補填方法で画素値の補填を
行うものとしたものである。

【００３１】請求項３３の発明の画像信号復号化装置
は、入力手段と、データ解析手段と、復号化手段と、加
算手段と、第１補填手段と、第２補填手段と、第１メモ
リと、第２メモリと、予測信号生成手段とを具備し、上
記入力手段に、圧縮符号化された符号化信号を入力し、
上記データ解析手段で、上記符号化信号を解析して、圧
縮差分信号を出力し、上記復号化手段で、上記圧縮差分
信号を伸長差分信号に復号化し、上記予測信号生成手段
にて、上記第２メモリから取得した画像信号を用いて、
予測信号を生成し、上記加算手段にて、上記伸長差分信
号と、上記予測信号とを加算して、再生信号として出力
すると同時に、上記第１補填手段にて、上記再生信号が
含まれる形状の領域に位置する境界領域であれば、所定
の方法で、上記境界領域の有意でない画素の画素値を補
填して、上記第１メモリに格納し、上記第２補填手段に
て、上記第１メモリに格納された境界領域に隣接する有
意でない画素のみで構成された無効領域を、所定の方法
で補填して、第２メモリに格納する画像信号復号化装置
であって、上記第1,及び第2 の補填手段は、請求項６，
１５，２０または２１に記載の補填方法で画素値の補填
を行うものとしたものである。

【００３２】請求項４２の発明は、入力手段と、データ
解析手段と、復号化手段と、加算手段と、補填手段と、
メモリと、予測信号生成手段とを具備し、上記入力手段
に、圧縮符号化された符号化信号を入力し、上記データ
解析手段で、上記符号化信号を解析して、圧縮差分信号
を出力し、上記復号化手段で、上記圧縮差分信号を伸長
差分信号に復号化し、上記予測信号生成手段にて、上記
メモリから取得した画像信号を用いて、予測信号を生成
し、上記加算手段にて、上記伸長差分信号と、上記予測
信号とを加算して、再生信号として出力すると同時に、
上記補填手段にて、所定の方法で、上記再生信号に含ま
れる有意でない画素の画素値を補填して、上記メモリに
格納する画像信号復号化装置であって、上記補填手段
は、請求項１，２，３，１１，１４，１８または１９に
記載の画像信号の補填方法で、全画像ブロックの外周領
域を除く領域内での画素値の補填を行い、動き補償で参
照した予測小領域がそれより外側の領域をも含む場合に
は、動き補償と同時に該外側にある無効領域の補填を行
うものであるものとしたものである。

【００３３】請求項４３の発明は、入力手段と、データ
解析手段と、復号化手段と、加算手段と、補填手段と、
メモリと、予測信号生成手段とを具備し、上記入力手段
に、圧縮符号化された符号化信号を入力し、上記データ
解析手段で、上記符号化信号を解析して、圧縮差分信号
を出力し、上記復号化手段で、上記圧縮差分信号を伸長
差分信号に復号化し、上記予測信号生成手段にて、上記
メモリから取得した画像信号を用いて、予測信号を生成
し、上記加算手段にて、上記伸長差分信号と、上記予測
信号とを加算して、再生信号として出力すると同時に、
上記補填手段にて、所定の方法で、上記再生信号に含ま
れる有意でない画素の画素値を補填して、上記メモリに
格納する画像信号復号化装置であって、上記第１, 及び
第２の補填手段は、請求項６，１５，２０または２１に
記載の画像信号の補填方法で、全画像ブロックの外周領
域を除く領域内での画素値の補填を行い、動き補償で参
照した予測小領域がそれより外側の領域をも含む場合に
は、動き補償と同時に該外側にある無効領域の補填を行
うものであるものとしたものである。

【００３４】請求項４４の発明の動き補償方法は、請求
項１, ２, ３，６，１１, １４, １５, １８, １９, ２
０または２１のいずれかに記載の画像信号の補填方法
を、画像信号の復号化において、動き補償を行う際に同
時に行うものとしたものである。

【００３５】請求項４５の発明の記録媒体は、請求項
１，２，３，６，１１，１４，１５，１８，１９，２０
または２１のいずれかに記載の画像信号の補填方法のプ
ログラムを、記憶してなるものとしたものである。

【００３６】

【発明の実施の形態】

（実施の形態１）図１は、本発明の実施の形態１による
画像信号の補填方法を説明するための図であり、図１は
本実施の形態1 において用いる画像信号の補填方法の付
加情報を用いない部分を説明するための流れ図、図２，
３は、その補填方法の補填の仕方を説明する図、図４、
図５は上記図1 の補填方法の流れ図の一部を、それぞれ
変化させたものの流れ図、図６〜８は図５の方法による
画像の補填のされ方を示す図、図９は本実施の形態1 に
おいて用いる付加情報について説明する図である。以
下、これらの図を用いて本実施の形態1 について説明す
る。

【００３７】本実施の形態１の画像信号の補填方法の主
要部を説明するものとして、まず、図1 の流れ図による
補填方法について説明する。この補填方法では、任意の
形状を持つ画像を入力し、該画像信号を互いに隣接する
複数の領域に分割して、各領域について、所定の順序で
画像信号の補填の操作をし、すなわち、各ブロック毎に
一つずつ図１の流れ図に従って処理する。ここで、領域
の操作は、左上にある領域からスタートし、ラスタスキ
ャンと同じ順序で領域を走査する。領域の形は三角形で
もよいし、長方形や正方形でもよいものとする。また、
領域の分割の仕方は、全体領域を、Ｎ×Ｎ個の画素から
なる正方形領域ごとに分割して処理することとし、Ｎは
８または１６である。以下では、Ｎ×Ｎ個の画素からな
る正方形を、ブロックと呼ぶ。

【００３８】図１の流れ図において、まず、ステップ12
では、現在処理の対象となるブロック、すなわち現ブロ
ックが、完全に任意形状の画像, すなわち物体, の外に
あるかどうかを調べる。現ブロックが完全に物体の外に
ある( ステップ12でYES ）場合は、該当するブロックの
画素はすべて有意でないものであり、現ブロックが完全
に物体の外にあるのでない（ステップ12でNO）場合は、
現ブロックは、有意である画素を含むこととなる。ここ
で、ある画素が有意であるか否かは、例えば、上記物体
の形状信号から作成した有意信号を参照して判定を行
う。有意信号が０ならば有意でない、１ならば有意であ
る、ものとする。

【００３９】図１の流れ図において、現ブロックが完全
に物体の外にあるのでなければ（ステップ12でNO）、ス
テップ14に進む。ステップ14では、現ブロックに隣接す
る過去のブロックは、完全に物体の外にあるか否かを調
べる。ここで、過去のブロックとは、領域の走査の順序
において、先に処理されたブロックのことである。現ブ
ロックに隣接する過去のブロックが完全に物体の外にあ
る( ステップ14の判定でYES)のであれば、ステップ16
で、所定の方法で、上記隣接する過去のブロック用の,
補填値を計算, 取得し、ステップ18で、隣接する過去の
ブロックのサンプル値を、上記補填値で、置き換え、補
填する。ここで、補填値の計算には、例えば、境界領
域、すなわち「物体の形状信号の境界を含んでいるブロ
ック」内の、物体内の画素の画素値を物体外に( 該境界
領域ブロック内で、あるいはさらにその外側の無効領域
まで) 引き延ばす、エキステンディング方法を用いる。

【００４０】ステップ12において、現ブロックが完全に
物体の外にあるのであれば、ステップ20に進む。このス
テップ20で、隣接する過去のブロックが完全に物体の外
にあるか否かを調べる。過去のブロックが完全に物体の
外にあるのでなければ（ステップ20でNO）、ステップ22
において、上記と同様の所定の方法で、現ブロック用
の, 補填値を計算し、ステップ24で現ブロックのサンプ
ル値を、上記補填値で、置き換え、補填する。なお、上
記隣接する過去のブロックが、ステップ18で補填された
後においては、ステップ20の処理においては、上記隣接
する過去のブロックは、完全に物体の外にあるのではな
いと, 判断するようにしてもよい。すなわち、参照画素
の物体外の領域を何らかの方法で補填して、補填した部
分も予測の領域に含む、ようにしてもよい。

【００４１】この処理を、最後のブロックまで繰り返す
（ステップ26参照) 。図２、及び図３は、上記補填値の
計算方法についての模式図を表している。図２は、現ブ
ロックと、過去のブロックとが、水平方向に隣接する場
合である。図２(a) では、ブロック32が現ブロックで、
ブロック30が過去のブロックである。ブロックの各升目
は画素を示している。ブロック30が、完全に物体の外に
あるとして、ブロック32内の画素の画素値Ａ〜P の値
を、ブロック間の境界31に関してブロック32と線対称に
なる画素の位置に代入し、補填を行う。すなわち、補填
を行う関数として、ミラーリングを使用するものであ
る。ここで、物体の境界線は、ブロック32内の, 画素A,
E,I,M と、画素B,F,J,N との間の線33である。

【００４２】図２(b) では、ブロック35が物体の境界領
域であり、ブロック37が完全に物体の外にある場合であ
る。この場合は、図中に示すように、ブロック35内画素
の画素値を、ブロック間の境界36に関してブロック35と
線対称になる画素の位置に代入し、すなわちミラーリン
グし、補填を行う。

【００４３】図２(c) では、ブロック42が現ブロック
で、ブロック40が過去のブロックである。ブロック40が
完全に物体の外にあるとして、図中に示すように、ブロ
ック４２内の画素の画素値Ａ〜Ｐ の値を、ブロック40
内の各対応する画素の位置に代入し、すなわちコピーイ
ングし、補填を行う。

【００４４】図２(d) では、ブロック47が現ブロック
で、ブロック45が過去のブロックである。ブロック47が
完全に物体の外にあるとして、図中に示すように、ブロ
ック45内の画素の画素値Ａ〜P の値を、ブロック47内の
各対応する画素の位置に代入し、すなわちコピーイング
し、補填を行う。

【００４５】図３は、現ブロックと、過去のブロックと
が、垂直方向に隣接する場合である。図３(a) では、ブ
ロック50が現ブロックで、ブロック52が過去のブロック
である。ブロック50が完全に物体の外にあるとして、ブ
ロック52内の画素の画素値Ａ〜P の値を、ブロックの境
界51に関してブロック52と線対称にある画素の位置に代
入し、すなわちミラーリングし、補填を行う。

【００４６】図３(b) では、ブロック57が現ブロック
で、ブロック55が過去のブロックである。ブロック57が
完全に物体の外にあるとして、ブロック55内の画素の画
素値Ａ〜Ｆの値を、ブロックの境界56に関してブロック
55と線対称となる画素の位置に代入し、すなわちミラー
リングし、補填を行う。

【００４７】図３(c) では、ブロック62が現ブロック
で、ブロック60が過去のブロックである。ブロック60が
完全に物体の外にあるとして、図中に示すように、ブロ
ック62内の画素の画素値Ａ〜P の値を、ブロック60内の
各対応する画素の位置に代入し、すなわちコピーイング
し、補填を行う。

【００４８】図３(d) では、ブロック67が現ブロック
で、ブロック65が過去のブロックである。ブロック67が
完全に物体の外にあるとして、図中に示すように、ブロ
ック65内の画素の画素値Ａ〜Ｐの値を、ブロック67内の
各対応する画素の位置に代入し、すなわちコピーイング
し、補填を行う。

【００４９】図２、及び図３において、物体の境界部分
に位置するブロック32, 35, 42, 45, 52, 55, 62, 65に
ついては、ブロック内の有意である画素の画素値を用い
て算出した平均値を、ブロック内の有意でない画素の画
素値に代入した後、以上の処理を行ってもよい。なお、
図２，図３では、簡単化のために、４×４のブロックに
ついて説明したが、これは一般に、Ｎ×Ｎ（Ｎは任意の
整数）のブロックである場合についても同様である。

【００５０】図４は、図１と同様に、本実施の形態１に
おいて用いる画像信号の補填方法の主要部を説明するた
めの図であり、図１の流れ図に、ステップ13を加えたも
のである。すなわち、現ブロック32が完全に物体内にあ
るのでない場合、現ブロック32内に含まれる物体外の領
域を補填するステップを加えたものである。このステッ
プ13では、図２(a) の場合、物体の境界線が33で、現ブ
ロック32内の画素Ａ、Ｅ、Ｉ、Ｍが該境界線33の外で、
物体外の領域にある時は、例えば、1 つの補填方法とし
て、現ブロック32内の画素Ａ、Ｅ、Ｉ、Ｍ以外の12個の
画素値の平均値を生成し、この平均値を、上記画素Ａ、
Ｅ、Ｉ、Ｍに代入し、補填するようにする。

【００５１】また、上記現ブロック32内の画素Ａ、Ｅ、
Ｉ、Ｍを補填する他の方法としては、ブロック32内の物
体の境界に位置する画素Ｂ、Ｆ、Ｊ、Ｎを、それぞれ物
体外の画素水平方向に繰り返し配置して、現ブロック32
の画素Ａ、Ｅ、Ｉ、Ｍに補填する方法もある。この場合
は、水平方向のみであるが、水平方向, 及び垂直方向に
繰り返し補填することも考えられる。そうした場合、一
つの画素について、２つの補填値が存在する場合が考え
られるが、そのようなときには、２つの補填値を平均し
て代入するようにしてもよい。

【００５２】図５は、やはり本発明の実施の形態1 によ
る画像信号の補填方法において用いる補填方法の主要部
を示す流れ図であり、図４における, ステップ14,18,20
の処理を、水平方向に隣接する過去のブロックを用いた
処理にそれぞれ限定したステップ15, 19, 21とした, 場
合の流れ図を示す。図５の処理に従って補填した画像10
8 の例を、図６に示す。星形状を有する物体110 の領域
内が、有意な物体領域で、それ以外の部分, すなわちそ
の外の領域は、有意でない画素のみで構成される無効領
域である。画像108 は、７×７のブロックに分割されて
いる。ブロック112 と同じ格子斜線模様で塗りつぶされ
たブロックは、図５のステップ13によって補填されたも
のである。ブロック114 と同じ右上がり斜線模様で塗り
つぶされたブロックは、図５のステップ19, もしくはス
テップ24によって補填されたものである。

【００５３】画像108 の補填の手順を、図５, 及び図６
を用いて説明する。まずブロック112 について考える。
ステップ12での判定において、現ブロック112 は完全に
物体の外にはないため、該ブロック112 はステップ13で
その物体外領域が格子斜線模様に補填される。ステップ
15の判定において、該現ブロック112 に水平に隣接する
過去のブロック(112a ）は、完全に物体の外にあるので
はないので、ステップ１6 の処理を行わずに、次に進
む。

【００５４】次にブロック114 について考える。( ただ
し、ブロック114 の処理は、ブロック112 の処理より前
におこなわれているものである。) ステップ12での判定
において、現ブロック114 は完全に物体の外にあるた
め、次のステップ21に進む。ここで、ステップ21の判定
において、該現ブロック114 に水平に隣接する過去のブ
ロック114aは、完全に物体の外にあるものではないた
め、該ブロック114aの物体外の画素の画素値を参照して
補填値を計算、取得し( ステップ22) 、該補填値を用い
て、現ブロック114 を、図に示す右上がり斜線模様に補
填する。

【００５５】その他のブロックも同様にして画素値の補
填を行うことができ、最後にブロック116 について考え
る。ステップ12での判定において、現ブロック116 は完
全に物体の外にあるため、ステップ21に進む。ここで、
該ブロック116 に水平に隣接する過去のブロック115
は、完全に物体の外にあるものではないため、ステップ
22において該ブロック115 を参照して、補填値の計算,
取得を行い、ステップ24において該補填値を用いて補填
を行う、すなわち、該ブロック115 を参照して、現ブロ
ック116 の補填を行う。

【００５６】次にブロック117 の処理になるとき、ステ
ップ12での判定において、現ブロック117 は完全に物体
の外にはないため、該ブロック117 はステップ13で補填
され、ステップ15での判定において、水平に隣接する過
去のブロック116 は、完全に物体の外にある（ステップ
15で YES）ため、ステップ16で該過去のブロック116の
画素値を参照して補填値の計算, 取得を行い、該ブロッ
ク117 は、ステップ19で補填される。すなわち、ブロッ
ク117 は２回補填されることになる。なおここで、複数
の補填値がある場合、その中の一つを選んで補填するこ
とも可能である。また、平均化を行う場合においても、
特定の補填値のみを用いて平均をとることも可能であ
る。

【００５７】このようにして、画像108 の物体を、水平
方向に拡張して補填することができる。また、図５のス
テップ15, 19, 21の処理を、水平方向に拡張を行うもの
から垂直方向に拡張を行うものに変更すると、図７に示
されるような, 垂直方向に拡張して補填した画像が得ら
れる。また、水平方向と垂直方向とを組み合わせて処理
すれば、図８に示すように、水平方向、垂直方向に拡張
して補填した画像を得ることができる。この場合、２回
以上の補填が行われる時があるので、そのようなとき
は、複数の補填値のすべて, または一部を平均化するよ
うにしてもよく、また、複数の補填候補がある場合に
は、特定の補填候補で補填したり、処理の順序において
最新に補填するもので上書きをするようにしてもよい。

【００５８】図９は、本発明の実施の形態１による画像
信号の補填方法において、上記図１，図４，図５で説明
した補填方法により補填を行う際に、該実施の形態１の
特徴である、これに加えて参照しようとする付加情報を
生成する模様を示す模式図である。現ブロックが完全に
物体の外にある場合は、図９において、画像120 中の０
を設定したブロックのように、付加情報を0 として生成
する。それ以外の図６〜８のブロック112 に対応するブ
ロック, のようなその一部がブロック内に位置するよう
なブロック、または物体の内部に位置するブロックは、
１を付加情報として生成する。

【００５９】上記の例では、付加情報としては、完全に
物体の外にあるか否かという２つの値のみを有するもの
を用いたが、完全に物体の外にある場合、物体の境界に
位置する場合、物体の完全に中にある場合、の３つの値
を有するものを、付加情報とするようにしてもよい。

【００６０】図１０は、本実施の形態1 による, 図９の
ような付加情報を用いて補填を行う, 画像信号の補填方
法による補填の様子を示す図であり、図１１は、本実施
の形態1 において, 上記図1,図4,図5 に示される画像信
号の補填方法における補填を行うステップにおいて、付
加情報を生成し、生成された付加情報を用いて補填を行
う, 補填方法の流れ図を示している。次に、本実施の形
態1 において、付加情報を用いて補填を行う方法につい
て説明する。

【００６１】図１１の流れ図におけるステップ１２での
判定において、現ブロックが完全に物体の外にある場合
は、付加情報０を生成, 取得し( ステップ29 )、次のス
テップに進む。現ブロックが完全に物体の外にあるので
はない( ステップ12でNO )場合は、ブロック内の有意で
ある画素の平均値を、補填値にするなどの所定の方法で
補填値を生成するとともに、ブロック内の有意でない画
素についてこの補填値で補填して出力し( ステップ13
)、かつ付加情報１を生成し、取得する( ステップ29 )
( 図10の付加情報ブロック120 参照 )。所定の順序にお
いて最後のブロックになった場合は、生成された付加情
報ブロック120 の付加情報を参照して、図１０中の画像
ブロック121 に示すように、物体の完全に外にあるブロ
ックを、順に、付加情報が1 であるこのようなブロック
間を順次に結ぶ, 各矢印A1, A2, A3, …に示すような順
序で補填処理していく。しかもこの際、付加情報ブロッ
ク120 の付加情報を参照することで、補填処理に用いる
補填値を生成するために参照する画素値を、特定の部分
の画素値とすることができる。すなわち、「付加情報ブ
ロックの付加情報」が1 であるブロックの画素の画素値
を参照して、「物体外のブロックである」無効領域の画
素値とすることができる。

【００６２】図１２は、本発明の実施の形態１による画
像信号の補填方法において、補填を行う無効領域間の距
離を、付加情報にした場合の例を示している。すなわ
ち、画像122 において、矢印123-1,-2,-3(図10に示した
矢印A1,A2,A3, …の長さを示すもの) に示すような、補
填処理の対象となる物体の完全に外にあるブロック間の
距離(L1,L2,L3,… )、を参照して、効率よく補填処理を
行うことができる。ここで、本実施の形態では、付加情
報を用いていることにより、有意信号は各画素に対応し
て存在しているものであるので、有意信号のみで各ブロ
ックが「物体外か、物体内か、境界か」という判断をす
るためには、ブロック内のすべての画素を確認しなけれ
ばならないが、本実施の形態におけるように、あらかじ
め付加情報を作成しておいて、補填の際にこの付加情報
を参照するというようにすれば、ブロック内の有意信号
をすべて参照する必要はなくなることになるものであ
る。

【００６３】図１３は、本発明の実施の形態１による画
像信号の補填方法において、処理の対象となる複数の各
ブロックについて、対象となる現ブロックに隣接するブ
ロックが無効領域か否かを示す付加情報、を生成するよ
うにした例である。すなわち、"0000"等における,"0"又
は"1" の４つの値は、それぞれ上、下、左、右が無効領
域(0) か否(1) かを示している。図13のブロック130 の
場合は、該現ブロックが無効領域で、付加情報が"0100"
になっているので、下のブロックから補填する値を参照
して、補填を行っている。ここで、図１３では、下のブ
ロックの非有意の画素は、図５，６を用いて説明した補
填方法によりすでに補填されており、その補填値をも用
いて画素を補填する例を示している。図13のブロック13
4 の場合は、対象となる該現ブロックが"1001"なので、
上に隣接するブロック, 及び右に隣接するブロック, か
ら補填値を参照している。ここで、同じく、上，右に隣
接するブロックの非有意の画素は、図５，６を用いて説
明した補填方法によりすでに補填されており、その補填
値をも用いて画素を補填する例を示している。また、こ
の場合は、補填値が２つ以上あるが、付加情報を参照す
ることによって、図中の２方向の矢印で示すように、複
数の特定の部分からの画素値, 例えば「上,右にそれぞ
れ隣接する画素値」, を参照してそれらの平均を取る
か、あるいは、ある１つの特定の部分からのみの補填値
の参照を行うか，のいずれかをするようにすることがで
きる。

【００６４】図１４は、付加情報を参照することによっ
て、特定の参照値から補填値を生成し、補填を行ってい
る一例の模式図である。画像部分135 において、四角の
部分136 内の画素を補填する場合には、すなわち、該部
分136 内の左上, 左下, 右下, 右上の各部分を、補填す
る場合は、各部分の属するブロックに付加されている付
加情報と、さらに必要であれば、該各部分の画素の有意
信号とを参照して、図の太線の矢印, で示すように、有
意な画素値, あるいはすでに補填されている画素値を、
引き延ばして補填を行うようにする。ただし、該部分13
6 内の左上, 右下の領域については、それぞれの領域が
境界領域であるので、あらかじめエキステンディング方
法等の所定の方法で補填されている場合もあり、この場
合には、上記各部分の有意信号は参照する必要がない。
なお、上の例では、４桁の付加情報を用いて参照を行っ
ているが、これは、１桁の" ０" か" １" の付加情報で
も、同様の処理を行うことができる。

【００６５】以上のように、付加情報を参照すること
で、あらかじめ境界部分を補填しておいた場合は、残さ
れた無効領域のみが補填の対象となるので、この場合、
付加情報を参照することによって、すなわちもう一度有
意信号を使って無効領域かどうかを判定することなく、
無効領域のみを処理することができ、処理効率を向上す
ることができる。

【００６６】すなわち、以上の補填方法を用いることに
より、物体の境界に位置する境界領域のみをあらかじめ
補填処理しておいて、補填処理した画像を参照した時に
この参照した参照領域が無効領域を含んでいる場合に、
この境界領域の補填処理を行ったあとに残っている無効
領域について補填処理をすることができる。

【００６７】なお、付加情報の生成には、有意信号を参
照して行っているが、画像信号もしくは有意信号、およ
び画像信号を圧縮符号化する時に生成されるサイド情報
など、ブロックが無効領域であるか否かを判別できるす
べての情報を参照することによって、この付加情報の生
成を実現することができる。たとえば、ブロック毎に保
有しているアドレスや、ブロックを符号化するために付
加されるヘッダ情報などを用いてもよい。

【００６８】さらに、付加情報を新たに生成せずに、前
述した有意信号や画像信号、及びサイド情報など、ブロ
ックが無効領域か否かを判別できるすべての情報を、そ
のまま付加情報として参照し、補填を行うこともでき
る。

【００６９】さらに、上記付加情報の他の例としては、
上記複数領域内の画素の画素値が有意であるか否かを示
す有意信号を参照して、対象領域が無効領域でないと判
断された場合に、該対象領域に所定の順序で隣接する過
去の領域が無効領域である場合に、該過去の領域の位置
を付加情報として生成し、該付加情報を参照して補填を
行うものしてもよいものである。

【００７０】（実施の形態２）図１５は、本発明の実施
の形態2-1 による画像信号符号化装置を示し、図15にお
いて、201 は符号化されるべき画像信号が入力される入
力端子、202 は上記入力端子201 への入力信号と後述す
る動き補償器215 からの動き補償信号215aとの減算を行
い、差分信号202aを出力する第１加算器、203 は、該第
1 加算器202 の出力202aを符号化する符号化器であり、
これは、離散コサイン変換器（ＤＣＴ）204 と、量子化
器205 とから構成される。211 は、符号化器203 の出力
203aに対し、後述する動き検出信号214aを参照して、可
変長符号化を行う可変長符号化器(VLC) 、206 は該可変
長符号化器211 の出力211aが出力される出力端子、207
は上記符号化器203 の出力を復号化する復号化器であ
り、これは、逆量子化器208と、逆離散コサイン変換器
（ＩＤＣＴ）209 から構成される。210 は上記復号化器
２０７の出力207aと上記動き補償器215 の出力215aとを
加算する第２加算器、212 は該第2 加算器210 の出力21
0aを補填する補填器、213 は該補填器212 の出力212aを
記憶するフレームメモリ、214 は上記入力信号201 であ
る現画像信号と上記フレームメモリ213 の出力213aであ
る参照画像とから画像の動きを検出する動き検出器、21
5 は上記動き検出器214 の出力214aである動き検出信号
と、上記フレームメモリ213 の出力213aである参照画像
とから、動き補償信号215aを出力する動き補償器であ
る。

【００７１】以上のように構成された本実施の形態2-1
による画像信号符号化装置について、以下その動作を述
べる。任意形状の物体をもつ画像信号を、入力端子201
に入力する。入力した画像信号201aを、複数の隣接する
領域に分割する。本実施の形態２では、入力した画像信
号を、８×８または１６×１６の画素からなるブロック
に分割するが、これは任意の形状のブロックに分割して
よいものとする。図15を参照して説明すると、入力した
画像信号の，符号化の対象となるブロックを、ライン22
4 を経由し動き検出器214 に入力する。同時にフレーム
メモリ213 に格納してある過去の再生画像（以下、参照
画像と呼ぶ）213aを、動き検出器214 に入力し、ブロッ
クマッチングなどの方法で、対象ブロックに対し誤差の
最も少ない予測信号を与える動き変位情報（以下、動き
ベクトルと呼ぶ）214aを求めて出力する。この動き検出
器214 の出力である動きベクトル214aを、動き補償器21
5に送り、該動き補償器において、上記動きベクトル214
aに基づき、上記参照画像213aから予測ブロック215aを
生成する。動きベクトル214aはライン228 を経由して可
変長符号化器（ＶＬＣ）211 に送り、可変長符号に変換
して（211a）、出力端子206 に出力する。また、対象ブ
ロック201aと予測ブロック215aとを第１加算器202 に送
り、残差ブロック202aを生成する。残差ブロック202a
を、離散コサイン変換器204 と量子化器205 とからなる
符号化器203 にて圧縮する。量子化されたデータ203aを
ＶＬＣ211 に送り、可変長符号211aに変換し、動きベク
トルを含むその他のサイド情報とともに、出力端子206
に出力する。一方、圧縮され量子化されたデータ203a
を、復号化器207 に送り伸長する。本実施の形態2 で
は、逆量子化器208 で逆量子化し、ＩＤＣＴ209 で空間
領域のデータに伸長する。伸長した残差ブロック 207a
に、ライン227 を経由し送られる予測ブロック215aを加
算し、再生ブロック210aを生成する。この再生ブロック
210aを補填器212 に入力し、実施の形態１において用い
た補填方法により、すなわち、形状の境界に位置する境
界領域にあるブロック内の物体の値を該境界領域内の物
体外にある有意でない画素の位置まで、あるいは該境界
領域に隣接する, あるいはさらにそれに隣接する無効領
域まで引き延ばすエキステンディング方法、あるいは、
上記境界領域の境界にある有意な画素の画素値, あるい
は上記エキステンディング方法で補填した境界領域の画
素の画素値と、上記で図を用いて説明したコピーイング
関数、ミラーリング関数等の関数とを用いて求めた補填
値により、該再生ブロックの有意でない画素の画素値を
補填する。補填した再生ブロック212aをフレームメモリ
213 に格納する。なお、図示されていないが、画素が有
意であるか否かを参照するには、有意信号をあらかじめ
符号化、復号化したものを、参照することとする。

【００７２】フレームメモリ213 に格納される補填した
画像は、たとえば図６，図７，図８のようになる。補填
した画像213aを、動き検出器214,及び動き補償器215 に
送る。本実施の形態２では、動き検出と、動き補償の範
囲を、補填した領域内（図６，図７，図８では塗りつぶ
した領域内）に制限する。すなわち、補填した領域以外
の画素は参照しないものとする。

【００７３】また、図示されていないが、有意信号を参
照することによって、実施の形態１の補填方法において
用いた付加情報を生成し、補填器212 では、たとえば図
８のブロック112 の格子斜線模様と同じ模様を有する部
分を補填し、動き補償器215で、ブロック119 の部分
を、付加情報を参照しながら、すなわち該ブロック119
の右側のブロック119aが付加情報「1 」をもつものであ
ることを参照しながら、補填するようにすることもでき
る。

【００７４】図16は、本発明の実施の形態2-2 による，
画像信号符号化装置を示し、これは図15の画像信号符号
化装置に、フレームメモリ213 の出力213aに対し第２の
補填を行う第2 の補填器230 と、該第２の補填の結果23
0aを記憶し、これを参照画像231aとして出力する第２の
フレームメモリ231 とを付加したものである。この実施
の形態2-2 では、有意信号を参照することによって、実
施の形態１の補填方法において用いた付加情報を生成
し、補填器212 では、たとえば図８のブロック112 の格
子斜線模様と同じ模様を有する部分を補填して、これを
フレームメモリ213 に格納し、第２の補填器230 で、図
８のブロック119 の部分を、付加情報を参照しながら、
すなわち該ブロック119 の右側のブロック119aが付加情
報「1 」をもつものであることを参照しながら、補填
し、第2 のフレームメモリ231 に格納する。

【００７５】このように、物体の境界領域に隣接する領
域を補填するようにすることにより、動き検出、動き補
償の範囲を広くすることができ、動きの大きな画像に対
しても、残差の少ない、すなわち残差ブロック202aの値
の小さい、予測ブロックを得ることができる。また、本
発明の補填方法では、ブロックごとに補填を行い、加え
て付加情報を参照して、処理を行うようにしているの
で、補填の遅延時間や、演算量を抑えることができる。
なお、本実施の形態では、離散コサイン変換を用いた
が、本発明は、形状適応離散コサイン変換やサブバンド
符号化、ウェーブレット変換を用いた場合にも、同様に
適用することができる。

【００７６】（実施の形態３）図１７は、本発明の実施
の形態3-1 による画像信号復号化装置を示し、図１７に
おいて、301 は復号化されるべき画像信号302aが入力さ
れる入力端子、302 はデータ解析器、303 は上記解析器
302 の出力302aである復号化されるべき信号を復号化す
る復号化器であり、これは、逆量子化器304 と、逆離散
コサイン変換器（ＩＤＣＴ）305 とからなる。306 は上
記復号化器303 の出力303aと後述する動き補償器310 の
出力310aとを加算する加算器、307 は上記加算器306 の
出力306aが出力される出力端子、308 は上記加算器306
の出力306aに対し、補填を行う補填器、309 は補填器30
8 の出力308aを記憶するフレームメモリ、310 はフレー
ムメモリ309 の出力309aに対し動き補償を行う動き補償
器である。

【００７７】以上のように構成された本実施の形態3-1
の画像信号復号化装置について、以下その動作を述べ
る。圧縮符号化されたデータ301aを、入力端子301 に入
力し、データ解析器302 にてデータを解析する。データ
を解析された，圧縮された残差ブロック302aのデータ
を、ライン312 を経由して復号化器303 に入力し、動き
ベクトル302bを、ライン318 を経由し、動き補償器310
に出力する。復号化器303 では、圧縮残差ブロック302a
を伸長し、伸長残差ブロック303aに復元する。本実施の
形態３では、逆量子化器304 で逆量子化し、逆離散コサ
イン変換器（ＩＤＣＴ）305 で、周波数領域信号を空間
領域信号に変換する。動き補償器310 では、動きベクト
ル302bをもとにフレームメモリ309 をアクセスするため
のアドレスを生成し、フレームメモリ309 に格納される
画像から予測ブロック309aを生成する。生成された予測
ブロック309aと伸長した残差ブロック303aを加算器306
に入力し、加算することにより、再生ブロック306aを生
成する。再生ブロック306aを出力端子307 に出力すると
同時に、補填器308 に入力し、実施の形態１において用
いた補填方法で、再生された画像306aを補填し、フレー
ムメモリ309 に格納する。

【００７８】また、図示されていないが、補填器308
で、図８のブロック112 の模様の部分のような、物体の
境界に位置するブロックからなる境界領域を、所定の方
法で、例えば、境界領域にあるブロック内の物体の値を
物体外に引き延ばす、エキステンディング方法等の方法
で、補填するようにするとともに、各ブロックが有意な
画素を含むかどうかを示す付加情報を生成し、動き補償
器310 で参照したブロックを、上記付加情報を用いて所
定の方法で補填を行い、補填された参照ブロックを用い
て、予測ブロックを生成するようにしてもよい。

【００７９】図１８は、本発明の実施の形態3-2 による
画像信号復号化装置を示し、これは、図１７の画像信号
復号化装置に、フレームメモリ309 の出力309aに対し第
2 の補填を行う第２の補填器330 と、その出力330aを記
憶し、これを参照画像331aとして出力する第２のフレー
ムメモリ331 とを付加したものである。補填器308 によ
って、例として図８のブロック112 の模様の部分のよう
な、物体の境界に位置する境界領域を所定の方法で補填
するとともに、各ブロックが有意味な画素を含むかどう
かを示す付加情報を生成し、第２の補填器330 で、付加
情報を参照して、図８のブロック119 の部分を、所定の
方法で補填を行う。

【００８０】図１９は、図１７の本発明の実施の形態3-
3 による画像信号復号化装置に含まれる補填器308 の動
作を示す流れ図である。以下、その動作について説明す
る。

【００８１】ステップ401 において、所定の順序で処理
されているブロックが完全に物体の外にあるか否かを判
定する。完全に物体の外にある場合は、対象となるブロ
ックが物体外であるという付加情報をステップ403 で生
成する。対象となるブロックが、物体の一部分でも含む
場合は、ブロック内の物体外領域を、所定の方法を用い
てステップ402 で補填し、対象となるブロックは物体
内、もしくは補填済みであるといった付加情報をステッ
プ403 で生成する。以上の処理を、所定の順序で最後の
ブロックまで繰り返す。なお、付加情報については、ス
テップ403 で付加情報を新たに生成せずに、前述した有
意信号や画像信号、及び符号化におけるサイド情報を、
そのまま付加情報として持つこともできる。

【００８２】(実施の形態４）図２０は、本発明の実施
の形態4-1 による画像信号復号化装置における動き補償
器の流れ図を示すものであり、これは、図17に示す画像
信号復号化装置において、補填器308 で画素の補填を行
い、フレームメモリ309 に格納された出力に対して、動
き補償を行う動き補償器310 の動作の流れ図を示すもの
である。また、図２１は、動き補償器310 の動作の例を
示したものである。以下、その動作について説明する。

【００８３】まず、ステップ411 において、フレームメ
モリ309 から出力される, 参照しているブロック309aが
すべて物体内、もしくはすべて既に補填された領域かど
うかを判定する。参照したブロックが物体内、もしくは
補填器308 によって既に補填された領域の場合は、通常
の動き補償の処理をステップ413 で行う。参照されてい
るブロックが完全に物体の外である無効領域を含む場合
は、ステップ412 において参照しているブロックの無効
領域を、既に存在している付加情報を用いて、上記した
エキスディング方法等の所定の方法を用いて補填し、補
填されたブロックを用いて、ステップ413 で動き補償の
処理を行う。

【００８４】参照されているブロックが無効領域を含ん
でいる例を、図２１に示す。動き補償で用いられる参照
画像501 について、参照しているブロック502 が、図２
１中のように、物体内部、もしくは既に補填済みの物体
の境界部分503 、504 と、完全に物体の外である無効部
分505 、506 （参照ブロック502 中の色のついていない
部分）を含んでいる場合や、参照しているブロックがす
べて無効領域である場合は、付加情報を用いて、エキス
テンディング方法等の所定の方法で、そのうちの無効領
域を補填する。図２１中では、該無効領域505,506 に隣
接する無効領域を含まないブロックの画素値508 、507
等を参照して、平均値を求め、補填値として無効領域に
補填している。なお、図２１の例は、平均値を補填して
いるが、付加情報を参照することにより特定の方向に隣
接するブロックの画素値を参照して補填することもでき
る。

【００８５】以上のような補填を行うことにより、動き
補償器310 で参照した無効領域のみを補填することによ
り、必要な部分のみの補填処理を実現することができ
る。なお、図示されていないが、上述した画像信号符号
化装置, 及び復号化装置には、補填処理を行うために必
要な付加情報や補填値を一時的に保持するメモリを、補
填器もしくは動き補償器に付加するようにしてもよい。

【００８６】図22、及び図23は、同様に、動き補償の際
に補填を行うようにした、本発明の実施の形態4-2 によ
る, 画像信号符号化装置, 及び画像信号復号化装置の動
作を説明するものである。

【００８７】画像信号の符号化装置は、入力された画像
信号に対して動き予測を行い、その予測に基づいて動き
補償を行うものであるが、その参照画像、すなわち予測
画像は、本発明では補填処理をされており、したがっ
て、本発明ではその補填処理された一部の参照画像を用
いて、動き予測を行うものである。ここで、動き予測
も, 動き補償もすべて、画像の全体をみて、すなわち画
像の全体を参照して行う場合もある。このように、符号
化装置側では、動き予測をして動き補償を行い、実際の
画像と動き補償された画像との差分をとって差分を符号
化し、受信側に送信するものであるが、一方、復号化装
置側では、符号化装置側で検出した動きベクトルを得
て、参照画像から予測小領域をもってきて動き補償をす
る。ここで、復号化装置側では、図23(b) の動き補償で
参照した予測小領域A に示すようなブロックの画像を参
照画像としてもってくることは少なく、画像ブロック10
00内の小画像ブロック1004の中から参照画像を持ってく
る場合が多いものである。

【００８８】そこで、本方法では、復号化装置側におい
ては、必要最小限だけ、すなわち図22(a),図23(a) に示
す小画像ブロック500 の範囲だけ補填処理を行ってお
き、動き補償で参照した予測小領域A が、上記小画像ブ
ロック500 を超えてその周囲の画素の補填が必要となっ
た場合にのみ、動き補償の中で信号の補填を行おう、と
いうものである。

【００８９】すなわち、符号化装置は、動き検出、及び
動き補償の両方で画像を参照するので、画像の全体を外
側まで補填しておくようにする、すなわち、図23(b) に
示すようになるまで補填を行うようにする。一方、復号
化装置側では、動き補償のみを行うものであるので、補
填の処理を軽くするために、全画像ブロックのうち、画
像の補填を行う領域を限定して、対象となる物体を囲む
矩形領域と、その外側のマージンの領域とし、動き補償
において必要な場合にのみ、該外側のマージンの無効領
域の補填を行うようにする。すなわち、復号化装置にお
ける補填処理においては、図22(a) に示すように、上記
した方法を用いて、画像ブロック1000内の小画像ブロッ
ク500 内で画像信号の補填を行い、一方、動き補償をす
る場合には、動き補償で予測した参照小領域A が、上記
画像ブロック1000内の小画像ブロック500 内をはみ出す
ことがない場合には、すでに補填された画素の範囲内の
画素を参照して動き補償を行い、一方、動き補償で予測
した参照小領域A が、図23(b) に示すように上記画像ブ
ロック1000内の小画像ブロック700 をはみ出す場合に
は、上記画像ブロック1000内の小画像ブロック700 をは
み出す最外周ブロック710 の無効領域の画素の補填を行
うとともに、この補填された画素値をも用いて動き補償
を行うようにしたものである。これにより、復号化装置
側における補填の処理を軽くすることができ、メモリ容
量を削減でき、かつ演算時間を短縮することができる。

【００９０】なお、この枠領域710 の補填の仕方をより
詳細に説明すると、図23(b) に示すように、ブロック10
00の左下端のブロック720 については、その一つ上, か
つ右側のブロック730 の最左下端の画素731 を下方向に
拡張し、かつ左方向に延ばしてしいくことによって該枠
領域の画素の補填値とすることができ、該画素731 の画
素値でもって最左下端のブロック720 の補填を行うこと
ができる。また、上記画像ブロック1000の上記枠領域71
0 内の4 隅以外の画素ブロック、例えば740 について
は、それぞれその内側の画素750 を外側に引き延ばすこ
とにより、該画素740 の補填を行うことができる。

【００９１】(実施の形態５）図25は、本発明の実施の
形態５の画像信号の補填方法の動作を説明するための図
であり、この実施の形態５は、有意信号と、画像信号(
カラー信号) との対応がとれていない場合にも画素値の
補填を適切に行うようにしたものである。

【００９２】画像処理においては、カラー信号は、Y
（輝度信号）と、U,V （色差信号）の３つから構成され
ている。普通、有意信号は、輝度信号と、同じだけの大
きさをもっている。しかし、色差信号はそうではなく、
半分または、１／４の大きさの場合がある。例えば、４
×４画素の大きさを持つブロックであれば、Y （輝度信
号）とA （有意信号）とは、図25(a) のようになるが、
U,V （色差信号) については、図25(b) に示すように、
1/4 の個数しかない場合がある。この場合には、A を間
引きして、U,V の大きさにあわせてやる必要があるが、
このようにすると、間引きによってU,V の画素に対応す
る有意信号がなくなってしまう場合がある。その結果、
境界領域であるのに参照する画素がない場合が出てくる
こととなる。そのような場合に、本実施の形態5 は、上
記したエキステンディング方法等の所定の方法、あるい
は上記したミラーリング関数, コピーイング関数等の所
定の関数で補填をするようにするものである。すなわ
ち、一定値( 固定値) を補填するか、あるいは、画面内
にある物体の、物体内の画素の平均値をうめてやるよう
にするものである。

【００９３】(実施の形態６）また、本発明による画像
信号の補填方法, およびさらには画像信号の符号化方
法, 及び復号化方法は、これをプログラムによって実現
し、これをフロッピーディスクなどの記憶媒体に記録し
て移送することにより、独立した他のコンピュータシス
テムで容易に実施することができる。図24に、本発明の
実施の形態6 としてのフロッピーディスクを示す。フロ
ッピーディスクは、600 のような形態を取り、600 中に
ある601 のような円形のディスクに上記した本発明によ
る画像信号の補填方法のプログラム, さらには画像信号
の符号化方法のプログラム, 画像信号の復号化方法のプ
ログラム，あるいはまた画像信号の復号化における動き
補償方法のプログラムを記録することができる。

【００９４】またここでは、フロッピーディスクを用い
て説明を行ったが、光ディスクを用いても同様に行うこ
とができる。また記憶媒体はこれらに限らず、ＩＣカー
ド、ＲＯＭカセット等、プログラムを記録できるもので
あれば、同様に実施することができる。

【００９５】

【発明の効果】以上のように、本発明によれば、境界領
域だけでなく、境界領域に隣接する有意でない画素のみ
からなる無効領域を補填し、補填された画像を用いて、
動き検出、動き補償をするようにし、かつ、領域単位の
補填を該各領域が有意な画素を含むかを示す付加情報を
用いて行うようにしたので、符号化, 復号化の処理にお
いて、動きの大きな画像に対しても差分の小さい予測信
号を得ることができ、符号化, 復号化処理における遅延
時間や演算量を大幅に削減することができる効果が得ら
れる。

【００９６】すなわち、請求項１の発明によれば、任意
形状を持つ物体の画像信号を複数の領域に分割し、上記
複数の領域を所定の順序で処理し、形状の境界に位置す
る境界領域に隣接する有意でない画素のみで構成される
無効領域を、所定の方法で求められた補填値を用いて、
補填し、画像信号を出力する, 画像信号の補填方法であ
って、上記複数の領域内の画素の画素値が有意であるか
否かを示す有意信号を参照して、上記複数の領域毎に、
有意である画素が含まれるか否かを示す付加情報を、所
定の方法で生成し、上記付加情報を参照して、上記複数
の領域に対し、画素値の補填を行うようにしたので、符
号化, 復号化の処理において、動きの大きな画像に対し
ても差分の小さい予測信号を得ることができ、符号化,
復号化処理における遅延時間や演算量を大幅に削減する
ことができる効果が得られる。

【００９７】請求項３の発明によれば、任意形状を持つ
物体の画像信号を複数の領域に分割し、上記複数の領域
を所定の順序で処理し、形状の境界に位置する境界領域
に隣接する有意でない画素のみで構成される無効領域
を、上記境界領域内の有意である画素の画素値と、所定
の関数とを用いて、求められた補填値を用いて補填し、
画像信号を出力する, 画像信号の補填方法であって、上
記複数の領域の画素の画素値が有意であるか否かを示す
有意信号を参照して、上記複数の領域毎に、有意である
画素が含まれるか否かを示す付加情報を、所定の方法で
生成し、上記付加情報を参照して、上記複数の領域に対
し、画素値の補填を行うものとしたので、上記の効果が
得られる。

【００９８】請求項６の発明によれば、任意形状を持つ
物体の画像信号を複数の領域に分割し、上記複数の領域
を所定の順序で処理し、形状の境界に位置する境界領域
の有意でない画素の画素値を, 所定の方法で求められた
補填値で補填し、上記境界領域に隣接する有意でない画
素のみで構成される無効領域を、上記補填した境界領域
の画素の画素値と、第2 の所定の関数とを用いて求めら
れた補填値で補填し、画素信号を出力する, 画像信号の
補填方法であって、上記複数の領域の画素の画素値が有
意であるか否かを示す有意信号を参照して、上記複数の
領域毎に有意である画素が含まれるか否かを示す付加情
報を、所定の方法で生成し、上記付加情報を参照して、
上記複数の領域に画素値の補填を行うものとしたので、
上記の効果が得られる。

【００９９】請求項１１の発明によれば、任意形状を持
つ物体の画像信号を複数の領域に分割し、上記複数の領
域を所定の順序で処理し、形状の境界に位置する境界領
域に隣接する有意でない画素のみで構成される無効領域
を、所定の方法で求められた補填値で補填し、画像信号
を出力することを特徴とする画像信号の補填方法であっ
て、上記複数領域の画素の画素値が有意であるか否かを
示す有意信号を参照して、上記複数の領域毎に、有意で
ある画素が含まれるか否かを示す付加情報を、所定の方
法で生成し、対象領域が無効領域でない場合、上記付加
情報を参照することによって、上記所定の順序において
上記対象領域に隣接する過去の領域が無効領域であると
判定されれば、上記過去の領域を、所定の方法で求めら
れた補填値で、補填し、対象領域が無効領域である場
合、上記付加情報を参照することによって、上記所定の
順序において上記対象領域に隣接する過去の領域が無効
領域でないと判定されれば、上記対象領域を、所定の方
法で求められた補填値で、補填するものとしたので、上
記の効果が得られる。

【０１００】請求項１４の発明によれば、任意形状を持
つ物体の画像信号を複数の領域に分割し、上記複数の領
域を所定の順序で処理し、形状の境界に位置する境界領
域に隣接する有意でない画素のみで構成される無効領域
を、所定の方法で求められた補填値で補填し、画像信号
を出力する, 画像信号の補填方法であって、上記複数領
域に含まれる画素の画素値が有意であるかことを示す有
意信号を参照して、上記複数の領域毎に、有意である画
素が含まれるか否かを示す付加情報を、所定の方法で生
成し、対象領域が無効領域でない場合、上記付加情報を
参照することによって、上記所定の順序において上記対
象領域に隣接する過去の領域が無効領域であると判定さ
れれば、上記過去の領域を、上記対象領域に含まれる有
意な画素の画素値と、所定の関数とを用いて求められた
補填値を用いて、補填し、対象領域が無効領域である場
合、上記付加情報を参照することによって、上記所定の
順序において上記対象領域に隣接する過去の領域が無効
領域でないと判定されれば、上記対象領域を、上記過去
の領域に含まれる有意な画素の画素値と、所定の関数と
を用いて求められた補填値で、補填するものとしたの
で、上記の効果が得られる。

【０１０１】請求項１５の発明によれば、任意形状を持
つ物体の画像信号を複数の領域に分割し、上記複数の領
域を所定の順序で処理し、形状の境界に位置する境界領
域に隣接する有意でない画素のみで構成される無効領域
を、所定の方法で求められた画素値を用いて、補填し、
画像信号を出力する, 画像信号の補填方法であって、上
記複数領域に含まれる画素の画素値が有意であるか否か
を示す有意信号を参照して、上記複数の領域毎に、有意
である画素が含まれるか否かを示す付加情報を、所定の
方法で生成し、対象領域が無効領域でない場合、上記対
象領域に含まれる有意でない画素の画素値を、所定の方
法で求められた画素値を用いて、補填し、付加情報を参
照することによって、上記所定の順序において上記対象
領域に隣接する過去の領域が無効領域であると判定され
れば、上記過去の領域を、上記補填した対象領域に含ま
れる画素の画素値と、第2 の所定の関数とを用いて求め
られた画素値で、補填し、上記対象領域が無効領域であ
る場合、上記付加情報を参照することによって、上記所
定の順序において上記対象領域に隣接する過去の領域が
無効領域でないと判定されれば、上記対象領域を、上記
過去の領域に含まれる画素の画素値と、第２の所定の関
数とを用いて求められた補填値で、補填するものとした
ので、上記の効果が得られる。

【０１０２】請求項１８の発明によれば、任意形状を持
つ物体の画像信号を複数の領域に分割し、上記複数の領
域を所定の順序で処理し、形状の境界に位置する境界領
域に隣接する有意でない画素のみで構成される無効領域
を、上記境界領域内の有意である画素の画素値と、所定
の関数とを用いて求められた補填値を用いて、補填して
出力する, 画像信号の補填方法であって、上記補填値
は、補填の対象となる無効領域に含まれる各画素の位置
に対応する, 上記補填した境界領域内に含まれる画素の
画素値を用いる, コピーイング関数を用いて、補填を行
うものとしたので、上記の効果が得られる。

【０１０３】請求項１９の発明によれば、任意形状を持
つ物体の画像信号を複数の領域に分割し、上記複数の領
域を所定の順序で処理し、形状の境界に位置する境界領
域に隣接する有意でない画素のみで構成される無効領域
を、上記境界領域内の有意である画素の画素値と、所定
の関数とを用いて求められた補填値を用いて、補填して
出力する, 画像信号の補填方法であって、上記補填値
は、補填の対象となる無効領域に含まれる画素の位置
に、境界領域と上記無効領域が隣接する隣接境界線上で
線対称に位置する, 上記境界領域に含まれる画素の画素
値を用いる, ミラーリング関数を用いて、補填を行うも
のとしたので、上記の効果が得られる。

【０１０４】請求項２０の発明によれば、任意形状を持
つ物体の画像信号を複数の領域に分割し、上記複数の領
域を所定の順序で処理し、形状の境界に位置する境界領
域の有意でない画素の画素値を、所定の方法を用いて求
められた補填値を用いて、補填し、上記境界領域に隣接
する有意でない画素のみで構成される無効領域を、上記
補填した境界領域の画素の画素値と、第2 の所定の関数
とを用いて求められた補填値を用いて補填して、画像信
号を出力する, 画像信号の補填方法であって、上記補填
値は、補填の対象となる無効領域に含まれる各画素の位
置に対応する,上記補填した境界領域内に含まれる画素
の画素値を用いる, コピーイング関数を用いて、補填を
行うものとしたので、上記の効果が得られる。

【０１０５】請求項２１の発明によれば、任意形状を持
つ物体の画像信号を複数の領域に分割し、上記複数の領
域を所定の順序で処理し、形状の境界に位置する境界領
域の有意でない画素の画素値を、所定の方法を用いて求
められた補填値で補填し、上記境界領域に隣接する有意
でない画素のみで構成される無効領域を、上記補填した
境界領域の画素の画素値と、第2 の所定の関数とを用い
て求められた補填値で補填して、画像信号を出力する,
画像信号の補填方法であって、上記補填値は、補填の対
象となる無効領域に含まれる各画素の位置に対し、すで
に補填された境界領域と上記無効領域が隣接する隣接境
界線上で線対称に位置する, 上記補填された境界領域に
含まれる画素の画素値を用いる, ミラーリング関数を用
いて、上記無効領域に対し、補填を行うものとしたの
で、上記の効果が得られる。

【０１０６】請求項２２の発明によれば、入力手段と、
第１加算手段と、符号化手段と、復号化手段と、第２加
算手段と、補填手段と、メモリと、予測領域生成手段を
具備し、上記入力手段に任意形状の画像信号を入力し、
上記画像信号を互いに隣接する複数の領域に分割し、上
記複数の領域を対象領域として所定の順序で処理し、上
記第１加算手段に上記対象領域と、上記予測領域生成手
段からの予測領域とを入力して差分領域を生成し、上記
符号化手段に上記差分領域を入力して、該符号化手段に
より、所定の方法で上記差分領域を圧縮差分領域に変換
し、上記復号化手段に上記圧縮差分領域を入力して、該
復号化手段により、所定の方法で圧縮差分領域を上記伸
張差分領域に復元し、上記第２加算手段に上記伸張差分
領域を入力し、該伸張差分領域に上記予測領域を加算し
て再生領域を生成し、上記補填手段に上記再生領域を入
力し、所定の方法で、上記再生領域に含まれる有意でな
い画素の画素値を補填して、補填領域として上記メモリ
に格納し、上記予測領域生成手段に上記メモリに格納し
た上記補填領域を入力して、上記予測領域を生成し、上
記圧縮差分領域信号を画像信号符号化装置の出力とする
画像信号符号化装置であって、上記補填手段は、請求項
1 ，２，３，１１，１４，１８，または１９に記載の画
像信号の補填方法で画素値の補填を行うものとしたの
で、符号化の処理において、動きの大きな画像に対して
も差分の小さい予測信号を得ることができ、符号化処理
における遅延時間や演算量を大幅に削減することができ
る画像信号符号化装置を得られる効果がある。

【０１０７】請求項２３の発明によれば、入力手段と、
第１加算手段と、符号化手段と、復号化手段と、第２加
算手段と、第１補填手段と、第２補填手段と、第１メモ
リと、第２メモリと、予測領域生成手段を具備し、上記
入力手段に、任意形状の画像信号を入力し、該画像信号
を互いに隣接する複数の領域に分割し、上記複数の領域
を、対象領域として、所定の順序で処理し、上記第１加
算手段に、上記対象領域と、上記予測領域生成手段から
の予測領域とを入力して、差分領域を生成し、上記符号
化手段に、上記差分領域を入力して、該符号化手段によ
り、所定の方法で、該差分領域を、圧縮差分領域に変換
し、上記復号化手段に、上記圧縮差分領域を入力して、
該復号化手段により、所定の方法で、該圧縮差分領域
を、伸張差分領域に復元し、上記第２加算手段に、上記
伸張差分領域を入力し、該伸長差分領域に上記予測領域
を加算して、再生領域を生成し、上記第１補填手段に、
上記再生領域を入力し、所定の方法で、上記再生領域に
含まれる形状の境界に位置する境界領域の有意でない画
素の画素値を補填して、上記第１メモリに格納し、上記
第２補填手段に、上記第１メモリ内容を入力し、所定の
方法で、上記第１メモリ内容に含まれる上記境界領域に
隣接する有意でない画素のみで構成される無効領域を補
填して、第２補填領域として、上記第２メモリに格納
し、上記予測領域生成手段に、上記第２メモリに格納し
た上記第２補填領域を入力して、上記予測領域を生成
し、上記圧縮差分領域信号を、画像信号符号化装置の出
力とする画像信号符号化装置であって、上記第１補填手
段, 及び第２補填手段は、請求項６，１５，２０または
２１に記載の画像信号の補填方法で画素値の補填を行う
ものとしたので、符号化の処理において、動きの大きな
画像に対しても差分の小さい予測信号を得ることがで
き、符号化処理における遅延時間や演算量を大幅に削減
することができる画像信号符号化装置を得られる効果が
ある。

【０１０８】請求項３２の発明によれば、入力手段と、
データ解析手段と、復号化手段と、加算手段と、補填手
段と、メモリと、予測信号生成手段とを具備し、上記入
力手段に、圧縮符号化された符号化信号を入力し、上記
データ解析手段で、上記符号化信号を解析して、圧縮差
分信号を出力し、 上記復号化手段で、上記圧縮差分信
号を伸長差分信号に復号化し、 上記予測信号生成手段
にて、上記メモリから取得した画像信号を用いて、予測
信号を生成し、 上記加算手段にて、上記伸長差分信号
と、上記予測信号とを加算して、再生信号として出力す
ると同時に、上記補填手段にて、所定の方法で、上記再
生信号に含まれる有意でない画素の画素値を補填して、
上記メモリに格納する画像信号復号化装置であって、上
記補填手段は、請求項１，２，３，１１，１４，１８，
１９に記載の補填方法で画素値の補填を行うものとした
ので、復号化の処理において、動きの大きな画像に対し
ても差分の小さい予測信号を得ることができ、復号化処
理における遅延時間や演算量を大幅に削減することがで
きる画像信号復号化装置を得られる効果がある。

【０１０９】請求項３３の発明によれば、入力手段と、
データ解析手段と、復号化手段と、加算手段と、第１補
填手段と、第２補填手段と、第１メモリと、第２メモリ
と、予測信号生成手段とを具備し、上記入力手段に、圧
縮符号化された符号化信号を入力し、上記データ解析手
段で、上記符号化信号を解析して、圧縮差分信号を出力
し、上記復号化手段で、上記圧縮差分信号を伸長差分信
号に復号化し、上記予測信号生成手段にて、上記第２メ
モリから取得した画像信号を用いて、予測信号を生成
し、上記加算手段にて、上記伸長差分信号と、上記予測
信号とを加算して、再生信号として出力すると同時に、
上記第１補填手段にて、上記再生信号が含まれる形状の
領域に位置する境界領域であれば、所定の方法で、上記
境界領域の有意でない画素の画素値を補填して、上記第
１メモリに格納し、上記第２補填手段にて、上記第１メ
モリに格納された境界領域に隣接する有意でない画素の
みで構成された無効領域を、所定の方法で補填して、第
２メモリに格納する画像信号復号化装置であって、上記
第1,及び第2 の補填手段は、請求項６，１５，２０また
は２１に記載の補填方法で画素値の補填を行うものとし
たので、復号化の処理において、動きの大きな画像に対
しても差分の小さい予測信号を得ることができ、復号化
処理における遅延時間や演算量を大幅に削減することが
できる画像信号復号化装置を得られる効果がある。

【０１１０】請求項４２の発明によれば、請求項３２に
記載の画像信号復号化装置において、上記補填手段は、
請求項１，２，３，１１，１４，１８，または１９に記
載の画像信号の補填方法で、全画像ブロックの外周領域
を除く領域内での画素値の補填を行い、動き補償で参照
した予測小領域がそれより外側の領域をも含む場合に
は、動き補償と同時に該外側にある無効領域の補填を行
うものであるものとしたので、復号化の処理における遅
延時間や演算量を、より大幅に削減することができる効
果が得られる。

【０１１１】請求項４３の発明によれば、請求項３３に
記載の画像信号復号化装置において、上記第１, 及び第
２の補填手段は、請求項６，１５，２０または２１に記
載の画像信号の補填方法で、全画像ブロックの外周領域
を除く領域内での画素値の補填を行い、動き補償で参照
した予測小領域がそれより外側の領域をも含む場合に
は、動き補償と同時に該外側にある無効領域の補填を行
うものであるものとしたので、復号化の処理における遅
延時間や演算量を、より大幅に削減することができる効
果が得られる。

【０１１２】請求項４４の発明の動き補償方法によれ
ば、請求項１, ２, ３，６，１１, １４, １５, １８,
１９, ２０または２１のいずれかに記載の画像信号の補
填方法を、画像信号の復号化において、動き補償を行う
際に同時に行うものとしたので、復号化の処理におい
て、動きの大きな画像に対しても差分の小さい予測信号
を得ることができ、復号化処理における遅延時間や演算
量を大幅に削減することができる効果が得られる。

【０１１３】請求項４５の発明の記録媒体によれば、請
求項１，２，３，６，１１，１４，１５，１８，１９，
２０または２１のいずれかに記載の画像信号の補填方法
のプログラムを、記憶してなるものとしたので、符号
化, 復号化の処理において、動きの大きな画像に対して
も差分の小さい予測信号を得ることができ、符号化, 復
号化処理における遅延時間や演算量を大幅に削減するこ
とができる効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像信号の補填方
法の流れを示す図

【図２】本発明の実施の形態１による画像信号の補填方
法で用いられる領域の補填方法の１例を示す模式図

【図３】本発明の実施の形態１による画像信号の補填方
法で用いられる領域の補填方法の他の例を示す模式図

【図４】本発明の実施の形態１による画像信号の補填方
法の第１変形例の流れを示す図

【図５】本発明の実施の形態１による画像信号の補填方
法の第２変形例の流れを示す図

【図６】本発明の実施の形態１による画像信号の補填方
法で補填した画像の第１の例を示す模式図

【図７】本発明の実施の形態１による画像信号の補填方
法で補填した画像の第２の例を示す模式図

【図８】本発明の実施の形態１による画像信号の補填方
法で補填した画像の第３の例を示す模式図

【図９】本発明の実施の形態１による画像信号の補填方
法で参照する付加情報の生成の例を示す模式図

【図１０】本発明の実施の形態１による画像信号の補填
方法で参照する付加情報の生成及び付加情報を用いた補
填の例の流れを示す図

【図１１】本発明の実施の形態１による画像信号の補填
方法で参照する付加情報の生成の例を示す模式図

【図１２】本発明の実施の形態１による画像信号の補填
方法で参照する付加情報の生成の例を示す模式図

【図１３】本発明の実施の形態１による画像信号の補填
方法で参照する付加情報の生成,及び付加情報を用いた
補填の例を示す模式図

【図１４】本発明の実施の形態１による画像信号の補填
方法で参照する付加情報の生成,及び付加情報を用いた
補填の例を示す模式図

【図１５】本発明の実施の形態２による画像信号符号化
装置を示すブロック図

【図１６】本発明の実施の形態2-2 による画像信号符号
化装置を示すブロック図

【図１７】本発明の実施の形態3-1 による画像信号符号
化装置を示すブロック図

【図１８】本発明の実施の形態3-2 による画像信号復号
化装置を示すブロック図

【図１９】本発明の実施の形態3-3 による画像信号復号
化装置における補填器の動作を示す流れ図

【図２０】本発明の実施の形態4-1 による画像信号復号
化装置の補填器の流れを示した図

【図２１】本発明の実施の形態4-1 による画像信号復号
化装置の動き補償器の流れを示した図

【図２２】本発明の実施の形態4-2 による画像信号復号
化装置の補填の例を示す模式図

【図２３】本発明の実施の形態4-2 による画像信号復号
化装置における，動き補償において画素の補填を行う動
作を説明するための図

【図２４】本発明の実施の形態６による画像信号の補填
方法のプログラムを媒体に保存した場合を示した模式図

【図２５】本発明の実施の形態５による画像信号の補填
方法の動作を説明するための図

【符号の説明】

２０１ 入力端子 ２０２ 第１加算器 ２０３ 符号化器 ２０４ 離散コサイン変換器 ２０５ 量子化器 ２０６ 出力端子 ２０７ 復号化器 ２０８ 逆量子化器 ２０９ 逆離散コサイン変換器 ２１０ 第２加算器 ２１１ 可変長符号化器 ２１２ 補填器 ２１３ フレームメモリ ２３０ 補填器 ２３１ フレームメモリ ３０１ 入力端子 ３０２ データ解析器 ３０３ 復号化器 ３０４ 逆量子化器 ３０５ 逆離散コサイン変換 ３０６ 加算器 ３０７ 出力端子 ３０９ フレームメモリ

Claims (45)

【特許請求の範囲】
1. 【請求項１】 任意形状を持つ物体の画像信号を複数の
   領域に分割し、上記複数の領域を所定の順序で処理し、
   形状の境界に位置する境界領域に隣接する有意でない画
   素のみで構成される無効領域を、所定の方法で求められ
   た補填値を用いて、補填し、画像信号を出力する, 画像
   信号の補填方法であって、 上記複数の領域内の画素の画素値が有意であるか否かを
   示す有意信号を参照して、上記複数の領域毎に、有意で
   ある画素が含まれるか否かを示す付加情報を、所定の方
   法で生成し、上記付加情報を参照して、上記複数の領域
   に対し、画素値の補填を行うことを特徴とする画像信号
   の補填方法。
2. 【請求項２】 請求項1 記載の画像信号の補填方法にお
   いて、 上記所定の方法は、境界領域にあるブロック内の物体の
   値を、物体外の無効領域まで引き延ばす方法であること
   を特徴とする画像信号の補填方法。
3. 【請求項３】 任意形状を持つ物体の画像信号を複数の
   領域に分割し、上記複数の領域を所定の順序で処理し、
   形状の境界に位置する境界領域に隣接する有意でない画
   素のみで構成される無効領域を、上記境界領域内の有意
   である画素の画素値と、所定の関数とを用いて、求めら
   れた補填値を用いて補填し、画像信号を出力する, 画像
   信号の補填方法であって、 上記複数の領域の画素の画素値が有意であるか否かを示
   す有意信号を参照して、上記複数の領域毎に、有意であ
   る画素が含まれるか否かを示す付加情報を、所定の方法
   で生成し、上記付加情報を参照して、上記複数の領域に
   対し、画素値の補填を行うことを特徴とする画像信号の
   補填方法。
4. 【請求項４】 請求項３記載の画像信号の補填方法にお
   いて、 上記画素値の補填は、補填の対象となる無効領域に含ま
   れる画素の位置に対応する, 上記境界領域内に含まれる
   画素の画素値を用いる, コピーイング関数を用いて、行
   うことを特徴とする画像信号の補填方法。
5. 【請求項５】 請求項３記載の画像信号の補填方法にお
   いて、 上記画素値の補填は、補填の対象となる無効領域に含ま
   れる画素の位置にて、境界領域と上記無効領域が隣接す
   る隣接境界線上で線対称に位置する, 上記境界領域に含
   まれる画素の画素値を用いる, ミラーリング関数を用い
   て、行うことを特徴とする画像信号の補填方法。
6. 【請求項６】 任意形状を持つ物体の画像信号を複数の
   領域に分割し、上記複数の領域を所定の順序で処理し、
   形状の境界に位置する境界領域の有意でない画素の画素
   値を, 所定の方法で求められた補填値で補填し、上記境
   界領域に隣接する有意でない画素のみで構成される無効
   領域を、上記補填した境界領域の画素の画素値と、第2
   の所定の関数とを用いて求められた補填値で補填し、画
   素信号を出力する, 画像信号の補填方法であって、 上記複数の領域の画素の画素値が有意であるか否かを示
   す有意信号を参照して、上記複数の領域毎に有意である
   画素が含まれるか否かを示す付加情報を、所定の方法で
   生成し、上記付加情報を参照して、上記複数の領域に画
   素値の補填を行うことを特徴とする画像信号の補填方
   法。
7. 【請求項７】 請求項６記載の画像信号の補填方法にお
   いて、 上記形状の境界に位置する境界領域の有意でない画素の
   画素値の補填は、補填の対象となる無効領域に含まれる
   画素の位置に対応する, 上記補填した境界領域内に含ま
   れる画素の画素値を用いる, コピーイング関数を用い
   て、行うことを特徴とする画像信号の補填方法。
8. 【請求項８】 請求項６記載の画像信号の補填方法にお
   いて上記境界領域に隣接する無効領域に対する画素値の
   補填は、補填の対象となる無効領域に含まれる画素の位
   置にて、すでに補填された境界領域と上記無効領域が隣
   接する隣接境界線上で線対称に位置する, 上記補填され
   た境界領域に含まれる画素の画素値を用いる, ミラーリ
   ング関数を用いて、行うことを特徴とする画像信号の補
   填方法。
9. 【請求項９】 請求項１ないし８のいずれかに記載の画
   像信号の補填方法において、 境界領域に対し、水平方向に隣接する, 有意でない画素
   の画素値のみから構成される領域を、補填することを特
   徴とする画像信号の補填方法。
10. 【請求項１０】 請求項１ないし８のいずれかに記載の
    画像信号の補填方法において、 境界領域に対し、垂直方向に隣接する, 有意でない画素
    の画素値のみから構成される領域を、補填することを特
    徴とする画像信号の補填方法。
11. 【請求項１１】 任意形状を持つ物体の画像信号を複数
    の領域に分割し、上記複数の領域を所定の順序で処理
    し、形状の境界に位置する境界領域に隣接する有意でな
    い画素のみで構成される無効領域を、所定の方法で求め
    られた補填値で補填し、画像信号を出力することを特徴
    とする画像信号の補填方法であって、 上記複数領域の画素の画素値が有意であるか否かを示す
    有意信号を参照して、上記複数の領域毎に、有意である
    画素が含まれるか否かを示す付加情報を、所定の方法で
    生成し、 対象領域が無効領域でない場合、上記付加情報を参照す
    ることによって、上記所定の順序において上記対象領域
    に隣接する過去の領域が無効領域であると判定されれ
    ば、上記過去の領域を、所定の方法で求められた補填値
    で、補填し、 対象領域が無効領域である場合、上記付加情報を参照す
    ることによって、上記所定の順序において上記対象領域
    に隣接する過去の領域が無効領域でないと判定されれ
    ば、上記対象領域を、所定の方法で求められた補填値
    で、補填することを特徴とする画像信号の補填方法。
12. 【請求項１２】 請求項１１記載の画像信号の補填方法
    において、 上記対象領域が無効領域でない場合、付加情報を参照す
    ることによって、所定の順序において上記対象領域に隣
    接する過去の領域が無効領域であると判定されれば、上
    記過去の領域に含まれる画素の位置に対応する, 上記対
    象領域内の画素の画素値を用いる, コピーイング関数を
    用いて、上記過去の領域の補填を行い、 上記対象領域が無効領域である場合、上記付加情報を参
    照することによって、所定の順序において上記対象領域
    に隣接する上記過去の領域が無効領域でないと判定され
    れば、上記対象領域に含まれる画素の位置に対応する，
    上記過去の領域内の画素の画素値を用いる, コピーイン
    グ関数を用いて、上記対象領域の補填を行うことを特徴
    とする画像信号の補填方法。
13. 【請求項１３】 請求項１１記載の画像信号の補填方法
    において、 上記対象領域が無効領域でない場合、付加情報を参照す
    ることによって、所定の順序において上記対象領域に隣
    接する過去の領域が無効領域であると判定されれば、上
    記過去の領域に含まれる画素の位置に、上記過去の領域
    と上記対象領域が隣接する隣接境界線上で線対称に位置
    する, 上記対象領域に含まれる画素の画素値を用いる,
    ミラーリング関数を用いて、上記過去の領域の補填を行
    い、 上記対象領域が無効領域である場合、上記付加情報を参
    照することによって、上記所定の順序において上記対象
    領域に隣接する上記過去の領域が無効領域でないと判定
    されれば、上記対象領域に含まれる画素の位置に、上記
    無効領域と上記過去の領域が隣接する隣接境界線上で線
    対称に位置する, 上記過去の領域に含まれる画素の画素
    値を用いる, ミラーリング関数を用いて、該対象領域の
    補填を行うことを特徴とする画像信号の補填方法。
14. 【請求項１４】 任意形状を持つ物体の画像信号を複数
    の領域に分割し、上記複数の領域を所定の順序で処理
    し、形状の境界に位置する境界領域に隣接する有意でな
    い画素のみで構成される無効領域を、所定の方法で求め
    られた補填値で補填し、画像信号を出力する, 画像信号
    の補填方法であって、 上記複数領域に含まれる画素の画素値が有意であること
    を示す有意信号を参照して、上記複数の領域毎に、有意
    である画素が含まれるか否かを示す付加情報を、所定の
    方法で生成し、 対象領域が無効領域でない場合、上記付加情報を参照す
    ることによって、上記所定の順序において上記対象領域
    に隣接する過去の領域が無効領域であると判定されれ
    ば、上記過去の領域を、上記対象領域に含まれる有意な
    画素の画素値と、所定の関数とを用いて求められた補填
    値を用いて、補填し、 対象領域が無効領域である場合、上記付加情報を参照す
    ることによって、上記所定の順序において上記対象領域
    に隣接する過去の領域が無効領域でないと判定されれ
    ば、上記対象領域を、上記過去の領域に含まれる有意な
    画素の画素値と、所定の関数とを用いて求められた補填
    値で、補填することを特徴とする画像信号の補填方法。
15. 【請求項１５】 任意形状を持つ物体の画像信号を複数
    の領域に分割し、上記複数の領域を所定の順序で処理
    し、形状の境界に位置する境界領域に隣接する有意でな
    い画素のみで構成される無効領域を、所定の方法で求め
    られた画素値を用いて、補填し、画像信号を出力する,
    画像信号の補填方法であって、 上記複数領域に含まれる画素の画素値が有意であるか否
    かを示す有意信号を参照して、上記複数の領域毎に、有
    意である画素が含まれるか否かを示す付加情報を、所定
    の方法で生成し、 対象領域が無効領域でない場合、上記対象領域に含まれ
    る有意でない画素の画素値を、所定の方法で求められた
    画素値を用いて、補填し、 付加情報を参照することによって、上記所定の順序にお
    いて上記対象領域に隣接する過去の領域が無効領域であ
    ると判定されれば、上記過去の領域を、上記補填した対
    象領域に含まれる画素の画素値と、第２の所定の関数と
    を用いて求められた画素値で、補填し、 上記対象領域が無効領域である場合、上記付加情報を参
    照することによって、上記所定の順序において上記対象
    領域に隣接する過去の領域が無効領域でないと判定され
    れば、上記対象領域を、上記過去の領域に含まれる画素
    の画素値と、第２の所定の関数とを用いて求められた補
    填値で、補填することを特徴とする画像信号の補填方
    法。
16. 【請求項１６】 請求項１５記載の画像信号の補填方法
    において、 上記対象領域が無効領域でない場合は、上記対象領域に
    含まれる有意でない画素の画素値を、所定の方法で求め
    られた画素値で補填し、 付加情報を参照することによって、所定の順序において
    上記補填された対象領域に隣接する過去の領域が無効領
    域であると判定されれば、上記過去の領域に含まれる画
    素の位置に対応する, 上記補填した対象領域の画素の画
    素値を用いる,コピーイング関数を用いて、上記過去の
    領域を補填し、 上記対象領域が無効領域である場合は、上記付加情報を
    参照することによって、上記所定の順序において上記対
    象領域に隣接する上記過去の領域が無効領域でないと判
    定されれば、上記対象領域に含まれる画素の位置に対応
    する, 上記過去の領域内の画素の画素値を用いる, コピ
    ーイング関数を用いて、上記対象領域を補填することを
    特徴とする画像信号の補填方法。
17. 【請求項１７】 請求項１５記載の画像信号の補填方法
    において、 上記対象領域が無効領域でない場合は、上記対象領域に
    含まれる有意でない画素の画素値を、所定の方法で求め
    られた画素値で、補填し、 付加情報を参照することによって、所定の順序において
    上記補填された対象領域に隣接する過去の領域が無効領
    域であると判定されれば、上記過去の領域に含まれる画
    素の位置に、上記過去の領域と上記補填された対象領域
    が隣接する隣接境界線上で線対称に位置する, 上記補填
    された対象領域に含まれる画素の画素値を用いる, ミラ
    ーリング関数を用いて、上記過去の領域を、補填し、 上記対象領域が無効領域である場合、上記付加情報を参
    照することによって、上記所定の順序において上記対象
    領域に隣接する上記過去の領域が無効領域でないと判定
    されれば、上記対象領域に含まれる画素の位置に、上記
    過去の領域と上記対象領域が隣接する隣接境界線上で線
    対称に位置する, 上記過去の領域に含まれる画素の画素
    値を用いる, ミラーリング関数を用いて、上記対象領域
    を補填することを特徴とする画像信号の補填方法。
18. 【請求項１８】 任意形状を持つ物体の画像信号を複数
    の領域に分割し、上記複数の領域を所定の順序で処理
    し、形状の境界に位置する境界領域に隣接する有意でな
    い画素のみで構成される無効領域を、上記境界領域内の
    有意である画素の画素値と、所定の関数とを用いて求め
    られた補填値を用いて、補填して出力する, 画像信号の
    補填方法であって、 上記補填値は、補填の対象となる無効領域に含まれる画
    素の位置に対応する,上記境界領域内に含まれる画素の
    画素値を用いる, コピーイング関数を用いて、補填を行
    うことを特徴とする画像信号の補填方法。
19. 【請求項１９】 任意形状を持つ物体の画像信号を複数
    の領域に分割し、上記複数の領域を所定の順序で処理
    し、形状の境界に位置する境界領域に隣接する有意でな
    い画素のみで構成される無効領域を、上記境界領域内の
    有意である画素の画素値と、所定の関数とを用いて求め
    られた補填値を用いて、補填して出力する, 画像信号の
    補填方法であって、 上記補填値は、補填の対象となる無効領域に含まれる画
    素の位置に、境界領域と上記無効領域が隣接する隣接境
    界線上で線対称に位置する, 上記境界領域に含まれる画
    素の画素値を用いる, ミラーリング関数を用いて、補填
    を行うことを特徴とする画像信号の補填方法。
20. 【請求項２０】 任意形状を持つ物体の画像信号を複数
    の領域に分割し、上記複数の領域を所定の順序で処理
    し、形状の境界に位置する境界領域の有意でない画素の
    画素値を、所定の方法を用いて求められた補填値を用い
    て、補填し、上記境界領域に隣接する有意でない画素の
    みで構成される無効領域を、上記補填した境界領域の画
    素の画素値と、第2 の所定の関数とを用いて求められた
    補填値を用いて補填して、画像信号を出力する, 画像信
    号の補填方法であって、 上記補填値は、補填の対象となる無効領域に含まれる各
    画素の位置に対応する, 上記補填した境界領域内に含ま
    れる画素の画素値を用いる, コピーイング関数を用い
    て、補填を行うことを特徴とする画像信号の補填方法。
21. 【請求項２１】 任意形状を持つ物体の画像信号を複数
    の領域に分割し、上記複数の領域を所定の順序で処理
    し、形状の境界に位置する境界領域の有意でない画素の
    画素値を、所定の方法を用いて求められた補填値で補填
    し、上記境界領域に隣接する有意でない画素のみで構成
    される無効領域を、上記補填した境界領域の画素の画素
    値と、第2 の所定の関数とを用いて求められた補填値で
    補填して、画像信号を出力する, 画像信号の補填方法で
    あって、 上記補填値は、補填の対象となる無効領域に含まれる各
    画素の位置に対し、すでに補填された境界領域と上記無
    効領域が隣接する隣接境界線上で線対称に位置する, 上
    記補填された境界領域に含まれる画素の画素値を用い
    る, ミラーリング関数を用いて、上記無効領域に対し、
    補填を行うことを特徴とする画像信号の補填方法。
22. 【請求項２２】 入力手段と、第１加算手段と、符号化
    手段と、復号化手段と、第２加算手段と、補填手段と、
    メモリと、予測領域生成手段を具備し、 上記入力手段に任意形状の画像信号を入力し、上記画像
    信号を互いに隣接する複数の領域に分割し、上記複数の
    領域を対象領域として所定の順序で処理し、 上記第１加算手段に上記対象領域と、上記予測領域生成
    手段からの予測領域とを入力して差分領域を生成し、 上記符号化手段に上記差分領域を入力して、該符号化手
    段により、所定の方法で上記差分領域を圧縮差分領域に
    変換し、 上記復号化手段に上記圧縮差分領域を入力して、該復号
    化手段により、所定の方法で圧縮差分領域を上記伸張差
    分領域に復元し、 上記第２加算手段に上記伸張差分領域を入力し、該伸張
    差分領域に上記予測領域を加算して再生領域を生成し、 上記補填手段に上記再生領域を入力し、所定の方法で、
    上記再生領域に含まれる有意でない画素の画素値を補填
    して、補填領域として上記メモリに格納し、 上記予測領域生成手段に上記メモリに格納した上記補填
    領域を入力して、上記予測領域を生成し、 上記圧縮差分領域信号を画像信号符号化装置の出力とす
    る画像信号符号化装置であって、 上記補填手段は、請求項１，２，３，１１，１４，１
    ８，または１９に記載の画像信号の補填方法で画素値の
    補填を行うことを特徴とする画像信号符号化装置。
23. 【請求項２３】 入力手段と、第１加算手段と、符号化
    手段と、復号化手段と、第２加算手段と、第１補填手段
    と、第２補填手段と、第１メモリと、第２メモリと、予
    測領域生成手段を具備し、 上記入力手段に、任意形状の画像信号を入力し、該画像
    信号を互いに隣接する複数の領域に分割し、上記複数の
    領域を、対象領域として、所定の順序で処理し、 上記第１加算手段に、上記対象領域と、上記予測領域生
    成手段からの予測領域とを入力して、差分領域を生成
    し、 上記符号化手段に、上記差分領域を入力して、該符号化
    手段により、所定の方法で、該差分領域を、圧縮差分領
    域に変換し、 上記復号化手段に、上記圧縮差分領域を入力して、該復
    号化手段により、所定の方法で、該圧縮差分領域を、伸
    張差分領域に復元し、 上記第２加算手段に、上記伸張差分領域を入力し、該伸
    長差分領域に上記予測領域を加算して、再生領域を生成
    し、 上記第１補填手段に、上記再生領域を入力し、所定の方
    法で、上記再生領域に含まれる形状の境界に位置する境
    界領域の有意でない画素の画素値を補填して、上記第１
    メモリに格納し、 上記第２補填手段に、上記第１メモリ内容を入力し、所
    定の方法で、上記第１メモリ内容に含まれる上記境界領
    域に隣接する有意でない画素のみで構成される無効領域
    を補填して、第２補填領域として、上記第２メモリに格
    納し、 上記予測領域生成手段に、上記第２メモリに格納した上
    記第２補填領域を入力して、上記予測領域を生成し、 上記圧縮差分領域信号を、画像信号符号化装置の出力と
    する画像信号符号化装置であって、 上記第１補填手段, 及び第２補填手段は、請求項６，１
    ５，２０または２１に記載の画像信号の補填方法で画素
    値の補填を行うことを特徴とする画像信号符号化装置。
24. 【請求項２４】 請求項２２に記載の画像信号符号化装
    置において、 上記予測領域生成手段は、補填された補填領域のみを参
    照して予測領域を生成することを特徴とする画像信号符
    号化装置。
25. 【請求項２５】 請求項２３に記載の画像信号符号化装
    置において、 上記予測領域生成手段は、補填された補填領域のみを参
    照して予測領域を生成することを特徴とする画像信号符
    号化装置。
26. 【請求項２６】 請求項２２に記載の画像信号符号化装
    置において、 上記予測領域生成手段は、形状をあらわす境界に位置す
    る境界領域に隣接する, 有意でない画素のみで構成され
    る無効領域を、所定の方法で、補填することを特徴とす
    る画像信号符号化装置。
27. 【請求項２７】 請求項２３に記載の画像信号符号化装
    置において、 上記予測領域生成手段は、形状をあらわす境界に位置す
    る境界領域に隣接する, 有意でない画素のみで構成され
    る無効領域を、所定の方法で、補填することを特徴とす
    る画像信号符号化装置。
28. 【請求項２８】 請求項２２に記載の画像信号符号化装
    置において、 上記予測領域生成手段は、予測領域を生成するために参
    照される１以上の参照領域に含まれる有意でない画素の
    画素値のみを、所定の方法で、補填することを特徴とす
    る画像信号符号化装置。
29. 【請求項２９】 請求項２３に記載の画像信号符号化装
    置において、 上記予測領域生成手段は、予測領域を生成するために参
    照される１以上の参照領域に含まれる有意でない画素の
    画素値のみを、所定の方法で、補填することを特徴とす
    る画像信号符号化装置。
30. 【請求項３０】 請求項２２に記載の画像信号符号化装
    置において、 上記補填を行うために参照する付加情報を一時的に保持
    しておくための局所メモリを具備することを特徴とする
    画像信号符号化装置。
31. 【請求項３１】 請求項２３に記載の画像信号符号化装
    置において、 上記補填を行うために参照する付加情報を一時的に保持
    しておくための局所メモリを具備することを特徴とする
    画像信号符号化装置。
32. 【請求項３２】 入力手段と、データ解析手段と、復号
    化手段と、加算手段と、補填手段と、メモリと、予測信
    号生成手段とを具備し、 上記入力手段に、圧縮符号化された符号化信号を入力
    し、 上記データ解析手段で、上記符号化信号を解析して、圧
    縮差分信号を出力し、 上記復号化手段で、上記圧縮差分信号を伸長差分信号に
    復号化し、 上記予測信号生成手段にて、上記メモリから取得した画
    像信号を用いて、予測信号を生成し、 上記加算手段にて、上記伸長差分信号と、上記予測信号
    とを加算して、再生信号として出力すると同時に、 上記補填手段にて、所定の方法で、上記再生信号に含ま
    れる有意でない画素の画素値を補填して、上記メモリに
    格納する画像信号復号化装置であって、 上記補填手段は、請求項１，２，３，１１，１４，１８
    または１９に記載の補填方法で画素値の補填を行うこと
    を特徴とする画像信号復号化装置。
33. 【請求項３３】 入力手段と、データ解析手段と、復号
    化手段と、加算手段と、第１補填手段と、第２補填手段
    と、第１メモリと、第２メモリと、予測信号生成手段と
    を具備し、 上記入力手段に、圧縮符号化された符号化信号を入力
    し、 上記データ解析手段で、上記符号化信号を解析して、圧
    縮差分信号を出力し、 上記復号化手段で、上記圧縮差分信号を伸長差分信号に
    復号化し、 上記予測信号生成手段にて、上記第２メモリから取得し
    た画像信号を用いて、予測信号を生成し、 上記加算手段にて、上記伸長差分信号と、上記予測信号
    とを加算して、再生信号として出力すると同時に、 上記第１補填手段にて、上記再生信号が含まれる形状の
    領域に位置する境界領域であれば、所定の方法で、上記
    境界領域の有意でない画素の画素値を補填して、上記第
    １メモリに格納し、 上記第２補填手段にて、上記第１メモリに格納された境
    界領域に隣接する有意でない画素のみで構成された無効
    領域を、所定の方法で補填して、第２メモリに格納する
    画像信号復号化装置であって、 上記第1,及び第2 の補填手段は、請求項６，１５，２０
    または２１に記載の補填方法で画素値の補填を行うこと
    を特徴とする画像信号復号化装置。
34. 【請求項３４】 請求項３２に記載の画像信号復号化装
    置において、 上記予測領域生成手段は、補填された補填領域のみを参
    照して予測領域を生成することを特徴とする画像信号復
    号化装置。
35. 【請求項３５】 請求項３３に記載の画像信号復号化装
    置において、 上記予測領域生成手段は、補填された補填領域のみを参
    照して予測領域を生成することを特徴とする画像信号復
    号化装置。
36. 【請求項３６】 請求項３２に記載の画像信号復号化装
    置において、 上記予測領域生成手段は、形状をあらわす境界に位置す
    る境界領域に隣接する, 有意でない画素のみで構成され
    る無効領域を、所定の方法で、補填することを特徴とす
    る画像信号復号化装置。
37. 【請求項３７】 請求項３３に記載の画像信号復号化装
    置において、 上記予測領域生成手段は、形状をあらわす境界に位置す
    る境界領域に隣接する, 有意でない画素のみで構成され
    る無効領域を、所定の方法で、補填することを特徴とす
    る画像信号復号化装置。
38. 【請求項３８】 請求項３２に記載の画像信号復号化装
    置において、 上記予測領域生成手段は、予測領域を生成するために参
    照される１以上の参照領域に含まれる有意でない画素の
    画素値のみを、所定の方法で、補填することを特徴とす
    る画像信号復号化装置。
39. 【請求項３９】 請求項３３に記載の画像信号復号化装
    置において、 上記予測領域生成手段は、予測領域を生成するために参
    照される１以上の参照領域に含まれる有意でない画素の
    画素値のみを、所定の方法で、補填することを特徴とす
    る画像信号復号化装置。
40. 【請求項４０】 請求項３２に記載の画像信号復号化装
    置において、 補填を行うために参照する付加情報を一時的に保持して
    おくための局所メモリを具備することを特徴とする画像
    信号復号化装置。
41. 【請求項４１】 請求項３３に記載の画像信号復号化装
    置において、 補填を行うために参照する付加情報を一時的に保持して
    おくための局所メモリを具備することを特徴とする画像
    信号復号化装置。
42. 【請求項４２】 入力手段と、データ解析手段と、復号
    化手段と、加算手段と、補填手段と、メモリと、予測信
    号生成手段とを具備し、 上記入力手段に、圧縮符号化された符号化信号を入力
    し、 上記データ解析手段で、上記符号化信号を解析して、圧
    縮差分信号を出力し、 上記復号化手段で、上記圧縮差分信号を伸長差分信号に
    復号化し、 上記予測信号生成手段にて、上記メモリから取得した画
    像信号を用いて、予測信号を生成し、 上記加算手段にて、上記伸長差分信号と、上記予測信号
    とを加算して、再生信号として出力すると同時に、 上記補填手段にて、所定の方法で、上記再生信号に含ま
    れる有意でない画素の画素値を補填して、上記メモリに
    格納する画像信号復号化装置であって、 上記補填手段は、請求項１，２，３，１１，１４，１８
    または１９に記載の画像信号の補填方法で、全画像ブロ
    ックの外周領域を除く領域内での画素値の補填を行い、
    動き補償で参照した予測小領域がそれより外側の領域を
    も含む場合には、動き補償と同時に該外側にある無効領
    域の補填を行うものであることを特徴とする画像信号復
    号化装置。
43. 【請求項４３】 入力手段と、データ解析手段と、復号
    化手段と、加算手段と、第１補填手段と、第２補填手段
    と、第１メモリと、第２メモリと、予測信号生成手段と
    を具備し、 上記入力手段に、圧縮符号化された符号化信号を入力
    し、 上記データ解析手段で、上記符号化信号を解析して、圧
    縮差分信号を出力し、 上記復号化手段で、上記圧縮差分信号を伸長差分信号に
    復号化し、 上記予測信号生成手段にて、上記第２メモリから取得し
    た画像信号を用いて、予測信号を生成し、 上記加算手段にて、上記伸長差分信号と、上記予測信号
    とを加算して、再生信号として出力すると同時に、 上記第１補填手段にて、上記再生信号が含まれる形状の
    領域に位置する境界領域であれば、所定の方法で、上記
    境界領域の有意でない画素の画素値を補填して、上記第
    １メモリに格納し、 上記第２補填手段にて、上記第１メモリに格納された境
    界領域に隣接する有意でない画素のみで構成された無効
    領域を、所定の方法で補填して、第２メモリに格納する
    画像信号復号化装置であって、 上記第１, 及び第２の補填手段は、請求項６，１５，２
    ０または２１に記載の画像信号の補填方法で、全画像ブ
    ロックの外周領域を除く領域内での画素値の補填を行
    い、動き補償で参照した予測小領域がそれより外側の領
    域をも含む場合には、動き補償と同時に該外側にある無
    効領域の補填を行うものであることを特徴とする画像信
    号復号化装置。
44. 【請求項４４】 請求項１, ２, ３，６，１１, １４,
    １５, １８, １９,２０または２１のいずれかに記載の
    画像信号の補填方法を、画像信号復号化装置において、
    動き補償を行う際に同時に行うことを特徴とする動き補
    償方法。
45. 【請求項４５】 請求項１，２，３，６，１１，１４，
    １５，１８，１９，２０または２１のいずれかに記載の
    画像信号の補填方法のプログラムを、記憶してなること
    を特徴とする記録媒体。