JPH10191339A

JPH10191339A - 画像信号の補填方法及び画像信号復号化装置

Info

Publication number: JPH10191339A
Application number: JP33176096A
Authority: JP
Inventors: 潤 ▲たか▼橋; Jun Takahashi; Chun Sen Bun; チユンセンブン
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-10-24
Filing date: 1996-12-12
Publication date: 1998-07-21

Abstract

(57)【要約】【課題】復号の際の遅延時間や演算量を大幅に削減す
る。【解決手段】任意の形状を持つ画像を入力し、複数の
領域に分割して、各領域について所定の順番で操作し、
一つずつ図１の流れ図に従って処理する。ステップ１２
では、現ブロックが物体の外にあるかどうかを調べる。
現ブロックが物体の外になければ、ステップ１４に進
み、現ブロックに隣接する過去のブロックは完全に物体
の外にあるかどうかを調べる。過去のブロックが物体の
外にあれば、ステップ１６において、補填値を計算し、
ステップ１８で過去のブロックの画素値を補填する。ス
テップ１２において、現ブロックが物体の外にあれば、
ステップ２０に進む。ここで、隣接する過去のブロック
が物体の外にあるかどうかを調べる。過去のブロックが
物体の外になければ、ステップ２２において補填値を計
算し、ステップ２４で現ブロックの画素値を補填する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は任意形状をもつ画像
信号を補填する方法及びその補填方法を用いた画像信号
の符号化・復号化装置に関するものである。

【０００２】なお、画像信号とは、画素値をあらわすカ
ラー信号や、画素の透過度をしめす透過度信号を示すも
のとする。

【０００３】

【従来の技術】画像信号を効率よく蓄積、もしくは伝送
するためには、圧縮符号化する必要がある。画像信号を
効率よく圧縮符号化するための方法として、ＪＰＥＧや
ＭＰＥＧに代表される離散コサイン変換（ＤＣＴ）のほ
かに、サブバンド符号化、ウェーブレット符号化、フラ
クタル符号化などの波形符号化方法がある。また、画像
間の冗長な信号を取り除くには動き補償を用いた画像間
予測を行い、画像間の差分をとることにより生成される
差分信号を波形符号化する。

【０００４】最近では、圧縮効率を向上させると同時
に、画像を構成する物体範囲の再生ができるように、画
像を構成する物体を別々に圧縮符号化し、画像を構成す
る物体を別々に圧縮符号化し伝送する方法が提案されて
いる。再生側では、それぞれの物体を復号化し、再生し
た物体を合成し画像を表示する。

【０００５】なお、合成の際には重ねる画像によって背
景が隠されるか、または背景が隠されないかを各画素ご
とに示す情報が必要である。合成に使用されるこの情報
を有意信号と呼び、背景が隠されている画素を有意と呼
ぶ。

【０００６】物体単位に符号化することで、物体を自由
に組み合わせて合成することにより、動画像を簡単に再
編集できる。また、通信路の混み具合や再生装置の性
能、視聴者の好みなどによって、比較的重要でない物体
を再生せずに、動画像を見ることが出来る。

【０００７】任意の形状を持つ画像（物体）を符号化す
るために、形状に適した符号化方法、たとえば形状適応
離散コサイン変換を用いるか、画像の無効領域（物体の
外、有意でない画素のみで構成される領域）を所定の方
法で補填し、従来の８×８のコサイン変換などを用いて
符号化を行う。

【０００８】一方、画像間の冗長な信号を取り除くため
に、過去において再生された参照画像を動き補償して得
られた予測領域（たとえば１６×１６画素から構成され
るブロック）にも、物体の境界において有意でない画素
が含まれる。このような予測領域をいったん補填してか
ら、対象領域と差分をとり、予測誤差信号を生成し、変
換符号化する。予測領域を差分するのは差分信号を抑圧
するためである。

【０００９】

【発明が解決しようとする課題】従来の方法では、予測
領域に有意でない画素が含まれないように、画像全体を
参照し補填してから、動き補償などの方法で予測領域を
取得する。従来の技術の補填方法は、物体の境界にある
有為な画素の画素値を繰り返し、有意でない画素の画素
値を置き換える。ある画素において、水平及び垂直方向
に繰り返した補填値がある場合その両方を平均し、補填
値として有意でない画素の画素値と置き換える。画像全
体を補填することにより、特に動きの大きい画像に対し
て誤差の少ない予測領域が得られる。

【００１０】しかし、再生参照画像の全体を参照して補
填するためには、参照画像全体が復号化されていなけれ
ば補填作業が開始できない。また、繰り返し補填する場
合、画像の大きさに比例して演算が増加する。すなわ
ち、画像を再生するのに遅延が生じ、場合によって演算
量が非常に多くなってしまう。

【００１１】画像の大きさに比例しない演算を行うため
には、再生した境界領域を領域単位で補填する方法があ
る。この方法で遅延と演算量の問題が解決できる。一
方、境界領域だけを補填するために、有効領域は補填し
た境界領域以内の領域に制限される。したがって、動き
の大きい動画に対して、誤差の小さい予測信号を生成す
ることができない。

【００１２】本発明は、遅延時間と演算量が少なく、動
きの大きい画像に対し、誤差の小さい予測信号を生成で
きる画像の補填方法を提供する。

【００１３】

【課題を解決するための手段】この課題を解決するため
に、本発明の画像信号の補填方法は、任意形状の画像信
号を複数の領域に分割し、所定の順番で処理し、形状の
境界に位置する境界領域に隣接する有意でない画素のみ
からなる無効領域を、所定の方法で求められた補填値で
補填する。特に、対象領域が無効領域でない場合、所定
の順番において対象領域に隣接する過去の領域が無効領
域であれば、過去の領域を、所定の方法で求められた補
填値で補填し、対象領域が無効領域である場合、所定の
順番において、対象領域に隣接する過去の領域が無効領
域でなければ、対象領域を所定の方法で求められた補填
値で補填する。

【００１４】本発明の画像信号の補填方法を用いた画像
符号化装置は、入力手段と、第１加算手段と、符号化手
段と、復号化手段と、第２加算手段と補填手段と、メモ
リと、予測領域生成手段を具備し、入力手段に任意形状
の画像信号を入力し、画像信号を互いに隣接する複数の
領域に分割し所定の順番で処理し、第１加算手段に対象
領域と、予測領域生成手段からの予測領域を入力、差分
領域を生成し、符号化手段に差分領域を入力し、第１の
所定の方法で圧縮差分領域に変換し、復号化手段に圧縮
差分領域を入力し、第２の所定の方法で伸張差分領域に
復元し、第２加算手段に伸張差分領域を入力し、予測領
域を加算し、再生領域を生成し、補填手段に再生領域を
入力し、前述の方法で再生領域に含まれる有意でない画
素の画素値を補填し、補填領域としてメモリに格納し、
予測領域生成手段にメモリに格納した補填領域を入力
し、予測領域を生成し、圧縮差分信号を画像符号化装置
の出力とする。

【００１５】本発明の画像信号の補填方法を用いた画像
符号化装置は、入力手段と、第１加算手段と、符号化手
段と、復号化手段と、第２加算手段と第１補填手段と、
第２補填手段と、第１メモリと、第２メモリと、予測領
域生成手段を具備し、入力手段に任意形状の画像信号を
入力し、画像信号を互いに隣接する複数の領域に分割
し、対象領域とし所定の順番で処理し、第１加算手段に
対象領域と、予測領域生成手段からの予測領域を入力
し、差分領域を生成し、符号化手段に差分領域を入力
し、第１の所定の方法で圧縮差分領域に変換し、復号化
手段に圧縮差分領域を入力し、第２の所定の方法で伸張
差分領域に復元し、第２加算手段に伸張差分領域を入力
し、予測領域を加算し、再生領域を生成し、第１補填手
段に前記再生領域を入力し、前述の方法で再生領域に含
まれる形状の境界に位置する境界領域の有意でない画素
の画素値を補填し、第１メモリに格納し、第２補填手段
にメモリ内容を入力し、前述の方法でメモリに含まれる
境界領域に隣接する有意でない画素からのみで構成され
る無効領域を補填し、第２補填領域として第２メモリに
格納し、予測領域生成手段に第２メモリに格納した第２
補填領域を入力し、予測領域を生成し、圧縮差分信号を
画像符号化装置の出力とする。

【００１６】本発明の画像信号の補填方法を用いた画像
復号化装置は、入力手段と、データ解析手段と、復号化
手段と、加算手段と、補填手段と、メモリを具備し、入
力手段に圧縮符号化された符号化信号を入力し、データ
解析手段で符号化信号を解析し、圧縮差分信号を出力
し、復号化手段で圧縮差分信号を伸長差分信号に復号化
し、予測信号生成手段にて、メモリから取得した画像信
号を用いて予測信号を生成し、加算手段にて、伸長差分
信号と、予測信号を加算し、再生信号として出力すると
同時に、補填手段にて前述の方法で再生信号に含まれる
有意でない画素の画素値を補填し、メモリに格納し、再
生信号を画像復号化装置の出力とする。

【００１７】本発明の画像信号の補填方法を用いた画像
復号化装置は、入力手段と、データ解析手段と、復号化
手段と、加算手段と、第１補填手段と第２補填手段と、
第１メモリと、第２メモリを具備し、入力手段に圧縮符
号化された符号化信号を入力し、データ解析手段で符号
化信号を解析し、圧縮差分信号を出力し、復号化手段で
圧縮差分信号を伸長差分信号に復号化し、予測信号生成
手段にて、第２メモリから取得した画像信号を用いて予
測信号を生成し、加算手段にて、伸長差分信号と、予測
信号を加算し、再生信号として出力すると同時に、１補
填手段にて、再生信号が含まれる形状の領域に位置する
境界領域であれば、前述の方法で境界領域の有意でない
画素の画素値を補填し、第１メモリに格納し、第２補填
手段にて第１メモリに格納された境界領域に隣接する有
意でない画素のみで構成された無効領域を前述の方法で
補填し、第２メモリに格納し、再生信号を画像復号化装
置の出力とする。

【００１８】

【発明の実施の形態】

（実施の形態１）図１は本発明の実施の形態１による画
像信号の補填方法の流れ図を示す。

【００１９】任意の形状を持つ画像を入力し、互いに隣
接する複数の領域に分割して、各領域について所定の順
番で操作し、一つずつ図１の流れ図の方法に従って処理
する。本実施の形態では左上にある領域からスタート
し、ラスタスキャンと同じ順番で領域を走査する。領域
の形は三角形でもよいし、長方形や正方形でもよいもの
とする。本実施の形態ではＮ×Ｎ個の画素からなる正方
形に分割して処理する。Ｎは８または１６である。以下
では、Ｎ×Ｎ個の正方形をブロックと呼ぶ。

【００２０】まず、ステップ１２では、現在処理の対象
となるブロック（現ブロック）が完全に任意形状の画
像、すなわち物体の外にあるかどうかを調べる。

【００２１】完全に物体の外にある場合は、該当するブ
ロックの画素はすべて有意でない。本実施の形態では、
ある画素が有意であるかどうかについて、該当する画像
の有意信号を参照する。有意信号が０ならば有意でな
い、１ならば有意であるとする。

【００２２】現ブロックが完全に物体の外になければ、
ステップ１４に進む。ここで、現ブロックに隣接する過
去のブロックは完全に物体の外にあるかどうかを調べ
る。ここで、過去のブロックとは、領域の走査の順番に
おいて、先に処理されたブロックのことである。隣接す
る過去のブロックが完全に物体の外にあれば、ステップ
１６において、所定の方法で補填値を計算し、ステップ
１８で隣接する過去のブロックのサンプル値を置き換
え、補填する。

【００２３】ステップ１２において、現ブロックが完全
に物体の外にあれば、ステップ２０に進む。ここで、隣
接する過去のブロックが完全に物体の外にあるかどうか
を調べる。過去のブロックが完全に物体の外になけれ
ば、ステップ２２において所定の方法で補填値を計算
し、ステップ２４で現ブロックのサンプル値を置き換
え、補填する。なお、隣接する過去のブロックがステッ
プ１８で補填された場合、ステップ２０において完全に
物体の外にないと判断してもよい。

【００２４】この処理を最後のブロックまで繰り返す。
図２と図３は補填値の計算方法についての模式図を表し
ている。図２は現ブロックと過去のブロックが水平方向
に隣接する場合である。図２（１）ではブロック３２が
現ブロックで、ブロック３０が過去のブロックである。
ブロックの各升目は画素を示している。ブロック３０が
完全に物体の外にあるとして、ブロック３２内の画素の
画素値Ａ〜Ｆの値をブロックの境界３１に線対称の画素
の位置に代入し、補填を行う。

【００２５】図２（２）はブロック３５が物体の境界領
域であり、ブロック３７が完全に物体の外にある場合で
ある。この場合は図中に示すようにブロック３５内画素
の画素値をブロックの境界３６に線対称で位置する画素
に代入し、補填を行う。

【００２６】図２（３）はブロック４２が現ブロック
で、ブロック４０が過去のブロックである。ブロック４
０が完全に物体の外にあるとして、図中に示すようにブ
ロック４２内の画素の画素値Ａ〜Ｆの値をブロック４０
に対応する画素の位置に代入し、補填を行う。

【００２７】図２（４）はブロック４７が現ブロック
で、ブロック４５が過去のブロックである。ブロック４
７が完全に物体の外にあるとして、図中に示すようにブ
ロック４５内の画素の画素値Ａ〜Ｆの値をブロック４７
に対応する画素の位置に代入し、補填を行う。

【００２８】図３は現ブロックと過去のブロックが垂直
方向に隣接する場合である。図３（１）ではブロック５
０が現ブロックで、ブロック５２が過去のブロックであ
る。ブロック５０が完全に物体の外にあるとして、ブロ
ック５２内の画素の画素値Ａ〜Ｆの値をブロックの境界
３３に線対称の画素の位置に代入し、補填を行う。

【００２９】図３（２）ではブロック５７が現ブロック
で、ブロック５５が過去のブロックである。ブロック５
７が完全に物体の外にあるとして、ブロック５５内の画
素の画素値Ａ〜Ｆの値をブロックの境界３３に線対称の
画素の位置に代入し、補填を行う。

【００３０】図３（３）はブロック６２が現ブロック
で、ブロック６０が過去のブロックである。ブロック６
０が完全に物体の外にあるとして、図中に示すようにブ
ロック６２内の画素の画素値Ａ〜Ｆの値をブロック６０
に対応する画素の位置に代入し、補填を行う。

【００３１】図３（３）はブロック６７が現ブロック
で、ブロック６５が過去のブロックである。ブロック６
７が完全に物体の外にあるとして、図中に示すようにブ
ロック６５内の画素の画素値Ａ〜Ｆの値をブロック６７
に対応する画素の位置に代入し、補填を行う。

【００３２】図２、図３において、物体の境界部分に位
置するブロック３２、３７、４２、４５、５２、５５、
６２、６５については、ブロック内の有意である画素の
画素値の用いて算出した平均値をブロック内の有意でな
い画素の画素値に代入した後、以上の処理を行ってもよ
い。

【００３３】なお、簡単化するために４×４のブロック
について説明したが、Ｎ×Ｎ（Ｎは任意の整数）のブロ
ックについても同様である。

【００３４】図４は図１の流れ図にステップ１３を加え
たものである。すなわち、現ブロックが完全に物体の外
にない場合、現ブロックに含まれる物体外の領域を補填
する。図２（１）の場合、画素Ａ、Ｅ、Ｉ、Ｍが物体外
の領域の時は、ブロック３２内の画素Ａ、Ｅ、Ｉ、Ｍの
以外の画素値の平均値を生成し、画素Ａ、Ｅ、Ｉ、Ｍに
代入する。

【００３５】また、ブロック３２の物体の境界に位置す
る画素Ｂ、Ｆ、Ｊ、Ｎをそれぞれ物体外の画素水平方向
に繰り返して画素Ａ、Ｅ、Ｉ、Ｍに補填する方法もあ
る。この場合は水平のみであるが、水平及び垂直方向に
繰り返し補填することも考えられる。そうした場合、一
つの画素について、２つの補填値が存在する場合が考え
られるが、そのようなときには２つの補填値を平均して
代入する。

【００３６】図５は図４において、ステップ１５、１
９、２１に水平方向に隣接する過去のブロックを用いた
処理に限定した場合の流れ図を示す。図５の処理に従っ
て補填した画像１０８の例を図６に示す。星の形状１１
０が有意な物体で、それ以外の部分は有意でない画素の
みで構成される無効領域である。画像１０８は７×７の
ブロックに分割されている。ブロック１１２と同じ模様
で塗りつぶされたブロックは図５のステップ１３によっ
て補填されたものである。ブロック１１４と同じ模様で
塗りつぶされたブロックは図５のステップ１９もしくは
ステップ２４によって補填されたものである。

【００３７】画像１０８の補填の手順を図５と図６を用
いて説明する。まずブロック１１２について考える。ス
テップ１２において現ブロック１１２は完全に物体の外
にないため、ステップ１３で補填される。ステップ１５
において水平に隣接する過去のブロックは完全に物体の
外にはないので、無処理で次に進む。

【００３８】次にブロック１１４について考える。ステ
ップ１２において現ブロック１１４は完全に物体の外に
あるため次のステップ２１に進む。ここで水平に隣接す
る過去のブロックが完全に物体の外にないため、それを
参照することによって現ブロック１１４を補填する。最
後にブロック１１６について考える。ステップ１２にお
いて現ブロック１１６は完全に物体の外にあるため、ス
テップ２１に進む。ここで水平に隣接する過去のブロッ
ク１１５が完全に物体の外にないため、それを参照して
ステップ２４において現ブロック１１６を補填する。次
にブロック１１７になるとき、ステップ１２において現
ブロック１１７は完全に物体の外にないため、ステップ
１３で補填され、ステップ１５において水平に隣接する
過去のブロック１１６は完全に物体の外にあるため、ス
テップ１９で補填される。すなわち、ブロック１６は２
回補填されることになる。なお、複数の補填値がある場
合、その中の一つを選んで補填することも可能である。
また、平均化の場合についても特定の補填値のみで平均
をとることも可能である。

【００３９】このようにして、画像１０８の物体を水平
方向に拡張して補填することができる。

【００４０】また、図５のステップ１５、１９、２１の
処理を水平から垂直に変更すると、図７に示される垂直
方向に拡張して補填した画像が得られる。また、水平と
垂直とを組み合わせて処理すれば、図８のように水平、
垂直方向に拡張して補填した画像をえることができる。
この場合、２回以上の補填が行われる時があるので、そ
のようなときは複数の補填値のすべてまたは一部を平均
化する。また、複数の補填候補がある場合は、特定の補
填候補で補填したり、処理の順番において最近補填する
もので上書きしてもよい。

【００４１】図９は本発明の実施の形態１による画像信
号の補填方法において、補填を行う際に参照する付加情
報の生成の模式図である。現ブロックが完全に物体の外
にある場合は図９において１２０中の０を設定したブロ
ックのように付加情報を生成する。それ以外のブロック
１１２の模様のブロック、または物体の内部に位置する
ブロックは１を付加情報として生成する。

【００４２】上記の例は完全に物体の外にあるかどうか
という２つの値のみだが、物体の完全に外にある場合、
物体の境界に位置する場合、物体の完全に中にある場合
の３つの値を付加情報としてもよい。

【００４３】図１０は図９のような付加情報を用いて補
填を行った一例を示している。また図１１は付加情報を
生成し、生成された付加情報を用いて補填を行う補填方
法の流れ図を示している。

【００４４】図１１のステップ１２において、現ブロッ
クが完全に物体の外にある場合は、付加情報０を生成
し、次のステップに進む。現ブロックが完全に物体の外
にない場合はブロック内の有意である画素の平均値を補
填値にするなどの、所定の方法で補填値を生成し、ブロ
ック内の有意でない画素を補填して出力し、付加情報１
を生成する。所定の順番において最後のブロックになっ
た場合は生成された付加情報１２０を参照して、図１０
中の１２１に示すように物体の完全に外にあるブロック
を矢印に示すような順番で補填処理していく。また、付
加情報を参照することで、補填処理に用いる補填値を生
成するために参照する画素値を特定の部分から参照する
ことができる。

【００４５】図１２は本発明の実施の形態１による画像
信号の補填方法において、補填を行う無効領域間の距離
を付加情報にした場合の例を示している。１１２におい
て、矢印１２３に示すような、補填処理の対象となる物
体の完全に外にあるブロック間の距離を参照して効率よ
く補填処理を行うことができる。

【００４６】図１３は本発明の実施の形態１による画像
信号の補填方法において、処理の対象となる複数のブロ
ックについて、対象となる現ブロックに隣接するブロッ
クが無効領域かどうかを示す付加情報を生成した例であ
る。４つの値はそれぞれ上、下、左、右が無効領域かど
うかを示している。図１３の１３０の場合は現ブロック
が無効領域で、付加情報が０１００になっているので、
下のブロックから補填する値を参照して、補填を行って
いる。１３４の場合は対象となる現ブロックが１００１
なので上に隣接するブロック、右に隣接するブロックか
ら補賃智を参照している。また、この場合は補填値が２
つ以上なので、付加情報を参照することによって、特定
の部分から参照し、平均を取るか、特定の部分からのみ
補填値の参照を行うことができる。

【００４７】図１４は付加情報を参照することによって
特定の参照値から補填値を生成し、補填を行っている一
例の模式図である。１３５において、１３６の四角の部
分を補填する場合は、有意信号と、付加情報を参照する
ことで補填を行っている。

【００４８】上の例は４桁の付加情報で参照を行ってい
るが、１桁の０か１の付加情報でも同様の処理を行うこ
とができる。

【００４９】以上のように、付加情報を参照することで
無効領域のみをまとめて処理することができるので処理
効率が向上する。

【００５０】また、以上の補填方法を用いることによ
り、物体の境界に位置する境界領域のみをあらかじめ補
填処理しておいて、補填処理した画像を参照した時に、
参照した参照領域が無効領域を含んでいる場合に無効領
域を補填処理することができる。

【００５１】なお、付加情報の生成には有意信号を参照
して行っているが、画像信号もしくは有意信号、および
画像信号を圧縮符号化する時に生成されるサイド情報な
ど、ブロックが無効領域かどうかを判別できるすべての
情報を参照することによっても実現できる。たとえば、
ブロック毎に保有しているアドレスや、ブロックを符号
化するために付加されるヘッダ情報などでもよい。

【００５２】さらに、付加情報を新たに生成せずに、前
述した有意信号や画像信号、及びサイド情報など、ブロ
ックが無効領域かどうかを判別できるすべての情報を、
そのまま付加情報として参照し、補填を行うこともでき
る。

【００５３】（実施の形態２）図１５は本発明の実施の
形態２による画像符号化装置を示し、図１５において２
０１は入力端子、２０２は第１加算器、２０３は符号化
器、２０４は離散コサイン変換器（ＤＣＴ）、２０５は
量子化器、２０６は出力端子、２０７は復号化器、２０
８は逆量子化器、２０９は逆離散コサイン変換器（ＩＤ
ＣＴ）、２１０は第２加算器、２１１は可変長符号化器
（ＶＬＣ）、２１２は補填器、２１３はフレームメモ
リ、２１４は動き検出器、２１５は動き補償器である。

【００５４】以上のように構成された画像符号化装置に
ついて以下その動作をのべる。任意形状をもつ画像信号
を入力端子２０１に入力する。入力した画像を複数の隣
接する領域に分割する。本実施の形態では８×８または
１６×１６の画素からなるブロックに分割するが、任意
の形状でもよいものとする。例として図５を参照する。
符号化の対象となるブロックをライン２２５を経由し動
き検出器２１４に入力する。同時にフレームメモリ２１
３に格納してある過去の再生画像（以下、参照画像と呼
ぶ）を動き検出器２１４に入力し、ブロックマッチング
などの方法で対象ブロックに対し誤差の最も少ない予測
信号を与える動き変位情報（以下、動きベクトルと呼
ぶ）を求めて出力する。この動きベクトルを動き補償器
２１５に送り、そこで参照画像から予測ブロックを生成
する。動きベクトルはライン２２８を経由してＶＬＣ２
１１に送り可変長符号に変換する。対象ブロックと予測
ブロックとを第１加算器に送り残差ブロックを生成す
る。残差ブロックを符号化器２０３にて圧縮する。本実
施の形態ではＤＣＴ、及び量子化器２０５によって圧縮
される。量子化されたデータをＶＬＣ２１１に送り可変
長符号に変換し、動きベクトルを含むその他のサイド情
報をとともに出力端子２０６に出力する。一方、圧縮さ
れたデータを復号化器２０７に送り伸長する。本実施の
形態では逆量子化器２０８で逆量子化し、ＩＤＣＴ２０
９で空間領域のデータに伸長する。伸長した残差ブロッ
クにライン２２７を経由し送られる予測ブロックを加算
し、再生ブロックを生成する。この再生ブロックを補填
器２１２に入力し、実施の形態１の補填方法で再生ブロ
ックの有意でない画素の画素値を補填する。補填した再
生ブロックをフレームメモリ２１３に格納する。なお、
図示されていないが画素が有意であるかどうかを参照す
るには有意信号をあらかじめ符号化、復号化したものを
参照する。

【００５５】フレームメモリ２１３に格納される補填し
た画像はたとえば図６、７、８のようになる。補填した
画像をライン２２４を経由し、動き検出器２１４と動き
補償器２１５に送る。本実施の形態では、動き検出と動
き補償の範囲を補填した領域内に（図６、７、８では塗
りつぶした領域）に制限する。すなわち、補填した領域
以外の画素を参照しない。

【００５６】また、図示されていないが、有意信号を参
照することによって、実施の形態１の補填方法に記載し
てある付加情報を生成し、補填器ではたとえば図８の１
１２のブロックの模様と同じ部分を補填し、動き補償器
２１５で１１９のブロックの部分を付加情報を参照しな
がら補填することもできる。

【００５７】図１６は図１５の画像符号化装置に第２の
補填器２３０と、第２のフレームメモリ２３１を付加し
たものである。有意信号を参照することによって、実施
の形態１の補填方法に記載してある付加情報を生成し、
補填器ではたとえば図８の１１２のブロックの模様と同
じ部分を補填し、フレームメモリに格納し、第２の補填
器で図８の１１９のブロックの部分を付加情報を参照し
ながら補填し、第２のフレームメモリに格納する。

【００５８】図１７は図１５の画像符号化装置に記録器
２３２を接続したものである。ＶＬＣ２１１によって可
変長符号化されたデータを記録器２３２に経由し、磁気
メディア（テープやディスク）、光ディスクなどの記録
媒体に記録する。

【００５９】また、図示されていないが、記録器２３２
を通信交換器に置き換えることで、ＶＬＣ２１１によっ
て可変長符号化したデータを通信媒体を通して送信する
ことができる。なお、図１６の画像符号化装置も記録
器、通信交換器をを接続することができる。

【００６０】このように物体の境界領域に隣接する領域
を補填することにより、動き検出、動き補償の範囲が広
くなり、動きの大きな画像に対しても残差の少ない予測
ブロックが得られる。また、本発明の補填方法はブロッ
クごとに行い、加えて付加情報を参照して処理を行うの
で、遅延時間や演算量を押さえることができる。

【００６１】なお、本実施の形態では離散コサイン変換
を用いたが、形状適応離散コサイン変換やサブバンド符
号化、ウェーブレット変換を用いた場合でも同じであ
る。

【００６２】（実施の形態３）図１８は本発明の実施の
形態３による画像復号化装置を示し、図１８において３
０１は入力端子、３０２はデータ解析器、３０３は復号
化器、３０４は逆量子化器、３０５は逆離散コサイン変
換器（ＩＤＣＴ）、３０６は加算器、３０７出力端子、
３０８は補填器、３０９はフレームメモリ、３１０は動
き補償器である。

【００６３】以上のように構成された画像復号化装置に
ついて、以下その動作を述べる。圧縮符号化されたデー
タを入力端子３０１に入力し、データ解析器３０２にて
データを解析する。圧縮された残差ブロックのデータを
ライン３１８を経由して復号化器３０３に入力し、動き
ベクトルをライン３１８を経由し動き補償器３１０に出
力する。復号化器３０３では、圧縮残差ブロックブロッ
クを伸長し、伸長残差ブロックに復元する。本実施の形
態では逆量子化器３０４で逆量子化し、逆離散コサイン
変換ＩＤＣＴ３０５で周波数領域信号を空間領域信号に
変換する。動き補償器３１０では動きベクトルをもとに
フレームメモリ３０９をアクセスするためのアドレスを
生成し、フレームメモリ３０９に格納される画像から予
測ブロックを生成する。生成された予測ブロックと伸長
した残差ブロックを加算器３０６に入力し、加算するこ
とにより、再生ブロックを生成する。再生ブロックを出
力端子３０７に出力すると同時に補填器３０８に入力
し、実施の形態１に説明した補填方法で再生された画像
を補填し、フレームメモリ３０９に格納する。

【００６４】また、図示されていないが、補填器３０８
で図８のブロック１１２の模様の部分のような、物体の
境界に位置する境界領域を所定の方法で補填し、各ブロ
ックが有為な画素を含むかどうかを示す付加情報を生成
し、動き補償器３１０で参照したブロックを、付加情報
を用いて所定の方法で補填を行い、補填された参照ブロ
ックを用いて予測ブロックを生成してもよい。

【００６５】図１８は図１７の画像復号化装置に第２の
補填器３３０と第２のフレームメモリ３３１を付加した
ものである。補填器３０８によって、例として図８のブ
ロック１１２の模様の部分のような、物体の境界に位置
する境界領域を所定の方法で補填し、各ブロックが有為
な画素を含むかどうかを示す付加情報を生成し、第２の
補填器３３０で、付加情報を用いて図８のブロック１１
９の部分を所定の方法で補填を行う。

【００６６】図２０は図１８の画像復号化装置に含まれ
る補填器３０８の流れ図である。以下、その動作につい
て説明する。

【００６７】４４１において、所定の順番で処理されて
いるブロックが完全に物体の外にあるかどうかを判定す
る。完全に物体の外にある場合は対象となるブロックが
物体外であるという付加情報を４０３で生成する。対象
となるブロックが物体の一部分でも含む場合は、ブロッ
ク内の物体外領域を所定の方法を用いて４０２で補填
し、対象となるブロックは物体内、もしくは補填済みで
あるといった付加情報を４０３で生成する。以上の処理
を所定の順番で最後のブロックまで繰り返す。

【００６８】なお、付加情報については、４０３で付加
情報を新たに生成せずに、前述した有意信号や画像信
号、及び符号化におけるサイド情報をそのまま付加情報
として持つこともできる。

【００６９】図２１は図１８の画像符号化装置に含まれ
る補填器３０８で補填し、フレームメモリ３０９に格納
された出力に対して、動き補償を行う動き補償器の流れ
図であり、図２２は動き補償器３０８の動作の例を示し
たものである。以下、その動作について説明する。

【００７０】まず、４１１において、参照しているブロ
ックがすべて物体内、もしくはすべて既に補填された領
域かどうかを判定する。参照したブロックが物体内、も
しくは補填器３０８によって既に補填された領域の場合
は、通常の動き補償の処理を４１３で行う。参照されて
いるブロックが完全に物体の外である無効領域を含む場
合は４１２において参照しているブロックの無効領域を
既に存在している付加情報を用いて、所定の方法で補填
し、補填されたブロックを用いて４１３で動き補償の処
理を行う。

【００７１】参照されているブロックが無効領域を含ん
でいる例を図２２に示す。動き補償で用いられる参照画
像５０１について、参照しているブロック５０２が図２
２中のように、物体内部、もしくは既に補填済みの物体
の境界部分５０３、５０４と、完全に物体の外である無
効部分５０５、５０６（参照ブロック中の色のついてい
ない部分）を含んでいる場合や、参照しているブロック
がすべて無効領域である場合は、付加情報を用いて所定
の方法で無効領域を補填する。図２２中では、無効領域
に隣接する無効領域を含まないブロックの画素値５０
８、５０７等を参照して平均値を求め、補填値として無
効領域に補填している。

【００７２】なお、図２２の例は平均値を補填している
が、付加情報を参照して特定の方向に隣接するブロック
の画素値を参照して補填することもできる。

【００７３】以上のような補填を行うことにより、動き
補償器３０８で参照した無効領域のみを補填することに
より、必要な部分のみ補填処理を実現できる。

【００７４】なお、図示されていないが、上述した画像
符号化装置及び復号化装置には補填処理を行うために必
要な付加情報や補填値を一時的に保持するメモリを補填
器もしくは動き補償器に付加してもよい。

【００７５】また、本発明は、プログラムによって実現
し、これをフロッピーディスクなどの記憶媒体に記録し
て移送することにより、独立した他のコンピュータシス
テムで容易に実施することができる。図２３に実施の形
態としてフロッピーディスクを示す。フロッピーディス
クは６００のような形態を取り、６００中にある６０１
のような円形のディスクにプログラムを記録できる。こ
こではフロッピーディスクを用いて説明を行ったが、光
ディスクを用いても同様に行うことができる。また記憶
媒体はこれらに限られず、ＩＣカード、ＲＯＭカセッ
ト、プログラムを記録できるものであれば同様に実施す
ることができる。

【００７６】また、本発明はプログラムによって実現
し、電話回線等の通信媒体を用いて伝送することによっ
て、独立した他のコンピュータシステムで容易に実現す
ることができる。また、ここでは電話回線を例に挙げた
が、プログラムを伝送できる通信媒体であれば容易に実
現することができる。

【００７７】

【発明の効果】本発明は境界領域だけでなく、境界領域
に隣接する有意でない画素のみからなる領域を補填し、
補填された画像を用いて動き検出、動き補償をすること
によって、動きの大きな画像に対して差分の小さい予測
信号が得られる。また領域単位の補填を付加情報を用い
て補填することによって遅延時間や演算量を大幅に削減
することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像信号の補填方
法の流れを示す図

【図２】本発明の実施の形態１による画像信号の補填方
法で用いられる領域の補填方法の１実施例を示す模式図

【図３】本発明の実施の形態１による画像信号の補填方
法で用いられる領域の補填方法の別の実施例を示す模式
図

【図４】本発明の実施の形態１による画像信号の補填方
法の第１変形の流れを示す図

【図５】本発明の実施の形態１による画像信号の補填方
法の第２変形の流れを示す図

【図６】本発明の実施の形態１により画像信号の補填方
法で補填した画像の第１の例を示す模式図

【図７】本発明の実施の形態１により画像信号の補填方
法で補填した画像の第２の例を示す模式図

【図８】本発明の実施の形態１により画像信号の補填方
法で補填した画像の第３の例を示す模式図

【図９】本発明の実施の形態１により画像信号の補填方
法で参照する付加情報の生成の例を示す模式図

【図１０】本発明の実施の形態１により画像信号の補填
方法で参照する付加情報の生成及び付加情報を用いた補
填の例の流れを示す図

【図１１】本発明の実施の形態１により画像信号の補填
方法で参照する付加情報の生成の例を示す模式図

【図１２】本発明の実施の形態１により画像信号の補填
方法で参照する付加情報の生成の例を示す模式図

【図１３】本発明の実施の形態１により画像信号の補填
方法で参照する付加情報の生成及び付加情報を用いた補
填の例を示す模式図

【図１４】本発明の実施の形態１により画像信号の補填
方法で参照する付加情報の生成及び付加情報を用いた補
填の例を示す模式図

【図１５】本発明の実施の形態２による画像符号化装置
を示すブロック図

【図１６】本発明の実施の形態２による画像符号化装置
を示すブロック図

【図１７】本発明の実施の形態２による画像符号化装置
を示すブロック図

【図１８】本発明の実施の形態３による画像復号化装置
を示すブロック図

【図１９】本発明の実施の形態３による画像復号化装置
を示すブロック図

【図２０】本発明の実施の形態３による画像復号化装置
の補填器の流れを示した図

【図２１】本発明の実施の形態３による画像復号化装置
の動き補償器の流れを示した図

【図２２】本発明の実施の形態３による画像復号化装置
の補填の例を示す模式図

【図２３】本発明の実施の形態で示した発明を媒体に保
存した場合を示した模式図

【符号の説明】

２０１入力端子２０２第１加算器２０３符号化器２０４離散コサイン変換器２０５量子化器２０６出力端子２０７復号化器２０８逆量子化器２０９逆離散コサイン変換器２１０第２加算器２１１可変長符号化器２１２補填器２１３フレームメモリ２３０補填器２３１フレームメモリ３０１入力端子３０２データ解析器３０３復号化器３０４逆量子化器３０５逆離散コサイン変換３０６加算器３０７出力端子３０９フレームメモリ

Claims

【特許請求の範囲】

【請求項１】任意形状をあらわす画像信号を複数の領
域に分割し、前記複数の領域を所定の順番で処理し、形
状の境界に位置する境界領域に隣接する有意でない画素
のみで構成される無効領域を第１の所定の方法で求めら
れた補填値で補填して出力することを特徴とする画像信
号の補填方法であって、前記複数領域内の画素の画素値が有意であるかどうかを
示す有意信号を参照して、前記複数の領域毎に、有意で
ある画素が含まれるかどうかを示す付加情報を第２の所
定の方法で生成し、前記付加情報を参照することによっ
て前記複数の領域に補填を行う画像信号の補填方法。
【請求項２】任意形状をあらわす画像信号を複数の領
域に分割し、前記複数の領域を所定の順番で処理し、形
状の境界に位置する境界領域に隣接する有意でない画素
のみで構成される無効領域を前記境界領域内の有意であ
る画素の画素値と所定の関数で求められた補填値で補填
して出力することを特徴とする画像信号の補填方法であ
って、前記複数領域の画素の画素値が有意であるかどうかを示
す有意信号を参照して、前記複数の領域毎に、有意であ
る画素が含まれるかどうかを示す付加情報を第２の所定
の方法で生成し、前記付加情報を参照することによって
前記複数の領域に補填を行う画像信号の補填方法。
【請求項３】前記補填値は、補填の対象となる無効領
域に含まれる画素の位置に対応する、前記境界領域内に
含まれる画素の画素値を用いて所定の方法で補填を行う
請求項２記載の画像信号の補填方法。
【請求項４】補填値は、補填の対象となる無効領域に
含まれる画素の位置に、境界領域と前記無効領域が隣接
する隣接境界線上で線対称に位置する、前記境界領域に
含まれる画素の画素値を用いて、補填を行う請求項２記
載の画像信号の補填方法。
【請求項５】任意形状をあらわす画像信号を複数の領
域に分割し、前記複数の領域を所定の順番で処理し、形
状の境界に位置する境界領域の有意でない画素の画素値
を第１の関数で求められた補填値で補填し、前記境界領
域に隣接する有意でない画素のみで構成される無効領域
を、前記補填した境界領域の画素の画素値と第２の関数
で求められた補填値で補填して出力することを特徴とす
る画像信号の補填方法であって、前記複数領域の画素の画素値が有意であるかどうかを示
す有意信号を参照して、前記複数の領域毎に有意である
画素が含まれるかどうかを示す付加情報を第２の所定の
方法で生成し、前記付加情報を参照することによって前
記複数の領域に補填を行う画像信号の補填方法。
【請求項６】補填値は、補填の対象となる無効領域に
含まれる画素の位置に対応する、前記補填した境界領域
内に含まれる画素の画素値を用いて所定の方法で補填を
行う請求項５記載の画像信号の補填方法。
【請求項７】補填値は、補填の対象となる無効領域に
含まれる画素の位置に、すでに補填された境界領域と前
記無効領域が隣接する隣接境界線上で線対称に位置す
る、前記補填された境界領域に含まれる画素の画素値を
用いて、前記無効領域に補填を行う請求項５記載の画像
信号の補填方法。
【請求項８】境界領域に対し、水平方向に隣接する有
意でない画素の画素値のみから構成される領域を補填す
ることを特徴とする請求項１から７のいずれかに記載の
画像信号の補填方法。
【請求項９】境界領域に対し、垂直方向に隣接する有
意でない画素の画素値のみから構成される領域を補填す
ることを特徴とする請求項１から７のいずれかに記載の
画像信号の補填方法。
【請求項１０】任意形状をあらわす画像信号を複数の
領域に分割し、前記複数の領域を所定の順番で処理し、
形状の境界に位置する境界領域に隣接する有意でない画
素のみで構成される無効領域を第１の所定の方法で求め
られた補填値で補填して出力することを特徴とする画像
信号の補填方法であって、前記複数領域の画素の画素値が有意であるかどうかを示
す有意信号を参照して、前記複数の領域毎に、有意であ
る画素が含まれるかどうかを示す付加情報を第２の所定
の方法で生成し、対象領域が無効領域でない場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する過去の領域が無効領域であれば、前記過去の
領域を前記第１の所定の方法で求められた補填値で補填
し、対象領域が無効領域である場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する過去の領域が無効領域でなければ、前記対象
領域を前記第１の所定の方法で求められた補填値で補填
することを特徴とする画像信号の補填方法。
【請求項１１】補填値は、対象領域が無効領域でない
場合、付加情報を参照することによって、所定の順番に
おいて前記対象領域に隣接する過去の領域が無効領域で
あれば、前記過去の領域に含まれる画素の位置に対応す
る、前記対象領域の画素の画素値を用いて所定の方法で
前記過去の領域を補填し、対象領域が無効領域である場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する前記過去の領域が無効領域でなければ、前記
対象領域に含まれる画素の位置に対応する、前記過去の
領域の画素の画素値を用いて所定の方法で前記対象領域
を補填する請求項１０の画像信号の補填方法。
【請求項１２】補填値は、対象領域が無効領域でない
場合、付加情報を参照することによって、所定の順番に
おいて前記対象領域に隣接する過去の領域が無効領域で
あれば、前記過去の領域に含まれる画素の位置に、前記
過去の領域と前記対象領域が隣接する隣接境界線上で線
対称に位置する、前記対象領域に含まれる画素の画素値
を用いて前記過去の領域を補填し、対象領域が無効領域である場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する前記過去の領域が無効領域でなければ、前記
対象領域に含まれる画素の位置に、前記無効領域と前記
過去の領域が隣接する隣接境界線上で線対称に位置す
る、前記過去の領域に含まれる画素の画素値を用いて前
記対象領域を補填する請求項１０の画像信号の補填方
法。
【請求項１３】任意形状をあらわす画像信号を複数の
領域に分割し、前記複数の領域を所定の順番で処理し、
形状の境界に位置する境界領域に隣接する有意でない画
素のみで構成される無効領域を第１の所定の方法で求め
られた補填値で補填して出力することを特徴とする画像
信号の補填方法であって、前記複数領域に含まれる画素の画素値が有意であるかど
うかを示す有意信号を参照して、前記複数の領域毎に、
有意である画素が含まれるかどうかを示す付加情報を第
２の所定の方法で生成し、対象領域が無効領域でない場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する過去の領域が無効領域であれば、前記過去の
領域を、前記対象領域に含まれる有意な画素の画素値を
用いて所定の関数で求められた補填値で補填し、対象領域が無効領域である場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する過去の領域が無効領域でなければ、前記対象
領域を、前記過去の領域に含まれる有意な画素の画素値
を用いて前記所定の関数で求められた補填値で補填する
ことを特徴とする画像信号の補填方法。
【請求項１４】任意形状をあらわす画像信号を複数の
領域に分割し、前記複数の領域を所定の順番で処理し、
形状の境界に位置する境界領域に隣接する有意でない画
素のみで構成される無効領域を第１の所定の方法で求め
られた画素値で補填して出力することを特徴とする画像
信号の補填方法であって、前記複数領域に含まれる画素の画素値が有意であるかど
うかを示す有意信号を参照して、前記複数の領域毎に、
有意である画素が含まれるかどうかを示す付加情報を第
２の所定の方法で生成し、対象領域が無効領域でない場合、前記対象領域に含まれ
る有意でない画素の画素値を第１の関数で求められた画
素値で補填し、前記付加情報を参照することによって、前記所定の順番
において前記対象領域に隣接する過去の領域が無効領域
であれば、前記過去の領域を、前記補填した対象領域に
含まれる画素の画素値を用いて第２の関数で求められた
画素値で補填し、対象領域が無効領域である場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する過去の領域が無効領域でなければ、前記対象
領域を、前記過去の領域に含まれる画素の画素値を用い
て前記第２の関数で求められた補填値で補填することを
特徴とする画像信号の補填方法。
【請求項１５】補填値は、対象領域が無効領域でない
場合、前記対象領域に含まれる有意でない画素の画素値
を第１の関数で求められた画素値で補填し、付加情報を参照することによって、所定の順番において
前記補填された対象領域に隣接する過去の領域が無効領
域であれば、前記過去の領域に含まれる画素の位置に対
応する、前記補填した対象領域の画素の画素値を用いて
所定の方法で前記過去の領域を補填し、対象領域が無効領域である場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する前記過去の領域が無効領域でなければ、前記
対象領域に含まれる画素の位置に対応する、前記過去の
領域の画素の画素値を用いて所定の方法で前記対象領域
を補填する請求項１４の画像信号の補填方法。
【請求項１６】補填値は、対象領域が無効領域でない
場合、前記対象領域に含まれる有意でない画素の画素値
を第１の関数で求められた画素値で補填し、付加情報を
参照することによって、所定の順番において前記補填さ
れた対象領域に隣接する過去の領域が無効領域であれ
ば、前記過去の領域に含まれる画素の位置に、前記過去
の領域と前記補填された対象領域が隣接する隣接境界線
上で線対称に位置する、前記補填された対象領域に含ま
れる画素の画素値を用いて前記過去の領域を補填し、対象領域が無効領域である場合、前記付加情報を参照す
ることによって、前記所定の順番において前記対象領域
に隣接する前記過去の領域が無効領域でなければ、前記
対象領域に含まれる画素の位置に、前記過去の領域と前
記対象領域が隣接する隣接境界線上で線対称に位置す
る、前記過去の領域に含まれる画素の画素値を用いて前
記対象領域を補填する請求項１４の画像信号の補填方
法。
【請求項１７】任意形状をあらわす画像信号を複数の
領域に分割し、前記複数の領域を所定の順番で処理し、
形状の境界に位置する境界領域に隣接する有意でない画
素のみで構成される無効領域を前記境界領域内の有意で
ある画素の画素値と所定の関数で求められた補填値で補
填して出力することを特徴とする画像信号の補填方法で
あって、前記補填値は、補填の対象となる無効領域に含まれる画
素の位置に対応する、前記境界領域内に含まれる画素の
画素値を用いて所定の方法で補填を行う画像信号の補填
方法。
【請求項１８】任意形状をあらわす画像信号を複数の
領域に分割し、前記複数の領域を所定の順番で処理し、
形状の境界に位置する境界領域に隣接する有意でない画
素のみで構成される無効領域を前記境界領域内の有意で
ある画素の画素値と所定の関数で求められた補填値で補
填して出力することを特徴とする画像信号の補填方法で
あって、前記補填値は、補填の対象となる無効領域に含まれる画
素の位置に、境界領域と前記無効領域が隣接する隣接境
界線上で線対称に位置する、前記境界領域に含まれる画
素の画素値を用いて、補填を行う画像信号の補填方法。
【請求項１９】任意形状をあらわす画像信号を複数の
領域に分割し、前記複数の領域を所定の順番で処理し、
形状の境界に位置する境界領域の有意でない画素の画素
値を第１の関数で求められた補填値で補填し、前記境界
領域に隣接する有意でない画素のみで構成される無効領
域を、前記補填した境界領域の画素の画素値と第２の関
数で求められた補填値で補填して出力することを特徴と
する画像信号の補填方法であって、前記補填値は、補填の対象となる無効領域に含まれる画
素の位置に対応する、前記補填した境界領域内に含まれ
る画素の画素値を用いて所定の方法で補填を行う画像信
号の補填方法。
【請求項２０】任意形状をあらわす画像信号を複数の
領域に分割し、前記複数の領域を所定の順番で処理し、
形状の境界に位置する境界領域の有意でない画素の画素
値を第１の関数で求められた補填値で補填し、前記境界
領域に隣接する有意でない画素のみで構成される無効領
域を、前記補填した境界領域の画素の画素値と第２の関
数で求められた補填値で補填して出力することを特徴と
する画像信号の補填方法であって、前記補填値は、補填の対象となる無効領域に含まれる画
素の位置に、すでに補填された境界領域と前記無効領域
が隣接する隣接境界線上で線対称に位置する、前記補填
された境界領域に含まれる画素の画素値を用いて、前記
無効領域に補填を行う画像信号の補填方法。
【請求項２１】境界領域に対し、水平方向に隣接する
有意でない画素の画素値のみから構成される無効領域を
補填することを特徴とする請求項１０から２０のいずれ
かに記載の画像信号の補填方法。
【請求項２２】境界領域に対し、垂直方向に隣接する
有意でない画素の画素値のみから構成される無効領域を
補填することを特徴とする請求項１０から２０のいずれ
かに記載の画像信号の補填方法。
【請求項２３】補填値が複数ある場合、有意な画素が
含まれるかどうかを示す付加情報と所定の方法を用い
て、前記複数の補填値を平均化し、補填値として補填を
行うことを特徴とする請求項１から２２のいずれかに記
載の画像信号の補填方法。
【請求項２４】補填値が複数ある場合、有意な画素が
含まれるかどうかを示す付加情報を参照することによっ
て、特定の補填値を用いて前記複数の補填値を平均化
し、補填値として補填を行うことを特徴とする請求項１
から２２のいずれかに記載の画像信号の補填方法。
【請求項２５】補填値が複数ある場合、有意な画素が
含まれるかどうかを示す付加情報を参照することによっ
て、特定の補填値を用いて補填を行うことを特徴とする
請求項１から２２のいずれかに記載の画像信号の補填方
法。
【請求項２６】付加情報を所定の方法で生成し、前記
付加情報を参照することによって無効領域に補填を行う
順番を決定し、補填を行う画像信号の補填方法である請
求項１から２５のいずれかに記載の画像信号の補填方
法。
【請求項２７】付加情報は、任意形状をあらわす画像
信号を複数の領域に分割し、前記複数領域内の画素の画
素値が有意であるかどうかを示す有意信号を参照して、
前記複数の領域毎に有意である画素が含まれるかどうか
を示す付加情報を設定し、前記付加情報を参照すること
によって前記複数の領域に補填を行う補填方法である請
求項１から２６のいずれかに記載の画像信号の補填方
法。
【請求項２８】付加情報は、任意形状をあらわす画像
信号を複数の領域に分割し、前記複数領域内の画素の画
素値が有意であるかどうかを示す有意信号を参照して、
前記複数の領域毎に、対象となる領域に隣接する複数の
隣接領域が有意である画素を含んでいるかどうかを示す
付加情報を設定し、前記付加情報を参照することで対象
となる無効領域に補填を行う画像信号の補填方法である
請求項１から２７のいずれかに記載の画像信号の補填方
法。
【請求項２９】付加情報は、任意形状をあらわす画像
信号を複数の領域に分割し、前記複数領域内の画素の画
素値が有意であるかどうかを示す有意信号を参照して、
前記複数の領域毎に、対象領域が無効領域でない場合は、前記対象領域に所定
の順番で隣接する過去の領域が無効領域であれば、前記
過去の領域の位置を付加情報として生成し、前記付加情
報を参照することで補填を行う画像信号の補填方法であ
る請求項１から２８に記載の画像信号の補填方法。
【請求項３０】補填値は、対象領域が無効領域でない
場合で、前記対象領域の有意な画素の画素に対応する画
素値が存在しない場合は、付加情報を参照することによ
って、所定の方法で補填値を生成し、前記対象領域を補
填する画像信号の補填方法である請求項１から２９に記
載の画像信号の補填方法。
【請求項３１】補填値は、対象領域が無効領域でない
場合で、前記対象領域の有意な画素の画素に対応する画
素値が存在しない場合は、付加情報を参照することによ
って、前記対象領域に隣接する領域の画素の画素値を用
いて所定の方法で補填値を生成し、前記対象領域を補填
する画像信号の補填方法である請求項１から２９に記載
の画像信号の補填方法。
【請求項３２】補填値は、対象領域が無効領域でない
場合で、前記対象領域の有意な画素の画素に対応する画
素値が存在しない場合は、付加情報を参照することによ
って、前記対象領域に隣接する領域の画素の画素値を用
いて所定の関数で補填値を生成し、前記対象領域を補填
する画像信号の補填方法である請求項１から２９に記載
の画像信号の補填方法。
【請求項３３】入力手段と、第１加算手段と、符号化
手段と、復号化手段と、第２加算手段と補填手段と、メ
モリと、予測領域生成手段を具備し、前記入力手段に任意形状の画像信号を入力し、前記画像
信号を互いに隣接する複数の領域に分割し、前記複数の
領域を対象領域とし所定の順番で処理し、前記第１加算手段に前記対象領域と、前記予測領域生成
手段からの予測領域を入力し、差分領域を生成し、前記符号化手段に前記差分領域を入力し、第１の所定の
方法で圧縮差分領域に変換し、前記復号化手段に前記圧縮差分領域を入力し、第２の所
定の方法で伸張差分領域に復元し、前記第２加算手段に前記伸張差分領域を入力し、前記予
測領域を加算し、再生領域を生成し、前記補填手段に前記再生領域を入力し、第３の所定の方
法で前記再生領域に含まれる有意でない画素の画素値を
補填し、補填領域として前記メモリに格納し、前記予測領域生成手段に前記メモリに格納した前記補填
領域を入力し、前記予測領域を生成し、前記圧縮差分信号を画像符号化装置の出力とする画像符
号化装置であって、前記補填手段は請求項１から３２のいずれかに記載の画
像信号の補填方法で補填することを特徴とする画像符号
化装置。
【請求項３４】入力手段と、第１加算手段と、符号化
手段と、復号化手段と、第２加算手段と第１補填手段
と、第２補填手段と、第１メモリと、第２メモリと、予
測領域生成手段を具備し、前記入力手段に任意形状の画像信号を入力し、前記画像
信号を互いに隣接する複数の領域に分割し、前記複数の
領域を対象領域とし所定の順番で処理し、前記第１加算手段に前記対象領域と、前記予測領域生成
手段からの予測領域を入力し、差分領域を生成し、前記符号化手段に前記差分領域を入力し、第１の所定の
方法で圧縮差分領域に変換し、前記復号化手段に前記圧縮差分領域を入力し、第２の所
定の方法で伸張差分領域に復元し、前記第２加算手段に前記伸張差分領域を入力し、前記予
測領域を加算し、再生領域を生成し、前記第１補填手段に前記再生領域を入力し、第３の所定
の方法で前記再生領域に含まれる形状の境界に位置する
境界領域の有意でない画素の画素値を補填し、前記第１
メモリに格納し、前記第２補填手段に前記メモリ内容を入力し、第４の所
定の方法で前記メモリに含まれる前記境界領域に隣接す
る有意でない画素からのみで構成される無効領域を補填
し、第２補填領域として前記第２メモリに格納し、前記予測領域生成手段に前記第２メモリに格納した前記
第２補填領域を入力し、前記予測領域を生成し、前記圧縮差分信号を画像符号化装置の出力とする画像符
号化装置であって、前記第１補填手段及び第２補填手段は請求項１から３２
のいずれかに記載の画像信号の補填方法で補填すること
を特徴とする画像符号化装置。
【請求項３５】画像符号化装置に蓄積手段を加えて符
号化手段の出力を記録することを特徴とする請求項３
３、３４記載の画像信号符号化装置
【請求項３６】画像符号化装置に伝送手段を加えて符
号化手段の出力を伝送することを特徴とする請求項３３
から３５いずれかに記載の画像信号符号化装置
【請求項３７】予測領域生成手段は、補填された補填
領域のみを参照することによって予測領域を生成するこ
とを特徴とした請求項３３から３６いずれかに記載の画
像符号化装置。
【請求項３８】予測領域生成手段は、形状をあらわす
境界に位置する境界領域に隣接する、有意でない画素の
みで構成される無効領域を所定の方法で補填することを
特徴とした請求項３３から３７いずれかに記載の画像符
号化装置。
【請求項３９】予測領域生成手段は、予測領域を生成
するために参照される１以上の参照領域に含まれる有意
でない画素の画素値のみを所定の方法で補填することを
特徴とした請求項３３から３８いずれかに記載の画像符
号化装置。
【請求項４０】補填手段は、補填を行うために参照す
る付加情報を一時的に保持しておくための局所メモリを
具備する請求項３３から３９いずれかに記載の画像信号
符号化装置。
【請求項４１】補填手段は、補填を行うために参照す
る、所定の方法により生成された補填値を一時的に保持
しておくための局所メモリを具備する請求項３３から４
０いずれかに記載の画像信号符号化装置。
【請求項４２】補填手段は、すでに補填された補填領
域を一時的に保持しておくための局所メモリを具備する
請求項３３から４１いずれかに記載の画像信号符号化装
置。
【請求項４３】補填手段は、補填を行うために参照す
る、所定の方法により生成された補填値を保持しておく
ための局所メモリを具備する請求項３３から４２いずれ
かに記載の画像信号符号化装置。
【請求項４４】予測領域生成手段は、補填を行うため
に参照する付加情報を一時的に保持しておくための局所
メモリを具備する請求項３３から４３いずれかに記載の
画像信号符号化装置。
【請求項４５】予測画像生成手段は、補填を行うため
に参照する、所定の方法により生成された補填値を一時
的に保持しておくための局所メモリを具備する請求項３
３から４４いずれかに記載の画像信号符号化装置。
【請求項４６】予測画像生成手段は、すでに補填され
た補填領域を一時的に保持しておくための局所メモリを
具備する請求項３３から４５いずれかに記載の画像信号
符号化装置。
【請求項４７】予測画像生成手段は、補填を行うため
に参照する、所定の方法により生成された補填値を保持
しておくための局所メモリを具備する請求項３３から４
６いずれかに記載の画像信号符号化装置。
【請求項４８】入力手段と、データ解析手段と、復号
化手段と、加算手段と、補填手段と、メモリを具備し、前記入力手段に圧縮符号化された符号化信号を入力し、前記データ解析手段で前記符号化信号を解析し、圧縮差
分信号を出力し、前記復号化手段で前記圧縮差分信号を伸長差分信号に復
号化し、前記予測信号生成手段にて、前記フレームメモリから取
得した画像信号を用いて予測信号を生成し、前記加算手段にて、前記伸長差分信号と、前記予測信号
を加算し、再生信号として出力すると同時に、前記補填手段にて所定の方法で前記再生信号に含まれる
有意でない画素の画素値を補填し、前記フレームメモリ
に格納する画像復号化装置であって、前記補填手段は請求項１から３２のいずれかに記載の補
填方法で補填することを特徴とする画像復号化装置。
【請求項４９】入力手段と、データ解析手段と、復号
化手段と、加算手段と、第１補填手段と第２補填手段
と、第１メモリと、第２メモリを具備し、前記入力手段に圧縮符号化された符号化信号を入力し、前記データ解析手段で前記符号化信号を解析し、圧縮差
分信号を出力し、前記復号化手段で前記圧縮差分信号を伸長差分信号に復
号化し、前記予測信号生成手段にて、前記第２メモリから取得し
た画像信号を用いて予測信号を生成し、前記加算手段にて、前記伸長差分信号と、前記予測信号
を加算し、再生信号として出力すると同時に、前記第１補填手段にて、前記再生信号が含まれる形状の
領域に位置する境界領域であれば、第１の所定の方法で
前記境界領域の有意でない画素の画素値を補填し、前記
第１メモリに格納し、前記第２補填手段にて前記第１メモリに格納された境界
領域に隣接する有意でない画素のみで構成された無効領
域を第２の所定の方法で補填し、第２メモリに格納する
画像復号化装置であって、前記補填手段は請求項１から３２のいずれかに記載の補
填方法で補填することを特徴とする画像復号化装置。
【請求項５０】予測領域生成手段は、補填された補填
領域のみを参照することによって予測領域を生成するこ
とを特徴とした請求項４８または４９記載の画像復号化
装置。
【請求項５１】予測領域生成手段は、形状をあらわす
境界に位置する境界領域に隣接する、有意でない画素の
みで構成される無効領域を所定の方法で補填することを
特徴とした請求項４８から５０いずれかに記載の画像符
号化装置。
【請求項５２】予測領域生成手段は、予測領域を生成
するために参照される１以上の参照領域に含まれる有意
でない画素の画素値のみを所定の方法で補填することを
特徴とした請求項４８から５１いずれかに記載の画像符
号化装置。
【請求項５３】補填手段は、補填を行うために参照す
る付加情報を一時的に保持しておくための局所メモリを
具備する請求項４８から５２いずれかに記載の画像信号
符号化装置。
【請求項５４】補填手段は、補填を行うために参照す
る、所定の方法により生成された補填値を一時的に保持
しておくための局所メモリを具備する請求項４８から５
３いずれかに記載の画像信号符号化装置。
【請求項５５】補填手段は、すでに補填された補填領
域を一時的に保持しておくための局所メモリを具備する
請求項４８から５４いずれかに記載の画像信号符号化装
置。
【請求項５６】補填手段は、補填を行うために参照す
る、所定の方法により生成された補填値を保持しておく
ための局所メモリを具備する請求項４８から５５いずれ
かに記載の画像信号符号化装置。
【請求項５７】予測領域生成手段は、補填を行うため
に参照する付加情報を一時的に保持しておくための局所
メモリを具備する請求項４８から５６いずれかに記載の
画像信号符号化装置。
【請求項５８】予測画像生成手段は、補填を行うため
に参照する、所定の方法により生成された補填値を一時
的に保持しておくための局所メモリを具備する請求項４
８から５７いずれかに記載の画像信号符号化装置。
【請求項５９】予測画像生成手段は、すでに補填され
た補填領域を一時的に保持しておくための局所メモリを
具備する請求項４８から５８いずれかに記載の画像信号
符号化装置。
【請求項６０】予測画像生成手段は、補填を行うため
に参照する、所定の方法により生成された補填値を保持
しておくための局所メモリを具備する請求項４８から５
９いずれかに記載の画像信号符号化装置。