JPH10276432A - デジタル画像補填方法，画像処理装置，及びデータ記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 物体の動きの大きいインターレース画像を補
填する際にこの補填処理により該インターレース画像に
対応するデジタル画像信号に高周波成分が導入されるの
を回避することができ、これによりインターレース画像
等に対する差分符号化処理あるいは差分復号化処理を、
補填処理に起因する符号化効率の低下を抑えつつ、高い
符号化効率でもって行う。 【解決手段】 入力されるデジタル画像信号に対応する
原画像空間３０1 における画素を水平方向に１画素置き
にかつ垂直方向に１画素行置きに抽出し、該抽出した複
数の画素を並べ替えて４つの小画像空間４０１〜４０４
を形成し、これらの小画像空間に対して画素値の補填処
理を施すようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像補填
方法，画像処理装置，及びデータ記録媒体に関し、特
に、任意形状を有する飛び越し走査による画像に対応す
るデジタル画像信号に画素値の補填処理を施す補填方
法、この補填方法を用いてデジタル画像信号を符号化あ
るいは復号化する画像処理装置、並びに上記補填方法あ
るいは画像処理装置による画像信号の処理をコンピュー
タにより実現するためのプログラムを格納したデータ記
録媒体に関するものである。

【０００２】

【従来の技術】デジタル画像情報を効率よく蓄積もしく
は伝送するには、デジタル画像情報を圧縮符号化する必
要があり、現状では、デジタル画像情報を圧縮符号化す
るための方法として、ＪＰＥＧ(Joint Photographic Co
ding Experts Group）やＭＰＥＧ(Moving Picture Expe
rts Group)に代表される離散コサイン変換（ＤＣＴ：Di
screte Cosine Transform ）の他に、サブバンド、ウェ
アブレット、フラクタル等の波形符号化方法がある。

【０００３】また、隣接するフレーム等の画面における
冗長な画像情報を取り除く方法としては、動き補償を用
いた画面間予測を行い、つまり現画面を構成する画素の
画素値を、これと前画面を構成する画素の画素値との差
分値を用いて表し、この差分値からなる差分画像信号を
波形符号化する方法がある。

【０００４】現行のテレビジョンの映像信号のような飛
び越し走査により得られる画像信号は、インタレース画
像を形成する。このインタレース画像では、１フレーム
（１画面）が走査タイミングが異なる奇数フィールドと
偶数フィールドからなり、このためインタレース画像で
は、画面上に表示される個々の物体（つまり１画面の画
像を構成する任意形状を有する個々の画像）の動きの大
きさによって、隣接する走査線間での画素値の相関が大
きくなる場合と、これが小さくなる場合がある。

【０００５】そこで、このようなインタレース画像に対
応する画像信号の符号化処理では、走査線間での画素値
の相関が大きい場合には、該画像信号に対してフレーム
単位で動き補償処理及び波形符号化処理を施し、一方、
走査線間での画素値の相関が小さい場合には、該画像信
号を奇数フィールドと偶数フィールドに分け、各フィー
ルド単位で画像信号に対する動き補償処理及び波形符号
化処理を施すようにしている。

【０００６】ところで、最近、画像信号の圧縮効率を向
上させると同時に、１画面の画像を構成する個々の物体
を単位として画像信号の再生を行うことができるよう、
該物体に対応する画像信号を物体毎に別々に圧縮符号化
して伝送する符号化方式が考えられている。この符号化
方式により符号化された画像符号化信号は、再生側にて
上記符号化方式に対応した復号化処理が施される。つま
り、この復号化処理では、それぞれの物体に対応する画
像符号化信号が復号化され、該復号化により得られた各
物体に対応する画像復号化信号が合成されて画像再生信
号が生成される。そして、この画像再生信号に基づい
て、個々の物体からなる１画面に対応する画像が表示さ
れる。

【０００７】上記のように物体単位で画像信号の符号化
を行う符号化方式を用いることにより、再生側では、個
々の物体を自由に組み合わせて合成画像を生成すること
が可能となり、これにより動画像を簡単に再編集でき
る。また、通信路の混み具合や再生装置の性能、あるい
は視聴者の好みによって、比較的重要でない物体を再生
せずに、重要度の高い物体のみからなる動画像を表示す
ることもできる。

【０００８】ここで、物体（つまり任意の形状をもつ画
像）に対応する画像信号を符号化するには、その物体の
形状に応じた信号処理を行う波形変換、たとえば形状適
応離散コサイン変換を用いるか、あるいは画像信号に対
する補填処理を行った後に波形変換を行う方法を用い
る。この方法では、具体的には、個々の物体に対応した
画像空間（矩形領域）を形成する画像信号に対して、そ
の無効領域の画素の画素値を所定の方法により得られる
補填画素値でもって置き換える補填処理を施し、該補填
処理を施した画像信号に対して、従来の８×８コサイン
変換処理を施す。ここで、上記無効領域は、矩形領域に
おける物体外の領域であって、物体を表示するための画
素値を有しない画素からなる領域である。つまり無効領
域に対応する画像信号は、いわゆる有意でないサンプル
値のみからなる。また、上記８×８コサイン変換は、矩
形領域に対応する画像信号を、８×８画素からなる画像
空間（ブロック）を単位としてコサイン変換する波形変
換処理である。

【０００９】また、隣接するフレーム等の画面における
冗長な信号を取り除く具体的な方法としては、１６×１
６画素からなる画像空間（マクロブロック）を単位領域
として、符号化処理の対象となる対象マクロブロックに
対応する画像信号と、その予測信号との差分を予測誤差
信号（差分信号）として求める方法がある。ここで、上
記予測信号は、動き補償により得られる予測領域に対応
する画像信号である。なお、動き補償は、既に符号化処
理あるいは復号化処理が施された画面内における、対象
マクロブロックの画像信号との差分が最も小さくなる画
像信号を与える１６×１６画素からなる領域を予測領域
として検出する処理である。

【００１０】ところが、この予測領域にも有意でないサ
ンプル値を有する画素（以下、非有意画素という。）が
含まれる場合がある。この場合には、非有意画素を含む
予測領域に対応する予測信号と、符号化処理の対象とな
る対象領域の画像信号との差分をとると、非有意画素の
サンプル値が、該差分が小さくなるという意味で最適な
予測値であるとは限らないため、差分値が非常に大きく
なることがよく生じる。

【００１１】そこで、上記予測領域に対応する画像信号
に対して、その有意でないサンプル値を所定の補填値で
置換する補填処理を施した後、補填処理を施した予測信
号と対象マクロブロックの画像信号との差分を差分信号
（予測誤差信号）として求め、該差分信号に対する符号
化のための変換処理を施すようにしている。このように
予測信号に対して補填処理を施すことにより、差分信号
を抑圧することができる。

【００１２】従来の画像値の補填処理では、有意でない
サンプル値に対する補填値として、非有意画素に水平及
び垂直方向において隣接する有意画素（有意なサンプル
値を有する画素）のサンプル値を平均化した平均値を用
いる。このような有意画素のサンプル値の平均値を補填
値として用いることにより、補填処理が施された画像空
間に対する画像信号（予測信号）の高周波成分が抑えら
れることとなり、これにより符号化効率を高めることが
できる。

【００１３】ところが、非有意画素に水平及び垂直方向
において隣接する有意画素の平均値を補填値とする補填
処理を、インタレース画像に対応する画像信号に適用す
ると、この画像信号の高周波成分が増加してしまうとい
う問題点があり、以下に詳述する。

【００１４】インタレース画像においては、特に物体の
動きが大きい場合、互いに隣接する走査線間での画素値
の相関が低下する。図１８には、このようにインタレー
ス画像での走査線間での画素値相関が低下した場合にお
ける画素値配列の具体的な例が、画像空間３０１におけ
る画素値配列として模式的に示されている。

【００１５】この画像空間３０１は８×８個の画素から
なる画像空間である。なお図中、各画素は枡目により表
示しており、ハッチング表示されている桝目に対応する
画素（たとえば画素３０３，３０４）は、有意なサンプ
ル値を有する画素（有意画素）であり、ハッチング表示
されていない桝目に対応する画素（例えば画素３０２）
は、有意でないサンプル値を有する画素（非有意画素）
である。また、各桝目中に表示した数字は、該当する画
素のサンプル値を示す。

【００１６】インタレース画像では、奇数フィールドと
偶数フィールドとで走査タイミングが異なるため、画像
中の物体の動きが大きい場合、両フィールドを合わせた
１フレームでは、図１８の画像空間３０１に示すよう
に、物体の形状が二重になって見える。この場合、例え
ば、有意画素３０４は上下方向にて非有意画素と隣接す
ることになる。

【００１７】次に、従来の補填方法及びその補填結果に
ついて、図１８及び図１９を用いて具体的に説明する。
従来の補填方法では、３つのステップにより補填処理を
行う。第１ステップＳ１の処理では、上記画像空間３０
１における非有意画素のサンプル値をこれに隣接する有
意画素のサンプル値と置き換える処理を、水平方向に沿
って並ぶ非有意画素に対して、該画像空間３０１の内側
のものから順に行い、続いてこの水平方向の置き換え処
理が施された画像空間における非有意画素のサンプル値
をこれに隣接する有意画素のサンプル値と置き換える処
理を、垂直方向に沿って並ぶ非有意画素に対して、該画
像空間の内側のものから順に行う。このように上記画像
空間３０１に対して第１ステップＳ１の処理を施すこと
により、図１８に示すサンプル値を有する画素からなる
画像空間３５０が得られる。

【００１８】具体的には、上記第１ステップＳ１におけ
る水平方向の置き換え処理により、画像空間３５０にお
ける画素行３５４〜３５９を構成する非有意画素のサン
プル値が補填値（有意画素のサンプル値）と置き換えら
れる。また上記第１ステップＳ１における垂直方向の置
き換え処理により、画素行３５４を構成する有意画素及
び補填済画素（サンプル値が補填値と置き換えられた非
有意画素）のサンプル値によって、画素行３５２及び３
５３を構成する非有意画素のサンプル値が置き換えられ
る。

【００１９】第２ステップＳ２の処理では、上記第１ス
テップＳ１とは逆に、上記画像空間３０１における非有
意画素のサンプル値をこれに隣接する有意画素のサンプ
ル値と置き換える処理を、垂直方向に沿って並ぶ非有意
画素に対して、画像空間の内側のものから順に行い、そ
の後、この垂直方向の置き換え処理が施された画像空間
における非有意画素のサンプル値をこれに隣接する有意
画素のサンプル値と置き換える処理を、水平方向に沿っ
て並ぶ非有意画素に対して、画像空間の内側のものから
順に行う。このように上記画像空間３０１に対して第２
ステップＳ２の処理を施すことにより、図１８に示すサ
ンプル値を有する画素からなる画像空間３５１が得られ
る。

【００２０】具体的には、上記第２ステップＳ２におけ
る垂直方向の置き換え処理により、画像空間３５１にお
ける画素列３６２〜３６５を構成する非有意画素のサン
プル値が補填値と置き換えられる。また上記第２ステッ
プＳ２における水平方向の置換処理により、画素列３６
２を構成する有意画素及び補填済画素のサンプル値によ
って、画素列３６０及び３６１を構成する非有意画素の
サンプル値が置き換えられ、同様に画素列３６５を構成
する有意画素及び補填済画素のサンプル値によって、画
素列３６７及び３６８を構成する非有意画素のサンプル
値が置き換えられる。

【００２１】そして、第３ステップＳ３の処理では、図
１９に示すように、第１ステップＳ１により得られた画
像空間３５０における各画素と、第２ステップＳ２によ
り得られた画像空間３５１における各画素との間で、対
応する位置の画素のサンプル値が平均化される。これに
より、図１９に示すサンプル値を有する各画素からなる
画像空間３８０が得られる。

【００２２】

【発明が解決しようとする課題】この画像空間３８０を
１フレームとして、該画像空間３８０を構成する画素を
奇数フィールドと偶数フィールドに対応するよう分ける
再標本化処理を行うと、図２０に示すように、奇数フィ
ールドに対応する複数の画素からなる画像空間３８１
と、偶数フィールドに対応する複数の画素からなる画像
空間３８２が得られる。これらの各フィールドに対応す
る画像空間３８１，３８２では、図２０に示すように、
画素のサンプル値が不均一になり、各画像空間３８１，
３８２に対応する画像信号に高周波成分が導入されるこ
とになる。

【００２３】また、このような補填処理における問題
は、飛び越し走査による画像（インタレース画像）につ
いてだけではなく、順次走査による画像（プログレッシ
ブ画像）についても生ずる。具体的には、プログレッシ
ブ画像でも、縞模様を有するものも多く、このような縞
模様を有するプログレッシブ画像についても、上記のよ
うな再標本化処理，例えば１フレーム（画像空間）を構
成する複数の画素を、該画像空間における縞模様の縞部
分とその間の部分とに対応するよう寄せ集めて、縞部分
とその間の部分に対応した画像空間を形成する処理を施
し、その後、該再標本化処理により得られる画像空間に
対して符号化処理を施すことがある。

【００２４】この場合、上記のような縞模様を有するプ
ログレッシブ画像に対応する画像信号を従来の補填方法
により補填すると、再標本化処理により得られる画像空
間に対応する画像信号に高周波成分が導入されることに
なり、符号化効率が低下するという問題がある。

【００２５】なお、非有意画素と水平方向あるいは垂直
方向において隣接する有意なサンプルを用いて補填値を
求める、上述したもの以外の補填方法についても上記と
同様な問題点がある。

【００２６】本発明は、上記のような問題点を解決する
ためになされたものであり、飛び越し走査による画像や
縞模様の任意形状画像に対する補填処理を、上記予測誤
差信号の符号化処理における符号化効率の低下を抑えつ
つ行うことができ、より符号化効率の高い符号化処理を
可能とするデジタル画像補填方法、及びこの補填方法を
用いて画像符号化処理あるいは画像復号化処理を行う画
像処理装置、並びに、上記補填方法及び該画像処理装置
による画像処理をコンピュータにより実現するためのプ
ログラムを格納したデータ記録媒体を得ることを目的と
する。

【００２７】

【課題を解決するための手段】本発明（請求項１）に係
るデジタル画像補填方法は、任意形状を有する画像を含
む有意な画素と有意でない画素からなる原画像空間を形
成するデジタル画像信号に対して画素値の補填処理を施
す方法であって、上記原画像空間を構成する複数の画素
を所定の規則に従ってグループ分けして、同一グループ
の画素からなる小画像空間を複数形成する画素並替え処
理と、各小画像空間の有意でない画素の画素値を、所定
の方法により生成された補填画素値と置き換える画素補
填処理とを含むものである。

【００２８】この発明（請求項２）は、請求項１記載の
デジタル画像補填方法において、上記画素並替え処理で
は、上記原画像空間を構成する画素を所定方向に沿って
Ｎ（Ｎは正の整数）個の画素置きに抽出するサンプル処
理を、第１番目から第（Ｎ＋１）番目の画素をサンプル
開始画素として（Ｎ＋１）回行って、１回のサンプル処
理により得られる所定数の画素からなる小画像空間を
（Ｎ＋１）個形成するものである。

【００２９】この発明（請求項３）は、請求項２記載の
デジタル画像補填方法において、第ｎ（ｎ＝１，２，・
・・，Ｎ＋１）の小画像空間における有意でない画素の
画素値と置き換えられる補填画素値として、上記第ｎの
小画像空間における有意な画素の画素値に基づく演算に
より得られた演算値を用いるものである。

【００３０】この発明（請求項４）は、請求項２記載の
デジタル画像補填方法において、上記補填処理が施され
たすべての小画像空間を構成する複数の画素を、これら
の画素が上記原画像空間と同じ画素配列の復元画像空間
を形成するよう、上記グループ分けの際の所定の規則に
対応した規則に従って並べ換える画像空間復元処理を行
うものである。

【００３１】この発明（請求項５）は、請求項４記載の
デジタル画像補填方法において、第ｎ（ｎ＝１，２，・
・・，Ｎ＋１）の小画像空間における有意でない画素の
画素値と置き換えられる補填画素値として、上記第ｎの
小画像空間における有意な画素の画素値に基づく演算に
より得られた演算値を用いるものである。

【００３２】この発明（請求項６）は、請求項１記載の
デジタル画像補填方法において、上記画素並替え処理で
は、上記原画像空間における画素を、該原画像空間の垂
直方向に沿って１画素行置きに抽出する連続的なサンプ
ル処理を第１番目及び第２番目の画素行をサンプル開始
画素行として２回行って、第１回目及び第２回目のサン
プル処理によりそれぞれ得られる、所定数の画素からな
る第１及び第２の小画像空間を生成するものである。

【００３３】この発明（請求項７）に係るデジタル画像
補填方法は、任意形状を有する画像を含む有意な画素と
有意でない画素からなる原画像空間を形成するデジタル
画像信号に対して画素値の補填処理を行う方法であっ
て、上記原画像空間を、該原画像空間における奇数画素
行上の画素のみからなる第１小画像空間と、該原画像空
間における偶数画素行上の画素のみからなる第２小画像
空間とに分割し、上記第１小画像空間における有意な画
素の画素値を用いて第１補填画素値を生成し、該第１小
画像空間における有意でない画素の画素値を該第１補填
画素値と置き換えるとともに、上記第２小画像空間にお
ける有意な画素の画素値を用いて第２補填画素値を生成
し、該第２小画像空間における有意でない画素の画素値
を該第２補填画素値と置き換えるものである。

【００３４】この発明（請求項８）に係るデジタル画像
補填方法は、任意形状を有する画像を含む有意な画素と
有意でない画素からなる原画像空間を形成するデジタル
画像信号に対して、該原画像空間における有意でない画
素の画素値を、該原画像空間における有意な画素の画素
値を用いて決定される補填画素値と置き換える補填処理
を施す方法であって、上記補填画素値の決定にその画素
値が用いられる有意な画素を、上記補填対象としての有
意でない画素に隣接する画素以外の画素とするものであ
る。

【００３５】この発明（請求項９）は、請求項８記載の
デジタル画像補填方法において、上記補填画素値の決定
にその画素値が用いられる有意な画素を、上記補填対象
としての有意でない画素と垂直方向にて１画素を置いて
隣接する画素とするものである。

【００３６】この発明（請求項１０）に係る画像処理装
置は、デジタル画像信号を構成する画素値の相関を識別
して、該識別結果に対応した標本識別子を出力する相関
識別部と、デジタル画像信号に対する予測画像信号を用
いた差分符号化処理を上記標本識別子に基づいて行って
画像符号化信号を出力する符号化処理部と、該画像符号
化信号を局所復号化して得られる画像復号化信号に基づ
いて上記予測画像信号を生成する予測処理部とを有す
る、画像符号化を行う装置であって、上記符号化処理部
を、上記デジタル画像信号と予測画像信号との差分を差
分画像信号として求める減算器と、該差分画像信号を圧
縮して圧縮差分信号を生成する情報圧縮器と、該圧縮差
分信号を可変長符号化する可変長符号化器とを有する構
成とし、上記予測処理部を、上記圧縮差分信号を伸長し
て伸長差分信号を生成する情報伸長器と、該伸長差分信
号と上記予測画像信号とを加算して画像復号化信号を生
成する加算器と、該画像復号化信号に対し、該画像復号
化信号により形成される画像空間における画素を並べ替
え、該画素が並べ替えられた画像空間における有意でな
い画素の画素値を、所定の方法により生成した補填画素
値と置換する補填処理を、上記標本識別子に基づいて行
う補填手段と、補填処理が施された画像復号化信号から
上記標本識別子に基づいて上記予測画像信号を生成する
予測画像信号生成手段とを有する構成したものである。

【００３７】この発明（請求項１１）は、請求項１０記
載の画像処理装置において、上記符号化処理部を、上記
差分画像信号に、この差分画像信号により形成される画
像空間における画素を並べ替え、該画素が並べ替えられ
た画像空間における有意でない画素の画素値を、所定の
方法により生成した補填画素値と置換する補填処理を、
上記標本識別子に基づいて行う補填手段を有し、上記情
報圧縮器では、該補填処理を施した差分画像信号の情報
圧縮により圧縮差分信号が生成されるよう構成したもの
である。

【００３８】この発明（請求項１２）に係る画像処理装
置は、デジタル画像信号を符号化して得られる画像符号
化信号を、該デジタル画像信号に対応する予測画像信号
を用いて再生して画像再生信号を出力する再生処理部
と、該画像再生信号に基づいて上記予測画像信号を生成
する予測処理部とを有する、画像復号化を行う装置であ
って、上記再生処理部を、上記画像符号化信号の解析に
より、該画像符号化信号からデジタル画像信号に対応す
る圧縮差分信号、及び該デジタル画像信号を構成する画
素値の相関を示す標本識別子を抽出するデータ解析器
と、上記圧縮差分信号を伸長して伸長差分信号を生成す
る情報伸長器と、上記伸長差分信号と予測画像信号とを
加算して上記画像再生信号を生成する加算器とを有する
構成とし、上記予測処理部を、上記画像再生信号及び該
画像再生信号から得られる予測画像信号の少なくとも一
方を補填対象信号とし、該補填対象信号に対して、この
補填対象信号より形成される画像空間における画素を並
べ替え、該画素の並替えが行われた画像空間における有
意でない画素の画素値を、所定の方法により生成した補
填画素値と置換する補填処理が上記標本識別子に基づい
て行われるよう構成としたものである。

【００３９】この発明（請求項１３）は、請求項１２記
載の画像処理装置において、上記予測処理部を、上記画
像再生信号に対する補填処理を、上記標本識別子に基づ
いてフレーム単位あるいはフィールド単位でもって行う
補填手段と、該画像再生信号の補填処理により得られる
補填再生信号を格納するフレームメモリとを有し、該フ
レームメモリに格納されている補填再生信号を上記予測
画像信号として上記再生処理部に出力する構成としたも
のである。

【００４０】この発明（請求項１４）は、請求項１２記
載の画像処理装置において、上記予測処理部を、上記画
像再生信号を格納するフレームメモリと、該フレームメ
モリに格納されている画像再生信号から抽出された予測
画像信号に対する補填処理を、上記標本識別子に基づい
てフレーム単位あるいはフィールド単位でもって行う補
填手段とを有し、補填処理が施された予測画像信号を上
記再生処理部に出力する構成としたものである。

【００４１】この発明（請求項１５）に係る画像処理装
置は、デジタル画像信号を符号化して得られる画像符号
化信号を、該デジタル画像信号に対応する予測画像信号
を用いて再生して画像再生信号を出力する再生処理部
と、該画像再生信号に基づいて上記予測画像信号を生成
する予測処理部とを有する、画像復号化を行う装置であ
って、上記再生処理部を、上記画像符号化信号の解析に
より、該画像符号化信号からデジタル画像信号に対応す
る圧縮差分信号、及び該デジタル画像信号を構成する画
素値の相関を示す標本識別子を抽出するデータ解析器
と、上記圧縮差分信号を伸長して伸長差分信号を生成す
る情報伸長器と、上記伸長差分信号と上記予測画像信号
とを加算して上記画像再生信号を生成する加算器とを有
する構成とし、上記予測処理部を、上記画像再生信号に
対し、この画像再生信号により形成される画像空間にお
ける有意でない画素の画素値を、少なくとも該有意でな
い画素に隣接する画素以外の有意な画素の画素値から生
成した補填画素値と置換する補填処理を、上記標本識別
子に基づいて施す補填手段と、上記標本識別子に従っ
て、補填処理が施された画像再生信号に対して、この画
像再生信号により形成される画像空間における画素を並
べ替える処理を施す並べ替え手段とを有する構成とした
ものである。

【００４２】この発明（請求項１６）に係るデータ記録
媒体は、コンピュータに、任意形状を有する画像を含む
有意な画素と有意でない画素からなる原画像空間を形成
するデジタル画像信号に対する画素値の補填処理を行わ
せるためのプログラムを格納したデータ記録媒体であっ
て、上記プログラムが、請求項１記載のデジタル画像補
填方法による画素値の補填処理をコンピュータが行うよ
う構成されているものである。

【００４３】この発明（請求項１７）に係るデータ記録
媒体は、コンピュータに、任意形状を有する画像を含む
有意な画素と有意でない画素からなる原画像空間を形成
するデジタル画像信号に対する画素値の補填処理を行わ
せるためのプログラムを格納したデータ記録媒体であっ
て、上記プログラムが、請求項７記載のデジタル画像補
填方法による画素値の補填処理をコンピュータが行うよ
う構成されているものである。

【００４４】この発明（請求項１８）に係るデータ記録
媒体は、コンピュータに、任意形状を有する画像を含む
有意な画素と有意でない画素からなる原画像空間を形成
するデジタル画像信号に対する画素値の補填処理を行わ
せるためのプログラムを格納したデータ記録媒体であっ
て、上記プログラムが、請求項８記載のデジタル画像補
填方法による画素値の補填処理をコンピュータが行うよ
う構成されているものである。

【００４５】この発明（請求項１９）に係るデータ記録
媒体は、コンピュータに画像信号の符号化処理を行わせ
るためのプログラムを格納したデータ記録媒体であっ
て、上記プログラムが、請求項１０記載の画像処理装置
によるデジタル画像信号の差分符号化処理をコンピュー
タが行うよう構成されているものである。

【００４６】この発明（請求項２０）に係るデータ記録
媒体は、コンピュータに、画像信号の復号化処理を行わ
せるためのプログラムを格納したデータ記録媒体であっ
て、上記プログラムが、請求項１２記載の画像処理装置
によるデジタル画像信号の差分復号化処理をコンピュー
タが行うよう構成されているものである。

【００４７】この発明（請求項２１）に係るデータ記録
媒体は、コンピュータに、画像信号の復号化処理を行わ
せるためのプログラムを格納したデータ記録媒体であっ
て、上記プログラムが、請求項１５記載の画像処理装置
によるデジタル画像信号の差分復号化処理をコンピュー
タが行うよう構成されているものである。

【００４８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図１ないし図１７を用いて説明する。 実施の形態１．図１〜図３は、本発明の実施の形態１に
よるデジタル画像補填方法を説明するための図であり、
図１は該補填方法における画像信号の処理の流れを示し
ている。この実施の形態１のデジタル画像補填方法は、
図１に示すように、標本化された入力デジタル画像信号
により形成される原画像空間に対して再標本化処理を施
して複数の小画像空間を形成する処理（ステップＳ１
２）と、該各小画像空間に対して、その有意でない画素
のサンプル値を所定の方法により得られる補填画素値と
置き換える補填処理（ステップＳ１３）とを含むもので
ある。

【００４９】図２は、上記デジタル画像補填方法におけ
る再標本化処理を模式的に示しており、上記入力デジタ
ル画像信号に対応する原画像空間３０１は、ここでは、
８×８画素からなり、有意なサンプル値を有する有意画
素と、有意でないサンプル値を有する非有意画素とを含
んでいる。なお、図２中、各画素は枡目により表示して
おり、上記有意画素はハッチング表示されている桝目に
対応する画素（たとえば画素３０３，３０４）、上記非
有意画素はハッチング表示されていない桝目に対応する
画素（例えば画素３０２）である。また、各桝目中に表
示した数字は、該当する画素のサンプル値を示す。

【００５０】また、上記再標本化処理により得られる小
画像空間４０１〜４０４はそれぞれ、４×４画素からな
る。ここで、小画像空間４０１は、上記原画像空間３０
１における、奇数番目の画素列と奇数番目の画素行の交
差位置にある画素からなる。

【００５１】小画像空間４０３は、上記原画像空間３０
１における、偶数番目の画素列と奇数番目の画素行の交
差位置にある画素からなる。小画像空間４０２は、上記
原画像空間３０１における奇数番目の画素列と偶数番目
の画素行の交差位置にある画素からなる。小画像空間４
０４は、上記原画像空間３０１における偶数番目の画素
列と偶数番目の画素行の交差位置にある画素からなる。

【００５２】図３は、上記実施の形態１のデジタル画像
補填方法における補填処理を模式的に示している。上記
小画像空間４０１及び４０３に従来の補填処理と同様な
処理を施すことにより小画像空間４０５が得られ（図３
(a) 参照）、上記小画像空間４０２及び４０４に従来の
補填処理と同様な処理を施すことにより小画像空間４０
６が得られる（図３(b) 参照）。

【００５３】次に作用効果について説明する。この実施
の形態１の補填方法では、ステップＳ１１にて標本化さ
れたデジタル画像信号が入力される。ここでは、このデ
ジタル画像信号は、物体，つまり任意形状を有する画像
に対応するものとし、該物体を含む図２に示す原画像空
間３０１を形成するものである。

【００５４】なお、このデジタル画像信号は、飛び越し
走査による画像（インターレース画像）に対応するもの
でも、順次走査による画像（プログレッシブ画像）に対
応するものでもよい。上記デジタル画像信号がプログレ
ッシブ画像に対応するものである場合は、例えば、横縞
模様を有する物体の画像が上記図２に示す原画像空間３
０１における画像に相当する。一方、上記デジタル画像
信号がインターレース画像に対応するものである場合に
は、物体の動きが大きい画像が上記原画像空間３０１に
おける画像に相当し、このようなインターレース画像で
は、図２に示すように物体が二重にずれて見えることが
ある。

【００５５】また、上記原画像空間３０１は、個々の物
体を含む、該物体に対応する領域（オブジェクト領域）
それ自体であっても、またこのオブジェクト領域を、所
定の画素（例えばＮ×Ｍサンプル）からなる複数の画像
空間（ブロック）に分割したものでもよい。ここでは、
説明の都合上、上記ステップＳ１１では、上記オブジェ
クト領域に対応するデジタル画像信号がフレーム毎に順
番に入力されるものとする。

【００５６】ステップＳ１２では、上記デジタル画像信
号に対応した原画像空間３０１に再標本化処理を施して
複数の小画像空間４０１〜４０４を生成する。つまり、
上記原画像空間３０１から、水平方向に沿って１画素置
きにかつ垂直方向に沿って１画素行置きに画素を抽出
し、抽出した画素により上記４つの小画像空間４０１〜
４０４を生成する。

【００５７】上記各小画像空間について具体的に説明す
ると、上記原画像空間３０１における奇数番目の画素列
と奇数番目の画像行の交差位置にある画素を抽出して小
画像空間４０１を形成し、偶数番目の画像列と奇数番目
の画像行の交差位置にある画素を抽出して小画像空間４
０３を形成する。また、上記原画像空間３０１における
奇数番目の画素列と偶数番目の画素行の交差位置にある
画素を抽出して小画像空間４０２を形成し、上記原画像
空間３０１における偶数番目の画素列と偶数番目の画素
行の交差位置にある画素により小画像空間４０４を形成
する。

【００５８】続くステップＳ１３では、上記各小画像空
間４０１〜４０４に対する補填処理を行う。本実施の形
態での補填処理は、従来の補填方法における、図１８及
び図１９に示す第１〜第３ステップＳ１〜Ｓ３（以下、
第１〜第３補填ステップという。）からなる。

【００５９】つまり、第１補填ステップでは、上記小画
像空間における非有意画素のサンプル値を、該非有意画
素に隣接する有意画素のサンプル値と置き換える処理
を、水平方向に沿って小画像空間の内側のものから順に
行い、続いてこの水平方向の置き換え処理が施された小
画像空間における非有意画素のサンプル値を、隣接する
有意画素あるいは補填済画素（サンプル値の置き換えが
行われた非有意画素）のサンプル値と置き換える処理
を、垂直方向に沿って小画像空間の内側のものから順に
行う。

【００６０】第２補填ステップでは、上記第１補填ステ
ップとは逆に、小画像空間における非有意画素のサンプ
ル値を、該非有意画素に隣接する有意画素のサンプル値
と置き換える処理を、垂直方向に沿って小画像空間の内
側のものから順に行い、その後、この垂直方向の置き換
え処理が施された小画像空間における非有意画素のサン
プル値を、これに隣接する有意画素あるいは補填済画素
のサンプル値と置き換える処理を、水平方向に沿って小
画像空間の内側のものから順に行う。

【００６１】そして、第３補填ステップでは、第１補填
ステップの置き換え処理により得られた小画像空間にお
ける各画素のサンプル値と、これに対応する位置の、第
２補填ステップの置き換え処理により得られた小画像空
間の各画素のサンプル値とを平均化して、小画像空間を
構成する各画素のサンプル値を求める。

【００６２】このような補填処理により、上記小画像空
間４０１，４０３はそれぞれ図３(a) に示すサンプル値
を有する画素からなる小画像空間４０５に変換され、上
記小画像空間４０２，４０４はそれぞれ図３(b) に示す
サンプル値を有する画素からなる小画像空間４０６に変
換される。

【００６３】これらの補填処理により得られる小画像空
間を、従来の方法により得られる奇数フィールド画像空
間３８１及び偶数フィールド画像空間３８２（図２０参
照）と比較すると、各小画像空間４０５，４０６（図３
参照）はこれを構成する画素のサンプル値が均一なもの
となっており、該各小画像空間に対応する画像信号には
高周波成分が導入されていないことが分かる。

【００６４】そして、最後のステップＳ１４では、上記
再標本化処理が施された原画像空間が、上記デジタル画
像信号を構成する最終フレームに対応するものであるか
否かを判定し、上記原画像空間が最終フレームに対応す
るものである場合は、上記ステップＳ１１〜Ｓ１４の処
理を終了する（ステップＳ１５）。一方、上記原画像空
間が最終フレームに対応するものでなければ、次のフレ
ームに対応する原画像空間に対して上記ステップＳ１１
〜ステップＳ１４の処理を行う。

【００６５】このように本実施の形態１では、入力され
るデジタル画像信号に対応する原画像空間３０1 におけ
る画素を水平方向に１画素置きにかつ垂直方向に１画素
行置きに抽出し、該抽出した複数の画素を並べ替えて４
つの小画像空間４０１〜４０４を形成し、これらの小画
像空間に対して画素値の補填処理を施すようにしたの
で、画素値の補填処理が、隣接する走査線の間での画素
値相関が低い原画像空間ではなく、隣接する走査線の間
での画素値相関の高い複数の小画像空間に対して施され
ることとなる。つまり、補填処理が施された小画像空間
は、上記画素値相関が高いものとなっている。このた
め、例えば、物体の動きの大きいインターレース画像に
補填処理により、該インターレース画像に対応するデジ
タル画像信号に高周波成分が導入されるのを回避するこ
とができ、引いては、インターレース画像等に対する差
分符号化処理あるいは差分復号化処理を、補填処理に起
因する符号化効率の低下を抑えつ、高い符号化効率でも
って行うことができる効果がある。

【００６６】なお、上記実施の形態１では、原画像空間
が、物体を含むオブジェクト領域に対応するものとして
説明したが、上記原画像空間は、オブジェクト領域を分
割した、符号化処理の単位としてのブロックに対応する
ものであってもよい。この場合には、上記ステップＳ１
４では、まず、原画像空間がオブジェクト領域を構成す
る最終ブロックに対応するものであるか否かを判定し、
上記原画像空間が最終ブロックに対応するものでなけれ
ば、次のブロックに対する原画像空間について上記ステ
ップＳ１２〜ステップＳ１４の処理を行う。また、上記
原画像空間が最終ブロックに対応するものであれば、原
画像空間が最終フレームに対応するものか否かを判定
し、この判定結果に応じて、処理を終了するか、次のフ
レームの最初のブロックに対応する原画像空間に対して
上記ステップＳ１２〜ステップＳ１４の処理を行うかを
判定する。

【００６７】また、上記実施の形態１では、補填処理は
第１〜第３の３つの補填ステップから構成されている場
合を示したが、上記補填処理としては、第１の補填ステ
ップあるいは第２の補填ステップのみを行ってもよい。

【００６８】さらに、上記実施の形態１では、小画像空
間における非有意画素のサンプル値と置き換える補填値
には、非有意画素に隣接する有意画素のサンプル値を用
いたが、上記補填値には、上記小画像空間における複数
の有意画素のサンプル値の平均値、あるいは小画像空間
における物体の境界に位置する複数の有意画素のサンプ
ル値の平均値を用いてもよい。

【００６９】またさらに、上記実施の形態１では、上記
小画像空間を形成するための再標本化の際、デジタル画
像信号に対応する原画像空間における画素を、水平方向
に１画素置きにかつ垂直方向に１ライン置きに抽出する
ようにしたが、原画像空間における画素の抽出は、一般
的に水平方向にはＮ（Ｎは正の整数）個の画素置きにか
つ垂直方向にはＮ個の画素行置きに行うようにすればよ
い。ここで抽出する画素の間隔は、デジタル画像信号に
より形成される画像の縞模様等によって適宜に変更すれ
ばよい。続いて、実施の形態１の変形例１〜３について
説明する。

【００７０】実施の形態１の変形例１．図４は本発明の
実施の形態１の変形例１によるデジタル画像補填方法を
説明するための図であり、該補填方法における画像処理
の流れを示している。この実施の形態1 の変形例1 のデ
ジタル画像補填方法は、図１に示す実施の形態1 のデジ
タル補填方法における各ステップＳ１１〜Ｓ１5 の処理
に、ステップＳ１６における画素のマージ処理を追加し
たものである。

【００７１】このステップＳ１６では、ステップＳ１３
での補填処理により得られた小画像空間４０５及び４０
６を構成するすべての画素を、入力されたデジタル画像
信号に対応する原画像空間と同じ画素配列となるよう並
べ替えて、原画像空間３０１と同一サイズのマージ画像
空間４０７を形成する（図３(c) 参照）。

【００７２】具体的には、小画像空間４０１に対する補
填処理により得られる小画像空間４０５の各画素を、縦
横のサイズが該小画像空間の２倍であるマージ画像空間
の奇数番目の画素列と奇数番目の画素行の交差位置に、
小画像空間４０３に対する補填処理により得られる小画
像空間４０５の画素を、上記マージ画像空間の偶数番目
の画素列と奇数番目の画素行の交差位置に配置し、さら
に小画像空間４０２に対する補填処理により得られる小
画像空間４０６の画素を、上記マージ画像空間の奇数番
目の画素列と偶数番目の画素行の交差位置に、小画像空
間４０４に対する補填処理により得られる小画像空間４
０６の画素を、上記マージ画像空間の偶数番目の画素列
と偶数番目の画素行の交差位置に配置する。

【００７３】このような構成の本実施の形態１の変形例
１では、入力されるデジタル画像信号に対応する原画像
空間３０1 における画素を、水平方向に１画素置きにか
つ垂直方向に１画素行置きに抽出し、該抽出した複数の
画素を並べ替えて４つの小画像空間４０１〜４０４を形
成し、これらの小画像空間に対して画素値の補填処理を
施し、その後、該補填処理を施した小画像空間４０５，
４０６の画素の再配列処理により、原画像空間３０１と
同一の画素配列のマージ画像空間４０７を形成するの
で、補填処理が施されたマージ画像空間に対しては、符
号化等の画像処理を、補填処理を施していない原画像空
間と全く同様に行うことができ、補填処理に応じて補填
処理後の画像信号の処理を変更する必要がないという効
果がある。

【００７４】実施の形態１の変形例２．図５は本発明の
実施の形態１の変形例２によるデジタル画像補填方法を
説明するための図であり、該補填方法における処理の流
れを示している。この実施の形態１の変形例２のデジタ
ル画像補填方法は、図５に示すように、標本化された入
力デジタル画像信号により形成される原画像空間に対し
て、隣接する画素列の間での画素値の相関の大きさを評
価するステップＳ５２と、該評価結果に基づいて、上記
原画像空間に対する再標本化処理を行って複数の小画像
空間を形成するか否かを判定するステップＳ５３と、原
画像空間に対する再標本化を行った後に上記小画像空間
に対する補填処理を行うステップＳ５４と、原画像空間
に対して直接補填処理を施すステップＳ５５とを含むも
のである。

【００７５】次に作用効果について説明する。この実施
の形態１の変形例２の補填方法では、ステップＳ５１に
て、画素がマトリクス状に配列された所定の原画像空間
を形成するデジタル画像信号が入力される。続くステッ
プＳ５２にて、該原画像空間に対して、隣接する画素列
の間での画素値の相関の大きさを求める。具体的には、
この変形例では、上記原画像空間における隣接する奇数
画素列と偶数画素列を１組として各組の奇数画素列と偶
数画素列の間で各画素のサンプル値の差分を求め、この
差分の絶対値を上記原画像空間における各組の奇数画素
列と偶数画素列について足し合わせて第１評価値を生成
する。

【００７６】また、上記原画像空間における隣り合う奇
数画素列を１組としてこれらの間でサンプル値の差分
（第１の差分）を求めるとともに、該原画像空間におけ
る隣り合う偶数画素列を１組としてこれらの間でサンプ
ル値の差分（第２の差分）を求め、これらの第１，第２
の差分の絶対値を上記画像空間における各組の偶数画素
列と各組の奇数画素列について足し合わせて第２評価値
を生成する。

【００７７】そして、ステップＳ５３にて、上記第１評
価値と第２評価値とを比較する。この比較の結果、第２
評価値が第１評価値に比べて小さい、すなわち奇数画素
列と偶数画素列の間での画素値の相関が、奇数画素列間
及び偶数画素列間での画素値の相関に比べて低い場合、
ステップＳ５４にて、上記原画像空間に対する再標本化
処理を行った後に補填処理を行う。つまり、上記原画像
空間を構成する画素を一画素列おきに抽出し、奇数画素
列を構成する画素のみからなる第１小画像空間と、偶数
画素列を構成する画素のみからなる第２小画像空間とを
生成し、その後、各小画像空間に対する画素値の補填処
理を行う。

【００７８】一方、上記ステップＳ５３での比較の結
果、第２評価値が第１評価値に比べて小さくない場合、
ステップＳ５５にて、原画像空間に対する再標本化処理
を行わずに、該原画像空間に対する補填処理を行う。な
おここでの補填処理は、上記実施の形態１のステップＳ
１３で行われる補填処理と全く同一である。

【００７９】このように本実施の形態１の変形例２で
は、入力されるデジタル画像信号に対する原画像空間に
対して、隣接する画素列間での画素値の相関を判定し、
この判定結果に応じて、原画像空間に対する再標本化処
理を行って得られる小画像空間に対して補填処理を施す
か、該原画像空間に対して直接補填処理を施すかを選択
するようにしたので、入力されるデジタル画像信号に性
質に応じて補填処理を行うことができ、隣接する画素列
間での画素値相関の低い原画像空間に補填処理が施され
るのを回避でき、画像信号の符号化処理あるいは復号化
処理における補填処理を、符号化効率の劣化を招くこと
なく行うことができる。

【００８０】なお、上記実施の形態１の変形例２では、
原画像空間における画素列間での画素値相関を判定し、
原画像空間を奇数画素列からなる小画像空間と、偶数画
素列からなる小画像空間とに分ける場合について示した
が、上記画素値相関は、原画像空間における画素行間で
判定するようにしてもよい。この場合も上記実施の形態
１の変形例２と同様、２つの評価値を求めてこれらを比
較することによりその判定を行い、この判定結果に基づ
いて、補填処理前に原画像空間に対する垂直方向の再標
本化処理、つまり原画像空間を奇数画素行からなる小画
像空間（奇数フィールド）と、偶数画素行からなる小画
像空間（偶数フィールド）とに分ける処理を行うか否か
を決定するようにしてもよい。

【００８１】また、上記実施の形態１の変形例２では、
原画像空間における画素を、一画素列（または一画素
行）おきに抽出して、抽出された画素列（あるいは画素
行）の間でサンプル値の相関を比較する場合について説
明したが、一般的に原画像空間の画素をその垂直方向
（あるいは水平方向）に沿ってＮ（Ｎ＝１，２，
３，．．）画素おきに抽出し、該抽出した画素間で画素
値相関を求めて複数の評価値を生成し、これらの評価値
の大小関係に応じて、補填処理前に垂直方向（あるいは
水平方向）のＮ画素置きの再標本化を行うか否かを決定
するようにしてもよい。

【００８２】また、原画像空間から抽出した画素のサン
プル値に基づいて評価値を計算する際に用いる関数は、
上述したようにサンプル値の差分の絶対値の和を評価値
とするものに限らず、他の関数を用いてもよく、また評
価値は有意なサンプルのみに基づいて計算してもよい。

【００８３】実施の形態１の変形例３．図６は、本発明
の実施の形態１の変形例３によるデジタル画像補填方法
を説明するための図であり、上記補填方法における処理
の流れを示している。この実施の形態１の変形例３のデ
ジタル画像補填方法は、図６に示すように、標本化され
た入力デジタル画像信号により形成される原画像空間に
対して、隣接する走査線（画素行）の間での画素値の相
関の大きさを評価するステップＳ６２と、該評価結果に
基づいて、上記原画像空間におけるフィールドでの画素
値相関の大きさを判定するステップＳ６３と、上記原画
像空間に対する再標本化処理を施して、奇数フィールド
に対応する小画像空間と偶数フィールドに対応する小画
像空間を形成し、各小画像空間，つまりフィールド単位
で補填処理を行うステップＳ６４と、原画像空間に対し
てフレーム単位で補填処理を施すステップＳ６５とを含
むものである。

【００８４】次に作用効果について説明する。この実施
の形態１の変形例３の補填方法では、ステップＳ６１に
て、画素がマトリクス状に配列された所定の原画像空間
を形成するデジタル画像信号が入力される。ここでデジ
タル画像信号はインターレース画像に対応し、例えば図
２に示す画像空間３０１を形成するものとする。

【００８５】次に、ステップＳ６２では、上記原画像空
間における走査線間での画素値相関を求める。つまり、
図５で説明した方法により、上記原画像空間における奇
数ラインと偶数ラインの間での画素値の相関を示す第１
評価値を生成するとともに、上記原画像空間における奇
数ライン間及び偶数ライン間での画素値の相関を示す第
２評価値を生成する。続いて、ステップＳ６３にて、第
１評価値と第２評価値の比較により、フィールドにおけ
る画素値の相関がフレームにおける画素値の相関より大
きいか否かを判定する。

【００８６】上記判定の結果、第２評価値が第１評価値
より小さい，つまりフィールドでの画素値相関がフレー
ムでの画素値相関より大きい場合、ステップＳ６４に
て、デジタル画像信号により形成される原画像空間に対
する補填処理をフィールド単位で行う。つまり、奇数ラ
インのみからなる小画像空間と偶数ラインのみからなる
小画像空間とを生成し、各小画像空間（フィールド）を
単位として補填処理を行う。一方、第２評価値が第１評
価値より小さくない場合、ステップＳ６５にて、上記原
画像空間に対してフレーム単位で、つまり奇数ラインと
偶数ラインがマージした状態で補填処理を行う。

【００８７】図７は、図２の原画像空間３０１に対する
フィールド単位の補填処理を説明するための図であり、
図７(a) は、上記原画像空間３０１における奇数フィー
ルドに対応する小画像空間７０１、及び該小画像空間７
０１に補填処理を施して得られる小画像空間７０３を示
し、図７(b) は、上記原画像空間３０１における偶数フ
ィールドに対応する小画像空間７０２、及び該小画像空
間７０２に補填処理を施して得られる小画像空間７０４
を示している。図７から上記小画像空間７０１，７０２
に対して、高周波成分を導入せずに補填処理を施すこと
ができることがわかる。

【００８８】このように本実施の形態１の変形例３で
は、入力されるデジタル画像信号に対応する原画像空間
に対してフィールド単位で補填するか、フレーム単位で
補填するかを判定して、いずれかの単位で原画像空間に
対して画素値の補填処理を施すようにしたので、インタ
ーレース画像に対する補填処理を、インターレース画像
に対応する画像信号の符号化効率の劣化を招くことなく
行うことができる。

【００８９】実施の形態２．図８は本発明の実施の形態
２によるデジタル画像補填方法を説明するための模式図
であり、補填処理の対象となるデジタル画像信号により
形成される原画像空間と、この原画像空間に補填処理を
施して得られる補填済画像空間を示している。

【００９０】本実施の形態２のデジタル画像補填方法
は、上記実施の形態１のデジタル画像補填方法における
再標本化を行うステップＳ１２及び補填処理を行うステ
ップＳ１３に代えて、デジタル画像信号に対応する原画
像空間８０１に対して直接補填処理を施す、つまり原画
像空間８０１における非有意画素のサンプル値を、所定
の規則に基づいてその有意画素のサンプル値から得られ
る補填値と置き換えるステップを含んでいる。ここで、
上記補填値の生成に用いられる有意画素としては、上記
原画像空間にて非有意画素に対して水平方向には隣接
し、垂直方向には１画素を介して隣接する画素を用い
る。

【００９１】つまり、この実施の形態２のデジタル画像
補填処理は、非有意画素のサンプル値の置き換えを水平
方向に沿って順次行う第１の置替ステップＳ２１（図８
(a)）と、非有意画素のサンプル値の置き換えを垂直方
向に沿って行う第２の置替ステップＳ２２（図８(b) ）
とを有している。この第２の置替えステップＳ２２で
は、上記第１の置替えステップＳ２１により得られる画
像空間８０１ａにおける非有意画素のサンプル値を、該
非有意画素が含まれる画素行に１画素行を介して隣接す
る画素行の画素のサンプル値と置き替えるようにしてい
る。

【００９２】次に作用効果について説明する。上記原画
像空間８０１は奇数ライン（画素行）と偶数ライン（画
素行）の間での画素値相関が低いものであるので、前述
した実施の形態１で示したように、上記画像空間８０１
を、奇数ラインからなる小画像空間と偶数ラインからな
る小画像空間に分けて、各小画像空間に対してそれぞれ
補填処理を施す方法が有効であることは言うまでもない
が、このような奇数ライン間及び偶数ライン間での画素
値相関の大きい原画像空間を形成する画像信号に対して
は、補填対象となる画素，つまり原画像空間における非
有意画素に対して、垂直方向には１画素間隔（１画素を
介して隣接して位置する２つの画素の間隔）だけ離れて
位置する有意画素のサンプル値を用いて補填する方法も
有効である。

【００９３】そこで本実施の形態２のデジタル画像補填
方法では、まず、図８(a) に示すように、上記原画像空
間８０１における非有意画素のサンプル値をこれに隣接
する有意画素のサンプル値と置き替える処理を、水平方
向に沿って並ぶ非有意画素に対して、該原画像空間８０
１の内側のものから順に行う（第１の置替ステップＳ２
１）。

【００９４】次に、図８(b) に示すように、上記第１の
置き替えステップＳ２１により得られる画像空間８０１
ａにおける画素行８１２の非有意画素のサンプル値を、
上記画素行８１２に該画素行８１３を介して隣接する画
素行８１４における画素のサンプル値と置き換え、上記
画像空間８０１ａにおける画素行８１１の非有意画素の
サンプルを、該画素行８１１に該画素行８１２を介して
隣接する画素行８１３における画素のサンプル値と置き
替える（第２の置替えステップＳ２２）。

【００９５】この実施の形態２のデジタル画像補填処理
では、上記実施の形態１に示す、入力されるデジタル画
像信号に対応する原画像空間に対して再標本化処理を施
し、これにより得られる画像空間に対して補填処理を施
すデジタル画像補填方法と同様な補填結果が得られる。
つまり、上記デジタル画像信号がインターレース画像に
対応するものであっても、上記補填処理により原画像空
間に対応するデジタル画像信号に高周波成分が導入され
るのを回避することができ、引いては、インターレース
画像等に対する差分符号化処理あるいは差分復号化処理
を、補填処理に起因する符号化効率の低下を抑えつつ、
高い符号化効率でもって行うことができる効果がある。

【００９６】なお、上記実施の形態２では、非有意画素
に対するサンプル値の第２の置替えステップＳ２２に
て、該非有意画素から垂直方向に１サンプル間隔だけ離
れた有意画素のサンプル値を補填画素値として用いる場
合について示したが、補填値として用いるサンプル値は
これに限らず、非有意画素に対するサンプル値の補填処
理には、一般的には、該非有意画素から垂直方向にＮサ
ンプル間隔だけ離れた有意画素のサンプル値を用いるこ
とができる。

【００９７】また、この実施の形態２では、非有意画素
のサンプル値の置き換えを水平方向に沿って順次行って
から、非有意画素のサンプル値の置き換えを垂直方向に
沿って１画素置きに行うようにしたが、非有意画素のサ
ンプル値の置き換えを垂直方向に沿って順次行ってか
ら、非有意画素のサンプル値の置き換えを水平方向に沿
って１画素置きに行うようにしもよい。この場合、縦縞
模様を有するプログレッシブ画像に対して有効な補填処
理を行うことができる。

【００９８】以下、本発明の実施の形態３として、上述
した本発明のデジタル画像補填方法を用いた画像符号化
装置について、また本発明の実施の形態４として、本発
明のデジタル画像補填方法を用いた画像復号化装置につ
いて説明する。

【００９９】実施の形態３．図９は本発明の実施の形態
３による画像処理装置である画像符号化装置を説明する
ためのブロック図であり、図９(a) は該画像符号化装置
の全体の構成を、図９(b) は該画像符号化装置を構成す
る補填処理部の構成を示す図である。

【０１００】この実施の形態３の画像符号化装置１００
ａは、入力端子１０１ａに供給された入力デジタル画像
信号Ｓｇを、符号化処理の単位としての１６×１６画素
からなるブロックに対応するよう分割して画像信号（以
下、ブロック化画像信号ともいう。）Ｂｇを出力するブ
ロック化器１０１と、該ブロック化器１０１の出力Ｂｇ
に基づいて、上記デジタル画像信号Ｓｇに対応する画像
がインターレース画像であるかプログレッシブ画像であ
るかを識別し、この識別結果に応じた標本識別子Ｄｉを
出力するするインターレース検出器１０４と、符号化処
理の対象となる対象ブロックに対応する予測画像信号Ｐ
ｒｇを生成する予測処理部１２０ａとを有している。

【０１０１】また、上記画像符号化装置１００ａは、上
記対象ブロックの画像信号Ｂｇとその予測画像信号Ｐｒ
ｇとの差分を差分信号（予測誤差信号）Ｄｇとして出力
する減算器１０２と、該減算器１０２の出力Ｄｇに上記
標本識別子Ｄｉに応じた情報圧縮処理を施して圧縮差分
信号Ｑｇを出力する情報圧縮器１１０と、該情報圧縮器
１１０の出力Ｑｇに対して可変長符号化処理を施して画
像符号化信号Ｅｇを出力する可変長符号化器（ＶＬＣ）
１０３とを有している。

【０１０２】ここで、上記情報圧縮器１１０は、対象ブ
ロックの差分信号Ｄｇに対して、上記標本識別子Ｄｉに
応じて、該差分信号Ｄｇにより形成される差分画像空間
を構成する画素を並べ替える画素並替え器１１３と、こ
の画素並替え器１１３の出力ＰＤｇに対して離散コサイ
ン変換処理を施すＤＣＴ器１１１と、該ＤＣＴ器１１１
の出力Ｔｇを量子化して量子化係数を上記圧縮差分信号
Ｑｇとして出力する量子化器１１２とから構成されてい
る。ここで離散コサイン変換処理は、上記１６×１６画
素からなるブロックを４分割して得られる８×８画素か
らなる小ブロックを単位して行われる。この際、上記並
べ替え処理が行われている場合は、図１０(c) に示すよ
うにブロック２５０ｃを小ブロック２５１〜２５４に分
割し、上記並べ替え処理が行われていない場合は、図１
０(b) に示すようにブロック２５０ｂを小ブロック２５
５〜２５８に分割する。

【０１０３】そして、上記画素並替え器１１３は、上記
標本識別子Ｄｉに応じて、図１０(a) に示すように、差
分信号Ｄｇに対応する画像空間２５０に対する画素の並
替え処理により並替済画像空間２５０ａを生成する構成
となっている。この並替済画像空間２５０ａでは、その
１６×８画素からなる上部領域２５０ａ１は、差分信号
Ｄｇに対応する画像空間２５０の奇数画素行上の画素か
らなり、その１６×８画素からなる下部領域２５０ａ２
は、差分信号Ｄｇに対応する画像空間２５０の偶数画素
行上の画素からなる。

【０１０４】また、上記予測処理部１２０ａは、上記情
報圧縮器１１０の出力Ｑｇに情報伸長処理を施して伸長
差分信号ＩＴｇを出力する情報伸長器１３０と、該伸長
差分信号ＩＴｇを上記予測画像信号Ｐｒｇと加算して復
元画像信号Ｌｒｇを出力する加算器１２３とを有してい
る。ここで、上記情報伸長器１３０は、上記情報圧縮器
１１０の出力Ｑｇを逆量子化する逆量子化器１２１と、
該逆量子化器１２１の出力ＩＱｇに対して、周波数領域
のデータを空間領域のデータに変換する逆ＤＣＴ処理を
施して上記伸長差分信号ＩＴｇを出力するＩＤＣＴ器１
２２とから構成されている。

【０１０５】また、上記予測処理部１２０ａは、上記加
算器１２３からの復元画像信号Ｌｒｇに対して上記標本
識別子Ｄｉに応じた補填処理を施す補填処理器１５０
と、該補填処理が施された補填済復元画像信号Ｐａｇか
ら予測画像信号Ｐｒｇを生成する予測信号生成部１４０
とを有している。

【０１０６】ここで、この予測信号生成部１４０は、上
記補填処理器１５０の出力Ｐａｇを格納するフレームメ
モリ１２４と、上記フレームメモリ１２４に格納されて
いる画像データＭｇ，対象ブロックの画像信号Ｂｇ，及
び上記標本識別子Ｄｉに基づいて、対象ブロックに対応
する動きベクトルＭＶを求めて出力する動き検出器（Ｍ
Ｅ）１２５と、該動き検出器１２５からの動きベクトル
ＭＶに基づいて上記フレームメモリ１２４のアドレスＡ
ｄｄ１を発生し、該アドレスＡｄｄ１に対応するメモリ
領域の画像信号を上記予測画像信号Ｐｒｇとして出力す
る動き補償器（ＭＣ）１２６とを有している。なお、上
記動き検出器１２５は、上記標本識別子Ｄｉに基づい
て、フレームに対応する動きベクトルとフィールドに対
応する動きベクトルとを生成する構成となっている。こ
の動きベクトルＭＶ及び標本識別子Ｄｉは、上記可変長
符号化器１０３にて、上記圧縮差分信号Ｑｇとともに可
変長符号化されるようになっている。

【０１０７】また、上記補填処理器１５０は、図９(b)
に示すように、上記加算器１２３の出力Ｌｒｇに対して
フレーム単位で補填処理を施すフレーム補填器１２８ａ
と、該加算器１２３の出力である復元画像信号Ｌｒｇに
対してフィールド単位で補填処理を施すフィールド補填
器１２８ｂと、これらの補填器の前段に設けられ、上記
標本識別子Ｄｉに基づいて、上記加算器１２３からの復
元画像信号Ｌｒｇを上記一方の補填器に供給する前段ス
イッチ１２７ａと、上記両補填器の後段に設けられ、上
記標本識別子Ｄｉに基づいて、上記両補填器の出力Ｐａ
１及びＰａ２の一方を選択する後段スイッチ１２７ｂ
と、該後段スイッチ１２７ｂの選択信号ＳＰａである補
填済復元信号を受け、この補填済復元信号により形成さ
れる画像空間に対して画素の並べ替え処理を行う画素並
べ替え器１２９とから構成されている。

【０１０８】ここで、上記フレーム補填器１２８ａは、
図１０(b) に示すように、復元画像信号Ｌｒｇに対する
補填処理を、上記復元画像信号に対応する画像空間（１
６×１６画素）２５０ｂにおける４つの小ブロック（８
×８画素）２５５〜２５８を１まとめとして行う構成と
なっている。また、上記フィールド補填器１２８ｂは、
図１０(c) に示すように、上記復元画像信号Ｌｒｇに対
する補填処理を、該復元画像信号に対応する画像空間２
５０ｃの上部領域２５０ｃ１における、第１フィールド
を構成するラインからなる小ブロック２５１及び２５２
を１まとめとし、かつ該画像空間２５０ｃの下部領域２
５０ｃ２における、第２フィールドを構成するラインか
らなる小ブロック２５３及び２５４を１まとめとして行
う構成となっている。さらに上記画素並べ替え器１２９
は、上記フィールド補填器１２８ｂの出力である補填済
復元画像信号に対応する画像空間２５０ｄの画素を並べ
替えて、該画像空間２ｄの上部領域２５０ｄ１を構成す
る８つの画素行と、下部領域２５０ｄ２を構成する８つ
の画素行とを交互に配列したマージ復元画像空間２５０
ｅに対応する画像信号Ｐａｇを出力する構成となってい
る。

【０１０９】次に上記画像符号化装置１００ａから出力
される画像符号化信号のデータ構造について説明する。
図１１は該画像符号化信号（ビットストリーム）のデー
タ構造を模式的に示している。

【０１１０】このビットストリーム２００では、一画面
の画像に対応するビット列Ｆは、符号列の開始位置を示
す画像同期信号２０３と、符号化の際の量子化処理にお
ける量子化幅（量子化ステップ）を示す量子化ステップ
値２０４と、１６×１６画素からなる各ブロック（マク
ロブロック）Ｍ（１），Ｍ（２），Ｍ（３），・・・，
Ｍ（ｉ）に対応するデータＤ（１），Ｄ（２），Ｄ
（３），・・・，Ｄ（ｉ）とからなる。また各マクロブ
ロックに対応するデータＤ（１），Ｄ（２），Ｄ（３）
はそれぞれ、フィールド内での画素値の相関がフレーム
内での画素値の相関に比べて小さいか否かを示す標本識
別子２０５，２０８，２１１と、可変長符号化された動
きベクトル２０６，２０９，２１２と、各マクロブロッ
クを構成する８×８画素からなるサブブロックに対応し
たＤＣＴ係数２０７，２１０，２１３とから構成されて
いる。なお、図１１中、２１４は上記画面Ｆの次の画面
に対応する画像同期信号である。

【０１１１】ここで、画像同期信号２０３，２１４は一
画面の画像に対応するビット列の先頭に配置され、該画
像同期信号２０３に続いて、量子化に用いられるステッ
プ値２０４，標本識別子２０５，動きベクトル２０６，
離散コサイン変換（ＤＣＴ）の係数２０７の圧縮データ
が続く。画像同期信号２０３は一枚の画像２００の圧縮
データの先頭であることを示し、一意的な３２ビットの
符号で表わされる。量子化ステップ２０４は、ＤＣＴ係
数を逆量子化するための５ビットのパラメータである。

【０１１２】次に動作について説明する。本画像符号化
装置１００ａにデジタル画像信号Ｓｇが入力されると、
該デジタル画像信号Ｓｇは、ブロック化器１０１にて、
１画面（フレーム）を区分する、１６×１６画素からな
る画像空間（ブロック）に対応するようブロック化され
て出力される。すると減算器１０２では、このブロック
化画像信号Ｂｇと予測処理部１２０ａからの予測画像信
号Ｐｒｇとの差分が差分信号（予測誤差信号）Ｄｇとし
て情報圧縮器１１０に供給される。このとき、上記イン
ターレース検出器１０４では、各ブロックの画像信号
（ブロック化画像信号）Ｂｇに基づいて、入力画像がイ
ンターレース画像であるか否かの識別が行われ、この識
別結果に応じた標本識別子Ｄｉが出力される。

【０１１３】上記差分信号Ｄｇが情報圧縮器１１０に供
給されると、画素並替え器１１３にて上記標本識別子Ｄ
ｉに応じて、該差分信号Ｄｇに対する並べ替え処理が行
われる。つまり上記デジタル画像信号がインターレース
画像に対応するものであれば、該差分信号Ｄｇは並べ替
え処理を施されてＤＣＴ器１１１に出力され、上記デジ
タル画像信号がプログレッシブ画像に対応するものであ
れば、該差分信号Ｄｇは並べ替え処理を施されずにその
ままＤＣＴ器１１１に出力される。そして、ＤＣＴ器１
１１では、上記画素並替え器１１３の出力ＰＤｇに対し
て離散コサイン変換処理を施す。具体的には、インター
レース画像に対応するブロックに対しては図１０(c) に
示すようにブロックをサブブロックに分割し、一方プロ
グレッシブ画像に対応するブロックに対しては図１０
(b) に示すようにブロックをサブブロックに分割し、個
々のサブブロックを単位として上記出力ＰＤｇにＤＣＴ
処理を施す。このＤＣＴ１１の出力Ｔｇはその後段の量
子化器１１２にて所定の量子化ステップでもって量子化
されて、上記差分信号に対応する量子化係数Ｑｇとして
可変長符号化器１０３及び情報伸長器１３０に出力され
る。

【０１１４】この情報伸長部１３０では、対象ブロック
の圧縮差分信号Ｑｇが伸長されて伸長差分信号ＩＴｇに
変換される。具体的には、本実施の形態では、逆量子化
器１２１にて上記圧縮差分信号Ｑｇが逆量子化され、さ
らに逆離散コサイン変換器（ＩＤＣＴ）１２２にて、量
子化器１２１の出力ＩＱｇに、周波数領域の信号を空間
領域の信号に変換する逆周波数変換処理が施される。

【０１１５】この伸長差分信号ＩＴｇは上記加算器１２
３にて上記予測画像信号Ｐｒｇと加算され、該加算器１
２３からは復元画像信号Ｌｒｇが上記補填処理器１５０
に出力される。

【０１１６】この補填処理器１５０では、上記復元画像
信号Ｌｒｇは、スイッチ１２７ａを介してフレーム補填
器１２８ａ及びフィールド補填器１２８ｂの一方に供給
される。このとき上記前段スイッチ１２７ａは、上記標
本識別子Ｄｉにより切替制御されており、標本識別子Ｄ
ｉの値が１であり、つまりフィールド内の相関が高いと
きには、上記復元画像信号Ｌｒｇはスイッチ１２７ａを
介してフィールド補填器１２８ｂに供給され、フィール
ド内補填処理が施される。具体的には、上記復元画像信
号に対する補填処理は、図１０(c) に示すように、復元
画像空間２５０ｃにおける第１フィールドを構成するラ
インからなる小ブロック２５１及び２５２を１まとめと
し、かつ該復元画像空間２５０ｃにおける第２フィール
ドを構成するラインからなる小ブロック２５３及び２５
４を１まとめとして行われる。

【０１１７】一方、上記標本識別子Ｄｉの値が０であ
り、つまりフレーム内の相関が高い時には、上記復元画
像信号Ｌｒｇはスイッチ１２７ａを介してフレーム補填
器１２８ａに供給され、フレーム内補填処理が施され
る。具体的には、図１０(b) に示すように、復元画像空
間２５０ｂに対する補填処理は、ブロック２５０ｂを構
成する小ブロック２５５〜２５８を１まとめとして行わ
れる。

【０１１８】このようにして補填処理が施された補填復
元画像信号Ｐａ１，Ｐａ２は、後段スイッチ１２７ｂを
経由して画素並べ替え器１２９に送られる。この画素並
べ替え器１２９では、上記標本識別子Ｄｉに基づいて、
フィールド単位で補填したマクロブロック２５０ｄにつ
いては第１フィールドを構成する画素と第２フィールド
を構成する画素とが、インターレース画像に対応した画
素配列となるよう並べ替えられる。すなわち、図１０
(d) に示す復元画像空間２５０ｄにおける画素が、その
上部領域２５０ｄ１を構成する画素行と、その下部領域
２５０ｄ２を構成する画素行とが交互に配置されるよう
並べ替えられて、上記差分信号Ｄｇにより形成される画
像空間と同一の画素配列を有する画像空間２５０ｅを形
成する画像信号が得られる。一方、フレーム単位で補填
処理が施されたブロックについては、上記並べ替え器１
２９では画素の並べ替え処理は行われない。

【０１１９】このようにして並べ替え処理が施された補
填復元画像信号Ｐａｇが予測信号生成部１４０のフレー
ムメモリ１２４に格納される。このとき上記予測信号生
成部１４０では、上記対象ブロックの画像信号Ｂｇが動
き検出器１２５に入力されると同時に、フレームメモリ
１２４からは補填復元画像信号Ｐａｇが、符号化処理が
すでに施された前フレームの画像信号として動き検出器
１２５に読み出される。

【０１２０】この動き検出器１２５では、ブロックマッ
チングなどの方法により、対象ブロックの画像信号Ｂｇ
に対し誤差の最も小さい画像信号を有する、前フレーム
における領域が予測領域として検出され、該予測領域の
位置を示す動き変位情報（動きベクトル）ＭＶが出力さ
れる。この動きベクトルＭＶは動き補償器１２６に送ら
れ、該動き補償器１２６では、該動きベクトルからフレ
ームメモリ１２４のアドレスＡｄｄ１を生成して、この
アドレスＡｄｄ１によって前フレームの予測領域に対応
する画像信号を予測画像信号Ｐｒｇとして読み出す。

【０１２１】さらに、このとき上記対象ブロックに対す
る動きベクトルＭＶ，標本識別子Ｄｉ，及び差分符号化
信号Ｑｇは可変長符号化器１０３に供給され、対応する
可変長符号に変換されて画像符号化信号Ｅｇとして出力
端子１０１ｂから出力される。

【０１２２】このように本実施の形態３では、予測処理
部１２０ａにて、デジタル画像信号の状態，つまりデジ
タル画像信号がインターレース画像とプログレッシブ画
像のいずれに対応するものであるかに応じて補填処理を
行うようにしたので、インターレース画像に対する差分
符号化処理を、高い符号化効率でもって行うことができ
る。続いて、本実施の形態３の変形例について説明す
る。

【０１２３】実施の形態３の変形例１．図１２は本発明
の実施の形態３の変形例１による画像符号化装置を説明
するための図である。この実施の形態３の変形例１の画
像符号化装置１００ｂは、その予測処理部１２０ｂのみ
上記実施の形態３の画像符号化装置１００ａと構成が異
なっており、この画像符号化装置１００ｂの予測処理部
１２０ｂは、上記実施の形態1 の予測処理部１２０ａの
補填処理器１５０に代えて、加算器１２３の出力である
復元画像信号Ｌｒｇに対して、その画像空間における画
素を並べ替えるマージ処理を施すマージ処理器１５１
と、該マージ処理器１５１の出力Ｍｒｇを補填する補填
処理器１５０ｂとを備えた構成となっている。

【０１２４】ここで、上記マージ処理器１５１は、図１
０(d) に示すように、画像空間２５０ｄの上部領域２５
０ｄ１を構成する画素行とその下部領域２５０ｄ２を構
成する画素行とを交互に配列して画素の並べ替え処理を
行う構成となっている。また、この補填処理器１５０ｂ
は、上記実施の形態３の補填処理器１５０における、前
段及び後段スイッチ１２７ａ，１２７ｂ、フレーム補填
器１２８ａ，及びフィールド補填器１２８ｂからなり、
上記フィールド補填器１２８ｂは、上記実施の形態２の
デジタル画像補填方法により補填処理を行う構成となっ
ている。そして、その他の構成は上記実施の形態３と全
く同一である。このような構成の実施の形態３の変形例
１においても上記実施の形態３と同様な効果がある。

【０１２５】実施の形態３の変形例２．図１３は本発明
の実施の形態３の変形例２による画像符号化装置を説明
するための図であり、図１３(a) は該画像符号化装置の
全体構成を、図１３(b) は該画像符号化装置における、
情報圧縮器１１０ｃを構成する補填処理器１５０ｃの構
成を示している。

【０１２６】この実施の形態３の変形例２の画像符号化
装置１００ｃは、その情報圧縮器１１０ｃのみ上記実施
の形態３の画像符号化装置１００ａと構成が異なってお
り、この画像符号化装置１００ｃの情報圧縮器１１０ｃ
は、上記実施の形態３の情報圧縮器１１０における画素
並替え器１１３とその後段のＤＣＴ器１１１との間に、
該画素並替え器１１３の出力ＰＤｇに対して補填処理を
施す補填処理器１５０ｃを備えたものである。

【０１２７】ここで上記補填処理器１５０ｃは、上記並
べ替え器１１３の出力ＰＤｇに対してフレーム単位で補
填処理を施すフレーム補填器１５８ａと、該並べ替え器
１１３の出力ＰＤｇに対してフィールド単位で補填処理
を施すフィールド補填器１５８ｂと、これらの補填器の
前段に設けられ、上記標本識別子Ｄｉに基づいて、上記
画素並替え器１１３の出力ＰＤｇを上記一方の補填器に
供給する前段スイッチ１５７ａと、上記両補填器の後段
に設けられ、上記標本識別子Ｄｉに基づいて、上記両補
填器の出力ＰＤｇ１及びＰＤｇ２の一方を選択する後段
スイッチ１５７ｂとを備えている。そして上記フレーム
補填器１５８ａ及びフィールド補填器１５８ｂは、上記
実施の形態３におけるフレーム補填器１２８ａ及びフィ
ールド補填器１２８ｂと全く同一の補填処理を行う構成
となっている。また、その他の構成は上記実施の形態３
と全く同様としている。

【０１２８】このような構成の実施の形態３の変形例２
では、補填処理を施した差分信号がＤＣＴ器１１１に供
給されることとなるので、上記実施の形態３の効果に加
えて、ＤＣＴ処理の効率を向上することができる効果が
ある。

【０１２９】実施の形態４．図１４は本発明の実施の形
態４による画像復号化装置を説明するためのブロック図
である。本実施の形態４の画像復号化装置９００ａは、
画像信号を圧縮符号化して得られる画像符号化信号Ｅｇ
として、例えば図１１に示すデータ構造のビットストリ
ーム２００を受け、該画像符号化信号Ｅｇに復号化処理
を施す構成となっている。

【０１３０】すなわち、この画像復号化装置９００ａ
は、復号化処理の対象となる対象領域（対象ブロック）
に対応する差分符号化信号Ｅｇを受け、該差分符号化信
号Ｅｇを解析して可変長復号化するデータ解析器９０２
と、該データ解析器９０２の出力ＡＥｇに対して伸長処
理を施して伸長差分信号ＤＥｇを出力する情報伸長器９
０３と、該情報伸長器９０３の出力ＤＥｇと、対象ブロ
ックに対応する予測画像信号Ｐｇ２とを加算する加算器
９０６と、該加算器９０６の出力ＰＥｇである各ブロッ
クに対応する画像再生信号を統合して走査線構造の画像
出力信号ＲＥｇを出力する逆ブロック化器９０７と、上
記予測画像信号Ｐｇ２を生成する予測処理部９１０ａと
を有している。

【０１３１】ここで、上記情報伸長器９０３は、上記デ
ータ解析器９０２の出力ＡＥｇに逆量子化処理を施す逆
量子化器９０４と、該逆量子化器９０４の出力ＤＥｇ１
に対して逆周波数変換処理の一種であるＩＤＣＴ（逆離
散コサイン変換）処理を施して伸長差分信号ＤＥｇを出
力するＩＤＣＴ変換器９０５とから構成されている。

【０１３２】また、上記予測処理部９１０ａは、上記加
算器９０６の出力ＰＥｇに対して補填処理を施す補填処
理器９２０ａと、該補填処理器９２０ａの出力Ｐａを画
像再生信号として格納するフレームメモリ９０９と、該
フレームメモリ９０９の出力Ｒｇ２と、上記データ解析
器９０２にて復号化された対象ブロックに対応する動き
ベクトルＭＶとに基づいて該フレームメモリ９０９のア
ドレスＡｄｄ２を発生し、このアドレスＡｄｄ２によ
り、上記フレームメモリ９０９に格納されている記録デ
ータＲｇ２から対象ブロックに対応する予測画像信号Ｐ
ｇ２を読み出す動き補償器９１１とを有している。

【０１３３】ここで、上記補填処理器９２０ａは、上記
加算器９０６の出力ＰＥｇに対してフレーム単位で補填
処理を施すフレーム補填器９２１ａと、該加算出力ＰＥ
ｇに対してフィールド単位で補填処理を施すフィールド
補填器９２１ｂと、これらの補填器の前段に設けられ、
データ解析器９０２からの標本識別子Ｄｉに基づいて、
上記加算器の出力ＰＥｇを上記一方の補填器に供給する
前段スイッチ９２２と、上記両補填器の後段に設けら
れ、データ解析器からの標本識別子に基づいて、上記両
補填器の出力Ｐａ１及びＰａ２の一方を選択する後段ス
イッチ９２３と、該後段スイッチ９２３の選択信号Ｐａ
ｓである補填画像信号に対して、画素の並べ替え処理を
施す画素並べ替え器９２４とから構成されている。な
お、図中９０１ａ及び９０１ｂはそれぞれ、本画像復号
化装置９００の入力端子及び出力端子である。

【０１３４】次に動作について説明する。圧縮符号化さ
れた画像符号化信号Ｅｇ（例えば図１１に示すビットス
トリーム２００）が入力端子９０１ａに入力されると、
データ解析器９０２にてこれらの画像符号化信号がその
解析により可変長復号化される。この可変長復号化され
たデータは、量子化ステップやＤＣＴ係数を圧縮した差
分圧縮信号ＡＥｇとして情報伸長器９０３に出力され
る。また、上記データ解析器９０２からは動きベクトル
ＭＶ及び標本識別子データＤｉが予測処理部９１０ａに
出力される。

【０１３５】このとき上記情報伸長部９０３では、圧縮
差分信号が伸長処理により対象ブロックに対応する伸長
差分信号として復元される。具体的には、本実施の形態
では、逆量子化器９０４にて上記圧縮差分信号が逆量子
化され、さらに逆離散コサイン変換器ＩＤＣＴ９０５に
て、量子化器９０４の出力ＤＥｇ１に、周波数領域の信
号を空間領域の信号に変換する逆周波数変換処理が施さ
れる。

【０１３６】また、動き補償器９１１では、データ解析
器９０２からの動きベクトルＭＶに基づいて、フレーム
メモリ９０９をアクセスするためのアドレスＡｄｄ２が
生成され、フレームメモリ９０９に格納されている画像
再生信号から対象ブロックに対応する予測画像信号Ｐｇ
２が抽出される。上記加算器９０６では、情報伸長器９
０３の出力ＤＥｇがこの予測画像信号Ｐｇ２と加算され
て、対象ブロックに対応する画像再生信号ＰＥｇが出力
される。

【０１３７】この画像再生信号は逆ブロック化器９０７
に供給されるとともに予測処理部９１０ａに供給され
る。上記逆ブロック化器９０７では、上記再生ブロック
信号は統合されて走査線構造の画像再生信号に変換され
る。

【０１３８】また、上記予測処理部９１０ａでは、上記
画像再生信号ＰＥｇは、スイッチ９２２を介してフレー
ム補填器９２１ａ及びフィールド補填器９２１ｂの一方
に供給される。このとき上記前段スイッチ９２２は、デ
ータ解析器９０２からの標本識別子Ｄｉにより切替制御
されており、上述したように、標本識別子の値が１であ
りフィールド内の画素値相関が高いときには、上記画像
再生信号ＰＥｇはスイッチ９２２を介してフィールド補
填器９２１ｂに供給され、フィールド内補填処理が施さ
れる。

【０１３９】具体的には、上記画像再生信号ＰＥｇに対
する補填処理は、図１０(c) に示すように、例えば、該
画像再生信号ＰＥｇに対応する画像空間２５０ｃにおけ
る、第１フィールドを構成するラインからなる小ブロッ
ク２５１及び２５２を１まとめとし、かつ該画像空間２
５０ｃにおける第２フィールドを構成するラインからな
る小ブロック２５３及び２５４を１まとめとして行われ
る。

【０１４０】一方、上記識別子の値が０でありフレーム
内の画素値相関が高い時には、上記画像再生信号ＰＥｇ
はスイッチ９２２を介してフレーム補填器９２１ａに供
給され、フレーム内補填処理が施される。具体的には、
図１０(b) に示すように、画像再生信号ＰＥｇに対する
補填処理は、例えば、該画像再生信号ＰＥｇに対応する
画像空間２５０ｂにおける４つの小ブロック２５５〜２
５８を１まとめとして行われる。

【０１４１】このようにして補填処理が施された画像再
生信号Ｐａｓは、後段スイッチ９２３を経由して画素並
替え器９２４に送られる。この画素並替え器９２４で
は、フィールド単位で補填したブロックについては第１
フィールドを構成する画素と第２フィールドを構成する
画素とが、インターレース画像に対応した画素配列とな
るよう並べ替えられる。例えば、この画素並替え器９２
４では、上記画像再生信号Ｐａｓは、これに対応する画
像空間２５０ｄ（図１０(d) 参照）の上部領域２５０ｄ
１を構成するラインと、その下部領域２５０ｄ２を構成
するラインとをそれぞれ交互に配列してなる画像空間２
５０ｅに対応した画像再生信号に変換される。一方、フ
レーム単位で補填処理が施されたブロックについては、
上記画素並替え器９２４では画素の並替え処理は行われ
ない。このようにして並替え処理が施された画像再生信
号Ｐａがフレームメモリ９０９に格納される。

【０１４２】なお、上記実施の形態４では、インターレ
ース画像に対応する画像再生信号ＰＥｇが、図１０(d)
に示す画像空間２５０ｄのように、その上部領域２５０
ｄ１が奇数ラインからなり、その下部領域２５０ｄ２が
偶数ラインからなる画像空間を形成するものである場合
について説明したが、画像再生信号ＰＥｇがフィールド
１とフィールド２とをマージした形で出力される，つま
りインターレース画像に対応する画像再生信号ＰＥｇが
図１０(a) に示す画像空間２５０のように奇数ラインと
偶数ラインとが交互に配置されている画像空間を形成す
るものである場合には、フィールド補填器９２１ｂの実
装方法を変更する必要がある。つまり該フィールド補填
器９２１ｂを、補填処理を施す前に画像再生信号ＰＥｇ
に画素の並替え処理を施して、その画像空間を、図１０
(d) に示す画像空間２５０ｄのようにその上部領域がフ
ィールド１からなり、その下部領域がフィールド２から
なるものに変換する構成とする必要がある。

【０１４３】また、上記のように、画像再生信号ＰＥｇ
がフィールド１とフィールド２とをマージした形で出力
される場合には、フィールド補填器９２１ｂにて、１フ
レームを構成する奇数ラインと偶数ラインがそれぞれ画
像空間の上部領域と下部領域にまとめられるよう画素の
並べ替えを行った後、各フィールド毎に補填処理を施す
のではなく、実施の形態２の補填方法のように、このよ
うな画素の並替え処理を行わずに、１フレームに相当す
る画像信号に対して、被補填画素（非有意画素）のサン
プル値を、該非有意画素から１サンプル間隔に離れた有
意画素のサンプル値で補填するようにしてもよい。

【０１４４】さらに、上記実施の形態４では、フィール
ド補填器の出力に対して画素の並べ替え処理を施すよう
にしているが、フィールド補填器の出力をそのままフレ
ームメモリに格納するといった、画素を並べ替える必要
のない場合には、画素並べ替え器９２４を省略してもよ
い。

【０１４５】また、上記実施の形態４では、ＤＣＴ処理
により圧縮した画像符号化信号を入力としているが、入
力される符号化信号は、その他の波形符号化方法、例え
ばウェーブレットやフラクタルなどで符号化した画像符
号化信号でもよく、この場合も上記実施の形態４と同じ
ように、フィールド内での画素値相関の大きさに応じ
て、フィールド補填処理とフレーム補填処理とを切り替
える処理を行うことができる。

【０１４６】さらに、上記ビットストリーム２００で
は、各ブロック毎に標本識別子を設けているが、１つの
物体の画像信号について、すべてのブロックが同じ標本
識別子を共有するようにすることもできる。この場合、
上記画像信号については、波形変換効率の観点から、あ
らかじめフィールド１とフィールド２とに分けてからブ
ロック化し符号化する必要がある。

【０１４７】また、上記のように標本識別子をすべての
ブロックで共用する場合、標本識別子を１つの画像に一
つだけ設け、これを画像符号化信号の先頭に配置しても
よい。この場合、同じ標本化識別子がすべてのブロック
に適用されることは言うまでもない。

【０１４８】実施の形態４の変形例１．図１５は本発明
の実施の形態４の変形例１による画像復号化装置を説明
するためのブロック図である。この実施の形態の画像復
号化装置９００ｂは、基本的な構成及び動作は図１４に
示す実施の形態４の画像復号化装置９００ａと同じであ
る。つまり、この画像復号化装置９００ｂは、上記実施
の形態４の画像復号化装置９００ａにおける予測処理部
９１０ａに代えて、これとは構成の異なる予測処理部９
１０ｂを備えたものである。

【０１４９】この予測処理部９１０ｂでは、補填処理器
９２０ｂを動き補償器９１１と加算器９０６との間に配
置し、動き補償により得られた予測画像信号Ｐｇ２に対
して補填処理を施して加算器９０６に供給する構成とな
っている。ここで、上記補填処理器９２０ｂは、フレー
ム補填器９２１ａ及びフィールド補填器９２１ｂと、動
き補償器９１１からの予測画像信号Ｐｇ２を標本識別子
Ｄｉに基づいて上記両補填器の一方に供給する前段スイ
ッチ９２２と、上記両補填器の出力の一方を該標本識別
子Ｄｉに基づいて選択して加算器９０６に供給する後段
スイッチ９２３とを有している。

【０１５０】次に作用効果について説明する。インタレ
ース画像についてフィールド単位とフレーム単位で動き
補償することがある。フレーム単位での動き補償の場合
は１つのフレームから予測画像信号を取得するのに対
し、フィールド単位で動き補償を行う場合は第１フィー
ルドと第２フィールドから別々の予測画像信号を取得す
る。

【０１５１】本実施の形態４の変形例１の画像復号化装
置９００ｂは、このようなフィールド単位での動き補償
を行う場合に有効なものであり、この画像復号化装置９
００ｂでは、データ解析器９０２からの標本識別子Ｄｉ
により前段スイッチ９２２が切替制御されて、動き補償
器９１１の出力がフレーム補填器９２１ａ及びフィール
ド補填器９２１ｂの一方に入力される。そして上記予測
画像信号は、それぞれの補填器にて補填処理が施されて
加算器９０６に供給される。

【０１５２】また、この実施の形態４の変形例１では、
補填処理がフレームメモリ９０９から抽出された予測画
像信号に対して行われるため、フレームメモリ９０９に
格納される全ての画像再生信号に対して補填処理を行う
場合に比べて、予測処理部での補填処理を信号処理量の
少ないものとできる。

【０１５３】実施の形態４の変形例２．図１６は、本実
施の形態４の変形例２による画像復号化装置を説明する
ためのブロック図である。この実施の形態４の変形例２
の画像復号化装置９００ｃは、実施の形態４の画像復号
化装置９００ａの構成と、その変形例１の画像復号化装
置９００ｂの構成とを組み合わせたものである。言い換
えると、この画像復号化装置９００ｃは、上記実施の形
態４の画像復号化装置９００ａにおける補填処理器９２
０ａを有する予測処理部９１０ａの構成に加えて、動き
補償器９１１の後段側に補助補填処理器（第２の補填処
理器）９２０ｃ２を備え、この補助補填処理器９２０ｃ
の出力を上記加算器９０６に出力するようにしたもので
ある。なお、ここでは上記実施の形態４における補填処
理部９２０ａは上記第１の補填処理部９２０ｃ１として
おり、また、上記第２の補填処理器９２０ｃ２は、上記
実施の形態４の変形例１における補填処理器９２０ｂと
全く同一の構成としている。

【０１５４】このような構成の実施の形態４の変形例２
では、第１の補填処理部９２０ｃ１と第２の補填処理部
９２０ｃ２とで補填処理を分担することができ、さらに
効率よく予測処理部での補填処理を行うことができる。

【０１５５】さらに、上記各実施の形態で示したデジタ
ル画像補填方法や、画像処理装置の構成を実現するため
のプログラムを、フロッピーディスク等のデータ記憶媒
体に記録するようにすることにより、上記各実施の形態
で示した処理を、独立したコンピュータシステムにおい
て簡単に実施することが可能となる。

【０１５６】図１７は、上記各実施の形態のデジタル補
填方法による画像処理、あるいは上記画像処理装置によ
る画像符号化処理または画像復号化処理を、これらの画
像処理に対応したプログラムを格納したフロッピーディ
スクを用いて、コンピュータシステムにより実施する場
合を説明するための図である。

【０１５７】図１７(b) は、フロッピーディスクＦＤの
正面からみた外観、断面構造、及び記録媒体であるフロ
ッピーディスク本体を示し、図１７図(a) は、フロッピ
ーディスク本体Ｄの物理フォーマットの例を示してい
る。フロッピーディスク本体ＤはケースＦ内に内蔵さ
れ、該ディスク本体Ｄの表面には、同心円状に外周から
内周に向かって複数のトラックＴｒが形成され、各トラ
ックは角度方向に１６のセクタＳｅに分割されている。
従って、上記プログラムを格納したフロッピーディスク
本体Ｄでは、上記フロッピーディスク本体Ｄ上に割り当
てられた領域に、上記プログラムとしてのデータが記録
されている。

【０１５８】また、図１７(c) は、フロッピーディスク
ＦＤに対する上記プログラムの記録再生を行うための構
成を示す。上記プログラムをフロッピーディスクＦＤに
記録する場合は、コンピュータシステムＣｓから上記プ
ログラムとしてのデータをフロッピーディスクドライブ
ＦDDを介してフロッピディスクＦＤに書き込む。また、
フロッピーディスクＦＤ内のプログラムにより上記復号
化方法をコンピュータシステムＣｓ中に構築する場合
は、フロッピーディスクドライブＦDDによりプログラム
をフロッピーディスクＦＤから読み出し、コンピュータ
システムＣｓに転送する。

【０１５９】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いたコンピュータシステムに
よる画像処理の説明を行ったが、この画像処理は、光デ
ィスクを用いても同様に行うことができる。また、記録
媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、
プログラムを記録できるものであれば同様に上記画像処
理を実施することができる。

【０１６０】

【発明の効果】以上のように本発明（請求項１）に係る
デジタル画像補填方法によれば、原画像空間を構成する
複数の画素が所定の規則に従って抽出されて複数の小画
像空間が形成されることとなる。このため、例えば隣接
する画素あるいは走査線の間での画素値相関が低い原画
像空間を、隣接する画素あるいは走査線の間での画素値
相関の高い複数の小画像空間に分割することができる。
従って、飛び越し走査による画像や縞模様の任意形状画
像に対する補填処理を、隣接する画素あるいは走査線の
間での画素値相関の低い原画像空間ではなく、該画素値
相関の高い小画像空間を単位として行うことができる。
この場合、補填処理が施された小画像空間は、上記画素
値相関が高いものとなっており、飛び越し走査による画
像や縞模様の任意形状画像に対する補填処理により、原
画像空間に対応する画像信号に高周波成分が導入される
のを回避することができる。

【０１６１】この結果、飛び越し走査による画像等に対
する差分符号化処理あるいは差分復号化処理を、補填処
理に起因する符号化効率の低下を抑えつつ行うことがで
きる効果がある。

【０１６２】この発明（請求項２）によれば、請求項２
記載のデジタル画像補填方法において、原画像空間にお
ける画素を、該原画像空間における所定方向に沿って所
定数の画素置きに抽出して小画像空間を形成するので、
特に、縦縞模様や横縞模様を有する任意形状の画像を含
む原画像空間を、縞模様の縞部分の幅や縞部分の配置間
隔に関係なく、隣接する画素行あるいは画素列間での画
素値の相関の高い小画像空間に分割することができる。

【０１６３】本発明（請求項３）によれば、請求項２記
載のデジタル画像補填方法において、小画像空間におけ
る有意でない画素の画素値が、同一の小画像空間におけ
る有意な画素の画素値から得られる補填画素値により置
き替えられるので、補填処理によって、小画像空間の有
意な画素の画素値から掛け離れた画素値が生ずるのを抑
制することができる。

【０１６４】本発明（請求項４）によれば、請求項２記
載のデジタル画像補填方法において、原画像空間を画素
値の相関の高い複数の小画像空間に分割して、これらの
小画像空間に対する画素値の補填処理を行った後、補填
処理を施した小画像空間における画素を、原画像空間の
画素配列と同じ画素配列となるよう並べ替えるので、補
填処理が施された原画像空間に対応する画像信号を、補
填処理が施されていない原画像空間に対応する画像信号
と全く同様に処理することができる。

【０１６５】本発明（請求項５）によれば、請求項４記
載のデジタル画像補填方法において、小画像空間におけ
る有意でない画素の画素値が、同一の小画像空間におけ
る有意な画素の画素値から得られる補填画素値により置
き替えられるので、補填処理によって、小画像空間の有
意な画素の画素値から掛け離れた画素値が生ずるのを抑
制することができる。

【０１６６】本発明（請求項６）によれば、請求項１記
載のデジタル画像補填方法において、原画像空間におけ
る画素を、該原画像空間における垂直方向に沿って１画
素置きに抽出して、原画像空間における奇数番目の走査
線からなる小画像空間と原画像空間における偶数番目の
走査線からなる小画像空間とを形成するので、飛び越し
走査による画像に対する補填処理を、隣接する走査線の
間での画素値相関の低い原画像空間ではなく、該画素値
相関の高い各フィールドに対応する小画像空間を単位と
して行うことができる。この結果、飛び越し走査による
画像に対する補填処理によってこの画像に対応する画像
信号に高周波成分が導入されるのを回避することができ
る。

【０１６７】本発明（請求項７）に係るデジタル画像補
填方法によれば、飛び越し走査による画像に対する補填
処理を、隣接する走査線の間での画素値相関の低い原画
像空間ではなく、該画素値相関の高い各フィールドに対
応する第１，第２小画像空間を単位として行うことがで
きる。この結果、飛び越し走査による画像に対する補填
処理により該画像に対応する画像信号に高周波成分が導
入されるのを回避することができる。

【０１６８】また、各小画像空間における有意でない画
素の画素値が、同一の小画像空間における有意な画素の
画素値から得られる補填画素値により置き替えられるの
で、補填処理によって小画像空間の有意な画素の画素値
から掛け離れた画素値が生ずるのを抑制することができ
る。

【０１６９】本発明（請求項８）に係るデジタル画像補
填方法によれば、原画像空間における有意でない画素の
画素値と置換される補填画素値が、上記有意でない画素
に隣接する画素以外の有意な画素の画素値から決定され
るので、少なくとも、有意でない画素の画素値が、これ
に隣接する画素の画素値と置換されることはなく、この
ため、例えば隣接する画素あるいは走査線の間での画素
値相関が低い原画像空間に対する画素値の補填処理を、
原画像空間に対応する画像信号に高周波成分が導入され
るのを抑えつつ行うことができる。

【０１７０】本発明（請求項９）によれば、請求項８記
載のデジタル画像補填方法において、原画像空間におけ
る奇数番目の走査線上の有意でない画素の画素値が、他
の奇数番目の走査線上の有意な画素の画素値から得られ
る補填画素値と置き換えられ、原画像空間における偶数
番目の走査線上の有意でない画素の画素値が、他の偶数
番目の走査線上の有意な画素の画素値から得られる補填
画素値と置き換えられることとなる。このため、飛び越
し走査による画像に対する補填処理により該画像に対応
する画像信号に高周波成分が導入されるのを回避するこ
とができる。

【０１７１】本発明（請求項１０）に係る画像処理装置
によれば、デジタル画像信号に対応する予測画像信号を
生成する予測処理部を、差分符号化処理の際に差分符号
化信号の局所的な復号化により得られる画像復号化信号
に対して画素値の補填処理を行う補填手段を有し、該補
填処理が施された画像復号化信号から予測画像信号を生
成する構成とし、該補填手段を、該画像復号化信号に対
する画素値の並べ替え処理を施した後に、該画像復号化
信号における有意でない画素の画素値を所定の補填画素
値により置き換える構成としたので、飛び越し走査によ
る画像や縞模様の任意形状画像に対応するデジタル画像
信号の差分符号化処理を行う際に、局所的に復号化され
た画像復号化信号の補填処理により、差分符号化処理に
用いる予測画像信号に高周波成分が導入されるのを回避
することができる。この結果、飛び越し走査による画像
等に対する差分符号化処理を、上記補填処理に起因する
符号化効率の低下を抑えつつ行うことができる効果があ
る。

【０１７２】本発明（請求項１１）によれば、請求項１
０記載の画像処理装置において、情報圧縮器の入力であ
る差分画像信号に対する画素値の並べ替え処理を施した
後に、該差分画像信号における有意でない画素の画素値
を所定の補填画素値と置き換える補填処理が行われるた
め、情報圧縮器に入力される画像信号に高周波成分が導
入されるのを回避することができる。このため飛び越し
走査による画像や縞模様の任意形状画像に対するデジタ
ル画像信号の差分符号化処理の際に、ＤＣＴ処理などの
波形変換処理を効率よく行うことができる。

【０１７３】本発明（請求項１２）に係る画像処理装置
によれば、デジタル画像信号に対応する予測画像信号を
生成する予測処理部を、デジタル画像信号に対応する画
像再生信号あるいは予測画像信号を補填対象信号として
画素値の補填処理を行う補填手段を有し、該補填処理で
は、該補填対象信号に対する画素値の並べ替え処理を施
した後に、該補填対象信号における有意でない画素の画
素値を所定の補填画素値により置き換える構成としたの
で、飛び越し走査による画像や縞模様の任意形状画像に
対する差分符号化信号を復号化する際に、復号化された
画像再生信号あるいは予測画像信号の補填処理により、
差分復号化処理に用いる予測画像信号に高周波成分が導
入されるのを回避することができる。この結果、画素値
の補填処理に起因する符号化効率の劣化を抑えた差分符
号化処理に対応する差分復号化処理を実現することがで
きる効果がある。

【０１７４】本発明（請求項１３）によれば、請求項１
２記載の画像処理装置において、画像再生信号には、標
本識別子に基づいて、フレーム単位あるいはフィールド
単位でもって補填処理が施されるため、特に飛び越し走
査による画像に対するデジタル画像信号の差分復号化処
理を行う際、再生された画像再生信号に対する補填処理
により、該画像再生信号から得られる予測画像信号に高
周波成分が導入されるのを回避することができる。

【０１７５】本発明（請求項１４）によれば、請求項１
２記載の画像処理装置において、予測画像信号には、標
本識別子に基づいてフレーム単位あるいはフィールド単
位でもって補填処理が施されるため、特に飛び越し走査
による画像に対するデジタル画像信号の差分復号化処理
を行う際、予測画像信号の補填処理により該予測画像信
号に高周波成分が導入されるのを回避することができる
効果に加えて、補填処理がフレームメモリから抽出され
た予測画像信号に対してのみ行われるため、予測処理部
での補填処理を、信号処理量の少ないものとできる。

【０１７６】本発明（請求項１５）に係る画像処理装置
によれば、デジタル画像情報を含む差分符号化信号から
得られる画像再生信号に対する補填処理の際、画像再生
信号により形成される画像空間における有意でない画素
の画素値と置換される補填画素値が、上記有意でない画
素に隣接する画素以外の有意な画素の画素値から決定さ
れるので、少なくとも、有意でない画素の画素値が、こ
れに隣接する画素の画素値によって置換されることはな
く、このため、デジタル画像信号の差分復号化処理を行
う際、例えば隣接する画素あるいは走査線の間での画素
値相関が低い原画像空間に対する画素値の補填処理を、
原画像空間に対応する画像信号に高周波成分が導入され
るのを抑えつつ行うことができる。

【０１７７】本発明（請求項１６）に係るデータ記録媒
体によれば、このデータ記録媒体に格納されているプロ
グラムをコンピュータにロードすることにより、飛び越
し走査による画像等に対する差分符号化処理あるいは差
分復号化処理における、符号化効率の劣化を招くことの
ない補填処理をコンピュータにより実現できる。

【０１７８】本発明（請求項１７）に係るデータ記録媒
体によれば、このデータ記録媒体に格納されているプロ
グラムをコンピュータにロードすることにより、飛び越
し走査による画像に対する差分符号化処理あるいは差分
復号化処理における、符号化効率の劣化を招くことのな
い補填処理をコンピュータにより実現できる。

【０１７９】本発明（請求項１８）に係るデータ記録媒
体によれば、このデータ記録媒体に格納されているプロ
グラムをコンピュータにロードすることにより、飛び越
し走査による画像等に対する差分符号化処理あるいは差
分復号化処理における、符号化効率の劣化を招くことの
ない補填処理をコンピュータにより実現できる。

【０１８０】この発明（請求項１９）に係るデータ記録
媒体によれば、このデータ記録媒体に格納されているプ
ログラムをコンピュータにロードすることにより、飛び
越し走査による画像等に対する差分符号化処理として、
上記補填処理に起因する符号化効率の低下を招くことの
ない処理をソフトウエアにより実現することができる。

【０１８１】本発明（請求項２０）に係るデータ記録媒
体によれば、このデータ記録媒体に格納されているプロ
グラムをコンピュータにロードすることにより、飛び越
し走査による画像等に対する差分復号化処理として、補
填処理に起因する符号化効率の低下を招くことのない差
分符号化処理に対応した差分復号化処理をソフトウエア
により実現できる。

【０１８２】本発明（請求項２１）に係るデータ記録媒
体は、このデータ記録媒体に格納されているプログラム
をコンピュータにロードすることにより、飛び越し走査
による画像等に対する差分復号化処理として、補填処理
に起因する符号化効率の低下を招くことのない差分符号
化処理に対応した差分復号化処理をソフトウエアにより
実現できる。

【０１８３】このように本発明に係るデジタル画像補填
方法，画像処理装置，及びデータ記録媒体は、画像信号
の圧縮処理における符号化効率の向上を図ることがで
き、画像信号の伝送や記憶を行うシステムにおける画像
符号化処理や画像復号化処理を実現するものとして極め
て有用であり、特にＭＰＥＧ４等の規格に準拠した動画
像の圧縮，伸長処理に適している。

【図面の簡単な説明】

【図１】本発明の実施の形態１によるデジタル画像補填
方法における画像処理の流れを示す図である。

【図２】上記実施の形態１のデジタル画像補填方法にお
ける再標本化処理を説明するための模式図である。

【図３】図３(a) 及び図３(b) は、上記実施の形態１の
デジタル画像補填方法における画素値の補填処理を説明
するための模式図、図３(c) は上記実施の形態１の変形
例１によるデジタル画像補填方法における画素のマージ
処理を説明するための模式図である。

【図４】本発明の実施の形態１の変形例１によるデジタ
ル画像補填方法における画像処理の流れを示す図であ
る。

【図５】本発明の実施の形態１の変形例２によるデジタ
ル画像補填方法における画像処理の流れを示す図であ
る。

【図６】本発明の実施の形態１の変形例３によるデジタ
ル画像補填方法における画像処理の流れを示す図であ
る。

【図７】上記実施の形態１の変形例３によるデジタル画
像補填方法における画素値の補填処理を説明するための
模式図である。

【図８】図８(a) 及び図８(b) は、本発明の実施の形態
２によるデジタル画像補填方法における画素値の補填処
理を説明するための模式図である。

【図９】本発明の実施の形態３による画像符号化装置を
説明するためのブロック図であり、図９(a) は該画像符
号化装置の全体構成を、図９(b) は該画像符号化装置を
構成する補填処理部の構成を示している。

【図１０】図１０(a) 〜図１０(d) は、上記実施の形態
３の画像符号化装置における補填処理を説明するための
図であり、図１０(a) は画素の並替え処理、図１０(b)
はフレーム補填処理、図１０(c) はフィールド補填処
理、図１０(d) は画素の復元マージ処理を示す。

【図１１】上記実施の形態３の画像符号化装置から出力
される画像符号化信号のデータ構造を示す模式図であ
る。

【図１２】本発明の実施の形態３の変形例１による画像
符号化装置を説明するためのブロック図である。

【図１３】本発明の実施の形態３の変形例２による画像
符号化装置を説明するためのブロック図であり、図１３
(a) は該画像符号化装置の全体構成を、図１３(b) は該
画像符号化装置を構成する補填処理部の構成を示してい
る。

【図１４】本発明の実施の形態４による画像復号化装置
を説明するためのブロック図である。

【図１５】本発明の実施の形態４の変形例１による画像
復号化装置を説明するためのブロック図である。

【図１６】本発明の実施の形態４の変形例２による画像
復号化装置を説明するためのブロック図である。

【図１７】図１７(a) ，図１７(b) ，図１７(c) は、上
記各実施の形態のデジタル画像補填方法あるいは画像処
理装置による画像処理をコンピュータシステムにより実
現するためのプログラムを格納したデータ記録媒体につ
いて説明するための図である。

【図１８】従来のデジタル画像補填方法による画素値の
置換処理を説明するための模式図である。

【図１９】従来のデジタル画像補填方法による画素値の
平均化処理を説明するための模式図である。

【図２０】従来のデジタル画像補填方法による画素値の
再標本化処理を説明するための模式図である。

【符号の説明】

１００ａ〜１００ｃ 画像符号化装置 １０１ａ 入力端子 １０１ｂ 出力端子 １０１ ブロック化器 １０２ 減算器 １０３ 可変長符号化器 １０４ インターレース検出器 １１０，１１０ｂ，１１０ｃ 情報圧縮器 １１１ ＤＣＴ器 １１２ 量子化器 １１３，１２９ 画素並替え器 １２０ａ〜１２０ｃ，９１０ａ〜９１０ｃ予測処理部 １２１ 逆量子化器 １２２ 逆ＤＣＴ器 １２３ 加算器 １２４ フレームメモリ １２５ 動き検出器 １２６ 動き補償器 １２７ａ 前段スイッチ １２７ｂ 後段スイッチ １２８ａ フレーム補填器 １２８ｂ フィールド補填器 １３０ 情報伸長部 １４０ 予測信号生成部 １５０，１５０ｂ，１５０ｃ，９２０ｃ１，９２０ｃ２
補填処理器 １５１ マージ処理器 ２００ ビットストリーム（画像符号化信号Ｅｇ） ２５０ａ〜２５０ｅ ブロック ２５０ａ１ 上部領域 ２５０ａ２ 下部領域 ２５１〜２５８ 小ブロック ３０１，８０1 原画像空間 ３０２ 非有意画素 ３０３，３０４ 有意画素 ４０１〜４０４，７０１〜７０４ 小画像空間 ４０７ マージ画像空間 ８０１ａ，８０２ 画像空間 ８１１〜８１８ 画素行 ９００ａ〜９００ｃ 画像復号化装置 Ｃｓ コンピュータシステム Ｄ フロッピディスク本体 Ｄｉ 標本識別子 Ｄｇ 差分画像信号 Ｑｇ 圧縮差分信号 Ｅｇ 差分符号化信号 Ｆ フロッピーディスクケース ＦＤ フロッピーディスク ＦDD フロッピーディスクドライブ ＭＶ 動きベクトル Ｌｒｇ 復元画像信号 Ｓｇ デジタル画像信号 Ｐａｇ 補填画像信号 Ｐｒｇ 予測画像信号

Claims (21)

【特許請求の範囲】
1. 【請求項１】 任意形状を有する画像を含む有意な画素
   と有意でない画素からなる原画像空間を形成するデジタ
   ル画像信号に対して画素値の補填処理を施す方法であっ
   て、 上記原画像空間を構成する複数の画素を所定の規則に従
   ってグループ分けして、同一グループの画素からなる小
   画像空間を複数形成する画素並替え処理と、 各小画像空間の有意でない画素の画素値を、所定の方法
   により生成された補填画素値と置き換える画素補填処理
   とを含むことを特徴とするデジタル画像補填方法。
2. 【請求項２】 請求項１項記載のデジタル画像補填方法
   において、 上記画素並替え処理では、上記原画像空間を構成する画
   素を所定方向に沿ってＮ（Ｎは正の整数）個の画素置き
   に抽出するサンプル処理を、第１番目から第（Ｎ＋１）
   番目の画素をサンプル開始画素として（Ｎ＋１）回行っ
   て、１回のサンプル処理により得られる所定数の画素か
   らなる小画像空間を（Ｎ＋１）個形成することを特徴と
   するデジタル画像補填方法。
3. 【請求項３】 請求項２記載のデジタル画像補填方法に
   おいて、 第ｎ（ｎ＝１，２，・・・，Ｎ＋１）の小画像空間にお
   ける有意でない画素の画素値と置き換えられる補填画素
   値として、上記第ｎの小画像空間における有意な画素の
   画素値に基づく演算により得られた演算値を用いること
   を特徴とするデジタル画像補填方法。
4. 【請求項４】 請求項２記載のデジタル画像補填方法に
   おいて、 上記補填処理が施されたすべての小画像空間を構成する
   複数の画素を、これらの画素が上記原画像空間と同じ画
   素配列の復元画像空間を形成するよう、上記グループ分
   けの際の所定の規則に対応した規則に従って並べ替える
   画像空間復元処理を行うことを特徴とするデジタル画像
   補填方法。
5. 【請求項５】 請求項４記載のデジタル画像補填方法に
   おいて、 第ｎ（ｎ＝１，２，・・・，Ｎ＋１）の小画像空間にお
   ける有意でない画素の画素値と置き換えられる補填画素
   値として、上記第ｎの小画像空間における有意な画素の
   画素値に基づく演算により得られた演算値を用いること
   を特徴とするデジタル画像補填方法。
6. 【請求項６】 請求項１記載のデジタル画像補填方法に
   おいて、 上記画素並替え処理では、上記原画像空間における画素
   を該原画像空間の垂直方向に沿って１画素行置きに抽出
   する連続的なサンプル処理を、第１番目及び第２番目の
   画素行をサンプル開始画素行として２回行って、第１回
   目及び第２回目のサンプル処理によりそれぞれ得られ
   る、所定数の画素からなる第１及び第２の小画像空間を
   生成することを特徴とするデジタル画像補填方法。
7. 【請求項７】 任意形状を有する画像を含む有意な画素
   と有意でない画素からなる原画像空間を形成するデジタ
   ル画像信号に対して画素値の補填処理を行う方法であっ
   て、 上記原画像空間を、該原画像空間における奇数画素行上
   の画素のみからなる第１小画像空間と、該原画像空間に
   おける偶数画素行上の画素のみからなる第２小画像空間
   とに分割し、 上記第１小画像空間における有意な画素の画素値を用い
   て第１補填画素値を生成し、該第１小画像空間における
   有意でない画素の画素値を該第１補填画素値と置き換え
   るとともに、上記第２小画像空間における有意な画素の
   画素値を用いて第２補填画素値を生成し、該第２小画像
   空間における有意でない画素の画素値を該第２補填画素
   値と置き換えることを特徴とするデジタル画像補填方
   法。
8. 【請求項８】 任意形状を有する画像を含む有意な画素
   と有意でない画素からなる原画像空間を形成するデジタ
   ル画像信号に対して、該原画像空間における有意でない
   画素の画素値を、該原画像空間における有意な画素の画
   素値を用いて決定される補填画素値と置き換える補填処
   理を施す方法であって、 上記補填画素値の決定にその画素値が用いられる有意な
   画素を、上記補填対象としての有意でない画素に隣接す
   る画素以外の画素とすることを特徴とするデジタル画像
   補填方法。
9. 【請求項９】 請求項８記載のデジタル画像補填方法に
   おいて、 上記補填画素値の決定にその画素値が用いられる有意な
   画素を、上記補填対象としての有意でない画素と垂直方
   向にて１画素を置いて隣接する画素とすることを特徴と
   するデジタル画像補填方法。
10. 【請求項１０】 デジタル画像信号を構成する画素値の
    相関を識別して、該識別結果に対応した標本識別子を出
    力する相関識別部と、デジタル画像信号に対する予測画
    像信号を用いた差分符号化処理を上記標本識別子に基づ
    いて行って画像符号化信号を出力する符号化処理部と、
    該画像符号化信号を局所復号化して得られる画像復号化
    信号に基づいて上記予測画像信号を生成する予測処理部
    とを有する、画像符号化を行う装置であって、 上記符号化処理部は、 上記デジタル画像信号と予測画像信号との差分を差分画
    像信号として求める減算器と、 該差分画像信号を圧縮して圧縮差分信号を生成する情報
    圧縮器と、 該圧縮差分信号を可変長符号化する可変長符号化器とを
    有し、 上記予測処理部は、 上記圧縮差分信号を伸長して伸長差分信号を生成する情
    報伸長器と、 該伸長差分信号と上記予測画像信号とを加算して画像復
    号化信号を生成する加算器と、 該画像復号化信号に対し、該画像復号化信号により形成
    される画像空間における画素を並べ替え、該画素が並べ
    替えられた画像空間における有意でない画素の画素値
    を、所定の方法により生成した補填画素値と置換する補
    填処理を、上記標本識別子に基づいて行う補填手段と、 補填処理が施された画像復号化信号から上記標本識別子
    に基づいて上記予測画像信号を生成する予測画像信号生
    成手段とを有することを特徴とする画像処理装置。
11. 【請求項１１】 請求項１０記載の画像処理装置におい
    て、 上記符号化処理部は、上記差分画像信号に、この差分画
    像信号により形成される画像空間における画素を並べ替
    え、該画素が並べ替えられた画像空間における有意でな
    い画素の画素値を、所定の方法により生成した補填画素
    値と置換する補填処理を、上記標本識別子に基づいて行
    う補填手段を有し、上記情報圧縮器では、該補填処理を
    施した差分画像信号の情報圧縮により圧縮差分信号が生
    成されるよう構成したものであることを特徴とする画像
    処理装置。
12. 【請求項１２】 デジタル画像信号を符号化して得られ
    る画像符号化信号を、該デジタル画像信号に対応する予
    測画像信号を用いて再生して画像再生信号を出力する再
    生処理部と、該画像再生信号に基づいて上記予測画像信
    号を生成する予測処理部とを有する、画像復号化を行う
    装置であって、 上記再生処理部は、 上記画像符号化信号の解析により、該画像符号化信号か
    らデジタル画像信号に対応する圧縮差分信号、及び該デ
    ジタル画像信号を構成する画素値の相関を示す標本識別
    子を抽出するデータ解析器と、 上記圧縮差分信号を伸長して伸長差分信号を生成する情
    報伸長器と、 上記伸長差分信号と予測画像信号とを加算して上記画像
    再生信号を生成する加算器とを有し、 上記予測処理部は、 上記画像再生信号及び該画像再生信号から得られる予測
    画像信号の少なくとも一方を補填対象信号とし、該補填
    対象信号に対して、この補填対象信号より形成される画
    像空間における画素を並べ替え、該画素の並替えが行わ
    れた画像空間における有意でない画素の画素値を、所定
    の方法により生成した補填画素値と置換する補填処理が
    上記標本識別子に基づいて行われる構成となっているこ
    とを特徴とする画像処理装置。
13. 【請求項１３】 請求項１２記載の画像処理装置におい
    て、 上記予測処理部は、上記画像再生信号に対する補填処理
    を、上記標本識別子に基づいてフレーム単位あるいはフ
    ィールド単位でもって行う補填手段と、該画像再生信号
    の補填処理により得られる補填再生信号を格納するフレ
    ームメモリとを有し、該フレームメモリに格納されてい
    る補填再生信号を上記予測画像信号として上記再生処理
    部に出力する構成となっていることを特徴とする画像処
    理装置。
14. 【請求項１４】 請求項１２記載の画像処理装置におい
    て、 上記予測処理部は、上記画像再生信号を格納するフレー
    ムメモリと、該フレームメモリに格納されている画像再
    生信号から抽出された予測画像信号に対する補填処理
    を、上記標本識別子に基づいてフレーム単位あるいはフ
    ィールド単位でもって行う補填手段とを有し、補填処理
    が施された予測画像信号を上記再生処理部に出力する構
    成となっていることを特徴とする画像処理装置。
15. 【請求項１５】 デジタル画像信号を符号化して得られ
    る画像符号化信号を、該デジタル画像信号に対応する予
    測画像信号を用いて再生して画像再生信号を出力する再
    生処理部と、該画像再生信号に基づいて上記予測画像信
    号を生成する予測処理部とを有する、画像復号化を行う
    装置であって、 上記再生処理部は、 上記画像符号化信号の解析により、該画像符号化信号か
    らデジタル画像信号に対応する圧縮差分信号、及び該デ
    ジタル画像信号を構成する画素値の相関を示す標本識別
    子を抽出するデータ解析器と、 上記圧縮差分信号を伸長して伸長差分信号を生成する情
    報伸長器と、 上記伸長差分信号と上記予測画像信号とを加算して上記
    画像再生信号を生成する加算器とを有し、 上記予測処理部は、 上記画像再生信号に対し、この画像再生信号により形成
    される画像空間における有意でない画素の画素値を、少
    なくとも該有意でない画素に隣接する画素以外の有意な
    画素の画素値から生成した補填画素値と置換する補填処
    理を、上記標本識別子に基づいて施す補填手段と、 上記標本識別子に従って、補填処理が施された画像再生
    信号に対して、この画像再生信号により形成される画像
    空間における画素を並べ換える処理を施す並べ替え手段
    とを有することを特徴とするデジタル画像復号化装置。
16. 【請求項１６】 コンピュータに、任意形状を有する画
    像を含む有意な画素と有意でない画素からなる原画像空
    間を形成するデジタル画像信号に対する画素値の補填処
    理を行わせるためのプログラムを格納したデータ記録媒
    体であって、 上記プログラムは、請求項１記載のデジタル画像補填方
    法による画素値の補填処理をコンピュータが行うよう構
    成されていることを特徴とするデータ記録媒体。
17. 【請求項１７】 コンピュータに、任意形状を有する画
    像を含む有意な画素と有意でない画素からなる原画像空
    間を形成するデジタル画像信号に対する画素値の補填処
    理を行わせるためのプログラムを格納したデータ記録媒
    体であって、 上記プログラムは、請求項７記載のデジタル画像補填方
    法による画素値の補填処理をコンピュータが行うよう構
    成されていることを特徴とするデータ記録媒体。
18. 【請求項１８】 コンピュータに、任意形状を有する画
    像を含む有意な画素と有意でない画素からなる原画像空
    間を形成するデジタル画像信号に対する画素値の補填処
    理を行わせるためのプログラムを格納したデータ記録媒
    体であって、 上記プログラムは、請求項８記載のデジタル画像補填方
    法による画素値の補填処理をコンピュータが行うよう構
    成されていることを特徴とするデータ記録媒体。
19. 【請求項１９】 コンピュータに、画像信号の符号化処
    理を行わせるためのプログラムを格納したデータ記録媒
    体であって、 上記プログラムは、請求項１０記載の画像処理装置によ
    るデジタル画像信号の差分符号化処理をコンピュータが
    行うよう構成されていることを特徴とするデータ記録媒
    体。
20. 【請求項２０】 コンピュータに、画像信号の復号化処
    理を行わせるためのプログラムを格納したデータ記録媒
    体であって、 上記プログラムは、請求項１２記載の画像処理装置によ
    るデジタル画像信号の差分復号化処理をコンピュータが
    行うよう構成されていることを特徴とするデータ記録媒
    体。
21. 【請求項２１】 コンピュータに、画像信号の復号化処
    理を行わせるためのプログラムを格納したデータ記録媒
    体であって、 上記プログラムは、請求項１５記載の画像処理装置によ
    るデジタル画像信号の差分復号化処理をコンピュータが
    行うよう構成されていることを特徴とするデータ記録媒
    体。