JPH08307699A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 隣接画素間の相関性を利用した画像変換にお
いて、符号化データに発生した誤りを容易に且つ適正に
補間できる画像処理方法を提供する。 【構成】 原画像をサブサンプリングしたサブサンプリ
ング画像について、各サブサンプリング画像の画素値の
平均値で構成される平均値画像と、その平均値画像との
差分をとった複数の差分画像とを作成して冗長度を削減
する画像変換を行い、平均値画像と差分画像とを量子化
及び可変長符号化して符号化データとし、符号化データ
中の１つの差分画像部分に誤りが発生した場合は、誤り
のない差分画像の相当する部分を誤り部分にコピーして
補間を行う画像処理方法である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を圧縮のために符
号化し、伸長のために復号化する画像処理方法に係り、
特に符号化データにおいて発生した誤りを容易に且つ適
正に補正して、高品位な再生画像を得ることができる画
像処理方法に関する。

【０００２】

【従来の技術】静止画像の符号化／復号化方式として、
ＪＰＥＧ（Joint Photographic coding Experts Group
）方式が知られている。このＪＰＥＧ方式の概略を図
７を使って説明する。図７は、ＪＰＥＧ方式の符号化／
復号化を説明するための概略構成ブロック図である。

【０００３】まず、ＪＰＥＧ方式の符号化は、原画像
を、例えば、８×８画素の画素ブロックに分割し、画素
ブロック毎にブロックデータを離散コサイン変換（ＤＣ
Ｔ）を行い、変換後の係数を量子化（Ｑ）し、量子化後
の係数を可変長符号化（ＶＬＣ）した符号化ブロックで
構成される符号化データを作成するものである。この符
号化データは、記憶媒体に格納されたり、伝送路に送出
されたりするものである。

【０００４】また、ＪＰＥＧ方式の復号化は、上記符号
化された符号化データを可変長復号化（ＶＬＤ）し、逆
量子化（ＩＱ）し、逆離散コサイン変換（ＩＤＣＴ）し
てブロックのデータを得るようになっている。

【０００５】尚、ＪＰＥＧ方式については、インターフ
ェース「カラー静止画像の国際標準符号化方式」 遠藤
俊明著 １９９１年１２月号 ｐ１６０〜ｐ１８２ に
具体的に記載されている。

【０００６】そして、ＪＰＥＧ方式を用いて符号化した
符号化データにおいて誤りが発生した場合、例えば、符
号化データの伝送過程で伝送誤りが発生した場合の誤り
訂正方法としては、第１に、誤りのあったデータ又は全
ての画像データを再送する方法と、第２に、誤り訂正符
号を付加して受信側で誤り訂正を行う方法とがあった。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の静止画像の処理方法では、符号化データに誤りが発
生した場合に、上記第１の誤り訂正方法を用いると、再
送手順及び再送時間等で伝送時間が増大し、データ伝送
を効率的にできないという問題点があった。

【０００８】また、上記従来の静止画像の処理方法で
は、上記第２の誤り訂正方法を用いると、伝送路上の誤
りが重大であるときは、誤り訂正が不可能となり、欠落
したブロックを適正に補間できず高精細に画像を復元で
きないという問題点があった。

【０００９】一般に画像データは、図８に示すように、
任意の１画素（pixel ）に対して、隣接する上下左右の
４近傍画素、若しくは周囲の８近傍画素で画素同士に相
関関係（相関性）が高い（よく似ている）ことが知られ
ており、この相関性を利用して誤り部分の適正な補間が
期待できるものである。

【００１０】本発明は上記実情に鑑みて為されたもの
で、隣接画素間の相関性を利用した画像変換において、
符号化データに発生した誤りを容易に且つ適正に補間で
きる画像処理方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記従来例の問題点を解
決するための本発明は、静止画像を符号化し、符号化さ
れたデータを復号化して静止画像を再生する画像処理方
法において、前記静止画像の画素の画素番号を整数で割
った余りと商でグループ分けするサブサンプリングを行
い、前記グループに分けられた部分画像をサブサンプリ
ング画像とし、前記全てのサブサンプリング画像で相対
的な画素位置にある画素の平均値を計算し、前記平均値
で構成される部分画像を平均値画像として作成して前記
サブサンプリング画像の１つの位置に割り当て、前記平
均値画像と割り当てられていない他のサブサンプリング
画像との差分を各々計算して差分画像を作成し、前記各
々の差分画像を前記他のサブサンプリング画像の対応す
る位置に割り当てて符号化を行い、前記符号化された画
像データを復号化し、前記復号化された差分画像に誤り
部分がある場合に、誤りのない差分画像の相当する部分
を前記誤り部分に複写して補間を行い、前記補間された
差分画像及び誤りのない差分画像に前記復号化された平
均値画像を対応画素毎に加算して各々の加算画像を形成
し、前記平均値画像の各画素を前記加算画像の数分整数
倍して前記全ての加算画像との差分を計算した新たな画
像を形成し、前記新たな画像と前記加算画像を前記サブ
サンプリングの逆の方法で画素の並び替えを行って静止
画像を再生することを特徴としている。

【００１２】

【作用】本発明によれば、原画像をサブサンプリング
し、そのサブサンプリング画像から平均値画像と差分画
像を形成し、それら画像を符号化し、また、復号化し、
復号化した差分画像に誤り部分があると誤りのない差分
画像の相当する部分を複写して補間を行い、復号化した
平均値画像と補間された差分画像、誤りのない差分画像
からサブサンプリング画像を復元し、サブサンプリング
とは逆の方法で画素の並び替えを行って原画増を再生す
る画像処理方法としているので、画素間の相関性を利用
した画像変換を行う場合に、誤り部分の補間を容易且つ
適正に行うことができる。

【００１３】

【実施例】本発明の一実施例について図面を参照しなが
ら説明する。本発明の一実施例に係る画像処理方法は、
原画像を垂直方向又は水平方向若しくは垂直及び水平方
向に画素毎に画像を分割（サブサンプリング）し、複数
に分割された画像（サブサンプリング画像）について、
各サブサンプリング画像の画素値の平均値で構成される
平均値画像と、その平均値画像との差分をとった複数の
差分画像とを作成して冗長度を削減する画像変換を行
い、平均値画像と差分画像とを量子化及び可変長符号化
して符号化データとし、符号化データ中の１つの差分画
像部分に誤りが発生した場合は、差分画像の復号化後に
その他の差分画像を誤り部分に複写して補間を行うこと
により、隣接する画素間の空間的相関性を利用して誤り
部分の補間を容易に行うことができるものである。

【００１４】まず、本発明の一実施例に係る画像処理方
法の符号化における画像変換方法について、図１〜図２
を使って説明する。図１は、本発明の一実施例に係る画
像処理方法における画像変換方法の中のサブサンプリン
グの例を示す説明図であり、図２は、本実施例の画像変
換方法における冗長度の削減の例を示す説明図である。

【００１５】本発明の一実施例に係る画像処理方法の符
号化における画像変換方法の概略は、まず、符号化しよ
うとする原画像を複数の画像に分割するサブサンプリン
グを行ってサブサンプリング画像を作成し、次に複数に
分割されたサブサンプリング画像から平均値をとった平
均値画像と、平均値画像との差分をとった差分画像とを
作成して冗長度を削減する方法である。

【００１６】ここで、上記サブサンプリング画像の作成
方法について３つの例を用いて説明する。第１の例とし
て、１フレームの静止画像（原画像）が垂直方向にｋ本
の画素ラインから構成されている場合に、ｋ本の画素ラ
インのライン番号を整数ｎで割った時の余りでｎ個にグ
ループ分けし、更に各グループ内でライン毎の画素デー
タを除算結果の商の小さい順で配列してｎ個の部分画像
（サブサンプリング画像）を作成するものである。

【００１７】第２の例として、原画像が水平方向にｓ個
の画素数で構成されている場合に、ｓ個の画素の画素番
号を整数ｍで割った時の余りでｍ個にグループ分けし、
更に各グループ内で画素毎の画素データを除算結果の商
の小さい順で配列してｍ個の部分画像（サブサンプリン
グ画像）を作成するものである。

【００１８】第３の例として、原画像が水平方向にｓ個
の画素数で構成され、水平方向の画素ラインが垂直方向
にｔ本で構成されている場合に、ｓ個の画素の画素番号
を整数ｍで割った時の余りとｔ本の画素ラインのライン
番号をｎで割った時の余りでｍ×ｎ個にグループ分け
し、更に各グループ内で画素毎の画素データを除算結果
の商の小さい順で配列してｍ×ｎ個の部分画像（サブサ
ンプリング画像）を作成するものである。

【００１９】本実施例の説明では、図１に示すように、
原画像Ａを垂直方向、水平方向両方向に２×２で分割
し、原画像の１／４の大きさの４つのサブサンプリング
画像を作成する例で説明する。つまり、水平方向にＷ画
素、垂直方向にＨ画素で構成される原画像Ａについて、
各画素値をｐ（ｘ，ｙ）とすると、サブサンプリング画
像Ｂ1,Ｂ2,Ｂ3,Ｂ4 を作成する方法は、次式のようにな
る。 Ｂ1 ＝ａ(i,j) ＝ｐ(2i,2j) Ｂ2 ＝ｂ(i,j) ＝ｐ(2i+1,2j) Ｂ3 ＝ｃ(i,j) ＝ｐ(2i,2j+1) Ｂ4 ＝ｄ(i,j) ＝ｐ(2i+1,2j+1) 但し、０≦ｉ＜Ｗ／２、０≦ｊ＜Ｈ／２である。

【００２０】次に、本実施例の画像変換方法における冗
長度の削減方法は、図２に示すように、サブサンプリン
グ画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 において相対的に同位置にある
４画素の平均値で構成される平均値画像Ｂ'1と、平均値
画像Ｂ'1と各サブサンプリング画像Ｂ2,Ｂ3,Ｂ4 との差
分画像Ｂ'2，Ｂ'3，Ｂ'4を作成するもので、具体的に
は、次式を用いて画素値を算出する。 Ｂ'1＝ａ'(i,j)＝｛ａ(i,j)+ｂ(i,j)+ｃ(i,j)+ｄ(i,j)
｝／４ Ｂ'2＝ｂ'(i,j)＝ｂ(i,j) −ａ'(i,j) Ｂ'3＝ｃ'(i,j)＝ｃ(i,j) −ａ'(i,j) Ｂ'4＝ｄ'(i,j)＝ｄ(i,j) −ａ'(i,j)

【００２１】例えば、図２のサブサンプリング画像Ｂ1,
Ｂ2,Ｂ3,Ｂ4 の各左上の画素ａ(0,0),ｂ(0,0),ｃ(0,0),
ｄ(0,0) から、平均値をとった画素値を平均値画像Ｂ'1
の左上の画素値ａ'(0,0)とする。また、差分画像Ｂ'2の
左上の画素値ｂ'(0,0)は、サブサンプリング画像Ｂ2 の
左上の画素値ｂ(0,0) から平均値ａ'(0,0)を引いた値に
なり、同様に差分画像Ｂ'3の左上の画素値ｃ'(0,0)は、
サブサンプリング画像Ｂ3 の左上の画素値ｃ(0,0) から
平均値ａ'(0,0)を引いた値になり、差分画像Ｂ'4の左上
の画素値ｄ'(0,0)は、サブサンプリング画像Ｂ4 の左上
の画素値ｄ(0,0) から平均値ａ'(0,0)を引いた値にな
る。そして、以下同様にサブサンプリング画像Ｂ1,Ｂ2,
Ｂ3,Ｂ4 において相対的に同位置にある４画素について
平均値と差分を算出して変換後の画像を求める。

【００２２】ここで、４画素の平均値で構成される平均
値画像Ｂ'1は、原画像Ａを１／４の大きさに縮小した画
像といってもよく、情報量はかなり削減されている。ま
た、差分画像Ｂ'2，Ｂ'3，Ｂ'4は、エッジなど急激に画
素値が変化する場合は大きな値になるが、その他の場合
は、値が０付近の値をとる。そこで、平均値画像Ｂ'1
と、差分画像Ｂ'2，Ｂ'3，Ｂ'4に対して量子化、可変長
符号化を施すことにより、原画像Ａに比べて情報量を削
減することができる。

【００２３】次に、上記の本実施例の画像変換方法を用
いて符号化した符号化データを復号化する際の画像逆変
換方法について、図３を使って説明する。図３は、本実
施例に係る画像処理方法の復号化における画像逆変換方
法の中の冗長度復元の例を示す説明図である。尚、図３
では、平均値画像Ｂ'1と差分画像Ｂ'2，Ｂ'3，Ｂ'4から
サブサンプリング画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 を復元する例を
示している。

【００２４】本実施例の画像処理方法の復号化における
画像逆変換方法の概略は、まず、平均値画像と複数の差
分画像から冗長度の復元を行ってサブサンプリング画像
を復元し、次に復元されたサブサンプリング画像からサ
ブサンプリングの逆の操作である画像の合成を行って原
画像を復元する方法である。

【００２５】まず、冗長度の復元方法は、図３に示すよ
うに、平均値画像Ｂ'1と差分画像Ｂ'2，Ｂ'3，Ｂ'4にお
いて相対的に同位置にある４画素から、次式を用いて復
元するサブサンプリング画像の画素値を算出する。 Ｂ2 ＝ｂ(i,j) ＝ｂ'(i,j)+ａ'(i,j) Ｂ3 ＝ｃ(i,j) ＝ｃ'(i,j)+ａ'(i,j) Ｂ4 ＝ｄ(i,j) ＝ｄ'(i,j)+ａ'(i,j) Ｂ1 ＝ａ(i,j) ＝４×ａ'(i,j)−ｂ(i,j) −ｃ(i,j) −
ｄ(i,j)

【００２６】例えば、図３に示すように、サブサンプリ
ング画像Ｂ2 は、差分画像Ｂ'2の画素値ｂ'(i,j)と平均
値画像Ｂ'1の画素値ａ'(i,j)とを加算した画素値で構成
し、同様にサブサンプリング画像Ｂ3 は、差分画像Ｂ'3
の画素値ｃ'(i,j)と平均値画像Ｂ'1の画素値ａ'(i,j)と
を加算した画素値で構成し、サブサンプリング画像Ｂ4
は、差分画像Ｂ'4の画素値d'(i,j)と平均値画像Ｂ'1の
画素値ａ'(i,j)とを加算した画素値で構成する。つま
り、サブサンプリング画像Ｂ2,Ｂ3,Ｂ4 は、平均値画像
Ｂ'1に差分画像Ｂ'2，Ｂ'3，Ｂ'4を加算した加算画像と
なっている。

【００２７】そして、最後に、サブサンプリング画像Ｂ
1 は、平均値画像Ｂ'1の画素値ａ'(i,j)を４倍した画素
値から上記で復元したサブサンプリング画像Ｂ2 の画素
値ｂ(i,j) とサブサンプリング画像Ｂ3 の画素値ｃ(i,
j) とサブサンプリング画像Ｂ4 の画素値ｄ(i,j) とを
減算した画素値で構成する。つまり、サブサンプリング
画像Ｂ1 は、平均値画像Ｂ'1とサブサンプリング画像Ｂ
2,Ｂ3,Ｂ4 から新たな画像を形成している。

【００２８】次に、復元されたサブサンプリング画像か
ら原画像を合成する画像合成方法は、前述した符号化に
おけるサブサンプリングの逆の操作であり、各サブサン
プリング画像の画素が元の順番になるように並び替えて
合成し、本実施例では４倍の大きさの画像を作成するよ
うになっている。具体的には、復元されたサブサンプリ
ング画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 を合成して、原画像Ａが生成
される。

【００２９】次に、本実施例の画像処理方法において、
符号化データに誤りが発生した場合の処理方法につい
て、図４を使って説明する。図４は、本実施例の画像処
理方法における誤り訂正方法を示す説明図である。本実
施例の画像処理方法において、サブサンプリング画像か
ら作成した差分画像Ｂ'2，Ｂ'3，Ｂ'4は各画像の画素値
ｂ，ｃ，ｄから一定値（平均値画像の画素値）を減算し
たものであり、エッジ等の特異な場合を除き、近似的に
等しい画像として扱える。

【００３０】そこで、本実施例の画像処理方法では、符
号化データに誤りが発生した場合、例えば符号化データ
の伝送過程で伝送誤りが発生した場合に、その誤り部分
（画素）が差分画像中である場合は、その他の差分画像
において誤り部分と相対的に同位置にある画素の画素値
を誤り部分に複写（コピー）することによって、誤り部
分の補間を行うものである。

【００３１】図４の例で具体的に説明すると、差分画像
Ｂ'2の画素ｂ'(1,0)部分に誤りがある場合は、隣り合う
差分画像Ｂ'4で相対的に同位置にある画素ｄ'(1,0)部分
をコピーする。また、差分画像Ｂ'3に誤りがある場合
は、隣り合う差分画像Ｂ'4で相対的に同位置にある画素
をコピーし、差分画像Ｂ'4に誤りがある場合は、隣り合
う差分画像Ｂ'2又は差分画像Ｂ'3で相対的に同位置にあ
る画素をコピーするようになっている。このような補間
方法により、画素間の相関性を利用した容易且つ適正な
補間を実現できるものである。

【００３２】次に、本実施例の画像処理方法を実現する
符号化装置について図５を使って説明する。図５は、本
実施例の画像処理方法を実現する符号化装置の構成ブロ
ック図である。本実施例の符号化装置は、図５に示すよ
うに、基本的に、画像変換器１１と、量子化器１２と、
可変長符号化器１３と、マルチプレクサ（Multiplexer:
ＭＰＸ）１４とから構成されている。

【００３３】次に、本実施例の符号化装置の各部につい
て具体的に説明する。量子化器１２は、量子化テーブル
を用いて量子化するものであり、可変長符号化器１３
は、符号化テーブルを用いて符号化するものであり、い
ずれも一般的に知られている技術を用いて実現するもの
である。尚、量子化器１２及び可変長符号化器１３は、
入出力端子がそれぞれ４つ備えられており、最大４つの
データの入力／処理／出力が並列に可能となっている。
ＭＰＸ１４は、可変長符号化器１３の４つの出力端子か
ら出力される符号化データを一時的に格納して合成し、
誤り訂正符号等を付加して、パケット化して出力するも
のである。

【００３４】また、本実施例の特徴部分である画像変換
器１１は、図１，図２で説明した画素間の相関性を利用
してサブサンプリングし、冗長度を削減する変換を行う
ものである。具体的には、画像変換器１１は、図５に示
すように、画像分割器２１と、４入力加算器２２と、１
／４倍増幅器２３と、２入力差分器２４，２５，２６と
から構成されている。

【００３５】画像分割器２１は、内部に入力された画像
（原画像）データを１画面分一時的に記憶するメモリ
（大メモリ）と、原画像１をサブサンプリングして得ら
れた４つのサブサンプリング画像をそれぞれ格納するメ
モリ（４つの小メモリ）とを有している。そして、画像
分割器２１は、大メモリに記憶されている原画像を上述
したサブサンプリング手法を用いてサブサンプリング画
像を作成して各小メモリに格納し、出力端子から一斉に
サブサンプリング画像の画像データが出力するものであ
る。

【００３６】具体的には、大メモリには図１の原画像Ａ
が格納され、サブサンプリングされてサブサンプリング
画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 が小メモリに格納される。更に、
サブサンプリング画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 の画素データａ
(0,0),ｂ(0,0),ｃ(0,0),ｄ(0,0) がまず出力端子(1)(2)
(3)(4)から出力されることになる。

【００３７】４入力加算器２２は、出力端子(1)(2)(3)
(4)からの画素データを加算し、１／４倍増幅器２３
は、加算された画素データを１／４倍に演算するもので
ある。この演算値結果の画像データから成る画像が平均
値画像になる。

【００３８】２入力差分器２４は、１／４倍増幅器２３
からの出力（平均値画像Ｂ'1の画素データ）のマイナス
値と画像分割器２１の出力端子(2) からの出力（サブサ
ンプリング画像Ｂ2 の画素データ）の値とを加算して両
データの差分（差分画像Ｂ'2の画素データ）を出力する
ものである。

【００３９】２入力差分器２５は、２入力差分器２４と
同様で、平均値画像Ｂ'1の画素データとサブサンプリン
グ画像Ｂ3 の画素データとの差分を差分画像Ｂ'3の画素
データとして出力するものであり、２入力差分器２６
は、２入力差分器２４，２５と同様で、平均値画像Ｂ'1
の画素データとサブサンプリング画像Ｂ4 の画素データ
との差分を差分画像Ｂ'4の画素データとして出力するも
のである。そして、平均値画像Ｂ'1と、差分画像Ｂ'2、
差分画像Ｂ'3、差分画像Ｂ'4がそれぞれ量子化器１２で
量子化され、可変長符号化器１３で符号化されるもので
ある。

【００４０】次に、本実施例の画像符号化装置の処理に
ついて具体的に説明する。まず、原画像Ａの画像データ
が画像分割器２１に入力されて大メモリに格納され、画
像分割器２１の動作によりサブサンプリングが為されて
サブサンプリング画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 が小メモリに格
納される。

【００４１】そして、出力端子(1)(2)(3)(4)から画像Ｂ
1,Ｂ2,Ｂ3,Ｂ4 のそれぞれの画素データａ(0,0),ｂ(0,
0),ｃ(0,0),ｄ(0,0) が同時に出力され、４入力加算器
２２で４つの画素データが加算され、１／４倍増幅器２
３で１／４倍に増幅される。つまり、１／４倍増幅器２
３からの出力が４つの画素データの平均値となり、サブ
サンプリング画像における全ての画素データについて上
記処理が為されると、平均値画像Ｂ'1が形成されること
になる。

【００４２】そして、平均値画像Ｂ'1の画素データとサ
ブサンプリング画像Ｂ2 の画素データとの差分が２入力
差分器２４で、平均値画像Ｂ'1の画素データとサブサン
プリング画像Ｂ3 の画素データとの差分が２入力差分器
２５で、平均値画像Ｂ'1の画素データとサブサンプリン
グ画像Ｂ4 の画素データとの差分が２入力差分器２６で
とられて、平均値画像Ｂ'1と差分画像Ｂ'1，Ｂ'2，Ｂ'3
が出力され、量子化器１２へ入力されることになる。

【００４３】そして、画像変換されたデータは量子化、
可変長符号化されてＭＰＸ１４に出力され、ＭＰＸ１４
では、その符号化されたデータを一旦記憶して、そのデ
ータを誤り訂正符号化し、パケット化して符号化データ
として伝送路等に出力するものである。

【００４４】次に、本実施例の画像処理方法を実現する
復号化装置について図６を使って説明する。図６は、本
実施例の画像処理方法を実現する復号化装置の構成ブロ
ック図である。本実施例の復号化装置は、図６に示すよ
うに、基本的には、デマルチプレクサ（Demultiplexer:
ＤＭＰＸ）３１と、可変長復号化器３２と、逆量子化器
３３と、補間器３５と、画像逆変換器３４とから構成さ
れている。

【００４５】次に、本実施例の復号化装置の各部につい
て具体的に説明する。可変長復号化器３２は、符号化装
置の可変長符号化器１３と同様の符号化テーブルを用い
て復号化するものであり、逆量子化器３３は、符号化装
置の量子化器１２と同様の量子化テーブルを用いて逆量
子化するものであり、いずれも一般的に知られている技
術を用いて実現するものである。

【００４６】ＤＭＰＸ３１は、パケット化された符号化
データからデータを取り出し、誤り訂正等を行って可変
長復号化器３２に出力するものである。尚、本実施例の
ＤＭＰＸ３１は、受信した符号化データについて誤り訂
正符号を用いて誤り訂正を行った結果、誤り訂正できな
い画素（誤り画素）が差分画像に存在したとすると、そ
の誤り画素の情報（例えば画素番号）を補間器３５に出
力するものである。また、ＤＭＰＸ３１からは平均値画
像Ｂ'1、差分画像Ｂ'2，Ｂ'3，Ｂ'4に関する符号化され
たデータが並列に可変長復号化器３２に出力されるもの
である。

【００４７】次に、本実施例の特徴部分である補間器３
５と画像逆変換器３４について説明する。補間器３５
は、ＤＭＰＸ３１から出力された誤り画素の情報を受け
取り、図４で説明した通り、差分画像における誤り画素
の画素データに、近隣の差分画像における相対位置の画
素の画素データを複写して誤り画素の補間を行うもので
ある。

【００４８】従って、補間器３５内には、逆量子化器３
３から出力される画像データを格納する各々のメモリを
備えており、誤り画素の情報を受け取ってから該当位置
の画素のデータをコピーするようになっている。また、
補間器３５内には、ある差分画像に誤りが発生した場合
には、どの差分画像からコピーするかは予め設定されて
おり、内部の制御手段によってコピー処理が為されるよ
うになっている。

【００４９】画像逆変換器３４は、図３で説明した平均
値画像と差分画像から冗長度を復元してサブサンプリン
グ画像を復元し、そのサブサンプリング画像を合成して
原画像を再生するものである。具体的には、本実施例の
画像逆変換器３４は、図６に示すように、２入力加算器
４２，４３，４４と、４倍増幅器４５と、４入力差分器
４６と、画像合成器４７とから構成されている。

【００５０】尚、本実施例の画像逆変換器３４の入力
(1)(2)(3)(4)へは、具体的に、平均値画像Ｂ'1と差分画
像Ｂ'2，Ｂ'3，Ｂ'4が入力されるようになっている。２
入力加算器４２は、平均値画像Ｂ'1の画素データと差分
画像Ｂ'2の画素データを加算するものであり、２入力加
算器４３は、平均値画像Ｂ'1の画素データと差分画像
Ｂ'3の画素データを加算するものであり、２入力加算器
４４は、平均値画像Ｂ'1の画素データと差分画像Ｂ'4の
画素データを加算するものである。

【００５１】尚、２入力加算器４２からの出力が差分画
像Ｂ'2を基にしたサブサンプリング画像の画素データと
なり、２入力加算器４３からの出力が差分画像Ｂ'3を基
にしたサブサンプリング画像の画素データとなり、２入
力加算器４４からの出力が差分画像Ｂ'4を基にしたサブ
サンプリング画像の画素データとなるものである。

【００５２】４倍増幅器４５は、平均値画像Ｂ'1の画素
データを４倍に増幅し、４入力差分器４６は、４倍に増
幅した値から２入力加算器４２，４３，４４の値を引い
て差分を求めるものである。この差分値が平均値画像
Ｂ'1を基にしたサブサンプリング画像の画素データとな
る。

【００５３】画像合成器４７は、４入力と１出力の端子
を備えており、内部に４入力からの画素データを格納す
る小メモリをそれぞれ有しており、上記の例では平均値
画像Ｂ'1を基にしたサブサンプリング画像と、差分画像
Ｂ'2を基にしたサブサンプリング画像と、差分画像Ｂ'3
を基にしたサブサンプリング画像と、差分画像Ｂ'4を基
にしたサブサンプリング画像とが格納されるようになっ
ている。

【００５４】そして、画像合成器４７では、サブサンプ
リングの逆の方法でサブサンプリング画像の合成が為さ
れ、大メモリに一旦格納される。更に、大メモリの内容
が順次画像データとして出力されるものである。上述し
たように、画像変換とは逆の手法を用いる画像逆変換を
行うことで、平均値画像と差分画像とから画像を再生す
るものである。

【００５５】本実施例の画像処理方法によれば、原画像
をサブサンプリングして分割した小さいサブサンプリン
グ画像を相対位置関係にある画素の平均値と差分値を算
出し、１つを平均値画像に割り当て、他を差分画像に割
り当てる画像変換を行い、その平均値画像とその他の差
分画像を符号化し、また、復号化して差分画像に誤り画
素が存在する場合には、隣接する差分画像の相当する位
置の画素を複写して画素を補間し、更に画像逆変換を行
って画像を再生するものであるから、画素間の相関性を
利用した画像変換を行う場合に、誤り画素の補間を容易
且つ適正に行うことができる効果がある。

【００５６】

【発明の効果】本発明によれば、原画像をサブサンプリ
ングし、そのサブサンプリング画像から平均値画像と差
分画像を形成し、それら画像を符号化し、また、復号化
し、復号化した差分画像に誤り部分があると誤りのない
差分画像の相当する部分を複写して補間を行い、復号化
した平均値画像と補間された差分画像、誤りのない差分
画像からサブサンプリング画像を復元し、サブサンプリ
ングとは逆の方法で画素の並び替えを行って原画増を再
生する画像処理方法としているので、画素間の相関性を
利用した画像変換を行う場合に、誤り部分の補間を容易
且つ適正に行うことができる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例に係る画像処理方法の符号化
における画像変換方法の中のサブサンプリングの例を示
す説明図である。

【図２】本実施例の画像変換方法における冗長度の削減
の例を示す説明図である。

【図３】本実施例に係る画像処理方法の復号化における
画像逆変換方法の中の冗長度復元の例を示す説明図であ
る。

【図４】本実施例の画像変換方法における誤り訂正方法
を示す説明図である。

【図５】本実施例の画像処理方法を実現する符号化装置
の構成ブロック図である。

【図６】本実施例の画像処理方法を実現する復号化装置
の構成ブロック図である。

【図７】ＪＰＥＧ方式の符号化／復号化を説明するため
の概略構成ブロック図である。

【図８】画素の相関性を説明する説明図である。

【符号の説明】 １１…画像変換器、 １２…量子化器、 １３…可変長
符号化器、 １４…マルチプレクサ、 ２１…画像分割
器、 ２２…４入力加算器、 ２３…１／４倍増幅器、
２４，２５，２６…２入力差分器、 ３１…デマルチ
プレクサ、 ３２…可変長復号化器、 ３３…逆量子化
器、 ３４…画像逆変換器、 ３５…補間器、 ４２，
４３，４４…２入力加算器、 ４５…４倍増幅器、 ４
６…４入力差分器、 ４７…画像合成器

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年８月３０日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図４】

【図５】

【図７】

【図８】

【図６】

Claims (1)

【特許請求の範囲】
1. 【請求項１】 静止画像を符号化し、符号化されたデー
   タを復号化して静止画像を再生する画像処理方法におい
   て、前記静止画像の画素の画素番号を整数で割った余り
   と商でグループ分けするサブサンプリングを行い、前記
   グループに分けられた部分画像をサブサンプリング画像
   とし、前記全てのサブサンプリング画像で相対的な画素
   位置にある画素の平均値を計算し、前記平均値で構成さ
   れる部分画像を平均値画像として作成して前記サブサン
   プリング画像の１つの位置に割り当て、前記平均値画像
   と割り当てられていない他のサブサンプリング画像との
   差分を各々計算して差分画像を作成し、前記各々の差分
   画像を前記他のサブサンプリング画像の対応する位置に
   割り当てて符号化を行い、前記符号化された画像データ
   を復号化し、前記復号化された差分画像に誤り部分があ
   る場合に、誤りのない差分画像の相当する部分を前記誤
   り部分に複写して補間を行い、前記補間された差分画像
   及び誤りのない差分画像に前記復号化された平均値画像
   を対応画素毎に加算して各々の加算画像を形成し、前記
   平均値画像の各画素を前記加算画像の数分整数倍して前
   記全ての加算画像との差分を計算した新たな画像を形成
   し、前記新たな画像と前記加算画像を前記サブサンプリ
   ングの逆の方法で画素の並び替えを行って静止画像を再
   生することを特徴とする画像処理方法。