JPH04135376A

JPH04135376A - 画像符号化データの構造および画像符号化処理方法

Info

Publication number: JPH04135376A
Application number: JP2257716A
Authority: JP
Inventors: Fumitaka Sato; 文孝佐藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1990-09-27
Filing date: 1990-09-27
Publication date: 1992-05-08

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）この発明は、画像をディジタルデータとして記憶または
伝送する画像処理システムに係り、特に、高いデータ圧
縮率を得、また別の分解能で再サンプリングするのに好
適な画像符号化データの構造および画像符号化処理方法
に関する。

（従来の技術）従来から、画像データの圧縮技術には種々のものか考え
られている。その代表的なものは、カラー静止画符号化
方式として国際標準化が進められている離散コサイン変
換方式である。この方式については、その概略が、安１
）浩：　“カラー静１１ユ画符号化国際標準化”１画像
電子学会誌、　Ｖｏ１１８、Ｎｏ、６　（１９８９）　
、　ｐｐ、３９ｇ−４０７（以下、刊行物１と呼ぶ）に
記載され、また、その中の中心的技術である、ＤＣＴ（
ディスクリ−１・・コサイン変換）それ自体については
、橋本　秀雄・　“画像符号化アルゴリズム■“、テレ
ビジョン学会誌、　Ｖｏｌ、４３Ｎｏ、ｌＯ（１９８９
）　、　［１，１１４４−１１５５（以下、刊行物２と
呼ぶ）に記載されている。この方式、或いは他の画像符
号化方式、例えば岸本他：　“静止画像の１０７２７１
号化法”、電子通信学会論文誌、ｖ０１ＪＯ２Ｂ、　Ｎ
ｏ、１　（１９７８）　、　ｐｐ１７−２４　　（以下
、刊行物３と呼ぶ）に記載されているいわゆるブロック
符号化方式では、いずれも、原画像を第６図（ａ）に示
すように（ｍＸｍ）ピクセル（ここではｍ−４）のブロ
ックＢ　ｉ、ｊに分割し、第６図（ｂ）に示すようにブ
ロック単位でそれに含まれるピクセルＰ　１，１．　、
−＝　Ｐ　ｍ、ｍの値ａ　１．１−　ａ　ｍ、ｍを少な
いブタ量で近似的に表現しようとするものである。

上記した刊行物３で示されているブロック符号化方式は
、分解能成分の情報で示される第１゜第２のピクセル群
のそれぞれの平均値で個々のピクセルの値を近似するよ
うにしたものである。また国際標準方式は、上記刊行物
２の図４に示されているような基底ベクトルを用いて空
間周波数の異なる成分に分解し、視覚的に重要でない高
周波成分はど粗く量子化するようにしてデータ量を減ら
すようにしたものである。いずれの方式でも、符号化さ
れた原画像の個々のピクセルＰｋ、ｌの値ａｋ、］をな
るべく正しく近似することが主目的である。より正確に
述べるならば、上記したブロック符号化方式或いは国際
標準方式は、符号化された基の画像を復元したとき、人
の目につくような画像の劣化を許容範囲に抑えつつ、符
号データ量をなるべく減らす技術である。

さて、以上の方式でデータ圧縮率を上げた場合に、通常
よく目立つ画像劣化はブロック歪みと称されるものであ
る。このブロック歪みては、上記の符号化処理で用いた
ブロックの大きさ（ｍＸｍピクセル）と同じで水平垂直
方向にｍピクセルずつの縞模様の雑音か加わったように
見える。なお、原画像が鋭い輪郭を持つ場合には、国際
標準方式ではブロック歪みよりその輪郭の“ぼやけ”の
方が先に目立つことが多い。

（発明か解決しようとする課題）上記したように従来の画像符号化処理方式では、データ
圧縮率を上げるとブロック歪みと称される画像劣化を招
くため、符号化された画像を単に復号（再生）しただけ
の画像ではブロック歪みの周期か細かいためにあまり問
題とはならなくても、その画像を拡大・縮小すると再生
画像を空間的に再サンプリングすることになることから
、上記のブロック歪みと再サンプリングとの間で一種の
モアレを生じることかある。しかも、そのモアレ模様の
空間周波数はブロック歪みの空間周波数よりも低くなる
ので、人の目につき易く、問題であった。

また、従来の画像符号化処理方式では、符号化された画
像を拡大・縮小するには、ます画像を再生し、その再生
画像をもとに拡大・縮小画像を作成し、それを再度符号
化する必要があり、処理に時間を要するという問題もあ
った。

この発明は上記事情に鑑みてなされたものでその目的は
、符号化（データ圧縮）された画像を再生し、その再生
画像に対して拡大・縮小処理等を施しても、ブロック歪
みのモアレを生しることが少なくて済む画像符号化デー
タの構造および画像符号化処理方法を提供することにあ
る。

この発明の他の目的は、符号化された画像の拡大・縮小
処理を、符号化データに対する数値処理として行うのを
容易にすることのできる画像符号化データの構造および
画像符号化処理方法を提ｆ共することにある。

［発明の構成コ（課題を解決するための手段）この発明は、画像を隣接しあうピクセルの集合である一
定の大きさのブロックに分割し、上記画像を走査してブ
ロック単位で逐次的に符号化することによりブロック単
位で得られる画像符号化データの構造であって、符号化
の対象となる注目ブロックの辺のうち、符号化されてい
ない未処理ブロックと接する２つの辺でなる前縁辺のピ
クセルの値を与えるための符号語を持つことを特徴とす
るものである。

また、この発明は、上記の符号語として次の第１の？〕
号語群、即ち注目ブロックの前縁辺を構成する２つの辺
に共通に含まれる特定ピクセルの値とその予測値との差
を表わすタイプ０の第１の符号語、注目ブロックの上記
特定ピクセルの値とその予測値との差を表わすと共に、
注目ブロックの前縁辺上に存在し、画像の鋭い輪郭を形
成する輪郭線の一部をなすピクセル境界の位置である境
異点位置を表わすタイプ１の第１の符号語、および注ｌ
了１ブロックの上記特定ピクセルの値を同ピクセル値よ
り少ないビット数で表わすと共に、注目ブロックの前縁
辺上に存在する上記境界点位置を表わすタイプ２の第１
の符号語の中から、１つか選択的に用いられることを特
徴とする。

更に、この発明は、上記選択された第１の符号語では注
目ブロックの各ピクセルの値を所定誤差範囲内で近似て
きない場合に、ピクセル値によって分類されるブロック
内各領域毎に、その鎖酸のピクセル値とその領域に属す
るピクセルを表わすタイプ３の符号語（第２の符号語）
か用いられることを特徴とする。

また、この発明の画像符号化処理方法は、注目ブロック
の前縁辺のピクセルの値を調べて、注目ブロック全体を
符号化するための符号語の候補のタイプを、上記タイプ
０〜２の中から選択する第１のステップと、注目ブロッ
クに隣接する符号化されている処理済みブロックの辺の
うち、注目ブロックと接する辺でなる参照辺のピクセル
の値と、第１のステップで選択されたタイプの符号語に
より表現される前縁辺のピクセルの値をもとに、注目ブ
ロックの残りのピクセルの値を補間処理により求め、原
ピクセルの値との誤差が所定範囲以下であることを確認
するための第２のステップと、この第２のステップで誤
差が所定範囲を越えていると判定された場合には、上記
タイプ３の符号語を生成する第３のステップとを具備す
ることを特徴とするものである。

（作用）この発明の画像符号化データの構造によれば、注目ブロ
ックの前縁辺（符号化されていない未処理ブロックと接
する注目ブロックの２つの辺でなる前縁辺）のピクセル
の値を与えるための符号語、即ち注目ブロックの前縁辺
を構成する２つの辺に共通に含まれる特定ピクセルの値
を直接または間接に表わす符号語（第１の符号語）を持
っており、この第１の符号語で表わされない残りの前縁
辺のピクセルの値は、注１」ブロックに隣接する既に符
号されている処理済みブロックの辺のうちの参照辺（注
目ブロックと接する辺でなる参照辺）のピクセルの値、
および第１の符号語で表わされるピクセル値をもとに、
線形補間によって近似的に復元することが可能となる。

特に−様にピクセル値が変化する画像についてタイプＯ
の符号語を適用し、ブロック内のピクセルの値の勾配を
表現するようにした本発明のデータ構造によれば、−様
にピクセル値が変化する画像に対して従来方式（刊行物
３で示されているブロック符号化方式）であれば生じ易
かったブロック歪みを軽減することが可能となる。

また、画像の鋭い輪郭を形成する輪郭線を含む注目ブロ
ックについても、タイプ１または２の符号語が適用され
る構成とすることにより、注目ブロックに隣接する処理
済みブロックの参照辺上の境界点位置、および注目ブロ
ックの前縁辺上の境界点位置（タイプ１または２の初号
語に含まれる境界点位置情報により示される）に基づい
て空間的に補間して１１−Ｊられる境界線により注１」
ブロックを領域に分割し、各領域毎に補間処理を行うこ
とによって、ブロック内のピクセルの値を近似的に復元
することか可能となる。

さて、一般にディジタル画像の拡大・縮小は、原ディジ
タル画像（原画像）の空間的サンプリング周期と異なる
空間的サンプリング周期で再サンプリングすることであ
るといえる。第７図はディジタル画像の拡大・縮小原理
を説明するためのもので、同図（ａ）に原画像を、同図
（ｂ）に縮小画像を示す。通常、原画像の各ピクセル（
格子の１マス）の中心（図中“て示される位置）に画像
の輝度値のサンプリング点かあると考えられる。したが
って、原画像を例えば３／４のサイズに縮小する処理を
考えると、縮小率の逆数、即ち４／３倍のサンプリング
間隔て原画像を再サンプリングし、第７図（ａ）におい
てＸ印で示される各サンプリング点での画像の輝度値を
、第７図（ｂ）に示すように縮小画像の各ピクセルの輝
度値とすることになる。一般に、ディジタル画像の＋１
サンプリング点での輝度値は得られないので、１１ｆザ
ンプリング点の近傍の原ザンプリング点（ピクセル）の
輝度値（図中のＡ点の場合には、例えばイ１１ロ、ハ二
の４点の輝度値）から補間処理で決定される。この補間
処理の方法には種々あるが、一般には線形補間か適用さ
れる。

そこで本発明では、ディジタル画像の拡大・縮小に伴い
線形補間が必要であることを考慮し、上記したような第
１の初号語を持つ画像７１号化データ構造とすることで
、この符号語で表わされない前縁辺のピクセルの値を線
形補間によって近似的に復元することが可能なようにし
たものである。

こうすることにより、拡大・縮小に際し、（近傍ピクセ
ルの値を得ることなく）符号化データに対して直接に（
拡大・縮小のための）線形補間演算を行うことができる
。

また、本発明の画像符号化処理方法では、ブタ圧縮（符
号化）する際に線形補間を基にした誤差評価を行う構成
とすることによって、拡大・縮小処理に伴う線形補間て
新たに誤差が入ることが防止可能となる。更に、データ
圧縮の際、注目ブロック中の一部のピクセル値を基にし
て符号の候補（符号タイプ）を選び、他のピクセル値（
こりいては選んだ候補て近似できたか否かを判定するた
けにしているので、符号化に要する演算量を減らすこと
か可能とナル。

（実施例）以下、本発明の一実施例を図面を参照して説明する。

第１図は本発明の基本概念を説明するためのもので、同
図（ａ）は濃淡変化がほぼ−様な部分を表現するのに適
用される画像符号化処理方法を説明するための図、第１
図（ｂ）は画像の鋭い輪郭線を含む部分を表現するのに
適用される画像符号化処理方法を説明するための図であ
る。第１図（ａ）、（ｂ）において、Ｂ　ｉ、ｊは原画
像を（ｍＸｍ）ピクセル（ここではｍ＝４）のブロック
単位で分割した場合の第１列第３行のブロックであり、
符号化の対象となっているブロック（注目ブロックと呼
ぶ）である。Ｂ　ｉ−１，ｊ−１は第ｉ−１列第Ｊ−１
行のブロック、Ｂ　ｉ、ｊ−１は第１列第ｊ−１行のブ
ロック、Ｂ　ｉ＋１．ｊ−１は第ｉ＋１列第ｊ−１行の
ブロックである。またＢ　ｉ−１，ｊは第１−１列第ｊ
行のブロック、Ｂ　ｉ＋ｌ、ｊは第ｉ＋１列第ｊ行のブ
ロックである。

次に、ａ　１，１はブロック内の第１列第１行のピクセ
ルの値、ａ　ｍ、ｍはブロック内の第ｍ列第ｍ行（右下
角）のピクセルの値、ａｋ、ｌ　　（１≦ｋｌ≦ｍ−１
）は、ブロック内の第ｍ列および第ｍ行を除く任意位置
のピクセルの値である。なお、第１図（ａ）、（ｂ）で
は、注目ブロックＢ　ｊ、ｊの左上角と接するブロック
Ｂ　ｉ−１，ｊ−１、上辺と接するブロックＢ　ｉ、ｊ
−１、左辺と接するブロックＢｊ−１，ｊの各右下角の
ピクセルの値を、注目ブロックＢ　ｉ、ｊの右下角のピ
クセルのｌ［ａｍ、ｍと区別するために、それぞれａ（
ｃ）　、　　ａ（ｕ）　、　　ａ（１）で示しである。

第２図はブロックＢ　ｊ、ｊ内のピクセルとその周辺ブ
ロック内のピクセルを示す図である。同図において、４
つの太線で囲まれた領域かブロックＢ　ｉ、Ｊてあり、
（ｍＸｍ）個のピクセルＰ１，１〜Ｐ　ｍ、ｍからなる
。本発明は、この各ピクセルの値（第１図（ａ）、（ｂ
）参照）を少ないブタ量で記述するようにしたものであ
る。第２図では、注目ブロックＢ　ｉ、ｊに隣接するブ
ロックＢ１−１．ｊ−１、Ｂｉ、ｊ−］　、　　Ｂ１−
１．ｊの各右下角のピクセル（の識別記号）を、注目ブ
ロックＢ　ｉ、ｊの右下角のピクセル（の識別記号）Ｐ
ｍ、ｍと区別するために、それぞれＰ（ｃ）　、　　Ｐ
（ｕ）　、　　Ｐ（１）で示しである。

次に、第１図および第２図を参照して、本発明の画像符
号化処理方法の基本的な概念を説明する。

まず本発明は、従来の画像符号化処理方法と同様に、ブ
ロック１１１位に画像を走査して逐次的に符号化するも
のである。この方式では、第２図に示すブロックＢ　ｉ
、ｊを対象とする符号化処理を行う直前にブロックＢ）
−１，ｊは７９号化を終えており、Ｂｉ＋１．ｊはＢ　
ｉ、ｊの次に符号化対象となるブロックとなる。また、
Ｂ　ｊ−１，ｊ−１、Ｂ　ｊ、ｊ−１。

Ｂ　Ｄｌ、ｊ−１は、既に符号化を終えている。

さて、注目ブロックＢ　ｊ、ｊは、既に符号化されてい
るブロックＢ　ｉ、ｊ−１に上辺を接し、同じく符号化
されているブロックＢ１−１．ｊに左辺を接している。

このため、注目ブロックＢ　＋、ｊの右辺と下辺のピク
セルの値（即ちブロックＢ　ｉ、ｊ内の第ｍ列と第ｍ行
のピクセルの値）を新たに与えるならば、そのＢ　ｉ、
ｊ内のそれ以外のピクセルの値ａｋ、ｌ　　（１≦１（
，１≦ｍ−１）は補間てきる。

したがって、第１図（ａ）の矢印のピクセルの値とａ　
ｍ、ｍを表現することにより、注目ブロックＢ　ｉ、ｊ
全体の各ピクセルの値を表現できることになる。即ち、
本発明では、注目ブロックＢ　ｉ、ｊを符号化するのに
、既に符号化されているＢｉ、ｊ−］およびＢ１−１．
ｊのピクセルの値を参照して、それらのブロックと接し
ていない注目ブロックＢ　１．ｊの２辺（右辺および下
辺）のピクセル（矢印ａｍ、ｍ）の値を近似的に記述す
る第１の符号語を用いることを基本とする。そして、そ
れらのピクセルの値から、それらで囲まれたピクセルの
値を許容誤差範囲内で補間処理によって求めることがで
きる場合には、上記第１の符号語を用いて符号化するも
のである。これに対し、補間誤差が許容範囲を越える場
合には、ａ用１ｍと矢印のピクセルの値の他に、上記ａ
ｋ、Ｉ　　（１≦ｋ　　１≦ｍ−１）の少なくとも一部
のものの値も表わすような第２の符号語群を用いて符号
化するものである。

以上のように、本発明では、逐次的にブロックの周辺の
ピクセルの値を表現することを基本とするので、この符
号化方式をプログレッシブ・ブロック・ペリメータ・エ
ンコーディング（Ｐｒｏｇｒｅｓｓｉｖｅ　Ｂｌｏｃｋ
　Ｐｅｒｉｍｅｔｅｒ　Ｅｎｃｏｄｉｎｇ）と呼び、Ｐ
ＢＰＥ方式と略称する。

ここで、上記したＰＢＰＥ方式による符号化処理につい
て更に詳細に説明する。

まず、画像の滑らかな部分、つまり注目ブロックおよび
その近傍においてピクセルの値がほぼ−様な変化をして
いる場合の符号化処理の一実施例を、上記第１図（ａ）
を再び参照して説明する。

本実施例では、上記した補間方法として、線形補間を用
いるようにしている。この線形補間を適用することによ
り、第１図（ａ）の矢印のピクセルの値は、ａ（１）の
値とａｍ、ｍ　　（Ｂｉ、ｊの下辺の矢印のピクセルの
値の場合）、またはａ　（Ｕ）の値とａｍ、ｍから（Ｂ
　ｉ、ｊの右辺の矢印のピクセルの値の場合）、補間（
線形補間）で求めることができる。即ち、注目ブロック
Ｂ　ｉ、ｊの右下角のピクセル（Ｐｍ、ｍ）の値ａ　ｍ
、ｍたけを表現すれば、注［」ブロックＢ　ｉ、ｊ内の
どのピクセルの１直も線形補間で求めることができる（
注「１ブロツクが画１象の滑らかな部分の場合）。この
ように、注目ブロックＢ　ｉ、ｊ内の各ピクセルの値を
ａ　ｔｏ、ｔｎたけで記述できることから、データ量か
少なくて済む。ここで、ａ　ｍ、ｍの値を表現するデー
タの量を圧縮するために、予測値との差をエントロピー
符号化する従来技術を適用することにより、即ちａ　ｍ
、ｍの値の予測値ａ’ｍ、ｍを、例えば次式％式％（）の値をハフマン符号で符号化することにより、データ量
を一層減らずことができる。

次に、画像の鋭い輪郭を含む部分、例えば暗い背景の前
で明るく照らされた人の横顔の輪郭線を含むブロックの
符号化について説明する。この場合には、注目ブロック
のピクセルは、明るい顔の領域に属するものと、暗い背
景に属するものとに分けられる。即ち鋭い輪郭形状を含
むブロックでは、人の視覚特性から、輪郭形状が重要で
あり、輪郭の両側の領域の階調（ピクセルの値）にはか
なりの誤差かあっても知覚されにくいことか知られてい
るので、このような場合にはピクセルの値を２つの領域
に分けて考える。従来技術のブロック符号化方法では、
この情報を１ビツト／１ピクセルの分解能成分φｉとし
て表イフしている（刊行物３の第６４頁参照）。これに
対して本実施例では、その領域の境界を、ブロックの周
辺における境界点として符号化し、ブロック内部の境界
位置は、境界点から空間的な補間処理を行って求めるよ
うにしている。

このような本実施例の符号化について、通常最も出現頻
度の高いブロック周辺における境界点が２点であって、
ブロック内が単純に２つの領域に分割される場合を例に
、上記第１図（ｂ）を参照して更に詳細に説明′する。

まず第１図（ｂ）は注目ブロックＢ　ｉ、ｊの右上部分
の５個のピクセルが暗い領域に属し、他は明るい領域に
属する例を示すもので、注目ブロックＢ　ｉ、ｊの左隣
りの（符号化済み）ブロックＢ　ｉ−１，ｊの右下角の
ピクセルの値ａ（１）から始めて、注目ブロックＢ　ｉ
、ｊの下辺、右辺のピクセルを走査してその値を順次読
べて上隣りの（符号化済み）ブロックＢｊ、ｊ−１の右
下角のピクセルの値ａ　（Ｕ）に至る間（これを、前縁
辺と呼ぶ）のどこに領域の境界点かあるかを検出し、そ
の位置を前縁辺上の各ピクセル境界に割当てられた数値
で符号化表現することで、輪郭形状を表現する。なお、
上記前縁辺の各ピクセル境界に割当てられる数値は、注
目ブロックＢ　ｊ、ｊの下辺の左端がｒＯＪて、以下、
ｒｌＪ、ｒ２Ｊ・・と続き、注目ブロックＢ　ｉ、ｊの
右辺の上端が最大値となる。したかって上記前縁辺には
、１ブロツクかｍｘｍピクセルの場合であればｒＯＪ〜
ｒ２ｍ−ＩＪが割当てられ、第１図（ｂ）のようにｍ＝
４の場合であれば「０」〜「７」か割当てられる。

ここで、注目ブロックＢｉ、ｊの前縁辺上の境界点の位
置を符号化表現するだけで、輪郭形状が表現できる理由
を述べる。ます注目ブロックＢ　ｔ、ｊの上隣りのブロ
ックＢｉ、ｊ−１の下辺には、第１図（ｂ）の例では数
値「２」で示される位置に境界点があり、左隣りのブロ
ックＢ　ｉ−１，ｊの右辺（これらの２辺を参照辺と呼
ぶ）には境界点がないと既に符号化されている。したが
って、注目ブロックＢ　＋、ｊの下辺、右辺（前縁辺）
については、数値「４」で示される位置に境界点がある
ことを新たに示せば、両者（既に符号化されている参照
辺上の境界点と新たに示される前縁辺上の境界点）を空
間的に補間することによって、ブロック内の境界線を近
似てきることになる。なお、第１図（ｂ）における−点
鎖線は、上記２つの境界点を直線（線分）で結んで近似
した様子を示すものある。

ところで本実施例では、画像に文字パターンを含むケー
スを考慮して、第１図（ｂ）において破線で示すように
、２つの境界点を水平、垂直に結ぶ直角をなす２本の直
線で近似する補間法も用意し、いずれの補間法を用いる
かの情報も併せて符号化するようにしている。もし、い
ずれの補間法を用いてもブロック内境界線形状を許容誤
差範囲内で近似できない場合には、後述するように、ブ
ロック内部の境界線形状を記述可能な第２の符号語（例
えば、公知のブロック符号化法に基づくもの）を用いる
。

さて、注目ブロックＢ　ｉ、ｊを近似的に２つの領域に
分割できるものとして境界点の位置を符号化した場合、
Ｂ　ｉ、ｊの下辺と右辺のピクセルの値を次のようにし
て近似表現する。ます、注目ブロックＢ　ｉ、ｊの右下
角のピクセル（Ｐｍ、ｍ）の値ａ　ｍ、ｍを符号化する
。この値は、下隣りのブロックＢｉ、ｊ＋１および右下
隣りのブロックＢ　ｉ＋Ｉ、ｊ＋１の符号化において参
照されることから、輪郭線の近傍となる場合でも明示的
に符号化する。このピクセルｐ　ｍ、ｍと左隣りのブロ
ックＢ　ｆ−１，ｊの右下角のピクセルＰ（１〉の間、
またはピクセルｐ　ｍ、ｍと上隣りのブロックＢｉ、ｊ
−１の右下角のピクセルＰ　（ｕ）の間のいずれか、境
界点を含まない方（第１図（ｂ）の例では前者）の辺の
ピクセルの値（第１図（ｂ）においてＸ印で示されるピ
クセルの値）を線形補間によって許容誤差範囲内で近似
できるようにａ　ｍ、ｍを決定する（多くの場合、Ｐｒ
ｌ１１１１１のピクセルの値をそのままａ　ｍ、ｍとし
て用いることが可能）。

一方、境界点を含む辺については、ピクセル値が既知で
同じ領域に属する最も近いピクセルの値を用いる。即ち
第１図（ｂ）を例にとると、右辺の境界点より上側の３
つのピクセル、即ち↑印が付されたピクセルの値として
は、その矢印の方向の既知のピクセル値ａ　（Ｕ）を用
いる（これも、一種の補間と呼べる）。このとき、注目
ブロックＢ　ｉ、ｊの上に隣接する辺のピクセル値は、
第１図（ｂ）において←印が付されたピクセルについて
はその矢印の方向の既知のピクセル値ａ　（Ｃ）で近似
され、→印が付されたピクセルはａ　（Ｕ）で近似され
ている。

次に、注目ブロックＢ　ｊ、ｊ内の各ピクセルの値と、
上記のようにして符号化して得た結果をもとに補間処理
によりｆｅられる近似値とを比較し、誤差か許容範囲内
であるか否か、即ち近似が成立するか否かを判断する。

ここで、境界線形状の補間方法も決定する。第１図（ｂ
）の例では注目ブロックＢ　ｉ、Ｊは鋭い輪郭線を含む
ので、ピクセル値の許容誤差については第１図（ａ）の
場合より十分広い許容範囲を設定することができる。そ
れても、許容誤差範囲を越えるピクセル値が存在する場
合には、そのピクセル位置とピクセル値とを表現するた
めの第２の符号語を用いて符号化する。

この第２の符号語を用いた符号化については後で述べる
。

以上の画像符号化処理方法（ＰＢＰＥ方式）の基本的な
処理の流れを第３図のフローチャートに示す。

次に、データ圧縮率よりも簡明さが重視されるようなケ
ースでの上記の符号化処理方法により得られる符号語（
符号化データ）の構造について、第４図を参照して説明
する。この第４図に示す符号語はバイトを単位とする可
変語長符号として構成したものであるが、データ圧縮率
の高いことが重要視されるケースでは、ビット単位の可
変長符号（例えばハフマン符号）とか算術符号を用いて
構成した方が良い。しかし、可変語長符号を用いた本実
施例をもとに、ハフマン符号または算術符号を用いて実
施することは、ハフマン符号または算術符号に精通した
技術者にとっては本質的な難しさを伴う仕事ではないの
で、また、これらの符号を用いた構成例を具体的に説明
するためには、各７〕号語の生起確率を仮定せねばなら
ず、−膜性を失い且つ分かりにくくなるので、以下では
バイト単位可変語長符号を用いて構成した例だけを説明
する。

まず本実施例では、第４図（ａ）乃至第４図（ｄ）に示
す４つの型の符号語を用いる。なお、以降の説明では、
画像を構成する各ピクセルの値は８ビツトで表現される
ものとする。

第４図（ａ）の符号語（以下、タイプＯの符号語と称す
る）は、変化の非常に緩やかな部分を持つブロックに適
用されるもので、１バイトで構成される。このタイプＯ
の］ハイド符号語では、ブロック全体のピクセル値を補
間によって表わすために用いられる右下角のピクセル（
Ｐｍ、ｍ）の値（ａｍ、ｍ）とその予測値との差（±δ
）がビット５〜０の６ビツトで表現される。また、ビッ
ト７６の２ビットは、タイプ指定フィールドとｌよって
おり、タイプ０の符号語では“００”となる。

第４図（ｂ）の符号語（以下、タイプ］の符号語と称す
る）は、注目ブロックの前縁辺（下辺〜右辺）に境界点
を持つ場合、例えば第１図（ｂ）のような場合に適用さ
れるもので、２バイトで＋１−成される。このタイプ１
の符号語は、タイプＯの符号語と同様の±６の設定フィ
ールドとタイプ指定フィールド（内容は“０１”）を持
つ第１バイトと、境界点の位置Ｐｉ、Ｐ２およびＰｉ、
Ｐ２に付随するタグｔｌ、ｔ２を持つ第２ハイドからな
る。このタグｔ１．．ｔ２は例えば境界線の形状の補間
方法の指定に用いられるものである。

第４図（Ｃ）の符号語（以下、タイプ２のη母語と称す
る）は、注目ブロックの右下角のピクセルの値の予１ｆ
ｌｌｌ　１ｍが求められない場合に適用されるもので、
２バイトで構成される。このタイプ２の符号語の第１バ
イトのビット５〜０には、タイプ０．］のδに代えて、
ａｍ、ｍの上位５ビツト（ａ　ｍ、ｍ÷８で表現）か設
定される。またタイプ２の符号語の第１ハイドのピッｌ
−７，６はタイプ指定フィールド（内容は“１０”）で
あり、ビット５は未使用となっている。一方、タイプ２
の符号語の第２バイトは、タイプ１の第２バイトと同一
構成となっている。

なお、符号化の際に注目ブロックの右下角のピクセル値
が予４１す不可能か否がは、次のようにして判定する。

前述のように、注目ブロックＢ　ｉ、ｊの右Ｆ角のピク
セルｐ　ｍ、ｍのピクセル値ａ　ｍ、ｍの予４１り値ａ
’ｍ、ｍを求め、ａ’ｍ、ｍとａ　ｍ、ｍの差か所定範
囲内にない場合は予測不可能である。ま３　］た、所定範囲内であったときは、ａ　ｍ、ｍとａ　（ｕ
）（上隣りのブロックＢｉ、ｊ−１の右下角のピクセル
Ｐ　（ｕ）のピクセル値）、およびａ　ｍ、ｍとａ　（
１）（左隣りのブロックＢ１−１．ｊの右下角のピクセ
ルＰ（１）のピクセル値）から線形補間により、Ｂ　ｉ
、ｊの右辺、Ｂ　＋、ｊの左辺の値を仮に求め、実際の
ピクセル値と比較して所定範囲内の近似となっているか
否かを調べる。右辺、左辺のとちらについても近似か成
立する場合は、前述のタイプ０の符号語で表現できる可
能性か高いので、Ｂ　ｉ、ｊ内の残りのピクセルについ
てそれを確認する手順を行う。右辺、左辺の一方につい
てたけ近似が成立する場合、近似が成立した辺には境界
点が存在せす、他方の辺には境界点か存在すると判定し
、タイプ１の符号語を候補とする（即ち予測可能とする
）。右辺、左辺のいずれの辺についても近似が成立しな
い場合は、両辺に境界点が存在すると判定し、タイプ２
の？〕−号語母語補とする。

第４図（ｄ）の符号語（以下、タイプ３の符号語と称す
る）は、例えば注目ブロックを３つ以上の領域に分けな
いとピクセル値を許容誤差範囲内で表現できない場合、
注目ブロックの周辺の境界点数が多い場合、注目ブロッ
ク周辺の境界点から同ブロック内の境界線を許容誤差範
囲内で求められない場合など、上記タイプＯ−βの形式
の符号語では表現できない場合に適用されるものである
。このタイプ３の符号語のもう一つの特徴は、補間を行
わない点である。このためタイプ３の符号語は、注１」
ブロックの上隣りおよび左隣りのブロックのどちらも参
照できない場合にも適用され得る。タイプ３の符号語の
第１バイＩ・は、タイプ２の符号語とほぼ同様の構成と
なっている。但し、ビット４〜０に設定される　ａ÷８
”は１つの領域のピクセル値を示し、ビット７．６（タ
イプ指定フィールド）の内容は“１１”となる。

また、タイプ３の符号語の第１バイトに続く２ハイド（
第２および第３バイト）は、その領域（“ａ÷８″でピ
クセル値か示される領域）に属するピクセルをビットパ
ターンとして示すための特定フィールド（Ｂフィールド
と呼ぶ）をなす。

更に、タイプ３の符号語の第］バイトのビット５は、同
じブロックを記述するタイプ３の符号語が続くか否かを
示すＣ／Ｅ　（継続／終了）指定ビットとして用いられ
る。ここて、Ｃ／Ｅ＝Ｏのとき、同じブロックを記述す
るタイプ３の符号語が続くことか示され、Ｃ／Ｅ＝１の
とき、そのブロックの最後の符号語であることか示され
る。Ｃ／Ｅ　−］のときは、Ｂフィールドは省略される
。

次に、第４図（ａ）〜（ｄ）に示すタイプ０〜３の符号
語の詳細な意味と、具体的な適用例を、第５図を用いて
説明する。

まず、第４図（ａ）に示すタイプ０の符号語は、前縁辺
に境界点かなく、前縁辺の全てのピクセルか線形補間で
求められることを示す。このタイプ０の符号語では、補
間の基となる注目ブロックの右下角のピクセルの値ａ　
Ｉｌ、ｔｌが、予測値との差ｙ　（＝±δ）として表現
されている。ここで、ａ　ｍ、ｍの予測値ａ’ｍ、ｍは
、第５図（ａ）に示すように参照辺に境界点が存在しな
い場合には、前記したようにａ　’　　ｍ、ｍ　　−ａ　（ｕ）　　＋、ａ　（Ｉ）
　　−ａ　（ｃ）で求める。但し、本実施例のようにバ
イト単位の可変長語として構成する場合には、予ａｌｌ
ｌ値の計算をもっと簡単にして、例えばａ’　ＩＬＩＩ　＝　ａ　（ｕ）としても構わない。その理由は、ハフマン符号または算
術符号を用いる場合と異なり、予４（す誤差ｙかタイプ
Ｏの符号語で表現できる範囲（−３２≦ｙ≦＋３１）を
越えない限り、ｙによって符号語の長さに差を生じるこ
とがないからである。一方、ブロック内部のピクセル値
については、線形補間と決めれば一意に決まるので、説
明を省略する。

次に、第４図（ｂ）に示すタイプ１のン〕母語は、前縁
辺に１つまたは２つの境界点があり、且つａ　ｍ、ｍの
予測値を利用できる場合に用いられる。

もし、前縁辺に境界点が１つしか存在しない場合コバ、
ＰＩ、Ｐ２の両方にその位置（に割当テラれた数値）を
設定する。この結果、Ｐｌ、Ｐ２双方の値が等しいこと
により、特別のフィールドを必要とせずに、境界点が１
つしがないことが判別できる。このタイプ１の符号語で
は、注目ブロックの右下角のピクセル値ａ　ｍ、ＴＩの
予測値ａ’ｍ、ｍとして、下辺に境界点がなければａ（
１）が用いられ、右辺に境界点かなければａ　（Ｕ）が
用いられる。

第５図（ｂ）はタイプ１の符号語の具体例を、第１図（
ｂ）に示すブロックの状態について、同状態と共に示し
たものである。タイプ１の符号語を用いた場合の、ブロ
ック内部の補間方法としては、境界線か横切っていない
行または列については線形補間を行い、それて補間でき
なかったピクセルについては、同じ領域内の最も近い既
知のピクセル値を与える。

次に、第４図（ｃ）に示すタイプ２の符号語は、前記し
たように予測値ａ’ｍ、ｍの利用かできないブロックに
適用される。このようなブロックの一例を第５図（Ｃ）
にその符号語（タイプ２符号語）と共に示す。第５図（
Ｃ）の例では、注目ブロックの下辺にも右辺にも境界点
が存在するので、ａ’ｍ、ｍの予測を行わない。なお、
第５図（Ｃ）では左隣りのブロックの右辺の同し領域の
ピクセル値を予測に用いることは可能である。しかし本
実施例では、簡単のために予測をしていない。

さて本実施例では、ピクセル値は８ビツトで表現されて
いる。しかし、タイプ２の符号語のように予測値を用い
ていない場合には、下位３ビット目で丸めを行い、５ビ
ットに短縮して符号語に表現する（図ではａｍ、ｍ＋８
として示されている）。鋭い輪郭線を含むブロックでは
、前記したようにピクセル値の許容誤差範囲を広く設定
できるため、本来は８ビツト表現のピクセル値を５ビツ
トで表現しても差支えない。

タイプ２の符号語で前縁辺に２つの境界点が示され、参
照辺にも２つの境界点が存在する場合、それらの境界点
を交差しないで結ぶ境界線の引き方には、第５図（Ｃ）
と第５図（ｄ）に示す二通りがある。両者の違いは、前
縁辺上の境界点位置を表わすタイプ２符号語中のＰＩ、
Ｐ２（第４図（Ｃ）参照）の内容（数値）の大小で示さ
れる。

即ち、第５図（Ｃ）のように参照辺の境界点と結ばれる
前縁辺の２つの境界点の位置を表わす数値は、値の小さ
い方がＰＩに、大きい方がＰ２に設定される。ここれに
対して第５図（ｄ）のように前縁辺の境界点同志が結ば
れる場合には、第５図（Ｃ）の場合の逆順となり、前縁
辺の２つの境界点の位置を表わす数値は、値の大きい方
がＰｌに、小さい方かＰ２に設定される。

なお、タイプ０の符号語は、参照辺に境界点があっても
、前縁辺に境界点かなければ利用１ｉＪ能である。この
場合、予４（す値ａ’ｍ、ｍとしてａ（１）を用いる（
　ａ　（Ｕ）を用いることも可能）。このようなブロッ
クの一例を第５図（ｅ）にその符号語（タイプ０符号語
）と共に示す。

以上のタイプ０〜２の符号語のいずれにても表現できな
いブロックについては、第４図（ｄ）に示すタイプ３の
符号語を用いて表現する。タイプＯ〜２の符号語では１
語で１ブロツクを表わすのに対し、タイプ３の符号語で
は、］ブブロクを表わすのに領域の数だけの符号語を連
結して用いる。］ブブロクに３つの領域がある場合の例
を第５図（ｆ）に示す。この第５図（ｆ）の例では、斜
線の施されていない（例えば最も明るい）領域（第１領
域と呼ぶ）か最初のタイプ３符号語で、粗い斜線部の（
例えば２番目に明るい）領域（第２領域と呼ぶ）が２番
目のタイプ３符号語で、密な斜線部の（例えば最も暗い
）領域（第３領域と呼ぶ）か最後のタイプ３ｎ号語（但
し、Ｂフィルトは存在しない）で、それぞれ表現される
。そして、第１．第２．第３領域のピクセル値の近似値
ａｌ、ａ２．ａ３かそれぞれ下位３ビツト１」で丸めら
れて５ビツトで表現される。また、各領域（ここては第
１．第２領域）に属するピクセルの位置が、２ハイド構
成のＢフィールドで“１”が立っているビット位置によ
り示される。即ち本実施例では、Ｂフィールドの第１バ
イトのビット７〜４の４ビツトをブロック第１行の４ピ
クセルに、第１バイトのビット３〜０の４ビツトをブロ
ック第２行の４ピクセルに、第２バイトのビット７〜４
の４ビツトをブロック第３行の４ピクセルに、第２ハイ
ドのビット３〜０の４ビツトをブロック第３行の４ピク
セルに、それぞれ割当て、値か“］”のビット位置によ
り、対応するピクセルの位置を示すようにしている。最
後のタイプ３符号語で表現される第３領域（密な斜線部
の領域）に属するピクセルは、それまでのタイプ３ｎ号
語（こては最初と２番目の符号語）のＢフィールドで示
されなかった残りのピクセル全てである。

したかって本実施例では、最後のタイプ３符号語（Ｃ／
Ｅフィールドが“１”であるタイプ３符号語）のＢフィ
ールドを省略している。明らかなように、最初のタイプ
３符号語のＣ／Ｅフィールドが“１”である場合には、
その符号語がブロック全体に適用されることになる。

なお、前記実施例では、ブロックを表現する符号語を、
データ構造の簡明さのために、バイトを単位とする可変
語長打・号として構成した場合について説明したか、こ
れに限るものではなく、ビット単位の可変長符号（例え
ばハフマン符号）とか算術符号を用いた構成とすること
により符号ブタ量を一層減らすことかできる。このよう
なビット単位の可変長符号を用いた場合、符号語のタイ
プを識別するのに、参照辺の状況も利用するようにすれ
ば、例えば参照辺（注目ブロックの左隣りのブロックの
右辺と上隣りのブロックの下辺）に境界点がなければ、
注目ブロックはタイプ０で？：１号化できる確率が高く
、そのような確率に応じたエントロピー符号化を行うこ
とにより、前記実施例のように２ビツトの固定のタイプ
指定フィルドでタイプを識別する構成に比べて、符号デ
ータ量を更に減らすことが可能となる。

また白黒画像に限らず、カラー画像に対しても、従来の
ようにＲ，Ｇ、Ｂのそれぞれの画像を対象とすることに
より、本発明を適用できる。更に、カラー画像を従来の
ように輝度信号と色差信号に分離し、後者には更にサブ
サンプリングした上で、それぞれに対して本発明を適用
することも可能である。

［発明の効果］以上詳述したようにこの発明によれば、次に列挙する作
用効果を得ることができる。

■ブロック内のピクセルの値の勾配を表現する画像？〕
号化データ構造としたことにより、−様にピクセル値が
変化する画像に対して従来方式では生じ易かったブロッ
ク歪みを軽減することかできる。このため、符号化（デ
ータ圧縮）された画像を再生し、その再生画像に対して
拡大・縮小処理等を施しても、ブロック歪みのモアレを
生じることが少なくて済む。

■画像の再生（復号）か線形補間によって近似的に行え
るため、線形補間を必要とする画像の拡大・縮小処理が
画像再生と同時に、且つ符号化ブタに対する数値処理と
して直接に行うことができる。

■符号化時に、線形捕間した結果に対して誤差が一定許
容範囲内に入っていることが保証される符号化処理を適
用することにより、拡大・縮小に伴う線形補間で新たに
誤差が入るのを防止することができる。

■符号化時に、注目ブロック中の一部のピクセル値を基
にして符号の候補（符号タイプ）を選び、他のピクセル
値については選んだ候補で近似できたか否かを判定する
たけにしているので、符号化に要する演算量を従来方式
（特に国際標準方式）に比べて著しく減らすことができ
る。

【図面の簡単な説明】

第１図は本発明の基本概念を説明するための図、第２図
は注目ブロック内のピクセルとその周辺ブロック内のピ
クセルを示す図、第３図は本発明の画像符号化処理方法
（ＰＢＰＥ方式）の基本的な処理の流れを説明するため
のフローチャート、第４図は符号語のデータ構造（画像
符号化データの構造）の一実施例を示す図、第５図は第
４図に示す符号語の詳細な意味と具体的な適用例を説明
するための図、第６図は画像符号化のためのブロワ、り
分割とブロック内ピクセルの構成を説明するための図、
第７図はディジタル画像の拡大・縮小原理を説明するた
めの図である。出願人代理人　弁理士　鈴江武彦第図第図ｙ”’ｍｍ −ａ＜ｔ＞第図（４つ３）（ｂ）（ａ）第６因＃、＠　　小　ｊ瓢イ虜しくｂ）（ａ→ 第（支）

Claims

【特許請求の範囲】

（１）画像を隣接しあうピクセルの集合である一定の大
きさのブロックに分割し、上記画像を走査してブロック
単位で逐次的に符号化することによりブロック単位で得
られる画像符号化データの構造であって、符号化の対象となる注目ブロックの辺のうち、符号化さ
れていない未処理ブロックと接する２つの辺でなる前縁
辺のピクセルの値を与えるための符号語を持つことを特
徴とする画像符号化データの構造。
（２）上記符号語が、上記注目ブロックの上記前縁辺を
構成する２つの辺に共通に含まれる特定ピクセルの値を
直接または間接に表わす第１の符号語であることを特徴
とする請求項１記載の画像符号化データの構造。
（３）上記第１の符号語で表わされない残りの上記前縁
辺のピクセルの値は、上記注目ブロックに隣接する既に
符号されている処理済みブロックの辺のうち上記注目ブ
ロックと接する辺でなる参照辺のピクセルの値、および
上記第１の符号語で表わされるピクセル値をもとに、線
形補間によって近似的に復元されることを特徴とする請
求項２記載の画像符号化データの構造。
（４）上記第１の符号語には、上記注目ブロックの上記
前縁辺上に存在し、画像の鋭い輪郭を形成する輪郭線の
一部をなすピクセル境界の位置である境界点位置を識別
するための境界点位置情報が含まれていることを特徴と
する請求項２記載の画像符号化データの構造。
（５）上記第１の符号語で表わされたブロックのピクセ
ル値は、上記注目ブロックに隣接する既に符号化されて
いる処理済みブロックの辺のうち上記注目ブロックと接
する辺でなる参照辺上の境界点位置、および上記境界点
位置情報により示される上記注目ブロックの前縁辺上の
境界点位置に基づいて空間的に補間して得られる境界線
により上記注目ブロックを領域に分割し、各領域毎に補
間処理を行うことにより近似的に復元されることを特徴
とする請求項４記載の画像符号化データの構造。
（６）上記第１の符号語は、上記注目ブロックの上記特
定ピクセルの値が同ブロックに隣接する処理済みブロッ
クの特定ピクセルの値をもとに予測可能な場合に、上記
注目ブロックの特定ピクセルの値とその予測値との差を
表わすことを特徴とする請求項２乃至請求項５のいずれ
かに記載の画像符号化データの構造。
（７）上記第１の符号語は、上記注目ブロックの上記特
定ピクセルの値が予測不可能な場合に、この特定ピクセ
ルの値を同ピクセル値より少ないビット数で近似的に表
わすことを特徴とする請求項６記載の画像符号化データ
の構造。
（８）上記符号語が、上記第１の符号語では上記注目ブ
ロックの各ピクセルの値をを所定誤差範囲内で近似でき
ない場合に適用される第２の符号語であり、ピクセル値
によって分類されるブロック内各領域毎に、その領域の
ピクセル値とその領域に属するピクセルを表わすことを
特徴とする請求項１記載の画像符号化データの構造。
（９）画像を隣接しあうピクセルの集合である一定の大
きさのブロックに分割し、上記画像を走査してブロック
単位で逐次的に符号化するための画像符号化処理方法で
あって、符号化の対象となる注目ブロックの辺のうち、符号化さ
れていない未処理ブロックと接する２つの辺でなる前縁
辺のピクセルの値を調べて、上記注目ブロック全体を符
号化するための符号語の候補のタイプを、上記注目ブロ
ックの上記前縁辺を構成する２つの辺に共通に含まれる
特定ピクセルの値とその予測値との差を表わすタイプ０
、上記注目ブロックの上記特定ピクセルの値とその予測
値との差を表わすと共に、上記注目ブロックの上記前縁
辺上に存在し、画像の鋭い輪郭を形成する輪郭線の一部
をなすピクセル境界の位置である境界点位置を表わすタ
イプ１、および上記注目ブロックの上記特定ピクセルの
値を同ピクセル値より少ないビット数で表わすと共に、
上記注目ブロックの上記前縁辺上に存在する上記境界点
位置を表わすタイプ２の中から選択する第１のステップ
と、上記注目ブロックに隣接する符号化されている処理
済みブロックの辺のうち、上記注目ブロックと接する辺
でなる参照辺のピクセルの値と、上記第１のステップで
選択されたタイプの符号語により表現される上記前縁辺
のピクセルの値をもとに、上記注目ブロックの残りのピ
クセルの値を補間処理により求め、原ピクセルの値との
誤差が所定範囲以下であることを確認するための第２の
ステップと、この第２のステップで誤差が所定範囲以下であることを
確認した場合には上記第１のステップで選択されたタイ
プの符号語を採用し、所定範囲を越えていると判定した
場合には、ピクセル値によって分類されるブロック内各
領域毎に、その領域のピクセル値とその領域に属するピ
クセルを表わすタイプ３の符号語を生成する第３のステ
ップと、を具備することを特徴とする画像符号化処理方法。
（１０）上記第１のステップでは、上記注目ブロックの
上記前縁辺上に上記境界点が存在しない場合には上記タ
イプ０が選択され、上記注目ブロックの上記前縁辺上に
上記境界点が存在し、且つ上記注目ブロックの上記特定
ピクセルの値が同ブロックに隣接する処理済みブロック
の特定ピクセルの値をもとに予測可能な場合には上記タ
イプ１が選択され、上記注目ブロックの上記前縁辺上に
上記境界点が存在し、且つ上記注目ブロックの上記特定
ピクセルの値が予測不可能な場合には上記タイプ２が選
択されることを特徴とする請求項９記載の画像符号化処
理方法。