JP2547761B2

JP2547761B2 - 画像符号化装置

Info

Publication number: JP2547761B2
Application number: JP6671987A
Authority: JP
Inventors: 良行鈴木; 正広船田; 衞佐藤; 幸夫佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1987-03-19
Filing date: 1987-03-19
Publication date: 1996-10-23
Anticipated expiration: 2011-10-23
Also published as: JPS63232575A

Description

【発明の詳細な説明】〔技術分野〕本発明は、画像データをブロック単位で符号化する画
像符号化装置に関するものである。

〔従来技術〕

フアクシミリ等の画像伝送装置や電子フアイル等の画
像記憶装置においては、伝送効率，蓄積効率を向上する
ために、画像データを圧縮する符号化処理が行われてい
る。この符号化処理としては、モデイフアイド・ハフマ
ン（MH）符号化やモデイフアイド・リード（MR）符号化
等が一般に用いられている。ところで、これら符号化は
白／黒の２値画像データに対して用いることが多く、文
書等の中間調を有しない２値データに対しては圧縮効率
の良い符号化動作がなされる。

しかしながら、写真等の中間調を有した画像を表わす
画像データの符号化に白／黒２値画像用の符号化を用い
た場合には、圧縮効率の良い符号化がなされないことも
あり、また符号化後のデータ量が元のデータ量を超えて
しまうこともある。

従って、高圧縮率を達成するために階調再現性に犠牲
にして符号化すべきデータ量を減らすことが考えられる
が、これによると当然再生画像と原画像との間に歪を生
じ、あまり好まいものではない。

そこで、従来からの白／黒２値画像の符号化方式とは
全く別の考え方を基に、階調性を有したデイジタル画像
データを対象とした高能率符号化方式が種々提案されて
いる。

〔目的〕

本発明は、以上の点に鑑みてなされたものであり、ブ
ロック内の画像の特徴に基いて効率の良い符号化を行う
ことを目的とする。

具体的には、ブロック内にエッジがあるかどうかに応
じて、エッジのあるブロックに対して画質を劣化させる
こと無く、かつ圧縮効率の良い符号化を行うことを目的
とする。

以上の目的を解決するため、本発明の画像符号化装置
によれば、複数の異なる量子化方法により量子化された各量子化
データをブロック単位に符号化する符号化手段（本実施
例の第１図におけるベクトル量子化部44に対応する）を
有する画像符号化装置であって、画像データをブロック
単位で入力する入力手段（同じく第１図における分割部
42に対応する）と、該入力手段により入力された画像デ
ータからエッジの有無を表す多値情報を抽出する抽出手
段（同じく第９図における乗算器４及び平均値算出器５
に対応する）と、該抽出手段により抽出された多値情報
が所定値より大きい場合には、前記ブロック内の画素値
のヒストグラムに２つのピークがあることを考慮し、該
２つのピークが存在している情報を失わない様に、画像
データの量子化を行う第１の前処理手段（同じく第１図
の前処理部43、及び第９図において第７図に示される量
子化を行うROM1〜ROM16に対応する）と、該抽出手段に
より抽出された多値情報が所定値より小さい場合には、
第１の前処理手段より量子化出力後の情報量が少なくな
る様に、画像データの量子化を行う第２の前処理手段
（同じく第１図の前処理部43、及び第９図において第８
図に示される量子化を行うROM1〜ROM16に対応する）
と、前記第１の前処理手段の量子化出力と、前記第２の
前処理手段の量子化出力とを選択的に前記符号化手段に
供給する供給手段（同じく第９図におけるROM1〜ROM16
に対応する）とを有することを特徴とする。

〔実施例〕

以下、本発明を好ましい実施例に基づいて詳細に説明
する。

本発明の基本的な考え方は、符号化すべき画像を所定
サイズのブロツクに分割し、生成したブロツクの平均値
や標準偏差によってそのブロツクの特徴を判別し、その
判別により各ブロツクに応じた符号化をしようというも
のである。

第１図は本発明を適用した画像符号化装置の基本構成
を示す図である。41は符号化すべき画像を帯びた原稿を
CCDイメージセンサ等で光電的に読取り、原稿画像を表
わす画像データＶを出力するスキヤナである。42はスキ
ヤナ41から出力された画像データＶを取り込み、画像デ
ータＶを複数画素からなる所定サイズ（例えば４×４）
のブロツクに分割する分割部である。43は分割部42から
出力される各ブロツクに含まれる画素データの平均値及
び標準偏差等を求めることにより、ベクトル量子化のた
めの前処理を行う前処理部である。44は前処理部43にお
いて前処理された各ブロツクのデータをベクトル量子化
するベクトル量子化部である。

次に、第１図示の分割部42,前処理部43及びベクトル
量子化部44について詳説する。

（分割部）第２図は第１図示の分割部42の構成を示す図である。
第１図示のスキヤナ41は、画像データを１ライン毎に順
次シリアルに出力する。51,52は夫々スキヤナ41から出
力される画像データを４ライン分格納する４ラインバツ
フアであり、半導体ランダムアクセスメモリにより構成
される。ラインバツフア51,52はいわゆるダブルバツフ
ア構成であって、一方のラインバツフア画像データの書
込みを行っている間に他方のラインバツフアから画像デ
ータの読出しを行う。

第３図に４ラインバツフアの格納された画像データを
示す。図の如く、４ラインバツフアには連続した４ライ
ン（ｎ〜ｎ＋３ライン）分の画像データが格納され、こ
の状態で各ラインから４画素分の画素データを順次取り
出すことにより、所定サイズ（４×４）の大きさのブロ
ツクを構成する16画素分の画素データを（x₁〜x₁₆）を
分割出力する。

53はラインバツフア51,52のいずれかの出力を選択す
るセレクタで、セレクタ53で選択された16画素分の画素
データはラツチ54に一旦ラツチされ、ラツチ54は後段の
前処理部43の動作に合わせて画素データx₁〜x₁₆を出力
する。

（量子化器）第４図は、この本発明による画像符号化の考え方を説
明するための図である。ここでは例として『Ａ』の文字
を表わす画像を符号化する場合を示している。

まず、所定サイズのブロツクがエツジを含むかどうか
を各ブロツク内の濃度信号値の標準偏差で判断する。す
なわち標準偏差の小さなブロツクは低コントラストの領
域であり、標準偏差の大きなブロツクにはエツジが含ま
れると判断する。

第４図で、ブロツクB1はブロツク全体が文字『Ａ』を
構成する線に含まれるようなもので、その濃度信号値Ｄ
は第５図（ａ）の如くであり、その標準偏差は小さい。
ブロツクが他の部分に含まれる場合や、写真画のような
低コントラストの画像のブロツクも同様の傾向を示す
が、その平均値Ｍは異なる。

一方、ブロツクB2〜B4は文字『Ａ』の境界、即ちエツ
ジを含むブロツクで、その濃度信号値Ｄは夫々第５図
（ｂ）〜（ｄ）の如くであり、その標準偏差は大きい。
しかしブロツク２〜４のそれぞれ平均値Ｍは、ブロツク
のエツジへかかり方によって図の如く異っている。即ち
ブロツクB2のように線にかかる部分が多いと、濃度の高
い画素が多いので平均値Ｍは大きくなる。反対に、ブロ
ツクB4のように他の部分多いと平均値Ｍは小さい。

そこで、標準偏差および平均値でブロツクを分類す
る。そして各ブロツク内の濃度信号値を対応する平均値
で減算した結果を標準偏差で除算し、分類毎に規格化差
分を求める。この規格化差分のヒストグラムをとると、
第６図に示したようなそれぞれの分類で特徴のあるもの
が得られる。

ブロツクB1のように標準偏差の小さいものは、第６図
（ａ）に示す如く、差分０を中心としてほぼ正規分布す
る。一方、エツジを含むブロツクB2〜B4のヒストグラム
は、第６図（ｂ）〜（ｄ）に示す如く、線部と地肌部に
対応する差分のところにピークを有し、その平均値すな
わちブロツク内に線部が多いか地肌が多いかで、ピーク
となる差分とその度数も変化する。即ちブロツクB2のよ
うに線部が多いブロツクのヒストグラム（第６図
（ｂ））では、線部に対応する差分のところに最大のピ
ークを生じ、地肌に対応するところに２番目のピークを
生じる。その最大ピークは小さい差分のところ（０〜１
×σ）、第２ピークは大きい差分のところ（−１×σ〜
−２×σ）に現われる。

一方、地肌の部分が多いブロツクB4のヒストグラム
（第６図（ｄ））は、ブロツクB2のヒストグラム（第６
図（ｂ））を差分０に対して反転した形となる。また線
部と地肌の割合が等しいようなブロツクB3のヒストグラ
ム（第６図（ｃ））は、±１×σの付近にそれぞれピー
クを生じる。

次に、第６図の如くのヒストグラムの形状に応じて規
格化差分の区間分けをして、０〜３のコード付けをす
る。、そこで、第７図に示すように、ヒストグラムの２つの
ピーク値に対応する規格化差分b_L、b_Uの３分割点b_A、b_B
を求め、これを基準にコード化を行う。即ち０〜３のコ
ードのうち符号化すべき規格化差分値が属する区間に対
応するコードを、符号化コードとして２ビツトコードと
して出力する。即ち規格化差分値をniとすると、ni≦b
₀₁を０、b₀₁＜ni≦b₁₂を１、b₁₂＜ni≦b₂₃を２、b₂₃＜n
iを３と夫々符号化する。尚、区間分けのためのパラメ
ータｂは以下の式によって定める。

b_A＝b_L＋ｃ b_B＝b_L＋2c ｃ＝（b_L＋b_U）/3 b₀₁＝（b_L＋b_A）/2 b₁₂＝（b_A＋b_B）/2 b₂₃＝（b_B＋b_U）/2 以上の式において、b_L,b_Uはヒストグラムにおける２
つのピーク値に対応する規格化差分値を示し、b_L＜b_Uで
ある。復号化の際には、０→b_L,1→b_A,2→b_B,3→b_Uを代
表点として復号される。

一方、標準偏差が小さいブロツクのコード化は、その
ヒストグラムが正規分布に近似できることや、前述した
ように再生像にそれほど影響がないことから、差分０を
中心として０〜２までの３つの区間に分割する。第８図
は、この場合のコード化を示している。第８図における
分割点b₀₁,b₁₂は、統計的手段を用いて求める。即ち、Ｆ（ｎ）をヒストグラムから求めた分布関数とする
と、Ｆ（ｎ）＝1/3,F（ｎ）＝2/3 を満足する点をそれぞれb₀₁,b₁₂とする。また、０〜２
の代表点b_L,b_O,b_Uはそれぞれの区間の期待値とする。

第９図は、第１図示の前処理部43を具体化した構成の
実施例を示したものである。第10図には、第10図構成に
よるブロツク単位での画素の処理過程を示す。本実施例
では、第10図の如くブロツクサイズを４×４の16画素と
している。

第９図で、まず平均値算出器２で各ブロツク内の画素
データx₁〜x₁₆の平均値ｍが算出される。この平均値算
出器２はデータx₁〜x₁₆の加算を行う加算器によって実
現できる。この平均値ｍと各画素データとの減算が減算
器３で実行され、各画素の差分値S₁〜S₁₆が算出され
る。ここで１は平均値算出器２による演算出力と画素デ
ータとの同期をとるための遅延回路であり、遅延回路１
は同期クロツクCLKの１クロツク分、画素データx₁〜x₁₆
を遅延させる。

次に、標準偏差σを算出するために、減算器３により
得られたそれぞれの差分S₁〜S₁₆の２乗S² ₁〜S² ₁₆が乗算
器４で求められる。この乗算器４は乗算結果の書込まれ
たテーブルを有したメモリROMで構成される。５は平均
値算出器２と同様の平均値算出器で乗算器４からS² ₁〜S
² ₁₆を入力するとS² ₁〜S² ₁₆の平均値を求め、この平均値
がすなわち標準偏差σとなる。ここで遅延回路6,7はそ
れぞれの減算器３からの差分値S₁〜S₁₆と平均値算出器
２からの平均値ｍを１クロツク分遅延させて、標準偏差
σの出力との同期をとる。

８〜10は各差分値S₁〜S₁₆に夫々設けられた符号化テ
ーブルを格納したメモリROMであり、遅延回路７からの
平均値m,平均値算出回路５からの標準偏差σ及び遅延回
路６より対応する差分値S₁〜S₁₆が入力される。

メモリROM8〜10は差分値S₁〜S₁₆を標準偏差σで規格
化、即ち各差分値を標準偏差で除算し、この規格化差分
niを平均値ｍと標準偏差σに従って０〜３までの２ビツ
トのコードに符号化する機能を果すもので、入力信号に
対応した符号化コードy₁〜y₁₆を夫々出力するための符
号化テーブルが格納される。第11図はこの符号化の例を
示したものである。ここでは、入力画素データxiは０〜
225までの256階調を有しているものとする。第11図
（ａ）は標準偏差σが20よりも大きい場合で、エツジを
含むブロツクの場合であり、平均値ｍの値に応じて前述
した区間分けのための値ｂが決定する。そして、これに
より入力する規格化差分値niを２ビツトのコードyiに変
換する。尚、パラメータは第７図で定義したものであ
る。

一方、第11図（ｂ）は標準偏差σが20以下の場合で、
低コントラストのブロツクと判断され、この場合は平均
値ｍに拘らず一律に入力する規格化差分値niは２ビツト
コードyiに符号化される。この表のパラメータは第８図
で定義したものである。

この一連の処理は、前述の様に各差分値S₁〜S₁₆に対
応して設けられたメモリROM₁8〜ROM₁₆10で行われる。そ
れぞれのROMは差分値S,平均値m,標準偏差σのそれぞれ
を入力アドレスとして、０〜３の２ビツトコードを出力
データとする。

以上説明したように、分割されたブロツク内の各画素
により直流分（ブロツク内の平均レベル）を分離して得
た交流分（平均値からの差分）を、ブロツク内のコント
ラストを反映するような量（たとえば標準偏差）で正規
化する。そして分離した直流分や特徴量に応じて正規化
差分の範囲を複数区間に分けて、その区間内にある差分
値をもった画素には同一のコードを割り当てて符号化す
るものである。また逆に複合化の際にはその区間内の代
表値を再生値とするものである。これにより高い圧縮率
と高画質の再生像を得ることができる。

以上の実施例においては、分割された各ブロツクのコ
ントラストの特徴量をブロツク内の画素レベルの標準偏
差により判別したが、特徴量の判別はこれに限るもので
はなく、ブロツク内の画素レベルの最大値及び最小値の
差や画素レベルの分布状態を求める等の他の方式により
実行してもよい。またブロツクの大きさは４×４に限る
ものではなく、また画素レベルも256階調以外であって
もよいことは言う迄もない。

また、符号化コードは２ビツトに限らず、区分区間を
増加することにより符号化コードのビツト数も増加する
ものである。尚、区間が多くなるに従って圧縮率が低下
することは言う迄もない。

以上説明した様に、デイジタル画像を複数画素のブロ
ツクに分割し、各ブロツク内の画素を各ブロツクの平均
値及びコントラストに応じて符号化するので、階調性を
有した画像に対して高圧縮率で、且つ画質の劣化のない
符号化を実行できるものである。

（ベクトル量子化部）前述の様に、前処理部44にて各ブロツク毎に前処理さ
れたデータを更に圧縮するために、ベクトル量子化が第
１図示のベクトル量子化部44において実行される。

デイジタル画像データの高能率符号化方式の一つとし
てベクトル量子化が知られている。このベクトル量子化
とは、入力画像のＫ個の画素もまとめてブロツク化する
ことで、これをＫ次元ユークリツド信号空間として定義
し、この空間で生成したＫ次元入力ベクトルを最小歪となる再生へ写像することである。

このベクトル量子化は、従来のスカラ量子化に比べて
効率の良い符号化が実現でき、また同じ圧縮率なら高画
質の再生像を得ることができる。

第12図は、このベクトル量子化器の構成例である。第
12図において、あらかじめ再生ベクトルはコードブツク
ROM64,65に記憶されている。そしてROM64,65に与えるア
ドレスが再生ベクトルのインデツクスとなる。

まず符号化の際には、インデツクス発生器63から出力
されるインデツクスIiが符号用コードブツクROM64のア
ドレスとして与えられる。このROM64の出力として再生
ベクトルが出力され、符号化すべき入力ベクトルとの歪が歪測器61で計算され、歪測度diとして出力され
る。

この歪測度diとしては、が良く使われ、それぞれの応用に適したものが選ばれ
る。尚、後者は良く知られたの距離である。

この歪測度diは、再生ベクトルのインデツクスIiと共
に検索器62に記憶される。そして全ての再生ベクトルの
歪測度diの計算が終了したら検索器62でその歪の最小な
ものを検索し、その最小歪を与えた再生ベクトルのイン
デツクスを符号Icとする。これにより入力ベクトルの符号化がなされる。

一方、復号化の際には、この符号Icを復号用のコード
ブツクROM65のアドレスに入力して、その出力を再生ベ
クトルとする。

しかし、このような全ての再生ベクトルを検索する全
検索方式による符号化では、その歪測度の計算などの処
理量が膨大となり処理速度も遅く、実用化の点で問題と
なっていた。

そこで、このような問題を解決するために、符号化す
べき入力ベクトルの特徴を抽出して行くことで段階的に
検索の範囲を絞り込んで行く、いわゆる木検索法が提案
されている。しかし、この木検索法では、最小歪となる
再生ベクトルを検索できないことがあり、全検索法に比
べて歪が増大するといった欠点があった。

そこで、比較的簡易なハードウエアで実時間ベクトル
量子化可能なデイジタル画像のベクトル量子化器を提案
する。

まず、本実施例におけるベクトル量子化の基本的な考
え方を述べる。

まず、所定サイズのブロツクに分割された符号化すべ
き入力パターンIPを適切な閾値で２値化する。この適切
な閾値とは、たとえば入力パターンの平均値等が考えら
れるが、ここでは特に限定しない。このようにして２値
化したパターンを白黒パターンSPと呼ぶ。この白黒パタ
ーンSPを入力ベクトルとしてベクトル量子化を行う。こ
のベクトル量子化は、再生ベクトルとなる複数通りの白
黒パターンを登録したコードブツクを用意しておいて、
これを白黒パターンSPを基に検索する。

次にベクトル量子化により得られるそれぞれの白黒パ
ターンSP毎に、あらかじめ定められた画素のみを元の入
力パターンIPから抽出する。そして、これらの抽出され
た画素をセツトとし、これを入力ベクトルとして再度ベ
クトル量子化する。尚この画素抽出は、各白黒パターン
SP毎に注目画素を指示するポインターがあらかじめ用意
されていて、これに従って抽出される。

これは白黒パターンSPから入力パターンIPのおおよそ
の構造を抽出して、注目画素以外は固定値として扱うこ
とにより、擬似的に入力パターンの次元を落とし、量子
化を簡易に行うものである。ここでの再生ベクトルの画
素と非注目画素として固定値が割り当てられた画素とか
らなるパターンのブロツクを想定し、この想定されたパ
ターンから最終的な再生ベクトルを得る。

以上の考え方を第13図を用いて具体的に説明する。こ
こで符号化すべき画像はブロツクサイズ４×４の入力パ
ターンIPであって、ブロツクに含まれる各画素は２ビツ
ト４階調を有する。まずブロツクに含まれる16画素のう
ち3,2レベルの画素を１（白）１、０レベルの画素を０
（黒）として２値化し、白黒パターンSPを得る。

この白黒パターンSPを入力ベクトルとしてベクトル量
子化を行い、その再生ベクトルのコードQ₁を得る。この
例では、入力パターンを２値化した白黒パターンSPと同
じ白黒パターンがコードブツクに登録されていたものと
する。

次に白黒パターンSPに関して予め定めされた白の画素
と黒の画素のそれぞれについて、抽出すべき６画素を指
示するための注目画素パターンCWP及びCBPが読み出され
る。この画素パターンCWP及びCBPをマスクパターンとし
て、入力パターンIPから白黒それぞれ６画素づつ抽出さ
れる。尚、この注目画素パターンは画像エツヂ部の再生
を考慮して、白黒パターンのエツヂ部を含む様に設定さ
れる。この６画素の要素とするベクトルWV,BVを入力ベ
クトルとして再度ベクトル量子化を行い、再生ベクトル
のコードQ₂を得る。

第13図では、入力パターンIPの各画素が２ビツトであ
るために、抽出された画素レベルは黒に関しては0,1、
白に際しては3,2でどちらも２通りのレベルしか有して
おらず、１ビツト要素と考えることができる。従って、
この例では抽出された12画素分をまとめて入力ベクトル
として量子化を行う。

もちろん更に多くの階調を有するような入力パターン
の場合には、黒，白それぞれについて量子化を行ってそ
れぞれの再生ベクトルのコードを求めることも出来る。
すなわち、これらの構成さらには注目画素の画素数など
は、ハードウエアを構築する際の条件により、たとえば
入力画素の階調数などから決定される。

そして最後に、前述の如くして得られたそれぞれのコ
ードQ₁,Q₂とから最終的な再生パターンのコードＱが生
成される。

第14図は以上のベクトル量子化を第１図示の符号化装
置に用いるための回路構成の実施例である。

前述の如く、前処理部43からは、４×４のブロツク毎
に前処理された16画素分のデータy₁〜y₁₆が入力され
る。そしてyiは256階調の画像データをブロツクの平均
値，標準偏差等を用いて圧縮処理して得た０〜３の４階
調データである。従って第13図の説明と同様に第14図示
回路への入力パターンは４×４＝16画素のブロツクに分
割され、各ブロツクに含まれる画素は２ビツト４階調で
ある。第15図に示したように16画素のそれぞれにＡ〜Ｐ
までラベルを付け、また２ビツトの上位ビツトをA₁、下
位ビツトをA₀の如く、各画素ラベルに１と０の添字を付
けて表わす。

まず、入力パターンIPに対する白黒パターンSPの検索
は、再生ベクトルのテーブルを有したROM11でなされ
る。ここで第13図のように、画素レベルの0,1を０と
し、2,3を１として２値化すれば、２値化結果はＡ〜Ｐ
の各画素の上位ビツトA₁〜P₁に対応する。従って、この
A₁〜P₁を入力ベクトルとしてROM11のアドレスに与え
る。

このROM11には、入力ベクトルA₁〜P₁に対する最小歪
となる白黒パターンのコードをテーブルとして記憶して
おく。即ち、このROM11には再生パターンとしての白黒
パターンが全ての白黒パターンに対して記憶されている
わけではなく、入力ベクトルA₁〜P₁の取り得る2¹⁶通り
のパターンのうち、いくつかを同一コードに対応させる
ことにより2⁵通り、即ち５ビツトの黒，白パターンのコ
ードとして出力する様にテーブルが形成される。すなわ
ち合計32パターンの黒，白パターンがROM11のコードブ
ツクに登録されている。

次にROM11からの５ビツトのコード出力は、ラツチ12
でシステムの同期クロツクCLK−Ｏで同期がとられた後
に、黒画素用の注目画素を指示するポインタ14と白画素
の注目画素を指示するポインタ15のアドレスに入力され
る。

これらのポインタ14,15は夫々ROMで構成され、各ROM
にはそれぞれの白黒パターンSPについて、第13図で説明
した様な、注目画素に相当するビツトに対応して１をそ
うでないビツトには０を出力するようなデータが記憶さ
れており、この実施例では１パターンが16画素なので16
ビツトの出力となる。そして白画素の領域から６画素、
黒画素の領域から６画素ずつ抽出する。従って白画素及
び黒画素の夫々に対して16ビツトのうち６ビツトが
“1"、残り10ビツトが“0"のデータが各ポインタ14,15
から出力される。

このポインタ14,15の出力に従って入力パターンIPか
ら画素データを抽出する。ここにおいて、第13図の例で
説明したように、抽出される画素データとしては黒領域
では0,1、白領域では2,3であり、夫々２値データとして
取り扱える。従って、それぞれの画素データを演算器21
により簡単なビツト演算をして１ビツトの入力パターン
に変換する。すなわち黒用の入力パターンとしては画素
Ａに関して_１＊A₀（１→１、0,2,3→０となる）、一
方白用の入力パターンとしては_１＊A₀（２→１、0,1,
3→０）の如くの演算を全画素Ａ〜Ｐに示して行い、そ
れぞれ１ビツトのデータとする。

この様に演算器21により１ビツトのデータに変換され
た黒用，白用のパターンからポインタROM14,15の出力に
従って夫々６画素のデータを抜き出して、６ビツトのデ
ータを抽出するのがアレンジヤ16,17である。このアレ
ンジヤ16,17の動作を下の例を使って具体的に説明す
る。下の例は第13図における黒画素に対する動作を示し
たものであり、白画素に対しても同様の動作がなされ
る。

第13図示の白黒パターンSPのコードがポインタ14に印
加されると、そのコードに対応してポインタ14からH,K,
L,N,O,Pが１の16ビツト出力がなされる。ポインタ14の
出力より注目画素はH,K,L,N,O,Pの６画素であり、それ
に対する入力パターンに対して演算器21で上述演算を施
した黒用入力パターンはＨ→1,K→1,L→0,N→1,O→0,P
→０であるから、アレンジヤ16の出力は110100という６
ビツトの出力となる。このアレンジヤ16,17はマルチプ
レクサにより実現することができる。

このようにしアレンジヤ16,17により抽出された黒画
素及び白画素の夫々に対する６ビツトの注目画素は、そ
れぞれラツチ18,19でシステムロツクCLK−Ｏにより同期
がとられる。そしてラツチされたデータを入力ベクトル
としてベクトル量子化が行われる。

このベクトル量子化は、ROM11による白黒パターンの
量子化と同様にROM20にあらかじめ再生ベクトルのコー
ドをテーブルと記憶させておくことで行う。すなわちラ
ツチ18,19で同期をとった黒および白の注目画素の各６
ビツトの抽出データとラツチ13で同期をとった５ビツト
の白黒パターンのコードをROM20のアドレスラインに入
力して、出力として再生パターンのコードQ₂を得る。そ
してこれと白黒パターンのコードQ₁を合わせて第16図の
如くの再生パターンのコードＱとする。

以上の様にして、階調性を有する画像データをブロツ
ク毎にベクトル量子化を用いて符号化することができ
る。また符号化すべきパターンの中で特徴的な部分を抽
出したものを符号化の基とするので、符号化の基となる
データ量の削減を可能とするとともに、パターンの特徴
を適した符号化が高速に実行可能となる。

尚、本実施例においては、ブロツクサイズを４×４、
入力パターンの画素が４階調（２ビツト）、また注目画
素パターンにより抽出する画素を黒，白それぞれ６ビツ
トとしたが、これらの数値にとらわれることなく、具体
化する場合のシステムに応じて最適な値を設定すること
は言うまでもなく、それに応じて他の数値も適宜変更さ
れるものである。

また、第14図示の本実施例においては、注目画素パタ
ーンの量子化を黒，白と合わせて１つのROM20により行
ってコードQ₂を得たが、第17図に示したように２つのRO
M23,22を設け、黒の注目画素と白の注目画素をそれぞれ
別に専用ROMによりベクトル量子化してそれぞれ２つの
コードQ₂₁,Q₂₂を得て、これと白黒パターンのコードQ₁
とにより再生パターンのコードＱを得ることもできる。
この方法は入力パターンの階調数が多い場合や、注目画
素が多い場合に有効である。尚、第17図の他の構成は第
14図示のものと同じである。

以上説明したように、階調性を有するデイジタル画像
の入力パターンを適当な閾値で黒，白の２値パターンと
することで第１の検索を行い、次にその黒，白パターン
によってあらかじめ定められた注目画素のみを抽出して
第２の検索を行うことで、比較的簡単なハードウエアで
実時間処理可能なベクトル量子化器を構成することがで
きる。

また、第１の検索として、入力パターンを黒，白パタ
ーンにして検索するので、入力画像が文字画のようなエ
ツジを多く含む画像に対しては有効である。これは、こ
のようなコントラストの強い画像に含まれるブロツクの
２値化パターンは、特定のパターンに集中するために傾
向があって、再生ベクトルを減して圧縮率を上げても画
質を保つことができるからである。

以上説明した様に、スキヤナから得られた階調性のあ
る画像データに対して、所定サイズのブロツク毎に前処
理部43において、各ブロツクの画素データの平均値や標
準偏差値等の特徴パラメータを求め、それらパラメータ
を用いて各ブロツクの画素データを少ない階調データに
変換する。そして更に、前処理部43において前処理され
た画素データに対してベクトル量子化をベクトル量子化
部44にて実行することにより、画像の階調再現性を良好
に、高圧縮率の符号化を達成することができる。

尚、本実施例の如くの前処理部43とベクトル量子化部
44を組合わせて符号化装置を構成する必要はなく、それ
ほど圧縮効率を要しない場合は、前処理部43又はベクト
ル量子化部44のみにて画像データの符号化を実行しても
よい。また本実施例の前処理部43と他の量子化部をベク
トル量子化部44に代えて組合せてもよいし、逆に本実施
例の前処理部43に代えて他の前処理部と本実施例のベク
トル量子化部44を組合せて符号化装置を構成してもよ
い。

（画像編集）以上説明してきた如く、デイジタル画像を所定サイズ
のブロツクに分割し、そのブロツクの画像パターンをブ
ロツク単位で符号化すると、画像を符号化したままの状
態で比較的容易に画像の移動，回転などの画像処理をす
ることができる。それは１画面の画像を複数のブロツク
に分割し、ブロツク単位で符号化してあるので、他のブ
ロツクに影響を与えずにそのブロツクだけ処理が独立し
て行えるからである。

しかし、ここで気を付けなければならないことは、回
転の処理をする場合、あくまでもブロツク単位で処理が
されただけで、このまま復号化してもその再生像は完全
でないことである。

これを第18図を使って説明する。第18図で０がオリジ
ナルの画像とすると、これをブロツク単位で符号化して
時計方向に90度回転する例を示している。まずオリジナ
ル画像０は４×４のブロツクサイズの４つのブロツク01
〜04に分割される。そして、それぞれのブロツク01〜04
のパターン符号器31によってB₁₁,B₁₂,B₂₁,B₂₂に符号化
し、メモリ32に記憶する。ここで時計方向に90゜回転す
るためには、回転処理がない場合におけるメモリ32から
の読出しをB₁₁,B₁₂,B₂₁,B₂₂という順番だとすれば、第1
8図に示したようにB₂₁,B₁₁,B₂₂,B₁₂という順番でメモリ
32からの読出しを行う。

しかし、これを復号器33でそのまま再生した像R₁は、
オリジナル０を時計方向に90度回転した像にはなってい
ない。これはブロック位置は確かに回転されているが、
各ブロツクの内部がそのままのためである。従ってブロ
ツク内部を同じように時計方向に90度回転させて、初め
て完全な再生現象R₂を得ることができる。このために復
号器33で復号化されたデータを回転器34でそれぞれの処
理内容に応じて処理し、各ブロツク内の画素の並び換え
をしなければならない。

即ち、第19図に示す如くブロツクサイズが４×４であ
り、ブロツクを構成する画素位置をＸ（i,j）で示すと
すると、ブロツクを構成する各画素に対して、回転器34
において以下の如くの位置変換処理を必要とする。

ｘ（i,j）→ｘ（j,5−１） 90度回転 →ｘ（５−i,5−ｊ）180度回転 →ｘ（５−j,i） 270度回転 →ｘ（i,5−ｊ）鏡像 →ｘ（j,i） 90度回転＋鏡像 →ｘ（５−i,j） 180度回転＋鏡像 →ｘ（５−j,5−ｉ）270度回転＋鏡像回転方向は時計方向、鏡像はｉ軸に対してとる。

しかし、このような処理をハードウエアで、しかもリ
アルタイムに実行することは困難である。また画像の処
理内容に従ってブロツク内の画素の処理の仕方も換えな
ければならないので、この問題は大きくなる。

そこで、画像の回転や対称処理に適したデイジタル画
像の符号化方式を以下に説明する。即ちブロツクの符号
をブロツクのパターンを表わすコードと、そのパターン
の回転や対称を表わすコードで構成する。こうすること
でブロツク内の回転や鏡像の処理を符号の回転・対称の
モードを表わすコードに処理を施すことで、符号そのも
のを回転したパターンの符号に変えるものである。

この様な符号化方式の概念を説明したのが第20図であ
る。

オリジナル画像０は４×４のブロツクに分割されて、
それぞれのブロツクは符合器61によって、第１図に示し
た符号化方式に従ってブロツクのパターン構造を表すパ
ターンコードと、そのパターンの回転・対称の状態を表
わす状態コードとを有するブロツクコードに符号化され
る。このブロツクコードがメモリ62に記憶される。

そして、ここでも画像を時計方向に90度回転するとす
るには、回転処理を要しない場合の読出し順B₁₁,B₁₂,B
₂₁,B₂₂に対して、メモリ62から各ブロツクコードをこの
処理のために、B₂₁,B₁₁,B₂₂,B₁₂の順番で読み出すとと
もに、回転器65で各ブロツクコードの回転モードを表わ
す状態コードに処理を施して、ブロツクコードそのもの
をオリジナルのブロツクのパターンを90度回転したパタ
ーンのブロツクコードへと変換する。

このようにして、回転処理されたブロツクコードを復
号器65で復号して像を再生すれば、オリジナル０の90度
回転像Ｒを得ることができ、ブロツク内の各画素に対す
る個別の処理は不必要となる。

ところで、デイジタル画像のブロツク符号化方式の中
で、ブロツクのパターンを符号化する方式の代表的なも
のとして、前述の様にベクトル量子化による符号化方式
が知られている。このベクトル量子化は、前述の様にブ
ロツクの画素をベクトルの要素として考えて、４×４の
ブロツクなら入力画像のブロツクを16次元ベクトルとし
てとらえる。そして同じ16次元の空間でいくつかのベク
トルを再生ベクトルとして登録して、入力ベクトルを歪
が最小となるような再生ベクトルへ写像する。たとえば
入力画像が１又は０しかとらない２値画像とすると４×
４のブロツクには2¹⁶通りのパターンが存在するが、異
なるいくつかのパターンに同一コードの割付ける。従っ
て再生像のパターンとして例えば2⁸通りのパターンを登
録すれば、情報量としては16ビツトから８ビツトへと1/
2にすることができる。

尚、再生画像の歪を更に許容できる場合には、2¹⁶通
りのパターンを2⁵通りのパターンに圧縮してもよい。

このベクトル量子化に際し、符号化の際にはブロツク
のパターンは再生ベクトルを示すアドレスとして符号化
される。またハードウエアとして実現する際には第12図
や第14図に示した様に符号化或いは復号化のための変換
テーブルを記憶したメモリROM等により写像を比較的容
易に実現することができる。このようにベクトル量子化
による符号化は、ブロツクのパターン構造を符号化する
方式ととらえることができる。

そして、前述の様にこのような符号化において、パタ
ーンの構造を表すパターンコードと、そのパターンの回
転・対称の状態を表す状態コードとによりブロツクのパ
ターンを表現して符号化するものである。これは再生パ
ターンを登録する際に、回転・対称処理により同一パタ
ーンとなる複数のパターンのうちの１つのパターンを基
本パターンとして考え、この基本パターンを回転・対称
処理して得ることのできる複数のパターンを表すパター
ンコードは基本パターンのものと共通とし、その回転・
対称モードを表す状態コードを基本パターンと表すパタ
ーンコードとを合わせる。これにより状態コードのみを
変更することにより、例えば所望の角度回転したパター
ンのコードを得ることができる。

第21図は、以上の概念に基づく符号化の具体例であっ
て、４×４のブロックの画像を例えば８ビットで符号化
する場合を示し、８ビツトのブロツクコードのうち上位
ビツトに画像パターンを示すパターンコードPC（このパ
ターンコードPCは第16図に示したコードＱを用いる）
を、また下位３ビツトに回転・対称のモードを表わす状
態コードSCを割り当てる。尚、この例では2¹⁶通りのパ
ターンが2⁵通りのパターンコードに圧縮しているが、圧
縮率に応じてパターンコードPCのビツト数は増減するも
のである。

第22図は、第21図示のブロツクコードにより符号化さ
れている画像BPを時計方向に90度回転する動作例を示す
もので、画像BPに対応したパターンコードPCを「1111
1」とし、また画像BPを基本パターンとして登録してあ
るとすると。前述の如く、基本パターンを表わす状態コ
ードSCを“000"とすれば、基本パターンのブロツクコー
ドは“11111000"となる。これを90度回転させたパター
ンについては、状態コードSCとして時計方向への90度回
転を“001"とすれば、この回転処理後のパターンBP¹を
表わすブロツクコードは“11111001"となる。

この時、この回転・対称モードを表わすコード付けを
以下の様に行うことで、状態コードSCそのものを再生ベ
クトルとして利用することができる。そのためには、状
態コードSCを基本パターンに対する絶対的な回転・対称
の状態を表わすだけのコードとしてとらえるのではな
く、相対的な回転・対称の状態を表わすコードとする。
こうすることで、もとの状態コードSCが基本パターンに
対してどのような状態にあっても同一の処理とすること
で、処理前と処理後では相対的に同一の状態を作り出す
ことができる。

以下に状態コードSCの例を示す。また、第23図に状態
コードSCによる画像の状態遷移図を示す。

基本パターン 000 90度回転 001 180度回転 010 270度回転 011 鏡像 111 90度回転＋鏡像 110 180度回転＋鏡像 101 270度回転＋鏡像 100 即ち、基本パターンを示す状態コードSCを000とし、
８つの状態を上述の様に３ビツトのコードで表わす。そ
して第23図の状態遷移図に示すように、８つの回転対称
の状態間に規制性をもたせてある。

すなわち、３ビツトの状態コードSCのうち最上位ビツ
トはそのままで下位２ビツトに１を加えることで（処理
CW）、そのパターンを右（時計）方向に90度回転させた
パターンのコードにすることができる。また逆に最上位
ビツトはそのままで下位２ビツトから１を引くことで
（処理CCW）、左（反時計）方向にパターンを90度回転
させることができる。さらに状態コードSCの３ビツトの
各ビツトを反転させる（０なら１に、１なら０にする
（処理Ｍ））ことで、そのパターンの鏡像とすることが
できる。

このようなコード化をすれば、ベクトル量子化のよう
な符号化の際に、入力ブロツクを再生ベクトルへ写像す
るのに基本的パターンとか、それを何度回転させたパタ
ーンとかいうようなことを意識せずに、すべて同一レベ
ルの再生ベクトルとして扱うことができる。尚、この時
注意しなければならないことは、ある基本パターンを回
転・対称処理して得られるパターンを再び基本パターン
としないことである。

第24図は、状態コードSCの処理を実現するための第20
図示の回転器65の詳細な構成例である。C₂,C₁,C₀は第22
図で示した回転・対称モードを表すビツトの状態コード
SCである。

またR₁,R₀はパターンの回転角、またＭは鏡像処理の
有無を示す信号であって、例えばキーボードやデジタイ
ザ等の入力装置を用いたオペレータからの画像処理指令
に従った信号である。信号Ｍが“1"で状態コードSCの３
ビツトの反転、即ち、鏡像処理を指示する。また信号
R₁,R₀の組合わせにより以下の様な処理を指示する。

71は２ビツトの加算器で、入力する状態コードSCのう
ちの下位２ビツト（C₁,C₀）を前述の信号R₁,R₀により回
転処理するもので、具体的にはC₁C₀＋R₁R₀の加算動作
し、加算結果の下位２ビツトをY₁Y₀として出力する。

72〜75は入力信号のレベルを反転するインバータ、76
〜81はアンドゲート、82〜84はオアゲートである。状態
コードSCの上位１ビツトのC₂及び加算器71の２つの出力
Y₁,Y₀は夫々インバータ72〜74により反転されてアンド
ゲート76,78,80に入力され、またC₂,Y₁,Y₀はそのままア
ンドゲート77,79,81に入力される。

アンドゲート76,78,80には信号Ｍが入力され、またア
ンドゲート77,79,81には信号Ｍをインバータ75で反転し
た信号が入力される。

従って、信号Ｍが“0"の場合はアンドゲート77,79,81
の入力、即ちC₂,Y₁,Y₀が夫々オアゲート82,83,84を通し
てＣ′₂,C′₁,C′_０として出力される。また信号Ｍが
“1"の場合はアンドゲート76,78,80の入力、即ちC₂,Y₁,
Y₀を反転した値が夫々オアゲート82,83,84を通してＣ′
₂,C′₁,C′_０として出力される。この様にして、加算器
71にて回転処理された状態コードSCが鏡像処理される。

以上の如く、第24図示の回転器65により、状態コード
SCが処理指令に従って変換される。尚、ブロツクコード
のうちパターンコードは回転器65では何ら処理されな
い。

この様にして処理された状態コードSC及びパターンコ
ードPCを含むブロツクコードは、第20図示の復号器にお
いて、前述した如くの変換テーブルの検索技術を用いて
画像パターンに復号される。

以上説明した実施例では符号化のブロツクを４×４と
したが、これに限るものではなく、また符号化すべき画
素も白／黒の２値に限らず、階調性をもつものであって
もよい。またパターンコードは５ビツト、状態コードは
３ビツトに夫々限らず、圧縮率や処理内容に応じてビツ
ト数は増減するものである。

以上説明したように、ベクトル量子化のようなブロツ
クのパターンを符号化する際に、ブロツクの符号をパタ
ーンを表わすコードとそのパターンの回転および対称の
状態等を表すコードとから構成することで、符号化した
状態で回転・対称のような処理をする際にブロツク内の
画素の処理も符号に簡単な操作を施すことで高速に実現
することができる。

また、ベクトル量子化のように、その再生像に歪を生
じる符号化方式においては、その回転・対称のブロツク
は必ず存在するから、どのような回転・対称をしても、
その再生像の間では画質の差が生じず、たとえば90゜回
転した像も180゜回転した像も画質としては全く同一の
ものを得ることが出来ることは、実用上大きなメリツト
である。

以上、本発明を好ましい実施例について説明したが、
本発明はこれに限定されるものではなく、クレームの範
囲内で種々の変形、変更が可能である。

〔効果〕

以上説明したの様に、本発明によれば、ブロック内に
エッジがあるかどうかを標準偏差をもとに決定し、符号
化の前処理の量子化においてエッジがあると考えられる
画像に対しては画質の劣化を抑える量子化を行い、エッ
ジが無いと考えられる画像に対しては符号化効率が良く
なるための量子化を行うことにより、結果的に、エッジ
のあるブロックに対して画質を劣化させること無く、か
つ圧縮効率の良い符号化を行うことができる。

【図面の簡単な説明】

第１図は本発明を適用した画像データの符号化装置の基
本構成を示す図、第２図は分割部の構成例を示す図、第
３図はラインバツフアに格納された画像データを示す
図、第４図は符号化すべき画像例を示す図、第５図
（ａ）〜（ｄ）は各ブロツクの画素レベルを示す図、第
６図（ａ）〜（ｄ）は各ブロックのヒストグラムを示す
図、第７図及び第８図は符号化コードの対応を示す図、
第９図は前処理部の構成例を示す図、第10図は第９図示
回路を動作例を示す図、第11図（ａ），（ｂ）は符号化
区分を示す図、第12図はベクトル量子化器の構成例を示
す図、第13図はベクトル量子化部の動作例を示す図、第
14図は第13図示の動作を実行する回路構成の実施例を示
す図、第15図はブロツク内の画素を示す図、第16図は符
号化コードの例を示す図、第17図は回路構成の他の実施
例を示す図、第18図は画像の回転処理を示す図、第19図
は画像ブロツクを示す図、第20図は本発明による回転処
理の概念を示す図、第21図は符号化に用いるコードの例
を示す図、第22図は画像処理の一例を示す図、第23図は
状態遷移図、第24図は回転器の構成例を示す図であり、
41はスキヤナ、42は分割部、43は前処理部、44はベクト
ル量子化部である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者佐藤幸夫東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (56)参考文献特開昭62−25577（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】複数の異なる量子化方法により量子化され
た各量子化データをブロック単位に符号化する符号化手
段を有する画像符号化装置であって、画像データをブロック単位で入力する入力手段と、該入力手段により入力された画像データからエッジの有
無を表す多値情報を抽出する抽出手段と、該抽出手段により抽出された多値情報が所定値より大き
い場合には、前記ブロック内の画素値のヒストグラムに
２つのピークがあることを考慮し、該２つのピークが存
在している情報を失わない様に、画像データの量子化を
行う第１の前処理手段と、該抽出手段により抽出された多値情報が所定値より小さ
い場合には、第１の前処理手段より量子化出力後の情報
量が少なくなる様に、画像データの量子化を行う第２の
前処理手段と、前記第１の前処理手段の量子化出力と、前記第２の前処
理手段の量子化出力とを選択的に前記符号化手段に供給
する供給手段を有することを特徴とする画像符号化装
置。