JPS63224491A - 画像符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、ファクシミリ、ビデオテックス。

ファイリング、コンピュータグラフィックス等の静止画
や、ＴＶ会議、ＴＶ電話等の動画像の圧縮を行なって、
伝送し、蓄積する画像符号化方式に関する。

（従来の技術） 従来、画像信号を効率よく伝送したり、蓄積したりする
ため、入力情報を帯域圧縮し符号化する種々の方式が盛
んに研究されている。これらの方式の中で、フーリエ変
換、アダマール変換、コサイン変換等を用いた線形変換
符号化方式は効率良い方式として知られている。この方
式は入力された画像信号を、まずｎＸｎのブロックに分
割した後、所定の線形変換を施し、変換された信号成分
を量子化し符号化して出力する。そしてこの出力された
信号を受信側で復号、逆量子化し、線形逆変換すること
により復元画像が得られるというものである。

送信側の符号化について、例を挙げて説明すると、例え
ば画像信号をまず４×４サンプルずつブロック化した画
像ブロックを コサイン変換行列を とし、積Ｔ　−Ｘ　−Ｔ”を行う。（これは２次元直交
変換符号化方式の演算例であり、ここでＸの両側の行列
は互いに転置されたものであり同じものを用いている。

）すると、 Ｔ−Ｘ−Ｔ”− となる。

この変換された一種の周波数領域の信号Ｔ−Ｘ・Ｔｔレ
ベル分布にかたよりができる。これに量子化ビット数を のように設定し割り当てれば画像情報が圧縮符号化され
ることになる。

このような直交変換符号化については、その変換行列と
してコサイン変換（他にアダマール変換等）を用いれば
、データ圧縮効率が優れているという報告が数多くなさ
れている。つまり、これは多くの画像について、それぞ
れ自己相関行列を計算し、それらを平均した行列より得
られるＫＬ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）変換行列
がコサイン変換行列とほとんど一致しているためであり
、単一の行列としては事実上最適な、行列となっている
。

しかし、画像自体は局所的に見れば全体の平均とは、大
きく異なっている場合がほとんどであり、コサイン変換
より符号化効率の高い変換行列が多数存在するのもかか
わらず、変換行列として単一の行列を用い、事実上コサ
イン変換が変換行列として最適と見なされてしまってい
た。

−（発明が解決しようとする問題点） このように従来は、２次元コサイン変換が変換行列とし
ては、最適と見なされてしまっており、このコサイン変
換より符号化効率を向上させようとするものはなかった
。

そこで本発明は上記従来の技術における符号化効率をさ
らに向上させる画像符号化方式を提供することを目的と
する。

［発明の構成］ （問題点を解決するための手段） 本発明は画像符号化方式において、変換に先立って２次
元画像ブロックの２次元自己相関行列を計算し、これと
あらかじめ作成されている自己相関行列のパターンとの
比較を行ない、成分ごとの誤差の２乗和が最も小さい自
己相関行列を選び変換を行なうものである。

（作　用） 本発明は画像の２次元的な広がりを利用できる２次元ブ
ロック単位に適応的な線形変換を行なうことにより局所
的にコサイン変換よりも優れた゛変換を少ない計算量で
選択することができるため、どの変換を選択したかを示
す。付加情報を加えても全体として符号化効率が大幅に
向上する。

（実施例） 以下本発明に係る一実施例を図面を参照して詳述する。

第１図は、本発明の一実施例である、符号化装置のブロ
ック図である。カメラ等から入力される画像信号が、入
力端子１０１より入力され、２次元ブロック分割回路１
０２においてブロックのデータＸ　（１，ｊ）にブロッ
ク化される。又、このブロックデータＸ　（１，ｊ）に
対し、演算部１０３において自己相関行列が演算される
。

この演算部１０ｊにおける自己相関行列は、従来ｎ次元
ベクトルｘｍ　（ｘｌ、ｘ２．−、ｘｎ）に対し ）Ｏ”＞３− （但しＴは転置行列を示す。） を演算することによって求められていたが、これをその
まま２次元に拡張するためにはｎＸｎの２次元行列の行
又は列ベクトルを直列に並べ０２次元のベクトルに変形
しなければならなかった。実際には、この方法は可能で
あるが、自己相関行列が０２×ｎ２の２次元ベクトルと
なり演算量が膨大となってしまうという問題があった。

そこで、この実施例では、ｎＸｎの２次元ベクトルを、
ｎ個の行ベクトルｖＲ１とｎ個の列ベクトルｖ２をまず
作成する。このＶ　　、Ｖ、は、ＣＪＲｉ　　　ＣＪ Ｖ　Ｒ，−（Ｘ（１，ｌ）　　、　　　Ｘ（１，２）　
　、−’−’、　　　Ｘ（１，ｎ））Ｖｏｊ−（Ｘ（１
，ｊ）　、　　Ｘ（２，ｊ）　、　−−−−・−、Ｘ（
ｎ、ｊ））となる。そしてこれらのベクトルから自己相
関行列（ＫＲｉ　、ＫＣｊ　）を以下のように求める。

ＫＲ１糟Ｖ　・Ｖ ＲＩ　　　Ｒｉ ＫＣｊ−Ｖ　　−ＶＴ Ｃｊ　　　Ｃｊ さらに、これらの自己相関行列（Ｋ　Ｒｌ、Ｋ　Ｃｊ）
の平均を各々 ＫＲ−ＫＲＩ・・・・・・・・・・・・・・・・・・（
１）ＫＣ−ＫＣｊ・・・・・・・・・・・・・・・・・
・（２）とすれば、ｎＸｎの２次元自己相関行列が、１
つのブロックについて行と列の２つに対して求められる
ことになる。つまり、この演算部１０３におけるＫＲ，
ＫＣは自己相関行列を、行１列ごとに求め平均化したこ
とにより得られる。

この様に求めた自己相関行列からは真のＫＬ変換とは異
なる言わば疑似ＫＬ変換とでも呼ぶべき変換が作成され
ることになる。

そしてこの自己相関行列ＫＲ，ＫＣと、後段で述べるコ
ードブック１０９にあらかじめ記録しておいた複数の代
表自己相関行列との比較が選択演算部１０４においてな
され、１つの行列が選択される。そしてこの選択された
行列のインデックスが変換部１０５を介してコードブッ
ク１１０に入力され、あらかじめ記録された変換行列の
中からこのインデックスに対応する変換行列Ｔ　　、Ｔ
Ｃ が選択され、前記変換部１０５にこの行列ＴＲ１Ｔｃが
送られる。

一方、上記ブロック分割回路１０２からのブロックデー
タＸは、この変換部１０５にも送られ、上記選択された
変換行列Ｔ　　、Ｔ　　を用い、計算Ｃ ・Ｘ−Ｔ　　　が行われ （２次元変換）Ｙ’＝　”　Ｃ（Ｑ）　　　　　Ｒ（Ｐ
）る。そして、この計算結果Ｙが量子化器１０６におい
て量子化され、出力端子１０８より送信される。又、上
記選択演算部１０４において選択されたインデックスは
、他方出力端子１０７より受信側に送信される。

次に上記特徴部分を再度第４図のブロック図及び第３図
のフローチャートを用いて詳しく述べる。

まず第４図において、演算部１０３で、求められた上記
自己相関行列ＫＲ，ＫＣと、コードブック１０９に記録
されたトレーニング画像により、あらかしめ得られた各
々０２個の成分より成る代表自己相関行列ＫＲｐ、ＫＣ
ｇ　　（ｐ、ｑ−ｍｌ、−。

ＮＳ）とを比較し、以下に示すように差の２乗和を求め
、その最小となる代表自己相関行列ＫＲｐ　ＫＣｑｃが
選択される。

Ｒ′ ＫＲｐ　　−Ｍｉｎｌｌ　　ＫＲ−ＫＲｐ　　Ｉｆｐ ＫＣｑ　　＝Ｍｉｎｌｌ　　ＫＣｑ　　Ｉ＋ｑ そしてこの選択された代表自己相関行列ＫＰｐＲＫＣｑ
の固有列ベクトルを今φ　、ψ　（ｋ−１゜ＣＲｋ　　
　Ｃｋ ・・・、ｎ）とした時、 Ｔ　Ｒ（ｐ）ｓ′　　［ψ　Ｒ１’　　ψ　Ｒ２”’　
　”’　　””　　ψ　Ｒｎｎコ ニＣ（ｑ）”　［ψＣ１’ψＣ２”””””ψｃｎ］が
変換行列として変換部１０５〜各々送られる。

そして、前記ブロック化されたデータＸはこの変換部１
０５において、２次元線形変換 Ｙ−Ｔ　　　　−Ｘ−ＴＴ Ｃ（ｑ）　　　　　　　Ｒ（ｐ） が施され、出力される訳である。

すなわち、ここでＸの両側の行列Ｔ　　、Ｔ　　はＲ ２次元コサイン変換のように同じ行列を用いているので
はなく、一般には異なる行列を用いてなされているとこ
ろに特徴を有す。

そこで、あらかじめ記録される上記代表自己相関行列（
コードブック１０９）及び上記変換行列Ｔ　　、Ｔ　　
の作成について第３図のフローチャーＲｐ　　　ｃｑ トを用いて述べる。対象としている画像を十分用意しく
ステップ■）、ｎＸｎブロックごとに上で述べた様に行
１列各々についての自己相関行列を求める（ス妄ツブ■
）。これら自己相関行列の集合についてはベクトル量子
化でトレイニング系列からコードブックを作成する時に
用いられるＬＢＧアルゴリズムを適用して代表自己相関
行列を求めればよい。

具体的には、トレイニング画像に対し、自己相関行列の
十分多くの集合（例えばＫＲｏ、ＫＣｏ（ｅ−１，・・
・、　１０００））　（ステップ■）より代表自己相関
行列の個数（例えばＮ５−１６として）１６個の列と１
６個の行の代表自己相関行列の初期値として行列を各１
６個づつ適当に選択する（ステップ■）。この初期値の
選択としては、例えば１０００個（ｅ−１，・・・、　
１０００）の全領域のＫＲ及び１０００個（ｅ　−１、
−、１０００）　（７）ＫＣをまず重心を通る直線で２
分し、それぞれの重心（２分された行列の成分ごとの平
均で構成される行列）を求め、さらに２分されたものを
２分して、各々について重心を求めると言う操作（一般
にスプリット法と呼ばれる。）を繰り返である（ステッ
プ■）。

記１０００個の全自己相関行列からの距離が最も近いも
のを新たにこの１６個の初期値に割り当ていく。つまり
、１０００個行列を１６個の行列に割り付け、新たな１
６の領域の再分割を施すのである。なぜなら、このスプ
リット法によって分割された１６のブロックは単に重心
を求めるためのもので、必ずしもブロック内の各行列の
この重心からの距離が最小となるとは限らないためであ
る。

そしてさらに上記１６の領域内で新たに重心を求め再び
領域分割を行うという操作を行う。この操作を施して行
くと、代表行列と領域内の行列との誤差（行列の成分と
差の２乗和）の全領域にわたる総和（ｄｌ） る（ステップ■）。

この様にして求めた行と列についての各１６個合計３２
個の代表自己相関行列Ｋ　Ｒ（ｐ、Ｉ）ＫＣ（ｑ”　　
（ｐ、Ｑ”１．・・・、１６）（ステップ■）がブロッ
クのパターンを分類するために用いられる（第４図コー
ドブック１０９中に記録しておく。）。

又、さらにこれら代表自己相関行列Ｋ　Ｒ（ｐ、Ｉ）Ｋ
Ｃ”１）（ｐ、ｑ−１，・・・、１６）から上述したよ
うにそれぞれの固有値、固有ベクトルＴＲ（ｐ）。

Ｔｃ（９，（ｐ、Ｑ−１＋−，１６）を求め（ステップ
■）、上で述べたように疑似ＫＬ変換の集合として、あ
らかじめ第４図コードブック１１０中に登録しておくの
である。

以下のように、本実施例は画像の２次元線形変換符号化
において、変換に先立って２次元画像ブロックの２次元
自己相関行列を計算しこれとあらかじめ作成しておいた
自己相関行列のパターンと比較し、成分ごとの誤差の２
乗和が最も小さい自己相関行列を選択し、これを用いて
選択された変換を前記画像ブロックに施すというもので
ある。

これにより、局所的に従来のコサイン変換よりも優れた
変換を少ない計算量で選択できるため、インデックス情
報を加えても全体として符号化効率が大幅に向上する。

次にこの発明に係る他の実施例について述べる。

第２図は、この実施例を示すブロック図である。

入力端子２０１に入力された画像信号はまず２分され、
一方は前時刻の受信側の復号画面を記憶するフレームメ
モリ（又はフィールドメモリ）２１１の内容と動きベク
トルが検出される検出回路２０２へ送られ、もう一方は
、この検出回路２０２からの出力とフレームメモリ２１
１の信号により可変遅延回路２０３で前画面の内容がシ
フトされ、このシフトされた内容と入力画像信号との差
分をとる差分器２０４に送られる。又、この差分信号は
ブロックごとにパターン分類器２０５で分類され、分類
された信号が送信される。又一方この差分信号はＫＬ変
換器２０６で変換され、量子化器２０１で量子化され符
号゛として出力される。又、この符号は逆量子化器２０
８で逆量子化され逆変換器２０９でＫＬ逆変換され、フ
レームメモリ２１１の前画面の内容と加算器２１０で加
算され前画面の内容が更新されて新たにフレームメモリ
２１１に入力される。

この構成において、分類器２０５とＫＬ変換器２０６の
入力は、上記実施例のように画像ではなく、差分信号で
あるため、性質が異なっている。

このため代表自己相関行列は、前記差分信号より作成さ
れたものを使用する必要があるが、上記と同様の操作に
より求められることは明らかである。

なお上記全ての実施例において、量子化はそのビット配
分を変化させる適応量子化を行なうこともできるし、ま
た量子化の時に複数サンプル一括して量子化するいわゆ
るベクトル量子化を行なうこともできる等、本発明の要
旨を逸脱しない範囲で種々変形可能である。

［発明の効果］ 以上のように本発明によれば実質的に最適とされていた
２次元コサイン変換による符号化効率よりも向上させる
ことができる。

【図面の簡単な説明】

第１図は本発明に係る一実施例のブロック図、第２図は
本発明の係る他の実施例のブロック図、第３図は自己相
関行列及び変換行列を求めるためのフローチャート、第
４図は本発明に係る一実施例を説明するためのブロック
図である。 ベ　　　閃 　　　Ｑ 第２図 第３図

Claims (5)

【特許請求の範囲】
1. （１）入力される画像信号を２次元のブロックに分割す
   る手段と、この手段により分割された各ブロックの特徴
   を抽出するための演算を施す手段と、この手段による演
   算結果に従って、あらかじめ設定された複数個の２次元
   の変換から１つの２次元変換を選択する手段と、この手
   段による選択に応じ、前記ブロック分割された画像信号
   に２次元変換を施す手段と、この手段により変換された
   信号を量子化する手段とを具備することを特徴とする画
   像符号化方式。
2. （２）演算を施す手段は、画像信号の自己相関行列を演
   算することを特徴とする特許請求の範囲第１項記載の画
   像符号化方式。
3. （３）２次元変換を選択する手段は、あらかじめ設定さ
   れた複数個の代表自己相関行列と、前記自己相関行列と
   の成分の誤差の２乗和により、１つの変換のインデック
   スを選択することを特徴とする特許請求の範囲第１項記
   載の画像符号化方式。
4. （４）代表自己相関行列は、多くのトレーニング画像の
   自己相関行列からＬＢＧアルゴリズムにより選ばれた行
   列であることを特徴とする特許請求の範囲第３項記載の
   画像符号化方式。
5. （５）２次元変換は、２次元疑似ＫＬ（Ｋａｒｈｕｒｅ
   ｎ−Ｌｏｅｖｅ）変換であることを特徴とする特許請求
   の範囲第１項記載の画像符号化方式。