JP2537246B2 - 画像符号化方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 入力信号の予測誤差信号をベクトル量子化器で量子化
し、エントロピーコーダで可変長符号化して伝送する画
像符号化方式に関し、 エッジ部分を含む入力ベクトルに対し、極性の有無に
かかわらず最適なマッチングが取れるようにすることを
目的とし、 検出されたエッジの個性と位置に応じてベクトル量子
化に使用するコード群又は入力画面を並べ替え更にエッ
ジ部の極性はマッチングをとる前又は後に極性予測によ
り付加されることにより極性情報を受信側に送らないよ
うに構成する。

〔産業上の利用分野〕

本発明は、画像符号化方式に関し、特に入力信号の予
測誤差信号をベクトル量子化器で量子化し、エントロピ
ーコーダで可変長符号化して伝送する画像符号化方式に
関するものである。

画像のフレーム間又はフレーム内伝送符号化を行う場
合に、情報量の圧縮のため、予測画面を生成し入力画面
との残差信号を符号化して受信側に伝送する画像符号化
方式が近年採用されている。この場合の残差信号は量子
化してから符号化されるが、量子化の手法として圧縮効
率の良いベクトル（ブロック）量子化が多く用いられる
ようになって来ており、より一層効率の良いベクトル量
子化が望まれている。

また、この場合、画面の一部を間引き、必要な画像の
み高速で伝送するサブサンプル方式も有用な方式として
注目されている。

〔従来の技術〕

第14図は従来から用いられている画像符号化方式を示
すもので、図中、10は原画を予め決めた間引き方式でサ
ブサンプルするサブサンプラー、１はサブサンプルされ
た画像を量子化するベクトル量子化器、２はベクトル量
子化器１から出力されるマッチングコードのインデック
スを可変長符号化して伝送路に送出するエントロピーコ
ーダ、３はベクトル量子化器１の出力を逆量子化（逆量
子化器は図示せず）して次の入力画面ブロックに対する
予測画面を生成する画面予測器で、サブサンプラー10に
よって間引かれた画面と前フレーム画面とを加えた画面
を補間して伝送画面を再生する補間器35と、補間されて
再生された画面を次のフレームとの差分を取るために記
憶しておくフレームメモリ32とを含むもの、そして５は
ベクトル量子化器１と組み合わされたコードブックであ
る。

この従来方式では、第14図に示すように、例えばｎ次
元の入力ベクトルＸ（1,2,…,n）に対し、予め用意され
たコードブック４の中のコードY_m（1,2,…,n）を順次比
較し、Ｘ（ｉ）とＹ（ｉ）の差（例えば絶対値差、二乗
誤差等）を累積し（絶対値の場合は、Σ|X（ｉ）−Ｙ
（ｉ）｜、その歪（累積値）が最小となるようなコード
Y_m（1,2,…,n）をマッチングしたコードとしてベクトル
量子化器１からインデックスの形で出力する。

〔発明が解決しようとする問題点〕

上記の従来の画像符号方式では、入力ベクトルの振幅
値が大きいエッジ部分も小さい部分もそのままコードブ
ック中のコードの対応する位置で該コードと比較してい
たため、例えば入力ベクトルの中で大きい振幅値を有す
るエッジ部分が幾つか在った時、そのエッジ部分の歪だ
けに注目してみると、その部分の歪は大きいが、コード
の選択（マッチング）方法としては、全体としての歪が
最小のものを選ぶことになるので振幅値の大きいエッジ
部分のマッチングが取れなかったり、或いは反対にエッ
ジ部分のマッチングを取るために振幅値の小さい部分の
マッチングを取るのが困難になる等、振幅値の大きいエ
ッジ部分が全体の歪に与える影響が大きい。

これは特に比較されるベクトル同士の極性が異なる場
合にマッチングによる二乗誤差をとると一層残差が大き
くなってしまうという問題点があった。

従って、本発明は、入力信号の予測誤差信号をベクト
ル量子化器で量子化し、エントロピーコーダで可変長符
号化して伝送する画像符号化方式において、エッジ部分
を含む入力ベクトルに対し、極性の有無にかかわらず最
適なマッチングが取れるようにすることを目的とする。

〔問題点を解決するための手段〕

第１図は上記の目的を達成するための第１の本発明に
係る画像符号化方式を概念的に示したもので、１はベク
トル量子化器、２はエントロピーコーダ、３は量子化器
１の出力から予測画面を生成する画面予測器、４はエッ
ジ部分に相当する値の大きな部分が絶対値で記憶されて
いるコードブック、５は画面予測器３の予測画面におけ
るエッジを検出しその極性を予測するエッジ検出器、そ
して6aはエッジの個数に対応するコードブック４中のコ
ード群をエッジの位置に対応して並べ替え且つ予測され
た極性を付与する制御器であり、ベクトル量子化器１
は、並べ替えたコード群に対してマッチングをとり、画
面予測器３でエッジ位置に対応して並べ替えを行い且つ
該予測極性を付与する。

第２図は上記の目的を達成するための第２の本発明に
係る画像符号化方式を概念的に示したもので、第１図と
同一符号は同一部分を示しており、この第２の本発明で
は、予測誤差信号の画素を該エッジの個数に対応したコ
ードブック４中のコード群のエッジ位置に対応して並べ
替えるとともにその絶対値をとる制御器6aを設け、ベク
トル量子化器１は、該コード群に対してマッチングをと
り、画面予測器３でエッジ位置に対応して並べ替えを行
い且つ該予測極性を付与するものである。

〔作用〕

本発明においては、コードブック４に予め用意したコ
ードには振幅値の大きいエッジに相当する部分から極性
を取り除いて絶対値としているため、エッジ部分の実際
の極性がどのようになっているかを求める必要がある。
このために、極性の予測という機能をエッジ検出器に持
たせている。

この極性予測は次の考え方に依存している。

即ち、第３図（１）〜（４）に示すように入力画面
（実線）と予測画面（破線）には差分があり、この差分
を利用して極性を予測することができる。

これには、２回微分を行う関数であるラプラシアンを
用い、入力画面の或る部分について第３図（１）又は
（２）のように所謂下に凸な値を有しているというラプ
ラシアンは正の値を持ち、第３図（３）又は（４）のよ
うに所謂上に凸な値を有しているとラプラシアンは負の
値を持つ。

ここで、前の再生画面の情報ａ、ｂからｃ＝（ａ＋
ｂ）/2の値、即ちａ、ｂ点の平均値でｃ点の値を補間予
測すると、前のフレームで調べたラプラシアンが正の値
であると、第３図（１）又は（２）のようになり、ｃ点
の補間誤差（入力画面値−補間値ｃ）はおおよそ負の値
となる。一方、前のフレームで調べたラプラシアンが負
の値であると、第３図（３）又は（４）のようになり、
ｃ点の補間誤差はおおよそ正の値となる。

このようにしてエッジ部分の正負を予測して極性を予
測する。また、以上に述べた極性予測は一例に過ぎず、
実施される画像符号化方式によって極性予測の方法は異
なる。

従って、第１図に示した第１の本発明の画像符号化方
式においては、画面予測器３で再生された画面中のエッ
ジ分布をエッジ検出器５によって検出し、且つ検出され
たエッジ部分の極性をエッジ検出器５において予測す
る。制御器6aは検出されたエッジの個数に対応するコー
ド群をコードブック４から読み出し且つ検出されたエッ
ジの位置に合わせて並べ替えるとともにエッジ部分に予
測された極性（正負の符号）を付与する。そして、ベク
トル量子化器１はこれらの並べ替えられたコード群の中
から入力ベクトルのマッチングをとるようにする。画面
予測器３は、制御器6aと同様にエッジの位置に対応して
並べ替えを行い且つ当該エッジ部分に予測極性を付与す
る。

第２図に示した第２の本発明の画像符号化方式におい
ては、制御器6bは、エッジ検出器５で検出されたエッジ
の位置に対応する予測誤差信号としての入力ベクトルを
並べ替えて、検出されたエッジの個数に対応するコード
値の大きいコードブック４中のコード群のエッジ位置と
一致させる。このとき、並べ替えられたエッジ画素の値
から極性を除去して絶対値をとった形でベクトル量子化
器１へ送る。

ベクトル量子化器１はこれらのコード群の中から入力
ベクトルに最も近似したコードを選択する。また、画面
予測器３は、制御器6bと同様にエッジの位置に対応して
並べ替えを行い且つ当該エッジ部分に予測極性を付与す
る。

このように、コードブックの一部のコード群又は入力
ベクトルをエッジの検出結果に応じて並べ替えることに
より、入力のエッジ部分にコードブックのコード値の大
きい部分を当て、エッジでない部分にコード値の小さい
部分を当てるようにしてマッチングを取り易くしている
が、この場合にベクトル量子化器でのマッチング動作に
は極性を除いたベクトル同士を比較しているので、一層
歪を少なくすることができる。

〔実 施 例〕

以下、本願発明に係る画像符号化方式の実施例を説明
する。

第１の本発明の実施例の説明 第４図は第１図に示した第１の本発明の画像符号化方
式の一実施例を示しており、この実施例では、制御器6a
が、コードブック４中の選択されたコード群を並べ替え
る並べ替え部61と、並べ替えたコード群のうちエッジに
対応する部分についてエッジ検出器５で予測された極性
を付与する極性付与部62と、極性の付与されたコード群
を記憶するメモリ63とを含んでおり、画面再生器３は、
選択されたコードを逆ベクトル量子化した後並べ替える
並べ替え部31（逆ベクトル量子化器の機能をも含むも
の）と、並べ替えたコードのエッジ部分に予測極性を付
与する極性付与部34と、予測画面を記憶するフレームメ
モリ32と、フレームメモリ32に記憶された画面データと
並べ替え部31で並べ替えられた極性付与部34で極性が付
与されたコードデータとを加算する加算器33と、加算器
33の出力を補間する補間器35とで構成されている。

また、コードブック４は、例えば第５図に斜線で示す
コードの値の大きい部分（エッジに相当する部分）と斜
線の無い小さい部分（エッジでない部分）とに分けて各
コード群を同一エッジ個数毎に記憶している。即ち、エ
ッジが無い時に使用されるコードをn₀個、エッジが１つ
ある時（値の大きいものをＰ個の画素のうち１個持つも
の）に使用されるコードをn₁個、エッジが２つある時
（値の大きいものをＰ個のうち２個持つもの）に使用さ
れるコードをn₂個、というようにしてエッジがＰ個全て
ある時に使用されるコードをn_pとして用意する。但し、
図示のように必ずしも分けなくてもよく、その場合には
エッジに当たる部分とそうでない部分とが何故にあるの
かを予め決めておく必要がある。

尚、本発明では、このコードブック４の各コードのエ
ッジに相当する斜線部分の値は極性を除去した絶対値で
記憶している。

次にこの実施例の動作を、原画の画面を４×４の16画
素のブロック（サブサンプルされた画素値をまとめて考
えたブロック）に区切って伝送する場合を例にとって第
６図に示し説明図を参照しながら説明する。尚、サブサ
ンプラー10は本発明に不可欠のものではなく、一実施例
として加えたものである。

伝送しようとするブロックは、例えば第６図（１）の
ようになる。また、フレームメモリ32に記憶されている
既に伝送した１つ前のブロックから予測したブロック画
面の画素の値が第６図（２）に斜線で示すようにエッジ
に相当する程大きなものであるとしてエッジ検出器４で
検出されたと仮定する。その第６図（２）に示された例
では、エッジ画素が４つ検出されており、これら16個の
画素をスキャン（走査）する順序を第６図（３）のよう
に予め決めておくと、第６図（２）のブロック画素は第
６図（４）に示すようにイメージ的に表すことができ
る。

一方、第５図に示したコードブック４におけるエッジ
部分が４個のコード群（コードがn₄個ある）の一例を第
６図（５）にイメージ的に示すようなものとすると、値
ａ〜ｄまでの値の大きいエッジ部に相当し、値ｅ〜ｐが
値の小さな部分に相当している。制御器6aの並べ替え部
61では、この第６図（５）に示されたコード群を第６図
（６）に示すように第６図（４）のエッジ位置に対応し
て並べ替える。

そして、極性付与部62で第６図（６）に示したコード
（実際にはコード群）の各値について、エッジ検出器５
で予測された極性を例えば第６図（７）に示すように付
与してメモリ63に記憶する。但し、この時、並べ替えを
行っても各コードのインデックスは元のままであり変ら
ない。

第７図は制御器6aの並べ替えアルゴリズムを示したフ
ローチャートで、入力をＸ（ｐ）（ｐは第６図の例では
16）、コードブック４からのコードをＹ（ｐ）、エッジ
検出器５からのエッジ情報をＥ（ｐ）、このエッジ情報
Ｅ（ｐ）から分かるエッジ個数をｕとし（ステップS
1）、ｉ＝1,j,k＝０を初期値として（同S2）、まず、エ
ッジ情報Ｅ（１）により入力Ｘ（１）がエッジ位置に対
応するか否かをチェックし（同S3）、エッジ位置に対応
しない時にはそのエッジ個数ｕ分だけ後方にずらし（同
S4）、エッジ位置に対応する時にはコードのエッジ部の
先頭に入れる（同S5）。これを16個分実行して（同S6,
7）終了する。

第８図は極性付与部62における極性付与のアルゴリズ
ムを示すフローチャートで、図示より明らかなようにエ
ッジ極性情報Ｕ（ｐ）に従ってエッジ部分のみ極性（＊
で示す）を付与し、メモリ63に格納している。

この後、ベクトル量子化器１ではメモリ63に格納され
たコード群と入力ベクトルとのマッチングを取り、その
選択されたコードのインデックスをエントロピーコーダ
２で符号化して伝送する。

受信側では、第４図に示す画面予測器３での再生動作
と同様であり、並べ替え部31でコードのインデックスに
よりコードブック４から当該コードを読み出し、上記と
同様にエッジ検出器５のエッジ情報に従って並べ替えを
行い、且つ上記の極性付与部62と同様の極性付与部34で
極性付与を行った後、フレームメモリ32に格納されてい
た前画面に加算器33で加算し更に補間器35で平均値補関
して予測・再生画面を生成する。

従って、送信側からは入力ベクトルの並べ替えに伴う
情報及び極性情報は受信側に送る必要はない。

第２の本発明の実施例の説明 第９図は第２図に示した第２の本発明の画像符号化方
式の一実施例を示しており、この実施例では、制御器6b
が、エッジ位置に対応する入力画面ブロックの画素を並
べ替える並べ替え部64と、並べ替えた画素の極性を除去
して絶対値に変換する変換器65と、変換された入力画面
ブロックを記憶するメモリ66とを含んでおり、この点が
第４図に示した第１の本発明の実施例と異なり、その他
の点については第４図と同様であるので説明は省略す
る。

次にこの実施例の動作を、やはり原画の画面を４×４
の画素のブロックに区切って伝送する場合を例にとって
第10図に示した説明図を参照しながら説明する。

伝送しようとするブロックは、例えば第10図（１）の
ようになる。また、フレームメモリ32に記憶されている
既に伝送した１つ前のブロックから予測したブロック画
面の画素の値が第10図（２）に斜線で示すようにエッジ
に相当する程大きなものであるとしてエッジ検出器５で
検出されたと仮定する。この第10図（２）に示された例
では、やはりエッジ画素が４つ検出されており、これら
16個の画素をスキャン（走査）する順序を第10図（３）
のように予め決めておくと、第10図（２）のブロック画
素は第10図（４）に示すようにイメージ的に表すことが
できる。

一方、第５図に示したコードブック４におけるエッジ
画素が４個のコード群（コードがn₄個ある）の場合、第
10図（１）の画素d,f,g,iが第10図（２）に斜線で示す
値の大きいエッジ部に対応し、値ａ〜c,e,h,j〜ｐが値
の小さな部分に対応している。制御器６の並べ替え部63
は、この第10図（５）に第10図（１）の入力画素をイメ
ージ的に示したものを第10図（６）に示すように第５図
に示したコードのエッジ位置に対応して並べ替える。

このようにして並べ替えられた入力ベクトルの値を第
11図（１）にイメージ的に示すようなものとすると、こ
の画面ベクトルは変換器64において第11図（２）に示す
ように極性が除去された絶対値に変換されてメモリ66に
記憶される。

第12図は制御器6bに並べ替えアルゴリズムを示したフ
ローチャートで、第７図のフローチャートと異なるの
は、ステップS4′とS5′であり、これらのステップでは
コードの場合と同様に入力画面の方を並べ替えており、
その他のステップは第７図と同様である。

変換器64での変換アルゴリズムは第13図に示したとお
りであり、エッジに相当する画素のみが極性を除去され
て絶対値（ABSで表す）に変換されている。

この後、ベクトル量子化器１ではメモリ66に格納され
た入力ベクトルとコードブック４のうちから選択された
コード群（検出されたエッジ個数の同じものでエッジ位
置の値が絶対値になっているもの）とのマッチングを取
り、その選択されたコードのインデックスをエントロピ
ーコーダ２で符号化して伝送する。

受信側では、第９図に示す画面予測器３での再生動作
と同様であり、これは第４図の実施例について説明した
動作と同様である。

従って、この実施例においても送信側からは変換器64
の極性変換情報及び並び替えに伴う情報は受信側に送る
必要はない。

また、検出されたエッジの個数により使用するコード
群は変わるが、エントロピーコーダへのインデックスの
種類の数（番号）は変わらない。

〔発明の効果〕

以上のように、本発明に係る画像符号化方式によれ
ば、検出されたエッジの個数と位置に応じてベクトル量
子化に使用するコード群又は入力画面を並べ換え更にエ
ッジ部の極性はマッチングをとる前又は後に極性予測に
より付加されるように構成したので、極性情報は受信側
に伝送せずに済みより一層ミスマッチが少なく歪の少な
い符号化が実現できるという効果がある。

【図面の簡単な説明】

第１図は第１の本発明に係る画像符号化方式の原理ブロ
ック図、 第２図は第２の本発明に係る画像符号化方式の原理ブロ
ック図、 第３図は本発明の極性予測の原理を説明するための図、 第４図は第１の本発明に係る画像符号化方式の一実施例
を示すブロック図、 第５図は本発明に用いるコードブックの構成例を示す
図、 第６図は第１の本発明に係る画像符号化方式の実施例に
おける並べ替えを説明するための図、 第７図は第１の本発明に係る画像符号化方式の実施例に
おける並べ替えを説明するためのフローチャート図、 第８図は第１の本発明に係る画像符号化方式の実施例に
おける極性付与を説明するためのフローチャート図、 第９図は第２の本発明に係る画像符号化方式の一実施例
を示すブロック図、 第10図は第２の本発明に係る画像符号化方式の実施例に
おける並べ替えを説明するための図、 第11図は第２の本発明に係る画像符号化方式の実施例に
おける絶対値変換を説明するための図、 第12図は第２の本発明に係る画像符号化方式の実施例に
おける並べ替えを説明するためのフローチャート図、 第13図は第２の本発明に係る画像符号化方式の実施例に
おける絶対値変換を説明するための図、 第14図は従来方式を示すブロック図、 第15図は従来のマッチング方式の一例を示すフローチャ
ート図、である。 第１図及び第２図において、 １……ベクトル量子化器、 ２……エントロピーコーダ、 ３……画面予測器、 ４……コードブック、 ５……エッジ検出器、 6a、6b……制御器、 10……サブサンプラー。 尚、図中、同一符号は同一又は相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 津田 俊隆 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】入力信号の予測誤差信号をベクトル量子化
   器（１）で量子化し、エントロピーコーダ（２）で可変
   長符号化して伝送する画像符号化方式において、 該量子化器（１）の出力から予測画面を生成する画面予
   測器（３）と、 エッジ部分が絶対値で記憶されたコード群から成るコー
   ドブック（４）と、 該画像予測器（３）の予測画面におけるエッジを検出し
   その極性を予測するエッジ検出器（５）と、 該エッジの個性に対応する該コードブック（４）中のコ
   ード群を該エッジの位置に対応して並べ替え且つ該予測
   極性を付与する制御器（6a）と、 を備え、該量子化器（１）は、並べ替えたコード群に対
   してマッチングをとり、該画面予測器（３）でエッジ位
   置に対応して並べ替えを行い且つ該予測極性を付与する
   ことを特徴とした画像符号化方式。
2. 【請求項２】前記エッジ検出器（５）が、ラプラシアン
   を用いて極性予測を行う特許請求の範囲第１項に記載の
   画像符号化方式。
3. 【請求項３】前記コードブック（４）は、個数に応じて
   値の大きい部分と小さい部分に分けて各コード群を記憶
   している特許請求の範囲第１項に記載の画像符号化方
   式。
4. 【請求項４】入力信号の予測誤差信号をベクトル量子化
   器（１）で量子化し、エントロピーコーダ（２）で可変
   長符号化して伝送する画像符号化方式において、 該量子化器（１）の出力から予測画像を生成する画面予
   測器（３）と、 エッジ部分が絶対値で記憶されたコード群から成るコー
   ドブック（４）と、 該画面予測器（３）の予測画面におけるエッジを検出し
   その極性を予測するエッジ検出器（５）と、 該予測誤差信号の画素を該エッジの個性に対応した該コ
   ードブック（４）中のコード群のエッジ位置に対応して
   並べ替えるとともにその絶対値をとる制御器（6b）と、 を備え、該量子化器（１）は、該コード群に対してマッ
   チングをとり、該画面予測器（３）でエッジ位置に対応
   して並べ替えを行い且つ該予測極性を付与することを特
   徴とした画像符号化方式。
5. 【請求項５】前記エッジ検出器（５）が、ラプラシアン
   を用いて極性予測を行う特許請求の範囲第４項に記載の
   画像符号化方式。
6. 【請求項６】前記コードブック（４）は、個数に応じて
   値の大きい部分と小さい部分に分けて各コード群を記憶
   している特許請求の範囲第４項に記載の画像符号化方
   式。