JP2829954B2 - 画像信号の高能率符号化装置及び方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、テレビジョン信号等の画像信号の高能率
符号化装置及び方法、特に、サブサンプリングを用いる
ものに関する。 〔従来の技術〕 ディジタルビデオ信号を伝送する場合に、伝送するデ
ータ量を元のデータ量に比して圧縮する方法として、サ
ブサンプリングによって画素を間引き、サンプリング周
波数を低くするものが知られている。サブサンプリング
の一つとして、画像のデータが1/2に間引かれ、サブサ
ンプリング点と、補間の時に使用するサブサンプリング
点の位置を示す２ビットのフラグとを伝送するものが提
案されている。ディジタルビデオ信号の１画素データが
８ビットの場合、フラグの２ビットを加えると、１画素
当りが５ビットとなり、圧縮率が（5/8）となる。 この従来のサブサンプリングは、サブサンプリングの
パターンが常に同じであるので、画像中で物体の輪郭の
ような部分では、復元画質の劣化が目立つ問題があっ
た。特に、サブサンプリングのレートを1/2より高くす
ると、画質の劣化が著しい欠点があった。 本願出願人は、上述の問題点を解決するために、特願
昭61−110098号明細書に記載されているように、１枚の
画像を多数の２次元ブロックに分割し、このブロック内
の複数の画素データの最大値と最小値との差（ダイナミ
ックレンジ）を求め、ブロックのダイナミックレンジに
応じてサブサンプリングの周期を可変する符号化方法を
提案している。即ち、ダイナミックレンジが小さいブロ
ックに関しては、平面的な画像と判断して、サブサンプ
リングの周期を例えば（1/8）のように長くし、また、
ダイナミックレンジが比較的大きいブロックに関して
は、変化がある画像と判断して、サブサンプリングの周
期が（1/2）とされ、更に、ダイナミックレンジが極め
て大きいブロックに関しては、変化が激しい画像と判断
して、サブサンプリングがなされない。 〔発明が解決しようとする問題点〕 上述のように、ダイナミックレンジに応じてサブサン
プリングの周期を選択的に切り替える高能率符号化装置
は、ブロックの単位でサブサンプリングの周期が設定さ
れるので、ブロックの単位で復元画像の画質の良否が発
生し、ブロックの歪が目立つ欠点があった。また、サブ
サンプリングの周期として選択できる種類は、限界があ
り、画像の特徴に対する適応性が不充分であった。 従って、この発明の目的は、ブロック単位の劣化が生
ぜず、また、画像の特徴に適応した任意のサブサンプリ
ングの密度を形成でき、良好な復元画像が得られる画像
信号の高能率符号化装置及び方法を提供することにあ
る。 〔問題点を解決するための手段〕 この発明は、時間的又は空間的な配列を有する複数の
画素中で規則的に位置し、必ず伝送される、基本画素を
使用して垂直方向又は水平方向の第１の密度の第１の補
間予測を行う補間予測手段と、 第１の補間予測の予測誤差をしきい値と比較し、第１
の補間予測の予測誤差がしきい値よりも大きい時には、
原画素信号を伝送し、予測誤差がしきい値よりも小さい
時には、第１の補間予測で得られた補間値で置換し、 基本画素と原画素信号又は補間値の一方とを使用し
て、第１の密度より細かい、垂直方向又は水平方向の第
２の密度の第２の補間予測を行い、 第２の補間予測の予測誤差がしきい値よりも大きい時
には、原画素信号又は第１の補間予測で得られた補間値
を伝送し、予測誤差がしきい値よりも小さい時には、第
２の補間予測で得られた補間値で置換するように判定を
行う判定手段と、 判定手段による判定に対応して、原画素信号を伝送す
るかどうかを示すビットを基本画素以外の全画素に対し
て割り当てるビットマップ生成手段とからなることを特
徴とする画像信号の高能率符号化装置である。 また、この発明は、このように符号化を行うようにし
た符号化方法である。 〔作用〕 一例として、ディジタルビデオ信号の（４サンプル×
４ライン）画素毎に位置する基本画素は、間引かれずに
必ず伝送される。この基本画素以外の画素は、サブサン
プリングによって間引かれるか又はそのまま伝送され
る。この判断は、受信側で間引かれた画素を上下又は左
右の２画素の平均値により補間した場合に、予測される
誤差の大小に応じてなされる。予測誤差は、しきい値と
比較され、その大小が判断される。即ち、予測誤差がし
きい値より大きい時には、間引きができないために、原
データが伝送され、予測誤差がしきい値より小さい時に
は、間引きが可能なために、原データが伝送されず、原
データが平均値に置換される。サブサンプリングは、粗
いサブサンプリングの密度から細かいサブサンプリング
の密度に順になされる。このようにして伝送／間引きが
制御された画素のデータと基本画素のデータとが伝送さ
れる。基本画素以外の画素のデータの各サンプルに対し
ては、伝送／間引きを制御するために、１ビットが付加
される。受信側では、このビットを見て受信された原デ
ータを使用するか又は平均値を使用するかどうかが判断
される。 〔実施例〕 以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の順序に従ってなされる。 a.エンコーダの構成 b.デコーダの構成 c.エンコーダの動作 d.デコーダの動作 e.変形例 a.エンコーダの構成 第１図は、エンコーダの構成を示し、１で示すメモリ
には、画素データ及びビットマップが可能される。メモ
リ１としては、RAMを使用できる。２がデータバスを示
し、３がI/Oポートを示す。I/Oポート３を通じてデータ
バス２と外部との間でデータの入出力がなされる。４が
選択された２個の画素データの平均値を発生すると共
に、平均値と原画素信号との間の予測誤差を発生する平
均値／予測回路である。平均値／予測回路４からの予測
誤差が予測誤差判定回路５に供給される。予測誤差判定
回路５には、しきい値データ６が供給され、予測誤差が
しきい値データより大きいかどうかが判定される。予測
誤差は、原画素信号と平均値との差分の絶対値である。
予測誤差がしきい値以下の場合に“0"となり、予測誤差
がしきい値より大きい場合に“1"となるビットマップが
ビットマップ発生回路７において発生される。このビッ
トマップは、データバス２を通じてメモリ１に格納され
る。 書き込み動作と読み出し動作を制御するためのメモリ
R/W制御回路８が設けられ、メモリ1,I/Oポート3,平均値
／予測回路4,しいき値データ6,ビットマップ発生回路７
がメモリR/W制御回路８によって制御される。 ビットマップとして“0"が伝送される場合には、原画
素信号が平均値によって置換されると共に、原画素信号
が伝送されない。一方、ビットマップとして“1"が伝送
される場合には、原画素信号が伝送される。このよう
に、予測誤差の大小に応じて原画素信号が伝送されるか
否かが制御される可変密度サブサンプリングがなされ
る。また、後述するように、粗いサブサンプリングから
細かいサブサンプリングに順に処理される。 b.デコーダの構成 第２図は、デコーダの構成を示す、第２図において、
11で示すメモリに受信された画素データ及びビットマッ
プが格納される。12がデータバス、13がI/Oポートであ
る。ビットマップ中のビットが“1"の場合には、受信さ
れた原画素信号をそのまま使用する。一方、このビット
が“0"の場合には、平均値発生回路14で形成された平均
値データにより補間を行う。15は、ビットマップを見
て、処理しようとする画素と対応するビットが“1"か
“0"かを判別するビットマップ判別回路である。メモリ
11,I/Oポート13,平均値発生回路14は、メモリR/W制御回
路16によって制御される。 c.エンコーダの動作 第３図及び第４図を参照してエンコーダの動作につい
て説明する。第３図Ａは、伝送しようとするディジタル
画像信号（例えばテレビジョン静止画信号）の２次元
（フィールド又はフレーム）の一部の領域を示す。水平
方向の画素の間隔がサンプリング周期と対応し、垂直方
向の画素の間隔がライン間隔と対応している。第３図Ａ
中の各画素に吊された記号（○，●，□，△，×）は、
補間の処理の違いを表している。まず、○で示されるの
は、４ライン毎及び４画素毎に位置する基本画素を表
す。この16個の画素毎に１個の割合の基本画素は、間引
かれずに必ず伝送される。基本画素以外の画素は、以下
に述べるように、２個の画素の平均値と比較され、原画
素データと平均値との差（予測誤差）がしきい値を超え
る場合は、原画素データが伝送され、予測誤差がしきい
値以下の時は、間引かれると共に、メモリに格納されて
いる原画素データが平均値に置換される。 第４図のフローチャートで示すように、まず○印の基
本画素が必ず伝送される（ステップ）。次に、●印の
画像データは、第３図Ｂに示すように、上下の各々２ラ
イン離れた○印の画素の垂直平均によって予測される。
（ステップ）。この場合の予測誤差がしきい値に対し
て大きいか小さいかが判別される（ステップ）。予測
誤差がしきい値以下の場合には、ビットマップとして
“0"が伝送され、原画素データが伝送されず、●印の画
素データが予測値（即ち、平均値）によって置換される
（ステップ）。予測誤差がしきい値を超える場合に
は、ビットマップとして“1"が伝送されると共に、原画
素データが伝送される（ステップ）。 次に、□印の画素データは、第３図Ｃに示すように、
水平方向に各々２サンプル離れた２個の○印の画素又は
２個の●印の画素の平均値によって予測される（ステッ
プ）。次のステップにおいて予測誤差の大小が判別
される。予測誤差が小さい場合には、ビットマップとし
て“0"が伝送され、原画素データが伝送されず、□印の
画素データが予測値によって置換される（ステップ
）。予測誤差がしきい値を超える場合には、ビットマ
ップとして“1"が伝送されると共に、原画素データが伝
送される（ステップ）。 次に、△印の画素データは、第３図Ｄに示すように、
上下のラインに各々位置する２個の画素（○印−●印又
は□印−□印）の平均値によって予測される（ステップ
）。次のステップにおいて予測誤差の大小が判別さ
れる。予測誤差が小さい場合には、ビットマップとして
“0"が伝送され、原画素データが伝送されず、△印の画
素データが予測値によって置換される（ステップ）。
予測誤差が大きい場合には、ビットマップとして“1"が
伝送されると共に、原画素データが伝送される（ステッ
プ）。 次に×印の画素データは、第３図Ａから判るように、
左右のサンプル点に各々位置する２個の画素（○印−□
印，△印−△印又は●印−□印）の平均値によって予測
される（ステップ）。この場合の予測誤差の大小がス
テップにおいて判別される。予測誤差が小さい場合に
は、ビットマップとして“0"が伝送される。原画素デー
タが伝送されず、×印の画素データが平均値によって置
換される（ステップ）。予測誤差が大きい場合には、
ビットマップとして“1"が伝送されると共に、原画素デ
ータが伝送される（ステップ）。 上述のように、垂直方向及び水平方向が交互に繰り返
されると共に、間隔が1/2ずつ縮まるので、粗密度のサ
ブサンプリングから細かい密度のサブサンプリングへ順
に処理される。 d.デコーダの動作 受信側に設けられたデコーダの動作について第５図の
フローチャートを参照して説明する。デコーダでは、ま
ず、基本画素が受信される（ステップ）。次に、ビッ
トマップが参照され、●印の画素と対応するビットが
“0"か“1"かが判定される（ステップ）。このビット
が“0"の場合では、○印の基本画素のデータの垂直方向
の平均値によって●印の画素データが補間される（ステ
ップ）。ビットが“1"の場合では、受信された●印の
画素データが使用される（ステップ）。このステップ
の段階迄で、第３図Ｂに示すサブサンプリングの密度
の画素が得られる。 次に、ビットマップが参照され、□印の画素と対応す
るビットが“0"か“1"かが判定される（ステップ）。
このビットが“0"の場合には、（○印−○印）又は（●
印−●印）の組み合わせの水平方向の２個の画素データ
の平均値によって□印の画素データが補間される（ステ
ップ）。ビットが“1"の場合では、受信された□印の
画素データが使用される（ステップ）。ステップの
段階迄で、第３図Ｃに示すサブサンプリングの密度の画
像が得られる。 次に、ビットマップがステップにおいて参照され、
△印の画素と対応するビットが“0"から“1"かが判定さ
れる。このビットが“0"の場合には、（○印−●印）又
は（□印−□印）の組み合わせの垂直方向の２個の画素
データの平均値によって△印の画素データが補間される
（ステップ）。ビットが“1"の場合では、受信された
△印の画素データが使用される（ステップ）。ステッ
プの段階迄で第３図Ｄに示すサブサンプリングの密度
の画像が得られる。 次のステップにおいて、ビットマップが参照され、
×印の画素と対応するビットが“0"から“1"かが判定さ
れる。このビットが“0"の場合には、（○印−□印），
（△印−△印）又は（●印−□印）の組み合わせの水平
方向の２個の画素データの平均値によって×印の画素デ
ータが補間される（ステップ）。ビットが“1"の場合
では、受信された×印の画素データが使用される（ステ
ップ）。この段階で第３図Ａに示される全画素データ
の復号がなされる。 e.変形例 この発明は、DPCM等の他の高能率符号と組み合わせて
使用する場合にも適用できる。本願出願人は、画面を多
数のブロックに分割し、ブロック毎にダイナミックレン
ジを求め、このダイナミックレンジを固定又は可変のビ
ット数で定まる個の領域に分割し、最小値除去後の画素
データが属する領域と対応するコード信号が伝送するダ
イナミックレンジに適応した符号（ADRCと称される）を
先に提案している。このADRCとこの発明を組み合わせて
も良い。また、ビットマップをランレングス符号化等に
より更に圧種して効率を上げることが可能である。 〔発明の効果〕 この発明は、ブロック構造を持たない可変密度サブサ
ンプリングであるため、ブロック単位で復元画像の劣化
が目立つことを防止できる。また、この発明は、適応型
の可変密度サブサンプリングであるため、画像の特徴に
対して適応性が非常に良好なサブサンプリングがされ、
復元画質を良好とできる。更に、この発明は、階層的符
号化なので、データの並び替えを行わずに、粗い画像か
ら細かい画像へ変化する表示を行うことができ、静止画
伝送や、画像データベースの検索にこの発明は適してい
る。より更に、この発明は、局所的に収束する型の繰り
返し処理のために、DPCMのようなエラーの伝播の問題が
少ない利点がある。 上述のこの発明の一実施例のシュミレーションの結果
の一例を下記に示す。 このシュミレーションの結果から分かるように、S/N
比が44〜45（dB）の非常に高画質の復元画像が得られ、
また、圧縮率が向上している。

【図面の簡単な説明】 第１図はこの発明の一実施例におけるエンコーダのブロ
ック図、第２図はこの発明の一実施例におけるデコーダ
のブロック図、第３図はこの発明の一実施例の説明に用
いる画素データの配列を示す略線図、第４図はこの発明
の一実施例におけるエンコーダの動作説明のためのフロ
ーチャート、第５図はこの発明の一実施例におけるデコ
ーダの動作説明のためのフローチャートである。 図面における主要な符号の説明 1,11:メモリ、4:平均値／予測回路、 5:予測誤差判定回路。

Claims (1)

1. (57)【特許請求の範囲】 １．時間的又は空間的な配列を有する複数の画素中で規
   則的に位置し、必ず伝送される、基本画素を使用して垂
   直方向又は水平方向の第１の密度の第１の補間予測を行
   う補間予測手段と、 上記第１の補間予測の予測誤差をしきい値と比較し、上
   記第１の補間予測の予測誤差が上記しきい値よりも大き
   い時には、原画素信号を伝送し、上記予測誤差が上記し
   きい値よりも小さい時には、上記第１の補間予測で得ら
   れた補間値で置換し、 上記基本画素と上記原画素信号又は上記補間値の一方と
   を使用して、上記第１の密度より細かい、垂直方向又は
   水平方向の第２の密度の第２の補間予測を行い、 上記第２の補間予測の予測誤差が上記しきい値よりも大
   きい時には、上記原画素信号又は上記第１の補間予測で
   得られた補間値を伝送し、上記予測誤差が上記しきい値
   よりも小さい時には、上記第２の補間予測で得られた補
   間値で置換するように判定を行う判定手段と、 上記判定手段による判定に対応して、上記原画素信号を
   伝送するかどうかを示すビットを上記基本画素以外の全
   画素に対して割り当てるビットマップ生成手段とからな
   ることを特徴とする画像信号の高能率符号化装置。 ２．時間的又は空間的な配列を有する複数の画素中で規
   則的に位置する基本画素を伝送し、 上記基本画素を使用した垂直方向又は水平方向の第１の
   密度の第１の補間予測を行い、 上記第１の補間予測の予測誤差がしきい値よりも大きい
   時には、原画素信号を伝送し、上記予測誤差が上記しき
   い値よりも小さい時には、上記第１の補間予測で得られ
   た補間値で置換し、 上記基本画素と上記原画素信号又は上記補間値の一方と
   を使用して、上記第１の密度より細かい、垂直方向又は
   水平方向の第２の密度の第２の補間予測を行い、 上記第２の補間予測の予測誤差が上記しきい値よりも大
   きい時には、上記原画素信号又は上記第１の補間予測で
   得られた補間値を伝送し、上記予測誤差が上記しきい値
   よりも小さい時には、上記第２の補間予測で得られた補
   間値で置換し、 上記原画素信号を伝送するかどうかを示すビットを上記
   基本画素以外の全画素に対して割り当てることを特徴と
   する画素信号の高能率符号化方法。