JP2832959B2 - 画像信号の高能率符号化装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、テレビジョン信号等の画像信号の高能率
符号化装置、特に、サブサンプリングとダイナミックレ
ンジに適応した符号化との組み合わせた構成に関する。

〔従来の技術〕

ディジタルビデオ信号を伝送する場合に、伝送される
データ量を元のデータ量に比して圧縮する方法として、
サブサンプリングによって画素を間引き、サンプリング
周波数を低くするものが知られている。サブサンプリン
グの一つとして、画像のデータが1/2に間引かれ、サブ
サンプリング点と、補間の時に使用するサブサンプリン
グ点の位置を示す２ビットのフラグとを伝送するものが
提案されている。ディジタルビデオ信号の１画素データ
が８ビットの場合、フラグの２ビットを加えると、１画
素当りが５ビットとなり、圧縮率が（5/8）となる。

この従来のサブサンプリングは、サブサンプリングの
パターンが常に同じであるので、画素中で物体の輪郭の
ような部分では、復元画質の劣化が目立つ問題があっ
た。特に、サブサンプリングのレートを1/2より高くす
ると、画質の劣化が著しい欠点があった。

本願出願人は、画像の特徴に適応した任意のサブサン
プリングのパターンを形成でき、良好な復元画像が得ら
れる画像信号の高能率符号化装置を提案している。（特
開平１−51786号公報参照）。

また、上記の出願明細書に記載された発明と同様の利
点を有し、補間誤差の算出時に実データを使用し、従っ
て、実時間処理が可能であって、動画像に適用できる画
像信号の高能率符号化装置が本願出願人により、提案さ
れている（特開昭63−250987号公報参照）。

〔発明が解決しようとする課題〕

先に提案されている可変密度サンプリングの場合、適
応的に間引き処理がされるために、発生データ量が画像
の相関の程度に応じて大きく変化し、伝送データ量が略
々一定のデータレートが要求される伝送路（例えばディ
ジタルVTR）に適用する面で問題があった。また、伝送
容量が小さい場合には、サブサンプリングのみでは、デ
ータ量の削減が不充分であった。

従って、この発明の目的は、レベル方向の圧縮を併用
することにより、高い圧縮率を達成でき、また、発生デ
ータ量を略々一定とすることができる画像信号の高能率
符号化装置を提供することにある。

〔課題を解決するための手段〕

この発明は、ディジタル画像信号を複数の画素で形成
されるブロック構造に変換し、ブロック内のダイナミッ
クレンジDRを検出し、ダイナミックレンジDRに応じて、
元の量子化ビット数より少ない所定の量子化ビット数を
ブロック内の画素データに割り当て、量子化コードDTを
発生する符号化手段（2,3,4,5,6,7,8,9,10）と、 ブロック内の複数の画素（S1〜S16）に関して、夫々
の周辺の複数の画素を使用して受信側でなされるのと同
様の補間の処理を行い、補間により得られたデータと真
値との間の誤差を検出する補間誤差検出手段（17）と、 ブロック内の上記誤差に関して、誤差が小さい順序
で、所定の個数の量子化コードDTを選択的に間引く手段
（14）と、 ブロック内の複数の各画素に関して、量子化コードDT
の伝送および間引きを示すビットマップを形成する手段
（19）とを備え、 間引かれない量子化コードDTとビットマップとを伝送
することを特徴とする画像信号の高能率符号化装置であ
る。

〔作用〕

一例として、ディジタルビデオ信号が（４×４）画素
のブロック構造に変換され、ダイナミックレンジに適応
した符号化回路に供給される。この符号化回路では、ブ
ロック毎にダイナミックレンジDRが検出され、ダイナミ
ックレンジDRが量子化ビット数ｎと対応する値で割算さ
れて、量子化ステップΔが算出される。この量子化ステ
ップΔで最小値除去後のデータが量子化される。量子化
ビット数ｎは、固定長例えば２ビットに設定される。

この符号化回路のｎビットの量子化コードがサブサン
プリング用のゲート回路14に供給され、例えば１ブロッ
クの1/2の画素のデータが間引かれる。一方、ブロック
毎に、受信側で間引かれた画素の補間を行った場合に予
測される誤差が補間誤差検出回路17で検出される。ブロ
ック内の16個の画素に関する補間誤差（予測値）が大き
さに応じた順序で並べられる。間引かれる８個の画素と
して、補間誤差が最も小さいものから順に選択される。

このサブサンプリング方式は、１画素毎に、間引きに
ついての判断を行うので、画素の特徴に対する適応性が
頗る良好とできる。

量子化ビット数ｎと間引き率とが固定されているの
で、ブロック当たりで発生するビット数を略々一定とで
きる。また、ADRCとサブサンプリングとを併用している
ので、伝送データ量が大幅に圧縮される。

〔実施例〕

以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の順序に従ってなされる。

a.全体の構成及びADRCエンコーダ b.補間誤差検出回路 c.変形例 a.全体の構成及びADRCエンコーダ 第１図は、この発明の一実施例を示し、第１図におい
て、１で示す入力端子にディジタル画像信号例えばディ
ジタルビデオ信号が供給される。このディジタルビデオ
信号は、一例として13.5〔MHz〕のサンプリング周波数
で、１画素データが８ビットとされたものである。

ディジタルビデオ信号がブロック化回路２に供給され
る。ブロック化回路２は、第２図に示すように、１フィ
ールド（又は１フレーム）の画像を多数のブロックB11,
B12,・・・・ＢNMに細分化する。各ブロックは、第３図
に示すように、（４×４）の構造を有し、１ブロックに
は、16個の画素データが含まれる。ブロック化回路２か
ら発生するデータの順序は、ブロックの順序が第２図に
おいて矢印で示すものである。ブロック内では、第３図
におけるラインL1の最も左側の画素から順にラインL2、
L3、L4と16個の画素が伝送される。

ブロック化回路２の出力データが最大値検出回路３及
び最小値検出回路４に供給されると共に、遅延回路５を
介して減算回路６に供給される。最大値検出回路３及び
最小値検出回路４によりブロック毎に最大値MAX及び最
小値MINが検出される。

最大値MAX及び最小値MINが減算回路７に供給され、
（MAX−MIN）で表されるダイナミックレンジDRが減算回
路７から得られる。減算回路６には、最小値MINが供給
され、減算回路６から最小値除去後の画素データが得ら
れる。この画素データが量子化回路８に供給される。量
子化回路８には、量子化ステップ発生回路10からの量子
化ステップΔが供給され、最小値が除去されることで正
規化されたデータが量子化ステップΔで除算され、除算
結果が切り捨て処理されることで、量子化コードDTが形
成される。量子化コードDTは、固定のビット数例えば２
ビットである。量子化ステップ発生回路10及び量子化回
路８は、割算回路に限らず、ROMで構成することができ
る。

ビット数ｎが２ビットの場合には、第４図に示すよう
に、ダイナミックレンジDRが量子化ステップΔにより４
個のレベル範囲に分割され、最小値除去後のデータの値
に応じて２ビットの量子化コードDTが割り当てられる。
復元レベルは、量子化ステップの幅の中央である。

ダイナミックレンジDR及び最小値MINが遅延回路11及
び12を夫々介してフレーム化回路15に供給される。量子
化回路８からの量子化コードDTが遅延回路13を介してサ
ブサンプリング用のゲート回路14に供給される。遅延回
路13の遅延量DL3は、（4LD＋4SD）に選定されている。
ゲート回路14には、後述のように形成れたゲート信号が
供給され、ゲート回路14から選択的に量子化コードDTが
発生する。このゲート回路14の出力信号がフレーム化回
路15に供給される。ゲート信号は、伝送及び間引きを示
すビットマップであり、このビットマップもフレーム化
回路15に供給される。

ダイナミックレンジDR（８ビット）、最小値MIN（８
ビット）、サブサンプリングされた量子化コード（16×
２×1/2＝16ビット）、ビットマップ（16ビット）がフ
レーム化回路15によりフレーム構成の伝送データに変換
される。フレーム化回路15では、必要に応じてエラー訂
正の符号化がされる。フレーム化回路15の出力端子16に
伝送データが取り出される。ダイナミックレンジDT、最
小値MIN、最大値MAXの内、任意の二つのデータを伝送す
れば良い。

ADRCで発生した量子化コードの伝送及び間引きを制御
するゲート信号は、補間誤差の大きさに応じて発生す
る。受信側で間引かれた画素のデータを補間する方式と
同一の補間方式が補間誤差の検出に適用される。

ブロック化回路２からのブロックの順序に変換された
ディジタルビデオ信号が補間誤差検出回路17に供給され
る。補間誤差検出回路17で検出された補間誤差がメモリ
18に供給され、メモリ18には、１ブロックの16個の画素
と夫々対応する補間誤差が記憶される。この場合、ブロ
ック毎に１個の基本画素は、必ず伝送されるので、他の
画素に関しての補間誤差の検出と記憶とを行っても良
い。メモリ18から読み出された補間誤差がゲート信号発
生回路19に供給される。

ゲート信号発生回路19では、得られた16個の補間誤差
の中で、補間誤差が小さい順に８個の画素を特定する。
この８個の画素の量子化コードDTをゲート回路14により
間引くためのゲート信号が形成される。但し、各基本画
素○については、予測誤差が０となるが、この基本画素
は例外して扱い、基本画素データはゲート回路14を通過
するようゲート信号発生回路19を制御する必要があるの
は言うまでもない。

b.補間誤差検出回路 補間誤差検出回路17の一例を第５図に示す。ブロック
化回路２からのディジタルビデオ信号が供給される入力
端子30に対して、順番に遅延回路31、32、33、34、35、
36、37、38、39、40、41、42が直列に接続される。遅延
回路31及び33は、ライン遅延回路であり、LDて示す１ラ
イン分の遅延量を有している。遅延回路32は、2LDの遅
延量を有する。遅延回路34〜41は、SDで示すサンプリン
グ期間の遅延量を有している。遅延回路42は、4SDの遅
延量を有する。

第６図は、１ブロックの画素の配列を示し、水平方向
の画素の間隔がサンプリング期間SDであり、垂直方向の
画素の間隔がライン期間LDである。ブロック内では、S
1、S2、S3、・・・・S15、S16の順序で画素データが伝
送される。この（４×４）８のブロック内の各画素に付
された記号（△、●、□、×、○）の夫々は、受信側で
なされる補間の処理の違いを表している。補間誤差検出
回路17は、以下に説明するように、受信側と同様の補間
処理を行って、画素データの真値との差（補間誤差）を
検出する。

まず、○で示される画素S1は、４ライン毎及び４画素
毎に位置する基本画素を表す。この16個の画素毎に１個
の割合の基本画素は、間引かれずに必ず伝送される。従
って、補間誤差は、当然０である。

△で表される画素S5、S7、：上下のラインに夫々位置
する画素データの平均値と比較される。

●で表される画素S9:上下の２ライン離れたラインに
夫々位置する画素の平均値と比較される。

□で表される画素S3、S11:左右の２画素離れて位置す
る画素の平均値と比較される。

×で表される画素S2、S6、S10、S14、S4、S8、S12、S
16:左右に隣接する画素の平均値と比較される。

遅延回路31〜42の所定の出力信号が第１の入力端子a0
〜第７の入力端子a6に供給されるセレクタ43及び44は、
補間値を演算するのに使用される二つの画素データを取
り出すために設けられている。セレクタ43及び44は、RO
M45からのセレクタ制御信号で制御される。ROM45には、
端子46及び47からブロック化回路２の出力信号と同期し
たサンプリング周期のサンプリングクロック及びブロッ
ク周期のブロッククロックが供給される。

第７図は、ROM45の一例を示し、53は、ROM45のアドレ
スカウンタである。ROM45には、１ブロックの画素S1〜S
16の夫々の位置と対応して、３ビットのセレクタ制御信
号が格納されている。但し、第７図では、簡単のため、
（000）（001）（101）・・・・・・（110）の３ビット
を０、１、２、・・・・６と示している。セレクタ制御
信号が０の時に、セレクタ43及び44は、入力端子a0に供
給されているデータを選択的に出力し、同様に、セレク
タ制御信号の１から６に応じて、セレクタ43及び44は、
入力端子a1からa6に供給されているデータを選択的に出
力する。

第７図に示すROM45からのセレクタ制御信号から分る
ように、ブロック内の各画素が注目画素の時、即ち、遅
延回路37の出力側に注目画素のデータが発生する時に、
これらのセレクタ43及び44が補間値を形成するためのた
二つの画素データを選択的に出力する。

セレクタ43及び44から取り出された二つの画素データ
が加算回路48に供給され、加算回路48の出力信号が1/2
倍回路49に供給され、1/2倍回路49から補間値が出力さ
れる。この補間値が減算回路50に供給される。減算回路
50の他方の入力信号として、遅延回路37及び38の接続点
から取り出された注目画素のデータが供給される。従っ
て、減算回路50の出力信号として、真値と補間値との差
が発生し、この差が絶対値化回路51に供給される。絶対
値化回路51からの補間誤差が出力端子52に取り出され
る。この補間誤差が第１図に示すように、メモリ18に供
給され、１ブロック分の補間誤差がメモリ18に貯えられ
る。

第６図に示される画素S1〜S16の夫々が注目画素の時
に、セレクタ43及び44が選択する二つの画素データに関
して、以下に説明する。

画素S1が注目画素の時に、０のセレクタ制御信号が発
生し、セレクタ43及び44は、遅延回路37の出力側から入
力端子a0に供給されている注目画素のデータを選択的に
出力する。画素S1は、必ず伝送される基本画素であり、
補間誤差は、常に０である。

画素S2が注目画素の時に、１のセレクタ制御信号が発
生する。セレクタ43の入力端子a1には、遅延回路38から
の１サンプリング期間（1SD）前の画素S1のデータが供
給されており、セレクタ44の入力端子a1には、遅延回路
36の出力側から画素S2に対して、1SD後の画素S3が供給
されている。従って、これらの二つの画素S1及びS3のデ
ータがセレクタ43及び44により、夫々選択される。

画素S3が注目画素の時に、２のセレクタ制御信号が発
生する。セレクタ43の入力端子a2には、画素S3の2SD前
の画素S1のデータが遅延回路39から供給されており、セ
レクタ44の入力端子a2には、画素S3に対して、14SD後の
画素S17が遅延回路33の途中の段階から供給されてい
る。即ち、遅延回路34、35、36、37により、4SDの遅延
量が発生し、遅延回路33の途中の段階で、遅延回路33の
出力側に対して10SDの遅延量が発生する。従って、これ
らの二つの画素S1及びS17のデータがセレクタ43及び44
により、夫々選択される。

画素S4が注目画素の時に、３のセレクタ制御信号が発
生する。セレクタ43の入力端子a3には、遅延回路38から
の1SD前の画素S3のデータが供給されており、セレクタ4
4の入力端子a3には、画素S4に対して、13SD後の画素S17
が遅延回路33の途中の段階から供給されている。即ち、
遅延回路34、35、36、37により、4SDの遅延量が発生
し、遅延回路33の途中の段階で、遅延回路33の出力側に
対して9SDの遅延量が発生する。これらの二つの画素S3
及びS17のデータがセレクタ43及び44により、夫々選択
される。

画素S5が注目画素の時に、４のセレクタ制御信号が発
生する。セレクタ43の入力端子a4には、遅延回路41から
の4SD前の画素S1のデータが供給されており、セレクタ4
4の入力端子a4には、画素S5に対して、4SD後の画素S9が
遅延回路33の出力側から供給されている。従って、これ
らの二つの画素S1及びS9のデータがセレクタ43及び44に
より、夫々選択される。

画素S6が注目画素の時に、１のセレクタ制御信号が発
生する。セレクタ43の入力端子a1には、遅延回路38から
の1SD前の画素S5のデータが供給されており、セレクタ4
4の入力端子a1には、画素S6に対して、1SD後の画素S7が
供給されている。従って、これらの二つの画素S5及びS7
のデータがセレクタ43及び44により、夫々選択される。

画素S7が注目画素の時に、４のセレクタ制御信号が発
生する。セレクタ43の入力端子a4には、遅延回路41から
の4SD前の画素S3のデータが供給されており、セレクタ4
4の入力端子a4には、画素S7に対して、4SD後の画素S11
が遅延回路33の出力側から供給されている。従って、こ
れらの二つの画素S3及びS11のデータがセレクタ43及び4
4により、夫々選択される。

画素S8が注目画素の時に、３のセレクタ制御信号が発
生する。セレクタ43の入力端子a3には、遅延回路38から
の1SD前の画素S7のデータが供給されており、セレクタ4
4の入力端子a3には、画素S8に対して、13SD後の画素S21
が遅延回路33の途中の段階から供給されている。従っ
て、これらの二つの画素S7及びS21のデータがセレクタ4
3及び44により、夫々選択される。

画素S9が注目画素の時に、５のセレクタ制御信号が発
生する。第５図に示すように、セレクタ43の入力端子a5
には、遅延回路43から8SD前の画素S1のデータが供給さ
れており、セレクタ44の入力端子a5には、（4LD−8SD）
後の画素Siのデータが供給されている。第６図に示され
るブロックの下のブロックにおいて、画素S9から4LD後
の画素の位置は、画素S9と対応する画素（図示せず）で
ある。この画素に対して、画素Siは、8SD前である。遅
延回路31、32、33により4LDの遅延量が発生し、また、
遅延回路34、35、36、37により4SDの遅延量が発生す
る。従って、遅延回路31の入力側に対して−12SDの位置
からの出力信号がセレクタ44の入力端子a5に供給され
る。セレクタ43及び44は、画素S1及びSiのデータを夫々
選択する。

画素S10が注目画素の時に、１のセレクタ制御信号が
発生する。セレクタ43の入力端子a1には、遅延回路38か
らの1SD前の画素S9のデータが供給されており、セレク
タ44の入力端子a1には、画素S10に対して、1SD後の画素
S11が供給されている。従って、これらの二つの画素S9
及びS11のデータがセレクタ43及び44により、夫々選択
される。

画素S11が注目画素の時に、２のセレクタ制御信号が
発生する。セレクタ43の入力端子a2には、画素S11の2SD
前の画素S9のデータが遅延回路39から供給されており、
セレクタ44の入力端子a2には、画素S11に対して、14SD
後の画素S25が遅延回路33の途中の段階から供給されて
いる。従って、これらの二つの画素S9及びS25のデータ
がセレクタ43及び44により、夫々選択される。

画素S12が注目画素の時に、３のセレクタ制御信号が
発生する。セレクタ43の入力端子a3には、遅延回路38か
らの1SD前の画素S11のデータが供給されており、セレク
タ44の入力端子a3には、画素S12に対して、13SD後の画
素S25が遅延回路33の途中の段階から供給されている。
従って、これらの二つの画素S11及びS25のデータがセレ
クタ43及び44により、夫々選択される。

画素S13が注目画素の時に、６のセレクタ制御信号が
発生する。セレクタ43の入力端子a6には、遅延回路41か
ら4SD前の画素S9のデータが供給されており、セレクタ4
4の入力端子a6には、（4LD−12SD）後の画素Siのデータ
が供給されている。第６図に示されるブロックの下のブ
ロックにおいて、4LD後の画素の位置には、画素S13と対
応する画素（図示せず）である。この画素に対して、画
素Siは、12SD前である。遅延回路31、32、33により4LD
の遅延量が発生し、また、遅延回路34、35、36、37によ
り4SDの遅延量が発生する。従って、遅延回路31の入力
側に対して−16SDの位置からの出力信号がセレクタ44の
入力端子a6に供給される。これらの画素S9及びSiのデー
タがセレクタ43及び44により、夫々選択される。

画素S14が注目画素の時に、１のセレクタ制御信号が
発生する。セレクタ43の入力端子a1には、遅延回路38か
らの1SD前の画素S13のデータが供給されており、セレク
タ44の入力端子a1には、画素S14に対して、1SD後の画素
S15が供給されている。従って、これらの二つの画素S13
及びS15のデータがセレクタ43及び44により、夫々選択
される。

画素S15が注目画素の時に、６のセレクタ制御信号が
発生する。セレクタ43の入力端子a6には、遅延回路41か
ら4SD前の画素S11のデータが供給されており、セレクタ
44の入力端子a6には、（4LD−12SD）後の画素Skのデー
タが遅延回路31の入力側に対して−16SDの位置から供給
される。これらの画素S11及びSkのデータがセレクタ43
及び44により、夫々選択される。

画素S16が注目画素の時に、３のセレクタ制御信号が
発生する。セレクタ43の入力端子a3には、遅延回路38か
らの1SD前の画素S15のデータが供給されており、セレク
タ44の入力端子a3には、画素S16に対して、13SD後の画
素S29が遅延回路33の途中の段階から供給されている。
従って、これらの二つの画素S15及びS29のデータがセレ
クタ43及び44により、夫々選択される。

c.変形例 この発明は、ブロック化されたデータをバッファメモ
リに貯え、補間誤差を求めるために必要とされるデータ
をバッファメモリから取り出すようにしても良い。

また、補間誤差を検出するのに、減算回路７からの最
小値除去後のデータ或いは量子化回路８からの量子化コ
ードDTを使用しても良い。更に、ADRCのローカルデコー
ダを設け、ADRC復号された値から補間誤差を検出しても
良い。

補間方式としては、二つの画素の平均値に限らず、周
囲４点の画素のデータの平均値を使用しても良い。

〔発明の効果〕

この発明に依れば、画像の特徴に良く合致したサブサ
ンプリングとレベル方向の圧縮を行うADRCとを併用して
いるので、圧縮率を高くすることができる。この発明
は、ADRCの量子化ビット数が固定であり、サブサンプリ
ングの間引き率が固定であるので、発生データ量が略々
一定に制御でき、発生データ量が伝送容量を超えないこ
とが要求されるディジタルVTRのような伝送路に適用し
て効果的である。更に、伝送及び間引きの判断が補間誤
差の大きさに応じてなされるので、受信側での復元画像
の画質を良好とできる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図及び
第３図はこの一実施例におけるブロックの一例の説明に
用いる略線図、第４図は可変長量子化の説明に用いる略
線図、第５図は補間誤差検出回路の一例のブロック図、
第６図は補間処理の説明に用いる画素データの配列を示
す略線図、第７図はセレクタ制御信号を発生するための
構成を示すブロック図である。 図面における主要な符号の説明 1:入力端子、 2:ブロック化回路、 3:最大値検出回路、 4:最小値検出回路、 8:量子化回路、 14:ゲート回路。 17:補間誤差検出回路、 19:ゲート信号発生回路。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】ディジタル画像信号を複数の画素で形成さ
   れるブロック構造に変換し、上記ブロック内のダイナミ
   ックレンジを検出し、上記ダイナミックレンジに応じ
   て、元の量子化ビット数より少ない所定の量子化ビット
   数を上記ブロック内の画素データに割り当て、量子化コ
   ードを発生する符号化手段と、 上記ブロック内の複数の画素に関して、夫々の周辺の複
   数の画素を使用して受信側でなされるのと同様の補間の
   処理を行い、上記補間により得られたデータと真値との
   間の誤差を検出する補間誤差検出手段と、 上記ブロック内の上記誤差に関して、上記誤差が小さい
   順序で、所定の個数の量子化コードを選択的に間引く手
   段と、 上記ブロック内の複数の各画素に関して、量子化コード
   の伝送および間引きを示すビットマップを形成する手段
   とを備え、 間引かれない量子化コードと上記ビットマップとを伝送
   することを特徴とする画像信号の高能率符号化装置。