JPH02105790A

JPH02105790A - 画像信号の高能率符号化装置

Info

Publication number: JPH02105790A
Application number: JP63259141A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1988-10-14
Filing date: 1988-10-14
Publication date: 1990-04-18

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、テレビジョン信号等の画像信号の高能率符
号化装置、特に、サブサンプリングとダイナミックレン
ジに適応した符号化との組み合わせた構成に関する。

〔発明の概要〕

この発明は、サブサンプリング回路の出力側にダイナミ
ックレンジに適応した符号化回路が設けられるハイブリ
ッドの構成であって、データを効率良く圧縮でき、また
、サブサンプリング回路の間引き率に応じて、符号化回
路の量子化ビット数を可変することにより、ブロック毎
に発生するデータ量を伝送容量で定まる所定値以下或い
は略々一定とできる。

〔従来の技術〕

ディジタルビデオ信号を伝送する場合に、伝送するデー
タ量を元のデータ量に比して圧縮する方法として、−サ
ブサンプリングによって画素を間引き、サブサンプリン
グ周波数を低くするものが知られている。サブサンプリ
ングの一つとして、画像のデータがηに間引かれ、サブ
サンプリング点と、補間の時に使用するサブサンプリン
グ点の位置を示す２ビツトのフラグとを伝送するものが
提案されている。ディジタルビデオ信号の１画素データ
が８ビツトの場合、フラグの２ビツトを加えると、１画
素当りが５ビツトとなり、圧縮率が（５／８）　−＆な
る。

この従来のサブサンプリングは、サブサンプリングのパ
ターンが常に同じであるので、画像中で物体の輪郭のよ
うな部分では、復元画質の劣化が目立つ問題があった。

特に、サブサンプリングのレートをＡより高くすると、
画質の劣化が著しい欠点があった。

本願出願人は、上述の問題点を解決するために、特願昭
６１−１１００９８号明細書に記載されているように、
１枚の画像を多数の２次元ブロックに分割し、このブロ
ック内の複数の画素データの最大値と最小値との差（ダ
イナミックレンジ）を求め、ブロックのダイナミックレ
ンジに応じてサブサンプリングの周期を可変する符号化
方法を提案している。即ち、ダイナミックレンジが小さ
いブロックに関しては、平面的な画像と判断して、サブ
サンプリングの周期を例えば（１／８）のように長くし
、また、ダイナミックレンジが比較的大きいブロックに
関しでは、変化がある画像と判断して、サブサンプリン
グの周期が（′Ａ）とされ、更に、ダイナミックレンジ
が極めて大きいブロックに関しては、変化が激しい画像
と判断して、サブサンプリングがなされない。

上述のように、ダイナミックレンジに応じてサブサンプ
リングの周期を選択的に切り替える高能率符号化装置は
、ブロックの単位でサブサンプリングの周期が設定され
るので、ブロックの単位で復元画像の画質の良否が発生
し、ブロックの歪が目立つ欠点があった。また、サブサ
ンプリングの周期として選択できる種類は、限界があり
、画像の特徴に対する適応性が不充分であ、た。

本願出願人は、上述のようなブロック単位の劣化が生ぜ
ず、また、画像の特徴に適応した任意のサブサンプリン
グのパターンを形成で今、良好な復元画像が得られる画
像信号の高能率符号化装置を提案している。（特願昭６
２−２０８９５７号明細書参照）。

また、上記の出願明細書に記載された発明と同様の利点
を有し、補間誤差の算出時に実データを使用し、従って
、実時間処理が可能であって、動−８５２１０号明細書
参照）。

生データ量が画像の相関の程度に応じて大きく変化し、
伝送データ量が所定の値を超えないこと、又は略々一定
のデータレートが要求される伝送路（例えばディジタル
ＶＴＲ）に適用する面で問題があった。また、伝送容量
が小さい場合には、サブサンプリングのみでは、データ
量の削減が不充分であった。

従って、この発明の目的は、レベル方向の圧縮を併用す
ることにより、高い圧縮率を達成でき、また、発生デー
タ量を所定値以下或いは略々一定とすることができる画
像信号の高能率符号化装置を提供することにある。

〔課題を解決するための手段〕

この発明では、複数の画素中で規則的に位置する第１の
画素以外の第２の画素に関して、第２の画素の夫々の周
辺の複数の第１又は第２の画素を使用して補間の予測を
行う回路と、補間により得られたデータと第２の画素の
データとの間の予測誤畔を検出し、予！暉差の大きさに
応じて制御コードを発生Ｔる一路と、第１の画素のデー
タを伝送すると共に、制御コードに応じて第２の画素の
データの伝送／間引きを行い、伝送データを形成する回
路とからなるサブサンプリング回路と、サブサンプリン
グ回路の出力信号が供給される符号化回路とを備え、符号化回路は、２次元的又は３次元的なブロック内のダ
イナミックレンジを検出し、ダイナミックレンジとサブ
サンプリング回路の間引き率とに応じた量子化ビット数
が割り当てられる構成とされる。

〔作用］一例として、ディジタルビデオ信号の（４×４）画素毎
に位置する第１の画素は、間引かれずに必ず伝送される
。この第１の画素以外の第２の画素は、・サブサンプリ
ングによって間引かれるか又はそのまま伝送される。こ
の判断は、受信側で間引かれた画素を周辺画素により補
間した場合に、予測される誤差の大小に応じてなされる
。即ち、予測誤差が大きい時には、間引きができないた
めに、原データが伝送され、予測誤差が小さい時には、
間引きが可能なために、原データが伝送されない、この
ようにして伝送／間引きが制御された第２の画素のデー
タと第１の画素のデータとが伝送される。第２の画素の
データの各サンプルに対しては、伝送／間引きを制御す
るための１ビツトの制御コードが付加される。受信側で
は、制御コードを見て補間が必要かどうかが判断される
。

予測誤差が小さく、間引きの対象とされる画素の場合に
、次に、この画素を使用して予測誤差を算出する時には
、原データ又は予測値の何れがが使用される。原データ
を使用すれば、実時間処理が可能であり、動画像に対し
て適用可能となる。

このサブサンプリング回路は、ブロック構造を有しない
ので、ブロック毎に復元画質の良否が目立つ問題が発生
しない。更に、１画素毎に、間引きについての判断を行
うので、画像の特徴に対する適応性が頗る良好とできる
。

上述のサブサンプリング回路の出力がダイナミックレン
ジに適応した符号化回路に供給される。

この符号化回路では、ブロック毎にダイナミックレンジ
ＤＲが検出され、ダイナミックレンジＤＲが量子化ビッ
ト数と対応する値で割算されて、量子化ステップΔが算
出される。この量子化ステップΔで最小値除去後のデー
タが量子化される。量子化ビット数は、上述のサブサン
プリング回路における間引き率に応じて設定される。即
ち、符号化の単位であるブロック内寸、間引きされる画
素が多い程、割り当てビット数が多いもの＜ｉ定される
。従って、ブロック当たりで発生するビット数を所定値
以下或いは略々一定とできる。また、サブサンプリング
とＡＤＲＣとを併用しているので、伝送データ量が大幅
に圧縮される。

（実施例）以下、この発明の一実施例について図面を参照して説明
する。この説明は、下記の順序に従ってなされる。

ａ、全体の構成り、サブサンプリングエンコーダｃ、ＡＤＲＣエンコーダａ、全体の構成第１図は、この発明の一実施例を示し、第１図において
、ｌで示す入力端子に画像信号例えばビデオ信号が供給
される。ビデオ信号がＡ／Ｄ変換器２によりディジタル
ビデオ信号に変換される。

このディジタルビデオ信号は、−例として１３゜５（Ｍ
Ｈｚ）のサンプリング周波数で、１画素データが８ビツ
トとされたものである。

ディジタルビデオ信号がサブサンプリングエンコーダ３
に供給される。後述のように、サブサンプリングエンコ
ーダ３の出力端子４８には、間引き処理後、即ち、伝送
すべき画素のデータが発生し、出力端子４９には、間引
き又は伝送を示す制御ｌ′２−ドが発生する。

サブサンプリングエンコーダ３の出力側にＡＤＲＣエン
コーダが設けられ、例えば２次元ブロック毎にダイナミ
ックレンジＤＲに適応した符号化がされる。１クレーム
が細分化されることで、第２図に示すように、（４Ｘ４
＝１６）画素のブロックが形成される。ＡＤＲＣエンコ
ーダにおける量子化ビット数Ｎがサブサンプリングエン
コーダ３における間引き率に応じて設定される。この間
引き率は、ブロック毎に判別される。この一実施例では
、間引き率と対応して、量子化ビット数が（８，７，６
，５，４，３，２，１）の中の何れかのビット数に設定
される。

ｂ、サブサンプリングエンコーダ第３図を参照して、サブサンプリングエンコーダ３につ
いて説明する。第３図において、２１で示す入力端子に
Ａ／Ｄ変換器２からのディジタルビデオ信号が供給され
る。入力端子２１には、ＬＤで示されるライン遅延回路
２２．２３．２４２５の縦続接続が接続される。また、
入力端子２１に対してＳＤで示されるサンプル遅延回路
２６及び２７が直列に接続され、ライン遅延回路２２の
出力側にサンプル遅延回路２日及び２９が直列に接続さ
れ、ライン遅延回路２３の出力側にサンプル遅延回路３
０．３１．３２及び３３が直列に接続され、ライン遅延
回路２４の出力側にサンプル遅延回路３４及び３５が直
列に接続され、ライン遅延回路２５の出力側にサンプル
遅延回路３６及び３７が直列に接続される。これらのラ
イン遅延回路２２．２３．２４．２５は、■水平期間の
遅延量を夫々持ち、サンプル遅延回路２６．２７．２８
、・・・、３７は、ｌサンプリング期間の遅延量を夫々
有する。ライン遅延回路２２〜２５及びサンプル遅延回
路２６〜３７により、テレビジョン画像の所定の２次元
領域に含まれる複数画素のデータが同時に取り出される
。

第４図を参照してこの実施例によるサブサンプリングに
ついて説明する。第４図は、入力ディジタルビデオ信号
の２次元（フィールド又はフレーム）の一部の領域を示
し、水平方向の画素の間隔がサンプリング周期と対応し
、垂直方向の画素の間隔がライン間隔と対応している。

第４図中の各画素に付された記号（Δ、・、口、×、Ｏ
）の夫々は、補間の処理の違いを表している。

まず、Ｏで示されるのは、４ライン毎及び４画素毎に位
置する基本画素を表す。この１６個の画素毎に１個の割
合の基本画素は、間引かれずに必ず伝送される。基本画
素以外の画素は、以下に述べるように、２個の画素の平
均値と比較され、原画素データと平均値との差（予測誤
差）がしきい値以下の時には、間引かれる。逆に、予測
誤差がしきい値を超える場合には、伝送される。

■Δで表される画素：上下のラインに夫々位置する画素
データの平均値と比較される。

例えば、画素ａ２は、平均値（’４（ａｌ＋ａ３）〕と
比較される。

■・で表される画素：上下の２ライン離れたラインに夫
々位置する画素の平均値と比較される。

例えば画素ａ３は、平均値０４（ａｌ十ａ５）〕と比較
される。

０口で表される画素：左右の２画素離れて位置する画素
の平均値と比較される。

例えば画素Ｃ３は、平均値（′Ａ（ａ３＋ｅ３））と比
較される。

■×で表される画素；左右に隣接する画素の平均値と比
較される。

例えば画素ｂ２は、平均値（′Ａ（ａ２＋ｃ２）〕と比
較される。

第３図におけるサンプル遅延回路３１の出力側が注目画
素であって、このサンプル遅延回路３１の出力データが
セレクタ３８及び３９の第５の入力端子を減算回路４３
とゲート回路４７とに供給される。セレクタ３８及び３
９は、第１〜第５の５個の入力端子を持ち、サンプリン
グクロックと同期する端子４０からの選択信号によって
、これらの５個の入力端子に夫々供給されている入力デ
ータを順次出力端子に選択的に出力する。

セレクタ３８の第１の入力端子には、サンプル遅延回路
２７の出力データが供給され、セレクタ３９の第１の入
力端子には、サンプル遅延回路３７の、出力データが供
給される。従って、注目画素がΔで表される画素の場合
に、セレクタ３８及び３９の夫々の第１の入力端子に供
給される入力データが選択される。

セレクタ３８及び３９の第２の入力端子には、サンプル
遅延回路２９及び３５の出力データが夫々供給される。

従って、注目画素が・で表される画素の場合に、セレク
タ３８及び３９の夫々の第２の入力端子に供給される入
力データが選択される。

セレクタ３８及び３９の第３の入力端子には、ライン遅
延回路２３及びサンプル遅延回路３３の出力データが夫
々供給される。従って、注目画素が口で表される画素の
場合に、セレクタ３８及び３９の夫々の第３の入力端子
に供給される入力データが選択される。

セレクタ３８及び３９の第４の入力端子には、サンプル
遅延回路３０及び３２の出力データが夫々供給される。

従って、注目画素が×で表される画素の場合に、セレク
タ３８及び３９の夫々の第４の入力端子に供給される入
力データが選択される。

セレクタ３８及び３９の第５の入力端子には、サンプル
遅延回路３１の出力データ（注目画素）が供給され、従
って、注目画素がＯで表される基本画素の場合に、セレ
クタ３８及び３９の両者が基本画素を選択する。

セレクタ３８及び３９の出力データが加算回路４１に供
給され、加算回路４１の出力信号がη倍回路４２に供給
される。従って、η倍回路４１からは、セレクタ３８及
び３９によって夫々選択された２個の画素データの平均
値データが発生する。

この平均値データとサンプル遅延回路３１からの注目画
素のデータとが減算回路４３に供給され、減算回路４３
からの差データが絶対値化回路４４において絶対値に変
換される。この絶対値化回路４４の出力データが比較回
路４５に供給され、端子４６からのしきい値と比較され
る。

絶対値化回路４４の出力データは、前述のように、２画
素の画素の平均値で補間を行った時に発生する予測誤差
を表している。この予測誤差がしきい値以下の場合には
、その画素を間引いても良いことを意味するので、比較
回路４５からの制御コード（１ビツト）が“１”とされ
る、一方、予測誤差がしきい値を超える場合には、受信
側で補間が良好にできないことを意味するので、比較回
路４５からの制御コードが“Ｏｏ”とされる。この制御
コードによって、ゲート回路４７のオン／オフが制御さ
れる。制御コードが“θ″°の時には、ゲート回路４７
がオンして原画素データが出力端子４８に取り出され、
制御コードが“１゛°の時には、ゲート回路４７がオフ
して原画素データが出力端子４８に取り出されない、ま
た、制御コードは、出力端子４９に取り出され、サブサ
ンプリングされたとデオデータと共に出力される。

上述のように、サブサンプリングは、１画素毎に予測誤
差が大きいか否かに応じてなされる。即ち、ブロック単
位ではなぐ、最小単位である画素毎に適応的に伝送／間
引きが制御される。また、予測誤差を求めて間引きを行
うかどうかを判定する時に、補間データを用いずに、常
に、実データを用いているので、繰り返し処理が避けら
れ、実時間処理が可能である。勿論、予測誤差が小さく
、従って、間引かれる画素の値を補間データに置き換え
、次の予測誤差の判定の時にこの補間データを使用して
も良い。

ｃ、ＡＤＲＣエンコーダ第１図に示すように、上述のサブサンプリングエンコー
ダ３の出力端子４８及び４９に取り出された画素データ
及び制御コードがブロック化回路５及び６に夫々供給さ
れる。ブロック化回路４及び５は、第２図に示すブロッ
クの順序を有するように、画素データ及び制御コードの
順序を変換する。これらのブロック化回路４及び５には
、端子６からブロック周期のクロック信号が供給されて
いる。第４図に示すサンプリングパターンにおいて、破
線は、“ブロックと対応する境界を示している。従って
、ブロック毎に見ると、ブロック内で基本画素のデータ
のみが伝送される（１／１６）の間引き率から、ブロッ
ク内の全ての画素のデータが伝送される（１６／１６）
の間引き重比があり“得る。

ブロック化回路４の出力データが最大値及び最小値検出
回路７に供給されると共に、遅延回路８を介して減算回
路１０に供給される。最大値及び最小値検出回路７には
、端子６からのクロックが供給され、ブロック毎に最大
値ＭＡＸ及び最小値ＭＩＮが検出される。

最大値ＭＡＸ及び最小値ＭＩＮが減算回路９に供給され
、（ＭＡＸ−ＭＩ　Ｎ）で表されるダイナミックレンジ
ＤＲが減算回路９から得られる。減算回路１０には、最
小値ＭＩＮが供給され、減算回路ｌＯから最小値除去後
の画素データが得られる。この画素データが量子化回路
１２に供給される。量子化回路１２には、量子化ステッ
プ発生回路１１からの量子化ステップΔが供給され、最
小値が除去されることで正規化、されたデータが量子化
ステップΔで除算され、除算結果が切り捨て処理される
ことで、量子化コードＤＴが形成される。

量子化ステップ発生回路１１及び量子化回路１２は、割
算回路に限らず、ＲＯＭで構成することができる。

第５図は、量子化ビット数が２ビツトの場合の量子化動
作を示す。ダイナミックレンジＤＲが（２”＝４）分割
されることで、量子化ステップΔが形成される。最小値
が除去されたデータが量子化ステップΔで除算され、切
り捨て処理されることで２ビツトの量子化コードＤＴが
得られる。

第５図において、ＬＯ〜Ｌ３は、量子化コード（００）
（０１）（１０）（１１）と夫々対応する復元レベル（
代表値）を示す。

量子化ステップ発生回路１１に対して、ビット数決定回
路１８からビット数Ｎが供給される。このビット数Ｎは
、サブサンプリングエンコーダ３における間引き率に対
応して決定される。ブロック化回路５により、制御コー
ドがブロックの順序に変換される。ブロック化回路５か
らの制御コードが“１”分離回路１５に供給される。前
述のように、制御コードの“１”は、間引き画素である
ことを示している。

分離された“１″の制御コードがカウンタ１６に供給さ
れる。カウンタ１６は、端子６からのクロック信号でリ
セットされ、従って、１ブロツク内の間引きされる画素
数がカウンタ１６により計数される。カウンタ１６の計
数値がデコーダ１７でデコードされ、デコーダ１７の出
力がビット数決定回路１８に供給される。デコーダ１７
は、必ずしも、設けな（でも良い、ビット数決定回路１
８は、ＲＯＭで構成されており、間引かれる画素数から
量子化ビット数Ｎを決定する。

下記に間引かれる画素数と量子化ビット数Ｎとの対応の
一例を示す、この例は、１ビツト〜８ビツトの量子化を
行うもので、また、■ブロックで発生する量子化コード
ＤＴの合計のビット数が２６ビツトを超えないようにし
たものである。

間引き画素数＝１５（伝送画素数：１）の場合、Ｎ＝８又は最大値ＭＡＸ及
び最小値ＭＩＮが基本画素のデータの値自体となるので
、量子化コードＤＴを伝送しなくても良い。

間引き画素数（伝送画素数間引き画素数（伝送画素数間引き画素数（伝送画素数１４．１３２．３）の場合、Ｎ−８４）の場合、Ｎ−６５）の場合、Ｎ＝５間引き画素数：１０（伝送画素数：６）の場合、Ｎ＝４間引き画素数＝９．８（伝送ｉｉｉ素数＝７．８）の場合、Ｎ＝３間引き画素
数ニア、６，５，４．３（伝送画素数：９，１０，１１，１２．１３）の場合、
Ｎ＝２間引き画素数：２．ｌ、０（伝送画素数：ｔ４，１５．１６）の場合、このビット
数決定回路１８で決定されたビット数Ｎで量子化回路１
２が量子化を行う、ブロック化回路５からの制ｍコード
、量子化ステップ発生回路１１からの量子化ステップΔ
、最小値ＭＩＮ。

量子化コードＤＴとがフレーム化回路１３に供給され、
フレーム構成の伝送データに変換される。

フレーム化回路１３では、必要に応じてエラー訂正の符
号化がされる。フレーム化回路１３の出力端子１４に伝
送データが取り出される。

〔発明の効果〕

この発明に依れば、ブロック歪みが発生せず、画像の特
徴に良く合致したサブサンプリングとレベル方向の圧縮
を行うＡＤＲＣとを併用しているので、圧縮率を高くす
ることができる。この発明は、ＡＤＲＣの量子化ビット
数をサブサンプリングの間引きの程度に応じて変えてい
るので、発生データ量が伝送容量を超えないように制御
でき、或いは発生データ量が略々一定に制御できる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はＡ
ＤＲＣのブロックの一例を示す路線図、第３図はこの一
実施例におけるサブサンプリングエンコーダのブロック
図、第４図はこの発明の一実施例のサンプリングパター
ンの説明に用いる路線図、第５図は量子化の説明に用い
る路線図である。３：サブサンプリングエンコーダ、４．５ニブロック化回路、７：最大値及び最小値検出回路、１２：量子化回路、１８：ビット数決定回路、２２〜２５ニライン遅延回路、２６〜３７：サンプル遅延回路、４３：減算回路、４５：比較回路、４７：ゲート回路。

Claims

【特許請求の範囲】複数の画素中で規則的に位置する第１の画素以外の第２
の画素に関して、上記第２の画素の夫々の周辺の複数の
上記第１又は第２の画素を使用して補間の予測を行う手
段と、上記補間により得られたデータと上記第２の画素
のデータとの間の予測誤差を検出し、上記予測誤差の大
きさに応じて制御コードを発生する手段と、上記第１の
画素のデータを伝送すると共に、上記制御コードに応じ
て上記第２の画素のデータの伝送／間引きを行い、伝送
データを形成する手段とからなるサブサンプリング手段
と、上記サブサンプリング手段の出力信号が供給される符号
化手段とを備え、上記符号化手段は、２次元的又は３次元的なブロック内
のダイナミックレンジを検出し、上記ダイナミックレン
ジと上記サブサンプリング手段の間引き率とに応じた量
子化ビット数が割り当てられる構成であることを特徴と
する画像信号の高能率符号化装置。