JP2785824B2 - 画像信号の高能率符号化装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、テレビジョン信号等の画像信号の高能率
符号化装置、特に、サブサンプリングを用いるものに関
する。 〔発明の概要〕 この発明では、時間的又は空間的な配列を有する複数
の画素をサブサンプリングすることにより、伝送データ
量を原データ量に比して圧縮するようにした画像信号の
高能率符号化装置において、複数の画素の中で規則的に
位置する第１の画素以外の第２の画素に関して、第２の
画素の夫々の周辺の複数の第１又は第２の画素を使用し
て補間の予測がなされ、補間により得られたデータと第
２の画素の原データとの間の予測誤差が検出され、予測
誤差の大きさに応じて制御コードが発生され、制御コー
ドに応じて第２の画素の原データの伝送／間引きがなさ
れる。この発明に依れば、画像の微細な部分の特徴に応
じてサブサンプリングの密度が変化され、復元画質を良
好とでき、また、高い圧縮率が得られる。また、この発
明は、実時間処理が可能であって、静止画像のみならず
動画像を処理することができる。 〔従来の技術〕 ディジタルビデオ信号を伝送する場合に、伝送するデ
ータ量を元のデータ量に比して圧縮する方法として、サ
ブサンプリングによって画素を間引き、サブサンプリン
グ周波数を低くするものが知られている。サブサンプリ
ングの一つとして、画像のデータが1/2に間引かれ、近
傍画素データの位置を示す２ビットのフラグとを伝送す
るものが提案されている。ディジタルビデオ信号の１画
素データが８ビットの場合、フラグの２ビットを加える
と、１画素当りが５ビットとなり、圧縮率が（5/8）と
なる。 この従来のサブサンプリングは、サブサンプリングの
パターンが常に同じであるので、画像中で物体の輪郭の
ような部分では、復元画像の劣化が目立つ問題があっ
た。特に、サブサンプリングのレートを1/2より高くす
ると、画質の劣化が著しい欠点があった。 本願出願人は、上述の問題点を解決するために、特願
昭61−110098号明細書に記載されているように、１枚の
画像を多数の２次元ブロックに分割し、このブロック内
の複数の画素データの最大値と最小値との差（ダイナミ
ックレンジ）を求め、ブロックのダイナミックレンジに
応じてサブサンプリングの周期を可変する符号化方法を
提案している。即ち、ダイナミックレンジが小さいブロ
ックに関しては、平面的な画像と判断して、サブサンプ
リングの周期を例えば（1/8）のように長くし、また、
ダイナミックレンジが比較的大きいブロックに関して
は、変化がある画像と判断して、サブサンプリングの周
期が（1/2）とされ、更に、ダイナミックレンジが極め
て大きいブロックに関しては、変化が激しい画像と判断
して、サブサンプリングがなされない。 〔発明が解決しようとする問題点〕 上述のように、ダイナミックレンジに応じてサブサン
プリングの周期を選択的に切り替える高能率符号化装置
は、ブロックの単位でサブサンプリングの周期が設定さ
れるので、ブロックの単位で復元画像の画質の良否が発
生し、ブロックの歪が目立つ欠点があった。また、サブ
サンプリングの周期として選択できる種類は、限界があ
り、画像の特徴に対する適応性が不充分であった。 従って、この発明の目的は、ブロック単位の劣化が生
ぜず、また、画像の特徴に適応した任意のサブサンプリ
ングのパターンを形成でき、良好な復元画像が得られる
画像信号の高能率符号化装置を提供することにある。 この発明の他の目的は、実時間処理が可能であって、
動画像に対して好適な高能率符号化装置を提供すること
にある。 〔問題点を解決するための手段〕 この発明は、時間的又は空間的な配列を有する複数の
画素をサブサンプリングすることにより、伝送データ量
を原データ量に比して圧縮するようにした画像信号の高
能率符号化装置において、 水平および垂直方向に関して、少なくとも１画素以上
を飛び越して規則的に位置する第１の画素と、符号化し
ようとする注目画素の周辺に位置する、第１の画素と複
数の第２の画素を同時に出力する同時化手段と、 同時化手段と結合され、第２画素の夫々について補間
データを形成するために必要とされる、第２の画素の夫
々の周辺の複数の第１又は第２の画素の原データを選択
して出力する選択手段と、 選択手段により選択された複数の第１の画素の原デー
タのみを使用して第２の画素の補間データを形成する手
段と、補間される第２の画素の位置の原データを使用し
て、第１の画素の原データによって補間されない位置の
他の第２の画素の補間データを形成する手段とを少なく
とも有する補間手段と、 補間データと第２の画素の原データとの間の補間誤差
を検出し、補間誤差をしきい値と比較することによっ
て、補間誤差がしきい値より大きいときには伝送を指示
し、補間誤差が上記しきい値より小さいときには間引き
を指示するように、第２の画素の夫々に対応して伝送／
間引きを指示する１ビットの制御コードを発生する検出
手段と、 同時化手段からの注目画素が供給され、第１の画素デ
ータを伝送すると共に、制御コードに応じて第２の画素
の原データの伝送／間引きを行い、伝送データを形成す
るデータ形成手段と、 を備え、伝送データと共に、制御コードを送出するよ
うにしたことを特徴とする画像信号の高能率符号化装置
である。 〔作用〕 一例として、ディジタルビデオ信号の（４×４）画素
毎に位置する第１の画素は、間引かれずに必ず伝送され
る。この第１の画素以外の第２の画素は、サブサンプリ
ングによって間引かれるか又はそのまま伝送される。こ
の判断は、受信側で間引かれた画素を周辺画素により補
間した場合に、予測される誤差の大小に応じてなされ
る。即ち、予測誤差が大きい時には、間引きができない
ために、原データが伝送され、予備誤差が小さい時に
は、間引きが可能なために、原データが伝送されない。
このようにして伝送／間引きが制御された第２の画素の
データと第１の画素のデータとが伝送される。第２の画
素のデータの各サンプルに対しては、伝送／間引きを制
御するための１ビットの制御データが付加される。受信
側では、制御データを見て補間が必要かどうかが判断さ
れる。 予測誤差に基づく、伝送／間引きの判断は、原データ
を用いてなされる。従って、実時間処理が可能であり、
動画像に対して適用してこの発明は、好適である。ま
た、この発明は、ブロック構造を有しないので、ブロッ
ク毎に復元画質の良否が目立つ問題が発生しない。更
に、１画素毎に、間引きについての判断を行うので、画
像の特徴に対する適応性が頗る良好とできる。 〔実施例〕 以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の順序に従ってなされる。 a.サブサンプリングエンコーダ b.サブサンプリングデコーダ c.変形例 a.サブサンプリングエンコーダ 第１図を参照して、画像信号の送信側（VTR等の場合
には、記録側）に設けられるサブサンプリングエンコー
ダについて説明する。第１図において、１で示す入力端
子に例えばディジタルビデオ信号が供給される。このデ
ィジタルビデオ信号は、一例として13.5〔MHz〕のサン
プリング周波数で、１画素データが８ビットとされたも
のである。 入力端子１には、LDで示されるライン遅延回路２、
３、４、５の縦続接続が接続される。また、入力端子１
に対してSDで示されるサンプル遅延回路６及び７が直列
に接続され、ライン遅延回路２の出力側にサンプル遅延
回路８及び９が直列に接続され、ライン遅延回路３の出
力側にサンプル遅延回路10、11、12及び13が直列に接続
され、ライン遅延回路４の出力側にサンプル遅延回路14
及び15が直列に接続され、ライン遅延回路５の出力側に
サンプル遅延回路16及び17が直列に接続される。これら
のライン遅延回路２、３、４、５は、１水平期間の遅延
量を夫々持ち、サンプル遅延回路６、７、８、・・・・
・、17は、１サンプリング期間の遅延量を夫々有する。
ライン遅延回路２〜５及びサンプル遅延回路６〜17によ
り、テレビジョン画像の所定の２次元領域に含まれる複
素画素のデータが同時に取り出される。 第２図を参照してこの実施例によるサブサンプリング
について説明する。第２図は、入力ディジタルビデオ信
号の２次元（フィールド又はフレーム）の一部の領域を
示し、水平方向の画素の間隔がサンプリング周期と対応
し、垂直方向の画素の間隔がライン間隔と対応してい
る。第２図中の各画素に付された信号（△、●、□、
×、○）の夫々は、補間の処理の違いを表している。ま
ず、○で示されるのは、４ライン毎及び４画素毎に位置
する基本画素を表す。この16個の画素毎に１個の割合の
基本画素は、間引かれずに必ず伝送される。基本画素以
外の画素は、以下に述べるように、２個の画素の平均値
と比較され、原画素データと平均値との差（予測誤差）
がしきい値以下の時には、間引かれる。逆に、予測誤差
がしきい値を超える場合には、伝送される。 △で表される画素：上下のラインに夫々位置する画素
データの平均値と比較される。 例えば、画素a2は、平均値〔1/2（a1＋a3）〕と比較
される。 ●で表される画素：上下の２ライン離れたラインに夫
々位置する画素の平均値と比較される。 例えば、画素a3は、平均値〔1/2（a1＋a5）〕と比較
される。 □で表される画素：左右の２画素離れて位置する画素
の平均値と比較される。 例えば画素c3は、平均値〔1/2（a3＋e3）〕と比較さ
れる。 ×で表される画素：左右に隣接する画素の平均値と比
較される。 例えば画素b2は、平均値〔1/2（a2＋c2）〕と比較さ
れる。 第１図におけるサンプル遅延回路11の出力側が注目画
素であって、このサンプル遅延回路11の出力データがセ
レクタ18及び19の第５の入力端子と演算回路23とゲート
回路27とに供給される。セレクタ18及び19は、第１〜第
５の５個の入力端子を持ち、サンプリングクロックと同
期する端子20からの選択信号によって、これらの５個の
入力端子に夫々供給されている入力データを順次出力端
子に選択的に出力する。 セレクタ18の第１の入力端子には、サンプル遅延回路
７の出力データが供給され、セレクタ19の第１の入力端
子には、サンプル遅延回路17の出力データが供給され
る。従って、注目画素が●で表される画素の場合に、セ
レクタ18及び19の夫々の第１の入力端子に供給される入
力データが選択される。セレクタ18及び19の第２の入力
端子には、サンプル遅延回路９及び15の出力データが夫
々供給される。従って、注目画素が△で表される画素の
場合に、セレクタ18及び19の夫々の第２の入力端子に供
給される入力データが選択される。セレクタ18及び19の
第３の入力端子には、ライン遅延回路３及びサンプル遅
延回路13の出力データが夫々供給される。従って、注目
画素が□で表される画素の場合に、セレクタ18及び19の
夫々の第３の入力端子に供給される入力データが選択さ
れる。セレクタ18及び19の第４の入力端子には、サンプ
ル遅延回路10及び12の出力データが夫々供給される。従
って、注目画素が×で表される画素の場合に、セレクタ
18及び19の夫々の第４の入力端子に供給される入力デー
タが選択される。セレクタ18及び19の第５の入力端子に
は、サンプル遅延回路11の出力データ（注目画素）が供
給され、従って、注目画素が○で表される基本画素の場
合に、セレクタ18及び19の両者が基本画素を選択する。 セレクタ18及び19の出力データが加算回路21に供給さ
れ、加算回路21の出力信号が1/2倍回路22に供給され
る。従って、1/2倍回路21からは、セレクタ18及び19に
よって夫々選択された２個の画素データの平均値データ
が発生する。この平均値データとサンプル遅延回路11か
らの注目画素のデータとが減算回路23に供給され、減算
回路23からの差データが絶対値化回路24において絶対値
に変換される。この絶対値化回路24の出力データが比較
回路25に供給され、端子26からのしきい値と比較され
る。 絶対値化回路24の出力データは、前述のように、２画
素の画素の平均値で補間を行った時に発生する予測誤差
を表している。この予測誤差がしきい値以下の場合に
は、その画素を間引いても良いことを意味するので、比
較回路25からの制御データ（１ビット）が“1"とされ
る。一方、予測誤差がしきい値を超える場合には、受信
側で補間が良好にできないことを意味するので、比較回
路25からの制御データが“0"とされる。この制御データ
によって、ゲート回路27のオン／オフが制御される。制
御データが“0"の時には、ゲート回路27がオンして原画
素データが出力端子28に取り出され、制御データが“1"
の時には、ゲート回路27がオフして原画素データが出力
端子28に取り出されない。また、制御データは、出力端
子29に取り出され、サブサンプリングされたビデオデー
タと共に伝送される。即ち、サブサンプリングエンコー
ダの出力端子28、29には、フレーム化回路（図示せず）
が接続され、このフレーム化回路において、画素データ
及び制御データが合成され、伝送される画素データの場
合では、１画素当りで９ビットのデータが伝送され、間
引かれる画素データの場合では、１画素当りで１ビット
の制御データのみが伝送される。 上述のように、サブサンプリングは、１画素毎に予測
誤差が大きいか否かに応じてなされる。即ち、ブロック
単位ではなく、最小単位である画素毎に適応的に伝送／
間引きが制御される。また、予測誤差を求めて間引きを
行うかどうかを判定する時に、補間データを用いずに、
実行データを用いているので、繰り返し処理が避けら
れ、実時間処理が可能である。 b.サブサンプリングデコーダ、 第３図は、受信側（VTR等の場合には、再生側）に設
けられるサブサンプリングデコーダを示す。第３図にお
いて、31で示す入力端子に受信されたディジタルビデオ
信号が供給され、32で示す入力端子に受信データと同期
しているサンプリングクロックが供給される。 入力端子31には、ライン遅延回路33、34、35、36が直
列に接続される。入力端子31及びライン遅延回路33〜36
の夫々の出力側には、直列→並列変換回路41、42、43、
44、45が夫々接続される。これらの直列→並列変換回路
41〜45には、サンプリングクロックによって、異なるラ
インの夫々の受信データが順次取り込まれ1/4分周回路3
7の出力信号によって、４個の画素データがラッチさ
れ、また、次の画素データが入力された時点で５個の画
素データが並列的に発生する。従って、あるタイミング
においては、第２図に示される画素が直列→並列変換回
路41〜45の夫々から出力される。例えば、ライン遅延回
路36から（a1、b1、c1、d1）の４個の画素データが直列
→並列変換回路45にラッチされ、次の画素データe1と合
わせた５個の画素データが同時に直列→並列変換回路45
から発生する。 直列→並列変換回路41〜45の出力信号の中で、a5〜e5
とe1〜e4とは、補間のために用いられる周辺の画素デー
タであって、これらの画素を除く（４×４＝16）個の画
素が補間の対象とされる。51、52、53・・・・・68、69
は、夫々補間回路を示し、互いに同一の構成を有してい
る。第４図は、補間回路51の構成を具体的に示す。 補間回路51は、入力端子91、92及び93と出力端子94と
を有し、入力端子91に対して、補間の対象とされる画像
データc5（１ビットの制御データ含む）が供給され、入
力端子92及び93には、補間に必要な周辺の画素データe5
及びa5が供給される。入力端子92及び93からの画素デー
タが加算回路95に供給され、加算回路95の出力信号が1/
2倍回路96に供給される。この1/2倍回路96の出力信号が
平均値補間における補間値である。入力端子91からの画
素データ及び1/2倍回路96の出力信号がセレクタ97に供
給される。 セレクタ97は、入力端子91からの画素データに含まれ
ている１ビットの制御データにより制御され、制御デー
タが“1"（間引き）の場合には、セレクタ97が1/2倍回
路96の出力信号を選択し、制御データが“0"（伝送）の
場合には、セレクタ97が入力端子91からの画素データを
選択する。セレクタ97の出力信号が出力端子94に得られ
る。 原画素データが間引き画素の時に、補間回路51〜69の
夫々から得られる補間値は、以下に示されるものであ
る。 補間回路51:c5→1/2（a5＋e5） 補間回路52:e4→1/2（e3＋e5） 補間回路53:c4→1/2（c3＋c5） 補間回路54:a4→1/2（a3＋a5） 補間回路55:d4→1/2（c4＋e4） 補間回路56:b4→1/2（a4＋c4） 補間回路57:e3→1/2（e1＋e5） 補間回路58:a3→1/2（a1＋a5） 補間回路59:c3→1/2（a3＋e3） 補間回路60:d3→1/2（c3＋e3） 補間回路61:b3→1/2（a3＋c3） 補間回路62:e2→1/2（e1＋e3） 補間回路63:c2→1/2（c1＋c3） 補間回路64:a2→1/2（a1＋a3） 補間回路65:d2→1/2（c2＋e2） 補間回路66:b2→1/2（a2＋c2） 補間回路67:c1→1/2（a1＋e1） 補間回路68:d1→1/2（c1＋e1） 補間回路69:b1→1/2（a1＋c1） 上述の補間回路51〜69からの出力信号の中で、（４×
４）の範囲に含まれる16個の画素データが同一ライン内
の４画素毎に並列→直列変換回路71、72、73、74に夫々
供給される。これらの並列→直列変換回路71〜74には、
1/4分周回路37の出力信号によって、補間後の４個の画
素データが夫々ラッチされる。また、並列→直列変換回
路71〜74からは、端子32からのサンプリングクロックに
同期して直列の復元データが出力される。なお、第３図
中で記入された画素データは、1/4分周回路37からの次
のクロックが発生する時点では、勿論、異なったものと
なる。即ち、直列→並列変換回路41〜45の夫々の画素デ
ータa1、a2、a3、a4、a5は、画素データe1、e2、e3、e
4、e5によって置き代えられる。 並列→直列変換回路71からの復元データがライン遅延
回路75に供給され、ライン遅延回路75の出力データと並
列→直列変換回路72からの復元データがセレクタ76に供
給される。セレクタ76の出力データがライン遅延回路77
に供給され、ライン遅延回路77の出力データと並列→直
列変換回路73からの復元データがセレクタ78に供給され
る。セレクタ78の出力データがライン遅延回路79に供給
され、ライン遅延回路79の出力データと並列→直列変換
回路74からの復元データがセレクタ80に供給される。こ
れらのライン遅延回路75、77、79とセレクタ76、78、80
は、復元データの順序をテレビジョン走査と同様の順序
に変換するために設けられており、セレクタ80の出力端
子81には、テレビジョン走査の順序の復元データが得ら
れる。 c.変形例 この発明は、他の高能率符号と組み合わせて使用する
場合にも適用できる。本願出願人は、画面を多数のブロ
ックに分割し、ブロック毎にダイナミックレンジを求
め、このダイナミックレンジを固定又は可変のビット数
で定まる個数の領域に分割し、最小値除去後の画素デー
タが属する領域と対応するコード信号を伝送するダイナ
ミックレンジに通用した符号（ADRCと称される）を先に
提案している。 第５図に示すように、ディジタルビデオ信号が供給さ
れる入力端子101に対して前述と同様のサブサンプリン
グエンコーダ102が接続され、サブサンプリングエンコ
ーダ102に対してADRCエンコーダ103が接続される。ADRC
エンコーダ103は、伝送される画素データを元のビット
数より短いビット数のコード信号に変換し、出力端子10
4には、データ量が圧縮された出力信号が得られる。 第５図に示されるエンコーダシステムと対応するデコ
ーダシステムは、第６図に示すように、受信データが供
給される入力端子105と接続されたADRCデコーダ106とAD
RCデコーダ106からの復元データが供給される第３図と
同様の構成のサブサンプリングデコーダ107とからな
り、出力端子108に復元データが得られれる。 また、この発明における制御データをランレングス符
号化によって符号化しても良い。 〔発明の効果〕 この発明に依れば、ブロック単位でサブサンプリング
のパターンを切替える方式と異なり、１画素毎に予測誤
差が大きいか否かに応じてサブサンプリングがなされる
ので、ブロック単位で復元画像の劣化が目立つことを防
止できる。また、この発明に依れば、画像の特徴に対し
て適応性が非常に良好なサブサンプリングがされ、復元
画質を良好とできる。更に、この発明は、実時間処理が
可能で、動画像の処理に好適なものである。より更に、
この発明では、エラーが発生しても、このエラーが伝播
することが少い。

【図面の簡単な説明】 第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例のサンプリングパターンの説明に用い
る略線図、第３図はこの発明の一実施例と対応するサン
プリングデコーダのブロック図、第４図はサンプリング
デコーダに設けられる補間回路の具体的構成の一例を示
すブロック図、第５図はエンコーダシステムの一例のブ
ロック図、第６図はデコーダシステムの一例のブロック
図である。 図面における主要な符号の説明 1:入力端子、２〜5:ライン遅延回路、６〜17:サンプル
遅延回路、18、19:セレクタ、23:減算回路、25:比較回
路、27:ゲート回路、28、29:出力端子。

Claims (1)

1. (57)【特許請求の範囲】 １．時間的又は空間的な配列を有する複数の画素をサブ
   サンプリングすることにより、伝送データ量を原データ
   量に比して圧縮するようにした画像信号の高能率符号化
   装置において、 水平および垂直方向に関して、少なくとも１画素以上を
   飛び越して規則的に位置する第１の画素と、符号化しよ
   うとする注目画素の周辺に位置する、上記第１の画素と
   複数の第２の画素を同時に出力する同時化手段と、 上記同時化手段と結合され、上記第２の画素の夫々につ
   いて補間データを形成するために必要とされる、上記第
   ２の画素の夫々の周辺の複数の上記第１又は第２の画素
   の原データを選択して出力する選択手段と、 上記選択手段により選択された複数の第１の画素の原デ
   ータのみを使用して第２の画素の補間データを形成する
   手段と、上記補間される第２の画素の位置の原データを
   使用して、上記第１の画素の原データによって補間され
   ない位置の他の第２の画素の補間データを形成する手段
   とを少なくとも有する補間手段と、 上記補間データと上記第２の画素の原データとの間の補
   間誤差を検出し、上記補間誤差をしきい値と比較するこ
   とによって、上記補間誤差が上記しきい値より大きいと
   きには伝送を指示し、上記補間誤差が上記しきい値より
   小さいときには間引きを指示するように、上記第２の画
   素の夫々に対応して伝送／間引きを指示する１ビットの
   制御コードを発生する検出手段と、 上記同時化手段からの上記注目画素が供給され、上記第
   １の画素データを伝送すると共に、上記制御コードに応
   じて上記第２の画素の原データの伝送／間引きを行い、
   伝送データを形成するデータ形成手段と、 を備え、上記伝送データと共に、上記制御コードを送出
   するようにしたことを特徴とする画像信号の高能率符号
   化装置。