JPS63250987A - 画像信号の高能率符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、テレビジョン信号等の画像信号の高能率符
号化装置、特に、サブサンプリングを用いるものに関す
る。

〔発明の概要〕

この発明では、時間的又は空間的な配列を有する複数の
画素をサブサンプリングすることにより、伝送データ量
を原データ量に比して圧縮するようにした画像信号の高
能率符号化装置において、複数の画素の中で規則的に位
置する第１の画素以外の第２の画素に関して、第２の画
素の夫々の周辺の複数の第１又は第２の画素を使用して
補間の予測がなされ、補間により得られたデータと第２
の画素の原データとの間の予測誤差が検出され、予測誤
差の大きさに応じて制御コードが発生され、制御コード
に応じて第２の画素の原データの伝送７間引きがなされ
る。この発明に依れば、画像の微細な部分の特徴に応じ
てサブサンプリングの密度が変化され、復元画質を良好
とでき、また、高い圧縮率が得られる。また、この発明
は、実時間処理が可能であって、静止画像のみならず動
画像を処理することができる。

〔従来の技術〕

ディジタルビデオ信号を伝送する場合に、伝送するデー
タ量を元のデータ量に比して圧縮する方法として、サブ
サンプリングによって画素を間引き、サブサンプリング
周波数を低くするものが知られている。サブサンプリン
グの一つとして、画像のデータが２に間引かれ、サブサ
ンプリング点と、補間の時に使用するサブサンプリング
点の位置を示す２ビツトのフラグとを伝送するものが提
案されている。ディジタルビデオ信号の１画素データが
８ビツトの場合、フラグの２ビツトを加えると、１画素
当りが５ビツトとなり、圧縮率が（５／８）となる。

この従来のサブサンプリングは、サブサンプリングのパ
ターンが常に同じであるので、画像中で物体の輪郭のよ
うな部分では、復元画質の劣化が目立つ問題があった。

特に、サブサンプリングのレートをＡより高くすると、
画質の劣化が著しい欠点があった。

本願出願人は、上述の問題点を解決するために、特願昭
６１−１１００９８号明細書に記載されているように、
１枚の画像を多数の２次元ブロックに分割し、このブロ
ック内の複数の画素データの最大値と最小値との差（ダ
イナミックレンジ）を求め、ブロックのダイナミックレ
ンジに応じてサブサンプリングの周期を可変する符号化
方法を提案している。即ち、ダイナミックレンジが小さ
いブロックに関しては、平面的な画像と判断して、サブ
サンプリングの周期を例えば（１／８）のように長くし
、また、ダイナミックレンジが比較的大きいブロックに
関しては、変化がある画像と判断して、サブサンプリン
グの周期が（ｚ）とされ、更に、ダイナミックレンジが
極めて大きいブロックに関しては、変化が激しい画像と
判断して、サブサンプリングがなされない。

〔発明が解決しようとする問題点〕

上述のように、ダイナミックレンジに応じてサブサンプ
リングの周期を選択的に切り替える高能率符号化装置は
、ブロックの単位でサブサンプリングの周期が設定され
るので、ブロックの単位で復元画像の画質の良否が発生
し、ブロックの歪が目立つ欠点があった。また、サブサ
ンプリングの周期として選択できる種類は、限界があり
、画像の特徴に対する適応性が不充分であった。

従って、この発明の目的は、ブロック単位の劣化が生ぜ
ず、また、画像の特徴に適応した任意のサブサンプリン
グのパターンを形成でき、良好な復元画像が得られる画
像信号の高能率符号化装置を提供することにある。

この発明の他の目的は、実時間処理が可能であって、動
画像に対して好適な高能率符号化装置を提供することに
ある。

〔問題点を解決するための手段〕

この発明では、時間的又は空間的な配列を有する複数の
画素をサブサンプリングすることにより、伝送データ量
を原データ量に比して圧縮するようにした画像信号の高
能率符号化装置において、複数の画素中で規則的に位置
する第１の画素以外の第２の画素に関して、第２の画素
の夫々の周辺の複数の第１又は第２の画素を使用して補
間の予測を行う回路と、補間により得られたデータと第
２の画素の原データとの間の予測誤差を検出し、予測誤
差の大きさに応じて制御コードを発生する回路と、第１
の画素のデータを伝送すると共に、制御コードに応じて
第２の画素の原データの伝送／間引きを行い、伝送デー
タを形成する回路とが備えられている。

〔作用〕

一例として、ディジタルビデオ信号の（４×４）画素毎
に位置する第１の画素は、間引かれずに必ず伝送される
。この第１の画素以外の第２の画素は、サブサンプリン
グによって間引かれるか又はそのまま伝送される。この
判断は、受信側で間引かれた画素を周辺画素により補間
した場合に、予測される誤差の大小に応じてなされる。

即ち、予測誤差が大きい時には、間引きができないため
に、原データが伝送され、予測誤差が小さい時には、間
引きが可能なために、原データが伝送されない。このよ
うにして伝送／間引きが制御された第２の画素のデータ
と第１の画素のデータとが伝送される。第２の画素のデ
ータの各サンプルに対しては、伝送／間引きを制御する
ための１ビツトの制御データが付加される。受信側では
、制御データを見て補間が必要かどうかが判断される。

予測誤差に基づく、伝送／間引きの判断は、原データを
用いてなされる。従って、実時間処理が可能であり、動
画像に対して適用してこの発明は、好適である。また、
この発明は、ブロック構造を有しないので、ブロック毎
に復元画質の良否が目立つ問題が発生しない。更に、１
画素毎に、間引きについての判断を行うので、画像の特
徴に対する適応性が頗る良好とできる。

〔実施例〕

以下、この発明の一実施例について図面を参照して説明
する。この説明は、下記の順序に従ってなされる。

ａ、サブサンプリングエンコーダ ｂ、サブサンプリングデコーダ Ｃ３変形例 ａ、サブサンプリングエンコーダ 第１図を参照して、画像信号の送信側（ＶＴＲ等の場合
には、記録側）に設けられるサブサンプリングエンコー
ダについて説明する。第１図において、１で示す入力端
子に例えばディジタルビデオ信号が供給される。このデ
ィジタルビデオ信号は、−例として１３．５　（ＭＨｚ
）のサンプリング周波数で、１画素データが８ビツトと
されたものである。

入力端子１には、ＬＤで示されるライン遅延回路２．３
．４．５の縦続接続が接続される。また、入力端子１に
対してＳＤで示されるサンプル遅延回路６及び７が直列
に接続され、ライン遅延回路２の出力側にサンプル遅延
回路８及び９が直列に接続され、ライン遅延回路３の出
力側にサンプル遅延回路１Ｏ１１１，１２及び１３が直
列に接続され、ライン遅延回路４の出力側にサンプル遅
延回路１４及び１５が直列に接続され、ライン遅延回路
５の出力側にサンプル遅延回路１６及び１７が直列に接
続される。これらのライン遅延回路２．３．４．５は、
１水平期間の遅延量を夫々持ち、サンプル遅延回路６．
７．８、・・・・・、１７は、１サンプリング期間の遅
延量を夫々有する。

ライン遅延回路２〜５及びサンプル遅延回路６〜１７に
より、テレビジョン画像の所定の２次元領域に含まれる
複数画素のデータが同時に取り出される。

第２図を参照してこの実施例によるサブサンプリングに
ついて説明する。第２図は、人力ディジタルビデオ信号
の２次元（フィールド又はフレーム）の一部の領域を示
し、水平方向の画素の間隔がサンプリング周期と対応し
、垂直方向の画素の間隔がライン間隔と対応している。

第２図中の各画素に付された記号（△、・、口、×、○
）の夫々は、補間の処理の違いを表している。まず、○
で示されるのは、４ライン毎及び４画素毎に位置する基
本画素を表す。この１６個の画素毎に１個の割合の基本
画素は、間引かれずに必ず伝送される。基本画素以外の
画素は、以下に述べるように、２個の画素の平均値と比
較され、原画素データと平均値との差（予測誤差）がし
きい値以下の時には、間引かれる。逆に、予測誤差がし
きい値を、超える場合には、伝送される。

■△で表される画素二上下のラインに夫々位置する画素
データの平均値と比較される。

例えば、画素ａ２は、平均値（！４（ａ１＋ａ３）〕　
と比較される。

■・で表される画素二上下の２ライン離れたラインに夫
々位置する画素の平均値と比較される。

例えば画素ａ３は、平均値（！４（ａｌ＋ａ５）〕と比
較される。

０口で表される画素：左右の２画素離れて位置する画素
の平均値と比較される。

例えば画素ｃ３は、平均値（！４（ａ３＋ｅ３）〕と比
較される。

■×で表される画素；左右に隣接する画素の平均値と比
較される。

例えば画素ｂ２は、平均値（！４（ａ２＋ｃ２）〕　と
比較される。

第１図におけるサンプル遅延回路１１の出力側が注目画
素であって、このサンプル遅延回路１１の出力データが
セレクタ１８及び１９の第５の入力端子と減算回路２３
とゲート回路２７とに供給される。セレクタ１８及び１
９は、第１〜第５の５個の入力端子を持ち、サンプリン
グクロックと同期する端子２０からの選択信号によって
、これらの５個の入力端子に夫々供給されている入力デ
ータを順次出力端子に選択的に出力する。

セレクタ１８の第１の入力端子には、サンプル遅延回路
７の出力データが供給され、セレクタ１９の第１の入力
端子には、サンプル遅延回路１７の出力データが供給さ
れる。従って、注目画素が△で表される画素の場合に、
セレクタ１８及び１９の夫々の第１の入力端子に供給さ
れる入力データが選択される。セレクタ１８及び１９の
第２の入力端子には、サンプル遅延回路９及び１５の出
力データが夫々供給される。従って、注目画素が・で表
される画素の場合に、セレクタ１８及びｌ　　　　　９
の夫々の第２の入力端子に供給される入力データが選択
される。セレクタ１８及び１９の第３の入力端子には、
ライン遅延回路３及びサンプル遅延回路１３の出力デー
タが夫々供給される。従って、注目画素が口で表される
画素の場合に、セレクタ１８及び１９の夫々の第３の入
力端子に供給される入力データが選択される。セレクタ
１８及び１９の第４の入力端子には、サンプル遅延回路
１０及び１２の出力データが夫々供給される。従って、
注目画素が×で表される画素の場合に、セレクタ１８及
び１９の夫々の第４の入力端子に供給される入力データ
が選択される。セレクタ１８及び１９の第５の入力端子
には、サンプル遅延回路１１の出力データ（注目画素）
が供給され、従って、注目画素が○で表される基本画素
の場合に、セレクタ１８及び１９の両者が基本画素を選
択する。

セレクタ１８及び１９の出力データが加算回路２１に供
給され、加算回路２１の出力信号がＡ倍回路２２に供給
される。従って、２倍回路２１からは、セレクタ１８及
び１９によって夫々選択された２個の画素データの平均
値データが発生する。

この平均値データとサンプル遅延回路１１からの注目画
素のデータとが減算回路２３に供給され、減算回路２３
からの差データが絶対値化回路２４において絶対値に変
換される。この絶対値化回路２４の出力データが比較回
路２５に供給され、端子２６からのしきい値と比較され
る。

絶対値化回路２４の出力データは、前述のように、２画
素の画素の平均値で補間を行った時に発生する予測誤差
を表している。この子７ｊｔｌＩ誤差がしきい値以下の
場合には、その画素を間引いても良いことを意味するの
で、比較回路２５からの制御データ（１ビツト）が“１
”とされる。一方、予測誤差がしきい値を超える場合に
は、受信側で補間が良好にできないことを意味するので
、比較回路２５からの制御データが“０”とされる。こ
の制御データによって、ゲート回路２７のオン／オフが
制御される。制御データが“０”の時には、ゲート回路
２７がオンして原画素データが出力端子２８に取り出さ
れ、制御データが１”の時には、ゲート回路２７がオフ
して原画素データが出力端子２８に取り出されない。ま
た、制御データは、出力端子２９に取り出され、サブサ
ンプリングされたビデオデータと共に伝送される。即ち
、サブサンプリングエンコーダの出力端子２８．２９に
は、フレーム化回路（図示せず）が接続され、このフレ
ーム化回路において、画素データ及び制御データが合成
され、伝送される画素データの場合では、１画素当りで
９ビツトのデータが伝送され、間引かれる画素データの
場合では、１画素当りで１ビツトの制御データのみが伝
送される。

上述のように、サブサンプリングは、１画素毎に予測誤
差が大きいか否かに応じてなされる。即ち、ブロック単
位ではなく、最小単位である画素毎に適応的に伝送／間
引きが制御される。また、予測誤差を求めて間引きを行
うかどうかを判定する時に、補間データを用いずに、実
データを用いているので、繰り返し処理が避けられ、実
時間処理が可能である。

ｂ、サブサンプリングデコーダ、 第３図は、受信側（ＶＴＲ等の場合には、再生側）に設
けられるサブサンプリングデコーダを示す。第３図にお
いて、３１で示す入力端子に受信されたディジタルビデ
オ信号が供給され、３２で示す入力端子に受信データと
同期しているサンプリングクロックが供給される。

入力端子３１には、ライン遅延回路３３．３４．３５．
３６が直列に接続される。入力端子３１及びライン遅延
回路３３〜３６の夫々の出力側には、直列−並列変換回
路４１．４２．４３．４４．４５が夫々接続される。こ
れらの直列−並列変換回路４１〜４５には、サンプリン
グクロックによって、異なるラインの夫々の受信データ
が順次取り込まれＡ分周回路３７の出力信号によって、
４個の画素データがラッチされ、また、次の画素データ
が入力された時点で５個の画素データが並列的に発生す
る。従って、あるタイミングにおいては、第２図に示さ
れる画素が直列−並列変換回路４１〜４５の夫々から出
力される。例えば、ライン遅延回路３６から（ａＬｂｌ
、、ｃｌ、ｄｉ）の４個の画素データが直列−並列変換
回路４５にラッチされ、次の画素データｅ１と合わせた
５個の画素データが同時に直列−並列変換回路４５から
発生する。

直列−並列変換回路４１〜４５の出力信号の中で、ａ５
〜ｅ５とｅ１〜ｅ４とは、補間のために用いられる周辺
の画素データであって、これらの画素を除＜　　（４Ｘ
４＝１６）個の画素が補間の対象とされる。５１．５２
．５３・・・・・６８．６９は、夫々補間回路を示し、
互いに同一の構成を有している。第４図は、補間回路５
１の構成を具体的に示す。

補間回路５１は、入力端子９１．９２及び９３と出力端
子９４とを有し、入力端子９１に対して、補間の対象と
される画素データＣ５（１ビツトの制御データ含む）が
供給され、入力端子９２及び９３には、補間に必要な周
辺の画素データｅ５及びａ５が供給される。入力端子９
２及び９３からの画素データが加算回路９５に供給され
、加算回路９５の出力信号が２倍回路９６に供給される
。

この％倍回路９６の出力信号が平均値補間における補間
値である。入力端子９１からの画素データ及び各倍回路
９６の出力信号がセレクタ９７に供給される。

セレクタ９７は、入力端子９２からの画素データに含ま
れている１ビツトの制御データにより制御され、制御デ
ータが“１”　（間引き）の場合には、セレクタ９７が
Ａ倍回路９６の出力信号を選択し、制御データが“０”
　（伝送）の場合には、セレクタ９７が入力端子９１か
らの画素データを選択する。セレクタ９７の出力信号が
出力端子９４に得られる。

原画素データが間引き画素の時に、補間回路５１〜６９
の夫々から得られる補間値は、下記に示されるものであ
る。

補間回路５１　：ｃ５−ＩＡ（ａ５＋ｅ５）補間回路５
２　：　ｅ　４−ｙ　（ｅ　３　＋ｅ　５）補間回路５
３　：　ｃ４−＝％　（ｃ３＋ｃ５）補間回路５４：ａ
４−％（ａ３＋ａ５）補間回路５５　：ｄ４＝！４　（
ｃ４＋ｅ４）補間回路５６　：　ｂ　４＝！４　（ａ　
４＋ｃ　４）補間回路５７　：　ｅ３＝’Ａ　（ｅｌ＋
ｅ５）補間回路５８　：　ａ　３＝’Ａ　（ａ　１　＋
ａ　５）補間回路５９　：　ｃ３＝’Ａ　（ａ３＋ｅ３
）補間回路６０　：　ｄａ−ｙ　（ｃ３＋ｅ３）補間回
路６１　：　ｂ　３”Ａ　（ａ　３　＋ｃ　３）補間回
路６２：ｅ２＝％　（ｅｌ＋ｅ３）補間回路６３　：　
Ｃ２−Ｖ２（Ｃ１＋Ｃ３）補間回路６４：ａ２→Ｖ２（
ａｌ＋ａ３）補間回路６５　：　ｄ２＝！４　（ｃ２＋
ｅ２）補間回路６６　：　ｂｚ−Ｖ２（Ｃ２＋Ｃ２）補
間回路６７：ｃｌ−＋Ａ（ａｌ＋ｅｌン補間回路６８：
ｄｌ−＝＋Ａ（ｃｌ＋ｅｌ）補間回路６９：ｂｌ＝！／
Ｓ　（ａｌ＋ｃ１）上、述の補間回路５１〜６９からの
出力信号の中で、（４Ｘ４）の範囲に含まれる１６個の
画素データが　同一ライン内の４画素毎に並列−直列変
換回路７１．７２．７３．７４に夫々供給される。

これらの並列−直列変換回路７１〜７４には、Ａ分周回
路３７の出力信号によって、補間後の４個の画素データ
が夫々ラッチされる。また、並列−直列変換回路７１〜
７４からは、端子３２からのサンプリングクロックに同
期して直列の復元データが出力される。なお、第３図中
で記入された画素データは、Ａ分周回路３７からの次の
クロックが発生する時点では、勿論、異なったものとな
る。

即ち、直列−並列変換回路４１〜４５の夫々の画素デー
タａ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５は、画素データｅ１、
Ｃ２、Ｃ３、Ｃ４、Ｃ５によって置き代えられる。

並列−直列変換回路７１からの復元データがライン遅延
回路７５に供給され、ライン遅延回路７５の出力データ
と並列−直列変換回路７２からの復元データがセレクタ
７６に供給される。セレクタ７６の出力データがライン
遅延回路７７に供給され、ライン遅延回路７７の出力デ
ータと並列−直列変換回路７３からの復元データがセレ
クタ７８に供給される。セレクタ７８の出力データがラ
イン遅延回路７９に供給され、ライン遅延回路７９の出
力データと並列−直列変換回路７４からの復元データが
セレクタ８０に供給される。これらのライン遅延回路７
５．７７．７９とセレクタ７６．７８．８０は、復元デ
ータの順序をテレビジョン走査と同様の順序に変換する
ために設けられており、セレクタ８０の出力端子８１に
は、テレビジョン走査の順序の復元データが得られる。

Ｃ１変形例 この発明は、他の高能率符号と組み合わせて使用する場
合にも適用できる。本願出願人は、画面を多数のブロッ
クに分割し、ブロック毎にダイナミックレンジを求め、
このダイナミックレンジを固定又は可変のビット数で定
まる個数の領域に分割し、最小値除去後の画素データが
属する領域と対応するコード信号を伝送するダイナミッ
クレンジに通用した符号（ＡＤＲＣと称される）を先に
提案している。

第５図に示すように、ディジタルビデオ信号が供給され
る入力端子１０１に対して前述と同様のサブサンプリン
グエンコーダ１０２が接続され、サブサンプリングエン
コーダ１０２に対してＡＤＲＣエンコーダ１０３が接続
される。ＡＤＲＣエンコーダ１０３は、伝送される画素
データを元のビット数より短いピント数のコード信号に
変換し、出力端子１０４には、データ量が圧縮された出
力イＳ号が得られる。

第５図に示されるエンコーダシステムと対応するデコー
ダシステムは、第６図に示すように、受信データが供給
される入力端子１０５と接続されたＡＤＲＣデコーダ１
０６とＡＤＲＣデコーダ１０６からの復元データが供給
される第３図と同様の構成のサブサンプリングデコーダ
１０７とからなり、出力端子１０８に復元データが得ら
れる。

また、この発明における制御データをランレングス符号
化によって符号化しても良い。

〔発明の効果〕

この発明に依れば、ブロック単位でサブサンプリングの
パターンを切替える方式と異なり、ブロック単位で復元
画素の劣化が目立つことを防止できる。また、この発明
に依れば、画像の特徴に対して適応性が非常に良好なサ
ブサンプリングがされ、復元画質を良好とできる。更に
、この発明は、実時間処理が可能で、動画像の処理に好
適なものである。より更に、この発明では、エラーが発
生しても、このエラーが伝播することが少い。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例のサンプリングパターンの説明に用い
る路線図、第３図はこの発明の一実施例と対応するサン
プリングデコーダのプロフり図、第４図はサンプリング
デコーダに設けられる補間回路の具体的構成の一例を示
すブロック図、第５図はエンコーダシステムの一例のブ
ロック図、第６図はデコーダシステムの一例のブロック
図である。 図面における主要な符号の説明 １：入力端子、２〜５ニライン遅延回路、６〜１７：サ
ンプル遅延回路、１８．１９：セレクタ、２３：減算回
路、２５：比較回路、２７：ゲート回路、２８．２９：
出力端子。

Claims (1)

1. 【特許請求の範囲】 時間的又は空間的な配列を有する複数の画素をサブサン
   プリングすることにより、伝送データ量を原データ量に
   比して圧縮するようにした画像信号の高能率符号化装置
   において、 上記複数の画素中で規則的に位置する第１の画素以外の
   第２の画素に関して、上記第２の画素の夫々の周辺の複
   数の上記第１又は第２の画素を使用して補間の予測を行
   う手段と、 上記補間により、得られたデータと上記第２の画素の原
   データとの間の予測誤差を検出し、上記予測誤差の大き
   さに応じて制御コードを発生する手段と、 上記第１の画素のデータを伝送すると共に、上記制御コ
   ードに応じて上記第２の画素の原データの伝送／間引き
   を行い、伝送データを形成する手段と、 を備えたことを特徴とする画像信号の高能率符号化装置
   。