JP2712298B2 - 高能率符号の復号装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、ディジタルテレビジョン信号等の画像デ
ータを伝送する場合に、３次元ブロックの構成とし、こ
のブロックの単位で符号化を行い、且つ静止ブロックに
関しては、駒落とし圧縮を行うことにより、伝送情報量
を圧縮する高能率符号の復号装置に関する。

〔従来の技術〕

テレビジョン信号等の画像信号の符号化方法として、
折り返し歪みの発生、誤りの伝播、ブロック歪みの発生
等の問題点が生じない高能率符号化装置が本願出願人に
より提案されている。例えば特願昭60−232789号明細書
に記載されているように、複数フレームに夫々含まれる
複数の領域から形成された３次元ブロックに関して、最
大値及び最小値と両者の差であるダイナミックレンジと
を求め、ダイナミックレンジに適応して画素データの符
号化を行う方法が提案されている。また、特願昭61−15
3330号明細書には、３次元ブロック毎に静止ブロック
（殆ど画像の動きが無いブロック）か動きブロックかを
判定し、静止ブロックの場合には、３次元ブロックを構
成するｎ個の同一位置の画素同士の平均値情報を伝送す
る所謂駒落としを行うことにより、伝送情報量を一層圧
縮する高能率符号化装置が提案されている。

この駒落とし圧縮された画像データは、受信側におい
て、元の個数の画素データに補間される。この補間の結
果、ジャーキネスが発生することを防止するために、特
願昭61−153328号明細書或いは特願昭61−153329号明細
書に記載されているように、時間的に前のブロックの最
後の領域のデータと現在のブロックの先頭の領域のデー
タとの平均値が形成され、この平均値が現在のブロック
の先頭の領域のデータとされる平滑化を行う高能率符号
の復号装置が提案されている。更に、大きい面積の物体
が高速で移動する時、シーンチェンジ等では、上記の平
滑化の処理を行うと、ボケが発生するので、特願昭62−
189856号明細書に記載されているように、平滑化を行う
ブロック間で画素単位で静止判定を行い、静止の画素に
関してのみ平滑化を行う技術が提案されている。

第11図乃至第13図を参照して、駒落とし処理及び平滑
化処理について説明する。第11図において、ａ〜ｆが原
データを示す。これらの原データａ〜ｄは、第12図に示
すように、時間的に連続するフレームの夫々に含まれる
空間的に対応する領域Ai,Bi,Ci,Di内で同一の位置を占
めるデータである。これらの領域は、（４ライン×４画
素）の大きさであり、３次元ブロックは、二つの領域Ai
及びBi（同様にCi及びDi）により構成される。

３次元ブロックが静止ブロックの場合には、駒落とし
処理がされる。即ち、ブロック内の同一位置を占めるデ
ータ同士の平均値（1/2（ａ＋ｂ）,1/2（ｃ＋ｄ）,1/2
（ｅ＋ｆ））が原データに代えて伝送される。１ブロッ
クが２個の領域からなるこの例では、伝送データ量が1/
2に圧縮される。更に、駒落とし処理されたデータがダ
イナミックレンジに適応した符号化（ADRCと称する）処
理を受け、伝送データ量がより一層圧縮される。

受信側では、ADRCの復号を行ってから、駒落としされ
ているデータの補間がされる。この補間は、１個の領域
分の平均値データを２個の領域のデータに変換する処理
である。従って、一つの画素に注目すると、この画素の
データは、フレーム毎に（1/2（ａ＋ｂ）→1/2（ｃ＋
ｄ）→1/2（ｅ＋ｆ））と変化する。ブロックの境界で
ジャーキネスが発生するので、後の静止ブロックの先頭
の領域のデータが前のブロックのデータとの平均値（1/
4（ａ＋ｂ＋ｃ＋ｄ））に置き換えられる平滑化の処理
がなされる。

〔発明が解決しようとする課題〕

ここで、同一位置の画素のデータが第13図に示すよう
に時間と共に徐々に増大するレベル変化を有する場合に
は、○で示す原データが２フレーム単位で駒落とし処理
されると、△で示す平均値の繰り返しとして復号され
る。上述の平滑化の処理により、□の復号データが形成
され、ジャーキネスの発生が防止される。平滑化の結
果、第13図において、破線で示すように、原データが正
の傾斜を持つ場合には、負のオフセットが発生する。こ
のオフセットは、視覚的に殆ど識別できない程度のもの
である。

しかしながら、静止ブロックのみに関して平滑化を行
うことが前提で、然も、この静止ブロック及び動きブロ
ックの判定は、しきい値判定を行う関係から、空間的に
隣接するブロックであっても、一方のブロックは、静止
ブロックとして扱われ、他方のブロックが動きブロック
として扱われることがある。例えば人の顔を含む画像を
低速でパンニングした時等で、上記の現象が生じること
がある。従って、一方のブロックは静止ブロックとして
処理されるために、オフセットを有し、他方のブロック
は、動きブロックとして処理されるために、オフセット
を有しないことになり、例えば顔の隣接した領域である
にもかかわらず、レベル差が生じ、その結果、ブロック
歪みが生じる。人の顔のようなものでは、縦の縞が発生
する問題があった。

従って、この発明の目的は、駒落とし処理されたブロ
ックを復元する時に、原データとの間にオフセットが発
生することが防止された高能率符号の復号装置を提供す
ることにある。

〔課題を解決するための手段〕

この発明は、送信側にて、時間的に連続する複数フレ
ームの夫々に属し、且つ複数フレーム間で位置的に対応
する複数の領域の画素データによって構成される３次元
ブロック構造に対し、各ブロック毎の静止判定により静
止ブロックと判定されたブロック内において空間的に同
一位置にある画素データを平均値に置き換え、この置き
換えによりデータ量を圧縮して送出される信号を、３次
元ブロック構造に復元する高能率符号の復号装置におい
て、 平均値に置き換えられた複数の領域の各領域の画素デ
ータを補間する場合、補間すべき画素データと空間的に
同一位置で、時間的に隣接する画素データを用い、補間
すべき画素データと空間的に同一位置で、時間的に隣接
する画素データとの時間方向の距離に逆比例した重み付
けを行う加重平均を行い、 加重平均により発生したデータによって複数の領域の
各領域の画素データを補間するようにしたことを特徴と
する高能率符号の復号装置である。

〔作用〕

駒落とし処理の結果、１ブロックを構成する二つの領
域間の平均値が伝送される。原画素データのレベル変化
を考慮した場合、この平均値は、時間的に二つの領域の
中間で発生しているものと考えられる。補間しようとす
る画素データと空間的に対応し、時間的に前及び後の画
素の復号データを用いて、時間差に逆比例した加重平均
により画素データを補間する時に、時間差は、上述のよ
うに、平均値が二つの領域の中間で発生するものとして
求められる。この加重平均により、原データのレベル変
化とオフセットの無い補間を行うことができる。

〔実施例〕

以下、この発明の一実施例について説明する。この説
明は、下記の順序に従ってなされる。

a.送信側の構成 b.補間方式 c.受信側の構成及び動作 d.変形例 a.送信側の構成 第１図は、この発明の一実施例における送信側（VTR
の場合では記録側）の構成を示す。１で示す入力端子に
例えば１サンブルが８ビットに量子化されたディジタル
ビデオ信号が入力される。このディジタルビデオ信号
は、テレビジョン信号と同様にフレームが連続するデー
タである。このディジタルビデオ信号がブロック化回路
２に供給される。

ブロック化回路２により、入力ディジタルビデオ信号
がブロックの順序に変換される。この一実施例では、第
２図に示すように、時間的に連続する２フレームに夫々
属する２次元領域Ai及びBiから３次元的なブロックが形
成される。各領域は、例えば（４ライン×４画素）の大
きさである。従って、１ブロックには、（４×４×２＝
32）個の画素が含まれる。

ブロック化回路の２の出力信号が動き判定回路３に供
給される。動き判定回路３によりブロック毎に動きの有
無が判定される。動き判定回路３では、ブロックを構成
する二つの領域の間で同一位置を占める画素データ同士
の差が検出され、この差の絶対値の最大値としきい値と
が比較され、差の絶対値がしきい値より大きい時は、動
きブロックと判定され、差の絶対値がしきい値より小さ
い時は、静止ブロックと判定される。この動き判定に限
らず、差の積分値としきい値とを比較する方法、ある程
度以上大きい差の総数としきい値とを比較する方法、差
のｎ乗和をしきい値と比較する方法等も用いることがで
きる。動き判定回路３からは、動きの有無に応じた判定
コードSJが発生する。判定コードSJは、動きブロックに
関して“0"となり、静止ブロックに関して“1"となる信
号である。

ブロック化回路２からの入力ディジタルビデオ信号が
ANDゲート４及び８に供給される。ANDゲート４の他の入
力として判定コードSJが供給され、ANDゲート８の他の
入力として判定コードSJが反転されて供給される。一方
のANDゲート４により、静止ブロックの画素データが分
離され、この画素データがフレーム間平均値形成回路５
に供給される。フレーム間平均値形成回路５は、ブロッ
クを構成する２個の領域の間で同一の位置にある16個の
画素同士の平均値を夫々算出し、この16個の平均値をブ
ロックの画素データに代えて出力する回路である。従っ
て、フレーム間平均値形成回路５の出力信号は、平均値
が（４ライン×４画素）に配置された２次元ブロックの
構成を有している。このフレーム間平均値形成回路５の
出力信号が２次元エンコーダ６に供給される。

他方のANDゲート８により、画像の動きが有るブロッ
クのデータが分離され、この画素データが３次元エンコ
ーダ９に供給される。２次元エンコーダ６及び３次元エ
ンコーダ９では、ブロック毎のダイナミックレンジに適
応したビット数が可変の符号化がなされる。これらのエ
ンコーダ６及び９からは、ブロックのダイナミックレン
ジとブロックの最小値と例えば０〜５ビットのコード信
号とが発生する。

２次元エンコーダ６及び３次元エンコーダ９の出力信
号がフレーム化回路７及び10に夫々供給されると共に、
遅延回路11を介して判定コードSJがフレーム化回路７及
び10に供給される。上述のエンコーダ６及び９の出力信
号と判定コードSJとがフレーム化回路７及び10によっ
て、送信データに変換される。フレーム化回路７及び10
の出力信号がORゲート12に供給され、ORゲート12の出力
端子13に送信データが取り出される。

コード信号にのみ注目した場合、送信データは、第３
図に示すように、２フレーム分のデータの集合からな
る。例えば時間的に連続する２フレームの各フレームが
領域A1〜An及び領域B1〜Bnに夫々分割され、領域Ai及び
Bi（ｉ＝１〜ｎ）により３次元ブロックが構成される。
上述のように、静止ブロックに関しては、駒落とし処理
がされる。第３図における最初の２フレーム分の送信デ
ータでは、領域A2及びB2からなるブロック、領域A3及び
B3からなるブロック、領域A4及びB4からなるブロックが
静止ブロックと判定され、駒落とし処理されている。

b.補間方式 この一実施例の補間方式について以下に説明する。第
４図に示すように、連続するフレームの夫々に含まれ、
空間的に対応する位置の原データａ〜ｆが夫々静止ブロ
ックに含まれる時には、駒落とし処理によって、データ
量が1/2とされて伝送される。受信側では、静止ブロッ
クの場合には、平均値データを二つの領域のデータとし
て用いる補間がなされる。

静止ブロックに含まれる画素データは、この画素デー
タと空間的に対応し、時間的に隣接する画素データを用
いた加重平均により補間される。例えば原画素データｂ
の時刻と時間的に前の平均値1/2（ａ＋ｂ）の時刻との
時間差は、平均値が画素データａ及びｂの中間の時刻に
発生するものと考えられるので、第５図から分るよう
に、1/2フレームであり、原画素データｂの時刻と時間
的に後の平均値1/2（ｃ＋ｄ）の時刻との時間差は、1.5
フレームである。この時間差に逆比例した加重平均によ
り、原画素データｂと対応する復号画素が求められる。
即ち、この復号画素のレベルは、 1/4（３×1/2（ａ＋ｂ）＋1/2（ｃ＋ｄ）） となる。同様に、原画素データｄと対応する復号画素の
レベルは、 1/4（1/2（ａ＋ｂ）＋３×1/2（ｃ＋ｄ）） とされる。この補間を繰り返すことにより、第５図に示
すように、原画素データのレベル変化とオフセットが無
い補間を行うことができる。

第６図に示すように、動きブロックと静止ブロックと
混在する時の補間について説明する。即ち、原画素デー
タａ及びｂが含まれるブロックが動きブロックであり、
原画素データｃ及びｄが含まれるブロックが静止ブロッ
クであり、原画素データｅ及びｆが含まれるブロックが
動きブロックの場合である。動きブロックについては、
駒落とし処理がされない。

第７図から分るように、原画素データｃの時刻と時間
的に前の画素データｂとの時間差が１フレームであり、
原画素データｃと時間的に後の平均値1/2（ｃ＋ｄ）と
の時間差が1/2フレームである。この時間差と逆比例す
る加重平均がなされ、画素データｃと対応する復号画素
の値が求められる。即ち、この復号画素のレベルは、 1/3（ｂ＋２×1/2（ｃ＋ｄ）） と算出される。同様に、原画素データｄと対応する復号
画素のレベルは、 1/3（２×1/2（ｃ＋ｄ）＋ｅ） と求められる。この補間により、駒落とし処理がされる
ブロックと動きブロックとが混在する場合でも、原画素
落データのレベル変化とオフセットを持たない補間を行
うことができる。

c.受信側の構成及び動作 上述の加重平均の補間方式を用いるように構成された
受信側について第８図、第９図及び第10図を参照して説
明する。

第８図において、21で示す入力端子からの受信データ
は、判定コード分離回路22に供給され、判定コードSJが
分離される。判定コード以外の受信データがANDゲート2
3及び26に供給される。ANDゲート23の他の入力として判
定コードSJが供給され、ANDゲート26の他の入力として
判定コードSJの反転信号が供給される。

ANDゲート23により、静止ブロックのデータが分離さ
れ、静止ブロックのデータがフレーム分解回路24に供給
される。また、ANDゲート26により分離された動きが有
るブロックのデータがフレーム分解回路27に供給され
る。フレーム分解回路24及び27は、受信データをブロッ
ク毎の付加コード（ダイナミックレンジ及び最小値）と
画素毎のコード信号とに分解すると共に、エラー訂正の
処理を行う。フレーム分解回路24及び27からの付加コー
ド及びコード信号が２次元デコーダ25及び３次元デコー
ダ28に夫々供給される。

これらのデーコダ25及び28は、送信側のエンコーダ６
及び９と逆の処理を行う。即ち、最小値除去後のデータ
が代表レベルとして復元され、このデータと最小値とが
加算されることにより、元の画素データと対応する復元
レベルが得られる。デコーダ25及び28の出力データがバ
ッファメモリ29に供給される。バッファメモリ29は、遅
延回路30を介された判定コードSJbを参照して、駒落と
しされているデータを補間し、静止ブロックと動きブロ
ックとの間でデータ量を等しいものとする。

バッファメモリ29の出力データ及び判定コードSJが静
止ブロックに関する補間を行うために、２フレーム遅延
回路31及び33に供給される。２フレーム遅延回路31に対
して２フレーム遅延回路32が接続され、２フレーム遅延
回路33に対して２フレーム遅延回路34が接続されてい
る。一例として、バッファメモリ29から第９図Ａに示す
データSaが発生し、遅延回路30から第９図Ｂに示す判定
コードSJbが発生する。第９図におけるBL1,BL2,BL3・・
・は、夫々ブロック期間を示す。また、第９図は、ブロ
ックを構成する領域を単位として、データの順序を示し
ており、画素の復号データは、各領域内に所定の順序で
含まれている。

また、２フレーム遅延回路31の途中から第９図Ｃに示
すように、データSaと1/2ブロックずれたデータScが取
り出され、２フレーム遅延回路31から第９図Ｄに示すデ
ータSdが現れる。２フレーム遅延回路33からの判定コー
ドSJe（第９図Ｅ）は、データSdと同期したものであ
る。更に、２フレーム遅延回路32から第９図Ｆに示すデ
ータSfが生じる。２フレーム遅延回路34からデータSfに
同期した判定コードSJg（第９図Ｇ）が現れる。２フレ
ーム遅延回路32の途中から第９図Ｈに示すように、デー
タSfに対して1/2ブロックずれたデータShが生じる。

上述のデータScとデータSdとが加重平均回路35に供給
され、データSdとデータShとが加重平均回路36に供給さ
れる。加重平均回路35及び36は、判定コードSJb及びSJg
により、加重平均動作が切り替え可能な構成とされてい
る。判定コードSJb及びSJgは、静止ブロックで“1"とな
り、動きブロックで“0"となる信号である。加重平均回
路35は、判定コードSJbに応じて、下記の加重平均動作
を行う。

SJb＝“1"の時 1/4（Sc＋3Sd） SJb＝“0"の時 1/3（Sc＋2Sd） 加重平均回路36は、判定コードSJgに応じて、下記の
加重平均動作を行う。

SJg＝“1"の時 1/4（Sh＋3Sd） SJg＝“0"の時 1/3（Sh＋2Sd） 加重平均回路35及び36の夫々の出力信号がスイッチ回
路37の一方の入力端子38a及び他方の入力端子38bに供給
される。スイッチ回路37は、端子39からの1/2ブロック
期間毎に反転する制御信号により制御される。スイッチ
回路37の出力信号がスイッチ回路40の一方の入力端子41
bに供給される。スイッチ回路40の他方の入力端子41aに
は、２フレーム遅延回路31の出力データSdが供給され
る。スイッチ回路40は、切り替え信号発生回路42からの
切り替え信号Si（第９図Ｉ）により制御される。スイッ
チ回路40のから補間された出力信号Sj（第９図Ｊ）が得
られる。この出力信号がブロック分解回路43でブロック
の順序から走査の順序に変換され、出力端子44に取り出
される。

スイッチ回路40は、受信データと補間出力信号とを切
り替えるために設けられている。従って、動きブロック
の場合には、受信データを選択し、静止ブロックの場合
には、補間出力を選択するように動作する。このため、
切り替え信号発生回路42には、判定コードSJeが供給さ
れている。また、静止ブロックの場合でも、シーンチェ
ンジ等の場合には、空間的に対応しているデータが全く
異なるデータとなるので、補間出力を選択することを禁
止する必要がある。このために、比較回路45及び46の出
力信号が切り替え信号発生回路42に供給されている。

比較回路45は、比較回路48の出力信号と端子47からの
しきい値とを比較し、比較回路46は、比較回路49の出力
信号と端子47からのしきい値とを比較する。比較回路48
は、データSa及びSdの対応する画素同士のレベル差の絶
対値を発生し、比較回路49は、データSd及びSfの対応す
る画素同士のレベル差の絶対値を発生する。これらのレ
ベル差の絶対値がしきい値を超える時には、補間出力を
選択することが禁止される。

第９図のタイミングチャートにおいて、ブロック期間
BL2に注目して一実施例の動作について、第10図を参照
して詳述する。

ブロック期間BL2では、（SJb＝“0"）であるため、加
重平均回路35は、1/3（Sc＋2Sd）の出力信号を発生す
る。従って、加重平均回路35の出力信号は、第10図Ａに
示すものとなる。また、（SJg＝“1"）であるため、加
重平均回路36は、1/4（Sh＋3Sd）の出力信号を発生す
る。従って、加重平均回路36の出力信号は、第10図Ｂに
示すものとなる。加重平均回路35の出力信号の内で、補
間出力として有効な後半の出力信号と加重平均回路36の
出力信号の内で、補間出力として有効な前半の出力信号
とが第10図Ｃに示す制御信号で制御されるスイッチ回路
37により選択される。従って、スイッチ回路37の出力信
号は、第10図Ｄに示すものとなる。

ブロック期間BL2の領域C2では、第４図及び第５図に
示すように、前のブロックが静止ブロックの場合の補間
動作がされ、領域D2では、第７図及び第８図に示すよう
な後のブロックが動きブロックの場合の補間動作がされ
る。第９図及び第10図のタイミングチャートは、領域を
単位とする信号処理を示すが、加重平均の処理は、画素
データ単位でなされる。また、スイッチ回路40の動作
も、画素単位でなされる。

d.変形例 加重平均を行う場合、上述の実施例では、補間の対象
とする画素データと時間的に前の１個のデータと時間的
に後の１個のデータとを用いているが、２個以上のデー
タを使用し、時間差に逆比例した重みをつけて加重平均
を行うようにしても良い。

また、２フレームに限らず、３個以上のフレームに含
まれる画素データにより３次元ブロックが構成されても
良い。

〔発明の効果〕

この発明によれば、時間的に連続し、空間的に対応す
る元の画素データのレベル変化とオフセットの無い補間
が可能となり、ジャーキネスの防止と共に、動きブロッ
クと静止ブロックとが混在する時に、ブロック歪みが発
生することを防止することができる。このように復元画
質を向上することができるので、送信側で時間方向の冗
長度を大きく削ること、即ち、駒落としの割合を大きく
でき、圧縮率をより高くすることができる。

【図面の簡単な説明】

第１図はこの発明を適用できる高能率符号化装置の送信
側の構成を示すブロック図、第２図はブロックの一例を
示す略線図、第３図は送信データの一例を示す略線図、
第４図及び第５図は補間の一例の説明に用いる略線図、
第６図及び第７図は補間の他の例の説明に用いる略線
図、第８図はこの発明が適用された受信側の構成を示す
ブロック図、第９図及び第10図は受信側の補間動作の説
明に用いるタイミングチャート、第11図、第12図及び第
13図は先に提案されている動き適応平滑処理の説明に用
いる略線図である。 図面における主要な符号の説明 3:動き判定回路、 6:フレーム間平均値形成回路、 25:2次元デコーダ、 28:3次元デコーダ、 31,32,33,34:2フレーム遅延回路、 35,36:加重平均回路。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】送信側にて、時間的に連続する複数フレー
   ムの夫々に属し、且つ上記複数フレーム間で位置的に対
   応する複数の領域の画素データによって構成される３次
   元ブロック構造に対し、各ブロック毎の静止判定により
   静止ブロックと判定されたブロック内において空間的に
   同一位置にある画素データを平均値に置き換え、この置
   き換えによりデータ量を圧縮して送出される信号を、上
   記３次元ブロック構造に復元する高能率符号の復号装置
   において、 上記平均値に置き換えられた上記複数の領域の各領域の
   画素データを補間する場合、補間すべき画素データと空
   間的に同一位置で、時間的に隣接する画素データを用
   い、上記補間すべき画素データと上記空間的に同一位置
   で、時間的に隣接する画素データとの時間方向の距離に
   逆比例した重み付けを行う加重平均を行い、 上記加重平均により発生したデータによって上記複数の
   領域の各領域の画素データを補間するようにしたことを
   特徴とする高能率符号の復号装置。