JP2832949B2 - 高能率符号の復号装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、高能率符号の復号装置、特にディジタル
ビデオ信号のような画像データのデータ量を圧縮する高
能率符号の復号装置に関する。

〔従来の技術〕

テレビジョン信号等の画像データの符号化方法とし
て、折り返し歪みの発生、誤りの伝播、ブロック歪みの
発生等の問題点が生じない高能率符号化装置が本願出願
人により提案されている。例えば特願昭60−232789号明
細書に記載されているように、複数フレームに含まれる
複数の領域から形成された３次元ブロックに関して、最
大値及び最小値と両者の差であるダイナミックレンジと
を求め、ダイナミックレンジに適応して画素データの符
号化を行う方法が提案されている。

また、特願昭61−153330号明細書には、３次元ブロッ
ク毎に静止ブロック（殆ど画像の動きが無いブロック）
か動きブロックかを判定し、静止ブロックの場合には、
３次元ブロックを構成するｎ個の同一位置の画素同士の
平均値情報を伝送する所謂駒落としを行うことにより、
伝送情報量を一層圧縮する高能率符号化装置が提案され
ている。

この駒落とし圧縮された画像データは、受信側におい
て、元の個数の画素データに補間される。この補間の結
果、ジャーキネスが発生することを防止するために、特
願昭61−153328号明細書或いは特願昭61−153329号明細
書に記載されているように、時間的に前のブロックの最
後の領域のデータと時間的に後のブロックの先頭の領域
のデータとの平均値が形成され、この平均値が時間的に
後のブロックの先頭の領域のデータとされる平滑化を行
う高能率符号化装置が提案されている。

第６図及び第７図を参照して、駒落とし処理及び平滑
化処理について説明する。第６図において、ａ〜ｆが原
データを示す。これらの原データは、第７図に示すよう
に、時間的に連続するフレームの夫々に含まれる空間的
に対応する領域Ai,Bi,Ci,Di内で同一の位置を占めるデ
ータである。これらの領域は、（４ライン×４画素）の
大きさであり、３次元ブロックは、二つの領域Ai及びBi
（同様にCi及びDi）により構成される。

３次元ブロックが静止ブロックの場合には、駒落とし
処理がされる。即ち、ブロック内の同一位置を占めるデ
ータ同士の平均値（1/2（ａ＋ｂ）,1/2（ｃ＋ｄ）.1/2
（ｅ＋ｆ））が原データに代えて伝送される。１ブロッ
クが２個の領域からなるこの例では、伝送データ量が1/
2に圧縮される。更に、駒落とし処理されたデータがダ
イナミックレンジに適応した符号化（ADRCと称する）処
理を受け、伝送データ量がより一層圧縮される。

受信側では、ADRCの復号を行ってから、駒落としされ
ているデータの補間がされる。この補間は、１個の領域
分の平均値データを２個の領域のデータに変換する処理
である。この画素データは、フレーム毎に（1/2（ａ＋
ｂ）→1/2（ｃ＋ｄ）→1/2（ｅ＋ｆ））と変化する。こ
のブロックの境界でジャーキネスが発生するので、後の
静止ブロックの先頭の領域のデータが前のブロックのデ
ータとの平均値（1/4（ａ＋ｂ＋ｃ＋ｄ））に置き換え
られる平滑化の処理がなされる。

〔発明が解決しようとする課題〕

しかしながら、ブロック間で静止判定がなされずに上
述の平滑化処理が行なわれるために、対象とするブロッ
クが個々に静止状態であっても、ブロック間に動きのあ
る場合には対象とするブロックの復元画像は不鮮明にな
り、いわゆるボケが発生する問題があった。

即ち、時間的に前の静止ブロックと、この静止ブロッ
クの直後に位置する静止ブロックの画像が夫々異なる場
合に、上述の平滑化処理を施すと、後のブロックの先頭
領域の各画素データに異なる内容の画像のデータが混入
することになり、このため復元画像が不鮮明になり、ボ
ケが発生する問題があった。特に、大きい面積の物体が
高速で移動する時、シーンチェンジ等では、ボケが発生
する。

従って、この発明の目的は、ジャーキネス、ボケ等が
解消された良好な画質の復元画像を得ることのできる高
能率符号の復号装置を提供することにある。

〔課題を解決するための手段〕

この発明では、送信側にて、時間的に連続する複数フ
レームの夫々に属し且つ複数フレーム間で位置的に対応
する領域を以て形成されている３次元ブロック構造に対
し、ブロック毎の静止判定により動き適応駒落し処理が
施される信号を復元する高能率符号の復号装置に於い
て、 ３次元ブロック構造の時間的に連続する２つのブロッ
クの内、時間的に前となるブロックの最終フレームと、
後となるブロックの先頭フレームとの各画素データを比
較し、ブロック単位でその差がしきい値よりも大又は小
かを判定し、差が小の時で且つ後となるブロックが静止
ブロックの時のみ最終フレームと先頭フレームの各画素
データにより形成される平滑化データを後のブロックの
先頭フレームに対し置換すべく制御する手段が備えられ
ている。

〔作用〕

受信側の動き適応平滑化回路にて、時間的に前となる
ブロックの最終フレームのデータがフレームメモリより
順次読み出される。そして、このデータが時間的に後と
なるブロックの先頭フレームのデータと対応する各画素
毎に順次比較される。この比較により、フレーム差が形
成される。

このフレーム差が絶対値に変換され、フレーム差から
ブロック間の動きの有無が検出される。例えば検出され
たフレーム差の中の最大値が検出される。このフレーム
差の絶対値の最大値が所定のしきい値と比較される。最
大値がしきい値以下の場合は、前後のブロック間で動き
が無いと、判定される。ブロック間で動きが無い時に、
平滑化処理が行なわれる。この平滑化された各画素デー
タは、後のブロックの先頭フレームの各画素データに対
し置換され、先頭フレームの新たなデータとされる。

一方、フレーム差の絶対値の最大値がしきい値を越え
る場合は、前後のブロック間で動き有りと判定され、平
滑化処理が行なわれず、後のブロックの先頭フレームの
本来のデータがそのまま出力され、先頭フレームのデー
タとされる。これにより、得られる復元画像は、ジャー
キネス、ボケ等の解消された良好な画質となる。

〔実施例〕

以下、この発明の一実施例について図面を参照して説
明する。この発明は、下記の順序に従ってなされる。

a.送信側の構成 b.受信側の構成 c.動き適応平滑化回路の説明 a.送信側の構成 第１図は、この発明の送信側（ディジタルVTRの場合
では記録側）の構成を全体として示すものである。

第１図において、１で示されるのが入力端子であり、
この入力端子１に、例えば８ビットで量子化されたディ
ジタルビデオ信号が供給される。入力端子１からの入力
ディジタルビデオ信号がブロック化回路２に供給され
る。

ブロック化回路２は、順次供給されるディジタルビデ
オ信号のデータの順序を入れ換えて３次元的なブロック
の順序のデータ列を形成する。この実施例では、第３図
に示すように、ブロック化回路２において、時間的に連
続する２フレームの夫々に属する同一位置となる２次元
の画面領域Ai及びBiから３次元的なブロックが形成され
る。各領域は、例えば（４ライン×４画素）の大きさで
ある。従って、１ブロックには、（４×４×２＝32）個
の画素が含まれる。ブロック化回路２の出力が動き適応
駒落し回路３に供給される。

動き駒落し回路３は、ブロック内の二つの領域間で同
一位置の画素の差即ち、フレーム差を求め、フレーム差
の絶対値の最大値と所定のしきい値とを比較することに
より、動き検出を行い、動き検出結果に基づいて動きの
少ないブロックに関して駒落とし処理を行う。即ち、フ
レーム差の絶対値の内の最大値と所定のしきい値とが比
較され、しきい値より上述の最大値が大となる場合に
は、動きブロックと判定され、しきい値より上述の最大
値が小となる場合には、静止ブロックと判定される。静
止ブロックに関しては、ブロック内の二つの領域の同一
位置の画素の間で平均値が夫々に算出され、このフレー
ム間の平均値がブロックを形成するデータとして出力さ
れる。

動き適応駒落し回路３の出力と、動き適応駒落し処理
の過程において発生した動き検出の判定結果に対応する
判定コードSJがエンコーダ４に供給される。

エンコーダ４は、ブロック毎のダイナミックレンジに
適応したビット数が可変の符号化を行う。例えばエンコ
ーダ４において、順次供給されるブロック内のデータの
最大値及び最小値が検出されると共に、最大値から最小
値が減算されてダイナミックレンジが算出される。そし
て、ブロック内のデータの値から、最小値が減算され、
この最小値除去後のデータがダイナミックレンジに応じ
たビット数で量子化され、圧縮されたビット数のコード
信号が形成される。エンコーダ４の処理により得られる
ダイナミックレンジ、最小値及びコード信号の夫々、そ
して前述の判定コードSJ等がフレーム化回路５に供給さ
れる。

フレーム化回路５において、動き適応駒落し回路３か
らの動き検出の判定コードSJと、エンコーダ４からのダ
イナミックレンジ、最小値及びコード信号とからなるデ
ータ部分がエラー訂正符号の処理を受け、これらのデー
タがシリアルデータに変換される。送信信号が出力端子
６から取り出される。

b.受信側の構成 第２図は、この発明の受信側（ディジタルVTRの場合
では再生側）の構成を全体として示すものである。第２
図において、11で示されるのが受信データの入力端子で
ある。

入力端子11からの受信データがフレーム分解回路12に
供給される。フレーム分解回路12において、受信データ
に対してエラー訂正処理がなされると共に、動き検出の
判定コードSJ、ダイナミックレンジ、最小値及びコード
信号の夫々が分離される。フレーム分解回路12の出力信
号がデコーダ13に供給される。

デコーダ13は、フレーム分解回路12において、分離さ
れたダイナミックレンジに基づいてコード信号を復号し
て最小値が除去されたデータを形成し、最小値が除去さ
れたデータの値に対して最小値を加算してデータを復元
する。そして、送信側において駒落し処理がなされた静
止ブロックに対し動き検出の判定コードSJに基づいて復
元処理を行う。つまり、各ブロック内の二つの領域間に
おいて平均化されたデータを所定のタイミングで二度読
み出すことにより、本来の画素数のブロックを復元す
る。デコーダ13の出力は、動き適応平滑化回路14に供給
される。

動き適応平滑化回路14では、時間的に連続する二つの
ブロックの間で静止判定を行う。若し、両ブロック間で
動きなしと判定された場合、平滑化処理の施されたデー
タを出力する。この平滑化処理により、時間的に連続す
る異なるブロックの間で、前のブロックと後のブロック
との画像情報が混在する画像が生じるので、画像中の物
体の動きが不連続となるジャーキネスが解消される。二
つのブロック間で動きありと判定とされた場合には、上
述の平滑化処理がされない。従って、異なる内容の画像
が混在することに起因する復元画像の不鮮明さが解消さ
れる。この動き適応平滑化回路14の出力がブロック分解
回路15に供給される。

ブロック分解回路15は、ブロックの順序のデータを走
査順序のデータ列に変換する。ブロック分解回路15にお
いて、データの順番がテレビジョン信号の走査と同様な
順番とされる。ブロック分解回路15の出力が出力端子16
から取り出される。従って、出力端子16からは、８ビッ
トで量子化された復元信号としてのディジタルビデオ信
号が得られる。

c.動き適応平滑化回路の説明 第４図は、受信側に設けられる動き適応平滑化回路14
の一例を示す。第４図で、21で示される入力端子には、
デコーダ13からの復号信号が供給される。この復号信号
は、駒落とし処理されたブロックの場合では、ブロック
内の画素数が元の個数に戻されたものである。

入力端子21からの復号信号が選択回路29,31、加算回
路22、減算回路23に夫々供給される。加算回路22には、
フレームメモリ35から１フレーム前の出力信号が供給さ
れ、二つの画素の復元データの加算出力が加算回路22か
ら得られる。加算回路22の出力信号が1/2回路30に供給
され、1/2回路30の出力信号（即ち、平滑化された信
号）が選択回路29に供給される。従って、選択回路29
は、平滑化された信号とされない信号とを選択的に出力
する。

減算回路23では、入力信号とフレームメモリ35の出力
信号とが減算され、減算回路23からフレーム差が得られ
る。このフレーム差が静止判定回路24の絶対値化回路25
を介して最大値検出回路26に供給される。最大値検出回
路26は、１ブロックのフレーム差の最大値を出力する。
このフレーム差の最大値が比較回路27に供給される。

比較回路27は、フレーム差の最大値としきい値Th0と
が比較され、比較の結果に応じて制御信号Scが発生され
る。制御信号Scにより選択回路29が制御される。フレー
ム差の最大値がしきい値より小さい時には、ブロック間
で動きが無いと判定され、フレーム差の最大値がしきい
値より大きい時には、ブロック間で動きが有ると判定さ
れる。動きが有る場合では、制御信号Scにより、入力端
子21からの復元信号を選択回路29が選択し、動きが無い
場合では、制御信号Scにより、1/2回路30からの平滑化
信号を選択回路29が選択する。

入力端子33には、フレーム分解回路12から出力される
動き検出の判定コードSJが供給され、この判定コードSJ
は制御回路32に供給される。入力端子34には、フレーム
ID信号FIDが供給され、このフレームID信号FIDが制御回
路32に供給される。このフレームID信号FIDは、駒揃え
されたブロックのフレーム中、第１フレーム及び第２フ
レームを識別するための信号である。

制御回路32の出力信号により、選択回路31が制御され
る。時間的に連続する二つのブロックが共に静止ブロッ
クの場合で且つブロックの第１フレームの場合には、選
択回路29の出力信号を選択回路31が選択するように、選
択回路31が制御される。一方、二つのブロックの何れか
が動きブロックの場合、或いはフレームが２フレーム目
の場合には、入力端子21からの入力信号を選択回路31が
選択するように、選択回路31が制御される。

上述の動き適応平滑化回路14では、ブロック間で動き
が有るかどうかを判定して、平滑化が制御される。従っ
て、ブロック間で動きが有る場合には、平滑化がされ
ず、画像のボケが発生することを防止できる。

静止判定回路24としては、第４図に示す構成に限ら
ず、第５図に示す構成を使用しても良い。第５図Ａは、
絶対値化回路25からのフレーム差の絶対値を積算回路41
によりブロック単位で積算（積分）するもので、積算回
路41の出力信号がしきい値と比較される。積算回路41の
出力信号がしきい値を超える時には、ブロック間で動き
が有ると判定される。積算回路41は、図示せずも、ブロ
ック毎にリセットされる。

第５図Ｂに示される静止判定回路では、絶対値化回路
25からのフレーム差の絶対値が比較回路42に供給され、
所定のしきい値Th1と比較され、しきい値Th1を超えるフ
レーム差の個数がカウンタ43により計数される。カウン
タ43は、端子44からのブロック周期のパルスによりリセ
ットされる。カウンタ43の計数値がしきい値と比較さ
れ、計数値がしきい値を超える時に、動きが有ると判定
される。

第５図Ｃに示される静止判定回路では、絶対値化回路
25からのフレーム差の絶対値がｎ乗回路45に供給され、
ｎ乗回路45の出力信号が積算回路46に供給される。積算
回路46により、フレーム差の絶対値のｎ乗和が形成され
る。このｎ乗和が比較回路に供給され、しきい値と比較
される。ｎ乗和がしきい値を超える時には、動きが有る
と判定される。積算回路46は、ブロック毎にリセットさ
れる。一般的には、（ｎ＝２）とされる。

〔発明の効果〕

この発明に係る高能率符号の復号装置は、時間的に連
続する２つのブロックの間で、動きの有無を検出し、動
きが無い時のみ平滑化を行うと共に、この平滑化された
画素データを後のブロックの先頭フレームに対し置換す
べく制御する手段を備えた構成としている。従って、こ
の発明によれば、ジャーキネス、不鮮明さ等が解消さ
れ、より良好な画質の復元画像が得られる。また、ブロ
ック間の静止判定に基づいた平滑化処理を行うので、動
き検出エラーが生ずることなく、動き検出エラーに起因
する信号の劣化を防止することができる。

【図面の簡単な説明】

第１図は送信側の構成を示すブロック図、第２図は受信
側の構成を示すブロック図、第３図はブロックの一例を
示す略線図、第４図はこの発明の一実施例における動き
適応平滑化回路の構成を示すブロック図、第５図は静止
判定回路の他の構成のいくつかの例を示すブロック図、
第６図及び第７図はこの発明を適用できる平滑化の処理
の説明に用いる略線図である。 図面における主要な符号の説明 14:動き適応平滑化回路、24:静止判定回路、SJ:判定コ
ード、

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】送信側にて、時間的に連続する複数フレー
   ムの夫々に属し且つ複数フレーム間で位置的に対応する
   領域を以て形成されている３次元ブロック構造に対し、
   ブロック毎の静止判定により動き適応駒落とし処理が施
   される信号を復元する高能率符号の復号装置に於いて、 ３次元ブロック構造の時間的に連続する２つのブロック
   の内、時間的に前となるブロックの最終フレームと、後
   となるブロックの先頭フレームとの各画素データを比較
   し、ブロック単位でその差がしきい値よりも大又は小か
   を判定し、上記差が小の時で且つ上記後となるブロック
   が静止ブロックの時のみ、上記最終フレームと上記先頭
   フレームの各画素データから形成される平滑化データを
   上記後のブロックの先頭フレームに対し置換すべく制御
   する手段を備えたことを特徴とする高能率符号の復号装
   置。