JP2692083B2 - 高能率符号の復号装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、高能率符号の復号装置、特にディジタル
ビデオ信号のような画像データのデータ量を圧縮して伝
送する符号化装置から得られる高能率符号を復号する高
能率符号の復号装置に関する。 〔従来の技術〕 ディジタルビデオ信号を伝送する場合に、伝送するデ
ータ量を元の量に比較して圧縮する方法として、サブサ
ンプリングによって画素を間引き、サンプリング周波数
を低くするものが知られている。しかしながら、単なる
サブサンプリングの場合には、圧縮率を高くした時、復
元画像の画質の劣化が目立つものとなる。 そこで、本願出願人は、特願昭59−266407号明細書、
また、特願昭60−232789号明細書等にてダイナミックレ
ンジに適応した符号化装置を提案している。これらの符
号化装置は、ブロックの画像の動きと関係なく、常にブ
ロック内の全ての画素データを符号化しているので、伝
送するデータ量が多くなるものであった。 そこで、画像の動きが無い時、圧縮率をより一層高く
すると共に、受信側で画像を良好に復元するため、特願
昭61−179483号明細書に記載されているように技術を提
案している。これは、３次元ブロックのダイナミックレ
ンジに適応した符号化方法と、動きの有無に応じて行う
駒落しを組み合わせた高能率符号化装置である。 このように、サブサンプリングと駒落しを組み合わせ
た装置は、送信側でブロック単位の動き検出を行った
後、時間的に連続する静止ブロック内で駒落しすること
によりデータ量の圧縮を行い、更に動き検出の結果を付
加情報として送ることによって、受信側で静止部画像を
略完全に復元しようとするものである。 上述の駒落し処理は、ブロック内のフレーム間におけ
る同一位置の画素の間で平均値が夫々に算出され、この
フレーム間の平均値がブロックを形成するデータとして
１フレーム分のみ出力され、そしてブロック内の他のフ
レーム分の画素データについては出力されないものであ
る。 一方、受信側にて、このような駒落し処理の施された
画像を復元しようとする時には、ブロック毎にフレーム
を複数回読み出して駒数を揃えた後、ジャーキネス対策
のために、時間方向に連続する静止ブロック間で平滑化
処理を行ない、静止部画像を復元しようとするものであ
る。 〔発明が解決しようとする問題点〕 しかしながら、このような従来技術では、時間方向で
連続するブロック間で静止判定がなされずに上述の平滑
化処理が行なわれるために、対象とするブロックが個々
に静止状態であっても、ブロック間に動きのある場合に
は対象とするブロックの復元画像は不鮮明になり、いわ
ゆるボケた状態になるという問題があった。 即ち、時間的に連続するブロックの内、前の静止ブロ
ック〔以下、前ブロックと称する〕と、前ブロックの直
後に位置する静止ブロック〔以下、後ブロックと称す
る〕の画像が夫々異なる場合に、上述の平滑化処理を施
すと、後ブロックの先頭フレームの各画素データは、 1/2（前ブロックの平均画素データ＋後ブロックの平
均画素データ） とされる。このため後ブロックの先頭フレームの復元
画像は不鮮明になり、ボケてしまもので改善が望まれて
いた。 従って、この発明の目的は、ジャーキネス、ボケ等が
解消された良好な画質の復元画像を得ることのできる高
能率符号の復号装置を提供することにある。 〔問題点を解決するための手段〕 この発明は、送信側にて、時間的に連続する複数フレ
ーム内の夫々に属し且つ各フレーム内では同一位置の空
間領域を以って形成されている３次元ブロック構造に対
し、各ブロック毎の静止判定により動き適応駒落し処理
を施しデータ量を圧縮して送出される信号を、３次元ブ
ロック構造に復元する高能率符号の復号装置に於いて、 復元後の３次元ブロック構造の時間的に連続する２つ
のブロックの内、時間的に前となるブロックの最終フレ
ームに属する空間領域と、時間的に後となるブロックの
先頭フレームに属する空間領域の対応する位置の２つの
画素データのレベル差を所定のしきい値と比較する手段
と、 レベル差が所定のしきい値よりも小なる時のみ２つの
画素データを平滑化すると共に、この平滑化された画素
データでもって、２つの画素データの内で、時間的に後
となるブロックの先頭フレームに属する空間領域の画素
データを置換する手段を備えたことを特徴とする高能率
符号の復号装置である。 〔作用〕 受信側の動き適応平滑化回路にて、時間的に前となる
ブロック〔前ブロック〕のフレーム（最終フレーム）の
データがフレームメモリより順次読み出される。そし
て、このデータが時間的に後となるブロック〔後ブロッ
ク〕の先頭フレームのデータと対応する各画素毎に順次
比較される。 両フレームの画素データの差が求められて絶対値に変
換され、所定の閾値と比較される。そして絶対値が閾値
以下の場合は、前後両ブロック間で動きなしと判定さ
れ、この判定結果に基づいて前ブロックのフレームと、
後ブロックの先頭フレームの対応する各画素間で平滑化
処理が行なわれる。この平滑化された各画素データは、
後ブロックの先頭フレーム於いて対応する各画素データ
に対し置換され、先頭フレームの新たなデータとされ
る。 一方、絶対値が閾値を越える場合は、前後の両ブロッ
ク間で動きありと判定され上述の平滑化処理は行なわれ
ず、後ブロックの先頭フレームの本来のデータが各画素
毎にそのまま出力され、先頭フレームのデータとされ
る。尚、後ブロックの第２フレーム以後は、平滑化され
ることなく画素データがそのまま出力されフレームのデ
ータとされる。これにより、得られる復元画像は、ジャ
ーキネス、鮮明〔ボケ〕等の解消された良好な画質とな
る。 〔実施例〕 以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の順序に従ってなされる。 a.送信側の構成 b.受信側の構成 c.動き適応平滑化回路の説明 a.送信側の構成 第２図は、この発明の送信側（ビデオテープレコーダ
の場合では記録側）の構成を全体として示すものであ
る。 第２図において、１で示されるのが入力端子であり、
この入力端子１に、例えば、８ビットで量子化されたデ
ィジタルビデオ信号が入力信号として供給される。入力
端子１からの入力ディジタルビデオ信号が３次元ブロッ
ク化回路２に供給される。 ３次元ブロック化回路２は、順次供給されるディジタ
ルビデオ信号のデータの順序を入れ換えて３次元的な所
定の画面領域内に存在するデータ単位、即ち、高能率符
号化の処理単位となるブロックの順序のデータ列を形成
する。例えば、３次元ブロック化回路２において、連続
する２フレームの夫々に属する同一位置となる３次元の
画面領域（例えば、４ライン×４画素）から第４図Ａ及
びＢ、そして同図Ｃ及びＤに示す如く、３次元的な１個
のブロック（例えば、４ライン×４画素×２フレーム＝
32画素）が構成される。 第４図Ａに示す画面領域〔第１フレーム〕と同図Ｂに
示す画面領域〔第２フレーム〕から１個の静止ブロック
Ｎが形成され、同様に第４図Ｃに示す画面領域〔第１フ
レーム〕と同図Ｄに示す画面領域〔第２フレーム〕から
１個の静止ブロック（Ｎ＋１）が形成される。なお、第
４図において実線で示されるのが奇数フィールドの４ラ
インを示し、破線で示されるのが偶数フィールドのライ
ンを示す。３次元ブロック化回路２の出力が動き適応駒
落し回路３に供給される。 動き駒落し回路３は、ブロック内の２フレーム間で同
一位置の画素の差分〔フレーム差分〕を求め、その差分
の絶対値の最大と所定の閾値とを比較することにより、
動き検出を行い、動き検出結果に基づいて動きの少ない
ブロックに関して駒落とし処理を行う。即ち、同一位置
にて対応する画素同士の差分の絶対値の内の最大値と所
定の閾値とが比較され、閾値より上述の最大値が大とな
る場合には、動きブロックと判定され、閾値より上述の
最大値が小となる場合には、静止ブロックと判定され
る。静止ブロック関しては、ブロック内のフレームの同
一位置の画素の間で平均値が夫々に算出され、このフレ
ーム間の平均値がブロックを形成するデータとして１フ
レーム分のみ出力され、他のフレームの画素データにつ
いては出力されないものである。 即ち、この処理により第４図A,Bに示す第1,第２両フ
レームの本来の画素データを夫々A_ij,B_ijとすると、そ
の平均値（1/2（A_ij＋B_ij））が第４図Ａに示される第
１フレームの画素データに置換され、前ブロックＮのデ
ータとして出力される。このため同図Ｂに示す第２フレ
ームは駒落しされる。第４図Ｃ及びＤも同様に処理さ
れ、両フレームの元の画素データを夫々C_ij,D_ijとする
と、その平均値（1/2（C_ij＋D_ij））が同図Ｃの第１フ
レームの画素データに置換され、後ブロック（Ｎ＋１）
のデータとして出力される。このため同図Ｄに示す第２
フレームは駒落しされる。 動き適応駒落し回路３の出力と、動き適応駒落し処理
の過程において発生した動き検出の判定結果に対応する
判定コードSJが符号化回路４に供給される。 符号化回路４は、ブロック毎のダイナミックレンジに
基づいてダイナミックレンジに適応したビット数を可変
させて符号化を行う。例えば、符号化回路４において、
順次供給されるブロック内のデータの最大値及び最小値
が検出されると共に、最大値から最小値が減算されてダ
イナミックレンジが算出される。そして、ブロック内の
データの値から、最小値が減算され、この最小値除去後
のデータがダイナミックレンジに応じたビット数で量子
化され、圧縮されたビット数のコード信号が形成され
る。符号化回路４の処理により得られるダイナミックレ
ンジ、最小値及びコード信号の夫々、そして前述の判定
コードSJ等がフレーム化回路５に供給される。 フレーム化回路５において、動き適応駒落し回路３か
らの動き検出の判定コードSJと、符号化回路４からのダ
イナミックレンジ、最小値及びコード信号とからなるデ
ータ部分にエラー訂正符号が付加され、それらがシリア
ルデータに変換されて送信信号とされ、この送信信号が
出力端子６から取り出される。 b.受信側の構成 第３図は、この発明の受信側（ビデオテープレコーダ
の場合では再生側）の構成を全体として示すものであ
る。第３図において、７で示されるのが受信データの入
力端子である。 入力端子７からの受信データがフレーム分解回路８に
供給される。フレーム分解回路８において、受信データ
に対してエラー訂正処理がなされると共に、動き検出の
判定コードSJ、ダイナミックレンジ、最小値及びコード
信号の夫々が分離される。フレーム分解回路８において
分離された動き検出の判定コードSJが復号回路９に供給
される。 復号回路９は、フレーム分解回路８において、分離さ
れたダイナミックレンジに基づいてコード信号を復号し
て最小値が除去されたデータを形成し、最小値が除去さ
れたデータの値に対して最小値を加算してデータを復元
する。そして、送信側において駒落し処理がなされた静
止ブロックに対し動き検出の判定コードSJに基づいて復
元処理を行う。つまり、各ブロック内のフレーム間にお
いて平均化されたデータを所定のタイミングで二度読み
出すことにより、第４図Ａ及びB,C及びＤに示す如く本
来のフレーム数、画素数のブロックを復元する。復号回
路９の出力は、動き適応平滑化回路10に供給される。 動き適応平滑化回路10では、第４図Ｂに示す前ブロッ
クＮの第２フレームと、同図Ｃに示す後ブロック（Ｎ＋
１）の第１フレームの対応する各画素毎に、前・後両ブ
ロックN,（Ｎ＋１）間の静止判定を行う。もし、前・後
両ブロックN,（Ｎ＋１）間で動きなしと判定された場
合、静止ブロックを構成する２つのフレームの中で第１
フレームの画像データに、前のブロックの最後の領域
〔第２フレーム〕の画像データを含ませるという平滑化
処理の施されたデータを出力する。この平滑化処理によ
り、時間的に連続する異なるブロックの間で、前ブロッ
クＮと後ブロック（Ｎ＋１）との画像情報が混在する画
像が生じるので、画像中の物体の動きが不連続となるジ
ャーキネスが解消される。また、前・後両ブロックN,
（Ｎ＋１）間で動きありと判定された場合には、上述の
平滑化処理の施されていない後ブロック（Ｎ＋１）の画
素データをそのまま出力する。これにより、前ブロック
Ｎの画像が後ブロック（Ｎ＋１）に混在しないため復元
画像の不鮮明さが解消される。この動き適応平滑化回路
10の出力がブロック分解回路11に供給される。 ブロック分解回路11は、ブロックの順序のデータを走
査順序のデータ列に変換する。つまり、ブロック分解回
路11において、データの順番がテレビジョン信号の走査
と同様の順番とされる。 復号回路９及びブロック分解回路11において本来の画
素数分のデータ列が再現され、ブロック分解回路11の出
力が出力端子12から取り出される。従って、出力端子12
からは、８ビットで量子化された復元信号としてのディ
ジタルビデオ信号が得られる。 c.動き適応平滑化回路の説明 第１図は、前述した高能率符号の受信側に設けられる
動き適応平滑化回路10の一例を示す。 第１図中、13で示される入力端子には、復号回路９よ
り復元処理の施された各静止ブロックのフレーム画素デ
ータが復号信号として供給される。尚、この復号信号
は、第４図Ａ及びB,同図Ｃ及びＤに示すように本来のフ
レーム数分即ち、１ブロック当たり２フレーム、の駒揃
えされているものである。 第１図に示す動き適応平滑化回路10は、加算回路14、
減算回路15と、絶対値回路16と、1/2割算回路17と、比
較回路18と、フレームメモリ19と、選択回路20,21と、
制御回路22とから構成される。 入力端子13には、上述の復号信号が供給され、この復
号信号が選択回路20,21、加算回路14、減算回路15に各
々供給される。 入力端子23には、R/W信号が供給され、このR/W信号は
フレームメモリ19に至り、フレームメモリ19からの出力
信号は加算回路14、減算回路15に各々供給される。上述
の加算回路14からの出力信号は、1/2割算回路17を経て
選択回路20に至る。また、減算回15からの出力信号は、
絶対値回路16を経て比較回路18に至る。 入力端子24には、フレーム分解回路８から出力される
動き検出の判定コードSJが供給され、この判定コードSJ
は制御回路22に供給される。 入力端子25には、フレームID信号S_IDが供給され、こ
のフレームID信号は制御回路22に供給される。尚、この
フレームID信号S_IDは、駒揃えされたブロックのフレー
ム中、第１フレーム及び第２フレームを識別るための信
号である。 制御回路22の出力信号は選択回路21に至る。 この動き適応平滑回路10に、第４図Ｃに示す後ブロッ
ク（Ｎ＋１）の第１フレームのデータが各画素毎に復号
信号として入力端子13に順次加えられると、この復号信
号は、各画素毎に選択回路20,21、加算回路14、減算回
路15に夫々供給される。 この段階では、フレームメモリ19に第４図Ｂに示す前
ブロックＮの第２フレームのデータが保持されており、
このデータが復号信号のタイミングに合わせて画素毎に
加算回路14、減算回路15に夫々出力される。 加算回路14では、後ブロック（Ｎ＋１）の第１フレー
ムと、前ブロックＮの第２フレームの対応する位置の画
素データが夫々加算される。この加算結果は、1/2割算
回路17に出力され、後ブロック（Ｎ＋１）の第１フレー
ムと、前ブロックＮの第２のフレームとの平均値D_Mが求
められ選択回路20に出力される。これにより平滑化処理
が施されるものである。 前述の如く、前ブロックＮの第２フレームの各画素デ
ータは、1/2（A_ij＋B_ij）であり、御ブロック（Ｎ＋
１）の第１フレームの各画素データは、1/2（C_ij＋
D_ij）である。これから、加算回路14及び1/2割算回路17
を経ることによって、上述の平均値D_M＝1/4（A_ij＋B_ij
＋C_ij＋D_ij）となり平滑化処理が施され、選択回路20に
出力される。 減算回路15では、後ブロック（Ｎ＋１）の第１フレー
ムと、前ブロックＮの第２フレームの対応する位置の画
素データが減算される。この減算結果は、絶対値回路16
に出力され、後ブロック（Ｎ＋１）の第１フレームと、
前ブロックＮの第２フレームの絶対値Δが求められ比較
回路18に出力される。 前述の如く、前ブロックＮの第２フレームの各画素デ
ータは、1/2（A_ij＋B_ij）であり、後ブロック（Ｎ＋
１）の第１フレームの各画素データは1/2（C_ij＋D_ij）
である。これから、減算回路15及び絶対値回路16を経る
ことによって、上述の絶対値Δ＝|1/2（A_ij＋B_ij）＝1/
2（C_ij＋D_ij）｜が得られる。 比較回路18は、絶対値Δと、予め定められている所定
の閾値Thとを比較する。絶対値Δ＞閾値Thの場合には、
前・後両ブロックN,（Ｎ＋１）間に動きありと判定し、
平滑化が施されていないデータを出力させるべくデータ
選択制御信号Scを出力する。絶対値Δ≦閾値Thの場合に
は、前後両ブロックN,（Ｎ＋１）間に動きなしと判定
し、前述する平滑化処理の施されたデータを出力させる
べくデータ選択制御信号Scを出力する。 選択回路20には、入力端子13より加えられる後ブロッ
ク（Ｎ＋１）の第１フレームの画素データ1/2（C_ij＋D
_ij）と、1/2割算回路17より加えられる平滑化された平
均値D_Mが供給されており、データ選択制御信号Scによ
り、いずれかが選択回路21に出力される。即ち、絶対値
Δ＞閾値Thの場合には、画素データ1/2（C_ij＋D_ij）を
出力し、また絶対値Δ≦閾値Thの場合には、平均値D_Mを
出力する。 一方、入力端子24には、各ブロックが静止ブロックが
動きブロックかを示す判定コードSJが供給され、又、入
力端子25には、ブロックの第１フレーム及び第２フレー
ムを識別するためのフレームID信号S_IDが供給されてい
る。判定コードSJ、フレームID信号S_IDは共に制御回路2
2に加えられており、これにより制御回路22から前・後
両ブロックN,（Ｎ＋１）が共に静止ブロックの場合で且
つブロックの第１フレームの場合には、データ制御信号
S_D1が選択回路21に供給される。 一方、前・後両ブロックN,（Ｎ＋１）の何れかが動き
ブロックの場合、或いはフレームが２フレーム目の場合
ではデータ制御信号S_D2が制御回路22より供給される。 選択回路21には、選択回路20より加えられる出力信号
と、入力端子13より加えられる後ブロック（Ｎ＋１）の
第１フレームの画素データ1/2（C_ij＋D_ij）が供給され
ている。選択回路21に加えられるデータ制御信号S_d1に
よって、上述の出力信号即ち、画素データ1/2（C_ij＋D
_ij）、または平均値D_Mの一方が出力端子26に出力され
る。 次いで、後ブロック（Ｎ＋１）の第２フレームについ
ては、判定コードSJは変化しないものの、フレームID信
号S_IDにより、第２フレームであることが示されるため
データ制御信号S_D2が制御回路22より出力される。前述
の如く後ブロック（Ｎ＋１）の第２フレームについて
は、平滑化処理を行なわないため、データ制御信号S_D2
に基づいて選択回路21から上述の画素データ1/2（C_ij＋
D_ij）が出力され、これが後ブロックの第２フレームの
画素データC₁₁〜C₄₄とされる。 尚、画素データC₁₁〜C₄₄が出力端子に、順次供給され
ている間には、フレームメモリ19にも供給され、次のブ
ロックの処理のために保持される。 〔発明の効果〕 この発明に係る高能率符号の復号装置は、送信側に
て、時間的に連続する複数フレームの夫々に属し且つ複
数フレーム間で位置的に対応する領域を以て形成されて
いる３次元ブロック構造を復元するに際し、時間的に連
続する２つのブロックの内、時間的に前となるブロック
のフレームと、後となるブロックの先頭フレームとの各
画素データを比較し、両画素データ間のレベル差が所定
の閾値よりも小なる時のみ上記両画素データを平滑化す
ると共に、この平滑化された画素データを上記後のブロ
ックの先頭フレームに対し置換すべく制御する手段を備
えた構成としている。 従って、この発明によれば、時間的に連続する２ブロ
ック間で対応する画素のデータを平滑化するに先立ち、
ブロック間の静止判定が行えるという効果があり、これ
に基づいて真に必要な画素のみ平滑化を施し、不要な画
素に対しては平滑化を施さなくとも良いことから、画像
の局所的特徴により適合した処理が行え、画質の向上が
図れるという効果がある。つまり、前となるブロックの
最終フレームと、後となるブロックの先頭フレームとの
間で、各画素毎に上述の処理を施すことになるので、復
元画像は、ジャーキネス、不鮮明さ等が解消され、より
良好な画質が駒落し圧縮された状態の下で得られるとい
う効果がある。また、ブロック間の画素毎の静止判定に
基づいた平滑化処理を行うので、動き検出エラーが生ず
ることなく、動き検出エラーに起因する信号の劣化を防
止できるという効果もある。

【図面の簡単な説明】 第１図はこの発明の一実施例を示すブロック図、第２図
は送信側の構成を示すブロック図、第３図は受信側の構
成を示すブロック図、第４図はこの実施例の動作説明に
用いる略線図である。 図面における主要な符号の説明 10:動き適応平滑化回路、N,（Ｎ＋１）：ブロック、SJ:
判定コード、D_M:平均値、Th:閾値。

Claims (1)

1. (57)【特許請求の範囲】 １．送信側にて、時間的に連続する複数フレーム内の夫
   々に属し且つ各フレーム内では同一位置の空間領域を以
   って形成されている３次元ブロック構造に対し、各ブロ
   ック毎の静止判定により動き適応駒落し処理を施しデー
   タ量を圧縮して送出される信号を、上記３次元ブロック
   構造に復元する高能率符号の復号装置に於いて、 上記復元後の３次元ブロック構造の時間的に連続する２
   つのブロックの内、時間的に前となるブロックの最終フ
   レームに属する空間領域と、時間的に後となるブロック
   の先頭フレームに属する空間領域の対応する位置の２つ
   の画素データのレベル差を所定のしきい値と比較する手
   段と、 上記レベル差が所定のしきい値よりも小なる時のみ上記
   ２つの画素データを平滑化すると共に、この平滑化され
   た画素データでもって、上記２つの画素データの内で、
   上記時間的に後となるブロックの先頭フレームに属する
   空間領域の画素データを置換する手段を備えたことを特
   徴とする高能率符号の復号装置。