JPS6146684A - フレ−ム間符号化・復号化方式および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はテレビジョン画像信号の予測符号化に関する。

（従来技術とその問題点） テレビジョン信号に代表される動画像信号の高能率符号
化方法としては従来よシ画面間の相関を利用するフレー
ム間符号化が代表的である。フレーム間符号化において
は基本的には連続するフレームの差分を符号化している
ため、フレーム間での輝度変化すなわち動きが大きくな
ると多くの伝送すべき情報を発生することになる。この
時にこの情報を少しでも減少せしめるための手法として
符号化すべき画素点を粗くとる間引き（あるいはサブサ
ンプリン（）と呼ばれる方法が用いられる。

従来の間引きは画面内に動きを含むか否かには無関係に
行われていだから人間の視覚特性は動き部分については
知覚が低下し、静止部分については高いため静止部分と
くに輪郭線を多く含む静止部分において間引きによる歪
が目立ってくる。また、従来の間引きの他の問題点は、
前記間引きを行ガう際に発生する折返し雑音を除去する
フィルタを具備しなかっだので、間引きによシ発生情報
量はへるが折返し雑音のために画質が劣化するという点
であった。

更に従来の間引きの他の問題点は、間引き率（間引き後
の画素数と間引き前の画素数との比）が高々１／２まで
しか実施できなかったため、間引きによる情報量削減効
果が十分えられていなかつた・ （発明の目的） 本発明の目的は視覚特性の鋭敏な静止領域に対しては間
引きを打力わず、視覚特性の鈍い動領域には折返し雑音
除去フィルタを施したのち間引き内挿を行なうことによ
って画質劣化をきわめて小さく抑えつつ情報量を小さく
することにある。

（発明の構成） 本発明によれば、送信側においては、入力テレビジョン
画像の動領域と静止領域とを分離し、前記動領域と判定
された部分に対しては低域フィルタ処理を施としたのち
に後記組合わされた符号量に応じて定められる画素間引
きを行なうとともにフレーム間予測符号化を行ない、静
止領域と判定された部分に対してはフレーム間予測符号
化を行ない、前記フレーム間予測符号化によシ発生する
符号と前記動領域と静止領域との区別を示す符号を組み
あわせて受信側に送信し、受信側においては、前記組合
わされた符号を分離し、前記静止領域ではフレーム間予
測復号化を行々い、前記動領域では間引かれなかった画
素についてフレーム間予測復号化を行なうとともに間引
かれた画素については送信側と同一の内挿処理を行ない
前記入力テレビジョン画像を復号することを特徴とする
フレーム間符号化・復号化方式。

また本発明によれば入力されるテレビジョン画像の動領
域と静止領域とを分離する手段と、該テレビジョン画像
を入力とし後記画素間引に伴なって発生する折返し雑音
を除去するフィルタと、該折返し雑音除去フィルタの出
力を入力とし予め定められた規則に従う画素間引きおよ
びそれに対応する内挿を伴なうフレーム間予測符号化を
行なうフレーム間予測符号器と、少くとも該フレーム間
予測符号器の出力信号を入力とする不等長符号器と、該
不等長符号器の出力信号を入力とじ速度整合を行なうバ
ッファメモリと、前記動領域／静止領域分離手段の出力
信号と該バッファメモリ内の情報量とを監視して前記折
返し雑音除去フィルタ、前記画素間引き、および前記内
挿の方法を制御する制御回路とを含むことを特徴とする
テレビジョン画像のフレーム間符号化装置が得られる。

更に本発明によればテレビジョン画像をフレーム間符号
化したディジタル信号を受信し速度整合を行なうバッフ
ァメモリと、該バッファメモリの出力である不等長符号
を等長符号に復号するとともにフレーム間符号化信号と
動領域／静止領域分離信号とを抽出する不等長復号器と
、前記動領域／静止領域分離信号に従って変化する内挿
および予測特性を用いて前記フレーム間符号化信号を原
テレビジョン画像に変換するフレーム間予測復号器とを
含むことを特徴とするテレビジョン画像のフレーム間復
号化装置が得られる。

（実施例） 以下に本発明をよシ詳しく図面を引用して説明する。第
１図は本発明のフレーム間符号器の構成の一例を示すブ
ロック図である。入力端子１０１にテレビジョン画像信
号（すでに、標本化およびＡ　／　ｎ変換をうけた信号
であるとする）が印加され、遅延回路１０２および動静
分離回路１０に入力される。遅延回路１０２は動静分離
回路１０の動静判定処理時間と後述する制御回路１１７
の処理時間との和だけ入力テレビジョン画像を遅延させ
る。遅延回路１０２の出力信号はプレフィルタ１０３に
入力される。プレフィルタ１０３は既に述べた折返し雑
音除去フィルタであシ、後述するように制御回路１１７
の出力信号１１８によってその動作を制御される。プレ
フィルタ１０３の出力信号は破線で囲んだフレーム間予
測符号器１２０に入力され、フレーム間予測符号化が行
なわれる。

フレーム間予測符号器１２０の詳細は後述する。

フレーム間予測符号器１２０の出力符号信号１０７は、
前記制御回路１１７の出力信号１１８、前記動静分離回
路１０の出力信号１１９及び他の信号（たとえば音声信
号や他の制御信号）１１３とともに不等長符号器１１２
に入力されエントロピー符号化によシ平均符号長の圧縮
が行なわれる。不等長符号器１１２の出力信号はバッフ
アメそり１１４に入力され、前記不等長符号器１１２の
出力信号とバッファメモリ１１４の出力端子１１５に接
続された通信回線（又はディスク等の蓄積素子）との間
の速度整合がはかられる。バッファメモリ１１４の内部
状態よシ具体的にはバッファメモリ１１４内にだくわえ
られている情報量は信号１１６として制御回路１１７に
伝えられ、制御回路１１７は前記動静分離回路１０の出
力信号１１９とともに監視して、制御信号１１８を出力
する。

動静分離回路１０は、入力画像信号１０１をたとえば画
素ｍ　Ｘ　ｎのブロックに区切シ各ブロックに属する画
素毎にフレーム間差分の流、和を求めて、それがある閾
値を越えていれば動きブロック、閾値以下であれば静止
ブロックと判定する。但しこれは一つの例にすぎず、他
にもいくつかの方法が考えられるが、これは本発明の趣
旨ではないので省略する。また必ずしもブロック単位の
判定である必要はなく、フレーム間予測符号器１２０の
ループ内に動静分離回路１０を組込んで、画素毎に動静
分離を行左うことも可能である。以下では簡単のためブ
ロック単位に動静分離を行なった場合について説明する
。入力テレビジョン画像のうち動静分離回路１０によっ
て静止領域と判定されたブロックについては動静分離出
力１１９はたとえば０となる。このとき制御回路１１７
は出力信号１１８としてＮ　ＲＭ　（ｎｏｒｍａｌ　）
信号を出力する。

ＮＲＭ信号をうけるとプレフィルタ１０３のフィルタ周
波数特性は全域通過特性となる。従って入力テレビジョ
ン画像は遅延のみをへてフレーム間予測符号器１２０に
加えられる。フレーム間予測符号器１２０は減算回路１
０４、量子化器１０６、加算回路１０８、内そう回路１
０９、予測回路１１０とを構成要素とじて含んでいる。

このようなフレーム間予測符号器の動作については周知
であるのでここでは繰返し説明はしないが、制御信号１
１８によって量子化器１０６、内そう回路１０９、予測
回路１１０の特性が制御される点において従来のものと
相違している。しかし、制御信号１１８が前記のＮＲＭ
信号である場合は、量子化器１０６、内そう回路１０９
、予測回路１１０のいずれもが従来と同様の動作を行な
う。なお、フレーム間予測方式では予測回路１１０は単
なるフレームメモリでよい。

一方、入力テレビジョン画像のうち動静分離回路１０に
よって動ブロックと判定されたブロックに対しては信号
１１９は１となる。このとき制御回路１１７は信号１１
８としバッファメモリ１１４の内部状態に応じた間引き
（ＳＢＳ）信号を出力する。これに応動してプレフィル
タ１０３はあらかじめ定められた低域通過フィルタ特性
となシ、入力テレビジョン画像の高域成分の抑圧を行な
う。

これはフレーム間予測符号器１２０における間引きのた
めに生ずる折返し雑音を除去するだめの操作であり、そ
の様子を第３図に示す。第３図（ａ）は入力テレビジョ
ン画像信号のスペクトルを示している。一般にＮＴＳＣ
テレビジョン画像は約３．６ＭＨｚの帯域をもっておシ
、通常その標本化周波数ｆ　はその２倍以上例えば７．
２　ＭＨｚにえらばれる。

従って、スペクトルの折返しは生じない。

ところが、間引きを行なうと等測的に標本化周波数が低
下する。例えば１／２の間引きの場合、標本化周波数は
ｆＳ／２即ち、３．６　ＭＨｚとなる。従って第３図（
ｂ）のように、テレビジョン画像信号が４１以上のスペ
クトル成分をもつと斜線で示したような折返し雑音が発
生して画質劣化をきたす。

これに対して、第３図（ｃ）は折返し雑音除去フィルタ
を挿入した場合で　Ｓ／４以上の高域スペクトルを抑圧
したため標本化周波数が下っても折返し雑音は発生しな
い。

さて、このように高域スペクトルを抑圧されたテレビジ
ョン信号はフレーム間予測符号器１２０で符号化される
が、量子化器１０６、内そう回路１０９、予測回路１１
０はそれぞれ、制御（ＳＢＳ）信号１１８によって変化
する。

まず量子化器１０６では、画素間引きが行なわれる。第
４図はその一例を示した図である。第４図（ａ）は間引
き前の画素配置を示している。第４図（ｂ）は１／２の
間引きを行なった場合の一例であシ○印で示した画素を
残し、Ｘ印で示した画素をはぷいたことを示す。間引き
の方法は必ずしも第４図（ｂ）のとおりでなくともよく
、例えば、１ライン毎に○印の画素とＸ印の画素とを一
つずらして交互に配置する方法でもよい。次に第４図（
Ｃ）は１／４の間引きの一例を示す。このように予め定
められた画素間引が量子化器１０６において行なわれ、
間引かれずに残った画素についてのみ通常の量子化が行
なわれて不等長符号器１１２へ出力される。

内そう回路１０９においては、間引かれなかった画素を
使って、間引かれた画素を内そうする。

第５図はこの方法の一例を示す図である。同図ａ）は第
４図ｂ）の間引きに対応しておシ、第４図ｂ）のＸ印の
画素の一つを周囲の○印の画素ｅ１〜ｅ６をつかって内
挿している。たとえば、Ｘ印の画素＝’　（ｅｌ　＋ｅ
ｔ＋ｅｓ＋ｅ４＋ｅｓ＋ｅｅ　）　　とすることもでき
る。

また第５図（ｂ）は第４図（Ｃ）に対応しており、ｘ印
の画素を周囲の４画素ｅ１〜ｅ４を使って内そうする。

例えば、Ｘ印の画素＝　４　（ｅｓ　＋　６２　＋　６
３　＋　２４　）とするのが一方法である。このように
して内そうされた画素は予測回路１１０を通って減算回
路１０４にフィードバックされて、次の符号化が行なわ
れる。予測回路１１０としては１フレームメモリを用い
ても差しつかえない。

このようにして動ブロックについては画素間引きが行な
われて発生情報量がへらされ、バッファメモリ１１４の
オーバーフローをさけるように動作する。制御回路１１
７はバッファメモリ１１４がオーバーフローに近づいた
ときは間引き率を大きく設定し、オーバーフローから遠
ざかったときは間引き率を小さく設定する制御を行なう
。また動ブロックの数が小さくバッファメモリ１１４が
オーバーフローする危険のないときは動ブロックに対し
ても間引きを行なわないように制御する。

静止ブロックに対しては、間引きを行なわなくてもフレ
ーム間予測符号化によシ原理的に情報は発生しないから
、バッファメモリ１１４のオーバーフローの心配はない
。

なお、間引きとプレフィルタ、内そうとの組み合わせに
は各種の組合わせが考えられ、ここで説明したのは一例
である。たとえば、若干の折返し雑音を許してプレフィ
ルタの特性を緩やかにしたシ、入力テレビジョン信号の
性質によっては全域通過特性にしたシすることも可能で
ある。

また、第１図の内そう回路１０９と第２図の内そう回路
２０７とは全く同じ特性でなくてもよく、第１図の符号
装置の内そう回路１０９は比較的簡単な内そう、たとえ
ば同一のライン上の前後の２画素のみを用いて内そうす
る方法をとシ、第２図の復号装置の内そう回路２０７は
よシ高画質をえられる内そう、たとえば第５図に示すよ
うな内そう方法をとる等の変形も可能である。

第２図は第１図に示すフレーム間予測符号化装置に対応
する復号化装量の一実施例を示す図である。入力端子２
０１を介して入力された信号はまずバッファメモリ２０
２によって速度整合がとられ、不等長復号器２０３に入
力される。ここで等長符号への変換がなされるとともに
予測符号化信号２０４、制御信号２０９、及びその他の
信号２１０への分離が行なわれる。加算器２０５、内そ
う回路２０７、予測回路２０８は、第１図の予測符号器
１２０の局部復号回路と同一の構成をとっておシ、復号
信号を端子２１１へ出力する。この際、制御信号２０９
は前記のとおシ動ブロック・静止ブロック別の制御を行
なう。

（発明の効果） 以上のべた通り本発明のフレーム間予測符号化方式およ
び装置は、動静分離、間引き、折返し雑音除去フィルタ
及び内そうを組みあわせて、符号化情報の発生を低くす
ると同時に、画質劣化を最小限に抑えることのできるも
のである。

【図面の簡単な説明】

第１図はフレーム間予測符号化装置のブロック図であシ
、 １０１・・・入力信号、１０２・・・遅延回路、１０３
・・・プレフィルタ、１０４・・・加算回路、１０６・
・・量子化器、１０８・・・加算器、１０９・・・内そ
う回路、１１０・・・予測回路、１１２・・・不等長符
号器、１１４・・・バッファメモリ、１１７・・・制御
回路、１０・・・動静分離回路である。 第２図はフレーム間予測復号化装置のブロック図であシ
、 ２０２・・・バッファメモリ、２０３・・・不等長復号
器、２０５・・・加算器、２０７・・・内そう回路、２
０８・・・予測回路である。 第３図は折返し雑音除去フィルタの効果を示すだめの図
、 第４図は間引きの方法の一例を示す図、第５図は内そう
の方法の一例を示す図である。 オ　４　図 第５図

Claims (1)

1. 【特許請求の範囲】 １、送信側においては、入力テレビジョン画像の動領域
   と静止領域とを分離し、前記動領域と判定された部分に
   対しては低域フィルタ処理を施こしたのちに後記組合わ
   された符号量に応じて定められる画素間引きを行なうと
   ともにフレーム間予測符号化を行ない、静止領域と判定
   された部分に対してはフレーム間予測符号化を行ない、
   前記フレーム間予測符号化により発生する符号と前記動
   領域と静止領域との区別を示す符号を組みあわせて受信
   側に送信し、受信側においては、前記組合わされた符号
   を分離し、前記静止領域ではフレーム間予測復号化を行
   ない、前記動領域では間引かれなかった画素についてフ
   レーム間予測復号化を行なうとともに間引かれた画素に
   ついては送信側と同一の内挿処理を行ない前記入力テレ
   ビジョン画像を復号することを特徴とするフレーム間符
   号化・復号化方式。 ２、入力されるテレビジョン画像の動領域と静止領域と
   を分離する手段と、該テレビジョン画像を入力とし後記
   画素間引に伴なって発生する折返し雑音を除去するフィ
   ルタと、該折返し雑音除去フィルタの出力を入力とし予
   め定められた規則に従う画素間引きおよびそれに対応す
   る内挿を伴なうフレーム間予測符号化を行なうフレーム
   間予測符号器と、少くとも該フレーム間予測符号器の出
   力信号を入力とする不等長符号器と、該不等長符号器の
   出力信号を入力とし速度整合を行なうバッファメモリと
   、前記動領域／静止領域分離手段の出力信号と該バッフ
   ァメモリ内の情報量とを監視して前記折返し雑音除去フ
   ィルタ、前記画素間引き、および前記内挿の方法を制御
   する制御回路とを含むことを特徴とするテレビジョン画
   像のフレーム間符号化装置。 ３、テレビジョン画像をフレーム間符号化したディジタ
   ル信号を受信し速度整合を行なうバッファメモリと、該
   バッファメモリの出力である不等長符号を等長符号に復
   号するとともにフレーム間符号化信号と動領域／静止領
   域分離信号とを抽出する不等長復号器と前記動領域／静
   止領域分離信号に従って変化する内挿および予測特性を
   用いて前記フレーム間符号化信号を原テレビジョン画像
   に変換するフレーム間予測復号器とを含むことを特徴と
   するテレビジョン画像のフレーム間復号化装置。