JPS59117385A - テレビジヨン信号のフレ−ム間適応予測符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明はテレビジョン信号のフレーム間符号化装置ｌこ
関する。

テレビジョン信号のフレーム間予測符号化においては子
側誤差信号の発生量の多少は主として動きにより左右さ
れる。静止画像については、フレーム間予測を用いると
予測誤差は原理的にはゼロテアル。現実の静止画像につ
いてフレーム間予測誤差が必ずしもゼロにならない場合
があるが、これは主として画像に混入している雑音の所
為である。動きを含む画像については、フレーム間予測
を用いると予測誤差は大きく良い予測方法とは言「動き
補償」がある。これは種々の速度をもつ動きに対応でき
るように予測関数を多数準備しておいて、動きに対して
予測誤差量かもつとも小さい予測関数を検出するとこの
予測関数、すなわち最適予測関数に対応する速度が、そ
の動き物体の速度に一致する特徴を利用している。つま
り考慮すべき範囲内の速度の種類数たけ予測関数を用意
しておけば、その範囲内の動きは補償できる。たとえば
水平方向に±Ｈ画素／フレーム、垂直方向に士Ｖライン
／フレームの範囲の動きを補償するには（２）（＋ｌ　
）　Ｘ　（２Ｖ＋１　）釉の予測関数を用意しておけば
良い。

このようにすると動き補償によりたとえ動きを含む画像
に対しても常に最適予測を行なうことかできる。

しかしながら、従来の予測符号化においては、動き補償
の適用の有無にかかわらす、予測誤差の行されている。

すなわち入力テレビジョン信号に含まれている雑音量を
考慮しないで符号化制御が為されている。ところが現実
には同一内容の画像であっても混入した雑音の量により
予測誤差の符号量は大巾に異なる。このように、多量の
符号を発生してもその中の相当な部分は雑音によって占
”められることもあるので雑音によって発生する符号量
はできるだけ発生しないようにすることが能率の良い予
測符号化の実現にとってきわめて重要である。

すなわち本発明は入力テレビジョン信号に含まれている
雑音の量を評価し、その評価結果を利用して雑音を符号
化しない能率の良い予測符号化を実現することを目的お
する。

本発明は、入力テレビジョン信号に対してフレーム間予
測を含む複数種類の予測関数を発生する手段と、この複
数種類の予測関数の中からその予測誤差が小さいものを
一種選択し、これを最適予測関数とする手段と、この最
適予測関数がフレーム間予測と一致する時に得られる予
測誤差を用いて前記入力テレビジョン信号に含まれてい
る雑音量を評価する手段と、この評価結果を用いて符号
化制御信号を発生する手段と、この符号化制御信号によ
り符号化特性を制御しながら前記最適予測関数に対する
予６（１ｊ誤差の符号化を行なう予測符号化手段、とか
らなる。

つきに本発明の原理について説明する。

平均値がゼロで分散がσ。′、自己相関々数φ（ｄ）＝
ｅｘｐ　（−α・ｄ）なるテレビジョン信号が入力され
るとする。ただしαは画像内容（複雑さの程度）を表わ
すパラメータであり、ｄは相関の距離とする。この画像
が１画素／フレームなる速さで移動したとすると、この
時のフレーム間予測誤差電力Ｐｅ　（−）は （１）　　Ｐｅ（−）＝＝２σｏ’−（１−ｅｘｐ（−
α−１−１））で与えられる。

ここでもし入力テレビジョン信号に分散σ。′なるラン
ダム雑音が含まれていたとすると、この時のフレーム間
予測誤差電力Ｐｅ（−、σｎ）は、（２）　　Ｐｅ（’
、σｏ）＝２σｏ２（１ｅｘｐ（−α−１ｔ−Ｄ）＋ｆ
ｆ、、′で与えられる。

雑音の多い信号ではσ、′が大きいためＰｅ（ｙ、σ１
１）の中にσａ′の占める割合が大きく、この時には雑
音を符号化することにもなりかねない。（２）式の中の
第１項は動きによって生じるフレーム間予測誤差電力で
あり、第２項は雑音の予測誤差電力である。

動き補償時に検出される最適予測関数を見れば動いてい
る部分と静止している部分が区別できる。

すなわち静止部分（−＝０　）を表わしている破過予測
関数を用いた時の予測誤差はフレーム間予測誤差である
のでこの時のみ予測誤差を評価、たとえば２乗和〆する
と（２）式よりＰｅ（０，σｎ）二σ。′となりσ。′
が求められる。

通常のフレーム間予測では発生した差分が雑音によるも
のか、あるいは動きによるものかは区別できない。

本発明によれば、動き部分と静止部分を正しく区別でき
るため実際のテレビジョン信号に対してもその静止部分
のみを用いて含まれている雑音の量が正しく評価される
。したがってこの雑音量の評価結果を用いて符号化制御
を行なうことができる。

たとえば、通常の符号化制御方法として良く知られた方
法として量子化特性の制御、サブサンプル、サプライン
、孤立点除去などがあるがこれらの適用の判定にこの雑
音量を用いる。

ます、量子化特性の制御について説明する。第１図（ａ
）ｌこは非線形量子化特性の一例を示す。この特性にお
いて入力の絶対値がセ尤出力とされる領域、いわゆるデ
ッドゾーン（ｄｅａｄ　−ｚｏｎｅ　）、はこの特性が
フレーム間予測誤差ｔこ適用された場合、とくに静止部
分ｌこ適用された場合ｌこはテレビジョン信号に含まれ
るランダム雑音を除去する効果を有する。すなわち（２
）式において？二〇であるので、Ｐｅ（０，σ。）＝σ
ｎ′となる。このσ。は静止部分のフレーム差分のｒｍ
ｓ値であるので、もし第１図（ａ）の特性のｄｅａｄ　
−ｚｏｎｅの巾（ＤＺ　）をσ。に等しくとったとする
と、含まれているランダム雑音がガウス性雑音であると
き静止部分についてのフレーム間差分に含まれているそ
の雑音の約６８チが除去される。同様にＤＺを２σアに
等しくすると約９８俤が除去される。すなわちσ。の値
によりＤＺをσ。あるいは２σ□などと変化させるよう
にすると少なくとも静止部分に含まれている雑音の大部
分を除去することができる。第１図（ｂ）にＤＺをほぼ
２σｎｉこ等しく、かつ１）Ｚ≦６にとる場合の例を示
す。入力テレビジョン信号がかりに８ビ、トにて表わさ
れるとすると第１図（ｂ）の縦、横軸の目盛にはいずれ
も１／２５６　　が乗じられる。以下も同様である。

つきに孤立点除去の揚台について説明する。孤立点とは
、たとえば第１ライン目の第３番の画素Ｘｉ、、に対す
る量子化された予測誤差ｅ１，１がゼロではなくて、周
辺の量子化された予測誤差がゼロの場合のＪ、）のこと
を指す。発生する符号量を低減するためにこの孤立点を
ゼロとする、すなわち孤立点除去を行なう場合、すべて
の孤立点を一律ζこ除去すると画質劣化を起すことがあ
る。したがって、孤立点の誤差振巾を用いて除去するや
否かの判定を行なって画質劣化を生じないようにする必
要がある。入力テレビジョン信号にランタム雑音が含ま
れているとすると、フレーム差分には孤立点が多く含ま
れることになるが、孤立点の数は雑音の一駈が多いほど
、すなわち信号対雑音比が小さいほど多くなる。また孤
立点の振ｒｉコも大きくなっていぐ。したがって孤立点
除去の可否の判定基準たとえば判定閾値を雑音の量に対
応して変化させると、雑音による孤立点をうまく除去で
きる。

第２図に雑音量σ。に対する判定閾値（Ｔ）の変化の例
を示す。雑音量が多くなるにつれて閾値を大きくし、よ
り多くの孤立点を除去することにより、符号化される雑
音の数を減少させることができる。符号化される画素数
を減少さぜるための技術として他にサブサンプルやサプ
ラインという方法がある。まずザブサンプルに対する雑
音量を用いた適応制御について説明する。ｎ　ｍ　１サ
ブサンプリングではｎ画素につき１画素を符号化するが
、これらの画素は通常は同一走査線上にある。雑音の量
が少ない時に−はとのｎの値を小さくとり、多い時ｌこ
は大きくする。こうするとサブサンプルによるｍ１１質
劣化を検知し難くすることができる。第３図１こ雑音量
（σ。）とサブサンプル比ｎとの関係の一例を示す。な
おｎ　＝　ｌの時はサブサンプルしない場合のことであ
る。サプラインについても同様にｎ：１サプラインが適
用できる。

サブサンプルやサプラインにより符号化されなかった画
素または走査線は復号時にはたとえばｎに対応して荷重
を可変とする内挿により合成すればよい。

またこのサブサンプルにおいて強制的にｎ：１の比で符
号化する代りに間引かれる予定の画素の予測誤差がある
閾値より犬か小かｔこよってこの画素の間引きの中止ま
たは実行を行なうことができる。この時の閾値もたとえ
ば第２図に示したのと同様に雑音量σ。を用いて変化さ
せる七よい。

またこの雑音量σ。をも符号化し、復号化後の画像に対
してσ。に相当するランダム雑音を重畳するこさにより
、仮に符号化により画質の劣化が起った場合でもその劣
化をある程度軽減することができる。すなわち徽妙な階
調変化がある部分などは符号ｆヒとくに量子化の影響を
受けて劣化し易いが、この劣化部分ｌこついてはランダ
ム雑音の重畳ｌこより劣化がマスクされ目につき難くな
る人間の視覚の特性を利用するわけである。

以下図面を参照しながら本発明の実施例について詳細に
説明する。

第４図に本発明に関る予測符号化装置のブロック図を示
す。

減算器１２においてはこの、入力テレビジョン信号と可
変遅延回路１１から線１１００を介して供給される最適
予測信号との間で減算しその差すなわち予測誤差を発生
する。この予測誤差は線１２１３．１２１６を介してそ
れぞれ量子化器１３と雑音評価回路１６へ供給される。

量子化器１３は予測誤差を少ないレベルで表わすために
量子化するが、その量子化特性は一般に複数個備えてお
り、線１７００を介して供給される符号化制御信号に従
って選択され使用される。第１図に示したＤＺの可変制
御も量子化特性の選択の一種である。

また、この量子化回路１３では符号化制御信号により孤
立点除去やサブサンプリング、サプラインなどの画素単
位あるいは走査線単位の処理も行なわれる。すなわち、
この量子化回路１３は除去される孤立点、間引かれる画
素あるいは走査線に対して予測誤差の量子化した出力を
ゼロにする機能を保有しているものとする。

量子化器１３（こおいて量子化された予測誤差は線１３
００　を介して加算器１４と不等長符号化回路１８へ供
給される。加算器１４はこの予測誤差と最適予測信号と
から局部復号信号を発生し、フレームメモリ１５に供給
する。フレームメモリ１５においておよそ１フレ一ム時
間遅延した局部復号信号は線１５００により最適予測関
数検出回路１０と可変遅延回路１１へそれぞれ供給され
る。最適予測関数検出回路１０では画面内に含まれる動
きに対して最大の予測能率を示す最適予測関数を検出す
る。最適予測関数の検出方法としては、たとえば１９７
８年電子通信学会技術研究報告Ｖｏｌ　、　７８　Ａ６
３９に掲載されている二宮による論文「フレーム間符号
化における動き補正」（論文番号ＩＥ７８−６）が適用
できる。

この論文の手法を用いて得られる検出結果（画面内の物
体の動きの速さと方向を示す動ベクトル）に対応する予
測関数が本発明の最適予測関数に相当する。こうして検
出された最適予測関数は線１０１１、１０１６．１０１
８　を介してそれぞれ可変遅延回路１１、雑音評価回路
１６および不等長符号化回路】８へ供給される。可変遅
延回路１１は最適予測関数に対応する時間だけ遅延した
信号を最適予測信号として出力する。たとえば走査線方
向に１画素／フレームの速さで動く物体がある時には（
１フレーム＋１画素）時間遅延した信号が最適予測信号
であり、同じく走査線方向に７画素／フレーム（１Ｐは
整数とする）で動く物体に対しては（１フレ一ム十Ｖ画
素）時間遅延した信号が最適予測信号である。この例に
おける（１フレーム＋）画素）時間の遅延量はＶが一定
でないため一定しないが可変遅延回路１１を用いること
によりフレームメモリ１５と可変遅延回路１１との遅延
時間の和を必らず（１フレ一ム＋Ｖ画素）時間とするこ
とができる。可変遅延回路１１は書き込みと読み出しが
互いに異なる番地に対してできるように構成されたラン
ダム・アクセス・メモリを用いると実現できる。最適予
測信号はこのようにして可変遅延回路１１から出力され
る。

線１０１８を介して不等長符号化回路１８へ供給された
最適予測関数はたとえばハフマン符号化などの不等長符
号化の手法で符号化され、同じく不等長符号化された予
測誤差信号および後述する符号化制御信号と多重化され
る。不等長符号化回路１８で不等長符号化された最適予
測関数と予測誤差および符号化制御信号は伝送路２００
０との速度整合を行なうバ２・ファメモリ１９へ供給さ
れる。バッファメモリ１９の出力は伝送路２０００ある
いはディジタル情報を記憶できる記憶媒体へ供給される
。またバッファメモリ１９のメモリ容量の充足状態を表
わす信号が線１９１７を介して符号化制御回路１７へ供
給される。符号化制御回路１７はこのバッファメモリ１
９の充足状態と雑音評価回路１６から線１６１７を介し
て供給される入力テレビジョン信号に含まれる雑音量の
評価結果の両者を用いて符号化制御を行なう。この符号
化制御信号は不等長符号化回路１８において符号化され
る。

つぎに雑音評価回路１６の動作について説明する。

第５図に雑音評価回路１６のブロック図を示す。線１０
１６　を介して供給された最適予測関数を表わす情報は
比較回路１６０においてフレーム間予測と等価であるか
否かの判定を受ける。もしフレーム間予測と等価であれ
ばたとえば論理レベル１を、そうでなければ０を出力す
るものとする。累積回路１６１ではこの比較回路１６０
の出力が論理レベル１の時のみ、線１２１６を介して供
給される予測誤差信号を累積する。累積時間はリセット
回路１６２により指定されるが、たとえば１フレ一ム時
間程度に選ぶとよい。すなわち、１フレーム内での静止
部分についての雑音量より、入力テレビジョン信号に含
まれている雑音量を評価することになる。

累積時間は、もちろん、複数フレーム１こ及ぶ時間を設
定しても良いが、反対に１フレ一ム時間よりもずっと小
さな時間にとると評価結果が不正確になるおそれがある
。累積回路１６１の出力はたとえ方法に制限はない。

つぎに第６．７図を参照しつつ他の実施例について説明
する。第６図に第２の実施例にかかる符号化装装置の一
構成例を示す。第４図に示した第１の実施例との相異点
は雑音評価回路１６の評価結果が符号化制御回路１７の
みならず線１６１８を介して不等長符号化回路１８へも
供給されることである。この時不等長符号化回路１８は
この評価結果をも符号化および多重化できるものとする
が、たとえば１フレ一ム時間ｌこ１回程度の符号化で実
用上は十分である。他は第４図の符号化装置と同じでよ
い。

第７図ζこ第２の実施例における復号化装置の一構成例
を示す。伝送路２０００を介して供給される圧絹符号化
されたテレビジョン信号はますバッファメモＩＪ　５０
において伝送路上での速度と復号化装置における復号速
度との速度整合をとるため−たん記憶される。バッファ
メモＩＪ　５０の出力は不等長復号化回路５１において
符号化および多重化された符号化制御信号、最適予測関
数、量子化された予測誤差、雑音量の評価結果などに分
離・伸長され、線５１５３，５１５５，５１５２．およ
び５１５６を介してそれぞれ内挿回路５３、可変遅延回
路５５、加算回路５２および雑音発生回路５６へ供給さ
れる。

可変遅延回路５５は供給された最適予測関数に従って最
適予測信号を発生し加算回路５２へ供給する。

加算回路５２ではｉ　５１５２を介して供給される予測
誤差とこの最適予測信号より復号信号を発生する。

この復号信号は、サブサンプルやサプラインが適用され
ている場合には内挿回路５３において内挿され、間引か
れた画素あるいは走査線の合成がなされ間引きのないテ
レビジョン信号が得られる。内挿を適用することの可否
は符号化制御信号に従う。

このようにして得られた間引きのないテレビショア　＆
ｉ−Ｑは線５３００を介してフレームメモリ５４ト加算
回路５７へ同時に供給される。フレームメモリ５４では
およそ１フレ一ム時間遅延した後にこのテレビジョン信
号を可変遅延回路５５へ供給する。この可変遅延回路５
５は第４．６図にそれぞれ示した可変遅延回路１１と同
一構成で実現できる。雑音発生回路５６では線５１５６
を介して供給される雑音量σ。を用いてσ７に対応する
ランダム雑音を発生する。仁こで発生されたランダム雑
音は加算回路５７において復号さｎた間引きのンｊいテ
レビジョン信号に加えられる。こうして、粗い量子化特
性が使用された場合に起り易い不自然な階調変化をラン
ダム雑音の重畳によりランダム化すると視覚的に画質改
善リーることが可能となる。すなわち符号化装置におけ
る入力テレビジョン信号とほぼ同じ量のランダム雑音が
′復号化装置の出力テレビジョン信号に含まれることに
なるが、もしσＪｒ、無関係にランダム雑音を加算する
♂静止画や動きの少ない準静止画に第１シても多量の雑
音を加えることにも７１りかねず、フレーム間装置が原
理的にもつ雑音軽減機を出力することになる。また密な
量子化特性を用いて符号化さイｔている場合には一般に
σ。も小さく、この雑音軽減機能は活用ざｎている状態
にあるので、この時（こは加算回路５７では雑音の加算
を行なわないようにすることが好ましい。すなわち線５
１５６　を介して符号化制御信号とくに量子化特性の選
択状態と雑音量σゎの両者を雑音発生回路５６に供給す
るようにしておいて、密な量子化特性が選択されていて
、かつσ。が小さい場合には雑音発生回路５６の出力雑
音量をゼロとする。

このようにして得られる間引きのない、画質劣化の少な
い、とくに静止〜準静止画に対してはむしろ入力テレビ
ジョン信号よりも品質の良いテレビジョン信号が得られ
、復号化装置出力として線３０００　を介して出力され
る。

本発明の符号化装置においては、この雑音の評価結果の
みならずパンツアメモリ１９の充足度も符号化制御に利
用することができる。たとえば充足度をｎ個に区分して
おいて各区分毎に第１．２．３図に示した制御を定めて
おき、充足度とσ。の両者を用いればより細かな符号化
制御が可能となる。

以上詳しく説明したように、本発明は従来のようにバッ
ファメモリ１９の充足度のみを用いた符号化制御と異な
り入力テレビジョン信号に含まれている雑音量をも考慮
して符号化制御するため、雑音のように符号化する必要
のない信号は除去し、あるいは伝送路の速度の制限によ
りやむを得ずサプライン、サブサンプル、あるいは粗い
量子化特性などを用いる場合でも雑音量に対応してでき
るだけ符号化歪が小さくなるような制御が実現できるた
め、無駄のない符号化が可能となる。すなわち符号化能
率が高くなる。

また、雑音量σ。も符号化して復号化装置へ伝達すると
、復号後の画品質の劣化とくに粗い量子化特性が符号化
に用いられた場合の劣化の大幅な軽減に利用できる。

以上述べた入力テレビジョン信号の雑音量の評価結果を
符号化あるいは符号化・復号化に利用するためきめ細か
な符号化・復号化が可能となり、符号化能率は高く、復
号後の画質が良い符号化装置、あるいは復号化装置が実
現される。

このように本発明を実用に供するとその効果は極めて大
である。

の例を説明するための図、第４．５．５図は本発明の予
測符号化装置の一実施例を示すブロック図、第７図は予
測符号化装置を説明するブロック図である。

図中、１０は最適予測関数検出回路、１１は可変遅延回
路、１２は減算器、１３は量子化器、１４は加算器、１
５はフレームメモリ、１６は雑音評価回路、１７は符号
化制御回路、１８は不等長符号化回路、１９はバ。

ファメモＩＪ、１６０は比較回路、１６１は累積回路、
１６２はリセット回路、５０はバッファメモリ、５１は
不等長復号化回路、５２は加算回路、５３は内挿回路、
５４はフレームメモリ、５５は可変遅延回路、５６は雑
音発生回路、５７は加算回路、である。

−５１゜ 才　　　ｊ （ａ） 錐　者ｔｘ Ｃｂ） 才　２　口 雑音量Ｇ− 才３図 薙音ｔ　’ｉ

Claims (1)

1. 【特許請求の範囲】 １、入力テレビジョン信号に対してフレーム間予測を含
   む複数種類の予測関数を発生する手段、該複数種類の予
   測関数の中からその予測誤差が小ざいものを一種選択し
   、これを最適予測関数とする手段、該最適予測関数がフ
   レーム間予測と一致する時に得られる予測誤差を用いて
   前記入力テレビジョン信号に含まれている雑音量を評価
   する手段、少なくとも該評価結果を用いて符号化制御信
   号を発生する手段、該符号化制御信号により符号化特性
   を制御しながら前記最適予測関数に対する予測誤差の符
   号化を行なう予測符号化手段、とを具備することを特徴
   とするテレビジョン信号のフレーム間符号化装置。 ２、前記予測符号化手段の符号化特性の制御を、量子化
   特性の制御、サブサンプルする制御、サプラインする制
   御、孤立点を除去する制御、あるい