JP2691421B2 - 符号化雑音除去用ポストフィルタ装置 - Google Patents

Description

【発明の詳細な説明】 （発明の技術分野） 本発明は、商用テレビジョンや高品位テレビジョン
（ハイビジョン）のような画像信号に対し画面中の隣接
する画素間に存在する強い相関を利用して高能率符号化
を行う予測符号化伝送方式において、発生する符号化雑
音を受信側で効果的に除去するためのポストフィルタ装
置に関するものである。

（従来技術とその問題点） 初めに従来からあるフィールド内予測符号化と呼ばれ
る符号化方式について説明する。

現在の標準的なテレビジョンは１秒間に30枚ないしは
25枚送られるフレームと呼ばれる画面より成り立ってお
り、さらに各フレームはそれぞれ１走査線ごとに飛び越
し走査が行われている関係から連続する２フィールドよ
り成り立っている。また画面を構成している要素を「画
素」と呼ぶが、ここではディジタル処理を念頭において
いるので標本化された１サンプルを画素と呼ぶことにす
る。従って、この場合には、各画素の画面内での位置
は、信号をディジタル化する為のサンプリング周波数に
依存することになる。

第１図はその為の各画素１〜５の位置関係を示してい
る。図において、画素２は現在の画素１と同一ライン上
左隣りに位置する画素、画素3,4,5は、同一フィールド
内の１ライン上のライン中でそれぞれ画素１の右上、画
素１の真上及び画素２の真上に、それぞれ、位置する画
素となる。この時すぐ近くに位置するいくつかの画素に
ついては、その標本値の間にお互いに強い相関があると
考えられるので、画素１の標本値Ｘ₁の予測値₁をまわ
りの画素の標本値を用いて、例えば₁ ＝Ｘ₂ ……（１） あるいは₁ ＝Ｘ₂＋3/4X₄−3/4X₅ ……（２） として作り、この予測値₁と真の値Ｘ₁との差 ｅ₁＝Ｘ₁−₁ ……（３） を予測誤差とし、これを量子化して符号化を行うことに
より所要伝送ビット数を少なくして済ませるように高能
率符号化を行うことが出来る。

しかしながら、この時、量子化された予測誤差信号 Ｑ（ｅ₁）＝Ｑ（Ｘ₁−₁） ＝Ｘ₁−₁＋Δｑ₁ ……（４） には、量子化雑音Δｑ₁が付加され 受信側での符号操作によって得られた再生値 ＝Ｑ（ｅ₁）＋₁ ＝Ｘ₁＋Δｑ₁ ……（５） には、符号化雑音（量子化雑音）Δｑ₁が重畳する。

この符号化雑音は、符号化による所要伝送ビット数に
よって決まる量子化器の特性に依存する。即ち、通常の
画像信号は一画素当たり８ビット（０〜255レベル）で
表現され、予測誤差は−255〜255の９ビットとなる。こ
れを一画素当たり４ビットで符号化して伝送する場合に
は、量子化代表値数は16種、３ビットの場合には８種と
なり、代表値数が少なくなるほど量子化雑音は増加す
る。従って、所要伝送レートが少ない場合には、特に符
号化雑音を除去することが重要となる。

この符号化雑音を除去する方法として、従来技術では
次に述べるポストフィルタ処理が行われていた。すなわ
ち、まず画面中で静止領域と動領域をフレーム間差分絶
対値ｆ₁と予め指定した閾値Thとにより以下の様に判定
する。

ｆ₁≦Thならば静止領域 ｆ₁＞Thならば動領域 ｆ₁＝｜₁−₁｜ ……（６） 但し、₁は１フレーム前の画素１と同位置にある画
素の再生値を示す。

静止領域の場合には₁ ＝Ｘ₁＋Δｑ₁ ……（７） ₁ ＝Ｘ₁＋Δｑ₁′ ……（８） が成り立つため、たとえば式（９）で示すフィルタ処理
を行うと、_1F ＝1/2（₁＋₁） ……（９） 真の値Ｘ₁とフィルタ後の値Ｘ_IFとの差の電力は Ｅ〔（Ｘ₁−_1F）²〕＝Ｅ〔（Δｑ₁＋Δｑ₁′/2）²〕 ＝1/2E〔Δｑ₁ ²〕 ……（10） （但し、Ｅ〔 〕は平均値を意味する。） となり、フィルタ処理を行わない場合に比べて雑音電力
を半分に低減することができる。一方、動領域の場合に
は、₁はもはや式（８）で表現することができなくな
り、式（９）で示したフィルタ処理を行うと、逆に画像
は劣化してしまう。

以上を考慮して、従来技術では前記判定で静止領域と
みなされた場合のみフィルタ処理が行われていた。しか
しながら、この方式では、前述した様にただ単にフレー
ム間差分絶対値ｆ₁と閾値Thの大小比較により静／動領
域の判定を行い、フィルタ適用の有・無を決定している
ため、Thを大きくとると、たとえ動領域であっても静領
域と判定される場合が生じ、フィルタが適用されてしま
い、逆に画質は劣化する。また逆にThを小さくとると、
静止領域でも動領域と判定される場合が生じ、この時に
はフィルタが適用されないため、フィルタによる画質改
善効果は小さくなってしまう。

（発明の目的） 本発明は、以上の点に鑑みなされたもので、画像信号
の量子化代表値をフィールド内予測符号化して伝送する
画像信号の予測符号化伝送系の受信側において、静／動
領域の判定閾値を受信した量子化代表値により適応的に
切換え、符号化雑音の除去をより効果的に行うことので
きる符号化雑音除去用ポストフィルタ装置を提供するも
のである。

以下に本発明を詳細に説明する。

（発明の原理） 本発明においては、まず各画素毎に伝送される量子化
代表値に基づき静／動領域判定閾値を予め決めておく。
たとえば、用いる量子化器の量子化代表値数をｎとし、
各量子化代表値をRi（ｉ＝１−ｎ）とすると、これに対
応する閾値ThはRiの関数となり、Th（Ri）で表現され
る。

この閾値と、フレーム間差分絶対値ｆ₁を比較して、 ｆ₁≦Th（Ri）ならば、フィルタＦ₁を適用、 ｆ₁＞Th（Ri）ならば、フィルタＦ₂を適用ないしはフィ
ルタ無しとする。

ここで、フィルタＦ₁は時間軸方向のフィルタを意味
し、１フレーム前の再生値₁（ｉ＝１〜ｍ）と現在の
画素の再生値₁を用いて次式で与えられる。

但し、ｋはフィルタ重み付け係数、ａ_iは前フレームの
再生値にかかる係数を示す。

上式でたとえばｋ＝1/2、ｍ＝１、ａ_i＝１とすると、 Ｆ₁＝1/2（＋₁） ……（12） となり、前記式（９）と一致する。

一方、フィルタＦ₂は空間方向のフィルタを意味し、
現在の画素と同一フィールド中にある画素の再生値ｉ
（ｉ＝２〜ｎ）と現在の画素の再生値₁を用いて次式
で与えられる。

但し、ｈはフィルタ重み付け係数、biは現フィールドの
画素の再生値にかかる係数を示す。

（発明の有効性） 次に、本発明の技術的背景と有効性について説明す
る。一般に同一フィールド中の互いに隣接する画素間に
は強い相関があるため、前述したフィールド内予測符号
化で得られる予測値と真の値との差である予測誤差値の
発生分布は、第２図に示す様に０集中形となり、予測誤
差値が大きくなればその発生頻度は少なくなる。この特
性を利用して量子化では０近傍の量子化幅を出来るだけ
細かくとり、予測誤差値が大きくなるほど量子化幅を粗
くすることにより、符号化雑音の効率的低減が図られ
る。表１にはこの量子化の例として４ビット15レベル量
子化特性を示す。

このような量子化特性は、量子化幅が細かいところに
割り当てられている量子化代表値によって再生された画
素には少ない符号化雑音が重畳し、逆に量子化幅が粗い
時の量子化代表値によって再生された画素には大きな符
号化雑音が重畳することになる。

これにより、量子化代表値と符号化雑音には相関があ
り、受信した量子化代表値が大きい場合には、符号化雑
音も大きい可能性があるため、たとえフレーム間差分絶
対値が多少大きくてもこれが動領域に起因したものでは
なく、符号化雑音に起因したものと考えられることがで
きる。

逆に、量子化代表値が小さい場合には、重畳する符号
化雑音は小さくなるため、フレーム間差分がたとえ小さ
くても動領域とみなすことができる。この事から、静／
動領域の判定をフレーム間差分絶対値と固定閾値とで判
断するのではなく、受信した量子化代表値の情報を利用
し、量子化代表値が小さい時には判定閾値を小さくし、
逆に大きい時には判定閾値を大きくすると、より効果的
に静／動領域の分割が行え、これにより静止領域に対す
る雑音除去が効果的に行える。

更に、動領域に対しても時間軸方向のフィルタの代り
に画像の「ぼけ」が視覚的に検知されない程度の空間方
向のフィルタを適用すれば、符号化雑音除去が行える。

以上の検討に加えて、別の観点から本ポストフィルタ
の有効性を以下に示す。

即ち、第３図に示したエッジ画像が水平方向に移動し
た場合を考え、実線で示した波形を現フィールドのエッ
ジとし、破線で示した波形を１フレーム前のフィールド
のエッジとする。

この時、斜線で示された領域の面積Ｓは、 Ｓ＝Σｆ_i ……（14） （ｆ_iはフレーム間差分絶対値） で与えられ、エッジの高さＨは Ｈ＝Σｅ_i ……（15） （ｅ_iはフィールド内差分絶対値） で与えられる。

これより、水平方向の動き量Ｖは で示される。

上式より、動き量Ｖは単にｆ_iのみで決まるものでは
なく、ｆ_iが小さくてもｅ_iが小さければ動き有りとな
り、逆にｆ_iが大きくてもｅ_iが大きければ動きは小さい
ことになる。このｅ_iを前述した量子化代表値に置き換
えると、量子化代表値が大きい時には、判定閾値を大き
くすると、静／動領域の判定をより正確に行え、逆に小
さい時には判定閾値も小さくすればよいことになる。

第４図には、実画像データを用いたシミュレーション
実験で得られた量子化代表値とフレーム間差分絶対値の
関係を示す。

本シミュレーション実験には、表１で示した４ビット
量子化器によるフィールド内予測符号化方式が用いられ
た。

図に示した様に、静止画と動画〔（１画素／フレー
ム）と（２画素／フレーム）の動き〕に対して、量子化
代表値が大きくなれば、フレーム間差分絶対値は増加
し、図中破線で示す判定閾値により、正確な静／動領域
の分割が行え、より効果的なポストフィルタ処理による
符号化雑音の除去が行える。

（実施例） 以下に本発明によるポストフィルタ装置の具体例につ
いて説明する。第５図はそのブロックダイヤグラムであ
る。11は最新画素の再生値と１フレーム前の画素の再生
値との間でフレーム間差分絶対値を求める為の差分絶対
値回路、12はフレームメモリ、13はフィールドラインメ
モリ、14は最新画素の再生値を得る為に送信側より伝送
されてきた量子化代表値から静／動領域の判定を行う閾
値を設定する閾値設定回路、15はフレーム間差分絶対値
と判定閾値の大小を比較する比較器、16は時間領域での
符号化雑音の除去を行う時間領域フィルタ作成部、17は
空間領域での符号化雑音の除去を行う空間領域フィルタ
作成部、18は時間領域フィルタ作成部16と空間領域フィ
ルタ作成部17を切り換えるスイッチである。

第５図に示した実施例において、再生値は受信側で作
成した予測値と受信した量子化代表値を加算することに
より得られる。この再生値とフレームメモリ12から読み
出された１フレーム前の再生値の差分絶対値を差分絶対
値回路11により求める。一方、受信した量子化代表値は
閾値設定回路14に入力され、各量子化代表値に対応した
閾値を出力する。この閾値と前記差分絶対値は比較器15
に入力され、大小関係の情報でスイッチ18を制御する。
このスイッチ端子には、時間領域フィル作成部で得られ
た時間フィルタ値と空間領域フィルタ作成部で得られた
空間フィルタ値の２種のフィルタ値が入力されており、
前記差分絶対値が閾値よりも小さい時にはスイッチ18に
より時間フィルタ値が、大きい時には空間フィルタ値が
それぞれ出力される。この出力値が雑音除去された最終
的な再生値となる。

第６図は、本発明によるポストフィルタ装置の実現例
である。21はフレームメモリ、22は最新画素の再生値及
び量子化代表値と１フレーム前の画素の再生値を入力と
するルックアップテーブルであり、ランダム・アクセス
・メモリにより構成することができる。

本雑音除去用ポストフィルタ装置の実施例を第７図に
示す。フィルタの入力信号は、再生画像とその量子化代
表値で出力符号はフィルタ出力値となっている。

信号の時間的流れ（タイムチャート）を説明する為
に、ｉ番目の再生画像をｘ_i、量子化代表値をRi、各量
子化代表値に対応する静／動領域判定閾値をTh_i、１フ
レーム前の再生画像をｘ′_iとする。

入力再生画像（ｘ_i）は２画素遅延回路31により遅延
され、ｘ_i-2となりフレームメモリ34に入力される。こ
の時、フレームメモリ34からｘ′_i+1が読出され遅延回
路35によりｘ_iに対して１フレーム前の画像信号ｘ′_iが
得られる。ｘ_iとｘ′_iは差分回路36に入力され、フレー
ム間差分値ｘ_i−ｘ′_iが得られる。

一方、入力された量子化代表値Riは、閾値テーブル32
に入力され、これにより静／動領域判定閾値Th_iが得ら
れ遅延回路33を経てTh_i-1となり補正値テーブル38に入
力される。

補正値テーブル38では、遅延回路37を経てきたフレー
ム間差分値ｘ_i-1−ｘ′_i-1とTh_i-1とにより、ｘ_i-1−
ｘ′_i-1の値を以下の様に補正する。

すなわち、 |x_i-1−ｘ′_i-1｜Th_i-1のとき ｋ′（ｘ_i-1−ｘ′_i-1）を出力し（但し、０＜ｋ≦
１）、 |x_i-1−ｘ′_i-1｜＞Th_i-1のとき、 ０を出力する。

補正値ｋ′（ｘ_i-1−ｘ′_i-1）は遅延回路39を経て差分
回路40にｘ_i-2とともに入力される。

差分後の信号（ｘ_i-2−ｋ′（ｘ_i-2−ｘ′_i-2））が
フィルタ出力値となる。

このフィルタ出力値は、 ｘ_i-2−ｋ′（ｘ_i-2−ｘ′_i-2） ＝（１−ｋ′）ｘ_i-2＋ｋ′ｘ′_i-2 ＝kx_i-2＋（１−ｋ）ｘ_i-2 （ｋ＝１−ｋ′） と変形できるため、前述した時間フィルタと同一なもの
が本実施例で得られる。

尚、本実施例ではフレーム間差分絶対値が静／動領域
判定閾値より大きい場合には、空間フィルタは適用され
ていない。

（発明の効果） 以上詳細に説明したように、本発明によれば、量子化
代表値をフィールド内予測符号化して伝送する画像信号
の予測符号化伝送系の受信側での入力画像の再生時に、
その入力画素の変化を示す量と閾値との比較結果に従っ
て動／静領域を区分し、これらの区分された領域に対し
て符号化雑音を除去するためのポストフィルタ処理を行
う場合、その閾値を量子化代表値の大小に対応して選択
されるようにすることにより著しく効果的な符号化雑音
の除去を行うことができ、実用的効果は大きい。

【図面の簡単な説明】

第１図は本発明を適用する画素信号の伝送例を示す画素
配列パターン図、第２図はフィールド内予測符号化にお
ける予測誤差の発生分布を示す特性図、第３図は本発明
の有効性を説明するための略図、第４図は量子化代表値
とフレーム間差分絶対値の関係を示す特性図、第５図，
第６図及び第７図は本発明の実施例を示すブロック図で
ある。 1,2,3,4,5……画素、11……差分絶対値回路、12,21,34
……フレームメモリ、13……フィールドラインメモリ、
14……閾値設定回路、15……比較器、16……時間領域フ
ィルタ作成部、17……空間領域フィルタ作成部、18……
スイッチ、22……ルックアップテーブル、31,33,35,37,
39……遅延回路、32……閾値テーブル、36,40……差分
回路、38……補正値テーブル。

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】画像信号の量子化代表値をフィールド内予
   測符号化して伝送する画像信号の予測符号化伝送系の受
   信側での入力画素の再生時に該入力画素のフレーム間変
   化を示す量が閾値より小なるか又は大なるかの比較結果
   に従って静／動領域を区分し、これらの区分された静／
   動領域に対応して予め定めた処理手順により符号化雑音
   を除去するためのポストフィルタ処理をする装置におい
   て、静／動領域の判定閾値の大と小の選択は前記量子化
   代表値の大と小にそれぞれ対応するように構成されたこ
   とを特徴とする符号化雑音除去用ポストフィルタ装置。
2. 【請求項２】前記静領域に対して時間領域フィルタを用
   い前記動領域に対して空間領域フィルタを用いるように
   前記予め定めた処理手順が設定されていることを特徴と
   する請求項１に記載の符号化雑音除去用ポストフィルタ
   装置。
3. 【請求項３】既に符号化され終わった画素の情報から符
   号化すべき画素の予測値を得て、該予測値と符号化すべ
   き画素の値との差分値を量子化することにより量子化代
   表値を求め、該量子化代表値を符号化して得られた符号
   を受信側に伝送し、受信側では該伝送された符号から得
   られた該量子化代表値と該予測値とにより、前記符号化
   すべき画素の再生値を得るテレビジョン信号のフィール
   ド内予測符号化伝送における受信側での画素再生装置に
   おいて、 該再生値を常時少なくとも１フレーム分蓄積しておくだ
   けの容量を有する記憶部と、 前記受信側で得られる前記符号化すべき画素の再生値の
   うち当該最新画素の再生値と前記記憶部から読み出さ
   れる当該最新画素の１フレーム前の画素の再生値_Fと
   の差分絶対値をとり出す差分絶対値回路と、 前記伝送された量子化代表値Ｒの大と小が該量子化代表
   値の大と小にそれぞれ対応するように定められる判定閾
   値を設定する閾値設定回路と、 前記差分絶対値が前記判定閾値より小なる第１の状態又
   は大なる第２の状態を有する比較結果出力をとり出す比
   較器と、 前記再生値と前記再生値_Fに対して時間軸方向のポ
   ストフィルタ処理を行う時間領域フィルタ作成部と、 前記再生値と前記再生値_Fに対して空間方向のポス
   トフィルタ処理を行う空間領域フィルタ作成部と、 前記比較結果出力が前記第１の状態であるか前記第２の
   状態であるかにそれぞれ対応して前記時間領域フィルタ
   作成部の出力又は前記空間領域フィルタ作成部の出力を
   選択する切換スイッチ とを備えた符号化雑音除去用ポストフィルタ装置。