JPH03174891A - ブロック歪除去フィルタ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の利用分野］ 本発明は画像信号用のブロック歪除去フィルタに係り、
特にブロック単位の符号化信号を復号化した復号化信号
のブロック歪を除去するブロック歪除去フィルタに関す
るものである。 ［従来の技術］ 近年、動画像処理において原画像を複数のブロックに分
割し、該ブロック単位に画像信号の符号化及び復号化を
行なうことにより、画像信号を復元する手法が提案され
ている。 従来技術による動画像処理装置は、原画像を複数のブロ
ック単位に符号化する符号化回路と、該符号化回路によ
り符号化された符号化信号を復号化する復号化回路とを
備え、複数のブロックにより構成される復元画像を復元
する様に構成されている。 しかしながら従来技術においては、復元画像の画像水平
方向をＸ軸、垂直方向をＹ軸、輝度又は色差信号値をＺ
軸として表した場合、第８図に示す如く復元画像がブロ
ック単位で復号化処理を行なうため、隣接するブロック
７間で輝度及び色差信号値の再現性に相違が生じ、該ブ
ロック７の間でブロック歪８と呼ばれる不連続性が発生
する。 このブロック歪８は人間が目視した場合、例えば表示画
像をモザイク処理した様に見えるものである。 このため従来技術においては、このブロック歪を除去す
る画像信号用ブロック歪除去フィルタが種々提案されて
いる。この画像信号用ブロック歪除去フィルタは、符号
化回路及び復号化回路の後段に配置されるためにポスト
フィルタとも呼ばれる。 尚、前記画像信号用ブロック歪除去フィルタに関する技
術は例えば、１９８９年８月１５日付は発行の文献「電
子情報通信学会秋期全国大会論文集」第６−６３頁記載
の「ポストフィルタリングによる高能率符号化画像品質
の改善」　（加藤洋−及び大久保栄氏著）の記事及び同
論文集第６−６０頁記載の「低ビツトレート動画像符号
化のポストフィルタに関する検討」　（滝嶋康弘及び和
田正裕氏著）の記事に記載されている。 ［発明が解決しようとする課題］ しかしながら従来技術による画像信号用ブロック歪除去
フィルタは、単純な閾値による非線形処理を行なってい
るため画素への適応性が低くブロック歪が除去しきれな
かったり、画像のデイテールが失われ、画像が部分的に
ボケると言う不具合を招いていた。 この原画像のデイテール損失、即ち画像の微細特徴が失
われるため従来は画像の特定部分がボケでしまうと言う
問題点があった。 本発明の目的は、前述の従来技術の問題点を除去するこ
とであり、画素への適応性を向上してブロック歪をより
完全に低減することができるブロック歪除去フィルタを
提供することである。 ［課題を解決するための手段］ 前記目的を遠戚するため本発明は、あるブロック境目の
画素を注目画素とし、隣接ブロックの画素及び該注目画
素に近傍の複数画素の値の平滑値を求め、該平滑値と注
目画素値間を所定の内分比率で内分した推定値を、前記
注目画素の値と置換するように構成した。 尚、前記所定の内分比率は注目画素の値と前記近傍画素
から求めた平滑値との差分・について単調減少な関数が
好適である。 ［作用］ 前記ブロック歪除去フィルタは、ブロック境界上の注目
画素の値を、近傍画素からの平滑値と注目画素値を所定
の内分比率で内分した推定値と置換することにより、ブ
ロック境界上画素を修正してブロック間の不連続性を防
止してブロック歪を画像のデイテールを失うことなく除
去することができる。 ［実施例］ 以下本発明によるブロック歪除去フィルタの一本実施例
を図面を用いて詳細に説明するものであるが、まず本発
明の原理について説明する。 本発明の原理を簡単に述べると、第３図に示す複数のブ
ロック７１〜７３他より成る再生画像を想定した場合、
該ブロック７１の４辺の境界上の画素１例えば画素Ｘｉ
、Ｘ４を注目画素とし、この注目画素Ｘ】及びｘ４に隣
接する近傍画素ｘ、、　ｘ２及びＸＳ、Ｘ、の輝度／色
差信号値等の値（以下、「値」を付けずに単に画素Ｘ、
と呼ぶ）の線形加算により平滑値Ｘを求め、且つ該平滑
値Ｘと注目画素Ｘ、（Ｘ、）とを所定の内分比率ｒで内
分した推定値乙を、前記注目画素に置き換えることによ
り、ブロック歪を除去するものである。 具体的に説明すると、前記注目画素をＸとし、該注目画
素Ｘの近傍の画素のｎ個の値をＸ、　（ｎ＝１〜ｎ）と
するとき、近傍画素から得られる平滑値Ｘは、次【式１
】により表わされる。 Ｘ＝ΣＣ３・Ｘ＋／ΣＣ１・・【式ｌ】１−１　　　　
　　　　　　　　　　１−１この平滑値Ｘは前記注目画
素Ｘと置き換えることによりブロック歪を減少できるが
、プロ１．り境界近辺の画像のデイテールを失うため本
発明においては前記平滑値Ｘと注目画素値Ｘとを次に述
べる所定の内分比率ｒで内分した推定値Ｓを用いてブロ
ック歪除去を行なう。 まず、一般に信号Ｓと雑音Ｎが加算的である場合、観測
値Ｘは次【式２】で表される。 Ｘ＝Ｓ＋Ｎ　　・・・・【式２】 信号Ｓの推定値Ｓを第４図の平滑値Ｘと注目画素値Ｘと
を（１−ｒ：ｒ）の比率で内分する次【式３】とした場
合、前記推定値５は次【式４】に展開される。 いま平滑値Ｘが信号Ｓの推定値として不偏であるならＳ
＝Ｘとして【式５】となる。 Ｓ＝Ｓ＋（１−ｒ）　　（Ｘ−Ｘ）・・【式５】ここで
推定誤差を平均自乗誤差Ｅで表した【式６】を用いて、
２乗推定誤差を最小とする内分比率ｒは【式７】によっ
て求めることができる。 従って、σ８Ｘを観測値Ｘと信号Ｓの共分散とし、σＸ
Ｘを観測値Ｘの分散とした場合、次【式８】が最適な内
分比率ｒを与えることが判る。 σＸＩ ここで信号Ｓ及び雑音Ｎが無相関であると仮定すると内
分比率ｒは次【式９】で与えられ、この内分比はｒＯＪ
から「１」までの値をとる実数値でありσ。７を雑音Ｎ
の分散、Ｃ１，を信号Ｓの分散とした場合、次【式１０
１のように近似できる。 ｒ＝　　　　　　　　・・・【式１０１ｄ＝Ｘ−Ｘ　　
　　　　・・・【式１１】尚、前記ａは定数値又は符号
化／復号化の際の量子化ステップサイズに比例する値で
ある。 以上の様に本発明では注目画素値Ｘを平滑値ｉの値と注
目画素値Ｘとによる【式９】及び【式１０】に示す内分
比率ｒをファクターとした推定値色に置き換えることに
より、ブロック境界近辺のデイテールを失うことなくブ
ロック歪を除去できる。 次に前述の原理に基づいてブロック歪を除去する画像信
号用ブロック歪除去フィ、ルタを説明する。 第１図は本実施例による画像信号用ブロック歪除去フィ
ルタ４を適用した動画像処理装置を説明するための図、
第２図は本実施例の特徴であるブロック歪除去フィルタ
４のハード構成を示す図である。 まず本実施例によるブロック歪除去フィルタ４が適用さ
れる動画像処理装置は、第１図に示す如く原画像１を符
号化回路２によってブロック単位に符号化し、この符号
化信号を復号化回路３により復号化した後にブロック歪
除去フィルタ４によってブロック間歪を除去して復元画
像５を再生するものである。 前記ブロック歪除去フィルタ４を前記原理にそって説明
すると、該フィルタ４は第３図に示すブロック７１に注
目し、まず該ブロック７１の左側ブロック７２と隣接す
る画素Ｘ１を注目画素とした場合、該画素Ｘ、とブロッ
ク境界に直交する方向に隣接する画素ｘｏ、　Ｘ２　（
正確にはこれら画素の輝度／色差信号の値）の線型加算
により前記【式ｌ】のｎを「２」とした次【式１２】に
より平滑値Ｘを算出し、この平滑値Ｘを前記定数値ａを
用いた【式１３】によって内分した推定値Ｓを出力する
ものである。 ＝ＣｏＸｏ＋Ｃ１Ｌ＋Ｃ１Ｘ１ Ｓ＝（１−ｒ）・ｘ１＋ｒ−Ｘ　　　【式１３】前記Ｃ
８値は、例えば次の値のセットが好適である。 Ｃｏ”０．５０．Ｃ０＝０．１７．Ｃ２”０．３３Ｃｏ
”０，５０．Ｃ１”０．２５．Ｃ２”０．２５本発明に
よるブロック歪除去フィルタは、上述の【式１３】を用
いて推定値Ｓを算出することも可能であるが、本実施例
においてはａを定数として次【式１４】により距離ｄに
対するｒ−ｄが予め近似値を算出できるため、この距離
ｄからｒ−ｄへの関係をテーブル形式で後述のＲＯＭテ
ーブル２０８及び２１５に予め【式１４】で近似した値
をテーブルとして格納している。このＲＯＭテーブル２
０８及び２１５の格納値は例えば第５図に示す特性とな
る。 この特性は単調増加関数で ｄ＝０のとき、ｒ　ｄ　＝　Ｏ ｄ→ωのとき、ｒｄ−＋ａ ｄ→−■のとき、ｒｄ→−ａ ｄ＝ｏの傾きは１であるような特性である。 前記【式１４】は下記により得られる。 ｄ＝Ｘ−Ｘ　　　　　　・・・【式１１】以下、前記ブ
ロック歪除去フィルタ４の具体的構成を第２図を用いて
説明する。 本回路は、注目画素の周辺から平滑値Ｘを算出するため
に３画素を使用するものであり、図に示す様に入力画素
２０２を入力として水平方向画素のブロック間歪を低減
する垂直ブロック歪除去回路２００と、同様に垂直方向
画素のブロック間歪を低減する水平ブロック歪除去回路
２０１とから構成される。前記入力画素値２０２は走査
線順に入力されるものとする。 前記垂直ブロック歪除去回路２．００は、入力した画素
２０２を１画素分遅延して左方隣接画素ＬＥＦＴＩを出
力する１画素デイレイ部２２０と、該左方隣接画素ＬＥ
ＦＴＩを同様に遅延して左方隣接画素ＬＥＦＴ２を出力
する１画素デイレイ部２２１と、前記人力画素２０２及
び左方隣接画素ＬＥＦＴ２とを左辺ブロック境を示す信
号ＳＸ２により選択するセレクタ部２０３と、前記左方
隣接画素ＬＥＦＴＩを人力として定数（ＣＩ−１）を乗
算する定数乗算器２０５と、セレクタ部２゜３により選
択された入力画素２０２に定数ｃ０を乗算する定数乗算
器２０４と、同様にセレクタ部２０３により選択された
左方隣接画素ＬＥＦＴ２に定数Ｃ２を乗算する定数乗算
器２０６と、これら乗算器２０４乃至２０６の出力を加
算する加算部２０７と、該加算部２０７による加算値ｄ
１に基づいて前記【式１０にょるｒ−ｄの値を出力する
ＲＯＭテーブル２ｏ８と、該テーブル２ｏ８の出力と前
記左方隣接画素ＬＥＦＴＩを加算する加算部２０９と、
該加算部２０９出力及び左方隣接画素ＬＥＦＴＩを入力
としてブロック境界を示す信号ＳＸＩにより選択的に出
力するセレクタ２２０とを備える。 この回路２００は、左方隣接画素ＬＥＦＴＩを第３図に
示す注目画素Ｘ１として定数（Ｃ１１）を定数乗算部２
０５により乗算した値と、セレクタ部２０３により選択
された前後の入力画素２０２、左方隣接画素ＬＥＦＴ２
に定数Ｃ０，Ｃ２を定数乗算器２０４，２０６により乗
算した値とを加算器２０７により加算してｄｌを得、該
ｄ１を基にＲＯＭテーブル２０８により得られる【式１
４】のｒ−ｄを注目画素Ｘ１と加算部２０９により加算
することによって中間画素値として推定値Ｓを出力する
ことができる。またブロック境界の画素選択はセレクタ
部２０３及び２２０に入力される信号ＳＸ２．ＳＸＩに
よって行なわれる。 更に水平ブロック歪除去回路２０１は、入力した垂直ブ
ロック歪除去回路２００の出力にあたる中間画素値を１
ライン上方の画素ＵＰＩとして出力するＬＨデイレイ部
２０９と、該画素ＵＰＩを更に１ライン上方の画素ＵＰ
２として出力する１Ｈデイレイ部２１０と、前記垂直ブ
ロック歪除去回路２００と同様なセレクタ部２１１．定
数乗算部２１２乃至２１４．加算部２２１．ＲＯＭテー
ブル２１５．セレクタ部２１７とから構成されている。 この回路２０１は、前記中間画素を入力として画素ＵＰ
Ｉが第３図の如く下境界である場合、信号ＳＹ２によっ
てセレクタ部２１１を介して画素Ｘａ＋　ｘ、、　ｘｌ
ｌに定数Ｇｏ、Ｃ，−１，Ｃ２を定数乗算部２１２乃至
２１４により乗算した後に加算部２２１により加算して
ｄ２を得、該ｄ２を基にＲＯＭテーブル２１５が出力す
る前記【式１４】のｒ−ｄをＵＰ　１．即ち画素Ｘ４と
加算部２１６により加算してセレクタ部２１７によりＳ
又はＸ４を出力画素値２０３として出力するものである
。 尚、該回路２０１では注目画素が下境界である場合を説
明したが、上境界のときは前記ＸｓとＸ５とを入替える
ことにより上境界のブロック歪を防止する。本回路にお
いてブロックの角の画素は水平及び垂直方向の両方の処
理をうけることにより、２ブロツクに対するブロック歪
を除去することができる。 第６図は前記ブロック歪除去フィルタ４の動作をソフト
ウェアで実施した例を示す図であり、本例は入力画素値
Ｘ、、、（座標に、　Ｌ）を注目画素として８×８画素
のブロック間の歪を除去するものであり、フローチャー
ト上半分が垂直ブロック除去動作を示し、下半分が水平
ブロック歪除去動作を示すものである。 本フローチャートは、まずステップ６０１において人力
画素値Ｘ、９１のＸ座標であるｋをブロック長で割った
余り（ｋ　　ｍｏｄ　　８）によって注目画素のブロッ
ク内位置を判別する。即ち該余りがｒＯＪであるときに
注目画素が左境界上であると判別し、ステップ６０２に
よりＣＩとＸＫ＋１−１＋の積を乗加算し、該余りが「
７」のときは右境界上であると判別してステップ６０３
によってＣ４とＸＫ−１＋１．Ｉとの積を乗加算し、【
式１１】に基ずくステップ６０４によりｄを得る。この
ｄにより【式１４】の値を計算またはテアプル検索によ
って得、これを入力座標値ＸＫ、、に加算してステップ
６０５により新たなＸＫ、、を算出する。 フローチャート下段の水平ブロック歪除去においては、
上記同様にＹ座標値であるｌ　（エル）をブロック長で
割った余り（Ｉ　　ｍｏｄ　　８）によって注目画素の
ブロック内位置を判別する。即ち該余りが「Ｏ」である
ときに注目画素が上境界上であると判別し、ステップ６
０７によりＣ０とＸＫ＋＋＋＋−ｘの積を乗加算し、該
余りが「７」のときは第３図の様に下境界上であると判
別してステップ６０８によってＣＩとｘｘ、＋−１＋１
との積を乗加算し、【式１１】に基ずくステップ６０９
によりｄを得る。このｄにより前記【式１４】を計算ま
たはテーブル検索によって得、これを入力座標値ＸＫ、
、に加算してステップ６１０により新たなＸＫ、、を算
出する。尚、本フローチャートでは座標に、１の動かし
方を明示していないがこれは小さな問題で・ある。 この様に本フローチャートによれば、ブロック境界画素
に対して隣接する２画素を用いて垂直及び水平方向に分
解可能な連続的な非線形フィルタを構成するため、ブロ
ック歪を大幅に除去することができる。 例えば２種類のＣＣＩＴＴ標準動画像を用いた輝度にお
けるＳＮ比を第６図に示す如く、本実施例によるフィル
タは０．３ｄＢ−０，４ｄＢのＳＮ比を向上することが
できる。これは従来技術によるブロック歪除去フィルタ
の１．５倍〜２倍の効果を示している。視覚上において
も再生画像のデイテールを保ち且つ微細なブロック歪ま
で除去することができる。 尚、前記実施例においては隣接する３画素をファクター
として内分計算によりブロック歪を低減する例を説明し
たが、本発明はこれに限られるものではなく、２画素、
４画素、５画素等画素を抽出してブロック歪を除去して
も良い。注目画素の近傍画素も垂直及び水平に限定する
ことなく、２次元的に抽出してブロック歪を除去しても
良い。 また第２図実施例の回路構成は全画素を同じデイレイ時
間で遅延する例を示した力く、ブロック境界の画素のみ
デイレイ処理する様に構成しても良く、前記１ラインデ
イレイは、シフトレジスタ。 ＲＯＭとアドレスカウンタの組合せ回路により機能的に
作成しても良い。ＲＯＭテーブル２０８及び２１５は組
合せ論理回路によって構成することもできる。 更に前記各実施例においては、内分比を（ｒ：ｒ−１）
とする例を説明したが、厳密にこの内分比とせずにこの
内分比に近似する内分比であっても良く、ｒを算出する
【式１０１も線式に近似する計算式であっても良い。 ［発明の効果］ 以上述べごとく本発明によるブロック歪除去フィルタは
、ブロック境界上の画素を注目画素として近隣の画素か
らの平滑値との内分によって該ブロック境界上の画素を
置換することにより、ブロック歪を除去することができ
る。

【図面の簡単な説明】

第１図は本発明によるブロック歪フィルタを適用した画
像処理装置を説明するための図、第２図はブロック歪フ
ィルタの回路構成を示す図、第３図はブロック境界上の
画素の拡大図、第４図は画素間の内分計算の原理を説明
するための図、第５図はＲＯＭテーブルの格納特性を示
す図、第６図は本実施例によるブロック歪除去効果をＳ
Ｎ比を用いて示す図、第７図はブロック歪除去の動作を
説明するためのフローチャート図、第８図はブロック歪
を示す図である。 符号の説明 １：　原画像、２：符号化回路、３：復号化回路、４：
　ブロック歪除去フィルタ、５：復元画像、７：　ブロ
ック、８：　ブロック歪、 ７１乃至７３：　ブロック、 ２０２：入力画素値、２０３：出力画素値２００　：垂
直ブロック除去回路、 ２０１：水平ブロック除去回路、 ２２０及び２２１：　　１画素デイレイ部、２０３．２
２０，２１１．２１７：　　セレクタ部、２０８及び２
１５：ＲＯＭテーブル。 第 図 第 図 駿 ７３プ′ロック 第 ４ 図 第 図 第 図 ＸｋＪ Ｘｋ、ｔ

Claims (1)

【特許請求の範囲】
1. ブロック単位に符号化された復号化信号のブロック歪を
   除去する画像信号用のブロック歪除去フィルタであって
   、当該ブロック境目の画素を注目画素とし、隣接ブロッ
   クの画素及び該注目画素に近傍の複数画素の値の平滑値
   を求め、該平滑値と前記注目画素との間を所定の内分比
   率で内分した推定値を、前記注目画素の値と置換するこ
   とを特徴とするブロック歪除去フィルタ。