JP3961600B2 - ブロック歪低減方法及び装置 - Google Patents
ブロック歪低減方法及び装置 Download PDFInfo
- Publication number
- JP3961600B2 JP3961600B2 JP35170296A JP35170296A JP3961600B2 JP 3961600 B2 JP3961600 B2 JP 3961600B2 JP 35170296 A JP35170296 A JP 35170296A JP 35170296 A JP35170296 A JP 35170296A JP 3961600 B2 JP3961600 B2 JP 3961600B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- block distortion
- boundary
- pixel
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、静止画データや動画データ等の入力データをブロック化してＤＣＴ符号化等を施すようなブロック符号化におけるブロック歪を低減するためのブロック歪低減方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、静止画データや動画データ等を効率よく圧縮符号化するための符号化方式として、ブロックＤＣＴ（離散コサイン変換）符号化等のブロック符号化が知られている。
【０００３】
このようなブロック符号化による画像データ等の圧縮／伸張の際には、ブロック歪（ブロック雑音）が発生することがあり、圧縮率が高くなるほど歪を発生させ易い。このブロック歪は、ＤＣＴ符号化等がブロック内の閉じた空間で変換を行っており、ブロック境界を越えた相関を考慮していないため、ブロック境界での連続性が保存できず、隣接ブロックとの境界部での再生データ値のずれが雑音として知覚されるものである。画像データをブロック符号化した場合に発生するブロック歪は、一種の規則性を有するため一般のランダム雑音に比べて知覚され易く、画質劣化の大きな要因となっている。
【０００４】
このブロック歪を低減するために、例えば、「井田、駄竹，“ＭＣ−ＤＣＴ符号化方式におけるノイズ除去フィルタ”，1990年電子情報学会春季全国大会講演論文集，7-35」の文献においては、画像本来の情報であるエッジを保存し、それらのノイズを除去するため、フィルタのon,offの決定に量子化ステップサイズを用いたり、処理していく方向を変えて複数回処理を行う技術が開示されている。また、「井澤，“画像のブロック符号化における適応形雑音除去フィルタの特性”，信州大学工学部紀要 第７４号、pp.89-100 」の文献においては、周辺ブロックまで抜き出してＤＣＴ変換を行いノイズ周波数成分を除去する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、前者のノイズ除去フィルタをon,offする方法では、処理が簡単な反面、画像の高周波成分が欠落して、解像度が劣化するという欠点がある。
【０００６】
また、後者の適応形雑音除去フィルタを用いる方法では、解像度が保存されながら効果的なブロック歪の低減が行えるものの、処理が複雑でコストが嵩み、特に民生用機器等に適用するには不適当である。
【０００７】
本発明は、このような実情に鑑みてなされたものであり、処理が簡単で、高周波成分の欠落もなく、安定したブロック歪の低減あるいは除去が図れるようなブロック歪低減方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係るブロック歪低減方法は、上述の課題を解決するために、画像データのブロック符号化におけるブロック歪を低減するためのブロック歪低減方法において、入力画像データにブロック歪があるかどうかを、ブロック境界画素および境界画素に隣接する複数の画素データに基づいて判定する判定工程と、上記ブロック歪を低減するための複数種類のブロック歪低減処理の内の１つが制御信号に応じて選択されて上記ブロック境界画素および少なくとも一部の上記境界画素に隣接する複数の画素データに対して施されたブロック歪低減信号を出力する工程と、上記判定工程での判定結果に応じて上記ブロック歪低減信号と上記入力画像データとを切換選択して出力する工程とを有し、上記判定工程は、上記ブロック境界画素についての差分である境界差分を｜ tmp0 ｜とし、ブロック歪処理における１ブロック内の隣接画素間の差分についての上記境界差分を除く差分の絶対値の平均値であるアクティビティを｜ tmp ｜ とし、量子化誤差判別閾値を div_th とするとき、ブロック境界に不連続なエッジ成分が存在するか否かを判定する
｜ tmp0 ｜＞｜ tmp ｜
の条件、かつ、ブロック境界差分がブロック歪による段差であるか否かを判定する
｜ tmp0 ｜＜ div_th
の条件を満足すると共に、上記境界画素の一方の画素と該一方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_A ｜、境界画素の他方の画素と該他方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_B ｜とするとき、境界の両隣に境界の段差より大きな段差がないか否かを判定するための
｜ diff_A ｜≦｜ tmp0 ｜
かつ、
｜ diff_B ｜≦｜ tmp0 ｜
の条件を満足するとき、ブロック歪あり、と判定することを特徴としている。
また、本発明に係るブロック歪低減装置は、上述の課題を解決するために、画像データのブロック符号化におけるブロック歪を低減するためのブロック歪低減装置において、ブロック境界画素および境界画素に隣接する複数の画素データに基づいてブロック歪か否かを判定する判定手段と、上記判定に基づいて歪を低減するための複数種類のブロック歪低減処理の内の１つが制御信号に応じて選択されて上記ブロック境界画素および少なくとも一部の上記境界画素に隣接する複数の画素データに対して施されたブロック歪低減信号を出力する手段と、上記判定手段からの判定結果に応じて上記ブロック歪低減信号と上記入力画像データとを切換選択して出力する手段とを有し、上記判定手段は、上記ブロック境界画素についての差分である境界差分を｜ tmp0 ｜とし、ブロック歪処理における１ブロック内の隣接画素間の差分についての上記境界差分を除く差分の絶対値の平均値であるアクティビティを｜ tmp ｜ とし、量子化誤差判別閾値を div_th とするとき、ブロック境界に不連続なエッジ成分が存在するか否かを判定する
｜ tmp0 ｜＞｜ tmp ｜
の条件、かつ、ブロック境界差分がブロック歪による段差であるか否かを判定する
｜ tmp0 ｜＜ div_th
の条件を満足すると共に、上記境界画素の一方の画素と該一方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_A ｜、境界画素の他方の画素と該他方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_B ｜とするとき、境界の両隣に境界の段差より大きな段差がないか否かを判定するための
｜ diff_A ｜≦｜ tmp0 ｜
かつ、
｜ diff_B ｜≦｜ tmp0 ｜
の条件を満足するとき、ブロック歪あり、と判定することを特徴としている。
【０００９】
この場合、入力画像データに対して、複数種類のブロック歪低減処理の選択された１つのみを施すようにしてもよく、また、入力画像データに対して複数種類のブロック歪低減処理をそれぞれ施して得られた複数種類の処理済みの信号の１つを選択するようにしてもよい。
【００１０】
ここで、上記複数種類のブロック歪低減処理としては、少なくとも補正値を上記入力画像データに加算して補正された信号を得る処理と、入力画像データにローパスフィルタ処理を施してフィルタ出力を得る処理とを含むことが挙げられる。また、上記複数種類のブロック歪低減処理としては、補正値を上記入力画像データに加算して補正された信号を得る際の補正量が異なる複数の処理を含むことが挙げられる。さらに、上記複数種類のブロック歪低減処理としては、入力画像データにローパスフィルタ処理を施してフィルタ出力を得る際のフィルタ特性が異なる複数の処理を含むことが挙げられる。これらを任意に組み合わせてもよいことは勿論である。
【００１１】
上記制御信号としては、ブロック境界を挟む隣接画素の差分を所定の閾値で弁別して得られる信号を用いることが挙げられる。
【００１２】
また、外部からのモード設定等により、強／中／弱モードのような補正の強さが異なる複数の補正モードを上記複数種類のブロック歪低減処理としてもよく、これを上記補正量やローパスフィルタ特性の違いによる複数の処理と組み合わせてもよい。
【００１３】
複数種類のブロック歪低減処理の内の１つを適宜選択してブロック歪低減処理を施すことにより、高周波成分の欠落なく、補正による破綻なく、ブロック歪の低減、除去が行える。
【００１４】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
図１は、本発明の実施の形態となるブロック歪低減装置１０の概略構成を示すブロック図である。なお、ブロック歪低減は、ブロック歪除去、ブロック雑音除去等とも称される。
【００１５】
この図１において、入力端子１１、１２には、ブロック符号化を含む画像符号化が施された後に復号された映像信号あるいは画像データのクロマ信号、輝度信号がそれぞれ供給される。このブロック符号化を含む画像符号化の具体例としては、いわゆるＭＰＥＧの符号化規格が挙げられる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ29（International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 / Sub Committee 29：国際標準化機構／国際電気標準会議 合同技術委員会１／専門部会２９）の動画像圧縮符号化の検討組織（Moving Picture Experts Group）の略称であり、ＭＰＥＧ１標準としてISO11172が、ＭＰＥＧ２標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1及びISO13818-1が、映像の項目でISO11172-2及びISO13818-2が、また音声の項目でISO11172-3及びISO13818-3がそれぞれ標準化されている。
【００１６】
ここで、画像圧縮符号化規格としてのISO11172-2又はISO13818-2においては、画像信号を、ピクチャ（フレーム又はフィールド）単位で、画像の時間及び空間方向の相関を利用して、圧縮符号化を行っており、空間方向の相関の利用は、ブロックＤＣＴ符号化を用いることで実現している。
【００１７】
このように、例えばブロックＤＣＴ符号化を含む圧縮符号化が施されて、シリアル伝送されたり記録再生された後に、デコーダ側で逆ＤＣＴされた映像信号データ（画像データ）のクロマ（色）成分及び輝度成分が、図１のC_IN端子１１及びY_IN端子１２にそれぞれ供給される。
【００１８】
C_IN端子１１に供給された入力画像データのクロマ（色）成分は、遅延回路１６を介してC_OUT 端子１７より取り出される。遅延回路１６は、輝度成分についてのブロック歪低減処理が施されるのに要する時間を遅延させて、出力される輝度成分とクロマ成分とのタイミングを合わせるためのものである。
【００１９】
PARA_IN 端子１４には、外部から設定されるパラメータが入力される。このパラメータは、ブロック歪低減（ブロック歪除去ともいう。）処理のオン／オフ、後述する補正の強さを表すモード、閾値（Threshold） 、ブロック境界位置等の情報であり、ブロック歪低減装置１０内の各回路に分配される。
【００２０】
HD_IN 端子１５には、水平同期信号が入力され、制御信号発生部２１に送られて、各回路で必要なタイミング信号が作成される。この図１のブロック歪低減装置１０は、主としてＨ（水平）方向のブロック歪低減のための構成を示しているが、Ｖ（垂直）方向も同様であることは勿論である。また、CBLK_IN 端子１３には、CBLK（コンポジットブランキング）信号が供給され、後述するブロック歪判定信号の有効／無効に用いられる。
【００２１】
ブロック歪判定部２２では、後述するアクティビティ｜tmp｜ 、ブロック境界の差分｜tmp0｜、境界の隣接画素についての差分等を用いて、後述する条件判別を行って、ブロック歪であるか否かの判定を行なう。このとき、上記PARA_IN 端子からのパラメータによりブロック歪低減処理がオンで、かつ上記CBLK_IN 端子１３からのCBLK信号がオフのとき、ブロック歪判定信号を有効にし、そうでない場合は、ブロック歪判定信号をオフにする。このブロック歪判定信号がオフのとき、及びブロック歪でないと判定されたときには、このブロック歪判定部２２からの制御信号により切換スイッチ２６を切換制御して、Y_IN端子１２から入力されたデータを処理せずに、そのままY_OUT 端子１８を介して出力する。
【００２２】
補正値算出部２３では、ブロック境界の隣接画素についての差分である隣接差分に基づいて補正値を求める。このとき、上記PARA_IN 端子からのパラメータとしての補正の強さを表すモード、例えば強／中／弱モードに従って、求められた補正値をそのまま使うか、補正値を抑制して使うかを選択する。また、図２に示すような例えばＤＣＴブロック３１に対して、ブロック境界近傍の補正範囲３３内の画素について、ブロック境界からの距離に反比例した補正値を求める。この補正値を求める際には、ブロック歪処理における１ブロック３２内の画素データが用いられる。補正値算出部２３からの補正値は、加算器２１に送られて、上記Y_IN端子１２からの入力画像データに加算されることにより、加算器２１からはブロック歪補正された信号が求められ、切換スイッチ２５に送られる。
【００２３】
フィルタ回路２４には、例えばいわゆる１：２：１フィルタが用いられ、上記強モード時に使用するローパスフィルタリング処理を行う。このフィルタリング処理は、図２のフィルタリング処理範囲３４内の画素について行う。また、上記強モード時に、加算器２１からのブロック歪補正された信号を用いるか、このフィルタ回路２４からのローパスフィルタリングされた信号を用いるかをブロック境界周辺の差分から判定し、この判定結果を切換スイッチ２５に切換制御信号として送っている。
【００２４】
切換スイッチ２５は、加算器２１からのブロック歪補正された信号と、フィルタ回路２４からの信号とを切換選択して、切換スイッチ２６に送っている。切換スイッチ２６は、この切換スイッチ２５からの信号と、上記Y_IN端子１２からの信号とを切換選択して、Y_OUT 端子１８に送っている。
【００２５】
切換スイッチ２５では、上記強モードでなければ、ブロック歪判定部２２からの出力であるブロック歪除去された画像データが選択される。上記強モードの場合には、フィルタ回路２４からの判定結果に従って、加算器２１からのブロック歪補正された信号か、フィルタ回路２４からのフィルタ処理された信号を切換選択する。
【００２６】
ブロック歪判定部２２において判定された結果は、切換スイッチ２６に切換制御信号として送られ、ブロック歪であると判定された（判定信号がオン）ならば、切換スイッチ２６は切換スイッチ２５からの出力を選択する。ブロック歪でないと判定された（判定信号がオフ）ならば、切換スイッチ２６はY_IN端子１２からの入力画像データを選択する。
【００２７】
なお、この図１の実施の形態では、輝度信号についてのみブロック歪低減処理を施すことを想定しているが、クロマ信号についても同様の処理を施すことができ、この場合には、輝度信号との位相合わせのために設けている遅延回路１６の代わりに、回路部２１から２７までの構成を設けるようにすればよい。
【００２８】
図２は、ブロック歪低減処理のために用いられる画素を説明するための図であり、例えば、ブロック符号化にＤＣＴ符号化が用いられ、８×８画素でＤＣＴブロック３１を構成する場合に、ブロック境界から内側及び外側にそれぞれ５画素ずつがブロック歪低減処理における１ブロック３２として用いられる。このとき、ブロック境界から４画素ずつが補正範囲３３として用いられ、またブロック境界から２画素ずつが上記フィルタ回路２４によるフィルタリング処理範囲３３とされている。これらは画像のＨ（水平）方向の具体例であるが、Ｖ（垂直）方向についても同様に考えられ、図２には、例えばＶ方向のブロック歪処理における１ブロック３７を示している。
【００２９】
ところで、上述した図１の構成のブロック歪低減装置１０は、例えば図３に示すようなビデオＣＤプレーヤのブロック歪低減回路１０７として用いることができる。
【００３０】
この図３において、ビデオＣＤやＣＤ−ＲＯＭ等のディスク１０１から、光ピックアップ１０２により読み出されたＲＦ信号は、ＲＦアンプ１０３に入力される。ここで増幅されたＲＦ信号は、ＥＦＭ（８−１４変調）復調回路１０４で復調され、シリアルデータとして、ディスク記録フォーマットのデコーダである例えばＣＤ−ＲＯＭデコーダ１０５に入る。
【００３１】
ＣＤ−ＲＯＭデコーダ１０５では、シリアルデータから例えばＭＰＥＧビットストリーム信号に変換し、ＭＰＥＧデコーダ１０６に送る。このＭＰＥＧは、上述したように、画像の時間及び空間方向の相関を利用して圧縮符号化を行うものであり、空間方向の相関性を利用するためにブロックＤＣＴ符号を採用している。ＭＰＥＧデコーダ６では、例えばＭＰＥＧ１フォーマットに従い復号を行っており、この復号の際に、逆量子化器１６１による逆量子化処理後に逆ＤＣＴ回路１６２による逆ＤＣＴ処理を施す。さらに、必要に応じて補間などの処理を行なった後出力する。
【００３２】
ＭＰＥＧデコーダ１０６から出力された映像信号は、ノイズリデューサとしてのブロック歪低減回路１０７に入力されるが、ここでの信号はＭＰＥＧ１での圧縮／伸張によるノイズが含まれているので、ブロック歪低減回路１０７でこれらのノイズ除去を行なう。このブロック歪低減回路１０７として、上述した図１に示すような本発明の実施の形態が適用される。
【００３３】
ブロック歪低減回路１０７での処理後、ＮＴＳＣエンコーダ１０８で同期信号の付加、クロマ信号の変調などを行ないＮＴＳＣ映像信号を生成する。このＮＴＳＣ映像信号がＤ／Ａ変換器１０９を介して出力端子１１０に出力される。
【００３４】
ブロック歪低減回路１０７と関連して、マイクロコンピュータ等を用いた制御回路１１１が設けられ、制御回路１１１に対しては操作部１１２からの制御信号が供給される。操作部１１２には、ノイズリダクション、例えばブロック歪低減の制御スイッチが設けられており、ブロック歪低減のオン／オフの切り替えがなされる。制御回路１１１は、ブロック歪低減回路１０７の他の回路の制御にも用いられることが多い。
【００３５】
次に、上記図１の構成のブロック歪低減装置１０におけるブロック歪低減処理のアルゴリズムについて、さらに詳細に説明する。
図４は、本発明の実施の形態となるブロック歪低減方法のアルゴリズムを説明するためのフローチャートを示している。この図４の例では、Ｈ（水平）方向についての処理のアルゴリズムを示しているが、Ｖ（垂直）方向についてのブロック歪低減アルゴリズムは、Ｈ方向の処理がＶ方向に変わる以外は同様であるため説明を省略する。
【００３６】
この図４において、最初のステップＳＴ４１では、Ｈ方向の総てのブロック境界について、ブロック歪低減処理が終了したか否かを判別しており、ＹＥＳの場合は処理を終了し、ＮＯの場合に次のステップＳＴ４２に進む。
【００３７】
ステップＳＴ４２では、ブロック歪か否かの判定に必要とされるパラメータとしての境界差分｜tmp0｜、アクティビティ｜tmp｜ 及び隣接差分｜diff｜を、次の計算式により求める。
【００３８】
｜tmp0｜＝｜f-e｜
｜tmp｜＝（｜b-a｜+｜c-b｜+｜d-c｜+｜e-d｜
+｜g-f｜+｜h-g｜+｜i-h｜+｜j-i｜）／８
｜diff2｜＝｜d-c｜
｜diff3｜＝｜e-d｜
｜diff4｜＝｜g-f｜
｜diff5｜＝｜h-g｜
これらの計算式から明らかなように、境界差分｜tmp0｜は、図２のＤＣＴブロックの境界を挟んで隣接する画素ｅ，ｆ間の差分の絶対値であり、アクティビティ｜tmp｜ は、ブロック歪処理の１ブロック３２内での各隣接画素間（ただしｅ，ｆ間を除く）の差分の絶対値の平均値であり、隣接差分｜diff｜は、画素ｃ，ｄ間、ｄ，ｅ間、ｆ，ｇ間、ｇ，ｈ間の各差分の絶対値である。
【００３９】
これらのパラメータ｜tmp0｜、｜tmp｜ 及び｜diff｜に基づいて、次のステップＳＴ４３でブロック歪か否かの判定を行う。この判定条件は、
(1) 不連続なエッジ成分が存在するか否か。
：境界差分｜tmp0｜＞アクティビティ｜tmp｜
(2) 直流成分及び低周波成分の量子化誤差による段差であるか、すなわち、ブロック歪による段差であるか否か。
：境界差分｜tmp0｜＜閾値div_th
ここで、閾値div_thとしては、本実施の形態では固定値を用いたが、各ブロックの量子化ステップサイズの最大値に比例した値を用いることもできる。
(3) 境界の両隣に境界の段差より大きな段差がないか、すなわち、境界の両隣にエッジがないか否か。
：隣接差分｜diff3｜≦境界差分｜tmp0｜
かつ、隣接差分｜diff4｜≦境界差分｜tmp0｜
の３つである。
【００４０】
これらの３つの判定条件の全てが満たされれば、ステップＳＴ４４でブロック歪ありとされ、次のステップＳＴ４５に進む。どれか１つでも満たされなければ、ステップＳＴ４４でブロック歪でないとされ、ステップＳＴ５０に進む。ステップＳＴ５０では、原信号、すなわち上記図１のY_IN端子１２に供給された入力画像データをそのまま出力する。
【００４１】
ステップＳＴ４５では、画像の線形性に基づいて、隣接差分から補正後の境界段差｜step｜を、
｜step｜＝｜diff3＋diff4｜／２
の式から求める。そして、補正後にこれだけの境界段差｜step｜を持たせるために必要な補正量｜σ｜を、
｜σ｜＝（｜tmp0｜−｜step｜）／２
により求める。ここで、本実施の形態においては、境界段差｜step｜を求めるために上記の式を用いたが、
｜STEP｜＝｜diff2+2(diff3+diff4)+diff5｜／６
のように境界の傾きを周囲のアクティビティから予測して得られる｜STEP｜を上記境界段差｜step｜の代わりに用いてもよい。
【００４２】
次のステップＳＴ４６では、上記図１のPARA_IN 端子１４に供給されたパラメータにより外部から設定された例えば上記強／中／弱のモード設定に従って補正値を求める。以下、強モード、中モード、弱モードの順に説明する。
【００４３】
(a) 強モードの場合
周辺にエッジ成分がある場合、強く補正をかけると疑似エッジが発生する。また、境界にエッジが存在しているのにブロック歪であると誤判断された場合、強く補正をかけるとエッジ部分の尾が引くという破綻が生じる。この対策として、以下の条件のもとで、ローパスフィルタと通常の補正とを切り換えている。
【００４４】
すなわち、図５の（Ａ）が上記強モードの場合の歪低減処理の切換を示しており、補正オフの範囲５１とフィルタ処理の範囲５２とを上記閾値div_thで弁別し、フィルタ処理の範囲５２と上記通常の補正を行う範囲５３とを閾値edge_th で弁別している。ただし、div_th＞edge_th である。
【００４５】
具体的には、上記各隣接差分及び境界差分の全てが閾値edge_th 以下のとき、すなわち、
｜diff2｜≦edge_th かつ｜diff3｜≦edge_th かつ｜tmp0｜≦edge_th
かつ｜diff4｜≦edge_th かつ｜diff5｜≦edge_th
のとき、補正量｜σ｜＝（｜tmp0｜−｜step｜）／２ の補正を行う。
また、補正がオン状態で上記以外のとき、すなわち、
｜diff2｜＞edge_th 又は｜diff3｜＞edge_th 又は｜tmp0｜＞edge_th
又は｜diff4｜＞edge_th 又は｜diff5｜＞edge_th
のとき、上記図２の境界近傍の４画素ｄ，ｅ，ｆ，ｇに対してローパスフィルタをかけた値を、ブロック歪低減された画像データとして出力し、残りの４画素ｂ，ｃ，ｈ，ｉは原信号（入力画像データ）のまま出力する。ローパスフィルタは画像がぼけるという欠点を持つが、大きな破綻なしに、やや強めの補正を実現できる。
【００４６】
図６は、本実施の形態で用いたローパスフィルタの具体例を示しており、直列接続された２つの遅延素子Ｄの両端（入出力端）からの信号にそれぞれ係数１／４を乗算し、２つの遅延素子Ｄの接続点からの信号に係数１／２を乗算して、これらの各係数乗算器からの出力を加算するような、いわゆる１：２：１フィルタ６０の例を示している。入力端子６１に供給された入力信号は、フィルタ６０の入力側の１つの遅延素子Ｄを介して切換スイッチ６３の被選択端子ｘに送られ、また、フィルタ６０の加算器からの出力は切換スイッチ６３の被選択端子ｙに送られている。切換スイッチ６３は、選択端子６３からの制御信号により切換制御され、出力端子６４に選択出力を送っている。
【００４７】
選択端子６２の制御信号によって、上記図２の画素ｄ，ｅ，ｆ，ｇに対しては切換スイッチ６３を被選択端子ｙ側に切換接続してローパスフィルタ出力を、また画素ｂ，ｃ，ｈ，ｉに対しては切換スイッチ６３を被選択端子ｘ側に切換接続して入力信号を選択している。
【００４８】
なお、ローパスフィルタは、上記図６の例に限定されず、処理対象画素もｄ〜ｇに限定されない。また、各処理画素について異なるローパスフィルタを用いてもよい。例えば図７のような構成のフィルタを用いるようにしてもよい。
【００４９】
この図７において、入力端子６１に供給された入力信号は、フィルタ６０の入力側の１つの遅延素子Ｄを介して切換スイッチ７７の被選択端子ｘに送られ、フィルタ６０の加算器からの出力は切換スイッチ７７の被選択端子ｚに送られており、これらの出力を加算器７５で加算して１／２乗算器７６で１／２にした出力が切換スイッチ７７の被選択端子ｙに送られている。この被選択端子ｙへの信号は、いわゆる１：６：１フィルタ処理が施された信号となっている。この場合の切換選択としては、例えば図２の画素ｄ，ｇに対しては切換スイッチ７７を被選択端子ｙ側に切換接続して１：６：１フィルタ出力を選択し、画素ｅ，ｆに対しては切換スイッチ７７を被選択端子ｚ側に切換接続して上述と同様の１：２：１フィルタ出力を選択し、残りの画素ｂ，ｃ，ｈ，ｉに対しては切換スイッチ７７を被選択端子ｘ側に切換接続して入力信号を選択することが挙げられる。このような処理を行うことにより、入力信号とローパスフィルタ出力とを滑らかにつなぐことができる。
【００５０】
(b) 中モードの場合
上記境界差分｜tmp0｜が所定の閾値corr_th より大きい場合は、本当はブロック境界にエッジが存在するのに、ブロック歪判定で誤判定された可能性もあるので、誤補正を回避するために、上記閾値corr_th で補正の大きさを切り換える。ただし、corr_th ＜div_thである。
【００５１】
図５の（Ｂ）は、この中モードの場合の切換状態を示しており、補正オフの範囲５４とフィルタ処理の上記補正を行う範囲（５５、５６）とを閾値div_thで弁別し、この補正を行う範囲内で、補正の大きさあるいは補正量の小さい範囲５５と大きい範囲５６とを上記閾値corr_th で弁別している。
【００５２】
すなわち、補正を行う場合で、｜tmp0｜＜corr_th の上記範囲５６では、補正量｜σ｜を上述した強モードと同様に、｜σ｜＝（｜tmp0｜−｜step｜）／２ の補正を行う。また、補正を行う場合で、｜tmp0｜≧corr_th の上記範囲５５では、補正量｜σ｜を半分に減らして、｜σ｜＝（｜tmp0｜−｜step｜）／４ の補正を行う。
【００５３】
(c) 弱モードの場合
破綻を最小限に抑えるため、補正量｜σ｜は、通常の補正の半分の
｜σ｜＝（｜tmp0｜−｜step｜）／４
としている。
【００５４】
図５の（Ｃ）が弱モードの場合を示し、上記境界差分｜tmp0｜が閾値div_th以上（｜tmp0｜≧div_th）の範囲５７では補正オフとし、境界差分｜tmp0｜が閾値div_thより小さい（｜tmp0｜＜div_th）範囲５８で、（｜tmp0｜−｜step｜）／４の補正量で補正を行っている。
【００５５】
これらの強モード、中モード、弱モードは、外部からのモード設定により選択されるものであり、ユーザが画像の内容等に応じて切換設定したり、映像プログラムの種類（映画、ニュース、スポーツ等）の識別コード等により自動設定されるようにすること等が挙げられる。
【００５６】
再び図４のフローチャートに戻って、上記ステップＳＴ４６において、上述のような各モード設定に従って得られた補正値｜σ｜から、各画素毎の補正値を求める。
【００５７】
すなわち、補正範囲と隣接画素とのつなぎ目を滑らかにするため、またブロック歪はブロック境界付近に強く現れることを考慮して、ブロック境界からの距離に反比例した補正を行うようにしている。
【００５８】
具体的には、図２の補正範囲３３内の各画素ｂ〜ｉについての各補正値をそれぞれ｜σb｜〜｜σi｜とするとき、上記補正値｜σ｜を用いて、
｜σe｜＝｜σ｜ ，｜σf｜＝｜σ｜
｜σd｜＝｜σ｜／２ ，｜σg｜＝｜σ｜／２
｜σc｜＝｜σ｜／４ ，｜σh｜＝｜σ｜／４
｜σb｜＝｜σ｜／８ ，｜σi｜＝｜σ｜／８
のような各補正値をそれぞれ求める。
【００５９】
次のステップＳＴ４７では、上記ステップＳＴ４６で求められた各画素ｂ〜ｉ毎の補正値｜σb｜〜｜σi｜を用いて、ブロック歪補正された映像信号（画像データ）ＳＢb〜ＳＢiを求める。
【００６０】
具体的には、補正前の各画素ｂ〜ｉの入力画像データをＳb〜Ｓiとするとき、上記tmp0の正負に応じて補正された画像データＳＢb〜ＳＢiを、
tmp0≧０：ＳＢb＝Ｓb＋｜σb｜ ，tmp0＜０：ＳＢb＝Ｓb−｜σb｜
tmp0≧０：ＳＢc＝Ｓc＋｜σc｜ ，tmp0＜０：ＳＢc＝Ｓc−｜σc｜
tmp0≧０：ＳＢd＝Ｓd＋｜σd｜ ，tmp0＜０：ＳＢd＝Ｓd−｜σd｜
tmp0≧０：ＳＢe＝Ｓe＋｜σe｜ ，tmp0＜０：ＳＢe＝Ｓe−｜σe｜
tmp0≧０：ＳＢf＝Ｓf＋｜σf｜ ，tmp0＜０：ＳＢf＝Ｓf−｜σf｜
tmp0≧０：ＳＢg＝Ｓg＋｜σg｜ ，tmp0＜０：ＳＢg＝Ｓg−｜σg｜
tmp0≧０：ＳＢh＝Ｓh＋｜σh｜ ，tmp0＜０：ＳＢh＝Ｓh−｜σh｜
tmp0≧０：ＳＢi＝Ｓi＋｜σi｜ ，tmp0＜０：ＳＢi＝Ｓi−｜σi｜
とするような補正を行う。
【００６１】
次のステップＳＴ４８では、外部からのモード設定に従って、ブロック歪除去（ブロック歪低減）のオン／オフを行う。本実施の形態においては、上記図１のPARA_IN 端子１４からのパラメータによるモード設定のブロック歪除去（ブロック歪低減）がオンモードで、かつ図１のCBLK_IN 端子１３のCBLK信号がオフのとき、ブロック歪低減処理をオンするようにしている。これがオンのとき、ステップＳＴ４９に進み、オフのときステップＳＴ５０に進む。
【００６２】
ステップＳＴ４９では、ブロック歪低減処理後の信号（補正された信号又はフィルタ処理された信号）を出力し、ステップＳＴ５０では原信号（上記入力画像データ）をそのまま出力する。
【００６３】
ここで、図８は、上記強モード設定のとき、周辺にエッジが存在する場合の破綻と改善の例を示している。すなわち、図８の（Ａ）は、通常の補正を行った場合の破綻例を示し、周辺にエッジが存在しているとき、急峻なエッジを残したままデータを操作するので、この後のアナログ処理、例えばテレビジョン受像機のアパーチャコントロールの処理等により、図中の矢印Ｅａ，Ｅｂの部分に疑似エッジが発生することがある。これに対して、図８の（Ｂ）のローパスフィルタを用いた改善例によれば、急峻なエッジもなまらせる処理が行われるため、後にアナログ処理されても疑似エッジは発生しない。
【００６４】
また、図９は、上記強モード設定のとき、境界にエッジが存在するにも拘わらずブロック歪と誤判定された場合の破綻例（Ａ）と改善例（Ｂ）とをそれぞれ示している。すなわち、図９の（Ａ）は、通常の補正を行ったことにより、元々のエッジが平坦化されてしまい、図中の部分６６が尾を引いたように見える破綻例を示し、図９の（Ｂ）では、ローパスフィルタを用いたことにより、元々のエッジは少々なまるが、尾を引く程ではなくなっている。
【００６５】
次に、図１０は、上記中モード時の破綻例（Ａ）と改善例（Ｂ）とをそれぞれ示している。すなわち、上記境界差分｜tmp0｜が｜tmp0｜≧corr_th となる上記図５の（Ｂ）の範囲５５において、通常の補正量（｜tmp0｜−｜step｜）／２で補正した場合の破綻例を図９の（Ａ）に示しており、本来はエッジが存在するのにブロック歪であると誤判定された場合に、強く補正をかけることによって図中の部分６７が尾を引いたように見える。これに対して、図９の（Ｂ）の改善例では、補正量を半分の（｜tmp0｜−｜step｜）／４にすることによって、上述のような誤補正を回避し、尾を引く現象を防止している。
【００６６】
以上説明した実施の形態においては、複数種類のブロック歪低減処理として、外部からのモード設定に応じて、強／中／弱の３種類の補正モードを切換選択するようにしている。また、強モードにおいては、複数種類のブロック歪低減処理として、補正値を加算する補正処理と、ローパスフィルタによるフィルタ処理とを用いて、上記境界差分｜tmp0｜の大きさに応じて処理を切り換えている。さらに、中モードにおいては、補正量の異なる２種類のブロック歪低減処理を用意して、通常の補正と、通常の半分の補正量による補正とを、上記境界差分｜tmp0｜の大きさに応じて切り換えている。このように、複数種類のブロック歪低減処理を切換選択することにより、例えば映像内容に合わせたブロック歪低減が可能であり、また通常の補正により悪影響が生じてしまうような破綻を、ローパスフィルタ処理や少ない補正量での補正等と組み合わせることにより未然に防止することができる。
【００６７】
ところで、複数種類のブロック歪低減処理としては、上述したような補正量を入力画像データに加算するような補正を必ず含ませる必要はなく、例えば、異なる複数種類の特性のローパスフィルタ、例えばカットオフ周波数が異なる複数のローパスフィルタ、によるフィルタ処理を複数種類のブロック歪低減処理として採用するようにしてもよい。
【００６８】
すなわち、図１１は、このような異なる特性のフィルタを切換選択するようなブロック歪低減処理の一例を示しており、上記境界差分｜tmp0｜（あるいは上記各隣接差分｜diff2｜〜｜diff5｜のいずれか）が所定の閾値div_thより大きくなる範囲７１では処理をオフし、境界差分｜tmp0｜（及び上記各隣接差分｜diff2｜〜｜diff5｜の全て）が閾値div_th以下のときに処理をオンしている場合に、境界差分｜tmp0｜の値を閾値corr_th （ただし corr_th＜div_th）で区別している。例えば、｜tmp0｜＜corr_th の範囲７３では、上述したようないわゆる１：６：１フィルタによるフィルタ処理を行い、｜tmp0｜≧corr_th の範囲７２では、上記１：２：１フィルタによるフィルタ処理を行う。このようなフィルタは、例えば上記図７の構成により実現でき、図７の切換スイッチ７７の被選択端子ｙに送られる信号が上記１：６：１フィルタ処理出力となり、被選択端子ｚに送られる信号が上記１：２：１フィルタ処理出力となる。
【００６９】
以上の説明からも明らかなように、本発明に係るブロック歪低減方法及び装置の実施の形態によれば、高周波成分の欠落がなく解像度を保ったブロック歪低減を行いながら、補正による破綻を軽減できる。また、ハードウェア構成も簡易であるので、業務用のみならず、ＤＣＴ符号化等のブロック符号化を用いた圧縮処理を行う種々の民生機器、例えばビデオＣＤプレーヤ、ディジタルビデオディスクプレーヤ、ディジタルテレビジョン受像機、テレビ電話等にも搭載可能である。勿論、ソフトウェア処理により上述したようなアルゴリズムを実現することもでき、いわゆるインターネットやマルチメディアでの動画のリアルタイム再生におけるブロック歪低減、ブロック歪除去も容易に実現できる。さらに、本実施の形態によれば、強／中／弱の３モードを持っているので、映像の状態に合わせたブロック歪低減が可能である。また、ブロック歪処理で用いるパラメータも外部から調整できるため、上記の３モードだけでなく微調整も可能である。
【００７０】
なお、本発明は上述した実施の形態のみに限定されるものではなく、例えば、上記実施の形態においては水平（Ｈ）方向の処理について述べたが、垂直（Ｖ）方向についても同様に適用可能である。また、補正値の計算やフィルタ処理の具体例は上述の例に限定されないことは勿論である。
【００７１】
【発明の効果】
本発明によれば、ブロック歪低減を行う際には、ブロック歪を低減するための複数種類のブロック歪低減処理の内の１つを制御信号に応じて選択し、この選択されたブロック歪低減処理を入力画像データに対して施したブロック歪低減信号を出力しているため、高周波成分の欠落なく、補正による破綻なく、ブロック歪の低減、除去が行える。
【００７２】
上記複数種類のブロック歪低減処理としては、少なくとも補正値を上記入力画像データに加算して補正された信号を得る処理と、入力画像データにローパスフィルタ処理を施してフィルタ出力を得る処理とを含むようにすることにより、補正による破綻が生じる恐れがある条件では、ローパスフィルタ処理を選んで、破綻を防止することができる。これは、補正量が異なる複数の処理を選択したり、フィルタ特性が異なる複数の処理を選択することでも同様に実現でき、これらを任意に組み合わせてもよい。
【００７３】
上記制御信号としては、ブロック境界を挟む隣接画素の差分を所定の閾値で弁別して得られる信号を用いることにより、補正により破綻の生じ易い条件を容易に判別できる。
【００７４】
また、ハードウェア構成も簡単で済み、業務用のみならず、ＤＣＴ符号化等のブロック符号化を用いた圧縮処理を行う種々の民生機器等にも搭載可能である。さらに、ソフトウェア処理により上述したようなアルゴリズムを実現することもでき、いわゆるインターネット等での動画のリアルタイム再生におけるブロック歪低減も可能である。
【図面の簡単な説明】
【図１】本発明に係る実施の形態となる画像データのブロック歪低減装置の概略構成を示すブロック図である。
【図２】ブロック歪補正のためのブロック境界近傍の画素を示す図である。
【図３】本発明に係る実施の形態となる画像データのブロック歪低減装置が用いられたデコーダシステムの概略構成を示すブロック図である。
【図４】本発明に係る実施の形態となるブロック歪低減方法の処理手順を説明するためのフローチャートである。
【図５】ブロック歪低減処理の強／中／弱モードでの境界差分｜tmp0｜と処理との関係を説明するための図である。
【図６】図１のフィルタ回路２４の具体例を示すブロック図である。
【図７】図１のフィルタ回路２４の他の具体例を示すブロック図である。
【図８】本発明に係る実施の形態の強モード時の破綻とその改善の一例を説明するための図である。
【図９】本発明に係る実施の形態の強モード時の破綻とその改善の他の例を説明するための図である。
【図１０】本発明に係る実施の形態の中モード時の破綻とその改善の一例を説明するための図である。
【図１１】ブロック歪低減処理の他の具体例の境界差分｜tmp0｜と処理との関係を説明するための図である。
【符号の説明】
２１ 加算器、 ２２ ブロック歪判定部、 ２３ 補正値算出部、 ２４ フィルタ回路、 ２５，２６ 切換スイッチ、 ２７ 制御信号発生部
【発明の属する技術分野】
本発明は、静止画データや動画データ等の入力データをブロック化してＤＣＴ符号化等を施すようなブロック符号化におけるブロック歪を低減するためのブロック歪低減方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、静止画データや動画データ等を効率よく圧縮符号化するための符号化方式として、ブロックＤＣＴ（離散コサイン変換）符号化等のブロック符号化が知られている。
【０００３】
このようなブロック符号化による画像データ等の圧縮／伸張の際には、ブロック歪（ブロック雑音）が発生することがあり、圧縮率が高くなるほど歪を発生させ易い。このブロック歪は、ＤＣＴ符号化等がブロック内の閉じた空間で変換を行っており、ブロック境界を越えた相関を考慮していないため、ブロック境界での連続性が保存できず、隣接ブロックとの境界部での再生データ値のずれが雑音として知覚されるものである。画像データをブロック符号化した場合に発生するブロック歪は、一種の規則性を有するため一般のランダム雑音に比べて知覚され易く、画質劣化の大きな要因となっている。
【０００４】
このブロック歪を低減するために、例えば、「井田、駄竹，“ＭＣ−ＤＣＴ符号化方式におけるノイズ除去フィルタ”，1990年電子情報学会春季全国大会講演論文集，7-35」の文献においては、画像本来の情報であるエッジを保存し、それらのノイズを除去するため、フィルタのon,offの決定に量子化ステップサイズを用いたり、処理していく方向を変えて複数回処理を行う技術が開示されている。また、「井澤，“画像のブロック符号化における適応形雑音除去フィルタの特性”，信州大学工学部紀要 第７４号、pp.89-100 」の文献においては、周辺ブロックまで抜き出してＤＣＴ変換を行いノイズ周波数成分を除去する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、前者のノイズ除去フィルタをon,offする方法では、処理が簡単な反面、画像の高周波成分が欠落して、解像度が劣化するという欠点がある。
【０００６】
また、後者の適応形雑音除去フィルタを用いる方法では、解像度が保存されながら効果的なブロック歪の低減が行えるものの、処理が複雑でコストが嵩み、特に民生用機器等に適用するには不適当である。
【０００７】
本発明は、このような実情に鑑みてなされたものであり、処理が簡単で、高周波成分の欠落もなく、安定したブロック歪の低減あるいは除去が図れるようなブロック歪低減方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係るブロック歪低減方法は、上述の課題を解決するために、画像データのブロック符号化におけるブロック歪を低減するためのブロック歪低減方法において、入力画像データにブロック歪があるかどうかを、ブロック境界画素および境界画素に隣接する複数の画素データに基づいて判定する判定工程と、上記ブロック歪を低減するための複数種類のブロック歪低減処理の内の１つが制御信号に応じて選択されて上記ブロック境界画素および少なくとも一部の上記境界画素に隣接する複数の画素データに対して施されたブロック歪低減信号を出力する工程と、上記判定工程での判定結果に応じて上記ブロック歪低減信号と上記入力画像データとを切換選択して出力する工程とを有し、上記判定工程は、上記ブロック境界画素についての差分である境界差分を｜ tmp0 ｜とし、ブロック歪処理における１ブロック内の隣接画素間の差分についての上記境界差分を除く差分の絶対値の平均値であるアクティビティを｜ tmp ｜ とし、量子化誤差判別閾値を div_th とするとき、ブロック境界に不連続なエッジ成分が存在するか否かを判定する
｜ tmp0 ｜＞｜ tmp ｜
の条件、かつ、ブロック境界差分がブロック歪による段差であるか否かを判定する
｜ tmp0 ｜＜ div_th
の条件を満足すると共に、上記境界画素の一方の画素と該一方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_A ｜、境界画素の他方の画素と該他方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_B ｜とするとき、境界の両隣に境界の段差より大きな段差がないか否かを判定するための
｜ diff_A ｜≦｜ tmp0 ｜
かつ、
｜ diff_B ｜≦｜ tmp0 ｜
の条件を満足するとき、ブロック歪あり、と判定することを特徴としている。
また、本発明に係るブロック歪低減装置は、上述の課題を解決するために、画像データのブロック符号化におけるブロック歪を低減するためのブロック歪低減装置において、ブロック境界画素および境界画素に隣接する複数の画素データに基づいてブロック歪か否かを判定する判定手段と、上記判定に基づいて歪を低減するための複数種類のブロック歪低減処理の内の１つが制御信号に応じて選択されて上記ブロック境界画素および少なくとも一部の上記境界画素に隣接する複数の画素データに対して施されたブロック歪低減信号を出力する手段と、上記判定手段からの判定結果に応じて上記ブロック歪低減信号と上記入力画像データとを切換選択して出力する手段とを有し、上記判定手段は、上記ブロック境界画素についての差分である境界差分を｜ tmp0 ｜とし、ブロック歪処理における１ブロック内の隣接画素間の差分についての上記境界差分を除く差分の絶対値の平均値であるアクティビティを｜ tmp ｜ とし、量子化誤差判別閾値を div_th とするとき、ブロック境界に不連続なエッジ成分が存在するか否かを判定する
｜ tmp0 ｜＞｜ tmp ｜
の条件、かつ、ブロック境界差分がブロック歪による段差であるか否かを判定する
｜ tmp0 ｜＜ div_th
の条件を満足すると共に、上記境界画素の一方の画素と該一方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_A ｜、境界画素の他方の画素と該他方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_B ｜とするとき、境界の両隣に境界の段差より大きな段差がないか否かを判定するための
｜ diff_A ｜≦｜ tmp0 ｜
かつ、
｜ diff_B ｜≦｜ tmp0 ｜
の条件を満足するとき、ブロック歪あり、と判定することを特徴としている。
【０００９】
この場合、入力画像データに対して、複数種類のブロック歪低減処理の選択された１つのみを施すようにしてもよく、また、入力画像データに対して複数種類のブロック歪低減処理をそれぞれ施して得られた複数種類の処理済みの信号の１つを選択するようにしてもよい。
【００１０】
ここで、上記複数種類のブロック歪低減処理としては、少なくとも補正値を上記入力画像データに加算して補正された信号を得る処理と、入力画像データにローパスフィルタ処理を施してフィルタ出力を得る処理とを含むことが挙げられる。また、上記複数種類のブロック歪低減処理としては、補正値を上記入力画像データに加算して補正された信号を得る際の補正量が異なる複数の処理を含むことが挙げられる。さらに、上記複数種類のブロック歪低減処理としては、入力画像データにローパスフィルタ処理を施してフィルタ出力を得る際のフィルタ特性が異なる複数の処理を含むことが挙げられる。これらを任意に組み合わせてもよいことは勿論である。
【００１１】
上記制御信号としては、ブロック境界を挟む隣接画素の差分を所定の閾値で弁別して得られる信号を用いることが挙げられる。
【００１２】
また、外部からのモード設定等により、強／中／弱モードのような補正の強さが異なる複数の補正モードを上記複数種類のブロック歪低減処理としてもよく、これを上記補正量やローパスフィルタ特性の違いによる複数の処理と組み合わせてもよい。
【００１３】
複数種類のブロック歪低減処理の内の１つを適宜選択してブロック歪低減処理を施すことにより、高周波成分の欠落なく、補正による破綻なく、ブロック歪の低減、除去が行える。
【００１４】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
図１は、本発明の実施の形態となるブロック歪低減装置１０の概略構成を示すブロック図である。なお、ブロック歪低減は、ブロック歪除去、ブロック雑音除去等とも称される。
【００１５】
この図１において、入力端子１１、１２には、ブロック符号化を含む画像符号化が施された後に復号された映像信号あるいは画像データのクロマ信号、輝度信号がそれぞれ供給される。このブロック符号化を含む画像符号化の具体例としては、いわゆるＭＰＥＧの符号化規格が挙げられる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ29（International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 / Sub Committee 29：国際標準化機構／国際電気標準会議 合同技術委員会１／専門部会２９）の動画像圧縮符号化の検討組織（Moving Picture Experts Group）の略称であり、ＭＰＥＧ１標準としてISO11172が、ＭＰＥＧ２標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1及びISO13818-1が、映像の項目でISO11172-2及びISO13818-2が、また音声の項目でISO11172-3及びISO13818-3がそれぞれ標準化されている。
【００１６】
ここで、画像圧縮符号化規格としてのISO11172-2又はISO13818-2においては、画像信号を、ピクチャ（フレーム又はフィールド）単位で、画像の時間及び空間方向の相関を利用して、圧縮符号化を行っており、空間方向の相関の利用は、ブロックＤＣＴ符号化を用いることで実現している。
【００１７】
このように、例えばブロックＤＣＴ符号化を含む圧縮符号化が施されて、シリアル伝送されたり記録再生された後に、デコーダ側で逆ＤＣＴされた映像信号データ（画像データ）のクロマ（色）成分及び輝度成分が、図１のC_IN端子１１及びY_IN端子１２にそれぞれ供給される。
【００１８】
C_IN端子１１に供給された入力画像データのクロマ（色）成分は、遅延回路１６を介してC_OUT 端子１７より取り出される。遅延回路１６は、輝度成分についてのブロック歪低減処理が施されるのに要する時間を遅延させて、出力される輝度成分とクロマ成分とのタイミングを合わせるためのものである。
【００１９】
PARA_IN 端子１４には、外部から設定されるパラメータが入力される。このパラメータは、ブロック歪低減（ブロック歪除去ともいう。）処理のオン／オフ、後述する補正の強さを表すモード、閾値（Threshold） 、ブロック境界位置等の情報であり、ブロック歪低減装置１０内の各回路に分配される。
【００２０】
HD_IN 端子１５には、水平同期信号が入力され、制御信号発生部２１に送られて、各回路で必要なタイミング信号が作成される。この図１のブロック歪低減装置１０は、主としてＨ（水平）方向のブロック歪低減のための構成を示しているが、Ｖ（垂直）方向も同様であることは勿論である。また、CBLK_IN 端子１３には、CBLK（コンポジットブランキング）信号が供給され、後述するブロック歪判定信号の有効／無効に用いられる。
【００２１】
ブロック歪判定部２２では、後述するアクティビティ｜tmp｜ 、ブロック境界の差分｜tmp0｜、境界の隣接画素についての差分等を用いて、後述する条件判別を行って、ブロック歪であるか否かの判定を行なう。このとき、上記PARA_IN 端子からのパラメータによりブロック歪低減処理がオンで、かつ上記CBLK_IN 端子１３からのCBLK信号がオフのとき、ブロック歪判定信号を有効にし、そうでない場合は、ブロック歪判定信号をオフにする。このブロック歪判定信号がオフのとき、及びブロック歪でないと判定されたときには、このブロック歪判定部２２からの制御信号により切換スイッチ２６を切換制御して、Y_IN端子１２から入力されたデータを処理せずに、そのままY_OUT 端子１８を介して出力する。
【００２２】
補正値算出部２３では、ブロック境界の隣接画素についての差分である隣接差分に基づいて補正値を求める。このとき、上記PARA_IN 端子からのパラメータとしての補正の強さを表すモード、例えば強／中／弱モードに従って、求められた補正値をそのまま使うか、補正値を抑制して使うかを選択する。また、図２に示すような例えばＤＣＴブロック３１に対して、ブロック境界近傍の補正範囲３３内の画素について、ブロック境界からの距離に反比例した補正値を求める。この補正値を求める際には、ブロック歪処理における１ブロック３２内の画素データが用いられる。補正値算出部２３からの補正値は、加算器２１に送られて、上記Y_IN端子１２からの入力画像データに加算されることにより、加算器２１からはブロック歪補正された信号が求められ、切換スイッチ２５に送られる。
【００２３】
フィルタ回路２４には、例えばいわゆる１：２：１フィルタが用いられ、上記強モード時に使用するローパスフィルタリング処理を行う。このフィルタリング処理は、図２のフィルタリング処理範囲３４内の画素について行う。また、上記強モード時に、加算器２１からのブロック歪補正された信号を用いるか、このフィルタ回路２４からのローパスフィルタリングされた信号を用いるかをブロック境界周辺の差分から判定し、この判定結果を切換スイッチ２５に切換制御信号として送っている。
【００２４】
切換スイッチ２５は、加算器２１からのブロック歪補正された信号と、フィルタ回路２４からの信号とを切換選択して、切換スイッチ２６に送っている。切換スイッチ２６は、この切換スイッチ２５からの信号と、上記Y_IN端子１２からの信号とを切換選択して、Y_OUT 端子１８に送っている。
【００２５】
切換スイッチ２５では、上記強モードでなければ、ブロック歪判定部２２からの出力であるブロック歪除去された画像データが選択される。上記強モードの場合には、フィルタ回路２４からの判定結果に従って、加算器２１からのブロック歪補正された信号か、フィルタ回路２４からのフィルタ処理された信号を切換選択する。
【００２６】
ブロック歪判定部２２において判定された結果は、切換スイッチ２６に切換制御信号として送られ、ブロック歪であると判定された（判定信号がオン）ならば、切換スイッチ２６は切換スイッチ２５からの出力を選択する。ブロック歪でないと判定された（判定信号がオフ）ならば、切換スイッチ２６はY_IN端子１２からの入力画像データを選択する。
【００２７】
なお、この図１の実施の形態では、輝度信号についてのみブロック歪低減処理を施すことを想定しているが、クロマ信号についても同様の処理を施すことができ、この場合には、輝度信号との位相合わせのために設けている遅延回路１６の代わりに、回路部２１から２７までの構成を設けるようにすればよい。
【００２８】
図２は、ブロック歪低減処理のために用いられる画素を説明するための図であり、例えば、ブロック符号化にＤＣＴ符号化が用いられ、８×８画素でＤＣＴブロック３１を構成する場合に、ブロック境界から内側及び外側にそれぞれ５画素ずつがブロック歪低減処理における１ブロック３２として用いられる。このとき、ブロック境界から４画素ずつが補正範囲３３として用いられ、またブロック境界から２画素ずつが上記フィルタ回路２４によるフィルタリング処理範囲３３とされている。これらは画像のＨ（水平）方向の具体例であるが、Ｖ（垂直）方向についても同様に考えられ、図２には、例えばＶ方向のブロック歪処理における１ブロック３７を示している。
【００２９】
ところで、上述した図１の構成のブロック歪低減装置１０は、例えば図３に示すようなビデオＣＤプレーヤのブロック歪低減回路１０７として用いることができる。
【００３０】
この図３において、ビデオＣＤやＣＤ−ＲＯＭ等のディスク１０１から、光ピックアップ１０２により読み出されたＲＦ信号は、ＲＦアンプ１０３に入力される。ここで増幅されたＲＦ信号は、ＥＦＭ（８−１４変調）復調回路１０４で復調され、シリアルデータとして、ディスク記録フォーマットのデコーダである例えばＣＤ−ＲＯＭデコーダ１０５に入る。
【００３１】
ＣＤ−ＲＯＭデコーダ１０５では、シリアルデータから例えばＭＰＥＧビットストリーム信号に変換し、ＭＰＥＧデコーダ１０６に送る。このＭＰＥＧは、上述したように、画像の時間及び空間方向の相関を利用して圧縮符号化を行うものであり、空間方向の相関性を利用するためにブロックＤＣＴ符号を採用している。ＭＰＥＧデコーダ６では、例えばＭＰＥＧ１フォーマットに従い復号を行っており、この復号の際に、逆量子化器１６１による逆量子化処理後に逆ＤＣＴ回路１６２による逆ＤＣＴ処理を施す。さらに、必要に応じて補間などの処理を行なった後出力する。
【００３２】
ＭＰＥＧデコーダ１０６から出力された映像信号は、ノイズリデューサとしてのブロック歪低減回路１０７に入力されるが、ここでの信号はＭＰＥＧ１での圧縮／伸張によるノイズが含まれているので、ブロック歪低減回路１０７でこれらのノイズ除去を行なう。このブロック歪低減回路１０７として、上述した図１に示すような本発明の実施の形態が適用される。
【００３３】
ブロック歪低減回路１０７での処理後、ＮＴＳＣエンコーダ１０８で同期信号の付加、クロマ信号の変調などを行ないＮＴＳＣ映像信号を生成する。このＮＴＳＣ映像信号がＤ／Ａ変換器１０９を介して出力端子１１０に出力される。
【００３４】
ブロック歪低減回路１０７と関連して、マイクロコンピュータ等を用いた制御回路１１１が設けられ、制御回路１１１に対しては操作部１１２からの制御信号が供給される。操作部１１２には、ノイズリダクション、例えばブロック歪低減の制御スイッチが設けられており、ブロック歪低減のオン／オフの切り替えがなされる。制御回路１１１は、ブロック歪低減回路１０７の他の回路の制御にも用いられることが多い。
【００３５】
次に、上記図１の構成のブロック歪低減装置１０におけるブロック歪低減処理のアルゴリズムについて、さらに詳細に説明する。
図４は、本発明の実施の形態となるブロック歪低減方法のアルゴリズムを説明するためのフローチャートを示している。この図４の例では、Ｈ（水平）方向についての処理のアルゴリズムを示しているが、Ｖ（垂直）方向についてのブロック歪低減アルゴリズムは、Ｈ方向の処理がＶ方向に変わる以外は同様であるため説明を省略する。
【００３６】
この図４において、最初のステップＳＴ４１では、Ｈ方向の総てのブロック境界について、ブロック歪低減処理が終了したか否かを判別しており、ＹＥＳの場合は処理を終了し、ＮＯの場合に次のステップＳＴ４２に進む。
【００３７】
ステップＳＴ４２では、ブロック歪か否かの判定に必要とされるパラメータとしての境界差分｜tmp0｜、アクティビティ｜tmp｜ 及び隣接差分｜diff｜を、次の計算式により求める。
【００３８】
｜tmp0｜＝｜f-e｜
｜tmp｜＝（｜b-a｜+｜c-b｜+｜d-c｜+｜e-d｜
+｜g-f｜+｜h-g｜+｜i-h｜+｜j-i｜）／８
｜diff2｜＝｜d-c｜
｜diff3｜＝｜e-d｜
｜diff4｜＝｜g-f｜
｜diff5｜＝｜h-g｜
これらの計算式から明らかなように、境界差分｜tmp0｜は、図２のＤＣＴブロックの境界を挟んで隣接する画素ｅ，ｆ間の差分の絶対値であり、アクティビティ｜tmp｜ は、ブロック歪処理の１ブロック３２内での各隣接画素間（ただしｅ，ｆ間を除く）の差分の絶対値の平均値であり、隣接差分｜diff｜は、画素ｃ，ｄ間、ｄ，ｅ間、ｆ，ｇ間、ｇ，ｈ間の各差分の絶対値である。
【００３９】
これらのパラメータ｜tmp0｜、｜tmp｜ 及び｜diff｜に基づいて、次のステップＳＴ４３でブロック歪か否かの判定を行う。この判定条件は、
(1) 不連続なエッジ成分が存在するか否か。
：境界差分｜tmp0｜＞アクティビティ｜tmp｜
(2) 直流成分及び低周波成分の量子化誤差による段差であるか、すなわち、ブロック歪による段差であるか否か。
：境界差分｜tmp0｜＜閾値div_th
ここで、閾値div_thとしては、本実施の形態では固定値を用いたが、各ブロックの量子化ステップサイズの最大値に比例した値を用いることもできる。
(3) 境界の両隣に境界の段差より大きな段差がないか、すなわち、境界の両隣にエッジがないか否か。
：隣接差分｜diff3｜≦境界差分｜tmp0｜
かつ、隣接差分｜diff4｜≦境界差分｜tmp0｜
の３つである。
【００４０】
これらの３つの判定条件の全てが満たされれば、ステップＳＴ４４でブロック歪ありとされ、次のステップＳＴ４５に進む。どれか１つでも満たされなければ、ステップＳＴ４４でブロック歪でないとされ、ステップＳＴ５０に進む。ステップＳＴ５０では、原信号、すなわち上記図１のY_IN端子１２に供給された入力画像データをそのまま出力する。
【００４１】
ステップＳＴ４５では、画像の線形性に基づいて、隣接差分から補正後の境界段差｜step｜を、
｜step｜＝｜diff3＋diff4｜／２
の式から求める。そして、補正後にこれだけの境界段差｜step｜を持たせるために必要な補正量｜σ｜を、
｜σ｜＝（｜tmp0｜−｜step｜）／２
により求める。ここで、本実施の形態においては、境界段差｜step｜を求めるために上記の式を用いたが、
｜STEP｜＝｜diff2+2(diff3+diff4)+diff5｜／６
のように境界の傾きを周囲のアクティビティから予測して得られる｜STEP｜を上記境界段差｜step｜の代わりに用いてもよい。
【００４２】
次のステップＳＴ４６では、上記図１のPARA_IN 端子１４に供給されたパラメータにより外部から設定された例えば上記強／中／弱のモード設定に従って補正値を求める。以下、強モード、中モード、弱モードの順に説明する。
【００４３】
(a) 強モードの場合
周辺にエッジ成分がある場合、強く補正をかけると疑似エッジが発生する。また、境界にエッジが存在しているのにブロック歪であると誤判断された場合、強く補正をかけるとエッジ部分の尾が引くという破綻が生じる。この対策として、以下の条件のもとで、ローパスフィルタと通常の補正とを切り換えている。
【００４４】
すなわち、図５の（Ａ）が上記強モードの場合の歪低減処理の切換を示しており、補正オフの範囲５１とフィルタ処理の範囲５２とを上記閾値div_thで弁別し、フィルタ処理の範囲５２と上記通常の補正を行う範囲５３とを閾値edge_th で弁別している。ただし、div_th＞edge_th である。
【００４５】
具体的には、上記各隣接差分及び境界差分の全てが閾値edge_th 以下のとき、すなわち、
｜diff2｜≦edge_th かつ｜diff3｜≦edge_th かつ｜tmp0｜≦edge_th
かつ｜diff4｜≦edge_th かつ｜diff5｜≦edge_th
のとき、補正量｜σ｜＝（｜tmp0｜−｜step｜）／２ の補正を行う。
また、補正がオン状態で上記以外のとき、すなわち、
｜diff2｜＞edge_th 又は｜diff3｜＞edge_th 又は｜tmp0｜＞edge_th
又は｜diff4｜＞edge_th 又は｜diff5｜＞edge_th
のとき、上記図２の境界近傍の４画素ｄ，ｅ，ｆ，ｇに対してローパスフィルタをかけた値を、ブロック歪低減された画像データとして出力し、残りの４画素ｂ，ｃ，ｈ，ｉは原信号（入力画像データ）のまま出力する。ローパスフィルタは画像がぼけるという欠点を持つが、大きな破綻なしに、やや強めの補正を実現できる。
【００４６】
図６は、本実施の形態で用いたローパスフィルタの具体例を示しており、直列接続された２つの遅延素子Ｄの両端（入出力端）からの信号にそれぞれ係数１／４を乗算し、２つの遅延素子Ｄの接続点からの信号に係数１／２を乗算して、これらの各係数乗算器からの出力を加算するような、いわゆる１：２：１フィルタ６０の例を示している。入力端子６１に供給された入力信号は、フィルタ６０の入力側の１つの遅延素子Ｄを介して切換スイッチ６３の被選択端子ｘに送られ、また、フィルタ６０の加算器からの出力は切換スイッチ６３の被選択端子ｙに送られている。切換スイッチ６３は、選択端子６３からの制御信号により切換制御され、出力端子６４に選択出力を送っている。
【００４７】
選択端子６２の制御信号によって、上記図２の画素ｄ，ｅ，ｆ，ｇに対しては切換スイッチ６３を被選択端子ｙ側に切換接続してローパスフィルタ出力を、また画素ｂ，ｃ，ｈ，ｉに対しては切換スイッチ６３を被選択端子ｘ側に切換接続して入力信号を選択している。
【００４８】
なお、ローパスフィルタは、上記図６の例に限定されず、処理対象画素もｄ〜ｇに限定されない。また、各処理画素について異なるローパスフィルタを用いてもよい。例えば図７のような構成のフィルタを用いるようにしてもよい。
【００４９】
この図７において、入力端子６１に供給された入力信号は、フィルタ６０の入力側の１つの遅延素子Ｄを介して切換スイッチ７７の被選択端子ｘに送られ、フィルタ６０の加算器からの出力は切換スイッチ７７の被選択端子ｚに送られており、これらの出力を加算器７５で加算して１／２乗算器７６で１／２にした出力が切換スイッチ７７の被選択端子ｙに送られている。この被選択端子ｙへの信号は、いわゆる１：６：１フィルタ処理が施された信号となっている。この場合の切換選択としては、例えば図２の画素ｄ，ｇに対しては切換スイッチ７７を被選択端子ｙ側に切換接続して１：６：１フィルタ出力を選択し、画素ｅ，ｆに対しては切換スイッチ７７を被選択端子ｚ側に切換接続して上述と同様の１：２：１フィルタ出力を選択し、残りの画素ｂ，ｃ，ｈ，ｉに対しては切換スイッチ７７を被選択端子ｘ側に切換接続して入力信号を選択することが挙げられる。このような処理を行うことにより、入力信号とローパスフィルタ出力とを滑らかにつなぐことができる。
【００５０】
(b) 中モードの場合
上記境界差分｜tmp0｜が所定の閾値corr_th より大きい場合は、本当はブロック境界にエッジが存在するのに、ブロック歪判定で誤判定された可能性もあるので、誤補正を回避するために、上記閾値corr_th で補正の大きさを切り換える。ただし、corr_th ＜div_thである。
【００５１】
図５の（Ｂ）は、この中モードの場合の切換状態を示しており、補正オフの範囲５４とフィルタ処理の上記補正を行う範囲（５５、５６）とを閾値div_thで弁別し、この補正を行う範囲内で、補正の大きさあるいは補正量の小さい範囲５５と大きい範囲５６とを上記閾値corr_th で弁別している。
【００５２】
すなわち、補正を行う場合で、｜tmp0｜＜corr_th の上記範囲５６では、補正量｜σ｜を上述した強モードと同様に、｜σ｜＝（｜tmp0｜−｜step｜）／２ の補正を行う。また、補正を行う場合で、｜tmp0｜≧corr_th の上記範囲５５では、補正量｜σ｜を半分に減らして、｜σ｜＝（｜tmp0｜−｜step｜）／４ の補正を行う。
【００５３】
(c) 弱モードの場合
破綻を最小限に抑えるため、補正量｜σ｜は、通常の補正の半分の
｜σ｜＝（｜tmp0｜−｜step｜）／４
としている。
【００５４】
図５の（Ｃ）が弱モードの場合を示し、上記境界差分｜tmp0｜が閾値div_th以上（｜tmp0｜≧div_th）の範囲５７では補正オフとし、境界差分｜tmp0｜が閾値div_thより小さい（｜tmp0｜＜div_th）範囲５８で、（｜tmp0｜−｜step｜）／４の補正量で補正を行っている。
【００５５】
これらの強モード、中モード、弱モードは、外部からのモード設定により選択されるものであり、ユーザが画像の内容等に応じて切換設定したり、映像プログラムの種類（映画、ニュース、スポーツ等）の識別コード等により自動設定されるようにすること等が挙げられる。
【００５６】
再び図４のフローチャートに戻って、上記ステップＳＴ４６において、上述のような各モード設定に従って得られた補正値｜σ｜から、各画素毎の補正値を求める。
【００５７】
すなわち、補正範囲と隣接画素とのつなぎ目を滑らかにするため、またブロック歪はブロック境界付近に強く現れることを考慮して、ブロック境界からの距離に反比例した補正を行うようにしている。
【００５８】
具体的には、図２の補正範囲３３内の各画素ｂ〜ｉについての各補正値をそれぞれ｜σb｜〜｜σi｜とするとき、上記補正値｜σ｜を用いて、
｜σe｜＝｜σ｜ ，｜σf｜＝｜σ｜
｜σd｜＝｜σ｜／２ ，｜σg｜＝｜σ｜／２
｜σc｜＝｜σ｜／４ ，｜σh｜＝｜σ｜／４
｜σb｜＝｜σ｜／８ ，｜σi｜＝｜σ｜／８
のような各補正値をそれぞれ求める。
【００５９】
次のステップＳＴ４７では、上記ステップＳＴ４６で求められた各画素ｂ〜ｉ毎の補正値｜σb｜〜｜σi｜を用いて、ブロック歪補正された映像信号（画像データ）ＳＢb〜ＳＢiを求める。
【００６０】
具体的には、補正前の各画素ｂ〜ｉの入力画像データをＳb〜Ｓiとするとき、上記tmp0の正負に応じて補正された画像データＳＢb〜ＳＢiを、
tmp0≧０：ＳＢb＝Ｓb＋｜σb｜ ，tmp0＜０：ＳＢb＝Ｓb−｜σb｜
tmp0≧０：ＳＢc＝Ｓc＋｜σc｜ ，tmp0＜０：ＳＢc＝Ｓc−｜σc｜
tmp0≧０：ＳＢd＝Ｓd＋｜σd｜ ，tmp0＜０：ＳＢd＝Ｓd−｜σd｜
tmp0≧０：ＳＢe＝Ｓe＋｜σe｜ ，tmp0＜０：ＳＢe＝Ｓe−｜σe｜
tmp0≧０：ＳＢf＝Ｓf＋｜σf｜ ，tmp0＜０：ＳＢf＝Ｓf−｜σf｜
tmp0≧０：ＳＢg＝Ｓg＋｜σg｜ ，tmp0＜０：ＳＢg＝Ｓg−｜σg｜
tmp0≧０：ＳＢh＝Ｓh＋｜σh｜ ，tmp0＜０：ＳＢh＝Ｓh−｜σh｜
tmp0≧０：ＳＢi＝Ｓi＋｜σi｜ ，tmp0＜０：ＳＢi＝Ｓi−｜σi｜
とするような補正を行う。
【００６１】
次のステップＳＴ４８では、外部からのモード設定に従って、ブロック歪除去（ブロック歪低減）のオン／オフを行う。本実施の形態においては、上記図１のPARA_IN 端子１４からのパラメータによるモード設定のブロック歪除去（ブロック歪低減）がオンモードで、かつ図１のCBLK_IN 端子１３のCBLK信号がオフのとき、ブロック歪低減処理をオンするようにしている。これがオンのとき、ステップＳＴ４９に進み、オフのときステップＳＴ５０に進む。
【００６２】
ステップＳＴ４９では、ブロック歪低減処理後の信号（補正された信号又はフィルタ処理された信号）を出力し、ステップＳＴ５０では原信号（上記入力画像データ）をそのまま出力する。
【００６３】
ここで、図８は、上記強モード設定のとき、周辺にエッジが存在する場合の破綻と改善の例を示している。すなわち、図８の（Ａ）は、通常の補正を行った場合の破綻例を示し、周辺にエッジが存在しているとき、急峻なエッジを残したままデータを操作するので、この後のアナログ処理、例えばテレビジョン受像機のアパーチャコントロールの処理等により、図中の矢印Ｅａ，Ｅｂの部分に疑似エッジが発生することがある。これに対して、図８の（Ｂ）のローパスフィルタを用いた改善例によれば、急峻なエッジもなまらせる処理が行われるため、後にアナログ処理されても疑似エッジは発生しない。
【００６４】
また、図９は、上記強モード設定のとき、境界にエッジが存在するにも拘わらずブロック歪と誤判定された場合の破綻例（Ａ）と改善例（Ｂ）とをそれぞれ示している。すなわち、図９の（Ａ）は、通常の補正を行ったことにより、元々のエッジが平坦化されてしまい、図中の部分６６が尾を引いたように見える破綻例を示し、図９の（Ｂ）では、ローパスフィルタを用いたことにより、元々のエッジは少々なまるが、尾を引く程ではなくなっている。
【００６５】
次に、図１０は、上記中モード時の破綻例（Ａ）と改善例（Ｂ）とをそれぞれ示している。すなわち、上記境界差分｜tmp0｜が｜tmp0｜≧corr_th となる上記図５の（Ｂ）の範囲５５において、通常の補正量（｜tmp0｜−｜step｜）／２で補正した場合の破綻例を図９の（Ａ）に示しており、本来はエッジが存在するのにブロック歪であると誤判定された場合に、強く補正をかけることによって図中の部分６７が尾を引いたように見える。これに対して、図９の（Ｂ）の改善例では、補正量を半分の（｜tmp0｜−｜step｜）／４にすることによって、上述のような誤補正を回避し、尾を引く現象を防止している。
【００６６】
以上説明した実施の形態においては、複数種類のブロック歪低減処理として、外部からのモード設定に応じて、強／中／弱の３種類の補正モードを切換選択するようにしている。また、強モードにおいては、複数種類のブロック歪低減処理として、補正値を加算する補正処理と、ローパスフィルタによるフィルタ処理とを用いて、上記境界差分｜tmp0｜の大きさに応じて処理を切り換えている。さらに、中モードにおいては、補正量の異なる２種類のブロック歪低減処理を用意して、通常の補正と、通常の半分の補正量による補正とを、上記境界差分｜tmp0｜の大きさに応じて切り換えている。このように、複数種類のブロック歪低減処理を切換選択することにより、例えば映像内容に合わせたブロック歪低減が可能であり、また通常の補正により悪影響が生じてしまうような破綻を、ローパスフィルタ処理や少ない補正量での補正等と組み合わせることにより未然に防止することができる。
【００６７】
ところで、複数種類のブロック歪低減処理としては、上述したような補正量を入力画像データに加算するような補正を必ず含ませる必要はなく、例えば、異なる複数種類の特性のローパスフィルタ、例えばカットオフ周波数が異なる複数のローパスフィルタ、によるフィルタ処理を複数種類のブロック歪低減処理として採用するようにしてもよい。
【００６８】
すなわち、図１１は、このような異なる特性のフィルタを切換選択するようなブロック歪低減処理の一例を示しており、上記境界差分｜tmp0｜（あるいは上記各隣接差分｜diff2｜〜｜diff5｜のいずれか）が所定の閾値div_thより大きくなる範囲７１では処理をオフし、境界差分｜tmp0｜（及び上記各隣接差分｜diff2｜〜｜diff5｜の全て）が閾値div_th以下のときに処理をオンしている場合に、境界差分｜tmp0｜の値を閾値corr_th （ただし corr_th＜div_th）で区別している。例えば、｜tmp0｜＜corr_th の範囲７３では、上述したようないわゆる１：６：１フィルタによるフィルタ処理を行い、｜tmp0｜≧corr_th の範囲７２では、上記１：２：１フィルタによるフィルタ処理を行う。このようなフィルタは、例えば上記図７の構成により実現でき、図７の切換スイッチ７７の被選択端子ｙに送られる信号が上記１：６：１フィルタ処理出力となり、被選択端子ｚに送られる信号が上記１：２：１フィルタ処理出力となる。
【００６９】
以上の説明からも明らかなように、本発明に係るブロック歪低減方法及び装置の実施の形態によれば、高周波成分の欠落がなく解像度を保ったブロック歪低減を行いながら、補正による破綻を軽減できる。また、ハードウェア構成も簡易であるので、業務用のみならず、ＤＣＴ符号化等のブロック符号化を用いた圧縮処理を行う種々の民生機器、例えばビデオＣＤプレーヤ、ディジタルビデオディスクプレーヤ、ディジタルテレビジョン受像機、テレビ電話等にも搭載可能である。勿論、ソフトウェア処理により上述したようなアルゴリズムを実現することもでき、いわゆるインターネットやマルチメディアでの動画のリアルタイム再生におけるブロック歪低減、ブロック歪除去も容易に実現できる。さらに、本実施の形態によれば、強／中／弱の３モードを持っているので、映像の状態に合わせたブロック歪低減が可能である。また、ブロック歪処理で用いるパラメータも外部から調整できるため、上記の３モードだけでなく微調整も可能である。
【００７０】
なお、本発明は上述した実施の形態のみに限定されるものではなく、例えば、上記実施の形態においては水平（Ｈ）方向の処理について述べたが、垂直（Ｖ）方向についても同様に適用可能である。また、補正値の計算やフィルタ処理の具体例は上述の例に限定されないことは勿論である。
【００７１】
【発明の効果】
本発明によれば、ブロック歪低減を行う際には、ブロック歪を低減するための複数種類のブロック歪低減処理の内の１つを制御信号に応じて選択し、この選択されたブロック歪低減処理を入力画像データに対して施したブロック歪低減信号を出力しているため、高周波成分の欠落なく、補正による破綻なく、ブロック歪の低減、除去が行える。
【００７２】
上記複数種類のブロック歪低減処理としては、少なくとも補正値を上記入力画像データに加算して補正された信号を得る処理と、入力画像データにローパスフィルタ処理を施してフィルタ出力を得る処理とを含むようにすることにより、補正による破綻が生じる恐れがある条件では、ローパスフィルタ処理を選んで、破綻を防止することができる。これは、補正量が異なる複数の処理を選択したり、フィルタ特性が異なる複数の処理を選択することでも同様に実現でき、これらを任意に組み合わせてもよい。
【００７３】
上記制御信号としては、ブロック境界を挟む隣接画素の差分を所定の閾値で弁別して得られる信号を用いることにより、補正により破綻の生じ易い条件を容易に判別できる。
【００７４】
また、ハードウェア構成も簡単で済み、業務用のみならず、ＤＣＴ符号化等のブロック符号化を用いた圧縮処理を行う種々の民生機器等にも搭載可能である。さらに、ソフトウェア処理により上述したようなアルゴリズムを実現することもでき、いわゆるインターネット等での動画のリアルタイム再生におけるブロック歪低減も可能である。
【図面の簡単な説明】
【図１】本発明に係る実施の形態となる画像データのブロック歪低減装置の概略構成を示すブロック図である。
【図２】ブロック歪補正のためのブロック境界近傍の画素を示す図である。
【図３】本発明に係る実施の形態となる画像データのブロック歪低減装置が用いられたデコーダシステムの概略構成を示すブロック図である。
【図４】本発明に係る実施の形態となるブロック歪低減方法の処理手順を説明するためのフローチャートである。
【図５】ブロック歪低減処理の強／中／弱モードでの境界差分｜tmp0｜と処理との関係を説明するための図である。
【図６】図１のフィルタ回路２４の具体例を示すブロック図である。
【図７】図１のフィルタ回路２４の他の具体例を示すブロック図である。
【図８】本発明に係る実施の形態の強モード時の破綻とその改善の一例を説明するための図である。
【図９】本発明に係る実施の形態の強モード時の破綻とその改善の他の例を説明するための図である。
【図１０】本発明に係る実施の形態の中モード時の破綻とその改善の一例を説明するための図である。
【図１１】ブロック歪低減処理の他の具体例の境界差分｜tmp0｜と処理との関係を説明するための図である。
【符号の説明】
２１ 加算器、 ２２ ブロック歪判定部、 ２３ 補正値算出部、 ２４ フィルタ回路、 ２５，２６ 切換スイッチ、 ２７ 制御信号発生部
Claims (8)
- 画像データのブロック符号化におけるブロック歪を低減するためのブロック歪低減方法において、
入力画像データにブロック歪があるかどうかを、ブロック境界画素および境界画素に隣接する複数の画素データに基づいて判定する判定工程と、
上記ブロック歪を低減するための複数種類のブロック歪低減処理の内の１つが制御信号に応じて選択されて上記ブロック境界画素および少なくとも一部の上記境界画素に隣接する複数の画素データに対して施されたブロック歪低減信号を出力する工程と、
上記判定工程での判定結果に応じて上記ブロック歪低減信号と上記入力画像データとを切換選択して出力する工程とを有し、
上記判定工程は、上記ブロック境界画素についての差分である境界差分を｜ tmp0 ｜とし、ブロック歪処理における１ブロック内の隣接画素間の差分についての上記境界差分を除く差分の絶対値の平均値であるアクティビティを｜ tmp ｜ とし、量子化誤差判別閾値を div_th とするとき、ブロック境界に不連続なエッジ成分が存在するか否かを判定する
｜ tmp0 ｜＞｜ tmp ｜
の条件、かつ、ブロック境界差分がブロック歪による段差であるか否かを判定する
｜ tmp0 ｜＜ div_th
の条件を満足すると共に、上記境界画素の一方の画素と該一方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_A ｜、境界画素の他方の画素と該他方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_B ｜とするとき、境界の両隣に境界の段差より大きな段差がないか否かを判定するための
｜ diff_A ｜≦｜ tmp0 ｜
かつ、
｜ diff_B ｜≦｜ tmp0 ｜
の条件を満足するとき、ブロック歪あり、と判定すること
を特徴とするブロック歪低減方法。 - 上記複数種類のブロック歪低減処理は、少なくとも補正値を上記入力画像データに加算して補正された信号を得る処理と、入力画像データにローパスフィルタ処理を施してフィルタ出力を得る処理とを含むこと
を特徴とする請求項１記載のブロック歪低減方法。 - 上記複数種類のブロック歪低減処理は、補正値を上記入力画像データに加算して補正された信号を得る際の補正量が異なる複数の処理を含むこと
を特徴とする請求項１記載のブロック歪低減方法。 - 上記複数種類のブロック歪低減処理は、入力画像データにローパスフィルタ処理を施してフィルタ出力を得る際のフィルタ特性が異なる複数の処理を含むこと
を特徴とする請求項１記載のブロック歪低減方法。 - 上記複数種類のブロック歪低減処理は、補正の強さが異なる複数の補正モードを含むこと
を特徴とする請求項１記載のブロック歪低減方法。 - 入力される画像データが輝度信号及びクロマ信号からなり、上記輝度信号及び上記クロマ信号の少なくとも一方に対して上記歪低減のための処理を施すこと
を特徴とする請求項１記載のブロック歪低減方法。 - 画像データの水平方向及び垂直方向の少なくとも一方に対して上記歪低減のための補正を施すこと
を特徴とする請求項１記載のブロック歪低減方法。 - 画像データのブロック符号化におけるブロック歪を低減するためのブロック歪低減装置において、
ブロック境界画素および境界画素に隣接する複数の画素データに基づいてブロック歪か否かを判定する判定手段と、
上記判定に基づいて歪を低減するための複数種類のブロック歪低減処理の内の１つが制御信号に応じて選択されて上記ブロック境界画素および少なくとも一部の上記境界画素に隣接する複数の画素データに対して施されたブロック歪低減信号を出力する手段と、
上記判定手段からの判定結果に応じて上記ブロック歪低減信号と上記入力画像データとを切換選択して出力する手段とを有し、
上記判定手段は、上記ブロック境界画素についての差分である境界差分を｜ tmp0 ｜とし、ブロック歪処理における１ブロック内の隣接画素間の差分についての上記境界差分を除く差分の絶対値の平均値であるアクティビティを｜ tmp ｜ とし、量子化誤差判別閾値を div_th とするとき、ブロック境界に不連続なエッジ成分が存在するか否かを判定する
｜ tmp0 ｜＞｜ tmp ｜
の条件、かつ、ブロック境界差分がブロック歪による段差であるか否かを判定する
｜ tmp0 ｜＜ div_th
の条件を満足すると共に、上記境界画素の一方の画素と該一方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_A ｜、境界画素の他方の画素と該他方の画素に隣接する隣接画素との差分である隣接差分を｜ diff_B ｜とするとき、境界の両隣に境界の段差より大きな段差がないか否かを判定するための
｜ diff_A ｜≦｜ tmp0 ｜
かつ、
｜ diff_B ｜≦｜ tmp0 ｜
の条件を満足するとき、ブロック歪あり、と判定すること
を特徴とするブロック歪低減装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35170296A JP3961600B2 (ja) | 1996-12-27 | 1996-12-27 | ブロック歪低減方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35170296A JP3961600B2 (ja) | 1996-12-27 | 1996-12-27 | ブロック歪低減方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10191335A JPH10191335A (ja) | 1998-07-21 |
| JP3961600B2 true JP3961600B2 (ja) | 2007-08-22 |
Family
ID=18419043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35170296A Expired - Fee Related JP3961600B2 (ja) | 1996-12-27 | 1996-12-27 | ブロック歪低減方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3961600B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100243225B1 (ko) | 1997-07-16 | 2000-02-01 | 윤종용 | 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터 |
| JP2002537735A (ja) * | 1999-02-16 | 2002-11-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ブロック効果減少のためのフィルタリング段階を用いたビデオ復号化装置及び方法 |
| JP3489735B2 (ja) | 2000-08-16 | 2004-01-26 | 松下電器産業株式会社 | デブロッキングフィルタ演算装置 |
| US7031393B2 (en) * | 2000-10-20 | 2006-04-18 | Matsushita Electric Industrial Co., Ltd. | Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus |
| ATE337683T1 (de) | 2001-09-12 | 2006-09-15 | Matsushita Electric Industrial Co Ltd | Bildkodierungsverfahren und bilddekodierungsverfahren |
| EP2320660B8 (en) | 2001-11-29 | 2015-09-09 | Godo Kaisha IP Bridge 1 | Coding distortion removal method |
| MXPA03006640A (es) | 2001-11-29 | 2003-10-15 | Matsushita Electric Industrial Co Ltd | Metodo para la remocion de la distorsion de la codificacion, metodo codificador de video, metodo descodificador de video y aparato y programa para los mismos. |
| US7302104B2 (en) | 2001-12-28 | 2007-11-27 | Ricoh Co., Ltd. | Smoothing tile boundaries of images encoded and decoded by JPEG 2000 |
| US7330596B2 (en) | 2002-07-17 | 2008-02-12 | Ricoh Company, Ltd. | Image decoding technique for suppressing tile boundary distortion |
| WO2005002230A1 (ja) * | 2003-06-27 | 2005-01-06 | Mitsubishi Denki Kabushiki Kaisha | ポストフィルタ及びポストフィルタ処理方法並びに映像信号復号化装置 |
| US20070104385A1 (en) * | 2003-07-02 | 2007-05-10 | Sony Corporation | Block distortion detection apparatus, block distortion detection method and video signal processing apparatus |
| US7636493B2 (en) * | 2003-08-27 | 2009-12-22 | Panasonic Corporation | Filter device, filtering method and filtering program product |
| JP4558409B2 (ja) * | 2003-08-27 | 2010-10-06 | パナソニック株式会社 | フィルタ装置、フィルタリング方法、およびフィルタリングプログラム |
| JP4066367B2 (ja) * | 2003-11-28 | 2008-03-26 | ノーリツ鋼機株式会社 | 画像ノイズ除去方法 |
| JP4850475B2 (ja) * | 2004-10-14 | 2012-01-11 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 画像中の画素をフィルタリングする方法 |
| JP5044886B2 (ja) | 2004-10-15 | 2012-10-10 | パナソニック株式会社 | ブロックノイズ低減装置および画像表示装置 |
| JP4457346B2 (ja) | 2004-11-12 | 2010-04-28 | ノーリツ鋼機株式会社 | 画像ノイズ除去方法 |
-
1996
- 1996-12-27 JP JP35170296A patent/JP3961600B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10191335A (ja) | 1998-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3961600B2 (ja) | ブロック歪低減方法及び装置 | |
| JP3800704B2 (ja) | 映像信号処理装置及び方法 | |
| JP4186242B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| KR100529483B1 (ko) | 블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치 | |
| US6167157A (en) | Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data | |
| US6904096B2 (en) | Video data processing device and video data processing method | |
| US20060110062A1 (en) | Edge adaptive filtering system for reducing artifacts and method | |
| KR20040102211A (ko) | 코딩된 디지털 비디오에 대한 선명도 향상 시스템 및 방법 | |
| US7161633B2 (en) | Apparatus and method for providing a usefulness metric based on coding information for video enhancement | |
| JPH11205792A (ja) | ブロック歪低減方法及び装置 | |
| JP3703088B2 (ja) | 拡張画像符号化装置及び拡張画像復号化装置 | |
| JP4590751B2 (ja) | 映像ノイズ除去装置 | |
| JP4001962B2 (ja) | ブロック歪低減装置及び方法 | |
| JP4239231B2 (ja) | ブロック歪低減装置及び方法 | |
| JP3501521B2 (ja) | ディジタル映像信号再生装置および再生方法 | |
| JP3646424B2 (ja) | ノイズリデューサおよびノイズリダクション方法 | |
| KR100217148B1 (ko) | 영상 데이타의 복호 처리중에 발생하는 모스키토 노이즈를 줄이는 방법 및 이 방법을 사용한 영상데이타의 복호장치 | |
| JP2006094183A (ja) | 信号処理装置、及び信号処理方法 | |
| JPH08102894A (ja) | デジタル方式テレビジョン放送受信機 | |
| JPH10271363A (ja) | 映像信号処理装置およびそれを用いた符号化映像信号復号装置およびディジタル放送受信・復号装置 | |
| JPH09172635A (ja) | デジタル画像復号化装置 | |
| JPH07222102A (ja) | ディジタルｖｔｒ | |
| KR20020070501A (ko) | 압축 인코딩된 비디오의 압축 해제 | |
| JPH11313329A (ja) | 画像データ処理装置および方法、並びに提供媒体 | |
| JPH08149507A (ja) | 映像信号記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040426 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041208 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041213 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050722 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070517 |
|
| LAPS | Cancellation because of no payment of annual fees |